在软件开发工程中，很少会有单打独斗的程序员。这是因为现代较常见的软件项目通常都非常复杂，所要求的人力、资源、时间也比较多，仅由一个开发者来完成大型软件项目无异于 “愚公移山”。因此，软件开发通常离不开团队协作和项目管理。所谓项目管理（Project Manageme...

随着容器编排（Container Orchestration）、微服务（Micro Services）、云技术（Cloud Technology）等在 IT 行业不断盛行，2009 年诞生于 Google 的 Golang（Go 语言，简称 Go）越来越受到软件工程师的欢迎和追捧，成为如今炙手可热的后端编程语言。在用 Golang 开发...

The most incomprehensible thing about the world is that it is comprehensible.世界上最不可理解的地方就是它竟然是可以理解的。-- 阿尔伯特·爱因斯坦

The only constant in the world is change.世界上唯一不变的是变化。--《谁动了我的奶酪》作者 斯宾塞·约翰逊

在如今被三大框架支配的前端领域，已经很少有人不知道 Vue 了。2014 年，前 Google 工程师尤雨溪发布了所谓的渐进式（Progressive）前端应用框架 Vue，其简化的模版绑定和组件化思想给当时还是 jQuery 时代的前端领域产生了积极而深远的影响。Vue 的诞生，造福了那些...

可能很多软件工程师都或多或少知道或了解 TypeScript（简写 TS），使用过 TypeScript 的前端开发者们也出奇一致的对 TypeScript 抱有好感。如果你在搜索引擎里搜索 TypeScript，会发现几乎铺天盖地都是称赞或表扬 TS 的文章，例如 《TypeScript 让你不会想用回 JavaS...

任何刚接触爬虫编程的朋友可能都熟悉或者或多或少了解过基于 Python 异步框架 Twisted 的爬虫框架 Scrapy。Scrapy 发展了将近 7 年，是爬虫框架中的开山鼻祖，自然而然成为最受欢迎的也是应用最广的爬虫框架。对于 Scrapy 来说，其天然的优势是支持并发，而且集成了 ...

前言本次更新包括几个部分：大量 Bug 修复加入 Chrome Driver、Firefox 安装脚本加入 Golang 安装脚本支持系统任务更新日志功能 / 优化加入错误详情信息.加入 Golang 编程语言支持.加入 Chrome Driver 和 Firefox 的 Web Driver 安装脚本.支持系统任务. "系统任务"跟...

前言 本次更新包括几个部分： 爬虫市场 批量操作 数据库底层优化 更新日志 功能 / 优化 爬虫市场. 允许用户下载开源爬虫到 Crawlab. 批量操作. 允许用户与 Crawlab 批量交互，例如批量运行任务、批量删除爬虫等等. 迁移 MongoDB 驱动器至 MongoDriver. 重构优化节点...

Crawlab 是一个基于 Golang 的分布式爬虫管理平台，旨在帮助爬虫工程师和开发人员轻松管理一切爬虫。Crawlab 创建之初，就利用 Shell 执行原理使其能够执行理论上任何编程语言开发的爬虫，以及管理任何爬虫框架。自 2019 年 3 月份发布第一个版本，Crawlab 迭代发展...

Crawlab 是基于 Golang 的分布式爬虫管理平台，旨在解决大量不同种类的爬虫管理困难的问题。Crawlab 的目标是轻松管理一切爬虫，让爬虫管理变得更简单（Easy Crawling）。自去年（2019年）3月份上线以来，Crawlab 经历了大量的迭代和优化，受到爬虫爱好者们和开发者...

爬虫管理平台旨在解决大量不同类别爬虫难以管理的问题，能够在一体化平台中部署调度、监控爬虫程序，做到高效数据抓取，让工程师们不再被繁琐的爬虫管理问题所困扰，能够将主要精力放在爬虫开发上。分布式爬虫管理平台 Crawlab 就是为了解决核心问题而诞生的。自去年...

开发产品永远都是既痛苦，又开心的事情。一方面因为不了解用户真实需求、害怕闭门造车、担心技术无法实现而痛苦；另一方面，却会因为取得小小成就、获得用户认可、不断帮助用户解决问题而开心，从而继续坚持下去。Crawlab 就是这样让我既痛苦又开心的开源项目。它从...

RPC（Remote Procedure Call），翻译过来为“远程过程调用”，是一种分布式系统中服务或节点之间的有效通信机制。通过 RPC，某个节点（或客户端）可以很轻松的调用远端（或服务端）的方法或服务，就像在本地调用一样简单。现有的很多 RPC 框架都要求暴露服务端地址，也...

前言 本次更新包括几个部分： 支持界面安装（预装）Python 以外的多种语言环境 更好的安装界面，可以看到多个节点的安装情况 优化 RPC，基于 Redis 延迟队列作为 RPC 更多功能配置 更新日志 功能 / 优化 支持更多编程语言安装. 现在用户可以安装或预装更多的编程语言...

而 Crawlab 作为分布式爬虫管理平台，同样也支持 Kubernetes 部署。Kubernetes 部署适合比较大型的分布式应用，但如果您有几台机器，也是可以实践的，Kubernetes 将降低您管理分布式应用的成本。

前言 本次更新包括几个部分： 更好的支持 Scrapy 爬虫 支持 Git 仓库同步 支持长任务 更好的爬虫管理 更新日志 功能 / 优化 更好的支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435 Git 同步. 允许用户将 Git 项目同步到 Crawlab. 长任务支持...

前言 本次更新主要集中在日志管理、任务触发、爬虫展示等优化，以及加入 Node.js SDK。 更新日志 功能 / 优化 Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中. 日志管理优化. 日志搜索，错误高亮，自动滚动. 任务执行流程优化. 允许用户在触发任务后跳转...

爬虫是一件有趣的事情，让你可以通过爬虫程序自动化的将网上的信息抓取下来，免去了很多人工操作。在一些优质爬虫框架出来之前，开发者们还是通过简单的网络请求+网页解析器的方式来开发爬虫程序，例如 Python 的 requests + BeautifulSoup，高级一点的爬虫程序还会...

Crawlab 是一个基于 Golang 的分布式通用爬虫管理平台，能支持支持 Python、NodeJS、Java、Go、PHP 等多种编程语言以及 Scrapy、Selenium、Puppeer 等多种爬虫框架。Crawlab 的可配置爬虫又可以让你在不到 3 分钟内开发好一个简单的可配置爬虫。Crawlab 的宗旨是让爬...