1、负责开发新爬虫和优化现有的爬虫；

2、负责网页信息抓取结果的抽取、数据清洗、分类、聚类等研发工作；

3、负责爬虫平台系统的架构设计与开发以及爬虫核心算法的策略优化研究。

1、 有5年以上Python语言为主的开发经验（必须），精通网页抓取原理及技术；

2、对反爬虫策略，验证码破解（非调用打码平台）等有一定的经验。；

3、 熟悉Mysql数据库开发，熟悉MongoDB、redis；

4、 熟悉html、css、js。