岗位职责：

负责设计和开发网络爬虫系统；

负责网站、网页、公众号等目标链接的数据挖掘，进行数据抓取、提取、清洗、入库；

3、精通网络爬虫核心技术，可根据实际情况优化算法，保障爬虫系统的稳定性；

4、具备设计爬虫策略的能力，保障网页抓取的效率和质量。

岗位要求：

1、本科及以上学历，理工科专业，具有良好的英文阅读能力；

2、2年及以上爬虫开发工作经验；

3、精通网页抓取原理及技术、正则表达式、动态数据抓取、防屏蔽等关键技术；

4、精通WebDriver，掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；

5、精通Python，熟悉Scrapy等爬虫框架，具备应对反爬措施的能力；

6、熟练使用至少一种常用数据库技术，如MySQL、MongoDB、Hbase等。