岗位职责：
1、负责信息抓取，结果的抽取、数据清洗、分类、聚类等工作；
2、负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库；
3、研究各种网页探寻特点和规律，负责网页信息抽取、数据清洗工作；
4、负责领域知识的定向爬取、深度提取和挖掘；
5、配合数据清洗、整理、去重和合并工作；
6、设计爬虫策略与算法，提升抓取效果；
7、负责爬虫相关技术的创新和优化。
 
任职要求：
1、全日制大专以上学历，计算机相关专业，3年以上爬虫领域工作经验；
2、精通网页抓取原理及技术、正则表达式、动态数据抓取、防屏蔽等关键技术；
3、使用PHP语言进行爬虫
4、熟悉TCP/IP、HTTP、HTTPS等网络协议，熟悉web前端，可读懂js/css/html等代码；
5、熟悉MySql/PostgreSQL/MongoDB/Redis等常用数据库或缓存的一种；
6、熟悉反爬机制，能够通过逆向js脚本，获取参数，熟悉使用正则表达式/验证码加密处理/代理池，熟悉行为验证码识别、模拟登陆。