1.    负责内容平台分布式网络爬虫系统的设计与研发工作、进行多平台网页、APP等数据的爬取和分析工作；
2.    负责核心数据抓取及存储系统的架构设计、优化；
3.    设计爬虫策略和防屏蔽规则，提升网页和APP的抓取效率和质量。

1.    有1年以上Python爬虫相关经验，精通常用的爬虫网络框架，了解其工作原理及重要组件；
2.    有丰富的解决复杂的反爬限制经验，能解决如图片验证码/滑块/账号限制/IP限制等问题；
3.    熟悉掌握 Scrapy或 Spider 框架的机制和现实、数据存储架构设计；
4.    熟练使用 Python request 模块、xpath、Selenium，BeautifulSoup，正则等；
5.    熟悉mysql数据库、熟悉mysql的各种存储引擎，熟悉索引工作原理；熟悉java语言、有机器学习相关经验者优先。
6.    拥有良好的沟通、交流能力；做事严谨，注重细节。