python爬虫开发工程师

到岗时间：不限 婚况要求：不限 岗位职责：1、负责开发网络爬虫系统以及优化爬虫策略，进行多平台信息的抓取和分析；2、完成数据采集与爬取、解析处理、入库等数据日常工作；3、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议；4、把握网络爬虫核心技术研究方向，研究优化算法，提升爬虫系统的稳定性、可扩展性；5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。任职要求：1. 统招本科以上学历，2年以上爬虫项目经验，计算机相关专业，具备良好的计算机专业知识，扎实的基础算法和数据结构2. 熟悉python语言，具备扎实的编程功底，具有良好的程序设计能力3. 熟悉爬虫原理，熟悉Scrapy、pyspider等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验4. 熟悉Appium、Selenium、PhantomJS 、WebDriver等技术的应用5. 熟练使用 python request、xpath、BeautifulSoup、正则等模块6. 熟悉Django、flask等web框架的使用7. 熟练使用MySQL、MongoDB，熟悉Hadoop、ElasticSearch等技术8. 业务理解和分析转化能力较强，富有进取精神及团队合作精神，责任心强，善于合作沟通，能够承受压力9. 在所在项目至少一年时间为核心技术角色，能很好推动项目与业务发展。