岗位职责:
1、负责设计、开发、维护分布式爬虫系统;
2、负责跨平台的数据抓取(app、web等),为公司业务提供稳定正确的数据;
3、负责爬虫系统的后台监控、报警模块的开发;
4、持续完善爬虫框架及性能,保证稳定性及可扩展性。
岗位要求:
1、3年或以上的开发经验,熟练掌握 Python、了解Java/Nodejs的优先;
2、熟悉反中间人攻击,对此有一套成熟的策略;了解安卓或者ios逆向;
3、熟悉 HTML、XPath、正则表达式、AJAX等;
4、具有分布式、多线程/协程/进程的编程经验;
5、有 MySQL, Redis 或 MongoDB 等相关数据库使用经验;
6、有数据意识,有产品数据方面相关经验。
加分项:
1、有大数据开发经验,数仓建模、数据治理经验,或了解相关开发流程;
2、有主流电商网站抓取经验,有模拟登陆、解决账号和ip检测相关问题的经验;