工作经历:
2020.10-2022.03入职于浙江卓见云科技有限公司,从事爬虫工程师一职,工作内容:
1、采集项目的前期调研、开发、后期维护。
2、负责猎企引擎平台开发及数据支持。
3、负责数据入库及设计。
4、负责解决各类反爬机制不断提升数据爬取系统的自动化水平。
5、通过分布式爬虫的方法来爬取数据。
6、负责爬虫策略和防屏蔽规则,提升网页爬取的效率和质量。
7、 围绕大项目展开发散性的思考、调研
8、维护和优化已有的爬虫服务。
2019.11-2020.10实习于河北人通科技有限公司,从事爬虫工程师一职,工作内容:
1、在团队中负责平台的数据抓取、清洗和更新。
2、负责分布式网络爬虫系统及数据库的设计与开发。
3、负责解决各类反爬机制不断提升数据爬取系统的自动化水平。
4、通过分布式爬虫的方法来爬取数据。
5、负责爬虫策略和防屏蔽规则,提升网页爬取的效率和质量。
6、维护和优化已有的爬虫服务。
|