数据爬虫开发工程师

数据爬虫开发工程师上海全职研发职位描述1、遵循robots协议，负责爬虫和反爬能力的建设与优化，满足各类业务数据需求。 2、负责爬虫系统的任务调度，数据抓取、解析，大数据平台存储等全流程优化。 3、利用大模型和正则技术解决网页信息抽取难题，提升目标数据的抓取效果与性能。职位要求1、本科及以上学历，2年以上爬虫抓取采集相关工作经验。 2、熟悉主流爬虫技术和框架，如Selenium/Puppeteer/Scrapy/PhantomJS等。 3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力。 4、熟悉常见反爬封禁策略，并具备相关的实战经验。 5、有良好的逻辑思维性，有良好的抗压能力和自驱能力。投递