过去几个月里,我们一直在改进实时爬虫产品。现在,Oxylabs高兴地宣布,我们即将带来爬虫新产品!上一代产品的单一解决方案虽然出色,但为了满足客户在不同场景下的需求,我们将推出不同定位的3款工具:SERP爬虫API、电商爬虫API和网络爬虫API。今天这篇文章就带大家一起来了解新产品的独到之处。
有哪些变化?
实时爬虫是网络抓取行业中最早出现的数据采集工具之一,专门用于大规模采集电子商务公共数据和搜索引擎数据。它帮助过许多公司轻松收集公共数据,而现在我们的产品性能更加出色。
“我们根据实时爬虫的不同功能,分别开发出3款专用爬虫工具。这样我们得以有针对性地进行产品开发,从而为客户提供整体性能和使用体验更加优越的产品。”
– Aleksandras Šulženko, Oxylabs爬虫API产品经理
从现在开始,实时爬虫已衍生为一组稳健的爬虫API,其中每一款都能充分发挥特定优势:
- SERP爬虫API
- 电商爬虫API
- 网络爬虫API
产品功能优化
所有爬虫API的共同特点和优势,是都能帮助公司轻松采集公共数据:
- 100%数据交付成功率
- 专利代理切换工具
- 高可扩展性
- 可轻松集成
- 超过1亿零2百万个IP
- 按用户首选格式交付数据(AWS S3或GCS)
- 24/7全天候实时支持
当然,每款产品都有各自的针对性优势:
SERP爬虫API | 电商爬虫API | 网络爬虫API |
●本地化的搜索结果●实时可靠数据●不受SERP布局变化影响 | ●数千家电商网站可供数据抓取●自适应解析器●JSON格式的结构化数据 | ●请求参数可定制●JavaScript渲染●便捷的数据交付 |
“最好的一点是爬虫API让您摆脱代理管理的烦扰,专注数据分析。”
新外观
现在,3款爬虫API都有展示其特定用途的新标志,可以轻松识别:
沿用以前的集成方式
为了方便我们的现有客户和本次更新前试用过我们产品的潜在客户使用,我们决定沿用之前的集成和身份验证方式,以及相同的请求参数。
SERP爬虫API身份验证方式
SERP爬虫API采用基本HTTP身份验证方式,仅需用户名和密码。这是启用此工具最简单的方式之一。以下代码示例展示如何通过实时(Realtime)方式发送GET请求,从搜索引擎抓取公共数据。如需了解更多信息,请查看SERP爬虫API快速指南。
*对于这个示例,您必须指定确切来源以查找可用来源。详情请参考SERP爬虫API文档。
电商爬虫API身份验证方式
电商爬虫API采用基本HTTP身份验证方式,仅需用户名和密码。以下代码示例展示如何通过实时交付方式,发送GET请求至books.toscrape.com
网络爬虫API身份验证方式
和以前的爬虫一样,SERP爬虫API也采用基本HTTP身份验证方式,仅需用户名和密码。以下代码示例展示如何通过实时交付方式,发送GET请求至https://ip.oxylabs.io
我们希望这篇帖子可以帮助您了解,为什么我们决定将实时爬虫改为3款不同工具,以及各款爬虫API分别有哪些精彩功能。