ScrapeCon 2023即将在2023年11月7日开幕，这是一个聚焦于Web数据采集的重要会议。本次会议将汇集业界专家和领导者，共同探讨Web数据采集的最新趋势、技术和法律挑战。以下是本次会议的重要议程介绍。
- Web数据的现状：2023年亮点和2024年展望
本节将由我们的首席执行官开场，他将深入探讨2023/2024年Web数据采集的现状，揭示当前面临的挑战和机遇。同时，我们还邀请到 Kaggle.com 的联合创始人和前首席执行官 Anthony Goldbloom，以及 The Norton Law Firm 的合伙人和前英特尔公司亚太及日本区副总裁兼总法律顾问 Jo Levy，共同参与讨论。他们将深入研究基于 ChatGPT 这样的基础 AI 模型的法律环境，探讨数据采集的未来。 - 编码、修改还是购买？工程师进行Web数据采集项目时的考虑因素
在执行Web数据采集之前，无论您是为业务收集关键数据还是在小型网站上运行兼职项目，都需要在开始之前提出正确的问题。本节将解答以下问题：
- 如何判断建立自行的采集器或购买托管的定制数据集对我的需求是否合适？
- 哪些工具最适合我的技术栈和能力？
- 是否有可靠的现成数据集或API满足我特定的需求？
- 如果不需要开发采集器，只需要获取数据，作为开发人员我该怎么办？
- 高管操作和财务方面的最佳实践：关键数据采集的优化策略
本节将邀请一线科技高管，深入探讨大规模数据采集的操作细节。主题包括：
- 关键数据的重要性以及领先组织如何利用它获取运营和竞争优势。
- 操作模式的演变：权衡自建与外包解决方案。
- 资源配置：关于预算、基础设施、人员和工具的决策框架。
- 面临的挑战和解决方案：克服数据采集的当前障碍。
- 数据集成：了解如何将公共数据与其他数据源结合，获得更丰富的洞察力。
- 超越IP封禁和验证码：解锁困难网站的高级技术
本节将深入探讨Web数据采集的复杂性及其解决方案，旨在为工程师提供策略和实际编码示例。内容包括：
- 基础知识：了解不同类型的封禁，如IP封禁和验证码，及其解决方案。
- 代理选择：评估各种代理网络，了解它们的优势和劣势。
- 实时编码：现场构建和修复采集器，包括网络性能和静态IP的挑战解决示例。
- 高级工具：介绍应对难以处理的网站封禁和搜索引擎结果页面采集的工具，并展示如何从错误到成功的实时转换。
- 从点击到捕获：掌握浏览器交互技术
本节将重点介绍为需要进行浏览器交互的采集项目的从业者。内容包括：
- 基础设施概述：了解多步骤采集的组成部分，包括服务器设置、浏览器配置和代理管理。
- 实时API演示：改进Puppeteer、Playwright和Selenium采集器，学习如何处理多个浏览器实例。
- 实际应用：使用Node.js创建一个适用于电子商务的Puppeteer脚本，并使用Cheerio解析HTML。
- 调试和成本管理：使用Chrome DevTools进行调试，并学习管理运营成本的策略。
- 领导AI（LLM）：CTO、CDO和VP R&D的Web数据采集策略
本节将深入探讨大型语言模型（LLMs）在Web数据采集领域的变革力量。内容包括：
- 智能商品化：探索快速发展的先进技术，让强大的AI工具面向所有人。
- LLMs与Web数据：了解LLMs与公共Web数据采集之间的协同作用。
- 实际应用：了解LLMs在数据采集、验证、丰富和洞察力提取方面的帮助。
- 解读炒作：区分即用型技术和尚在开发中的技术。
- AI的未来：获得AI和数据科学领域即将到来的趋势见解。
- 构建可靠数据集的蓝图：模式、验证和质量
本节将详细介绍创建可靠数据集的方法，包括数据质量、结构和适应性的保证。内容包括：
- 基于AI的模式创建：定义数据结构、设置和参数。
- 样本审核：系统化的数据样本审核方法。
- 数据集刷新和导出：更新数据集的技术和各种导出方法。
- 数据验证：设置规则以确保数据的准确性和一致性。
- 应对变化：应对网站结构变化的策略。
- 重新解析技术：重新分析和调整数据以提高灵活性的方法。
- 从AI驱动洞察到训练LLMs：掌握用于AI用例的数据集 – 逐步指南
本节将深入讨论从选择数据集到提取AI驱动洞察的过程。内容包括：
- 如何选择与AI目标相适应的数据集。
- 如何通过规则、数据类型和自定义验证确保数据准确性。
- 展示数据集利用的真实案例。
- 数据集与Snowflake的无缝集成。
- 提取和分析针对特定用例的洞察。
- 从零开始构建防护强大的采集器：采集IDE实战指南
本节将帮助开发人员掌握为开发人员量身打造的专业采集IDE所需的技巧和概念。内容包括：
- IDE基础知识：深入了解用户界面、内置函数和解析器部分。
- 高效解析：利用NodeJS使用DOM API和Cheerio库。
- 浏览器机制：了解无头浏览器和Chrome DevTools协议。
- 简化的采集：重点关注数据提取以及封装的功能。
- 网络洞察：捕获和分析网络流量的技术。
- 交互式网页技术：从按钮点击到DOM过滤的实现。
- 设备仿真：模拟不同的移动设备以满足各种采集需求。
- 实时演示：现场演示所讨论的概念的应用。
- 实际应用案例：重点介绍IDE在电子商务价格跟踪等项目中的适用性。
- Scraping Projects Spotlight：展示最佳的采集项目
本节将专注于解析一个我们收到并获得我们真正认可的出色采集项目。
请加入我们的代码为中心的会话，一同庆祝2023年最杰出的Web数据采集项目。
- 从初始请求到最终分析：Web数据项目的完整流程
本节将以动态的现场专家小组讨论形式展开，涵盖Web数据项目的整个范围。内容包括：
- Web数据采集基础知识：深入了解最适合高效Web采集的语言、框架和工具。
- 精通网站解封技术：学习具有韧性的采集技术、了解挑战并发现成熟的解决方案。
- 深入数据分析：关于数据库优化、数据准备和引人入胜的数据叙事的技巧。
- 揭示驱动AI的技术：将AI集成到采集中，并利用前沿AI工具提升数据分析。
在这个由业界最受喜爱和尊敬的专家组成的小组中，您将获得专业见解、实用策略和一些开发人员的幽默。从业界顶尖人物那里获得有关Web数据项目的洞察力，提升自己在业务中的Web数据项目。
ScrapeCon 2023将为与会者提供全面的Web数据采集知识，涵盖技术、法律、操作和最佳实践等方面。与会者将有机会与业界专家互动、分享经验，并了解最新的趋势和技术。无论您是从事数据采集的工程师、技术领导者还是对Web数据感兴趣的专业人士，本次会议将为您带来宝贵的见解和启发。
