近年来，随着移动互联网、人工智能、大数据、云计算等新技术的快速发展和应用，人们的工作、沟通和生活方式发生了深刻的变化。数据已成为推动社会发展的新生产要素和各行各业竞争力的重要来源。但在大数据收集过程中，也存在着各种非法和犯罪问题。 *** 爬虫(Web Crawler)近年来，作为一种准确地获取数据信息的基本 *** 技术，近年来受到越来越多的青睐和应用。如何规范它，推动它变得更好，已经成为一个重要的法治问题。
“小爬虫”的“大角色”
又称 *** 爬虫“网页蜘蛛”“ *** 机器人”，它是一个程序或脚本，按照一定的规则自动捕获 *** 信息。它可以模仿手动点击从网站、手机应用程序、小程序或搜索引擎中搜索、提取和存储数据。我们可以生动地将它们理解为爬行在 *** 上的蜘蛛，它们通常遵循程序指令URL(网站)蜘蛛丝在互联网上爬来爬去，寻找和带回所需的数据资源。百度、搜狗、谷歌等知名搜索引擎的核心技术元素之一就是“ *** 爬虫”。例如，百度蜘蛛通过互联网入口爬网页，实时存储和更新索引，然后为用户提供搜索服务。
自1993年之一个 *** 爬虫程序以来——“互联网漫游者”随着 *** 爬虫的发展，这种方便高效的搜索技术引起了业界的关注。特别是随着数据资源的爆炸性增长， *** 爬虫的应用场景越来越广泛和多样化，长期活跃在市场调研、产品研发、金融分析、舆论监控、风险预测等领域。近年来，一些利用爬虫技术为客户提供数据服务的互联网企业也发展迅速。对于个人来说，我们可以使用爬虫软件和其他计算机编程语言，让 *** 爬虫为自己服务。例如，如果你想买一套理想的房子，你可以爬上房地产经纪人的公共信息，分析房屋数据和趋势，以帮助做出决策。
*** 的本质和价值在于连接，其核心是实现数据的流动和共享。 *** 爬虫作为数据捕获的技术工具，通过爬行增强了 *** 节点之间的联系，提高了 *** 的整体价值。它是建立互联网开放和共享概念的重要技术基石。但 *** 爬虫并不总是鲜花和掌声，尤其是当涉及到隐私领地和 *** 安全时。因此，为了规范爬虫，维护 *** 秩序，1994年诞生了“robots.txt协议”，虽然协议只有一个“君子协议”，然而，它逐渐被络空间爬虫技术应用公认的行业标准，也成为判断爬虫是否获得网站许可的主要依据。2014年，百度诉奇虎360违规robots在协议中，法院认为被告没有遵守原告的网站robots协议行为明显不当，应当承担相应的不利后果。
科技异化：“好爬虫”和“坏爬虫”
技术本身就是一种中立的工具，关键在于用户的选择。最初是通过robots协议中，一方获取数据和信息，另一方增加流量和关注度，大家都很开心。robots协议能防“君子”却难防“小人”，一些爬虫程序不遵守规则，随意爬行他人不愿分享的数据信息，占用大量服务器资源，成为“ *** 害虫”。例如，近年来，一些大数据风险控制公司利用爬虫技术非法收集用户个人信息，并将其转售给第三方，以谋取经济利益。
*** 爬虫设计的初衷是通过计算机技术自动编写网站索引，更新信息，为用户提供高效的检索服务。它有三个基本功能：访问、下载和分析（分析和筛选数据）。目前，爬虫作恶主要是前两种功能的异化，体现在三种作恶方式上。
一是恶意抓取非授权数据。访问数据是“ *** 爬虫”行为的起点也是其价值的起源。为了经济利益或其他特殊目的，一些企业或个人试图让 *** 爬虫突破道德规则和技术障碍（网站）“反爬虫”措施)爬取未经授权或超出授权范围的数据。例如，在2018年2月至4月，马通过编写“爬虫”程序，窃取约20万个手机应用程序和网站用户信息，然后通过微信出售给他人，共计非法利润2.4一万元，构成侵犯公民个人信息罪。
二是恶意侵犯知识产权。在数据爬行过程中，一些 *** 爬虫下载、复制或传播文本、图片和视频，并在未经版权所有者许可的情况下获利。一般来说，爬虫在文学或电影和电视作品中设置一个框链接，以吸引用户点击，然后通过销售广告获利。例如，段建立了“窝窝电影”该网站利用爬虫技术为多个视频网站的500多部影视作品设置了框架链接，吸引用户点击播放，赚取100多万元的广告费，违反了作权法。
第三，恶意扰乱系统运行。 *** 爬虫访问系统时，原理与手动点击相同。因此，当大量爬虫同时访问某个网站时，它们会占用大量的带宽资源，导致服务器不堪重负甚至崩溃。业内专家表示，2019年，近40%的 *** 流量来自爬虫，其中20%来自恶意爬虫，比例将继续上升。旅游业是重灾区。中国铁路“12306网站”例如，自2011年推出以来，由于爬虫（主要是抢票软件）攻击，春节旅游高峰期间多次无法访问。据统计，在2018年春节旅游高峰期间，页面浏览量在网站高峰期一天内达到813.4亿次，其中近90%是“爬虫”所为。
合理规制，让“爬虫”向善向上
据统计，截至2020年12月，中国网民规模已达到9.891亿。时代重大命题是加强 *** 空间治理，确保个人信息和数据安全。
目前，我国对 *** 爬虫的监管还没有专门的法律法规，主要依靠《民法典》、《反不正当竞争法》、《作权法》、《 *** 安全法》和《刑法》的有关法律规定。但从法律监管的效果来看，情况并不乐观。一方面，由于互联网技术的快速发展和 *** 的开放性、虚拟性和流动性，难以监督和提取违法犯罪行为的证据，特别是随着数据捕获从网页扩展到移动应用程序、小程序等移动平台，捕获手段更加复杂和隐藏；另一方面， *** 世界和数字服务发展迅速，法律法规滞后，司法实践对 *** 爬虫技术滥用造成的法律问题缺乏足够的司法经验，相关司法解释不够重视，难以形成有效的监管。例如，2017年头条和新浪微博之间“微头条”业务同步“微博”演讲内容的争议案件的本质是数据所有权难以确定的问题。然而，由于缺乏明确的司法解释指导，在实践中引起了普遍的争议。
20192005年5月，国家互联网信息办公室发布了《数据安全管理办法（草案）》，特别规范了利用 *** 进行数据收集、存储、传输、处理和使用的活动，预计将有效控制 *** 爬虫等技术行为。该 *** 强调，国家重视数据安全和发展，鼓励数据安全保护技术的研发，积极促进数据资源的开发利用，确保数据依法有序自由流动。这也提醒我们， *** 爬虫本质上是为了满足数字经济发展的需要，不仅要从法律层面高度重视，而且要把握法律监管的边界，努力实现数据利用与合理监管之间的良性平衡，使 *** 技术更好地服务于经济社会和人民生活，促进数字中国的建设。