internet-dataset：互联网数据集 48.9G数据

internet-dataset是个互联网数据集的GitHub仓库，是通过作者的搜索引擎sese-engine：sese.yyj.moe运行半年收集到的数据，收集到了不少有用的数据，里面的数据还是有些价值的，于是作者分享了出来。

数据量

数据量正在持续增长中，截至2022年5月大约有48.9G的数据，包含这些内容——

• 域名数据(2.7G)包含6257636个域名，来自1938617个一级域名。
• 网页数据(6.4G)包含53294027个网页。其中有标题的网页有48577906个，有介绍的网页有35971682个。
• 反向索引数据(39.7G)包含17669628个词，每个词对应1~28000个网页。

数据内容

• 域名级别

  • ip
  • 最后访问时间
  • 访问次数 (搜索引擎爬取该域名下页面的次数，数值越高，其他的字段越可靠)
  • 语种 (fasttext的语种识别结果，对该域名下的所有网页滑动平均)
  • 链接 (该域名下的所有网页的指向其他域名的链接，滑动抽样200个左右)
  • ======下面的属性只针对该域名的首页======
  • 重定向
  • https可用
  • 关键词 (频率最高的词)
  • 结构 (将HTML结构映射到字符串，用于过滤模板生成的大量域名)

• 网页级别

  • 网页的标题
  • 网页的介绍 (meta description，截断到256字符)

下载地址

你可以选一个自己喜欢的地方下载:

GitHub Release

OneDrive