跳至主要内容

超级情报收集工具库:开源验证和调查工具及使用方法


欢迎来到免费提供的数字工具和方法列表~ 用于我们的信息验证和开源情报研究 #OSINT。工具很重要,它们能让您的智慧得到更充分的发挥。技术是强大的实力,正义的公民力量完全可以取代那些不专业的“媒体”。一起来,挖掘真相!


该列表包括卫星和地图服务、用于验证照片和视频的工具、用于存档超链接的网站等等,以及很多“小邪恶”的技术。名单有点长,但是,后面更精彩!附有一些简短的指南,更详细地突出了这些工具的用法。对于一些比较复杂的工具,我们将在后面的文章中详细介绍其用法。感谢 bellingcat 的伟大发现。
大多数工具非常容易记住,它们的名字就是它们的用途。
我们将尽可能少的推测您可以用这些工具来做什么,为避免限制您的创造力。相信您可以找到它们最佳的使用计划。一切为了正义的目的哦。

— — 地图,卫星图像和街景 — —

针对 人为或自然灾难、战争、救援、大型群体事件(尤其是造成冲突的时候)、杀戮、种族清洗运动、边境动态……等等状况的调查,拿到证据以便追究责任,这些工具非常有用。
Bing Maps:Microsoft 卫星和地图服务。拥有比谷歌更新更快分辨率更高的图像;缺点是检查图像的日期比较难;
converting coordinates:这是一个转换地理坐标的工具;
Copernicus:欧洲航天局的网站以及哥白尼六哨兵卫星的图像。比 Landsat 的分辨率更高。请参阅网站 GISGeography 上有关如何下载和免费图像的说明;
Descartes Labs:一种商业服务,每天从公共和商业图像提供商处收集数据,对记者的调查来说有很好的帮助;
DigitalGlobe:卫星图像供应商。通过 catalogus 预览,非常容易使用的搜索工具;
DualMaps:将 Google 的路线图、鸟瞰图和街景视图结合在一个嵌入式工具中。探照灯一般
EarthExplorer:来自美国地质局。主要提供美国图像。提供对 Landsat 卫星数据以及 NASA 土地数据产品和服务的访问。 USGS 全球可视化查看器(GloVis)提供遥感数据。USGS 档案包含完整且维护良好的 NASA Landsat 数据集。
EOS Landviewer:EOS Landviewer 提供最多 10 张图片的免费服务。更多图像和分析以折扣价提供给记者。联系方式:Artem Seredyuk artem.seredyuk@eosda.com。 EOS 正在开发一项暂时被称为 EOS Media 的服务,该服务将提供免费图像和主要自然灾害分析。
ESA Earth Online:整合欧洲航天局关于温度、农业和冰盖等主题的地球观测数据。
find2places:允许在给定半径内以精确的距离查询两个特定位置的 Google Maps API。用于地理定位照片和视频。这是个脚本,用户界面还不那么好看。关联我们的文章《用于信息验证的基本地理定位工具
Geograph:地理配准图像。
GeoNames:位置名称数据库。多语种的,以及各种不同的拼写。
GeoVisual Search:搜索引擎,允许用户直观地查询图像以获得类似的地理特征。这个笛卡尔实验室的平台建立在 Landsat、国家农业图像计划(NAIP)和 PlanetScope 的卫星图像基础上。这里读到关于如何使用它的说明。
Google Earth Pro:添加 Bing 地图卫星图像图层。优点是有历史图像。
Google Earth Engine:开放式卫星图像和分析框架。实际上,从 NASA,NOAA,USGS 等收集的任何卫星图像都是可用的。可能略有些粗糙,不是高分辨率的商业图像。用 Javascript 学习曲线。
Google Maps:StreetView、美国欧洲许多大城市都可见,以 3D 为蓝本。缺点是没有历史卫星图像,但许多地方都有历史街景图像
HERE WeGo:对于中东事件调查来说,它有比谷歌最近的卫星图像。
Mapchecking:计算所选 Google 地图区域中的人数。单击地图以添加点并绘制区域。集会、群体事件、或者救灾……等等,都适用。
Mapillary:众包街道照片。是对 Google Streetview 的有用补充。不过对于中东地区来说不好用,在叙利亚、伊拉克等国家几乎找不到。
NASA EarthData:WorldView 允许从 NASA 可视化近实时的图像。优势很多,各种卫星和航拍图像; 广泛的搜索标准; 以及其他地图和可视化工具,例如用于火灾事件调查的 FIRMS,等等。可访问十几个 NASA 数据中心和相关的卫星数据产品。美国宇航局地球观测:大气、陆地、海洋、能源、环境等 50 多个数据集。
Old Maps Online:通过世界各地的众多数据库查找旧地图。易于使用,与 DigitalGlobe 目录类似的浏览。
OpenStreetCam:正如其名。
OpenStreetMap:正如其名。
Radiant Earth:非营利组织,帮助全球发展社区发现、探索和分析卫星、无人机和航空图像档案
Resource Watch:一个仍处于测试阶段的非营利平台,提供有关地球资源和公民状态的数百个数据集。由世界资源研究所和其他组织赞助。资源监视数据是免费的,用户可以下载数据。
Sentinel Hub Playground:Sentinel 2 / Landsat 图像的用户友好平台。每 5–10 天更新一次新图像,能够探索各种 GIS 变量,例如 NDVI 或 NDWO。 EO 浏览器有助于延时审查。缺点是一般分辨率低至10m / px。
TerraServer:卫星图像供应商。最高分辨率(0.3m)。预览高分辨率卫星图像要付费。
Wikimapia:与地理位置相关的众包信息。可以在 Google / Bing / OSM 之间切换。大量的 UCG 信息。可能有点滞后,需要在视图搜索后刷新页面。

— — 基于地理的搜索 — —

验证信息真伪、跟踪事件发展
Animaps:创建自定义动画地图。优点是有可用于调查的时间线记录,不过维护的不大好。
Echosec:基于地理的搜索。比如来自社交媒体的信息 Twitter,VKontakte,Foursquare 的查证。缺点是不能查 Facebook、正版 Instagram。
Liveuamap:冲突新闻的互动实时地图。现有各种国家:阿富汗,伊拉克,叙利亚,美国,乌克兰,委内瑞拉等,别的工具挖不到的国家这里可以。
Photo-Map.RU:可以查证带有地理标记的 VKontakte 帖子。和 SnRadar 作用一样。
Twitter:在搜索框中插入 地理编码:[coordinates],[radius-km],例如:geocode:36.222285,43.998233,2km (only works with km, so 500m = 0.5km) 大部分时间能找到你想要的东西。缺点是,定位容易造假,需要结合其他信息以验证。
WarWire:基于地理定位的搜索。验证来自社交媒体如 Twitter, VKontakte, Instagram 的帖子

— — 图像、视频和元数据 — —

眼见不一定为实。信息被造假了吗?真相是什么?
Amnesty YouTube Dataviewer:反转图像(以及视频)搜索,找到精确的上传时间。缺点是搜索包含多个静止图像,而不是每个帧(因此可能有些东西被略掉了)
Exiftool:读取和操作大量文件类型的元数据。注意:没有 GUI。优点是 Floss、Cross平台,非常容易集成在脚本中。目前只能用于GNU / Linux。
Foca:提取元数据用的。基于 Windows,2017 年开源。缺点是没有本机 linux 支持(需要在 linux 中安装 wine)
FotoForensics:一个图像取证工具。基于 web, 使用简单。缺点是只能公共访问。
GooFile:也是提取元数据的工具,也很方便使用。缺点是在 Kali 以外不能很好地工作。
Image Forensics:基于 Web 的图像取证工具。可以轻松识别伪造或篡改的图像。也是只能公共访问。
InVID:这是一个验证插件,以帮助记者验证图像和视频。上下文数据、元数据、反向搜索(谷歌,Yandex)、图像取证等。
Irfanview:提取元数据的工具。基于 Windows。缺点是不支持 Linux。
Jeffrey’s Image Metadata Viewer:在线提取元数据的工具。只需要 Web 浏览器就可以。但也是只能公共访问。
Reveal Image Verification Assistant:提供八个过滤器来检测静止图像的变化。基于 Web 的图像工具。也可在 InVID 验证插件中使用。
reverse image search:在互联网上找到类似的图像。非常容易使用。推荐插件:RevEye
SpiderPig:提取元数据。命令行界面和脚本很棒。但是使用需要一点技术知识
Splunk:也是提取元数据。可以报告等级分析和演示。缺点是设置和部署不太简单。

— — 社交媒体 — —

社交媒体是挖掘真相的金矿。对于不同平台来说工具不同,要找到趁手的挖掘工具需要点研究。
1、对于 Facebook
Graph.tips:自动高级搜索 Facebook 个人资料。
Who posted what?:查找 Facebook 帖子。
IntelTechniques:用于分析 Facebook 个人资料和页面的各种工具。
Facebook livemap:搜来自全世界各地的现场直播
Search Tool:按名称、电子邮件、屏幕名称和电话查找帐户。
StalkScan:每个 Facebook 个人资料的自动高级搜索。
Video Downloader Online:下载 Facebook 视频。
Skopenow:社交媒体调查 — 姓名、电话、电子邮件、用户名搜索。
2、Instagram
Websta:在特定地点附近的 Instagram 数据库中查找其他位置。使用带有位置 ID 的直接 URL,例如 websta.me/location/116231
StoriesIG:下载 Instagram 消息的工具。
Save Instagram Stories:允许您对已保存的报道进行用户名搜索。
3、LinkedIn
Socilab:可视化和分析您自己的 LinkedIn 网络。
4、Reddit
F5Bot:当 Reddit 上提到某个关键字时,向您发送电子邮件。
5、Snapchat
Snap Map:可搜索的地理标记 Snap 地图。
6、Tumblr
Tumblr Originals:查找每个 Tumblr 的原始帖子,从而排除 reblogs。
7、Twitter
InVID verification plugin:InVID 插件按时间间隔提供 Twitter 高级搜索。允许在没有 API 和时间限制的情况下记录过去的用例。允许在突发新闻后搜索用户定义的时间范围内的内容。在Twitter高级搜索中自动执行日历日期和 Unix 时间戳之间的转换。在这里看到:https://youtu.be/nmgbFODPiBY


Fake video news debunker by InVID

Onemilliontweetmap:推文地图每个地点最长 6 个小时,关键字搜索选项。
Treeverse:Chrome 扩展程序,可视化 Twitter 对话。
Tweetreach:找到推文的范围。提供高级搜索运算符,与 Google 高级搜索相同。关于谷歌的运算符我们将来会有专门的文章详细介绍!
Twitter advanced search:查找日期、关键字等等。
Twitter geobased search:地理编码:[coordinates],[radius-km],例如:geocode:36.222285,43.998233,2km
Twlets:在 Excel 工作表中下载任何人的推文,关注者、及点赞的内容。使用方便快捷,还有一个 Chrome 扩展程序。最多可获得 3,200 条推文,关注者和点赞。
quarter tweets:基于地理位置的 Twitter 搜索。
8、YouTube
Amnesty YouTube Dataviewer:反转图像(视频静止)搜索以及精确上传时间。搜索一些静止画面而不是每个帧(因此可能省略了结果)。
Geo Search Tool:根据位置搜索 YouTube 视频。

— — 运输信息 — —

你知道这意味着什么。它们非常有用。当社交网络上人们将名人、政客、军队等相关出行和调遣的消息发布并传播时,你可以查证那些东西究竟是真是假,并且能比其他人更切实地做到对重要信息的跟踪
1、空运
AirNav RadarBox:跟踪航班,包括私人的和军用的喷气式飞机。一个 Windows PC 软件和硬件包,允许在模拟雷达屏幕上看到适当装备的飞机。小型接收器通过 USB 连接到 PC,使用提供的小型天线检测飞机。通过解码来自飞机的 ADS-B 传输,这些飞机以类似于空中交通管制所使用的显示器显示在计算机上。航班号,飞机类型,高度,航向,速度每秒都可见并更新。
ADS-B Exchange Global Radar:跟踪航班,包括一些军用飞机。你懂的。
FlightAware:世界上最大的航班跟踪网站。一家总部位于德克萨斯州休斯顿的全球航空软件和数据服务公司。 该公司运营着一个网站和移动应用程序,可以在美国,加拿大,澳大利亚和新西兰提供私人和商用飞机的免费航班跟踪。
FlightRadar24:这个是最常用的。跟踪(民用)航班。付费版可以返回12个月的档案
PlaneFinder:基于英国的实时航班跟踪服务,能够显示有关航班开销以及全球航班的数据。用户可获得的数据包括:航班号,飞机移动速度,旅行高度和目的地。该服务的几种变体可用作移动应用程序,包括免费,高级 3D 和增强现实版本。 Web 浏览器可以访问航班跟踪地图和数据库。
2、海运
MarineTraffic:一个开放的,以社区为基础的项目,提供有关船舶运动的实时信息以及船舶在港口和港口的当前位置。船舶信息数据库包括,例如,船舶建造地点和船舶尺寸,总吨位和国际海事组织编号的详细信息。用户可以提交其他用户可以评价的船只照片。 基本的 MarineTraffic 服务可免费使用;更多高级功能可供支付。
3、铁路
Trains:欧洲各国铁路网络的完整互动地图。想想“一带一路”……
4、其他
WikiRoutes:公共交通数据库。wiki 应用 — — 世界公共交通数据库由人们根据维基媒体的原则编辑。添加您所在城市的路线,该路线会立即显示在网站和移动应用中。

— — 日期和时间 — —

科学方法,判断信息真伪
SunCalc:在给定的一天里在给定的位置显示阳光的移动。细橙色曲线是当前的太阳轨迹,周围的黄色区域是一年中太阳轨迹的变化。点越靠近中心,地平线上方的太阳越高。上面时间滑块上的颜色显示白天的阳光覆盖范围。根据一段视频或多张声称连续的照片,推断发布者的声称是否真实。
Wolfram|Alpha:由 Wolfram Research 公司推出的一款在线自动问答系统。其特色是可以直接向用户返回答案,而不是像传统搜索引擎一样提供一系列可能含有用户所需答案的相关网页。基于 Wolfram 早期旗舰产品 Mathematica,一款囊括了计算机代数、符号和数值计算、可视化和统计功能的计算平台和工具包开发的。其数据来源包括学术网站和出版物、商业网站和公司、科学机构等等,例如中央情报局出版物《世界概况》、康奈尔大学图书馆出版物《All About Birds》、《Chambers Biographical Dictionary》、道琼斯公司、Catalogue of Life、 CrunchBase、百思买 、美国联邦航空管理局、美国地质调查局等……你知道它有多强大。

— — 个人,WhoIs,IPs,网站分析 — —

网络战
Passive DNS:是 DNS 历史信息的一个截片,是 DNS 数据的一种应用方式,简单的 Passive DNS 的例子如下图所示,是域名和 IP 的映射表。Passive DNS 能够回答的问题包括,域名指向哪些地址,域名服务器管理过哪些域名等等。


恶意域名和合法域名的 DNS 行为有着很大的差异,而这种差异能通过 Passive DNS 数据体现出来。恶意域名的特点有很多,如 DNS 记录 TTL 值偏小、IP 池更新快、IP 网段丰富等等。 目前的使用 Passive DNS 比较优秀的工作有 EXPOSURE、Notos 和 FluxBuster 等等。
Censys.io:完整的互联网连接设备知识!Censys 会持续监控 Internet 上每个可访问的服务器和设备,以便您可以实时搜索和分析它们,了解你的网络攻击面,发现新的威胁并评估其全球影响。通过数据驱动安全。
Censys 跟 Shodan 和中国的 ZoomEye 类似,可以搜索世界范围内的联网设备。Shodan 和 ZoomEye 是个人用的比较多的两款。
Censys 与 Shodan 相比是一款免费搜索引擎,当然也有一定的限制(速度和搜索结果),而新改版后的 ZoomEye 对中国的搜索结果做了“处理”,几乎没有什么价值了。
DNS History:就是它的名字,收集历史 DNS 信息。免费,简单易用。有时可用性有限。
DNS cyrillic check:检查恶意域名或西里尔域名是否已注册。免费,简单易用。
DNS Trails世界上最大的历史 DNS 数据存储库。该站点包含对大约3万亿条 DNS 记录,30亿条 WHOIS 记录和 4.18 亿个主机名的数据库的访问权限。所有这些都是自 2008 年中期以来每天收集的。可能会为您返回最多的数据。免费,简单易用。
Geo IP Tool:这是给你自己的。检查您自己的 IP,方便检查您的 VPN 是否正常工作 🔐。
Shodan物联网搜索引擎!可以找到大量错误配置的网络连接设备。有些人还将其描述为服务横幅的搜索引擎,服务横幅是服务器发送回客户端的元数据。这可以是关于服务器软件的信息,该服务支持的选项,欢迎消息或客户端在与服务器交互之前可以找到的其他内容。
SpyOnWeb:用于通过其跟踪代码检索网站。一个不断抓取网站追踪代码,名称服务器和其他信息的网站,所以它能帮助显示网站之间的连接。他们的 API 有许多定价层,从免费开始一直到每月69.95美元。
Whois:用于域名搜索和信息,whois.net 或 whois.icann.org
此外还有:人物搜索!

— — 存档,下载和 Internet 存储 — —

保留证据!
Archive.is:存档任何网页。一个私人资助的数字时间胶囊网站。会根据版权所有者的合乎数字千年版权法案(DMCA)的撤除请求移除已归档的页面。每次请求都会捕捉网页的文字内容,加载不含活动元素或脚本的 Web 2.0 网站或由 JavaScript 产生的图片与框架内容。 截图是 1024×768 像素,没有弹出窗口。 archive.is 还支持了 Memento Project 的 API,并且开发了 Firefox 浏览器与 Chrome 浏览器的插件。
参见我们以前的文章《留下证据:如何存档开源材料?#OSINT
DMCA:搜索删除通知。
Gruber:Slideshare下载器。太多介绍了不赘述。
Historic Breach Database List:看一眼这个链接就明白了。
Wayback Machine:档案网站。从 Wayback Machine 下载整个网站。「网际网路档案馆」(Internet Archive)旗下的一项网页保存计划,事实上它也正在纪录每分每秒不断改变的网路生态。每周透过网路爬虫(Crawler)抓取超过十亿个网页内容!运用大量伺服器、频宽来提供服务并极力节省资料大小,因此可以在网站上找到非常古老的网页备份。
Wayback Machine 亦提供线上「网页备份」功能,只要输入要备份的网页网址,就能将它撷取下来,产生一个独立且永久保存的网址,未来还能在 Wayback Machine 以时光机功能来随时回顾不同时间点自动抓取备份的网页内容。
Wayback Machine for Github:查找和搜索何时以及谁做了什么!简单易用。

— — “杂技” — —

非常重要!!
BlockExplore:跟踪比特币线索或跟随比特币账户。
Check:协作事实核查。核查任何事件的真伪!在这里看到更多资源。
Document Redaction:用于在查看之前删除 Pdfs 中可能有害的内容,例如追溯。
Google Search Operators:例如搜索特定文件类型(例如 PDF)或特定网站。我们后面将有文章详细介绍具体用法!
Hunch.ly:自动收集所有访问过的网站!专为在线调查而设计的唯一网络捕获工具。Hunchly 自动收集、记录和注释您访问的每个网页。非常强大的调查工具,要付费哦。
Insecam网络直播 IP 摄像机目录!你懂的。世界上最大的在线监控安全摄像机目录。选择一个国家观看实时街道,交通,停车场,办公室,公路,海滩,地球在线网络摄像头。现在,您可以搜索世界各地的实时网络摄像头。你可以在这里找到 Axis,松下,Linksys,索尼,TPLink,Foscam和许多其他网络摄像机在线没有密码。建议使用 Mozilla Firefox 浏览器观看网络摄像机。
为了保护个人隐私,Insecam 采取了以下行动:
  • - 只有过滤的相机现在可用。这样 Insecam 上的摄像机都不会侵犯任何人的私生活。
  • - 任何私人或不道德的相机将被立即删除电子邮件投诉。打开一个直接链接,以帮助促进迅速删除相机。
  • - 如果您不想通过电子邮件与我们联系,您仍然可以从 Insecam 中删除您的相机。你唯一需要做的是设置你的相机的密码。
  • - 您可以添加您的相机到目录。只有在管理员批准后才能使用。摄像机的坐标是近似的。它们指向 ISP 地址,而不是摄像机的物理地址。此信息仅精确到几百英里。提供的坐标仅用于定位相机所在的城市,但不是准确的位置或地址。
LittleSis:一个免费的数据库,了解在商业和政府层面的人际关系。一个草根监督网络,连接世界上最强大的人和组织之间的点。调查任人唯亲,利益冲突和系统腐败的独特资源!
通过跟踪政治家、商业领袖、游说者、金融家及其附属机构的关键关系,为有影响力的社交网络带来透明度。
所有这些信息都是公开的,但是很分散,调查者很难找到。这个站点将它们集中在一个地方。数据来自政府文件、新闻文章和其他信誉良好的来源。一些数据集会自动更新; 其余部分由用户社区填写。
Lumen:收集和分析法律投诉和删除在线资料的请求,帮助互联网用户了解他们的权利并理解法律。这些数据使用户能够研究法律威胁的普遍性,并让互联网用户看到内容删除的来源。
Maltego :交互式数据挖掘工具,用于呈现链接分析的有向图。用于在线调查,以查找来自互联网上各种来源的信息之间的关系。非常强大!
比起其它的情报收集工具,Maltego 显得格外不同并且功能强大,因为它不仅可以自动收集到所需信息,而且可以将收集的信息可视化,用一种格外美观的方式将结果呈现给使用者。你可以看到许多有用的信息,比如 DNS 信息,邮件服务器,IP,用户,电子邮箱ID,网络等。
Montage:用于协同工作。让您能够将注意力集中在分析而不是数据收集上。
Malicious URL Tester:测试未知的 URL。为了安全。
OpenCorporates:世界各地的公司数据库。里面包含了 1.38 亿家企业和 1.76 亿员工的信息,而且还在不断更新。
Tor Site Searcher:通过 clearnet 搜索隐藏的 tor 网站。你懂的。
TimelineJS by Knight Lab:制作事件的互动时间表。透过工作表 (google document spreadsheet),直觉的栏位设计,在填完资料后即可透过 TimelineJS 的网路介面输出时间表。
具备整合网路资源及网路多媒体及的特性,非常适合网站提供动态网页时间表与使用者互动,虽然制作过程中,时间表网站的操作介面没有中文,但是时间表的相关讯息支援中文内容,而设定中文语系的参数后,时间表本身也会呈现中文的日期
Visual timeline creator:点击链接,一看就明白!
Unknown Hash ID:在调查时,如果你遇到哈希但不知道它是什么(为保证进一步调查)这个工具帮你确定类型。
Zoopla:使用英国领先的资源搜索房产。浏览房屋和公寓出售和出租的情况,并找到任何地区的房地产经纪人。中国人正在全球买房,尤其是富人(你知道中国富人的钱是怎么来的)所以……它非常有用。
— — 关于战争 — —
冲突武器研究所开放的名为“Itrace”的指南,以地图格式图形化地展示了各种弹药和武器的大量信息,这里:itrace.conflictarm.com
— — 数据可视化 — —
DataBasic.io:适用于初学者的 Web 工具,介绍使用数据的概念。这些简单的工具使您可以轻松地以有趣的方式处理数据,因此您可以学习如何找到要讲述的精彩故事。页面很萌哈。
DataWrapper:易于使用的图表和绘图工具。
Google Fusion Tables:数据融合表是 Google 提供的用于数据管理的网络服务。 Fusion 表格可用于收集,可视化和共享数据表格。数据存储在多个互联网用户可以查看和下载的表格中。
RAWGraphs:免费的 webtool 可以快速可视化您的数据。基于 D3.js 的开源工具,不用代码,只需要导入数据,设置一些条件就可快速生成。而且可以导出 svg 格式的图片,也就是说用 RAWGraphs 生成的图片后期可以轻松地用 AI 或者 PPT 来进一步对其进行编辑。
Open Desktop Semantic Search:能很好地搜索非结构化数据。
TrustServista:在线新闻验证和可视化工具!

— — 安全工具! — —

— — 其他 — —
https://socialbearing.com/ :很多 Twitter 统计数据,非常有用;
Namechk.com:非常适合使用用户名识别在线帐户。只需插入用户名,此工具即可识别所有使用该名称的用户的位置。
好啦,你的锦囊就在这里!如果一名声称专业的调查记者、追求正义的公民、社交工程师、捍卫真相的民间组织,不能熟练使用上述工具中的 50%,说明他们完全不“专业”。
结束被欺骗蒙蔽的厄运,扭转信息封锁造成的无知,知情权是基本公民权,希望更多有志之士加入 #OSINT 一起来捍卫这一民主的根基。
如果您有更多的工具推荐,欢迎在留言中交流!本列表将不断得到补充;如果您是开发者,欢迎援引本指南的思路,开发出更多更适合中国公民社会使用的调查工具。我们将很高兴协助您推荐这些作品。

Popular posts from 产品随想的博客

产品随想 | 周刊 第116期:Great things in business are never done by one person.

Cromite   https://github.com/uazo/cromite Cromite a Bromite fork with ad blocking and privacy enhancements; take back your browser! awesome-shizuku   https://github.com/timschneeb/awesome-shizuku Curated list of awesome Android apps making use of Shizuku KernelSU   https://github.com/tiann/KernelSU A Kernel based root solution for Android Love, Hate or Fear It, ​​TikTok Has Changed America   https://www.nytimes.com/interactive/2024/04/18/business/media/tiktok-ban-american-culture.html?unlocked_article_code=1.mE0.DpEZ.VWmNssw5B6_c "My model for business is The Beatles.There were four guys who kept each others, kind of, negative tendencies in check. They balanced each other, and the total was greater than the sum of the parts. And that's how I see business. You know, great things in business are never done by one person. They're done by a team of people. "Our motivation is simple--we want to provide the most advanced and innovative platform to our developers, and we wa...

产品随想 | 读《中国是部金融史》:第一章 此朝无钱胜有钱(周朝)

第一章 此朝无钱胜有钱(周朝) 姬旦选择了当时最有效、最简单的统治方式—一封建:为确保对国家的统治,姬且共封七十一国,其中姬姓五十三国,封国在地方替周王管理属国。 封建封建,封而建之。 对权力没有任何制约的西周,“王德〞是封建统治者最后的底线。这种“王德”对天命的畏惧延续了周王朝近千年的生命,此后,无论春秋五霸如何强盛,都只能挟天子以令诸侯,再强的诸候都必须获得王室认可。这一点,颇类似于西欧或者日本王位干年一系,绝不是“皇帝轮流做,明年到我家”的强盗逻辑。 司马迁之所以大骂周厉王,原因还在于周厉王推行了“专利”制度。其实,西周铭文甚至后世典籍始终都没说清楚究竟周厉王的“专利”是个什么东西,只是说他“专山林川泽之利”。周厉王很可能把诸候的山林川泽收归国有(自己所有),凡是在山上砍柴的、打猎的都要向王室纳税。看起来,周厉王敛财是确定无疑的,所以,司马迁认为此人是一个暴君。不是周厉王贪婪,而是王室实在太穷了。 西周王室失去了财富、失去了王德,也很快会失去江山。 失去“王德”的社会,人们只会臣服于强人,只有利益才是真正的信仰。也就是说, 这个时候的西周几乎是一种丛林社会,只有赤裸裸的暴力才能制约这些诸候了。对诸侯来说,周总王不过就是一个名号,没-起喝过酒、没一起拼过命,凭什么要听你的命令? ──复用下作者的句式:失去“法律”的社会,人们只会沉醉于拜金。 管仲告诉我们,强国、弱国最大的区别是强国的钱都在黎民百姓手里,弱国的钱却在国王的钱箱子里。这一点,颇类似于穷国和富国的区别,穷国只想抢老百姓的钱,富国却在想养如何让老百姓赚钱。 ──思考:我们的钱,在哪里? 周幽王死后,周平王为了躲避犬我,东迁至东都洛邑,中国开始了春秋时代。但无论春秋诸侯多么强盛,都要举起周王室大旗,所以,春秋在中国历史上也被称为“东周” 真正的强国,震慑敌闲的不只是万乘之师,还有无法超越的经济实力。强国经济之强,必然源自园内公平的经济环境,能为国民提供一个自由创造的空间。即使弱国拒绝承认强国的地位,甚至试图与强国平起平坐,也永远无法护绝强国对本土的经济渗透。 ──瞬间想到美国 无论弱国多么不情愿,强国货币都一定会流进他的地盘。在古代,一种曾经广泛流通的货币必然有大量文物存世,春秋货币则主要包括布币、刀币和蚁鼻钱三个体系。在中国史籍中经常提到“春秋五霸”,不过“春秋五霸”有很多种版本。顺着本书的逻辑, 我们...

《Becoming Steve Jobs》Chapter 15 The Whole Widget

What the world did see was an effective and visionary leader at the height of his powers. These were complicated years for Apple, but Steve handled almost every challenge in exactly the manner he wanted. He had fallen into leadership at such a young age, but he was comfortable in that role now, and justifiably sure of his capacity to guide Apple’s tens of thousands of employees to the goals he set for them. During these years, he would ensure the company’s continued success in personal computers by engineering a deft switch to a new kind of microprocessor; ruthlessly and successfully managing some major transitions in his executive team; and optimizing and building upon the efficiency and ambition of the company’s product development “treadmill,” as Tim Cook describes it. This is also when he delivered what is likely to be remembered as the most notable product of his life, the iPhone, and then improved even that by pivoting once again into a strategy he personally had not wanted to pu...

产品随想 | 周刊 第117期:He saw the intersection of art and science and business and built an organization to reflect that.

He disliked biography attempts. “I regard my scientific papers as my essential biography,’’ Land said. “I pour my whole life into the scientific project I’m investigating. I leave behind the things I’ve done in the past to do the work in the present.’’ “The purpose of inventing instant photography was essentially aesthetic,’’ Land said in 1947, announcing the process’s invention. “We live in a world changing so rapidly that what we mean frequently by common sense is doing the thing that would have been right last year.” — Edwin Land, Statement to Polaroid Corporation employees (25 June 1958) The worldview he was describing perfectly echoed Land’s: “Market research is what you do when your product isn’t any good.” And his sense of innovation: “Every significant invention,” Land once said, “must be startling, unexpected, and must come into a world that is not prepared for it. If the world were prepared for it, it would not be much of an invention.” Thirty years later, when a reporter ask...

Hacking Team武器库

之前百度盘上公开了部分Hacking Team工具,自己一直没有看懂,今天在泉哥博客上看到他对于武器库的几篇文章,mark一下

产品随想 | 周刊 第51期:Never let a good crisis go to waste

Products Paperless-ngx   https://github.com/paperless-ngx/paperless-ngx A community-supported supercharged version of paperless: scan, index and archive all your physical documents 自架设服务,文档聚合 Tube Archivist on YouTube   https://github.com/tubearchivist/tubearchivist Your self hosted YouTube media server 自托管YouTube流媒体播放 Emby Server Emby Server is a personal media server with apps on just about every device. 自己掌控流媒体 Pointless   https://github.com/kkoomen/pointless An endless drawing canvas desktop app made with Tauri (Rust) and React 无限画布白板工具,Tauri构建,跨多端 PWA LIST   https://www.pwalist.app/ 一些好玩的PWA应用,有些还不错 Pomofocus 番茄钟 Song Search “Find me a song by lyrics.”   https://songsear.ch/ Nanopi Openwrt   https://github.com/klever1988/nanopi-openwrt Openwrt for Nanopi R1S R2S R4S R5S 香橙派 R1 Plus 固件编译 纯净版与大杂烩 Project ImmortalWrt   https://github.com/immortalwrt/immortalwrt An opensource OpenWrt variant for mainland China users. China用户专用......心情复杂 YAOF   ht...

李录推荐阅读书单

李录推荐阅读书单 李录在《文明、现代化、价值投资和中国》的最后,列出了他推荐阅读的一些书目。这个书目的含金量非常之高,是培养一个多层次有深度思维很好的参考,特整理如下。 一. 科学、哲学、进化、人类文明史、人类历史 1. 《枪炮、病菌与钢铁:人类社会的命运》,贾雷德·戴蒙德 2. 《西方将主宰多久》,伊恩·莫里斯 3. 《文明的度量:社会发展如何决定国家命运》,伊恩·莫里斯 4. 《群的征服》,爱德华·奥斯本·威尔森 5. 《无穷的开始:世界进步的本源》,戴维·多伊奇 6. 《真实世界的脉络:平行宇宙及其寓意》,戴维·多伊奇 7. 《理性乐观派:一部人类经济进步史》,马特·里德利 8. 《科学发现的逻辑》,卡尔·波普尔 9. 《开放社会及其敌人》,卡尔·波普尔 10. 《自私的基因》,理查德·道金斯 11. 《人类简史:从动物到上帝》,尤瓦尔·赫拉利 12. 《文明》,尼尔·弗格森 13. 《当下的启蒙》,史蒂芬·平克 14. 《心智探奇:人类心智的起源与进化》,史蒂芬·平克 15. A history of knowledge, Charles Van Doren 16. 《神的历史》,凯伦·阿姆斯特朗 17. 《为什么佛学是真实的》,罗伯特·赖特 18. 《思考,快与慢》,丹尼尔·卡尼曼 19. Creating the Twentieth Century, Vaclav Smil 20. Transforming the Twentieth Century, Vaclav Smil 二. 中国文明、历史、文化 1. 《先秦诸子系年》,钱穆 2. 《中华文化十二讲》,钱穆 3. 《史记(白话本)》,司马迁 4. 《白话二十五史精选》,李解民等 5. 《四书章句集注》,朱熹 6. Waiting for the Dawn, William Theodore de Bary 7. 《中国的自由传统》,狄百瑞 8. 《万古江河——中国历史文化的转折和开展》,许倬云 9. 《黄宗羲全集》 10. 《余英时文集》 11. 《思想和人物》,林毓生 12. 《曾国藩全集》 13. 《万历十五年》,黄仁宇 14. 《天安门:知识分子与中国革命》,史景迁 15. The Search for Modern China, 史景迁 16. 《中国官僚政治研究》,王亚南 17. 《中...

《深度学习推荐系统》By 王喆

  推荐序言 深度学习/机器学习,爆发于2015年 算法能力+工程能力 1992年,施乐创建了应用协同过滤算法的推荐系统 本书for:推荐、广告、搜索领域的从业者/爱好者 第1章 互联网的增长引擎──推荐系统 不同业务模式的公司定义的具体推荐系统优化目标不同,例如,视频类公司更注重用户观看时长,电商类公司更注重用户的购买转化率(Conversion Rate,CVR ) YouTube推荐系统的主要优化目标就是观看时长,而不是CTR 工程论文:Deep Neural Networks for YouTube Recommenders 大致流程:构建深度学习模型,预测用户观看某候选视频的时长,按照预测时长进行候选视频的排序,形成最终的推荐列表 淘宝首页:千人千面(即使是1%的CTR提高,也会到来数十亿元收入增加) 推荐系统逻辑框架:f(U,I,C), User, Item, Context 推荐系统数据部分:实时数据、准实时数据、离线数据 推荐系统模型部分:召回层、排序层、补充策略与算法层(排序层是工业界与学术界研究的核心) 第2章 前深度学习时代──推荐系统的进化之路 UserCF: 基于用户相似度进行推荐的协同过滤算法 互联网用户数的增长会导致矩阵维护复杂度急剧上升 用户的历史数据可能稀疏(导致UserCF不适用于酒店预订、大件商品购买等低频应用) 适用于发现热点、以及跟踪热点的趋势 ItemCF:基于物品相似度进行推荐的协同过滤算法 更适用于兴趣变化较为稳定的应用 协同过滤的天然缺陷:推荐结果的头部效应较明显 其它模型:矩阵分解、逻辑回归、FM、FFM、GBDT+LR、LS-PLM (细节已经要看不懂了) 第3章 浪潮之巅──深度学习在推荐系统中的应用 Google Play的推荐团队,基于对业务场景的深刻理解,提出了Wide&Deep模型 这张属于看不懂那种类型 第4章 Embedding技术在推荐系统中的应用 Not Interested 第5章 多角度审视推荐系统 从7个不同的角度切入推荐系统 推荐系统如何选取和处理特征 召回层的主要策略有哪些? 实时性的重要性体现在哪里?有哪些提高实时性的方法? 如何根据具体场景构建推荐模型的优化目标 如何基于用户动机改进模型结构 冷启动问题的解决方法有哪些 什么是探索与利用问题?有哪些主流的解决方法 第...

Bilibili Q2 2023 Earnings Call Transcript

Moving on to our community growth. Our DAUs increased by 15% year-over-year to 96.5 million in the second quarter, driving our DAU to MAU ratio up to 29.8%. In the second half of this year, we plan to shift our video watching metric from video views to video time spent, which will help our users discover more high-quality content on Bilibili. In addition, we are exploring new live broadcasting products to create more paying channels for our users, including live celebration events. We expect our ongoing integration activities to support our revenue growth in the second half of 2023. Our top five advertising verticals in the second quarter were games, e-commerce, digital products and home appliances, skincare and cosmetics, and food and beverage. 五大Top广告垂类 In the meantime, we have seven new titles that we plan to release in domestic and overseas markets in the second half of the year, including the highly anticipated game Pretty Derby 期待7款游戏能红火一波 We cut sales and marketing expenses by 2...

产品随想 | 陪读《芯片战争》:一、二章

作者其它书也值得读读 已出版《食用油营销第1书》《金龙鱼背后的粮油帝国》《鲁花:一粒花生撬动的粮油帝国》《手机战争》等财经书籍。 第一章 从晶体管到芯片 肖克利要创业的消息,就像17世纪的牛顿宣布要建立工场一样引起了轰动。那时候,美国还在草创时期的半导体产业主要集中在东部的波士顿和纽约长岛地区,许多科学家和工程师精英都慕肖克利之名前往美国西海岸,不远千里地聚集在肖克利旗下。可以这么说,肖克利给硅谷带来了最初的火种。 ——我也認可這個說法,不是斯坦福或其他校園,純粹是人才的原因 芯片发明后的六年间,政府对芯片项目的资助高达3200万美元,其中70%来自空军。同期美国半导体产业的研发经费有约85%的比例来自政府,政府的支持成就了美国在半导体领域的技术优势。“华盛顿通过支付技术研发费用和保证最终产品的市场份额,将原子弹最终制造成功的间隔缩短至六年,晶体管缩短至五年,集成电路缩短至三年。”不过,这些半导体企业实力壮大以后,往往不愿再参与美国政府出资的研发项目,因为那意味着专利权归政府所有,而且还得受保密条款的约束。 ——這纔是更合理的產業支持政策 诺伊斯采用激进的价格政策,将主要芯片产品的价格一举降到1美元,不仅是市场上的主流芯片价格的零头,还低于当时芯片的成本。这不是传统意义上的亏本倾销,而是第一个以反摩尔定律为定价依据的案例。反摩尔定律认为,同样的芯片在18个月后价格就会跌一半,所以按照几年后的价格为当前的芯片定价是有一定合理性的。市场被迅速打开,芯片很快在民用市场得到越来越广泛的应用,仙童的营收和利润都迅速上升,还带动了其母公司的股价上涨。摩尔后来评论:“诺伊斯以低价刺激需求,继而扩大产能、降低成本的策略,对于芯片产业的发展而言,其重要性堪比芯片的发明。” ——看到這裏的時候,真是非常震撼,好厲害的定價策略 东通工用磷渗透法研发出了高频的晶体管,于1957年做出世界上第一款袖珍收音机,并在这款产品上启用了索尼商标。盛田昭夫到美国去推销袖珍收音机的时候,德州仪器刚刚轻率地放弃了这个市场。美国人对盛田昭夫说:你们为什么要制造这种小收音机?美国人都想要大收音机。盛田昭夫回答:单单纽约就有20多家广播公司,同时就有20多套节目在播放,每人使用一台小收音机收听自己喜欢的节目,岂不更好?索尼用“一人一台”的宣传成功打破了美国人全家共用一台大型收音机的观念,成为全世界最畅销的收音机...