跳至主要内容

简要分析Hacking Team 远程控制系统

原文来自乌云，备份地址

0x00 前言

7月5日晚，一家意大利远程控制软件厂商HackingTeam的内部数据被泄露出来，其影响力不亚于斯洛登事件及维基解密事件，绿盟科技威胁响应中心随即启动应急响应工作。
6日，威胁响应中心启动应急分析工作，绿盟TAC产品拦截到Flash 0Day漏洞攻击；
6日夜，相关信息及初步建议，第一时间告知客户关注；
7日，在官网网站发布紧急通告，建议广大用户关注事件进展。分析工作进展进展中；
9日，发布Hacking Team远程控制系统简要分析报告；
这是一份快速报告，以便简要分析其中的核心内容，Hacking Team RCS（远程控制系统）。

0x01 泄露：Hacking Team

7月5日晚，一家意大利软件厂商被攻击，其掌握的400GB漏洞（包括0day）数据泄露出来，由此可能引发的动荡，引起了业界一片哗然。数据包中主要包含几个大的部分：
  • 远程控制软件源码，也是其核心，暂且称之为 Hacking Team RCS
  • 反查杀分析工具及相关讨论文档
  • 0Day、漏洞及相关入侵工具
  • 入侵项目相关信息，包括账户密码、数据及音像资料
  • 办公文档、邮件及图片
  • 其他

0x02 Hacking Team

Hacking Team在意大利米兰注册了一家软件公司，主要向各国政府及法律机构销售入侵及监视功能的软件。其远程控制系统可以监测互联网用户的通讯、解密用户的加密文件及电子邮件，记录Skype及其他VoIP通信，也可以远程激活用户的麦克风及摄像头。其总部在意大利，雇员40多人，并在安纳波利斯和新加坡拥有分支机构，其产品在几十个国家使用。

0x03 分析：远程控制系统

大家知道IT运维管理中常常用到远程控制软件，比如Dameware，但Hacking Team RCS相比市面上常见的远程控制软件而言，主要区别如下：
  • 系统化管理该软件从入侵到目标信息收集分析，有完整的体系架构，这个架构中有不同的功能模块，彼此之间相互配合，完成入侵、安装、信息搜集、监控、集中管理等功能。
  • 收集信息该软件在后台收集并上传目标用户的信息，包括各类数据、图片、影音等
  • 入侵工具配合该软件有各种漏洞、利用手段及自动化工具，以便在目标上强制安装Agent
  • 适应能力强桌面OS从Windows到MacOs X，手机OS基本覆盖了市场上流行的系统
  • 反追踪该软件本地及传播过程数据均加密，让追踪者难以找到攻击者
  • 反卸载反查杀该软件Agent不提供卸载方式，并采用各种手段躲避杀毒软件

0x04 Hacking Team RCS系统架构

RCS (Remote Control System)系统是一套用于政府拦截的黑客套件，实现了全平台的监控系统。

RCS主要组件

enter image description here
每一块组件具体的功能如下，
  • Front-End:接收运行在被截取设备上的代理，作为Back-End的隔离屏障，保证RCS安装的安全性。系统要求是Windows 2003 or 2008。
  • Back-end: 是整个设施的核心，它存储所有从代理收集到的数据同时处理从管理控制台传来的请求。所有的RCS数据存储里面一个标准的关系型数据库，因此该服务还提供额外的功能，比如根据客户的要求实现自动备份和定制数据挖掘。系统要求是Windows 2003 or 2008。
  • Management console:RCS的控制台是用于访问和控制所有的远程控制系统（RCS）功能的应用程序。Operators可以授予系统不同等级的访问权限：Admin可以创建用户和组，授予权限，管理调查，审核系统；Technician是创建目标感染、配置/重新配置代理行为的载体；Viewer浏览来自target的信息，对其进行分类或者输出。系统要求是Windows, MacOS X or Linux。
  • Target:RCS Agent是监视目标计算机或智能手机上的软件组件。一旦安装成功，Agent将会通过设备的网络将收集到的数据传送到Front-End，这些数据有很多种类，比如屏幕截图、电话呼叫等。
RCS Agent有两种安装方式：本地以及远程。本地安装主要是通过桌面系统的CD和USB存储设备来引导，或者是智能手机的usb。远程安装则通过Melting tool、Exploit portal、Network Injector以及Remote Mobile Installation。而且每个RCS Agent都可以通过远程命令卸载。
RCS Agents的系统要求：
Windows XP, Vista, 7 (32/64 bit)

MacOs X 10.6 Snow Leopard, 10.7 Lion

Windows Mobile 6, 6.5

iOS 3, 4 (iPhone/iPad)

Symbian S60 3rd and 5th edition
BlackBerry 4.5 or newer Anonymizers目的是隐藏Front End真实IP地址，由于Anonymizers之间的连接数据被完全加密而且没有解密数据，所以可以被放置在任何非信任的网络和国家。
Collection Node 信息搜集功能是通过Collection Node来完成的客户端上传信息的搜集，并且允许客户端从服务器上下载新的配置和插件，这个节点是通过提供ASP服务完成交互的。这个节点是整个控制系统唯一能从外部进行访问的节点，因此对它的保护也非常关键，比如使用防火墙等措施进行一定的隔离，也需要使用到Anonymizer 链来对ASP真实的IP地址进行隐藏。
RSSM(Mobile Collection Node)作为Collection Node的一个补充，通过蓝牙等手段完成Collection Node的功能，并且该节点也会和Collection Node完成同步的过程。
Log Repository Log Repository(RCSDB)是RCS系统的存储部件，存储信息包括：
访问过的网站
文件操作
键盘记录
文档和图片信息
VoIP电话监控(例如skype)
程序执行信息
音频监视
Web摄像头监视
截屏
即时通信（Skype、WindowsLiveMessenge、Wechat等）
剪贴板的信息
密码信息（email账户、WindowsLive账户等）
发送和接收邮件
电话录音
GPS位置
联系人信息
从上面的分析可以看出来，这一次泄露的Hacking Team的各种程序中，比较完整的涵盖了实施攻击各个阶段需要用到的一些控制和利用工具，针对其中的一些较为经典的代码，我们经过研究，给出这些工具包的功能，对使用范围做了大致的描述。在这一套RCS里，针对电话、pc、网络均进行了控制和信息搜集。

0x05 Hacking Team RCS基本功能

电话监控

针对电话监控，开发了针对不同平台的agent程序，下面是一份列表
  • core-winphone:针对 Windows Phone 移动平台的远程控制木马客户端，用于实时收集目标系统状态信息，GPS，通讯录，通话短信记录，日历日程安排等隐私信息，还可以执行录音，截取手机屏幕等定时任务，具有远程打开手机摄像头，开启话筒等功能。
  • core-winmobile:针对已经过时的 Windows Mobile 移动平台的远程控制木马客户端。也是用于收集目标隐私信息，且具有远程控制收集录音，截屏等功能。
  • core-symbian:针对 Symbian 移动平台的远控木马代理，用于收集GPS位置，通讯记录，短消息等敏感记录，并可远程实时监听话筒等功能。
  • core-android-audiocapture:安卓平台下的语音监听工具，通过注入AudioFlinger相关进程达到记录麦克和听筒音频的功能。整个工具包含注入工具hijack、被注入的库libt.so，注入后会记录音频信息到dump文件，黑客通过decoder.py脚本可以将dump文件还原成wav文件。可以在安卓3.x到4.x下运行。
  • core-android:一个安卓下的RCS应用，应该是功能比较完善的工具，可以收集社交软件的信息，应用中还打包了许多利用工具
  • core-blackberry:是黑莓下的RCS软件。

桌面系统监控

  • core-macos:其中包含一个用于Max OS X 平台可执行文件 macho 文件的加壳加密混淆程序。同时还包含针对 Mac OS X 平台的远程控制木马客户端程序，用于收集目标系统网络连接，文件系统等信息，还可以窃取iMessage,Skype,剪贴板等应用的敏感信息，同时还可以键盘记录，截屏，打开摄像头等。
  • core-win32:windows平台木马，主要功能包括：1.窃取主流浏览器如Chrome、FireFox和IE 的Cookies等信息2.对用户GMail、Outlook、Facebook、Twitter、MSN、Skype、ICQ、Yahoo、Google Talk、Mozilla Thunderbird等使用进行监控，收集相关信息收集如：帐号信息、相关联系人信息等。监控的MSN版本从6.0到2011，Yahoo Messager版本从7.x到10.x，ICQ Messenger v7.x 3.对麦克风和摄像头进行监控
  • core-win64:和core-win32对应，同样是windows平台木马，但项目只是包含了64位系统特有的api hook框架.
  • soldier-win:windows平台木马，功能包括：获取目标计算机基本信息窃取浏览器chrome、firefox、IE密码和cookies窃取facebook、gmail、twitter、Yahoo相关信息屏幕监控、摄像头监控等
  • scout-win:windows平台木马，功能相对简单：screenshot、获取目标计算机的基本信息如：CPU，内存，用户名等信息。具有少量简单的反检测机制，如AntiVM、动态获取API地址、黑名单等。子项目VMProtectDumper是针对某一版本VMProtect的脱壳机

辅助入侵功能

为了在target上安装受控端软件并获取主机控制权，还有提供了一些必要的功能
  • driver-macos:包含一个 Mac OS X 平台的内核级 Rootkit ，具有用户进程隐藏，文件系统隐藏等功能，还可以 hook 系统调用， mach_trap_table ，并实时追踪用户空间后门的运行状态。
  • core-packer:用于Windows 平台 PE 可执行文件的加壳,加密混淆程序。
  • core-android-market:应该是安卓下的类似推送新闻的应用，包括一个名为org.benews.BeNews的安卓端的apk应用和本地运行的server，通讯数据为bson格式。apk应用具有自启动功能，会启动推送服务
  • core-android-native:卓相关利用工具的集合，包含了所有安卓4.1版本以前的利用工具，包括了put_user_exploit、towelroot中的利用工具、selinux的利用工具等
  • vector-ipa:ipa是 Injection Proxy Appliance 的缩写, Injection Proxy Appliance是RCS系统一部分。
RCS Injection Proxy Appliance (RCS IPA)是用于攻击的安全设备，使用中间人攻击技术和streamline injection机制，它可以在不同的网络情况下透明地进行操作，无论是在局域网还是内部交换机上。
IPA 可从监控的网络流量中检测HTTP连接，进行中间人攻击，主要有三种攻击方式:注入EXE, 注入html和替换攻击。当监控的HTTP连接命中预先设置的规则时，IPA 将执行注入攻击。IPA 可以设置需要注入的用户(如IP地址)，资源(如可执行文件)等规则。
  • driver-win32:core-win32对应的内核驱动模块，提供功能诸如：权限提升、操作敏感注册表、恢复SSDT等。
  • driver-win64:相对32位版本的驱动，只是注释掉了很多功能代码。
  • vector-silent:木马辅助程序：Dropper和depacker
  • vector-applet:应该是用于挂马的Java Applet。使用的有可能是未知漏洞，漏洞在twostage和weaponized文件夹下的readme中油描述，”通过XMLDecoder获取一个Bridge实例的引用，从而导致一个类混淆”。
  • vector-edk:Intel UEFI（统一可扩展固件接口）BIOS后门植入工具
  • vector-offline2:离线安装RCS工具包，可在物理接触时植入RCS后门。 可将离线安装工具刻录在CD-DVD/USB等可引导介质上，当可物理访问到计算机系统时，可利用该介质启动系统，将后门直接植入计算机中的操作系统中。目前支持对Linux/OS X/Windows系统的离线安装。提供了友好的图形界面，可自动识别计算机上存在的不同操作系统，并可识别每个操作系统上存在的用户，然后可针对不同用户分别植入不同类型的后门。
  • vector-offline:Windows版的离线安装工具源码。
  • vector-recover:一个Windows版的下载器。下载器本身会修改图标和版本信息，将自己伪装成东芝的蓝牙助手工具:btassist.exe。下载器本身会循环访问两个地址的固定URL:GET /gh/3735928545/deadbee2判断下载数据的前32字节是否是”3j9WmmDgBqyU270FTid3719g64bP4s52″，如果是的话会从第33字节开始保存后续数据到临时目录下的msupd64.exe文件中，然后执行该文件。
  • vector-rmi:一个发送WAP PUSH信息的命令行工具，可以将链接以短信形式发送到支持WAP PUSH功能的手机上。可自定义各种参数。

0x06 Hacking Team RCS入侵手段

Hacking Team RCS软件入侵目标，主要通过如下三种方式：
感染移动介质
与很多木马、病毒及流氓软件的传播方式一样，该软件首先还是采取这种低成本的方式进行，感染一些能够接触目标的移动媒体，比如CD-ROM、USB等，即便是OS 或者BIOS设置了密码也一样可以感染，从而获取一些环境数据，比如电脑是否可以上网等，为后续的动作提供参考依据。
代理攻击
采用软件或硬件的系统，能够在网络会话过程中修改和注入数据，在某些情况下，可以注入到系统并难以被检测到。同时，也能够感染Windows平台上的可执行文件，如果目标电脑从网站上下载并执行这些可执行文件时，Agent将在后台自动安装，用户不会知晓。
APT
如上两种方式都无法奏效的时候，就会采用多种形式组合入侵，采用相关的漏洞、入侵工具及更多利用手段，详细的分析及防护方案，在后续的报告中呈现。

0x07 Hacking Team RCS信息上传

用于搜集客户端搜集信息的上传通道，是一个强加密和需要认证的通信过程，同时整个上传通道的设计是基于复杂网络环境的，考虑到防火墙、带有域认证功能的代理等等，会通过模仿一个正常用户浏览web的过程来进行这一些操作。
信息搜集功能是通过Collection Node来完成的客户端上传信息的搜集，并且允许客户端从服务器上下载新的配置和插件，这个节点是通过提供ASP服务完成交互的。这个节点是整个控制系统唯一能从外部进行访问的节点，因此对它的保护也非常关键，比如使用防火墙等措施进行一定的隔离，也需要使用到Anonymizer 链来对ASP真实的IP地址进行隐藏。
RSSM(Mobile Collection Node)作为Collection Node的一个补充，通过蓝牙等手段完成Collection Node的功能，并且该节点也会和Collection Node完成同步的过程。
标签：

Popular posts from 产品随想的博客

产品随想 | 周刊 第116期：Great things in business are never done by one person.

Cromite   https://github.com/uazo/cromite Cromite a Bromite fork with ad blocking and privacy enhancements; take back your browser! awesome-shizuku   https://github.com/timschneeb/awesome-shizuku Curated list of awesome Android apps making use of Shizuku KernelSU   https://github.com/tiann/KernelSU A Kernel based root solution for Android Love, Hate or Fear It, ​​TikTok Has Changed America   https://www.nytimes.com/interactive/2024/04/18/business/media/tiktok-ban-american-culture.html?unlocked_article_code=1.mE0.DpEZ.VWmNssw5B6_c "My model for business is The Beatles.There were four guys who kept each others, kind of, negative tendencies in check. They balanced each other, and the total was greater than the sum of the parts. And that's how I see business. You know, great things in business are never done by one person. They're done by a team of people. "Our motivation is simple--we want to provide the most advanced and innovative platform to our developers, and we wa...
阅读全文

产品随想 | 读《中国是部金融史》：第一章 此朝无钱胜有钱（周朝）

第一章 此朝无钱胜有钱（周朝） 姬旦选择了当时最有效、最简单的统治方式—一封建：为确保对国家的统治，姬且共封七十一国，其中姬姓五十三国，封国在地方替周王管理属国。 封建封建，封而建之。 对权力没有任何制约的西周，“王德〞是封建统治者最后的底线。这种“王德”对天命的畏惧延续了周王朝近千年的生命，此后，无论春秋五霸如何强盛，都只能挟天子以令诸侯，再强的诸候都必须获得王室认可。这一点，颇类似于西欧或者日本王位干年一系，绝不是“皇帝轮流做，明年到我家”的强盗逻辑。 司马迁之所以大骂周厉王，原因还在于周厉王推行了“专利”制度。其实，西周铭文甚至后世典籍始终都没说清楚究竟周厉王的“专利”是个什么东西，只是说他“专山林川泽之利”。周厉王很可能把诸候的山林川泽收归国有（自己所有)，凡是在山上砍柴的、打猎的都要向王室纳税。看起来，周厉王敛财是确定无疑的，所以，司马迁认为此人是一个暴君。不是周厉王贪婪，而是王室实在太穷了。 西周王室失去了财富、失去了王德，也很快会失去江山。 失去“王德”的社会，人们只会臣服于强人，只有利益才是真正的信仰。也就是说， 这个时候的西周几乎是一种丛林社会，只有赤裸裸的暴力才能制约这些诸候了。对诸侯来说，周总王不过就是一个名号，没-起喝过酒、没一起拼过命，凭什么要听你的命令？ ──复用下作者的句式：失去“法律”的社会，人们只会沉醉于拜金。 管仲告诉我们，强国、弱国最大的区别是强国的钱都在黎民百姓手里，弱国的钱却在国王的钱箱子里。这一点，颇类似于穷国和富国的区别，穷国只想抢老百姓的钱，富国却在想养如何让老百姓赚钱。 ──思考：我们的钱，在哪里？ 周幽王死后，周平王为了躲避犬我，东迁至东都洛邑，中国开始了春秋时代。但无论春秋诸侯多么强盛，都要举起周王室大旗，所以，春秋在中国历史上也被称为“东周” 真正的强国，震慑敌闲的不只是万乘之师，还有无法超越的经济实力。强国经济之强，必然源自园内公平的经济环境，能为国民提供一个自由创造的空间。即使弱国拒绝承认强国的地位，甚至试图与强国平起平坐，也永远无法护绝强国对本土的经济渗透。 ──瞬间想到美国 无论弱国多么不情愿，强国货币都一定会流进他的地盘。在古代，一种曾经广泛流通的货币必然有大量文物存世，春秋货币则主要包括布币、刀币和蚁鼻钱三个体系。在中国史籍中经常提到“春秋五霸”，不过“春秋五霸”有很多种版本。顺着本书的逻辑， 我们...
阅读全文

《Becoming Steve Jobs》Chapter 15 The Whole Widget

What the world did see was an effective and visionary leader at the height of his powers. These were complicated years for Apple, but Steve handled almost every challenge in exactly the manner he wanted. He had fallen into leadership at such a young age, but he was comfortable in that role now, and justifiably sure of his capacity to guide Apple’s tens of thousands of employees to the goals he set for them. During these years, he would ensure the company’s continued success in personal computers by engineering a deft switch to a new kind of microprocessor; ruthlessly and successfully managing some major transitions in his executive team; and optimizing and building upon the efficiency and ambition of the company’s product development “treadmill,” as Tim Cook describes it. This is also when he delivered what is likely to be remembered as the most notable product of his life, the iPhone, and then improved even that by pivoting once again into a strategy he personally had not wanted to pu...
阅读全文

产品随想 | 周刊 第117期：He saw the intersection of art and science and business and built an organization to reflect that.

He disliked biography attempts. “I regard my scientific papers as my essential biography,’’ Land said. “I pour my whole life into the scientific project I’m investigating. I leave behind the things I’ve done in the past to do the work in the present.’’ “The purpose of inventing instant photography was essentially aesthetic,’’ Land said in 1947, announcing the process’s invention. “We live in a world changing so rapidly that what we mean frequently by common sense is doing the thing that would have been right last year.” — Edwin Land, Statement to Polaroid Corporation employees (25 June 1958) The worldview he was describing perfectly echoed Land’s: “Market research is what you do when your product isn’t any good.” And his sense of innovation: “Every significant invention,” Land once said, “must be startling, unexpected, and must come into a world that is not prepared for it. If the world were prepared for it, it would not be much of an invention.” Thirty years later, when a reporter ask...
阅读全文

Hacking Team武器库

之前百度盘上公开了部分Hacking Team工具，自己一直没有看懂，今天在泉哥博客上看到他对于武器库的几篇文章，mark一下
阅读全文

产品随想 | 周刊 第51期：Never let a good crisis go to waste

Products Paperless-ngx   https://github.com/paperless-ngx/paperless-ngx A community-supported supercharged version of paperless: scan, index and archive all your physical documents 自架设服务，文档聚合 Tube Archivist on YouTube   https://github.com/tubearchivist/tubearchivist Your self hosted YouTube media server 自托管YouTube流媒体播放 Emby Server Emby Server is a personal media server with apps on just about every device. 自己掌控流媒体 Pointless   https://github.com/kkoomen/pointless An endless drawing canvas desktop app made with Tauri (Rust) and React 无限画布白板工具，Tauri构建，跨多端 PWA LIST   https://www.pwalist.app/ 一些好玩的PWA应用，有些还不错 Pomofocus 番茄钟 Song Search “Find me a song by lyrics.”   https://songsear.ch/ Nanopi Openwrt   https://github.com/klever1988/nanopi-openwrt Openwrt for Nanopi R1S R2S R4S R5S 香橙派 R1 Plus 固件编译 纯净版与大杂烩 Project ImmortalWrt   https://github.com/immortalwrt/immortalwrt An opensource OpenWrt variant for mainland China users. China用户专用......心情复杂 YAOF   ht...
阅读全文

李录推荐阅读书单

李录推荐阅读书单 李录在《文明、现代化、价值投资和中国》的最后，列出了他推荐阅读的一些书目。这个书目的含金量非常之高，是培养一个多层次有深度思维很好的参考，特整理如下。 一. 科学、哲学、进化、人类文明史、人类历史 1. 《枪炮、病菌与钢铁：人类社会的命运》，贾雷德·戴蒙德 2. 《西方将主宰多久》，伊恩·莫里斯 3. 《文明的度量：社会发展如何决定国家命运》，伊恩·莫里斯 4. 《群的征服》，爱德华·奥斯本·威尔森 5. 《无穷的开始：世界进步的本源》，戴维·多伊奇 6. 《真实世界的脉络：平行宇宙及其寓意》，戴维·多伊奇 7. 《理性乐观派：一部人类经济进步史》，马特·里德利 8. 《科学发现的逻辑》，卡尔·波普尔 9. 《开放社会及其敌人》，卡尔·波普尔 10. 《自私的基因》，理查德·道金斯 11. 《人类简史：从动物到上帝》，尤瓦尔·赫拉利 12. 《文明》，尼尔·弗格森 13. 《当下的启蒙》，史蒂芬·平克 14. 《心智探奇：人类心智的起源与进化》，史蒂芬·平克 15. A history of knowledge, Charles Van Doren 16. 《神的历史》，凯伦·阿姆斯特朗 17. 《为什么佛学是真实的》，罗伯特·赖特 18. 《思考，快与慢》，丹尼尔·卡尼曼 19. Creating the Twentieth Century, Vaclav Smil 20. Transforming the Twentieth Century, Vaclav Smil 二. 中国文明、历史、文化 1. 《先秦诸子系年》，钱穆 2. 《中华文化十二讲》，钱穆 3. 《史记（白话本）》，司马迁 4. 《白话二十五史精选》，李解民等 5. 《四书章句集注》，朱熹 6. Waiting for the Dawn, William Theodore de Bary 7. 《中国的自由传统》，狄百瑞 8. 《万古江河——中国历史文化的转折和开展》，许倬云 9. 《黄宗羲全集》 10. 《余英时文集》 11. 《思想和人物》，林毓生 12. 《曾国藩全集》 13. 《万历十五年》，黄仁宇 14. 《天安门：知识分子与中国革命》，史景迁 15. The Search for Modern China, 史景迁 16. 《中国官僚政治研究》，王亚南 17. 《中...
阅读全文

《深度学习推荐系统》By 王喆

  推荐序言 深度学习/机器学习，爆发于2015年 算法能力+工程能力 1992年，施乐创建了应用协同过滤算法的推荐系统 本书for：推荐、广告、搜索领域的从业者/爱好者 第1章 互联网的增长引擎──推荐系统 不同业务模式的公司定义的具体推荐系统优化目标不同，例如，视频类公司更注重用户观看时长，电商类公司更注重用户的购买转化率(Conversion Rate，CVR ) YouTube推荐系统的主要优化目标就是观看时长，而不是CTR 工程论文：Deep Neural Networks for YouTube Recommenders 大致流程：构建深度学习模型，预测用户观看某候选视频的时长，按照预测时长进行候选视频的排序，形成最终的推荐列表 淘宝首页：千人千面（即使是1%的CTR提高，也会到来数十亿元收入增加） 推荐系统逻辑框架：f(U,I,C), User, Item, Context 推荐系统数据部分：实时数据、准实时数据、离线数据 推荐系统模型部分：召回层、排序层、补充策略与算法层（排序层是工业界与学术界研究的核心） 第2章 前深度学习时代──推荐系统的进化之路 UserCF: 基于用户相似度进行推荐的协同过滤算法 互联网用户数的增长会导致矩阵维护复杂度急剧上升 用户的历史数据可能稀疏（导致UserCF不适用于酒店预订、大件商品购买等低频应用） 适用于发现热点、以及跟踪热点的趋势 ItemCF：基于物品相似度进行推荐的协同过滤算法 更适用于兴趣变化较为稳定的应用 协同过滤的天然缺陷：推荐结果的头部效应较明显 其它模型：矩阵分解、逻辑回归、FM、FFM、GBDT+LR、LS-PLM (细节已经要看不懂了) 第3章 浪潮之巅──深度学习在推荐系统中的应用 Google Play的推荐团队，基于对业务场景的深刻理解，提出了Wide&Deep模型 这张属于看不懂那种类型 第4章 Embedding技术在推荐系统中的应用 Not Interested 第5章 多角度审视推荐系统 从7个不同的角度切入推荐系统 推荐系统如何选取和处理特征 召回层的主要策略有哪些？ 实时性的重要性体现在哪里？有哪些提高实时性的方法？ 如何根据具体场景构建推荐模型的优化目标 如何基于用户动机改进模型结构 冷启动问题的解决方法有哪些 什么是探索与利用问题？有哪些主流的解决方法 第...
阅读全文

Bilibili Q2 2023 Earnings Call Transcript

Moving on to our community growth. Our DAUs increased by 15% year-over-year to 96.5 million in the second quarter, driving our DAU to MAU ratio up to 29.8%. In the second half of this year, we plan to shift our video watching metric from video views to video time spent, which will help our users discover more high-quality content on Bilibili. In addition, we are exploring new live broadcasting products to create more paying channels for our users, including live celebration events. We expect our ongoing integration activities to support our revenue growth in the second half of 2023. Our top five advertising verticals in the second quarter were games, e-commerce, digital products and home appliances, skincare and cosmetics, and food and beverage. 五大Top广告垂类 In the meantime, we have seven new titles that we plan to release in domestic and overseas markets in the second half of the year, including the highly anticipated game Pretty Derby 期待7款游戏能红火一波 We cut sales and marketing expenses by 2...
阅读全文

产品随想 | 陪读《芯片战争》：一、二章

作者其它书也值得读读 已出版《食用油营销第1书》《金龙鱼背后的粮油帝国》《鲁花：一粒花生撬动的粮油帝国》《手机战争》等财经书籍。 第一章 从晶体管到芯片 肖克利要创业的消息，就像17世纪的牛顿宣布要建立工场一样引起了轰动。那时候，美国还在草创时期的半导体产业主要集中在东部的波士顿和纽约长岛地区，许多科学家和工程师精英都慕肖克利之名前往美国西海岸，不远千里地聚集在肖克利旗下。可以这么说，肖克利给硅谷带来了最初的火种。 ——我也認可這個說法，不是斯坦福或其他校園，純粹是人才的原因 芯片发明后的六年间，政府对芯片项目的资助高达3200万美元，其中70%来自空军。同期美国半导体产业的研发经费有约85%的比例来自政府，政府的支持成就了美国在半导体领域的技术优势。“华盛顿通过支付技术研发费用和保证最终产品的市场份额，将原子弹最终制造成功的间隔缩短至六年，晶体管缩短至五年，集成电路缩短至三年。”不过，这些半导体企业实力壮大以后，往往不愿再参与美国政府出资的研发项目，因为那意味着专利权归政府所有，而且还得受保密条款的约束。 ——這纔是更合理的產業支持政策 诺伊斯采用激进的价格政策，将主要芯片产品的价格一举降到1美元，不仅是市场上的主流芯片价格的零头，还低于当时芯片的成本。这不是传统意义上的亏本倾销，而是第一个以反摩尔定律为定价依据的案例。反摩尔定律认为，同样的芯片在18个月后价格就会跌一半，所以按照几年后的价格为当前的芯片定价是有一定合理性的。市场被迅速打开，芯片很快在民用市场得到越来越广泛的应用，仙童的营收和利润都迅速上升，还带动了其母公司的股价上涨。摩尔后来评论：“诺伊斯以低价刺激需求，继而扩大产能、降低成本的策略，对于芯片产业的发展而言，其重要性堪比芯片的发明。” ——看到這裏的時候，真是非常震撼，好厲害的定價策略 东通工用磷渗透法研发出了高频的晶体管，于1957年做出世界上第一款袖珍收音机，并在这款产品上启用了索尼商标。盛田昭夫到美国去推销袖珍收音机的时候，德州仪器刚刚轻率地放弃了这个市场。美国人对盛田昭夫说：你们为什么要制造这种小收音机？美国人都想要大收音机。盛田昭夫回答：单单纽约就有20多家广播公司，同时就有20多套节目在播放，每人使用一台小收音机收听自己喜欢的节目，岂不更好？索尼用“一人一台”的宣传成功打破了美国人全家共用一台大型收音机的观念，成为全世界最畅销的收音机...
阅读全文