祖师爷 · Founder

Learning Transferable Visual Models From Natural Language Supervision ICML · ⭐⭐⭐

教 AI 同时认图和认字，把 4 亿对网上图文塞进同一张坐标。之后你说"一只猫"，它就能从新图里挑出猫——不用为新任务再训一遍。

Flamingo: a Visual Language Model for Few-Shot Learning NeurIPS · ⭐⭐⭐⭐

教一个会聊天的 AI 也学会看图，给它看两三个示范，它就能照着做新题。

LLaVA: Visual Instruction Tuning NeurIPS · ⭐⭐

给一个只会打字聊天的 AI 装上眼睛——你随手拍张照片发过去，它能看着图陪你说话。

SayCan: Do As I Can, Not As I Say CoRL · ⭐⭐

让"见多识广但出不了门的 AI"出主意，让机器人自己摸口袋说"这事我现在能做"，两边都点头才动手——AI 出嘴，机器人出手，两个分数相乘选下一步。

Inner Monologue: Embodied Reasoning through Planning with Language Models CoRL · ⭐⭐⭐

让机器人边干活边在心里念叨：看到啥、做成没、人改主意没，全翻成文字塞回 AI，它就能边做边改计划。

Code as Policies: Language Model Programs for Embodied Control ICRA · ⭐⭐⭐

让 LLM 直接写 Python 代码作为机器人的策略（policy），而不是从预训练技能库中选动作。代码可以包含循环、条件判断、NumPy 运算、递归函数定义，因此能在不做任何额外训练的情况下，通过 few-shot prompting 让机器人执行任意复杂度的新指令——只要感

LLM+P: Empowering LLMs with Optimal Planning arXiv · ⭐⭐⭐

让 LLM 只当翻译——把你说的话翻译成机器格式，真正的规划交给老牌算法去算。LLM 管说话，算法管动脑子。

PaLM-E: An Embodied Multimodal Language Model ICML · ⭐⭐⭐⭐

教 ChatGPT 长出眼睛和手脚：你说一句话 + 让它瞄一眼现场，它直接列出机器人该做的几步。

ProgPrompt ICRA · ⭐⭐

让大语言模型（LLM）不要用大白话写机器人的行动计划，而是写成一段 Python 程序——把机器人能做的动作写成函数、把现场有的物体写成一个列表、再给几个示范程序，LLM 就能照葫芦画瓢生成一段可执行、还自带检查的计划代码。这招在 VirtualHome 家务任务上做到当时最强，

RT-1: Robotics Transformer for Real-World Control at Scale RSS · ⭐⭐⭐

Google 用 13 台机器人花 17 个月录下 13 万段人类示范，训出一个 35M 参数的小 Transformer，让机器人听一句指令就能在真办公室厨房里完成 700 多种操作，并首次证明"大数据 + Transformer"的范式在物理世界同样有效。

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion RSS · ⭐⭐⭐

让机器人像调电视雪花一样产生动作：从满屏乱码开始，擦几下，下一步该怎么动就擦出来了。

A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning AISTATS · ⭐⭐⭐⭐

光看老师开车的录像不够 -- 学生一走偏就越错越离谱。DAgger 让学生自己先开几圈，把走偏的地方拿去问老师答案，再训，反复几轮就稳了。

Generative Adversarial Imitation Learning NeurIPS · ⭐⭐⭐⭐

让 AI 看大厨做菜的录像，再找个"挑刺老师"分辨它做得像不像，靠这种较劲学会做事，不用猜大厨心里的打分标准。

World Models NeurIPS · ⭐⭐⭐

让 AI 先在自己脑子里反复"做白日梦"练打游戏，练熟了再去真游戏里上场——居然真能赢。

Dream to Control: Learning Behaviors by Latent Imagination ICLR · ⭐⭐⭐⭐

教 AI 在脑子里反复"做白日梦"演练动作，不用真去摔跤，就能学会跑步、翻跟头这种复杂动作。具体而言：先从少量真实经验中学一个压缩版的"脑内世界模型"，然后在这个模型里想象几千条未来轨迹，用精确的数学导数告诉策略网络"刚才哪步该往哪个方向调"，最终以 1/20 的真实交互量超越了

Connecting Touch and Vision via Cross-Modal Prediction CVPR · ⭐⭐⭐

教 AI"看一眼就猜出摸起来什么感觉、摸一下就猜出在摸哪儿"，让视觉和触觉互相翻译。

ImageBind: One Embedding Space To Bind Them All CVPR · ⭐⭐⭐

把图片当翻译官，六种感官（图、文、声、深度、热、动作）就能互相听懂彼此说话——而且不需要让它们两两见过面。

Can WiFi Estimate Person Pose? ICCV · ⭐⭐⭐

想象你家路由器除了上网，还能告诉你"屋里那个人正在做啥姿势"——胳膊抬到哪、腿怎么弯，全画给你看。这篇论文用一对普通商用 WiFi 网卡（3 天线发射 + 3 天线接收），配一个摄像头当"老师"，让神经网络学会从 WiFi 信道状态信息（CSI）直接画出 18 个人体关节点。核心

See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar MobiSys · ⭐⭐⭐

机器人在浓烟里也能画出清晰的房间地图——靠一颗几十块的小雷达加一个会"脑补"的神经网络。 具体两招： 训练时让贵的激光雷达（lidar）和便宜的雷达坐同一辆车，把 lidar 的清晰图当作业答案喂给神经网络（cGAN），教雷达学会脑补。学完老师下车，雷达单飞。 认门/墙/玻璃/电

Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation IEEE/ACM TASLP · ⭐⭐⭐

两人同时讲话的混音，喂给一个网络，它能把每个人的声音分别还原。比老方法（看频谱图）更准、更快、更小。

SoundStream: An End-to-End Neural Audio Codec IEEE/ACM TASLP · ⭐⭐⭐⭐

让 AI 自己学怎么把声音"打包又拆开"，3 kbps 的小包听起来反而比传统方案 12 kbps 还清楚。

Creating speech zones with self-distributing acoustic swarms Nature · ⭐⭐⭐

七个骰子大小的小机器人，从充电底座自己爬上桌子、散成一圈，靠互相"喊一嗓子"算出各自的精确坐标，然后联手把桌旁几个同时说话的人一一分清——谁在哪、说了啥，全部搞定。整个过程不需要头顶装摄像头、不需要人手摆放、不需要扯一根线。

Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning CoRL · ⭐⭐

给那些号称"会举一反三"的机器人算法办一场 50 道动手题的统一考试，看它们是不是真的会。结论：没人及格。

RLBench: The Robot Learning Benchmark & Learning Environment RA-L · ⭐⭐

给机器人手臂出了一套 100 道题的"统考卷"，从此大家都做同一套题，第一次能公平比谁更厉害。

robosuite: A Modular Simulation Framework and Benchmark for Robot Learning arXiv · ⭐⭐

robosuite 是机器人 AI 的"标准考场"——基于 MuJoCo 物理引擎，把机器人仿真的每个部件（机器人本体、夹爪、控制器、任务、物体、传感器）拆成可拼接的"乐高积木"，配套 9 个标准操作任务和 SAC 基线，让全球研究者在同一张考卷、同一把尺子下公平比较算法好坏。

Habitat: A Platform for Embodied AI Research ICCV · ⭐⭐

给家用机器人造一个跑得飞快的"VR 房子"，让它在里面绕路撞墙练几千万步，再上岗去你家。

Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning NeurIPS Datasets · ⭐⭐⭐

一句话：把"算物理"和"训神经网络"塞进同一张显卡，机器人学走路从"几千台 CPU 跑一晚"压成"一张卡跑几分钟"。 类比：以前训机器人像切菜、炒菜、装盘分三个房间，端来端去比真做菜还累；Isaac Gym 把厨房合并，菜不动、工具换着上。 效果对照：OpenAI 训魔方机械手用