跳转到内容
Jason's Study

FFmpeg — 多媒体转码与封装瑞士军刀

是什么

FFmpeg 是开源多媒体处理工具集：ffmpeg 命令行负责转码/封装，ffprobe 读元数据，ffplay 快速预览。底层三库——libavcodec（编解码）、libavformat（容器读写）、libavfilter（滤镜链）——被 decord、opencv、浏览器、播放器几乎全线引用。

日常类比：如果 mp4 文件是一盒录像带，FFmpeg 既是能换磁带的复印机（转码），也是能按秒剪片段的剪辑台（seek + filter），还是能读磁带标签的验带机（ffprobe）。

最小转码：

Terminal window
ffmpeg -i input.mp4 -c:v libx264 -crf 23 -c:a aac output.mp4

-crf 越小画质越高、体积越大；23 是 H.264 常用平衡点。

为什么重要

不懂 FFmpeg，视频工程讨论会卡在「黑盒 GUI」层：

  • 几乎所有视频 I/O 库的底层：decord 硬解/软解都走 FFmpeg；HF video_utils 可选 pyav（FFmpeg 绑定）
  • 数据预处理事实标准：训练前统一分辨率、帧率、音频采样率是第一条管线
  • 流媒体封装基础：HLS 分片、DASH、RTMP 推流都依赖 libavformat mux/demux
  • 排障必备：解码失败、时间戳错乱、音画不同步，最终都要落到 ffprobe + 日志

核心要点

  1. 编解码器 vs 容器：.mp4 是容器（libavformat），里面可装 H.264/HEVC/AV1（libavcodec）+ AAC（音频）。换编码不改容器语法，换容器可能要重封装。

  2. 滤镜图（filtergraph）：libavfilter 把 scale、fps、crop 串成 DAG；一条命令完成「缩放到 224 + 抽 1fps」比 Python 循环快且可复现。

  3. 硬件加速可选：-hwaccel cuda / videotoolbox 等把解码卸到 GPU；训练侧常仍用 CPU 软解保证可移植性。

  4. 与播放器分工：VLC/mpv 是「成品播放器」；FFmpeg 是原料工厂——看懂 FFmpeg 命令就看得懂大多数转码 GUI 在后台干了什么。

实践案例

案例 1：按秒抽帧给数据集

Terminal window
mkdir frames && ffmpeg -i lecture.mp4 -vf fps=1 frames/%04d.jpg

fps=1 每秒一帧；%04d 生成 0001.jpg 有序列。Video-LLM 若不用 decord 随机 seek，常用这种离线抽帧再训练。

案例 2：ffprobe 查时长与码流

Terminal window
ffprobe -v error -show_entries format=duration -of csv=p=0 lecture.mp4
ffprobe -show_streams -select_streams v:0 lecture.mp4

第一条拿秒级时长；第二条看分辨率、codec、fps。写 DataLoader 前先确认「是否可变帧率」。

案例 3：scale + 统一音频采样

Terminal window
ffmpeg -i raw.mkv -vf scale=1280:720 -ar 16000 -ac 1 clean.mp4

视频缩到 720p，音频单声道 16 kHz——许多 ASR / 音视频 LLM 训练前的最低限度清洗。

案例 4：生成 HLS 分片供 Web 播放

Terminal window
ffmpeg -i input.mp4 -codec: copy -start_number 0 -hls_time 6 -hls_list_size 0 out.m3u8

产出 out0.ts、out1.ts… 与 m3u8 清单；静态服务器（如 nginx）托管后由 hls-js 在浏览器播放。直播/点播 Web 端的经典后半段。

踩过的坑

  1. -c copy 剪不动关键帧：流复制 cut 只能落在关键帧上，前后会黑屏或错位——要精确剪辑得重编码或先 -ss 再编码。

  2. 可变帧率（VFR）时间戳乱：手机录屏常见 VFR；训练按「帧号」采样会抖。用 ffmpeg -vsync cfr 或 ffprobe 先确认 avg_frame_rate。

  3. GPL vs LGPL 组件：默认构建含 x264 等 GPL 编解码器；商业产品静态链接要注意许可证组合。

  4. 与 decord 重复造轮子：训练随机采帧应用 decord；FFmpeg CLI 适合离线批处理和运维转码，别在 PyTorch loop 里反复起子进程。

  5. 日志级别：-loglevel error 可压住刷屏；调试解码失败时改 -loglevel debug 看 libavcodec 报错，比猜格式快。

适用 vs 不适用场景

适用：

  • 离线数据集：统一分辨率、帧率、音频格式
  • 流媒体：HLS 切片、RTMP 推流、缩略图生成
  • 排障：用 ffprobe 查容器/码流元数据

不适用：

  • 训练循环内按帧随机 seek（用 decord 或 torchcodec）
  • 需要 GUI 非线性剪辑（用 Shotcut / DaVinci 等）
  • 浏览器内实时编辑（用 WebCodecs / Canvas API）

历史小故事（可跳过）

  • 2000：Fabrice Bellard 发起 FFmpeg，原名来自「Fast Forward MPEG」。
  • 2004–2010：libavcodec 成为事实标准，mplayer/VLC 全部依赖。
  • 2011：项目分叉出 libav（已边缘化），主线仍叫 FFmpeg。
  • 2015+：VP9/AV1 开源编码器接入；与 WebM/YouTube 转码深度绑定。
  • 2020+：硬件 decode/encode API（NVDEC/NVENC、VideoToolbox）成生产默认优化路径。
  • 2024+：AV1 编码（svt-av1）与 HEVC 并存；训练集交付前常统一成 H.264 求兼容。

学到什么

  • 视频问题先分三层：容器 / 编解码 / 滤镜，排障要对症下药。
  • CLI 一行转码是复现论文数据预处理的最短路径。
  • 训练 I/O 与运维转码是不同岗位：前者要 decord，后者要 FFmpeg。
  • 任何「视频瑞士军刀」项目，底层几乎都能追溯到这三个 lib。
  • 转码参数（CRF、preset）比换模型架构更常决定「数据集能不能在周内洗完」。
  • ffprobe -show_frames 能数清关键帧位置，理解为什么 -c copy 剪辑会「跳帧」。

延伸阅读

  • 官方文档：https://ffmpeg.org/documentation.html
  • 《FFmpeg 从入门到精通》— 命令行与滤镜入门
  • x264 —— H.264 开源编码器实现细节
  • handbrake —— FFmpeg 上的 GUI 产品化范例
  • gstreamer —— 另一条流水线式多媒体框架
  • decord —— 训练侧解码；FFmpeg 的上层封装
  • videollama3 —— README 要求系统层安装 ffmpeg 二进制

关联

  • decord —— 训练随机采帧；底层 FFmpeg 硬解/软解
  • opencv —— 传统 CV 读视频；常与 FFmpeg 后端并用
  • torchcodec —— PyTorch 官方视频解码；与 CLI 转码互补
  • transformers-video —— HF 视频处理器可选 pyav/FFmpeg 路径
  • nginx —— HLS 分片静态托管；上游常由 FFmpeg 生成
  • hls-js —— 浏览器播 m3u8；分片由 FFmpeg 产出
  • videollama3 —— 推理依赖 ffmpeg-python + 系统二进制
  • lmms-eval —— 评测前数据集常需 FFmpeg 预处理
  • x264 —— 最常用的 H.264 软件编码器实现
  • gstreamer —— GNOME 流水线式多媒体框架对照

反向链接

  • aubio —— aubio — 实时音频事件检测库
  • audacity —— Audacity — 开源音频编辑器
  • bigbluebutton —— BigBlueButton — 教育向开源 Web 会议平台（HTML5 + WebRTC + 白板）
  • colmap —— COLMAP — 多视图 SfM/MVS 重建
  • [[dash.js]] —— dash.js — 浏览器 MPEG-DASH 参考播放器
  • dav1d —— dav1d — 速度优先的 AV1 解码器
  • decord —— Decord — Video-LLM 数据管线的高效视频解码库
  • essentia —— Essentia — 音乐信息检索工具箱
  • fdk-aac —— fdk-aac — Fraunhofer AAC 编解码库
  • flac —— FLAC — 无损音频压缩格式与参考实现
  • gstreamer —— GStreamer — 流水线式多媒体框架
  • handbrake —— HandBrake — FFmpeg 上的 GUI 转码器
  • [[hls.js]] —— hls.js — 浏览器里播放 HLS 直播
  • imagemagick —— ImageMagick — 图像处理瑞士军刀
  • jellyfin —— Jellyfin — 自托管媒体服务器
  • lame —— LAME — MP3 编码开源参考实现
  • librosa —— librosa — Python 音频分析库与 MFCC/STFT 事实标准
  • libvpx —— libvpx — VP8/VP9 开源视频编解码
  • lmms-eval —— LMMs-Eval — 多模态大模型统一评测框架
  • mediasoup —— mediasoup — WebRTC 选择性转发 SFU
  • meshroom —— Meshroom — AliceVision 节点式 GUI
  • mlt —— MLT — 多媒体编辑框架
  • nginx —— nginx — 高性能 Web 服务器
  • nginx-rtmp-module —— nginx-rtmp-module — 用 nginx 搭 RTMP/HLS 直播服务
  • nix —— Nix — 函数式声明式包管理与可重复构建
  • obs-studio —— OBS Studio — 开源直播录制与推流
  • opencv —— OpenCV — 开源计算机视觉库与跨平台图像视频处理
  • opus —— Opus — 低延迟全频带音频编解码
  • ovenmediaengine —— OvenMediaEngine — 亚秒级直播流媒体服务器
  • pillow —— Pillow — Python 图像处理库与 PIL 现代继任者
  • pion —— Pion — 纯 Go 实现的 WebRTC 协议栈
  • salsify-2018 —— Salsify: Low-Latency Network Video Through Tighter Integration Between a Video Codec and a Transport Protocol
  • scrcpy —— scrcpy — Android 屏幕镜像 / 录制
  • shaka-packager —— Shaka Packager — 流媒体打包工具
  • shaka-player —— Shaka Player — Google 自适应流媒体播放器
  • shotcut —— Shotcut — 基于 MLT 的开源非线性编辑器
  • sox —— SoX — 命令行音频处理瑞士军刀
  • streamlink —— Streamlink — 把网页直播流接到本地播放器
  • svt-av1 —— SVT-AV1 — 可扩展 AV1 软件编码器
  • torchcodec —— TorchCodec — PyTorch 原生 GPU 视频解码与张量输出
  • transformers-video —— Transformers Video — HuggingFace 视频处理器与多模态输入管线
  • [[video.js]] —— Video.js — Web 视频播放器框架
  • videochat2 —— VideoChat2 — OpenGVLab 三阶段训练 Video-LLM 官方实现
  • videollama3 —— VideoLLaMA3 — 阿里达摩院第三代图像/视频多模态基座
  • vllm-multimodal —— vLLM Multimodal — 多模态与视频 URL 高吞吐推理服务
  • x264 —— x264 — 开源 H.264/AVC 软件编码器
  • x265 —— x265 — 开源 HEVC/H.265 编码器
  • yt-dlp —— yt-dlp — youtube-dl 活跃分支与万能站点视频下载器