你将获得什么?
- 系统高效的视频学习路径
- 图文并茂的编码原理解读
- 场景化的视频传输和网络对抗策略
- 花屏卡顿等 4 类常见问题的解决方案
课程介绍
随着以抖音和快手为代表的短视频平台火爆全球,市场对于视频研发人才的需求越来越旺盛。当然还有像随之而来的直播带货、疫情背景下视频会议产品的更新与迭代等等,都给工程师们创造了很多新的机会。
最简单粗暴的方式是,你可以直接通过各种招聘平台去了解相关的就业形势。拿 Android 开发来说,现阶段做音视频开发的薪资水平至少比同资历的 Android 开发高出 30% 左右。而在未来,随着 AI、元宇宙等技术的发展,视频技术还有无限的想象空间。
但提起视频技术,学习门槛还是有的。就比如:
- 抖音和快手的短视频需要应用图像处理和视频编码技术,如何在保持高画质的情况下,尽量减少视频文件的大小,是很难也很重要的;
- 连麦直播则需要懂 RTC 和直播技术,如何能够保证在各种网络状况下实现超低延时、降低卡顿率是一个非常难的问题;
- 视频会议则需要你十分熟悉 RTC 和转码合流服务等技术,几十上百人的大型视频会议,如何保证流畅度、卡顿率、画质等指标也是十分具有挑战性的。
另外,视频技术涉及的技术也很多。比如视频前处理,就涉及到很多信号处理和 AI 技术;视频的编码算法,则会涉及到信息论和数学;而视频的传输就更多了,包含了各种网络协议和拥塞控制算法……所以,目前市面上系统讲解视频的书籍和课程并不多。
基于此,我们邀请到了声网 Agora 视频专家李江老师联合开发课程,将他在视频领域多年的积累和实践,按照学习重难点梳理、问题复盘的方式交付给你,重点就包括视频底层原理解析和工程中遇到的实际问题。学习之后,你将对视频处理全链路有一个系统的了解!
课程设计
整个专栏共分为以下四个部分:
图像基础和前处理:从视频和图像的基本概念讲起,陆续延伸到视频的颜色空间,尤其是 YUV 颜色空间,这是视频技术中非常重要的基础知识,同时也是很多视频工程师的学习难点。之后会讨论工程上常用的图像缩放算法及其原理。打好基础,后面事半功倍。
视频编码:主要讲解在视频技术中占据重要地位的视频编码技术,重点学习编码算法的底层原理和具体算法的实现,让你在使用编解码器的同时,也能更深一层洞察其工作原理。另外,H264 码流是视频开发中的必学,所以这里也会和你讨论它的结构以及相关工程问题。深入原理,才能快速实践。
视频传输和网络对抗:以实践为主,讲解具体的视频传输和弱网对抗技术,主要包括如何打包视频、预测网络带宽,以及如何在有限的带宽情况下控制好编码器的码率和发送包的速度。之后,作者会手把手带你解决两个代表性的视频 Bug “花屏和卡顿”,并介绍一下视频会议中的常用技术 SVC。
视频封装和播放:介绍常用的视频封装技术,并解决视频工程难题:音视频同步。
课程目录
开篇词|为什么说视频开发是程序员的一片蓝海?
图像基础和前处理
01 基本概念:从参数的角度看视频图像
02 YUV&RGB:原来图像是这么丰富多彩的
03 缩放算法:如何高质量地缩放图像?
视频编码
04 编码原理:视频究竟是怎么编码压缩的?
05 码流结构:原来你是这样的H264
06 帧内预测:如何减少空间冗余?
07 帧间预测:如何减少时间冗余?
08 变换量化:如何减少视觉冗余?
视频传输和网络对抗
09 RTP&RTCP:如何正确地将视频装进RTP中?
10 带宽预测:3大算法准确预估网络带宽
11 码控算法:如何控制视频的编码码率?
12 Jitter Buffer:拿什么拯救你,花屏卡顿问题
13 SVC:如何实现视频编码可伸缩?
视频封装和播放
14 MP4& FLV:不要再说AVI了
15 音画同步:如何让声音和画面手拉手前进?
结束语
讲师介绍
李江,声网 Agora 视频专家,硕士毕业于浙江大学,主要研究方向为视频编码和传输。毕业之后,主要从事视频编码应用、视频传输和图像识别等方向的工作,内容主要包括视频编码的应用、视频传输策略的优化、人脸识别、表情识别和人流量检测等多种图像 AI 算法的落地。
2020 年加入声网(实时音视频 PaaS 服务的开创者和引领者,实时音视频分钟数月均用量超 500 亿分钟),主要负责视频编码算法的优化和应用,具体工作有:
- 对 H264、H265、VP8、AV1 等编码算法进行研究;
- 对码控算法进行优化;
- 对视频网络传输、带宽预测、抗丢包等网络对抗技术进行研究;
- 结合网络算法对视频编码和码率控制算法进行优化。