全面认识海思SDK及嵌入式层开发-第1/11季视频课程

【课程介绍】
本课程目标是学习海思SDK的结构，并且学会配置、编译整个SDK并部署到专用开发板上，启动Linux系统并运行MPP中的Sample。课程隶属朱有鹏物联网大讲堂“项目驱动创新学习训练营”之《A0201-海思HI3518E方案视频编解码传输深度学习》项目，整个项目共11季，由浅入深开展，此为开篇第1季。

【课程收益】
首先介绍开发板整个硬件配置和测试方法，然后围绕海思官方SDK开发包讲解各种官方资料的用法，最后用大量时间讲解如何在ubuntu中搭建海思视频方案的开发环境，如uboot的配置和编译、烧写；kernel的配置和编译、rootfs的制作，tftp方式下载烧写并启动linux系统，rootfs中各种配置文件的含义、ko文件的加载、mpp库的部署、sample程序的编译和运行等。 

课程大纲课件 

章节目录

• 01. 1.1.全面认识和检测配套开发套装1

• 02. 1.2.全面认识和检测配套开发套装2 

• 03. 1.3.视频设备开发的技术流 

• 04. 1.4.HI3518E方案系统整体架构介绍 

• 05. 1.5.海思SDK的整体介绍 

• 06. 1.6.海思SDK包的学习和实验1 

• 07. 1.7.海思SDK包的学习和实验2 

• 08. 1.8.在ubuntu16.0403X64上安装海思交叉编译工具链 

• 09. 1.9.编译osdrv 

• 10. 1.10.编译rootfs1 

• 11. 1.11.编译rootfs2 

• 12. 1.12.uboot的烧写和flash分区1

• 13. 1.13.uboot的烧写和flash分区2 

• 14. 1.14.kernel和rootfs烧录与启动系统 

• 15. 1.15.rootfs启动后做了什么 

• 16. 1.16.mpp的部署研究和实战2 

• 17. 1.17.mpp的部署研究和实战2 

• 18. 1.18.sample的编译和测试 

从官方例程深度学习海思SDK及API-第2/11季视频课程

【课程介绍】
本季课程详细分析海思SDK中的sample程序的实现，讲解视频采集中的基本概念，视频sensor的工作原理、像素和视频分辨率的关系、rawRGB和RGB888的换算等。重点内容是海思SDK中API文档的带读。本季课程非常关键，学完本季才表示对海思方案入门。课程隶属朱有鹏物联网大讲堂“项目驱动创新学习训练营”之《A0201-海思HI3518E方案视频编解码传输深度学习》项目，项目共11季，此为第2季

【课程收益】
本课程目标是学习海思SDK的mpp sample例程，从源码级别对sample中的venc源码逐句分析，学完后对海思平台上视频输入、处理、编码输出等整个流程有了深度的掌握。 

章节目录

• 01. 2.1.官方mppsample的总体分析 

• 02. 2.2.图像像素格式深度理解1 

• 03. 2.3.图像像素格式深度理解2 

• 04. 2.4.RGB和YUV详解1 

• 05. 2.5.RGB和YUV详解2 

• 06. 2.6.海思MPP功能模块和视频缓存池 

• 07. 2.7.视频缓存池 

• 08. 2.8.程序流程分析和MPP初始化详解1 

• 09. 2.9.程序流程分析和MPP初始化详解2 

• 10. 2.10.VI部分详解1 

• 11. 2.11.VI部分详解2 

• 12. 2.12.VI部分详解3 

• 13. 2.13.VPSS部分详解1 

• 14. 2.14.VPSS部分详解2 

• 15. 2.15.VPSS部分详解3 

• 16. 2.16.图像编码压缩基本原理 

• 17. 2.17.MPP手册中图像编码部分解读 

• 18. 2.18.sample中venc模块源码解读 

• 19. 2.19.编码后的流文件输出和课程总结 

ORTP库局域网图传和VLC实时预览-第3/11季视频课程-海思

【课程介绍】
本季课程通过移植ORTP库并调用ORTP库函数来实现H.264裸流数据的网络传输，并且在Windows中安装VLC播放器，并在VLC中通过配置文件的方式来解析ORTP发送的裸流实现视频实时预览。本季课程的核心是ORTP协议的讲解，ORTP库的移植、部署和调用，VLC软件的用法讲解和配置文件讲解，Wireshark网络抓包工具的用法讲解，实时视频流传输和解析的体验和编程实现。

【课程收益】
本课程目标是移植ORTP库，并且调用ORTP库的API实现将编码后的H.264视频进行网络传输，并用VLC播放器配合SDP文件来解析播放。 

章节目录

• 1. 3.1.ORTP的引入 

• 2. 3.2.ORTP库的移植 

• 3. 3.3.RTP传输视频实战

• 4. 3.4.ORTP库的源码分析1 

• 5. 3.5.ORTP库的源码分析2 

• 6. 3.6.RTP发送实验源码分析1 

• 7. 3.7.RTP发送实验源码分析2

• 8. 3.8.VLC的sdp文件解析和课程总结 

图像sensor的特性和驱动解析视频教程-第4/11季-海思

【课程介绍】
本季课程以配置的2款图像sensor为案例来讲解图像sensor的关键特性和相关数据结构，I2C控制接口和图像数据接口，海思SDK中sensor的驱动框架和编译、部署、加载，sensor调试的一般方法和步骤等。

【课程收益】
本课程目标是学习海思3A框架和sensor驱动源码细节，让大家深度掌握海思平台上如何匹配不同sensor，如何去调试sensor。 

课程大纲

章节目录

• 01. 4.1.本季课程主要内容和安排 

• 02. 4.2.更换OV9712并且做配置更改和测试

• 03. 4.3.MIPI和LVDS和并口的细节讲解1 

• 04. 4.4.MIPI和LVDS和并口的细节讲解2 

• 05. 4.5.HI3518E的Sensor接口引脚复用设置1 

• 06. 4.6.HI3518E的Sensor接口引脚复用设置2 

• 07. 4.7.sensor驱动源码解析1 

• 08. 4.8.sensor驱动源码解析2 

• 09. 4.9.ISP_3A框架解读 

• 10. 4.10.sensor驱动编译实战 

• 11. 4.11.sensor驱动的寄存器操作 

• 12. 4.12.sensor驱动部分贯通总结

海思平台上USB WIFI的移植与局域网无线调试和视频流预览-第5/11季视频课程

【课程介绍】
本季课程在开发板上移植USB WIFI模块（套装附带的MT7601模块），工作在ap模式下，并且用电脑通过WIFI去连接开发板实现主机和开发板的无线网络局域网通信，这样就可以用WIFI网络取代板载ethernet有线网络方式来进行调试和局域网视频预览。现在很多的视频摄像头产品都要求支持无线网络连接功能，本季课程主要是针对这方面开发技术讲解的。

【课程收益】
本课程目标是学习如何在海思平台上使用USB WIFI无线调试、无线视频传输，学完本季课程将对linux下使用WIFI有本质了解和掌握。 

课程大纲

章节目录

• 01. 5.1.海思平台上USB WIFI移植概述 

• 02. 5.2.AP模式USB WIFI驱动移植 

• 03. 5.3.AP模式USB WIFI传输视频实战

• 04. 5.4.USB WIFI做sta模式的驱动移植和部署 

• 05. 5.5.移植wpa_supplicant 

• 06. 5.6.USB WIFI做sta模式的ORTP视频传输实验 

• 07. 5.7.纯WIFI无线调试环境的搭建 

• 08. -USB WIFI网卡在X210上的移植和使用最全攻略-1.课程背景介绍 

• 09. 2.本课程将带来哪些干货 

• 10. 3.项目各项材料的准备和确认 

• 11. 4.驱动源码修改及编译 

• 12. 5.USB WIFI网卡驱动源码简单分析 

• 13. 6.WIFI网卡的配置过程1 

• 14. 7.WIFI网卡的配置过程2 

• 15. 8.WIFI网卡的配置过程3 

• 16. 9.在自己定制的rootfs中移植网卡 

• 17. 10.移植wpa_supplicant并制作镜像1 

• 18. 11.移植wpa_supplicant并制作镜像2

RTSP协议详解与实时流视频预览-第6/11季视频课程-海思

【课程介绍】
本季详细讲解RTSP协议的技术细节，并且编程实现基于RTSP协议的实时视频流传输，在局域网内浏览实时监控画面。RTSP是实时视频网络传输主流的实现方式，低延时高清晰度的RTSP视频流传输是网络直播、在线会议系统等行业的核心技术，本季课程会详细讲解相关概念、编程实战和调试技巧等。

【课程收益】
本课程目标是学习h.264视频流的关键概念，如I帧、P帧、SPS、PPS、NALU等，以及RTSP server的建立、和client的通信、视频流的分包传输等。 

课程大纲

章节目录

• 01. 6.1.本季核心技术点和讲法

• 02. 6.2.H264编码原理和基本概念 

• 03. 6.3.H264的NAL单元详解1 

• 04. 6.4.H264的NAL单元详解2 

• 05. 6.5.H264的NAL单元详解3 

• 06. 6.6.H264的NAL单元详解4 

• 07. 6.7.rtsp传输源码分析1 

• 08. 6.8.rtsp传输源码分析2 

• 09. 6.9.rtsp传输源码分析3 

• 10. 6.10.rtsp传输源码分析4 

• 11. 6.11.rtsp传输实战分析 

• 12. 6.12.直接发送与环状buffer发送 

• 13. 6.13.rtsp分包发送h264的源码分析

视频打包为MP4格式并存储到TF卡的实现-第7/11季

【课程介绍】
本季实现将编码后的H.264视频流打包为MP4格式的录像，并存储到板载TF卡中。这个过程涉及到的一个主要技术是H.264的视频帧格式，I帧、P帧等概念，另一个主要技术是MP4格式的文件头、封包技术、MP4打包库的移植部署和调用等，最后是linux下TF卡的存储和文件管理（使用了FAT32文件系统）。

【课程收益】
本课程目标是学习MP4文件格式，box结构 
移植mp4v2开源库并且调用API对h.264裸流数 

课程大纲

第一章：视频打包为MP4格式并存储到TF卡的实现-第7/11季

• 1. MP4文件格式解析1 

• 2. MP4文件格式解析2 

• 3. MP4Info工具使用 

• 4. mp4v2移植和播放实战1 

• 5. mp4v2移植和播放实战2 

• 6. MP4打包源码解析 

• 7. mp4v2结合MP4Info学习分析 

• 8. 添加网络telnet调试 

• 9. 海思proc文件系统调试接口

海思平台OSD的实现-第8/11季

【课程介绍】
OSD（on screen display）功能应用很广泛，譬如监控视频中的实时时间显示、电视转播中的台标和字幕等。本季讲解如何在海思平台上实现图像OSD，核心是海思SDK中提供的OSD功能相关的一些API的使用和调试技巧。

【课程收益】
本课程目标是学习在海思平台上使用OVERLAY_RGN实现OSD显示 
包括使用BMP图片做OSD和使用字库字体生成BMP做OSD两种方法。 

课程大纲

第一章：海思平台OSD的实现-第8/11季

• 01. 海思平台OSD理论学习1 

• 02. 海思平台OSD理论学习2 

• 03. OSD实验演示和代码框架分析 

• 04. OSD代码实现分析1 

• 05. OSD代码实现分析2-前景和背景透明 

• 06. OSD代码实现分析3-RGN内容填充 

• 07. OSD代码实现分析4-RGN内容填充 课

• 08. OSD代码实现分析5-动态刷新BMP 

• 09. 字库字符实现OSD 

• 10. 字库字符实现OSD源码解析1 

• 11. 字库字符实现OSD源码解析2 

• 12. 字库字符实现OSD源码解析3 

• 13. 字库字符实现OSD源码解析4