Xilinx-FPGA人工智能设计与实现技术高级培训

课程内容

一、演示FPGA AI项目的视频文件和Vitis AI软件开发原理与环境搭建。

1. 演示FPGA AI项目视频文件，让学员对FPGA AI项目的应用范围和实现方法有一个直观的认识。

2. FPGA AI环境搭建。介绍虚拟机VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安装和环境变量设置。

3. FPGA AI开发原理和流程。介绍深度学习处理单元DPU、AI优化器、AI量化器、AI编译器、运行时XRT、DPU指令集等Vitis AI主要概念、开发流程、专有命令和API接口。

4. FPGA AI开发板介绍和使用。Alveo系列、Versal系列、ZynqMP系列，重点介绍本课程所用开发板Kria KV260、Ultra96、ZCU104，内容包括开发板硬件接口和连接、镜像烧录、网络配置、通讯软件和例程演示。

5. Kria KV260 AI开发板加速原理和自带例程详解。介绍开发板自带的两种加速核Smartcam、Aibox-reid实现原理、C++、Python和GStreamer VVAS三种语言例程演示和程序解析，其中包含VART调用DPU流程和命令，比特流和kernel载入、输入预处理、模型运行和输出参数后处理全过程。

二、 yolov3 & yolov3_tiny口罩训练移植全流程与yolov2_tiny & yolov4_tiny目标识别与跟踪例程。

1. KV260 Smartcam硬件平台制作。全制作过程采用非项目开发形式Vitis、Vivado设计与编译，介绍makefile、Vitis、Vivado、Tcl批处理文件，其中对于涉及到Vitis开发软件亦做了简单介绍,也可以用Vitis或Vivado Gui界面打开分析编译。

2. 口罩识别yolov3和yolov3-tiny模型训练、PC验证和移植KV260全流程。这是一个包括模型修改、数据集训练、模型转化与固化、量化与编译、镜像生成，其训练模型首先在PC机上使用Keras框架上进行验证，再将镜像放到KV260上进行实操验证。并对其中用到的命令、PC机程序和FPGA上程序进行讲解。

3. KV260 Vitis AI 1.4 yolov4-tiny模型编译生成xmodel，开发板后处理程序解读，开发板实操x11和hdmi显示和影响时延因素分析，本节生成的模型也在下面的Gstreamer编程中使用。

4. Ultra96 yolov2-tiny Vitis AI 1.3模型转换与固化、量化与编译、开发板图像预处理程序、DPU AI调用命令集和DPU输出后处理程序（包括目标阈值筛选、非最大值抑制 NMS和目标框绘制）和目标跟踪算法程序，掌握yolo模型目标识别后处理程序和用户算法程序的编写。

三、Gstreamer主流AI模型全流程的设计、训练与FPGA转化。

1. 介绍多媒体GStreamer框架和插件，包括Element、Queue、Tee、Pad、Bin等基本元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模块，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要参数，并在PC虚拟机上进行pipeline编程练习。

2. 介绍Xilinx基于Gstreamer框架的视频开发套件Vitis Video Analytics SDK (VVAS)，包括硬件与软件对应的层次结构，主要组件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用与命令格式，并以框图上逐次增加功能模块的方式讲解VVAS pipeline语言如何编写，掌握用这种高度集成和方便的工具实现FPGA AI视觉应用编程。

3. 利用在前面的课程中编译得到的yolov2-tiny xmodel模型，使用VVAS编程语言讲解编写目标识别pipeline, 实现在KV260上的视频文件读取、图像预处理、DPU运行、后处理、视频输出和存盘的所有功能。

4. 基于KV260的自带人脸识别模型和人物跟踪模型，分别讲解编写VVAS pipeline人脸识别和人物跟踪,输出显示在HDMI上，同时改变Gstreamer VVAS参数直观感受不同的参数对视频带来的影响，讲解如何正确设置Gstreamer VVAS参数。

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。

专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值

课程内容

一、 演示FPGA AI项目的视频文件和Vitis AI软件开发原理与环境搭建。

二、 yolov3 & yolov3_tiny口罩训练移植全流程与yolov2_tiny & yolov4_tiny目标识别与跟踪例程。

三、Gstreamer主流AI模型全流程的设计、训练与FPGA转化。

一、演示FPGA AI项目的视频文件和Vitis AI软件开发原理与环境搭建。