在当今科技飞速发展的时代,无人机在各个行业中都展现出了极为广泛的应用前景,而人工智能(AI)也日益受到人们的高度关注。倘若能够将无人机拍摄的视频与 AI 完美地结合起来,那么就能够充分发挥出人力所无法企及的强大能力,进而在众多领域中进一步大幅提升无人机的应用效能。
无人机作为一种先进的科技装备,在诸多行业里都发挥着至关重要的作用。无论是在农业领域中用于监测农作物的生长状况,还是在公共安全领域进行巡逻与侦查,亦或是在工程建设领域进行地形勘测等,无人机都彰显出了巨大的优势。而人工智能则凭借其强大的数据分析和处理能力,能够从海量的数据中提取出有价值的信息,为决策提供坚实的支持。当无人机与 AI 相结合时,就能够实现更加高效、精准的数据分析和处理,为各个行业带来更多的创新和发展机遇。
目前,许多视频分析的 AI 推理都是基于 RTSP 视频流进行采样分析的。然而,令人遗憾的是,当前许多无人机无法直接输出 RTSP 视频流。例如,大疆无人机将 RTMP 推流能力集成到了其飞控 APP 中,而高端的行业无人机则使用 GB/T28181 国标实现推流。这种情况对于计算机视觉和机器学习的 AI 软件库来说,确实无法直接适配,给 AI 能力开发带来了一定的困扰。
要通过无人机实现 AI 能力分析,可以按照以下详细步骤进行操作:
1.搭建无人机推流平台
由于无人机通常是在野外等外场环境中使用的,并且会受到各种条件的限制。因此,我们并不建议在前端部署推理服务器。这是因为算力需要大量的资源保障,而一般情况下,这些资源最好是部署在后台机房。所以,需要为外场的无人机搭建一个专门的视频推流平台,用于接收无人机的实时画面。这个推流平台就如同一个关键的枢纽,将无人机拍摄的画面顺畅地传输到后台进行处理。在搭建推流平台时,必须充分考虑到外场环境的复杂性和多变性,确保平台具有高度的稳定性和可靠性。例如,在恶劣的天气条件下,如狂风暴雨、沙尘弥漫等,平台也能够稳定地接收无人机的信号,不会出现中断或丢失画面的情况。同时,平台还需要具备良好的抗干扰能力,能够在复杂的电磁环境中正常工作。
2.部署科能融合无人机接入平台
该平台应当全力支持 RTMP、GB/T28181 等多种推流方式,并且能够完美兼容各种无人机推流格式。在这个平台上,可以实时清晰地查看无人机视频以及视频传输状态,其中包括编码格式、帧率、码率、分辨率和丢包情况等重要参数。这样一来,用户就能够随时全面了解无人机的工作状态,及时发现并解决可能出现的问题。平台还应提供强大的实时录像能力,将无人机画面进行高质量的录像保存,并满足实时调看和调取录像的需求。同时,可以通过接口输出给其他平台用于展示和分析。例如,在公共安全领域,警方可以通过这个平台实时查看无人机拍摄的画面,并将录像保存下来作为关键证据。在灾害救援中,救援人员可以通过平台深入了解灾区的情况,为救援决策提供重要依据。
3.将接收到的 RTMP 和 GB/T28181 的视频转换为 RTSP 视频流
无人机接入平台将接收到的视频转换为 RTSP 视频流,并与无人机的接入通道精准匹配,以供推理服务器进行深入分析。如果需要对接收的视频进行调整,比如分辨率、编码、帧率、码率等关键参数,可以使用转码能力来实现视频流的实时转码,从而有效减轻推理服务器的压力。在进行视频转换和转码时,必须确保转换的质量和效率都达到较高水平,不会出现画面失真或延迟过高的情况。例如,在高清视频的转换过程中,要切实保证画面的清晰度和色彩还原度,以便 AI 算法能够更好地进行分析。
4.输出到 AI 算法能力平台
AI 算法服务器根据接收到的视频流,充分利用强大的算力能力开始对视频进行全面的推理分析。无人机独特的视角可以为公共安全、环境污染、灾害等问题提供更加精准的分析预警能力。例如,在环境污染监测中,无人机可以拍摄到污染源的具体位置和详细情况,AI 算法则可以对这些视频进行深入分析,准确判断污染的程度和范围,为环保部门提供科学的决策依据。在灾害预警中,无人机可以快速到达灾区,拍摄到灾区的实际情况,AI 算法则可以对这些视频进行分析。