智能视频监控系统--开源软件MJPG_Streamer

发布时间:2015-04-11 阅读量:1305 来源: 我爱方案网 作者:

【导读】我爱方案网小编为大家介绍软件MJPG_Streamer视频监控系统,具有实时性好,远程监控,上位机简易,开发周期短,易于实现的特点。系统实现了语音报警的功能,充分利用了ARM 平台的特性,不需要设计额外的语音模块电路。

针对目前开发数字化的视频监控设备普遍成本较高、周期较长的特点,在ARM+Linux嵌入式平台,应用开源免费软件MJPG_Streamer实现视频图像的采集以及通过TCP/IP网络协议传输到上位机进行远程显示。同时提出了一种结合三帧差分算法和背景减法的目标检测算法,实现智能控制。实验结果表明,该系统能够进行实时的、远程的监控,同时能够快速对入侵目标进行语音报警。

1 引言

近年来,随着计算机技术、光电技术、数字图像处理技术、嵌入式技术和网络通信技术的不断发展,高度集成的数字化、网络化、智能化的数字视频技术已经了取代传统的模拟视频监控技术。目前,世界各国对视频监控的需求与应用不断扩大,推动着全球视频监控市场迅速的发展。根据市场调查公司IMSResearch的预测,全球视频监控市场将从2008年的115亿美元增加至2015年的377亿美元,年复合增长率达到20.4%.在这一市场中,监控摄像头、服务器、编码器以及软件是视频监控系统的主角。

本文提出一种基于ARM+Linux嵌入式平台的的智能视频监控系统,充分利用开源操作系统和开源免费软件MJPG_Streamer的特点,实现了在线实时监控。同时提出了一种目标检测算法,该算法在后台运行,实现了智能控制,能够对入侵目标进行语音报警。该监控适合针对一些特定场合的监控。

2 系统硬件平台


视频监控系统以S3C2440处理器为核心,外围器件有Flash、SDRAM、以太网卡DM9000、声卡UDA1341以及CMOS接口摄像头OV9650,在Linux环境下对摄像头采集到的原始图像帧进行处理以及压缩,通过网络协议传输到PC上位机进行显示。系统硬件平台结构如图1所示。

智能视频监控系统--开源软件MJPG_Streamer

图 1

3 构建ARM+Liunx嵌入式平台

在系统硬件平台上构建嵌入式Liunx系统,需要引导程序BootLoader和Linux源码,本系统需要移植bootloader源码,然后用Jtag接口将其烧写到Flash中,从Flash中启动,引导在PC机上交叉编译后的Linux镜像及根文件系统,之后启动Linux系统。

3.1 网卡和声卡驱动移植

由于在Linux内核中提供了以太网卡DM9000设备驱动功能层主要的数据结构和函数,所以在实际移植网络设备驱动程序时,要完成的工作就是根据实际以太网卡DM9000参数修改相应的内核代码。同样,在Linux内核源码中的标准音频编程模型已经包含一套完整的内核驱动程序模块,为各种各样的声卡提供了统一并且简单易用的编程接口,如open()、read()、ioctl(()等函数,所以在声卡UDA1341移植过程中对内核源码做简单修改即可。

3.2 语音播放功能的实现


完成了声卡驱动移植后,为了方便对音频文件的播放,停止等操作进行控制,还需要移植专业的高精度解码器Madplay.Madplay是一个根据MAD算法写的MP3播放器,解码效果相当出色,而且支持命令行,特别适合于在嵌入式系统使用。移植过程中分别编译zlib库、libid3tag库和libmad库,最后编译madplay源码并且把编译出来的madplay下载到系统中即可,之后就可以对录制好的音频文件进行播放。

嵌入式平台构建完成后,先后用命令ifcongfig和madplay进行网卡和语音模块测试,从图2可以看出Linux系统启动成功,网卡和声卡驱动配置成功了,并且可以使用Madplay播放器播放录制的音频文件。

智能视频监控系统--开源软件MJPG_Streamer

智能视频监控系统--开源软件MJPG_Streamer

图3

 

4 MJPG_Streamer功能的实现


MJPG_Streamer是一款免费的视频流服务器软件,采用的是V4L2视频设备开发框架,它能够将从摄像头采集到的图像以JPEG格式通过TCP/IP网络协议传输到上位机进行显示。

4.1 MJPG_Streamer移植


在MJPG_Streamer源码目录中,把所有Makefile文件的CC=gcc改为CC=arm-linux-gcc,然后进行编译,生成的主要组件及功能如下:

input_uvc.so组件:主要完成了摄像头图像的抓取,同时将原始YUV 格式图像转换和压缩为JPEG格式图像。

input_control.so组件:主要完成对支持调整方向摄像头的转动方向的控制。例如云台控制器,云台控制是为了实现多角度监控的功能。

output_http.so组件:这是一个功能完整的WEB服务器,它将压缩后的JPEG 图像以HTTP视频数据服务流形式输出。

output_file.so组件:这个组件的功能是将压缩后的JPEG图像存储到特定的文件夹下,用来抓拍和存储网络摄像机监控中的静态图像。

4.2 目标检测算法的研究

基于帧间差分法对光照变化干扰不敏感,提取前景目标容易产生“空洞”的现象,而背景减法对光照变化较敏感的现象,本文提出了一种结合三帧差分算法和背景减法的目标检测算法。经过与目前常用的算法相比,例如混合高斯模型和改进的混合高斯模型,本文的算法不仅降低了运算的复杂度,适合在ARM 平台运行,同时又可以达到准确检测的效果。算法实现流程如下:

(1)建立背景模型,提取前景目标先把采集到的彩色图像利用式(1)转为灰度图,取前n帧图像,对每个位置像素的像素值求均值作为背景像素,表示为式(2)。利用当前帧减去背景帧得到包含前景的图像,根据阈值Th对图像进行二值化处理得到T(x,y),如式(3)、(4)所示。

智能视频监控系统--开源软件MJPG_Streamer

式中,Th代表阈值,T(x,y)代表二值化后图像。

考虑到摄像头固定,背景像素灰度值变化比较缓慢,而前景目标像素灰度值变化相对较快。为了让背景模型适应光照缓慢的变化,需要对背景模型进行实时更新。其中a为背景更新率,取值范围是(0,1)。

Bn+1(x,y)=(1-a)Bn(x,y)+apn(x,y) (5)在差分图像S(x,y)中大量存在的是具有较高灰度值的前景像素和具有较低灰度值的背景像素。

所以,提出一种阈值根据当前差分帧S(x,y)自动更新的方法。

求出当前差分帧S(x,y)图像灰度的最大值和最小值,求得二者均值T.利用均值将图像分为目标和背景两部分,利用式(6)求出两部分均值k1和k2,最后由式(7)得到阈值Th。

智能视频监控系统--开源软件MJPG_Streamer

(2)利用三帧差分算法提取目标选取连续三帧图像Dk-1(x,y),Dk(x,y)和Dk+1(x,y),进行两两差分得到D1(x,y)和D2(x,y),二值化处理后,二者进行与运算,提取前景目标。

(3)前景目标融合将背景减法的前景图像T(x,y)和三帧差分算法得到图像D(x,y)进行或运算,该运算利用了背景减法的优点,避免了单独利用三帧差法带来的空洞现象。同时发挥三帧差法对动态背景变化适应性强的特点。

智能视频监控系统--开源软件MJPG_Streamer

(4)前景目标形态学处理由于融合后的图像Q(x,y)中存在着噪声点和一些空洞,有必要对图像进行中值滤波,然后交替的应用开运算和闭运算,起到既去毛刺又填充的双滤波目的。

根据本文的算法,采用静止的摄像头采集视频序列。图3所示为在Visual C++2005平台上的仿真结果。根据结果可得,本文算法能完整的提取运动目标,有效的消除空洞,检测结果准确。此时系统可以快速的检测到入侵物体,同时用Madplay播放录制好的音频文件进行语音报警。智能监控实现流程如图4所示。

智能视频监控系统--开源软件MJPG_Streamer

图4    智能监控实现流程

4.3监控平台测试


在Linux平台输入以下命令,启动监控系统。在PC上位可以通过MJPG_Streamer软件自带的图形界面进行显示,也可以通过网页浏览器进行页面显示。经试验,当有物体进入场景时,能够快速的进行语音报警。当平台测试完毕后,把MJPG_Streamer设置为在Linux启动后自动运行。见图5。

智能视频监控系统--开源软件MJPG_Streamer

系统的目标检测功能已完成,下一个研究方向是利用软件MJPG_Streamer对云台控制的支持,实现模式识别和跟踪算法,使系统的功能更强大,应用范围更广。

相关文章

智能安防节能型视频监控终端的设计方案

机车视频监控系统的设计与实现方案

应用于智能无线视频监控系统的WiMAX设计方案
相关资讯
RSA240电流检测芯片:突破-5V~100V宽压采集的国产解决方案

在工业自动化、新能源储能及多节电池管理系统中,高精度电流检测是保障系统安全与能效的核心环节。传统检测方案常受限于共模电压范围窄、抗浪涌能力弱、温漂误差大等痛点。国产RSA240系列电流检测芯片的推出,以**-5V~100V超宽共模输入范围和0.1%级增益精度**,为高压场景提供了突破性解决方案。

TMR134x磁开关芯片:高精度液位测量的工业级解决方案

在工业4.0浪潮推动下,液位测量作为过程控制的核心环节,其精度与可靠性直接影响化工、能源、汽车等关键领域的生产安全。传统霍尔传感器受限于功耗高、温漂大、响应慢等瓶颈,难以满足智能设备对实时性与稳定性的严苛要求。多维科技推出的TMR134x磁开关传感器芯片,通过隧道磁阻(TMR)技术突破传统局限,为高精度液位监测提供新一代解决方案。

英飞凌300mm GaN技术实现突破,2025年Q4交付客户样品

英飞凌科技股份公司近日宣布,其基于300mm(12英寸)晶圆的氮化镓(GaN)功率半导体量产技术已取得实质性突破,相关生产流程全面步入正轨。根据规划,首批工程样品将于2025年第四季度交付核心客户,标志着英飞凌成为全球首家在现有大规模制造体系内实现300mm GaN工艺集成的IDM(垂直整合制造)厂商。

AI浪潮推高日本芯片设备销量,2026年有望突破5万亿日元大关

日本半导体制造装置协会(SEAJ)7月3日发布修订报告,预计2025年度(2025年4月-2026年3月)日本半导体设备销售额将达48,634亿日元,同比增长2.0%,连续第二年刷新历史纪录。2024年度销售额同比暴涨29.0%至47,681亿日元,首次突破4万亿日元大关。更关键的是,2026年度销售额预计跃升至53,498亿日元(约合5.3万亿日元),年增10.0%,成为史上首个跨越5万亿日元大关的年度;2027年将进一步增长至55,103亿日元,实现连续第四年创新高。

2025年Q2中国智能手机市场:华为以12%增速重登榜首,补贴政策缩减或成下半年变数

市场研究机构Counterpoint Research最新报告显示,2025年第二季度中国智能手机市场同比小幅增长1.5%。这一温和回升主要由华为与苹果两大品牌驱动,其中华为以12%的同比增速领跑市场,时隔四年重回季度出货量第一宝座,而vivo则以9%的跌幅成为前五厂商中唯一下滑品牌。