要设计一套性能优越的实用的智能视频监控系统，也不是简单容易的事，必须考虑监控场景的复杂程度、监控环境，以及智能软件算法模型的配合，合理设置预/报警法则等。此外，合理选择安装摄像机的位置及角度等，也是非常重要的。智能视频监控系统应注意解决如下几个技术问题。
一、应注意不同的监控场景与智能软件算法数学模型之间的吻合程度
由于计算机视觉技术现还处于发展阶段，与人脑相比，计算机的智能程度总还是很逊色。计算机视觉技术用一些数学模型来描述真实世界，并试图用这些数学模型来分析视频数据，并从中获取视频信息内容。但是，最复杂的数学模型现阶段也无法囊括真实世界中的所有特性，就算有这样的模型，普通的CPU也支撑不了这样庞大的计算。因此，在设计智能视频监控系统时，要注意不同的监控场景与智能视频监控技术内部数学模型之间的吻合程度会有所不同，智能视频监控技术的精度会受到监控场景的影响。在选择与设计智能软件算法的数学模型时，要尽可能考虑到不同的监控场景因素的影响，并通过调整监控环境或者调试算法，使监控环境与智能视频监控技术内部的算法模型达到最大的一致性。例如，智能视频监控技术的目标分类是将目标尺寸作为重要的分类特征时，通常在大景深的场景中，目标尺寸变化幅度很大，此时冃标分类的精度就会大大降低。解决这一问题的方法可以有多种，如可通过降低场景的景深，或加入场景标定算法，或降低尺寸特征在分类算法中的权重等。
二、应注意低照度、高扰动、高拥挤程度等视频的监测精度
所谓低照度、高扰动、高拥挤程度等的视频，即比较复杂的监控场景。复杂的监控场景，往往意味着有效信息提取的困难。如在传统的人为监控系统中，监控者对于低照度、高扰动、高拥挤程度等视频的监测精度，一般会较低。而智能视频监控系统也会同样，因而智能视频监控技术的精度也会受监控场景复杂程度的影响。即监控场景的复杂程度也会对处理结果产生重要影响，‘所以在设计与使用智能视频监控系统时，尤其要注意低照度、高扰动、高拥挤程度等比较复杂的监控场景的视频对系统性能的影响。
常用的解决方法有两个：一是可附加一些软件模块加入智能软件算法框架中，如用阴影抑制模块可以提升该技术在阴影严重的室外场景下的处理效果，光变抑制模块可以提升该技术在光照剧烈变化场景下的处理效果等；二是可通过调整监控场景环境，以降低监控场景的复杂程度，如环境光照降低时能自动调整光照，使之保持智能系统对环境的要求等。
三、应注意合理设置事件探测识别法则
在设计智能视频监控系统时，应注意合理设置事件探测识别法则，设置得合理，也会提升智能视频监控技术的处理效果。如图1所示的用于统计车流量的绊线事件探测识别法则的设置。
图1 用于统计车流量的绊线事件探测识别法则的设置
图1(a)的绊线法则就设计得不合适，因为在绊线法则的设置区域有树木等物体遮挡目标，智能视频监控技术在该区域就容易产生目标的误检及误跟踪；图1(b)的绊线法则就避开了遮挡区域，显然其处理效果就比较理想，因而车流量的统计也就要精确一些。所以，合理设置事件探测识别法则，能提升智能视频监控技术的处理效果。
四、应注意合理选择智能视频监控系统的摄像机及其安装位置与角度
合理选择智能视频监控系统的摄像机及其安装位置与角度，也是在条件允许的情况下尽量降低监控场景的复杂度，凸出有效信息的方法之一。实际上，智能视频监控系统的摄像机的选用及安装非常重要，通常要选用性能较好的摄像机，如应选用分辨率高、信噪比大、最低照度低的摄像机，以提升图像的信噪比。如果对夜晚场景进行监控，则最好选用红外摄像机等。在安装摄像机时，要合理选择摄像机的安装位置及摄像机角度，要尽量使视频图像扰动较少，并且目标重叠较少。如要在较拥挤的场景中统计人流量，摄像机的俯视角度就应选择在一个理想的安装角度下，在这一安装角度下，其目标的重叠程度较小，这样人流量的统计才比较准确。
由上看出，智能视频监控系统产品能否有效地工作并满足客户的需要，主要取决于三个方面：一是该产品所使用的智能视频检测分析与识别的核心技术，要足够精确和稳定，并能够适应监控现场复杂的情况；二是需要基于对核心技术的理解，针对场景做应用级别调试，并合理设置事件的检测识别法则，以发挥智能视频监控技术的最佳性能；三是要合理架设系统，即合理选择摄像机及其安装位置及摄像机角度，尽量使视频图像扰动较少，并且目标重叠较少，以降低监控场景的复杂度，凸出有效信息等。
早期出现的智能视频监控系统就是内置移动探测与报警功能的系统，一些特殊的需要，如智能交通系统需要车流量的统计、车牌号码的识别等而促进了它的发展。据报导，一套好的智能视频监控系统，能够在喧闹、混乱的环境中高速、准确地找出每个目标，无论人脸朝向哪个方向，背景是否变化异常，只要人在图像中的大小比米粒大一点，都能准确、实时地找出图像中的每一个人，或者根据用户的要求发现特定物体的可疑或违规行为，并可在同一时刻准确追踪多个物体等。
