大数据在安防行业的应用探索 _知识百科

随着信息技术的发展，人类已经步入了信息社会，信息技术为人们提供了一种全新的生产和生活方式，并深深地影响着人类社会的政治、经济、科技等各个领域。数年来，随着互联网和信息技术的同步发展，各行各业都积累了大量数据。据全球领先的信息技术研究和咨询公司Gartner报告，驱动大数据发展的重要因素主要来自两个方面：一是消费领域，如网购及社交媒体应用产生的大量数据；另一方面来自城市基础设施建设，安防便是其中之一。
多类型安防数据来袭
在安防行业，涉及的数据信息类型很多，以数据的结构类型来看，包括了各类非结构化、结构化以及半结构化信息。非结构化数据主要指视频录像和图片记录，如监控视频录像，报警录像，摘要录像，车辆卡口图片，人脸抓拍图片，报警抓拍图片等；结构化数据则包括报警记录，系统日志记录，运维数据记录，摘要分析结构化描述记录，以及各种相关的信息数据库，如人口信息，地理数据信息，车驾管信息等；半结构化数据则如人脸建模数据，指纹记录等。
这些信息的来源有几个渠道，一个是安防系统内部产生的信息，如各种视频录像，抓拍图片，系统运维数据，日志记录，摘要记录等；另外一些则是通过外部系统采集或者集成，如人口信息，地理数据信息，人脸库数据，车驾管数据等。这些数据作为一个整体，构成了安防系统或者说安防领域的大数据基础，并且具有以下特征：最显着的是安防数据体量巨大并不断快速膨胀，随着视频监控图像系统的不断联网和整合，以及视频分辨率和帧率的不断提高，实时视频数据的存储已经从TB的级别开始跃升到PB级别；其次，安防数据类型繁多，如上面提到的视频、图片、地理位置信息等等，而且随着各类安防系统以及相关的信息系统的不断整合，数据类型也会越来越多；另外，安防数据整体蕴含的价值密度低，但是价值高。以视频监控数据为例，在7*24小时连续不间断监控过程的中，可能有用的数据仅仅有一两分钟，甚至一两秒。同时，这些信息更新频率特别快，安防数据每时每刻都在大量的产生，信息每时每刻都在更新。
要从这些少量的信息里快速高效的筛选有效信息，安防厂商需要下面两个基础来保证：首先需要提升对非结构化信息的处理能力和效率，准确和快速地处理视频图像，人脸特征建模等数据，从里面提取出有用的信息，并且能够进行信息的某种表述，在大数据的存储层面上完成数据信息的提取和存储工作，以便进行后续的数据信息检索，分析和挖掘业务。其次，通过使用并且针对性的改进目前的大数据处理技术以及平台框架，提供针对安防数据信息的快速检索机制，形成有针对性的海量安防数据信息处理架构，从这些大量的结构化和半结构化信息中快速检索和分析。
大数据在安防行业的应用探索
安防数据目前仍以图像视频等非结构化信息为主，所以在大数据的分析和处理上又有其特点，除了常规的信息检索以外，安防行业更侧重于图形图像的信息检索；目前的IT大数据一般侧重于分析和检索文本类数据，因此，对于安防界来说，安防界对于大数据的处理和分析工具主要有两类，一类是对于视频图像等非结构化信息的处理和分析工具，包括视频智能分析工具，视频摘要工具，图像清晰化工具，视频清晰化工具，视频转码工具，视频编辑工具等等。另一类则是对于结构化，半结构化信息的大数据分析处理工具，在这方面，安防界吸取了IT界在处理大数据方面的架构和经验，对于结构化和半结构化的数据可以实现快速和准确的数据分析和挖掘。纵观整个安防领域，平安城市是规模最大、业务最复杂的庞大系统，涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等多个分区领域，视频接入规模从几千到几十万，随着安防监控对高清、智能、联网的要求越来越高，各地平安城市项目每天产生的数据规模正以惊人的速度不断增长。
然而，大数据技术在安防各领域的应用并不如在IT、互联网行业那样成熟，相关的信息碰撞和挖掘需求也尚未能形成模式。在日渐庞大的数据面前，如何做到对海量视频数据的综合应用与精准分析，正是平安城市大数据的痛点，也决定了它需要大数据技术予以支撑。在各类的平安城市建设项目中，依靠大数据分析技术，从海量视频图像中提取有效的安防信息，早已成为安防界共识，面对大时据时代的来临，在数据采集、汇聚、应用领域持续探索，率先推出了业内首套完整的公安图像信息综合应用解决方案，方案基于图像信息综合应用平台以及相应的管理与控制软件，可将多种公安内部及社会面图像信息资源整合进图像资源库，并对各部门、警种关注的音视频图像信息进行整理、分类存储，同时建立索引摘要，便于证据搜索与案件关联分析，图像资源库还具备完善的查询、信息比对、归档和存储功能，并采取动态管理方式，确保信息的及时、准确、有效，以方便全省资源联网共享。
在完成大量数据的收集与整理后，整个方案能够实现视频数据资源调阅、智能分析应用、网上督察、治安防控、智能交通、图像侦查研判、信息报送、图像资源库等功能，进一步挖掘海量视频监控数据背后的价值信息，快速反馈信息辅助决策判断。
以智能交通为例，智能卡口子系统将数据深度挖掘与分析技术引入传统治安卡口中，植入数套车牌图侦战法，通过跟车关联性分析、路径关联性分析、区域数据碰撞分析等数据挖掘功能和实战应用相结合，对卡口数据的分析寻找其中的规律性，缩小排查范围、提高公安交警的预警能力和办案效率。当车辆连续通过多个路口时，系统可以在指定的时间范围内，根据车牌号码及车牌颜色，在列表中按照时间先后顺序显示该车辆在此时间段内的所有过车信息，并联动电子地图呈现其行车轨迹，从而进行行为自动分析。
在公安办案过程中，图像侦查研判子系统因为让办案民警从海量数据中得以解放，从而在公安行业倍受推崇。图像侦查研判子系统按照图侦研判流程进行数据信息流转，多种智能图像处理软件对视频图像进行统一转码、摘要处理、视频剪辑、视频特征提取、图像清晰化处理，同时将战法与流程有机结合，形成一整套的技战法应用，完成在不同情况下进行案情的快速研判比对分析，让民警在海量信息中智能定位到关键点，最大程度地优化处理结果、缩短视频分析时间，从而有效的减少人工查看视频的时间，减少人力投入，以智能化推动案件视频分析更快发展，为案件的破获提供重要的方法和依据。
大数据考验存储能力
从目前大部分的安防系统架构看，安防大数据的传输渠道主要是网络，一般都采用联网汇聚，分级存储的机制，网络一般为千兆网，存储也以一般的磁盘阵列存储为主。为了适应安防信息整合，安防数据分析和信息挖掘的需求，安防系统逐步倾向于互联、整合，而安防数据信息也逐渐的汇聚和集成，出现了万兆网络集中汇聚管理，并且以云存储作为视频图像数据存储平台的趋势。目前，云存储已成为安防大数据的核心技术，各厂商也在着力提升自己的研发能力。
与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。云存储可以提供类似于磁盘阵列的裸空间服务，也可以提供基于存储的特定服务。例如云存储在平安城市系统中可为多个子系统提供存储服务，包括视频监控、卡口电警、图像资源库、图侦分析研判等。其可完成日常视频录像资源、各个案件中所涉及的视频和图片等资源、卡口电警所产生的车辆抓拍图片等资源的统一存储。
从应用架构上看，云存储系统与传统分布式存储系统差异并不明显，其更本质的区别其实体现在内部软件架构上。云存储系统采用大规模分布式并行文件系统，以大量的服务器和存储设备为基础，构建一个大规模存储集群，提供上百PB的存储容量，并能够在线进行容量的扩充，由此搭建的大容量存储系统整体成本远低于传统存储架构，并且具有良好的可扩充性和灵活性。
云存储系统通过元数据和存储数据分离的非对称式架构，通过负载均衡和数据并发访问策略，在普通硬件条件下获得高达数十Gbps的传输速率以及上百PB级的存储容量，并可根据用户应用发展的趋势，适时按需进行在线动态扩展。与单机的文件系统不同，分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理，而是存放在一个服务器集群上，由集群中的服务器，各尽其责，通力合作，提供整个文件系统的服务。
云存储系统内置了基于对象数据管理策略，能够保证在系统局部发生故障时数据的安全性和可靠性，彻底消除存储系统中的单点故障，结合自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行，同时减少部署和管理的难度。以云存储系统为例，传统的存储设备，通常用RAID方式进行冗余备份，当有硬盘损坏时， RAID重构时间通常要十几个小时，这期间如果再有硬盘坏掉，数据就无法恢复了，所以维护人员需要在第一时间赶到现场更换硬盘， 7×24小时待命；云存储采用分布式文件系统，数据的存储和备份不再依赖单台设备的能力，有硬盘坏掉时，其余的硬盘将自动进行重构，恢复受损的数据，这只需要十几分钟的时间，维护人员只需要定期检查硬盘的损坏情况，并更换新硬盘即可，维护非常简单。
机遇与挑战并存
数据越发庞大，积累的商业信息越多，价值也就越大。以海量、多样、快速为显着特征的大数据，不像传统数据库的数据那么易于管理和分析，它在为整个IT及通信行业带来机遇的同时，也提出了更高的要求。
比如安全问题，数据安全是整个IT行业内的难题，在安防领域也不例外， IT领域碰到的安全威胁和各种各样的破坏和攻击，在安防领域同样会遇到。而对于安防领域而言，数据量大，图像信息蕴含的信息量更多，而且还涉及到个人隐私，公共安全等问题，所以，在系统安全方面更不容忽视，但设备商的相关技术与国家的法律规范不可能是一蹴而就的。
目前安防行业已经一只脚迈入了大数据时代，但是还没有完全进入。之所以这么说，是因为当前安防系统的数据量的确在不断膨胀，高清视频的出现，安防系统联网和整合的不断推进，存储技术和容量的提升，导致数据体量巨大，大数据的特征凸显，这样的安防系统注定将是一个大的数据集合体，但是，目前大量的视频数据仍然是独立的、零散的。视频录像数据散布在各个行业、单位独立的系统中，没有发挥达到真正的联网、共享，业界也没有形成对数据挖掘、利用的通用方法。
此外，在相关IT基础设施，视频图像信息的智能分析和检索，安防数据的组织管理、数据分析和挖掘算法的建模和实现，需要全面导入创新的技术。安防企业在做好安防系统和应用的同时，需要加强内功，提高研发能力，加强技术储备，应对更大数据量带来的冲击，提升对大数据的处理和利用能力，特别是目前最为迫切需要提升的视频智能应用、视频智能分析的准确度，这些都是安防行业在进入大数据时代前需要解决的问题。