企业办公|会员服务平台
  • 协同办公
  • 集群调度
服务热线:400-650-2790
产品展示
  • 宽带无线产品
  • 军工电子产品
  • 嵌入式系统产品
  • 物联网平台产品
行业解决方案
  • 油田
  • 港口
  • 电信
  • 交通
  • 船舶
  • 机场
  • 森林防火
  • 建筑工地
  • 跨海通信
  • 平安城市
  • 智能电网
  • 其他行业
  • FMC2.0,极致体验的融合超宽带
    随着4K视频等极致体验业务快速发展,超宽带产业正迈向千兆宽带时代。
  • FMC2.0,极致体验的融合超宽带
    随着4K视频等极致体验业务快速发展,超宽带产业正迈向千兆宽带时代。
嵌入式产品

多传感器定位系统的关键技术研究


时间:2016-10-09 10:53来源:永利电子游戏网站科技 作者:技术支持部 点击:

  摘要:在现代指挥监控系统中采用多种位置传感器能够更加可靠、实时、精确地提供目标定位。其中目标信息的数据融合是多传感器定位需要解决的重要技术问题,此外通过视频获取目标的位置信息也是一个重要的技术手段。本文重点对采用雷达/AIS/GPS/北斗的多传感器定位数据融合进行了研究,同时也对视频定位的技术原理以及实现方法进行了探讨。提出了一种两阶段数据融合方法,先做区域限定,以降低复杂度并实现初步融合;而后在第二阶段采用基于相关器的数据融合,进一步提高数据融合的准确性。基于双目视频定位的方法实现目标定位。最后,介绍了研究成果在某边防对海智能管控系统的成功应用。
  关键词:数据融合,视频定位,GIS平台,相关器,区域限定,智能管控
  1、背景介绍
  基于地理位置的信息化技术正在成为当前的热门技术。借助于云计算、物联网、移动互联网、大数据等主流技术搭建的以GIS(地理信息平台)为基础的智能管控平台可以为指挥调度提供基础数据和基本技术手段。当前国家对海权空前重视,构建基于GIS的智能管控平台实现对领海及港口锚地等海域的船只、移动目标的全方位无缝管控变得非常重要。而由于海域的复杂特性,必须采用雷达、AIS/GPS、红外光学视频多种探测手段来实现对各种目标的识别和跟踪,要使这些信息来源得到充分有效的应用,需要解决目标位置信息采集、识别、融合、展示、应用等系列技术难题,这其中多传感器位置信息的融合和通过视频实现定位是两个关键的技术难题,下面将详细探讨对这两种技术的研究及实现方法。
  2、多定位传感器数据融合技术研究
  在实际的多传感器定位系统中,多种因素决定了定位传感器需要冗余部署。这可能是由于所在管辖区域的地理地貌特征和行政区划引起的;也可能是由于要求系统既可以被动接收目标位置信息,也可以采用适当的技术手段主动探测目标位置信息。如图1所示,红色圆圈表示雷达/AIS基站的覆盖范围,注意两个红色圆圈存在重叠区。在重叠区内的目标能够同时被两个基站探测到位置信息。这样多传感器定位系统就存在数据冗余问题,需要进行数据融合。目前报道的数据融合方法主要有:基于相关器的数据融合方法[1];最邻近关联算法[2];基于卡尔曼滤波的数据融合方法[3,4]
  数据融合需要从不同的航迹中标定同一目标,这一工作通过数据特征提取完成。标定后需要与业务数据关联,以实现态势展示。本文数据融合方法适用于雷达/AIS/GPS/北斗/视频定位等混合类型定位数据的数据融合。既可以在雷达与雷达数据之间融合,也可以在雷达与AIS数据之间融合,或者其它任何混合方式。为表述清晰起见,以下对数据融合进行描述的过程中认为是在做AIS和雷达目标的数据融合。在数据融合的过程中由于目标多、变化快、信息来源多样,通常在一个区域内存在着上千个目标信息,这样采用基于数据相关性的融合算法将产生庞大的数据运算量,从而很难保证目标信息融合的准确性和实时性。本文提出了一种两阶段数据融合方法,第一阶段做区域限定,并实现初步融合;第二阶段采用相关器进一步进行数据融合。第一阶段降低了问题的复杂度,避免了不必要的运算量,利用了特定时刻特定目标的地理位置在一定范围以内这一物理规律。同时也应该注意到区域限定方法在融合的过程中侧重于点迹的录取,没有充分利用航迹提出统计意义上的方法,可能存在误判。而传统的卡尔曼滤波属于统计方法,在实际应用中应用范围也相对较广泛。卡尔曼滤波方法的不足之处是需要建立被观测目标系统的参数模型,相对来说计算复杂度很高,而且受到系统误差的影响比较明显。每个目标的参数模型存在差别,每种不同类型的目标参数模型差别已经相当大,这时候多模型是无法回避的,而且还可能需要利用多模型得出的统计结果去修订每个模型的系统误差,复杂度进一步增加。因此本文提出基于相关器的数据融合做为第二阶段的方法。这样做的好处是不需要建立目标的参数模型,并且方法对系统误差不敏感。下面为具体融合方法的详细探讨及实现。
  2.1、区域限定和初步融合
  在开始数据融合前需要对数据做时空校准,时间校准采用插值算法,空间校准是将AIS和雷达坐标转换到同一种坐标系。对经过时间和空间校准以后的雷达数据和AIS数据通过两步进行关联:首先进行粗区域限定,其次进行精区域限定。在区域限定的同时实现数据的初步融合。
  当传感器产生新的航迹的时候,与各批航迹进行粗区域限定,如果都不满足关联准则,则将该航迹定义为新航迹;如果该航迹与多个航迹满足粗区域限定准则,则再进行精区域限定;如果该航迹只与一个航迹满足粗区域限定准则,则初步认为是同一个目标。
  粗区域限定通过设置关联域来工作。假设两条航迹分别为i,j ,i 的坐标为(xi,yi) ,j 的坐标为(xj,yj) ,设定关联域的阈值为ΔS ,如果满足如下条件则认为满足粗区域限定准则:QQ截图20160318164521.jpg
  在精区域限定算法中采用的是最邻近关联算法[2],其主要思想是将粗区域限定之后筛选出的点迹做为观测点迹,认为与被跟踪目标预测值最邻近的观测点迹为同一目标的点迹。如下图所示,假设现有航迹a ,关联域为一个圆形,其中在预测点之外还有三个点迹b,c,d 。由于点c 离a 最近,所以将c 点作为航迹a 的新关联点。

  数据融合需要从不同的航迹中标定同一目标,这一工作通过数据特征提取完成。标定后需要与业务数据关联,以实现态势展示。本文数据融合方法适用于雷达/AIS/GPS/北斗/视频定位等混合类型定位数据的数据融合。既可以在雷达与雷达数据之间融合,也可以在雷达与AIS数据之间融合,或者其它任何混合方式。为表述清晰起见,以下对数据融合进行描述的过程中认为是在做AIS和雷达目标的数据融合。在数据融合的过程中由于目标多、变化快、信息来源多样,通常在一个区域内存在着上千个目标信息,这样采用基于数据相关性的融合算法将产生庞大的数据运算量,从而很难保证目标信息融合的准确性和实时性。本文提出了一种两阶段数据融合方法,第一阶段做区域限定,并实现初步融合;第二阶段采用相关器进一步进行数据融合。第一阶段降低了问题的复杂度,避免了不必要的运算量,利用了特定时刻特定目标的地理位置在一定范围以内这一物理规律。同时也应该注意到区域限定方法在融合的过程中侧重于点迹的录取,没有充分利用航迹提出统计意义上的方法,可能存在误判。而传统的卡尔曼滤波属于统计方法,在实际应用中应用范围也相对较广泛。卡尔曼滤波方法的不足之处是需要建立被观测目标系统的参数模型,相对来说计算复杂度很高,而且受到系统误差的影响比较明显。每个目标的参数模型存在差别,每种不同类型的目标参数模型差别已经相当大,这时候多模型是无法回避的,而且还可能需要利用多模型得出的统计结果去修订每个模型的系统误差,复杂度进一步增加。因此本文提出基于相关器的数据融合做为第二阶段的方法。这样做的好处是不需要建立目标的参数模型,并且方法对系统误差不敏感。下面为具体融合方法的详细探讨及实现。

  2.1、区域限定和初步融合

  在开始数据融合前需要对数据做时空校准,时间校准采用插值算法,空间校准是将AIS和雷达坐标转换到同一种坐标系。对经过时间和空间校准以后的雷达数据和AIS数据通过两步进行关联:首先进行粗区域限定,其次进行精区域限定。在区域限定的同时实现数据的初步融合。

  当传感器产生新的航迹的时候,与各批航迹进行粗区域限定,如果都不满足关联准则,则将该航迹定义为新航迹;如果该航迹与多个航迹满足粗区域限定准则,则再进行精区域限定;如果该航迹只与一个航迹满足粗区域限定准则,则初步认为是同一个目标。

  粗区域限定通过设置关联域来工作。假设两条航迹分别为i,j ,i 的坐标为(xi,yi) ,j 的坐标为(xj,yj) ,设定关联域的阈值为ΔS ,如果满足如下条件则认为满足粗区域限定准则:QQ截图20160318164521.jpg

  在精区域限定算法中采用的是最邻近关联算法[2],其主要思想是将粗区域限定之后筛选出的点迹做为观测点迹,认为与被跟踪目标预测值最邻近的观测点迹为同一目标的点迹。如下图所示,假设现有航迹a ,关联域为一个圆形,其中在预测点之外还有三个点迹b,c,d 。由于点c 离a 最近,所以将c 点作为航迹a 的新关联点。

圆.jpg

  经过粗区域限定和精区域限定之后,对于船舶航迹不太密集的情况,已经可以实现AIS和雷达数据融合;如果船舶航迹太密集,则需要进行第二阶段的数据融合。第一阶段的数据融合也已经减少了下一步数据融合的复杂度。
  2.2、基于相关器的数据融合
  第一阶段基于区域限定的方法在船舶航迹密集的情况下存在误判的可能性。这时候就需要利用历史数据做统计分析。对于第一阶段不能融合的数据,需要结合船舶的历史轨迹信息进行融合。应该说定位数据融合过程中可以利用的最本质特征之一是目标的航迹(轨迹)。雷达处理后出来的定位数据甚至带有目标的ID标识,而AIS定位数据更是带有目标的唯一标识。第一阶段的区域限定能够降低数据融合的复杂度,并且能够实现初步的数据融合;但是没有把航迹的相似性这样的统计信息充分利用起来,所以在特定情况下可能误判。本文提出的基于相关器的数据融合方法具有明确物理意义,运算量恰当,充分利用了航迹相似性这一统计信息来提高准确性。该方法基于以下判据:两个曲线l,m 相似,则以下事实成立:
2.jpg
  本阶段数据融合实现为滑动相关器,其核心判据是在沿时间轴滑动过程中,在时间点完全重合的位置,相关器的输出量最大。滑动相关器的示意图参见图3。两个曲线分别取相同大小窗口内的数据,窗口内一个曲线中某一时刻的数值分别与另一个曲线窗口内的对应位置的数值相乘,再将乘积相加,得到该相关窗口的累加项。相关窗口沿时间轴滑动,并得到一系列累加项。如果在两个曲线时间轴重合的情况下,累加项最大,则认为两个曲线相似。在应用滑动相关器前,先对二维的轨迹进行降维,分为X,Y两个维度,即两个需要确认相似度的轨迹的X、Y维度分别用相关器相关。X、Y维度都经过相关器确认相似度后,两条轨迹的相似度才经过确认。在滑动相关器对两条轨迹的相似度进行确认后,做为主要依据判断其为同一目标的轨迹,同时以当前区域内的目标总数等信息为辅助。基于相关器的数据融合能够利用航迹的统计特性,算法复杂度适当,并且具有对传感器系统误差不敏感等优点。
3.png
  针对行驶中的class A类型的船舶目标,经过两个阶段AIS和雷达数据融合,成功率能够到95%。目前数据融合服务器能够处理10个区域,1000个以上的目标。图4是数据融合的效果对比图。其中图4(a)表示数据融合前未实现同一目标的标定,同一目标既有AIS图标显示(红字A),又有雷达图标显示(红字R);图4(b)表示数据融合后关联到同一个目标,每个目标只有一个符号进行图示。
4.jpg
  3、基于视频的定位方法研究
  基于视频的定位方法采用双目视觉的原理[5]。双目视觉是通过两个摄像头模拟人眼来获取物体三维坐标。其基本过程是利用视差原理分析从不同位置拍摄到的同一物体的两幅图像而形成的物体的三维信息。由于双目视觉可以获得物体的三维信息,结构简单,也具有较高的效率和较好的精度,所以在许多领域取得应用,例如:工业测量、三维重建、目标定位等。双目视觉主要涉及到图像采集、滤波、特征提取、摄像机标定[6]、图像匹配等方面内容。标定是用已知点确定双目视觉系统的参数矩阵,该参数矩阵用于以后的定位演算。滤波采用中值滤波,公式如下:5.jpg
  其中,A 为窗口模板,IA(i,j) 为待处理图像像素灰度值序列,g(i,j) 为中值滤波处理后的图像。
  特征点提取[7,8]通过Harris角点检测算法实现。Harris算子是由C.Harris和Mike Stephens提出的一种基于信号的角点特征提取算子。该算法认为角点特征是图像像素灰度变化梯度最大的点。具体实现时取一个二维摄动窗口,计算灰度变化的梯度值,并将计算过程与一个自相关函数相联系。算法最终转换为求与自相关函数相关联的矩阵特征值最大的点。7.jpg
  采用某型红外热成像摄像仪成像,结合本文的双目视频定位算法,取得如图6所示的视频定位效果。图6中红字为通过视频定位获取到的船舶位置和速度信息。
8.jpg
  4、在边防领域的实践
  公安边防部队为了满足对边、海防辖区全时段、无盲区、实时动态监测的需要,在边境敏感地区(沿海、沿边)建设了相应的感知系统,主要由雷达(岸基、航海)、光电红外、北斗(GPS)、AIS基站、AIS船载设备、物联网传感器、智能卡口、视频智能分析设备等组成,在此基础上研发的可视化智能管控平台接入感知系统采集信息并进行深度融合,在互联共享、集成互通、有效联动的基础上,基于GIS平台完成综合态势展示、智能分析、预警报警、信息调阅和管理、智能决策等功能,与感知系统(沿海和沿边)形成了边防海/沿边可视化智能管控系统,实现在全国范围对我国领海、毗连区、敏感重要专属经济区、边境重要出入通道等辖区出入的船只、车辆和人员的无缝监控(辨认、识别和监视),有效甄别偷渡、贩毒、走私、越界捕捞等违法违规事件并及时处理。
  海/沿边可视化智能管控系统主要由指挥中心、监测点和隶属于监测点的多种探测传感器构成。系统通过有线、无线通讯手段进行信息传输,实现对监控区域全天候无缝监视警戒。
  下图为公安边防智能管控系统的构成框图。
9.jpg10.jpg
  系统主要功能包括:
  a) 多传感器高度集成
  通过雷达、光电红外、高清卡口、入侵传感器、GPS、视频监控及IP数字广播的无缝互连,实现异类传感器、同类多传感器数据信息深度融合和综合集成应用,形成综合态势,实现全天候目标的捕获、跟踪与识别。数据融合的应用示意图如图9所示。通过前面介绍的特有的定位数据融合和基于相关器的数据融合算法,系统实现了雷达覆盖范围内的自动全目标识别、锁定和跟踪(>1000个目标的跟踪), 多雷达目标融合和去冗余,雷达目标与AIS或GPS目标匹配(精确率高达95%以上)。
11.jpg
  b) 完善的多传感器协同监测策略和联动机制
  系统通过一定的跟踪算法根据雷达或GPS系统探测到的目标实际位置,控制云台实现雷达、GPS与光电监控设备的联动追踪,当平台判断目标超过监控范围时,根据目标的方向和该目标的实时定位信息选择下一个离其最近的光电监控设备进行联动跟踪。
  c) 先进的智能分析功能
  通过前面介绍基于视频的定位算法,系统可以实现无雷达监控点对未安装定位设备的船舶的监控和跟踪。视频定位的应用示意图见下图。数字视频信号需要先经过“特征提取模块”提取出关键特征。“三维图像处理模块”依据多路视频的关键特征重构目标的三维信息。最后由“目标定位模块”根据目标的三维信息解算目标位置。
12.jpg
  可对固定形状的物体,如越境的车辆、人员进行侦测告警;可对进入、离开、越过、滞留等行为进行智能判定,并对违规行为产生报警信号。可跟踪可疑人员运动轨迹。
  d) 多手段全方位监视
  采用热成像仪和可见光摄像机相结合的手段,晚上主要采用热成像仪监控,白天可配合可见光摄像机更加清晰地监控目标形态。卡口采用固定枪机和智能球机相结合,采用固定卡口摄像机对主干道路进行监控,采用智能球机轮询扫描卡口周围,实现全方位监控。
  e) 早期预警
  通过多传感器的探测数据进行有效融合和智能分析,甄别威胁目标情报,对在边界以外的威胁目标进行不同级别的预警,在监控终端界面给出声光告警。对企图破坏卡口的可疑目标,进行广播威慑警告。
  f) 目标综合态势监控
  系统实现目标定位数据与身份数据的自动或手工关联,可以在电子地图上显示目标的位置、运动状态、身份信息(目标名称、相关联的业务状态、人员信息等)。
  系统可以根据用户选择的管辖(监控)范围,显示关注范围内的GPS和雷达目标的最新位置、航向、速度、船名等。这些目标根据属性不同,以不同的符号和颜色绘制。通过过滤显示功能,能够设定目标过滤显示条件,选择需要显示的目标,避免由于显示的目标过多,无法跟踪关键目标的情况出现。系统允许用户快速定位目标,并可通过雷达、GPS、光电传感器智能跟踪系统,对关注目标进行多方位定位,锁定跟踪可疑目标。态势监控的效果图如图11所示。
  g) 信息实时共享
  通过可视化智能管控平台,可实现信息的实时共享,将区域管控信息实时汇报至上级单位。
  h) 指挥调度。支持动态标绘、智能分析和调看预案等功能。
13.jpg
  海/沿边可视化智能监控系统已经为边防执勤、执法工作方式带来了深刻的变革,业务人员可以直观、实时、准确和全面地统揽辖区内目标综合动态(运动和业务状态)、并根据综合态势合理安排工作,大大减轻了一线人员的工作强度,提高了船舶检查、目标追捕的效率和准确率,实现了真正意义上的科技管海和控海。
  5、结束语
  本文提出了定位数据融合和数据关联的两阶段方法,并首次提出了基于相关器的数据融合方法。两阶段方法可以控制数据融合问题的复杂度、实时性和准确性。本文的基于视频的定位方法进一步丰富了基于多传感器的可视化智能定位功能。以采用数据融合和数据关联、视频定位等方法为基础的GIS平台,实现了多传感器智能化协同的可视化管控平台。最后,在公安边防领域的成功应用证明了论文成果的可行性和先进性。
  参考文献:
  1) 邹新生,一种基于相关器特征输出的信息融合方法,发明专利(申请中)
  2) MICHITAKA KOSAKA, SHOJI MIYAMOTO, and HIROKAZU IHARA. "A track correlation algorithm for multi-sensor integration", Journal of Guidance, Control, and Dynamics, Vol. 10, No. 2 (1987), pp. 166-171.
  3) 于海霞,AIS与雷达数据融合方法的研究,硕士学位论文,2006,大连海事大学
  4) 朱衍波、许有臣、张军、刘洪飞、唐金翔、王静,基于雷达航迹的拟合分析方法,授权号:CN101571591B
  5) 马颂德,张正友.计算机视觉-计算理论与算法基础[M].北京:科学出版社,1998.
  6) Zhang Z. A flexible new technique for camera calibration [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
  7) Chris Harris, Mike Stephens. A combined corner and edge detector [C]. 4th Alvey Vision Conference, 1988: 147-151.
  8) L. Lucchese and S. K. Mitra. Using saddle points for subpixel feature detection in camera calibration targets [C]. Proceeding of the 2002 Asia Pacific Conference on Circuits and System, 2002: 191-195
  作者简介:
  何代钦,男,1966年2月,北京理工大学信息与电子工程系硕士,主要研究领域为通信及信号处理。邮箱:hdq@bnc.com.cn
  邹新生,男,1973年2月,清华大学永利电子游戏网站系博士研究生。主要研究领域为移动互联网、嵌入式、数据处理和数据通信。邮箱:sharing.zou@gmail.com
  李立仁,男,辽宁边防总队,高级工程师。

北京永利电子游戏网站科技股份有限公司 版权所有|
地址:北京市海淀区上地信息路1号国际创业园A栋4层 |
版权所有:北京永利电子游戏网站科技股份有限公司
XML 地图 | Sitemap 地图