多相机实时拼接视频影像技术

多相机实时拼接视频影像技术

算法源码admin2020-11-21 14:06:42100A+A-

  :单一相机分辨率有限,不利于大范围场景的监视。本文基于不变特征拼接算法,提出多相机实时拼接视频影像技术。该技术首先利用SIFT进行特征提取,获得的各相机图像间的投影矩阵,然后通过不同相机帧间信息投影及拼接,获得实时的成像结果。该技术已投入使用,实践验证取得了良好的成像效果,视频帧率可达24fps。

  摘要:单一相机分辨率有限,不利于大范围场景的监视。本文基于不变特征拼接算法,提出多相机实时拼接视频影像技术。该技术首先利用SIFT进行特征提取,获得的各相机图像间的投影矩阵,然后通过不同相机帧间信息投影及拼接,获得实时的成像结果。该技术已投入使用,实践验证取得了良好的成像效果,视频帧率可达24fps。

  拼接成像相对于普通成像技术可获得更加宽阔的视野,能够更广范围地探测监视环境,并从图像中获得更加丰富的信息。因此越来越受到研究人员的重视。

  Junhong Gao[1]等人提出了对一幅图像使用两个单应性进行描述的无缝图像拼接方法,减少拼接图像的接缝影响。Minsoo Kim[2]等人提出一种鲁邦和渐进的图像拼接方法,使用图像的旋转信息,达到了与使用光束平差法进行拼接的效果。DeCarufel[3]等人提出一种在对于在城市环境中有序捕获的全向图像集的匹配方案,提高了拼接图像的匹配效果。目前,拼接视频成像系统广泛应用于军事侦察、临床医学、地质勘测、管道检查、公安警戒以及生活中的各类娱乐体验项目。然而,实时的图像拼接效率及对于拍摄环境的鲁棒性仍是拼接成像系统的挑战。

  由于监控或拍摄场景的复杂性,以及相机视角的多样性,在进行图像拼接时需要能够较好地抵御包括噪声、旋转等因素的干扰。不变特征的图像拼接算法恰具有以上优势,因此本论文将以基于不变特征的图像拼接算法作为依据,获取不同相机间的投影关系实现拼接,并通过优化执行步骤达到实时的拼接成像要求。本论文分为3个部分:(1)基于不变特征的图像拼接算法;(2)实时图像拼接系统;(3)实时成像结果。

  不变特征的图像拼接算法是一种采用图像不变局部特征点和似然模型来判定图像匹配,并能够对输入图像实施拼接而无需提供用户输入的算法。该算法以一组具有重叠区域的不同拍摄视角图像作为输入,首先采用SIFT算法寻找对光照、旋转等因素具有不变性的图像特征点同时进行匹配,接着,使用RANSAC算法对特征点进行筛选,同时获得基于特征点的4参数相机模型,通过矩阵参数的相乘以及向量参数与矩阵参数的计算得到各图像与参考图像之间的单应矩阵,进而利用单应矩阵对原图像实施拼接,获得预期结果。

  Autostitch是英属哥伦比亚大学计算机科学学院的Matthew Brown和David G.Lowe[7-8]共同开发的一种利用多幅图像拼接生成软件。该软件实现了基于不变特征的图像拼接算法,运行结果包括图像分辨率 、用于描述相机光心到成像平面的距离的焦距 ,以及通过对相机标定得到的两个相机外参数矩阵。外参数矩阵描述了所拍摄图像从相机坐标系到世界坐标系的转换关系,包括平移矩阵

  公式(1)中a13和a23为二维图像在进行上述坐标系转换时在x、y方向上的平移量,通过相机标定获得。以及旋转矩阵R

  公式(2)中各元素的值通过二维图像在进行上述坐标系转换时分别绕x轴、y轴和z轴旋转的3个角度的正余弦所构造的3个矩阵相乘得到,旋转角度通过相机标定获得。Autostitch基于不变特征的图像拼接算法,对输入图像进行拼接。

  实时图像拼接系统的成像过程如图1所示,运行过程主要分为两部分:参数计算包括步骤(1)、(2)、(3)、(4)和视频合成包括步骤(5)、(6)。具体过程如下:

  (1)假设采集系统共有k个相机,分别为。在初次使用实时拼接视频系统或多相机间相对位置发生改变时,需首先使用多相机同时拍摄一帧图像,其中选取为参考图像,即在拼接的过程中,同一时刻的都以为参照,与其进行特征匹配和单应关系的计算。本文选取。

  (2)将图像作为输入,应用Autostitch寻找特征点、进行特征匹配并计算Ii的分辨率di及fi、Ti、Ri。

  式(3)中,Pi为Ii的投影矩阵,描述了Ii从相机坐标系投影到世界坐标系下所进行的平移及旋转变换。矩阵ki:

  用以表示Ii与Ir进行图像匹配时各像素点之间的坐标对应关系。inv(Pi)为矩阵Pi的逆矩阵。

  (5)计算经过单应变换后的图像IWi。首先利用Ii与Hi相乘得到Ii相对于Ir各像素点的坐标对应关系,再根据对应关系为IWi的像素点赋值得结果。将IWi中各像素点的坐标值(x,y,1)转化为齐次坐标 ,与Ii的矩阵Hi进行计算:

点击这里复制本文地址 免责声明:本站内容由程序自动采集于互联网,无人工干预,只作交流和学习使用,本站不储存任何资源内容,如有侵权请联系qq邮箱798244092@qq.com立刻删除,谢谢!

支持Ctrl+Enter提交

基带源码 © All Rights Reserved.  
联系我们| 关于我们| 留言建议| 网站管理
免责声明:本站内容由程序自动采集于互联网,无人工干预,只作交流和学习使用,本站不储存任何资源内容,如有侵权请联系qq邮箱798244092@qq.com立刻删除,谢谢!