WO2017045129A1 - 图像畸变校正方法及装置 - Google Patents

图像畸变校正方法及装置 Download PDF

Info

Publication number
WO2017045129A1
WO2017045129A1 PCT/CN2015/089634 CN2015089634W WO2017045129A1 WO 2017045129 A1 WO2017045129 A1 WO 2017045129A1 CN 2015089634 W CN2015089634 W CN 2015089634W WO 2017045129 A1 WO2017045129 A1 WO 2017045129A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance value
image
frame image
pixel
angle
Prior art date
Application number
PCT/CN2015/089634
Other languages
English (en)
French (fr)
Inventor
朱聪超
罗巍
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to US15/571,674 priority Critical patent/US10373298B2/en
Priority to PCT/CN2015/089634 priority patent/WO2017045129A1/zh
Priority to CN201580028733.9A priority patent/CN107004261B/zh
Priority to EP15903820.7A priority patent/EP3252709B1/en
Publication of WO2017045129A1 publication Critical patent/WO2017045129A1/zh

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本发明实施例涉及一种图像畸变校正方法及装置，所述方法包括：以偏离竖直方向的第一角度拍摄第n帧图像，其中，第n帧图像的第一像素点到光心的距离值在光轴方向的投影为第一距离值，第n帧图像的第i像素点到光心的距离值在光轴方向的投影为第二距离值；获取第三距离值和第四距离值；根据第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数；根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置。通过该方法，可以有效的避免合成后的图像不垂直、顶部发生弯曲变形等问题。

Description

图像畸变校正方法及装置 技术领域
本发明涉及图像处理领域，尤其涉及一种图像畸变校正方法及装置。
背景技术
现有的全景技术大多都是针对水平方向进行优化：在拍摄水平方向的全景时，用户平滑移动相机，每隔一定的角度拍摄一帧照片，通过拼接可以产生宽幅全景图。虽然拼接后的图像也会产生一定的几何变形，但因拍摄场景一般较远，视野比较开阔，变形并不明显。
但是，当我们在竖直方向拍摄一幅全景图像时，例如一栋摩天大楼，或者一棵高大的树，就需要在竖直方向上移动相机、以不同的角度拍摄多帧照片，然后通过算法合成，产生一张全景图像。然而，利用这种方式拍摄的多帧照片，合成之后的结果往往会带有不同程度的几何变形失真。
图1为在竖直方向拍摄全景图像时，图像畸变产生的原理示意图。如图1所示，例如以手机20拍摄一栋较高的大楼10，其中，O点为手机20摄像头的位置(也是光心的位置)，C点和D点分别为手机20的摄像头在以某一角度拍摄该大楼时，所能拍摄到的最低点和最高点。图1中的c为C点到光心O的距离值在光轴(图1中的虚线OF所示)方向的投影，d为D点到光心O的距离值在光轴方向的投影。由图1中可以看出，在拍摄过程中，为了拍到大楼10的顶部，手机20的摄像头并不是直接在竖直方向拍摄大楼10的，而是在上移的过程中，还需向上进行一定角度的旋转，该角度可以用∠COD表示。
需要说明的是，在图1中，所说的大楼10，其实仅仅是一个侧视剖面图，即将整个大楼10从侧面看成是一条直线。而在正面图中，大楼10上的任意一点可以指图像中的某一行中的任一点。例如图1中的C点可以指的是该图 像中最下端的这一行中的任意一点。B点则可以是指该图像中最上端的这一行中的任意一点。并且，在文中其他位置，如果指明是大楼10上的某一点，解释同上，不再赘述。
由于旋转角度的存在，手机20中的摄像头Camera的光轴与大楼10平面并不垂直，那么，在Camera竖直视角∠COD范围内，大楼10成像的平面不同高度上的任意一点到光心O的距离值在光轴方向上的投影是不相等的(如图1中的投影距离值d>c)，因此，手机20以这个夹角拍摄的大楼10在D点时，成像的高度小于拍摄的大楼10在C点时所成的像。而如果利用此类照片进行合成，必定会造成图像严重变形，图像效果也将严重失真。
图2为利用畸变图像进行合成后的效果图，如图2所示，利用畸变的图像进行合成后，合成图像出现了竖直的线条发生弯曲，或者顶部向中间压缩等等，严重影响用户的视觉体验。
发明内容
本发明实施例提供了一种图像畸变校正方法及装置，通过获取每一帧图像中的像素点对应于第一帧图像的像素点的校正系数，并根据该系数来校正图像的像素点的位置，从而克服图像变形的问题，利用校正后的图像进行图像合成，避免了合成后的图像不垂直、顶部发生弯曲变形等几何失真，对于改善全景拍照效果具有十分重要的意义。
第一方面，本发明提供了一种图像畸变校正方法，该方法包括：以偏离竖直方向的第一角度拍摄第n帧图像，其中，第n帧图像的第一像素点到光心的距离值在光轴方向的投影为第一距离值，第n帧图像的第i像素点到光心的距离值在光轴方向的投影为第二距离值，第一像素点为第n帧图像中最下端的一个像素点；
获取第三距离值和第四距离值，其中第三距离值为以偏离竖直方向的第 二角度拍摄第一帧图像时，第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，第四距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影，第二角度小于第一角度，且第一角度与第二角度为在竖直方向同一侧拍摄图像时的角度；
根据第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数；
根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置，其中n的取值为2到N，N的取值为大于或者等于2的正整数。
结合第一方面，在第一方面的第一种可能的实现方式中，根据第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数，具体包括：
根据第一距离值和第二距离值，获取第一比值；
根据第三距离值和第四距离值，获取第二比值；
根据第一比值和第二比值，获取第n帧图像的第i像素点的校正系数。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，第二比值为1。
结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，获取校正系数的公式如下：
Figure PCTCN2015089634-appb-000001
其中，T′i为第n帧图像的第i像素点的校正系数，Ti为第一比值，T1为第二比值。
结合第一方面，在第一方面的第四种可能的实现方式中，第n帧图像的第i像素点的位置包括第n帧图像的第i像素点的位置的列坐标，根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点 的位置具体包括：
根据列坐标与校正系数，获取第i像素点校正后的列坐标。
结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，根据列坐标与校正系数，获取第i像素点校正后的列坐标公式如下：
Figure PCTCN2015089634-appb-000002
其中，J′为第i像素点校正后的列坐标，J为第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为校正系数。
第二方面，本发明提供了一种图像畸变校正装置，该装置包括：摄像单元，用于以偏离竖直方向的第一角度拍摄第n帧图像，以及以偏离竖直方向的第二角度拍摄第一帧图像，第二角度小于第一角度，且第一角度与第二角度为在竖直方向同一侧拍摄图像时的角度；
测量单元，用于测量第一距离值、第二距离值，以及第三距离值和第四距离值；其中，第一距离值为摄像单元以偏离竖直方向的第一角度拍摄第n帧图像时，第n帧图像的第一像素点到光心的距离值在光轴方向的投影，第二距离值为摄像单元以偏离竖直方向的第一角度拍摄第n帧图像时，第n帧图像的第i像素点到光心的距离值在光轴方向的投影，且第一像素点为第n帧图像中最下端的一个像素点；第三距离值为摄像单元以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，第四距离值为摄像单元以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影；
处理单元，用于根据测量单元测量的第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数；
校正单元，用于根据处理单元获取的校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置，其中n的取值为2到N，N的取值为大于或者等于2的正整数。
结合第二方面，在第二方面的第一种可能的实现方式中，处理单元具体用于：
根据第一距离值和第二距离值，获取第一比值；
根据第三距离值和第四距离值，获取第二比值；
根据第一比值和第二比值，获取第n帧图像的第i像素点的校正系数。
结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，第二比值为1。
结合第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，处理单元获取校正系数的公式如下：
Figure PCTCN2015089634-appb-000003
其中，T′i为第n帧图像的第i像素点的校正系数，Ti为第一比值，T1为第二比值。
结合第二方面，在第二方面的第四种可能的实现方式中，第n帧图像的第i像素点的位置包括第n帧图像的第i像素点的位置的列坐标，校正单元具体用于：
根据第n帧图像的第i像素点的位置的列坐标与校正系数，获取第i像素点校正后的列坐标。
结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，校正单元根据列坐标与校正系数，获取第i像素点校正后的列坐标公式如下：
Figure PCTCN2015089634-appb-000004
其中，J′为第i像素点校正后的列坐标，J为第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为校正系数。
第三方面，本发明提供了一种图像畸变校正装置，该装置包括：摄像图 模组，用于拍摄静态或动态图像；一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序被存储在存储器中并被配置为被一个或多个处理器执行，一个或多个程序包括用于执行第一方面至第一方面第五种可能的实现方式中任一种可能的实现方式的方法指令。
第四方面，本发明提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当被包括显示器和多个应用程序的便携式电子设备执行时使便携式电子设备执行第一方面至第一方面第五种可能的实现方式中任一种可能的实现方式的方法指令，其中，显示器包括触敏表面和显示屏。
基于上述技术方案，本发明实施例提供的一种图像畸变校正方法及装置，通过获取第n帧图像的像素点位置对应于第一帧图像的像素点位置的校正系数，并根据该校正系数对第n帧图像进行校正。利用校正后的图像和第一帧图像进行合成。从而克服了图像变形的问题，并避免了合成后的图像不垂直、顶部发生弯曲变形等几何失真，对于改善全景拍照效果具有十分重要的意义。
附图说明
图1为竖直方向拍摄全景图像时，图像畸变产生的原理示意图；
图2为利用畸变图像进行合成后的效果图；
图3为本发明实施例一提供的图像畸变校正原理示意图；
图4为本发明提供的一组图像校正前后的效果对比图；
图5为本发明实施例二提供的图像畸变校正方法的流程图；
图6为本发明实施例三提供的图像畸变校正装置结构示意图；
图7为本发明实施例四提供的图像畸变校正装置结构示意图；
图8为本发明提供的通过实施例二所述的校正方法校正后的图像效果对比图；
图9为本发明提供的基于图8中所提供的校正前和较正后的图像分别进 行合成的效果对比图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图3为本发明实施例一提供的图像畸变校正原理示意图，如图3所示：本实施例中仅以手机20拍摄一栋较高的大楼10，且只在竖直方向拍摄两帧图像为例进行说明，更多帧图像的处理方法类似，这里不再赘述。
假设拍摄第一帧图像时，Camera的光轴(如图3(a)中的虚线所示)与大楼10成像的平面垂直，那么，在Camera竖直视角∠AOB范围内，大楼10成像的平面上的任意一点到光心O的距离值在光轴方向上的投影是相等的，如A点到光心O的距离值在光轴方向上的投影距离值a，与B点到光心O的距离值在光轴方向上的投影距离值b是相等的。此时，大楼10的左、右两侧在图像中都是竖直的，没有变形。
拍第2张照片时，如图3(b)所示,手机20摄像头(如图中的O点处所示的物体)与竖直方向的倾斜角度为θ，O点为手机20摄像头摆放的位置(同样也是光心的位置)，而虚线OH则代表光轴，A点和B点分别为：当手机20以偏离竖直方向的角度θ向上拍摄该大楼10时，所能拍摄的该大楼10的最下端的一点和最上端的一点，且AC垂直于光轴,并与光轴相交于C点。延长AC与射线OB相交于点E。由图中可以看出，Camera竖直方向的视角∠AOB为FOV，此时大楼10成像的平面不同高度上的任意一点到光心O的距离值在光轴方向上的投影不再相等。
需要说明的是，线段AE其实是图像中像素的行坐标轴，即线段AE上的每一个点都代表图像上一列像素点的共同的行坐标。
为了对变形的图像进行校正。则可以通过以下方法获取校正系数：
AE垂直于光轴OH，与光轴交于点C，假设OC＝1，则
Figure PCTCN2015089634-appb-000005
     (式3-1)
Figure PCTCN2015089634-appb-000006
       (式3-2)
对于AE上的任何一点D延长OD与大楼10交于点F，有：
Figure PCTCN2015089634-appb-000007
    (式3-3)
Figure PCTCN2015089634-appb-000008
     (式3-4)
其中，D点对应于像素点行坐标i，i为大于或者等于0，且小于或者等于height-1的值，height为以像素为单位的图像高度的最大值。在图3(b)中，AE对应于该图像的像素点的行坐标轴。
在三角形AOF内，根据正弦定理，有：
Figure PCTCN2015089634-appb-000009
   (式3-5)
于是，
Figure PCTCN2015089634-appb-000010
    (式3-6)
将公式(3-4)以及公式(3-6)带入到公式(3-7)中，可以获取畸变图像的像素点位置的校正系数：
Figure PCTCN2015089634-appb-000011
     (式3-7)
其中，OG是点F到光心O的距离值在光轴方向的投影距离值，OC是点A到光心O的距离值在光轴方向的投影距离值。
而需要说明的是，由于点F和点D所对应的像素行坐标为同一个，所以OG也可以理解为点D到光心O的距离值在光轴方向的投影距离值。
这意味着，在拍摄的图像中，像素点D的行坐标i处的图像宽度只有乘 以OG/OC，才能达到与A点处物体的图像宽度相同。而对于相应的列坐标j，校正后的坐标j_new为：
Figure PCTCN2015089634-appb-000012
    (式3-8)
即：
Figure PCTCN2015089634-appb-000013
    (式3-9)
其中，j为大于或者等于0，且小于或者等于width-1的值，width-1为该图像的列坐标最大值，Width为图像中以像素点为单位的宽度最大值。
应理解，根据公式(3-8)计算出来的列坐标j_new常常是浮点数，而列坐标整数值可以通过线性或双线性插值计算得到。
还应理解的是，由于在拍摄大楼10时，拍摄的图像在高度上并不会发生改变，即行坐标值不会发生改变，因此不需要进行校正。而仅仅是在宽度上发生形变，大多时候拍摄出的图像都是上窄下宽的，因此，仅仅需要对列坐标进行校正即可。而在拍摄图像时，图像是在两边发生形变，最中间的位置是没有发生形变的，因此我们在校正列坐标时，可以以图像的最中间位置作为坐标原点O，对其他列坐标进行校正，因此上述公式(3-8)和公式(3-9)中在列坐标的矫正过程中，都要减去
Figure PCTCN2015089634-appb-000014
而这里的行坐标和列坐标指的并非是我们通常意义上理解的在数学中常见的横坐标和纵坐标，本文中所说的行坐标和列坐标分别是指像素的行坐标和列坐标，主要和图像的分辨率有关。例如一幅图像的像素的分辨率为1024×768，即每一条水平线上包含有1024个像素点，共有768条线，即扫描列数为1024列，行数为768行。因此，该图像的列坐标为0到1023，行坐标可以为0到767。
而上文中的height以及width的值与手机屏幕的大小并没有直接关系，这里的height也可以指的是分辨率中像素的行数，width则可以指的是每一条水平线上包含的像素点个数。而height-1可以认为是一个行坐标，即也是图像的最高的那一行的像素行坐标，当行数为768时，行坐标的最大值height-1的则为767， 类似的，width-1同样是一个列坐标，当每一条水平线上包含有1024个像素点时，列坐标的最大值width-1为1023。
还应理解的是，OG/OC并不是所有像素点的校正系数，校正系数是根据像素点位置的不同，而不断变化的值，但是，若多个像素点的行坐标相同时，则该行的校正系数可以相同。即，该校正系数是与行坐标对应的，并且，其他像素点的校正系数的求解方法同求解OG/OC的方法类似，这里不再赘述。
图4为利用上述实施例一提供的校正方法校正图像后，图像校正前后的效果对比图，图4(a)为校正前的图像，图4(b)为校正后的图像，由图中可以明显的看出，图4(a)中上窄下宽的图像已经通过上述所介绍的校正方法校正为图4(b)中上下宽度相同的图像。利用该方法，明显的避免了图像畸变的问题。
图5为本发明实施例二提供的图像畸变校正方法的流程图500。如图5所示，该方法包括：
510，以偏离竖直方向的第一角度拍摄第n帧图像。
具体的，当以偏离竖直方向的第一角度拍摄第n帧图像时，该图像的第一像素点到光心的距离值在光轴方向的投影为第一距离值，第i像素点到光心的距离值在光轴方向的投影为第二距离值，其中，n的取值为2到N，N的取值为大于或者等于2的正整数。
应理解，在拍摄第n帧图像时，该图像的第一像素点为该图像最下端的任意一个像素点。
520，获取第三距离值和第四距离值。
具体的，第三距离值是以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，第四距离值是以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影。其中，第二角度小于第一角度，而第一角度和第二角度为在竖直方向同一侧拍摄图像时的角度。
例如，当手机拍摄第一帧图像是在竖直方向向右偏离一定角度拍摄的，那么第二帧图像同样是在竖直方向向右偏离一定角度进行拍摄。
530，根据第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数。
具体的：
根据第一距离值和第二距离值，获取第一比值；
根据第三距离值和第四距离值，获取第二比值；
根据第一比值和第二比值，获取第n帧图像的第i像素点的校正系数。
而第一比值和第二比值的求法同上文中介绍的利用图像畸变校正原理中获取“OG/OC”的方法类似，这里不再赘述。
应理解，在校正第n帧图像时，是以第一帧图像为基准的，因此，第n帧图像的第i像素点的校正系数为：
Figure PCTCN2015089634-appb-000015
       (5-1)
其中，T′i为第n帧图像的第i像素点的校正系数，Ti为第一比值，T1为第二比值。
还应理解，由上述图像畸变校正原理中的介绍可知，当camera的光轴(如图3(a)中的虚线所示)与大楼10成像的平面垂直时，大楼10成像的平面上的任意一点到光心O的距离值在光轴方向上的投影是相等的，因此，大楼10的左、右两侧在图像中都是竖直的，没有变形。而当camera以第一角度θi拍摄物体时，拍摄出的图片上的像将会发生变形，图片上的大楼在不同高度上的任意一点到光心O的距离值在光轴方向上的投影将不会再相等。所以这里计算第一比值Ti，目的是为了计算第n帧图像在竖直方向偏离第一角度θi时，相对于理想状态(即camera的光轴与大楼10成像的平面垂直时)图像变形的比例。同样的，计算第二比值T1，是为了计算第一帧图像在竖直方向偏离第二角度θ2时，相对于理想状态图像变形的比例。
可选的，当拍摄的第一帧图像为理想状态的图像时，此时的第二比值可 以为1。
具体的，当拍摄的第一帧图像时，手机20的摄像头Camera的光轴(如图3(a)中的虚线所示)与大楼10成像的平面垂直，那么，在Camera竖直视角∠AOB范围内，大楼10成像的平面上的任意一点到光心O的距离值在光轴方向上的投影是相等的，此时的第二比值则为1。
540，根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置。
具体的，第n帧图像的第i像素点的位置包括第n帧图像的第i像素点的位置的列坐标。
根据列坐标与校正系数，获取第i像素点校正后的列坐标。
具体的，可以根据公式(5-2)获取第i像素点校正后位置的列坐标：
Figure PCTCN2015089634-appb-000016
     (5-2)
即：
Figure PCTCN2015089634-appb-000017
     (5-3)
其中，J′为第i像素点校正后的列坐标，J为第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为校正系数。
应理解，根据公式(5-3)计算出来的第i像素点校正后位置的列坐标J′通常是浮点数，可以通过线性或者双线性的插值等方法计算获取整数的列坐标数据。
还应理解，本实施中的校正系数T′i并不是所有像素点的校正系数，校正系数是根据像素点位置的不同，而不断变化的值，但是，若多个像素点的行坐标相同时，则该行的校正系数可以相同。即，该校正系数是与行坐标对应的，并且，其他像素点的校正系数的求解方法同求解T′i的方法类似，这里不再赘述。
另外，需要说明的是，本发明中，拍摄图像的角度可以通过电子设备中陀螺仪传感器(gyro-sensor)等获取，也可以通过其他方式获取，这里不做限 制。
本发明实施例二提供的图像畸变校正方法，通过获取第n帧图像的像素点位置对应于第一帧图像的像素点位置的校正系数，根据该校正系数对第n帧图像进行校正。并利用校正后的图像和第一帧图像进行合成。从而克服了图像变形的问题。并避免了合成后的图像不垂直、顶部发生弯曲变形等几何失真，对于改善全景拍照效果具有十分重要的意义。
图6为本发明实施例三提供的一种图像畸变校正装置，如图6所示，该装置包括：摄像单元601，测量单元602，处理单元603以及校正单元604。
摄像单元601，用于以偏离竖直方向的第一角度拍摄第n帧图像，以及以偏离竖直方向的第二角度拍摄第一帧图像。
具体的，摄像单元601在拍摄第n帧图像和第一帧图像时，拍摄时的第二角度小于第一角度，且第一角度与第二角度为在竖直方向同一侧拍摄图像时的角度。例如，当摄像单元601拍摄第一帧图像是在竖直方向向右偏离一定角度拍摄的，那么第二帧图像同样是在竖直方向向右偏离一定角度进行拍摄，其中，n的取值为2到N，N的取值为大于或者等于2的正整数。
测量单元602，用于测量第一距离值、第二距离值，以及第三距离值和第四距离值。
具体的，第一距离值为摄像单元601以偏离竖直方向的第一角度拍摄第n帧图像时，第n帧图像的第一像素点到光心的距离值在光轴方向的投影，第二距离值为摄像单元601以偏离竖直方向的第一角度拍摄第n帧图像时，第n帧图像的第i像素点到光心的距离值在光轴方向的投影，且第一像素点为第n帧图像中最下端的一个像素点；
第三距离值为摄像单元601以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，第四距离值为摄像单元601以偏离竖直方向的第二角度拍摄第一帧图像时， 第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影。
处理单元603，用于根据测量单元测量的第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数。
具体的，处理单元603根据第一距离值和第二距离值，获取第一比值；
根据第三距离值和第四距离值，获取第二比值；
根据第一比值和第二比值，获取第n帧图像的第i像素点的校正系数。
而第一比值和第二比值的求法同上文中介绍的利用图像畸变校正原理中获取“OG/OC”的方法类似，这里不再赘述。
应理解，在校正第n帧图像时，是以第一帧图像为基准的，因此，第n帧图像的第i像素点的校正系数为：
Figure PCTCN2015089634-appb-000018
        (6-1)
其中，T′i为第n帧图像的第i像素点的校正系数，Ti为第一比值，T1为第二比值。
还应理解，由上述图像畸变校正原理中的介绍可知，当光轴(如图3(a)中的虚线所示)与大楼10成像的平面垂直时，大楼10成像的平面上的任意一点到光心O的距离值在光轴方向上的投影是相等的，因此，大楼10的左、右两侧在图像中都是竖直的，没有变形。而当摄像单元601以第一角度θi拍摄物体时，拍摄出的图片上的像将会发生变形，图片上的大楼在不同高度上的任意一点到光心O的距离值在光轴方向上的投影将不会再相等。所以处理单元603计算第一比值Ti，目的是为了计算第n帧图像在竖直方向偏离第一角度时，相对于理想状态图像变形的比例。同样的，计算第二比值T1，是为了计算第一帧图像在竖直方向偏离第二角度θ2时，相对于理想状态图像变形的比例。
可选的，当摄像单元601拍摄的第一帧图像为理想状态的图像时，此时的第二比值可以为1。
具体的，当摄像单元601拍摄第一帧图像时，光轴(如图3(a)中的虚 线所示)与大楼10成像的平面垂直，那么，在Camera竖直视角∠AOB范围内，大楼10成像的平面上的任意一点到光心O的距离值在光轴方向上的投影是相等的，此时的第二比值则为1。
校正单元604，用于根据处理单元获取的校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置。
具体的，第n帧图像的第i像素点的位置包括第n帧图像的第i像素点的位置的列坐标。
根据列坐标与校正系数，获取第i像素点校正后的列坐标。
具体的，可以根据公式(6-2)获取第i像素点校正后位置的列坐标：
Figure PCTCN2015089634-appb-000019
    (6-2)
即：
Figure PCTCN2015089634-appb-000020
     (6-3)
其中，J′为第i像素点校正后的列坐标，J为第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为校正系数。
应理解，根据公式(6-3)计算出来的第i像素点校正后位置的列坐标J′通常是浮点数，可以通过线性或者双线性的插值等方法计算获取整数的列坐标数据。
还应理解，本实施中的校正系数T′i并不是所有像素点的校正系数，校正系数是根据像素点位置的不同，而不断变化的值，但是，若多个像素点的行坐标相同时，则该行的校正系数可以相同。即，该校正系数是与行坐标对应的，并且，其他像素点的校正系数的求解方法同求解T′i的方法类似，这里不再赘述。
本发明实施例三提供的图像畸变校正装置，通过处理单元获取第n帧图像的像素点位置对应于第一帧图像的像素点位置的校正系数，并利用校正单元，根据该校正系数对第n帧图像进行校正。利用校正后的图像和第一帧图像进行合成。从而克服了图像变形的问题。并避免了合成后的图像不垂直、 顶部发生弯曲变形等几何失真，对于改善全景拍照效果具有十分重要的意义。
图7为本发明实施例四提供的一种图像畸变校正装置，如图7所示，该装置包括：摄像图模组701，用于拍摄静态或动态图像；一个或多个处理器702；存储器703；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器703中并被配置为被一个或多个处理702器执行，一个或多个程序用于执行如下方法指令：
以偏离竖直方向的第一角度拍摄第n帧图像，其中，第n帧图像的第一像素点到光心的距离值在光轴方向的投影为第一距离值，第n帧图像的第i像素点到光心的距离值在光轴方向的投影为第二距离值，第一像素点为第n帧图像中最下端的一个像素点；
获取第三距离值和第四距离值，其中第三距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，第四距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影，第二角度小于第一角度，且第一角度与第二角度为在竖直方向同一侧拍摄图像时的角度。
根据第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数，具体包括：
根据第二距离值和第一距离值，获取第一比值；
根据第三距离值和第四距离值，获取第二比值；
根据第一比值和第二比值，获取第n帧图像的第i像素点的校正系数，其中n的取值为2到N，N的取值为大于或者等于2的正整数。
其中第二比值可以为1。
获取校正系数的公式如下：
Figure PCTCN2015089634-appb-000021
      (7-1)
其中，T′i为第n帧图像的第i像素点的校正系数，Ti为第一比值，T1为第二比值。
根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置，第n帧图像的第i像素点的位置包括第n帧图像的第i像素点的位置的列坐标。
根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置具体包括：
根据列坐标与校正系数，获取第i像素点校正后的列坐标。
具体公式如下：
Figure PCTCN2015089634-appb-000022
     (7-2)
其中，J′为第i像素点校正后的列坐标，J为第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为校正系数。
需要说明的是，本发明中，拍摄图像的角度可以通过电子设备中陀螺仪传感器(gyro-sensor)等获取，也可以通过其他方式获取，这里不做限制。
本发明实施例四提供的图像畸变校正装置，通过获取第n帧图像的像素点位置对应于第一帧图像的像素点位置的校正系数，并根据该校正系数对第n帧图像进行校正。利用校正后的图像和第一帧图像进行合成。从而克服了图像变形的问题。并避免了合成后的图像不垂直、顶部发生弯曲变形等几何失真，对于改善全景拍照效果具有十分重要的意义。
此外，本发明实施例五还提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当被包括显示器和多个应用程序的便携式电子设备执行时使所述便携式电子设备执行以下方法，其中，所述显示器包括触敏表面和显示屏。
执行方法包括：
以偏离竖直方向的第一角度拍摄第n帧图像，其中，第n帧图像的第一 像素点到光心的距离值在光轴方向的投影为第一距离值，第n帧图像的第i像素点到光心的距离值在光轴方向的投影为第二距离值，第一像素点为第n帧图像中最下端的一个像素点；
获取第三距离值和第四距离值，其中第三距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，第四距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影，第二角度小于第一角度，且第一角度与第二角度为在竖直方向同一侧拍摄图像时的角度。
根据第一距离值和第二距离值，以及第三距离值和第四距离值，获取第n帧图像的第i像素点的校正系数，具体包括：
根据第二距离值和第一距离值，获取第一比值；
根据第三距离值和第四距离值，获取第二比值；
根据第一比值和第二比值，获取第n帧图像的第i像素点的校正系数，其中n的取值为2到N，N的取值为大于或者等于2的正整数。
其中第二比值可以为1。
获取校正系数的公式如下：
Figure PCTCN2015089634-appb-000023
其中，T′i为第n帧图像的第i像素点的校正系数，Ti为第一比值，T1为第二比值。
根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置，第n帧图像的第i像素点的位置包括第n帧图像的第i像素点的位置的列坐标。
根据校正系数，以第一帧图像的第i像素点的位置为基准，校正第n帧图像的第i像素点的位置具体包括：
根据列坐标与校正系数，获取第i像素点校正后的列坐标。
具体公式如下：
Figure PCTCN2015089634-appb-000024
其中，J′为第i像素点校正后的列坐标，J为第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为校正系数。
图8为本发明提供的通过图像畸变校正方法以及装置校正后的两帧图像效果对比图，图8(a)为以第二角度(本发明实施例为10°)拍摄的第一帧图像，图8(b)为以第一角度(本发明实施例为30°)拍摄的第二帧图像，图8(c)为对第二帧图像进行校正后的图像。图9为基于图8中所提供的校正前和校正后的图像分别进行合成的效果对比图。图9(a)为基于图8(a)和图8(b)合成后的图像；图9(b)为基于图8(a)和图8(c)合成后的图像，由图9(a)中可以看出，图像发明了明显的变形，竖直的线条发生弯曲，大楼的顶部向中间压缩；图9(b)中则避免了图像不垂直、顶部发生弯曲变形等几何失真的问题。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

  1. 一种图像畸变校正方法，其特征在于，所述方法包括：
    以偏离竖直方向的第一角度拍摄第n帧图像，其中，所述第n帧图像的第一像素点到光心的距离值在光轴方向的投影为第一距离值，所述第n帧图像的第i像素点到光心的距离值在光轴方向的投影为第二距离值，所述第一像素点为所述第n帧图像中最下端的一个像素点；
    获取第三距离值和第四距离值，其中所述第三距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，所述第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，所述第四距离值为以偏离竖直方向的第二角度拍摄第一帧图像时，所述第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影，所述第二角度小于所述第一角度，且所述第一角度与所述第二角度为在竖直方向同一侧拍摄图像时的角度；
    根据所述第一距离值和所述第二距离值，以及所述第三距离值和所述第四距离值，获取所述第n帧图像的第i像素点的校正系数；
    根据所述校正系数，以第一帧图像的第i像素点的位置为基准，校正所述第n帧图像的第i像素点的位置，其中n的取值为2到N，N的取值为大于或者等于2的正整数。
  2. 根据权利要求1所述的方法，其特征在于，根据所述第一距离值和所述第二距离值，以及第三距离值和第四距离值，获取所述第n帧图像的第i像素点的校正系数，具体包括：
    根据所述第一距离值和所述第二距离值，获取第一比值；
    根据所述第三距离值和所述第四距离值，获取第二比值；
    根据所述第一比值和所述第二比值，获取所述第n帧图像的第i像素点的校正系数。
  3. 根据权利要求2所述的方法，其特征在于，所述第二比值为1。
  4. 根据权利要求2或3所述的方法，其特征在于，获取所述校正系数的 公式如下：
    Figure PCTCN2015089634-appb-100001
    其中，T′i为所述第n帧图像的第i像素点的校正系数，Ti为所述第一比值，T1为所述第二比值。
  5. 根据权利要求1所述的方法，其特征在于，所述第n帧图像的第i像素点的位置包括所述第n帧图像的第i像素点的位置的列坐标，所述根据所述校正系数，以第一帧图像的第i像素点的位置为基准，校正所述第n帧图像的第i像素点的位置具体包括：
    根据所述列坐标与所述校正系数，获取所述第i像素点校正后的列坐标。
  6. 根据5所述的方法，其特征在于，所述根据所述列坐标与所述校正系数，获取所述第i像素点校正后的列坐标公式如下：
    Figure PCTCN2015089634-appb-100002
    其中，J′为所述第i像素点校正后的列坐标，J为所述第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为所述校正系数。
  7. 一种图像畸变校正的装置，其特征在于，所述装置包括：
    摄像单元，用于以偏离竖直方向的第一角度拍摄第n帧图像，以及以偏离竖直方向的第二角度拍摄第一帧图像，所述第二角度小于所述第一角度，且所述第一角度与所述第二角度为在竖直方向同一侧拍摄图像时的角度；
    测量单元，用于测量第一距离值、第二距离值，以及第三距离值和第四距离值；其中，所述第一距离值为所述摄像单元以偏离竖直方向的第一角度拍摄所述第n帧图像时，所述第n帧图像的第一像素点到光心的距离值在光轴方向的投影，所述第二距离值为所述摄像单元以偏离竖直方向的第一角度拍摄所述第n帧图像时，所述第n帧图像的第i像素点到光心的距离值在光轴方向的投影，且所述第一像素点为所述第n帧图像中最下端的一个像素点； 所述第三距离值为所述摄像单元以偏离竖直方向的第二角度拍摄所述第一帧图像时，所述第一帧图像的最上端的一个像素点到光心的距离值在光轴方向的投影，所述第四距离值为所述摄像单元以偏离竖直方向的第二角度拍摄第一帧图像时，所述第一帧图像的最下端的一个像素点到光心的距离值在光轴方向的投影；
    处理单元，用于根据测量单元测量的所述第一距离值和所述第二距离值，以及所述第三距离值和所述第四距离值，获取所述第n帧图像的第i像素点的校正系数；
    校正单元，用于根据所述处理单元获取的所述校正系数，以第一帧图像的第i像素点的位置为基准，校正所述第n帧图像的第i像素点的位置，其中n的取值为2到N，N的取值为大于或者等于2的正整数。
  8. 根据权利要求7所述的装置，其特征在于，所述处理单元具体用于：
    根据所述第一距离值和所述第二距离值，获取第一比值；
    根据所述第三距离值和所述第四距离值，获取第二比值；
    根据所述第一比值和所述第二比值，获取所述第n帧图像的第i像素点的校正系数。
  9. 根据权利要求8所述的装置，其特征在于，所述第二比值为1。
  10. 根据权利要求8或9所述的装置，其特征在于，所述处理单元获取所述校正系数的公式如下：
    Figure PCTCN2015089634-appb-100003
    其中，T′i为所述第n帧图像的第i像素点的校正系数，Ti为所述第一比值，T1为所述第二比值。
  11. 根据权利要求7所述的装置，其特征在于，所述第n帧图像的第i像素点的位置包括所述第n帧图像的第i像素点的位置的列坐标，所述校正单元具体用于：
    根据所述第n帧图像的第i像素点的位置的列坐标与所述校正系数，获取 所述第i像素点校正后的列坐标。
  12. 根据权利要求11所述的装置，其特征在于，所述校正单元根据所述列坐标与所述校正系数，获取所述第i像素点校正后的列坐标公式如下：
    Figure PCTCN2015089634-appb-100004
    其中，J′为所述第i像素点校正后的列坐标，J为所述第n帧图像的第i像素点的位置的列坐标，width为以像素为单位的图像宽度，T′i为所述校正系数。
  13. 一种图像畸变校正的装置，其特征在于，所述装置包括：摄像图模组，用于拍摄静态或动态图像；一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为被所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1-6所述的方法指令。
  14. 一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被包括显示器和多个应用程序的便携式电子设备执行时使所述便携式电子设备执行根据权利要求1至6任一项所述方法，其中，所述显示器包括触敏表面和显示屏。
PCT/CN2015/089634 2015-09-15 2015-09-15 图像畸变校正方法及装置 WO2017045129A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/571,674 US10373298B2 (en) 2015-09-15 2015-09-15 Image distortion correction method and apparatus
PCT/CN2015/089634 WO2017045129A1 (zh) 2015-09-15 2015-09-15 图像畸变校正方法及装置
CN201580028733.9A CN107004261B (zh) 2015-09-15 2015-09-15 图像畸变校正方法及装置
EP15903820.7A EP3252709B1 (en) 2015-09-15 2015-09-15 Image distortion correction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/089634 WO2017045129A1 (zh) 2015-09-15 2015-09-15 图像畸变校正方法及装置

Publications (1)

Publication Number Publication Date
WO2017045129A1 true WO2017045129A1 (zh) 2017-03-23

Family

ID=58288350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/089634 WO2017045129A1 (zh) 2015-09-15 2015-09-15 图像畸变校正方法及装置

Country Status (4)

Country Link
US (1) US10373298B2 (zh)
EP (1) EP3252709B1 (zh)
CN (1) CN107004261B (zh)
WO (1) WO2017045129A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510463A (zh) * 2018-05-07 2018-09-07 凌云光技术集团有限责任公司 一种畸变图像的矫正方法及装置
CN109087253A (zh) * 2017-06-13 2018-12-25 杭州海康威视数字技术股份有限公司 一种图像校正方法及装置
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065632A1 (zh) * 2014-10-31 2016-05-06 华为技术有限公司 一种图像处理方法和设备
CN107004261B (zh) * 2015-09-15 2020-01-21 华为技术有限公司 图像畸变校正方法及装置
CN108921797B (zh) * 2018-06-14 2021-07-13 合肥市商巨智能装备有限公司 畸变图像的校准方法
US20200160560A1 (en) * 2018-11-19 2020-05-21 Canon Kabushiki Kaisha Method, system and apparatus for stabilising frames of a captured video sequence
CN109785265B (zh) * 2019-01-16 2022-11-11 西安全志科技有限公司 畸变矫正图像处理方法及图像处理装置
CN112468800B (zh) * 2019-09-06 2022-10-11 余姚舜宇智能光学技术有限公司 广角摄像模组的测试方法及其测试系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189849A1 (en) * 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
CN1577050A (zh) * 2003-07-11 2005-02-09 精工爱普生株式会社 图像处理系统、投影机及图像处理方法
CN101212575A (zh) * 2006-12-27 2008-07-02 三星电子株式会社 拍摄全景图像的方法
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101833231A (zh) * 2010-03-19 2010-09-15 中国人民解放军国防科学技术大学 拼接全景相机视域的调节装置及调节方法
CN101840570A (zh) * 2010-04-16 2010-09-22 广东工业大学 一种快速图像拼接方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2111854A (en) * 1935-06-21 1938-03-22 Gasso Thomas Panoramic camera
CN1214614C (zh) * 1998-04-10 2005-08-10 株式会社理光 图像处理方法、图像处理装置及记录媒体
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
DE10026739B4 (de) * 2000-05-30 2006-10-19 Micronas Gmbh Verfahren und Vorrichtung zur Phasenkorrektur eines vertikal verzerrten digitalen Bilds
US20030223648A1 (en) * 2002-05-29 2003-12-04 Albrecht Richard E. Method of correcting image shift
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
US7636498B2 (en) * 2003-06-02 2009-12-22 Olympus Corporation Image processing apparatus
US9049396B2 (en) * 2004-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Creating composite images based on image capture device poses corresponding to captured images
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US8542289B1 (en) * 2008-02-08 2013-09-24 Google Inc. Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve
WO2010052548A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating interactive panoramic walk-through applications
JP5397751B2 (ja) * 2009-03-19 2014-01-22 株式会社ニコン カメラおよび画像補正方法
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100328456A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Lenslet camera parallax correction using distance information
KR100988872B1 (ko) * 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
US8310538B2 (en) * 2010-03-19 2012-11-13 Fujifilm Corporation Imaging apparatus, method, program, and recording medium used in the program
JP2012199752A (ja) * 2011-03-22 2012-10-18 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9282242B2 (en) * 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
WO2013121897A1 (ja) * 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
US9785201B2 (en) * 2012-03-01 2017-10-10 Microsoft Technology Licensing, Llc Controlling images at mobile devices using sensors
US20130342567A1 (en) * 2012-06-21 2013-12-26 Nokia Corporation Method, apparatus and computer program product for processing of multimedia content
US9185289B2 (en) * 2013-06-10 2015-11-10 International Business Machines Corporation Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
US9686479B2 (en) * 2013-09-16 2017-06-20 Duke University Method for combining multiple image fields
DE102014204303A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Verfahren zum Zusammenfügen von Einzelbildern, die von einem Kamerasystem aus unterschiedlichen Positionen aufgenommen wurden, zu einem gemeinsamen Bild
IL231818A (en) * 2014-03-31 2017-10-31 Israel Aerospace Ind Ltd A method and system for correcting distortion in images
DE102014112648A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
CN107004261B (zh) * 2015-09-15 2020-01-21 华为技术有限公司 图像畸变校正方法及装置
KR102534875B1 (ko) * 2016-12-08 2023-05-22 한국전자통신연구원 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
CN108632504A (zh) * 2017-03-15 2018-10-09 致伸科技股份有限公司 多镜头光学装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189849A1 (en) * 2003-03-31 2004-09-30 Hofer Gregory V. Panoramic sequence guide
CN1577050A (zh) * 2003-07-11 2005-02-09 精工爱普生株式会社 图像处理系统、投影机及图像处理方法
CN101212575A (zh) * 2006-12-27 2008-07-02 三星电子株式会社 拍摄全景图像的方法
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101833231A (zh) * 2010-03-19 2010-09-15 中国人民解放军国防科学技术大学 拼接全景相机视域的调节装置及调节方法
CN101840570A (zh) * 2010-04-16 2010-09-22 广东工业大学 一种快速图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3252709A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087253A (zh) * 2017-06-13 2018-12-25 杭州海康威视数字技术股份有限公司 一种图像校正方法及装置
CN109087253B (zh) * 2017-06-13 2020-12-25 杭州海康威视数字技术股份有限公司 一种图像校正方法及装置
CN109544460A (zh) * 2017-09-22 2019-03-29 宝沃汽车（中国）有限公司 图像矫正方法、装置及车辆
CN108510463A (zh) * 2018-05-07 2018-09-07 凌云光技术集团有限责任公司 一种畸变图像的矫正方法及装置
CN108510463B (zh) * 2018-05-07 2020-12-25 凌云光技术股份有限公司 一种畸变图像的矫正方法及装置

Also Published As

Publication number Publication date
EP3252709A4 (en) 2018-04-11
EP3252709A1 (en) 2017-12-06
CN107004261A (zh) 2017-08-01
US10373298B2 (en) 2019-08-06
EP3252709B1 (en) 2019-05-22
CN107004261B (zh) 2020-01-21
US20180122055A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
WO2017045129A1 (zh) 图像畸变校正方法及装置
US8754961B2 (en) Apparatus and method for generating image data from overlapping regions of images
US9082187B1 (en) Method and apparatus for correcting distortion in an image due to rotational motion of an image capture device occurring while the image is being captured
US7317558B2 (en) System and method for image processing of multiple images
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
US8649593B2 (en) Image processing apparatus, image processing method, and program
KR100796849B1 (ko) 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
JP2014131257A (ja) 画像補正システム、画像補正方法及びプログラム
US20100119172A1 (en) Fisheye Correction with Perspective Distortion Reduction Method and Related Image Processor
US10943378B2 (en) Cylindrical panorama
CN105894467A (zh) 一种图像校正方法及系统
TWI554108B (zh) 電子裝置及影像處理方法
WO2023273108A1 (zh) 单目测距方法、装置及智能装置
JP6178127B2 (ja) 建造物の計測装置および計測方法
JP6486603B2 (ja) 画像処理装置
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP5321417B2 (ja) 透視変換パラメータ生成装置、画像補正装置、透視変換パラメータ生成方法、画像補正方法、及びプログラム
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP2015154334A (ja) 撮像装置、その制御方法、および制御プログラム
JP2014033342A (ja) 画像補正装置
JP2015201707A (ja) ディスプレイ表示パターン生成装置及びそのプログラム
JP2014160998A (ja) 画像処理システム、画像処理方法、画像処理プログラム、及び記録媒体
US20230370562A1 (en) Image recording device
WO2015038333A2 (en) Imaging system with vanishing point detection using camera metadata and method of operation thereof
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15903820

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015903820

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15571674

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE