WO2023010546A1 - 影像校正系统及其方法 - Google Patents

影像校正系统及其方法 Download PDF

Info

Publication number
WO2023010546A1
WO2023010546A1 PCT/CN2021/111249 CN2021111249W WO2023010546A1 WO 2023010546 A1 WO2023010546 A1 WO 2023010546A1 CN 2021111249 W CN2021111249 W CN 2021111249W WO 2023010546 A1 WO2023010546 A1 WO 2023010546A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
original
pixel
pixels
total number
Prior art date
Application number
PCT/CN2021/111249
Other languages
English (en)
French (fr)
Inventor
时善乐
Original Assignee
时善乐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 时善乐 filed Critical 时善乐
Priority to US18/267,440 priority Critical patent/US20240118850A1/en
Priority to CN202180095056.8A priority patent/CN117356105A/zh
Priority to PCT/CN2021/111249 priority patent/WO2023010546A1/zh
Priority to GB2401227.0A priority patent/GB2623688A/en
Publication of WO2023010546A1 publication Critical patent/WO2023010546A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • this case proposes an image regression application unit.
  • the unit at least includes an inclination correction element and an aspect correction element, wherein the image regression application unit is used to extract an original shot image and an inclination angle information from one or more image information files, and then output a new one based on the inclination angle information
  • the pixel position, and then correct the aspect ratio of the image to obtain the minimum complete image horizontal inclination angle regression and maintain the aspect ratio when the camera device is tilted, so that it can return to the horizontal, untruncated angle, and the original image length and width Consistent image recording, so the present invention should be an optimal solution.
  • the image regression application unit outputs a first total number of horizontal pixels (w') and a first vertical The total number of direction pixels (h') and generate a surrounding frame, which is in contact with the four vertices of the image boundary of the original captured image;
  • the image regression application unit outputs a first pixel horizontal coordinate (x') and a first pixel vertical coordinate (y') in an untilted state according to the tilt angle information, so that the original shot image can be based on A plurality of first pixel horizontal coordinates (x') and a plurality of first pixel vertical coordinates (y') generate new pixel positions, so as to correct the original shot image back to a horizontal state without tilt angle according to the new pixel positions ;as well as
  • FIG. 2A is a schematic diagram of image shooting in another prior art
  • Fig. 6 is a schematic diagram of information processing of the image correction system and method thereof of the present invention.
  • Fig. 12 is a schematic diagram of the aspect ratio correction of the circumscribed new coordinate axes of the image correction system and method thereof of the present invention.
  • An aspect correction element 4213 connected to the tilt correction element 4212, can obtain a second total number of pixels in the horizontal direction (w") and a second vertical direction according to the original image equal aspect ratio (h/w) The total number of pixels (h"), and output a second pixel level based on the second total number of pixels in the horizontal direction (w"), the total number of pixels in the first horizontal direction (w') and the first pixel horizontal coordinate (x') coordinate (x"), and output a second pixel vertical coordinate (y') according to the first pixel vertical coordinate (y'), which is used to correct the image output to the display screen 43 to be consistent with the original
  • a control switch element 4214 which is connected with the length-width correction element 4213, is used to control the image displayed on the display screen 43 to be a corrected original shot image or an uncorrected original shot image, and the The length and width correction element 4213 can use the total number of pixels in the original horizontal direction (w), the total number of pixels in the original vertical direction (h), the horizontal coordinate (x) of any original pixel, the vertical coordinate (y) of any original pixel, the second The total number of pixels in the horizontal direction (w"), the total number of pixels in the second vertical direction (h"), the horizontal coordinates of any second pixel (x"), and the vertical coordinates of any second pixel (y") are sent to the control switch Element 4214, as shown in Figure 6, if the control switch element 4214 is turned off, the total number of pixels in the original horizontal direction (w), the total number of pixels in the original vertical direction (h), the horizontal coordinates of any original pixel (x), any The original pixel vertical coordinates (y) output the uncorrected original shooting image
  • the image information file can include the original shooting image and tilt angle information, and the source of the image information file is:
  • the analysis device itself has a photographic lens and a gravity angle sensor
  • the original photographed image can be produced by photographing the photographic lens, and the tilt angle information can be detected by the gravity angle sensor;
  • the aforementioned surrounding frame in this case is a circular frame, that is, the center of the original image is the center of the circle, the four vertices of the image are circumscribed in a circle (the center rotates the image), and the four vertices of the image boundary of the original shot image are in contact with the circular frame, so that Figure 9 further illustrates that when the center of the original image is taken as the center, the four vertices of the image circumscribe a circle (center rotated image), taking Figure 9 as an example, if the width of the original image is still w pixels, and the height is still h pixels, then the circle is circumscribed by the four vertices of the image
  • the circle’s horizontal upper-right tangent and vertical downward-left tangent are the new coordinate axes.
  • the projection from the mobile phone to the mobile phone or the TV from the mobile phone can be automatically extended to the maximum displayable state of the monitor. Therefore, in this case, the original image is used to correct the aspect ratio (h/w) , so the aspect ratio correction in this case does not need to care about any display screen specifications (for example: the number of pixels in length and width).
  • the image regression application unit outputs a first total number of horizontal pixels (w') and a first vertical The total number of direction pixels (h') and generate a surrounding frame, which is in contact with the four vertices of the image boundary of the original captured image 1602;
  • the image regression application unit obtains a second total number of pixels in the horizontal direction (w'') and a second total number of pixels in the vertical direction (h'') according to an aspect ratio (h/w) of the original image used to output the image , and output a second pixel horizontal coordinate (x") according to the second total number of pixels in the horizontal direction (w"), the first total number of pixels in the horizontal direction (w') and the first pixel horizontal coordinate (x') , and then output a second pixel vertical coordinate (y'') according to the first pixel vertical coordinate (y'), which is used to correct the image output to the display screen and the image length and width of the original captured image
  • the ratio is consistent with 1604.
  • the present invention can continuously correct and return to the horizontal image in the form of software, so there is no need to use a three-axis stabilizer. In addition to saving costs, it is also possible to carry a heavy three-axis stabilizer with many components and unchanged use when shooting. shaft stabilizer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种影像校正系统及方法，设置于一电子设备（4）上，电子设备（4）能够输出影像至一显示荧幕（43）上，而电子设备（4）内储存有至少一个影像回归应用单元（421），影像回归应用单元（421）至少包括有一倾角校正元件（4212）及一长宽校正元件（4213），其中影像回归应用单元（421）用于一或多个影像信息档取出一原始拍摄影像及一产生的倾斜角度信息，并再依据重力角度感测器（45）的倾斜角度信息输出新的像素位置，并再进行校正影像长宽比例，用以取得摄像装置倾斜时最小完整影像水平倾角回归并保持长宽比例的结果，使能够回归为水平、未截角、且与原影像长宽比一致的影像纪录。

Description

影像校正系统及其方法 技术领域
本发明是涉及一种影像校正系统及其方法，尤其涉及一种能够回归为水平、未截角、且与原影像长宽比一致的影像纪录的影像校正系统及其方法。
背景技术
现今以手机显示APP选单时，只能依手机的横向(影像宽面在水平，窄面在垂直方向)或纵向(影像窄面在水平，宽面在垂直方向)，依重力感测元件自动调整可视影像，以每90度“固定级距”的方式显示在屏幕，无法显示任意角度；也无法调整出镜头与显示屏幕角度在小角度(小于90度)的倾角差别，以图1A解释，在拍摄时，被拍摄人1的实像与拍摄端设备11屏幕上的影像在拍摄时人像的身体角度与屏幕上的人像身体角度都是朝上，不会有角度上的偏差或小于90度旋转，即使使用三轴平衡云台亦是如此。
而通过有些技术，能够控制旋转图像的角度，然后原影像旋转回归任一角度，若不改变影像大小则至少会有两个影像框角跑到影像框外而造成截角缺点，使影像不完整，以图1B所示，当将拍摄完的影像传给另一个接收端显示设备12后，接收端显示设备12即使有功能旋转回水平后影像，如图1B所示，其中原拍摄虚框线121部分为示意拍摄获得的影像边界，若以中心为旋转，则四个角皆有截角失真的现象发生。
另外，还有一种问题，如图2A所示，就是当被拍摄者2使用拍摄端设备21拍摄的原影像的摄影镜头不在水平位置时，而当接收端或事后观看录像时，如图2B所示，其接收端显示设备22上显示的画面，会让观看者混淆被拍实景与摄影镜头倾角的关系，无法弄清楚到底是左边较高或右边较高；
以现有的技术来看，不论是ZL.201710967824.X的左右镜射技术、JP U3111261的影像反转技术、JP 2003-219224的手动翻转镜头模块的电子手持镜专利，皆没有考虑到拍摄端镜头对水平倾斜时的调整，而ZL.201710967824.X的左右镜射专利也只处理了相机中内参数(Intrinsic)的座标转换，但当使用者持摄影镜头在自然座标系统中使用时，多多少少会因手持镜头的方便持握性好或不好，在摄影镜头的拍摄轴方向会产生旋转(相机外参数Extrinsic改变)，接收的一方有影像水平歪斜的不适应(如前所述)；
然而现今具有摄影镜头的手机多具备重力感测器(或称重力线角度测量元件)，部分已具有防手震(Anti-Shake)动态修正技术，但仍无法达到影像任意倾角回归水平并保持长宽比例技术的目的，甚为可惜。
如前所述，目前市面上有使用三轴稳定器(三轴平衡云台)，如图3所示，这一类的三轴稳定器3确实能够及时调整使拍摄的影像都能够保持水平的状态，因此不论使用者如何晃动或移动，都能够保持影像的稳定度，然而这一类的设备，若是要足够精准与速度要快，其设备必然很重且组件很多，故对于一般使用者来讲携带外出是尤其负担且不方便的。
发明内容
因此，为了能够依持续变动的影像任意倾角持续校正回归水平影像，且能够回归为未截角、且与原影像长宽比一致的影像纪录，本案提出一种影像回归应用单元，该影像回归应用单元至少包括一倾角校正元件及一长宽校正元件，其中该影像回归应用单元用以于一或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并再依据该倾斜角度信息输出新的像素位置，并再进行校正影像长宽比例，用以取得摄像装置倾斜时最小完整影像水平倾角回 归并保持长宽比例的结果，以能够回归为水平、未截角、且与原影像长宽比一致的影像纪录，因此本发明应为一最佳解决方案。
本发明影像校正系统，设置于电子设备上，该电子设备有至少一个处理器及至少一个电脑可读取记录的媒体，而该电子设备能够输出影像至一显示荧幕上，且该电脑可读取记录的媒体储存有一个或多个影像信息档，其中该影像校正系统包括：至少一个影像回归应用单元，储存于该电脑可读取记录的媒体内，而该影像回归应用单元包括：一倾角校正元件，能够于一个或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并于扫描该原始拍摄影像的每帧影像信号，以取得一原始水平方向像素总数(w)、一原始垂直方向像素总数(h)、一任一原始像素水平座标(x)及一任一原始像素垂直座标(y)，之后依据该原始水平方向像素总数(w)及该原始垂直方向像素总数(h)围绕该原始拍摄影像输出一第一水平方向像素总数(w’)及一第一垂直方向像素总数(h’)并产生出一围绕框，该围绕框与该原始拍摄影像的影像边界的四顶点相接触，并依据该倾斜角度信息输出一未倾斜状态下的第一像素水平座标(x’)及第一像素垂直座标(y’)，以使该原始拍摄影像能够依据多个第一像素水平座标(x’)及多个第一像素垂直座标(y’)产生出新的像素位置，以依据新的像素位置将该原始拍摄影像校正回不具倾角的水平状态；以及一长宽校正元件，与该倾角校正元件相连接，能够依据该原始影像等长宽比(h/w)取得一第二水平方向像素总数(w”)及一第二垂直方向像素总数(h”)，并依据该第二水平方向像素总数(w”)、该第一水平方向像素总数(w’)及该第一像素水平座标(x’)输出一第二像素水平座标(x”)，并依据该第一像素垂直座标(y’)输出一第二像素垂直座标(y”)，用以校正输出至该显示荧幕上的影像能够与该原始拍摄影 像的影像长宽比例一致。
更具体的说，所述围绕框为一外接矩形框，其中该外接矩形框沿着该原始拍摄影像的影像边界的四顶点所形成。
更具体的说，所述围绕框为一圆框，其中该圆框以该原始拍摄影像的中心为圆心所形成，而该原始拍摄影像的影像边界的四顶点接触于该圆框上。
更具体的说，所述电子设备能够设置或连接有一与该处理器电性连接的摄影镜头及一与该处理器电性连接的重力角度感测器，并能够通过该摄影镜头拍摄产生该原始拍摄影像以及通过该重力角度感测器检测到该倾斜角度信息。
更具体的说，所述影像信息档为一每帧影像含有该倾斜角度信息(重力线角度信息θ)的原始拍摄影像。
更具体的说，所述每帧影像含有该倾斜角度信息(重力线角度信息θ)的原始拍摄影像为一可交换影像档案格式(例如：日本标准为Exchangeable image file format，Exif)。
更具体的说，所述影像回归应用单元具有一控制开关元件，用以控制于该显示荧幕上显示的影像系为校正后的原始拍摄影像或是未校正的原始拍摄影像。
更具体的说，所述显示荧幕能够设置于该电子设备上或是通过一连接件或是无线连接方式与该电子设备连接。
一种影像校正方法，其步骤为：
(1)一影像回归应用单元于一或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并于扫描该原始拍摄影像的每帧影像信号，以取得一原 始水平方向像素总数(w)、一原始垂直方向像素总数(h)、一任一原始像素水平座标(x)及一任一原始像素垂直座标(y)；
(2)该影像回归应用单元依据该原始水平方向像素总数(w)及该原始垂直方向像素总数(h)围绕该原始拍摄影像输出一第一水平方向像素总数(w’)及一第一垂直方向像素总数(h’)并产生出一围绕框，该围绕框与该原始拍摄影像的影像边界的四顶点相接触；
(3)该影像回归应用单元依据该倾斜角度信息输出一未倾斜状态下的第一像素水平座标(x’)及第一像素垂直座标(y’)，以使该原始拍摄影像能够依据多个第一像素水平座标(x’)及多个第一像素垂直座标(y’)产生出新的像素位置，以依据新的像素位置将该原始拍摄影像校正回不具倾角的水平状态；以及
该影像回归应用单元依据一用以输出影像的原始影像等长宽比(h/w)取得一第二水平方向像素总数(w”)及一第二垂直方向像素总数(h”)，并依据该第二水平方向像素总数(w”)、该第一水平方向像素总数(w’)及该第一像素水平座标(x’)输出一第二像素水平座标(x”)，并再依据该第一像素垂直座标(y’)输出一第二像素垂直座标(y”)，用以校正输出至该显示荧幕上的影像能够与该原始拍摄影像的影像长宽比例一致。
附图说明
图1A是现有技术中的影像拍摄示意图；
图1B是现有技术中的影像拍摄后校正示意图；
图2A是另一现有技术中的影像拍摄示意图；
图2B是另一现有技术中的影像拍摄后校正接收端示意图；
图3是现有技术中的三轴稳定器示意图；
图4A是本发明影像校正系统及其方法的系统架构示意图；
图4B是本发明影像校正系统及其方法的影像回归应用单元的架构示意图；
图5是本发明影像校正系统及其方法的另一系统架构示意图；
图6是本发明影像校正系统及其方法的信息处理示意图；
图7A是本发明影像校正系统及其方法的外接新座标轴的倾斜正角运算分析示意图；
图7B是本发明影像校正系统及其方法的外接新座标轴的倾斜负角运算分析示意图；
图8A是本发明影像校正系统及其方法的外接新座标轴的不同角度实施样态示意图；
图8B是本发明影像校正系统及其方法的外接新座标轴的不同角度实施样态示意图；
图9是本发明影像校正系统及其方法的中心旋转影像的运算分析示意图；
图10A是本发明影像校正系统及其方法的中心旋转影像的不同角度实施样态示意图；
图10B是本发明影像校正系统及其方法的中心旋转影像的不同角度实施样态示意图；
图11是本发明影像校正系统及其方法的倾角校正后影像扭曲失真示意图；
图12是本发明影像校正系统及其方法的外接新座标轴的长宽比校正示 意图；
图13是本发明影像校正系统及其方法的中心旋转影像的长宽比校正示意图；
图14A是本发明影像校正系统及其方法的通过外接新座标轴的截角失真以本案倾角与长宽比校正结果示意图；
图14B是本发明影像校正系统及其方法的通过中心旋转影像的截角失真以本案倾角与长宽比校正结果示意图；
图15A是本发明影像校正系统及其方法的通过外接新座标轴的观看者混淆以本案倾角与长宽比校正结果示意图；
图15B是本发明影像校正系统及其方法的通过中心旋转影像的观看者混淆以本案倾角与长宽比校正结果示意图；
图16是本发明影像校正系统及其方法的影像校正流程示意图。
附图标记说明
1:被拍摄人；11:拍摄端设备；12:接收端显示设备；121:虚框线；
2:被拍摄者；21:拍摄端设备；22:接收端显示设备；
3:三轴稳定器；4:电子设备；41:处理器；42:电脑可读取记录的媒体；
421:影像回归应用单元；4211:影像输入元件；4212:倾角校正元件；
42121:影像边界；42122:框线；42123:框线；42124:框线；42125:框线；
4213:长宽校正元件；4214:控制开关元件；4215:影像输出元件；
43:显示荧幕；44:摄影镜头；45:重力角度感测器；5:电子设备；
6:显示荧幕。
具体实施方式
有关于本发明其他技术内容、特点与功效，在以下配合参考说明书附图的较佳实施例的详细说明中，将可清楚的呈现。
请参阅图4A及图4B，为本发明影像校正系统及其方法的整体架构示意图及影像回归应用单元的架构示意图，由图中可知，该影像校正系统设置于一电子设备4(电子设备4能够为手持智慧型装置、平板电脑、摄像机、录象机或是笔记型电脑等有镜头的设备)上，该电子设备4有至少一个处理器41及至少一个电脑可读取记录的媒体42，而该电子设备4能够输出影像至一显示荧幕43上，而该显示荧幕43能够设置于该电子设备4上(或是如图5所示，该显示荧幕6通过一连接件或是无线连接方式与该电子设备5连接用以进行显示)；
而该电脑可读取记录的媒体42储存有一个或多个影像信息档(动态影像或是静态影像)及至少一个影像回归应用单元421，而该影像回归应用单元421的架构与信息处理，如图4B所示，包括：
(1)一倾角校正元件4212，能够通过一影像输入元件4211于该电脑可读取记录的媒体42内取出影像信息档(或是通过影像输入元件4211由外部设备中取得影像信息档)，并于一或多个影像信息档取出一原始拍摄影像及一倾斜角度信息(是指摄影镜头的倾斜角度，一般是通过重力角度感测器进行感测所取得，故也能称为重力线角度信息θ)，并于扫描该原始拍摄影像的每帧影像信号，以取得一原始水平方向像素总数(w)、一原始垂直方向像素总数(h)、一任一原始像素水平座标(x)及一任一原始像素垂直座标(y)，之后依据该原始水平方向像素总数(w)及该原始垂直方向像素总数(h)围绕该原始拍摄影像输出一第一水平方向像素总数(w’)及一第一垂直方向像素总数(h’) 并产生出一围绕框，该围绕框与该原始拍摄影像的影像边界的四顶点相接触，并依据该倾斜角度信息输出一未倾斜状态下的第一像素水平座标(x’)及第一像素垂直座标(y’)，以使该原始拍摄影像能够依据多个第一像素水平座标(x’)及多个第一像素垂直座标(y’)产生出新的所有像素位置，以依据新的像素位置将该原始拍摄影像校正回不具倾角的水平状态；
(2)一长宽校正元件4213，与该倾角校正元件4212相连接，能够依据原始影像等长宽比(h/w)取得一第二水平方向像素总数(w”)及一第二垂直方向像素总数(h”)，并依据该第二水平方向像素总数(w”)、该第一水平方向像素总数(w’)及该第一像素水平座标(x’)输出一第二像素水平座标(x”)，并依据该第一像素垂直座标(y’)输出一第二像素垂直座标(y”)，用以校正输出至该显示荧幕43上的影像能够与该原始拍摄影像的影像长宽比例一致(即:w”/h”＝w/h，下同)；
(3)一控制开关元件4214，与该长宽校正元件4213相连接，用以控制于该显示荧幕43上显示的影像为校正后的原始拍摄影像或是未校正的原始拍摄影像，而该长宽校正元件4213能够将该原始水平方向像素总数(w)、原始垂直方向像素总数(h)、任一原始像素水平座标(x)、任一原始像素垂直座标(y)、第二水平方向像素总数(w”)、第二垂直方向像素总数(h”)、任一第二像素水平座标(x”)、任一第二像素垂直座标(y”)传送给该控制开关元件4214，如图6所示，若是关闭该控制开关元件4214，则将原始水平方向像素总数(w)、原始垂直方向像素总数(h)、任一原始像素水平座标(x)、任一原始像素垂直座标(y)通过该影像输出元件4215输出未校正的原始拍摄影像于该显示荧幕43上；反之，若是开启该控制开关元件4214，则将第二水平方 向像素总数(w”)、第二垂直方向像素总数(h”)、任一第二像素水平座标(x”)、任一第二像素垂直座标(y”)通过该影像输出元件4215输出校正后的原始拍摄影像于该显示荧幕43上。
另外，本案的倾角校正元件4212、长宽校正元件4213及控制开关元件4214除了能够以软体方式搭配软体介面进行控制的外，亦能够通过电子设备4设置或外接有一实体操控面板，能够通过实体操控面板上的不同实体按键或相关元件，来启动或关闭该倾角校正元件4212、长宽校正元件4213及控制开关元件4214的运作。
如图4A所示，该电子设备4能够设置或连接有一与该处理器41电性连接的摄影镜头44及一与该处理器41电性连接的重力角度感测器45，并能够通过该摄影镜头44拍摄产生该原始拍摄影像以及通过该重力角度感测器45侦测到该倾斜角度信息；另外亦能够如图5所示，该电子设备5本身能够不需设置摄影镜头及重力角度感测器，能够通过一连接件或是无线连接方式，来连接取得外部设备7所提供的影像信息档。
而影像信息档能够包括原始拍摄影像及倾斜角度信息，其中影像信息档来源为：
(1)若分析装置本身具有摄影镜头及重力角度感测器，则能够由摄影镜头拍摄产生该原始拍摄影像，并由重力角度感测器侦测到该倾斜角度信息；
(2)若分析装置本身具有摄影镜头及重力角度感测器，能够由一外部设备传送一每帧影像含有该倾斜角度信息(重力线角度信息θ)的原始拍摄影像，这一类的原始拍摄影像为一可交换影像档案格式(例如日本标准：Exchangeable image file format，Exif)；
(3)若分析装置本身不具有摄影镜头或/及重力角度感测器，能够由一外部设备传送一每帧影像含有该倾斜角度信息(重力线角度信息θ)的原始拍摄影像，这一类的原始拍摄影像系为一可交换影像档案格式(例如日本标准：Exchangeable image file format，Exif)。
而本案前述的围绕框为一外接矩形框，也就是外接新座标轴(取得最适影像)，其中该外接矩形框沿着该原始拍摄影像的影像边界的四顶点所形成，以图7A及图7B进一步说明，若原影像宽度为w像素，高度为h像素，则外接新座标轴影像仍以左上角为影像处理原点时，将不会有截角产生，但是会因为倾角为正(顺时针转)、为负(逆时针转)会产生2组新座标，而倾角校正元件4212的运算说明如下(本申请以目前影像处理大多采用的左上角为原点，公开公式推导，一般此领域技术人员可以依以下的步骤，另行转换以左下角、右上角、右下角为原点的公式)：
(1)如图7A所示，当原摄影镜头为顺时针倾斜正角，也就是倾斜角度信息(重力线角度信息θ)大于等于0且小于90度时，先由原始拍摄影像取得原始水平方向像素总数(w)、原始垂直方向像素总数(h)、任一原始像素水平座标(x)及任一原始像素垂直座标(y)，而运算方式如下：
(a)第一水平方向像素总数(w’)运算方式如下：
w′＝w·cosθ+h·|sinθ|
(b)第一垂直方向像素总数(h’)运算方式如下：
h′＝w·|sinθ|+h·cosθ
(c)第一像素水平座标(x’)运算方式如下：
Figure PCTCN2021111249-appb-000001
(d)第一像素垂直座标(y’)运算方式如下：
Figure PCTCN2021111249-appb-000002
(2)如图7B所示，当原摄影镜头为逆时针倾斜负角，也就是倾斜角度信息(重力线角度信息θ)小于0并大于负90度时，先由原始拍摄影像取得原始水平方向像素总数(w)、原始垂直方向像素总数(h)、任一原始像素水平座标(x)及任一原始像素垂直座标(y)，而运算方式如下：
(a)第一水平方向像素总数(w’)运算方式如下：
w′＝w·cosθ+h·|sinθ|
(b)第一垂直方向像素总数(h’)运算方式如下：
h′＝w·|sinθ|+h·cosθ
(c)第一像素水平座标(x’)运算方式如下：
Figure PCTCN2021111249-appb-000003
(d)第一像素垂直座标(y’)运算方式如下：
Figure PCTCN2021111249-appb-000004
而以不同角度呈现以下不同实施样态：
(1)如图8A，是代表原摄影镜头为顺时针倾斜正角(正15度)，其中影像边界42121的框线是代表原始拍摄影像的影像边界，而框线42122的框线是代表外接矩形框；
(2)如图8B，是代表原摄影镜头为逆时针倾斜负角(负45度)，其中影像边界42121的框线是代表原始拍摄影像的影像边界，而框线42122的框线是代表外接矩形框。
而本案前述的围绕框为一圆框，也就是以原影像中心为圆心，影像四顶点外接圆(中心旋转影像)，而该原始拍摄影像的影像边界的四顶点接触于该圆框上，以图9进一步说明，当以原影像中心为圆心，影像四顶点外接圆(中心旋转影像)，以图9为例，若原影像宽度仍为w像素，高度仍为h像素，则以影像四顶点外接圆的水平向右上切线、垂直向下左切线为新座标轴，外接圆所切新座标轴影像原为影像左上角为影像处理原点，改为新座标时，因为都在正象限，不会有截角产生，只会产生1组新座标，而倾角校正元件4212的运算说明如下：
(1)第一水平方向像素总数(w’)运算方式如下：
Figure PCTCN2021111249-appb-000005
(2)第一垂直方向像素总数(h’)运算方式如下：
Figure PCTCN2021111249-appb-000006
(3)第一像素水平座标(x’)运算方式如下：
Figure PCTCN2021111249-appb-000007
Figure PCTCN2021111249-appb-000008
Figure PCTCN2021111249-appb-000009
Figure PCTCN2021111249-appb-000010
与(公式2)代入(公式1)
Figure PCTCN2021111249-appb-000011
(4)第一像素垂直座标(y’)运算方式如下：
Figure PCTCN2021111249-appb-000012
Figure PCTCN2021111249-appb-000013
Figure PCTCN2021111249-appb-000014
Figure PCTCN2021111249-appb-000015
Figure PCTCN2021111249-appb-000016
与(公式5、4)代入(公式3)
Figure PCTCN2021111249-appb-000017
Figure PCTCN2021111249-appb-000018
而以不同角度呈现以下不同实施样态：
(1)如图10A，是代表原摄影镜头为顺时针倾斜正角(正15度)，其中影像边界42121的框线是代表原始拍摄影像的影像边界，而框线42123是代表圆框；
(2)如图10B，是代表原摄影镜头为逆时针倾斜负角(负45度)，其中影像边界42121的框线是代表原始拍摄影像的影像边界，而框线42123是代表圆框。
而以前述图8A为例，原宽、长比(w,h)为2:1的虚线影像，若完成倾角校正后，(w’,h’)仍以宽、长比例2:1转出会变成如图11的样态，由图中可知，影像(框线42125示意为校正后失真影像范围)已扭曲失真，必须加以处理。
如图12所示，w’、h’标示范例的围绕框为原影像的影像边界42121的外接矩形框42122，并以框线42124示意为长宽比校正后影像范围，并使原 影像的影像边界42121居中，并以w大于等于h为说明(w小于h依下式一般技术人员皆可推导，故不额外赘述)，而长宽比校正说明如下：
(1)若要保持为影像长宽比例，则公式6如下：
Figure PCTCN2021111249-appb-000019
(2)而宽、长比不变下的最小影像为：
h"＝h′＝w·|sinθ|+h·cosθ
(3)之后代入公式6得到：
Figure PCTCN2021111249-appb-000020
(4)进一步得到：
Figure PCTCN2021111249-appb-000021
w′＝w·cosθ+h·|sinθ|
Figure PCTCN2021111249-appb-000022
(5)而Y"＝Y′
如图13所示，围绕框为圆框42123，并以框线42124示意为校正后影像范围，并使原影像的影像边界42121居中，另以圆框为示意原影像的影像边界42121的外接圆，找出X’方向偏置量，而长宽比校正说明如下：
(1)若要保持为影像长宽比例，则公式7如下：
Figure PCTCN2021111249-appb-000023
(2)而宽、长比不变下的最小影像为：
Figure PCTCN2021111249-appb-000024
(3)之后代入公式7得到：
Figure PCTCN2021111249-appb-000025
Figure PCTCN2021111249-appb-000026
(4)进一步得到：
Figure PCTCN2021111249-appb-000027
(5)而Y"＝Y′
(6)另外，无论围绕框为外接矩形框或为圆框，其中Y"＝Y'皆可得保持长宽比例的影像，至于扩延的影像外的区域可以空白底或加背景，一般影像技术人员皆可处理，不在此赘述。
另外，由于一般显示器都自带Auto Fit能力，所以手机投影给手机或手机投影给电视，都能自动扩延至显示器最大可显示状态，故本案使用原始影像等长宽比(h/w)进行校正，故本案的长宽比校正不须理会任何显示荧幕的规格(例如：长、宽各多少像素)。
另外，针对图1A进行校正后，若是通过外接新座标轴(以围绕框为外接矩形框)的方法进行校正，其效果如图14A所示；若是以中心旋转影像的外接圆新座标轴的方法进行校正，其效果如图14B所示，其中影像边界42121为示意影像边界、框线42122为示意影像外接矩形、框线42123为示意影像外接圆，其效果明显能改善其问题。
另外，针对图2B进行校正后，若是通过外接新座标(以围绕框为外接矩形框)的方法进行校正，其效果如图15A所示；若是以中心旋转影像的外接圆方法进行校正，其效果如图15B所示，其中影像边界42121为示意影像边界、框线42122为示意影像外接矩形、框线42123为示意影像外接圆，其 效果明显能改善其问题。
如图16所示，本案影像校正方法的步骤为：
(1)一影像回归应用单元于一个或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并于扫描该原始拍摄影像的每帧影像信号，以取得一原始水平方向像素总数、一原始垂直方向像素总数、一任一原始像素水平座标及一任一原始像素垂直座标1601；
(2)该影像回归应用单元依据该原始水平方向像素总数(w)及该原始垂直方向像素总数(h)围绕该原始拍摄影像输出一第一水平方向像素总数(w’)及一第一垂直方向像素总数(h’)并产生出一围绕框，该围绕框系与该原始拍摄影像的影像边界的四顶点相接触1602；
(3)该影像回归应用单元依据该倾斜角度信息输出一未倾斜状态下的第一像素水平座标(x’)及第一像素垂直座标(y’)，以使该原始拍摄影像能够依据多个第一像素水平座标(x’)及多个第一像素垂直座标(y’)产生出新的像素位置，以依据新的像素位置将该原始拍摄影像校正回不具倾角的水平状态1603；以及
(4)该影像回归应用单元依据一用以输出影像的原始影像等长宽比(h/w)取得一第二水平方向像素总数(w”)及一第二垂直方向像素总数(h”)，并依据该第二水平方向像素总数(w”)、该第一水平方向像素总数(w’)及该第一像素水平座标(x’)输出一第二像素水平座标(x”)，并再依据该第一像素垂直座标(y’)输出一第二像素垂直座标(y”)，用以校正输出至该显示荧幕上的影像能够与该原始拍摄影像的影像长宽比例一致1604。
本发明所提供的影像校正系统及其方法，与其他现有技术相互比较时， 其优点如下：
1.本发明能够依持续变动的影像任意倾角持续校正回归水平影像，且能够回归为未截角、且与原影像长宽比一致的影像纪录。
2.本发明提出一种影像回归应用单元，该影像回归应用单元至少包括有一倾角校正元件及一长宽校正元件，其中该影像回归应用单元用以于一或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并再依据该倾斜角度信息输出新的像素位置，并再进行校正影像长宽比例，用以取得摄像装置倾斜时最小完整影像水平倾角回归并保持长宽比例的结果，以能够回归为水平、未截角、且与原影像长宽比一致的影像纪录。
3.本发明能够以软体方式进行持续校正回归水平影像，因此不须使用三轴稳定器，除了能够节省费用之外，更能够于拍摄时不需携带很重且组件很多与不变使用的三轴稳定器。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (9)

  1. 一种影像校正系统，设置于电子设备上，该电子设备有至少一个处理器及至少一个电脑可读取记录的媒体，而该电子设备能够输出影像至一显示荧幕上，且该电脑可读取记录的媒体储存有一或多个影像信息档，其特征在于，该影像校正系统包括：
    至少一个影像回归应用单元，储存于该电脑可读取记录的媒体内，而该影像回归应用单元至少包括：
    一倾角校正元件，能够于一个或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并于扫描该原始拍摄影像的每帧影像信号，以取得一原始水平方向像素总数、一原始垂直方向像素总数、一任一原始像素水平座标及一任一原始像素垂直座标，之后依据该原始水平方向像素总数及该原始垂直方向像素总数围绕该原始拍摄影像输出一第一水平方向像素总数及一第一垂直方向像素总数并产生出一围绕框，该围绕框与该原始拍摄影像的影像边界的四顶点相接触，并依据该倾斜角度信息输出一未倾斜状态下的第一像素水平座标及第一像素垂直座标，以使该原始拍摄影像能够依据多个第一像素水平座标及多个第一像素垂直座标产生出新的像素位置，以便依据新的像素位置将该原始拍摄影像校正回不具倾角的水平状态；以及
    一长宽校正元件，与该倾角校正元件相连接，能够依据一原始影像等长宽比取得一第二水平方向像素总数及一第二垂直方向像素总数，并依据该第二水平方向像素总数、该第一水平方向像素总数及该第一像素水平座标输出一第二像素水平座标，并依据该第一像素垂直座标输出一第二像素垂直座标，用以校正输出至该显示荧幕上的影像能够与该原始拍摄影像的影像长宽比例一致。
  2. 如权利要求1所述的影像校正系统，其特征在于，该围绕框为一外接矩形框，其中该外接矩形框沿着该原始拍摄影像的影像边界的四顶点所形成。
  3. 如权利要求1所述的影像校正系统，其特征在于，该围绕框为一圆框，其中该圆框以该原始拍摄影像的中心为圆心所形成，而该原始拍摄影像的影像边界的四顶点系接触于该圆框上。
  4. 如权利要求1所述的影像校正系统，其特征在于，该电子设备能够设置或连接有一与该处理器电性连接的摄影镜头及一与该处理器电性连接的重力角度感测器，并能够通过该摄影镜头拍摄产生该原始拍摄影像以及通过该重力角度感测器检测到该倾斜角度信息。
  5. 如权利要求1所述的影像校正系统，其特征在于，该影像信息档为一每帧影像含有该倾斜角度信息的原始拍摄影像。
  6. 如权利要求5所述的影像校正系统，其特征在于，该每帧影像含有该倾斜角度信息的原始拍摄影像为一可交换影像档案格式。
  7. 如权利要求1所述的影像校正系统，其特征在于，该影像回归应用单元具有一控制开关元件，用以控制于该显示荧幕上显示的影像为校正后的原始拍摄影像或是未校正的原始拍摄影像。
  8. 如权利要求1所述的影像校正系统，其特征在于，该显示荧幕能够设置于该电子设备上或是通过一连接件或是无线连接方式与该电子设备连接。
  9. 一种影像校正方法，其特征在于，其步骤为：
    一影像回归应用单元于一个或多个影像信息档取出一原始拍摄影像及一倾斜角度信息，并于扫描该原始拍摄影像的每帧影像信号，以取得一原始水平方向像素总数、一原始垂直方向像素总数、一任一原始像素水平座标及 一任一原始像素垂直座标；
    该影像回归应用单元依据该原始水平方向像素总数、该原始垂直方向像素总数围绕该原始拍摄影像输出的一第一水平方向像素总数及一第一垂直方向像素总数产生出一围绕框，该围绕框与该原始拍摄影像的影像边界的四顶点相接触；
    该影像回归应用单元依据该倾斜角度信息输出一未倾斜状态下的第一像素水平座标及第一像素垂直座标，以使该原始拍摄影像能够依据多个第一像素水平座标及多个第一像素垂直座标产生出新的像素位置，以便依据新的像素位置将该原始拍摄影像校正回不具倾角的水平状态；以及
    该影像回归应用单元依据一原始影像等长宽比取得一第二水平方向像素总数及一第二垂直方向像素总数，并依据该第二水平方向像素总数、该第一水平方向像素总数及该第一像素水平座标输出一第二像素水平座标，并再依据该第一像素垂直座标输出一第二像素垂直座标，用以校正输出至该显示荧幕上的影像能够与该原始拍摄影像的影像长宽比例一致。
PCT/CN2021/111249 2021-08-06 2021-08-06 影像校正系统及其方法 WO2023010546A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/267,440 US20240118850A1 (en) 2021-08-06 2021-08-06 Image correction system and method therefor
CN202180095056.8A CN117356105A (zh) 2021-08-06 2021-08-06 影像校正系统及其方法
PCT/CN2021/111249 WO2023010546A1 (zh) 2021-08-06 2021-08-06 影像校正系统及其方法
GB2401227.0A GB2623688A (en) 2021-08-06 2021-08-06 Image correction system and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/111249 WO2023010546A1 (zh) 2021-08-06 2021-08-06 影像校正系统及其方法

Publications (1)

Publication Number Publication Date
WO2023010546A1 true WO2023010546A1 (zh) 2023-02-09

Family

ID=85154225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/111249 WO2023010546A1 (zh) 2021-08-06 2021-08-06 影像校正系统及其方法

Country Status (4)

Country Link
US (1) US20240118850A1 (zh)
CN (1) CN117356105A (zh)
GB (1) GB2623688A (zh)
WO (1) WO2023010546A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021277A1 (en) * 2000-02-24 2001-09-13 Toshihiro Hamamura Device and method for detecting subject inclination
US20060197843A1 (en) * 2005-03-01 2006-09-07 Fuji Photo Film Co., Ltd. Digital camera for correcting tilted image
JP2009033223A (ja) * 2007-07-24 2009-02-12 Fujifilm Corp 撮像装置
US20090244308A1 (en) * 2006-05-15 2009-10-01 Yukio Mori Image Inclination Correction Device and Image Inclination Correction Method
US20150130963A1 (en) * 2012-09-03 2015-05-14 Sony Corporation Image processing apparatus, image processing method, and computer program
US20200106918A1 (en) * 2018-09-28 2020-04-02 Nidec Sankyo Corporation Image processing device, image scanner and image processing method
CN111260569A (zh) * 2020-01-10 2020-06-09 百度在线网络技术（北京）有限公司 图像倾斜校正的方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7540147B2 (ja) * 2019-11-29 2024-08-27 ブラザー工業株式会社 画像読取装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010021277A1 (en) * 2000-02-24 2001-09-13 Toshihiro Hamamura Device and method for detecting subject inclination
US20060197843A1 (en) * 2005-03-01 2006-09-07 Fuji Photo Film Co., Ltd. Digital camera for correcting tilted image
US20090244308A1 (en) * 2006-05-15 2009-10-01 Yukio Mori Image Inclination Correction Device and Image Inclination Correction Method
JP2009033223A (ja) * 2007-07-24 2009-02-12 Fujifilm Corp 撮像装置
US20150130963A1 (en) * 2012-09-03 2015-05-14 Sony Corporation Image processing apparatus, image processing method, and computer program
US20200106918A1 (en) * 2018-09-28 2020-04-02 Nidec Sankyo Corporation Image processing device, image scanner and image processing method
CN111260569A (zh) * 2020-01-10 2020-06-09 百度在线网络技术（北京）有限公司 图像倾斜校正的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN117356105A (zh) 2024-01-05
GB202401227D0 (en) 2024-03-13
GB2623688A (en) 2024-04-24
US20240118850A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
US11323621B2 (en) Image communication system, image capturing device, communication terminal, and mode switching method
JP4529837B2 (ja) 撮像装置、画像補正方法及びプログラム
EP2820515B1 (en) Device camera angle
US20130229570A1 (en) Shifted lens camera for mobile computing devices
US11310428B2 (en) Camera shooting method and mobile terminal
JP2013009304A (ja) 画像入力装置、会議装置、画像処理制御プログラム、記録媒体
WO2022040951A1 (zh) 图像矫正方法和装置、图像采集设备和存储介质
EP2009907A1 (en) Camera apparatus, and image processing apparatus and image processing method
JP2021117924A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
WO2018042582A1 (ja) 投射型映像表示装置および投射映像の調整方法
US11706378B2 (en) Electronic device and method of controlling electronic device
WO2023010546A1 (zh) 影像校正系统及其方法
US11381734B2 (en) Electronic device and method for capturing an image and displaying the image in a different shape
JP7187307B2 (ja) 電子機器及びその制御方法
TWI783600B (zh) 影像校正系統及其方法
US10911593B2 (en) Electronic device having a rotatable camera module
CN111381750B (zh) 电子装置及其控制方法和计算机可读存储介质
JP6992829B2 (ja) 画像処理システム、画像処理方法およびプログラム
TWI745992B (zh) 用於虛擬觸控之投影裝置及其方法
TWI714370B (zh) 電子裝置
US20050122414A1 (en) Digital camera system and method for maximizing television viewing area
JP7278773B2 (ja) 電子機器及びその制御方法
WO2023225910A1 (zh) 视频显示方法及装置、终端设备及计算机存储介质
JP2019062451A (ja) 画像処理装置、画像処理方法及びプログラム
TWM599940U (zh) 用於虛擬觸控之投影裝置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 202317033053

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 202180095056.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 202401227

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20210806

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21952420

Country of ref document: EP

Kind code of ref document: A1