WO2011074721A1 - 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 - Google Patents

복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2011074721A1
WO2011074721A1 PCT/KR2009/007547 KR2009007547W WO2011074721A1 WO 2011074721 A1 WO2011074721 A1 WO 2011074721A1 KR 2009007547 W KR2009007547 W KR 2009007547W WO 2011074721 A1 WO2011074721 A1 WO 2011074721A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
pixel
image signal
angle cameras
Prior art date
Application number
PCT/KR2009/007547
Other languages
English (en)
French (fr)
Inventor
이준석
홍상석
전병찬
Original Assignee
(주) 에투시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에투시스템 filed Critical (주) 에투시스템
Priority to US13/515,805 priority Critical patent/US20120257009A1/en
Publication of WO2011074721A1 publication Critical patent/WO2011074721A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Definitions

  • the present invention relates to an image processing apparatus and method, and more particularly, to an image processing apparatus capable of processing quickly and efficiently by a simple method when composing a plurality of images obtained from a plurality of wide-angle cameras into a single planarized image; It is about a method.
  • a black box device that mounts a camera in a vehicle to record driving conditions or surrounding conditions, or a parking assistance system that installs a camera in the rear of the vehicle to take a rearward image and output it to a display device inside the vehicle when the vehicle is reversed.
  • This trend is reported to be increasing.
  • wide-angle cameras are installed in front, rear, left, and right sides of the vehicle, and the images captured from these cameras are reconstructed into images of the form directly above the vehicle, that is, viewed from above, and output to the display device of the vehicle.
  • Such a system is called a bird eye vie system or an AVM (around view monitoring) system in that it provides an image as if the bird is looking down from the sky.
  • This technique uses a wide-angle camera with a fish eye lens to secure a wider viewing angle.
  • a wide-angle camera When such a wide-angle camera is used, a distorted image is obtained as an initial image signal, thereby eliminating distortion.
  • This requires a process to correct the image.
  • such a system requires a process of converting an image photographed in the horizontal direction to the image in the form of a vertical direction from the ground by a plurality of wide-angle cameras installed on the front, rear, left and right sides of the vehicle (planning, homography). This requires a complex computational process to perform this conversion.
  • the Bird Eye View system according to the prior art has a problem in that a computational process is very complicated and a number of steps must be processed continuously and in real time, thereby requiring a large amount of computation and requiring high specification and expensive hardware equipment.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing apparatus and method for quickly and efficiently configuring a plurality of images obtained from a plurality of wide-angle cameras into a single planarized image. do.
  • the present invention also provides an image processing apparatus and method for manufacturing a video processing apparatus comprising a plurality of multi-channel input image as a single planarized image at a low cost, and to ensure real-time processing at a lower specification. Another purpose is to provide.
  • the image processing apparatus for matching the images obtained from the plurality of wide-angle camera, at least two or more wide-angle camera disposed so as to partially overlap the shooting area between the adjacent camera;
  • An image signal receiver configured to receive at least two or more input image signals obtained from the plurality of wide-angle cameras;
  • a lookup table configured to store image mapping data of a relationship in which each image pixel constituting a plurality of input image signals obtained from the plurality of wide-angle cameras corresponds to an image pixel of a composite image signal;
  • an image matching unit configured to receive a plurality of input image signals from the image signal receiver and to configure an image pixel of a composite image signal for each image pixel constituting each input image signal with reference to the lookup table.
  • an image signal output unit configured to generate and output an output image based on the synthesized image signal configured by the image matcher.
  • the lookup table may include a distortion correction step of each of the plurality of input image signals obtained from the wide-angle camera, a planarization step for each of the input image signals distortion-corrected by the distortion correction step, and a flattening step by the planarization step.
  • the lookup table determines which wide-angle camera each image pixel constituting the sample output image is obtained from, and sequentially performs inverse operations on a single imaging step, rearrangement step, planarization step, and distortion correction step. It can be configured to generate by performing.
  • At least one image pixel of the composite image signal corresponding to each image pixel of the plurality of input image signals obtained from the plurality of wide-angle cameras of the lookup table may be configured.
  • the image matching unit obtains the coordinates of the image pixels of the corresponding composite image signal from the lookup table based on the coordinates of each image pixel constituting each of the plurality of input image signals from the image signal receiving unit, and obtains the coordinates.
  • the video pixels of the composite video signal may be configured by recording the pixel values of the video pixels constituting the input video signal in the.
  • all of the components constituting each input image signal obtained from the plurality of wide-angle camera Calculating coordinates of a corresponding pixel of the composite image signal with reference to a lookup table for the image pixel; And recording a pixel value of an image pixel constituting an input image signal into a pixel of the composite image signal corresponding to the calculated coordinates.
  • an image processing apparatus and method for manufacturing a plurality of multi-channel input image as a single planarized image at a low cost and to ensure real-time processing even at a lower specification Can be provided.
  • 1 is a view showing the basic process of the conventional image synthesizing system and the image of each process.
  • FIG. 2 is a block diagram showing the configuration of an embodiment of an image processing apparatus for matching images acquired from a plurality of wide-angle cameras according to the present invention.
  • FIG. 3 is a diagram illustrating an example of a lookup table used in the present invention.
  • FIG. 4 is a diagram illustrating a generation process of a lookup table.
  • FIG. 5 is a flowchart illustrating an embodiment of an image processing method performed by an image processing apparatus that matches images acquired from a plurality of wide-angle cameras according to the present invention.
  • a wide-angle camera having a plurality of, for example, four fisheye lenses is installed on the front, rear, left, and right sides of the vehicle to take an image in the horizontal direction on the ground, and reconstruct the image into a form looking down from the top of the vehicle (hereinafter, For convenience, such a conventional technique is referred to simply as an "image synthesis system.”
  • image synthesis system The basic process of the conventional image synthesizing system and the image for each process are illustrated in FIG. 1.
  • a conventional image synthesizing system is composed of six steps, an image input step S100, a distortion correction step S110, a planarization step S120, a rearrangement step S130, and a single imaging step S140. ) And a single image output step (S150).
  • the image input step S100 is a process of inputting a plurality of image signals obtained from a plurality of wide-angle cameras. For example, when a plurality of cameras are mounted on an object that is a vehicle, four wide-angle cameras may be mounted on the front / rear / left side / right side, and the captured image is displayed as shown in FIG. 1. As described above, since the wide-angle camera has a fisheye lens, a wide field of view can be secured. In order to construct a single planarized image as described later by an image signal around a target object, a predetermined area is formed between each camera. This is because there must be overlapping parts and each camera must have a wide viewing angle to reconstruct the image with fewer cameras despite the overlapping areas.
  • the camera is used as a concept including not only a fisheye lens but also other electrical devices such as an image sensor. That is, it does not mean simply a mechanism for optically acquiring an image, but an apparatus for converting an optical signal into an electrical signal, for example, as shown in FIG. It is used as a concept that means a means to do.
  • the distortion correction step (S110) can secure a wide field of view when using a wide-angle camera equipped with a fisheye lens to use only as few cameras as possible as described above, but toward the edge of the acquired image The image is distorted radially.
  • the distortion correction step S110 is a process for correcting such a distorted image.
  • Fisheye lens distortion correction can be largely divided into two methods: "Equi-solid Angle Projection” and "Orthographic Projection", which define how fisheye lens rearranges the light entering the fisheye lens. Lens manufacturers choose one of two methods to manufacture fisheye lenses.
  • the distortion corrected image may be displayed as shown in FIG. 1.
  • the equation for performing the distortion correction may use, for example, the following equation.
  • the focal length of the camera Is the (x, y) coordinate of the input image at the camera's optical center, Distance to, And Is the (x, y) coordinate value of the input image, And Is the (x, y) coordinate value of the distortion corrected image.
  • the planarization process (S120) is a process of converting an object onto an object, that is, an object on which a camera is mounted, into an image looking downward in a direction toward the ground, that is, vertically.
  • the process is a flattening step (S120). An image generated by performing the flattening step S120 is called a flattened image, and an image after performing the flattening step S120 may be displayed as shown in FIG. 1.
  • planarization step for example, the following equation can be used.
  • the rearrangement step (S130) is a step of rearranging the planarized images generated in the planarization step by applying only displacement movement and rotation, wherein the images photographed to surround the target object are reconstructed into surrounding images except for the target object.
  • the rearrangement step S130 may be performed by only moving and rotating the pixel. For this, a method such as an affine transform may be used.
  • An image generated through the rearrangement is called a rearrangement image, and the rearrangement image may be displayed as shown in FIG. 1.
  • a single imaging step S140 is performed. Since the rearranged images are merely rearranged images, the images photographed around the object have a common area and the common areas are arranged to overlap each other. Therefore, a single imaging step of processing overlapping portions of the rearranged image having a common area to obtain one representative image for the common area is required. Since a single imaging step can use several implementations and can vary depending on the implementation, only the implementation principle is briefly described.
  • the single imaging step divides the common area into pixels and analyzes the pixel to form a single image area using only pixels arranged at a more accurate position. The reference for the pixels arranged at the correct position may be various.
  • the simplest reference may be, for example, the distance between the light center of the image to which the pixel belongs and the pixel.
  • the rearranged image may be configured as a single image without overlapping regions.
  • An image generated through a single imaging step is called a single image and may be displayed as shown in FIG. 1.
  • FIG. 2 is a block diagram showing the configuration of an embodiment of an image processing apparatus for matching images acquired from a plurality of wide-angle cameras according to the present invention.
  • an image processing apparatus for matching images acquired from a plurality of wide angle cameras of the present embodiment may include a plurality of wide angle cameras 11 and an image signal receiving unit 12. And a lookup table 13, an image matching unit 14, and an image signal output unit 15.
  • the plurality of wide-angle cameras 11 are disposed such that the photographing areas partially overlap between adjacent wide-angle cameras, and are composed of at least two or more pieces, each of which photographs an image, converts the image into an electrical signal, and transmits the image to the image signal receiving unit 12.
  • each camera 11 is a concept including not only a simple optical apparatus but also an electrical apparatus such as an image sensor for converting an optical signal into an electrical signal.
  • the wide-angle camera 11 may be disposed at the front / rear / left side / right side of the vehicle, and each of these cameras 11 may be located between the cameras 11 whose photographing areas are adjacent to each other. At least a portion is arranged to overlap.
  • the image signal receiving unit 12 is a means for receiving at least two or more input image signals obtained from the plurality of wide-angle cameras 11, respectively, and transmits the received plurality of input image signals to the image signal matching unit 14. . If necessary, the image signal receiver 12 may perform an image preprocessing process using a filter or the like.
  • the lookup table 13 is a means for storing image mapping data for a relationship in which each image pixel constituting a plurality of input image signals obtained from the plurality of wide-angle cameras 11 corresponds to the image pixels of the composite image signal.
  • image mapping data for a relationship in which each image pixel constituting a plurality of input image signals obtained from the plurality of wide-angle cameras 11 corresponds to the image pixels of the composite image signal.
  • it may be configured as shown in FIG.
  • the lookup table 13 may be configured to determine the image pixels of the composite image signal with respect to the coordinates (x, y) of the respective image pixels constituting the plurality of input image signals obtained from the plurality of wide-angle cameras 11. It can be thought of as a mapping table that defines the relationship associated with coordinates (t11, t12, ..., tmn).
  • each of the coordinates t11, t12,... Tmn of the video signal of the composite video signal may be configured in plural.
  • the pixel of each image signal is not 1: 1 but has a 1: N relationship when the image is flattened.
  • t11 may correspond to three coordinates of (11, 12), (13, 15), and (14, 16).
  • the lookup table includes the number of input image signals acquired from the wide-angle camera 11, that is, the number of cameras 11, and includes coordinate values of the composite image signal corresponding to each input image signal.
  • the conventional image synthesis system includes an image input step S100, a distortion correction step S110, a flattening step S120, a rearrangement step S130, a single imaging step S140, and a single image
  • Each input image signal obtained from the plurality of cameras 11 is generated as a single planarized image (synthetic image signal) through the process of outputting the image (S150).
  • each of these input image signals is generated.
  • the sample output image generated through steps S100 to S150 may be used.
  • the distortion correction step (S110), planarization step (S120) and rearrangement step (S130) is performed by using a formula suitable for each step as described above, the sample When an inverse operation of this operation is performed on each pixel of the output image, coordinates of the pixels of the input image signal corresponding to each pixel of the sample output image may be obtained.
  • the creation process of the lookup table 13 is illustrated in FIG. 4.
  • one of pixels constituting the sample output image is first selected (S200).
  • the pixel is selected, it is determined from which of the plurality of wide-angle cameras 11 the selected pixel is generated (S210).
  • This can be seen as the inverse process of the single imaging step S140.
  • the single imaging step only one pixel among overlapping areas is determined based on a predetermined criterion, so that the pixel selected in the step S200 is determined in the single imaging step. It can be seen as grasping which camera 11 it came from.
  • an identifier for identifying the camera 11 is added to each of the input image signals generated from the plurality of wide-angle cameras 11, and a method of confirming such an identifier later is to be used. easy. That is, when the process described with reference to FIG. 1 is performed, an identifier for identifying the camera 11 generating each input image signal may be used together with each image signal.
  • the inverse operation of the formula used in the rearrangement step (S130) is applied (S220).
  • the inverse operation of the equation may be defined as follows.
  • the inverse operation of the equation used in the flattening step (S120) is applied (S230). Also, as described with reference to FIG. 1, if [Formula 2] is used in the planarization step S120, the inverse operation of the equation may be defined as follows.
  • the inverse operation of the equation used in the distortion correction step (S110) is applied (S240).
  • the equation such as [Equation 1] is used in the distortion correction step (S110) as described in FIG. 1, the inverse operation of the equation may be defined as follows.
  • the pixel (coordinate) of the composite video signal selected in step S200 may determine where the pixel (coordinate) of the input image signal acquired by the camera 11 is.
  • the lookup table shown in FIG. 3 can be generated.
  • Equations 4 to 6 describe the inverse operations of Equations 1 to 3 described above, and these are also illustrative and not limited thereto. It should be noted that Equations 4 to 6 are defined as their inverse operations whatever Equations 1 to 3 used.
  • the image matching unit 14 receives a plurality of input image signals from the image signal receiving unit 12 and references each input image signal with reference to the lookup table 13 generated as described above.
  • a function of constituting an image pixel of a composite image signal for each of the constituent image pixels is performed. That is, when the coordinate value of each image pixel constituting each input image signal is used as an index of the lookup table as shown in FIG. 3, the coordinate value of the image pixel of the corresponding composite image signal can be obtained.
  • the composite video signal is constructed by recording the pixel value (pixel data) of the video pixel of the input video signal corresponding to the corresponding video pixel. When this process is performed on all image pixels of each input image signal, pixel values of pixels of the input image signal corresponding to all coordinate values of all image pixels constituting the composite image signal can be recorded. Therefore, it is possible to quickly generate a composite video signal.
  • the image signal output unit 15 generates an output image based on the composite image signal configured in the image matching unit 14 and outputs the output image to a display device, for example, an LCD monitor, etc. outside the device.
  • a display device for example, an LCD monitor, etc. outside the device.
  • FIG. 5 is a flowchart illustrating an embodiment of an image processing method performed by an image processing apparatus that matches images acquired from a plurality of wide-angle cameras according to the present invention described with reference to FIG. 2.
  • any one of the image pixels constituting the input image signal obtained through any one camera 11 of the plurality of wide-angle camera 11 is selected (S300).
  • the coordinates of the corresponding pixel of the composite image signal are calculated with reference to the lookup table 13 (S310).
  • the pixel value of the selected pixel is recorded in the pixel of the corresponding composite video signal (S330).
  • all the pixels constituting the input image signal correspond to the pixels constituting the composite image signal, and this process is performed for the remaining wide-angle cameras 11.
  • all the pixels constituting the input image signals of the plurality of cameras 11 correspond to all the pixels constituting the composite image signal, and thus the pixel values (pixel data) of all the pixels of the composite image signal are obtained. It can be created.

Abstract

본 발명은 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법에 관한 것으로서, 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치에 있어서, 인접한 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 광각 카메라; 상기 복수개의 광각 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부; 상기 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 룩업 테이블; 및 상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 상기 룩업 테이블을 참조하여 각각의 입력 영상 신호를 구성하는 각각의 영상 화소들에 대한 합성 영상 신호의 영상 화소를 구성하는 영상 정합부; 및 상기 영상 정합부에서 구성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부를 구비하는 영상 처리 장치와 이러한 영상 처리 장치를 이용한 영상 처리 방법을 제공한다. 본 발명에 의하면, 복수개의 광각 카메라로부터 획득한 복수개의 영상을 신속하고 효율적으로 단일 평면화 영상으로 구성할 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.

Description

복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는 복수개의 광각 카메라로부터 획득한 복수개의 영상을 단일 평면화 영상으로 구성할 때 간편한 방법에 의하여 신속하고 효율적으로 처리할 수 있는 영상 처리 장치 및 방법에 관한 것이다.
최근, IT 기술의 발전과 더불어 이를 차량에 접목시키고자 하는 시도가 증가하고 있다. 예컨대, 차량에 카메라를 장착하여 운전 상태나 주변 상황을 녹화하는 블랙 박스 장치나 차량의 후방에 카메라를 설치하여 후진시 후방 영상을 촬영하여 차량 내부의 디스플레이 장치에 출력하도록 하는 주차 보조 시스템 등이 사용되고 있으며 이러한 추세는 점차 증가하고 있는 것으로 보고되고 있다. 한편, 이러한 기술 중에서 최근에는 차량의 전후방, 좌우측면에 광각 카메라를 설치하고 이들 카메라들로부터 촬영되는 영상을 차량의 바로 위 즉, 상방향에서 내려다보는 형태의 영상으로 재구성하여 차량의 디스플레이 장치에 출력함으로써 운전자의 편의를 도모하도록 하는 시스템도 제안되고 있다. 이러한 시스템은 마치 새가 하늘에서 내려다 보는 듯한 영상을 제공한다는 점에서 버드아이뷰(Bird eye vie) 시스템이라고 하거나 AVM(around view monitoring) 시스템 등으로 불리우고 있다. 이러한 기술은 보다 넓은 시야각을 확보하기 위하여 어안(fish eye) 렌즈를 구비하는 광각 카메라를 사용하는데, 이러한 광각 카메라를 사용하게 되면 왜곡된 영상을 최초 영상 신호로서 획득하게 되므로 이러한 왜곡 영상을 왜곡이 없는 영상으로 보정하기 위한 과정을 필요로 하게 된다. 또한, 이러한 시스템은 차량의 전후방, 좌우측면에 설치된 복수개의 광각 카메라에 의해 지면에 수평 방향으로 촬영된 영상을 지면에서 수직 방향인 형태의 영상으로 변환하는 과정(평면화,homography))을 필요로 하므로 이러한 변환을 수행하기 위한 복잡한 연산 과정을 필요로 한다. 또한, 평면화된 복수개의 영상들을 하나의 영상으로 재배열하고 재배열된 영상에서 겹치는 부분들을 처리하는 단일 영상화 과정까지 필요로 한다. 따라서, 종래 기술에 의한 버드아이뷰 시스템은 연산 과정이 매우 복잡하고 수단계의 과정을 연속적으로 또한 실시간으로 처리해야 하므로 연산량이 방대하고 고사양 및 고가의 하드웨어 장비를 필요로 한다는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 감안하여 안출된 것으로서, 복수개의 광각 카메라로부터 획득한 복수개의 영상을 신속하고 효율적으로 단일 평면화 영상으로 구성할 수 있도록 하는 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 복수개의 다채널 입력 영상을 단일 평면화 영상으로 구성하는 영상 처리 장치를 저렴한 비용으로 제조할 수 있도록 하고, 보다 낮은 사양에서도 실시간 처리가 보장될 수 있도록 하는 영상 처리 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치에 있어서, 인접한 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 광각 카메라; 상기 복수개의 광각 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부; 상기 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 룩업 테이블; 및 상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 상기 룩업 테이블을 참조하여 각각의 입력 영상 신호를 구성하는 각각의 영상 화소들에 대한 합성 영상 신호의 영상 화소를 구성하는 영상 정합부; 및 상기 영상 정합부에서 구성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부를 구비하는 영상 처리 장치를 제공한다.
여기에서, 상기 룩업 테이블은, 광각 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계와, 상기 재배열 단계에 의해 재배열된 영상 신호의 단일 영상화 단계에 의해 생성되는 샘플 출력 영상을 구성하는 각각의 영상 화소들이 복수개의 입력 영상 신호의 영상 화소에 대응되는 관계를 역연산함으로써 생성되도록 구성할 수 있다.
또한, 상기 룩업 테이블은, 샘플 출력 영상을 구성하는 각각의 영상 화소가 어느 광각 카메라로부터 획득된 것인가를 결정한 후, 단일 영상화 단계, 재배열 단계, 평면화 단계 및 왜곡 보정 단계에 대한 역연산을 순차적으로 수행함으로써 생성되도록 구성할 수 있다.
또한, 상기 룩업 테이블의 상기 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호의 각각의 영상 화소 하나에 대응되는 합성 영상 신호의 영상 화소는 적어도 하나 이상이 되도록 구성할 수 있다.
또한, 상기 영상 정합부는, 영상 신호 수신부로부터 복수개의 각각의 입력 영상 신호를 구성하는 각각의 영상 화소의 좌표에 기초하여 룩업 테이블로부터 대응되는 합성 영상 신호의 영상 화소의 좌표를 획득하고, 획득된 좌표에 입력 영상 신호를 구성하는 영상 화소의 화소값을 기록함으로써 합성 영상 신호의 영상 화소를 구성할 수도 있다.
본 발명의 다른 측면에 의하면, 상기한 바와 같은 영상 처리 장치에 의해 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 방법에 있어서, 복수개의 광각 카메라로부터 획득되는 각각의 입력 영상 신호를 구성하는 모든 영상 화소에 대하여 룩업 테이블을 참조하여 합성 영상 신호의 대응되는 화소의 좌표를 산출하는 단계; 및 상기 산출된 좌표에 대응되는 합성 영상 신호의 화소에 입력 영상 신호를 구성하는 영상 화소의 화소값을 기록하는 단계를 구비하는 것을 특징으로 하는 영상 처리 방법을 제공한다.
본 발명에 의하면, 복수개의 광각 카메라로부터 획득한 복수개의 영상을 신속하고 효율적으로 단일 평면화 영상으로 구성할 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면, 복수개의 다채널 입력 영상을 단일 평면화 영상으로 구성하는 영상 처리 장치를 저렴한 비용으로 제조할 수 있도록 하고, 보다 낮은 사양에서도 실시간 처리가 보장될 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.
도 1은 종래의 영상 합성 시스템의 기본적인 과정과 각 과정별의 영상을 나타낸 도면이다.
도 2는 본 발명에 의한 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치의 일실시예의 구성을 나타낸 블록도이다.
도 3은 본 발명에서 사용되는 룩업 테이블의 일예를 나타낸 도면이다.
도 4는 룩업 테이블의 생성과정을 나타낸 도면이다.
도 5는 본 발명에 의한 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치에서 수행되는 영상 처리 방법의 일실시예를 나타낸 흐름도이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
우선, 본 발명에 의한 실시예를 설명하기에 앞서서, 본 발명과 관련된 종래 기술의 원리를 개략적으로 설명한다.
전술한 바와 같이, 차량의 전후방, 좌우측면에 복수개 예컨대 4개의 어안 렌즈를 갖는 광각 카메라를 설치하여 지면에 수평 방향으로 영상을 촬영하고, 이를 차량의 상부에서 내려다 보는 형태로 재구성하는 종래 기술(이하, 이러한 종래 기술을 편의상 간단히 "영상 합성 시스템"이라 한다)이 제안되고 있다. 이러한 종래의 영상 합성 시스템의 기본적인 과정과 각 과정별의 영상을 도 1에 예시적으로 나타내었다.
도 1을 참조하면, 종래의 영상 합성 시스템은 6단계로 구성되는데, 영상 입력 단계(S100), 왜곡 보정 단계(S110), 평면화 단계(S120), 재배열 단계(S130), 단일 영상화 단계(S140) 및 단일 영상 출력 단계(S150)의 과정을 구비한다.
영상 입력 단계(S100)는 복수개의 광각 카메라로부터 획득되는 복수개의 영상 신호가 입력되는 과정이다. 예컨대, 차량인 대상 물체에 복수개의 카메라를 장착하는 경우, 전방/후방/좌측면/우측면에 4개의 광각 카메라를 장착할 수 있으며, 이 때 촬영되는 영상은 도 1에 나타낸 바와 같이 나타나게 된다. 전술한 바와 같이, 광각 카메라는 어안 렌즈를 구비하므로 넓은 시야각을 확보할 수 있는데, 이는 대상 물체 주변의 영상 신호에 의해 추후에 설명하는 바와 같이 단일 평면화 영상을 구성하기 위해서는 각 카메라간에 일정 영역이 서로 겹치는 부분이 있어야 하고 겹치는 영역에도 불구하고 보다 적은 수의 카메라로서 영상을 재구성하기 위해서는 각각의 카메라의 시야각이 넓어야 하기 때문이다. 한편, 본 발명에서, 카메라라고 하는 것은, 어안 렌즈 뿐 아니라 이미지 센서 등 기타 전기적 장치를 포함하는 개념으로서 사용한다. 즉, 단순히 영상을 광학적으로 취득하는 기구만을 의미하는 것이 아니라, 광학 신호를 전기적인 신호로 변환하는 장치로서, 예컨대 도 2에 나타낸 바와 같이 영상 처리 장치에 입력되어 처리할 수 있는 형태의 신호를 출력하는 수단을 의미하는 개념으로 정의하여 사용한다.
다음으로, 왜곡 보정 단계(S110)는 전술한 바와 같이 가능한 한 적은 수의 카메라만을 사용하기 위해 어안 렌즈를 장착한 광각 카메라를 사용할 경우 넓은 시야각을 확보할 수는 있으나, 획득되는 영상의 가장자리 쪽으로 갈수록 영상이 방사형으로 왜곡되게 된다. 왜곡 보정 단계(S110)는 이러한 왜곡 영상을 보정하기 위한 과정이다. 어안 렌즈 왜곡 보정은 크게 "Equi-solid Angle Projection", "Orthographic Projection"의 두 가지 방식으로 나눌 수 있는데, 이는 어안 렌즈를 제조할 때 어안 렌즈로 들어오는 빛을 어떻게 재배열하느냐를 정의하는 방식으로 어안 렌즈 제조사는 어안 렌즈 제조 시에 두 가지 방법 중 하나를 선택해서 어안렌즈를 제조한다. 따라서 어안 렌즈에 적용된 왜곡 방식에 따라 왜곡 연산의 역연산을 구하고, 어안 렌즈로 촬영한 영상을 역변환해주면 "왜곡 보정"된 영상을 얻을 수 있으며, 이 때 변환된 영상을 "왜곡 보정 영상"이라고 한다. 왜곡 보정 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
왜곡 보정을 수행하기 위한 연산식은 예컨대 다음과 같은 수식을 사용할 수 있다.
[수식 1]
Figure PCTKR2009007547-appb-I000001
Figure PCTKR2009007547-appb-I000002
여기에서,
Figure PCTKR2009007547-appb-I000003
는 카메라의 촛점 거리,
Figure PCTKR2009007547-appb-I000004
는 카메라의 광중심에서 입력 영상의 (x,y) 좌표 즉,
Figure PCTKR2009007547-appb-I000005
까지의 거리,
Figure PCTKR2009007547-appb-I000006
및
Figure PCTKR2009007547-appb-I000007
은 입력 영상의 (x,y) 좌표값이고,
Figure PCTKR2009007547-appb-I000008
및
Figure PCTKR2009007547-appb-I000009
은 왜곡 보정 영상의 (x,y) 좌표값이다.
다음으로, 왜곡 보정 영상을 얻게 되면, 평면화(homography) 과정을 수행한다(S120). 평면화 과정(S120)은 대상 물체 즉, 카메라가 장착된 물체 위에서 대상물체를 지면을 향하는 방향 즉, 수직으로 내려다보는 영상으로 변환하는 과정이다. 전술한 바와 같이, 왜곡 보정 단계(S110)에서 얻어지는 왜곡 보정 영상은 각각의 카메라마다 각기 다른 시점으로 촬영한 영상에 해당하므로, 이들 영상은 하나의 시점 즉, 수직으로 내려다 보는 시점의 영상으로 변환하는 과정이 평면화 단계(S120)이다. 평면화 단계(S120)를 수행하여 생성된 영상을 평면화 영상이라고 하며, 평면화 단계(S120) 수행 이후의 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
평면화 단계에서는 예컨대 다음과 같은 수식을 사용할 수 있다.
[수식 2]
Figure PCTKR2009007547-appb-I000010
여기서,
Figure PCTKR2009007547-appb-I000011
은 상기 수식 1에 의해 획득된 왜곡 보정 영상의 (x,y) 좌표값이고,
Figure PCTKR2009007547-appb-I000012
은 상기 수식 2에 의해 변환된 평면화영상의 (x,y) 좌표값이며,
Figure PCTKR2009007547-appb-I000013
은 평면화 변환계수(이를 Perspective Transform이라고 한다)를 의미한다.
다음으로, 평면화 영상이 획득되면, 재배열 단계(Affine transform)를 수행한다(S130). 재배열 단계(S130)는, 평면화 단계에서 생성된 평면화 영상들을 변위이동 및 회전만을 적용해 재배열하는 단계로서, 대상 물체를 둘러싸도록 촬영된 영상들이 대상물체를 제외한 주변 영상으로 재구성되는 단계이다. 이러한 재배열 단계(S130)는, 화소에 대한 이동과 회전만으로 이루어질 수 있는데, 이를 위해 어파인 변환(Affine transform) 등과 같은 방법을 사용할 수 있다. 재배열을 통해 생성된 영상을 재배열 영상이라고 하며, 재배열 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
재배열 단계에서는 다음과 같은 수식을 사용할 수 있다.
[수식 3]
Figure PCTKR2009007547-appb-I000014
여기에서,
Figure PCTKR2009007547-appb-I000015
은 수식 2에 의해 변환된 평면화 영상의 (x,y) 좌표값이고,
Figure PCTKR2009007547-appb-I000016
은 수식 3에 의해 변환될 재배열 영상의 (x,y) 좌표값이고,
Figure PCTKR2009007547-appb-I000017
는 회전 변환 계수이고,
Figure PCTKR2009007547-appb-I000018
는 변위 이동 계수(
Figure PCTKR2009007547-appb-I000019
과
Figure PCTKR2009007547-appb-I000020
를 합쳐서 affine transform으로 정의한다)를 의미한다.
다음으로, 단일 영상화 단계(S140)를 수행한다. 재배열 영상은 영상을 단지 다시 배열해 놓은 것에 불과하기 때문에, 대상 물체 주변을 촬영한 영상들은 서로 공통 영역을 가지며 공통 영역이 서로 겹치게 배열된다. 따라서 공통 영역을 가지는 재배열 영상에서 겹치는 부분을 처리하여 공통 영역에 대해 하나의 대표 영상을 획득하게 하는 단일 영상화 단계가 필요하다. 단일 영상화 단계는 여러 가지 구현 방식을 사용할 수 있으며 구현 방식에 따라 달라질 수 있으므로, 구현 원리만 간단히 설명하도록 한다. 공통 영역이 발생하면 단일 영상화단계는 이 공통 영역을 화소 단위로 쪼개어 분석하여 보다 더 정확한 위치에 배열된 화소들만으로 단일화 영상 영역을 구성하게 한다. 정확한 위치에 배열된 화소에 대한 기준은 여러 가지가 될 수 있는데 가장 간단한 기준은 예컨대 화소가 속한 영상의 광중심과 화소와의 거리가 될 수 있다. 이 기준을 이용하여 공통 영역의 겹치는 화소들 가운데 광중심에 보다 더 가까이 놓인 화소만으로 공통 영역을 재구성하게 되면, 재배열 영상을 겹치는 영역 없이 단일 영상으로 구성할 수 있게 된다. 단일 영상화 단계를 통해 생성되는 영상을 단일 영상이라 하며, 도 1에 나타낸 바와 같이 표시될 수 있다.
이와 같이 단일 영상화 단계(S140)까지를 수행하게 되면 평면화된 단일 영상이 획득되고, 이를 출력(S150)하게 되면 도 1에 나타낸 바와 같이 대상 물체 주변을 대상 물체의 수직 상방향에서 내려다 본 형태의 영상을 볼 수 있게 된다.
한편, 전술한 수식 1, 2 및 수식 3등은 종래 기술에 의해 이용되고 있는 것이고, 본 발명과는 직접적인 관련은 없는 것이므로 상세 설명은 생략하였다. 특히, 수식 2 및 3에서 각각의 계수들은 사용되는 방식 또는 알고리듬에 따라서 다르게 결정될 수 있는 것으로서, 본 발명은 이러한 계수를 산출하는 방법 자체와 관련되는 것은 아니며 후술하는 바와 같이 어떠한 수식이 사용되건 간에 사용되는 수식의 역연산을 수행한다는 점을 특징으로 하는 것이므로 상세 설명은 생략한다.
도 2는 본 발명에 의한 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치의 일실시예의 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 실시예의 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치(이하, 간단히 영상 처리 장치라고 한다, 10)는 복수개의 광각 카메라(11), 영상 신호 수신부(12), 룩업 테이블(13), 영상 정합부(14) 및 영상 신호 출력부(15)를 구비한다.
복수개의 광각 카메라(11)는 인접한 광각 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되며, 적어도 2 이상의 복수개로 구성되어 각각 영상을 촬영하여 이를 전기적 신호로 변환하여 영상 신호 수신부(12)로 전송한다. 전술한 바와 같이, 각 카메라(11)는 단순한 광학 기구 뿐 아니라 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 포함하는 개념임을 유의해야 한다. 예컨대, 대상 물체가 차량인 경우 광각 카메라(11)는 차량의 전방/후방/좌측면/우측면에 배치될 수 있으며, 이들 각각의 카메라(11)는 그 촬영 영역이 인접하는 카메라(11) 사이에서 적어도 일부분 이상 겹치도록 배치된다.
영상 신호 수신부(12)는 복수개의 광각 카메라(11)로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 각각 수신하는 수단으로서, 수신된 복수개의 입력 영상 신호를 영상 신호 정합부(14)로 전송한다. 필요한 경우 영상 신호 수신부(12)에서는 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
룩업 테이블(13)은 복수개의 광각 카메라(11)로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 수단으로서, 예컨대 도 3과 같은 형태로 구성할 수 있다.
도 3을 참조하면, 룩업 테이블(13)은 복수개의 광각 카메라(11)로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들의 좌표(x,y)에 대하여 합성 영상 신호의 영상 화소의 좌표(t11,t12,...,tmn)로 대응시킨 관계를 규정하는 일종의 매핑 테이블로 볼 수 있다. 도 3에서, 합성 영상 신호의 영상 신호의 좌표(t11,t12,...tmn) 각각은 복수개로 구성될 수 있다. 이는 전술한 바와 같이, 광각 카메라(11)에 의해 획득되는 영상은 넓은 시야각을 갖는 왜곡된 영상이므로, 이를 평면화한 영상으로 대응시킬 때 각 영상 신호의 화소는 1:1이 아닌 1:N의 관계로 대응되는 경우가 있기 때문이다. 예컨대, t11은 (11,12),(13,15),(14,16)의 3곳의 좌표로 대응될 수 있다. 이러한 룩업 테이블은 광각 카메라(11)로부터 획득되는 입력 영상 신호의 갯수 즉, 카메라(11)의 갯수만큼 구비하고 각각의 입력 영상 신호별로 대응되는 합성 영상 신호의 좌표값을 포함하도록 한다.
이러한 룩업 테이블(13)을 생성하는 과정을 설명하면 다음과 같다.
도 1을 참조하여 설명한 바와 같이, 종래의 영상 합성 시스템은 영상 입력 단계(S100), 왜곡 보정 단계(S110), 평면화 단계(S120), 재배열 단계(S130), 단일 영상화 단계(S140) 및 단일 영상 출력 단계(S150)의 과정을 통해 복수개의 카메라(11)로부터 획득되는 각각의 입력 영상 신호를 단일 평면화 영상(합성 영상 신호)로서 생성하게 되는데, 룩업 테이블(13)을 생성하기 위해서는, 이러한 각 단계(S100~S150)을 거쳐 생성되는 샘플 출력 영상을 이용할 수 있다. 즉, 상기 각 단계(S100~S150)에서, 왜곡 보정 단계(S110), 평면화 단계(S120) 및 재배열 단계(S130)는 전술한 바와 같이 각 단계에 적합한 수식을 이용하여 연산을 수행하게 되는데 샘플 출력 영상의 각각의 화소에 대하여 이러한 연산의 역연산(inverse operation)을 수행하게 되면, 샘플 출력 영상의 각각의 화소에 대응하는 입력 영상 신호의 화소들의 좌표를 구할 수 있다.
이러한 룩업 테이블(13)의 생성 과정을 도 4에 나타내었다.
도 4를 참조하면, 우선 샘플 출력 영상을 구성하는 화소 중 어느 하나의 화소를 선택한다(S200). 화소가 선택되면, 선택된 화소가 복수개의 광각 카메라(11) 중에서 어느 것으로부터 생성된 것인지를 파악한다(S210). 이는 단일 영상화 단계(S140)의 역과정으로 볼 수 있는데, 전술한 바와 같이 단일 영상화 단계에서는 겹치는 영역 중에서 어느 하나의 화소만을 일정 기준에 의해 결정하므로, 단계(S200)에서 선택된 화소가 단일 영상화 단계에서 어느 카메라(11)로부터 온 것인지를 파악하는 것으로 볼 수 있다. 이를 수행하기 위한 방법으로서는, 복수개의 광각 카메라(11)로부터 생성되는 입력 영상 신호 각각에 대하여 카메라(11)를 식별할 수 있는 식별자(identifier)를 추가해 두고, 추후 이러한 식별자를 확인하는 방법으로 하는 것이 간편하다. 즉, 도 1에서 설명한 과정을 수행할 때, 각각의 입력 영상 신호를 생성한 카메라(11)를 구분할 수 있는 식별자를 각 영상 신호와 함께 사용함으로써 이루어질 수 있다.
다음으로, 재배열 단계(S130)에서 사용한 수식의 역연산을 적용한다(S220). 도 1에서 설명한 바와 같이, 예컨대 재배열 단계(S130)에서 [수식 3]과 같은 수식을 사용했다면 이 수식의 역연산은 다음과 같이 정의될 수 있다...
[수식 4]
Figure PCTKR2009007547-appb-I000021
다음으로, 평면화 단계(S120)에서 사용한 수식의 역연산을 적용한다(S230). 이 또한 도 1에서 설명한 바와 같이, 평면화 단계(S120)에서 [수식 2]를 사용했다면 이 수식의 역연산은 다음과 같이 정의될 수 있다.
[수식 5]
Figure PCTKR2009007547-appb-I000022
다음으로, 왜곡 보정 단계(S110)에서 사용한 수식의 역연산을 적용한다(S240). 이 또한 도 1에서 설명한 바와 같이 왜곡 보정 단계(S110)에서 [수식 1]과 같은 수식을 사용했다면 이 수식의 역연산은 다음과 같이 정의될 수 있다.
[수식 6]
Figure PCTKR2009007547-appb-I000023
Figure PCTKR2009007547-appb-I000024
여기에서,
Figure PCTKR2009007547-appb-I000025
는 카메라의 광중심에서 왜곡 보정 영상의 (x,y) 좌표값 즉,
Figure PCTKR2009007547-appb-I000026
까지의 거리를 의미한다.
이와 같은 과정을 수행하면, 단계(S200)에서 선택된 합성 영상 신호의 화소(좌표)가 카메라(11)에 의해 획득되는 입력 영상 신호에서의 화소(좌표)가 어디인지를 알 수 있게 된다.
이와 같은 과정을 합성 영상 신호(샘플 출력 영상 신호)의 모든 화소에 대해서 수행하게 되면 도 3과 같은 룩업 테이블을 생성할 수 있게 된다.
한편, 수식 4 내지 수식 6은 전술한 수식 1 내지 수식 3의 역연산을 기재한 것으로서, 이들 또한 예시적인 것이며 이들에 한정되는 것은 아니다. 수식 4 내지 수식 6은 사용되는 수식 1 내지 수식 3이 어떠한 것이건간에 이들의 역연산으로 정의되는 것이라는 점에 유의해야 한다.
다시 도 2를 참조하면, 영상 정합부(14)는 영상 신호 수신부(12)로부터 복수개의 입력 영상 신호를 수신하고 전술한 바와 같이 생성되어 있는 룩업 테이블(13)을 참조하여 각각의 입력 영상 신호를 구성하는 각각의 영상 화소들에 대한 합성 영상 신호의 영상 화소를 구성하는 기능을 수행한다. 즉, 각각의 입력 영상 신호를 구성하는 각각의 영상 화소의 좌표값을 도 3과 같은 룩업 테이블의 인덱스로 사용하면 해당 합성 영상 신호의 영상 화소의 좌표값을 얻을 수 있으므로, 이를 이용하여 합성 영상 신호의 해당 영상 화소에 대응되는 입력 영상 신호의 영상 화소의 화소값(픽셀 데이터)를 기록함으로써 합성 영상 신호를 구성하게 된다. 이러한 과정을 각각의 입력 영상 신호의 모든 영상 화소들에 대하여 수행하게 되면, 합성 영상 신호를 구성하는 모든 영상 화소의 각각의 좌표값 전체에 대해 대응되는 입력 영상 신호의 화소들의 화소값을 기록할 수 있으므로, 합성 영상 신호를 신속하게 생성해 낼 수 있게 된다.
영상 신호 출력부(15)는 전술한 바와 같이 영상 정합부(14)에서 구성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 장치 외부의 디스플레이 장치 예컨대 LCD 모니터 등으로 출력하는 기능을 수행한다.
도 5는 도 2에서 설명한 본 발명에 의한 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치에서 수행되는 영상 처리 방법의 일실시예를 나타낸 흐름도이다.
우선, 복수개의 광각 카메라(11) 중의 어느 하나의 카메라(11)를 통해 획득되는 입력 영상 신호를 구성하는 영상 화소 중의 어느 하나의 화소를 선택한다(S300).
하나의 화소가 선택되면, 룩업 테이블(13)을 참조하여(S310) 합성 영상 신호의 대응되는 화소의 좌표를 산출한다(S320). 좌표가 산출되면, 대응되는 합성 영상 신호의 화소에 선택된 화소의 화소값을 기록한다(S330).
이와 같은 과정을 각 입력 영상 신호의 모든 화소에 대해서 수행하면, 입력 영상 신호를 구성하는 모든 화소가 합성 영상 신호를 구성하는 화소들로 대응되게 되고, 이러한 과정을 나머지 광각 카메라(11)들에 대해서 모두 수행하게 되면, 복수개의 카메라(11)의 입력 영상 신호를 구성하는 전체 화소가 합성 영상 신호를 구성하는 모든 화소로 각각 대응되고 이에 따라 합성 영상 신호의 모든 화소에 대한 화소값(픽셀데이터)을 생성할 수 있게 된다.
이상에서, 바람직한 실시예를 참조하여 본 발명을 설명하였으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능할 것이다. 예컨대, 전술한 각 단계에서의 수식 예컨대 수식 1 내지 수식 6등은 예시적인 것으로서, 이러한 수식 이외의 다른 수식을 사용할 수도 있을 것이다. 본 발명은 이러한 각 단계별 수식들에 대해 특별히 한정되는 것이 아니며, 어떠한 수식을 사용하는가에 상관없이 사용된 수식의 역연산을 이용하여 룩업 테이블을 생성한다는 점을 특징으로 하는 것임을 유의해야 한다. 각 단계별로 사용되는 수식은 종래 기술에서 알려진 어떠한 형태라도 전술한 바와 같은 각 단계에서의 동작을 수행할 수 있는 것이기만 하면 그대로 사용할 수 있다. 따라서 본 발명은 첨부한 특허청구범위 및 도면 등의 전체적인 기재를 참조하여 해석되어야 할 것이며, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치에 있어서,
    인접한 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 광각 카메라;
    상기 복수개의 광각 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부;
    상기 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 룩업 테이블; 및
    상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 상기 룩업 테이블을 참조하여 각각의 입력 영상 신호를 구성하는 각각의 영상 화소들에 대한 합성 영상 신호의 영상 화소를 구성하는 영상 정합부; 및
    상기 영상 정합부에서 구성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부
    를 구비하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 룩업 테이블은, 광각 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계와, 상기 재배열 단계에 의해 재배열된 영상 신호의 단일 영상화 단계에 의해 생성되는 샘플 출력 영상을 구성하는 각각의 영상 화소들이 복수개의 입력 영상 신호의 영상 화소에 대응되는 관계를 역연산함으로써 생성된 것을 특징으로 하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 룩업 테이블은, 샘플 출력 영상을 구성하는 각각의 영상 화소가 어느 광각 카메라로부터 획득된 것인가를 결정한 후, 단일 영상화 단계, 재배열 단계, 평면화 단계 및 왜곡 보정 단계에 대한 역연산을 순차적으로 수행함으로써 생성되는 것을 특징으로 하는 영상 처리 장치.
  4. 제2항에 있어서,
    상기 룩업 테이블의 상기 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호의 각각의 영상 화소 하나에 대응되는 합성 영상 신호의 영상 화소는 적어도 하나 이상인 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 영상 정합부는, 영상 신호 수신부로부터 복수개의 각각의 입력 영상 신호를 구성하는 각각의 영상 화소의 좌표에 기초하여 룩업 테이블로부터 대응되는 합성 영상 신호의 영상 화소의 좌표를 획득하고, 획득된 좌표에 입력 영상 신호를 구성하는 영상 화소의 화소값을 기록함으로써 합성 영상 신호의 영상 화소를 구성하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항 내지 제5항 중 적어도 어느 한 항에 의한 영상 처리 장치에 의해 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 방법에 있어서,
    복수개의 광각 카메라로부터 획득되는 각각의 입력 영상 신호를 구성하는 모든 영상 화소에 대하여 룩업 테이블을 참조하여 합성 영상 신호의 대응되는 화소의 좌표를 산출하는 단계; 및
    상기 산출된 좌표에 대응되는 합성 영상 신호의 화소에 입력 영상 신호를 구성하는 영상 화소의 화소값을 기록하는 단계
    를 구비하는 것을 특징으로 하는 영상 처리 방법.
PCT/KR2009/007547 2009-12-14 2009-12-16 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 WO2011074721A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/515,805 US20120257009A1 (en) 2009-12-14 2009-12-16 Image Processing Device and Method for Matching Images Obtained from a Plurality of Wide-Angle Cameras

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0124039 2009-12-14
KR1020090124039A KR101077584B1 (ko) 2009-12-14 2009-12-14 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2011074721A1 true WO2011074721A1 (ko) 2011-06-23

Family

ID=44167467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/007547 WO2011074721A1 (ko) 2009-12-14 2009-12-16 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US20120257009A1 (ko)
KR (1) KR101077584B1 (ko)
WO (1) WO2011074721A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105090B2 (en) * 2011-07-13 2015-08-11 Analog Devices, Inc. Wide-angle lens image correction
KR101683923B1 (ko) * 2011-10-14 2016-12-08 현대자동차주식회사 Ａｖｍ 영상 왜곡 자동 보정 방법
KR101339121B1 (ko) 2011-12-08 2013-12-09 ㈜베이다스 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR101209072B1 (ko) 2011-12-08 2012-12-06 아진산업(주) 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR101351911B1 (ko) * 2012-08-03 2014-01-17 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
KR102234376B1 (ko) * 2014-01-28 2021-03-31 엘지이노텍 주식회사 카메라 시스템, 캘리브레이션 장치 및 캘리브레이션 방법
JP6594039B2 (ja) * 2015-05-20 2019-10-23 株式会社東芝 画像処理装置、方法及びプログラム
DE102016118465A1 (de) * 2016-09-29 2018-03-29 Connaught Electronics Ltd. Verfahren zum Reduzieren von Störsignalen in einem Draufsichtbild eines Kraftfahrzeugs, Bildverarbeitungseinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
KR102609415B1 (ko) * 2016-12-12 2023-12-04 엘지이노텍 주식회사 영상시스템 및 그 작동방법
CN112200064B (zh) * 2020-09-30 2021-07-30 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质
KR102437983B1 (ko) * 2020-12-29 2022-08-30 아진산업(주) 블록단위-룩업 테이블을 이용한 영상 생성 장치 및 그 방법
CN113295059B (zh) * 2021-04-13 2023-04-07 长沙理工大学 一种用于多药筒烟花爆竹检测的多镜头成像方法
CN113538237A (zh) * 2021-07-09 2021-10-22 北京超星未来科技有限公司 一种图像拼接系统、方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010045986A1 (en) * 2000-03-06 2001-11-29 Sony Corporation And Sony Electronics, Inc. System and method for capturing adjacent images by utilizing a panorama mode
US20050058360A1 (en) * 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
JP2007180720A (ja) * 2005-12-27 2007-07-12 Alpine Electronics Inc 車両運転支援装置
KR20080096006A (ko) * 2007-04-26 2008-10-30 주식회사 코아로직 파노라마 영상 생성 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US20090066811A1 (en) * 2007-08-30 2009-03-12 Kyocera Corporation Image processing method and imaging apparatus using the same
KR20090076344A (ko) * 2008-01-08 2009-07-13 고려대학교 산학협력단 파노라마 영상 생성 장치 및 방법과 파노라마 영상에기반한 차량 후방 감시 장치
KR100917330B1 (ko) * 2008-06-30 2009-09-16 쌍용자동차 주식회사 차량의 탑뷰 모니터 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778207B1 (en) * 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010045986A1 (en) * 2000-03-06 2001-11-29 Sony Corporation And Sony Electronics, Inc. System and method for capturing adjacent images by utilizing a panorama mode
US20050058360A1 (en) * 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
JP2007180720A (ja) * 2005-12-27 2007-07-12 Alpine Electronics Inc 車両運転支援装置
KR20080096006A (ko) * 2007-04-26 2008-10-30 주식회사 코아로직 파노라마 영상 생성 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US20090066811A1 (en) * 2007-08-30 2009-03-12 Kyocera Corporation Image processing method and imaging apparatus using the same
KR20090076344A (ko) * 2008-01-08 2009-07-13 고려대학교 산학협력단 파노라마 영상 생성 장치 및 방법과 파노라마 영상에기반한 차량 후방 감시 장치
KR100917330B1 (ko) * 2008-06-30 2009-09-16 쌍용자동차 주식회사 차량의 탑뷰 모니터 시스템 및 방법

Also Published As

Publication number Publication date
KR20110067437A (ko) 2011-06-22
US20120257009A1 (en) 2012-10-11
KR101077584B1 (ko) 2011-10-27

Similar Documents

Publication Publication Date Title
WO2011074721A1 (ko) 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
Zhang et al. A surround view camera solution for embedded systems
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN109690628B (zh) 图像处理设备
CN107424120A (zh) 一种全景环视系统中的图像拼接方法
WO2019139234A1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
US10410366B2 (en) Imaging system using structured light for depth recovery
JP4414661B2 (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
KR20090078463A (ko) 왜곡 영상 보정 장치 및 방법
US20120230549A1 (en) Image processing device, image processing method and recording medium
CN110087032A (zh) 一种全景式隧道视频监视装置及方法
JPWO2006064770A1 (ja) 撮像装置
CN113362228A (zh) 基于改进畸变校正和标记拼接的环视图像拼接方法及系统
WO2015056826A1 (ko) 카메라의 영상 처리 장치 및 방법
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
US5946424A (en) Method for reconstructing a shape and an apparatus for reconstructing a shape
WO2012148025A1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
JP2000112019A (ja) 電子３眼カメラ装置
CN113658058A (zh) 一种车载环视系统中的亮度均衡方法及系统
JPH11257953A (ja) トンネル壁面観察装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP3727758B2 (ja) 映り込み防止形撮像装置
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852330

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13515805

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09852330

Country of ref document: EP

Kind code of ref document: A1