WO2015056826A1 - 카메라의 영상 처리 장치 및 방법 - Google Patents

카메라의 영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2015056826A1
WO2015056826A1 PCT/KR2013/009323 KR2013009323W WO2015056826A1 WO 2015056826 A1 WO2015056826 A1 WO 2015056826A1 KR 2013009323 W KR2013009323 W KR 2013009323W WO 2015056826 A1 WO2015056826 A1 WO 2015056826A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
plane
virtual space
virtual
Prior art date
Application number
PCT/KR2013/009323
Other languages
English (en)
French (fr)
Inventor
한영인
전성제
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to PCT/KR2013/009323 priority Critical patent/WO2015056826A1/ko
Publication of WO2015056826A1 publication Critical patent/WO2015056826A1/ko

Links

Images

Classifications

    • G06T3/047—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to an image processing apparatus and method of a camera, and more particularly, to an image processing apparatus and method of a camera capable of capturing and displaying an image of the surrounding environment of a vehicle through a camera installed in a vehicle.
  • a camera imaging system that allows the driver to conveniently check the surrounding environment of the vehicle by visually photographing and displaying the surrounding environment of the vehicle for the convenience of the driver is commonly used.
  • the camera imaging system photographs the surrounding environment through cameras installed on the front, rear, left and right sides of the car, and displays the synthesized image of the surrounding environment so that the driver can accurately recognize the surrounding situation of the car.
  • parking is convenient without looking at the side mirror or the back mirror, the front, rear and left and right images of the car are simply combined and displayed, so the image processing for overlapping areas overlapped naturally. There was a problem that could not be performed.
  • a technique of displaying a guideline on a vehicle surrounding image as disclosed in Korean Patent Laid-Open Publication No. 2009-0016966 and Korean Patent Registration 899,892, has been disclosed.
  • the guide line is directly marked on the floor, and the image of the floor marked with the guide line is photographed through the camera, and then the image coordinates corresponding to the guide line are acquired to guide the camera image.
  • the method of displaying was mainly used.
  • the conventional camera imaging system has a problem that can provide distorted information to the driver because the guide line and the image are distorted and displayed differently according to the mounting position or angle of the camera.
  • An object of the present invention is to provide an apparatus and method for processing an image of a camera that can more easily display guide lines on a camera image using a virtual space without directly displaying the guide lines in a real space.
  • Another problem to be solved by the present invention is to create a camera image of the virtual view using the virtual view transformation model, and to display the camera image of the various views desired by the user by displaying the guide line of the virtual view on the camera image of the virtual view.
  • An image processing apparatus and method for outputting a camera are provided.
  • the image processing apparatus of the camera for solving this problem is to obtain a projection transformation matrix between the real world space and the camera image plane, and the virtual space image plane having a predetermined pattern formed using the projection transformation matrix
  • a calculating unit for obtaining homography between the camera image planes A transformation unit projecting the virtual space image to the camera image plane using the homography;
  • a synthesizer configured to synthesize the virtual space image projected on the camera image plane into the camera image.
  • the converting unit converts the camera image and the virtual space image into a camera image of the virtual view and a virtual space image of the virtual view by using a virtual view transformation model, and converts the virtual space image of the virtual view to the camera image of the virtual view. Can be projected onto a plane.
  • the apparatus may further include an estimator configured to estimate a position and a pose of the camera, and the calculator may calculate a projection transformation matrix between the real world space and the camera image plane using camera information including the position and the pose of the camera.
  • the estimator may receive a calibration index image photographed through the camera and estimate the position and attitude of the camera using the calibration index image.
  • the virtual space image plane may include at least one of a bottom plane, a front plane, a left plane, a right plane, and a rear plane.
  • the calculator may obtain homography corresponding to at least one of a bottom plane, a front plane, a left plane, a right plane, and a rear plane of the virtual space image plane using the projection transformation matrix.
  • the apparatus may further include a correction unit configured to correct distortion of the camera image and distortion of the virtual space image by using a distortion correction model.
  • the camera may be installed in a vehicle, and the predetermined pattern may be a guide line for parking the vehicle.
  • the image processing method of the camera comprises the steps of obtaining a projection transformation matrix between the real world space and the camera image plane; Obtaining a homography between the virtual space image plane having a predetermined pattern and the camera image plane using the projection transformation matrix; Projecting the virtual spatial image onto the camera image plane using the homography; Compositing the virtual space image projected on the camera image plane to the camera image.
  • converting the camera image and the virtual space image into a camera image of the virtual view and a virtual space image of the virtual view by using a virtual view transformation model. May project the virtual space image of the virtual viewpoint to the camera image plane of the virtual viewpoint.
  • the method may further include estimating the position and attitude of the camera, wherein the calculating of the projection transformation matrix may include: using the camera information including the position and the attitude of the camera; The projection transformation matrix between the camera image planes may be obtained.
  • the calibration index image photographed by the camera may be received, and the position and attitude of the camera may be estimated using the calibration index image.
  • the method may further include correcting the distortion of the camera image and the distortion of the virtual space image using a distortion correction model.
  • the virtual space image plane may include at least one of a bottom plane, a front plane, a left plane, a right plane, and a rear plane.
  • the obtaining of the homography may obtain homography corresponding to at least one of a bottom plane, a front plane, a left plane, a right plane, and a rear plane of the virtual space image plane by using the projection transformation matrix.
  • the camera may be installed in a vehicle, and the predetermined pattern may be a guide line for parking the vehicle.
  • a guideline may be more easily displayed on a camera image using a virtual space without directly displaying the guideline in a real space.
  • the guide line of the virtual space can be easily synthesized and displayed on the camera image.
  • the guideline can be generated by automatically calculating the position and posture of the camera installed in the car, and even when the camera image is converted to the virtual viewpoint, the guideline can be easily converted to the virtual viewpoint and displayed. There is an advantage to improve the convenience of.
  • the guideline can be displayed more easily using the virtual space without actually displaying the guideline according to the type of the car, the position or the posture of the camera. It can be expressed, and there is an advantage that can be expressed as a three-dimensional picture using the wall of the virtual space.
  • FIG. 1 is a block diagram of an image processing apparatus of a camera according to an embodiment of the present invention.
  • FIG. 2 is an exemplary diagram of a virtual space according to an embodiment of the present invention.
  • FIG 3 is an exemplary diagram of a virtual space image in which a predetermined pattern is formed according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of converting a world coordinate system into a camera coordinate system.
  • FIG. 5 is a diagram illustrating that vertices on a three-dimensional space pass through a lens to form a two-dimensional image plane.
  • 6 is an exemplary view of a camera image with distortion and a camera image without distortion.
  • FIG. 7 is an exemplary diagram of a virtual space image in which distortion is corrected according to an embodiment of the present invention.
  • FIG. 8 illustrates a process of synthesizing a virtual space image and a camera image according to an embodiment of the present invention.
  • FIG. 9 is an operation flowchart showing an image processing process of a camera according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an image processing apparatus of a camera according to an embodiment of the present invention.
  • the image processing apparatus 100 of a camera photographs a surrounding image of a vehicle through a plurality of cameras installed in a vehicle, and a predetermined pattern, such as a guide line, on the captured image of the surrounding vehicle. It is a device that controls the display so that the driver can park more safely and easily.
  • the image processing apparatus 100 of the camera includes a plurality of cameras 110a to 110n, an estimator 120, a calculator 130, a converter 140, a corrector 150, a synthesizer 160, and a display unit ( 170).
  • the plurality of cameras 110a to 110n may be installed at the front, rear, left and right sides of the vehicle, respectively, and a lens having a large angle of view, such as a wide angle lens or a fisheye lens, may be provided.
  • the cameras 110a to 110n may photograph a subject in a real world space (three-dimensional space) as a two-dimensional image through a lens and provide the photographed image to the estimator 120 or the like.
  • the cameras 110a to 110n need a wide angle of at least 180 degrees, and the cameras must be kept at least 1000 ⁇ 1000 mm2 in the overlapping field of view of the two cameras to improve the quality of the surrounding image.
  • the installation height of the can be determined. The higher the installation height of the camera, the better image quality can be secured. Accordingly, it is important for each camera to determine the installation position and the viewing angle to solve the blind spot of the car and minimize the deterioration of the quality of the surrounding image.
  • the front cameras are installed at the center of the bonnet of the vehicle, and the cameras installed at the left and right sides are positioned at the edges or the bottom of both side mirrors of the vehicle, respectively. It can be installed to be located.
  • the rear camera may be installed at the center of the rear bumper, and the front and rear cameras may be installed so that 170 ° or more may be photographed based on a vertical line in the ground direction.
  • a wide-angle camera is deteriorated in image quality due to the lack of light amount around the lens, and more distortion occurs in the peripheral portion than the central portion of the lens.
  • the image quality of the peripheral portion is severely degraded when the view point conversion of the image photographed by the camera. Therefore, the cameras installed in the front and rear to use the image formed in the central region of the camera lens may be installed so that the optical axis is parallel to the horizon, and the cameras installed on the left and right are perpendicular to the ground.
  • the estimator 120 may perform a function of estimating the position and attitude of the camera.
  • the estimator 120 may estimate the position and attitude of the camera using a calibration index disposed at a predetermined position.
  • the calibration index is photographed and transmitted to the estimator 120 through the plurality of cameras 110a to 110n.
  • the position and attitude of the camera can be estimated by comparing a plurality of calibration index images with a pre-stored reference image.
  • the calibration index may be formed in a grid pattern or an arbitrary pattern in order to minimize the estimation error, and the grid pattern may be formed of a combination of colors with strong color contrast.
  • the calibration indicator may be composed of a grid-shaped pattern made of a combination of white and black.
  • the calculator 130 may calculate a projection matrix between the real world space and the camera image plane.
  • the calculator 130 may calculate the real-world space (three-dimensional space) by using the camera information such as the position and attitude of the camera estimated by the estimator 120, the camera internal parameters, and the camera external parameters.
  • a projection transformation matrix defining a relationship between camera image planes, which are two-dimensional images captured by the camera, can be obtained.
  • the internal parameter of the camera is an internal error that the camera has when it is made, for example, the distortion of the lens or the focal length
  • the external parameter of the camera is a parameter of how much the camera moves and rotates from the real world space. It can be expressed as a matrix for rotation and movement.
  • the projection transformation matrix is a matrix that determines how the subject placed in the coordinate system of the real world space looks when viewed through a plane of a specific viewpoint.
  • the operation unit 130 calculates an image of the subject in the real world space by calculating the projection transformation matrix. It is possible to detect the relationship between the real world space and the camera image plane on how the image can be seen as the subject image photographed by the camera.
  • the calculator 130 may obtain a homography between the virtual space image plane and the camera image plane on which a predetermined pattern is formed using the projection transformation matrix.
  • the virtual space image plane defines a virtual space composed of at least one plane among virtual spaces surrounded by five planes (bottom plane, front plane, left plane, right plane, and rear plane).
  • Predetermined patterns such as guide lines, can be put.
  • the size of each plane is variable, and the actual planes may be defined using an image on which a pattern such as a guide line is drawn.
  • the pattern on the image will represent the texture of each plane, allowing the matching of the texture of each plane to the image between the plane and the final image.
  • FIG. 2 is an exemplary view of a virtual space according to an embodiment of the present invention
  • FIG. 3 is an exemplary view of a virtual space image in which a predetermined pattern is formed according to an embodiment of the present invention.
  • the drawn virtual space image only the image corresponding to the floor plane is possible.
  • the pixel resolution is set to 10 mm per pixel
  • the actual horizontal distance 8M may correspond to 800 pixels
  • the vertical distance 10M may correspond to 1000 pixels.
  • the car is placed at the center of the image, and the size of the car corresponding to the full width and the full length of the car is drawn, and then a guideline to be expressed is drawn with colors proportional to the distance resolution.
  • the same line width can be obtained in the image converted to an arbitrary camera viewpoint.
  • a guideline pattern may be drawn on the virtual space image.
  • the operation unit 130 may obtain a homography between a virtual space image plane and a camera image plane on which a predetermined pattern is formed using a projection transformation matrix. That is, since the virtual space image plane may be formed of at least one plane among the five planes, the operation unit 130 may obtain homography corresponding to the at least one plane. For example, if the virtual space image plane consists of a bottom plane, a front plane, a left plane, a right plane, and a back plane, the calculation unit 130 is a bottom plane homography, a front plane homography, a left plane homography, a right plane. Planar homography and back plane homography can be obtained respectively.
  • FIG. 4 is a diagram illustrating a process of converting a world coordinate system into a camera coordinate system, and a process of obtaining a projection transformation matrix and homography will be described in detail with reference to FIG. 4.
  • an external parameter matrix is used to convert a world coordinate system, which is a real world space (three-dimensional space) coordinate, to a camera coordinate system based on the camera focus C. That is, a matrix including a rotation matrix R and a motion vector T is required to convert a world coordinate system, which is a virtual coordinate in a three-dimensional space, to a camera coordinate system.
  • Equation 1 In order to convert the (X, Y, Z) coordinates in the world coordinate system to the (x, y, z) coordinates of the camera coordinate system, the following (Equation 1) may be applied.
  • Equation 1 R and T are expressed in a matrix form as shown in Equation 2 below.
  • R and T shown in Equation (2) that is, [R
  • the external parameter is for converting the coordinates of the world coordinate system to the coordinates of the camera coordinate system, and indicates a parameter about the relative movement and rotation of the camera coordinate system with respect to the world coordinate system, and has a fixed coordinate system having an arbitrary coordinate system by [R
  • a point P (X, Y, Z) in three-dimensional space may be converted into a point p (x, y, z) in three-dimensional space.
  • the matrix can be simplified to a 3x3 matrix such as (3), which can be represented homogeneously, which can also be expressed as (4).
  • the virtual space image plane is necessary for projecting the images on the five walls configured in the plane form to the camera image plane. Since the five walls and the camera image plane are relations between the plane and the plane, homography is established. For example, in the case of the floor plane, the x and y coordinates change but the z coordinate is fixed to 0, so that z is set to 0 and calculated. By using this property, the projection transformation matrix of the 3x4 matrix can be transformed into the homography of the 3x3 matrix.
  • the converter 140 may project the virtual space image on the camera image plane using homography. That is, the converter 140 may map the virtual space image to the coordinates on the camera image plane in order to project the virtual space image having the predetermined pattern onto the camera image plane.
  • the correction unit 150 may correct the distortion of the camera image and the distortion of the virtual space image, respectively, by using the distortion correction model.
  • the distortion correction algorithm is an algorithm for correcting the geometric distortion generated by the camera lens. Since the actual wide-angle lens or the fisheye lens is not a perfect sphere shape and the focal length is short, the geometric distortion of the lens, for example, radioactive distortion or tangential line Directional distortion may occur. In the image photographed by the distortion of the lens, a straight line may be deformed into a curve.
  • the geometric distortion image of the lens may be corrected through the distortion correction algorithm, which may be represented as a function of a correction parameter and a distortion constant.
  • the correction parameter may include a focal length and optical center coordinates of the lens mounted to the camera, and the distortion constant may include a radial distortion constant and a tangential distortion constant.
  • FIG. 5 is a diagram showing that vertices in a three-dimensional space pass through a lens to form a two-dimensional image plane.
  • the straight line should come out as a straight line, but distortion will occur in the lens by using a wide-angle lens to secure a wide viewing angle.
  • the degree of distortion varies depending on an angle corresponding to a scene point in each three-dimensional image, and parameters for the degree of distortion may be distortion constants.
  • P denotes a scene point in 3D
  • ⁇ denotes an angle corresponding to a scene point in 3D
  • p is an image point that is formed in the two-dimensional image plane corresponding to a point in the three-dimensional (scene point)
  • ⁇ is the point on the image is the x-axis of the image coordinate (coordinate) How many angles are relative to.
  • r is how far the image point is from the center of the image
  • p ' is the image point corresponding to a point in the three-dimensional scene in the absence of distortion.
  • f denotes the focal length of the camera.
  • the position of the p becomes determined by the P and a, and ⁇ .
  • the relationship can be defined through (5) and (6) below.
  • An image obtained by using homography is applied to distortion by using a distortion parameter.
  • FIG. 6 is a diagram illustrating a camera image having a distortion and a camera image having no distortion
  • FIG. 7 is a diagram illustrating a virtual space image in which distortion is corrected according to an embodiment of the present invention.
  • the y-axis is the distorted image coordinate (distorted image coordinate)
  • the image x ', y' axis on the right in Figure 6 represents the image distortion (undistorted image coordinate).
  • the origin of the distorted image coordinates disposed on the left side of FIG. 6 is centered on the upper left side of the image, and the origin of the non-distorted image coordinates arranged on the right side of FIG. 6 is centered on the center of the image.
  • the distortion when the distortion is finally finished, the distortion
  • the pixel value corresponding to (u 0 , v 0 ), the image's coordinates, is (x u , y u ), the normalized image coordinates of the image without distortion.
  • the internal parameters of the camera are stored in advance, and the internal parameters of the camera denote the number of pixels per unit distance of the m u and y axes, which represent the number of pixels per unit distance of the image center (u 0 , v 0 ) and the x axis.
  • m v and the focal length ( f )
  • the distortion correction constants k 1 , k 2 , k 3 , k 4 , k 5 and the distortion constants d 0 ,. , d 8 can also be saved after getting it in advance.
  • Equation 10 is used to estimate the angle of incidence ⁇ through the distortion constant.
  • the distance r u from which distortion is removed can be obtained by performing a projective projection from the incident angle ⁇ estimated using Equation (11).
  • a pixel value of (x u , y u ) can be obtained.
  • the distortion can be corrected by using various distortion correction models in addition to the above-described distortion correction model.
  • the conversion unit 140 converts the camera image and the virtual space image into the camera image of the virtual view and the camera image of the virtual view, respectively, using the virtual view transformation model.
  • the virtual space image of the virtual view can be projected onto the camera image plane of the virtual view.
  • the conversion unit 140 converts a camera image into a camera image of a virtual viewpoint using a virtual viewpoint transformation model, and converts a virtual space image into a virtual space image of a virtual viewpoint, and then converts the virtual image into a virtual viewpoint.
  • the converted camera image may be output to various viewpoints desired by the user.
  • the virtual viewpoint transformation model may be configured as a model of various methods capable of converting a camera image and a virtual space image into a virtual viewpoint.
  • FIG. 8 is a view illustrating a process of synthesizing a virtual space image and a camera image according to an embodiment of the present invention.
  • the synthesis unit 160 displays a virtual space image projected on a camera image plane.
  • the virtual space image in which the predetermined pattern is formed and the camera image may be synthesized by an overlay method so as to overlap the camera image.
  • the synthesis unit 160 transparently processes the black portion of the virtual space image so that the camera image converted to the virtual viewpoint and the virtual space image converted to the same viewpoint as the camera image appear naturally, and the transparent processed virtual space.
  • the image and camera images can be combined by blending.
  • the display unit 170 displays a camera image obtained by synthesizing a predetermined pattern on a display module such as a liquid crystal display (LCD) and an organic light emitting diode (OLED).
  • a display module such as a liquid crystal display (LCD) and an organic light emitting diode (OLED).
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • FIG. 9 is an operation flowchart illustrating an image processing process of a camera according to an embodiment of the present invention.
  • a projection transformation matrix between a real world space and a camera image plane is obtained (S910).
  • the position and attitude of the camera can be estimated by using the calibration index arranged at a predetermined position.
  • a comparison between a plurality of calibration indicator images photographed through the plurality of cameras 110a to 110n and a previously stored reference image may be performed. Through this, the position and attitude of the camera can be estimated.
  • the calibration index may be formed in a grid pattern or an arbitrary pattern in order to minimize the estimation error, and the grid pattern may be formed of a combination of colors with strong color contrast.
  • the calibration indicator may be composed of a grid-shaped pattern made of a combination of white and black.
  • a homography between the virtual space image plane and the camera image plane on which a predetermined pattern is formed may be obtained using the projection transformation matrix (S920).
  • the virtual space image plane may be formed of at least one plane among the five planes, so that the operation unit 130 may obtain homography corresponding to the at least one plane.
  • the calculation unit 130 is a bottom plane homography, a front plane homography, a left plane homography, a right plane. Planar homography and back plane homography can be obtained respectively.
  • the virtual space image may be projected onto the camera image plane using homography.
  • the camera image is converted into the camera image of the virtual view using the virtual view transformation model, and the virtual space image is converted into the virtual space image of the virtual view, respectively.
  • the virtual viewpoint transformation model is a model capable of converting a camera image and a virtual space image into a virtual viewpoint, and may be defined in various ways in advance.
  • the distortion correction model may correct the distortion of the camera image and the distortion of the virtual space image.
  • the virtual space image may be synthesized with the camera image (S940).
  • the virtual space image in which a predetermined pattern is formed may be synthesized by an overlay method so that the camera image overlaps, and when the virtual space image and the camera image are converted to the virtual viewpoint, the same as the camera image converted to the virtual viewpoint.
  • the black portion of the virtual space image may be transparently processed so that the virtual space image converted to a viewpoint may appear naturally, and the transparent virtual space image and the camera image may be synthesized by blending.
  • One embodiment of the invention includes a computer readable medium containing program instructions for performing various computer-implemented operations.
  • This medium records a program for executing the image processing method of the camera described above.
  • the media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like.
  • Hardware devices configured to store and perform such operations.
  • the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the present invention relates to an image processing apparatus and method of a camera, and more particularly, to an image processing apparatus and method of a camera capable of capturing and displaying an image of a surrounding environment of a vehicle through a camera installed in a vehicle.

Abstract

본 발명은 카메라의 영상 처리 장치에 관한 것으로, 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬을 구하고, 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 카메라 이미지 평면 간의 호모그래피를 구하는 연산부, 호모그래피를 이용하여 가상 공간 이미지를 카메라 이미지 평면에 투영하는 변환부 및 카메라 이미지 평면에 투영된 가상 공간 이미지를 카메라 이미지에 합성하는 합성부를 포함한다.

Description

카메라의 영상 처리 장치 및 방법
본 발명은 카메라의 영상 처리 장치 및 방법에 관한 것으로, 보다 자세하게는 자동차에 설치된 카메라를 통해 자동차 주변 환경의 영상을 촬영하여 표시할 수 있는 카메라의 영상 처리 장치 및 방법에 관한 것이다.
일반적으로 운전자의 편의를 위하여 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 카메라 영상 시스템이 보편적으로 사용되고 있다.
이러한 카메라 영상 시스템은 자동차의 전방, 후방 및 좌우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 주변 환경의 영상을 합성하여 표시함으로써 운전자가 자동차의 주변 상황을 정확하게 인식할 수 있도록 하고, 사이드 미러(side mirror)나 백 미러(back mirror)를 보지 않고도 편리하게 주차를 할 수 있도록 하였으나, 자동차의 전방, 후방 및 좌우측 영상을 단순히 조합하여 표시하기 때문에 영상 간에 겹치는 중복 영역에 대한 영상 처리가 자연스럽게 수행되지 못하는 문제점이 있었다.
또한, 실제 세계를 카메라를 통한 영상으로 제공하기 때문에 실제 세계와 영상 간의 거리감으로 인해 운전자가 현재 자동차의 주변 환경을 정확하게 인식하지 못하는 문제점이 있었다.
상술한 문제점을 해결하기 위해 한국공개특허 2009-0016966호, 한국등록특허 899,892호에서와 같이 차량 주변 영상에 가이드 라인을 표시하는 기술이 개시되었다. 그런데 종래의 카메라 영상 시스템은 바닥에 가이드 라인을 직접 마킹(marking)하고 카메라를 통해 가이드 라인이 마킹된 바닥의 영상을 촬영한 다음에, 가이드 라인에 해당하는 이미지 좌표를 획득하여 카메라 영상에 가이드 라인을 표시하는 방식을 주로 사용하였다.
그러나, 종래의 카메라 영상 시스템은 카메라의 장착 위치나 각도 등에 따라 가이드 라인과 영상이 실제와 다르게 왜곡되어 표시되기 때문에 운전자에게 왜곡된 정보를 제공할 수 있는 문제점이 있었다.
또한, 자동차의 종류, 카메라의 장착 위치나 각도에 따라 가이드 라인을 마킹하는 작업을 직접 보정해야 하기 때문에 시간이 오래 걸리고 많은 비용이 발생하는 문제점이 있었다.
본 발명이 해결하고자 하는 과제는 실제 공간에 가이드 라인을 직접 표시하지 않아도 가상 공간을 이용하여 카메라 이미지에 가이드 라인을 보다 용이하게 표시할 수 있는 카메라의 영상 처리 장치 및 방법을 제공함에 있다.
또한, 본 발명이 해결하고자 하는 다른 과제는 가상 시점 변환 모델을 이용하여 가상 시점의 카메라 이미지를 생성하고, 가상 시점의 카메라 이미지에 가상 시점의 가이드 라인을 표시함으로써 사용자가 원하는 다양한 시점의 카메라 이미지를 출력할 수 있는 카메라의 영상 처리 장치 및 방법을 제공함에 있다.
이러한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 카메라의 영상 처리 장치는 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬을 구하고, 상기 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 상기 카메라 이미지 평면 간의 호모그래피를 구하는 연산부; 상기 호모그래피를 이용하여 상기 가상 공간 이미지를 상기 카메라 이미지 평면에 투영하는 변환부; 상기 카메라 이미지 평면에 투영된 가상 공간 이미지를 상기 카메라 이미지에 합성하는 합성부를 포함한다.
상기 변환부는 가상 시점 변환 모델을 이용하여 상기 카메라 이미지 및 상기 가상 공간 이미지를 가상 시점의 카메라 이미지 및 가상 시점의 가상 공간 이미지로 각각 변환하고, 상기 가상 시점의 가상 공간 이미지를 상기 가상 시점의 카메라 이미지 평면에 투영할 수 있다.
카메라의 위치 및 자세를 추정하는 추정부를 더 포함하고, 상기 연산부는 상기 카메라의 위치 및 자세를 포함하는 카메라 정보를 이용하여 상기 실세계 공간과 상기 카메라 이미지 평면 간의 투영 변환 행렬을 구할 수 있다.
상기 추정부는 상기 카메라를 통해 촬영된 교정 지표 이미지를 수신하고, 상기 교정 지표 이미지를 이용하여 상기 카메라의 위치 및 자세를 추정할 수 있다.
상기 가상 공간 이미지 평면은 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나로 이루어질 수 있다.
상기 연산부는 상기 투영 변환 행렬을 이용하여 상기 가상 공간 이미지 평면의 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나에 해당하는 호모그래피를 구할 수 있다.
왜곡 보정 모델을 이용하여 상기 카메라 이미지의 왜곡 및 상기 가상 공간 이미지의 왜곡을 보정하는 보정부를 더 포함할 수 있다.
상기 카메라는 자동차에 설치되고, 상기 소정의 패턴은 상기 자동차의 주차를 위한 가이드 라인일 수 있다.
한편, 본 발명의 일 실시예에 따른 카메라의 영상 처리 방법은 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬을 구하는 단계; 상기 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 상기 카메라 이미지 평면 간의 호모그래피를 구하는 단계; 상기 호모그래피를 이용하여 상기 가상 공간 이미지를 상기 카메라 이미지 평면에 투영하는 단계; 상기 카메라 이미지 평면에 투영된 상기 가상 공간 이미지를 상기 카메라 이미지에 합성하는 단계를 포함한다.
상기 호모그래피를 구하는 단계 이후에, 가상 시점 변환 모델을 이용하여 상기 카메라 이미지 및 상기 가상 공간 이미지를 가상 시점의 카메라 이미지 및 가상 시점의 가상 공간 이미지로 각각 변환하는 단계를 더 포함하고, 상기 투영 단계는 상기 가상 시점의 가상 공간 이미지를 상기 가상 시점의 카메라 이미지 평면에 투영할 수 있다.
상기 투영 변환 행렬을 구하는 단계 이전에, 카메라의 위치 및 자세를 추정하는 단계를 더 포함하고, 상기 투영 변환 행렬을 구하는 단계는 상기 카메라의 위치 및 자세를 포함하는 카메라 정보를 이용하여 상기 실세계 공간과 상기 카메라 이미지 평면 간의 투영 변환 행렬을 구할 수 있다.
상기 추정 단계는 상기 카메라를 통해 촬영된 교정 지표 이미지를 수신하고, 상기 교정 지표 이미지를 이용하여 상기 카메라의 위치 및 자세를 추정할 수 있다.
상기 투영 단계 이후에, 왜곡 보정 모델을 이용하여 상기 카메라 이미지의 왜곡 및 상기 가상 공간 이미지의 왜곡을 보정하는 단계를 더 포함할 수 있다.
상기 가상 공간 이미지 평면은 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나로 이루어질 수 있다.
상기 호모그래피를 구하는 단계는 상기 투영 변환 행렬을 이용하여 상기 가상 공간 이미지 평면의 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나에 해당하는 호모그래피를 구할 수 있다.
상기 카메라는 자동차에 설치되고, 상기 소정의 패턴은 상기 자동차의 주차를 위한 가이드 라인일 수 있다.
이와 같이 본 발명의 실시예에 따른 카메라의 영상 처리 장치 및 방법에 따르면, 실제 공간에 가이드 라인을 직접 표시하지 않아도 가상 공간을 이용하여 카메라 이미지에 가이드 라인을 보다 용이하게 표시할 수 있는 장점이 있다.
보다 구체적으로는, 바닥 등과 같은 실제 공간에 가이드 라인을 직접 표시하지 않고도 가상 공간 상에 가이드 라인을 형성하여 카메라 이미지 평면 상에 투영함으로써 카메라 이미지에 가상 공간의 가이드 라인을 보다 용이하게 합성하여 표시할 수 있는 장점이 있다.
또한, 가상 시점 변환 모델을 이용하여 가상 시점의 카메라 이미지를 생성하고, 생성된 가상 시점의 카메라 이미지에 가상 시점의 가이드 라인을 표시함으로써 사용자가 원하는 다양한 시점의 카메라 이미지를 출력할 수 있으며, 이와 같이, 다양한 시점에서 가이드 라인을 표시할 수 있기 때문에 운전자가 보다 안전하고 용이하게 자동차를 주차할 수 있는 장점이 있다.
그리고, 자동차에 설치된 카메라의 위치 및 자세를 자동으로 계산하여 가이드 라인을 생성할 수 있으며, 카메라 이미지를 가상 시점으로 변환하고자 할 경우에도 보다 쉽게 가이드 라인을 가상 시점으로 변환하여 표시할 수 있기 때문에 운전자의 편의성을 향상시킬 수 있는 장점이 있다.
게다가, 자동차의 종류, 카메라의 위치나 자세에 따라 실제로 가이드 라인을 표시하지 않아도 가상 공간을 이용하여 보다 손쉽게 가이드 라인을 표시할 수 있으며, 가상 공간이 이미지로 표현되기 때문에 임의의 그림으로도 가이드 라인을 표현할 수 있으며, 가상 공간의 벽면을 이용하여 입체적인 그림으로도 표현 가능한 장점이 있다.
또한, 종래 기술에서와 같이, 바닥에 가이드 라인을 직접 표시하는 공정을 삭제할 수 있기 때문에 가이드 라인을 마킹할 공간을 임대해야 하는 번거로움이나 가이드 라인을 마킹하는 작업 시간을 단축할 수 있으며, 아울러 비용까지 절감할 수 있는 장점이 있다.
그리고, 카메라 이미지에 가이드 라인을 표시하는 작업이 모두 컴퓨터에서 이루어지고 별도의 작업 공간이 필요하지 않으므로 환경 오염을 감소시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 카메라의 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 가상 공간의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 소정 패턴이 형성된 가상 공간 이미지 의 예시도이다.
도 4는 세계(world) 좌표계를 카메라 좌표계로 변환시키는 과정을 나타내는 도면이다.
도 5는 3차원 공간 상의 꼭지점이 렌즈를 통과하여 2차원 이미지 평면에 맺히는 것을 나타내는 도면이다.
도 6은 왜곡이 있는 카메라 이미지 및 왜곡이 없는 카메라 이미지의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 왜곡이 보정된 가상 공간 이미지의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 가상 공간 이미지와 카메라 이미지를 합성하는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 카메라의 영상 처리 과정을 보여주는 동작 흐름도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라의 영상 처리 장치의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 카메라의 영상 처리 장치(100)는 자동차에 설치된 복수 개의 카메라를 통해 자동차의 주변 영상을 촬영하고, 촬영된 자동차의 주변 영상에 가이드 라인(guide line)과 같은 소정 패턴이 표시되도록 제어함으로써 운전자가 보다 안전하고 용이하게 주차할 수 있게 하는 장치이다.
이러한 카메라의 영상 처리 장치(100)는 복수 개의 카메라(110a~110n), 추정부(120), 연산부(130), 변환부(140), 보정부(150), 합성부(160) 및 표시부(170)를 포함하여 구성된다.
이 중에서 복수 개의 카메라(110a~110n)는 각각 자동차의 전방, 후방, 좌측 및 우측에 설치되고, 광각 렌즈나 어안 렌즈 등과 같이 화각이 큰 렌즈가 구비될 수 있다. 이러한 카메라(110a~110n)는 렌즈를 통해 실세계 공간(3차원 공간) 내의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 추정부(120) 등에 제공할 수 있다.
자동차의 사각 지대를 최소화하기 위해 카메라(110a~110n)는 최소한 180도 이상의 광각이 필요하고, 주변 영상의 품질을 향상시키기 위해 두 카메라의 중복되는 시야각의 영역이 최소한 1000×1000㎟를 유지하도록 카메라의 설치 높이를 결정할 수 있다. 카메라의 설치 높이가 높을수록 양호한 영상 품질을 확보할 수 있으며, 이에 따라, 각 카메라가 자동차의 사각 지대를 해소하고 주변 영상의 화질 저하를 최소화할 수 있는 설치 위치 및 시야각을 결정하는 것이 중요하다.
카메라(110a~110n)가 설치되는 위치에 대하여 보다 상세하게 설명하면, 전방에 설치된 카메라는 자동차의 본넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라는 각각 자동차의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한, 후방에 설치된 카메라는 후방 범퍼 위쪽의 중앙에 설치될 수 있으며, 전방 및 후방에 설치된 카메라는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치될 수 있다.
일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생한다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라는 광축이 지면과 수직이 되도록 설치될 수 있다.
추정부(120)는 카메라의 위치 및 자세를 추정하는 기능을 수행할 수 있는데, 미리 정해진 위치에 배치된 교정 지표를 이용하여 카메라의 위치 및 자세를 추정할 수 있다
보다 구체적으로 설명하면, 미리 정해진 위치(예컨대, 바닥)에 교정 지표를 배치한 후, 복수 개의 카메라(110a~110n)를 통해 교정 지표를 촬영하여 추정부(120)로 전송하면, 추정부(120)에서는 복수 개의 교정 지표 이미지와 미리 저장된 기준 이미지와의 비교를 통해 카메라의 위치 및 자세를 추정할 수 있게 된다.
이때, 교정 지표는 추정 오류를 최소화하기 위하여 격자 모양의 패턴이나 임의의 패턴으로 이루어질 수 있으며, 격자 모양의 패턴은 색상 대비가 강한 색들의 조합으로 이루어질 수 있다. 예를 들어, 교정 지표는 흰색과 검정색의 조합으로 이루어진 격자 모양의 패턴으로 구성될 수 있다.
연산부(130)는 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬(Projection matrix)을 구할 수 있다.
보다 상세하게 설명하면, 연산부(130)는 추정부(120)에서 추정된 카메라의 위치 및 자세와, 카메라의 내부 파라미터 및 카메라의 외부 파라미터 등의 카메라 정보를 이용하여 실세계 공간(3차원 공간)과 카메라를 통해 촬영된 2차원 화상인 카메라 이미지 평면 간의 관계를 정의하는 투영 변환 행렬을 구할 수 있다.
여기서, 카메라의 내부 파라미터란 카메라가 만들어지면서 갖게 되는 내부적인 오차로, 렌즈의 왜곡이나 초점 거리 등을 예로 들 수 있으며, 카메라의 외부 파라미터란 실세계 공간으로부터 카메라가 얼마만큼 이동하고 회전하는지에 대한 파라미터로, 회전 및 이동에 대한 행렬로 나타낼 수 있다.
그리고, 투영 변환 행렬이란 실세계 공간의 좌표계에 놓여 있는 피사체가 특정한 시점의 평면을 통해 바라 보았을 때 어떻게 보일 것인지 결정해주는 행렬로, 연산부(130)에서는 투영 변환 행렬을 연산함으로써 실세계 공간에 있는 피사체의 이미지가 카메라를 통해 촬영되는 피사체 이미지로 어떻게 보여질 수 있는지에 대한 실세계 공간과 카메라 이미지 평면 간의 관계를 검출할 수 있게 되는 것이다.
또한, 연산부(130)는 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 카메라 이미지 평면 간의 호모그래피(Homography)를 구할 수 있다.
여기서, 가상 공간 이미지 평면이란 5개의 평면(바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면)으로 둘러싸인 가상의 공간 중에서 적어도 하나의 평면으로 이루어진 가상의 공간을 정의하며, 각각의 평면에는 가이드 라인 등과 같은 소정의 패턴을 넣을 수 있다. 이때, 각 평면의 크기는 가변 가능하며, 실제 각 평면은 가이드 라인과 같은 패턴이 그려진 이미지를 이용하여 정의할 수 있다. 또한, 이미지 상의 패턴은 각 평면의 텍스처(texture)를 나타나게 되며, 평면과 최종 이미지 사이에 각 평면의 텍스처를 이미지로 매칭할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른 가상 공간의 예시도 및 도 3은 본 발명의 일 실시예에 따른 소정 패턴이 형성된 가상 공간 이미지의 예시도로서, 도 2를 참조하면, 후방 주차 가이드 라인이 그려진 가상 공간 이미지를 구성할 경우, 바닥 평면에 해당되는 이미지만 있으면 가능하다. 이때, 픽셀 해상도를 1 픽셀당 10㎜로 설정할 경우, 실제 가로 거리 8M는 800pixel로 세로 거리 10M는 1000pixel로 대응될 수 있다.
그리고, 자동차를 이미지의 중심에 위치하고 자동차 전폭 및 전장 길이에 대응되는 자동차의 크기를 그린 후, 표현하고자 하는 가이드 라인을 거리 해상도에 비례하게 색상을 넣어서 그린다.
다음으로, 가이드 라인의 두께는 차량과 가까이 위치한 라인 폭은 좁게 그리고, 상대적으로 멀리 있는 라인 폭은 넓게 그려주면 임의의 카메라 시점으로 변환된 영상에서는 동일한 라인 폭을 얻을 수 있다.
이러한 가상 공간 이미지를 평면 상에서 정의한다면, 도 3에서와 같이, 가상 공간 이미지 상에 가이드 라인 패턴이 그려질 수 있다.
도 1을 참조하여 호모그래피를 구하는 과정에 대하여 다시 설명하면, 연산부(130)는 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 카메라 이미지 평면 간의 호모그래피를 구할 수 있다. 즉, 가상 공간 이미지 평면은 5개의 평면 중에서 적어도 하나의 평면으로 이루어 질 수 있므로 연산부(130)는 적어도 하나의 평면에 해당하는 호모그래피를 구할 수 있다. 예를 들어, 가상 공간 이미지 평면이 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면으로 이루어질 경우, 연산부(130)는 바닥 평면 호모그래피, 전방 평면 호모그래피, 좌측면 평면 호모그래피, 우측면 평면 호모그래피 및 후방 평면 호모그래피를 각각 구할 수 있다.
도 4는 세계(world) 좌표계를 카메라 좌표계로 변환시키는 과정을 나타내는 도면으로서, 도 4를 참조하여 투영 변환 행렬과 호모그래피를 구하는 과정을 보다 자세하게 설명하도록 한다.
우선적으로, 실세계 공간(3차원 공간) 좌표인 세계(world) 좌표계를 카메라 초점(C)을 기준으로 하는 카메라 좌표계로 변환시키기 위하여 외부 파라미터 매트릭스(External Parameter Matrix)를 이용한다. 즉, 3차원 공간 내의 가상 좌표인 세계 좌표계를 카메라 좌표계로 변환시키기 위해서는 회전 행렬(R)과 이동 벡터(T)를 포함하는 매트릭스가 필요하다.
따라서, 세계 좌표계에서의 (X, Y, Z) 좌표를 카메라 좌표계의 (x, y, z) 좌표로 변환시키기 위하여 다음의 (수학식 1)을 적용할 수 있다.
수학식 1
Figure PCTKR2013009323-appb-M000001
(수학식 1)에서 R과 T를 매트릭스 형태로 나타내면 다음의 (수학식 2)와 같다.
수학식 2
Figure PCTKR2013009323-appb-M000002
(수학식 2)에서 나타낸 R과 T를 즉, [R|T]를 외부 파라미터라고 하며, R과 T를 매트릭스 형태로 나타낸 것을 회전 변환 매트릭스라고 한다.
이때, 외부 파라미터는 세계 좌표계의 좌표를 카메라 좌표계의 좌표로 변환시키기 위한 것으로, 세계 좌표계에 대한 카메라 좌표계의 상대적인 이동과 회전에 관한 파라미터를 나타내며, [R|T]에 의하여 임의의 좌표계를 갖는 고정 카메라에서 3차원 공간 상의 한 점 P(X, Y, Z)는 3차원 공간 상의 한 점 p(x, y, z)로 변환될 수 있다.
그리고, (수학식 2)에서와 같이, (수학식 1)에 대하여 3×4 행렬로 표시된 카메라 모델을 투영 변환 행렬이라고 하며, 예컨대, 세계 좌표를 Z=0인 평면으로 한정하면, 3×4 행렬을 (수학식 3)과 같은 3×3 행렬로 간단히 할 수 있는데, 이 3×3 행렬은 호모그래피로 나타낼 수 있으며, 이는 (수학식 4)로도 나타낼 수 있다.
수학식 3
Figure PCTKR2013009323-appb-M000003
수학식 4
Figure PCTKR2013009323-appb-M000004
즉, 가상 공간 이미지 평면은 평면 형태로 구성된 5개의 벽에 있는 영상을 카메라 이미지 평면으로 투영시키기 위해 필요한 것인데, 5개의 벽과 카메라 이미지 평면은 평면과 평면 간의 관계이기 때문에 호모그래피가 성립되게 된다. 예를 들어, 바닥 평면의 경우, x, y 좌표는 변하지만 z 좌표는 0으로 고정되게 되므로 z를 0으로 설정하고 계산하는 형태가 된다. 이러한 성질을 이용하여 3×4 행렬의 투영 변환 행렬을 3×3 행렬의 호모그래피로 변환시킬 수 있게 된다.
변환부(140)는 호모그래피를 이용하여 가상 공간 이미지를 카메라 이미지 평면에 투영할 수 있다. 즉, 변환부(140)는 소정 패턴이 형성된 가상 공간 이미지를 카메라 이미지 평면에 투영하기 위해 가상 공간 이미지를 카메라 이미지 평면 상의 좌표에 매핑할 수 있다.
보정부(150)는 왜곡 보정 모델을 이용하여 카메라 이미지의 왜곡과 가상 공간 이미지의 왜곡을 각각 보정할 수 있다.
여기서, 왜곡 보정 알고리즘은 카메라 렌즈에 의해 발생되는 기하학적 왜곡을 보정하기 위한 알고리즘으로, 실제 광각 렌즈 또는 어안 렌즈는 완전한 구 형태가 아니고 초점 거리가 짧으므로 렌즈의 기하학적 왜곡, 예를 들면 방사성 왜곡이나 접선 방향 왜곡이 발생할 수 있다. 이와 같은 렌즈의 왜곡에 의하여 촬영된 영상 중에서 직선은 곡선으로 변형되어 나타날 수 있다.
따라서, 왜곡 보정 알고리즘을 통하여 렌즈의 기하학적 왜곡 영상을 보정할 수 있는데, 왜곡 보정 알고리즘은 보정 파라미터와 왜곡 상수에 관한 함수로 나타낼 수 있다. 보정 파라미터는 카메라에 장착된 렌즈의 초점 거리와 광학 중심 좌표를 포함할 수 있고, 왜곡 상수는 방사상 왜곡 상수와 접선 방향 왜곡 상수를 포함할 수 있다.
도 5는 3차원 공간 상의 꼭지점이 렌즈를 통과하여 2차원 이미지 평면에 맺히는 것을 나타내는 도면으로서, 도 5를 참조하여 왜곡을 보정하는 과정에 대하여 보다 구체적으로 설명하면, 카메라의 원근 투시에 의하면 공간 상의 직선은 직선으로 나와야 하지만, 넓은 시야각을 확보하기 위해 광각 렌즈를 사용함으로써 렌즈에 왜곡이 발생하게 된다. 이때, 왜곡의 정도는 각 3차원 상의 한 점(scene point)에 해당하는 각도(angle)에 따라서 달라지게 되며, 왜곡의 정도에 대한 파라미터들이 왜곡 상수가 될 수 있다.
도 5에서 P 는 3차원 상의 한 점(scene point)을 나타내며, θ는 3차원 상의 한 점(scene point)에 해당하는 각도(angle)를 의미한다. 또한, p는 3차원 상의 한 점(scene point)에 대응하는 2차원의 이미지 평면에 맺히는 이미지 점(image point)이 되며, Φ는 이미지 상에서 해당 점(point)이 이미지 좌표(coordinate)의 x축에 대해서 얼마만큼의 각도를 가지는지를 나타낸다. 그리고 r은 해당 이미지 점(image point)이 이미지 중심으로부터 얼마만큼 떨어져 있는지를 나타내며, p'은 왜곡(distortion)이 없는 경우의 3차원 상의 한 점(scene point)에 대응하는 이미지 점(image point)을 나타내며, 마지막으로, f는 카메라의 초점 거리(focal length)를 의미한다.
여기에서, p의 위치는 P 와 , 그리고 θ에 의해서 정해지게 된다. 그 관계는 아래의 (수학식 5)와 (수학식 6)을 통해서 정의될 수 있다.
수학식 5
Figure PCTKR2013009323-appb-M000005
수학식 6
Figure PCTKR2013009323-appb-M000006
호모그래피를 이용하여 얻어진 영상은 왜곡 상수(distortion paramter)를 이용하여 왜곡(distortion)을 적용해 주게 된다. 왜곡 상수에는 5개의 파라미터인 k1, k2, k3, k4, k5가 있어서, 왜곡의 보정 정도에 영향을 미치게 된다.
도 6은 왜곡이 있는 카메라 이미지와 왜곡이 없는 카메라 이미지의 예시도 및 도 7은 본 발명의 일 실시예에 따른 왜곡이 보정된 가상 공간 이미지의 예시도로서, 도 6에서 왼쪽에 있는 이미지의 x, y축은 왜곡이 있는 이미지 좌표(distorted image coordinate)이고, 도 6에서 오른쪽에 있는 이미지 x', y'축은 왜곡이 없는 이미지 좌표(undistorted image coordinate)를 나타낸다. 도 6의 왼쪽에 배치된 왜곡이 있는 이미지 좌표의 원점은 이미지의 좌측 상단을 중심으로 하고, 도 6의 오른쪽에 배치된 왜곡이 없는 이미지 좌표의 원점은 이미지의 가운데를 중심으로 한다.
여기서, 왜곡이 있는 이미지 특징 점의 좌표를 (xd, yd)로 표현하고, 왜곡이 없는 이미지 특징 점의 좌표를 (xu, yu)로 표현한다면, 최종적으로 왜곡이 끝났을 때, 왜곡이 있는 이미지에서 영상의 좌표인 (u0, v0)에 해당하는 픽셀 값(pixel value)은 그에 대응하는 왜곡이 없는 이미지의 카메라 이미지 평면 좌표(normalized image coordinate)인 (xu, yu)에 해당하는 픽셀 값(pixel value)을 가져오면, 왜곡이 있는 영상에서의 픽셀 값(pixel value)을 모두 구할 수 있게 된다.
이때, 카메라의 내부 파라미터들은 사전에 저장되는데, 카메라의 내부 파라미터는 영상 중심(u0, v0)과 x 축의 단위 거리 당의 픽셀 수를 뜻하는 mu, y 축의 단위 거리 당의 픽셀 수를 뜻하는 mv, 그리고 초점 거리(f)를 나타나며, 왜곡 보정 상수인 k1, k2, k3, k4, k5와 왜곡 상수인 d 0 ,…,d 8 도 또한 미리 구해놓은 후에 저장될 수 있다.
정리하여 설명하면, 1) (수학식 7)과 (수학식 8)을 이용하여 왜곡이 있는 이미지 특징 점 좌표를 카메라 이미지 평면(normalized image plane)으로 옮긴다. 이는 카메라 내부 파라미터를 이용해 구할 수 있다.
수학식 7
Figure PCTKR2013009323-appb-M000007
수학식 8
Figure PCTKR2013009323-appb-M000008
2) (수학식 9)를 이용하여 영상 중심으로부터 떨어진 거리(r)를 구한다.
수학식 9
Figure PCTKR2013009323-appb-M000009
3) (수학식 10)을 이용하여 왜곡 상수를 통해 입사각(θ)를 추정한다.
수학식 10
Figure PCTKR2013009323-appb-M000010
4) (수학식 11)을 이용하여 추정한 입사각(θ)로부터 계획적인 투영(projective projection)을 수행함으로써 왜곡이 제거된 거리(ru)를 얻을 수 있다.
수학식 11
Figure PCTKR2013009323-appb-M000011
5) (수학식 12)를 이용하여 ru와 (xd_nor, yd_nor)로부터 왜곡이 없는 이미지 특징 점의 좌표(xu, yu)를 각각 찾는다.
수학식 12
Figure PCTKR2013009323-appb-M000012
상기와 같은 형식으로 대응하는 (xu, yu)와 (xd, yd)를 구한 뒤에 (xd, yd)와 대응되는 왜곡이 없는 픽셀 좌표(u0, v0)의 픽셀 값을 (xu, yu)의 픽셀 값을 가져와서 적용하면 도 7에서와 같이, 왜곡이 보정된 가상 공간 이미지를 얻을 수 있게 된다. 여기서, 상술한 왜곡 보정 모델 외에 다양한 왜곡 보정 모델을 사용하여 왜곡을 보정할 수 있음은 물론이다.
만약, 사용자가 가상 시점으로 카메라 이미지가 표시되도록 조정할 경우, 변환부(140)는 가상 시점 변환 모델을 이용하여 카메라 이미지 및 가상 공간 이미지를 가상 시점의 카메라 이미지 및 가상 시점의 카메라 이미지로 각각 변환하고, 가상 시점의 가상 공간 이미지가 가상 시점의 카메라 이미지 평면에 투영할 수 있게 한다.
보다 구체적으로 설명하면, 변환부(140)에서는 가상 시점 변환 모델을 이용하여 카메라 이미지는 가상 시점의 카메라 이미지로 변환하고, 가상 공간 이미지는 가상 시점의 가상 공간 이미지로 각각 변환한 후, 가상 시점으로 변환된 가상 공간 이미지를 가상 시점으로 변환된 카메라 이미지 평면 상의 좌표에 매핑함으로써 사용자가 원하는 다양한 시점으로 변환된 카메라 이미지를 출력할 수 있다. 이때, 가상 시점 변환 모델은 카메라 이미지와 가상 공간 이미지를 가상 시점으로 변환할 수 있는 다양한 방식의 모델로 구성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 가상 공간 이미지와 카메라 이미지를 합성하는 과정을 보여주는 도면으로, 도 8을 참조하면, 합성부(160)는 카메라 이미지 평면에 투영된 가상 공간 이미지를 카메라 이미지에 합성할 수 있는데, 소정 패턴이 형성된 가상 공간 이미지와 카메라 이미지가 겹치되도록 오버레이(overlay) 방식으로 합성 처리할 수 있다.
즉, 합성부(160)는 가상 시점으로 변환된 카메라 이미지와, 카메라 이미지와 동일한 시점으로 변환된 가상 공간 이미지가 자연스럽게 나타날 수 있도록 가상 공간 이미지의 검은색 부분을 투명 처리하고, 투명 처리된 가상 공간 이미지와 카메라 이미지를 블렌딩(blending) 방식으로 합성할 수 있다.
표시부(170)는 소정의 패턴이 합성된 카메라 이미지를 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다. 물론, 자동차 내에 설치된 자동 항법 장치(미도시) 등으로부터 주변 영상을 제공받아 화면에 표시할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 카메라의 영상 처리 과정에 대하여 설명하도록 한다.
도 9는 본 발명의 일 실시예에 따른 카메라의 영상 처리 과정을 보여주는 동작 흐름도로서, 도 9를 참조하면, 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬을 구한다(S910).
상술한 바와 같이, 투영 변환 행렬을 구하기 전에, 미리 정해진 위치에 배치된 교정 지표를 이용하여 카메라의 위치 및 자세를 추정할 수 있다
보다 구체적으로 설명하면, 미리 정해진 위치(예컨대, 바닥)에 교정 지표를 배치한 후, 복수 개의 카메라(110a~110n)를 통해 촬영된 복수 개의 교정 지표 이미지와 사전에 미리 저장된 기준 이미지와의 비교를 통해 카메라의 위치 및 자세를 추정할 수 있게 된다.
이때, 교정 지표는 추정 오류를 최소화하기 위하여 격자 모양의 패턴이나 임의의 패턴으로 이루어질 수 있으며, 격자 모양의 패턴은 색상 대비가 강한 색들의 조합으로 이루어질 수 있다. 예를 들어, 교정 지표는 흰색과 검정색의 조합으로 이루어진 격자 모양의 패턴으로 구성될 수 있다.
다음으로, 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 카메라 이미지 평면 간의 호모그래피를 구할 수 있다(S920).
여기서, 가상 공간 이미지 평면은 5개의 평면 중에서 적어도 하나의 평면으로 이루어 질 수 있므로 연산부(130)는 적어도 하나의 평면에 해당하는 호모그래피를 구할 수 있다. 예를 들어, 가상 공간 이미지 평면이 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면으로 이루어질 경우, 연산부(130)는 바닥 평면 호모그래피, 전방 평면 호모그래피, 좌측면 평면 호모그래피, 우측면 평면 호모그래피 및 후방 평면 호모그래피를 각각 구할 수 있다.
그리고, 호모그래피를 이용하여 가상 공간 이미지를 카메라 이미지 평면에 투영할 수 있다(S930).
만약, 사용자가 가상 시점으로 카메라 이미지가 표시되도록 조정할 경우, 가상 시점 변환 모델을 이용하여 카메라 이미지는 가상 시점의 카메라 이미지로 변환하고, 가상 공간 이미지는 가상 시점의 가상 공간 이미지로 각각 변환한 후, 가상 시점으로 변환된 가상 공간 이미지를 가상 시점으로 변환된 카메라 이미지 평면 상의 좌표에 매핑함으로써 사용자가 원하는 다양한 시점으로 변환된 카메라 이미지를 출력할 수 있다. 이때, 가상 시점 변환 모델은 카메라 이미지와 가상 공간 이미지를 가상 시점으로 변환할 수 있는 모델로 사전에 다양한 방식으로 정의될 수 있다.
또한, 왜곡 보정 모델을 이용하여 카메라 이미지의 왜곡과 가상 공간 이미지의 왜곡을 보정할 수 있다.
그 다음, 가상 공간 이미지를 카메라 이미지에 합성할 수 있다(S940).
즉, 소정 패턴이 형성된 가상 공간 이미지와 카메라 이미지가 겹치되도록 오버레이(overlay) 방식으로 합성 처리할 수 있으며, 가상 공간 이미지와 카메라 이미지가 가상 시점으로 변환되었을 경우, 가상 시점으로 변환된 카메라 이미지와 동일한 시점으로 변환된 가상 공간 이미지가 자연스럽게 나타날 수 있도록 가상 공간 이미지의 검은색 부분을 투명 처리하고, 투명 처리된 가상 공간 이미지와 카메라 이미지를 블렌딩(blending) 방식으로 합성할 수 있다.
본 발명의 일 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 카메라의 영상 처리 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서, 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
본 발명은 카메라의 영상 처리 장치 및 방법에 관한 것으로, 보다 자세하게는 자동차에 설치된 카메라를 통해 자동차 주변 환경의 영상을 촬영하여 표시할 수 있는 카메라의 영상 처리 장치 및 방법에 이용될 수 있다.

Claims (16)

  1. 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬을 구하고, 상기 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 상기 카메라 이미지 평면 간의 호모그래피를 구하는 연산부;
    상기 호모그래피를 이용하여 상기 가상 공간 이미지를 상기 카메라 이미지 평면에 투영하는 변환부;
    상기 카메라 이미지 평면에 투영된 가상 공간 이미지를 상기 카메라 이미지에 합성하는 합성부를 포함하는 카메라의 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 변환부는 가상 시점 변환 모델을 이용하여 상기 카메라 이미지 및 상기 가상 공간 이미지를 가상 시점의 카메라 이미지 및 가상 시점의 가상 공간 이미지로 각각 변환하고, 상기 가상 시점의 가상 공간 이미지를 상기 가상 시점의 카메라 이미지 평면에 투영하는 카메라의 영상 처리 장치.
  3. 제 1 항에 있어서,
    카메라의 위치 및 자세를 추정하는 추정부를 더 포함하고,
    상기 연산부는 상기 카메라의 위치 및 자세를 포함하는 카메라 정보를 이용하여 상기 실세계 공간과 상기 카메라 이미지 평면 간의 투영 변환 행렬을 구하는 카메라의 영상 처리 장치.
  4. 제 3 항에 있어서,
    상기 추정부는 상기 카메라를 통해 촬영된 교정 지표 이미지를 수신하고, 상기 교정 지표 이미지를 이용하여 상기 카메라의 위치 및 자세를 추정하는 카메라의 영상 처리 장치.
  5. 제 1 항에 있어서,
    상기 가상 공간 이미지 평면은 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나로 이루어지는 카메라의 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 연산부는 상기 투영 변환 행렬을 이용하여 상기 가상 공간 이미지 평면의 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나에 해당하는 호모그래피를 구하는 카메라의 영상 처리 장치.
  7. 제 1 항에 있어서,
    왜곡 보정 모델을 이용하여 상기 카메라 이미지의 왜곡 및 상기 가상 공간 이미지의 왜곡을 보정하는 보정부를 더 포함하는 카메라의 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 카메라는 자동차에 설치되고,
    상기 소정의 패턴은 상기 자동차의 주차를 위한 가이드 라인인 카메라의 영상 처리 장치.
  9. 실세계 공간과 카메라 이미지 평면 간의 투영 변환 행렬을 구하는 단계;
    상기 투영 변환 행렬을 이용하여 소정의 패턴이 형성된 가상 공간 이미지 평면과 상기 카메라 이미지 평면 간의 호모그래피를 구하는 단계;
    상기 호모그래피를 이용하여 상기 가상 공간 이미지를 상기 카메라 이미지 평면에 투영하는 단계;
    상기 카메라 이미지 평면에 투영된 상기 가상 공간 이미지를 상기 카메라 이미지에 합성하는 단계를 포함하는 카메라의 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 호모그래피를 구하는 단계 이후에, 가상 시점 변환 모델을 이용하여 상기 카메라 이미지 및 상기 가상 공간 이미지를 가상 시점의 카메라 이미지 및 가상 시점의 가상 공간 이미지로 각각 변환하는 단계를 더 포함하고,
    상기 투영 단계는 상기 가상 시점의 가상 공간 이미지를 상기 가상 시점의 카메라 이미지 평면에 투영하는 카메라의 영상 처리 방법.
  11. 제 9 항에 있어서,
    상기 투영 변환 행렬을 구하는 단계 이전에, 카메라의 위치 및 자세를 추정하는 단계를 더 포함하고,
    상기 투영 변환 행렬을 구하는 단계는 상기 카메라의 위치 및 자세를 포함하는 카메라 정보를 이용하여 상기 실세계 공간과 상기 카메라 이미지 평면 간의 투영 변환 행렬을 구하는 카메라의 영상 처리 방법.
  12. 제 11 항에 있어서,
    상기 추정 단계는 상기 카메라를 통해 촬영된 교정 지표 이미지를 수신하고, 상기 교정 지표 이미지를 이용하여 상기 카메라의 위치 및 자세를 추정하는 카메라의 영상 처리 방법.
  13. 제 9 항에 있어서,
    상기 투영 단계 이후에, 왜곡 보정 모델을 이용하여 상기 카메라 이미지의 왜곡 및 상기 가상 공간 이미지의 왜곡을 보정하는 단계를 더 포함하는 카메라의 영상 처리 방법.
  14. 제 9 항에 있어서,
    상기 가상 공간 이미지 평면은 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나로 이루어지는 카메라의 영상 처리 방법.
  15. 제 14 항에 있어서,
    상기 호모그래피를 구하는 단계는 상기 투영 변환 행렬을 이용하여 상기 가상 공간 이미지 평면의 바닥 평면, 전방 평면, 좌측면 평면, 우측면 평면 및 후방 평면 중에서 적어도 하나에 해당하는 호모그래피를 구하는 카메라의 영상 처리 방법.
  16. 제 9 항에 있어서,
    상기 카메라는 자동차에 설치되고,
    상기 소정의 패턴은 상기 자동차의 주차를 위한 가이드 라인인 카메라의 영상 처리 방법.
PCT/KR2013/009323 2013-10-18 2013-10-18 카메라의 영상 처리 장치 및 방법 WO2015056826A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/009323 WO2015056826A1 (ko) 2013-10-18 2013-10-18 카메라의 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/009323 WO2015056826A1 (ko) 2013-10-18 2013-10-18 카메라의 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015056826A1 true WO2015056826A1 (ko) 2015-04-23

Family

ID=52828260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009323 WO2015056826A1 (ko) 2013-10-18 2013-10-18 카메라의 영상 처리 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2015056826A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912396B1 (ko) * 2017-06-13 2018-10-26 주식회사 아이닉스 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
CN109341685A (zh) * 2018-12-04 2019-02-15 中国航空工业集团公司西安航空计算技术研究所 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
WO2021217385A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 一种视频处理方法和装置
US11696034B1 (en) 2019-06-24 2023-07-04 Alarm.Com Incorporated Automatic adjusting of video analytics rules for camera movement
US11910092B2 (en) 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834323B1 (ko) * 2004-01-30 2008-06-02 가부시키가이샤 도요다 지도숏키 비디오 이미지 위치 관계 보정 장치, 그 비디오 이미지위치 관계 보정 장치를 갖는 조향 지원 장치, 및 비디오이미지 위치 관계 보정 방법
KR100899892B1 (ko) * 2008-04-21 2009-05-29 삼성전기주식회사 자동차용 카메라 장치 및 안내선 표시방법
KR20090109437A (ko) * 2008-04-15 2009-10-20 주식회사 만도 차량주행중 영상정합 방법 및 그 시스템
KR20120122272A (ko) * 2011-04-28 2012-11-07 (주) 에투시스템 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
KR20120140515A (ko) * 2011-06-21 2012-12-31 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834323B1 (ko) * 2004-01-30 2008-06-02 가부시키가이샤 도요다 지도숏키 비디오 이미지 위치 관계 보정 장치, 그 비디오 이미지위치 관계 보정 장치를 갖는 조향 지원 장치, 및 비디오이미지 위치 관계 보정 방법
KR20090109437A (ko) * 2008-04-15 2009-10-20 주식회사 만도 차량주행중 영상정합 방법 및 그 시스템
KR100899892B1 (ko) * 2008-04-21 2009-05-29 삼성전기주식회사 자동차용 카메라 장치 및 안내선 표시방법
KR20120122272A (ko) * 2011-04-28 2012-11-07 (주) 에투시스템 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
KR20120140515A (ko) * 2011-06-21 2012-12-31 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912396B1 (ko) * 2017-06-13 2018-10-26 주식회사 아이닉스 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
CN109341685A (zh) * 2018-12-04 2019-02-15 中国航空工业集团公司西安航空计算技术研究所 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
US11696034B1 (en) 2019-06-24 2023-07-04 Alarm.Com Incorporated Automatic adjusting of video analytics rules for camera movement
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
CN110636263B (zh) * 2019-09-20 2022-01-11 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
WO2021217385A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 一种视频处理方法和装置
CN113906731A (zh) * 2020-04-28 2022-01-07 深圳市大疆创新科技有限公司 一种视频处理方法和装置
CN113906731B (zh) * 2020-04-28 2023-10-13 深圳市大疆创新科技有限公司 一种视频处理方法和装置
US11910092B2 (en) 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system

Similar Documents

Publication Publication Date Title
WO2015056826A1 (ko) 카메라의 영상 처리 장치 및 방법
WO2012176945A1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
JP5108605B2 (ja) 運転支援システム及び車両
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
KR100937750B1 (ko) 운전 지원 장치
JP4825980B2 (ja) 魚眼カメラの校正方法。
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP2019024196A (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2012161431A9 (ko) 차량 어라운드 뷰 영상 생성 방법
US20140104424A1 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US8417062B2 (en) System and method for stabilization of fisheye video imagery
JP5236219B2 (ja) 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置
WO2011074721A1 (ko) 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
JP2009129001A (ja) 運転支援システム、車両、立体物領域推定方法
JP2011182236A (ja) カメラキャリブレーション装置
JP2009100342A (ja) カメラ校正装置及び方法、並びに、車両
JP2003050107A (ja) カメラ校正装置
US20160037154A1 (en) Image processing system and method
JP2008085710A (ja) 運転支援システム
KR101351911B1 (ko) 카메라의 영상 처리 장치 및 방법
JP2003065714A (ja) カメラ・キャリブレーションのためのガイド装置及びガイド方法、並びに、カメラ・キャリブレーション装置
JP2007049276A (ja) 車載パノラマカメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13895688

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13895688

Country of ref document: EP

Kind code of ref document: A1