KR102457265B1 - Apparatus for generating top-view image and method thereof - Google Patents

Apparatus for generating top-view image and method thereof Download PDF

Info

Publication number
KR102457265B1
KR102457265B1 KR1020160063903A KR20160063903A KR102457265B1 KR 102457265 B1 KR102457265 B1 KR 102457265B1 KR 1020160063903 A KR1020160063903 A KR 1020160063903A KR 20160063903 A KR20160063903 A KR 20160063903A KR 102457265 B1 KR102457265 B1 KR 102457265B1
Authority
KR
South Korea
Prior art keywords
axis
rotation
view image
lane
estimating
Prior art date
Application number
KR1020160063903A
Other languages
Korean (ko)
Other versions
KR20170133013A (en
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160063903A priority Critical patent/KR102457265B1/en
Publication of KR20170133013A publication Critical patent/KR20170133013A/en
Application granted granted Critical
Publication of KR102457265B1 publication Critical patent/KR102457265B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

탑-뷰 영상 생성 방법이 제공된다. 이 방법은, X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 단계; 검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계; 상기 추정된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 단계; 및 상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 단계를 포함한다.A method for generating a top-view image is provided. The method includes the steps of: detecting at least two non-parallel lane patterns from an original image expressed in a camera coordinate system including an X-axis, a Y-axis, and a Z-axis; estimating X-axis and Y-axis rotation angles to satisfy a condition for making the detected at least two lane patterns parallel in a top-view image coordinate system; generating a rotation matrix including the estimated X-axis and Y-axis rotation angles; and rotationally transforming the original image into a top-view image by using the generated rotation matrix.

Description

탑-뷰 영상 생성 장치 및 그 방법{APPARATUS FOR GENERATING TOP-VIEW IMAGE AND METHOD THEREOF}Apparatus for generating a top-view image and a method therefor

본 발명은 탑-뷰 영상 생성 장치 및 그 방법, 더욱 상세하게는 차량에 탑재된 어라운드 뷰 모니터링 시스템의 어라운드 뷰 영상으로 정합되는 탑-뷰(Top-View) 영상을 생성하는 탑-뷰 영상 생성 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a top-view image, and more particularly, to an apparatus for generating a top-view image that generates a top-view image matched with an around-view image of an around-view monitoring system mounted on a vehicle. and methods thereof.

차량의 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템은 차량의 전면, 양쪽 사이드 미러, 트렁크 등에 각각 설치된 4개의 카메라로부터 획득한 영상들을 합성하여, 차량 주변을 위에서 바라보는 조감도(Top view 또는 Bird's Eye View) 형태로 보여주는 어라운드 뷰 영상을 제공하는 시스템이다.The Around View Monitoring (AVM) system of the vehicle synthesizes images obtained from four cameras installed on the front, both side mirrors, and trunk of the vehicle, respectively, and provides a bird's eye view of the vehicle's surroundings from above It is a system that provides an around-view image displayed in the form of a View).

어라운드 뷰 모니터링 시스템에서 사용하는 카메라들의 조립 과정에서, 공차를 보상하는 작업은 필수적이다. 차량의 제조사는 어라운드 뷰 모니터링 시스템이 장착된 차량에 대하여 어라운드 뷰 영상의 정합성 기준에 맞도록 공차를 보상한 후 차량을 출고한다.In the process of assembling cameras used in the around-view monitoring system, compensating for tolerances is essential. The vehicle manufacturer compensates the tolerance for a vehicle equipped with an around-view monitoring system to meet the consistency criteria of the around-view image, and then releases the vehicle.

그러나, 차량 출고 후 차량의 운행 도중 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 각 카메라에서는 새로운 공차가 발생하며, 각 카메라에서 발생하는 공차의 지속적인 누적은 어라운드 뷰 영상의 정합성을 저하시킨다. 이는 어라운드 뷰 영상의 표시품질 저하의 원인이 된다.However, new tolerances occur in each camera due to vibration of the vehicle that occurs during vehicle operation after the vehicle is shipped, repeated folding of side mirrors, and repeated opening and closing of the trunk, etc., and the continuous accumulation of tolerances occurring in each camera It degrades the consistency of the around-view image. This causes deterioration of the display quality of the around-view image.

따라서, 본 발명의 목적은 어라운드 뷰 영상의 정합성을 향상시키기 위해 자동으로 공차 보상이 가능한 탑-뷰 영상 생성 장치 및 그 방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide an apparatus and method for generating a top-view image capable of automatically performing tolerance compensation in order to improve the consistency of an around-view image.

상술한 목적을 달성하기 위한 본 발명의 일면에 따른 탑-뷰 영상 생성 방법은, X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 단계; 검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계; 상기 추정된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 단계; 및 상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 단계를 포함한다.A top-view image generating method according to an aspect of the present invention for achieving the above object is a method of detecting at least two non-parallel lane patterns from an original image expressed in a camera coordinate system consisting of an X-axis, a Y-axis, and a Z-axis. step; estimating X-axis and Y-axis rotation angles to satisfy a condition for making the detected at least two lane patterns parallel in a top-view image coordinate system; generating a rotation matrix including the estimated X-axis and Y-axis rotation angles; and rotationally transforming the original image into a top-view image by using the generated rotation matrix.

본 발명의 다른 일면에 따른 탑-뷰 영상 생성 방법은, X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 단계; 검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계; 상기 계산된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 단계; 상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하여, 프레임 단위로 생성하는 단계; 이전 프레임의 탑-뷰 영상과 현재 프레임의 탑-뷰 영상 각각에서 지면상의 특징점 패턴을 검출하는 단계; 상기 검출된 특징점 패턴을 이용하여 Z축 회전 각도를 추정하는 단계; 상기 추정된 Z축 회전 각도를 포함하는 최종 회전 행렬을 생성하는 단계; 및 상기 생성된 최종 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for generating a top-view image, comprising: detecting at least two non-parallel lane patterns from an original image expressed in a camera coordinate system consisting of an X-axis, a Y-axis, and a Z-axis; estimating X-axis and Y-axis rotation angles to satisfy a condition for making the detected at least two lane patterns parallel in a top-view image coordinate system; generating a rotation matrix including the calculated X-axis and Y-axis rotation angles; Rotation-converting the original image into a top-view image using the generated rotation matrix to generate a frame unit; detecting a feature point pattern on the ground in each of the top-view image of the previous frame and the top-view image of the current frame; estimating a Z-axis rotation angle using the detected feature point pattern; generating a final rotation matrix including the estimated Z-axis rotation angle; and rotationally transforming the original image into a top-view image using the generated final rotation matrix.

본 발명의 다른 일면에 따른 탑-뷰 영상 생성 장치는, X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 차선 검출부; 검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하고, 상기 추정된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 회전 행렬 생성부; 및 상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 영상 회전부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for generating a top-view image, comprising: a lane detection unit configured to detect at least two non-parallel lane patterns from an original image expressed in a camera coordinate system including an X-axis, a Y-axis, and a Z-axis; Estimate the X-axis and Y-axis rotation angles to satisfy the condition for making the detected at least two lane patterns parallel in the top-view image coordinate system, and generate a rotation matrix including the estimated X-axis and Y-axis rotation angles a rotation matrix generating unit; and an image rotation unit for rotationally converting the original image into a top-view image using the generated rotation matrix.

본 발명에 따르면, 각 카메라에서 발생한 공차를 자동으로 보상하기 때문에, 어라운드 뷰 영상의 정합성을 향상시킬 수 있다.According to the present invention, since the tolerance generated by each camera is automatically compensated, the consistency of the around-view image can be improved.

도 1은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 원본 영상과 상기 원본 영상으로부터 회전 변환된 탑-뷰 영상을 보여주는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 좌표계를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 원본 영상으로부터 검출되는 차선 패턴의 일 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 회전 각도 추정 방법1에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 회전 각도 추정 방법2에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른 회전 각도 추정 방법3에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 회전 각도 추정 방법4에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 방법을 나타내는 순서도이다.
도 10은 본 발명의 다른 실시 예에 따른 탑-뷰 영상 생성 방법을 나타내는 순서도이다.1 is a block diagram of an apparatus for generating a top-view image according to an embodiment of the present invention.
2 is a view showing an original image and a top-view image rotationally transformed from the original image according to an embodiment of the present invention.
3 is a diagram illustrating a camera coordinate system according to an embodiment of the present invention.
4 is a diagram illustrating an example of a lane pattern detected from an original image according to an embodiment of the present invention.
5 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to the rotation angle estimation method 1 according to an embodiment of the present invention.
6 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to a rotation angle estimation method 2 according to another embodiment of the present invention.
7 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to a rotation angle estimation method 3 according to another embodiment of the present invention.
8 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to a rotation angle estimation method 4 according to another embodiment of the present invention.
9 is a flowchart illustrating a method for generating a top-view image according to an embodiment of the present invention.
10 is a flowchart illustrating a method for generating a top-view image according to another embodiment of the present invention.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.Advantages and/or features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be embodied in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치의 블록 구성도이고, 도 2는 본 발명의 일 실 시예에 따른 원본 영상과 원본 영상으로부터 생성된(변환된) 탑-뷰 영상의 일 예를 보여주는 도면이다.1 is a block diagram of an apparatus for generating a top-view image according to an embodiment of the present invention, and FIG. 2 is an original image and a top-view image generated (converted) from the original image according to an embodiment of the present invention. It is a diagram showing an example of

도 1을 참조하면, 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치(100)는, 도 2의 (a)와 같은 원본 영상으로부터 변환된 도 2의 (b)와 같은 탑-뷰 영상을 생성한다. Referring to FIG. 1 , the top-view image generating apparatus 100 according to an embodiment of the present invention provides a top-view image as shown in FIG. 2(b) that is converted from an original image as shown in FIG. 2(a). create

상기 탑-뷰 영상(b)은, 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치(100)에 의해, 상기 원본 영상(a)을 제공하는 카메라의 공차가 자동으로 보상된 영상으로서, 이러한 탑-뷰 영상 생성 장치(100)로부터 생성된 다수의 탑-뷰 영상을 하나의 어라운드 뷰 영상으로 정합하는 과정에서 요구되는 정합성이 크게 향상될 수 있다.The top-view image (b) is an image in which a tolerance of a camera providing the original image (a) is automatically compensated by the top-view image generating apparatus 100 according to an embodiment of the present invention, The consistency required in the process of matching a plurality of top-view images generated by the top-view image generating apparatus 100 into one around-view image may be greatly improved.

이러한 탑-뷰 영상을 생성하기 위해, 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 장치(100)는 도 1에 도시된 바와 같이, 크게 카메라(110), 차선 검출부(120), 회전 행렬 생성부(130), 저장부(140) 및 영상 회전부(150)를 포함한다. In order to generate such a top-view image, the top-view image generating apparatus 100 according to an embodiment of the present invention includes a camera 110 , a lane detector 120 , and a rotation matrix as shown in FIG. 1 . It includes a generating unit 130 , a storage unit 140 , and an image rotating unit 150 .

카메라(110)는 원본 영상(Mi)을 생성한다. The camera 110 generates an original image M i .

카메라(110)는 차량 전면에 설치되어 차량의 전방을 촬영하는 전방 카메라, 차량의 양측면에 설치되어 차량 좌우측방을 촬영하는 좌우측 카메라 및 차량 후면에 설치되어 차량의 후방을 촬영하는 후방 카메라 중 어느 하나일 수 있다. 이 경우, 원본 영상은 전방 카메라에서 촬영한 전방 영상, 좌우측방 카메라에서 촬영한 좌우측 영상 및 후방 카메라에서 촬영한 후방 영상 중 하나일 수 있다. The camera 110 is any one of a front camera installed on the front of the vehicle to photograph the front of the vehicle, left and right cameras installed on both sides of the vehicle to photograph the left and right sides of the vehicle, and a rear camera installed at the rear of the vehicle to photograph the rear of the vehicle can be In this case, the original image may be one of a front image captured by the front camera, left and right images captured by the left and right cameras, and a rear image captured by the rear camera.

이러한 원본 영상은 도 3에 도시된 바와 같이 카메라 좌표계에서 표현될 수 있다. 즉, 도 3에 도시된 바와 같이, 원본 영상(Mi)을 직사각형으로 가정하면, 원본 영상의 가로 방향은 카메라 좌표계의 X축(Pitch)에 대응하고, 원본 영상의 세로 방향은 카메라 좌표계의 Y축(Yaw)에 대응하고, 원본 영상의 수직방향은 카메라 좌표계의 Z축(Roll)에 대응한다. Such an original image may be expressed in a camera coordinate system as shown in FIG. 3 . That is, as shown in FIG. 3 , assuming that the original image M i is a rectangle, the horizontal direction of the original image corresponds to the X axis (Pitch) of the camera coordinate system, and the vertical direction of the original image is the Y of the camera coordinate system. It corresponds to the axis (Yaw), and the vertical direction of the original image corresponds to the Z axis (Roll) of the camera coordinate system.

차선 검출부(120)는 카메라(110)에서 출력된 원본 영상(Mi)으로부터 적어도 2개의 차선 패턴들과 차선 패턴들 이외에 도로 노면상에 나타나는 다른 특징점 패턴들을 검출한다. 도 4에는 원본 영상으로부터 검출되는 2개의 차선 패턴(10)의 일 예가 나타난다. The lane detector 120 detects at least two lane patterns and other feature point patterns appearing on the road surface in addition to the lane patterns from the original image M i output from the camera 110 . 4 shows an example of two lane patterns 10 detected from an original image.

차선 패턴들(10)은 차선 검출부(120)에 의해 실행되는 다양한 검출 알고리즘을 기반으로 검출될 수 있으며, 일 예로, 탑-햇(Top-Hat) 필터, 허브 변환(Hough transformation) 알고리즘, RANSAC 기반의 라인 피팅(Line Fitting) 알고리즘, 칼만(Kalman) 필터 등을 이용하여 검출될 수 있다. 본 발명은 차선 패턴들과 특징점 패턴들의 검출 방법을 한정하는데 그 특징이 있는 것이 아니므로, 검출 방법에 대한 상세 설명은 공지의 기술로 대신한다. The lane patterns 10 may be detected based on various detection algorithms executed by the lane detection unit 120 , and for example, a Top-Hat filter, a Hough transformation algorithm, or a RANSAC-based detection method. It can be detected using a line fitting algorithm of , a Kalman filter, and the like. Since the present invention is not characterized in that the method for detecting the lane patterns and the feature point patterns is not limited, the detailed description of the detection method is replaced with a known technique.

회전 행렬 생성부(130)는 차선 검출부(120)에서 검출된 차선 패턴들과 특징점 패턴들을 이용하여 원본 영상(Mi)을 탑-뷰 영상(Mo)으로 회전 변환하기 위한 회전 행렬(R)을 생성한다. 회전 행렬(R)은 지면과 카메라 간의 지향각을 나타내는 행렬을 의미하며, 추정된 지면 기준(지면을 기준으로) 카메라 회전 각도를 포함한다. 여기서, 추정된 지면 기준 카메라 회전 각도는 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도를 포함한다.The rotation matrix generator 130 uses the lane patterns and the feature point patterns detected by the lane detector 120 to rotate the original image M i into a top-view image M o for rotation-converting a rotation matrix (R). create The rotation matrix R refers to a matrix indicating the orientation angle between the ground and the camera, and includes the estimated ground-based (relative to the ground) camera rotation angle. Here, the estimated ground-based camera rotation angle includes an X-axis rotation angle, a Y-axis rotation angle, and a Z-axis rotation angle.

회전 행렬을 생성하기 위해, 회전 행렬 생성부(130)는, 차선 검출부(120)에서 검출된 차선 패턴들과 특징점 패턴들을 기반으로 설정된 각도 추정 조건을 만족하는 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도를 추정하고, 추정된 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도를 포함하는 회전 행렬(R)을 생성한다.In order to generate the rotation matrix, the rotation matrix generator 130 includes an X-axis rotation angle, a Y-axis rotation angle and Estimate the Z-axis rotation angle, and generate a rotation matrix R including the estimated X-axis rotation angle, Y-axis rotation angle, and Z-axis rotation angle.

X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도를 추정하기 위해, 각도 추정 조건을 만족하는 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도가 사전에 학습되고, 사전 학습된 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도가 저장된 저장부(140)가 제공된다. 즉, 회전 행렬 생성부(130)는 저장부(140)를 조회하여, 검출된 차선 패턴들과 특징점 패턴들을 기반으로 설정된 각도 추정 조건에 대응하는(부합하는) 회전 각도를 검색하고, 각도 추정 조건에 대응하는 회전 각도가 존재하면, 저장부(140)에서 해당 회전 각도를 수신하여, 수신한 해당 회전 각도를 이용하여 회전 행렬(R)을 생성한다.In order to estimate the X-axis rotation angle, the Y-axis rotation angle, and the Z-axis rotation angle, the X-axis rotation angle, the Y-axis rotation angle, and the Z-axis rotation angle that satisfy the angle estimation condition are learned in advance, and the pre-trained X-axis A storage unit 140 in which the rotation angle, the Y-axis rotation angle, and the Z-axis rotation angle are stored is provided. That is, the rotation matrix generator 130 inquires the storage unit 140, searches for a rotation angle corresponding to (matches) the angle estimation condition set based on the detected lane patterns and feature point patterns, and the angle estimation condition If there is a rotation angle corresponding to , the storage unit 140 receives the rotation angle, and generates a rotation matrix R using the received rotation angle.

상기 저장부(140)의 저장용량을 고려하여, 사전 학습된 X축 회전 각도, Y축 회전 각도 및 Z축 회전 각도는 룩업테이블 형태로 상기 저장부(140)에 저장될 수 있다. 상기 저장부(140)는 일 예로, 비휘발성 메모리일 수 있다.In consideration of the storage capacity of the storage unit 140 , the pre-learned X-axis rotation angle, Y-axis rotation angle, and Z-axis rotation angle may be stored in the storage unit 140 in the form of a lookup table. The storage unit 140 may be, for example, a non-volatile memory.

영상 회전부(150)는 상기 회전 행렬 생성부(130)에서 생성한 회전 행렬(R)을 이용하여 원본 영상(Mi)을 탑-뷰 영상(Mo)으로 회전 변환한다. 회전 행렬(R)을 이용하여 원본 영상(Mi)을 탑-뷰 영상(Mo)으로 회전 변환하는 과정은 아래의 수학식 1로 나타낼 수 있다.The image rotation unit 150 rotates the original image M i into a top-view image M o using the rotation matrix R generated by the rotation matrix generation unit 130 . A process of rotationally transforming the original image M i into the top-view image M o using the rotation matrix R may be expressed by Equation 1 below.

Figure 112016050141608-pat00001
Figure 112016050141608-pat00001

여기서, K는 카메라 내부 파라미터(Camera Calibration)를 나타내는 3x3 행렬, K -1은 K의 역행렬이다. Here, K is a 3x3 matrix representing the camera internal parameters (Camera Calibration), and K -1 is the it is inverse

수학식 1과 같은 회전 변환 과정에 의해, 원본 영상(Mi)으로부터 마치 카메라가 회전했을 때 얻을 수 있는 탑-뷰 영상(Mo)을 생성할 수 있게 된다.By the rotation transformation process as in Equation 1, it is possible to generate a top-view image M o obtained when the camera rotates from the original image M i .

아래의 수학식 2는 회전 행렬(R)의 일예이다.Equation 2 below is an example of the rotation matrix R.

Figure 112016050141608-pat00002
Figure 112016050141608-pat00002

여기서, c는 코사인(cosine)이고, s는 사인(sine)이고, 아래첨자 '1'은 Z축, 아래첨자 '2'는 Y축, 아래첨자 '3'은 X축을 의미한다. 따라서, c1, c2, c3는 각각 X축 코사인값, Y축 코사인값, Z축 코사인값이고, s1, s2, s3는 각각 X축 사인값, Y축 사인값, Z축 사인값이다. 참가로, 수학식 2의 일예는 X축, Y축, Z축 순서의 회전 변환을 위한 회전 행렬(R)의 일예이다.Here, c is cosine, s is sine, subscript '1' denotes Z-axis, subscript '2' denotes Y-axis, and subscript '3' denotes X-axis. Accordingly, c1, c2, and c3 are the X-axis cosine value, Y-axis cosine value, and Z-axis cosine value, respectively, and s1, s2, and s3 are the X-axis sine value, Y-axis sine value, and Z-axis sine value, respectively. In addition, an example of Equation 2 is an example of a rotation matrix R for rotation transformation in the order of the X-axis, Y-axis, and Z-axis.

한편, 도 1에서, 차선 검출부(120), 회전 행렬 생성부(130) 및 영상 회전부(140) 각각은 소프트웨어 모듈 또는 하드웨어 모듈로 구현될 수 있으며, 소프트웨어 모듈로 구현된 경우, ECU와 같은 하나의 하드웨어 모듈 내에 차선 검출부(120), 회전 행렬 생성부(130) 및 영상 회전부(140)가 내장될 수 있다. Meanwhile, in FIG. 1 , each of the lane detection unit 120 , the rotation matrix generation unit 130 , and the image rotation unit 140 may be implemented as a software module or a hardware module. The lane detection unit 120 , the rotation matrix generation unit 130 , and the image rotation unit 140 may be built in the hardware module.

이하, 검출된 차선 패턴과 특징점 패턴들을 기반으로 회전 각도를 추정하는 방법(이하, 회전 각도 추정 방법)에 대해 상세 기술한다.Hereinafter, a method of estimating a rotation angle based on the detected lane patterns and feature point patterns (hereinafter, a rotation angle estimation method) will be described in detail.

회전 각도 추정 방법 1Rotation angle estimation method 1

도 5는 본 발명의 일 실시 예에 따른 회전 각도 추정 방법1에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.5 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to the rotation angle estimation method 1 according to an embodiment of the present invention.

도 5를 참조하면, 회전 각도 추정 방법1은 제1 각도 추정 조건을 만족하는 회전 각도를 추정하는 방법으로, 제1 각도 추정 조건은 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴(10)의 두께(d1)와 우측 차선 패턴(12)의 두께(d2)가 동일하게 되는 조건을 포함한다. Referring to FIG. 5 , the rotation angle estimation method 1 is a method of estimating a rotation angle that satisfies a first angle estimation condition, and the first angle estimation condition indicates that two lane patterns detected from an original image M i are parallel. and a condition in which the thickness d1 of the left lane pattern 10 and the thickness d2 of the right lane pattern 12 are the same.

즉, 회전 각도 추정 방법1은 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴의 두께(d1)와 우측 차선 패턴의 두께(d2)가 동일하게 되는 조건을 모두 만족하는 X축 회전 각도와 Y축 회전 각도를 계산하는 방법이다.That is, in the rotation angle estimation method 1, the condition in which two lane patterns detected from the original image M i are parallel and the thickness d1 of the left lane pattern and the thickness d2 of the right lane pattern are the same. This is a method of calculating the X-axis rotation angle and the Y-axis rotation angle that satisfy both.

도 5에서 보여주는 2개의 탑-뷰 영상은 Z축 회전 각도를 고려하지 않고, 회전 각도 추정 방법1에 따라 추정된 X축 회전 각도와 Y축 회전 각도만을 포함하는 회전 행렬(R)에 의해 원본 영상을 회전 변환한 영상이므로, 상단의 탑-뷰 영상은 Z축을 기준으로 시계방향으로 비스듬히 기울어진 상태이고, 하단의 탑-뷰 영상은 Z축을 기준으로 반시계방향으로 기울어진 상태로 생성될 수 있음을 보여주는 것이다.The two top-view images shown in FIG. 5 do not consider the Z-axis rotation angle, but are the original image by the rotation matrix R including only the X-axis rotation angle and the Y-axis rotation angle estimated according to the rotation angle estimation method 1 Since it is a rotation-transformed image, the top-view image is tilted clockwise with respect to the Z axis, and the top-view image at the bottom is tilted counterclockwise based on the Z axis. will show

회전 각도 추정 방법 2Rotation angle estimation method 2

도 6은 본 발명의 다른 실시 예에 따른 회전 각도 추정 방법2에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.6 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to a rotation angle estimation method 2 according to another embodiment of the present invention.

도 6를 참조하면, 회전 각도 추정 방법2는 제2 각도 추정 조건을 만족하는 회전 각도를 추정하는 방법으로, 제2 각도 추정 조건은 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건을 포함한다. 즉, 제2 각도 추정 조건은 좌측 차선 패턴의 두께(d1)와 우측 차선 패턴의 두께(d2)가 동일하게 되는 조건을 고려하지 않고, 검출된 2개의 차선 패턴이 평행하게 되는 조건만을 고려한 점에서 제1 각도 추정 조건과 차이가 있다. Referring to FIG. 6 , the rotation angle estimation method 2 is a method of estimating a rotation angle that satisfies a second angle estimation condition, and the second angle estimation condition is a method in which two lane patterns detected from an original image M i are parallel. including conditions. That is, the second angle estimation condition does not consider the condition in which the thickness d1 of the left lane pattern and the thickness d2 of the right lane pattern are equal, but only the condition in which the detected two lane patterns are parallel. There is a difference from the first angle estimation condition.

또한, 회전 각도 추정 방법2도 회전 각도 추정 방법1과 마찬가지로, Z축 회전 각도를 고려하지 않은 추정이므로, 도 6의 하단에 나타나는 탑-뷰 영상은 Z축을 기준으로 반시계방향으로 기울어진 상태로 생성될 수 있음을 보여주는 것이다.In addition, since the rotation angle estimation method 2 is an estimation that does not consider the Z-axis rotation angle like the rotation angle estimation method 1, the top-view image shown at the bottom of FIG. 6 is tilted counterclockwise with respect to the Z-axis. It shows that it can be created.

회전 각도 추정 방법 3Rotation angle estimation method 3

도 7은 본 발명의 또 다른 실시 예에 따른 회전 각도 추정 방법3에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.7 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to a rotation angle estimation method 3 according to another embodiment of the present invention.

도 7을 참조하면, 회전 각도 추정 방법3은 제3 각도 추정 조건을 만족하는 회전 각도를 추정하는 방법으로, 제3 각도 추정 조건은 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건과 2개의 차선 패턴이 도 3의 카메라 좌표계의 yZ축 평면과 평행하게 되는 조건을 포함한다. Referring to FIG. 7 , the rotation angle estimation method 3 is a method of estimating a rotation angle that satisfies a third angle estimation condition, and the third angle estimation condition indicates that two lane patterns detected from an original image Mi are parallel and a condition in which the two lane patterns are parallel to the yZ axis plane of the camera coordinate system of FIG. 3 .

즉, 회전 각도 추정 방법3은 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건과 2개의 차선 패턴과 yZ축 평면이 평행하게 되는 조건을 모두 만족하는 X축 회전 각도를 계산하는 방법이다. 이 회전 각도 추정 방법3은 X축 회전 각도만을 추정하는 것으로, Y축 회전 각도와 Z축 회전 각도는 고려되지 않는다.That is, the rotation angle estimation method 3 calculates an X-axis rotation angle that satisfies both the condition in which the two lane patterns detected from the original image M i are parallel and the condition in which the two lane patterns and the yZ-axis plane are parallel. way to do it This rotation angle estimation method 3 estimates only the X-axis rotation angle, and the Y-axis rotation angle and the Z-axis rotation angle are not considered.

회전 각도 추정 Rotation angle estimation 방법4Method 4

도 8은 본 발명의 또 다른 실시 예에 따른 회전 각도 추정 방법4에 따라 원본 영상을 회전 변환한 탑-뷰 영상을 보여주는 도면이다.8 is a diagram illustrating a top-view image obtained by rotation-converting an original image according to a rotation angle estimation method 4 according to another embodiment of the present invention.

도 8을 참조하면, 회전 각도 추정 방법4는 Z축 회전 각도를 추정하는 방법으로, 먼저, 전술한 회전 각도 추정 방법1 내지 4에 따라 추정된 회전 각도에 따라 원본 영상(Mi)을 회전 변환한 탑-뷰 영상(Mo)을 생성한다. Referring to FIG. 8 , the rotation angle estimation method 4 is a method of estimating the Z-axis rotation angle. First, the original image M i is rotated according to the rotation angle estimated according to the rotation angle estimation methods 1 to 4 described above. One top-view image (M o ) is generated.

이어, 생성된 이전 프레임의 탑-뷰 영상(Mo)과 현재 프레임의 탑-뷰 영상(Mo)을 비교하여, 각 탑-뷰 영상에 포함된 지면상의 특징점 패턴의 이동 벡터(v1)를 계산한다. 여기서, 지면상의 특징점 패턴은 도로 표면에서 볼 수 있는 균열, 스크래치, 차선 외의 도포 표시선 등일 수 있다. Next, the generated top-view image (M o ) of the previous frame and the top-view image (M o ) of the current frame are compared to obtain a movement vector (v1) of the feature point pattern on the ground included in each top-view image. Calculate. Here, the feature point pattern on the ground may be a crack, a scratch, or an application mark line other than a lane visible on the road surface.

이어, 차량의 움직임 정보를 이용하여 특징점 패턴의 예측 이동 벡터(v2)를 계산한다. 여기서, 차량의 움직임 정보는 GPS 정보, 자이로 센서에서 획득한 정보 등과 같은 차량의 진행 방향을 알 수 있는 모든 종류의 정보를 포함한다. Next, a predicted motion vector v2 of the feature point pattern is calculated using the vehicle motion information. Here, the vehicle motion information includes all types of information that can determine the traveling direction of the vehicle, such as GPS information and information obtained from a gyro sensor.

이어, 특징점 패턴의 이동 벡터가 예측 이동 벡터와 일치되는 회전 각도를 계산하고, 계산된 회전 각도가 Z축 회전 각도로 추정된다. 즉, 이동 벡터와 예상 이동 벡터 간의 각도(θ)가 Z축 회전 각도로 추정된다. 이때, 전/후방 카메라의 탑-뷰 영상 좌표계의 Y축과 좌/우측 카메라의 탑-뷰 영상 좌표계의 X축은 차량 종축과 평행한 것을 전제로 한다. 즉, 차량이 전진하는 경우, 전방 카메라의 탑-뷰 영상 좌표계를 기준으로 특징점 패턴의 이동 벡터 방향은 직진방향이어야 하므로, 특징점 패턴의 이동 벡터 방향을 직진 방향으로 만드는 회전 각도가 Z축 회전 각도가 된다.Next, a rotation angle at which the motion vector of the feature point pattern coincides with the predicted motion vector is calculated, and the calculated rotation angle is estimated as the Z-axis rotation angle. That is, the angle θ between the motion vector and the expected motion vector is estimated as the Z-axis rotation angle. In this case, it is assumed that the Y-axis of the top-view image coordinate system of the front/rear camera and the X-axis of the top-view image coordinate system of the left/right camera are parallel to the vehicle longitudinal axis. That is, when the vehicle moves forward, the movement vector direction of the feature point pattern must be in a straight direction based on the top-view image coordinate system of the front camera. do.

도 9는 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 방법을 나타내는 순서도이다.9 is a flowchart illustrating a method for generating a top-view image according to an embodiment of the present invention.

도 9를 참조하면, 먼저, 단계 S910에서, 카메라로부터 획득된 원본 영상(Mi)으로부터 차선 패턴 및 특징점 패턴을 검출하는 과정이 수행된다. 차선 패턴 및 특징점 패턴을 검출하는 방법으로, 탑-햇(Top-Hat) 필터, 허브 변환(Hough transformation) 알고리즘, RANSAC 기반의 라인 피팅(Line Fitting) 알고리즘, 칼만(Kalman) 필터 등이 이용될 수 있다.Referring to FIG. 9 , first, in step S910 , a process of detecting a lane pattern and a feature point pattern from an original image M i obtained from a camera is performed. As a method of detecting a lane pattern and a feature point pattern, a Top-Hat filter, a Hough transformation algorithm, a RANSAC-based Line Fitting algorithm, a Kalman filter, etc. may be used. have.

이어, 단계 S920에서, 검출된 차선 패턴 및 특징점 패턴이 사전에 설정된 각도 추정 조건을 만족하는 지면 기준 카메라 회전 각도를 추정하는 과정이 수행된다. 여기서, 지면 기준 카메라 회전 각도는 X축 회전 각도 및 Y축 회전 각도 중 적어도 하나를 포함한다.Next, in step S920 , a process of estimating a ground-based camera rotation angle at which the detected lane pattern and feature point pattern satisfies a preset angle estimation condition is performed. Here, the ground-based camera rotation angle includes at least one of an X-axis rotation angle and a Y-axis rotation angle.

X축 회전 각도 및 Y축 회전 각도를 추정하는 방법은 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건과 좌측 차선 패턴(10)의 두께(d1)와 우측 차선 패턴(12)의 두께(d2)가 동일하게 되는 조건을 포함하는 제1 각도 추정 조건을 만족하는 X축 회전 각도 및 Y축 회전 각도를 계산하는 방법으로 X축 회전 각도 및 Y축 회전 각도를 추정할 수 있다.The method of estimating the X-axis rotation angle and the Y-axis rotation angle includes a condition in which two lane patterns detected from the original image Mi are parallel, a thickness d1 of the left lane pattern 10, and a right lane pattern 12 The X-axis rotation angle and the Y-axis rotation angle may be estimated by a method of calculating the X-axis rotation angle and the Y-axis rotation angle that satisfy the first angle estimation condition including the condition that the thickness d2 of are the same.

X축 회전 각도 및 Y축 회전 각도를 추정하는 다른 방법으로, 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 제2 각도 추정 조건을 만족하는 X축 회전 각도 및 Y축 회전 각도를 계산하는 방법으로 X축 회전 각도 및 Y축 회전 각도를 추정할 수 있다.As another method of estimating the X-axis rotation angle and the Y-axis rotation angle, the X-axis rotation angle and the Y-axis rotation angle that satisfy the second angle estimation condition in which two lane patterns detected from the original image Mi are parallel The X-axis rotation angle and the Y-axis rotation angle can be estimated by the calculation method.

X축 회전 각도만을 추정하는 방법으로, 원본 영상(Mi)으로부터 검출된 2개의 차선 패턴이 평행하게 되는 조건과 2개의 차선 패턴이 도 3의 카메라 좌표계의 yz축 평면과 평행하게 되는 조건을 포함하는 제3 각도 추정 조건을 만족하는 X축 회전 각도를 계산하는 방법으로 X축 회전 각도를 추정할 수 있다.As a method of estimating only the X-axis rotation angle, a condition in which two lane patterns detected from the original image Mi are parallel and a condition in which the two lane patterns become parallel to the yz-axis plane of the camera coordinate system of FIG. The X-axis rotation angle may be estimated by a method of calculating an X-axis rotation angle that satisfies the third angle estimation condition.

이어, 단계 S930에서, 전단계(S920)에서 추정된 X축, Y축 회전각도를 포함하는 지면 기준 카메라 회전 각도로 구성된 회전 행렬(R)을 생성하는 과정이 수행된다.Next, in step S930, a process of generating the rotation matrix R composed of the ground-reference camera rotation angle including the X-axis and Y-axis rotation angles estimated in the previous step (S920) is performed.

이어, 단계 S940에서, 전술한 수학식 1과 같이, 회전 행렬(R)을 이용하여 원본 영상(Mi)을 탑-뷰 영상(Mo)으로 회전 변환한다. Next, in step S940, as in Equation 1 above, the original image M i is rotationally transformed into the top-view image M o using the rotation matrix R.

이와 같이, 회전 변환된 탑-뷰 영상(Mo)은 어라운드 뷰 영상의 정합성을 향상시킬 수 있게 된다. As such, the rotation-converted top-view image M o can improve the consistency of the around-view image.

도 10은 본 발명의 다른 실시 예에 따른 탑-뷰 영상 생성 방법을 나타내는 순서도이다.10 is a flowchart illustrating a method for generating a top-view image according to another embodiment of the present invention.

도 10을 참조하면, 본 발명의 다른 실시 예에 따른 탑-뷰 영상 생성 방법은 어라운드 뷰 영상의 정합성을 더욱 향상시키기 위해, 도 9의 단계 S940 이후에, Z축 회전각도를 추정하는 과정과 추정된 Z축 회전각도를 더 포함하는 회전 행렬을 이용하여 원본 영상을 탑-뷰 영상으로 회전 변환하는 과정이 추가되는 점에서 도 9의 탑-뷰 영상 생성 방법과 차이가 있다.Referring to FIG. 10 , in the method for generating a top-view image according to another embodiment of the present invention, the process and estimation of the Z-axis rotation angle after step S940 of FIG. 9 in order to further improve the consistency of the around-view image. It is different from the method of generating the top-view image of FIG. 9 in that a process of rotationally converting the original image into a top-view image is added using a rotation matrix that further includes the Z-axis rotation angle.

구체적으로, 단계 S950에서, 도 9의 탑-뷰 영상 생성 방법에 의해 생성된 탑-뷰 영상(Mo) 중에서 이전 프레임의 탑-뷰 영상(Mo)과 현재 프레임의 탑-뷰 영상(Mo)을 비교한 차이로부터 탑-뷰 영상에 포함된 특징점 패턴의 이동 벡터(v1)를 계산하는 과정이 수행된다.Specifically, in step S950 , among the top-view images M o generated by the top-view image generating method of FIG. 9 , the top-view image M o of the previous frame and the top-view image M of the current frame o ), a process of calculating the movement vector (v1) of the feature point pattern included in the top-view image is performed from the difference.

이어, 단계 S960에서, 차량의 움직임 정보를 이용하여 특징점 패턴의 예측 이동 벡터(v2)를 계산하는 과정이 수행된다.Next, in step S960, a process of calculating the predicted motion vector v2 of the feature point pattern using the vehicle motion information is performed.

이어, 단계 S970에서, 상기 이동 벡터와 상기 예측 이동 벡터 간의 각도(θ)를 계산하고, 계산한 각도(θ)를 Z축 회전 각도로 추정하는 과정이 수행된다.Next, in step S970, a process of calculating an angle θ between the motion vector and the predicted motion vector and estimating the calculated angle θ as a Z-axis rotation angle is performed.

이어, 단계 S980에서, 도9의 단계 S930에서 생성된 회전 행렬에 상기 추정된 Z축 회전 각도가 포함된 최종 회전 행렬을 생성하는 과정이 수행된다.Next, in step S980, a process of generating a final rotation matrix including the estimated Z-axis rotation angle in the rotation matrix generated in step S930 of FIG. 9 is performed.

이어, 단계 S990에서, 상기 생성된 최종 회전 행렬을 이용하여 원본 영상을 탑-뷰 영상으로 회전 변환하는 과정이 수행된다.Next, in step S990, a process of rotationally converting the original image into a top-view image using the generated final rotation matrix is performed.

이상에서와같이 본 발명은 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the present invention is not limited to the configuration and method of the described embodiments, but may be configured by selectively combining all or part of each embodiment so that various modifications can be made.

Claims (10)

X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 단계;
검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계;
상기 추정된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 단계; 및
상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 단계를 포함하고,
상기 적어도 2개의 차선 패턴은 상기 원본 영상으로부터 검출된 좌측 차선 패턴과 우측 차선 패턴을 포함하고,
상기 X축 및 Y축 회전 각도를 추정하는 단계는,
상기 좌측 차선 패턴의 두께와 상기 우측 차선 패턴의 두께가 일치하도록 상기 X축 및 Y축 회전 각도를 추정하는 단계를 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
detecting at least two non-parallel lane patterns from an original image expressed in a camera coordinate system consisting of an X-axis, a Y-axis, and a Z-axis;
estimating X-axis and Y-axis rotation angles to satisfy a condition for making the detected at least two lane patterns parallel in a top-view image coordinate system;
generating a rotation matrix including the estimated X-axis and Y-axis rotation angles; and
Rotation converting the original image into a top-view image using the generated rotation matrix,
The at least two lane patterns include a left lane pattern and a right lane pattern detected from the original image,
The step of estimating the X-axis and Y-axis rotation angle,
and estimating the X-axis and Y-axis rotation angles so that the thickness of the left lane pattern matches the thickness of the right lane pattern.
 삭제delete 제1항에서, 상기 X축 및 Y축 회전 각도를 추정하는 단계는,
상기 차선 패턴과 상기 카메라 좌표계의 YZ축 평면을 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계를 더 포함함을 특징으로 하는 탑-뷰 영상 생성 방법.
The method of claim 1, wherein the estimating the X-axis and Y-axis rotation angles comprises:
and estimating rotation angles on the X-axis and Y-axis so as to satisfy a condition for making the lane pattern and the YZ-axis plane of the camera coordinate system parallel.
 X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 단계;
검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계;
상기 추정된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 단계;
상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하여, 프레임 단위로 생성하는 단계;
이전 프레임의 탑-뷰 영상과 현재 프레임의 탑-뷰 영상 각각에서 지면상의 특징점 패턴을 검출하는 단계;
상기 검출된 특징점 패턴을 이용하여 Z축 회전 각도를 추정하는 단계;
상기 추정된 Z축 회전 각도를 포함하는 최종 회전 행렬을 생성하는 단계; 및
상기 생성된 최종 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 단계를 포함하고,
상기 적어도 2개의 차선 패턴은 상기 원본 영상으로부터 검출된 좌측 차선 패턴과 우측 차선 패턴을 포함하고,
상기 X축 및 Y축 회전 각도를 추정하는 단계는,
상기 좌측 차선 패턴의 두께와 상기 우측 차선 패턴의 두께가 일치하도록 상기 X축 및 Y축 회전 각도를 추정하는 단계를 포함하는 것을 특징으로 하는 탑-뷰 영상 생성 방법.
detecting at least two non-parallel lane patterns from an original image expressed in a camera coordinate system consisting of an X-axis, a Y-axis, and a Z-axis;
estimating X-axis and Y-axis rotation angles to satisfy a condition for making the detected at least two lane patterns parallel in a top-view image coordinate system;
generating a rotation matrix including the estimated X-axis and Y-axis rotation angles;
Rotation-converting the original image into a top-view image using the generated rotation matrix to generate a frame unit;
detecting a feature point pattern on the ground in each of the top-view image of the previous frame and the top-view image of the current frame;
estimating a Z-axis rotation angle using the detected feature point pattern;
generating a final rotation matrix including the estimated Z-axis rotation angle; and
Rotation-converting the original image into a top-view image using the generated final rotation matrix,
The at least two lane patterns include a left lane pattern and a right lane pattern detected from the original image,
The step of estimating the X-axis and Y-axis rotation angle,
and estimating the X-axis and Y-axis rotation angles so that the thickness of the left lane pattern matches the thickness of the right lane pattern.
 제4항에서, 상기 Z축 회전 각도를 추정하는 단계는,
상기 이전 프레임의 탑-뷰 영상과 상기 현재 프레임의 탑-뷰 영상 간의 차이로부터 상기 검출된 특징점 패턴의 이동 벡터(v1)를 계산하는 단계;
차량의 움직임 정보를 이용하여 상기 검출된 특징점 패턴의 예측 이동 벡터(v2)를 계산하는 단계; 및
상기 이동 벡터(v1)와 상기 예측 이동 벡터(v2) 간의 각도를 계산하고, 계산된 각도를 상기 Z축 회전 각도로 추정하는 단계
를 포함함을 특징으로 하는 탑-뷰 영상 생성 방법.
The method of claim 4, wherein the estimating of the Z-axis rotation angle comprises:
calculating a movement vector v1 of the detected feature point pattern from a difference between the top-view image of the previous frame and the top-view image of the current frame;
calculating a predicted motion vector (v2) of the detected feature point pattern using vehicle motion information; and
calculating an angle between the motion vector v1 and the predicted motion vector v2, and estimating the calculated angle as the Z-axis rotation angle
A top-view image generating method comprising a.
 제4항에서, 상기 X축 및 Y축 회전 각도를 추정하는 단계는,
상기 적어도 2개의 차선 패턴의 두께를 탑-뷰 영상 좌표계에서 동일하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계를 더 포함함을 특징으로 하는 탑-뷰 영상 생성 방법.
The method of claim 4, wherein the estimating of the X-axis and Y-axis rotation angle comprises:
The method for generating a top-view image, characterized in that the method further comprises the step of estimating the rotation angles of the X-axis and the Y-axis to satisfy a condition for making the thicknesses of the at least two lane patterns the same in the top-view image coordinate system.
 제4항에서, 상기 X축 및 Y축 회전 각도를 추정하는 단계는,
상기 차선 패턴과 상기 카메라 좌표계의 YZ축 평면을 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하는 단계를 더 포함함을 특징으로 하는 탑-뷰 영상 생성 방법.
The method of claim 4, wherein the estimating of the X-axis and Y-axis rotation angle comprises:
and estimating rotation angles on the X-axis and Y-axis so as to satisfy a condition for making the lane pattern and the YZ-axis plane of the camera coordinate system parallel.
 X축, Y축 및 Z축으로 이루어진 카메라 좌표계로 표현되는 원본 영상으로부터 평행하지 않은 적어도 2개의 차선 패턴을 검출하는 차선 검출부;
검출된 상기 적어도 2개의 차선 패턴을 탑-뷰 영상 좌표계에서 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정하고, 상기 추정된 X축 및 Y축 회전 각도를 포함하는 회전 행렬을 생성하는 회전 행렬 생성부; 및
상기 생성된 회전 행렬을 이용하여 상기 원본 영상을 탑-뷰 영상으로 회전 변환하는 영상 회전부를 포함하고,
상기 적어도 2개의 차선 패턴은 상기 원본 영상으로부터 검출된 좌측 차선 패턴과 우측 차선 패턴을 포함하고,
상기 회전 행렬 생성부는,
상기 좌측 차선 패턴의 두께와 상기 우측 차선 패턴의 두께가 일치하도록 상기 X축 및 Y축 회전 각도를 추정하는 탑-뷰 영상 생성 장치.
a lane detection unit configured to detect at least two non-parallel lane patterns from an original image expressed in a camera coordinate system including an X-axis, a Y-axis, and a Z-axis;
Estimate the X-axis and Y-axis rotation angles to satisfy the condition for making the detected at least two lane patterns parallel in the top-view image coordinate system, and generate a rotation matrix including the estimated X-axis and Y-axis rotation angles a rotation matrix generating unit; and
Using the generated rotation matrix to include an image rotation unit for rotation-converting the original image to a top-view image,
The at least two lane patterns include a left lane pattern and a right lane pattern detected from the original image,
The rotation matrix generator,
A top-view image generating apparatus for estimating the X-axis and Y-axis rotation angles so that the thickness of the left lane pattern matches the thickness of the right lane pattern.
 삭제delete 제8항에서, 상기 회전 행렬 생성부는,
상기 차선 패턴과 상기 카메라 좌표계의 YZ축 평면을 평행하게 하는 조건을 만족하도록 X축 및 Y축 회전 각도를 추정함을 특징으로 하는 탑-뷰 영상 생성 장치.
The method of claim 8, wherein the rotation matrix generator,
and estimating rotation angles on the X-axis and Y-axis so as to satisfy a condition for making the lane pattern and the YZ-axis plane of the camera coordinate system parallel.
KR1020160063903A 2016-05-25 2016-05-25 Apparatus for generating top-view image and method thereof KR102457265B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160063903A KR102457265B1 (en) 2016-05-25 2016-05-25 Apparatus for generating top-view image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160063903A KR102457265B1 (en) 2016-05-25 2016-05-25 Apparatus for generating top-view image and method thereof

Publications (2)

Publication Number Publication Date
KR20170133013A KR20170133013A (en) 2017-12-05
KR102457265B1 true KR102457265B1 (en) 2022-10-20

Family

ID=60920785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160063903A KR102457265B1 (en) 2016-05-25 2016-05-25 Apparatus for generating top-view image and method thereof

Country Status (1)

Country Link
KR (1) KR102457265B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199572A (en) * 2008-01-25 2009-09-03 Kazuo Iwane Three-dimensional machine map, three-dimensional machine map generating device, navigation device, and automatic driving device
JP4555876B2 (en) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 Car camera calibration method
KR101549165B1 (en) 2014-08-25 2015-09-14 경북대학교 산학협력단 Apparatus and method for estimating pose of vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101347450B1 (en) * 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 Image sensing method using dual camera and apparatus thereof
KR101987634B1 (en) * 2012-09-10 2019-06-11 현대모비스 주식회사 Method and Apparatus for Compensating Camera Tolerance and Around View Monitoring System Using the Same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199572A (en) * 2008-01-25 2009-09-03 Kazuo Iwane Three-dimensional machine map, three-dimensional machine map generating device, navigation device, and automatic driving device
JP4555876B2 (en) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 Car camera calibration method
KR101549165B1 (en) 2014-08-25 2015-09-14 경북대학교 산학협력단 Apparatus and method for estimating pose of vehicle

Also Published As

Publication number Publication date
KR20170133013A (en) 2017-12-05

Similar Documents

Publication Publication Date Title
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
US9330472B2 (en) System and method for distorted camera image correction
EP2665037B1 (en) Onboard camera automatic calibration apparatus
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
US10567704B2 (en) Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
US10300854B2 (en) Apparatus and method of generating top-view image
US20150042800A1 (en) Apparatus and method for providing avm image
JP5612915B2 (en) Moving body detection apparatus and moving body detection method
JP6897082B2 (en) Computer program for face orientation estimation, face orientation estimation device and face orientation estimation method
US10152816B2 (en) Top-view image generating apparatus and method
KR102188721B1 (en) Apparatus for generating top-view image and method thereof
KR20210130688A (en) Apparatus for generating top-view image and method thereof
KR102528004B1 (en) Apparatus and method for generating around view
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
JP2009139324A (en) Travel road surface detecting apparatus for vehicle
KR102457265B1 (en) Apparatus for generating top-view image and method thereof
JP6245968B2 (en) Image processing apparatus, imaging apparatus, and control method
KR102522609B1 (en) Around view monitoring system and operating method thereof
JP6747176B2 (en) Image processing device, photographing device, program, device control system and device
JP2019129341A (en) Camera calibration apparatus, camera calibration method, and program
KR20110082873A (en) Image processing apparatus providing distacnce information in a composite image obtained from a plurality of image and method using the same
JP2010217979A (en) Image processor, image processing method, and program
Šegvić et al. Preliminary experiments in multi-view video stitching
JP2006072480A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant