KR102528002B1 - 탑뷰 영상 생성 장치 및 그 방법 - Google Patents

탑뷰 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102528002B1
KR102528002B1 KR1020160104222A KR20160104222A KR102528002B1 KR 102528002 B1 KR102528002 B1 KR 102528002B1 KR 1020160104222 A KR1020160104222 A KR 1020160104222A KR 20160104222 A KR20160104222 A KR 20160104222A KR 102528002 B1 KR102528002 B1 KR 102528002B1
Authority
KR
South Korea
Prior art keywords
view image
lane
image
rotation
detected
Prior art date
Application number
KR1020160104222A
Other languages
English (en)
Other versions
KR20180019921A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160104222A priority Critical patent/KR102528002B1/ko
Priority to US15/629,393 priority patent/US10152816B2/en
Publication of KR20180019921A publication Critical patent/KR20180019921A/ko
Application granted granted Critical
Publication of KR102528002B1 publication Critical patent/KR102528002B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

탑뷰 영상 생성 방법이 개시된다. 이 방법은, 전/후/좌/우 영상 중 적어도 하나의 영상으로부터 검출된 지면 특징점에 기초하여 상기 적어도 하나의 영상을 제공하는 카메라의 자세각을 추정하고, 상기 지면 특징점이 검출되지 않은 나머지 영상으로부터 검출된 차선에 기초하여 상기 나머지 영상을 제공하는 카메라의 자세각을 추정한다. 이후, 상기 추정된 자세각들에 기초하여, 상기 전/후/좌/우 영상을 각각 회전 변환한 후, 회전 변환된 각 영상을 합성하여 탑뷰 영상을 생성한다.

Description

탑뷰 영상 생성 장치 및 그 방법{APPARATUS FOR GENERATING TOP-VIEW IMAGE AND METHOD THEREOF}
본 발명은 탑-뷰 영상 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 차량의 도로 주행 상황에서 카메라 공차를 자동으로 보정하여 탑뷰 영상(Top-view image)을 생성하는 탑-뷰 영상 생성 장치 및 그 방법에 관한 것이다.
탑뷰 영상 생성 장치는 차량의 전면, 양쪽 사이드 미러, 트렁크 등에 각각 설치된 4개의 카메라로부터 획득한 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 차량의 상부에서 바라본 시점을 갖는 하나의 탑뷰 영상으로 변환하는 하는 장치로, "어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템"으로 불리기도 한다.
탑뷰 영상 생성 장치에서는, 서로 다른 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 하나의 탑뷰 영상으로 변환하는 영상 정합(image registration) 처리 기법이 사용되며, 탑뷰 영상의 표시 품질은 영상 정합 처리 기법에 따른 정합성에 의해 결정된다.
한편, 카메라가 설치된 차량의 출고 후에, 차량 운행 과정에서 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 차량에 설치된 각 카메라에서는 새로운 카메라 공차(tolerance)가 발생하며, 이러한 카메라 공차의 누적에 의해, 탑뷰 영상의 정합성은 저하되고, 결국, 탑뷰 영상의 표시품질은 저하된다.
따라서, 본 발명의 목적은 탑뷰 영상의 정합성을 개선하기 위해, 차량 운행 중에서도 자동으로 카메라 공차를 보상할 수 있는 탑뷰 영상 생성 장치 및 그 방법을 제공하는 데 있다.
본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한, 본 발명의 일면에 따른 탑뷰 영상 생성 방법은, 차량에 설치된 카메라들로부터 제공된 전방, 후방, 좌측 및 우측 영상 중에서 적어도 하나의 영상으로부터 검출된 지면 특징점을 검출하는 단계; 상기 검출된 지면 특징점에 기초하여 상기 적어도 하나의 영상을 제공하는 카메라의 제1 자세각을 추정하는 단계; 상기 추정된 제1 자세각에 기초하여 상기 적어도 하나의 영상을 회전 변환하여 제1 탑뷰 영상을 생성하는 단계; 상기 제1 탑뷰 영상으로부터 제1 차선을 검출하는 단계; 상기 전방, 후방, 좌측 및 우측 영상 중에서 상기 지면 특징점이 검출되지 않은 나머지 영상으로부터 상기 제1 차선에 연결되는 제2 차선을 검출하는 단계; 상기 검출된 제1 차선의 특징 패턴과 상기 검출된 제2 차선의 특징 패턴 간의 대응관계에 기초하여, 상기 제2 차선이 검출된 상기 나머지 영상을 제공하는 카메라의 제2 자세각을 추정하는 단계; 상기 추정된 제2 자세각에 기초하여 상기 나머지 영상을 회전 변환하여 제2 탑뷰 영상을 생성하는 단계; 및 상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상을 합성하여 최종 탑뷰 영상을 생성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 탑뷰 영상 생성 장치는, 차량에 설치된 카메라들로부터 제공된 전방, 후방, 좌측 및 우측 영상 중에서 적어도 하나의 영상으로부터 지면 특징점을 검출하는 지면 특징점 검출부; 상기 검출된 지면 특징점에 기초하여 상기 적어도 하나의 영상을 제공하는 카메라의 제1 자세각을 추정하는 제1 자세각 추정부; 상기 추정된 제1 자세각에 기초하여 상기 적어도 하나의 영상을 회전 변환하여 제1 탑뷰 영상을 생성하는 제1 회전 변환부; 상기 제1 탑뷰 영상으로부터 차선을 검출하고, 상기 전방, 후방, 좌측 및 우측 영상 중에서 상기 지면 특징점이 검출되지 않은 나머지 영상으로부터 상기 제1 차선에 연결되는 제2 차선을 검출하는 차선 검출부; 상기 제2 차선의 특징 패턴과 상기 제1 차선의 특징 패턴 간의 대응관계에 기초하여, 상기 나머지 영상을 제공하는 카메라의 제2 자세각을 추정하는 제2 자세각 추정부; 상기 추정된 제2 자세각에 기초하여 상기 나머지 영상을 회전 변환하여 제2 탑뷰 영상을 생성하는 제2 회전 변환부; 및 상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상을 합성하여 최종 탑뷰 영상을 생성하는 영상 합성부를 포함한다.
본 발명에 따르면, 차량 운행 중에 카메라 공차를 자동으로 보정하기 위해, 카메라 자세각을 실시간으로 추정하고, 실시간으로 추정된 카메라 자세각에 따라 탑뷰 영상을 실시간으로 생성함으로써, 탑뷰 영상의 정합성을 개선하고, 개선된 정합성을 차량 운행 중에도 일관되게 유지할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 차량에 설치된 카메라 별로 지면 특징점이 추출된 영상과 지면 특징점이 추출되지 않은 영상을 나타낸 사진들이다.
도 2는 차량에 설치되는 각 카메라 중에서 임의의 카메라에서 획득한 영상으로부터 지면 특징점의 추출 성공률이 낮은 이유를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치의 블록도이다.
도 4는 도 3에 도시한 제1 자세각 추정부의 내부 구성을 나타낸 기능 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 이전 지면 특징점과 현재의 지면 특징점 간의 기하학적 관계와 사전에 설정된 기하학적 조건을 도식적으로 나타낸 도면이다.
도 6은 카메라 좌표계에서 피치(Pitch), 요(Yaw) 및 롤(Roll) 방향을 도식적으로 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 탑뷰 좌표계에서 나타낸 지면 특징점의 이동 벡터과 차량의 움직임에 따른 지면 특징점의 예측 이동 벡터를 나타낸 도면이다.
도 8은 도 3에 도시된 제2 자세각 추정부의 내부 구성을 나타낸 기능 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 전방/후방 영상에서 검출된 차선과 좌측/우측 탑뷰 영상에서 검출된 차선을 보여주는 영상들이다.
도 10 및 11은 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 방법을 나타낸 순서도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 발명은 차량 운행 중에 카메라 공차를 자동으로 보정하는 탑뷰 영상 생성 장치 및 그 방법에 관한 것이다.
본 발명에 따르면, 차량 운행 중에 카메라 자세각을 실시간으로 추정하고, 추정된 카메라 자세각을 이용하여 차량에서 설치된 전방/후방/좌측/우측 카메라로부터 획득된 전방/후방/좌측/우측 영상을 회전 변환하고, 회전 변환된 각 영상을 합성하여 탑뷰 영상을 생성하는 방식으로 카메라 공차를 보정한다.
본 발명의 일 특징은 각 카메라로부터 획득한 전방/후방/좌측/우측 영상으로부터 추출한 지면 특징점(Ground feature point)을 이용하여 각 카메라의 자세각을 추정하는 것이다.
본 발명의 다른 특징은 전/후/좌/우 영상 중에서 일부 영상에서 상기 지면 특징점이 추출되지 않는 경우, 상기 일부 영상으로부터 지면 특징점 대신 차선(또는 차선 특징점)을 추출하고, 추출한 차선을 이용하여 상기 일부 영상을 제공하는 카메라의 자세각을 추정하는 것이다.
본 발명은 전방/후방/좌측/우측 영상 중에서 지면 특징점의 추출이 가능한 영상에서는 지면 특징점을 추출하여, 추출된 지면 특징점을 이용하여 해당 카메라(지면 특징점의 추출이 가능한 영상을 제공한 카메라)의 자세각을 추정하지만, 지면 특징점의 추출이 불가능한 영상에서는 차선(차선 특징점)을 추출하여, 추출된 차선을 이용하여 해당 카메라(지면 특징점의 추출이 불가능한 영상을 제공한 카메라)의 자세각을 추정한다.
참고로, 영상에서 상기 지면 특징점이 추출되지 않는 이유는 다음과 같다.
도 1에는 차량에 설치된 카메라 별로 지면 특징점이 추출되지 않은 영상 사진들과 지면 특징점이 추출된 영상 사진들을 나타낸 것으로, (a), (b)는 지면 특징점이 추출되지 않은 전방/후방 영상을 각각 나타낸 것이고, (c), (d)는 지면 특징점이 추출된 좌측/우측 영상을 각각 나타낸 것이다.
각 영상 (a), (b), (c) 및 (d)에서 나타나는 빨간색 점과 파란색 선은 각 영상에서 추출한 지면 특징점의 추적 결과를 나타내 것으로, 빨간색 점은 이전 영상에서 추출한 지면 특징점을 나타낸 것이고, 파란색 선은 이전 영상에서 추출된 지면 특징 점과 현재 영상에서 추출된 지면 특징점을 연결한 이동 벡터를 의미한다.
도 1에서 볼 수 있듯이, 좌측/우측 영상(c, d)에서는, 지면 특징점과 지면 특징점의 이동벡터가 넓은 영역에 걸쳐 나타나고, 상대적으로, 전방/후방 영상(a, b)에서는, 지면 특징점과 지면 특징점의 이동벡터가 좁은 영역에 걸쳐 나타남을 알 수 있다. 이는 좌측/우측 영상(c, d)에서의 지면 특징점의 추적 결과가 전방/후방 영상(a, b)에서의 지면 특징점의 추적 결과보다 더 양호함을 의미한다.
이와 같이, 지면 특징점의 추적 결과가 좌측/우측 영상(c, d)에서 더 양호한 이유는 도 2의 (A)에 도시된 바와 같이, 차량에 설치되는 전방/후방 카메라(21, 23)의 광축과 지면이 이루는 각도(θ1)가 도 2의 (B)에 도시된 바와 같이 차량에 설치되는 좌측/우측 카메라(25, 27)의 광축과 지면이 이루는 각도(θ2)보다 작기 때문이다.
차량의 본넷에 주로 설치되는 전방/후방 카메라의 경우, 범퍼(앞범퍼와 뒷범퍼)와 같은 구조물로 인해, 전방/후방 카메라의 시야각이 제한된다. 따라서, 전방/후방 카메라는 광축과 지면이 이루는 각도를 작게 설정하여 차량에 설치하는 반면, 차량의 양쪽 사이드 미러의 하단부쪽에 주로 설치되는 좌측/우측 카메라의 경우, 시야각을 방해하는 구조물이 없기 때문에, 상대적으로 광축과 지면이 이루는 각도(θ2)를 크게 설정하여 차량에 설치할 수 있다.
잘 알려진 바와 같이, 지면 특징점은 광축이 지면에 대해 수직하게 위치한 카메라로부터 획득한 영상에서 그 추출 성공률이 높다. 따라서, 도 1에 도시된 바와 같이, 좌측/우측 카메라(25, 27)에서 획득한 영상이 전방/후방 카메라(21, 23)에서 획득한 영상에 비해 지면 특징점의 추출 성공률이 높다.
아래의 실시 예에서 상세히 설명하겠지만, 지면 특징점에 기초하여 카메라의 자세각 추정은 좌/우측 카메라에 대해서만 수행하고, 차선에 기초하여 카메라의 자세각 추정은 전방/후방 카메라에서 대해서만 수행하는 것으로 가정한다.
도 3은 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치의 블록도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치(100)는 카메라(110), 지면 특징점 검출부(120), 제1 자세각 추정부(130), 제1 회전 변환부(140), 차선 검출부(150), 제2 자세각 추정부(160), 제2 회전 변환부(170), 영상 합성부(180) 및 표시부(190)를 포함한다.
카메라(110)는 차량에 설치되는 좌측 카메라(112), 우측 카메라(114), 전방 카메라(116) 및 후방 카메라(118)를 포함한다. 좌측 카메라(112)는 차량의 좌측 지면을 촬영하여 좌측 영상(Ileft)을 프레임 단위로 생성하고, 우측 카메라(114)는 차량의 우측 지면을 촬영하여 우측 영상(Iright)을 프레임 단위로 생성한다. 전방 카메라(116)는 차량의 전방 지면을 촬영하여 전방 영상(Ifront)을 프레임 단위로 생성하고, 후방 카메라(118)는 차량의 후방 지면을 촬영하여 후방 영상(Iback)을 프레임 단위로 생성한다.
지면 특징점 검출부(120)는 상기 카메라들(112, 114, 116, 118)로부터 제공된 좌측/우측/전방/후방 영상들(Ileft, Iright, Ifront, Iback) 중에서 지면 특징점(Pground)의 검출이 가능한 적어도 하나의 영상으로부터 지면 특징점(Pground) 및 상기 지면 특징점(Pground)의 이동 벡터를 프레임 단위로 검출한다. 여기서, 상기 적어도 하나의 영상은 좌측/우측 영상들(Ileft, Iright)을 포함한다. 상기 좌측/우측 영상들(Ileft, Iright)로부터 상기 지면 특징점(Pground) 및 상기 지면 특징점(Pground)의 이동 벡터를 검출하는 방법으로, 블록 매칭 방법(Block matching method), Horn-Schunck 알고리즘, Lucas-Kanade 알고리즘, Gunnar Farneback's 알고리즘 등과 같은 옵티컬 플로우(Optical Flow) 기반의 특징점 추출 알고리즘이 이용될 수 있으며, 각 알고리즘은 공지의 기술로, 본 발명은 각 알고리즘에 특징이 있는 것이 아니므로, 이에 대한 상세 설명은 생략하기로 한다.
제1 자세각 추정부(130)는 상기 지면 특징점 검출부(120)로부터 입력된 상기 지면 특징점(Pground) 및 상기 지면 특징점(Pground)의 이동 벡터에 기초하여 상기 좌측/우측 카메라(112, 114)의 제1 자세각을 추정하고, 추정된 제1 자세각을 행렬 형태로 나타낸 변환 행렬([M1])을 생성한다. 상기 제1 자세각 추정부(130)에서 수행하는 좌측/우측 카메라(112, 114)의 자세각을 추정하는 방법은 도 4를 참조하여 아래에서 상세히 기술한다.
제1 회전 변환부(140)는 상기 제1 자세각 추정부(130)로부터 입력된 변환 행렬([M1])을 이용하여 좌측/우측 영상(Ileft, Iright)을 각각 회전 변환하여 탑뷰 시점의 제1 탑뷰 영상을 생성한다. 여기서, 제1 탑뷰 영상은 좌측 영상(Ileft)을 상기 변환 행렬([M1])을 이용하여 회전 변환한 좌측 탑뷰 영상(TILEFT) 및 우측 영상(Iright)을 상기 변환 행렬([M1])을 이용하여 회전 변환한 우측 탑뷰 영상(TIRIGHT)을 포함한다.
차선 검출부(150)는 상기 제1 회전 변환부(140)로부터 입력된 좌측/우측 탑뷰 영상(TILEFT, TIRIGHT)으로부터 제1 차선(Plane1)을 검출한다. 여기서, 제1 차선(Plane1)은 상기 좌측 탑뷰 영상(TILEFT)으로부터 검출된 좌측 차선과 상기 우측 탑뷰 영상(TIRIGHT)으로부터 검출된 우측 차선을 포함한다.
각 탑뷰 영상(TILEFT, TIRIGHT)으로부터 좌측/우측 차선을 검출하는 방법으로, 차선 검출 알고리즘(Lane detection algorithm)이 이용될 수 있으며, 본 발명은 차선 검출 알고리즘에 특징이 있는 것이 아니므로, 이에 대한 상세한 설명은 생략하며, 또한, 이러한 차선 검출 알고리즘을 통해 차선은 물론, 차선의 두께, 방향 등과 같은 차선과 관련된 정보를 획득할 수 있음도 공지의 기술인 바, 이에 대한 상세 설명도 생략하기로 한다.
또한, 차선 검출부(150)는 상기 카메라(110)로부터 입력된 전방/후방 영상(Ifront, Iback)으로부터 상기 제1 차선(Plane1)에 연속하는 제2 차선(Plane2)을 검출한다. 여기서, 제2 차선(Plane2)은 상기 좌측 탑뷰 영상(TILEFT)으로부터 검출된 좌측 차선에 연속하는 좌측 차선과 상기 우측 탑뷰 영상(TIRIGHT)으로부터 검출된 우측 차선에 연속하는 우측 차선을 포함한다. 즉, 상기 차선 검출부(150)는 차량에 설치되는 전방/후방 카메라(116, 118)의 설치 환경으로 인해, 지면 특징점의 추출 성공률이 낮은 나머지 영상, 즉, 상기 전방/후방 영상(Ifront, Iback)으로부터 좌측 차선과 우측 차선을 각각 검출한다. 상기 전방/후방 영상(Ifront, Iback)으로부터 좌측 차선과 우측 차선을 검출하는 방법으로, 상기 제1 차선(Plane1)의 검출 방법과 동일하게 차선 검출 알고리즘이 이용될 수 있다.
제2 자세각 추정부(160)는 상기 차선 검출부(150)로부터 입력된 제1 차선(Plane1)의 특징 패턴과 제2 차선(Plane2)의 특징 패턴 간의 대응 관계에 기초하여, 상기 제2 차선(Plane2)이 검출된 상기 전방/후방 영상(Ifront, Iback)을 제공하는 전방/후방 카메라(116, 118)의 제2 자세각을 추정하고, 추정된 제2 자세각을 행렬 형태로 나타낸 변환 행렬([M2])을 생성한다. 상기 제2 자세각 추정부(160)에서 수행하는 상기 전방/후방 카메라(116, 118)의 제2 자세각을 추정하는 방법은 도 5를 참조하여 아래에서 상세히 기술한다.
제2 회전 변환부(170)는 상기 제2 자세각 추정부(160)로부터 입력된 변환 행렬([M2])을 이용하여 전방/후방 영상(Ifront, Iback)을 각각 회전 변환하여 탑뷰 시점의 제2 탑뷰 영상을 생성한다. 여기서, 제2 탑뷰 영상은 전방 영상(Ifront)을 상기 변환 행렬([M2])을 이용하여 회전 변환한 전방 탑뷰 영상(TIFRONT) 및 후방 영상(Iback)을 상기 변환 행렬([M2])을 이용하여 회전 변환한 후방 탑뷰 영상(TIBACK)을 포함한다.
영상 합성부(180)는 상기 제1 회전 변환부(140)로부터 입력된 제1 탑뷰 영상, 즉, 좌측/우측 탑뷰 영상(TILEFT, TIRIGHT)과 상기 제2 회전 변환부(170)로부터 입력된 제2 탑뷰 영상, 즉, 전방/후방 탑뷰 영상(TIFRONT, TIBACK)을 합성하여 최종 탑뷰 영상을 생성한다.
표시부(190)는 상기 영상 합성부(180)로부터 입력된 최종 탑뷰 영상을 출력한다.
도 4는 도 3에 도시한 제1 자세각 추정부의 내부 구성을 나타내는 블록도이다.
도 4를 참조하면, 제1 자세각 추정부(130)는, 전술한 바와 같이, 지면 특징점의 추출 성공률이 높은 좌측/우측 영상(Ileft, Iright)으로부터 검출된 지면 특징점에 기초하여 좌측/우측 카메라(112, 114)의 자세각을 추정한다.
이를 위해, 제1 자세각 추정부(130)는 제1 회전량 산출부(131), 회전 변환부(133), 벡터 산출부(135), 제2 회전량 산출부(135) 및 변환 행렬 생성부(139)를 포함한다.
제1 회전량 산출부 (131)
제1 회전량 산출부(131)는 상기 지면 특징점 검출부(120)에서 검출한 지면 특징점(Pground)을 이용하여 좌측 영상(Ileft)을 좌측 탑뷰 영상으로 회전 변환하기 위한 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량(또는 회전 각도)을 산출한다.
동일한 방법으로, 제1 회전량 산출부(131)는 우측 영상(Iright)을 우측 탑뷰 영상(TIright)으로 회전 변환하기 위한 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량을 산출한다.
이하에서는, 제1 회전량 산출부(131)에서 수행하는 피치(Pitch) 및 요(Yaw) 방향의 회전량을 산출하는 과정에 대해서 상세히 설명하되, 설명의 간략화를 위해, 좌측 영상(Ileft)에 대한 피치(Pitch) 및 요(Yaw) 방향의 회전량 산출과정에 대해서만 설명하고, 우측 영상(Iright)에 대한 피치(Pitch) 및 요(Yaw) 방향의 회전량 산출과정에 대한 설명은 좌측 영상(Ileft)에 대한 피치(Pitch) 및 요(Yaw) 방향의 회전량 산출과정에 대한 설명으로 대신한다.
먼저, 상기 지면 특징점 검출부(120)로부터 이전 시간(또는 이전 프레임)의 좌측 영상(Ileft)으로부터 검출된 이전의 지면 특징점(Pground)과 현재 시간(또는 현재 프레임)의 좌측 영상(Ileft)으로부터 검출된 현재의 지면 특징점(Pground)을 순차적으로 입력받는 과정이 수행된다.
이후, 이전의 지면 특징점(Pground)과 현재의 지면 특징점(Pground) 간의 기하학적인 관계(geometric relationship)를 분석하는 과정이 수행된다. 이전의 지면 특징점(Pground)과 현재의 지면 특징점(Pground) 간의 기하학적인 관계(geometric relationship)를 나타내는 일 예가 도 5의 (A)에 도시된다.
도 5의 (a)에서, P1n - 1와 P2n - 1는 각각 이전 시간의 좌측 영상(Ileft)으로부터 검출된 이전의 지면 특징점들이고, P1n와 P2n는 현재 시간의 좌측 영상(Ileft)으로부터 검출된 지면 특징점들을 나타낸다. d1은 P1n과 P2n 사이의 거리이고, d2는 P1n -1과 P2n-1 사이의 거리이고, d3는 P1n -1의 이동 거리이고, d4는 P2n -1의 이동 거리를 나타낸다. 이 경우, 기하학적인 관계는 d1과 d2 간의 관계 및 d3와 d4 간의 관계로 정의된다.
이후, 위와 같이 분석한 기하학적인 관계가 사전에 설정된 기하학적 조건(geometric condition)을 만족하도록 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량을 산출하는 과정이 수행된다. 사전에 설정된 기하학적 조건을 나타내는 일 예가 도 5의 (B)에 도시된다. 도 5의 (B)를 참조하면, 기하학적 조건은, 도 5의 (A)에 도시된 바와 같은 기하학적인 관계를 가정할 때, d1과 d2가 일치할 조건과 d3와 d4가 일치할 조건을 포함한다. 즉, d1=d2와 d3=d4를 만족하도록 좌측 영상(Ileft)에 대한 피치(Pitch) 및 요(Yaw) 방향의 회전량을 산출한다. 피치(Pitch) 및 요(Yaw) 방향의 회전량을 산출하는 방법으로, 아래의 수학식 1의 가우스-뉴턴 방법(Gauss-Newton method)이 이용될 수 있다.
Figure 112016079680258-pat00001
도 6에는 카메라 좌표계에서 표현한 피치(Pitch) 방향 및 요(Yaw) 방향이 나타난다.
회전 변환부(133)
상기 회전 변환부(133)는 상기 제1 회전량 산출부(131)에서 좌측/우측 영상(Ileft, Iright)에 대해 각각 산출한 피치(Pitch)/요(Yaw) 방향의 회전량으로 상기 좌측/우측 영상(Ileft, Iright)을 회전 변환하여 좌측 영상(Ileft)에 대한 중간 탑뷰 영상과 우측 영상(Iright)에 대한 중간 탑뷰 영상을 프레임 단위로 각각 생성한다.
벡터 산출부(135)
상기 벡터 산출부(135)는 상기 회전 변환부(133)에서 이전 시간에 생성한 중간 탑뷰 영상에서 이전의 지면 특징점을 검출하고, 상기 회전 변환부(133)에서 현재 시간에 생성한 중간 탑뷰 영상에서 현재의 지면 특징점을 검출한 후, 이전의 지면 특징점과 현재의 지면 특징점을 이용하여 탑뷰 좌표계에서 나타나는 지면 특징점의 이동 벡터를 산출한다.
이후, 상기 벡터 산출부(135)는 차량의 움직임 방향에 따른 탑뷰 좌표계에서 나타나는 지면 특징점의 예측 이동 벡터를 산출한다. 즉, 차량의 움직임 방향과 동일한 지면 특징점의 예측 이동 벡터를 예측한다.
도 7의 (A)에서, 탑뷰 좌표계에서 나타나는 지면 특징점의 이동 벡터(71)와 차량의 움직임 방향에 따른 탑뷰 좌표계에서 나타나는 지면 특징점의 예측 이동 벡터(73)의 일 예가 나타난다.
제2 회전량 산출부 (137)
상기 제2 회전량 산출부(137)는 상기 탑뷰 좌표계를 기준으로 상기 이동 벡터의 방향과 상기 예측 이동 벡터의 방향을 일치시키는 롤(Roll) 방향의 회전량(또는 회전각도)을 산출한다. 도 6에는 카메라 좌표계에서 표현한 롤(Roll) 방향이 도시된다.
도 7의 (B)에는 산출된 롤(Roll) 방향의 회전량으로 상기 이동 벡터(71)를 회전시켜 상기 이동 벡터(71)의 방향과 상기 예측 이동 벡터(73)의 방향을 일치시킨 일 예가 도시된다.
변환 행렬 생성부(139)
상기 변환 행렬 생성부(139)는 상기 제2 회전량 산출부(137)에서 산출한 롤(Roll) 방향의 회전량과 상기 제1 회전량 산출부(131)에서 산출한 피치(Pitch) 방향의 회전량 및 요(Yaw) 방향의 회전량으로 이루어진 제1 자세각(좌측/우측 카메라의 자세각)을 행렬 형태로 나타낸 변환 행렬([M1])을 생성한다.
도 8은 도 3에 도시한 제2 자세각 추정부의 내부 구성을 나타내는 기능 블록도이다.
도 8을 참조하면, 제2 자세각 추정부(160)는 좌측/우측 탑뷰 영상(TILEFT, TIRIGHT)으로부터 검출된 제1 차선(Plane1)의 특징 패턴을 이용하여 상기 제2 차선(Plane2)이 검출된 상기 전방/후방 영상(Ifront, Iback)을 제공하는 전방/후방 카메라(116, 118)의 제2 자세각을 추정하고, 상기 추정된 제2 자세각을 행렬 형태로 나타낸 변환 행렬([M2])을 생성한다.
이를 위해, 제2 자세각 추정부(160)는 제1 회전량 산출부(161), 회전 변환부(163), 벡터 산출부(165), 제2 회전량 산출부(167) 및 변환 행렬 생성부(169)를 포함한다.
제1 회전량 산출부(161)
제1 회전량 산출부(161)는 탑뷰 시점의 좌측/우측 탑뷰 영상(TILEFT, TIRIGHT)으로부터 검출된 상기 제1 차선(Plane1)의 특징 패턴과 탑뷰 시점이 아닌 전방/후방 영상(Ifront, Iback)으로부터 검출된 상기 제2 차선(Plane2)의 특징 패턴을 비교하여, 상기 제1 차선(Plane1)의 특징 패턴과 상기 제2 차선(Plane2)의 특징 패턴이 일치하도록 상기 제2 차선(Plane2)이 검출된 전방/후방 영상(Ifront, Iback)의 피치(Pitch)/요(Yaw) 방향의 회전량을 산출한다. 여기서 특징 패턴은 차선 방향과 차선 두께(또는 차선 폭) 등을 포함한다.
구체적으로, 도 9를 참조하여, 제1회전량 산출부(161)에서 수행하는 산출과정을 설명하기로 한다. 도 9의 각 영상에 표시된 붉은 선은 차선을 나타낸다.
먼저, 전방 영상(Ifront)으로부터 검출된 좌측 차선(L1)의 특징 패턴(차선 방향 및 차선 두께)과 상기 좌측 탑뷰 영상(TILEFT)으로부터 검출되며 동시에 상기 좌측 차선(L1)에 연속하는 좌측 차선(L5)의 특징 패턴(탑뷰 좌표계에서 나타나는 차선 방향 및 차선 두께)이 일치하도록 상기 전방 영상(Ifront)의 피치(Pitch)/요(Yaw) 방향의 회전량을 산출한다.
선택적으로, 상기 전방 영상(Ifront)으로부터 검출된 우측 차선(R2)의 특징 패턴(차선 방향 및 차선 두께)과 상기 우측 탑뷰 영상(TIRIGHT)으로부터 검출되며 동시에 상기 우측 차선(R2)에 연속하는 우측 차선(R6)의 특징 패턴(탑뷰 좌표계에서 나타나는 차선 방향 및 차선 두께)이 일치하도록 상기 전방 영상(Ifront)의 피치(Pitch)/ 요(Yaw) 방향의 회전량을 산출할 수 있다.
물론, 상기 좌측 탑뷰 영상(TILEFT) 내의 좌측 차선을 기준으로 산출된 상기 전방 영상(Ifront)의 피치(Pitch)/요(Yaw) 방향의 회전량과 상기 우측 탑뷰 영상(TIRIGHT) 내의 우측 차선을 기준으로 산출된 상기 전방 영상(Ifront)의 피치(Pitch)/요(Yaw) 방향의 회전량을 모두 고려하여, 상기 전방 영상(Ifront)의 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 최종 회전량을 산출할 수도 있다.
동일한 방식으로, 상기 후방 영상(Iback)의 피치(Pitch)/요(Yaw) 방향의 회전량을 산출할 수 있다. 즉, 후방 영상(Iback)으로부터 검출된 좌측 차선(L3)의 특징 패턴(차선 방향 및 차선 두께)과 상기 좌측 탑뷰 영상(TILEFT)으로부터 검출되며 동시에 상기 좌측 차선(L3)에 연속하는 좌측 차선(L5)의 특징 패턴(탑뷰 좌표계에서 나타나는 차선 방향 및 차선 두께)이 일치하도록 상기 후방 영상(Iback)의 피치(Pitch)/요(Yaw) 방향의 회전량을 산출한다.
선택적으로, 상기 후방 영상(Iback)으로부터 검출된 우측 차선(R4)의 특징 패턴(차선 방향 및 차선 두께)과 상기 우측 탑뷰 영상(TIRIGHT)으로부터 검출되며 동시에 상기 우측 차선(R4)에 연속하는 우측 차선(R6)의 특징 패턴(탑뷰 좌표계에서 나타나는 차선 방향 및 차선 두께)이 일치하도록 상기 후방 영상(Iback)의 피치(Pitch)/ 요(Yaw) 방향의 회전량을 산출할 수 있다.
물론, 상기 좌측 탑뷰 영상(TILEFT) 내의 좌측 차선(L5)을 기준으로 산출된 상기 후방 영상(Iback)의 피치(Pitch)/요(Yaw) 방향의 회전량과 상기 우측 탑뷰 영상(TIRIGHT) 내의 우측 차선(R6)을 기준으로 산출된 상기 후방 영상(Iback)의 피치(Pitch)/요(Yaw) 방향의 회전량을 모두 고려하여, 상기 후방 영상(Iback)의 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 최종 회전량을 산출할 수도 있다.
회전 변환부(163)
다시 도 8을 참조하면, 상기 회전 변환부(163)는 상기 전방/후방영상을 상기 제1 회전량 산출부(161)에서 산출한 피치(Pitch)/요(Yaw) 방향의 회전량으로 회전 변환하여 상기 전방 영상에 대한 중간 탑뷰 영상 및 상기 후방 영상에 대한 중간 탑뷰 영상을 프레임 단위로 생성한다.
벡터 산출부(165)
벡터 산출부(165)는 이전시간에 생성된 중간 탑뷰 영상으로부터 검출된 이전의 차선 특징점과 현재시간에 생성된 중간 탑뷰 영상으로부터 검출된 현재의 차선 특징점을 이용하여 차선 특징점의 이동 벡터를 산출하고, 상기 차량의 움직임 방향에 따른 상기 차선 특징점의 예측 이동 벡터를 산출한다.
상기 벡터 산출부(165)는 상기 회전 변환부(163)에서 생성한 중간 탑뷰 영상은 지면 특징점이 검출되지 않은 전방/후방 영상으로부터 회전 변환된 영상이기 때문에, 지면 특징점이 아니라 차선 특징점의 이동벡터 및 예측 이동 벡터를 산출하는 점에서 도 5의 벡터 산출부(135)와 차이가 있다.
제2 회전량 산출부(167)
제2 회전량 산출부(167)는 도 5의 벡터 산출부(135)에서 수행하는 처리과정과 동일한 과정으로, 상기 차선 특징점의 이동 벡터의 방향과 차량의 움직임 방향에 따른 상기 예측 이동 벡터의 방향을 일치시키는 롤(Roll) 방향의 회전량을 산출한다.
변환 행렬 생성부(169)
상기 변환 행렬 생성부(169)는 상기 롤(Roll) 방향의 회전량, 상기 피치(Pitch) 방향의 회전량 및 상기 요(Yaw) 방향의 회전량을 포함하는 상기 제2 자세각을 행렬 행태로 나타낸 변환 행렬([M2])을 생성한다.
도 10 및 11은 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 방법을 나타낸 순서도로서, 아래의 각 단계를 설명하는 과정에서 도 1 내지 도 9를 참조하여 설명한 내용과 중복되는 내용은 간략하게 기재하거나, 생략하기로 한다.
도 10을 참조하면, 먼저, 단계 S111에서, 전/후/좌/우 카메라로부터 전/후/좌/우 영상을 각각 획득한 후, 옵티컬 플로우(Optical Flow) 기반의 특징점 추출 알고리즘을 이용하여 각 영상으로부터 지면 특징점을 검출한다.
이어, 단계 S113에서, 전/후/좌/우 영상 모두로부터 지면 특징점의 검출 여부를 판단한다.
전/후/좌/우 영상 모두로부터 지면 특징점이 검출된 경우, 단계 S115에서, 각 영상에서 검출한 지면 특징점을 이용하여 각 영상을 제공한 전/후/좌/우 카메라의 자세각(피치/요/롤 방향의 회전량)을 추정한다. 여기서, 자세각을 추정하는 구체적인 설명은 도 3 및 4를 참조하여 설명한 제1 자세각 추정부(130)에서 수행한 처리 과정에 대한 설명으로 대신한다.
이어, 단계 S117에서, 전단계 S115에서 추정한 자세각으로 전/후/좌/우 영상을 각각 회전 변환하여, 전/후/좌/우 탑뷰 영상을 생성한다.
이어, 단계 S119에서, 상기 전/후/좌/우 탑뷰 영상을 합성하여 최종 탑뷰 영상을 생성한다. 구체적으로, 전/후/좌/우 탑뷰 영상을 탑뷰 영상 좌표계 내의 지정된 위치에 배치한 후, 전/후 탑뷰 영상 내의 차선과 좌/우 탑뷰 영상 내의 차선이 연속적인 하나의 차선으로 나타나도록 상기 전/후 탑뷰 영상 또는 상기 좌/우 탑뷰 영상을 상하좌우로 이동하여, 상기 전/후/좌/우 탑뷰 영상이 합성된 상기 최종 탑뷰 영상을 생성한다.
한편, 단계 S113에서, 전/후/좌/우 영상 모두로부터 지면 특징점이 검출되지 않은 경우, 단계 S121에서, 지면 특징점이 검출된 영상이 존재하는 지를 판단한다. 만일, 전/후/좌/우 영상 모두로부터 지면 특징점이 검출되지 않은 경우, 단계 S111로 이동하여 다시 전/후/좌/우 영상으로부터 지면 특징점을 검출하는 과정이 재 수행된다.
단계 S121에서, 전/후/좌/우 영상 중에서 적어도 하나의 영상으로부터 지면 특징점이 검출되는 경우, 단계 S121 이후에 대한 설명은 도 11을 참조하여 설명한다.
도 11을 참조하면, 단계 S123에서, 상기 지면 특징점이 검출된 적어도 하나의 영상(예를 들면, 좌측 영상 또는/및 우측 영상)에서 검출된 지면 특징점을 이용하여 상기 적어도 하나의 영상을 제공하는 카메라(예를 들면, 좌측 카메라 또는/및 우측 카메라)의 제1 자세각, 즉, 피치/요/롤 방향의 회전량(또는 회전각도)를 추정한다. 여기서, 제1 자세각을 추정하는 구체적인 설명은 도 3 및 4를 참조하여 설명한 제1 자세각 추정부(130)에서 수행한 처리 과정에 대한 설명으로 대신한다.
이어, 단계 S125에서, 상기 추정된 제1 자세각에 기초하여 상기 적어도 하나의 영상을 회전 변환하여 제1 탑뷰 영상(예를 들면, 좌측 탑뷰 영상 또는/및 우측 탑뷰 영상)을 생성한다.
이어, 단계 S127에서, 차선 검출 알고리즘을 이용하여, 상기 제1 탑뷰 영상으로부터 제1 차선(예를 들면, 좌측 탑뷰 영상으로부터 검출된 좌측 차선 또는/및 우측 탑뷰 영상으로부터 검출된 우측 차선)을 검출한다.
이어, 단계 S129에서, 차선 검출 알고리즘을 이용하여, 지면 특징점이 검출되지 않은 나머지 영상(예를 들면, 전방 영상 또는/및 후방 영상)으로부터 제2 차선(예를 들면, 전방 영상으로부터 검출된 좌측/우측 차선 또는/및 후방 영상으로부터 검출된 좌측/우측 차선)을 검출한다.
이어, 단계 S131에서, 상기 검출된 제1 차선의 특징 패턴(차선 방향 및 차선 두께)과 상기 검출된 제2 차선의 특징 패턴(차선 방향 및 차선 두께) 간의 대응관계에 기초하여 상기 제2 차선이 검출된 상기 나머지 영상(예를 들면, 전방 영상 또는/및 후방 영상)을 제공하는 카메라의 제2 자세각을 추정한다. 예를 들면, 상기 지면 특징점이 검출되지 않은 전방/후방 영상으로부터 검출된 차선의 차선 방향 및 차선 두께가 상기 지면 특징점이 검출된 좌측/우측 영상으로부터 회전 변환된 상기 좌/우 탑뷰 영상으로부터 검출된 차선의 차선 방향 및 두께와 일치하도록 상기 전방/후방 영상의 제2 자세각(피치/요/롤 방향의 회전량)을 추정한다.
이어, 단계 S133에서, 상기 추정된 제2 자세각에 기초하여 상기 나머지 영상(예를 들면, 전방 영상 또는/및 후방 영상)을 회전 변환하여 제2 탑뷰 영상(예를 들면, 전방 탑뷰 영상 또는/및 후방 탑뷰 영상)을 생성한다.
이어, 단계 S135에서, 상기 단계 S125에서 생성된 제1 탑뷰 영상(예를 들면, 좌측 탑뷰 영상 또는/및 우측 탑뷰 영상)과 상기 제2 탑뷰 영상(예를 들면, 전방 탑뷰 영상 또는/및 후방 탑뷰 영상)을 합성하여, 최종 탑뷰 영상을 생성한다. 예를 들면, 좌측/우측 탑뷰 영상, 전방/후방 탑뷰 영상을 탑뷰 영상 좌표계 내의 지정된 위치에 배치한 후, 상기 좌측/우측 탑뷰 영상 내의 차선과 상기 전방/후방 탑뷰 영상 내의 차선이 연속한 하나의 차선으로 표시하도록 상기 좌측/우측 탑뷰 영상 또는 상기 전방/후방 탑뷰 영상을 상하좌우로 이동하여, 상기 최종 탑뷰 영상을 생성한다.
이상 설명한 바와 같이, 본 발명의 탑뷰 영상 생성 장치 및 그 방법에서는, 지면 특징점을 이용하여 카메라의 자세각 추정이 불가능한 상황에서도 차선을 이용하여 카메라의 자세각 추정이 가능하기 때문에, 공장 출고 후 카메라 장착 각도 변동이 발생하거나 A/S에 의한 카메라 위치 변동이 발생한 경우, 차량의 도로 주행 중에 자동으로 카메라 공차를 보정함으로써, 카메라 공차를 보정하기 위해 A/S 업체에 직접 방문하는 불편함을 해소하고, 동시에, 탑뷰 영상의 정합성을 개선할 수 있다.
한편, 본 발명의 일 실시 예에 따른 카메라 탑뷰 영상 생성 장치(100)를 나타내는 도 3, 4 및 8의 블록도는 발명의 원리를 기능적 관점에서 구체화한 예로 이해되어야 한다.
이와 유사하게, 도 10 및 11의 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 도 3, 4 및 8의 블록들은 전용 하드웨어뿐만 아니라 소프트웨어를 실행할 수 있는 하드웨어의 사용으로 제공될 수 있다.
도 3, 4 및 8의 블록들이 프로세서에 의해 구현될 때, 도 3, 4 및 8에 도시된 블록들의 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 물론 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 차량에 설치된 카메라들로부터 제공된 전방, 후방, 좌측 및 우측 영상 중에서 적어도 하나의 영상으로부터 지면 특징점을 검출하는 단계;
    상기 검출된 지면 특징점에 기초하여 상기 적어도 하나의 영상을 제공하는 카메라의 제1 자세각을 추정하는 단계;
    상기 추정된 제1 자세각에 기초하여 상기 적어도 하나의 영상을 회전 변환하여 제1 탑뷰 영상을 생성하는 단계;
    상기 제1 탑뷰 영상으로부터 제1 차선을 검출하는 단계;
    상기 전방, 후방, 좌측 및 우측 영상 중에서 상기 지면 특징점이 검출되지 않은 나머지 영상으로부터 상기 제1 차선에 연속하는 제2 차선을 검출하는 단계;
    상기 검출된 제1 차선의 특징 패턴과 상기 검출된 제2 차선의 특징 패턴 간의 대응관계에 기초하여, 상기 제2 차선이 검출된 상기 나머지 영상을 제공하는 카메라의 제2 자세각을 추정하는 단계;
    상기 추정된 제2 자세각에 기초하여 상기 나머지 영상을 회전 변환하여 제2 탑뷰 영상을 생성하는 단계; 및
    상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상을 합성하여 최종 탑뷰 영상을 생성하는 단계
    를 포함하는 탑뷰 영상 생성 방법.
  2. 제1항에서, 상기 지면 특징점을 검출하는 단계 이전에,
    상기 카메라들 중에서, 광축이 지면에 대해 제1 각도를 형성하도록 상기 차량에 설치된 카메라로부터 상기 적어도 하나의 영상을 획득하는 단계; 및
    상기 카메라들 중에서, 광축이 상기 지면에 대해 상기 제1 각도보다 작은 제2 각도를 형성하도록 상기 차량에 설치된 카메라로부터 상기 나머지 영상을 획득하는 단계
    를 더 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  3. 제1항에서, 상기 제1 자세각을 추정하는 단계는,
    상기 카메라들로부터 이전 시간에 획득된 상기 적어도 하나의 영상으로부터 검출된 이전의 지면 특징점과 상기 카메라들로부터 현재 시간에 획득된 상기 적어도 하나의 영상으로부터 검출된 현재의 지면 특징점 간의 기하학적인 관계(geometric relationship)가 사전에 설정된 기하학적 조건(geometric condition)을 만족하기 위한 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량을 산출하는 단계;
    상기 적어도 하나의 영상을 상기 산출된 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량으로 회전 변환하여 중간 탑뷰 영상을 생성하는 단계;
    이전 시간에 생성된 중간 탑뷰 영상에서 검출된 이전의 지면 특징점과 현재 시간에 생성된 중간 탑뷰 영상 에서 검출된 현재의 지면 특징점에 이용하여 상기 지면 특징점의 이동 벡터를 산출하고, 상기 차량의 움직임에 따른 상기 지면 특징점의 예측 이동 벡터를 산출하는 단계;
    상기 이동 벡터의 방향과 상기 예측 이동 벡터의 방향을 일치시키는 롤(Roll) 방향의 회전량을 산출하는 단계; 및
    상기 롤(Roll) 방향의 회전량, 상기 피치(Pitch) 방향의 회전량 및 상기 요(Yaw) 방향의 회전량을 포함하는 상기 제1 자세각을 추정하는 단계
    를 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  4. 제1항에서, 상기 제2 자세각을 추정하는 단계는,
    상기 검출된 제2 차선의 특징 패턴이 상기 제1 탑뷰 영상에서 나타나는 상기 제1 차선의 특징 패턴에 일치하도록 상기 나머지 영상을 제공하는 카메라의 제2 자세각을 추정하는 단계임을 특징으로 하는 탑뷰 영상 생성 방법.
  5. 제4항에서, 상기 특징 패턴은,
    차선 방향 및 차선 두께를 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  6. 제5항에서, 상기 제2 자세각을 추정하는 단계는,
    상기 나머지 영상으로부터 검출된 상기 제2 차선의 차선 방향 및 차선 두께를 상기 제1 탑뷰 영상으로부터 검출된 상기 제1 차선의 방향 및 두께에 일치시키는 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량을 산출하는 단계;
    상기 나머지 영상을 상기 산출된 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량으로 회전 변환하여 중간 탑뷰 영상을 생성하는 단계;
    이전시간에 생성된 중간 탑뷰 영상으로부터 검출된 이전의 차선 특징점과 현재시간에 생성된 중간 탑뷰 영상으로부터 검출된 현재의 차선 특징점을 이용하여 차선 특징점의 이동 벡터를 산출하고, 상기 차량의 움직임에 따른 상기 차선 특징점의 예측 이동 벡터를 산출하는 단계;
    상기 이동 벡터의 방향과 상기 예측 이동 벡터의 방향을 일치시키는 롤(Roll) 방향의 회전량을 산출하는 단계; 및
    상기 롤(Roll) 방향의 회전량, 상기 피치(Pitch) 방향의 회전량 및 상기 요(Yaw) 방향의 회전량을 포함하는 상기 제2 자세각을 추정하는 단계
    를 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  7. 제1항에서, 상기 최종 탑뷰 영상을 생성하는 단계는,
    상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상을 탑뷰 영상 좌표계 내의 지정된 위치에 배치하는 단계; 및
    상기 제1 탑뷰 영상 내의 차선과 상기 제2 탑뷰 영상 내의 차선이 하나의 차선으로 표시하도록 상기 제1 탑뷰 영상 또는 상기 제2 탑뷰 영상을 상하좌우로 이동하여, 상기 최종 탑뷰 영상을 생성하는 단계
    를 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  8. 차량에 설치된 카메라들로부터 제공된 전방, 후방, 좌측 및 우측 영상 중에서 적어도 하나의 영상으로부터 지면 특징점을 검출하는 지면 특징점 검출부;
    상기 검출된 지면 특징점에 기초하여 상기 적어도 하나의 영상을 제공하는 카메라의 제1 자세각을 추정하는 제1 자세각 추정부;
    상기 추정된 제1 자세각에 기초하여 상기 적어도 하나의 영상을 회전 변환하여 제1 탑뷰 영상을 생성하는 제1 회전 변환부;
    상기 제1 탑뷰 영상으로부터 제1 차선을 검출하고, 상기 전방, 후방, 좌측 및 우측 영상 중에서 상기 지면 특징점이 검출되지 않은 나머지 영상으로부터 상기 제1 차선에 연속하는 제2 차선을 검출하는 차선 검출부;
    상기 제1 차선의 특징 패턴과 상기 제2 차선의 특징 패턴 간의 대응 관계에 기초하여, 상기 나머지 영상을 제공하는 카메라의 제2 자세각을 추정하는 제2 자세각 추정부;
    상기 추정된 제2 자세각에 기초하여 상기 나머지 영상을 회전 변환하여 제2 탑뷰 영상을 생성하는 제2 회전 변환부; 및
    상기 제1 탑뷰 영상과 상기 제2 탑뷰 영상을 합성하여 최종 탑뷰 영상을 생성하는 영상 합성부
    를 포함함을 특징으로 하는 탑뷰 영상 생성 장치.
  9. 제8항에서, 상기 적어도 하나의 영상은,
    상기 카메라들 중에서, 광축이 지면에 대해 제1 각도를 형성하도록 상기 차량에 설치된 카메라로부터 획득되고,
    상기 나머지 영상은,
    상기 카메라들 중에서, 광축이 상기 지면에 대해 상기 제1 각도보다 작은 제2 각도를 형성하도록 상기 차량에 설치된 카메라로부터 획득됨을 특징으로 하는 탑뷰 영상 생성 장치.
  10. 제9항에서, 상기 적어도 하나의 영상은,
    광축이 지면에 대해 상기 제2 각도보다 큰 상기 제1 각도를 형성하도록 상기 차량에 설치되는 설치 환경에 의해, 상기 지면 특징점의 추출 성공률이 상기 나머지 영상보다 높은 영상임을 특징으로 하는 탑뷰 영상 생성 장치.
  11. 제8항에서, 상기 제1 자세각 추정부는,
    상기 카메라들로부터 이전 시간에 획득된 상기 적어도 하나의 영상으로부터 검출된 이전의 지면 특징점과 상기 카메라들로부터 현재 시간에 획득된 상기 적어도 하나의 영상으로부터 검출된 현재의 지면 특징점 간의 기하학적인 관계(geometric relationship)가 사전에 설정된 기하학적 조건(geometric condition)을 만족하기 위한 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량을 산출하는 제1 회전량 산출부;
    상기 적어도 하나의 영상을 상기 산출된 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량으로 회전 변환하여 중간 탑뷰 영상을 생성하는 회전 변환부;
    이전 시간에 생성된 중간 탑뷰 영상에서 검출된 이전의 지면 특징점과 현재 시간에 생성된 중간 탑뷰 영상 에서 검출된 현재의 지면 특징점에 이용하여 상기 지면 특징점의 이동 벡터를 산출하고, 상기 차량의 움직임에 따른 상기 지면 특징점의 예측 이동 벡터를 산출하는 벡터 산출부;
    상기 이동 벡터의 방향과 상기 예측 이동 벡터의 방향을 일치시키는 롤(Roll) 방향의 회전량을 산출하는 제2 회전량 산출부; 및
    상기 롤(Roll) 방향의 회전량, 상기 피치(Pitch) 방향의 회전량 및 상기 요(Yaw) 방향의 회전량을 포함하는 상기 제1 자세각을 행렬 형태로 나타낸 변환 행렬을 생성하는 변환 행렬 생성부
    를 포함함을 특징으로 하는 탑뷰 영상 생성 장치.
  12. 제8항에서, 상기 제2 자세각 추정부는,
    상기 검출된 제2 차선의 특징 패턴이 상기 제1 차선의 특징 패턴에 일치하도록 상기 나머지 영상을 제공하는 카메라의 제2 자세각을 추정하고,
    상기 특징 패턴은,
    차선 방향 및 차선 두께를 포함함을 특징으로 하는 탑뷰 영상 생성 장치.
  13. 제12항에서, 상기 제2 자세각 추정부는
    상기 나머지 영상으로부터 검출된 상기 제2 차선의 차선 방향 및 차선 두께를 상기 제1 탑뷰 영상으로부터 검출된 상기 제1 차선의 방향 및 두께에 일치시키는 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량을 산출하는 제1 회전량 산출부;
    상기 나머지 영상을 상기 산출된 피치(Pitch) 방향의 회전량과 요(Yaw) 방향의 회전량으로 회전 변환하여 중간 탑뷰 영상을 생성하는 회전 변환부;
    이전시간에 생성된 중간 탑뷰 영상으로부터 검출된 이전의 차선 특징점과 현재시간에 생성된 중간 탑뷰 영상으로부터 검출된 현재의 차선 특징점을 이용하여 차선 특징점의 이동 벡터를 산출하고, 상기 차량의 움직임에 따른 상기 차선 특징점의 예측 이동 벡터를 산출하는 벡터 산출부;
    상기 이동 벡터의 방향과 상기 예측 이동 벡터의 방향을 일치시키는 롤(Roll) 방향의 회전량을 산출하는 제2 회전량 산출부; 및
    상기 롤(Roll) 방향의 회전량, 상기 피치(Pitch) 방향의 회전량 및 상기 요(Yaw) 방향의 회전량을 포함하는 상기 제2 자세각을 행렬 행태로 나타낸 변환 행렬을 생성하는 변환 행렬 생성부
    를 포함함을 특징으로 하는 탑뷰 영상 생성 장치.
KR1020160104222A 2016-08-17 2016-08-17 탑뷰 영상 생성 장치 및 그 방법 KR102528002B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160104222A KR102528002B1 (ko) 2016-08-17 2016-08-17 탑뷰 영상 생성 장치 및 그 방법
US15/629,393 US10152816B2 (en) 2016-08-17 2017-06-21 Top-view image generating apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160104222A KR102528002B1 (ko) 2016-08-17 2016-08-17 탑뷰 영상 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180019921A KR20180019921A (ko) 2018-02-27
KR102528002B1 true KR102528002B1 (ko) 2023-05-02

Family

ID=61191973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160104222A KR102528002B1 (ko) 2016-08-17 2016-08-17 탑뷰 영상 생성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10152816B2 (ko)
KR (1) KR102528002B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
CN110386065B (zh) * 2018-04-20 2021-09-21 比亚迪股份有限公司 车辆盲区的监控方法、装置、计算机设备及存储介质
CN110378177B (zh) * 2018-09-30 2022-01-28 毫末智行科技有限公司 用于提取环境目标的特征点的方法及装置
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
KR102611759B1 (ko) * 2019-06-20 2023-12-11 현대모비스 주식회사 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법
KR102582056B1 (ko) * 2023-05-26 2023-09-25 주식회사 원테이크 서라운드 뷰 제공 장치 및 이의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102159353B1 (ko) * 2014-04-24 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
JP6501602B2 (ja) * 2015-04-23 2019-04-17 本田技研工業株式会社 レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102188721B1 (ko) 2020-04-27 2020-12-08 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법

Also Published As

Publication number Publication date
US10152816B2 (en) 2018-12-11
US20180053330A1 (en) 2018-02-22
KR20180019921A (ko) 2018-02-27

Similar Documents

Publication Publication Date Title
KR102528002B1 (ko) 탑뷰 영상 생성 장치 및 그 방법
US10984259B2 (en) Road vertical contour detection using a stabilized coordinate frame
US11265526B2 (en) Methods for automatic registration of 3D image data
EP2757527B1 (en) System and method for distorted camera image correction
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
CN109089074A (zh) 用于环视监控系统的摄像头角度估计方法
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US20160182793A1 (en) Image distortion correction of a camera with a rolling shutter
KR102538592B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
WO2017158424A1 (en) Road plane output with lateral slope
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
WO2008044592A1 (en) Mobile object recognizing device, mobile object recognizing method, and computer program
KR20200047487A (ko) 탑-뷰 영상 생성 장치 및 그 방법
KR20210130688A (ko) 탑-뷰 영상 생성 장치 및 그 방법
US8675047B2 (en) Detection device of planar area and stereo camera system
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
EP3866110A1 (en) Target detection method, target detection apparatus and unmanned aerial vehicle
JP6988860B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
JP4555635B2 (ja) 画像処理装置および画像処理方法
KR102658268B1 (ko) Avm용 주행 자동 공차 보정 장치 및 방법
JP2024514715A (ja) 車両からのセンサ情報を較正する方法及び運転者支援システム
Šegvić et al. Preliminary experiments in multi-view video stitching

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant