KR102538592B1 - 탑-뷰 영상 생성 장치 및 그 방법 - Google Patents

탑-뷰 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR102538592B1
KR102538592B1 KR1020160111632A KR20160111632A KR102538592B1 KR 102538592 B1 KR102538592 B1 KR 102538592B1 KR 1020160111632 A KR1020160111632 A KR 1020160111632A KR 20160111632 A KR20160111632 A KR 20160111632A KR 102538592 B1 KR102538592 B1 KR 102538592B1
Authority
KR
South Korea
Prior art keywords
view image
rotation angle
camera
rotation
vehicle
Prior art date
Application number
KR1020160111632A
Other languages
English (en)
Other versions
KR20180024783A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160111632A priority Critical patent/KR102538592B1/ko
Priority to US15/630,896 priority patent/US10300854B2/en
Publication of KR20180024783A publication Critical patent/KR20180024783A/ko
Application granted granted Critical
Publication of KR102538592B1 publication Critical patent/KR102538592B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

탑뷰 영상 생성 방법이 개시된다. 이 방법은 차량이 주행하는 동안, 카메라를 이용하여 차량 주변의 지면을 촬영한 입력 영상 획득하는 단계; 상기 입력 영상으로부터 적어도 2개의 차선을 검출하는 단계; 상기 검출된 적어도 2개의 차선이 교차하는 소실점을 검출하는 단계; 상기 소실점을 이용하여 상기 카메라의 제1 회전각도를 계산하는 단계; 상기 제1 회전각도를 기반으로, 상기 입력 영상을 탑뷰 영상 좌표계에서 표현되는 탑뷰 영상으로 변환하기 위한 상기 카메라의 제2 회전각도를 계산하는 단계; 및 상기 제2 회전각도를 이용하여 상기 입력 영상을 회전 변환하여 상기 탑뷰 영상을 생성하는 단계를 포함한다.

Description

탑-뷰 영상 생성 장치 및 그 방법{APPARATUS FOR GENERATING TOP-VIEW IMAGE AND METHOD THEREOF}
본 발명은 탑-뷰 영상 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 차량의 도로 주행 상황에서 카메라 공차를 자동으로 보상하여 탑뷰 영상(Top-view image)을 생성하는 탑-뷰 영상 생성 장치 및 그 방법에 관한 것이다.
탑뷰 영상 생성 장치는 차량의 전면, 양쪽 사이드 미러, 트렁크 등에 각각 설치된 4개의 카메라로부터 획득한 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 차량의 상부에서 바라본 시점을 갖는 하나의 탑뷰 영상으로 변환하는 장치로, "어라운드 뷰 모니터링(Around View Monitoring: AVM) 시스템"으로 불리기도 한다.
탑뷰 영상 생성 장치에서는, 전방 영상, 후방 영상, 좌측 영상 및 우측 영상으로 이루어진 4개의 영상들을 하나의 탑뷰 영상으로 변환하는 영상 정합(image registration) 처리 기법이 사용되며, 탑뷰 영상의 표시 품질은 영상 정합 처리 기법에 따른 정합성에 의해 결정된다.
한편, 카메라가 설치된 차량의 출고 후에, 차량 운행 과정에서 발생하는 차량의 진동, 사이드 미러의 반복적인 폴딩, 트렁크의 반복적인 여닫음 등으로 인하여 차량에 설치된 각 카메라에서는 새로운 카메라 공차(camera tolerance)가 발생하며, 이러한 카메라 공차의 누적은 탑뷰 영상의 정합성 저하로 인해 탑뷰 영상의 표시품질은 저하시킨다.
이러한 카메라 공차를 보상하기 위해, 종래에는 운전자가 카메라 공차를 전문적으로 보상하는 정비 업소에 차량과 함께 직접 방문하는 데, 이는 주기적으로 정비 업소를 방문해야 하는 불편함과 그에 따른 비용 발생을 초래한다.
따라서, 본 발명의 목적은 정비 업소를 직접 방문하지 않고, 차량이 도로를 주행하는 상황에서 실시간으로 카메라 공차를 보상하기 위한 카메라 회전 각도를 추정하고, 추정된 카메라 회전 각도를 이용하여 탑뷰 영상을 생성하는 탑뷰 영상 생성 장치 및 그 방법을 제공하는 데 있다.
본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 탑뷰 영상 생성 방법은, 차량이 주행하는 동안, 카메라를 이용하여 차량 주변의 지면을 촬영한 입력 영상 획득하는 단계; 상기 입력 영상으로부터 적어도 2개의 차선을 검출하는 단계; 상기 검출된 적어도 2개의 차선이 교차하는 소실점을 검출하는 단계; 상기 소실점을 이용하여 상기 카메라의 제1 회전각도를 계산하는 단계; 상기 제1 회전각도를 기반으로, 상기 입력 영상을 탑뷰 영상 좌표계에서 표현되는 탑뷰 영상으로 변환하기 위한 상기 카메라의 제2 회전각도를 계산하는 단계; 및 상기 제2 회전각도를 이용하여 상기 입력 영상을 회전 변환하여 상기 탑뷰 영상을 생성하는 단계를 포함한다.
본 발명의 다른 일면에 따른 탑뷰 영상 생성 장치는, 차량이 주행하는 동안, 차량 주변의 지면을 촬영한 입력 영상들을 획득하는 카메라; 상기 입력 영상들 각각으로부터 적어도 2개의 차선을 검출하는 차선 검출부; 상기 검출된 적어도 2개의 차선이 교차하는 소실점을 검출하는 소실점 검출부; 상기 소실점을 이용하여 상기 입력 영상들을 탑뷰 시점의 영상으로 각각 변환하기 위한 회전각도를 계산하는 회전각도 계산부; 상기 회전각도를 이용하여 상기 입력 영상들을 회전 변환하는 영상 회전부; 및 상기 회전각도로 회전 변환된 상기 입력 영상들을 합성하여 탑뷰 영상을 생성하는 영상 합성부를 포함한다.
본 발명에 따르면, 차량이 도로를 주행하는 상황에서 실시간으로 카메라 공차를 보상함으로써, 운전자가 차량과 함께 주기적으로 정비 업체를 방문하여 카메라 공차를 보상해야 하는 번거로움을 줄일 수 있다.
또한, 실시간으로 카메라 공차를 보상함으로써, 카메라 공차에 의한 탑뷰 영상의 표시 품질 저하를 방지할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치의 기능 블록도이다.
도 2는 도 1에 도시한 회전각도 계산부의 기능 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 좌표계에서 정의되는 피치 방향, 롤 방향 및 요 방향을 도식적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 소실점을 카메라 주점으로 이동시키는 카메라 회전각도의 물리적 의미를 도식적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 실제 입력 영상과 상기 입력 영상을 소실점을 카메라 주점으로 이동시키는 제1 회전각도로 회전 변환한 실제 회전 변환한 영상의 일 예를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 방법을 나타내는 순서도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈", "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 발명은 정비 업체를 방문 하지도 않고서도 차량이 도로를 주행하는 상황에서 실시간으로 카메라 공차를 보상하기 위해 지면에 표시되는 각종 표시선을 이용하여 카메라의 회전 각도를 추정하는 기술적 특징을 포함하도록 구성된다.
또한 본 발명은 상기 추정된 카메라의 회전 각도를 이용하여, 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 각각 전방 탑뷰 영상, 후방 탑뷰 영상, 좌측 탑뷰 영상 및 우측 탑뷰 영상으로 회전 변환하고, 상기 회전 변환된 전방 탑뷰 영상, 후방 탑뷰 영상, 좌측 탑뷰 영상 및 우측 탑뷰 영상을 합성하여(또는 정합하여), 하나의 탑뷰 영상을 생성하는 기술적 특징으로 포함하도록 구성된다.
이하, 도면을 참조하여, 본 발명의 일 실시 예에 대해 상세히 기술한다.
도 1은 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치의 블록 도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치(100)는 지면에 표시되는 각종 표시 선을 이용하여 카메라의 회전 각도를 추정하고, 추정된 회전 각도를 이용하여 탑뷰 영상을 생성하기 위해, 카메라(110), 렌즈 왜곡 보정부(120), 차선 검출부(130), 소실점(Vanishing Point: VP) 검출부(140), 회전각도 계산부(150), 영상 회전부(160), 영상 합성부(170), 프레임 버퍼(175), 탑뷰 영상 검증부(180) 및 표시부(190)를 포함하도록 구성될 수 있다.
상기 카메라(110)는 차량의 360도 주변 지면을 촬영하는 구성으로, 전방 카메라(112), 후방 카메라(114), 좌측 카메라(116) 및 우측 카메라(118)를 포함할 수 있다. 전방 카메라(112)는 차량의 전방 지면을 촬영하여 전방 영상(Ifront)을 생성하고, 후방 카메라(114)는 차량의 후방 지면을 촬영하여 후방 영상(Iback)을 생성하고, 좌측 카메라(116)는 차량의 좌측방 지면을 촬영하여 좌측 영상(Ileft)을 생성한다. 그리고 우측 카메라(118)는 차량의 우측방 지면을 촬영하여 우측 영상(Iright)을 생성한다. 각 카메라는, 차량의 360도 주변 지면을 촬영하도록 광각 렌즈(wide-lens)를 구비하며, 각 카메라의 광축이 지면과 평행하지 않도록 차량에 설치되는 것이 바람직하다.
상기 렌즈 왜곡 보정부(120)는 광각 렌즈가 갖는 넓은 화각 특성에 의해, 각 영상(Ifront, Iback, Ileft, Iright) 내에 포함된 객체들(예를 들면, 지면에 표시되는 각종 표시선)의 왜곡을 보정하는 구성으로, 각 카메라(112, 114, 116, 118)로부터 입력된 전/후/좌/우측 영상을 렌즈 왜곡 모델(lens distortion model) 또는 렌즈 왜곡 보정 알고리즘을 기반으로 각각 보정하여, 렌즈 왜곡이 보정된 전/후/좌/우측 영상(CIfront, CIback, CIleft, CIright)을 생성한다. 본 발명의 기술적 특징은 렌즈 왜곡 모델(lens distortion model) 또는 렌즈 왜곡 보정 알고리즘을 한정하는 것이 아니므로, 이들에 대한 설명은 공지 기술로 대신한다.
상기 차선 검출부(130)는 상기 렌즈 왜곡 보정부(120)로부터 입력된 전/후/좌/우측 영상(CIfront, CIback, CIleft 및 CIright)으로부터 도로 지면에 표시된 적어도 2개의 표시선들을 검출한다. 여기서, 표시선은 크게 차량의 종축(또는 차량의 주행 방향)에 평행한 표시선 및 차량의 종축에 수직한 표시선으로 구분할 수 있다. 차량의 종축에 평행한 표시선은 차선을 예로들 수 있다. 차량의 종축에 수직한 표시선은 정지선, 주차 표시선 등을 예로 들 수 있다.
표시선을 차량의 종축에 평행한 표시선과 차량의 종축에 수직한 표시선으로 구분할 때, 전/후방 영상(CIfront, CIback)으로부터 차량의 종축에 평행한 표시선(예를 들면, 차선)이 각각 검출되고, 좌/우측 영상(CIleft, CIright) 으로부터 차량의 종축에 수직한 표시선(예를 들면, 정지선, 주차 표시선)이 각각 검출된다.
전/후/좌/우측 영상(CIfront, CIback, CIleft 및 CIright)으로부터 각각 적어도 2개의 차선을 검출하는 방법으로, 차선 검출 알고리즘이 이용될 수 있으며, 본 발명은 차선 검출 알고리즘을 한정하는 것이 아니므로, 이에 대해 설명은 공지 기술로 대신한다. 이하에서는, 설명의 이해를 돕기 위해, 상기 차선 검출부(130)가 차선, 정지선, 주차 표시선을 구분하지 않고, 전/후/좌/우측 영상(CIfront, CIback, CIleft 및 CIright) 각각으로부터 2개의 차선을 검출한 것으로 가정한다.
상기 소실점 검출부(140)는 상기 차선 검출부(130)에서 전/후/좌/우측 영상(CIfront, CIback, CIleft 및 CIright) 내에서 각각 검출한 2개의 차선을 연장하고, 연장된 2개의 차선이 만나는(교차하는) 소실점(VPfront, VPback, VPleft 및 VPright)을 검출한다. 여기서, 검출된 소실점은 영상 좌표계 내에서의 소실점 좌표를 포함할 수 있다.
상기 회전각도 계산부(150)는 상기 소실점 검출부(140)에서 각 영상(CIfront, CIback, CIleft 및 CIright) 별로 검출한 소실점을 이용하여, 카메라 공차를 보상하기 위한 각 카메라(112, 114, 116 및 118)의 회전각도를 계산하고(또는 추정하고), 계산한(또는 추정한) 각 카메라(112, 114, 116 및 118)의 회전각도([θ2]front, [θ2]back, [θ2]left 및 [θ2]right)를 생성한다.
구체적으로, 상기 회전각도 계산부(150)는, 도 2에 도시된 바와 같이, 제1 회전각도 계산부(152) 및 제2 회전각도 계산부(154)를 포함하도록 구성될 수 있다.
도 2를 참조하면, 상기 제1 회전각도 계산부(152)는 전방 영상(CIfront)에서 검출한 2개의 차선이 만나는 소실점(VPfront)을 사전에 알고 있는 전방 카메라(112)의 카메라 주점(Camera Principal Point: CPPfront)으로 이동시키는 제1 회전각도([θ1]front)를 계산한다. 여기서, 제1 회전각도([θ1]front)는 피치(pitch) 방향의 회전량, 요(Yaw) 방향의 회전량 및 롤(Roll) 방향의 회전량 중 적어도 하나의 회전량을 포함한다. 도 3에는 카메라 좌표계에서 정의되는 피치 방향, 롤 방향 및 요 방향을 도식적으로 나타낸 것으로, x-y-z축으로 이루어진 3차원 직교 좌표계에서 카메라의 광축이 z축이라 할 때, 피치 방향은 x축을 중심으로 회전하는 회전 방향이고, 요 방향은 y축을 중심으로 회전하는 회전 방향이고, 롤 방향은 z축을 중심으로 회전하는 회전 방향이다.
상기 소실점(VPfront)을 카메라 주점(CPPfront)으로 이동시키는 회전각도를 계산하는 방법으로, 영상의 기하학적 해석에서 사용되는 호모그래피(Homography) 방법이 이용될 수 있다. 호모그래피(Homography)는 한 평면을 다른 평면에 투영(projection)시켰을 때 투영된 대응점들 사이에는 일정한 변환관계가 성립하는데 이 변환관계를 호모그래피라 부른다. 호모그래피는 3x3 행렬로 표현되며 대응점들의 동차좌표(homogeneous coordinate) 표현에 대해 성립하는 변환관계이다.
상기 전방 영상(CIfront)에서 검출한 2개의 차선이 만나는 소실점(VPfront)을 이용하여 상기 제1 회전각도([θ1]front)를 계산하는 방식과 유사하게, 상기 제1 회전각도 계산부(152)는 나머지 영상들(CIback, CIleft 및 CIright) 각각의 제1 회전각도([θ1]back, [θ1]left 및 [θ1]right)를 계산한다. 즉, 후방 영상(CIback)에서 검출한 2개의 차선이 만나는 소실점(VPback)을 사전에 알고 있는 후방 카메라(114)의 카메라 주점(CPPback)으로 이동시키는 후방 영상(CIback)의 제1 회전각도([θ1]back)가 계산되고, 좌측 영상(CIleft)에서 검출한 2개의 차선이 만나는 소실점(VPleft)을 사전에 알고 있는 좌측 카메라(116)의 카메라 주점(CPPleft)으로 이동시키는 좌측 영상(CIleft)의 제1 회전각도([θ1]left)가 계산되고, 우측 영상(CIright)의 제1 회전각도는 우측 영상(CIright)에서 검출한 2개의 차선이 만나는 소실점(VPright)을 사전에 알고 있는 우측 카메라(118)의 카메라 주점(CPPright)으로 이동시키는 우측 영상(CIright)의 제1 회전각도([θ1] right)가 계산된다.
상기 제2 회전각도 계산부(154)는 상기 제1 회전각도 계산부(152)에서 계산한 제1 회전각도들([θ1]front, [θ1]back, [θ1]left 및 [θ1]right)을 이용하여 카메라가 지면을 향하게 하는(카메라 광축을 지면에 수직하게 하는) 제2 회전각도들([θ2]front, [θ2]back, [θ2]left 및 [θ2]right)을 계산한다. 여기서, 제2 회전각도 각각은 피치(pitch) 방향의 회전량, 요(Yaw) 방향의 회전량 및 롤(Roll) 방향의 회전량 중 적어도 하나의 회전량을 포함한다.
구체적으로, 차선에 수직한 X축과 차선과 평행한 Y축의 2차원 좌표계 형태로 표현되는 탑뷰 영상 좌표계를 가정할 때, 제1 회전각도에 포함된 피치 방향의 회전량과 요 방향의 회전량을 이용하여 카메라가 지면을 향하게 하는 피치 방향의 회전량과 요 방향의 회전량을 포함하는 제2 회전각도를 계산하고, 제1 회전각도에 포함된 롤 방향의 회전량을 이용하여 차선 방향이 탑뷰 영상 좌표계의 Y축과 평행하게 하는 롤 방향의 회전량을 포함하는 제2 회전각도를 계산한다.
소실점을 카메라 주점으로 이동시키는 제1 회전각도는, 도 4에 도시된 바와 같이, 지면과 카메라 좌표계에서 정의된 X축과 Z축을 포함하는 XZ 평면을 서로 평행하게 하는 회전각도를 의미한다. 영상의 기하학적 해석에 따르면, 카메라 좌표계에서 정의하는 XZ 평면과 지면이 서로 평행하고, 차선과 Z축이 평행하면, 렌즈 왜곡이 보정된 전방 영상(CIfront)에서 검출되는 소실점은 카메라 주점의 좌표와 같다. 소실점은 무한대로 연장된 2개의 차선이 교차하는 점이므로, 소실점의 위치 변화는 카메라의 위치 이동에 의해서는 일어나지 않으며, 오직 카메라 회전변환에 의해서만 일어난다. 도 5에는 렌즈왜곡 보정된 임의의 전방 영상(A)의 사진과 상기 전방 영상(A)을 소실점을 카메라 주점으로 이동시키는 제1 회전각도로 회전 변환한 영상의 실제 사진(B)을 보여준다.
소실점을 카메라 주점으로 이동시키는 제1 회전각도([θ1]front, [θ1]back, [θ1]left 및 [θ1]right), 즉, 지면과 XZ 평면을 서로 평행하게 하는(또는 지면과 카메라 광축을 평행하게 하는) 회전각도를 알면, 카메라가 지면을 향하게 하는(카메라 광축을 지면에 수직하게 하는) 제2 회전각도는 간단하게 계산될 수 있다. 즉, 제1 회전각도에 의해 회전 변환된 영상의 시점과 제2 회전각도에 의해 회전 변환된 영상의 시점은 90도의 관계에 있으며, 이러한 관계를 기반으로 제1 회전각도로부터 제2 회전각도의 계산이 가능하다.
다시 도 1을 참조하면, 상기 영상 회전부(160)는 상기 회전각도 계산부(150)로부터 입력된 제2 회전각도들([θ2]front, [θ2]back, [θ2]left 및 [θ2]right)을 이용하여 렌즈왜곡 보정된 전방, 후방, 좌측 및 우측 영상(CIfront, CIback, CIleft 및 CIright)을 전방 탑뷰, 후방 탑뷰, 좌측 탑뷰 및 우측 탑뷰 영상(TIfront, TIback, TIleft 및 TIright)으로 각각 회전 변환한다.
상기 영상 합성부(170)는 전방 탑뷰, 후방 탑뷰, 좌측 탑뷰 및 우측 탑뷰 영상(TIfront, TIback, TIleft 및 TIright)을 합성하여, 단일 탑뷰 영상(TI)을 생성한다. 단일 탑뷰 영상(TI)은 프레임 단위로 순차적으로 생성되며, 도 1에서는 "TIn"는 현재 프레임에서 생성한 현재 탑뷰 영상을 지칭하고, "TIn - 1"는 이전 프레임에서 생성한 이전 탑뷰 영상을 지칭한다.
상기 프레임 버퍼(175)는 이전 탑뷰 영상(TIn - 1)을 프레임 단위로 저장하고, 현재 탑뷰 영상(TIn)이 탑뷰 영상 검증부(180)로 출력되는 시점과 동일한 시점에 이전 탑뷰 영상(TIn - 1)을 상기 탑뷰 영상 검증부(180)로 출력하도록 지연시킨다.
상기 탑뷰 영상 검증부(180)는 상기 이전 탑뷰 영상과 상기 현재 탑뷰 영상을 비교하여, 상기 영상 합성부(170)에서 프레임 단위로 생성하는 탑뷰 영상을 검증한다.
구체적으로, 상기 탑뷰 영상 검증부(180)는 차량이 직진 주행 중인 상황에서 상기 이전 탑뷰 영상(TIn - 1)에서 검출한 차선의 차선 방향과 현재 탑뷰 영상(TIn)에서 검출한 차선의 차선 방향이 일치하는 지를 검증한다. 여기서, 차량의 직진 주행은 차량 내의 조향각 센서로부터 획득한 조향각 정보를 기초로 판단할 수 있다.
또한 상기 탑뷰 영상 검증부(180)는 차량이 직진 주행 중인 상황에서 상기 이전 탑뷰 영상(TIn - 1)에서 검출한 차선과 차량의 종축 간의 간격과 상기 현재 탑뷰 영상(TIn)에서 검출한 차선과 차량의 종축 간의 간격이 일치하는 지를 검증한다.
소실점을 기반으로 계산된 제1 회전 각도로부터 카메라가 지면을 향하도록 계산된 제2 회전 각도는 차량의 종축과는 무관하기 때문에, 차량의 종축과 탑뷰 영상 좌표계 간의 정렬이 필요하며, 차량의 종축과 탑뷰 영상 좌표계 간의 정렬을 위해, 상기 탑뷰 영상 검증부(180)는 연속된 탑뷰 영상들(TIn -1, TIn)에서 각각 검출된 차선 방향이 일치하는 지와 연속된 탑뷰 영상들(TIn -1, TIn)에서 차선과 차량 종축간의 간격이 일정하게 유지하는 지를 검증한다.
상기 탑뷰 영상 검증부(180)는, 검증 결과, 연속된 프레임에서 차선 방향과 간격(차선과 차량의 종축 간의 간격)이 일정하게 유지함이 확인되면, 차량의 종축과 탑뷰 영상 좌표계 간의 정렬이 완료된 것으로 판단하여, 상기 영상 합성부(170)에서 생성하는 탑뷰 영상을 표시부(190)로 제공하고, 표시부(190)는 탑뷰 영상을 표시한다.
만일, 연속된 프레임에서 차선 방향과 간격(차선과 차량의 종축 간의 간격)이 일정하게 유지하지 않음이 확인되면, 상기 탑뷰 영상 검증부(180)는 상기 탑뷰 영상의 출력을 중지하도록 상기 표시부(190)를 제어한다.
이상 설명한 바와 같이, 본 발명의 일 실시 예에 따른 탑뷰 영상 생성 장치(100)는 도로 주행 상황에서 차량의 주변 지면을 촬영한 입력 영상으로부터 적어도 2개의 차선을 검출하고, 검출된 적어도 2개의 차선이 교차하는 소실점을 이용하여 카메라 공차를 보정하기 위한 카메라의 제1 회전각도를 계산(추정)하고, 계산된 제1 회전각도를 이용하여 상기 입력 영상을 탑뷰 영상으로 변환하기 위한 제2 회전각도를 계산(추정)함으로써, 도로를 주행하는 상황에서 실시간으로 카메라 공차를 보상함으로써, 운전자가 차량과 함께 주기적으로 정비 업체를 방문하여 카메라 공차를 보상해야 하는 번거로움을 줄일 수 있고, 실시간으로 카메라 공차를 보상함으로써, 카메라 공차에 의한 탑뷰 영상의 표시 품질 저하를 방지할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 탑-뷰 영상 생성 방법을 나타내는 순서도로서, 아래의 각 단계에서 도 1 내지 도 5에서 설명한 내용과 중복되는 내용은 간략히 기재하거나 생략하기로 한다.
도 6을 참조하면, 먼저, 단계 S601에서, 차량이 실제 도로 주행하는 상황에서 차량에 설치된 카메라(112, 114, 116 및 118)를 이용하여 차량의 주변 지면을 촬영한 입력 영상(Ifront, Iback, Ileft 및 Iright)을 획득하는 과정이 수행된다.
이어, 단계 S603에서, 렌즈 왜곡 보정 알고리즘(렌즈 왜곡 모델)을 기반으로 광각 렌즈에 따른 상기 입력 영상의 왜곡을 보정하는 과정이 수행된다.
이어, 단계 S605에서, 렌즈 왜곡이 보정된 입력 영상(CIfront, CIback, CIleft 및 CIright)으로부터 적어도 2개의 차선을 검출하는 과정이 수행된다.
이어, 단계 S607에서, 검출된 적어도 2개의 차선이 교차하는 소실점(VPfront, VPback, VPleft 및 VPright)을 검출하는 과정이 수행된다.
이어, 단계 S609에서, 소실점(VPfront, VPback, VPleft 및 VPright)을 카메라 주점(CPPfront, CPPback, CPPleft, 및 CPPright)으로 이동시키는 제1 회전각도([θ1]front, [θ1]back, [θ1]left 및 [θ1]right)를 계산하는 과정이 수행된다.
이어, 단계 S611에서, 상기 제1 회전각도를 이용하여 상기 입력영상을 탑뷰 시점에 바라본 탑뷰 영상으로 변환하기 위한 제2 회전각도([θ2]front, [θ2]back, [θ2]left 및 [θ2]right)를 계산하는 과정이 수행된다.
이어, 단계 S613에서, 상기 렌즈 왜곡이 보정된 영상(CIfront, CIback, CIleft 및 CIright)을 상기 제2 회전각도로 회전 변환하고, 회전 변환된 영상들을 합성하여 단일 탑뷰 영상(TI)을 생성하는 과정이 수행된다.
이어, 단계 S615에서, 차량 종축과 탑뷰 영상 좌표계 간의 정렬을 위해, 탑뷰 영상을 검증하는 과정이 수행된다. 구체적으로, 차량이 직진 주행 중인 상황에서 이전 탑뷰 영상(TIn - 1)에서 검출한 차선의 차선 방향과 현재 탑뷰 영상(TIn)에서 검출한 차선의 차선 방향이 일치하는 지를 검증한다. 또한 차량이 직진 주행 중인 상황에서 상기 이전 탑뷰 영상(TIn - 1)에서 검출한 차선과 차량의 종축 간의 간격과 상기 현재 탑뷰 영상(TIn)에서 검출한 차선과 차량의 종축 간의 간격이 일치하는 지를 검증한다.
이어, 단계 S617에서, 이전 프레임에서 차선 방향과 현재 프레임에서 차선 방향이 일치하고, 이전 프레임에서 간격(차선과 차량의 종축 간의 간격)과 현재 프레임에서 간격(차선과 차량의 종축 간의 간격)이 일치하는 경우, 즉, 차선 방향과 간격(차선과 차량의 종축 간의 간격)이 연속된 프레임에서 변화가 없는 경우, 차량 종축과 탑뷰 영상 좌표계가 정렬된 것으로 판단하여, 단계 S619에서, 해당 탑뷰 영상을 표시부(190)를 통해 출력하는 과정이 수행된다.
만일, 이전 프레임에서 차선 방향과 현재 프레임에서 차선 방향이 불일치하고, 이전 프레임에서 간격(차선과 차량의 종축 간의 간격)과 현재 프레임에서 간격(차선과 차량의 종축 간의 간격)이 불일치하는 경우, 즉, 차선 방향과 간격(차선과 차량의 종축 간의 간격)이 연속된 프레임에서 변화가 있는 경우, 차량 종축과 탑뷰 영상 좌표계가 정렬되지 않은 것으로 판단하여, 해당 탑뷰 영상의 출력을 중지하고, 단계 S601 내지 단계 S615의 과정들이 재수행된다.
이상 설명한 바와 같이, 본 발명의 탑뷰 영상 생성 장치 및 방법에서는, 차량이 실제 주행중인 상황에서도 소실점을 이용하여 카메라의 회전각도를 추정하고, 추정된 회전각도로 카메라 공차를 보정함으로써, 카메라 공차를 보정하기 위해 A/S 업체에 직접 방문하는 불편함을 해소하고, 동시에, 탑뷰 영상의 정합성을 개선할 수 있다.
한편, 본 발명의 일 실시 예에 따른 카메라 탑뷰 영상 생성 장치(100)를 나타내는 도 1, 2의 블록 도는 발명의 원리를 기능적 관점에서 구체화한 것으로 이해해야 한다. 이와 유사하게, 도 6의 순서 도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 도 1 및 2의 블록들은 전용 하드웨어뿐만 아니라 소프트웨어를 실행할 수 있는 하드웨어의 사용으로 제공될 수 있다.
도 1 및 2의 블록들이 프로세서에 의해 구현될 때, 도 1 및 2에 도시된 블록들의 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 물론 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 차량이 주행하는 동안, 카메라를 이용하여 차량 주변의 지면을 촬영한 입력 영상 획득하는 단계;
    상기 입력 영상으로부터 적어도 2개의 차선을 검출하는 단계;
    상기 검출된 적어도 2개의 차선이 교차하는 소실점을 검출하는 단계;
    상기 소실점을 이용하여 상기 카메라의 제1 회전각도를 계산하는 단계;
    상기 제1 회전각도를 기반으로, 상기 입력 영상을 탑뷰 영상 좌표계에서 표현되는 탑뷰 영상으로 변환하기 위한 상기 카메라의 제2 회전각도를 계산하는 단계; 및
    상기 제2 회전각도를 이용하여 상기 입력 영상을 회전 변환하여 상기 탑뷰 영상을 생성하는 단계를 포함하고,
    차량 종축과 상기 탑뷰 영상 좌표계 간의 정렬을 위해, 상기 탑뷰 영상을 생성하는 단계 이후, 상기 탑뷰 영상을 검증하는 단계를 더 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  2. 제1항에서, 상기 제1 회전각도를 계산하는 단계는,
    상기 소실점을 상기 카메라의 카메라 주점(Camera Principal Point)으로 이동시키는 상기 제1 회전각도를 계산하는 단계임을 특징으로 하는 탑뷰 영상 생성 방법.
  3. 제1항에서, 상기 제1 회전각도를 계산하는 단계는,
    피치(pitch) 방향은 X축을 중심으로 회전하는 회전 방향이고, 요(yaw) 방향은 Y축을 중심으로 회전하는 회전 방향이고, 롤(roll) 방향은 카메라의 광축인 Z축을 중심으로 회전하는 회전 방향을 정의하는 카메라 좌표계에서, X축과 Z축을 포함하는 XZ평면과 상기 지면을 평행하게 하는 상기 제1 회전각도를 계산하는 단계임을 특징으로 하는 탑뷰 영상 생성 방법.
  4. 제1항에서, 상기 제2 회전각도를 계산하는 단계는,
    차선에 수직한 X축과 차선과 평행한 Y축의 2차원 좌표계로 표현되는 탑뷰 영상 좌표계를 가정할 때,
    상기 제1 회전각도에 포함된 피치 방향의 회전량과 요 방향의 회전량을 이용하여, 카메라가 지면을 향하게 하는 피치 방향의 회전량과 요 방향의 회전량을 각각 계산하는 단계; 및
    상기 제1 회전각도에 포함된 롤 방향의 회전량을 이용하여, 차선 방향이 상기 탑뷰 영상 좌표계의 Y축과 평행하게 하는 롤 방향의 회전량을 계산하는 단계
    를 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  5. 삭제
  6. 제1항에서, 상기 탑뷰 영상을 검증하는 단계는,
    이전 프레임에서 생성된 이전 탑뷰 영상으로부터 차선을 검출하고, 현재 프레임에서 생성된 현재 탑뷰 영상으로부터 차선을 검출하는 단계;
    상기 이전 탑뷰 영상으로부터 검출된 상기 차선의 방향과 상기 현재 탑뷰 영상으로부터 검출된 상기 차선의 방향이 일치한 지를 판단하는 단계;
    상기 이전 탑뷰 영상으로부터 검출된 상기 차선과 차량 종축 간의 간격과 상기 현재 탑뷰 영상으로부터 검출된 상기 차선과 차량 종축 간의 간격이 일치한 지를 판단하는 단계; 및
    상기 이전 탑뷰 영상으로부터 검출된 차선의 방향과 상기 현재 탑뷰 영상으로부터 검출된 차선의 방향이 일치하고, 상기 이전 탑뷰 영상으로부터 검출된 상기 차선과 차량 종축 간의 간격과 상기 현재 탑뷰 영상으로부터 검출된 상기 차선과 차량 종축 간의 간격이 일치한 경우, 차량 종축과 상기 탑뷰 영상 좌표계 간의 정렬이 완료된 것으로 판단하는 단계
    를 포함함을 특징으로 하는 탑뷰 영상 생성 방법.
  7. 차량이 주행하는 동안, 차량 주변의 지면을 촬영한 입력 영상들을 획득하는 카메라;
    상기 입력 영상들 각각으로부터 적어도 2개의 차선을 검출하는 차선 검출부;
    상기 검출된 적어도 2개의 차선이 교차하는 소실점을 검출하는 소실점 검출부;
    상기 소실점을 이용하여 상기 입력 영상들을 탑뷰 시점의 영상으로 각각 변환하기 위한 회전각도를 계산하는 회전각도 계산부;
    상기 회전각도를 이용하여 상기 입력 영상들을 회전 변환하는 영상 회전부; 및
    상기 회전각도로 회전 변환된 상기 입력 영상들을 합성하여 탑뷰 영상을 생성하는 영상 합성부를 포함하고,
    차량 종축과 상기 탑뷰 영상 좌표계 간의 정렬을 위해, 상기 탑뷰 영상을 검증하는 탑뷰 영상 검증부를 더 포함함을 특징으로 하는 탑뷰 영상 생성 장치.
  8. 제7항에서, 상기 회전각도 계산부는,
    상기 소실점을 상기 카메라의 카메라 주점(Camera Principal Point)으로 이동시키는 제1 회전각도를 계산하는 제1 회전각도 계산부; 및
    상기 제1 회전각도를 이용하여 상기 입력 영상들을 탑뷰 영상 좌표계에서 표현되는 영상으로 각각 변환하기 위한 제2 회전각도를 계산하는 제2 회전각도 계산부
    를 포함함을 특징으로 하는 탑뷰 영상 생성 장치.
  9. 제8항에서, 상기 제1 회전각도 계산부는,
    피치(pitch) 방향은 X축을 중심으로 회전하는 회전 방향이고, 요(yaw) 방향은 Y축을 중심으로 회전하는 회전 방향이고, 롤(roll) 방향은 카메라의 광축인 Z축을 중심으로 회전하는 회전 방향을 정의하는 카메라 좌표계에서, X축과 Z축을 포함하는 XZ평면과 상기 지면을 평행하게 하는 상기 제1 회전각도를 계산함을 특징으로 하는 탑뷰 영상 생성 장치.
  10. 제8항에서, 상기 제2 회전각도 계산부는,
    차선에 수직한 X축과 차선과 평행한 Y축의 2차원 좌표계로 표현되는 탑뷰 영상 좌표계를 가정할 때, 상기 제1 회전각도에 포함된 피치 방향의 회전량과 요 방향의 회전량으로부터, 카메라가 지면을 향하게 하는 피치 방향의 회전량과 요 방향의 회전량을 각각 계산하고, 상기 제1 회전각도에 포함된 롤 방향의 회전량으로부터, 차선 방향이 상기 탑뷰 영상 좌표계의 Y축과 평행하게 하는 롤 방향의 회전량을 계산함을 특징으로 하는 탑뷰 영상 생성 장치.
  11. 삭제
  12. 제7항에서, 상기 탑뷰 영상 검증부는,
    이전 프레임의 이전 탑뷰 영상과 현재 프레임의 현재 탑뷰 영상 간의 차이를 이용하여, 차량 종축과 상기 탑뷰 영상 좌표계 간의 정렬 여부를 검증함을 특징으로 하는 탑뷰 영상 생성 장치.
  13. 제12항에서, 상기 탑뷰 영상 검증부는,
    상기 이전 탑뷰 영상으로부터 검출된 차선의 방향과 상기 현재 탑뷰 영상으로부터 검출된 차선 방향이 일치하는지의 여부와 상기 이전 탑뷰 영상으로부터 검출된 상기 차선과 차량 종축 간의 간격과 상기 현재 탑뷰 영상으로부터 검출된 상기 차선과 차량 종축 간의 간격이 일치하는지의 여부를 판단하여, 차량 종축과 상기 탑뷰 영상 좌표계 간의 정렬 여부를 검증함을 특징으로 하는 탑뷰 영상 생성 장치.
KR1020160111632A 2016-08-31 2016-08-31 탑-뷰 영상 생성 장치 및 그 방법 KR102538592B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160111632A KR102538592B1 (ko) 2016-08-31 2016-08-31 탑-뷰 영상 생성 장치 및 그 방법
US15/630,896 US10300854B2 (en) 2016-08-31 2017-06-22 Apparatus and method of generating top-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160111632A KR102538592B1 (ko) 2016-08-31 2016-08-31 탑-뷰 영상 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180024783A KR20180024783A (ko) 2018-03-08
KR102538592B1 true KR102538592B1 (ko) 2023-05-31

Family

ID=61241535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111632A KR102538592B1 (ko) 2016-08-31 2016-08-31 탑-뷰 영상 생성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10300854B2 (ko)
KR (1) KR102538592B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US10636137B1 (en) * 2017-10-23 2020-04-28 Amazon Technologies, Inc. System for determining object orientations in an image
KR101986572B1 (ko) * 2018-03-29 2019-06-10 레드원테크놀러지 주식회사 원격 무인잠수정 제어시스템 및 제어 방법
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
KR102677513B1 (ko) 2018-10-23 2024-06-21 삼성전자주식회사 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치
KR20210148756A (ko) 2020-06-01 2021-12-08 삼성전자주식회사 경사 추정 장치 및 이의 동작 방법
CN111968038B (zh) * 2020-10-23 2021-01-12 网御安全技术（深圳）有限公司 一种图像中消失点快速搜寻方法及其系统
KR102480023B1 (ko) * 2021-08-19 2022-12-21 충북대학교 산학협력단 차선 검출 방법 및 이를 이용하는 차량

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030030546A1 (en) * 2001-07-11 2003-02-13 Din-Chang Tseng Monocular computer vision aided road vehicle driving for safety
US20150049193A1 (en) * 2011-04-25 2015-02-19 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
KR101574020B1 (ko) 2014-06-24 2015-12-03 국민대학교산학협력단 스테레오 카메라의 좌우 영상 정합 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020398A (ja) 2002-06-18 2004-01-22 Nippon Telegr & Teleph Corp <Ntt> 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
US9950669B2 (en) * 2015-11-12 2018-04-24 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030030546A1 (en) * 2001-07-11 2003-02-13 Din-Chang Tseng Monocular computer vision aided road vehicle driving for safety
US20150049193A1 (en) * 2011-04-25 2015-02-19 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
KR101574020B1 (ko) 2014-06-24 2015-12-03 국민대학교산학협력단 스테레오 카메라의 좌우 영상 정합 방법 및 장치

Also Published As

Publication number Publication date
US10300854B2 (en) 2019-05-28
KR20180024783A (ko) 2018-03-08
US20180056873A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
KR102538592B1 (ko) 탑-뷰 영상 생성 장치 및 그 방법
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN102194226B (zh) 摄像机校准装置
US9883163B2 (en) Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks
JP4814669B2 (ja) ３次元座標取得装置
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
US20130002861A1 (en) Camera distance measurement device
US20140125772A1 (en) Image processing apparatus and method, image processing system and program
JP7247173B2 (ja) 画像処理方法及び装置
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
KR102528002B1 (ko) 탑뷰 영상 생성 장치 및 그 방법
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
JP7308227B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TW201601952A (zh) 以距離參數調校圖形正確性之３ｄ環車影像系統
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
JP3842988B2 (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
US10281265B2 (en) Method and system for scene scanning
KR20180102080A (ko) 차량 주변의 전방-뷰를 디스플레이하기 위한 방법 및 장치 그리고 각각의 차량
US10891805B2 (en) 3D model establishing device and calibration method applying to the same
JP5964093B2 (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법
WO2023062994A1 (ja) 学習装置、学習方法、学習プログラム、カメラパラメータ算出装置、カメラパラメータ算出方法及びカメラパラメータ算出プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant