KR101209072B1 - 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 - Google Patents

워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 Download PDF

Info

Publication number
KR101209072B1
KR101209072B1 KR1020110130638A KR20110130638A KR101209072B1 KR 101209072 B1 KR101209072 B1 KR 101209072B1 KR 1020110130638 A KR1020110130638 A KR 1020110130638A KR 20110130638 A KR20110130638 A KR 20110130638A KR 101209072 B1 KR101209072 B1 KR 101209072B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
display unit
around view
images
Prior art date
Application number
KR1020110130638A
Other languages
English (en)
Inventor
하수영
나경진
김진경
Original Assignee
아진산업(주)
주식회사 우신산업
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 주식회사 우신산업 filed Critical 아진산업(주)
Priority to KR1020110130638A priority Critical patent/KR101209072B1/ko
Application granted granted Critical
Publication of KR101209072B1 publication Critical patent/KR101209072B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량 어라운드 뷰 영상 생성장치에 있어서, 차량의 사방을 촬영하도록 설치되는 복수 개의 광각 카메라, 복수 개의 광각 카메라로부터 촬영된 복수 개의 입력 영상 신호를 수신하는 영상 신호 수신부, 상기 수신된 입력 영상 신호를 구성하는 영상 화소들이 3차원 워핑 방정식에 의해 대응되는 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장하는 제 1 룩업 테이블, 미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 제 2 룩업 테이블, 주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장하는 제 3 룩업 테이블, 상기 제 1 ~ 제 3 룩업 테이블을 참조하여 상기 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 영상 합성부 및 상기 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 영상 디스플레이부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 어라운드 뷰 영상을 생성하기 위해 소요되는 시간 및 연산량을 단축하여 프로그램 성능이 향상될 뿐 아니라 종래에 비해 낮은 사양의 장비로도 동등한 성능을 제공할 수 있어 제품 단가가 인하될 수 있고 그에 따라 제품 경쟁력을 현저하게 향상시킬 수 있는 효과가 있다.

Description

워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치{AN APPARATUS FOR GENERATING AROUND VIEW IMAGE OF VEHICLE USING WARPING EQUATION AND MULTI LOOK-UP TABLE}
본 발명은 복수 개의 광각 카메라에서 얻어지는 영상들을 이용하여 차량의 어라운드 뷰 영상을 생성하는 장치에 관한 것으로서, 보다 상세하게는 다중 록업 테이블을 이용하여 광각 카메라 영상의 왜곡이 보정된 영상, 사용자 인터페이스 영상 및 주차 지원 영상이 하나의 단말기 출력 윈도우 상에 표시될 수 있도록 하여 영상 신호처리를 위한 연산 시간을 현저하게 단축할 수 있도록 함과 아울러 어라운드 뷰 영상 내에서 차량의 주위 영상뿐만 아니라 주차 지원 영상을 동시에 표시할 수 있어 보다 원활한 주차를 지원할 수 있도록 하는 기술에 관한 것이다.
최근, IT 기술의 발전과 더불어 이를 차량에 접목시키고자 하는 시도가 증가하고 있다. 예컨대, 차량에 카메라를 장착하여 운전 상태나 주변 상황을 녹화하는 블랙 박스 장치나 차량의 후방에 카메라를 설치하여 후진시 후방 영상을 촬영하여 차량 내부의 디스플레이 장치에 출력하도록 하는 주차 보조 시스템 등이 사용되고 있으며 이러한 추세는 점차 증가하고 있는 것으로 보고되고 있다. 한편, 이러한 기술 중에서 최근에는 차량의 전후방, 좌우측면에 광각 카메라를 설치하고 이들 카메라들로부터 촬영되는 영상을 차량의 바로 위 즉, 상방향에서 내려다보는 형태의 영상으로 재구성하여 차량의 디스플레이 장치에 출력함으로써 운전자의 편의를 도모하도록 하는 시스템도 제안되고 있다.
이러한 시스템은 마치 새가 하늘에서 내려다 보는 듯한 영상을 제공한다는 점에서 버드아이뷰(Bird eye vie) 시스템이라고 하거나 AVM(around view monitoring) 시스템 등으로 불리우고 있다. 이러한 기술은 보다 넓은 시야각을 확보하기 위하여 어안(fish eye) 렌즈를 구비하는 광각 카메라를 사용하는데, 이러한 광각 카메라를 사용하게 되면 왜곡된 영상을 최초 영상 신호로서 획득하게 되므로 이러한 왜곡 영상을 왜곡이 없는 영상으로 보정하기 위한 과정을 필요로 하게 된다.
이러한 왜곡된 영상을 교정하는 처리는 왜곡된 영상을 워핑 방정식을 이용하여 교정하는 것이 일반적이며, 워핑 방정식은 다음 수학식과 같이 1차, 2차, 3차 방정식으로 표현된다.
Figure 112011097374512-pat00001
Figure 112011097374512-pat00002
Figure 112011097374512-pat00003
그러나, 이러한 워핑 방정식을 이용한 왜곡 영상 보정을 위해서는 복잡한 연산 과정을 필요로 한다. 따라서, 종래 기술에 의한 어라운드 뷰 시스템은 연산 과정이 복잡하고 실시간으로 처리해야 하므로 연산량이 방대하고 고 사양 및 고가의 하드웨어 장비를 필요로 한다는 문제점이 있다.
이러한 문제점을 해결하기 위해, 한국등록특허 10-1077584호에는 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법에 관한 것으로서, 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호를 구성하는 각각의 영상 화소들이 합성 영상 신호의 영상 화소에 대응되는 관계에 대한 영상 매핑 데이터를 저장하는 룩업 테이블을 이용하여 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 룩업 테이블을 참조하여 각각의 입력 영상 신호에 대응되는 합성 영상 신호를 생성하여 출력하도록 함으로써, 복수개의 카메라로부터 획득한 복수개의 영상을 신속하고 효율적으로 단일 평면화 영상으로 구성할 수 있도록 하는 기술이 제안된 바 있다.
그러나, 이러한 종래 기술은 단일 룩업 테이블을 이용한 것으로서, 도 1과 같이, 카메라의 촬영 영상과 왜곡이 보정된 합성 영상 간의 관계만이 단일 룩업 테이블에 저장되어 있으므로 미리 생성된 사용자 인터페이스 영상이 메모리 상에 별도로 저장되고, 그에 따라 어라운드 뷰 영상과 사용자 인터페이스 영상이 각각의 윈도우에서 생성되어 화면에 출력되게 되므로 영상 처리 효율이 저하되는 문제점이 있다.
또한, 종래 어라운드 뷰 시스템은 어라운드 뷰 영상만을 표시할 뿐, 어라운드 뷰 영상 내에 후방 감지 센서의 감지 신호를 시각화한 영상(후방 감지 신호 영상) 등의 주차 지원 영상은 표시되지 않아 만족할만한 주차 지원이 이루어지지 못하고 있는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위한 안출된 것으로서, 본 발명의 목적은 다중 록업 테이블을 이용하여 광각 카메라 영상의 왜곡이 보정된 영상, 사용자 인터페이스 영상 및 주차 지원 영상이 하나의 단말기 출력 윈도우 상에 표시될 수 있도록 하여 영상 신호처리를 위한 연산 시간을 현저하게 단축할 수 있도록 하는 것이다.
본 발명의 다른 목적은 어라운드 뷰 영상 내에서 차량의 주위 영상뿐만 아니라 주차 지원 영상을 동시에 표시할 수 있도록 함으로써 보다 원활한 주차를 지원할 수 있도록 하는 기술에 관한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량 어라운드 뷰 영상 생성장치에 있어서, 차량의 사방을 촬영하도록 설치되는 복수 개의 광각 카메라, 복수 개의 광각 카메라로부터 촬영된 복수 개의 입력 영상 신호를 수신하는 영상 신호 수신부, 상기 수신된 입력 영상 신호를 구성하는 영상 화소들이 3차원 워핑 방정식에 의해 대응되는 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장하는 제 1 룩업 테이블, 미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 제 2 룩업 테이블, 주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장하는 제 3 룩업 테이블, 상기 제 1 ~ 제 3 룩업 테이블을 참조하여 상기 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 영상 합성부 및 상기 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 영상 디스플레이부를 포함하는 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치가 제공된다.
여기서, 상기 영상 디스플레이부는 사용자 인터페이스 표시부, 후방 카메라 영상 표시부, 어라운드뷰 영상 표시부를 포함하는 것을 특징으로 하는 다중 룩업 테이블을 포함하여 구성될 수 있다.
그리고, 상기 사용자 인터페이스 영상은 상기 사용자 인터페이스 표시부를 구성하는 영상과 상기 어라운드 뷰 영상 표시부의 중심에 표시되는 차량 이미지 중 적어도 어느 하나를 포함하는 것이 바람직하다.
또한, 상기 주차 지원 영상은 상기 후방 카메라 영상 표시부에 표시되는 차량 궤적 영상과 상기 어라운드 뷰 영상 표시부에 표시되는 후방 감지 신호 영상 중 적어도 어느 하나를 포함하는 것이 바람직하다.
그리고, 상기 후방 감지 신호 영상은 감지되는 후방 장애물과의 거리를 표현하는 복수 개의 원호로 표시되고, 상기 후방 장애물과의 거리와 원호들의 대응되는 관계가 제 3 룩업 테이블에 저장되는 것이 보다 바람직하다.
또한, 상기 제 3 룩업 테이블은 상기 각 원호에 대응되는 단위 경보음의 출력 시간, 출력 듀티 사이클 정보가 더 저장되는 것이 더욱 바람직하다.
본 발명에 따르면, 어라운드 뷰 영상을 생성하기 위해 소요되는 시간 및 연산량을 단축하여 프로그램 성능이 향상될 뿐 아니라 종래에 비해 낮은 사양의 장비로도 동등한 성능을 제공할 수 있어 제품 단가가 인하될 수 있고 그에 따라 제품 경쟁력을 현저하게 향상시킬 수 있는 효과가 있다.
도 1은 종래 단일 룩업 테이블을 사용한 어라운드 뷰 영상 생성장치에 의해 어라운드 뷰 영상이 표시되는 개념을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치의 구성 블럭도이다.
도 3은 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치에 의해 어라운드 뷰 영상이 표시되는 개념을 설명하기 위한 도면이다.
도 4는 후방 감지 신호 영상을 생성하는 과정을 도시한 것이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도 2는 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치의 구성 블럭도, 도 3은 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치에 의해 어라운드 뷰 영상이 표시되는 개념을 설명하기 위한 도면, 도 4는 후방 감지 신호 영상을 생성하는 과정을 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치는 복수 개의 광각 카메라(10), 영상신호 수신부(20), 영상 합성부(30), 영상 디스플레이부(40) 및 메모리(50)를 포함하여 구성된다.
광각 카메라(10)는 인접한 광각 카메라 사이에서 촬영 영역이 일부 겹치도록 배치되며, 적어도 2개 이상의 복수 개로 구성되어 각각 영상을 촬영하여 이를 전기적인 신호로 변환하여 영상신호 수신부(20)로 전송한다. 바람직하게는, 광각 카메라(10)는 차량의 전,후,좌,우 영상을 촬영하도록 차량의 전,후,좌,우에 각각 설치된다.
영상신호 수신부(20)는 복수 개의 광각 카메라(10)로부터 획득된 복수 개의 입력 영상신호를 각각 수신하는 수단으로서, 수신된 복수 개의 입력 영상신호를 전치리한 후 영상 합성부(30)로 전송한다.
영상 합성부(30)는 영상신호 수신부(20)로부터 복수 개의 입력 영상신호를 수신하면, 메모리(50)의 룩업 테이블을 참조하여 복수 개의 입력 영상, 사용자 인터페이스 영상 및 주차 지원 영상을 합성하는 기능을 수행한다.
영상 디스플레이부(40)는 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 것으로서, 도 3의 우측 영상과 같은 형태로 표시될 수 있으며, 이는 사용자 인터페이스 화면을 표시하는 사용자 인터페이스 표시부(61), 후방에 설치된 광각 카메라(10)에 의해 촬영되는 영상이 표시되는 후방 카메라 영상 표시부(62) 및 차량의 궤적 형상 주위에 차량의 주변 촬영 영상이 표시되는 어라운드뷰 영상 표시부(63)를 포함한다.
메모리(50)는 입력 영상신호, 사용자 인터페이스 영상 및 주차 지원 영상과 단말기 출력 윈도우 상의 영상 화소와의 대응관계가 기록된 제 1 ~ 3 룩업 테이블을 포함한다.
제 1 룩업 테이블(51)은 수신된 입력 영상 신호를 구성하는 영상 화소들이 3차원 워핑 방정식에 의해 대응되는 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장한다.
상술한 바와 같이, 촬영된 왜곡 영상에 수학식 3에 의한 3차 워핑 방정식을 적용하면 왜곡 영상의 각 화소들이 보정되었을 때의 좌표를 알 수 있으므로 왜곡 영상의 각 화소의 좌표정보와 보정된 각 화소의 좌표정보 간의 대응관계를 제 1 룩업 테이블(51)에 기록하면, 합성 이미지 생성 시에 복잡한 3차 워핑 방정식의 계산 과정없이 제 1 룩업 테이블(51)을 참조하여 신속하게 왜곡 영상을 보정할 수 있게 된다.
제 2 룩업 테이블(52)은 미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 것이다. 사용자 인터페이스 영상은 사용자 인터페이스 표시부를 구성하는 영상과 어라운드 뷰 영상 표시부(63)의 중심에 표시되는 차량 이미지를 포함한다. 이러한 사용자 인터페이스 영상은 프로그램 제작자에 의해 미리 생성된 것으로서, 사용자 인터페이스 영상을 구성하는 각 화소들이 실제 단말기 출력 윈도우 상에 표시될 때의 좌표정보를 룩업 테이블로 기록하는 것이다.
제 3 룩업 테이블(53)은 주차 지원 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장한다. 이러한 주차 지원 영상은 후방 카메라 영상 표시부에 표시되는 차량 궤적 영상과 어라운드 뷰 영상 표시부에 표시되는 후방 감지 신호 영상을 포함하며, 후방 감지 신호 영상은 도 4와 같은 방법에 의해 생성되는데, 이러한 주차 지원 영상을 구성하는 각 화소들이 실제 단말기 출력 윈도우 상에 표시될 때의 좌표정보를 룩업 테이블로 기록된다. 후방 감지 신호 영상은 후방 감지센서에서 후방 장애물이 감지될 때 출력되는 감지신호로서, 감지되는 후방 장애물과의 거리를 표현하는복수 개의 원호 영상으로 표시될 수 있으며, 후방 장애물과의 거리와 원호들의 대응되는 관계가 제 3 룩업 테이블에 저장된다. 각 원호 영상은 장애물과 차량의 거리에 따라 차량 이미지와의 이격 거리 및 색상이 상이하게 표시되어 사용자가 장애물과의 거리를 용이하게 파악할 수 있도록 되어 있다.
제 3 룩업 테이블(53)에는 각 원호에 대응되는 단위 경보음의 출력 시간, 출력 듀티 사이클 정보가 더 저장되는 것이 바람직하다.
영상 합성부(40)는 도 3에 도시된 바와 같이, 촬영된 왜곡 영상, 사용자 인터페이스 영상, 주차 지원 영상들과 단말기 출력 윈도우 간의 대응 관계에 관한 제 1 ~ 3 영상 매핑 데이터를 참조하여 단일 윈도우 상에 사용자 인터페이스 영상, 어라운드뷰 영상 및 주차 지원 영상을 표시할 수 있게 되어 영상 처리 과정이 매우 간단해지게 된다.
이하에서는 도 4를 참조하여 후방 감지 신호 영상을 생성하는 방법을 설명하기로 한다.
우선, (a)와 같이, (x1, y1)과 (x3, y3)의 좌표는 UI를 구성할 때 알고 있는 좌표이고 점 A는 두 점의 좌표의 중점이기 때문에 두 점의 좌표를 이용하면 점 A인 (x2, y2)를 구할 수 있다. 즉, x2=x3-x1이고, y2=y3-y1이다. x2와 x4의 좌표는 같다.
예를 들어, 실제 차량의 x축 길이가 1865mm이고 y축 길이가 4895mm이면 픽셀 크기에 대한 비율이y=2.62x가 나오게 된다. 사용될 차량 이미지의 X축을 정해주면 Y축의 픽셀의 길이를 알 수 있다. 점 의 좌표는 차량 이미지 X축 픽셀의 중심점이기 때문에 X축 좌표를 구할 수 있다.
선분 AC의 길이는 차량 이미지 Y축의 픽셀 길이이다. 여기에서는 3개의 센서를 사용한다고 가정을 하고 센서의 위치를 정한다. 점 B, C, D는 실제 차량에 달리는 후방 센서의 위치이기 때문에 비율을 이용하면 차량 이미지에 위치할 좌표를 구할 수 있다.
(b)와 같이, 후방 감지 신호의 폭을 구하기 위해 선분 BC와 선분 CD의 중점의 좌표를 산출한다.
(c)와 같이, 선분 AC와 BC의 길이로부터
Figure 112011097374512-pat00004
의 수식을 이용하여 선분 AB의 길이를 구한다. 그리고, 선분 BB'와 선분 BB"의 길이가 같고,
Figure 112011097374512-pat00005
이므로 B'와 B"의 좌표를 구할 수 있으며, 동일한 방법으로 점 D'와 점 D"의 좌표를 구한다.
(d)와 같이, 원호는 후방 감지 신호가 나타나는 범위를 나타내고, 3개의 후방감지 센서를 사용하는 경우 3개의 신호 범위간격을 정할 수 있게 된다.
(e)와 같이, 위에서 정리한 초기 위치에서 거리에 대한 정보를 제3 룩업 테이블(53)로 정리를 해두고 후방 감지신호 영상을 표시하는 경우 해당값을 불러오게 되며, 후방 감지신호 영상이 (f)와 같이 어라운드 영상에 함께 표시되어 운전자가 차량 후방의 장애물을 용이하게 인식할 수 있게 된다.
후방 감지신호 영상 표출시에는 경보음이 동시에 출력되는 것이 바람직한데, 장애물과의 거리에 따라서 경보음의 길이와 듀티 사이클이 달라지도록 할 수 있다.
즉, 예를 들면 하기 표 1과 같이, 차량과 장애물 간의 거리를 8개의 구간으로 구분하고, 각 구간마다 경보음의 길이와 듀티 사이클이 가변되도록 할 수 있으며, 장애물이 가장 근접한 영역 1에 가까울수록 경보의 우선순위가 높아져 경보음의 주기 및 1주기 내의 경보음의 길이가 커지도록 설정할 수 있다.
Figure 112011097374512-pat00006
비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
10 : 광각 카메라 20 : 영상신호 수신부
30 : 영상 합성부 40 : 영상 디스플레이부
50 : 메모리 51 : 제 1 룩업 테이블
52 : 제 2 룩업 테이블 53 : 제 3 룩업 테이블
61 : 사용자 인터페이스 표시부 62 : 후방 카메라 영상 표시부
63 : 어라운드뷰 영상 표시부

Claims (6)

  1. 복수의 광각 카메라로부터 획득한 영상을 이용하여 어라운드뷰 영상을 생성하여 표시하는 차량 어라운드 뷰 영상 생성장치에 있어서,
    차량의 사방을 촬영하도록 설치되는 복수 개의 광각 카메라;
    복수 개의 광각 카메라로부터 촬영된 복수 개의 입력 영상 신호를 수신하는 영상 신호 수신부;
    상기 수신된 입력 영상 신호를 구성하는 영상 화소들이 3차원 워핑 방정식에 의해 대응되는 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 1 영상 매핑 데이터를 저장하는 제 1 룩업 테이블;
    미리 생성된 사용자 인터페이스 영상을 구성하는 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 2 영상 매핑 데이터를 저장하는 제 2 룩업 테이블;
    차량 후방 장애물이 감지되는 경우 차량 어라운드 뷰 영상 내에 표시되는 후방 감지신호 영상 화소들이 단말기 출력 윈도우 상의 영상 화소에 대응되는 관계에 대한 제 3 영상 매핑 데이터를 저장하는 제 3 룩업 테이블;
    상기 제 1 ~ 제 3 룩업 테이블을 참조하여 상기 복수 개의 입력 영상, 사용자 인터페이스 영상 및 후방 감지신호 영상을 합성하는 영상 합성부; 및
    상기 합성 영상을 하나의 단말기 출력 윈도우 상에 표시하는 영상 디스플레이부를 포함하되,
    상기 후방 감지 신호 영상은 감지되는 후방 장애물과의 거리를 표현하는 복수 개의 원호로 표시되고, 상기 후방 장애물과의 거리와 원호들의 대응되는 관계 및 상기 각 원호에 대응되는 단위 경보음의 출력 시간, 출력 듀티 사이클 정보가 상기 제 3 룩업 테이블에 저장되는 것을 특징으로 하는 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
  2. 제 1 항에 있어서,
    상기 영상 디스플레이부는 사용자 인터페이스 표시부, 후방 카메라 영상 표시부, 어라운드뷰 영상 표시부를 포함하는 것을 특징으로 하는 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
  3. 제 2 항에 있어서,
    상기 사용자 인터페이스 영상은 상기 사용자 인터페이스 표시부를 구성하는 영상과 상기 어라운드 뷰 영상 표시부의 중심에 표시되는 차량 이미지 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치.
  4. 삭제
  5. 삭제
  6. 삭제
KR1020110130638A 2011-12-08 2011-12-08 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 KR101209072B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110130638A KR101209072B1 (ko) 2011-12-08 2011-12-08 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110130638A KR101209072B1 (ko) 2011-12-08 2011-12-08 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치

Publications (1)

Publication Number Publication Date
KR101209072B1 true KR101209072B1 (ko) 2012-12-06

Family

ID=47907025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110130638A KR101209072B1 (ko) 2011-12-08 2011-12-08 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치

Country Status (1)

Country Link
KR (1) KR101209072B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3400578A4 (en) * 2016-01-06 2019-01-16 Texas Instruments Incorporated THREE-DIMENSIONAL RENDERING FOR A SURROUNDING VIEW USING PRE-DEFINED VIEWPOINT TABLES

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR101077584B1 (ko) 2009-12-14 2011-10-27 (주) 에투시스템 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR101077584B1 (ko) 2009-12-14 2011-10-27 (주) 에투시스템 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3400578A4 (en) * 2016-01-06 2019-01-16 Texas Instruments Incorporated THREE-DIMENSIONAL RENDERING FOR A SURROUNDING VIEW USING PRE-DEFINED VIEWPOINT TABLES
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US11303806B2 (en) 2016-01-06 2022-04-12 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Similar Documents

Publication Publication Date Title
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP7054293B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
KR101239740B1 (ko) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP4642723B2 (ja) 画像生成装置および画像生成方法
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
US8144033B2 (en) Vehicle periphery monitoring apparatus and image displaying method
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
JP5404932B2 (ja) 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置
JP2012147149A (ja) 画像生成装置
JP2011060216A (ja) 画像処理装置および画像処理方法
JP2006287892A (ja) 運転支援システム
US10783665B2 (en) Apparatus and method for image processing according to vehicle speed
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
JP4830380B2 (ja) 車両周辺監視装置及び車両周辺監視方法
US8345085B2 (en) Method and apparatus for generating files for stereographic image display and method and apparatus for controlling stereographic image display
JP2010109451A (ja) 車両周囲監視装置及び車両周囲監視方法
KR20130055967A (ko) 파노라마 영상 제공 시스템 및 그 방법
KR101339127B1 (ko) 출력 지연으로 인한 노이즈를 제거할 수 있는 차량 어라운드 뷰 영상 생성방법
JP2006119843A (ja) 画像生成方法およびその装置
KR101436445B1 (ko) 차량 주변 영상 표시 방법
JP2010183234A (ja) 描画装置
KR101209072B1 (ko) 워핑 방정식과 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP2007266703A5 (ko)
JP2007266703A (ja) 表示制御装置
JP7029350B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181005

Year of fee payment: 7