KR20180062820A - 차량의 운전 보조 장치 및 방법 - Google Patents

차량의 운전 보조 장치 및 방법 Download PDF

Info

Publication number
KR20180062820A
KR20180062820A KR1020160162931A KR20160162931A KR20180062820A KR 20180062820 A KR20180062820 A KR 20180062820A KR 1020160162931 A KR1020160162931 A KR 1020160162931A KR 20160162931 A KR20160162931 A KR 20160162931A KR 20180062820 A KR20180062820 A KR 20180062820A
Authority
KR
South Korea
Prior art keywords
pattern
image
camera
unit
bird
Prior art date
Application number
KR1020160162931A
Other languages
English (en)
Inventor
강세진
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020160162931A priority Critical patent/KR20180062820A/ko
Publication of KR20180062820A publication Critical patent/KR20180062820A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • H04N5/217—
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B60W2550/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Abstract

본 발명은 차량의 운전 보조 장치 및 방법에 관한 것이다. 이를 위한 본 발명의 카메라와, 지면을 향해 패턴을 조사하는 패턴 조사부를 포함하는 차량의 운전 보조 장치는 카메라를 통해 획득되고, 패턴이 조사된 영역을 포함하는 카메라 이미지가 저장되는 저장부; 카메라 이미지에서 패턴을 추출하고, 패턴 조사부를 통해 조사된 제 1 패턴과 상기 카메라 이미지에 포함된 제 2 패턴을 비교함으로써 카메라 이미지 내에 왜곡이 존재하는지 판단하며, 왜곡이 존재하는 것으로 판단될 때, 제 2 패턴을 근거로 파라미터화를 수행하는 패턴 분석부를 포함하는 것을 특징으로 한다.

Description

차량의 운전 보조 장치 및 방법{APPARATUS AND METHOD FOR SUPPORTING DRIVING OF VEHICLE}
본 발명은 차량의 운전 보조 장치 및 방법에 관한 것이고, 보다 상세하게 지면을 향해 패턴을 조사하는 패턴 조사부와, 카메라가 장착된 차량에 적용되어 운전자의 운전을 보조할 수 있는 운전 보조 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 따라서, 차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하거나, 상기 이미지를 변환하여 차량 주변에 대한 조감도 영상을 출력하는 디스플레이 장치가 알려져 있다.
특히, 한국공개특허 제2015-0116116호(이하, 선행문헌)는 카메라로부터 촬영된 카메라 이미지를 조감도 이미지로 변환하여 디스플레이 장치를 통해 출력하는 기술을 개시하고 있다. 또한, 선행문헌은 카메라의 시야 밖의 대상을 디스플레이 하기 위해, 과거 시점의 조감도 이미지와 현재 시점의 조감도 이미지를 합성함으로써, 이미 차량이 지나간 공간에 존재하는 객체(예를 들어, 주차선)도 함께 디스플레이를 수행하는 기술을 개시하고 있다.
여기서, 조감도 영상을 출력하는 기술은 적어도 4개의 카메라를 통해 주변 영상들을 촬영하고, 상기 주변 영상들에 대한 조감도 이미지들을 하나의 조감도 영상으로 합성하는 기술이 알려져 있다. 다른 예시로서, 조감도 영상을 출력하는 기술은 하나의 카메라를 통해 촬영된 이미지에 대해, 과거의 조감도 이미지와 현재의 조감도 이미지를 합성함으로써 합성 조감도 이미지를 생성 및 출력하는 기술이 알려져 있다.
다만, 상술한 조감도 영상 생성 기술의 경우, 카메라를 통해 촬영된 카메라 이미지에 높이가 있는 객체가 포함된 경우, 카메라의 시야각에 기인하여 높이가 있는 객체가 누워있는 것처럼 보이는 현상이 발생하게 된다.
따라서, 카메라를 통해 촬영된 이미지들에 있어서 높이가 있는 객체(예를 들어, 장애물)를 구분할 수 있는 기법이 요구된다.
한국공개특허 제2015-0116116호(명칭: 차량 주변 이미지 생성 장치 및 방법)
본 발명은 차량 주변의 노면 상태와 높이가 있는 객체(즉, 장애물)의 존재 여부를 판단할 수 있고, 조감도 이미지를 생성할 때 상술한 노면 상태와 높이가 있는 객체의 존재를 고려함으로써 높이가 있는 객체에 의해 발생할 수 있는 이질감을 최소화시킬 수 있는 운전 보조 장치 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 카메라와, 지면을 향해 패턴을 조사하는 패턴 조사부를 포함하는 차량의 운전 보조 장치는 카메라를 통해 획득되고, 패턴이 조사된 영역을 포함하는 카메라 이미지가 저장되는 저장부; 및 카메라 이미지에서 패턴을 추출하고, 패턴 조사부를 통해 조사된 제 1 패턴과 상기 카메라 이미지에 포함된 제 2 패턴을 비교함으로써 카메라 이미지 내에 왜곡이 존재하는지 판단하며, 왜곡이 존재하는 것으로 판단될 때, 제 2 패턴을 근거로 파라미터화를 수행하는 패턴 분석부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치는 패턴 조사부를 통해 조사된 제 1 패턴과 카메라 이미지에 포함된 제 2 패턴 간 비교 결과를 근거로, 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 객체 검출부를 더 포함하는 것을 특징으로 한다.
또한, 객체 검출부는 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 미만인 경우, 카메라 이미지에 높이가 있는 객체가 없는 것으로 판단할 수 있다.
또한, 객체 검출부는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 카메라 이미지에 포함된 패턴이 조사된 영역에 높이가 있는 객체가 존재하는 것으로 판단할 수 있다.
또한, 객체 검출부는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 제 2 패턴의 형상을 분석함으로써 높이가 있는 객체의 위치 정보와, 지면과 상기 높이가 있는 객체 간 각도에 대한 각도 정보를 생성할 수 있다.
또한, 본 발명의 일 실시예에 따른 조감도 이미지 생성부는 카메라 이미지를 시점 변환함으로써 카메라 이미지에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부를 더 포함할 수 있다.
또한, 조감도 이미지 생성부는 카메라 이미지에서 높이가 있는 객체가 검출된 경우, 객체의 위치 정보와 각도 정보를 근거로 객체의 일 면이 카메라의 위치에 대향하도록 입체적으로 변환함으로써 조감도 이미지 내에 높이가 있는 객체를 표현할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치는 패턴 조사부를 통해 조사되는 패턴의 조사 시간 및 조사 시점을 제어하는 조사 제어부를 더 포함할 수 있다.
또한, 조사 제어부는 사람이 빛을 식별할 수 있는 시간 보다 짧게 조사 시간을 설정할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치는 저장부에 저장된 복수의 카메라 이미지들 중 조사 시간 및 조사 시점에 맞추어 촬영된 카메라 이미지를 선택하는 이미지 선택부를 더 포함할 수 있다.
또한, 패턴 조사부는 적외선 또는 자외선을 조사할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 카메라와, 지면을 향해 패턴을 조사하는 패턴 조사부를 포함하는 차량의 운전 보조 방법은 이미지 선택부에 의해, 저장부에 저장된 카메라를 통해 획득되며 패턴이 조사된 영역을 포함하는 카메라 이미지를 획득하는 단계; 패턴 분석부에 의해, 카메라 이미지에서 패턴을 추출하는 단계; 패턴 분석부에 의해, 패턴 조사부를 통해 조사된 제 1 패턴과 카메라 이미지에 포함된 제 2 패턴을 비교함으로써 카메라 이미지 내에 왜곡이 존재하는지 판단하는 단계; 및 패턴 분석부에 의해, 카메라 이미지 내에 왜곡이 존재하는 것으로 판단될 경우, 제 2 패턴을 근거로 파라미터화를 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 객체 검출부에 의해, 패턴 조사부를 통해 조사된 제 1 패턴과 카메라 이미지에 포함된 제 2 패턴 간 비교 결과를 근거로, 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 단계를 포함하는 것을 특징으로 한다.
또한, 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 단계는 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 미만인 경우, 카메라 이미지에 높이가 있는 객체가 없는 것으로 판단하는 단계를 포함할 수 있다.
또한, 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 단계는 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 카메라 이미지에 포함된 패턴이 조사된 영역에 높이가 있는 객체가 존재하는 것으로 판단하는 단계를 포함할 수 있다.
또한, 객체 검출부에 의해, 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 제 2 패턴의 형상을 분석함으로써 높이가 있는 객체의 위치 정보와, 지면과 높이가 있는 객체 간 각도에 대한 각도 정보를 생성하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 조감도 이미지 생성부에 의해, 카메라 이미지를 시점 변환함으로써 카메라 이미지에 대한 조감도 이미지를 생성하는 단계를 더 포함할 수 있다.
또한, 조감도 이미지를 생성하는 단계는 카메라 이미지에서 높이가 있는 객체가 검출된 경우, 객체의 위치 정보와 각도 정보를 근거로 객체의 일 면이 카메라의 위치에 대향하도록 입체적으로 변환함으로써 조감도 이미지 내에 높이가 있는 객체를 표현할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 조사 제어부에 의해, 패턴 조사부를 통해 조사되는 패턴의 조사 시간 및 조사 시점을 제어하는 단계를 더 포함할 수 있다.
또한, 조사 시간 및 조사 시점을 제어하는 단계는 사람이 빛을 식별할 수 있는 시간 보다 짧게 상기 조사 시간을 설정할 수 있다.
본 발명의 일 실시예에 따른 운전 보조 장치 및 방법에 따르면, 카메라 이미지에 포함된 패턴을 분석함으로써 차량 주변에서 높이가 있는 객체의 존재 여부를 판단할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치 및 방법에 따르면, 조감도 이미지를 생성할 때, 높이가 있는 객체에 대한 위치 정보와 각도 정보를 반영함으로, 높이가 있는 객체에 의해 발생할 수 있는 이질감을 최소화시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 운전 보조 장치에 대한 개념도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 감지한 제 2 패턴의 예시들을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 운전 보조 장치에 대한 블록도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 카메라 이미지를 선택하는 방법을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시예에 따른 운전 보조 방법에 대한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명의 실시예에 따른 운전 보조 장치(100)에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 대한 개념도이다. 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 카메라(11)와 디스플레이부(12)를 포함하는 차량(10)에 장착되어, 운전자의 운전을 보조하는 것을 특징으로 한다. 예를 들어, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 카메라(11)를 통해 촬영한 카메라 이미지를 시점 변환함으로써 조감도 이미지를 운전자에게 제공할 수 있다. 이에 따라, 운전자는 장애물(즉, 높이가 있는 객체)이 많은 공간을 지나가거나, 또는 차량 주차 시 높이가 있는 객체에 충돌하지 않고 운전 또는 주차를 수행할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 차량 주변의 노면 상태를 확인할 수 있고, 차량의 노면 상태를 근거로 파라미터화를 수행함으로써 다양한 응용에 적용될 수 있는 것을 특징으로 한다. 또한, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 차량(10) 주변에 존재하는 높이가 있는 객체의 존재를 파악할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 차량(10)에 장착된 패턴 조사부(13, 예를 들어 퍼들 램프 등)를 제어함으로써 제 1 패턴(rp1)을 지면을 향해 조사하고, 카메라(11)를 통해 상기 패턴이 촬영되게 제어하며, 촬영을 통해 카메라 이미지에 포함된 패턴(이하, 제 2 패턴)을 분석함으로써 차량 주변에서 높이가 있는 객체(즉, 장애물) 존재 여부를 분석할 수 있다.
예를 들어, 도 1에 도시된 바와 같이 카메라(11)와 패턴 조사부(13)가 차량(10)의 후방을 향해 설치되고, 패턴 조사부(13)가 제 1 패턴(rp1)을 지면을 향해 조사하는 상황을 가정한다. 또한, 도 1의 예시에서, 제 1 패턴(rp1)은 정사각형 형태를 갖고 내부에 9개의 점이 존재하는 것으로 가정된다. 다만, 이러한 제 1 패턴(rp1)의 형상 및 내부 점들의 형태 및 개수는 단지 예시일 뿐이고, 패턴 분석을 수행하는데 이용될 수 있는 형태라면 다양하게 변경될 수 있다.
만일, 제 1 패턴(rp1)이 지면에 조사될 경우, 패턴 조사부(13)가 지면과 90도로 배치되는 것이 아니기에, 지면에 조사된 패턴은 패턴 조사부(13)가 향하는 길이 방향으로 연장된 형태를 가질 수 있다. 이에 따라, 본 발명은 패턴 조사부(13)에 인접하게 위치한 카메라(11)를 이용하여 지면에 조사된 패턴을 촬영하고, 촬영된 카메라 이미지를 이용하여 제 2 패턴(즉, 지면에 조사된 패턴)을 분석하는 방식을 채택한다. 이 경우, 카메라(11)가 지면을 향하는 각도는 패턴 조사부(13)와 동일하거나 거의 유사하다. 이에 따라, 만일 지면이 매끄럽고, 지면에 높이가 있는 객체가 존재하지 않는다면 카메라 이미지에 포함된 제 2 패턴은 제 1 패턴과 거의 유사한 형태를 갖게 되므로, 본 발명은 이러한 2개의 패턴 비교를 통해 노면 상태를 확인하거나, 장애물의 존재 여부를 검출할 수 있다.
예를 들어, 제 1 패턴(rp1)이 평평한 지면에 조사될 경우, 지면에 조사된 패턴은 도 2와 같은 형태를 가질 수 있다. 반면, 제 1 패턴(rp1)이 벽과 같은 높이가 있는 객체에 조사될 시, 지면에 조사된 패턴은 도 3과 같은 형태를 가질 수 있고, 제 1 패턴(rp1)이 과속 방지턱과 같은 높이가 있는 객체에 조사될 시, 지면에 조사된 패턴은 도 4와 같은 형태를 가질 수 있다. 마찬가지로, 지면에 높이가 있는 객체가 존재하지는 않지만, 길이 매끄럽지 않은 경우 차량에서 방출된 패턴과 지면에 조사된 패턴의 형상은 다를 수 있다.
이렇게, 지형이 평평하지 않을 경우 지면에 조사되는 패턴의 형상은 의도된 제 1 패턴의 형상과 상이해지고, 높이가 있는 객체의 형상 및 종류에 따라 지면에 조사된 패턴의 형상도 상이해진다. 이에 따라, 본 발명은 카메라(11)를 통해 촬영된 카메라 이미지에서 제 2 패턴을 검출하고, 이를 분석하는 것을 특징으로 한다.
뿐만 아니라, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 상술한 높이가 있는 객체의 검출 시 이의 위치 정보와, 지면과 객체 간 각도 정보를 도출하고, 도출한 정보를 조감도 이미지에 반영할 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 노면 상태와 조감도 이미지 생성 시 높이가 있는 객체를 고려함으로써, 이질감 없이 조감도 이미지를 생성할 수 있다. 이제, 도 5를 참조로 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 대한 설명이 더 이루어진다.
도 5는 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 대한 블록도이다. 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 저장부(110), 이미지 선택부(120), 조감도 이미지 생성부(130), 출력 화면 생성부(140), 패턴 분석부(150), 객체 검출부(160) 및 조사 제어부(170)를 포함하여 구성될 수 있다. 여기서, 이미지 선택부(120), 조감도 이미지 생성부(130), 출력 화면 생성부(140), 패턴 분석부(150), 객체 검출부(160) 및 조사 제어부(170)는 본 발명의 일 실시예에 대한 이해를 돕기 위해 각 구성을 구분한 것이고, 상기 구성들은 실제로 CPU, MPU, GPU 또는 ECU와 같은 하나의 처리 장치를 통해 구현되는 것도 가능하다.
저장부(110)는 카메라(11)로부터 각 시점에 촬영된 카메라 이미지들이 저장될 수 있다. 상술한 바와 같이, 카메라(11)는 패턴 조사부(13)를 통해 제 1 패턴이 조사되는 영역을 포함하는 카메라 이미지를 생성할 수 있다. 또한, 저장부(110)에는 카메라 이미지들과, 카메라 이미지들의 촬영 시점인 생성 시점 정보가 함께 저장될 수 있다. 여기서 카메라(11)는 복수개가 포함될 수 있으며, 그 설치 위치도 특정 위치로 제한되지 않는다. 즉, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 카메라의 종류, 설치 위치 및 개수에 관계 없이 적용될 수 있다. 또한, 저장부(110)는 아래에서 설명되는 카메라 이미지를 조감도 이미지로 변환하기 위한 룩업 테이블을 더 구비할 수 있다.
또한, 저장부(110)에는 패턴 조사부(13)를 통해 조사되는 제 1 패턴에 대한 패턴 정보가 더 구비될 수 있다. 이에 대한 설명은 아래에서 다시 언급된다.
조사 제어부(170)는 패턴 조사부(13)를 통해 조사되는 패턴의 조사 시간 및 조사 시점을 제어하는 기능을 한다. 예를 들어, 패턴 조사부(13)는 가시광을 방출하는 광원을 포함하여 구성될 수 있는데, 패턴 조사부(13)를 통해 광이 방출되는 상황이라면, 카메라(11)를 통해 촬영된 카메라 이미지에는 패턴 조사부(13)를 통해 방출되는 광이 포함되게 된다. 본 발명의 경우 카메라 이미지를 이용하여 출력 화면을 생성하므로, 패턴 조사부(13)가 지속적으로 광 패턴을 방출하게 되면, 운전자는 패턴 조사부(13)를 통해 지속적으로 방출되는 광에 의해 불편함을 겪을 수 있다. 뿐만 아니라, 패턴 조사부(13)가 지속적으로 광 패턴을 방출하게 되면, 해당 차량 주변의 다른 운전자들 또는 보행자들에게 시각적인 불편함을 줄 수 있게 된다.
이에 따라, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 조사 제어부(170)를 통해 패턴의 조사 시간 및 조사 시점을 설정하고, 패턴 조사부(13)에서 조사 시간 및 조사 시점에 따라 패턴을 조사하게 함으로써, 복수의 카메라 이미지들 중 적어도 일부에만 패턴이 포함되게 할 수 있다. 여기서, 조사 시간은 예를 들어, 사람의 눈으로 식별이 되지 않을 만큼 짧게 예를 들어, 1/24초 미만으로 설정되는 것이 바람직하다. 또한, 패턴의 조사 시점은 미리 설정된 프레임의 개수에 따라, 또는 차량의 이동시 미리 설정된 주기로 등, 다양한 방식으로 설정될 수 있다.
물론, 패턴 조사부(13)는 사람의 눈으로 식별될 수 없는 적외선 또는 자외선을 조사하고, 카메라(11)는 적외선 감지 카메라 또는 자외선 감지 카메라 등으로 구성하는 방법도 생각해 볼 수 있다.
이미지 선택부(120)는 저장부(110)에 저장된 복수의 카메라 이미지들 중 이하에서 설명되는 객체 검출과 조감도 이미지 생성 중 적어도 하나를 위한 카메라 이미지를 선택하는 기능을 한다. 앞서 언급한 바와 같이, 패턴 조사부(13)가 빛을 방출하는 광원을 포함하여 구성되는 경우, 저장부(110)에 포함된 카메라 이미지들 중 적어도 일부에는 광원을 통해 방출된 광이 촬영된 제 2 패턴이 포함된다. 다만, 이러한 제 2 패턴이 포함된 카메라 이미지의 경우 출력 화면에 출력될 시, 운전자에게 불편함을 줄 수 있다. 이에 따라, 이미지 선택부(120)는 복수의 카메라 이미지들 중 제 2 패턴이 포함된 카메라 이미지와, 제 2 패턴이 없는 카메라 이미지를 구분할 수 있다.
이미지 선택부(120)는 이렇게 카메라 이미지의 구분이 완료되면 제 2 패턴이 포함된 카메라 이미지를 패턴 분석부(150)로 전달할 수 있다. 또한, 이미지 선택부(120)는 아래에서 언급되는 출력 화면의 생성을 위해 제 2 패턴이 포함되지 않은 카메라 이미지를 조감도 이미지 생성부(130)와 출력 화면 생성부(140)로 전달할 수 있다.
또한, 도면에 도시되진 않았으나, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 이미지 보정부를 더 포함하여 구성될 수 있다. 여기서, 이미지 보정부는 출력 화면 생성 시, 카메라 이미지에 제 2 패턴이 포함되어 있더라도, 상기 카메라 이미지에서 제 2 패턴을 제거하는 기능을 수행할 수 있다. 이렇게 제 2 패턴이 제거된 카메라 이미지를 조감도 이미지 생성부(130) 및 출력 화면 생성부(140)로 전달되어, 운전자에게 불편함을 주지 않도록 출력 화면이 생성되는 것도 가능하다.
조감도 이미지 생성부(130)는 이미지 선택부(120)를 통해 선택된 카메라 이미지를 조감도 이미지로 변환하는 기능을 한다. 앞서 설명된 것처럼, 조감도 이미지 생성부(130)를 통해 이루어지는 조감도 이미지 생성은 제 2 패턴이 포함되지 않은 카메라 이미지를 근거로 이루어지는 것이 바람직하다. 물론, 앞서 설명한 것처럼 이미지 보정부를 통해 제 2 패턴이 제거된 카메라 이미지를 근거로 조감도 이미지를 생성하는 방식도 생각해볼 수 있다.
조감도 이미지 생성부(130)는 이미지 선택부(120)를 통해 선택된 카메라 이미지들을 순차적으로 획득하고, 획득한 카메라 이미지를 시점 변환함으로써 조감도 이미지를 생성할 수 있다. 예를 들어, 조감도 이미지는 저장부(110)에 저장된 룩업 테이블을 근거로 투시 변환을 이용하여 생성될 수 있다. 구체적으로, 조감도 이미지 생성부(130)는 지면상의 이미지의 위치 데이터가 카메라의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.
보다 상세하게 설명하면, 카메라(11)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
Figure pat00001
)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정한다. 여기서, 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α,β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
Figure pat00002
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 근거로 조감도 이미지를 생성할 수 있다. 다만, 조감도 이미지를 생성하는 방법은 상기 방식 외에 다른 다양한 방법으로 구현될 수 있고, 본 발명의 일 실시예에 따른 조감도 이미지 생성부(130)를 통해 이루어지는 조감도 이미지 생성 방법은 상기 방식으로 제한되지 않는다.
또한, 조감도 이미지 생성부(130)를 통해 생성된 조감도 이미지는 다시 저장부(110)로 전달되어, 저장부(110)내에 저장될 수 있다.
화면 생성부(140)는 조감도 이미지 영역과 실시간 영상 영역을 포함하는 출력 화면을 생성하고, 생성된 출력 화면을 디스플레이부(12)를 통해 출력하는 기능을 한다. 여기서, 조감도 이미지 영역에는 조감도 이미지 생성부(130)를 통해 생성된 조감도 이미지가 포함될 수 있고, 실시간 영상 영역에는 이미지 선택부(120)를 통해 선택된 카메라 이미지가 포함될 수 있다. 예를 들어, 실시간 영상 영역의 경우, 차량에 전방 카메라가 장착된 경우, 차량 전방에 대한 실시간 영상이 포함될 수 있고, 차량에 후방 카메라가 장착된 경우, 차량 후방에 대한 실시간 영상이 포함될 수 있다. 이를 통해, 디스플레이부(12)는 상기 2개의 영역을 통해 차량의 조감도 이미지와 카메라 이미지를 동시에 출력할 수 있다.
패턴 분석부(150)는 이미지 선택부(120)로부터 구분된 제 2 패턴을 포함하는 카메라 이미지에서 패턴을 추출하는 기능을 한다. 구체적으로, 패턴 분석부(150)는 제 2 패턴을 포함하는 카메라 이미지를 분석함으로써, 제 2 패턴을 추출하는 기능을 한다. 상술한 것처럼 제 2 패턴은 패턴 조사부(13)를 통해 제 1 패턴이 지면에 조사될 때, 카메라 이미지에 포함된 패턴을 나타낸다.
또한, 패턴 분석부(150)는 추출된 제 2 패턴을 이용하여 카메라 이미지 내의 왜곡 존재 여부를 판단할 수 있다. 구체적으로, 패턴 분석부(150)는 패턴 조사부(13)를 통해 조사된 제 1 패턴과 카메라 이미지에 포함된 제 2 패턴을 비교함으로써 카메라 이미지 내에서 왜곡의 존재 여부를 판단할 수 있다. 여기서, 카메라 이미지 내에 왜곡이 존재하는 것으로 판단될 경우, 패턴 분석부(150)는 제 2 패턴을 근거로 파라미터화를 수행할 수 있고, 생성된 파라미터를 다른 어플리케이션에서 활용될 수 있도록 저장부(110)에 전달할 수 있다.
객체 검출부(160)는 패턴 분석부(150)를 통해 추출된 제 2 패턴을 이용하여 카메라 이미지 내에 높이가 있는 객체(즉, 장애물)이 존재하는지 판단하는 기능을 한다. 구체적으로, 객체 검출부(160)는 패턴 조사부(13)를 통해 조사된 제 1 패턴과 카메라 이미지에 포함된 제 2 패턴 간 비교 결과를 이용하여, 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 기능을 한다.
상술한 바와 같이, 제 1 패턴이 지면에 조사될 때, 패턴 조사부(13)와 지면 간의 각도에 기인하여 제 1 패턴은 패턴 조사부(13)의 패턴 조사 방향에 따라 길게 연장되어 지면 상에 형성될 수 있다. 다만, 카메라(11)는 상술한 패턴 조사부(13)와 유사한 위치에서 유사한 각도로 지면을 촬영하므로, 만일 해당 영역에 장애물이 존재하지 않는다면, 카메라 이미지에 포함된 패턴은 패턴 조사부(13)에서 조사된 패턴과 거의 유사한 형상을 갖게 된다.
따라서, 본 발명의 일 실시예에 따른 객체 검출부(160)는 패턴 조사부(13)를 통해 조사된 제 1 패턴과 제 2 패턴의 형상을 비교한다. 만일, 제 1 패턴과 제 2 패턴이 동일하거나 또는 거의 유사한 경우 즉, 제 1 패턴과 제 2 패턴 간 차이가 미리 설정된 매칭 판단값 미만이라면 해당 카메라 이미지에는 높이가 있는 객체가 없는 것으로 판단할 수 있다. 반대로, 객체 검출부(160)는 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 카메라 이미지에 포함된 패턴이 조사된 영역에 높이가 있는 객체가 존재하는 것으로 판단할 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 객체 검출부(160)는 패턴 조사부(13)를 통해 조사된 제 1 패턴과 카메라(11)를 통해 촬영된 제 2 패턴의 형상을 비교하되 그 형상이 유사하거나 동일하면, 해당 카메라 이미지에는 높이가 있는 객체가 없는 것으로 판단하고, 그렇지 않다면 해당 카메라 이미지에 높이가 있는 객체가 있는 것으로 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 차량 주변에 대한 조감도 이미지를 운전자에게 더 제공하는 것을 특징으로 한다. 다만, 조감도 이미지의 변환 방식이 카메라 이미지의 시점을 변경하도록 매핑하는 방식이므로, 높이가 있는 객체가 차량 주변에 존재할 시 해당 객체에 대한 부분은 객체가 누워있는 것처럼 표현되게 된다. 즉, 조감도 이미지 변환 시, 조감도 이미지에서 객체에 대한 구분이 이루어질 수 있다면 이러한 조감도 이미지에 대한 문제점은 해소될 수 있다.
본 발명의 경우 위에서 설명한 것처럼 객체 검출부(160)를 통해 객체 검출이 가능하므로, 조감도 이미지 생성부(130)를 통해 조감도 이미지를 생성할 시 이러한 높이가 있는 객체를 고려함으로써 조감도 이미지를 생성할 수 있다. 이러한 조감도 이미지 생성의 개선을 위해, 객체 검출부(130)는 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 제 2 패턴의 형상을 분석함으로써 높이가 있는 객체의 위치 정보와, 지면과 상기 높이가 있는 객체 간 각도에 대한 각도 정보를 생성할 수 있다. 즉, 객체 검출부(130)는 카메라 이미지에서 패턴이 위치하는 곳에, 또는 다른 이미지 분석 기법을 통해 카메라 이미지에서 높이가 있는 객체의 좌표 정보를 도출할 수 있고, 이를 근거로 객체의 위치 정보를 생성할 수 있다. 마찬가지로, 객체 검출부(160)는 제 2 패턴의 형상을 분석함으로써, 지면과 높이가 있는 객체간 각도를 산출하는 것도 가능하다.
객체 검출부(160)는 이렇게 상술한 객체의 위치 정보와 각도 정보를 생성하고, 생성된 정보들을 조감도 이미지 생성부(130)에 전달할 수 있다. 이때, 조감도 이미지 생성부(130)는 해당 정보들을 반영하므로, 이질감이 없는 조감도 이미지의 생성이 가능하다.
예를 들어, 조감도 이미지 생성부(130)는 카메라 이미지에 높이가 있는 이미지가 존재하는 것으로 판단된 경우, 카메라 이미지에서 높이가 있는 객체를 포함하는 객체 영역을 제외하고 투시 변환을 수행할 수 있다. 구체적으로, 조감도 이미지 생성부(130)는 높이가 있는 객체가 존재하는 객체 영역은 객체의 높이가 표현되도록 입체적으로 변환되되, 그 외 나머지 영역은 투시 변환을 통해 조감도 이미지로 변환할 수 있다.
이에 따라, 조감도 이미지 생성부(130)는 객체 영역을 제외한 나머지 영역의 경우 일반적인 조감도 이미지를 생성하되, 상기 객체 영역은 카메라와 대향하는 객체의 일 면을 입체적으로 변환함으로써 조감도 이미지 내에서 높이가 있는 객체를 보다 직관적으로 표현할 수 있다. 다만, 이러한 방식의 경우 카메라(11)를 통한 촬영 범위에 있어서, 높이가 있는 객체의 후방의 경우 조감도 이미지로 변환할 수 없다. 이에 따라, 조감도 이미지 생성부(130)를 통해 조감도 이미지를 생성하는 과정에서, 카메라 이미지에 높이가 있는 객체가 포함될 때, 조감도 이미지에는 카메라와 객체의 위치에 따라 비가시 영역이 포함될 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 이러한 비가 시 영역을 높이가 있는 객체를 보다 강조하기 위해 활용할 수 있다. 예를 들어, 조감도 이미지 생성부(130)는 조감도 이미지에 비가시 영역이 포함되면, 비가시 영역을 색상 처리 또는 해칭 처리함으로써 높이가 있는 객체를 보다 강조할 수 있다. 물론, 조감도 이미지 생성부(130)는 조감도 이미지 내의 객체 영역에서 객체의 테두리 부분을 강조 처리함으로써 객체를 보다 강조하는 방식도 이용할 수 있다.
이렇게 생성된 조감도 이미지는 화면 생성부(140)로 전달될 수 있고, 화면 생성부(140)는 높이가 있는 객체를 고려한 조감도 이미지를 운전자에게 제공할 수 있다. 상술한 것처럼 화면 생성부(140)는 조감도 이미지 영역과 실시간 영상 영역을 포함하는 출력 화면을 생성하고, 생성된 출력 화면을 디스플레이부(12)를 통해 운전자에게 제공할 수 있다. 이에 따라, 운전자는 높이가 고려된 조감도 이미지를 확인할 수 있고, 이에 따라 운전 시 이질감 없이 조감도 이미지를 확인하는 것이 가능하다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이다. 또한, 아래에서는 주변 차량이 없이 하나의 주차 슬롯에 차량이 주차를 수행하는 상황에서 그 설명이 이루어지나, 해당 주차 슬롯의 인접 주차 슬롯들이 존재하고, 각 주차 슬롯에 다른 차량들이 주차되어 있는 상황에서도 동일한 기술적 사상이 적용될 수 있다. 이제, 도 6 및 도 7을 참조로 본 발명의 일 실시예에 따른 조감도 이미지 생성부를 통해 이루어지는 조감도 이미지 생성 방법에 대한 설명이 이루어진다.
본 발명의 일 실시예에 따른 운전 보조 장치(100)는 먼저, 저장부(110)에 저장된 카메라 이미지들을 획득하고, 이를 조감도 이미지로 변환할 수 있다. 앞서 설명한 것처럼, 저장부(110)에 저장된 카메라 이미지들은 제 2 패턴을 포함하는 카메라 이미지와 제 2 패턴이 없는 카메라 이미지로 구분될 수 있다. 도 6 및 도 7에 도시된 예시의 경우, 패턴 검출을 위함이 아닌 운전자에게 제공될 카메라 이미지를 선택하는 과정을 나타내므로, 도 6 및 도 7을 참조로 언급되는 카메라 이미지는 제 2 패턴이 없는 카메라 이미지인 것으로 설명된다. 또한, 도 6의 상부는 카메라를 통해 각 시점에 촬영된 카메라 이미지에 대한 예시를 나타내고, 도 6의 하부는 각 시점 별로 변환된 조감도 이미지에 대한 예시를 나타낸다.
구체적으로, 조감도 이미지 생성부(130)는 도 6에 도시된 바와 같이, t1 시점에 촬영된 카메라 이미지(ci11)를 조감도 이미지(bi11)로 변환하는 과정을 수행한다. 이때, t1 시점의 조감도 이미지(bi11)를 살펴보면, 차량(10)에 장착된 카메라의 광각 성능에 따라, 조감도 이미지(bi11)에는 카메라를 통해 표현되는 영역(ca11)과, 표현되지 않는 영역(nsa11)이 존재하게 된다. 이는 조감도 이미지(bi11)가 카메라 이미지(ci11)를 시점 변환함으로써 생성된 이미지이기 때문이다.
또한, 조감도 이미지 생성부(130)는 t2 시점에 촬영된 카메라 이미지(ci12)를 조감도 이미지(bi12)로 변환할 수 있다. 이 경우, t1 시점의 조감도 이미지(bi11)와 마찬가지로, 조감도 이미지(bi12)는 영역(ca12)에 해당하는 부분이 표현될 수 있고, 차량(10)에 장착된 카메라의 광각 성능에 따라, 표현되지 않는 영역(nsa12)이 존재하게 된다. 뿐만 아니라, 조감도 이미지(bi12)에는 상술한 카메라(10)의 성능에 따라 그리고, 진행 중인 차량(10)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부 주차선 만이 나타날 수 있다.
또한, 조감도 이미지 생성부(130)는 t3 시점에 촬영된 카메라 이미지(ci13)를 조감도 이미지(bi13)로 변환할 수 있다. 이 경우, t1 시점 및 t2 시점의 조감도 이미지(bi11, bi12)와 마찬가지로, 조감도 이미지(bi13)는 영역(ca13)에 해당하는 부분이 표현될 수 있고, 차량(10)에 장착된 카메라의 광각 성능에 따라, 표현되지 않는 영역(nsa13)이 존재하게 된다. 뿐만 아니라, 조감도 이미지(bi13)에는 상술한 카메라(10)의 성능에 따라 그리고, 진행 중인 차량(10)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부 주차선 만이 나타날 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 조감도 이미지 생성부(130)는 과거 시점의 조감도 이미지를 이후 시점의 조감도 이미지에 합성함으로써, 합성 조감도 이미지를 생성하는 방식을 이용할 수 있다.
즉, 본 발명의 일 실시예에 따른 조감도 이미지 생성부(130)는 도 7에 도시된 것처럼, 과거 시점 즉, 이전 시점들에 생성된 조감도 이미지를 현재 조감도 이미지에 합성함으로써, 합성 조감도 이미지를 생성하는 방식을 채택할 수 있다.
예를 들어, 조감도 이미지 생성부(130)는 도 7에 도시된 바와 같이, 먼저 t1 시점에 촬영된 카메라 이미지(ci11)를 조감도 이미지(bi11)로 변환하는 과정을 수행할 수 있다.
그 후, 조감도 이미지 생성부(130)는 t2 시점에 촬영된 카메라 이미지(ci22)를 조감도 이미지로 변환하되, t1 시점에 생성된 조감도 이미지와 t2 시점에 생성된 조감도 이미지를 합성함으로써 조감도 이미지(bi22)를 생성할 수 있다. 이 경우, 도 6을 참조로 도시된 조감도 이미지(bi12)에서 전체 주차선 중 일부가 표현될 수 없었던 것과는 달리, 조감도 이미지(bi22)는 t1 시점의 조감도 이미지(bi21)를 이용함으로써 전체 주차선의 표현이 가능해진다.
그 후, 조감도 이미지 생성부(130)는 t3 시점에 촬영된 카메라 이미지(ci23)를 조감도 이미지(bi23)로 변환할 수 있다. 이 경우, 앞서 t1 시점 및 t2 시점에 대해 설명된 것과 마찬가지로, t1 시점 및 t2 시점의 조감도 이미지(bi21 및 bi22)를 추가적으로 합성함으로써 생성될 수 있다. 이에 따라, 조감도 이미지 생성부(130)는 원래의 카메라 이미지(ci13)만으로는 표현될 수 없었던 영역(nsa11) 및 영역(nsa12)에 대한 표현 즉, 주차선(ppl11, ppl12)에 대한 표현이 가능해진다.
또한, 본 발명의 일 실시예에 따른 조감도 이미지 생성부(130)는 상술한 과거 이미지의 합성 기법 이외에도, 합성을 이용하지 않고, 과거에 생성된 조감도 이미지를 화면 생성부로 전달하되, 기설정된 조건 마다 다른 과거 시점의 조감도 이미지를 화면 생성부로 전달함으로써, 사용자에게 이질감을 덜 주는 방식을 채택하는 것도 가능하다.
다만, 상술한 조감도 이미지의 생성 방법과, 화면 생성부로 전달되는 조감도 이미지의 선택 기법은 단지 예시일 뿐이고, 상기 방법들의 경우 다양한 방식이 이용될 수 있으므로, 본 발명에서는 이를 특정 방식으로 제한하지 않는다.
본 발명의 일 실시예에 따른 차량의 운전 보조 장치(100)는 출력 화면을 통해 조감도 이미지와 카메라 이미지를 함께 표시할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 차량의 운전 보조 장치(100)는 조감도 이미지 영역과 실시간 영상 영역을 포함하는 출력 화면을 디스플레이부(12)를 통해 출력함으로써, 조감도 이미지와 카메라 이미지를 함께 운전자에게 제공할 수 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 카메라 이미지를 선택하는 방법을 설명하기 위한 개념도이다. 구체적으로, 도 8은 패턴 분석부를 통해 패턴 분석을 위한 카메라 이미지를 선택하는 방법을 나타내기 위한 개념도이고, 도 9는 출력 화면 생성을 위한 카메라 이미지를 선택하는 방법을 나타내기 위한 개념도이다.
또한, 도 8 및 도 9에서는 차량이 주차중일 때 촬영된 카메라 이미지들과, 이들 카메라 이미지에 대한 조감도 이미지들에 대한 예시가 도시된다. 도 8 및 도 9의 좌측에는 t1 시점 내지 t6 시점에 촬영된 카메라 이미지들의 예시가 도시된다. 또한, 아래의 설명에서는 패턴 조사부에서 이루어지는 패턴 조사가 카메라 이미지 기준으로 3개의 프레임 마다 이루어지는 것으로 가정된다. 즉, 본 예시에서는 도 8 및 도 9의 좌측 이미지에 나타난 것처럼, t1 및 t4 시점의 카메라 이미지에는 제 2 패턴(rp2)이 포함되되, 나머지 시점의 카메라 이미지들에는 제 2 패턴(rp2)이 포함되지 않는다.
여기서, 도 8에 도시된 예시의 경우 패턴 분석을 위한 카메라 이미지를 선택하는 방법을 설명하기 위한 개념도이므로, 이미지 선택부는 복수의 카메라 이미지들 중 t1 및 t4 시점의 카메라 이미지를 선택할 수 있고, 위에서 언급한 것처럼 패턴 분석 및 객체 검출 과정이 더 이루어질 수 있다.
또한, 도 9의 예시는 출력 화면 선택을 위한 카메라 이미지 선택 방법을 설명하기 위한 개념도로서, 도 9의 우측에는 t1 시점 내지 t6 시점에 촬영된 카메라 이미지가 시점 변환된 조감도 이미지들의 예시가 도시된다. 위에서 설명한 것처럼, t1 시점 및 t4 시점의 경우 카메라 이미지에 제 2 패턴(rp2)이 포함된 상황을 가정하므로, 이미지 선택부는 출력 화면 생성을 위한 카메라 이미지 선택 시, t1 시점 및 t4 시점의 카메라 이미지를 제외한 나머지 카메라 이미지들을 선택한다. 즉, 이미지 선택부는 t2, t3, t5 및 t6 시점의 카메라 이미지를 선택할 수 있다.
이렇게 t2, t3, t5 및 t6 시점의 카메라 이미지가 선택되면, 조감도 이미지 생성부는 해당 시점의 카메라 이미지들을 시점 변환함으로써 각 시점에 대한 조감도 이미지를 생성할 수 있다. 물론, 이미지 선택부를 통해 t1 시점 및 t4 시점의 카메라 이미지를 선택하고, 조감도 이미지 생성부에서 t1 시점 및 t4 시점의 카메라 이미지를 근거로 조감도 이미지를 생성하는 것도 가능하나, 이 경우 디스플레이 장치를 통해 표시되는 출력 화면에서 기설정된 주기로 제 2 패턴이 표현되므로, 운전자에게 불편함을 줄 수 있다. 이에 따라, 출력 화면 생성시에는 가급적 제 2 패턴을 포함하는 카메라 이미지를 배제한 나머지 카메라 이미지들을 선택하는 것이 바람직하다.
또한, 제 2 패턴의 조사 시간이 길거나, 또는 조사 주기가 너무 짧아서 카메라 이미지에서 제 2 패턴을 포함하는 카메라 이미지들의 개수가 제 2 패턴이 없는 카메라 이미지들의 개수보다 많거나, 또는 전체 카메라 이미지들 개수 대비 제 2 패턴을 포함하는 카메라 이미지들의 비중이 일정 값 이상인 상황이 존재할 수 있다. 이 경우, 이미지 선택부는 카메라 이미지들 전체를 선택하되, 이미지 보정부를 통해 카메라 이미지에서 제 2 패턴을 제거하는 과정이 더 수행될 수 있다.
도 10은 본 발명의 일 실시예에 따른 운전 보조 방법에 대한 흐름도이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 방법은 지면을 향해 패턴을 조사하고, 카메라를 통해 상기 패턴을 포함하는 영역을 촬영하며, 카메라를 통해 생성된 카메라 이미지를 분석함으로써 차량 주변에서 장애물 즉, 높이가 있는 객체의 존재 여부를 판단하는 것을 특징으로 한다. 또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 높이가 있는 객체가 검출될 시, 해당 객체의 위치 정보와 각도 정보를 산출하고, 이를 조감도 이미지 생성시 반영함으로써 운전자 또는 사용자에게 이질감 없이 출력 화면을 제공할 수 있다. 이제, 도 10을 참조로 본 발명의 일 실시예에 따른 운전 보조 방법에 대한 설명이 이루어진다. 다만, 아래에서는 위에서 언급된 부분과 중복되는 사항은 생략하여 그 설명이 이루어진다.
S101 단계는 조사 제어부에 의해, 패턴 조사부를 통해 조사되는 패턴의 조사 시간 및 조사 시점을 제어하는 단계이다. S101 단계는 패턴 조사부가 빛을 방출하는 광원을 포함하여 구성될 때 수행되는 단계이다. 즉, 패턴 조사부가 광원으로 이루어져서, 패턴 조사부를 통해 광이 지면으로 방출되는 상황이라면, 카메라 이미지에는 사람의 눈으로 식별될 수 있는 제 2 패턴이 포함되고 이러한 제 2 패턴이 출력 화면을 통해 운전자에게 제공되면 운전자는 운전 시 불편함을 느낄 수 있다. 뿐만 아니라, 사람의 눈으로 식별 가능한 제 2 패턴이 차량 외부로 지속적으로 방출되면, 상술한 광원에서 방출된 제 2 패턴에 의해 운전자 차량 주변의 다른 운전자들의 운전에 방해될 수 있다.
이에 따라, S101 단계는 제 2 패턴이 사람의 눈으로 식별될 때 이루어지고, 사람의 눈으로 식별되기 어려울 정도로 짧게 패턴의 조사 시간을 설정할 수 있다. 물론, 패턴 조사부는 사람의 눈으로 식별되지 않는 비가시광 즉, 자외선 또는 적외선을 조사할 경우, S101 단계가 필수적으로 이루어질 필요는 없다.
S102 단계는 카메라를 통해 촬영된 카메라 이미지를 저장부에 저장하는 단계이다. 위에서 설명한 바와 같이 패턴 조사부는 제 1 패턴을 지속적으로 조사하는 것이 아닌 S101 단계에서 설정된 조사 시점에 따라, 예를 들어 미리 설정된 조사 주기에 따라 제 1 패턴을 조사하게 된다. 이에 따라, 저장부에 저장된 카메라 이미지들의 경우, 일부에는 제 2 패턴이 포함되고, 나머지에는 제 2 패턴이 포함되지 않을 수 있다.
S103 단계는 이미지 선택부에 의해, 저장부에 저장된 이미지들 중 적어도 하나의 카메라 이미지를 선택하는 단계이다. 아래의 설명에서는 S103 단계를 통해 제 2 패턴이 포함된 카메라 이미지가 선택된 예시를 중심으로 그 설명이 이루어진다. 도면에 도시되진 않았으나, 만일 S103 단계에서 제 2 패턴이 없는 카메라 이미지가 선택된 경우, 제어는 S109 단계로 전달되어 제 2 패턴이 없는 카메라 이미지를 근거로 조감도 이미지의 생성 과정이 이루어질 수 있다.
S104 단계는 패턴 분석부에 의해, 패턴 조사부를 통해 조사된 제 1 패턴과, 카메라 이미지에 포함된 제 2 패턴이 동일한지 판단함으로써, 제 2 패턴에 왜곡이 존재하는지 판단하는 단계이다. S104 단계를 통한 비교 과정을 수행하기 위해, S104 단계 이전 패턴 분석부에 의해, 카메라 이미지에서 제 2 패턴을 추출하는 과정이 먼저 수행될 수 있다.
상술한 것처럼, 본 발명의 일 실시예에 따른 운전 보조 방법은 제 1 패턴과 제 2 패턴의 비교 결과, 그리고 제 2 패턴의 형상 분석을 통해, 노면 상태를 확인할 수 있고, 카메라 이미지 내에 높이가 있는 객체가 존재 하는지의 여부, 그리고 객체 존재 시 이의 위치를 판단할 수 있다. 즉, S104 단계에서의 판단 결과 제 1 패턴과 제 2 패턴이 동일하거나 유사한 것으로 판단된 경우(즉, 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 미만인 경우) 제어는 S105 단계로 전달되어, 카메라 이미지 내에서 노면의 상태가 양호하고, 카메라 이미지에 높이가 있는 객체가 없는 것으로 판단하는 단계가 수행될 수 있다. 반대로, S104 단계에서의 판단 결과, 제 1 패턴과 제 2 패턴이 상이한 경우(즉, 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 이상인 경우), 제어는 S106 단계로 전달되어 노면이 울퉁불퉁하거나, 또는 카메라 이미지에 높이가 있는 객체가 존재하는 것으로 판단하는 단계가 이루어진다. 여기서, 노면의 상태가 고르지 않은 것으로 판단된 경우 다른 어플리케이션에서 활용하기 위해 파라미터화를 수행하는 과정이 더 수행될 수 있다.
S107 단계는 제 1 패턴과 제 2 패턴의 차이가 매칭 판단값 이상인 경우 수행되는 단계로서, 객체 검출부에 의해, 제 2 패턴의 형상을 분석함으로써 높이가 있는 객체의 위치 및 객체와 지면 간 각도를 산출하는 단계이고, S108 단계는 S107 단계를 통한 산출 결과를 근거로 객체의 위치 정보와 지면과 높이가 있는 객체 간 각도 정보를 생성하는 단계이다. 즉, S107 단계 및 S108 단계는 카메라 이미지에서 패턴이 위치하는 곳에, 또는 다른 이미지 분석 기법을 통해 카메라 이미지에서 높이가 있는 객체의 좌표 정보를 도출할 수 있고, 이를 근거로 객체의 위치 정보를 생성할 수 있다. 마찬가지로, S107 단계 및 S108 단계는 제 2 패턴의 형상을 분석함으로써, 지면과 높이가 있는 객체간 각도를 산출하는 것도 가능하다.
S109 단계는 조감도 이미지 생성부에 의해, 카메라 이미지를 시점 변환함으로써 카메라 이미지에 대한 조감도 이미지를 생성하는 단계를 더 포함할 수 있다. 여기서, S109 단계를 통해 이루어지는 조감도 이미지 생성은 S104 단계 내지 S108 단계를 참조로 설명한 제 2 패턴이 포함된 카메라 이미지가 아닌, 제 2 패턴이 없는 카메라 이미지인 것으로 설명된다.
또한, S109 단계는 상술한 룩업 테이블을 이용하여 제 2 패턴이 없는 카메라 이미지의 시점을 변경함으로써, 조감도 이미지를 생성하는 단계이다. 예를 들어, 조감도 이미지는 투시 변환을 이용하여 생성될 수 있다. 또한, S109 단계를 통해 이루어지는 조감도 이미지 변환 과정은 다양한 방식이 적용될 수 있으므로, 이에 대한 추가적인 설명은 생략된다.
또한 본 발명의 일 실시예에 따른 운전 보조 방법은 차량 주변에 높이가 있는 객체(즉, 장애물)가 존재할 때 이를 고려하여 조감도 이미지를 생성하는 것을 특징으로 한다. 즉, S104 단계를 통한 판단 결과, 차량 주변에 높이가 있는 객체가 있는 것으로 판단된 경우 S109 단계는 S108 단계에서 생성된 객체의 위치 정보 및 각도 정보를 수신하고, 이들 정보를 고려하여 조감도 이미지를 생성할 수 있다. 구체적으로, S109 단계는 차량 주변에 장애물이 존재할 시, 카메라 이미지에서 객체를 포함하는 객체 영역은 입체적으로 변환하되, 그 나머지 영역은 앞서 설명한 투시 변환을 수행함으로써 조감도 이미지를 생성할 수 있다.
S110 단계는 화면 생성부에 의해, 출력 화면을 생성하고 이를 디스플레이부를 통해 출력하는 단계이다. 여기서, 출력 화면은 조감도 이미지 영역, 실시간 영상 영역 및 거리 정보 영역을 포함하여 구성될 수 있다. 즉, 차량에 탑승한 운전자 또는 사용자는 디스플레이부를 통해 출력되는 출력 화면을 통해 차량의 주변 상황을 파악할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 운전 보조 장치 110 : 저장부
120 : 이미지 선택부 130 : 조감도 이미지 생성부
140 : 출력 화면 생성부 150 : 패턴 분석부
160 : 객체 검출부 170 : 조사 제어부

Claims (20)

  1. 카메라와, 지면을 향해 패턴을 조사하는 패턴 조사부를 포함하는 차량의 운전 보조 장치로서,
    상기 카메라를 통해 획득되고, 상기 패턴이 조사된 영역을 포함하는 카메라 이미지가 저장되는 저장부; 및
    상기 카메라 이미지에서 패턴을 추출하고, 상기 패턴 조사부를 통해 조사된 제 1 패턴과 상기 카메라 이미지에 포함된 제 2 패턴을 비교함으로써 상기 카메라 이미지 내에 왜곡이 존재하는지 판단하며, 왜곡이 존재하는 것으로 판단될 때, 상기 제 2 패턴을 근거로 파라미터화를 수행하는 패턴 분석부를 포함하는 것을 특징으로 하는 운전 보조 장치.
  2. 제1항에 있어서,
    상기 패턴 조사부를 통해 조사된 제 1 패턴과 상기 카메라 이미지에 포함된 제 2 패턴 간 비교 결과를 근거로, 상기 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 객체 검출부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  3. 제2항에 있어서,
    상기 객체 검출부는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 미만인 경우, 상기 카메라 이미지에는 높이가 있는 객체가 없는 것으로 판단하는 것을 특징으로 하는 운전 보조 장치.
  4. 제2항에 있어서,
    상기 객체 검출부는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 상기 카메라 이미지에 포함된 패턴이 조사된 영역에 높이가 있는 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 운전 보조 장치.
  5. 제4항에 있어서,
    상기 객체 검출부는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 상기 제 2 패턴의 형상을 분석함으로써 상기 높이가 있는 객체의 위치 정보와, 상기 지면과 상기 높이가 있는 객체 간 각도에 대한 각도 정보를 생성하는 것을 특징으로 하는 운전 보조 장치.
  6. 제5항에 있어서,
    상기 카메라 이미지를 시점 변환함으로써 상기 카메라 이미지에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  7. 제6항에 있어서,
    상기 조감도 이미지 생성부는 상기 카메라 이미지에서 높이가 있는 객체가 검출된 경우, 상기 객체의 위치 정보와 각도 정보를 근거로 상기 객체의 일 면이 상기 카메라의 위치에 대향하도록 입체적으로 변환함으로써 조감도 이미지 내에 높이가 있는 객체를 표현하는 것을 특징으로 하는 운전 보조 장치.
  8. 제1항에 있어서,
    상기 패턴 조사부를 통해 조사되는 패턴의 조사 시간 및 조사 시점을 제어하는 조사 제어부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  9. 제8항에 있어서,
    상기 조사 제어부는 사람이 빛을 식별할 수 있는 시간 보다 짧게 상기 조사 시간을 설정하는 것을 특징으로 하는 운전 보조 장치.
  10. 제8항에 있어서,
    저장부에 저장된 복수의 카메라 이미지들 중 상기 조사 시간 및 조사 시점에 맞추어 촬영된 카메라 이미지를 선택하는 이미지 선택부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  11. 제1항에 있어서,
    상기 패턴 조사부는 적외선 또는 자외선을 조사하는 것을 특징으로 하는 운전 보조 장치.
  12. 카메라와, 지면을 향해 패턴을 조사하는 패턴 조사부를 포함하는 차량의 운전 보조 방법으로서,
    이미지 선택부에 의해, 저장부에 저장된 상기 카메라를 통해 획득되며 상기 패턴이 조사된 영역을 포함하는 카메라 이미지를 획득하는 단계;
    패턴 분석부에 의해, 상기 카메라 이미지에서 패턴을 추출하는 단계;
    상기 패턴 분석부에 의해, 상기 패턴 조사부를 통해 조사된 제 1 패턴과 상기 카메라 이미지에 포함된 제 2 패턴을 비교함으로써 상기 카메라 이미지 내에 왜곡이 존재하는지 판단하는 단계; 및
    상기 패턴 분석부에 의해, 상기 카메라 이미지 내에 왜곡이 존재하는 것으로 판단될 경우, 상기 제 2 패턴을 근거로 파라미터화를 수행하는 단계를 포함하는 것을 특징으로 하는 운전 보조 방법.
  13. 제12항에 있어서,
    객체 검출부에 의해, 상기 패턴 조사부를 통해 조사된 제 1 패턴과 상기 카메라 이미지에 포함된 제 2 패턴간 비교 결과를 근거로, 상기 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  14. 제13항에 있어서,
    상기 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 단계는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 미만인 경우, 상기 카메라 이미지에 높이가 있는 객체가 없는 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 운전 보조 방법.
  15. 제13항에 있어서,
    상기 카메라 이미지 내에서 높이가 있는 객체의 존재 여부를 판단하는 단계는 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 상기 카메라 이미지에 포함된 패턴이 조사된 영역에 높이가 있는 객체가 존재하는 것으로 판단하는 단계를 포함하는 것을 특징으로 하는 운전 보조 방법.
  16. 제15항에 있어서,
    상기 객체 검출부에 의해, 상기 제 1 패턴과 상기 제 2 패턴의 차이가 매칭 판단값 이상인 경우, 상기 제 2 패턴의 형상을 분석함으로써 상기 높이가 있는 객체의 위치 정보와, 상기 지면과 상기 높이가 있는 객체 간 각도에 대한 각도 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  17. 제16항에 있어서,
    조감도 이미지 생성부에 의해, 상기 카메라 이미지를 시점 변환함으로써 상기 카메라 이미지에 대한 조감도 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  18. 제17항에 있어서,
    상기 조감도 이미지를 생성하는 단계는 상기 카메라 이미지에서 높이가 있는 객체가 검출된 경우, 상기 객체의 위치 정보와 각도 정보를 근거로 상기 객체의 일 면이 상기 카메라의 위치에 대향하도록 입체적으로 변환함으로써 조감도 이미지 내에 높이가 있는 객체를 표현하는 것을 특징으로 하는 운전 보조 방법.
  19. 제12항에 있어서,
    조사 제어부에 의해, 상기 패턴 조사부를 통해 조사되는 패턴의 조사 시간 및 조사 시점을 제어하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  20. 제19항에 있어서,
    상기 조사 시간 및 조사 시점을 제어하는 단계는 사람이 빛을 식별할 수 있는 시간 보다 짧게 상기 조사 시간을 설정하는 것을 특징으로 하는 운전 보조 방법.
KR1020160162931A 2016-12-01 2016-12-01 차량의 운전 보조 장치 및 방법 KR20180062820A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160162931A KR20180062820A (ko) 2016-12-01 2016-12-01 차량의 운전 보조 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160162931A KR20180062820A (ko) 2016-12-01 2016-12-01 차량의 운전 보조 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180062820A true KR20180062820A (ko) 2018-06-11

Family

ID=62603148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162931A KR20180062820A (ko) 2016-12-01 2016-12-01 차량의 운전 보조 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180062820A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231129A1 (ko) 2018-05-31 2019-12-05 주식회사 엘지화학 Pcb 다이렉트 커넥터

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269915A (ja) * 2002-03-13 2003-09-25 Omron Corp 三次元監視装置
JP2004328240A (ja) * 2003-04-23 2004-11-18 Denso Corp 周辺画像表示装置
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
JP4751443B2 (ja) * 2006-03-07 2011-08-17 富士通株式会社 撮影装置、及び撮影方法
JP2012185588A (ja) * 2011-03-04 2012-09-27 Hitachi Automotive Systems Ltd 車戴カメラ及び車載カメラシステム
KR20150115488A (ko) * 2014-04-04 2015-10-14 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR20150116116A (ko) 2014-04-04 2015-10-15 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
JP2016021653A (ja) * 2014-07-14 2016-02-04 アイシン精機株式会社 周辺監視装置、及びプログラム
KR20170120010A (ko) * 2016-04-20 2017-10-30 엘지이노텍 주식회사 영상 취득 장치 및 그 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003269915A (ja) * 2002-03-13 2003-09-25 Omron Corp 三次元監視装置
JP2004328240A (ja) * 2003-04-23 2004-11-18 Denso Corp 周辺画像表示装置
JP4751443B2 (ja) * 2006-03-07 2011-08-17 富士通株式会社 撮影装置、及び撮影方法
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
JP2012185588A (ja) * 2011-03-04 2012-09-27 Hitachi Automotive Systems Ltd 車戴カメラ及び車載カメラシステム
KR20150115488A (ko) * 2014-04-04 2015-10-14 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR20150116116A (ko) 2014-04-04 2015-10-15 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
JP2016021653A (ja) * 2014-07-14 2016-02-04 アイシン精機株式会社 周辺監視装置、及びプログラム
KR20170120010A (ko) * 2016-04-20 2017-10-30 엘지이노텍 주식회사 영상 취득 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231129A1 (ko) 2018-05-31 2019-12-05 주식회사 엘지화학 Pcb 다이렉트 커넥터

Similar Documents

Publication Publication Date Title
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
KR101811157B1 (ko) 사발형 영상 시스템
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US9467679B2 (en) Vehicle periphery monitoring device
JP4420002B2 (ja) 視線先推定装置
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム
JP4899424B2 (ja) 物体検出装置
JP5748920B2 (ja) 車両周辺の表示方法
EP2437494A1 (en) Device for monitoring area around vehicle
JP5753509B2 (ja) 被測定物情報取得装置
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP4893212B2 (ja) 周辺監視装置
JP2006054504A (ja) 画像生成方法および装置
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
EP2642364B1 (en) Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle
US11040661B2 (en) Image display apparatus
TWI688502B (zh) 用於警告車輛障礙物的設備
JP2008262333A (ja) 路面判別装置および路面判別方法
CN111369617A (zh) 一种基于卷积神经网络的单目视图的3d目标检测方法
CN109886064B (zh) 确定可驾驶空间的边界的方法
JP6704607B2 (ja) 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP2014235640A (ja) 車両表示装置
KR20180062820A (ko) 차량의 운전 보조 장치 및 방법
US10173593B2 (en) Lane display device using outside mirror and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application