KR20180054212A - 운전 보조 장치 및 방법 - Google Patents

운전 보조 장치 및 방법 Download PDF

Info

Publication number
KR20180054212A
KR20180054212A KR1020160151870A KR20160151870A KR20180054212A KR 20180054212 A KR20180054212 A KR 20180054212A KR 1020160151870 A KR1020160151870 A KR 1020160151870A KR 20160151870 A KR20160151870 A KR 20160151870A KR 20180054212 A KR20180054212 A KR 20180054212A
Authority
KR
South Korea
Prior art keywords
bird
view image
eye view
splitter
vehicle
Prior art date
Application number
KR1020160151870A
Other languages
English (en)
Other versions
KR101949961B1 (ko
Inventor
이정표
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020160151870A priority Critical patent/KR101949961B1/ko
Publication of KR20180054212A publication Critical patent/KR20180054212A/ko
Application granted granted Critical
Publication of KR101949961B1 publication Critical patent/KR101949961B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K20/00—Arrangement or mounting of change-speed gearing control devices in vehicles
    • B60K20/02—Arrangement or mounting of change-speed gearing control devices in vehicles of initiating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10—Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 운전 보조 장치에 관한 것이다. 이를 위한 본 발명의 제 1 카메라 및 제 2 카메라가 장착된 차량에 적용되어, 차량의 운전을 보조하는 장치는 제 1 카메라를 통해 촬영된 제 1 카메라 이미지와, 제 2 카메라를 통해 촬영된 제 2 카메라 이미지를 저장하는 저장부; 및 제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지가 포함되는 제 1 조감도 영상 영역과 제 2 카메라 이미지를 근거로 생성된 제 2 합성 조감도 이미지가 포함되는 제 2 조감도 영상 영역을 포함하는 조감도 영상 영역을 포함하는 출력 화면을 생성하는 화면 생성부를 포함하고, 출력 화면에 제 1 조감도 영상 영역과 제 2 조감도 영상 영역을 분리하는 스플리터를 설정하는 스플리터 조정부를 더 포함하는 것을 특징으로 한다.

Description

운전 보조 장치 및 방법{APPARATUS AND METHOD FOR SUPPORTING DRIVING OF VEHICLE}
본 발명은 운전 보조 장치에 관한 것이고, 보다 상세하게 2개의 카메라를 통해 촬영되어 처리된 2개의 조감도 이미지들을 하나의 조감도 영상으로 운전자에게 제공할 때, 2개의 조감도 이미지들이 겹치는 부분에서 발생하는 이질감을 없앨 수 있는 운전 보조 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 또한, 운전자가 전방 방향으로 운전하는 상황에서도 주변에 장애물이 많은 경우, 장애물과 차량 간의 거리를 직관적으로 판단하기 어려워 사고가 발생할 수 있는 가능성이 높다. 따라서, 차량의 주변을 디스플레이 하기 위한 장치로서, 차량의 후방 또는 전방에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하거나, 상기 이미지를 변환하여 차량 주변에 대한 조감도 영상을 출력하는 디스플레이 장치가 알려져 있다.
여기서, 조감도 영상을 출력하는 기술로서, 차량에 하나의 카메라를 장착하고, 단일 카메라에서 촬영된 영상들을 합성함으로써, 차량 주변의 조감도 영상을 생성하는 기술이 존재한다. 또한, 이러한 조감도 생성 기술을 응용하여, 차량에 2개의 카메라들을 장착하고(예를 들어, 차량의 전방 및 후방), 각 단일 카메라에서 촬영된 2개의 이미지들을 합성함으로써 하나의 조감도 영상을 생성하는 기술이 연구되었다.
구체적으로, 이러한 조감도 영상 생성 기술은 2개의 카메라를 통해 촬영된 카메라 이미지를 근거로 2개의 합성 조감도 이미지(s_bi1, s_bi2)를 생성하고, 도 1에 도시된 것처럼 2개의 합성 조감도 이미지(s_bi1, s_bi2)를 하나의 조감도 영상으로 출력하는 기술을 나타낸다. 다만, 이러한 기술의 경우 운전자에게 디스플레이되는 조감도 영상은 2개의 합성 조감도 이미지(s_bi1, s_bi2)가 중첩되는 영역 즉, 중첩 영역(o_bi1)이 발생하게 된다. 여기서, 중첩 영역(o_bi1)에는 2개의 합성 조감도 이미지의 불일치에 의한 오차와 색상차가 존재하고, 이로 인해 운전자에게 이질감이 주는 문제가 존재한다. 이에 따라, 2개의 다른 카메라를 통해 촬영되어 생성된 합성 조감도 이미지가 중첩되는 지점에 대한 처리가 요구된다.
한국등록특허 제2015-0116116호(명칭: 차량 주변 이미지 생성 장치 및 방법)
본 발명은 2개의 카메라를 통해 촬영되어 생성된 2개의 합성 조감도 이미지를 운전자에게 제공할 때, 상술한 중첩 영역에서 야기되는 이질감을 줄일 수 있는 운전 보조 장치 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 제 1 카메라 및 제 2 카메라가 장착된 차량에 적용되어, 차량의 운전을 보조하는 장치는 제 1 카메라를 통해 촬영된 제 1 카메라 이미지와, 제 2 카메라를 통해 촬영된 제 2 카메라 이미지를 저장하는 저장부; 및 제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지가 포함되는 제 1 조감도 영상 영역과 제 2 카메라 이미지를 근거로 생성된 제 2 합성 조감도 이미지가 포함되는 제 2 조감도 영상 영역을 포함하는 조감도 영상 영역을 포함하는 출력 화면을 생성하는 화면 생성부를 포함하고, 출력 화면에 제 1 조감도 영상 영역과 제 2 조감도 영상 영역을 분리하는 스플리터를 설정하는 스플리터 조정부를 더 포함하는 것을 특징으로 한다.
또한, 스플리터 조정부는 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 중첩되는 부분에 스플리터를 추가할 수 있다.
또한, 스플리터는 두께가 있는 선의 형상을 갖고, 스플리터의 양 측은 조감도 영상 영역을 이루는 변들 중 서로 대향하는 2개의 변들에 연결될 수 있다.
또한, 제 1 조감도 영상 영역의 크기와 제 2 조감도 영상 영역의 크기는 조감도 영상 영역 내에서 스플리터의 위치에 따라 달라질 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치는 변속 레버의 위치 정보를 획득하는 조작 정보 수집부를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치는 차량의 이동 거리를 산출하는 이동 거리 산출부를 더 포함하고, 스플리터 조정부는 차량의 변속 레버의 위치 정보 및 이동 거리에 따라 스플리터의 위치를 실시간으로 조정할 수 있다.
또한, 스플리터 조정부는 변속 레버의 위치 정보에 따라 스플리터의 위치를 결정할 수 있다.
또한, 스플리터 조정부는 변속 레버가 후진 기어에 위치할 때, 스플리터를 조감도 영상 영역내의 상부에 위치시킬 수 있다.
또한, 화면 생성부는 변속 레버가 주행 기어에 위치할 때, 스플리터를 조감도 영상 영역 내의 하부에 위치시킬 수 있다.
또한, 스플리터 조정부는 조감도 영상 영역의 중앙에 스플리터를 위치시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치는 tn 시점의 제 1 카메라 이미지를 시점 변환함으로써 tn 시점의 제 1 조감도 이미지를 생성하는 조감도 이미지 생성부; 및 차량의 이동 정보를 획득하고, 차량의 이동 정보에 따라 과거 시점에 생성된 제 1 합성 조감도 이미지에 tn 시점의 제 1 조감도 이미지를 합성함으로써 tn 시점의 제 1 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부를 더 포함할 수 있다.
또한, 조감도 이미지 생성부는 tn 시점의 제 2 카메라 이미지를 시점 변환함으로써 tn 시점의 제 2 조감도 이미지를 더 생성하고, 합성 조감도 이미지 생성부는 차량의 이동 정보에 따라 과거 시점에 생성된 제 2 합성 조감도 이미지에 tn 시점의 제 2 조감도 이미지를 합성함으로써 tn 시점의 제 2 합성 조감도 이미지를 더 생성할 수 있다.
또한, 합성 조감도 이미지 생성부는 차량이 후진 상태일 때 tn 시점의 제 1 합성 조감도 이미지를 생성하고, 화면 생성부는 차량이 후진 상태일 때 제 1 조감도 영상 영역에 tn 시점의 제 1 합성 조감도 이미지를 포함시키되, 제 2 조감도 영상 영역에는 과거 시점에 생성된 제 2 합성 조감도 이미지를 포함시킬 수 있다.
또한, 합성 조감도 이미지 생성부는 차량이 전진 상태일 때 tn 시점의 제 2 합성 조감도 이미지를 생성하고, 화면 생성부는 차량이 전진 상태일 때 제 2 조감도 영상 영역에 tn 시점의 제 2 합성 조감도 이미지를 포함시키되, 제 1 조감도 영상 영역에는 과거 시점에 생성된 제 1 합성 조감도 이미지를 포함시킬 수 있다.
또한, 차량이 후진 상태일 때 합성 조감도 이미지 생성부는 tn 시점의 제 1 합성 조감도 이미지를 생성하고, 조감도 이미지 생성부는 tn 시점의 제 2 합성 조감도 이미지를 생성하며, 화면 생성부는 차량이 후진 상태일 때 제 1 조감도 영상 영역에 tn 시점의 제 1 합성 조감도 이미지를 포함시키되, 제 2 조감도 영상 영역에는 tn 시점의 제 2 조감도 이미지를 포함시킬 수 있다.
또한, 차량이 전진 상태일 때 합성 조감도 이미지 생성부는 tn 시점의 제 2 합성 조감도 이미지를 생성하고, 조감도 이미지 생성부는 tn 시점의 제 1 합성 조감도 이미지를 생성하며, 화면 생성부는 차량이 전진 상태일 때 제 2 조감도 영상 영역에 tn 시점의 제 2 합성 조감도 이미지를 포함시키되, 제 1 조감도 영상 영역에는 tn 시점의 제 1 조감도 이미지를 포함시킬 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 제 1 카메라 및 제 2 카메라가 장착된 차량에 적용되어, 차량의 운전을 보조하는 방법은 화면 생성부에 의해, 제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지가 포함되는 제 1 조감도 영상 영역과 제 2 카메라 이미지를 근거로 생성된 제 2 합성 조감도 이미지가 포함되는 제 2 조감도 영상 영역을 포함하는 조감도 영상 영역을 포함하는 출력 화면을 생성하는 단계를 포함하고, 스플리터 조정부에 의해, 출력 화면에 제 1 조감도 영상 영역과 제 2 조감도 영상 영역을 분리하는 스플리터를 설정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 스플리터를 설정하는 단계는 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 중첩되는 부분에서 이루어질 수 있다.
또한, 스플리터를 설정하는 단계는 조감도 영상 영역의 중앙에서 이루어질 수 있다.
또한, 제 1 조감도 영상 영역의 크기와 제 2 조감도 영상 영역의 크기는 조감도 영상 영역 내에서 스플리터의 위치에 따라 달라질 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 조작 정보 수집부에 의해, 변속 레버의 위치 정보를 획득하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 이동 거리 산출부에 의해, 차량의 이동 거리를 산출하는 단계; 및 스플리터 조정부에 의해, 차량의 변속 레버의 위치 정보 및 이동 거리에 따라 스플리터의 위치를 실시간으로 조정하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 스플리터 조정부에 의해, 변속 레버의 위치 정보에 따라 스플리터의 위치를 결정하는 단계를 더 포함할 수 있다.
본 발명의 운전 보조 장치 및 방법에 따르면 2개의 카메라를 통해 촬영되어 생성된 2개의 합성 조감도 이미지를 운전자에게 제공할 때, 스플리터를 통해 2개의 합성 조감도 이미지를 구분함으로써, 중첩 영역에서 발생하는 위치 오차와 색상차 등에 의해 야기되는 이질감을 줄일 수 있는 장점이 있다.
도 1은 운전자에게 제공되는 출력 화면의 일 예시를 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 운전 보조 장치에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 운전 보조 장치에 대한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 합성 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 합성 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 생성된 조감도 영상 영역의 제 1 예시를 나타내는 개념도이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 생성된 조감도 영상 영역의 제 2 예시를 나타내는 개념도이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 운전 보조 장치를 통해 생성된 조감도 영상 영역의 제 3 예시를 나타내는 개념도이다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 운전 보조 방법에 대한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명의 실시예에 따른 운전 보조 장치 및 방법에 대하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 대한 개념도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 2개의 카메라(11, 13)에 장착된 차량에 적용되어, 차량 주변의 조감도 영상을 포함하는 출력화면을 운전자에게 제공하는 기능을 한다. 또한, 위에서 설명된 바와 같이 2개의 합성 조감도 이미지들을 근거로 하나의 조감도 영상을 생성할 경우, 2개의 합성 조감도 이미지들이 겹치는 영역에서 시각적인 이질감이 발생하게 된다. 이에 따라, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 2개의 합성 조감도 이미지들이 겹치는 영역에 스플리터(sp)를 설정하는 방식을 채택한다.
구체적으로, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 제 1 카메라(11)를 통해 촬영된 제 1 카메라 이미지를 이용하여 제 1 합성 조감도 이미지를 생성하고, 제 2 카메라(12)를 통해 촬영된 제 2 카메라 이미지를 이용하여 제 2 합성 조감도 이미지를 생성할 수 있다. 여기서, 제 1 합성 조감도 이미지는 제 1 카메라 이미지를 시점 변환함으로써 생성된 제 1 조감도 이미지와 과거 시점에 생성된 제 1 조감도 이미지 또는 과거 시점에 생성된 제 1 합성 조감도 이미지를 합성함으로써 생성될 수 있다. 즉, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 tn 시점의 제 1 카메라 이미지를 시점 변환함으로써 생성된 tn 시점의 제 1 조감도 이미지를, 이전 시점에 생성된 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지에 합성함으로써 tn 시점의 제 1 합성 조감도 이미지를 생성할 수 있다.
이는, 현재 및 과거 시점의 조감도 이미지들을 합성하여 하나의 합성 조감도 이미지를 생성하는 방식으로서, 차량에 하나의 카메라만 장착되더라도 차량 주변의 조감도 이미지를 운전자에게 제공할 수 있게 된다. 마찬가지로, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 tn 시점의 제 2 카메라 이미지를 시점 변환함으로써 생성된 tn 시점의 제 2 조감도 이미지에, 이전 시점에 생성된 제 2 조감도 이미지 또는 제 2 합성 조감도 이미지를 합성함으로써 제 2 합성 조감도 이미지를 생성할 수 있다.
합성 조감도 이미지의 생성 방법에 기인하여, 차량의 주차 과정에서 또는 변속 레버를 조작하고 차량을 이동시킬 경우, 조감도 영상에는 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간에 중첩 영역이 발생하게 된다. 2개의 합성 조감도 이미지들의 경우, 각 합성 조감도 이미지의 생성 시점, 카메라의 성능 및 모델, 카메라의 위치에 따른 주변 광 등의 차이에 기인하여, 2개의 합성 조감도 이미지들의 불일치에 의한 오차와 색상차가 발생하고, 이로 인해 운전자에게 이질감이 발생하게 된다.
이에 따라, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 출력 화면에 포함된 조감도 영상 영역 내에서 2개의 합성 조감도 이미지들을 함께 출력하되, 운전자가 2개의 합성 조감도 이미지들을 각각 구분하여 파악할 수 있도록 스플리터(sp)를 추가한 것을 특징으로 한다. 이제, 도 3을 참조로 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 대한 설명이 더 이루어진다. 또한, 아래의 설명에서는 출력 화면에 포함되는 조감도 영상 영역을 중심으로 그 설명이 이루어진다. 다만, 출력 화면은 도 2에서 영역(da2)으로 나타난 바와 같이 실시간 영상 영역을 더 포함할 수 있고, 실시간 영상 영역에는 제 1 카메라와 제 2 카메라 중 적어도 하나의 카메라를 통해 촬영되는 카메라 이미지가 포함될 수 있다.
도 3은 본 발명의 일 실시예에 따른 운전 보조 장치(100)에 대한 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 저장부(110), 이미지 획득부(120), 조감도 이미지 생성부(130), 합성 조감도 이미지 생성부(140), 화면 생성부(150), 조작 정보 수집부(160), 스플리터 조정부(170) 및 이동 거리 산출부(180)를 포함하여 구성될 수 있다.
저장부(110)는 차량에 장착된 제 1 카메라(11) 및 제 2 카메라(13)를 통해 촬영된 카메라 이미지(즉, 제 1 카메라 이미지 및 제 2 카메라 이미지)가 저장될 수 있다. 여기서, 제 1 카메라(11)는 차량의 후방에 설치되고, 제 2 카메라(13)는 차량의 전방에 설치되는 것으로 설명되나, 카메라의 개수, 설치 위치 및 방향은 다양하게 적용될 수 있으므로, 본 발명에서는 이를 특정한 것으로 제한하지 않는다. 또한, 저장부(110)는 제 1 및 제 2 카메라 이미지에 대한 시점 정보가 함께 저장될 수 있다.
이미지 획득부(120)는 차량에 장착된 제 1 카메라(11)를 통해 촬영되고, 저장부(110)에 저장된 tn 시점의 제 1 카메라 이미지를 획득하는 기능을 한다. 마찬가지로, 이미지 획득부(120)는 차량에 장착된 제 2 카메라(13)를 통해 촬영되고, 저장부(110)에 저장된 tn 시점의 제 2 카메라 이미지를 더 획득할 수 있다.
조감도 이미지 생성부(130)는 이미지 획득부(120)를 통해 획득한 제 1 카메라 이미지 즉, tn 시점의 제 1 카메라 이미지를 이용하여 제 1 조감도 이미지 즉, tn 시점의 제 1 조감도 이미지를 생성하는 기능을 한다. 또한, 조감도 이미지 생성부(130)는 이미지 획득부(120)를 통해 획득한 tn 시점의 제 2 카메라 이미지를 이용하여 tn 시점의 제 2 조감도 이미지를 더 생성할 수 있다. 여기서, 조감도 이미지는 저장부(110)에 저장된 룩업 테이블을 근거로 투시 변환을 이용하여 생성될 수 있다. 구체적으로, 조감도 이미지 생성부(130)는 지면상의 이미지의 위치 데이터가 카메라의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.
보다 상세하게 설명하면, 카메라(11)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
Figure pat00001
)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정한다. 여기서, 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α, β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
Figure pat00002
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 근거로 조감도 이미지를 생성할 수 있다. 다만, 조감도 이미지를 생성하는 방법은 상기 방식 외에 다른 다양한 방법으로 구현될 수 있고, 본 발명의 일 실시예에 따른 조감도 이미지 생성부(130)를 통해 이루어지는 조감도 이미지 생성 방법은 상기 방식으로 제한되지 않는다. 또한, 조감도 이미지 생성부(130)를 통해 생성된 조감도 이미지 즉, 제 1 조감도 이미지와 제 2 조감도 이미지 중 적어도 하나는 다시 저장부(110)로 전달되어, 저장부(110)내에 저장될 수 있다.
본 발명의 일 실시예에 따른 운전 보조 장치(100)를 통해 조감도 이미지를 생성하는 방법에 대한 예시는 도 4에 도시된다. 도 4는 차량이 후진을 통해 주차를 하는 상황에서 생성된 제 1 조감도 이미지의 예시를 나타낸다.
본 발명의 일 실시예에 따른 운전 보조 장치(100)는 저장부(110)에 저장된 제 1 카메라 이미지들을 획득하고, 이를 제 1 조감도 이미지로 변환할 수 있다. 도 4의 상부는 카메라를 통해 각 시점에 촬영된 제 1 카메라 이미지에 대한 예시를 나타내고, 도 4의 하부는 각 시점 별로 변환된 제 1 조감도 이미지에 대한 예시를 나타낸다.
구체적으로, 조감도 이미지 생성부(130)는 도 4에 도시된 바와 같이, t1 시점에 촬영된 제 1 카메라 이미지(ci11)를 제 1 조감도 이미지(bi11)로 변환하는 과정을 수행한다. 이때, t1 시점의 제 1 조감도 이미지(bi11)를 살펴보면, 차량(10)에 장착된 카메라의 광각 성능에 따라, 제 1 조감도 이미지(bi11)에는 카메라를 통해 표현되는 영역(ca11)과, 표현되지 않는 영역(nsa11)이 존재하게 된다. 이는 제 1 조감도 이미지(bi11)가 제 1 카메라 이미지(ci11)를 시점 변환함으로써 생성된 이미지이기 때문이다.
또한, 조감도 이미지 생성부(130)는 t2 시점에 촬영된 제 1 카메라 이미지(ci12)를 t2 시점의 제 1 조감도 이미지(bi12)로 변환할 수 있다. 이 경우, t1 시점의 조감도 이미지(bi11)와 마찬가지로, t2 시점의 제 1 조감도 이미지(bi12)는 영역(ca12)에 해당하는 부분이 표현될 수 있고, 차량(10)에 장착된 카메라의 광각 성능에 따라, 표현되지 않는 영역(nsa12)이 존재하게 된다. 뿐만 아니라, 제 1 조감도 이미지(bi12)에는 상술한 카메라(10)의 성능에 따라 그리고, 진행 중인 차량(10)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부 주차선 만이 나타날 수 있다.
또한, 조감도 이미지 생성부(130)는 t3 시점에 촬영된 제 1 카메라 이미지(ci13)를 t3 시점의 제 1 조감도 이미지(bi13)로 변환할 수 있다. 이 경우, t1 시점 및 t2 시점의 제 1 조감도 이미지(bi11, bi12)와 마찬가지로, t3 시점의 제 1 조감도 이미지(bi13)는 영역(ca13)에 해당하는 부분이 표현될 수 있고, 차량(10)에 장착된 카메라의 광각 성능에 따라, 표현되지 않는 영역(nsa13)이 존재하게 된다. 뿐만 아니라, t3 시점의 제 1 조감도 이미지(bi13)에는 상술한 카메라(10)의 성능에 따라 그리고, 진행 중인 차량(10)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부 주차선 만이 나타날 수 있다.
조감도 이미지 생성부(130)는 상술한 방법과 동일한 방식으로 제 2 카메라 이미지를 시점 변환함으로써 각 시점에 대한 제 2 조감도 이미지를 생성할 수 있다.
다시 도 3을 참조하면, 합성 조감도 이미지 생성부(140)는 조감도 이미지 생성부(130)를 통해 생성된 tn 시점의 조감도 이미지와, 이전 시점에 생성된 조감도 이미지를 합성함으로써 합성 조감도 이미지를 생성하는 기능을 한다. 즉, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 이전 시점에 생성된 조감도 이미지와 현재 시점에 생성된 조감도 이미지를 합성함으로써, 전체 주차선이 디스플레이부(12)상에 표시되게 할 수 있다. 다시 말해, 합성 조감도 이미지 생성부(140)는 과거 시점의 조감도 이미지를 이후 시점의 조감도 이미지에 합성함으로써, 합성 조감도 이미지를 생성하는 방식을 이용할 수 있다.
예를 들어, 조감도 이미지 생성부(130)를 통해 tn 시점의 제 1 카메라 이미지를 시점 변환함으로써 tn 시점의 제 1 조감도 이미지를 생성된 상황을 가정한다. 이때, 합성 조감도 이미지 생성부(140)는 이동 거리 산출부(180)를 통해 차량의 이동 정보를 획득하고, 차량의 이동 정보에 따라 과거 시점에 생성된 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지에, tn 시점의 제 1 조감도 이미지를 합성함으로써 tn 시점의 제 1 합성 조감도 이미지를 생성할 수 있다. 마찬가지로, 합성 조감도 이미지 생성부(140)는 tn 시점의 제 2 조감도 이미지를 이용하여 tn 시점의 제 2 합성 조감도 이미지를 더 생성할 수 있다.
즉, 본 발명의 일 실시예에 따른 합성 조감도 이미지 생성부(140)는 도 5a 내지 도 5c에 도시된 것처럼, 과거 시점 즉, 이전 시점들에 생성된 조감도 이미지를 현재 조감도 이미지에 합성함으로써, 합성 조감도 이미지를 생성할 수 있다. 여기서, 도 5a, 도 5b 및 도 5c에서 좌측의 그림은 차량이 주차 중일 때, 각각 t1, t2 및 t3 시점에서의 제 1 카메라 이미지를 나타내고, 도 1a, 도 1b 및 도 1c에서 우측 그림은 t1, t2 및 t3 시점에서 촬영된 제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지를 나타낸다.
본 발명의 일 실시예에 따른 운전 보조 장치(100)를 통한 제 1 조감도 이미지의 생성 방법을 살펴보면, 먼저, 도 5a에 도시된 것처럼 t1 시점에 촬영된 제 1 카메라 이미지(ci11)를 조감도 이미지(bi11)로 변환하는 과정이 수행된다. 이때, 도 1의 우측 그림에 도시된 것처럼, 차량(10)에 장착된 카메라의 광각 성능에 따라, 조감도 이미지(bi11)에는 카메라를 통해 표현되는 영역(ca11)과, 표현되지 않는 영역(nsa11)이 존재하게 된다. 이는 조감도 이미지(bi11)가 제 1 카메라 이미지(ci11)를 시점 변환함으로써 생성된 이미지이기 때문이다.
그 후, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 도 5b에 도시된 것처럼, t2 시점에 촬영된 제 1 카메라 이미지(ci12)를 조감도 이미지(bi12)로 변환하는 과정을 수행한다. 이 경우, 도 5a를 참조로 설명된 것과 마찬가지로, 기본적으로 생성되는 조감도 이미지는 도 5b의 우측 그림에서 영역(ca12)에 해당하는 부분이 나타날 수 있다. 이는, 도 5b의 제 1 카메라 이미지(ci12)의 경우, 진행 중인 차량(10)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부만이 나타나기 때문이다. 따라서, 전체 주차선(pl11)이 표현된 도 5a의 조감도 이미지(bi11)를 추가적으로 합성하는 과정을 거치고, 이에 따라 원래의 제 1 카메라 이미지(ci12)만으로는 표현될 수 없었던 영역(nsa12)에 대한 표현 즉, 전체 주차선(ppl11)에 대한 표현이 가능해진다.
마찬가지로, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 도 5c에 도시된 것처럼, t3 시점에 촬영된 제 1 카메라 이미지(ci13)를 조감도 이미지(bi13)로 변환하는 과정을 더 수행한다. 이 경우, 도 1a 및 도 1b를 참조로 설명된 것과 마찬가지로, 기본적으로 생성되는 제 1 조감도 이미지는 도 5c의 우측 그림에서 영역(ca13)에 해당하는 부분만이 나타날 수 있다. 이는 도 5c의 제 1 카메라 이미지(ci13)의 경우, 주차가 완료된 차량(10)의 위치에 기인하여 주차선들 중 전체가 아닌 일부만이 나타나기 때문이다. 따라서, 본 발명의 경우, 앞서 언급된 것과 마찬가지로 전체 주차선(pl11)이 표현된 도 5a와, 도 5c에 비해 많은 주차선이 표현된 도 5b의 조감도 이미지(bi11 및 bi12)를 추가적으로 합성하는 과정을 수행한다. 이에 따라, 종래 기술에 따른 차량 운전 보조 장치는 원래의 제 1 카메라 이미지(ci13)만으로는 표현될 수 없었던 영역(nsa11) 및 영역(nsa12)에 대한 표현 즉, 주차선(ppl11, ppl12)에 대한 표현이 가능해진다.
정리하면, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 도 6에 도시된 것처럼, tn 시점의 제 1 카메라 이미지를 근거로 tn 시점의 제 1 조감도 이미지를 생성할 수 있고, tn 시점의 제 1 조감도 이미지와, 과거 시점의 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 근거로 tn 시점의 제 1 합성 조감도 이미지를 생성할 수 있다.
물론, 본 발명의 일 실시예에 따른 합성 조감도 이미지 생성부(140)는 제 2 카메라 이미지에 대해서도 상술한 과정을 동일하게 적용함으로써 제 2 합성 카메라 이미지를 생성하는 것도 가능하다.
화면 생성부(150)는 제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지가 포함되는 제 1 조감도 영상 영역과 제 2 카메라 이미지를 근거로 생성된 제 2 합성 조감도 이미지가 포함되는 제 2 조감도 영상 영역을 포함하는 조감도 영상 영역을 포함하는 출력 화면을 생성하는 기능을 한다. 또한, 앞서 설명한 바와 같이 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 운전자에게 제공되는 출력 화면에 스플리터를 설정함으로써, 제 1 조감도 영상 영역과 제 2 조감도 영상 영역을 구분한 것을 특징으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 스플리터 조정부(170)를 통해 조감도 영상 영역에 스플리터를 설정하고, 스플리터를 통해 구분된 제 1 조감도 영상 영역에 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 포함시킬 수 있다. 물론, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 스플리터를 통해 구분된 제 2 조감도 영상 영역에 제 2 조감도 이미지 또는 제 2 합성 조감도 이미지를 포함시키는 것도 가능하다.
여기서, 스플리터는 스플리터 조정부(170)에 의해 생성될 수 있고, 상황에 따라 스플리터의 위치는 조감도 영상 영역의 중앙, 상부 또는 하부에 고정되거나, 또는 차량의 이동 방향 및 이동 거리에 따라 실시간, 그리고 슬라이딩 방식으로 움직이는 것도 가능하다. 즉, 스플리터 조정부(170)는 설정에 따라 스플리터의 위치를 특정 위치에 고정시키거나, 또는 슬라이딩 방식으로 변경시킬 수 있다. 이를 위해, 스플리터 조정부(170)는 조작 정보 수집부(160)를 통해 판단된 변속 레버의 위치 정보(즉, 이동 방향 정보)와, 이동 거리 산출부(180)를 통해 산출된 차량의 이동 거리 정보를 근거로 스플리터를 설정할 수 있다.
또한, 위의 설명에서 스플리터는 조감도 영상 영역 내에 미리 설정되는 것으로 설명되었으나 이는 예시일 뿐이고, 특정 조건(예를 들어, 차량의 변속 레버의 위치가 변경되고 차량이 이동되어, 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 중첩 영역이 발생할 때)이 충족될 때 생성되는 것도 생각해볼 수 있다.
이제, 도 7 내지 도 9를 참조로 본 발명의 일 실시예에 따른 운전 보조 장치(100)를 통해 스플리터를 설정하는 방법에 대한 설명이 이루어진다. 여기서, 도 7a 및 도 7b는 본 발명의 일 실시예에 따른 운전 보조 장치(100)를 통해 조감도 영상 영역의 중앙에 스플리터가 설정된 예시로서, 각각 t1 내지 t8 시점의 조감도 영상 영역을 나타낸다. 또한, t1 내지 t3 시점은 차량이 후진하는 상황을 가정하고, t4 시점은 변속 레버의 위치를 변경한 상황, 그리고 t5 시점 내지 t8 시점은 차량이 전진하는 상황을 가정한다. 그리고, 도 7a는 차량에 장착된 제 1 카메라와 제 2 카메라가 차량의 변속 레버의 위치에 따라 선택적으로 동작되는 예시를 나타내고, 도 7b는 차량에 장착된 제 1 카메라와 제 2 카메라 모두가 동작되는 예시를 나타낸다.
또한, 도 7a 및 도 7b에 도시된 예시의 경우 스플리터가 조감도 영상 영역의 중앙에 고정된 것을 특징으로 한다. 이에 따라, 조감도 영상 영역의 하부에는 제 1 카메라를 이용하여 생성된 제 1 합성 조감도 이미지가 출력될 수 있고, 조감도 영상 영역의 상부에는 제 2 카메라를 이용하여 생성된 제 2 합성 조감도 이미지가 출력될 수 있다.
먼저, 도 7a에 도시된 예시의 경우 변속 레버의 위치에 따라 카메라가 선택적으로 동작되므로, t1 시점 내지 t3 시점에는 제 1 카메라가 동작되는 반면, t4 시점 내지 t8 시점에는 제 2 카메라가 동작된다. 이에 따라, t1 시점의 경우 차량의 제 1 카메라로 촬영된 제 1 주차선(pl11) 중 일부가 영역(b12)에 나타나되, 나머지 영역(a11, a12, b11)은 미표현 영역으로 존재한다.
t2 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b21, b22)에는 주차선 중 일부가 나타난다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 과거 시점에 생성된 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 이용하므로, 영역(b21)에는 t1 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b12)에 해당하는 이미지가 포함된다.
t3 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b31, b32)에는 주차선 중 일부가 나타난다. 또한, 영역(b31)에는 t2 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b22)에 해당하는 이미지가 포함되고, 영역(b32)에는 t3 시점에 생성된 제 1 조감도 이미지가 포함될 수 있다. 여기서, t3 시점의 합성 조감도 영상을 살펴보면, 스플리터(sp3)를 기준으로 상부는 제 2 카메라를 이용하여 생성된 제 2 합성 조감도 이미지가 포함되나, 본 예시의 경우 제 2 카메라가 작동되지 않기에 영역(a31, a32)은 미표현 영역으로 존재하게 된다.
이제, t4 시점에 변속 레버의 위치가 변경된 상황을 가정한다. 이 때, 차량에 장착된 제 1 카메라 대신 제 2 카메라가 동작되게 되고, 이에 따라, 영역(a41)에는 제 2 카메라를 이용하여 생성된 제 2 조감도 이미지가 나타난다. 다만, 영역(a42)은 현재 제 2 카메라를 통해 촬영될 수 없고, 과거에 촬영된 영역이 아니므로 미표현 영역으로 존재하게 된다. 또한, 제 1 조감도 영상 영역을 나타내는 영역(b41, b42)에는 t1 시점 내지 t3 시점에 생성된 제 1 합성 조감도 이미지가 출력되어, 출력 상태를 유지할 수 있다. 이제, t5 내지 t8 시점에 차량이 전진하는 상황을 가정한다.
t5 시점의 경우, 차량이 전방 방향으로 일정 거리만큼 이동되어, 제 2 조감도 영상 영역을 나타내는 영역(a51, a52) 모두에 대해 미표현 영역이 사라지게 된다. 또한, 차량이 전방 방향으로 이동하더라도, 과거 시점에 동일한 위치에서 생성된 제 1 합성 조감도 이미지(즉, t2 시점에 생성된 제 1 합성 조감도 이미지)가 존재하기에, 영역(b51, b52)에도 별도의 미표현 영역 없이 주차선(pl11)에 대한 표현이 가능하다.
t6 시점의 경우 차량이 전방 방향으로 일정 거리만큼 이동되어, 영역(a61)에는 제 2 주차선(pl12) 중 일부가 나타난다. 또한, 영역(a62)에는 t5 시점에 생성된 제 2 합성 조감도 이미지 즉, 영역(a51)에 해당하는 이미지가 포함되고, 영역(a61)에는 t6 시점에 생성된 제 2 조감도 이미지가 포함될 수 있다. 다만, 제 1 조감도 영상 영역의 경우, 영역(b62)에는 t1 시점에 생성된 제 1 조감도 이미지가 나타날 수 있으나, 영역(b61)에는 과거에 해당 영역에 대한 촬영 정보가 없기에 미표현 영역으로 존재하게 된다. 이에 따라, 차량이 전방 방향으로 더 진행하게 되면, t7 시점 및 t8 시점의 조감도 영상 영역으로 도시된 바와 같이, 제 1 조감도 영상 영역에 대한 부분은 모두 미표현 영역으로 존재하게 된다.
또한, 위의 설명에서 조감도 영상 영역은 2개의 카메라들 중 하나의 카메라만을 선택적으로 동작시킴으로써 나타나는 것으로 설명되었다. 즉, 위의 설명에서 조감도 영상 영역은 2개의 카메라들 중 하나의 카메라만이 선택적으로 동작되어, 동작되는 카메라에 따라 제 1 합성 조감도 이미지 또는 제 2 합성 조감도 이미지가 선택적으로 생성되는 것으로 설명되었다. 다만 이는 예시일 뿐이고, 도 7b에 도시된 것처럼 2개의 카메라들 모두 동작되는 상황에서도 조감도 영상 영역을 나타내는 것이 가능하다.
예를 들어, 도 7b에 도시된 것처럼 2개의 카메라 모두가 동작되는 경우, t1 시점에는 차량의 제 1 카메라로 촬영된 제 1 주차선(pl11) 중 일부가 영역(b12)에 나타나고, 제 2 카메라로 촬영된 제 2 주차선(pl12) 중 일부가 영역(a11)에 나타날 수 있다. 물론, 카메라의 촬영 범위를 벗어나는 영역(a12, b11)은 미표현 영역으로 존재한다.
t2 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b21, b22)에는 주차선 중 일부가 나타난다. 또한, 제 2 카메라가 동작되므로, 영역(a21)도 표현이 될 수 있다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 과거 시점에 생성된 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 이용하므로, 영역(b21)에는 t1 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b12)에 해당하는 이미지가 포함된다.
t3 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b31, b32)에는 주차선 중 일부가 나타난다. 또한, 제 2 카메라의 동작에 의해, 영역(a31)도 표현이 될 수 있다. 또한, 도 7a의 예시와 마찬가지로, 영역(b31)에는 t2 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b22)에 해당하는 이미지가 포함되고, 영역(b32)에는 t3 시점에 생성된 제 1 조감도 이미지가 포함될 수 있다.
이제, t4 시점에 변속 레버의 위치가 변경되어 차량이 전방 방향으로 이동될 때의 상황을 가정한다.
t5 및 t6시점의 경우, 차량이 전방 방향으로 일정 거리만큼 이동되어, 도 7a의 예시와 동일한 조감도 영상 영역이 도출된다. 그리고, t7 시점 및 t8 시점의 경우, 도 7a의 예시에서 제 1 카메라가 미동작으로 인해 영역(b71, b72) 및 영역(b81, b82)이 미표현 영역으로 처리되었던 것과는 달리, 도 7b의 예시에서는 제 1 카메라가 동작되므로, 영역(b72) 및 영역(b82)은 표현이 가능해진다.
이렇게, 도 7a 및 도 7b에 도시된 예시와 같이, 운전자는 2개의 합성 조감도 이미지를 하나의 조감도 영상으로 볼 수 있다. 또한, 본 예시의 경우, 조감도 영상 영역의 가운데에 고정되어 설정된 스플리터에 의해, 운전자는 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지의 구분을 명확하게 할 수 있고, 이로 인해, 종래 기술의 문제점으로 언급된 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지의 중첩 영역에서 발생하는 이질감을 줄일 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 상술한 스플리터의 위치를 조감도 영상 영역의 중앙이 아닌 조감도 영상 영역의 상부 또는 하부에 설정하는 것도 가능하다. 예를 들어, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 변속 레버가 주행 기어에 위치할 때 스플리터의 위치를 조감도 영상 영역의 하부에 위치시킬 수 있고, 변속 레버가 후진 기어에 위치할 때, 스플리터의 위치를 조감도 영상 영역의 상부에 위치시킬 수 있다. 이제, 도 8a 및 도 8b를 참조로 변속 레버의 위치에 따라 스플리터의 위치가 변경되는 예시에 대해 설명된다. 여기서, 도 8a는 변속 레버의 위치에 따라 2개의 카메라들 중 하나의 카메라만 동작되는 예시를 나타내고, 도 8b는 2개의 카메라들 모두가 동작되는 예시를 나타낸다.
앞선 예시와 마찬가지로, t1 시점 내지 t3 시점에는 차량이 후방 방향으로 진행하고, t4 시점에는 차량의 변속 레버의 위치가 변경되며, t5 시점 t8 시점에는 차량이 전방 방향으로 진행하는 것으로 가정한다. 즉, 도 8a에 도시된 예시의 경우 변속 레버의 위치에 따라 카메라가 선택적으로 동작되므로, t1 시점 내지 t3 시점에는 제 1 카메라가 동작되는 반면, t4 시점 내지 t8 시점에는 제 2 카메라가 동작된다. 또한, t1 시점 내지 t3 시점에는 스플리터가 조감도 영상 영역의 상부에 설정되는 반면, t4 시점 내지 t8 시점에는 스플리터가 조감도 영상 영역의 하부에 설정된다.
t1 시점의 경우 차량의 제 1 카메라로 촬영된 제 1 주차선(pl11) 중 일부가 영역(b13)에 나타나되, 나머지 영역(a11, b11, b12)은 미표현 영역으로 존재한다. 앞서 언급한 것처럼, 본 예시의 경우 스플리터가 조감도 영상 영역의 중앙이 아닌 상부 또는 하부에 위치하므로, 제 1 조감도 영상 영역과 제 2 조감도 영상 영역의 크기도 상이하다. 본 예시에서, 제 1 조감도 영상 영역은 하나의 영역으로 나타나고, 제 2 조감도 영상 영역은 3개의 영역으로 나타나는 것으로 도시되었으나 이는 예시일 뿐이고, 각 조감도 영상 영역에는 다양한 크기 및 개수의 영역이 포함될 수 있다.
t2 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b22, b23)에는 주차선 중 일부가 나타난다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 과거 시점에 생성된 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 이용하므로, 영역(b22)에는 t1 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b13)에 해당하는 이미지가 포함된다. 또한, 영역(b21)은 과거에 촬영된 촬영 정보가 없기에, 미표현 영역으로 존재하게 된다.
t3 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 제 1 조감도 영상 영역(b31, b32, b33) 모두에는 주차선 중 일부가 나타난다. 또한, 영역(b31)에는 t2 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b22)에 해당하는 이미지가 포함되고, 영역(b32)에는 t2 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b23)에 해당하는 이미지가 포함되며, 영역(b33)에는 t3 시점에 생성된 제 1 조감도 이미지가 포함될 수 있다.
이제, t4 시점에 변속 레버의 위치가 변경된 상황을 가정한다. 이 때, 차량에 장착된 제 1 카메라 대신 제 2 카메라가 동작되게 되고, 이에 따라, 영역(a41)에는 제 2 카메라를 이용하여 생성된 제 2 조감도 이미지가 나타난다. 다만, 영역(a42, a43)은 현재 제 2 카메라를 통해 촬영될 수 없고, 과거에 촬영된 영역이 아니므로 미표현 영역으로 존재하게 된다. 또한, 제 1 조감도 영상 영역을 나타내는 영역(b41)에는 t1 시점 내지 t3 시점에 생성된 제 1 합성 조감도 이미지가 출력되어, 출력 상태를 유지할 수 있다. 이제, t5 시점 내지 t8 시점에 차량이 전진하는 상황을 가정한다.
t5 시점의 경우, 차량이 전방 방향으로 일정 거리만큼 이동되어, 제 2 조감도 영상 영역을 나타내는 영역들 중 영역(a51, a52)에 대해 미표현 영역이 사라진다. 물론, 영역(a53)의 경우, 과거 촬영 정보가 존재하지 않기에 미표현 영역으로 나타난다. 또한, 차량이 전방 방향으로 이동하더라도, 과거 시점에 동일한 위치에서 생성된 제 1 합성 조감도 이미지가 존재하기에, 영역(b51)에도 별도의 미표현 영역 없이 주차선(pl11)에 대한 표현이 가능하다.
t6 시점의 경우 차량이 전방 방향으로 일정 거리만큼 이동되어, 영역(a61)에는 제 2 주차선(pl12) 중 일부가 나타난다. 또한, 영역(a63)에는 t5 시점에 생성된 제 2 합성 조감도 이미지 즉, 영역(a52)에 해당하는 이미지가 포함되고, 영역(a62)에는 t5 시점에 생성된 제 2 합성 조감도 이미지 즉, 영역(a51)에 해당하는 이미지가 포함되며, 영역(a61)에는 t6 시점에 생성된 제 2 조감도 이미지가 포함될 수 있다. 또한, 차량이 전방 방향으로 이동하더라도, 과거 시점에 동일한 위치에서 생성된 제 1 합성 조감도 이미지가 존재하기에, 영역(b61)에도 별도의 미표현 영역 없이 주차선(pl11)에 대한 표현이 가능하다.
t7 및 t8 시점의 경우, 제 2 조감도 영상 영역을 나타내는 영역(a71, a72, a73) 및 영역(a81, a82, a83)은 위에서 설명한 합성 과정을 통해 각 시점의 제 2 합성 조감도 이미지를 생성할 수 있다. 다만, 제 1 조감도 영상 영역의 경우, 영역(b71) 및 영역(b81)에는 과거에 해당 영역에 대한 촬영 정보가 없기에 미표현 영역으로 존재하게 된다.
또한, 본 예시의 경우, 도 7a 및 도 7b의 예시와 마찬가지로, 2개의 카메라들 중 하나의 카메라만 선택적으로 동작시키는 것이 아닌, 2개의 카메라들 모두를 이용하여 조감도 영상 영역을 운전자에게 제공하는 것도 가능하다. 이렇게, 2개의 카메라들 모두가 동작하는 상황에서, 스플리터의 위치를 조감도 영상 영역의 상부 또는 하부에 설정하는 방법에 대한 예시는 도 8b에 도시된다.
도 8b에 도시된 것처럼 2개의 카메라 모두가 동작되는 경우, t1 시점에는 차량의 제 1 카메라로 촬영된 제 1 주차선(pl11) 중 일부가 영역(b13)에 나타나고, 제 2 카메라로 촬영된 제 2 주차선(pl12) 중 일부가 영역(a11)에 나타날 수 있다. 물론, 카메라의 촬영 범위를 벗어나는 영역(b11, b12)은 미표현 영역으로 존재한다.
t2 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b22, b23)에는 주차선 중 일부가 나타난다. 또한, 제 2 카메라가 동작되므로, 영역(a21)도 표현이 될 수 있다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 과거 시점에 생성된 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 이용하므로, 영역(b22)에는 t1 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b13)에 해당하는 이미지가 포함된다. 물론, 영역(b21)의 경우, 과거 촬영 정보가 없기에, 미표현 영역으로 존재한다.
t3 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b31, b32, b33)에는 주차선 중 일부가 나타난다. 또한, 제 2 카메라의 동작에 의해, 영역(a31)도 표현이 될 수 있다. 또한, 도 8a의 예시와 마찬가지로, 영역(b31, b32)에는 t2 시점에 생성된 제 1 합성 조감도 이미지 즉, 영역(b21, b22)에 해당하는 이미지가 포함되고, 영역(b33)에는 t3 시점에 생성된 제 1 조감도 이미지가 포함될 수 있다.
이제, t4 시점에 변속 레버의 위치가 변경되어 차량이 전방 방향으로 이동될 때의 상황을 가정한다. 이 경우, 영역(a41, b41)은 각 카메라를 이용하여 생성된 제 2 조감도 이미지와 제 1 조감도 이미지를 각각 포함할 수 있다. 다만, 영역(a42, a43)의 경우, 과거 촬영 정보가 존재하지 않기에, 도 8b에 도시된 것처럼 미표현 영역으로 존재하게 된다.
t5 및 t6시점의 경우, 차량이 전방 방향으로 일정 거리만큼 이동되어, 도 8a의 예시와 동일한 조감도 영상 영역이 도출된다. 그리고, t7 시점 및 t8 시점의 경우, 도 8a의 예시에서 제 1 카메라가 미동작으로 인해 영역(b71) 및 영역(b81)이 미표현 영역으로 처리되었던 것과는 달리, 도 8b의 예시에서는 제 1 카메라가 동작되므로, 영역(b71) 및 영역(b81)도 표현이 가능해진다.
또한, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 상술한 스플리터의 위치를 특정 위치에 고정하는 것이 아닌, 차량의 이동 방향 및 거리를 고려하여 실시간으로, 그리고 슬라이딩 방식으로 조정하는 것도 가능하다. 구체적으로, 본 발명의 일 실시예에 따른 운전 보조 장치(100)는 차량의 이동 방향에 따라 스플리터의 이동 방향을 결정할 수 있고, 차량의 이동 거리에 따라 스플리터를 움직일 수 있다.
이제, 도 9a 및 도 9b를 참조로 변속 레버의 위치(즉, 차량의 이동 방향) 및 차량의 이동 거리에 따라 스플리터의 위치를 조정하는 예시에 대해 설명된다. 앞선 예시들과 마찬가지로 도 9a는 변속 레버의 위치에 따라 2개의 카메라들 중 하나의 카메라만 동작되는 예시를 나타내고, 도 9b는 2개의 카메라들 모두가 동작되는 예시를 나타낸다.
앞선 예시와 마찬가지로, t1 시점 내지 t3 시점에는 차량이 후방 방향으로 진행하고, t4 시점에는 차량의 변속 레버의 위치가 변경되며, t5 시점 t8 시점에는 차량이 전방 방향으로 진행하는 것으로 가정한다. 즉, 도 9a에 도시된 예시의 경우 변속 레버의 위치에 따라 카메라가 선택적으로 동작되므로, t1 시점 내지 t3 시점에는 제 1 카메라가 동작되는 반면, t4 시점 내지 t8 시점에는 제 2 카메라가 동작된다. 또한, t1 시점 내지 t3 시점의 경우 차량이 후방 방향으로 이동하므로 스플리터는 조감도 영상 영역의 상부 방향으로 움직이는 반면, t4 시점 내지 t8 시점의 경우, 차량이 전방 방향으로 이동하므로 스플리터가 조감도 영상 영역의 하부 방향으로 이동한다.
먼저, t1 시점의 경우 차량의 제 1 카메라로 촬영된 제 1 주차선(pl11) 중 일부가 영역(b14)에 나타나되, 나머지 영역(b11, b12, b13)은 미표현 영역으로 존재한다.
t2 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b23, b24)에는 주차선 중 일부가 나타나고, t3 시점의 경우 차량이 후방 방향으로 일정 거리만큼 이동되어, 영역(b32, b33, b34)에 주차선 중 일부가 나타난다.
이제, t4 시점에서 변속 레버의 위치가 변경된 상황을 가정한다. 도 7a, 도 7b, 도 8a 및 도 8b의 예시의 경우 스플리터가 미리 특정 위치에 고정되어 설정되거나, 또는 변속 레버의 위치에 따라 2개의 위치 중 하나의 위치에 고정되어 설정되는 것으로 설명되었다. 이에 따라, 도 7a, 도 7b, 도 8a 및 도 8b의 예시는 하나의 조감도 이미지만 존재하는 t1 내지 t3 시점에도 스플리터가 설정된 것으로 설명되었다. 반면, 본 예시의 경우 변속 레버의 위치가 변경될 때, 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역이 겹치는 부분에 스플리터가 설정되는 것을 특징으로 한다. 또한, 이러한 스플리터의 설정 시점은 변속 레버의 위치가 변경될 때, 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역이 겹치지 않는다면, 바로 적용되는 것이 아닌 차량의 움직임에 따라 제 1 조감도 이미지 영역과 제 2 조감도 이미지 영역이 겹칠 때 설정되는 것도 가능하다.
물론, 도 8a 및 도 8b를 참조로 설명한 것처럼 변속 레버가 후진 기어에 위치할 때, t1 내지 t3 시점의 조감도 영상 영역과 마찬가지로 스플리터의 위치를 조감도 영상 영역의 상부에 위치시키는 방법도 생각해볼 수 있다. 다만, 스플리터가 미리 설정될 경우, 차량이 동일한 방향으로 지속적으로 움직일 때, 최상부 또는 최하부 영역에 있어서 미표현 영역이 존재할 수 밖에 없다. 반면, 스플리터를 변속 레버의 위치를 변경할 때, 또는 제 1 조감도 영상 영역과 제 2 조감도 영상 영역이 겹치는 시점에 설정할 경우, 특정 시점 이후부터는 미표현 영역 없이 하나의 카메라를 근거로 생성된 합성 조감도 이미지를 운전자에게 제공할 수 있는 장점이 있다. 또한, 이러한 스플리터의 설정 시점은 앞선 예시들에서도 동일하게 적용될 수 있다.
본 예시의 경우 변속 레버의 변경 시점에 제 1 조감도 영상 영역과 제 2 조감도 영상 영역에 중복되는 부분이 존재하기에, t4 시점의 조감도 영상 영역에는 스플리터(sp4)가 설정될 수 있다. 또한, t5 시점 및 t6 시점의 경우, 차량이 전방 방향으로 이동하기에, 스플리터의 위치는 점차 하부 방향으로 이동될 수 있다. 또한, 본 예시에서 t7 시점 및 t8 시점의 경우, 제 1 조감도 이미지 영역에 과거 촬영 정보가 없는 점에 기인하여, 미표현 영역(b71, b81)이 발생함을 알 수 있다. 이렇게 미표현 영역이 발생할 때, 스플리터를 없앤다면, 이전 시점에 생성된 합성 조감도 이미지를 이용하여 이러한 미표현 영역도 함께 제거할 수 있을 것이다. 물론, 도 9b에 도시된 것처럼 2개의 카메라들 모두를 이용한다면, 본 예시에서 t4 시점 이후로 미표현 영역은 발생하지 않을 수 있다.
또한, 위의 설명에서 스플리터는 횡방향으로만 존재하는 것으로 설명되었다. 다만, 이는 상기 예시들이 차량이 전방 및 후방 방향으로 움직이는 상황을 가정한 것이기에 그러하고, 조향휠의 조향 각도에 따라 스플리터를 사선 방향으로 설정하는 것도 생각해볼 수 있다. 즉, 운전자의 조작에 따라 조향휠이 왼쪽 방향으로 움직인다면, 스플리터의 일측은 조감도 영상 영역의 중앙을 기준으로 하부 방향으로 이동되되, 스플리터의 타측은 조감도 영상 영역의 중앙을 기준으로 상부 방향으로 이동될 수 있다. 마찬가지로, 운전자의 조작에 따라 조향휠이 오른쪽 방향으로 움직인다면, 스플리터의 일측은 조감도 영상 영역의 중앙을 기준으로 상부 방향으로 이동되되, 스플리터의 타측은 조감도 영상 영역의 중앙을 기준으로 하부 방향으로 이동될 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 스플리터는 일측이 조감도 영상 영역의 일 변에 위치하고, 타측이 조감도 영상 영역의 다른 변에 위치하는 것이라면, 다양한 형태로 변경 가능하다. 이처럼, 동작 카메라의 설정, 스플리터의 유지 여부, 그리고 설정 또는 제거 시점 등에 따라 다양한 조감도 영상 영역에 대한 결과가 도출될 수 있을 것이다. 또한, 스플리터의 존재에 기인하여 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 겹치는 영역에 의한 이질감이 줄어들 수 있다.
또한, 위에서 언급되진 않았으나 본 발명의 일 실시예에 따른 운전 보조 장치는 스플리터를 중심으로 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지가 겹치는 영역을 블랜딩 처리함으로써 조감도 영상 영역을 운전자에게 제공하는 것도 가능하다. 이는 위에서 언급된 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 겹치는 영역에 의한 이질감을 보다 감소시키기 위함이다. 물론, 이러한 블랜딩 처리 외에도, 본 발명의 일 실시예에 따른 운전 보조 장치는 스플리터를 중심으로 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 겹치는 영역에 미리 설정된 색상 톤(예를 들어, 적색, 청색 또는 녹색 등)을 적용시킴으로써, 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 겹치는 영역에 의한 이질감을 줄이는 방법도 생각해 볼 수 있다.
위에서는 차량이 후진, 기어 변경 및 전진의 순서로 동작되는 것으로 설명되었다. 다만 이는 예시일 뿐이고 본 발명의 일 실시예에 따른 운전 보조 장치는 차량이 다른 순서로 동작되더라도 동일한 기술 사상이 적용될 수 있다. 이에 따라, 차량의 다른 동작 시나리오로 움직일 때에 대한 추가적인 설명은 생략한다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 운전 보조 방법에 대한 흐름도이다. 여기서, 도 10은 스플리터가 조감도 영상의 중앙에 횡방향으로 설정될 때에 대한 흐름도를 나타내고, 도 11은 스플리터가 변속 레버의 위치에 따라 상부 또는 하부에 설정될 때에 대한 흐름도를 나타내며, 도 12는 차량의 이동 방향 및 이동 거리에 따라 스플리터가 슬라이딩 방식으로 이동될 때에 대한 흐름도를 나타낸다. 또한 위에서 설명된 것처럼 본 발명의 일 실시예에 따른 운전 보조 방법은 설정에 따라 차량에 장착된 2개의 카메라들 중 변속 레버의 위치에 따라 하나의 카메라만 선택적으로 동작시키거나, 또는 2개의 카메라들 모두를 동작시키는 것도 가능하다. 아래에서는 먼저, 변속 레버의 위치에 따라 2개의 카메라들 중 하나의 카메라만 선택적으로 동작하는 예시에 대해 설명된다. 또한, 아래에서는 차량이 차량의 후방 방향으로 이동하다가, 변속 레버의 위치가 변경되어 전방 방향으로 이동하는 상황을 가정하여 설명된다.
S110 단계는 이미지 획득부에 의해, 제 1 카메라를 통해 촬영된 제 1 카메라 이미지를 획득하는 단계이다.
S120 단계는 조감도 이미지 생성부에 의해, tn 시점의 제 1 카메라 이미지를 시점 변환함으로써 tn 시점의 제 1 조감도 이미지를 생성하는 단계이다.
S130 단계는 이동 거리 산출부에 의해, 차량의 이동 거리를 산출하는 단계이다. S130 단계를 통해 산출된 이동 거리는 아래의 설명에서 언급되는 합성 조감도 이미지 생성에 이용될 수 있다.
S140 단계는 합성 조감도 이미지 생성부에 의해, tn 시점의 제 1 합성 조감도 이미지를 생성하는 단계이다. 구체적으로, S140 단계는 tn 시점의 제 1 조감도 이미지와 과거 시점의 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지를 합성함으로써, tn 시점의 제 1 합성 조감도 이미지를 생성할 수 있다. 여기서, t1 시점의 경우, 차량이 이동하기 전 상황을 나타내므로, S140 단계를 통해 생성되는 제 1 합성 조감도 이미지는 S120 단계를 통해 생성된 제 1 조감도 이미지와 동일할 수 있다.
S150 단계는 화면 생성부에 의해, 출력 화면을 생성하고 생성한 출력 화면을 디스플레이 하는 단계이다. 여기서, 출력 화면은 조감도 영상 영역을 포함할 수 있다. 또한, 위에서 설명한 바와 같이, 출력 화면에는 스플리터 조정부에 의해 생성된 스플리터가 조감도 영상 영역의 중앙에 형성될 수 있다. 이에 따라, S140 단계를 통해 생성된 제 1 합성 조감도 이미지는 스플리터에 의해 구분된 제 1 조감도 영상 영역에 포함될 수 있다.
S160 단계는 조작 정보 수집부에 의해, 변속 레버의 위치 정보를 수집하는 단계이다. 앞서 설명한 것처럼, 스플리터가 조감도 영상 영역의 중앙에 고정되고, 2개의 카메라 중 하나의 카메라만 이용될 경우, 변속 레버의 위치가 변경되기 전까지는 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 중 하나의 합성 조감도 이미지만이 생성된다. 예를 들어, 도 7a의 예시와 같이 t1 내지 t3 시점까지는 차량의 변속 레버가 후진 기어에 위치하고, t4 시점에 변속 레버의 위치가 변경된다고 가정할 때, t1 내지 t3 시점까지는 S110 단계 내지 S130 단계의 반복 수행을 통해 제 1 조감도 영상 영역을 통해 제 1 합성 조감도 이미지가 출력될 것이다. 그리고 S160 단계를 통해 변속 레버의 위치가 변경된 것이 확인되면, 앞서 설명한 S110 단계 내지 S150 단계를 통해, 변속 레버의 위치가 변경되거나 또는 별도의 종료 요청이 있을 때까지 제 2 카메라를 통해 촬영된 제 2 카메라 이미지를 근거로, tn 시점의 제 2 조감도 이미지 및 제 2 합성 조감도 이미지를 생성하고, 생성한 tn 시점의 제 2 합성 조감도 이미지를 제 2 조감도 영상 영역을 통해 출력할 수 있다. 물론, 변속 레버의 위치가 다시 후진 기어에 위치하게 되면, 상술한 제 1 카메라 이미지를 이용한 제 1 합성 조감도 이미지의 생성 과정이 수행될 수 있다.
앞서 설명한 바와 같이, 본 발명의 일 실시예에 따른 운전 보조 방법은 2개의 카메라에서 촬영된 제 1 카메라 이미지 및 제 2 카메라 이미지를 동시에 고려하여 상술한 조감도 영상 영역을 생성하는 것도 가능하다. 이 경우, S110 단계는 tn 시점의 제 1 카메라 이미지와 제 2 카메라 이미지를 획득하는 과정을 수행하고, S120 단계는 tn 시점의 제 1 조감도 이미지와 제 2 조감도 이미지를 생성하는 단계를 수행하며, S140 단계는 차량의 이동 거리를 고려하여, 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지를 생성하는 과정을 수행할 수 있다. 이러한 단계들의 수행을 통해, 본 발명의 일 실시예에 따른 운전 보조 방법은 도 7b에 도시된 것처럼 2개의 카메라들 모두를 이용하여 조감도 영상 영역을 운전자에게 제공하는 것이 가능하다.
이제, 도 11을 참조로 본 발명의 일 실시예에 따른 운전 보조 방법을 통해, 변속 레버의 위치에 따라 스플리터의 위치를 변경하는 방법에 대한 설명이 이루어진다. 도 10을 참조로 설명된 것처럼 본 발명의 일 실시예에 따른 운전 보조 방법은 설정에 따라 차량에 장착된 2개의 카메라들 중 변속 레버의 위치에 따라 하나의 카메라만 선택적으로 동작시키거나, 또는 2개의 카메라들 모두를 동작시키는 것도 가능하다. 아래에서는 먼저, 변속 레버의 위치에 따라 2개의 카메라들 중 하나의 카메라만 선택적으로 동작하는 예시에 대해 설명된다. 또한, 아래에서는 차량이 차량의 후방 방향으로 이동하다가, 변속 레버의 위치가 변경되어 전방 방향으로 이동하는 상황을 가정하여 설명된다.
여기서, S210 단계 내지 S240 단계는 도 10에 도시된 S110 단계 내지 S140 단계와 실질적으로 동일한 과정이 수행되므로, 이에 대한 설명은 생략한다.
S250 단계는 출력 화면을 생성하고, 이를 차량에 장착된 디스플레이부를 통해 디스플레이 하는 단계이다. 앞서 언급한 것처럼, S240 단계를 통해 tn 시점의 제 1 합성 조감도 이미지가 생성되고, 생성된 tn 시점의 제 1 합성 조감도 이미지는 조감도 영상 영역에 포함되어 운전자에게 제공될 수 있다. 여기서, 조감도 영상 영역은 앞서 설명된 바와 같이 스플리터 조정부에 의해 생성된 스플리터에 의해 제 1 조감도 영상 영역과 제 2 조감도 영상 영역이 구분될 수 있고, S240 단계를 통해 생성된 tn 시점의 제 1 합성 조감도 이미지는 제 1 조감도 영상 영역에 포함되어, 운전자에게 출력 화면이 제공될 수 있다. 또한, 스플리터의 위치는 차량의 변속 레버가 후진 기어에 위치하는 경우 조감도 영상 영역의 상부에 위치하고, 반대로 차량의 변속 레버가 주행 기어에 위치하는 경우, 스플리터의 위치는 조감도 영상 영역의 하부에 위치할 수 있다. 이러한 스플리터의 위치에 따라 각 조감도 영상 영역 즉, 제 1 조감도 영상 영역과 제 2 조감도 영상 영역은 서로 다른 크기를 갖게 된다. 즉, 동작되는 카메라를 통해 생성되는 합성 조감도 이미지가 출력되는 조감도 영상 영역이 다른 조감도 영상 영역에 비해 더 클 수 있다.
그 후, S260 단계 내지 S280 단계를 거쳐 변속 레버의 위치가 변경되었는지의 여부가 판단된다. S280 단계를 통한 판단 결과, 별도의 종료 요청이 존재하지 않고 변속 레버의 위치가 변경되지 않은 경우, S210 단계 내지 S250 단계를 통해 각 시점의 제 1 합성 조감도 이미지의 생성이 이루어지고, 생성된 제 1 합성 조감도 이미지를 제 1 조감도 영상 영역을 통해 운전자에게 제공할 수 있다(도 8a의 t1 내지 t3 시점 참조). 또한, S280 단계를 통한 판단 결과, 별도의 종료 요청이 존재하지 않고 변속 레버의 위치가 변경된 경우, 제어는 S290 단계로 전달된다.
S290 단계는 스플리터 조정부에 의해, 스플리터의 위치를 변경하는 단계이다. 즉, 스플리터의 위치가 조감도 영상 영역 중 상부에 위치한 상황이라면, S290 단계를 통해 스플리터의 위치는 조감도 영상 영역의 하부로 변경된다(도 8a의 t4 시점 참조).
이 경우 제어는 다시 S210 단계로 전달되어 S210 단계 내지 S250 단계를 통해 제 2 카메라 이미지를 근거로 제 2 합성 조감도 이미지가 생성되고, 생성된 제 2 합성 조감도 이미지는 제 2 조감도 영상 영역을 통해 운전자에게 제공될 수 있다(도 8a의 t4 내지 t8 시점 참조).
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 2개의 카메라에서 촬영된 제 1 카메라 이미지 및 제 2 카메라 이미지를 동시에 고려하여 상술한 조감도 영상 영역을 생성하는 것도 가능하다. 이 경우, S210 단계는 tn 시점의 제 1 카메라 이미지와 제 2 카메라 이미지를 획득하는 과정을 수행하고, S220 단계는 tn 시점의 제 1 조감도 이미지와 제 2 조감도 이미지를 생성하는 단계를 수행하며, S240 단계는 차량의 이동 거리를 고려하여, 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지를 생성하는 과정을 수행할 수 있다. 이러한 단계들의 수행을 통해, 본 발명의 일 실시예에 따른 운전 보조 방법은 도 8b에 도시된 것처럼 2개의 카메라들 모두를 이용하여 조감도 영상 영역을 운전자에게 제공하는 것이 가능하다. 또한, 1개의 카메라만 동작할 때와 마찬가지로, 스플리터의 위치는 변속 레버의 위치에 따라 결정될 수 있다.
이제, 도 12를 참조로 본 발명의 일 실시예에 따른 운전 보조 방법을 통해, 변속 레버의 위치 즉, 차량의 이동 방향과 이동 거리에 따라 스플리터의 위치를 조정하는 방법에 대한 설명이 이루어진다. 도 10 및 도 11을 참조로 설명한 것과 마찬가지로, 본 발명의 일 실시예에 따른 운전 보조 방법은 설정에 따라 차량에 장착된 2개의 카메라들 중 변속 레버의 위치에 따라 하나의 카메라만 선택적으로 동작시키거나, 또는 2개의 카메라들 모두를 동작시키는 것도 가능하다. 아래에서는 먼저, 변속 레버의 위치에 따라 2개의 카메라들 중 하나의 카메라만 선택적으로 동작하는 예시에 대해 설명된다. 또한, 아래에서는 차량이 차량의 후방 방향으로 이동하고(t1 내지 t3 시점), 변속 레버의 위치가 변경되며(t4 시점), 그 이후에는 전방 방향으로 이동하는 상황(t5 시점 내지 t8 시점)을 가정하여 설명된다.
S310 단계는 조작 정보 수집부에 의해, 변속 레버의 위치 정보를 수집하고, 이미지 획득부에 의해, 카메라 이미지를 획득하는 단계이다. 본 예시의 경우, 차량이 후진하는 상황을 가정하므로, S310 단계를 통해서는 제 1 카메라를 통해 촬영된 tn 시점의 제 1 카메라 이미지가 획득된다.
S320 단계는 조감도 이미지 생성부에 의해, 카메라 이미지를 시점 변환함으로써 조감도 이미지를 생성하는 단계이다. 본 예시의 경우, tn 시점의 제 1 카메라 이미지를 시점 변환함으로써 tn 시점의 제 1 조감도 이미지를 획득할 수 있다.
S330 단계는 이동 거리 산출부에 의해, 차량의 이동 거리를 산출하는 단계이다. S330 단계를 통해 산출된 이동 거리는 아래의 설명에서 언급되는 합성 조감도 이미지 생성에 이용될 수 있다.
S340 단계는 합성 조감도 이미지 생성부에 의해, tn 시점의 합성 조감도 이미지를 생성하는 단계이다. 구체적으로, S340 단계는 tn 시점의 1 조감도 이미지와 과거 시점의 조감도 이미지 또는 합성 조감도 이미지를 합성함으로써, tn 시점의 합성 조감도 이미지를 생성할 수 있다. 본 예시의 경우, 차량이 후진하는 상황을 가정하므로, S340 단계는 tn 시점의 제 1 조감도 이미지를 과거 시점의 제 1 조감도 이미지 또는 제 1 합성 조감도 이미지에 합성함으로써, tn 시점의 제 1 합성 조감도 이미지를 생성할 수 있다.
S350 단계는 S330 단계를 통해 산출된 차량의 이동 거리와 S310 단계를 통해 획득된 차량의 이동 방향 정보를 근거로 아래에서 설명되는 출력 화면 내에 스플리터를 설정하는 단계이다. 도 11을 참조로 설명된 것과 유사하게, 스플리터의 위치는 차량이 후진하는 상황의 경우 조감도 영상 영역의 상부에 설정될 수 있다. 반대로, 차량이 전진하는 상황의 경우, 스플리터의 위치는 조감도 영상 영역의 하부에 설정될 수 있다. 본 예시의 경우, 차량이 후진하는 상황을 가정하므로, 스플리터는 조감도 영상 영역의 상부에 설정될 수 있다.
S360 단계는 출력 화면 생성부에 의해, 출력 화면을 생성하고 출력 화면을 디스플레이부를 통해 출력하는 단계이다. S310 단계 내지 S360 단계는 사용자로부터 종료 요청이 존재할 때까지 반복적으로 수행되어 조감도 영상 영역을 운전자에게 제공할 수 있다.
이제, 운전자가 변속 레버의 위치를 주행 기어로 변경한 상황을 가정한다(t4 시점). 이 경우, S310 단계에서는 변속 레버의 위치가 변경되었음을 확인하고, 제 1 카메라 이미지 대신, tn 시점의 제 2 카메라 이미지를 획득한다. 마찬가지로, S320 단계는 tn 시점의 제 2 조감도 이미지를 생성하며, S340 단계는 tn 시점의 제 2 합성 조감도 이미지를 생성한다.
S350 단계는 차량의 이동 거리와 이동 방향을 근거로 스플리터의 위치를 조정한다. 여기서, t4 시점의 경우, 차량의 이동 방향은 변경되었으나, 아직 차량이 이동된 상황은 아니므로 스플리터의 위치는 t3 시점과 동일하게 유지된다. 또한, t4 시점의 경우, 새롭게 제 2 합성 조감도 이미지가 생성되고, 제 1 합성 조감도 이미지는 t1 시점 내지 t3 시점에 생성된 이미지가 존재하므로, S360 단계를 통해 운전자에게 제공되는 조감도 영상 영역에는 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지가 함께 운전자에게 제공될 수 있다.
또한, t4 이후부터는 차량이 이동하면서, 차량의 이동 거리가 계산될 수 있다. 이에 따라, S350 단계를 통해 설정되는 스플리터의 위치는 차량의 움직임에 따라 하부 방향으로 이동되면서 설정될 수 있다.
또한, 본 발명의 일 실시예에 따른 운전 보조 방법은 2개의 카메라에서 촬영된 제 1 카메라 이미지 및 제 2 카메라 이미지를 동시에 고려하여 상술한 조감도 영상 영역을 생성하는 것도 가능하다. 이 경우, S310 단계는 tn 시점의 제 1 카메라 이미지와 제 2 카메라 이미지를 획득하는 과정을 수행하고, S320 단계는 tn 시점의 제 1 조감도 이미지와 제 2 조감도 이미지를 생성하는 단계를 수행하며, S340 단계는 차량의 이동 거리를 고려하여, 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지를 생성하는 과정을 수행할 수 있다. 그 외 나머지 부분에 대한 설명은 앞서 설명된 부분과 그 내용이 동일하므로, 중복되는 설명은 생략한다.
위의 설명에서 본 발명의 일 실시예에 따른 운전 보조 방법은 조감도 영상 영역 내에 미리 스플리터를 설정하고, 스플리터를 통해 구분된 조감도 영상 영역에 각각 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 중 적어도 하나를 포함시키는 것으로 설명되었다. 다만, 이러한 방식의 경우, 2개의 카메라들 중 하나의 카메라만이 선택적으로 동작할 때, 조감도 영상 영역 중 최상부 또는 최하부 영역이 미표현 영역으로 출력되는 문제가 존재한다. 이에 따라, 본 발명의 일 실시예에 따른 운전 보조 방법은 위에서 도 9a 및 도 9b를 참조로 설명한 것처럼 차량의 이동 방향이 변경되고(즉, 변속 기어의 위치가 변경되고), 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 중첩 영역이 발생할 때, 해당 중첩 영역에 스플리터를 설정하는 것도 가능하다. 이에 대한 설명은 도 9a 및 도 9b를 참조로 상세히 언급하였으므로, 중복되는 설명은 생략한다.
또한, 앞서 언급한 바와 같이 본 발명의 일 실시예에 따른 운전 보조 방법은 스플리터를 중심으로 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지가 겹치는 영역을 블랜딩 처리하는 단계를 더 포함할 수 있다. 이는 위에서 언급된 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 겹치는 영역에 의한 이질감을 보다 감소시키기 위함이다. 물론, 이러한 블랜딩 처리 외에도, 본 발명의 일 실시예에 따른 운전 보조 방법은 스플리터를 중심으로 제 1 합성 조감도 이미지와 제 2 합성 조감도 이미지 간 겹치는 영역에 미리 설정된 색상 톤을 적용시키는 단계를 더 포함하는 것도 가능하다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 운전 보조 장치 110 : 저장부
120 : 이미지 획득부 130 : 조감도 이미지 생성부
140 : 합성 조감도 이미지 생성부
150 : 화면 생성부 160 : 조작 정보 수집부
170 : 스플리터 조정부 180 : 이동 거리 산출부

Claims (23)

  1. 제 1 카메라 및 제 2 카메라가 장착된 차량에 적용되어, 차량의 운전을 보조하는 장치로서,
    상기 제 1 카메라를 통해 촬영된 제 1 카메라 이미지와, 상기 제 2 카메라를 통해 촬영된 제 2 카메라 이미지를 저장하는 저장부; 및
    제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지가 포함되는 제 1 조감도 영상 영역과 제 2 카메라 이미지를 근거로 생성된 제 2 합성 조감도 이미지가 포함되는 제 2 조감도 영상 영역을 포함하는 조감도 영상 영역을 포함하는 출력 화면을 생성하는 화면 생성부를 포함하고,
    상기 출력 화면에 상기 제 1 조감도 영상 영역과 상기 제 2 조감도 영상 영역을 분리하는 스플리터를 설정하는 스플리터 조정부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  2. 제1항에 있어서,
    상기 스플리터 조정부는 상기 제 1 합성 조감도 이미지와 상기 제 2 합성 조감도 이미지 간 중첩되는 부분에 상기 스플리터를 추가하는 것을 특징으로 하는 운전 보조 장치.
  3. 제1항에 있어서,
    상기 스플리터는 두께가 있는 선의 형상을 갖고, 상기 스플리터의 양 측은 상기 조감도 영상 영역을 이루는 변들 중 서로 대향하는 2개의 변들에 연결되는 것을 특징으로 하는 운전 보조 장치.
  4. 제1항에 있어서,
    상기 제 1 조감도 영상 영역의 크기와 상기 제 2 조감도 영상 영역의 크기는 상기 조감도 영상 영역 내에서 상기 스플리터의 위치에 따라 달라지는 것을 특징으로 하는 운전 보조 장치.
  5. 제4항에 있어서,
    변속 레버의 위치 정보를 획득하는 조작 정보 수집부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  6. 제5항에 있어서,
    차량의 이동 거리를 산출하는 이동 거리 산출부를 더 포함하고,
    상기 스플리터 조정부는 상기 차량의 변속 레버의 위치 정보 및 이동 거리에 따라 상기 스플리터의 위치를 실시간으로 조정하는 것을 특징으로 하는 운전 보조 장치.
  7. 제5항에 있어서,
    상기 스플리터 조정부는 상기 변속 레버의 위치 정보에 따라 상기 스플리터의 위치를 결정하는 것을 특징으로 하는 운전 보조 장치.
  8. 제7항에 있어서,
    상기 스플리터 조정부는 상기 변속 레버가 후진 기어에 위치할 때, 상기 스플리터를 상기 조감도 영상 영역내의 상부에 위치시키는 것을 특징으로 하는 운전 보조 장치.
  9. 제8항에 있어서,
    상기 화면 생성부는 상기 변속 레버가 주행 기어에 위치할 때, 상기 스플리터를 상기 조감도 영상 영역내의 하부에 위치시키는 것을 특징으로 하는 운전 보조 장치.
  10. 제1항에 있어서,
    상기 스플리터 조정부는 상기 조감도 영상 영역의 중앙에 상기 스플리터를 위치시키는 것을 특징으로 하는 운전 보조 장치.
  11. 제1항에 있어서,
    tn 시점의 제 1 카메라 이미지를 시점 변환함으로써 tn 시점의 제 1 조감도 이미지를 생성하는 조감도 이미지 생성부; 및
    차량의 이동 정보를 획득하고, 차량의 이동 정보에 따라 과거 시점에 생성된 제 1 합성 조감도 이미지에 상기 tn 시점의 제 1 조감도 이미지를 합성함으로써 tn 시점의 제 1 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부를 더 포함하는 것을 특징으로 하는 운전 보조 장치.
  12. 제11항에 있어서,
    상기 조감도 이미지 생성부는 tn 시점의 제 2 카메라 이미지를 시점 변환함으로써 tn 시점의 제 2 조감도 이미지를 더 생성하고,
    상기 합성 조감도 이미지 생성부는 차량의 이동 정보에 따라 과거 시점에 생성된 제 2 합성 조감도 이미지에 상기 tn 시점의 제 2 조감도 이미지를 합성함으로써 tn 시점의 제 2 합성 조감도 이미지를 더 생성하는 것을 특징으로 하는 운전 보조 장치.
  13. 제11항에 있어서,
    상기 합성 조감도 이미지 생성부는 상기 차량이 후진 상태일 때 tn 시점의 제 1 합성 조감도 이미지를 생성하고,
    상기 화면 생성부는 상기 차량이 후진 상태일 때 상기 제 1 조감도 영상 영역에 tn 시점의 제 1 합성 조감도 이미지를 포함시키되, 상기 제 2 조감도 영상 영역에는 과거 시점에 생성된 제 2 합성 조감도 이미지를 포함시키는 것을 특징으로 하는 운전 보조 장치.
  14. 제11항에 있어서,
    상기 합성 조감도 이미지 생성부는 상기 차량이 전진 상태일 때 tn 시점의 제 2 합성 조감도 이미지를 생성하고,
    상기 화면 생성부는 상기 차량이 전진 상태일 때 상기 제 2 조감도 영상 영역에 tn 시점의 제 2 합성 조감도 이미지를 포함시키되, 상기 제 1 조감도 영상 영역에는 과거 시점에 생성된 제 1 합성 조감도 이미지를 포함시키는 것을 특징으로 하는 운전 보조 장치.
  15. 제11항에 있어서,
    상기 차량이 후진 상태일 때 상기 합성 조감도 이미지 생성부는 tn 시점의 제 1 합성 조감도 이미지를 생성하고, 상기 조감도 이미지 생성부는 tn 시점의 제 2 합성 조감도 이미지를 생성하며,
    상기 화면 생성부는 상기 차량이 후진 상태일 때 상기 제 1 조감도 영상 영역에 tn 시점의 제 1 합성 조감도 이미지를 포함시키되, 상기 제 2 조감도 영상 영역에는 tn 시점의 제 2 조감도 이미지를 포함시키는 것을 특징으로 하는 운전 보조 장치.
  16. 제11항에 있어서,
    상기 차량이 전진 상태일 때 상기 합성 조감도 이미지 생성부는 tn 시점의 제 2 합성 조감도 이미지를 생성하고, 상기 조감도 이미지 생성부는 tn 시점의 제 1 합성 조감도 이미지를 생성하며,
    상기 화면 생성부는 상기 차량이 전진 상태일 때 상기 제 2 조감도 영상 영역에 tn 시점의 제 2 합성 조감도 이미지를 포함시키되, 상기 제 1 조감도 영상 영역에는 tn 시점의 제 1 조감도 이미지를 포함시키는 것을 특징으로 하는 운전 보조 장치.
  17. 제 1 카메라 및 제 2 카메라가 장착된 차량에 적용되어, 차량의 운전을 보조하는 방법으로서,
    화면 생성부에 의해, 제 1 카메라 이미지를 근거로 생성된 제 1 합성 조감도 이미지가 포함되는 제 1 조감도 영상 영역과 제 2 카메라 이미지를 근거로 생성된 제 2 합성 조감도 이미지가 포함되는 제 2 조감도 영상 영역을 포함하는 조감도 영상 영역을 포함하는 출력 화면을 생성하는 단계를 포함하고,
    스플리터 조정부에 의해, 상기 출력 화면에 상기 제 1 조감도 영상 영역과 상기 제 2 조감도 영상 영역을 분리하는 스플리터를 설정하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  18. 제17항에 있어서,
    상기 스플리터를 설정하는 단계는 상기 제 1 합성 조감도 이미지와 상기 제 2 합성 조감도 이미지 간 중첩되는 부분에서 이루어지는 것을 특징으로 하는 운전 보조 방법.
  19. 제17항에 있어서,
    상기 스플리터를 설정하는 단계는 상기 조감도 영상 영역의 중앙에서 이루어지는 것을 특징으로 하는 운전 보조 방법.
  20. 제17항에 있어서,
    상기 제 1 조감도 영상 영역의 크기와 상기 제 2 조감도 영상 영역의 크기는 상기 조감도 영상 영역 내에서 상기 스플리터의 위치에 따라 달라지는 것을 특징으로 하는 운전 보조 방법.
  21. 제20항에 있어서,
    조작 정보 수집부에 의해, 변속 레버의 위치 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  22. 제21항에 있어서,
    이동 거리 산출부에 의해, 차량의 이동 거리를 산출하는 단계; 및
    상기 스플리터 조정부에 의해, 상기 차량의 변속 레버의 위치 정보 및 이동 거리에 따라 상기 스플리터의 위치를 실시간으로 조정하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
  23. 제20항에 있어서,
    상기 스플리터 조정부에 의해, 상기 변속 레버의 위치 정보에 따라 상기 스플리터의 위치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 운전 보조 방법.
KR1020160151870A 2016-11-15 2016-11-15 운전 보조 장치 및 방법 KR101949961B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160151870A KR101949961B1 (ko) 2016-11-15 2016-11-15 운전 보조 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160151870A KR101949961B1 (ko) 2016-11-15 2016-11-15 운전 보조 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180054212A true KR20180054212A (ko) 2018-05-24
KR101949961B1 KR101949961B1 (ko) 2019-02-21

Family

ID=62299126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160151870A KR101949961B1 (ko) 2016-11-15 2016-11-15 운전 보조 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101949961B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005971A (ko) * 2008-07-08 2010-01-18 현대자동차주식회사 차량 전방위 감시 시스템
JP2013253426A (ja) * 2012-06-07 2013-12-19 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置
KR20150115488A (ko) * 2014-04-04 2015-10-14 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR20150116116A (ko) 2014-04-04 2015-10-15 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005971A (ko) * 2008-07-08 2010-01-18 현대자동차주식회사 차량 전방위 감시 시스템
JP2013253426A (ja) * 2012-06-07 2013-12-19 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置
KR20150115488A (ko) * 2014-04-04 2015-10-14 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR20150116116A (ko) 2014-04-04 2015-10-15 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법

Also Published As

Publication number Publication date
KR101949961B1 (ko) 2019-02-21

Similar Documents

Publication Publication Date Title
JP7397262B2 (ja) 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
JP5436086B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
WO2018012299A1 (ja) 画像生成装置、画像生成方法、及び、プログラム
EP2763407B1 (en) Vehicle surroundings monitoring device
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
WO2013175684A1 (ja) 車両周囲画像表示制御装置、車両周囲画像表示制御方法、当該方法を含む命令からなる持続的有形コンピュータ読み取り媒体、車両の周囲の画像をトップビュー変換して表示させる画像処理方法
JP6095985B2 (ja) 再生装置、再生システム、再生方法及びプログラム
JP3663801B2 (ja) 車両後方視界支援装置
WO2012172923A1 (ja) 車両周辺監視装置
WO2012096058A1 (ja) 画像生成装置
WO2012169355A1 (ja) 画像生成装置
JP5516998B2 (ja) 画像生成装置
JP5669791B2 (ja) 移動体の周辺画像表示装置
JP5495071B2 (ja) 車両周辺監視装置
JP2006287892A (ja) 運転支援システム
JP2010128951A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2008236403A (ja) 車両用運転支援装置
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2007110177A (ja) 画像処理装置及びプログラム
JP2011155651A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
KR101861523B1 (ko) 차량 운전 보조 장치 및 방법
KR101949961B1 (ko) 운전 보조 장치 및 방법
KR101378337B1 (ko) 카메라의 영상 처리 장치 및 방법
JP2007096496A (ja) 車両周囲表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right