WO2015152691A2 - 차량 주변 이미지 생성 장치 및 방법 - Google Patents

차량 주변 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
WO2015152691A2
WO2015152691A2 PCT/KR2015/003394 KR2015003394W WO2015152691A2 WO 2015152691 A2 WO2015152691 A2 WO 2015152691A2 KR 2015003394 W KR2015003394 W KR 2015003394W WO 2015152691 A2 WO2015152691 A2 WO 2015152691A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
bird
eye view
view image
Prior art date
Application number
PCT/KR2015/003394
Other languages
English (en)
French (fr)
Other versions
WO2015152691A3 (ko
Inventor
이정표
류춘우
김상구
박재홍
권석근
Original Assignee
주식회사 와이즈오토모티브
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브, 에스엘 주식회사 filed Critical 주식회사 와이즈오토모티브
Priority to US15/277,050 priority Critical patent/US20170144599A1/en
Priority to CN201580025702.8A priority patent/CN107079081A/zh
Priority to JP2016560769A priority patent/JP2017520133A/ja
Priority to EP15772355.2A priority patent/EP3128738A4/en
Priority to MX2016012999A priority patent/MX2016012999A/es
Priority to BR112016023013A priority patent/BR112016023013A2/pt
Publication of WO2015152691A2 publication Critical patent/WO2015152691A2/ko
Publication of WO2015152691A3 publication Critical patent/WO2015152691A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량 주변 이미지 생성 장치 및 방법이 개시된다. 본 발명에 따른 차량 주변이미지 생성 장치는 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부, 상기 조감도 이미지 생성부에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부, 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부를 포함한다.

Description

차량 주변 이미지 생성 장치 및 방법
본 발명은 차량 주변 이미지 생성 장치 및 방법(APPARATUS AND METHOD FOR PERIPHERAL IMAGE GENERATION OF VEHICLE)에 관한 것이다. 특히 차량 후방의 이미지를 획득하여 모니터상에 디스플레이함에 있어서, 과거 이미지와 현재 이미지를 구분하기 위한 차량 주변 이미지 생성 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 따라서, 차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하는 디스플레이 장치가 알려져 있다.
특히, 한국공개특허 2008-0024772호에서는 카메라로부터 전달받은 입력 영상을 조감도로 변환하는 기술을 통하여, 모니터 상에 디스플레이된 이미지에서 차량과 주차구획 간의 상대적인 위치를 보다 명확히 파악할 수 있는 기술을 개시하고 있다.
다만, 상기한 기술로는 카메라의 현재 시야에 존재하지 않는 대상을 디스플레이할 수 없는 한계가 있다. 예를 들어, 차량의 주차를 위하여 후진할 때, 이미 차량이 지나간 공간에 존재하는 주차선(현재 시야 밖)은 디스플레이할 수 없다는 문제점이 있다.
따라서, 카메라의 현재 시야 밖의 대상을 디스플레이 하기 위한 이미지를 생성할 수 있는 기술이 필요하다. 따라서, 카메라의 현재 시야 밖의 대상을 디스플레이하기 위하여 과거에 차량에서 촬영한 이미지를 현재의 이미지와 합성하는 기술이 공개된바 있다. 다만, 이 경우 과거의 이미지와 현재의 이미지를 구분하지 않아, 운전자가 과거의 이미지를 맹목적으로 신뢰하게 되어 차량의 사고가 발생하는 경우가 비일비재하다.
따라서, 현재의 카메라에 촬영되는 현재 이미지와, 현재의 카메라에 촬영되지 않는 과거의 이미지를 구분할 수 있는 기술이 필요하다. 아울러, 차량의 현재 상태에서 위험 물체를 감지하는 기술을 넘어서, 차량의 현재 회전 각도를 추출하여, 현재의 회전 각도로 계속하여 진행하게 될 때, 장래에 충돌의 위험이 있는지를 판단하여 모니터에 위험 표시를 제공해줄 수 있는 기술이 필요한 실정이다.
본 발명의 목적은, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합하여 카메라의 현재 시야 밖의 대상을 디스플레이하되, 정합된 조감도 이미지에서 현재의 이미지와 과거의 이미지를 구분하여 표시하는 것을 가능케 하는 것이다.
또한, 본 발명의 목적은, 차량에 위치한 초음파 센서를 통하여, 상기 차량이주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시하는 것을 가능케 하는 것이다.
또한, 본 발명의 목적은, 차량에 위치한 스티어링 휠 센서를 통하여, 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 차량이 주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시하는 것을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 차량 주변 이미지 생성 장치는, 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 조감도 이미지 생성부, 상기 조감도 이미지 생성부에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부, 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부를 포함한다.
이 때, 상기 이동 영역 조감도 이미지 생성부는, 상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출할 수 있다.
이 때, 상기 합성 조감도 이미지 보정부는, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 과거 이미지 영상 처리부를 포함할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시킬 수 있다.
이 때, 상기 합성 조감도 이미지 보정부는, 상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 위험 영역 영상 처리부를 포함할 수 있다.
이 때, 상기 위험 영역 영상 처리부는, 상기 차량에 위치한 적어도 하나의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
이 때, 상기 위험 영역 영상 처리부는, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 차량 주변 이미지 생성 방법은, 조감도 이미지 생성부에 의하여 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 단계, 이동 영역 조감도 이미지 생성부에 의하여 상기 조감도 이미지를 생성하는 단계에서 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계, 합성 조감도 이미지 생성부에 의하여 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계 및 합성 조감도 이미지 보정부에 의하여 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 단계를 포함한다.
이 때, 상기 이동 영역 조감도 이미지를 생성하는 단계는, 상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출할 수 있다.
이 때, 상기 보정된 합성 조감도 이미지를 생성하는 단계는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계를 포함할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시킬 수 있다.
이 때, 상기 보정된 합성 조감도 이미지를 생성하는 단계는, 상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 단계를 포함할 수 있다.
이 때, 상기 위험 영역을 표시하는 단계는, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
이 때, 상기 위험 영역을 표시하는 단계는, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
본 발명에 따르면, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합하여 카메라의 현재 시야 밖의 대상을 디스플레이하되, 정합된 조감도 이미지에서 현재의 이미지와 과거의 이미지를 구분하여 표시할 수 있다.
또한, 본 발명에 따르면, 차량에 위치한 초음파 센서를 통하여, 상기 차량이주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시할 수 있다.
또한, 본 발명에 따르면, 차량에 위치한 스티어링 휠 센서를 통하여, 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 차량이 주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시할 수 있다.
도 1은 본 발명에 따른 차량 주변 이미지 생성 장치의 주요 부분을 도시한 개략도이다.
도 2는 본 발명에 따른 차량 주변 이미지 생성 장치의 블록도이다.
도 3은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면이다.
도 4는 본 발명에 따른 차량 주변 이미지 생성 장치의 개념을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 좌측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 6은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 우측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 7은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 차량이 이동한 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명에 따른 차량 주변 이미지 생성 장치에서 합성 조감도 이미지를 보정하기 전의 모습을 설명하기 위한 도면이다.
도 10은 본 발명에 따른 차량 주변 이미지 생성 장치의 합성 조감도 이미지 보정부의 일실시예이다.
도 11 내지 도 13은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 따른 디스플레이부의 출력 화면이다.
도 14는 본 발명에 따른 합성 조감도 이미지 보정부의 위험 영역 영상 처리부의 개념을 설명하기 위한 도면이다.
도 15 내지 도 16은 본 발명에 따른 합성 조감도 이미지 보정부의 위험 영역 영상 처리부의 동작 원리를 설명하기 위한 도면이다.
도 17은 본 발명에 따른 차량 주변 이미지 생성 방법의 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명에 따른 차량 주변 이미지 생성 장치의 기본 시스템 구성에 대하여 도 1 및 도 2를 참조하여 설명하도록 한다.
도 1은 본 발명에 따른 차량 주변 이미지 생성 장치의 주요 부분을 도시한 개략도이다. 도 2는 본 발명에 따른 차량 주변 이미지 생성 장치의 블록도이다.
도 1을 참조하여 설명하면, 본 발명에 따른 차량 주변 이미지 생성 장치(100)는 차량(1)에 위치하여 주변(5)을 촬영하는 카메라부(110)로부터 생성된 촬영 이미지를, 상기 카메라부(110)를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부(120), 상기 조감도 이미지 생성부(120)에 의해 이전 조감도 이미지가 생성된 후, 상기 차량(1)이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부(130), 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부(140) 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부(150)를 포함한다.
또한, 상기 차량(1)에 위치하며, 상기 보정된 합성 조감도 이미지를 디스플레이하는 디스플레이부(160)를 더 포함할 수 있다.
또한, 상기 차량(1)에 적어도 하나 이상의 초음파 센서(170)를 포함하여, 상기 차량 주변의 물체를 감지할 수 있다.
또한, 상기 차량(1)에 스티어링 휠 센서(180)를 포함하여, 상기 차량(1)의 회전 각도를 추출할 수 있다.
이 때, 상기 조감도 이미지 생성부(120), 이동 영역 조감도 이미지 생성부 (130), 합성 조감도 이미지 생성부(140) 및 합성 조감도 이미지 보정부(150)는 본 발명에 따른 차량 주변 이미지 생성 장치(100)의 주요 부분으로서 마이크로 컴퓨터를 포함한, 이미지 데이터의 처리를 수행하기 위한 전자 장치이고, 카메라부(1)와 일체로 구성될 수 있다.
상기 카메라부(110)는 차량(1)에 위치하여 주변(5)을 촬영함으로써 촬영 이미지를 생성하는 기능을 수행한다.
도 1에 도시된 바와 같이, 상기 카메라부(110)는 차량(1)의 후방에 설치되며, 적어도 하나 이상의 카메라(예로, CCD 카메라)를 포함한다.
상기 조감도 이미지 생성부(120)는 상기 카메라부(110)로부터 촬영되어 생성된 촬영 이미지를, 상기 카메라부(110)를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 기능을 수행한다.
상기 카메라부(110)에 의해 촬영되어 생성된 촬영 이미지를 조감도 이미지로 변환하는 방법은 후술되는 바와 같이 관련된 기술이 사용될 수 있다. 여기서, 통상의 투시 변환(Perspective conversion)의 역처리를 수행함으로써, 지면상의 이미지(예로 주차 공간 표시)의 위치가 조감도 이미지로 획득된다.
도 3은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면이다.
구체적으로, 도 3에 도시된 바와 같이, 지면상의 이미지의 위치 데이터가 카메라부(110)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환이 실행된다.
보다 상세하게 설명하면, 카메라부(110)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
Figure PCTKR2015003394-appb-I000001
)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정하자. 따라서 여기서는 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α,β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
수학식 1
Figure PCTKR2015003394-appb-M000001
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 상기 디스플레이부(160)의 스크린에 대한 이미지로 변환하여, 이를 디스플레이부(160)상에 디스플레이할 수 있다.
이하, 도 4를 참조하여 본 발명에 따른 차량 주변 이미지 생성 장치의 개념을 설명하도록 한다.
도 4를 참조하여 설명하면, T 시점에서의 차량(200)과, 상기 T 시점에서 일정시간이 지난 후인 T+1 시점에서의 차량(200')이 나타나 있다.
상기 T 시점에서의 차량(200)에서 생성된 조감도 이미지를 이전 조감도 이미지(10)라 하고, 상기 T+1 시점에서의 차량(200')에서 생성된 조감도 이미지를 이후 조감도 이미지(20)라 한다.
이 때, 상기 이전 조감도 이미지(10)와 상기 이후 조감도 이미지(20)는 공통된 영역에 대한 조감도 이미지(30)가 존재한다. 즉, T 시점과, T+1 시점에서 공통적으로 촬영되어 생성된 조감도 이미지이다.
또한, 상기 T+1 시점에서의 차량(200')의 측면에서 바라보면, 상기 이전 조감도 이미지(10) 중, 상기 공통된 영역에 대한 조감도 이미지(30)를 제외한 부분은 과거의 조감도 이미지(40)가 된다.
상기 과거의 조감도 이미지(40)란, T+1 시점에서의 차량(200')의 후방에 있는 카메라부(110) 시야 밖의 대상이다. 즉, 현재 시점인 T+1 시점에서는 촬영되지 않는 대상을 의미한다.
본 발명에 따른 차량 주변 이미지 생성 장치(100)는 상기 T+1 시점에서의 차량(200') 내부의 디스플레이부(160)에 의하여 디스플레이되는 이미지에 상기 과거의 조감도 이미지(40)를 포함하는 것을 전제로 한다. 즉, 카메라부(110)의 현재 시야에 존재하는 이후 조감도 이미지(20)와 상기 과거의 조감도 이미지(40)를 합성하여 디스플레이하는 것이다. 이렇게 합성된 이미지를 합성 조감도 이미지라 한다.
이처럼 합성 조감도 이미지를 디스플레이하는 경우에 있어서, 과거의 조감도이미지(40)와 카메라부(110)의 현재 시야에 존재하는 이후 조감도 이미지(20)인 현재의 이미지를 구분하는 것이 필요하다. 즉, 과거의 이미지는 T 시점에서의 차량(200)의 위치를 기준으로 생성된 이미지이므로, T+1의 시점에서는 신뢰도가 다소 떨어질 수 있기 때문이다.
예를 들어, T 시점에서 출현하지 않은 이동 물체가 T+1 시점에서 출현하였더라도, 디스플레이부(160)상에는 상기 이동 물체가 디스플레이되지 않기 때문에 사고의 위험이 존재한다.
따라서, 운전자가 디스플레이부(160)를 응시함에 있어서, 과거의 이미지와 현재의 이미지를 구분할 수 있어야 하는 것이다.
또한, 상기 과거의 조감도 이미지(40)를 정확하게 추출하기 위해서는 상기 차량이 이동한 영역을 추출하여야 한다. 상기 과거의 조감도 이미지(40)는 상기 차량이 이동한 영역을 추출함으로써 산출되므로 이동 영역 조감도 이미지라 한다.
따라서, 상기 합성 조감도 이미지란, 상기 T 시점에서 촬영되어 이전 조감도 이미지(10)가 생성된 이 후, T+1 시점에서 촬영되어 생성된 이후 조감도 이미지(20)와, 상기 이동 영역 조감도 이미지를 합성한 이미지이다.
이하, 상기 차량이 이동한 영역을 추출하는 방법에 대하여 구체적으로 설명하도록 한다.
상기 이동 영역 조감도 이미지 생성부(130)는 상기 조감도 이미지 생성부(120)에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 기능을 수행한다.
구체적으로, 도 4를 참조하면, T 시점에서의 차량(200)의 디스플레이부(160)에는 이전 조감도 이미지(10)가 디스플레이되며, T+1 시점에서의 차량(200')의 디스플레이부(160)에는 과거의 조감도 이미지 차량(200')이 존재하는 경우, 상기 차량(200')의 디스플레이부(160)에는 과거의 조감도 이미지(40)와 이후 조감도 이미지(20)가 함께 디스플레이 된다. 이를 합성 조감도 이미지라 함은 전술한바 있다.
상기 이후 조감도 이미지(20)는 현재의 시점인 T+1 시점에서의 차량(200')에 위치한 카메라부(110)에 의해 촬영된 이미지의 조감도이다.
이처럼, 상기 합성 이미지를 생성하기 위해서는, 과거의 조감도 이미지(40)를 추출하여야 하는데, 이는 상기 이전 조감도 이미지에서 추출된다. 구체적으로, T 시점에서의 차량(200)이 T+1 시점이 되었을 때까지 이동한 영역을 추출하는 것이다. 상기 이동한 영역을 추출하기 위해서는, 상기 이전 조감도 이미지(10)와 상기 이후 조감도 이미지(20)를 대비하여, 상기 이전 조감도 이미지(10)에서, 상기 제 2 조감도와 일치하는 공통 영역을 뺀 영역(40)을 상기 차량이 이동한 영역으로 산정하는 방법이다.
상기 차량이 이동한 영역으로 추정하는 다른 방법으로는, 상기 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보를 기반으로 차량이 이동한 이동한 영역을 추출하는 방법이 있다.
구체적으로, 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 스티어링 휠 정보에 따라 미리 설정된 단위 픽셀수 만큼을 이동한 영역으로 산정하는 것이다.
예를 들어, 차량의 속도가 10Km이고, 스티어링 휠의 각도가 10도인 경우, 픽셀을 주행 방향으로 미리 설정된 단위 픽셀(예를 들면 20픽셀)만큼 이동시키고, 스티어링 휠의 방향에 따라 좌측 또는 우측방향으로 미리 설정된 단위 픽셀(예를 들면, 10픽셀)만큼 이동시키는 방법을 통하여 이동한 영역을 산정하는 것이다.
또한, 상기 차량이 이동한 영역으로 추정하는 다른 방법으로는, 상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출하는 방법이 있으며, 도 5 내지 도 7을 참조하여 설명하도록 한다.
도 5는 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 좌측 후륜에 대한 휠 펄스를 나타낸 도면이다. 도 6은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 우측 후륜에 대한 휠 펄스를 나타낸 도면이다. 도 7은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 차량이 이동한 영역을 추출하는 방법을 설명하기 위한 도면이다.
상기 휠 스피드 센서는, 차량에 위치하여 상기 차량의 좌측 바퀴 및 우측 바퀴의 움직임에 따라 휠 펄스 신호를 생성하게 된다.
상기 차량의 전륜은, 상기 차량의 후륜과 달리, 회전하도록 구성되어 있으므로, 상기 차량의 이동한 거리를 정확하게 추출함에 있어서는 상기 차량의 후륜을 활용하는 것이 더욱 효과적이다.
따라서, 상기 휠 스피드 센서를 설명함에 있어서 후륜을 중심으로 설명하도록 한다. 다만, 이러한 설명이 상기 휠 스피드 센서에서 후륜 만을 권리범위로 한정하는 것은 아니다.
도 5를 참조하여 설명하면, 상기 차량의 좌측 후륜에 대한 휠 펄스 신호를 시간의 변화에 따라 확인할 수 있다. 이 때, 상기 휠 펄스 신호의 주기마다 1씩 카운트를 하게 되며, 한 주기마다 움직인 거리는 0.0217m이다.
마찬 가지로, 도 6을 참조하여 설명하면, 상기 차량의 우측 후륜에 대한 휠 펄스 신호를 시간의 변화에 따라 확인할 수 있다. 이 때, 상기 휠 펄스 신호의 주기마다 1씩 카운트를 하게 되며, 한 주기마다 움직인 거리는 0.0217m이다.
구체적으로, 도 5 및 도 6을 함께 참조하면, T 시점에서 좌측 후륜에 대한 휠 펄스 신호는 세 번의 주기가 카운트되어 카운트 3의 값을 갖지만, T 시점에서 우측 후륜에 대한 휠 펄스 신호는 다섯 번의 주기가 카운트되어 카운트 5의 값을 갖는다.
즉, 동일 시간 동안 이동한 거리는 우측 후륜이 더 많은 것을 확인할 수 있다. 이는 차량이 후진하는 것을 전제로, 스티어링 휠을 시계 방향으로 회전한 상태로 하여 후진하고 있다는 것으로 판단할 수 있다.
도 5 및 도 6에서 나타난 좌측 후륜 및 우측 후륜에 대한 휠 펄스를 기반으로 차량의 이동 거리를 아래의 수학식 2 내지 4를 이용하여 추출할 수 있다.
수학식 2
Figure PCTKR2015003394-appb-M000002
상기 수학식 2에서 K1은, 내측 후륜의 이동 거리를 의미한다. 예를 들어 차량(1)이 스티어링 휠을 시계 방향으로 회전한 상태로 후진하는 경우에는 우측 후륜이 내측 후륜이 되는 것이고, 차량(1)이 스티어링 휠을 반시계 방향으로 회전한 상태로 후진하는 경우에는 좌측 후륜이 내측 후륜이 되는 것이다.
또한, WPout은, 외측 후륜의 휠 펄스 카운트 값을 의미하고, WPres은, 휠 펄스 신호의 Resolution으로서, 한 주기 신호 당 움직인 거리(0.0217m)를 의미한다. 즉, 상기 WPres은, 상수(0.0217)이며, 상기 휠 스피드 센서의 종류 및 설정에 따라 변할 수 있는 값이다.
또한, t는, 시간을 의미하는데 차량이 이동하기 전을 의미하고,
Figure PCTKR2015003394-appb-I000002
는, 차량이 이동하는 동안 소요되는 시간을 의미한다.
수학식 3
Figure PCTKR2015003394-appb-M000003
상기 수학식 3에서 K2는 외측 후륜의 이동 거리를 의미한다. 예를 들어 차량(1)이 스티어링 휠을 시계 방향으로 회전한 상태로 후진하는 경우에는 좌측 후륜이 외측 후륜이 되는 것이고, 차량(1)이 스티어링 휠을 반시계 방향으로 회전한 상태로 후진하는 경우에는 우측 후륜이 외측 후륜이 되는 것이다.
또한, WPout은, 외측 후륜의 휠 펄스 카운트 값을 의미하고, WPres은, 휠 펄스 신호의 Resolution으로서, 한 주기 신호 당 움직인 거리(0.0217m)를 의미한다. 즉, 상기 WPres은, 상수(0.0217)이며, 상기 휠 스피드 센서의 종류 및 설정에 따라 변할 수 있는 값이다.
또한, t는, 시간을 의미하는데 차량이 이동하기 전을 의미하고,
Figure PCTKR2015003394-appb-I000003
는, 차량이 이동하는 동안 소요되는 시간을 의미한다.
수학식 4
Figure PCTKR2015003394-appb-M000004
상기 수학식 4에서 K는, 차축의 이동거리를 의미한다. 여기서 상기 차축의 이동거리라 함은 차량의 이동 거리와 동일한 의미이다.
또한, K1는 내측 후륜의 이동 거리를 의미하고, K2는 외측 후륜의 이동 거리를 의미한다. 즉, 차량의 이동거리인 차축의 이동거리는, 차량 내측 후륜의 이동거리와, 차량 외측 후륜의 이동거리의 평균 값이 된다.
따라서, 상기 이동 거리 추출부(131)는 상기 수학식 2 내지 4를 통하여 상기 차량(1)의 이동 거리를 추출할 수 있게 된다.
상기 추출된 이동 거리를 활용하여 상기 차량(1)의 화전 반경 및 이동된 위치 좌표를 추출하는 방법에 대하여 설명하도록 한다.
도 7은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 차량이 이동한 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 차량(1)의 현재 위치(6)는 좌측 후륜과 우측 후륜의 중간이 되며 이는 차축의 현재 중심 위치와 같은 의미이다. 또한 상기 차량이(1)이 이동한 후의 위치(7)는 이동된 위치에서 차량의 좌측 후륜과 우측 후륜의 중간이 됨을 확인할 수 있다.
상기 좌측 후륜 및 우측 후륜 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 방법에 대하여 아래의 수학식 5 내지 8을 이용한다.
수학식 5
Figure PCTKR2015003394-appb-M000005
상기 수학식 5에서, K1는 내측 후륜의 이동 거리를 의미하고, R은 차량의 회전 반경을 의미한다. 구체적으로 차축의 회전 반경을 의미한다.
W는 차폭을 의미한다. 구체적으로 좌측 후륜과 우측 후륜 사이의 거리를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000004
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
수학식 6
Figure PCTKR2015003394-appb-M000006
상기 수학식 6에서, K2는 외측 후륜의 이동 거리를 의미하고, R은 차량의 회전 반경을 의미한다. 구체적으로 차축의 회전 반경을 의미한다.
또한, W는 차폭을 의미하며,
Figure PCTKR2015003394-appb-I000005
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
수학식 7
Figure PCTKR2015003394-appb-M000007
상기 수학식 7에서, K2는 외측 후륜의 이동 거리를 의미하고, K1는 내측 후륜의 이동 거리를 의미한다. 또한, W는 차폭을 의미하며,
Figure PCTKR2015003394-appb-I000006
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
수학식 8
Figure PCTKR2015003394-appb-M000008
상기 수학식 8은 상기 수학식 7을, t 시간 동안의 차량 각도의 변화량인
Figure PCTKR2015003394-appb-I000007
에 관하여 정리한 수학식이다. 즉, 상기 수학식 5에서 구한 K2에서, 상기 수학식 6에서 구한 K1을 뺀 값을, 기정해진 차량의 폭인 W로 나누게 되면 t 시간 동안의 차량 각도의 변화량인
Figure PCTKR2015003394-appb-I000008
를 구할 수 있게 된다.
따라서, K1, K2,
Figure PCTKR2015003394-appb-I000009
및 W 값을 모두 알 수 있게 되었으므로, 상기 수학식 5 또는 수학식 6에 대입하게 되면 차량의 회전 반경인 R 값을 구할 수 있게 된다.
상기 추출된 회전 반경 및 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 방법에 대하여는 아래의 수학식 9 내지 17을 이용한다.
수학식 9
Figure PCTKR2015003394-appb-M000009
상기 수학식 9에서 xc(t)는, 회전 중심의 x 좌표의 위치를 의미하고, x(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 상기 차축의 현재 중심 위치란 좌측 후륜과 우측 후륜의 중간이 됨을 상기 설명한바 있다. 또한,
Figure PCTKR2015003394-appb-I000010
는, 현재 차량의 각도를 의미한다.
수학식 10
Figure PCTKR2015003394-appb-M000010
상기 수학식 10에서 yc(t)는, 회전 중심의 y 좌표의 위치를 의미하고, y(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000011
는, 현재 차량의 각도를 의미한다.
수학식 11
Figure PCTKR2015003394-appb-M000011
상기 수학식 11에서
Figure PCTKR2015003394-appb-I000012
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 x 좌표의 위치를 의미하고, x(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000013
는, 현재 차량의 각도를 의미한다.
수학식 12
Figure PCTKR2015003394-appb-M000012
상기 수학식 12에서
Figure PCTKR2015003394-appb-I000014
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 y 좌표의 위치를 의미하고, y(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 y 좌표의 위치를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000015
는, 현재 차량의 각도를 의미한다.
수학식 13
Figure PCTKR2015003394-appb-M000013
상기 수학식 13에서
Figure PCTKR2015003394-appb-I000016
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미하고,
Figure PCTKR2015003394-appb-I000017
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미한다.
또한,
Figure PCTKR2015003394-appb-I000018
는, t 시간 동안의 차량 각도의 변화량을 의미하며,
Figure PCTKR2015003394-appb-I000019
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 x 좌표의 위치를 의미하고,
Figure PCTKR2015003394-appb-I000020
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 y 좌표의 위치를 의미한다. 즉, 상기 수학식 13은
Figure PCTKR2015003394-appb-I000021
만큼 시간이 흐르는 동안 차축이 이동하여, 회전 중심을 원점으로 하였을 때의 이동된 차축의 중심 위치를 산출하는 회전 변환식이다.
수학식 14
Figure PCTKR2015003394-appb-M000014
상기 수학식 14에서,
Figure PCTKR2015003394-appb-I000022
는, 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미한다. 즉, 절대적인 위치의 값을 의미하는 것이고, 회전 중심을 원점으로 고려하지 않은 상태의 위치이다. 또한,
Figure PCTKR2015003394-appb-I000023
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미하고, xc(t)는, 회전 중심의 x 좌표의 위치를 의미한다.
수학식 15
Figure PCTKR2015003394-appb-M000015
상기 수학식 15에서,
Figure PCTKR2015003394-appb-I000024
는, 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미한다. 즉, 절대적인 위치의 값을 의미하는 것이고, 회전 중심을 원점으로 고려하지 않은 상태의 위치이다. 또한,
Figure PCTKR2015003394-appb-I000025
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미하고, yc(t)는, 회전 중심의 y 좌표의 위치를 의미한다.
수학식 16
Figure PCTKR2015003394-appb-M000016
상기 수학식 16은, 상기 수학식 14에 대하여, 상기 수학식 9 내지 13을 대입하여 정리한 것으로서, 차축의 이동 후의 중심 위치 중 X 좌표의 위치인
Figure PCTKR2015003394-appb-I000026
를 구할 수 있는 최종식이 된다.
수학식 17
Figure PCTKR2015003394-appb-M000017
상기 수학식 17은, 상기 수학식 15에 대하여, 상기 수학식 9 내지 13을 대입하여 정리한 것으로서, 차축의 이동 후의 중심 위치 중 y 좌표의 위치인
Figure PCTKR2015003394-appb-I000027
를 구할 수 있는 최종식이 된다. 따라서 상기 차량이 이동한 영역을 추출할 수 있게 되는 것이다.
상기 합성 조감도 이미지 생성부(140)는, 도 4에 도시된 이전 조감도 이미지(10)가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지(20)를, 상기 이동 영역 조감도 이미지인 과거의 조감도 이미지(40)와 합성하는 기능을 수행한다.
따라서, 운전자는 차량이 후진하여 차량이 T+1 시점(200')에 존재할 때에도, 카메라부(110)에 촬영되지 않는 부분에 대한 조감도 이미지(40)를 볼 수 있게 되는 것이다.
상기 합성 조감도 이미지 보정부(150)는, 현재 이미지인 이후 조감도 이미지와, 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 기능을 수행한다.
구체적으로, 상기 이동 영역 조감도 이미지 생성부(130)로부터 생성된 이동 영역 조감도 이미지를 보정할 수 있다.
즉, 상기 합성 조감도 이미지 생성부(140)에서 합성 조감도 이미지를 생성하기 전에 상기 과거 이미지인 이동 영역 조감도 이미지를 보정함으로써, 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하는 방법이다. 따라서, 현재 이미지와 과거 이미지가 구분된 상태에서 합성 조감도 이미지 생성부(140)에 의하여 합성 조감도 이미지가 생성된다.
또 다른 방법으로는, 상기 합성 조감도 이미지 생성부(140)로부터 생성된 합성 조감도 이미지를 보정하는 방법을 예로 들 수 있다.
이 경우에는, 상기 합성 조감도 이미지 생성부(140)에 의하여 합성 조감도 이미지가 생성된 이후에, 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하도록 상기 합성 조감도 이미지를 보정하는 방법이다. 따라서, 현재 이미지와 과거 이미지가 구분되지 않은 상태에서 합성 조감도 이미지 생성부(140)에 의하여 합성 조감도 이미지가 생성되면, 상기 합성 조감도 이미지 보정부(150)에 의하여 상기 합성 조감도 이미지를 보정함으로써 상기 현재 이미지와 과거 이미지를 구분할 수 있게 되는 것이다.
도 8은 차량에 위치한 카메라부(110)를 통하여 촬영되어 생성된 촬영 이미지를 디스플레이부(110)가 출력한 화면이다.
도 9는 합성 조감도 이미지로서, 상기 합성 조감도 이미지 보정부(150)에 의하여 보정되기 전의 상태이다.
구체적으로 상기 합성 조감도 이미지에는 상기 차량(200')에 위치한 카메라부(110)의 시야에 존재하는 현재의 조감도 이미지(20)가 존재하고, 상기 카메라부(110)의 시야 밖에 존재하는 과거의 조감도 이미지(40)가 존재한다.
이 경우, 상기 과거의 조감도 이미지(40)는 가상의 이미지이기 때문에, 신뢰도가 다소 떨어진다. 따라서, 과거의 시점에 존재하지 않았던 물체가, 현재 존재하더라도 디스플레이부(160)에서는 디스플레이되지 않는다.
따라서, 상기 과거의 조감도 이미지(40)와 상기 현재의 이미지(20)를 구분하는 것이 상기 합성 조감도 이미지 보정부(150)에서 이루어진다.
도 10은 본 발명에 따른 차량 주변 이미지 생성 장치의 합성 조감도 이미지 보정부의 일실시예이다. 도 11 내지 도 13은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 따른 디스플레이부의 출력 화면이다.
도 10을 참조하면, 상기 합성 조감도 이미지 보정부(150)는 과거 이미지 영상 처리부(151)와 위험 영역 영상 처리부(152)를 포함한다.
이하, 상기 과거 이미지 영상 처리부(151)에 대하여 구체적으로 설명하도록 한다.
상기 과거 이미지 영상 처리부(151)는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지를 검출하여, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 기능을 수행한다.
즉, 상기 합성 조감도 이미지에는, 과거 이미지인 이동 영역 조감도 이미지가 포함되어 있기 때문에, 상기 합성 조감도 이미지에서 상기 과거 이미지인 이동 영역 조감도 이미지를 검출하는 것이 선행된다.
이 때, 상기 과거 이미지 영상 처리부(151)는, 검출된 상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 어느 하나의 처리를 수행할 수 있다.
구체적으로 도 11을 참조하면, 과거의 이미지인 이동 영역 조감도 이미지를 흑백 처리 한 것을 확인할 수 있다.
이처럼, 과거 이미지에 특수 효과를 처리하면, 운전자는 과거 이미지와 현재의 이미지를 구분하는 것이 용이하게 되어 차량 사고를 미연에 방지할 수 있는 장점이 있는 것이다.
또한, 상기 과거 이미지 영상 처리부(151)는, 상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 어느 하나의 처리를 수행할 수 있다.
예를 들어, 상기 과거 이미지인 이동 영역 조감도 이미지를 과거 시점에 따라서 단계별로 구분한 뒤, 오래 전의 과거에 해당할수록 뿌옇게 처리하거나, 모자이크 처리를 강하게 하는 방법이 있다. 이로써, 운전자는 현재의 이미지와 과거의 이미지를 구분하는 것 이외에도 상기 과거의 이미지를 과거 정도에 따라 단계별로 인지할 수 있게 되는 것이다.
또한, 상기 과거 이미지 영상 처리부(151)는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리할 수 있다.
구체적으로, 상기 주차선에 대하여 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 어느 하나의 처리를 수행하는 방법이 있다.
또한, 상기 과거 이미지 영상 처리부(151)는, 상기 과거 이미지인 이동 영역 조감도 이미지 중 상기 주차선 이외의 나머지를 노이즈 처리하여 상기 주차선을 부각시킬 수도 있다.
도 12를 참조하면, 상기 과거 이미지인 이동 영역 조감도 이미지 중에 주차선만을 디스플레이하여 운전자가 주차선을 명확히 인지할 수 있도록 하였으며, 상기 주차선 이외에는 다른 정보가 없다는 것을 알 수 있으므로, 상기 과거 이미지인 이동 영역 조감도 이미지(40)를 신뢰하지 않게 유도할 수 있다.
또 다른 실시예로, 도 13을 참조하면, 상기 과거 이미지인 이동 영역 조감도 이미지(40)에 경고 표시(41)를 추가하는 방법이 있다. 즉, 운전자에게 과거의 이미지임을 명확히 알려줄 수 있게 된다.
또 다른 실시예로, 상기 합성 조감도 이미지에 상기 차량과 시야 각도를 보여주는 V-형 라인을 묘사함으로써, 상기 과거의 조감도 이미지(40)와 상기 현재의 이미지(20)를 구분 하도록 설계할 수 있다.
이하, 상기 위험 영역 영상 처리부(152)에 대하여 구체적으로 설명하도록 한다.
상기 위험 영역 영상 처리부(152)는, 상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 합성 조감도 이미지에 위험 영역을 표시하는 기능을 수행한다.
즉, 상기 차량이 다른 물체와 충돌할 우려가 있는지 위험성을 판단하고, 충돌할 위험이 있는 것으로 판단되는 경우에는 상기 합성 조감도 이미지에 별도의 위험 영역을 표시하여 운전자에게 디스플레이함으로써 차량 사고를 미연에 방지할 수 있는 것이다.
도 14를 참조하면, 과거 이미지인 이동 영역 조감도 이미지(40)에는 위험 영역(42)이 표시될 수 있다.
이 때, 상기 차량이 다른 물체와 충돌할 우려가 있는지 판단하는 방법으로는 차량에 위치한 초음파 센서를 이용하는 방법과, 차량에 위치한 스티어링 휠 센서를 이용하는 방법이 있으며, 구체적인 적용 방법은 도 14를 계속 참조하여 후술하도록 한다.
상기 위험 영역 영상 처리부(152)는, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서(170)를 통하여, 감지된 물체(21)와 상기 차량과의 거리에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 합성 조감도 이미지에 존재하는 차량의 전방 또는 측면에 위험 영역(42)을 표시할 수 있다.
구체적으로, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
즉, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서(170)가 상기 차량의 주변에 존재하는 물체(21)를 감지하게 되면, 상기 차량이 상기 물체(21)와 충돌될 가능성이 있는 것으로 판단한다. 물론, 상기 차량과 상기 물체(21)와의 거리가 가까울수록 충돌 가능성은 높아진다.
이 때, 상기 합성 조감도 이미지를 보정하여, 상기 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역(42)을 표시함으로써, 운전자에게 위험성을 알려주는 기능을 하는 것이다.
즉, 종래 기술로는 카메라부(110)의 시야에 존재하는 이미지(예로, 차량 후방)에만, 위험 영역을 표시하였으나, 본 발명의 실시예에 의하면, 상기 카메라부(110)의 시야 밖에 존재하는 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역을 표시함으로써 운전자에게 위험성을 알려줄 수 있게 되는 것이다.
상기 위험 영역(42)을 표시하는 또 다른 실시예로, 상기 차량의 전방에서부터 우측편으로 연계되도록 위험 영역(42)을 표시할 수도 있으며, 상기 차량의 전방에서부터 좌측편으로 연계되도록 위험 영역을 표시할 수 있다.
구체적으로, 상기 초음파 센서(170)를 통하여 감지된 물체(21)와 상기 차량이 가까이 있다면, 상기 위험 영역을 표시할 때 더 큰 이미지를 사용한다거나, 더욱 진한 칼라의 이미지를 활용함으로써 운전자가 더 쉽게 인지할 수 있도록 유도할 수 있다.
반대로, 상기 초음파 센서(170)를 통하여 감지된 물체(21)와 상기 차량이 일정 거리 이상 떨어져 있어서, 상기 차량의 충돌 가능성이 낮아진 경우에는 상기 위험 영역을 표시할 때, 더 작은 이미지를 사용한다거나, 더욱 옅은 칼라의 이미지를 활용할 수 있다.
상기 초음파 센서(170)에서 감지된 물체(21)와 상기 차량의 거리는 상기 차량이 이동됨에 따라 변경되기 때문에, 상기 위험 영역(42)의 표시는 실시간으로 변경될 수 있도록 설계할 수 있다.
예를 들어, 상기 차량이 상기 감지된 물체(21)를 향하여 접근 중인 경우 상기 위험 영역(42)의 표시는 상기 차량과 상기 감지된 물체(21)의 거리에 대응하여 실시간 변경될 수 있도록 하는 것이다.
또한, 상기 위험 영역 영상 처리부(152)는, 상기 차량에 위치한 스티어링 휠 센서(180)를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 합성 조감도 이미지를 보정함으로써 상기 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역(42)을 표시할 수 있다.
보다 구체적으로, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
즉, 종래 기술로는 카메라부(110)의 시야에 존재하는 이미지(예로, 차량 후방)에만, 위험 영역을 표시하였으나, 본 발명의 실시예에 의하면, 상기 카메라부(110)의 시야 밖에 존재하는 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역을 표시함으로써 운전자에게 위험성을 알려줄 수 있게 되는 것이다.
구체적으로, 상기 차량에 위치한 스티어링 휠 센서(180)를 통하여 상기 차량의 스티어링 휠이 회전하는 각도를 추출하고, 상기 스티어링 휠(4)이 회전하는 각도에 따라 상기 차량의 회전 각도를 추출한 후, 상기 차량의 회전 각도를 고려하여, 상기 차량의 충돌 위험성을 판단하게 된다.
상기 차량의 충돌 위험성이란, 상기 차량의 회전 각도를 고려하여 판단하게 되는 것이다.
도 14를 계속하여 참조하면, 차량에 탑승한 운전자가 스티어링 휠(4)을 반시계 방향으로 회전하여 후진하는 경우, 상기 스티어링 휠 센서(180)를 통하여 차량의 회전 각도를 추출함으로써, 차량의 우측 편에 위험 영역(42)을 표시하게 되는 것이다.
반대로, 차량에 탑승한 운전자가 스티어링 휠(4)을 시계 방향으로 회전하여 후진하는 경우, 상기 스티어링 휠 센서(180)를 통하여 차량의 회전 각도를 추출함으로써, 차량의 좌측 편에 위험 영역을 표시할 것이다.
또한, 상기 운전자가, 스티어링 휠(4)의 방향을 바꾸거나, 상기 스티어링 휠(4)의 각도를 변경하는 경우에는, 실시간으로 표시된 위험 영역(42)이 변경되도록 설계할 수 있다. 아울러, 차량의 진행 방향에 따라서 표시된 위험 영역(42)이 변경될 수도 있다.
예를 들어, 차량이 차량에 탑승한 운전자가 스티어링 휠(4)을 반시계 방향으로 회전하여 후진하는 경우, 차량의 전방 또는 우측 편에 위험 영역(42)을 표시하게 되지만, 이 때, 상기 차량이 진행 방향을 바꾸어 전진하는 경우에는 상기 표시된 위험 영역(42)을 제거할 수 있는 것이다.
상기 위험 영역(42)을 표시하는 또 다른 실시예로, 상기 차량의 전방에서부터 우측편으로 연계되도록 위험 영역(42)을 표시할 수도 있으며, 상기 차량의 전방에서부터 좌측편으로 연계되도록 위험 영역을 표시할 수 있다.
도 15 내지 도 16을 참조하여 상기 스티어링 휠 센서를 통하여 차량의 회전각도를 추출하는 동작 원리에 대하여 설명하도록 한다. 도 15는 차량의 스티어링 휠 센서를 설명하기 위한 도면이다. 도 16은 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 설명하기 위한 도면이다.
도 15를 참조하면, 차량(1)의 스티어링 휠(4)의 최대 각도를 확인할 수 있다. 구체적으로, 반시계 방향으로 535도(즉, -535도), 시계 방향으로 535도까지 회전이 가능하다. 상기 스티어링 휠(4)의 각도를 감지하기 위해서는, 상기 차량(1)에 위치한 스티어링 휠 센서가 활용된다.
도 16을 참조하면, 차량의 좌측 전륜(2) 및 우측 전륜(2')의 각도를 확인할 수 있다. 이 때, 외측 최대 각도(
Figure PCTKR2015003394-appb-I000028
)는 33도이며, 내측 최대 각도(
Figure PCTKR2015003394-appb-I000029
)는 39도이다. 다만, 차량(1)의 종류 및 기술 발전에 따라 상기 외측 최대 각도 및 내측 최대 각도는 변할 수 있다.
구체적으로, 상기 스티어링 휠 센서(180)를 통하여 상기 차량의 스티어링 휠(4)의 회전 각도를 감지하고, 상기 스티어링 휠(4)의 회전 각도를 기반으로, 상기 차량의 좌측 전륜(2) 및 우측 전륜(2') 각각의 회전 각도를 산출할 수 있다.
즉, 상기 스티어링 휠(4)의 각도를 감지한 후에, 감지된 스티어링 휠(4)의 각도를 기초로 하여 상기 차량(1)의 전륜(2,2')의 각도를 산출할 수 있다.
상기 차량(1)의 전륜(2,2')의 각도를 산출하는 구체적인 방법은 아래의 수학식을 이용한다.
수학식 18
Figure PCTKR2015003394-appb-M000018
수학식 19
Figure PCTKR2015003394-appb-M000019
상기 수학식 18 및 19에서
Figure PCTKR2015003394-appb-I000030
(out)는, 회전하는 차량(1)의 전륜 외측의 각도이며,
Figure PCTKR2015003394-appb-I000031
(in)는, 회전하는 차량(1)의 전륜 내측의 각도이다. 또한,
Figure PCTKR2015003394-appb-I000032
는, 외측 최대 각도로서 33도이며,
Figure PCTKR2015003394-appb-I000033
는 내측 최대 각도로서 39도이다.
구체적으로, 상기 차량(1)이 상기 스티어링 휠을(4) 시계 방향으로 회전하여 후진하는 경우에는 좌측 전륜(2)에서 내측의 각도를 산출하고, 우측 전륜(2')에서 외측 각도를 산출하게 되며, 상기 차량(1)이 상기 스티어링 휠(4)을 반시계 방향으로 회전하여 후진하는 경우에는 우측 전륜(2')에서 내측의 각도를 산출하고, 좌측 전륜(2)에서 외측 각도를 산출하게 되는 것이다.
또한,
Figure PCTKR2015003394-appb-I000034
는, 상기 스티어링 휠 센서(180)로부터 획득한 값을 의미하므로 -535도 ~ 535도의 범위를 갖는다.
따라서, 상기 스티어링 휠 센서(180)는 상기 차량의 회전 각도를 산출할 수 있게 된다.
이하, 본 발명에 따른 차량 주변 이미지 생성 방법에 대하여 설명하도록 한다. 상기 본 발명에 따른 차량 주변 이미지 생성 장치와 중복되는 설명은 생략하도록 한다.
도 17은 본 발명에 따른 차량 주변 이미지 생성 방법의 흐름도이다.
도 17을 참조하면, 본 발명에 따른 차량 주변 이미지 생성 방법은 차량에 위치한 카메라부를 통하여 주변을 촬영함으로써 촬영 이미지를 생성하는 단계(S100), 상기 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 단계(S110), 상기 조감도 이미지를 생성하는 단계에서 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계(S120), 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계(S130) 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 상기 합성 조감도 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 단계(S140)를 포함한다.
이 때, 상기 보정된 합성 조감도 이미지를 생성하는 단계(S140) 이후에, 상기 차량에 위치한 디스플레이부를 통하여, 상기 보정된 합성 조감도 이미지를 디스플레이하는 단계(S150)를 더 포함할 수 있다.
이상에서와 같이 본 발명에 따른 차량 주변 이미지 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 조감도 이미지 생성부;
    상기 조감도 이미지 생성부에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부;
    상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부; 및
    상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  2. 청구항 1에 있어서,
    상기 이동 영역 조감도 이미지 생성부는,
    상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  3. 청구항 1에 있어서,
    상기 합성 조감도 이미지 보정부는,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 과거 이미지 영상 처리부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  4. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  5. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  6. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  7. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시키는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  8. 청구항 1에 있어서,
    상기 합성 조감도 이미지 보정부는,
    상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 위험 영역 영상 처리부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  9. 청구항 8에 있어서,
    상기 위험 영역 영상 처리부는,
    상기 차량에 위치한 적어도 하나의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  10. 청구항 8에 있어서,
    상기 위험 영역 영상 처리부는,
    상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  11. 조감도 이미지 생성부에 의하여 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 단계;
    이동 영역 조감도 이미지 생성부에 의하여 상기 조감도 이미지를 생성하는 단계에서 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계;
    합성 조감도 이미지 생성부에 의하여 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계; 및
    합성 조감도 이미지 보정부에 의하여 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  12. 청구항 11에 있어서,
    상기 이동 영역 조감도 이미지를 생성하는 단계는,
    상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  13. 청구항 11에 있어서,
    상기 보정된 합성 조감도 이미지를 생성하는 단계는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  14. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  15. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  16. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  17. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시키는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  18. 청구항 11에 있어서,
    상기 보정된 합성 조감도 이미지를 생성하는 단계는,
    상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  19. 청구항 18에 있어서,
    상기 위험 영역을 표시하는 단계는,
    상기 차량에 위치한 적어도 하나 이상의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  20. 청구항 18에 있어서,
    상기 위험 영역을 표시하는 단계는,
    상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
PCT/KR2015/003394 2014-04-04 2015-04-03 차량 주변 이미지 생성 장치 및 방법 WO2015152691A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/277,050 US20170144599A1 (en) 2014-04-04 2015-04-03 Apparatus and method for generating image around vehicle
CN201580025702.8A CN107079081A (zh) 2014-04-04 2015-04-03 车辆周边图像生成装置及方法
JP2016560769A JP2017520133A (ja) 2014-04-04 2015-04-03 車両周辺イメージ生成装置および方法
EP15772355.2A EP3128738A4 (en) 2014-04-04 2015-04-03 Apparatus and method for generating image around vehicle
MX2016012999A MX2016012999A (es) 2014-04-04 2015-04-03 Aparato y metodo para la generacion de una imagen periferica de un vehiculo.
BR112016023013A BR112016023013A2 (pt) 2014-04-04 2015-04-03 aparelho e método para geração de imagem periférica de veículo

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140040633A KR101611194B1 (ko) 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법
KR10-2014-0040633 2014-04-04

Publications (2)

Publication Number Publication Date
WO2015152691A2 true WO2015152691A2 (ko) 2015-10-08
WO2015152691A3 WO2015152691A3 (ko) 2017-02-02

Family

ID=54241408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/003394 WO2015152691A2 (ko) 2014-04-04 2015-04-03 차량 주변 이미지 생성 장치 및 방법

Country Status (8)

Country Link
US (1) US20170144599A1 (ko)
EP (1) EP3128738A4 (ko)
JP (1) JP2017520133A (ko)
KR (1) KR101611194B1 (ko)
CN (1) CN107079081A (ko)
BR (1) BR112016023013A2 (ko)
MX (1) MX2016012999A (ko)
WO (1) WO2015152691A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2550265A (en) * 2016-03-24 2017-11-15 Ford Global Tech Llc System and method for generating a hybrid camera view in a vehicle

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
CN106080390A (zh) * 2016-06-07 2016-11-09 深圳市灵动飞扬科技有限公司 车辆行进全景系统及其方法
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US10150414B2 (en) * 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
KR101949961B1 (ko) * 2016-11-15 2019-02-21 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
JP6743732B2 (ja) * 2017-03-14 2020-08-19 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム
US10654570B2 (en) * 2017-06-05 2020-05-19 International Business Machines Corporation Vehicular alert system
CN107945575A (zh) * 2017-11-20 2018-04-20 深圳市中通视际实业有限公司 一种车辆监控装置及其方法
CN108961838B (zh) * 2018-08-16 2020-09-22 大连民族大学 道路行人分类系统
CN108985271B (zh) * 2018-08-16 2021-10-08 大连民族大学 磁力模型的感兴趣行人判定方法
CN109375620B (zh) * 2018-10-12 2020-06-02 深圳市今天国际智能机器人有限公司 利用单个光电传感器控制舵轮返回原点的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080024772A (ko) 2006-09-14 2008-03-19 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275668B2 (ja) * 1995-11-21 2002-04-15 三菱電機株式会社 映像監視システム
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
DE10109680B4 (de) * 2000-02-29 2009-02-26 Aisin Seiki K.K., Kariya Einparkhilfsgerät und Einparkhilfsverfahren für ein Fahrzeug
JP3882517B2 (ja) * 2001-03-21 2007-02-21 日産自動車株式会社 駐車位置設定装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP4020071B2 (ja) * 2003-12-10 2007-12-12 日産自動車株式会社 周囲状況表示装置
JP2007088577A (ja) * 2005-09-20 2007-04-05 Denso Corp 車両周辺画像処理システム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
KR101393918B1 (ko) * 2008-07-08 2014-05-13 현대자동차주식회사 차량 전방위 감시 시스템
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
US20100259371A1 (en) * 2009-04-10 2010-10-14 Jui-Hung Wu Bird-View Parking Aid Apparatus with Ultrasonic Obstacle Marking and Method of Maneuvering the same
JP5284206B2 (ja) * 2009-07-10 2013-09-11 三菱電機株式会社 運転支援装置およびナビゲーション装置
KR101071666B1 (ko) * 2010-03-02 2011-10-11 (주) 엔네비솔루션 회전각 센서를 이용한 주차 유도 시스템 및 방법
JP5691339B2 (ja) * 2010-09-21 2015-04-01 アイシン精機株式会社 運転支援装置
KR101295618B1 (ko) * 2011-12-09 2013-08-12 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
JP5853457B2 (ja) * 2011-07-20 2016-02-09 アイシン精機株式会社 車両周辺監視システム
JP5790335B2 (ja) * 2011-09-01 2015-10-07 株式会社デンソー 車両周辺画像表示制御装置
JP2014036326A (ja) * 2012-08-08 2014-02-24 Honda Motor Co Ltd 俯瞰画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080024772A (ko) 2006-09-14 2008-03-19 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2550265A (en) * 2016-03-24 2017-11-15 Ford Global Tech Llc System and method for generating a hybrid camera view in a vehicle
US10576892B2 (en) 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle

Also Published As

Publication number Publication date
MX2016012999A (es) 2017-10-12
EP3128738A4 (en) 2017-06-28
WO2015152691A3 (ko) 2017-02-02
CN107079081A (zh) 2017-08-18
KR20150115488A (ko) 2015-10-14
US20170144599A1 (en) 2017-05-25
KR101611194B1 (ko) 2016-04-11
EP3128738A2 (en) 2017-02-08
BR112016023013A2 (pt) 2017-10-10
JP2017520133A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
WO2015152691A2 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2015152692A1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2019172725A1 (en) Method and apparatus for performing depth estimation of object
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2019054636A1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
WO2018012674A1 (en) Driver assistance apparatus and vehicle having the same
WO2012064106A2 (en) Method and apparatus for video stabilization by compensating for view direction of camera
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
WO2015093828A1 (ko) 스테레오 카메라 및 이를 구비한 차량
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2018103187A1 (zh) 监控装置的监控画面形成方法和系统
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2021141338A1 (ko) 선박 및 항만 모니터링 장치 및 방법
CN107852466A (zh) 一种实现全景图像拼接的方法及系统
WO2019004530A1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2019199112A1 (ko) 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2023008791A1 (ko) 근접 영역 감지를 수행하여 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 이미지 처리 장치
WO2020145744A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2015093905A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2017146314A1 (ko) 디스플레이 패널과 무안경 다시점 렌티큘러시트를 통한 홀로그램 출력방법과 렌티큘러시트가 부착된 두 개의 디스플레이 패널을 통한 3차원 영상 생성방법 및 출력방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15772355

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 15277050

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016560769

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015772355

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015772355

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/012999

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016023013

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112016023013

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20161003