KR20150116116A - 차량 주변 이미지 생성 장치 및 방법 - Google Patents

차량 주변 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
KR20150116116A
KR20150116116A KR1020140040632A KR20140040632A KR20150116116A KR 20150116116 A KR20150116116 A KR 20150116116A KR 1020140040632 A KR1020140040632 A KR 1020140040632A KR 20140040632 A KR20140040632 A KR 20140040632A KR 20150116116 A KR20150116116 A KR 20150116116A
Authority
KR
South Korea
Prior art keywords
vehicle
wheel
bird
view image
eye view
Prior art date
Application number
KR1020140040632A
Other languages
English (en)
Other versions
KR101670847B1 (ko
Inventor
이정표
류춘우
박재홍
Original Assignee
주식회사 와이즈오토모티브
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브, 에스엘 주식회사 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020140040632A priority Critical patent/KR101670847B1/ko
Priority to EP15772823.9A priority patent/EP3128499A4/en
Priority to MX2016012998A priority patent/MX2016012998A/es
Priority to CN201580026947.2A priority patent/CN106463062A/zh
Priority to US15/277,017 priority patent/US20170148136A1/en
Priority to PCT/KR2015/003395 priority patent/WO2015152692A1/ko
Priority to JP2016560762A priority patent/JP2017517174A/ja
Priority to BR112016023014A priority patent/BR112016023014A2/pt
Publication of KR20150116116A publication Critical patent/KR20150116116A/ko
Application granted granted Critical
Publication of KR101670847B1 publication Critical patent/KR101670847B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

차량 후방의 이미지를 획득하여 모니터상에 디스플레이하기 위한 차량 주변 이미지 생성 장치 및 방법이 개시된다. 본 발명에 따른 차량 주변 이미지 생성 장치는 차량에 위치하여 주변을 촬영함으로써 촬영 이미지를 생성하는 카메라부, 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부, 차량에 위치한 휠 펄스 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 이동 정보 추출부, 조감도 이미지 생성부에 의해 생성된 이전 조감도 이미지를 상기 이동 정보에 대응함으로써, 상기 차량이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부 및 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를, 상기 이동 영역 조감도 이미지와 합성하는 합성 조감도 이미지 생성부를 포함한다.

Description

차량 주변 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR PERIPHERAL IMAGE GENERATION OF VEHICLE}
본 발명은 차량 주변 이미지 생성 장치 및 방법에 관한 것이다. 특히 차량 후방의 이미지를 획득하여 모니터상에 디스플레이하기 위한 차량 주변 이미지 생성 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 따라서, 차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하는 디스플레이 장치가 알려져 있다.
특히, 한국공개특허 제2008-0024772호에서는 카메라로부터 전달받은 입력 영상을 조감도로 변환하는 기술을 통하여, 모니터 상에 디스플레이된 이미지에서 차량과 주차구획 간의 상대적인 위치를 보다 명확히 파악할 수 있는 기술을 개시하고 있다.
다만, 상기한 기술로는 카메라의 현재 시야에 존재하지 않는 대상을 디스플레이할 수 없는 한계가 있다. 예를 들어, 차량의 주차를 위하여 후진할 때, 이미 차량이 지나간 공간에 존재하는 주차선(현재 시야 밖)은 디스플레이할 수 없다는 문제점이 있다.
따라서, 카메라의 현재 시야 밖의 대상을 디스플레이 하기 위한 이미지를 생성할 수 있는 기술이 필요하다. 아울러, 이러한 기술을 채용할 때에는, 시스템 부하를 최소화하되 정확하고 빠른 작업 속도를 지원할 수 있는 방향을 강구하여야 할 것이다.
본 발명의 목적은, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합하여 카메라의 현재 시야 밖의 대상을 디스플레이하는 것을 가능케 하는 것이다.
또한, 본 발명의 목적은, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합함에 있어서, 차량에 위치한 휠 펄스 센서를 활용함으로써 시스템 과부하를 방지하고, 보다 정확히 정합하는 것을 가능케 하는 것이다.
또한, 본 발명의 목적은, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합함에 있어서, 차량에 위치한 휠 펄스 센서 및 스티어링 휠 센서를 병용함으로써 시스템 과부하를 방지하고, 보다 정확히 정합하는 것을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 차량 주변 이미지 생성 장치는 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성되는 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부, 상기 차량에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 이동 정보 추출부, 상기 조감도 이미지 생성부에 의해 생성된 이전 조감도 이미지를 상기 이동 정보에 대응함으로써, 상기 차량이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부 및 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를, 상기 이동 영역 조감도 이미지와 합성하는 합성 조감도 이미지 생성부를 포함한다.
이 때, 상기 이동 정보 추출부는, 상기 좌측 바퀴에 대한 휠 펄스와, 상기 우측 바퀴에 대한 휠 펄스의 평균을 기반으로 상기 차량의 이동 거리를 추출하는 이동 거리 추출부를 포함할 수 있다.
이 때, 상기 이동 정보 추출부는, 상기 좌측 바퀴 및 우측 바퀴 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 펄스 기반 회전 반경 추출부를 포함할 수 있다.
이 때, 상기 이동 정보 추출부는, 상기 펄스 기반 회전 반경 추출부로부터 추출된 회전 반경 및 상기 이동 거리 추출부로부터 추출된 이동 거리를 기반으로, 상기 차량이 이동된 위치를 추출하는 펄스 기반 이동 위치 추출부를 포함할 수 있다.
이 때, 상기 이동 정보 추출부는, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 스티어링 회전 각도를 감지하고, 상기 스티어링 회전 각도를 기반으로, 상기 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 산출함으로써 상기 차량의 회전 반경을 추출하는 스티어링 기반 회전 반경 추출부를 포함할 수 있다.
이 때, 상기 이동 정보 추출부는, 상기 스티어링 기반 회전 반경 추출부로부터 추출된 회전 반경 및 상기 이동 거리 추출부로부터 추출된 이동 거리를 기반으로, 상기 차량이 이동된 위치를 추출하는 스티어링 기반 이동 위치 추출부를 포함할 수 있다.
이 때, 상기 이동 정보 추출부는, 상기 차량의 기어 상태를 확인하여 상기 차량이 후진 상태일 경우에 상기 차량의 이동 정보를 추출하도록 제어하는 기어 기반 추출 명령부를 포함할 수 있다.
이 때, 상기 기어 기반 추출 명령부는, 상기 차량의 기어 상태가 중립인 경우에 있어서, 상기 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스의 패턴 변화를 분석하여, 상기 차량의 진행 방향의 변화를 추출할 수 있다.
이 때, 상기 좌측 바퀴 및 우측 바퀴 상호 간의 반복되는 휠 펄스의 Rising Edge 또는 Falling Edge의 패턴의 변화를 분석함으로써 상기 차량의 진행 방향의 변화를 추출할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 차량 주변 이미지 생성 방법은,
조감도 이미지 생성부에 의하여, 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성되는 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 이전 조감도 이미지를 생성하는 단계, 이동 정보 추출부에 의하여, 상기 차량에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 단계, 이동 영역 조감도 이미지 생성부에 의하여, 상기 이전 조감도 이미지를 상기 이동 정보에 대응함으로써, 상기 차량이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계 및 합성 조감도 이미지 생성부에 의하여, 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를, 상기 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계를 포함한다.
이 때, 상기 이동 정보를 추출하는 단계는, 상기 좌측 바퀴에 대한 휠 펄스와, 상기 우측 바퀴에 대한 휠 펄스의 평균을 기반으로 상기 차량의 이동 거리를 추출하는 단계를 포함할 수 있다.
이 때, 상기 이동 정보를 추출하는 단계는, 상기 좌측 바퀴 및 우측 바퀴 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 단계를 포함할 수 있다.
이 때, 상기 이동 정보를 추출하는 단계는, 상기 회전 반경을 추출하는 단계에서 추출된 회전 반경 및 상기 이동 거리를 추출하는 단계에서 추출된 이동 거리를 기반으로, 상기 차량이 이동된 위치를 추출하는 단계를 포함할 수 있다.
이 때, 상기 이동 정보를 추출하는 단계는, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 스티어링 회전 각도를 감지하고, 상기 스티어링 회전 각도를 기반으로, 상기 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 산출함으로써 상기 차량의 회전 반경을 추출하는 단계를 포함할 수 있다.
이 때, 상기 이동 정보를 추출하는 단계는, 상기 회전 반경을 추출하는 단계에서 추출된 회전 반경 및 상기 이동 거리를 추출하는 단계에서 추출된 이동 거리를 기반으로, 상기 차량이 이동된 위치를 추출하는 단계를 포함할 수 있다.
이 때, 상기 이전 조감도 이미지를 생성하는 단계 이후에, 상기 차량의 기어 상태를 확인하여 상기 차량이 후진 상태일 경우에 상기 차량의 이동 정보를 추출하도록 제어하는 단계를 더 포함할 수 있다.
이 때, 상기 차량의 기어 상태가 중립인 경우에 있어서, 상기 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스의 패턴 변화를 분석하여, 상기 차량의 진행 방향의 변화를 추출할 수 있다.
이 때, 상기 좌측 바퀴 및 우측 바퀴 상호 간의 반복되는 휠 펄스의 Rising Edge 또는 Falling Edge의 패턴의 변화를 분석함으로써 상기 차량의 진행 방향의 변화를 추출할 수 있다.
본 발명에 따르면, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합하여 카메라의 현재 시야 밖의 대상을 디스플레이할 수 있다.
또한, 본 발명에 따르면, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합함에 있어서, 차량에 위치한 휠 펄스 센서를 활용함으로써 시스템 과부하를 방지하고, 보다 정확히 정합할 수 있다.
또한, 본 발명에 따르면, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합함에 있어서, 차량에 위치한 휠 펄스 센서 및 스티어링 휠 센서를 병용함으로써 시스템 과부하를 방지하고, 보다 정확히 정합할 수 있다.
도 1은 본 발명에 따른 차량 주변 이미지 생성 장치의 주요 부분을 도시한 개략도이다.
도 2는 본 발명에 따른 차량 주변 이미지 생성 장치의 블록도이다.
도 3은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면이다.
도 4는 본 발명에 따른 차량 주변 이미지 생성 장치의 개념을 설명하기 위한 도면이다.
도 5 내지 도 10은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 처리 절차를 도시한 도면이다.
도 11은 본 발명에 따른 차량 주변 이미지 생성 장치의 구성요소인 이동 정보 추출부의 제 1 실시예이다.
도 12는 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 생성된 차량의 좌측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 13은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 생성된 차량의 우측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 14는 상기 이동 정보 추출부의 제 1 실시예에 따라 차량이 이동한 위치를 추출하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명에 따른 차량 주변 이미지 생성 장치의 구성요소인 이동 정보 추출부의 제 2 실시예이다.
도 16은 상기 이동 정보 추출부의 제 2 실시예에 따라 차량의 스티어링 휠 센서를 설명하기 위한 도면이다.
도 17은 상기 이동 정보 추출부의 제 2 실시예에 따라 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 산출하는 방법을 설명하기 위한 도면이다.
도 18은 상기 이동 정보 추출부의 제 2 실시예에 따라 차량이 이동한 위치를 추출하는 방법을 설명하기 위한 도면이다.
도 19는 차량의 후륜에 대한 휠 펄스의 패턴 변화를 분석하여 차량의 진행 방향의 변화를 추출하는 방법을 설명하기 위한 도면이다.
도 20은 차량의 후륜에 대한 휠 펄스의 패턴 변화를 분석하여 차량의 진행 방향의 변화를 추출하는 방법을 설명하기 위한 도면이다.
도 21은 본 발명에 따른 차량 주변 이미지 생성 방법의 흐름도이다.
도 22는 본 발명에 따른 차량 주변 이미지 생성 방법에서 차량의 이동 정보를 추출하도록 명령하는 단계를 설명하기 위한 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명에 따른 차량 주변 이미지 생성 장치의 기본 시스템 구성에 대하여 도 1 및 도 2를 참조하여 설명하도록 한다.
도 1은 본 발명에 따른 차량 주변 이미지 생성 장치의 주요 부분을 도시한 개략도이다. 도 2는 본 발명에 따른 차량 주변 이미지 생성 장치의 블록도이다.
도 1을 참조하여 설명하면, 본 발명에 따른 차량 주변 이미지 생성 장치(100)는 차량(1)에 위치하여 주변(5)을 촬영함으로써 촬영 이미지를 생성하는 카메라부(110), 상기 촬영 이미지를, 상기 카메라부(110)를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부(120), 상기 차량(1)에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량의 좌측 바퀴(3) 및 우측 바퀴(미도시)에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 이동 정보 추출부(130), 상기 조감도 이미지 생성부(120)에 의해 생성된 이전 조감도 이미지를, 상기 이동 정보에 대응함으로써 상기 차량(1)이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부(140) 및 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를, 상기 이동 영역 조감도 이미지와 합성하는 합성 조감도 이미지 생성부(150)를 포함한다.
또한, 상기 차량(1)에 위치 하며, 상기 합성 조감도 이미지를 디스플레이하는 디스플레이부(160)를 더 포함할 수 있다.
이 때, 상기 조감도 이미지 생성부(120), 이동 정보 추출부(130), 이동 영역 조감도 이미지 생성부(140) 및 합성 조감도 이미지 생성부(150)는 본 발명에 따른 차량 주변 이미지 생성 장치(100)의 주요 부분으로서 마이크로 컴퓨터를 포함한, 이미지 데이터의 처리를 수행하기 위한 전자 장치이고, 카메라부(1)와 일체로 구성될 수 있다.
상기 카메라부(110)는 차량(1)에 위치하여 주변(5)을 촬영함으로써 촬영 이미지를 생성하는 기능을 수행한다.
도 1에 도시된 바와 같이, 상기 카메라부(110)는 차량(1)의 후방에 설치되며, 적어도 하나 이상의 카메라(예로, CCD 카메라)를 포함한다.
상기 조감도 이미지 생성부(120)는 상기 카메라부(110)로부터 촬영되어 생성된 촬영 이미지를, 상기 카메라부(110)를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 기능을 수행한다.
상기 카메라부(110)에 의해 촬영되어 생성된 촬영 이미지를 조감도 이미지로 변환하는 방법은 후술되는 바와 같이 관련된 기술이 사용될 수 있다. 여기서, 통상의 투시 변환(Perspective conversion)의 역처리를 수행함으로써, 지면상의 이미지(예로 주차 공간 표시)의 위치가 조감도 이미지로 획득된다.
도 3은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면이다.
구체적으로, 도 3에 도시된 바와 같이, 지면상의 이미지의 위치 데이터가 카메라부(110)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환이 실행된다.
Figure pat00001
보다 상세하게 설명하면, 카메라부(110)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
Figure pat00002
)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정하자. 따라서 여기서는 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α,β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
Figure pat00003
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 상기 디스플레이부(160)의 스크린에 대한 이미지로 변환하여, 이를 디스플레이부(160)상에 디스플레이할 수 있다.
이하, 도 4를 참조하여 본 발명에 따른 차량 주변 이미지 생성 장치의 개념을 설명하도록 한다.
도 4를 참조하여 설명하면, T 시점에서의 차량(1)과, 상기 T 시점에서 일정시간이 지난 후인 T+1 시점에서의 차량(1')이 나타나 있다.
상기 T 시점에서의 차량(1)에서 생성된 조감도 이미지를 이전 조감도 이미지(15)라 하고, 상기 T+1 시점에서의 차량(1')에서 생성된 조감도 이미지를 이후 조감도 이미지(25)라 한다.
이 때, 상기 이전 조감도 이미지(15)와 상기 이후 조감도 이미지(25)는 공통된 영역에 대한 조감도 이미지(35)가 존재한다. 즉, T 시점과, T+1 시점에서 공통적으로 촬영되어 생성된 조감도 이미지이다.
또한, 상기 T+1 시점에서의 차량(1')의 측면에서 바라보면, 상기 이전 조감도 이미지(15) 중, 상기 공통된 영역에 대한 조감도 이미지(35)를 제외한 부분은 과거의 조감도 이미지(45)가 된다.
상기 과거의 조감도 이미지(45)란, T+1 시점에서의 차량(1')의 후방에 있는 카메라부(110) 시야 밖의 대상이다. 즉, 현재 시점인 T+1 시점에서는 촬영되지 않는 대상을 의미한다.
본 발명에 따른 차량 주변 이미지 생성 장치(100)는 상기 T+1 시점에서의 차량(1') 내부의 디스플레이부(160)에 의하여 디스플레이되는 이미지에 상기 과거의 조감도 이미지(45)를 포함시키는 것을 목적으로 한다. 즉, 카메라부(110)의 현재 시야에 존재하는 이후 조감도 이미지(25)와 상기 과거의 조감도 이미지(45)를 합성하여 디스플레이하는 것이다.
이렇게 합성된 이미지를 합성 조감도 이미지라 하며, 합성 조감도 이미지를 생성하기 위해서는 상기 이후 조감도 이미지(25)와 상기 과거의 조감도 이미지(45)를 정확하게 합성하되, 동작 처리가 빨라야 하며, 시스템 부하를 최소화하는 것이 필요하다.
또한, 상기 과거의 조감도 이미지(45)를 정확하게 추출하기 위해서는 상기 차량의 이동 정보를 추출하여야 한다. 상기 과거의 조감도 이미지(45)는 상기 이동 정보를 추출함으로써 산출되므로 이동 영역 조감도 이미지라 한다. 상기 차량의 이동 정보를 추출하는 구체적인 방법에 대해서는 후술하도록 한다.
따라서, 상기 합성 조감도 이미지란, 상기 T 시점에서 촬영되어 이전 조감도 이미지(15)가 생성된 이 후, T+1 시점에서 촬영되어 생성된 이후 조감도 이미지(25)와, 상기 이동 영역 조감도 이미지를 합성한 이미지이다.
이하, 도 5 내지 도 10을 참조하여 상기 이동 정보 추출부(130), 이동 영역 조감도 이미지 생성부(140) 및 합성 조감도 이미지 생성부(150)의 동작에 대하여 설명하도록 한다.
도 5 내지 도 10은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 처리 절차를 도시한 도면이다.
도 5는 상기 카메라부(110)로부터 촬영되어 생성된 촬영 이미지를 디스플레이부(160)에서 디스플레이한 것이고, 도 6은 도 5에 도시된 촬영 이미지를, 상기 조감도 이미지 생성부(120)에서 변환함으로써 조감도 이미지(10)(이하, 이전 조감도 이미지라 한다)를 생성하여 디스플레이부(160)에서 디스플레이한 것이다.
도 5를 참조하면, 차량(1)의 후방에 자전거(11)와 주차선(12)이 존재함을 확인할 수 있으며, 도 6을 참조하면, 상기 자전거(11)와 주차선(12) 역시 조감도 이미지로 변환되었음을 확인할 수 있다.
또한, 도 6은 카메라부(110)가 차량(1) 뒤의 상부에 위치하고 있기 때문에 실제 직사각형 주차 공간 표시는, 차량(1) 및 이에 따른 카메라부(110)와 주차 공간 표시 라인의 위치 사이의 거리 등에 따라 왜곡되어 디스플레이 된다.
계속하여, 도 6을 참조하면, 카메라부(110)의 현재 시야 밖에 있는 대상(20)에 대해서는 조감도 이미지가 생성되지 않음을 확인할 수 있다.
따라서, 운전자는 주차를 함에 있어서 카메라부(110)의 현재 시야 밖에 있는 주차선 또는 사물을 확인할 수 없기 때문에 차량(1)의 위치를 직관적으로 인지하기 어려우며, 접촉 사고가 우려될 수 있는 문제점이 있다.
본 발명에 따른 차량 주변 이미지 생성 장치(100)는 이러한 문제점을 해결하기 위하여 상기 카메라부(110)의 현재 시야 밖에 있는 대상(20)에 대하여도 조감도 이미지를 생성하는 기술을 개시한다.
도 7은 상기 차량(1)의 운전자가 상기 차량(1)의 스티어링 휠(4)을 반시계 방향으로 회전하여 도 5에 도시된 공간으로부터 차량(1)이 일정 거리 후진한 것을 상기 카메라부(110)가 촬영하여 생성한 촬영 이미지이다.
도 8에는 도 7에 도시된 촬영 이미지를, 상기 조감도 이미지 생성부(120)에서 변환함으로써 생성된 조감도 이미지(30)(이하, 이후 조감도 이미지라 한다)가 존재한다.
이 때, 상기 차량(1)의 이동 거리에 따라서 이후 조감도 이미지(30)에는 상기 이전 조감도 이미지(10)에 존재했던 부분이 포함될 수 있다.
또한, 도 8에는 도 7에 도시되지 않은 조감도 이미지(40)도 존재한다. 이 때, 도 7에 도시되지 않은 조감도 이미지(40)란, 차량에 위치한 카메라부(110)의 현재 시야에 없는 대상에 대한 조감도 이미지를 의미하며, 도 7 및 8을 함께 참조하면, 자전거(41) 역시 카메라부(110)의 현재 시야에 없는 대상에 해당된다.
이 때, 상기 도 7에 도시되지 않은 조감도 이미지(40)는, 가상의 이미지가 되는 것이며, 과거 상기 차량(1)이 후진하기 전의 상태, 즉, 이전 조감도 이미지(10)에 존재하였던 부분이기 때문에, 카메라부(110)의 현재 시야에 없는 대상이라도 디스플레이 될 수 있는 것이다.
다만, 조감도 이미지가 생성되지 않은 부분(50)도 존재하는데, 이는, 과거 상기 차량(1)이 후진하기 전의 상태, 즉, 이전 조감도 이미지에 존재하지 않았기 때문이다. 구체적으로, 상기 차량(1)의 운행 시작점 이전의 이미지는 촬영되지 않기 때문이다.
결과적으로, 운전자는 디스플레이부(160)를 통해서, 이후 조감도 이미지(30)와, 상기 도 7에 도시되지 않은 조감도 이미지(40)를 함께 볼 수 있게 된다.
따라서, 운전자는 후진시에 현재 카메라부(110)의 시야 밖에 존재하는 자전거(41) 및 주차선(42)을 확인할 수 있게 되어 접촉사고를 미연의 방지할 수 있게 된다.
이 때, 상기 이후 조감도 이미지(30)와 상기 도 7에 도시되지 않은 조감도 이미지(40)를 합성한 조감도 이미지를 합성 조감도 이미지라 한다.
다만, 이러한 합성 조감도 이미지를 생성하기 위해서는 도 7에 도시되지 않은 조감도 이미지(40)인 과거 이미지를 추출하는 것이 필요하며, 이러한 과거 이미지를 추출하기 위해서는 차량의 이동 정보를 추출하면 된다.
상기 차량의 이동 정보를 추출하는 것은 이동 정보 추출부(130)에서 이루어지면 구체적인 방법은 후술하도록 한다.
도 9는 상기 차량(1)이 도 7에 도시된 공간으로부터 일정 거리 후진한 것을 상기 카메라부(110)가 촬영하여 생성한 촬영 이미지이다.
도 10에는 도 9에 도시된 촬영 이미지를, 상기 조감도 이미지 생성부(120)에서 변환함으로써 생성된 조감도 이미지(50)(이하, 최후 조감도 이미지라 한다)가 존재한다.
상기 차량(1)의 이동 거리에 따라서 최후 조감도 이미지(50)에는 상기 이전 조감도 이미지(10) 및 이후 조감도 이미지(30)에 존재했던 부분이 포함될 수 있다.
또한, 도 10에는 도 9에 도시되지 않은 조감도 이미지(60)도 존재한다. 이 때, 도 9에 도시되지 않은 조감도 이미지(60)란, 차량에 위치한 카메라부(110)의 현재 시야에 없는 대상에 대한 조감도 이미지를 의미한다.
이 때, 상기 도 9에 도시되지 않은 조감도 이미지(60)는, 가상의 이미지가 되는 것이며, 과거 상기 차량(1)이 후진하기 전의 상태, 즉, 이전 조감도 이미지(10) 및 이후 조감도 이미지(30)에 존재하였던 부분이기 때문에, 카메라부(110)의 현재 시야에 없는 대상이라도 디스플레이 될 수 있는 것이다.
따라서, 운전자는 디스플레이부(160)를 통해서, 최후 조감도 이미지(50)와, 상기 도 9에 도시되지 않은 조감도 이미지(60)를 함께 볼 수 있게 된다.
결과적으로, 운전자는 후진시에 현재 카메라부(110)의 시야 밖에 존재하는 주차선(61)을 확인할 수 있게 되어 접촉사고를 미연의 방지할 수 있게 된다.
이 때, 상기 최후 조감도 이미지(50)와 상기 도 9에 도시되지 않은 조감도 이미지(60)를 합성한 조감도 이미지를 합성 조감도 이미지라 한다.
다만, 이러한 합성 조감도 이미지를 생성하기 위해서는 도 9에 도시되지 않은 조감도 이미지(60)인 과거 이미지를 추출하는 것이 필요하며, 이러한 과거 이미지를 추출하기 위해서는 차량의 이동 정보를 추출하면 된다.
상기 차량의 이동 정보를 추출하는 것은 이동 정보 추출부(130)에서 이루어지면 구체적인 방법은 후술하도록 한다.
이하, 본 발명에 따른 차량 주변 이미지 생성 장치(100)의 구성요소인 이동 정보 추출부(130)의 기능에 대하여 살펴보고, 상기 이동 정보 추출부(130)의 다양한 실시예인 제 1 실시예 및 제 2 실시예를 구체적으로 살펴보도록 한다.
상기 이동 정보 추출부(130)는 상기 차량(1)에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량(1)의 좌측 바퀴(3) 및 우측 바퀴(미도시)에 대한 휠 펄스를 기반으로 상기 차량(1)의 이동 정보를 추출하는 기능을 수행한다.
상기 차량(1)의 전륜(2)은, 상기 차량(1)의 후륜과 달리, 회전하도록 구성되어 있으므로, 상기 차량(1)의 이동한 거리를 정확하게 추출함에 있어서는 상기 차량(1)의 후륜을 활용하는 것이 더욱 효과적이다.
따라서, 상기 이동 정보 추출부(130)를 설명함에 있어서 후륜을 중심으로 설명하도록 한다. 다만, 이러한 설명이 상기 이동 정보 추출부(130)에서 후륜 만을 권리범위로 한정하는 것은 아니다.
또한, 상기 차량(1)의 이동 정보를 추출함에 있어서, 종래 요우 레이트(yaw rate) 센서 및 차량 속도 센서를 채용하는 기술이 존재하지만, 이러한 종래 기술로는 본 발명에서의 실시예와 같이, 차량(1)이 주차하거나, 후진하는 등 상기 차량(1)이 저속으로 이동하는 경우에서는 상기 차량(1)의 정확한 이동 정보를 추출하는 것에 한계가 있다.
따라서 본 발명은, 상기 차량(1)에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량(1)의 좌측 바퀴(3) 및 우측 바퀴(미도시)에 대한 휠 펄스를 기반으로 상기 차량(1)의 이동 정보를 추출하는 기술을 개시한다.
도 11은 본 발명에 따른 차량 주변 이미지 생성 장치의 구성요소인 이동 정보 추출부의 제 1 실시예이다. 도 15는 본 발명에 따른 차량 주변 이미지 생성 장치의 구성요소인 이동 정보 추출부의 제 2 실시예이다.
도 11을 참조하면, 상기 제 1 실시예에 따른 이동 정보 추출부(130)는 이동 거리 추출부(131), 펄스 기반 회전반경 추출부(132a) 및 펄스 기반 이동위치 추출부(133a)를 포함한다.
도 15를 참조하면, 상기 제 2 실시예에 따른 이동 정보 추출부(130)는 이동 거리 추출부(131), 스티어링 기반 회전반경 추출부(132b) 및 스티어링 기반 이동위치 추출부(133b)를 포함한다.
상기 이동 정보 추출부(130)의 제 1 실시예 및 제 2 실시예에 공통되는 이동 거리 추출부(131)에 대하여 먼저 설명하고, 상기 제 1 실시예 및 상기 제 2 실시예를 각각 구체적으로 후술하도록 한다.
1. 이동 거리 추출부 (131)
상기 이동 거리 추출부(131)는, 차량(1)에 위치한 휠 펄스 센서를 통하여 생성된 좌측 바퀴에 대한 휠 펄스와, 상기 우측 바퀴에 대한 휠 펄스의 평균을 기반으로 상기 차량의 이동 거리를 추출하는 기능을 수행한다.
상기 휠 펄스 센서는, 차량(1)에 위치하여 상기 차량(1)의 좌측 바퀴 및 우측 바퀴의 움직임에 따라 휠 펄스 신호를 생성하게 된다.
도 12는 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 생성된 차량의 좌측 후륜에 대한 휠 펄스를 나타낸 도면이다. 도 13은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 생성된 차량의 우측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 12를 참조하여 설명하면, 상기 차량(1)의 좌측 후륜에 대한 휠 펄스 신호를 시간의 변화에 따라 확인할 수 있다. 이 때, 상기 휠 펄스 신호의 주기마다 1씩 카운트를 하게 되며, 한 주기마다 움직인 거리는 0.0217m이다.
마찬가지로, 도 13을 참조하여 설명하면, 상기 차량(1)의 우측 후륜에 대한 휠 펄스 신호를 시간의 변화에 따라 확인할 수 있다. 이 때, 상기 휠 펄스 신호의 주기마다 1씩 카운트를 하게 되며, 한 주기마다 움직인 거리는 0.0217m이다.
구체적으로, 도 12 및 도 13을 함께 참조하면, T 시점에서 좌측 후륜에 대한 휠 펄스 신호는 세 번의 주기가 카운트되어 카운트 3의 값을 갖지만, T 시점에서 우측 후륜에 대한 휠 펄스 신호는 다섯 번의 주기가 카운트되어 카운트 5의 값을 갖는다.
즉, 동일 시간 동안 이동한 거리는 우측 후륜이 더 많은 것을 확인할 수 있다. 이는 차량(1)이 후진하는 것을 전제로, 스티어링 휠을 시계 방향으로 회전한 상태로 하여 후진하고 있다는 것으로 판단할 수 있다. 차량의 후진 및 전진을 판단하는 구체적인 방법은 후술하도록 한다.
도 12 및 도 13에서 나타난 좌측 후륜 및 우측 후륜에 대한 휠 펄스를 기반으로 차량의 이동 거리를 아래의 수학식 2 내지 4를 이용하여 추출할 수 있다.
Figure pat00004
상기 수학식 2에서 K1은, 내측 후륜의 이동 거리를 의미한다. 예를 들어 차량(1)이 스티어링 휠을 시계 방향으로 회전한 상태로 후진하는 경우에는 우측 후륜이 내측 후륜이 되는 것이고, 차량(1)이 스티어링 휠을 반시계 방향으로 회전한 상태로 후진하는 경우에는 좌측 후륜이 내측 후륜이 되는 것이다.
또한, WPout은, 외측 후륜의 휠 펄스 카운트 값을 의미하고, WPres은, 휠 펄스 신호의 Resolution으로서, 한 주기 신호 당 움직인 거리(0.0217m)를 의미한다. 즉, 상기 WPres은, 상수(0.0217)이며, 상기 휠 펄스 센서의 종류 및 설정에 따라 변할 수 있는 값이다.
또한, t는, 시간을 의미하는데 차량이 이동하기 전을 의미하고, ?t는, 차량이 이동하는 동안 소요되는 시간을 의미한다.
Figure pat00005
상기 수학식 3에서 K2는 외측 후륜의 이동 거리를 의미한다.
예를 들어 차량(1)이 스티어링 휠을 시계 방향으로 회전한 상태로 후진하는 경우에는 좌측 후륜이 외측 후륜이 되는 것이고, 차량(1)이 스티어링 휠을 반시계 방향으로 회전한 상태로 후진하는 경우에는 우측 후륜이 외측 후륜이 되는 것이다.
또한, WPout은, 외측 후륜의 휠 펄스 카운트 값을 의미하고, WPres은, 휠 펄스 신호의 Resolution으로서, 한 주기 신호 당 움직인 거리(0.0217m)를 의미한다. 즉, 상기 WPres은, 상수(0.0217)이며, 상기 휠 펄스 센서의 종류 및 설정에 따라 변할 수 있는 값이다.
또한, t는, 시간을 의미하는데 차량이 이동하기 전을 의미하고, ?t는, 차량이 이동하는 동안 소요되는 시간을 의미한다.
Figure pat00006
상기 수학식 4에서 K는, 차축의 이동거리를 의미한다. 여기서 상기 차축의 이동거리라 함은 차량의 이동 거리와 동일한 의미이다.
또한, K1는 내측 후륜의 이동 거리를 의미하고, K2는 외측 후륜의 이동 거리를 의미한다. 즉, 차량의 이동거리인 차축의 이동거리는, 차량 내측 후륜의 이동거리와, 차량 외측 후륜의 이동거리의 평균 값이 된다.
따라서, 상기 이동 거리 추출부(131)는 상기 수학식 2 내지 4를 통하여 상기 차량(1)의 이동 거리를 추출할 수 있게 된다.
2. 제 1 실시예
상기 이동 거리 추출부(131)로부터 추출된 차량(1)의 이동 거리를 활용하여 상기 제 1 실시예에 따라 상기 차량(1)의 화전 반경 및 이동된 위치 좌표를 추출하는 방법에 대하여 설명하도록 한다.
도 14는 상기 이동 정보 추출부의 제 1 실시예에 따라 차량이 이동한 위치를 추출하는 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 차량(1)의 현재 위치(6)는 좌측 후륜과 우측 후륜의 중간이 되며 이는 차축의 현재 중심 위치와 같은 의미이다. 또한, 상기 차량이(1)이 이동한 후의 위치(7)는 이동된 위치에서 차량의 좌측 후륜과 우측 후륜의 중간이 됨을 확인할 수 있다.
상기 펄스 기반 회전 반경 추출부(132a)는, 상기 좌측 후륜 및 우측 후륜 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 기능을 수행한다. 이러한 회전 반경을 추출하는 방법으로는 아래의 수학식 5 내지 8을 이용한다.
Figure pat00007
상기 수학식 5에서, K1는 내측 후륜의 이동 거리를 의미하고, R은 차량의 회전 반경을 의미한다. 구체적으로 차축의 회전 반경을 의미한다.
W는 차폭을 의미한다. 구체적으로 좌측 후륜과 우측 후륜 사이의 거리를 의미한다. 또한,
Figure pat00008
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
Figure pat00009
상기 수학식 6에서, K2는 외측 후륜의 이동 거리를 의미하고, R은 차량의 회전 반경을 의미한다. 구체적으로 차축의 회전 반경을 의미한다.
또한, W는 차폭을 의미하며,
Figure pat00010
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
Figure pat00011
상기 수학식 7에서, K2는 외측 후륜의 이동 거리를 의미하고, K1는 내측 후륜의 이동 거리를 의미한다. 또한, W는 차폭을 의미하며,
Figure pat00012
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
Figure pat00013
상기 수학식 8은 상기 수학식 7을, t 시간 동안의 차량 각도의 변화량인
Figure pat00014
에 관하여 정리한 수학식이다.
즉, 상기 수학식 5에서 구한 K2에서, 상기 수학식 6에서 구한 K1을 뺀 값을, 기정해진 차량의 폭인 W로 나누게 되면 t 시간 동안의 차량 각도의 변화량인
Figure pat00015
를 구할 수 있게 된다.
따라서, K1, K2,
Figure pat00016
및 W 값을 모두 알 수 있게 되었으므로, 상기 수학식 5 또는 수학식 6에 대입하게 되면 차량의 회전 반경인 R 값을 구할 수 있게 된다.
상기 펄스 기반 이동 위치 추출부(133a)는, 상기 펄스 기반 회전 반경 추출부(132a)로부터 추출된 회전 반경 및 상기 이동 거리 추출부(131)로부터 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 기능을 수행한다. 이러한 회전 반경을 추출하는 방법으로는 아래의 수학식 9 내지 17을 이용한다.
Figure pat00017
상기 수학식 9에서 xc(t)는, 회전 중심의 x 좌표의 위치를 의미하고, x(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 상기 차축의 현재 중심 위치란 좌측 후륜과 우측 후륜의 중간이 됨을 상기 설명한바 있다. 또한,
Figure pat00018
(t)는, 현재 차량의 각도를 의미한다.
Figure pat00019
상기 수학식 10에서 yc(t)는, 회전 중심의 y 좌표의 위치를 의미하고, y(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 또한,
Figure pat00020
(t)는, 현재 차량의 각도를 의미한다.
Figure pat00021
상기 수학식 11에서
Figure pat00022
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 x 좌표의 위치를 의미하고, x(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 또한,
Figure pat00023
(t)는, 현재 차량의 각도를 의미한다.
Figure pat00024
상기 수학식 12에서
Figure pat00025
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 y 좌표의 위치를 의미하고, y(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 y 좌표의 위치를 의미한다. 또한,
Figure pat00026
(t)는, 현재 차량의 각도를 의미한다.
Figure pat00027
상기 수학식 13에서
Figure pat00028
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미하고,
Figure pat00029
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미한다.
또한,
Figure pat00030
는, t 시간 동안의 차량 각도의 변화량을 의미하며,
Figure pat00031
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 x 좌표의 위치를 의미하고,
Figure pat00032
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 y 좌표의 위치를 의미한다.
즉, 상기 수학식 13은
Figure pat00033
만큼 시간이 흐르는 동안 차축이 이동하여, 회전 중심을 원점으로 하였을 때의 이동된 차축의 중심 위치를 산출하는 회전 변환식이다.
Figure pat00034
상기 수학식 14에서,
Figure pat00035
는, 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미한다. 즉, 절대적인 위치의 값을 의미하는 것이고, 회전 중심을 원점으로 고려하지 않은 상태의 위치이다. 또한, 상기 수학식 14에서
Figure pat00036
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미하고, xc(t)는, 회전 중심의 x 좌표의 위치를 의미한다.
Figure pat00037
상기 수학식 15에서,
Figure pat00038
는, 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미한다. 즉, 절대적인 위치의 값을 의미하는 것이고, 회전 중심을 원점으로 고려하지 않은 상태의 위치이다.
또한,
Figure pat00039
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미하고, yc(t)는, 회전 중심의 y 좌표의 위치를 의미한다.
Figure pat00040
상기 수학식 16은, 상기 수학식 14에 대하여, 상기 수학식 9 내지 13을 대입하여 정리한 것으로서, 차축의 이동 후의 중심 위치 중 X 좌표의 위치인
Figure pat00041
를 구할 수 있는 최종식이 된다.
Figure pat00042
상기 수학식 17은, 상기 수학식 15에 대하여, 상기 수학식 9 내지 13을 대입하여 정리한 것으로서, 차축의 이동 후의 중심 위치 중 y 좌표의 위치인
Figure pat00043
를 구할 수 있는 최종식이 된다.
상기 살펴본 바와 같이, 상기 펄스 기반 이동 위치 추출부(133a)는, 상기 수학식 9 내지 17을 이용하여 차축의 이동 후의 중심 위치를 추출할 수 있게 된다.
3. 제 2 실시예
상기 이동 거리 추출부(131)로부터 추출된 차량(1)의 이동 거리를 활용하여 상기 제 2 실시예에 따라 상기 차량(1)의 화전 반경 및 이동된 위치 좌표를 추출하는 방법에 대하여 설명하도록 한다.
도 16은 상기 이동 정보 추출부의 제 2 실시예에 따라 차량의 스티어링 휠 센서를 설명하기 위한 도면이다. 도 17은 상기 이동 정보 추출부의 제 2 실시예에 따라 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 산출하는 방법을 설명하기 위한 도면이다. 도 18은 상기 이동 정보 추출부의 제 2 실시예에 따라 차량이 이동한 위치를 추출하는 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 차량(1)의 스티어링 휠의 최대 각도를 확인할 수 있다. 구체적으로, 반시계 방향으로 535도(즉, -535도), 시계 방향으로 535도까지 회전이 가능하다. 상기 스티어링 휠의 각도를 감지하기 위해서는, 상기 차량(1)에 위치한 스티어링 휠 센서가 활용된다.
도 17을 참조하면, 차량의 좌측 전륜(2) 및 우측 전륜(2')의 각도를 확인할 수 있다. 이 때, 외측 최대 각도(
Figure pat00044
)는 33도이며, 내측 최대 각도(
Figure pat00045
)는 39도이다. 다만, 차량(1)의 종류 및 기술 발전에 따라 상기 외측 최대 각도 및 내측 최대 각도는 변할 수 있다.
상기 스티어링 기반 회전 반경 추출부(132b)는, 상기 차량(1)에 위치한 스티어링 휠 센서를 통하여 상기 차량의 스티어링(4) 회전 각도를 감지하고, 상기 스티어링(4) 회전 각도를 기반으로, 상기 차량의 좌측 전륜(2) 및 우측 전륜(2') 각각의 회전 각도를 산출함으로써 상기 차량(1)의 회전 반경을 추출하는 기능을 수행한다.
즉, 상기 스티어링 기반 회전 반경 추출부(132b)는, 상기 스티어링 휠의 각도를 감지한 후에, 감지된 스티어링 휠의 각도를 기초로 하여 상기 차량(1)의 전륜(2,2')의 각도를 산출할 수 있다. 상기 차량(1)의 전륜(2,2')의 각도를 산출하는 구체적인 방법은 아래의 수학식을 이용한다.
Figure pat00046
Figure pat00047
상기 수학식 18 및 19에서
Figure pat00048
는, 회전하는 차량(1)의 전륜 외측의 각도이며,
Figure pat00049
는, 회전하는 차량(1)의 전륜 내측의 각도이다. 또한,
Figure pat00050
는, 외측 최대 각도로서 33도이며,
Figure pat00051
는 내측 최대 각도로서 39도이다.
구체적으로, 상기 차량(1)이 상기 스티어링을 시계 방향으로 회전하여 후진하는 경우에는 좌측 전륜(2)에서 내측의 각도를 산출하고, 우측 전륜(2')에서 외측 각도를 산출하게 되며, 상기 차량(1)이 상기 스티어링을 반시계 방향으로 회전하여 후진하는 경우에는 우측 전륜(2')에서 내측의 각도를 산출하고, 좌측 전륜(2)에서 외측 각도를 산출하게 되는 것이다.
또한,
Figure pat00052
는, 상기 스티어링 센서로부터 획득한 값을 의미하므로 -535도 ~ 535도의 범위를 갖는다.
도 18을 참조하면, 상기 기반 스티어링 기반 회전 반경 추출부(132b)에서, 차량의 회전 반경을 추출하는 원리를 알 수 있다.
또한, 후진하기 전의 차량의 위치(차축 중심의 위치 좌표)(8)와 후진한 후의 차량의 위치(차축 중심의 좌표)(9)가 도시 되어 있다. 이하 도 18 및 하기 수학식 20 내지 25를 함께 참조하여 구체적으로 설명하도록 한다.
도 18 및 하기 수학식 20 내지 25에서
Figure pat00053
는, 회전 하는 차량(1)의 전륜 내측의 변화 각도를 의미하고,
Figure pat00054
는, 회전하는 차량(1)의 전륜 외측의 변화 각도를 의미한다.
또한, L은, 전륜 차축과 후륜 차축 사이의 거리를 의미하고, W는 차폭을 의미하며, R은 차축 중심의 회전 반경을 의미하고,
Figure pat00055
는, 전륜 차축 중심의 각도를 의미한다.
또한, K는, 차축의 이동거리를 의미한다. 여기서 상기 차축의 이동거리라 함은 차량의 이동 거리와 동일한 의미이다.
또한, K1는 내측 후륜의 이동 거리를 의미하고, K2는 외측 후륜의 이동 거리를 의미한다. 즉, 차량(1)의 이동거리인 차축의 이동거리는, 차량(1) 내측 후륜의 이동거리와, 차량(1) 외측 후륜의 이동거리의 평균 값이 된다.
이와 같이, 차량(1)의 이동 거리를 구하는 구체적인 방법은 상기 이동 거리 산출부(131)에서 전술하였으므로 생략하도록 한다.
Figure pat00056
Figure pat00057
Figure pat00058
Figure pat00059
Figure pat00060
상기 수학식 24는 상기 수학식 22를 상기 수학식 23을 통하여 정리한 것이다.
Figure pat00061
상기 수학식 25는 상기 차량(1)의 회전 반경을 추출하는 최종식이 된다. 이처럼 상기 수학식 20 내지 25를 이용하여, 상기 스티어링 기반 회전 반경 추출부(132b)는 차량(1)의 회전 반경을 추출할 수 있게 된다.
상기 스티어링 기반 이동 위치 추출부(133b)는, 상기 스티어링 기반 회전 반경 추출부(132b)로부터 추출된 회전 반경 및 상기 이동 거리 추출부(131)로부터 추출된 이동 거리를 기반으로, 상기 차량(1)이 이동한 위치를 추출하는 기능을 수행한다. 구체적인 추출 방법은 상기 수학식 16 및 17과, 하기 수학식 26 및 27을 이용하여 설명하도록 한다.
Figure pat00062
Figure pat00063
상기 수학식 26 및 27에서
Figure pat00064
는, t 시간 동안의 차량 각도의 변화량을 의미하며, R은 차축의 회전 반경이며, K는, 차축의 이동 거리이며, K2는, 외측 후륜의 이동 거리이며, K1은 내측 후륜의 이동거리이다.
구체적으로, K1 및 K2의 값은, 상기 이동 거리 추출부(131)에서 추출하고, 상기 수학식 26을 이용하여 K 값을 구한 후에, 상기 스티어링 기반 회전 반경 추출부(132b)에서 추출한 회전 반경 R을 상기 수학식 27에 대입하여,
Figure pat00065
를 구할 수 있다.
따라서,
Figure pat00066
를 상기 수학식 16 및 17에
Figure pat00067
를 대입하게 되면, 차축의 이동 후의 중심 위치를 추출할 수 있게 된다.
이하, 이동 영역 조감도 이미지 생성부(140) 및 합성 조감도 이미지 생성부(150)에 대하여 도 4를 참조하여 설명하도록 한다.
상기 이동 영역 조감도 이미지 생성부(140)는, 상기 이동 정보 추출부(130)의 제 1 실시예 및 상기 제 2 실시예를 통하여 추출된 차량의 이동 정보를 기반으로 상기 차량(1)이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 기능을 수행한다.
구체적으로, 상기 이동 정보를 기반으로 하여 도 4에 도시된 이동 영역 조감도 이미지인 과거의 조감도이미지(45)를 생성하는 것이다.
상기 합성 조감도 이미지 생성부(150)는, 도 4에 도시된 이전 조감도 이미지(15)가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지(25)를, 상기 이동 영역 조감도 이미지인 과거의 조감도 이미지(45)와 합성하는 기능을 수행한다.
따라서, 운전자는 차량이 후진하여 차량이 T+1 시점(1')에 존재할 때에도, 카메라부(110)에 촬영되지 않는 부분에 대한 조감도 이미지(45)를 볼 수 있게 되는 것이다.
이하, 도 19 및 20을 참조하여, 기어 기반 추출 명령부 및 센서 기반 추출 명령부에 대하여 설명하도록 한다.
도 19는 차량의 후륜에 대한 휠 펄스의 패턴 변화를 분석하여 차량의 진행 방향의 변화를 추출하는 방법을 설명하기 위한 도면이다.
도 20은 차량의 후륜에 대한 휠 펄스의 패턴 변화를 분석하여 차량의 진행 방향의 변화를 추출하는 방법을 설명하기 위한 도면이다.
상기 휠 펄스 센서가 상기 차량의 운행 방향을 감지할 수 있도록 설계(방향성이 있는 엔코더)한 경우라면, 상기 휠 펄스 센서를 통하여 상기 차량의 운행 방향을 감지할 것이지만, 상기 휠 펄스 센서가 상기 차량의 운행 방향을 감지할 수 없는 경우라면, 상기 차량의 운행 방향을 후술할 기어 기반 추출 명령부 및 센서 기반 추출 명령부를 통하여 상기 차량의 운행 방향을 추출하게 된다.
상기 이동 정보 추출부(130)는, 상기 차량의 기어 상태를 확인하여 상기 차량이 후진 상태일 경우에 상기 차량의 이동 정보를 추출하도록 명령하는 기어 기반 추출 명령부를 포함할 수 있다.
차량의 기어 상태를 확인하는 것은 차량에 장착된 센서나 ECU를 통하여 이루어 질 수 있으며, 알려진 기술에 해당되므로 구체적인 설명은 생략하도록 한다.
이 때, 차량의 좌측 후륜 및 우측 후륜에 대한 휠 펄스의 패턴 변화를 분석하여, 상기 차량의 진행 방향 변화를 추출할 수 있다.
구체적으로, 도 19를 참조하여, 상기 차량의 기어가 중립으로 변경되기 전에 상기 차량의 좌측 후륜에 대한 휠 펄스의 패턴 및 상기 차량의 우측 후륜에 대한 휠 펄스의 패턴을 살펴보면, Rising edge를 기준으로 1) 좌측 후륜, 2) 우측 후륜, 3) 좌측 후륜, 4) 우측 후륜의 순서를 갖는 패턴이 형성됨을 확인할 수 있다. 이 때, 상기 차량의 기어가 중립으로 된 이후에도, 계속하여 1) 좌측 후륜, 2) 우측 후륜, 3) 좌측 후륜, 4) 우측 후륜의 순서를 갖는 패턴이 유지됨을 확인할 수 있다.
통상적으로 차량은 후진 기어 상태에서 후진하지만, 지면의 경사 또는 차량의 상태에 따라 상기 차량의 기어가 후진이 아닌 경우(예로, 중립)에도 차량이 후진할 수 있다.
따라서, 상기 살펴본 바와 같이, 상기 차량의 기어 상태가 중립으로 변경된시점을 전후로 하여 상기 좌측 후륜 및 상기 우측 후륜에 대한 휠 펄스 신호의 패턴이 유지되는 경우라면, 상기 차량의 진행 방향은 변하지 않는 것으로 추정하게 된다.
예를 들어, 상기 차량의 기어가 중립으로 되기 전에 전진하고 있었던 차량이라면, 상기 차량의 기어가 중립으로 된 이후에도 계속하여 전진하는 것으로 추정하고, 상기 차량의 기어가 중립으로 되기 전에 후진하고 있었던 차량이라면, 상기 차량의 기어가 중립으로 된 이후에도 계속하여 후진하고 있는 것으로 추정하는 것이다.
도 20을 참조하면, 상기 차량의 기어가 중립으로 변경되기 전에 상기 차량의 좌측 후륜에 대한 휠 펄스의 패턴 및 상기 차량의 우측 후륜에 대한 휠 펄스의 패턴을 살펴보면, Rising edge를 기준으로 1) 좌측 후륜, 2) 우측 후륜, 3) 좌측 후륜, 4) 우측 후륜의 순서를 갖는 패턴이 형성됨을 확인할 수 있다. 이 때, 상기 차량의 기어가 중립으로 된 이후에는, 1) 우측 후륜, 2) 좌측 후륜, 3) 우측 후륜, 4) 좌측 후륜의 순서를 갖는 패턴으로 변경됨을 확인할 수 있다.
즉, 상기 차량의 기어가 중립으로 되기 전과, 상기 차량의 기어가 중립으로 된 이후에 동일한 패턴을 갖기 위해서는, 상기 차량의 기어가 중립으로 된 이후에 좌측 후륜의 휠 펄스 신호(Rising edge)가 먼저 감지되어야 하는 것인데, 우측 후륜의 휠 펄스 신호(Rising edge)가 먼저 감지된 것이다.
따라서, 상기 차량의 기어가 중립으로 되기 전과, 상기 차량의 기어가 중립으로 된 이후에 상기 차량의 좌측 후륜 및 우측 후륜에 대한 휠 펄스 신호의 패턴이 변경된 것이다.
결과적으로, 상기 살펴본 바와 같이, 상기 차량의 기어 상태가 중립으로 변경된시점을 전후로 하여 상기 좌측 후륜 및 상기 우측 후륜에 대한 휠 펄스 신호의 패턴이 변경되는 경우라면, 상기 차량의 기어가 중립으로 된 시점을 기준으로 상기 차량의 진행 방향이 변경된 것으로 추정하게 된다.
예를 들어, 상기 차량의 기어가 중립으로 되기 전에 전진하고 있었던 차량이라면, 상기 차량의 기어가 중립으로 된 이후에는 후진하는 것으로 추정하고, 상기 차량의 기어가 중립으로 되기 전에 후진하고 있었던 차량이라면, 상기 차량의 기어가 중립으로 된 이후는 전진하고 있는 것으로 추정하는 것이다.
상기 좌측 후륜 및 우측 후륜의 반복되는 패턴을 분석함에 있어서 Rising edge를 기준으로 설명하였으나, Falling edge를 기준으로 패턴의 변화를 추출할 수도 있다.
또한, 상기 이동 정보 추출부(130)는, 상기 차량에 위치한 중력 센서 또는 가속도 센서를 통하여, 상기 차량의 중력 및 가속도를 감지함으로써 상기 차량이 후진하는지 판단하고, 상기 차량이 후진하는 것으로 판단되는 경우에 상기 차량의 이동 정보를 추출하도록 명령하는 센서 기반 추출 명령부를 포함할 수 있다.
구체적으로 차량에 위치한 중력 센서 또는 가속도 센서를 활용하여, 감지된 신호와, 기정해진 신호를 대비하여 차량(1)의 운행 방향을 분석하는 것이다.
상기 중력 센서 또는 가속도 센서의 원리 및 작용에 대해서는 알려진 기술이므로 생략하도록 한다.
이 경우, 차량이 후진 기어 상태가 아닌, 전진 기어 또는 중립 상태에 있을 지라도 차량이 후진하는 경우를 감지할 수 있다는 장점이 있다.
즉, 상기 센서 기반 추출 명령부는, 차량이(1) 후진하는 경우를 감지하게 되면 이동 정보를 추출하도록 명령하는 기능을 수행한다.
이하, 본 발명에 따른 차량 주변 이미지 생성 방법에 대하여 설명하도록 한다.
도 21은 본 발명에 따른 차량 주변 이미지 생성 방법의 흐름도이다.
도 21을 참조하여 설명하면, 본 발명에 따른 차량 주변 이미지 생성 방법은 차량에 위치한 카메라부를 통하여 주변을 촬영함으로써 촬영 이미지를 생성하는 단계(S100), 상기 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 이전 조감도 이미지를 생성하는 단계(S110), 상기 차량에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 단계(S120), 상기 이전 조감도 이미지를, 상기 이동 정보에 대응함으로써 상기 차량이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계(S130) 및 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를, 상기 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계(S140)를 포함한다.
이 때, 상기 합성 조감도 이미지를 생성하는 단계(S140) 이후에, 상기 차량에 위치한 디스플레이부를 통하여, 상기 합성 조감도 이미지를 디스플레이하는 단계(S150)를 더 포함할 수 있다.
상기 본 발명에 따른 차량 주변 이미지 생성 방법은, 상기 설명한 차량 주변 이미지 생성 장치(100)와 동일한 기술 내용에 해당되는 부분에 있어서 생략하도록 한다.
이하, 도 22를 참조하여, 본 발명에 따른 차량 주변 이미지 생성 방법에서 차량의 이동 정보를 추출하도록 명령하는 단계의 실시예를 설명하도록 한다.
도 22를 참조하여 설명하면, 상기 S110 단계 이후에, 차량의 기어가 후진 상태인지 판단하는 단계(S112)가 진행된다. 차량의 기어 상태를 확인하는 것은 차량에 장착된 센서나 ECU를 통하여 이루어 질 수 있으며, 알려진 기술에 해당되므로 구체적인 설명은 생략하도록 한다.
이 때, S112 단계에서 기어 상태가 후진인 것으로 판단되면, 차량의 이동 정보를 추출하도록 명령하는 단계(S118)가 진행되어, 상기 S120 단계에서 이동 정보를 추출하게 된다.
다만, S112 단계에서 기어 상태가 후진이 아닌 상태로 판단되면(예로, 전진 또는 중립), S114 단계가 진행되어 차량이 후진하고 있는 지를 판단하게 된다.
이 때, 상기 차량이 후진하고 있는지를 판단하기 위해서는, 전술한 바와 같이, 휠 펄스의 패턴 변경 또는 차량에 위치한 중력 센서 및 가속도 센서를 활용할 수 있다.
여기서, 차량이 후진하고 있는 것으로 판단된 경우에는(즉, 기어 상태는 후진 상태가 아니지만, 차량이 후진하고 있는 경우) S118 단계가 진행되어 차량의 이동 정보를 추출하도록 명령하게 된다. 따라서, 상기 S120 단계에서 이동 정보를 추출하는 것이다.
다만, 상기 S114 단계에서, 차량이 후진하지 않는 것으로 판단되는 경우에는, 시야 밖의 이미지를 소거하는 단계(S116)가 진행된다. 즉, 차량이 전진하고 있기 때문에 차량에 위치한 카메라부의 시야 밖에 존재하는 이미지는 디스플레이가 될 필요가 없기 때문이다.
이상에서와 같이 본 발명에 따른 차량 주변 이미지 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
1: 차량
2: 전륜 3: 후륜
4: 스티어링 휠 5: 촬영 이미지
100: 차량 주변 이미지 생성 장치
110: 카메라부 120: 조감도 이미지 생성부
130: 이동 정보 추출부 140: 이동 영역 조감도 이미지 생성부
150: 합성 조감도 이미지 생성부 160: 디스플레이부

Claims (18)

  1. 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성되는 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부;
    상기 차량에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 이동 정보 추출부;
    상기 조감도 이미지 생성부에 의해 생성된 이전 조감도 이미지를 상기 이동 정보에 대응함으로써, 상기 차량이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부; 및
    상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를, 상기 이동 영역 조감도 이미지와 합성하는 합성 조감도 이미지 생성부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  2. 청구항 1에 있어서,
    상기 이동 정보 추출부는,
    상기 좌측 바퀴에 대한 휠 펄스와, 상기 우측 바퀴에 대한 휠 펄스의 평균을 기반으로 상기 차량의 이동 거리를 추출하는 이동 거리 추출부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  3. 청구항 2에 있어서,
    상기 이동 정보 추출부는,
    상기 좌측 바퀴 및 우측 바퀴 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 펄스 기반 회전 반경 추출부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  4. 청구항 3에 있어서,
    상기 이동 정보 추출부는,
    상기 펄스 기반 회전 반경 추출부로부터 추출된 회전 반경 및 상기 이동 거리 추출부로부터 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 펄스 기반 이동 위치 추출부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  5. 청구항 2에 있어서,
    상기 이동 정보 추출부는,
    상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 스티어링 회전 각도를 감지하고, 상기 스티어링 회전 각도를 기반으로, 상기 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 산출함으로써 상기 차량의 회전 반경을 추출하는 스티어링 기반 회전 반경 추출부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  6. 청구항 5에 있어서,
    상기 이동 정보 추출부는,
    상기 스티어링 기반 회전 반경 추출부로부터 추출된 회전 반경 및 상기 이동 거리 추출부로부터 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 스티어링 기반 이동 위치 추출부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  7. 청구항 1에 있어서,
    상기 이동 정보 추출부는,
    상기 차량의 기어 상태를 확인하여 상기 차량이 후진 상태일 경우에 상기 차량의 이동 정보를 추출하도록 명령하는 기어 기반 추출 명령부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  8. 청구항 7에 있어서,
    상기 기어 기반 추출 명령부는,
    상기 차량의 기어 상태가 중립인 경우에 있어서,
    상기 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스의 패턴 변화를 분석하여, 상기 차량의 진행 방향의 변화를 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  9. 청구항 8에 있어서,
    상기 좌측 바퀴 및 우측 바퀴 상호 간의 반복되는 휠 펄스의 Rising Edge 또는 Falling Edge의 패턴의 변화를 분석함으로써 상기 차량의 진행 방향의 변화를 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  10. 조감도 이미지 생성부에 의하여, 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성되는 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 이전 조감도 이미지를 생성하는 단계;
    이동 정보 추출부에 의하여, 상기 차량에 위치한 휠 펄스 센서를 통하여 상기 차량의 휠 회전량에 대응하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 상기 차량의 이동 정보를 추출하는 단계;
    이동 영역 조감도 이미지 생성부에 의하여, 상기 이전 조감도 이미지를 상기 이동 정보에 대응함으로써, 상기 차량이 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계; 및
    합성 조감도 이미지 생성부에 의하여, 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지를 상기 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  11. 청구항 10에 있어서,
    상기 이동 정보를 추출하는 단계는,
    상기 좌측 바퀴에 대한 휠 펄스와, 상기 우측 바퀴에 대한 휠 펄스의 평균을 기반으로 상기 차량의 이동 거리를 추출하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  12. 청구항 11에 있어서,
    상기 이동 정보를 추출하는 단계는,
    상기 좌측 바퀴 및 우측 바퀴 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  13. 청구항 12에 있어서,
    상기 이동 정보를 추출하는 단계는,
    상기 회전 반경을 추출하는 단계에서 추출된 회전 반경 및 상기 이동 거리를 추출하는 단계에서 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  14. 청구항 11에 있어서,
    상기 이동 정보를 추출하는 단계는,
    상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 스티어링 회전 각도를 감지하고, 상기 스티어링 회전 각도를 기반으로, 상기 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 산출함으로써 상기 차량의 회전 반경을 추출하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  15. 청구항 14에 있어서,
    상기 이동 정보를 추출하는 단계는,
    상기 회전 반경을 추출하는 단계에서 추출된 회전 반경 및 상기 이동 거리를 추출하는 단계에서 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  16. 청구항 10에 있어서,
    상기 이전 조감도 이미지를 생성하는 단계 이후에,
    상기 차량의 기어 상태를 확인하여 상기 차량이 후진 상태일 경우에 상기 차량의 이동 정보를 추출하도록 명령하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  17. 청구항 16에 있어서,
    상기 명령하는 단계는,
    상기 차량의 기어 상태가 중립인 경우에 있어서,
    상기 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스의 패턴 변화를 분석하여, 상기 차량의 진행 방향의 변화를 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  18. 청구항 17에 있어서,
    상기 좌측 바퀴 및 우측 바퀴 상호 간의 반복되는 휠 펄스의 Rising Edge 또는 Falling Edge의 패턴의 변화를 분석함으로써 상기 차량의 진행 방향의 변화를 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
KR1020140040632A 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법 KR101670847B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020140040632A KR101670847B1 (ko) 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법
EP15772823.9A EP3128499A4 (en) 2014-04-04 2015-04-03 Apparatus and method for generating peripheral image of vehicle
MX2016012998A MX2016012998A (es) 2014-04-04 2015-04-03 Aparato y metodo para la generacion de una imagen periferica de un vehiculo.
CN201580026947.2A CN106463062A (zh) 2014-04-04 2015-04-03 车辆周边图像生成装置及方法
US15/277,017 US20170148136A1 (en) 2014-04-04 2015-04-03 Apparatus and method for generating peripheral image of vehicle
PCT/KR2015/003395 WO2015152692A1 (ko) 2014-04-04 2015-04-03 차량 주변 이미지 생성 장치 및 방법
JP2016560762A JP2017517174A (ja) 2014-04-04 2015-04-03 車両周辺イメージ生成装置および方法
BR112016023014A BR112016023014A2 (pt) 2014-04-04 2015-04-03 aparelho e método para geração de imagem periférica de veículo

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140040632A KR101670847B1 (ko) 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150116116A true KR20150116116A (ko) 2015-10-15
KR101670847B1 KR101670847B1 (ko) 2016-11-09

Family

ID=54240902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140040632A KR101670847B1 (ko) 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법

Country Status (8)

Country Link
US (1) US20170148136A1 (ko)
EP (1) EP3128499A4 (ko)
JP (1) JP2017517174A (ko)
KR (1) KR101670847B1 (ko)
CN (1) CN106463062A (ko)
BR (1) BR112016023014A2 (ko)
MX (1) MX2016012998A (ko)
WO (1) WO2015152692A1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170133747A (ko) * 2016-05-26 2017-12-06 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
KR20180001373A (ko) * 2016-06-27 2018-01-04 현대자동차주식회사 주차구획 표시 장치 및 그 방법
KR20180002388A (ko) 2016-06-29 2018-01-08 주식회사 와이즈오토모티브 카메라 이미지 선택 장치 및 방법
KR20180054212A (ko) 2016-11-15 2018-05-24 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
KR20180062820A (ko) 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
KR20180069380A (ko) * 2016-12-15 2018-06-25 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
KR20190117213A (ko) 2018-04-06 2019-10-16 주식회사 와이즈오토모티브 조감도 이미지 생성 장치 및 방법
KR20200102130A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 경로 생성 장치 및 방법
KR20200102127A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 경로 생성 장치 및 방법
KR20200102128A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 경로 생성 장치 및 방법
KR20200102129A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 보조 장치 및 방법
US20210247193A1 (en) * 2017-01-03 2021-08-12 Red Bend Ltd. Creation and use of enhanced maps

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
CN106846909B (zh) * 2017-02-24 2019-05-03 青岛智慧城市产业发展有限公司 智能马路防撞辅助系统
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP6429347B1 (ja) * 2018-05-18 2018-11-28 豊 川口 視界表示システムおよび移動体
KR102617540B1 (ko) * 2018-09-14 2023-12-26 에스엘 주식회사 조명 장치
CN111614931B (zh) * 2019-02-25 2023-04-07 上海博泰悦臻网络技术服务有限公司 车辆周边图像合成方法及系统
CN111614887B (zh) * 2019-02-25 2022-09-30 上海博泰悦臻网络技术服务有限公司 车辆周边图像合成方法及系统
US11140364B2 (en) * 2019-09-09 2021-10-05 Texas Instruments Incorporated Sensor fusion based perceptually enhanced surround view
DE102020101637A1 (de) * 2020-01-24 2021-07-29 Bayerische Motoren Werke Aktiengesellschaft Erzeugen einer Draufsicht auf ein Kraftfahrzeug
KR20210120384A (ko) 2020-03-26 2021-10-07 현대모비스 주식회사 충돌 거리 추정 장치 및 이를 이용한 주행 보조 시스템
CN113781300B (zh) * 2021-08-17 2023-10-13 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
JP2024010758A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 表示処理装置、表示処理方法、及び表示処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001187553A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
KR20120051547A (ko) * 2010-11-12 2012-05-22 현대자동차주식회사 후륜의 이동거리 차를 이용한 조향각 산출 장치 및 그 방법
KR20130073256A (ko) * 2011-12-23 2013-07-03 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0769181B2 (ja) * 1989-05-31 1995-07-26 日産自動車株式会社 車両用走行方位検出装置
JP3503204B2 (ja) * 1994-08-31 2004-03-02 株式会社デンソー 車両用現在位置検出装置
US6476730B2 (en) * 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
JP2002002423A (ja) * 2000-06-22 2002-01-09 Honda Motor Co Ltd 車両の走行安全装置
JP2002017789A (ja) * 2000-07-03 2002-01-22 Mitsuba Corp 電動アシスト車椅子の制御装置
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4071463B2 (ja) * 2001-07-16 2008-04-02 株式会社デンソー 車両周辺画像処理装置
PL373738A1 (en) * 2002-03-22 2005-09-05 Gpc Biotech Ag Immunosuppressant compounds, methods and uses related thereto
JP4154980B2 (ja) * 2002-09-30 2008-09-24 アイシン精機株式会社 移動体周辺監視装置
JP4310987B2 (ja) * 2002-09-30 2009-08-12 アイシン精機株式会社 移動体周辺監視装置
JP4207519B2 (ja) * 2002-09-30 2009-01-14 アイシン精機株式会社 移動体周辺監視装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4438499B2 (ja) * 2004-04-26 2010-03-24 株式会社豊田自動織機 旋回半径算出方法、該旋回半径算出方法を用いた操舵支援装置及び駐車支援装置、旋回半径算出プログラム及び記録媒体
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
JP5158207B2 (ja) * 2009-05-27 2013-03-06 トヨタ自動車株式会社 車両
JP5550891B2 (ja) * 2009-12-11 2014-07-16 Ｎｔｎ株式会社 電動車両の制御装置および制御方法
WO2011145141A1 (ja) * 2010-05-19 2011-11-24 三菱電機株式会社 車両後方監視装置
JP5617513B2 (ja) * 2010-10-13 2014-11-05 株式会社エクォス・リサーチ 走行制御装置
DE102011077555A1 (de) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
JP5477369B2 (ja) * 2011-12-27 2014-04-23 株式会社デンソー 車輪位置検出装置およびそれを備えたタイヤ空気圧検出装置
JP5983156B2 (ja) * 2012-07-31 2016-08-31 マツダ株式会社 車両の誤発進抑制装置
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP2001187553A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置
KR20120051547A (ko) * 2010-11-12 2012-05-22 현대자동차주식회사 후륜의 이동거리 차를 이용한 조향각 산출 장치 및 그 방법
KR20130073256A (ko) * 2011-12-23 2013-07-03 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170133747A (ko) * 2016-05-26 2017-12-06 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
KR20180001373A (ko) * 2016-06-27 2018-01-04 현대자동차주식회사 주차구획 표시 장치 및 그 방법
CN107545775A (zh) * 2016-06-27 2018-01-05 现代自动车株式会社 用于显示停车区域的装置和方法
US9870709B1 (en) 2016-06-27 2018-01-16 Hyundai Motor Company Apparatus and method for displaying parking zone
KR20180002388A (ko) 2016-06-29 2018-01-08 주식회사 와이즈오토모티브 카메라 이미지 선택 장치 및 방법
KR20180054212A (ko) 2016-11-15 2018-05-24 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
KR20180062820A (ko) 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
KR20180069380A (ko) * 2016-12-15 2018-06-25 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
US20210247193A1 (en) * 2017-01-03 2021-08-12 Red Bend Ltd. Creation and use of enhanced maps
US11959771B2 (en) * 2017-01-03 2024-04-16 Red Bend Ltd. Creation and use of enhanced maps
KR20190117213A (ko) 2018-04-06 2019-10-16 주식회사 와이즈오토모티브 조감도 이미지 생성 장치 및 방법
KR20200102130A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 경로 생성 장치 및 방법
KR20200102127A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 경로 생성 장치 및 방법
KR20200102128A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 경로 생성 장치 및 방법
KR20200102129A (ko) 2019-02-21 2020-08-31 주식회사 와이즈오토모티브 주차 보조 장치 및 방법

Also Published As

Publication number Publication date
WO2015152692A1 (ko) 2015-10-08
KR101670847B1 (ko) 2016-11-09
CN106463062A (zh) 2017-02-22
BR112016023014A2 (pt) 2017-10-10
MX2016012998A (es) 2017-01-20
EP3128499A4 (en) 2017-04-12
EP3128499A1 (en) 2017-02-08
JP2017517174A (ja) 2017-06-22
US20170148136A1 (en) 2017-05-25

Similar Documents

Publication Publication Date Title
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
EP3140725B1 (en) Dynamic camera view to aid with trailer attachment
EP2963922B1 (en) Program and device for controlling vehicle
EP2981077B1 (en) Periphery monitoring device and program
JP5190712B2 (ja) 障害物検出装置
US10179608B2 (en) Parking assist device
JP2009083764A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2012066709A (ja) 駐車支援装置
JP4192680B2 (ja) 移動体周辺監視装置
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2012076551A (ja) 駐車支援装置、駐車支援方法、及び、駐車支援システム
JP2010163103A (ja) 駐車支援装置および駐車支援システム
JP2004120661A (ja) 移動体周辺監視装置
JP2021154969A (ja) 障害物検知装置、障害物検知方法、および、プログラム
KR101558586B1 (ko) 차량 주위 영상 표시장치 및 방법
JP2009140305A (ja) 車両用情報提示装置
JP4932293B2 (ja) 障害物認識装置
JP2022023870A (ja) 表示制御装置
JP5083142B2 (ja) 車両周辺監視装置
CN110546047A (zh) 停车辅助装置
JP4207519B2 (ja) 移動体周辺監視装置
US10189501B2 (en) Parking assist apparatus and parking assist method
US11205081B2 (en) Arithmetic apparatus
JP4999748B2 (ja) サイドミラー装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191023

Year of fee payment: 4