KR100550299B1 - 차량 주변 이미지 처리 장치 및 기록 매체 - Google Patents

차량 주변 이미지 처리 장치 및 기록 매체 Download PDF

Info

Publication number
KR100550299B1
KR100550299B1 KR1020037002069A KR20037002069A KR100550299B1 KR 100550299 B1 KR100550299 B1 KR 100550299B1 KR 1020037002069 A KR1020037002069 A KR 1020037002069A KR 20037002069 A KR20037002069 A KR 20037002069A KR 100550299 B1 KR100550299 B1 KR 100550299B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
bird
eye view
view image
Prior art date
Application number
KR1020037002069A
Other languages
English (en)
Other versions
KR20030024857A (ko
Inventor
야나가와히로히코
이시카와데츠리
오기소하루히코
이마니시마사유키
Original Assignee
가부시키가이샤 덴소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 덴소 filed Critical 가부시키가이샤 덴소
Publication of KR20030024857A publication Critical patent/KR20030024857A/ko
Application granted granted Critical
Publication of KR100550299B1 publication Critical patent/KR100550299B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10—Automatic or semi-automatic parking aid systems

Abstract

본 발명은 차량의 뒤에 설치된 카메라의 시야를 벗어난 장면을 추정하여, 이 추정된 부분을 포함하는 차량의 후방 영역의 이미지를 묘사할 수 있는 차량 주변 이미지 처리 장치 및 기록 매체를 제공한다. 이미지 처리 유닛(5)은 먼저 촬영된 이미지를 좌표 변환하여 조감도 이미지를 생성한다. 시간적으로 연속된 2개의 조감도 이미지가 생성되어, 두 이미지의 일치 영역이 추출된다. 이 일치 영역을 기초로 하여, 카메라(1)의 현재 시야에서 벗어난 이동 영역이 추출된다. 그리고 나서, 일치 영역 및 이동 영역의 이미지가 모니터(3)상에 묘사된다. 이를 이용하여, 카메라(1)의 현재 시야를 벗어난 장면을 포함한 이미지를 묘사할 수 있다.
컴퓨터 시스템, 차량용 시스템, 이미지 처리, 카메라, 모니터, 기록 매체

Description

차량 주변 이미지 처리 장치 및 기록 매체{PERIPHERAL IMAGE PROCESSOR OF VEHICLE AND RECORDING MEDIUM}
본 발명은 예를 들면 차량 후방의 이미지를 획득하여 모니터상에 디스플레이하기 위한 차량 주변 이미지 처리 장치 및 기록 매체에 관한 것이다.
차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하는 디스플레이 장치가 알려져 있다. 이러한 디스플레이 장치에 따르면, 차량 후방의 상황을 어느 정도는 알 수 있지만, 모니터상에 디스플레이된 이미지에서 차량과 대상(예를 들면, 주차 공간의 표시)의 상대적인 위치를 알기 어려운 문제가 있었다.
이러한 디스플레이 장치와는 달리, 일본특허공보 H.10-211849호 에는, 후방 카메라에 의해 촬영된 이미지를 조감도 이미지로 변환하여, 이 조감도 이미지 내에 후방 카메라가 설치된 차량을 디스플레이하는 기술이 제안되어 있다. 이 기술의 경우에, 차량이 조감도 이미지내에 나타나기 때문에, 촬영된 이미지를 그대로 모니터상에 단순히 디스플레이하는 디스플레이 장치보다는, 이미지내에 디스플레이된 대상과 차량 사이의 위치 관계를 쉽게 이해할 수 있다. 그러나, 카메라의 현재 시야 밖의 대상은 디스플레이할 수 없는 문제점이 있었다.
따라서, 예를 들면, 차량이 주차 공간으로 후진하고 있을 때, 카메라 시야를 벗어난 주차 공간의 표시는 디스플레이될 수 없기 때문에, 종전과 같이, 차량을 주차 공간으로 후진 조작하는 것이 쉽지 않은 문제점이 있다.
이와 같은 문제점을 해결하기 위하여, 본 발명의 첫 번째 목적은, 예로 카메라의 시야를 벗어난 장면 부분을 추정하여 도시할 수 있는 차량 주변 이미지 처리 장치 및 기록 매체를 제공하는 것이다. 본 발명의 두 번째 목적은 예로 카메라의 시야를 벗어난 장면 부분을 추정하여 도시할 수 있고, 또한 이에 수반되는 연산 처리의 부하를 경감시킬 수 있는 차량 주변 이미지 처리 장치 및 기록 매체를 제공하는 것이다.
전술한 첫 번째 목적을 달성하기 위하여, 본 발명의 제1 양태에 따르면, 차량 주변의 이미지를 촬영하기 위한 이미지 촬영 수단(예로, 카메라) 및 이미지를 디스플레이하기 위한 디스플레이 수단(예로, 모니터)을 구비한 차량에 적용되고, 상기 이미지 촬영 수단에 의해 촬영된 이미지를 처리하여, 상기 처리된 이미지를 상기 디스플레이 수단에 디스플레이하는 차량 주변 이미지 처리 장치에서, 상기 이미지 촬영 수단에 의해 촬영된 이미지는 상기 이미지 촬영 수단을 시점으로 투영된 지면 좌표계의 데이터로 변환된다. 그 결과, 이미지가 카메라에 의해 촬영된 것과 같이 왜곡되지 않고, 하늘에서 지면위를 바라보는 것과 같은 조감도 이미지로 쉽게 이해될 수 있다. 다음으로, 이와 같이 생성된 제1 조감도 이미지와 그후에 생성된 제2 조감도 이미지를 비교하여, 일치 영역 및 불일치 영역을 판별한다. 이러한 영역 판별에 의해 판별된 불일치 영역을 상기 제2 조감도 이미지에 추가하여, 합성 이미지를 작성하고, 이 합성 이미지를 상기 디스플레이 수단에 디스플레이할 수 있도록 처리하여, 상기 디스플레이 수단에 디스플레이한다.
즉, 차량이 이동함에 따라, 예를 들면, 카메라의 시야가 (서로 상이한 시간에 촬영된) 제1 조감도 이미지와 제2 조감도 이미지에서 변하기 때문에, 이들 이미지 사이에 서로 다른 불일치 영역(제1 조감도 이미지에는 디스플레이되지만 제2 조감도 이미지에서는 보이지 않는 부분)이 발생한다.
본 발명의 제1 양태에서는, 상기 제1 조감도 이미지와 제2 조감도 이미지 사이의 이미지 차가 검출되어, 이 차 부분(이전에 디스플레이된 부분)의 이미지가 제2 조감도 이미지에 추가되어, 차량 주변 상황이 보다 명확하게 이해될 수 있다. 이 방식으로, 본 발명의 제1 양태에서는, 카메라의 현재 시야에서 벗어난 영역이 디스플레이될 수 있기 때문에, 예를 들면, 주차 공간으로 후진할 때, 차량의 조작이 훨씬 쉬워지는 효과가 있다.
상기 이미지 촬영 수단에 의해 촬영된 이미지는, 예를 들면, 차량의 뒤에 설치된 카메라에 의해 촬영된 차량 후방의 이미지일 수 있다. 이 경우에, 예로, 차량이 주차 공간으로 후진할 때에, 주차 공간 표시와 차량 사이의 위치 관계를 잘 알 수 있기 때문에, 주차를 쉽게 할 수 있는 효과가 있다. 또한, 차량의 옆쪽 영역이 상기 이미지 촬영 수단에 의해 촬영될 수 있는 경우, 후진하여 옆으로 이동할 때에, 측면 상황을 잘 알 수 있기 때문에, 측면 이동을 쉽게 행할 수 있다. 또한, 차량 후방 뿐만 아니라, 상기 이미지 촬영 수단에 의해 촬영될 수 있는 이미지의 다른 예는 차량의 전방 영역이다. 이 경우에, 차량의 옆쪽 영역의 이미지가 역시 촬영될 수 있는 경우, 전진하면서 옆으로 이동할 때에, 측면 상황을 잘 알 수 있기 때문에, 측면 이동을 쉽게 행할 수 있다.
상기 조감도 이미지 생성 수단은 조감도 이미지를 생성할 때에, 차선 표시(예를 들면 주차 공간 표시)을 보여주는 이미지를 추출할 수 있다. 즉, 조감도 이미지가 생성될 때, 촬영된 이미지 전체가 조감도 이미지로 변환될 수 있지만, 대안적으로, 예를 들면, 2진화 처리에 의해, (예로, 흰선으로 표시된) 차선만이 추출되어 디스플레이될 수 있다. 이 경우에는, 단지 차선만이 처리될 필요가 있기 때문에, 이미지 처리 부하가 경감되는 효과가 있다. 예를 들면, 차량을 차선이 표시된 주차 공간에 주차할 때에, 주차 공간의 위치만이 인식될 필요가 있고, 이미지내에 다른 것들이 있을 경우에는, 이것이 이미지를 보다 덜 명확하게 만들 수 있기 때문에, 차선 표시만을 추출하는 것은 차량 조작을 보다 쉽게 만드는 장점이 있다.
상기 제1 조감도 이미지와 상기 제2 조감도 이미지는 시간적으로 연속된 조감도 이미지이다. 이 경우에, 상기 제1 조감도 이미지와 제2 조감도 이미지 사이의 차가 근소하기 때문에, 일치 영역 및 불일치 영역의 검출이 쉽다. 이것은 또한, 불일치 영역이 제2 조감도 이미지에 추가되는 경우, 그 이미지들 사이의 접합부에서의 부조화가 없도록 보장하기 때문에 바람직하다.
상기 디스플레이 처리 수단은 상기 합성 이미지의 이미지 데이터를 디스플레이하기 위해 좌표 변환을 수행하는 것이 바람직하다. 즉, 예를 들어, 모니터상에 상기 조감도 이미지를 디스플레이하기 위해서는, 크기 등의 조정이 필요하기 때문에, 모니터상에 최적으로 디스플레이될 수 있도록 필요한 처리가 수행되어야 한다.
또한, 상기 합성 이미지를 이후에 촬영되어 생성된 제3 조감도 이미지와 비교하여, 불일치 영역을 판별하고, 상기 불일치 영역을 상기 합성 이미지에 추가하여 새로운 합성 이미지를 작성한다. 이 방식으로, 이동된 조감도 이미지를 적절히 추가함으로써, 이미지를 연속적으로 합성할 수 있고, 이로써, 차량 주변의 상황이 보다 명확하게 이해될 수 있다.
본 발명의 두 번째 목적을 달성하기 위하여, 본 발명의 제2 양태에 따르면, 차량 주변의 이미지를 촬영하기 위한 이미지 촬영 수단 및 이미지를 디스플레이하기 위한 디스플레이 수단을 구비한 차량에 적용되고, 상기 이미지 촬영 수단에 의해 촬영된 이미지를 처리하여, 상기 처리된 이미지를 상기 디스플레이 수단에 디스플레이하는 차량 주변 이미지 처리 장치에서, 상기 이미지 촬영 수단에 의해 촬영된 이미지가 상기 이미지 촬영 수단을 시점으로 투영된 지면 좌표계의 데이터로 변환되어, 연속된 조감도 이미지의 이미지 데이터를 생성한다. 즉, 제1 조감도 이미지와 그 이후의 제2 조감도 이미지의 이미지 데이터가 생성된다. 그 결과, 이미지가 카메라에 의해 촬영된 것과 같이 왜곡되지 않고, 하늘에서 지면위를 내려다보는 것과 같은 조감도 이미지로 쉽게 이해될 수 있다.
또한, 본 발명의 제2 양태에서는, 상기 차량으로부터 획득된 차량 신호(예 로, 차량 속도 신호)를 기초로 하여 차량의 이동량이 검출된다. 검출된 차량 이동량은 제1 조감도 이미지가 이동한 양과 대응하기 때문에, 상기 제1 조감도 이미지를 상기 차량 이동량에 대응하여 이동시킴으로써 이동된 조감도 이미지의 이미지 데이터가 생성된다.
그리고 나서, 상기 제1 조감도 이미지 이후에 촬영되어 생성된 제2 조감도 이미지를 상기 이동된 조감도 이미지와 합성하여, 상기 디스플레이 수단에 디스플레이될 합성 조감도 이미지의 이미지 데이터를 생성한다. 즉, 차량이 이동함에 따라, 예를 들면, 카메라의 시야가 (서로 상이한 시간에 촬영된) 제1 조감도 이미지와 제2 조감도 이미지에서 변하기 때문에, 이들 이미지 사이에 차(촬영된 부분에서의 차)가 발생한다. 따라서, 본 발명의 제2 양태에서는, 상기 제2 조감도 이미지에 이 차 부분(즉, 이전에는 시야 내에 있었지만, 현재 시야에는 없는 부분)에 대응하는 이동된 조감도 이미지를 적절히 추가함으로써, 카메라의 시야에서 벗어난 부분이 모니터상에 디스플레이되어, 이로써, 차량 주변 상황을 명확하게 알 수 있다. 이 방식으로, 본 발명의 제2 양태에서는, 카메라의 시야에서 벗어난 부분이 디스플레이될 수 있기 때문에, 차량을 후진으로 주차하는 경우에, 그 조작을 훨씬 쉽게 할 수 있는 효과가 있다.
특히, 본 발명의 제2 양태에서는, 상기 이동된 조감도 이미지가, 시간에 따른 이미지의 변화로부터 차량의 이동을 계산하는 것 대신에, 차량 신호를 이용하여 상기 이동된 조감도 이미지가 생성되기 때문에, 이미지 처리를 위한 연산이 간소화될 수 있는 장점이 있다. 따라서, 마이크로컴퓨터 등의 부하가 경감되기 때문에, 장치들의 처리 속도가 전체적으로 향상될 수 있다. 그리고, 보다 적은 처리 용량을 가진 마이크로 컴퓨터에 의해 처리가 수행될 수 있기 때문에, 비용 절감에도 기여할 수 있다.
상기 합성 조감도 이미지는, 상기 이동된 조감도 이미지가 상기 제2 조감도 이미지를 디스플레이한 디스플레이 영역에 추가된 이미지일 수 있다. 이것은 합성 조감도 이미지를 형성하기 위한 방법의 일례이고, 이 방법을 이용하여 차량 주변의 이미지를 연속적으로 디스플레이할 수 있다. 즉, 전술된 바와 같이, 모니터에서 이동된 조감도 이미지로 사라질 이전 이미지를 제2 조감도 이미지가 디스플레이되는 영역에 추가함으로써, 카메라에 의해 현재 촬영되는 이미지가 제2 조감도 이미지로 모니터상에 디스플레이될 수 있기 때문에, 카메라의 시야를 벗어난 이전의 주변 영역의 상황도 역시 모니터상에 디스플레이할 수 있다.
상기 합성 조감도 이미지를 생성하는데 사용되는 상기 제2 조감도 이미지로서 가장 최근의 조감도 이미지가 사용될 수 있다. 카메라 등에 의해 새로 촬영된 최근 조감도 이미지가 제2 조감도 이미지로 사용되는 경우, 차량의 주변 상황이 보다 확실하게 이해될 수 있다.
상기 조감도 이미지 생성 수단에 의해 생성된 조감도 이미지는 메모리 A에 저장될 수 있고, 상기 합성 조감도 이미지 생성 수단에 의해 생성된 합성 조감도 이미지는 메모리 B에 저장될 수 있다. 이것은 상이한 조감도 이미지를 저장하기 위한 메모리의 일례이다. 그리고, 상기 메모리 B에 저장된 합성 조감도 이미지가 상기 디스플레이 수단에 디스플레이되는 것이 바람직하다. 이 방식으로, 상기 합성 조감도 이미지를 모니터 등에 디스플레이할 수 있다.
전술된 본 발명의 제1 및 제2 양태에서, 상기 합성 이미지가 상기 디스플레이 수단에 디스플레이될 때에, 차량의 이미지가 추가될 수 있다. 차량의 주변 상황을 보여주는 합성 이미지가 이와 같이 추가된 차량을 보여주는 이미지와 함께 디스플레이되는 경우, 차량과 예를 들면 주차 공간 표시 사이의 위치 관계가 보다 명확해지기 때문에, 차량의 조작이 쉬워진다. 예로, 카메라는 차량의 소정 위치에 고정되기 때문에, 모니터의 스크린상에 차량의 위치는 항상 동일하다. 따라서, 차량이 모니터 스크린상의 고정 위치에 보여질 수 있고, 차량이 미리 프린팅 등에 의해 모니터의 스크린상에 표시될 수도 있다. 그리고, 카메라의 시야 각도 또한 대개 일정하기 때문에, 차량 뿐만 아니라 카메라의 시야 각도(그것의 좌-우 범위)도 모니터의 스크린상에 디스플레이될 수 있다.
전술된 차량 주변 이미지 처리 장치의 처리를 실행하기 위한 수단이 프로그램으로 기록 매체에 저장될 수 있다. 이 기록 매체는 각종 기록 매체 중 하나일 수 있고, 예를 들면, 마이크로컴퓨터로 구성된 전자 제어 장치, 마이크로칩, 플로피 디스크, 하드 디스크 또는 광 디스크 등이 될 수 있다.
도1은 본 발명의 제1 실시예에 따른 차량 주변 이미지 처리 장치의 주요 부분을 도시한 개략도.
도2는 상기 제1 실시예에 따른 차량 주변 이미지 처리 장치의 전기적 구성을 도시한 블록도.
도3a 내지 도3c는 상기 제1 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 처리 절차를 도시한 도면.
도4는 상기 제1 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면.
도5a 내지 도5c는 상기 제1 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 처리 절차를 도시한 도면.
도6a 및 도6b는 상기 제1 실시예에 따른 차량 주변 이미지 처리 장치에서 이미지 이동량을 획득하는데 사용되는 절차를 도시한 도면.
도7은 상기 제1 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 처리 흐름도.
도8은 본 발명의 제2 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 처리 흐름도.
도9는 본 발명의 제3 실시예에 따른 차량 주변 이미지 처리 장치의 주요 부분을 도시한 개략도.
도10은 상기 제3 실시예에 따른 차량 주변 이미지 처리 장치의 전기적 구성을 도시한 도면.
도11a 및 도11b는 상기 제3 실시예에 따른 차량 주변 이미지 처리 장치에 의해 사용되는 이미지를 도시한 도면으로서, 도11a는 카메라에 의해 촬영된 이미지를 도시한 도면이고, 도11b는 조감도 이미지를 도시한 도면.
도12는 상기 제3 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면.
도13은 상기 제3 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 처리 흐름도.
도14는 상기 제3 실시예에 따른 차량 주변 이미지 처리 장치에 의해 수행되는 이미지 합성 절차를 도시한 도면.
도15a 내지 도15c는 상기 제3 실시예에 따른 차량 주변 이미지 처리 장치에 의해 모니터상에 디스플레이된 이미지를 도시한 도면.
이제, 본 발명에 따른 차량 주변 이미지 처리 장치와 기록 매체의 실시예들이 설명될 것이다.
(제1 실시예)
본 실시예의 기본 시스템 구성이 도1 및 도2를 이용하여 설명된다.
도1에 도시된 바와 같이, 본 실시예의 차량 주변 이미지 처리 장치는 차량의 뒤쪽에 설치된 카메라(예로, CCD 카메라)(1), 계기판에 설치된 차량내 모니터(예로, 액정 디스플레이)(3), 및 이미지 처리를 수행하기 위한 이미지 처리 유닛(5)을 포함한다.
도2에 도시된 바와 같이, 상기 이미지 처리 유닛(5)은 주요 부분으로서 마이크로컴퓨터를 포함한, 이미지 데이터의 처리를 수행하기 위한 전자 장치이고, 기능 적으로는, 카메라(1)에 의해 촬영된 이미지 데이터에 대한 좌표 변환을 수행하여 조감도 이미지를 생성하는 좌표 변환부(11); 시간적으로 연속된 2개의 조감도 이미지를 획득하여 이들의 비교를 수행하는 매칭부(13); 상기 2개의 조감도 이미지의 불일치 부분으로부터 상기 카메라(1)의 시야를 벗어난 영역을 추정하기 위한 영역 추정부(15); 및 상기 모니터(3)상에 디스플레이될 이미지를 묘사하기 위한 묘사부(17)를 포함한다. 상기 이미지 처리 유닛(5)은 카메라(1)와 일체로 구성될 수 있다.
이제, 도3a 내지 도5c를 참조하여 본 실시예의 이미지 처리 절차가 설명된다. 여기서는, 차량을 주차 공간으로 후진하는 경우를 일례로 설명할 것이다.
카메라(1)로부터 출력된 이미지(출력 이미지)가 도3a의 좌측에 도시되어 있다. 이 이미지는 카메라(1)에 의해 촬영된, 지면에 그려진 주차 공간의 표시와 주차 공간 주변의 이미지이이다. 카메라(1)가 차량 뒤의 상부에 설치되어 있기 때문에, 실제 직사각형 주차 공간 표시는, 차량(및 이에 따른 카메라(1))과 주차 공간 표시 라인의 위치 사이의 거리 등에 따라 왜곡되어 디스플레이된다.
다음으로, 후술되는 바와 같이, 도3a의 좌측의 이미지가 변환되어, 조감도 이미지를 생성하고, 그후, 이 조감도 이미지에 차량의 위치 및 카메라(1)의 시야 각도를 보여주는 이미지가 추가되어, 합성 이미지를 생성하게 되고, 이 합성 이미지가 도3a의 우측에 도시된 것과 같이 모니터(3)의 스크린상에 디스플레이된다. 즉, 카메라(1)가 설치된 위치, 그 설치 각도 및 시야 각도를 알고 있기 때문에, 카메라(1)의 출력 이미지가 좌표 변환부(11)에 의해 좌표 변환(주지된 조감도 변환) 되어, 도3a의 우측에 도시된 것과 같은 조감도 이미지가 획득될 수 있다.
카메라(1)에 의해 촬영된 이미지를 조감도 이미지로 변환하여 모니터(3)상에 디스플레이하기 위한 이러한 처리에 대해, 후술되는 바와 같이 관련된 기술이 사용될 수 있다(예로, 일본특허공보 H.10-211849호). 여기서, 통상의 투시 변환(perspective conversion)의 역처리를 수행함으로써, 지면상의 이미지(예로, 주차 공간 표시)의 위치가 조감도 이미지로 획득된다. 보다 상세하게는, 도4에 도시된 바와 같이, 지면상의 이미지의 위치 데이터가 카메라 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환이 실행된다.
상세히 말하면, 카메라(1)가 Z-축상의 포인트(R) (0, 0, H)에 위치되어, 내려다보는 각도(τ)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정하자. 따라서, 여기서는, 다음의 식(1)에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α, β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
Figure 112003004897061-pct00001

즉, 상기 식(1)을 이용함으로써, 투영된 영상을 (조감도 이미지를 보여주는) 모니터(3)의 스크린에 대한 이미지로 변환하여, 이를 모니터(3)상에 디스플레이할 수 있다.
다음으로, 도3b의 좌측 및 도3c의 좌측에 도시된 바와 같이, 차량이 주차 공간으로 후진할 때에, 차량 근처의 주차 공간 표시 부분은 카메라(1)의 시야에서 점차적으로 벗어나고, 이 때에, 매칭부(13)는 2개의 시간적으로 연속된 조감도 이미지를 획득하여 이를 비교한다.
연속적인 (이미지 A에서 이미지 B로 변하는) 조감도 이미지의 예들이 도5a 및 도5b에 도시되어 있다. 후술되는 바와 같이, 이미지 A와 이미지 B를 비교함으로써, 두 이미지에서 완전히 일치되는 영역(일치 영역)이 추출될 수 있다. 이미지 B에서는, 이미지 A의 경우에서 보다 차량이 주차 공간 표시에 더 가깝기 때문에, 주차 공간 표시의 일부가 잘려진다. 결과적으로, 영역 추정부(15)는, 일치되지 않는 이미지의 영역에서, 카메라(1)에 가까운 V-형태의 영역이 차량의 이동으로 인해 이미지가 이동된 영역으로 추정한다. 이미지 A의 이동 영역을 이미지 B와 합성함으로써, 도5c에 도시된 바와 같이, 카메라(1)의 시야 밖의 주차 공간 표시 부분도 디스플레이되는 합성 이미지를 만들 수 있다.
이미지 A와 이미지 B의 일치 영역을 추출하는 방법이 후술될 것이며, 여러 가지 공지된 방법이 이 이미지 처리에 적용될 수 있다. 예를 들면, 이미지 A 및 B의 (비교를 위한) 소정 영역이, 도6a 및 도6b에 도시된 바와 같이, 다수의 작은 영역(픽셀)으로 나누어질 수 있는데, 이미지 A와 B의 픽셀의 일치하는 정도가 가장 높은 것을 검출하고, 이미지 A와 B 사이의 위치 관계(즉, 이미지 A가 얼마나 멀리 이동하였는지)가 일치하는 픽셀의 위치 관계로부터 획득된다.
상세히 말하면, 도6a 및 도6b에 도시된 바와 같이, 예를 들면, 각 픽셀내의 도형의 밝기 레벨(또는 대안적으로 색채)이 숫자로 표현되는 경우를 고려하면, 이미지 A의 아래 3개의 행의 밝기와 이미지 B 의 위 3개의 행의 밝기가 일치한다. 따라서, 이 경우에, 이미지 A는, 도면의 수직 방향으로 픽셀의 1개 행의 폭만큼 이동시킴으로써, 이미지 B와 일치하는 것을 추측할 수 있다. 이 경우에, 차량이 도6a 및 도6b에서 아래쪽으로 이동한 결과로, 이미지 B 내의 도형이 위쪽으로 이동한 것을 볼 수 있다.
즉, 이미지 A와 이미지 B가 비교될 때에, 두 이미지는 작은 영역으로 나누어지고, 이미지가 이들 작은 영역의 대부분에서 일치하는 경우(일치하는 정도가 높은 경우), 그 일치 부분들이 동일한 이미지로 간주된다. 따라서, 이미지 A와 이미지 B에서 일치하는 부분이 시프트되면, 이미지가 이동한 것으로 인해 상이해 진다는 것이 추측될 수 있고, 그 이동의 양과 방향이 획득될 수도 있다. 유사하게, 좌-우 방향 및 대각선 방향으로의 이동량도 역시 획득될 수 있다.
이 합성 이미지가 도3b의 우측 및 도3c의 우측에 도시된 바와 같이 모니터(3)상에 디스플레이되면, 묘사부(17)가 이 합성 이미지를 묘사하고, 또한 차량의 위치 및 카메라(1)의 시야를 보여주는 이미지를 묘사한다. 이 경우에, 카메라(1)는 차량에 대해 변하지 않는 위치에 고정되기 때문에, 차량의 이미지 및 카메라(1)의 시야는 항상 모니터(3)의 스크린상의 동일한 위치(예로, 디스플레이 스크린의 중앙의 윗부분)에 디스플레이될 수 있다.
이제, 이미지 처리 유닛(5) 등에 의해 수행되는 처리가 도7의 흐름도를 참조하여 설명될 것이다.
도7에 도시된 바와 같이, 먼저, 단계(100)에서, 기어 시프트 위치가 후진(R)인지의 여부를 판정한다. 긍정 판정이 이루어진 경우, 단계(110)로 진행되고, 부정 판정이 이루어진 경우, 단계(170)로 진행된다. 시프트 위치는 시프트 위치 검출 센서(미도시)로부터의 신호 또는 다른 전자 제어 유닛으로부터의 신호에 기반하여 검출될 수 있다.
단계(170)에서, 이전에 묘사된 카메라의 시야 밖 영역의 이미지는 소거된다. 즉, 현재 카메라 이미지(조감도 이미지)만이 디스플레이되고, 단계(100)로 리턴된다.
한편, 단계(110)에서, 카메라(1)에 의해 촬영된 이미지의 좌표 변환(전술된 조감도 변환)이 수행되고, 조감도 이미지가 획득된다. 다음의 단계(120)에서, 2개의 연속된 조감도 이미지의 일치 영역이 추출된다. 예를 들면, 도5a 및 도5b의 이미지 A 및 이미지 B 로부터 일치 영역이 추출된다. 그리고, 다음 단계(130)에서, 카메라의 현재 시야 밖의 이동 영역이 추출된다.
단계(140)에서, 이미지 A 의 이동 영역은 이미지 B 내의 카메라 시야 밖에 이후에 묘사되는 것과는 달리, 그것이 묘사되기 전에, 이미 묘사된 이미지 B 는 이동 영역에 대응하는 양만큼 시프트되어(이미지 B 의 아래쪽), 이로써, 묘사 영역이 확보된다.
다음의 단계(150)에서는, 예를 들면, 도5c에 도시된 바와 같이, 이동 영역이 이전 단계(140)에서 확보된 묘사 영역에 묘사된다(합성 이미지가 생성된다). 다음 단계(160)에서는, 예를 들면, 도3c의 우측에 도시된 바와 같이, 차량과 시야 각도 를 보여주는 V-형 라인이 묘사되고, 본 처리과정이 종료된다.
바람직하게는, 합성 이미지가 이미 생성되어 저장된 경우, 그 합성 이미지와 최후 조감도 이미지를 비교하여, 불일치하는 영역을 판별하고, 이 불일치 영역이 저장된 합성 이미지에 추가되어 새로운 합성 이미지를 만든다. 이 방식으로, 각 이동후 조감도 이미지를 합성 이미지에 적절히 추가함으로써, 연속적인 이미지를 합성할 수 있고, 그 결과, 차량 주변의 상황을 보다 명확하게 알 수 있게 된다.
따라서, 본 실시예에서, 카메라에 의해 촬영된 이미지는 조감도 이미지로 변환되고, 시간적으로 연속된 조감도 이미지의 일치 영역이 추출되고, 2개의 조감도 이미지의 상이한 부분인 이동 영역이 추출된다. 그리고 나서, 이동 영역이 현재 이미지를 보여주는 조감도 이미지에 추가되어 합성 이미지가 생성되고, 합성 이미지가 모니터(3)의 스크린상에 디스플레이될 때에, 차량의 이미지와 카메라의 시야 각도가 추가된다. 즉, 본 실시예에서, 차량이 이동하면, 카메라의 시야를 벗어난 영역이 추정되어, 현재 카메라 이미지와 합성되고, 이로써, 일반적으로 디스플레이될 수 없었던 카메라 시야 밖에 있는 영역을 디스플레이할 수 있게 된다. 결과적으로, 주차 공간으로 후진하는 것과 같은 조작을 매우 쉽게 할 수 있는 효과가 있다.
(제2 실시예)
이제, 본 발명의 제2 실시예가 설명될 것이다. 그러나, 제1 실시예와 동일한 부분은 여기서 설명되지 않는다. 본 실시예에서는, 주차 공간 표시와 차량 스토퍼(stoppers) 등 만이 추출되어 묘사되고, 배경 이미지는 생략된다.
도8의 흐름도에 도시된 바와 같이, 단계(200)에서, 기어 위치가 후진(R)인지 의 여부를 판정한다. 긍정 판정이 이루어진 경우, 단계(210)로 진행되고, 부정 판정이 이루어진 경우, 단계(280)로 진행된다.
단계(280)에서, 이전에 묘사된 카메라의 시야 밖 영역의 이미지는 소거된다. 한편, 단계(210)에서는, 카메라에 의해 촬영된 이미지로부터 2진화 처리를 이용하여, 주차 공간 표시 및 차량 스토퍼 등의 이미지가 추출된다. 여기서, 주차 공간 표시 및 차량 스토퍼는 백색으로 페인팅되어, 흑색 아스팔트 지면으로부터 쉽게 구분될 수 있다고 가정된다.
다음의 단계(220)에서, 2진화된 이미지가 조감도 변환되어, 주차 공간 표시 및 차량 스토퍼의 조감도 이미지를 생성한다. 여기서, 배경은 단일 컬러로 이루어진다. 그리고 나서, 단계(230)에서, 2개의 연속된 조감도 이미지의 일치 영역이 추출된다. 그리고, 다음 단계(240)에서, 카메라(1)의 현재 시야 밖의 이동 영역이 추출된다.
다음 단계(250)에서는, 이동 영역의 이미지가 묘사되기 전에, 묘사된 이미지 B가 이동 영역의 양만큼 시프트되어(이미지 B의 아래쪽), 묘사 영역을 확보한다. 그리고 나서, 단계(260)에서는, 이동 영역의 이미지가 단계(250)에서 확보된 묘사 영역내에 묘사된다(합성 이미지가 생성된다). 단계(270)에서는, 차량과 시야 각도를 보여주는 V-형 라인이 묘사되고, 본 처리 과정이 종료된다.
이 실시예에서도 역시, 제1 실시예와 동일한 이익이 얻어진다. 또한, 이 실시예에서는, 전체 촬영 이미지가 조감도 이미지로 변환되어 디스플레이되는 것이 아니라, 예를 들면, 주차 공간 표시 및 차량 스토퍼와 같이 주차에 필요한 것들과, 차량 및 시야 각도만이 디스플레이된다. 그 결과, 이미지 처리 부하가 경감된다. 즉, 모니터(3)상에 디스플레이되는 이미지를 쉽게 볼 수 있게 되고, 이에 따라 차량 조작이 쉬워지는 장점이 있다.
(제3 실시예)
이제, 본 발명의 제3 실시예가 설명될 것이다. 먼저, 본 실시예의 기본적인 시스템 구성이 도9 및 도10을 참조하여 설명된다.
도9에 도시된 바와 같이, 본 실시예의 차량 주변 이미지 처리 장치는 차량의 뒤쪽에 설치된 카메라(예로, CCD 카메라)(21); 차량의 계기판에 설치된 차량내 모니터(예로, 액정 디스플레이)(23); 차량 속도를 검출하기 위한 차량 속도 센서(25); 요우 레이트(yaw rate)을 검출하기 위한 요우 레이트 센서(27); 및 이미지 처리를 수행하기 위한 이미지 처리 유닛(29)을 포함한다.
도10에 도시된 바와 같이, 상기 이미지 처리 유닛(29)은 주요 부분으로서 마이크로컴퓨터를 포함하는, 이미지 데이터의 처리를 수행하기 위한 전자 장치이고, 카메라(21)에 의해 촬영된 이미지 데이터의 좌표 변환을 수행하기 위한 좌표 변환부(조감도 이미지 변환 회로)(31); 생성된 조감도 이미지의 이미지 데이터를 일시적으로 저장하기 위한 이미지 메모리 A; 차량 속도 신호를 입력하기 위한 차량 속도 신호 입력 회로(33); 요우 레이트 신호를 입력하기 위한 요우 레이트 신호 입력 회로(35); 차량 속도 신호 및 요우 레이트 신호를 판독하여, 조감도 이미지를 이동(예로, 회전)시키는 것과 같은 연산을 수행하기 위한 CPU(37); 및 모니터(23)상에 디스플레이될 조감도 이미지 데이터를 저장하기 위한 이미지 메모리 B를 포함 한다.
여기서, 후술되는 바와 같이, 이미지 메모리 B에 저장되는 조감도 이미지의 이미지 데이터는, 이전 시간(예로, 시간 T)에 카메라(21)에 의해 촬영된 이미지 데이터를 기초로 하여 생성된 조감도 이미지(제1 조감도 이미지)를 이동시킴으로써 획득되는 이미지(이동된 조감도 이미지)를, 카메라(21)에 의해 새로(예로, 시간 T+1에) 촬영된 이미지 데이터를 기초로 하여 생성되는 조감도 이미지(제2 조감도 이미지)와 합성함으로써 만들어지는 조감도 이미지(합성된 조감도 이미지)의 이미지 데이터이다. 이미지 처리 유닛(29)은 카메라(21)와 일체로 구성될 수 있고, 이미지 처리 유닛(29)의 구성부들은 부분적 또는 전체적으로 LSI로 집적될 수 있다.
이제, 본 실시예에서의 이미지 처리 절차가 도11a, 도11b 및 도12를 참조하여 설명될 것이다. 여기서는, 차량을 주차 공간으로 후진시키는 경우를 일례로 설명할 것이다.
먼저, 카메라(21)로부터 입력된 이미지가 조감도 이미지로 변환되어, 이미지 메모리 A에 저장되는 절차가 설명된다. 카메라(21)로부터 출력된 미처리 이미지(출력 이미지)가 도11a에 도시되어 있다. 이 미처리 이미지는 카메라(21)에 의해 촬영된, 지면에 그려진 주차 공간의 표시와 그 주변의 이미지이이다. 카메라(21)가 차량 뒤쪽의 상부에 설치되어 있기 때문에, 실제 직사각형 주차 공간 표시가, 차량(및 이에 따른 카메라(21))과 주차 공간 표시 라인의 위치 사이의 거리 등에 따라 왜곡되어 디스플레이된다.
따라서, 제1 실시예에서 설명된 것과 동일한 방법을 이용하여, 미처리 이미 지의 이미지 데이터가 좌표 변환되어, 도11b에 도시된 바와 같이, 왜곡없는 조감도 이미지를 생하고, 이 조감도 이미지의 이미지 데이터는 이미지 메모리 A에 저장된다.
다음으로, 차량 속도 신호 및 요우 레이트 신호를 이용하여, 이미지 메모리 A에 저장된 조감도 이미지가 차량이 이동된 양에 대응하여 이동되는 절차가 설명된다. 도12에서, 시간 T에서의 차량의 위치가 도시되어 있고, 여기서, 차량이 시간 T+1에 차량이 이동한 거리를 L로 표시하였고, 차량이 이동한 각도를
Figure 112003004897061-pct00002
(= 회전 중심에서의 회전각도
Figure 112003004897061-pct00003
)으로 표시하였다.
먼저, 카메라(21)가 샘플링 시간이 100 [ms]인 경우, 차량 속도 신호로부터 획득된 차량 속도 S [km/h]를 이용하여, 차량이 이동한 거리 L [m]는 다음의 식(2)로부터 산출될 수 있다.
Figure 112003004897061-pct00004

그리고, 도12에 도시된 도형의 관계가 있기 때문에, 요우 레이트 신호에 의해 획득된 요우 레이트
Figure 112003004897061-pct00005
[°/s]를 이용하여, 차량이 이동한 각도가 다음의 식(3)으로부터 산출될 수 있다.
Figure 112003004897061-pct00006

또한, 여기서, 차량의 회전 중심이 후륜축의 연장선상에 있는 것으로 가정되기 때문에, 차량의 진행 방향을 Y로, 이에 대한 직각 방향이 X로 표시한 경우, 카메라 위치를 X-방향 원점으로 산출하면, X-방향의 회전 중심 위치 XC [m]는 다음의 식(4)으로부터 산출될 수 있다.
Figure 112003004897061-pct00007

한편, Y-방향의 회전 중심 위치는 후륜축에 있고, 카메라(21)로부터 후륜축까지의 거리는 YC [cm]이다. 그리고, 도12에 도시된 도형의 관계로부터, 회전 중심에서의 회전 각도
Figure 112003004897061-pct00008
는 차량이 이동하는 각도
Figure 112003004897061-pct00009
와 동일하다.
다음으로, 전술된 것과 같이 획득된 회전 중심 위치 (XC, YC) 및 회전 각도
Figure 112003004897061-pct00010
를 이용하여, 조감도 이미지가 다음과 같이 이동된다.
이미지 메모리 A에 저장된 조감도 이미지의 이미지 데이터는 또한 이미지 메모리 B에 일단 저장된다. 따라서, 이미지 메모리 B에 저장된 조감도 이미지의 이미지 데이터가 CPU(37)의 내부 메모리에 전송되고, 조감도 이미지가 회전 중심 위치 (XC, YC) 및 회전 각도
Figure 112003004897061-pct00011
를 이용하여 회전이동된다.
이 회전 이동을 수행하기 위한 변환 식이 아래의 식(5)에 나타나 있고, 이 식을 이용한 CPU(37)의 내부 처리에 의해, 회전 각도 θ를 통해 이동한 후에 관한 이동후 좌표(XB, YB)에 대하여, 이동전의 대응하는 점(XA, YA)이 산출되고, (XA, YA) 픽셀 값이 (XB, YB) 어드레스 메모리에 저장된다.
Figure 112003004897061-pct00012

여기서, (XA, XY)는 이동전 좌표이고, (XB, YB)는 이동후 좌표이고, θ는 회전 각도이다.
그리고 나서, 이미지 메모리 A에 저장된 조감도 이미지(시간 T에서의 제1 조감도 이미지)로부터, 모든 좌표에 대한 이러한 계산을 수행함으로써, 이동된 조감도 이미지(시간 T에서의 이동 조감도 이미지)가 생성된다. 그리고 이에 따라, 카메라(21)에 의해 새로 생성된 이미지를 기초로 하여 생성된 조감도 이미지, 즉, 현재 조감도 이미지(시간 T+1에서의 제2 조감도 이미지)가 이미지 메모리 A로부터 CPU(37)로 새로 전송된다.
따라서, CPU(37)에서, 제2 조감도 이미지는, 위치 관계가 시간 T에 대응하는 위치(이동 조감도 이미지와 오정렬된 이미지가 없는 위치)로 기록되고, 이동 조감도 이미지를 처리함으로써, 제2 조감도 이미지가 합성되어, 합성 조감도 이미지의 이미지 데이터가 생성되고, 이 이미지 데이터가 이미지 메모리 B에 저장된다.
합성 조감도 이미지의 생성시, 차량 및 카메라(21)의 시야 각도의 이미지가 추가되어, 이미지 메모리 B에 저장될 수 있고, 이 합성 조감도 이미지가 모니터(23)의 스크린상에 디스플레이될 수 있지만, 대안적으로, 차량의 위치 및 카메라(21)의 시야 각도의 이미지가 이미지 메모리 B에 저장되는 대신에, 이미지 메모리 B에 저장된 합성 조감도 이미지가 모니터(23)상에 묘사될 때에, 차량 및 카메라(21)의 시야 각도의 위치를 나타내는 이미지가 추가될 수 있다.
다음으로, 이미지 처리 유닛(29)에 의해 수행되는 처리 과정이 도13을 참고하여 설명될 것이다.
도13에 도시된 바와 같이, 단계(300)에서, 기어 시프트 위치가 후진인지의 여부가 판정된다. 긍정 판정이 이루어진 경우에는 단계(310)로 진행되고, 부정 판정이 이루어진 경우에는 단계(390)로 진행된다. 시프트 위치는 시프트 위치 검출 센서(미도시)로부터의 신호 또는 다른 전자 제어 유닛으로부터의 신호를 기초로 하여 검출될 수 있다.
단계(390)에서, 이전에 묘사된 카메라(21)의 시야 밖 영역의 이미지는 소거된다. 즉, 카메라(21)로부터의 현재 이미지만이 디스플레이된다. 그리고, 단계(300)로 리턴된다. 한편, 단계(310)에서, 카메라(21)에 의해 촬영된 이미지의 좌표 변환(조감도 이미지 변환)이 수행되고, 조감도 이미지가 생성된다.
단계(320)에서, 이 조감도 이미지가 이미지 메모리 A에 저장된다. 이 때에, 동일한 조감도 이미지가 이미지 메모리 B에도 저장된다. 단계(330)에서는, 차량 속도 신호 및 요우 레이트 신호를 기초로 하여, 이동 거리 L 및 회전 각도
Figure 112003004897061-pct00013
로 표현된 차량의 이동량이 획득된다.
다음의 단계(340)에서, 차량의 이동량을 기초로 하여, 이미지 메모리 B에 저장된 조감도 이미지(시간 T에서의 제1 조감도 이미지)가 이동되고, 이동후 조감도 이미지(시간 T에서의 이동 조감도 이미지)가 획득된다.
단계(350)에서, 새로 촬영되어 이미지 메모리 A에 저장된 제2 조감도 이미지(시간 T+1에서)가 이미지 메모리 A에서 판독된다. 그리고, 단계(360)에서, 이동된 조감도 이미지와 제2 조감도 이미지가 합성되어, 합성 조감도 이미지를 생성한다. 상세히 말하면, 도14에 도시된 바와 같이, 차량의 최종 이동에 의해 카메라의 시야에서 벗어난 부분, 즉, 차량의 이동량에 따라 제1 조감도 이미지를 이동시킴으로써 생성된 이동 조감도 이미지의 일부를 (제2 조감도 이미지에 대응하는) 카메라의 새로운 시야 밖에 기록함으로써, 합성 조감도 이미지가 합성된다(상세하게는, 제2 조감도 이미지와 오버랩되는 부분에서 벗어난 부분은 소거된다). 도14에서, 차량이 참고로 도시되어 있는데, 특히, 합성 조감도 이미지가 모니터의 스크린상에 묘사될 때에, 차량을 보여주는 프레임 등이 묘사된다.
다음의 단계(370)에서, 합성 조감도 이미지가 이미지 메모리 B에 저장된다. 단계(380)에서, 치량을 보여주는 이미지 및 시야 각도를 보여주는 이미지가 추가된다. 즉, 이미지 메모리 B에 저장된 합성 조감도 이미지가 모니터(23)상에 디스플레이되고, 본 처리과정이 종료된다.
이 방식으로, 본 실시예에서는, 카메라(21)에 의해 촬영된 이미지가 조감도 이미지로 변환되고, 차량이 이동된 양이 차량 신호를 기초로 하여 검출되며, 이 차량 이동량에 따라 조감도 이미지가 이동되어, 이동 조감도 이미지를 생성하게 된 다. 그리고 나서, 이동 조감도 이미지와 새로 읽어들인 조감도 이미지가 합성되어, 합성 조감도 이미지를 만들고, 이 합성 조감도 이미지가 모니터(23)의 스크린상에 디스플레이된다.
즉, 본 실시예에서, 차량이 이동할 때에, 카메라 시야를 벗어난 영역을 추정하여, 이를 현재 카메라 시야에 합성함으로써, 통상적으로 디스플레이될 수 없었던 카메라의 시야 밖의 부분들이 디스플레이될 수 있고, 이에 따라, 도15a, 도15b 및 도15c에 도시된 바와 같이, 차량과 주차 공간 사이의 위치 관계를 명확하게 알 수 있다. 그 결과, 주차 공간으로 후진하는 것과 같은 조작이 매우 쉬워지는 효과가 있다.
도15a, 도15b 및 도15c에서는, 주차 공간으로 후진하는 동안, 차량이 먼저 회전한 후에 직선으로 이동하는 경우에, 본 실시예의 방법에 의해 처리되는 모니터(23)의 디스플레이 화면이 순차적으로 도시되어 있다.
특히, 본 실시예에서는, 이동 조감도 이미지가, 예를 들면, 제1 및 제2 조감도 이미지 사이에 시간에 따른 이미지의 변화로부터 차량의 이동을 산출함으로써 생성되기보다는, 이동 조감도 이미지가 차량 속도 센서(25) 및 요우 레이트 센서(27)로부터 획득되는 차량 신호를 이용하여 생성되기 때문에, 이에 대한 연산 처리가 쉬운 장점이 있다. 즉, 많은 양의 연산을 필요로 하는 이미지 매칭과 같은 이미지 처리가 생략될 수 있기 때문에, 처리 부하가 경감되고, 필요한 이미지가 신속히 모니터상에 디스플레이될 수 있다.
따라서, 마이크로컴퓨터 등에 대한 부하가 경감되고, 장치들의 처리 속도가 전체적으로 증가될 수 있다. 또한, 그 처리가 보다 적은 처리 용량으로 마이크로컴퓨터에 의해 수행되기 때문에, 비용 절감에 기여할 수 있다.
본 발명은 전술된 실시예로 제한되지 않고, 본 발명의 범위에서 벗어나지 않는 한, 다양한 변형이 가능하다.
(1) 예를 들면, 제1 실시예에서, 주차 공간 표시 및 차량 스토퍼 등의 촬영 이미지가 단순히 좌표 변환되어 디스플레이되지 않고, 차량 조작을 위한 지침으로 제공되는 주차 공간 표시 및 차량 스토퍼의 이미지가 카메라에 의해 촬영된 이미지로부터 추출되고, 그 이미지내에서 주차 공간 표시 및 차량 스토퍼가 색채 및/또는 색조로 강조될 수 있다.
(2) 그리고, 제3 실시예에서, 전술된 처리과정에서는, 기어 시프트 위치가 후진(R)으로 검출된 경우에 그 처리가 시작되었지만, 대안적으로, 차량이 후진 후에 전진으로 전환할 때에도 수행될 수 있도록, 처리의 시작 및 진행이 차량 신호를 기초로 하여 선택적으로 결정될 수 있다. 예를 들면, 차량 속도가 10km/h 일 때에 처리가 시작될 수 있고, 치량 속도가 이 속도 아래로 유지되는 한, 조감도 이미지를 디스플레이하도록 처리가 실행될 수 있다. 이를 이용하여, 시프트 위치가 주차 동작 과정에서 변화되더라도, 조감도 이미지를 리셋하지 않고 계속 디스플레이할 수 있다.
(3) 또한, 본 발명의 다른 애플리케이션으로서, 차량의 전방 영역을 보여주는 카메라를 이용하여, 차량의 전방에서 카메라의 시야를 벗어난 영역을 포함한, 차체의 주변의 합성 조감도 이미지를 디스플레이할 수 있고, 이로써, 좁은 도로 등 을 통해 지나갈 수 있는지의 여부를 판단할 수 있는 정보를 제공할 수 있다.
(4) 그리고, 제1, 제2 및 제3 실시예에서는 차량 주변 이미지 처리 장치가 기재되어 있지만, 본 발명은 또한, 이러한 장치의 처리를 실행하기 위한 기록 수단이되는 기록 매체를 제공할 수 있다. 이 기록 매체는 여러 종류의 기록 매체 중 하나일 수 있고, 예를 들면, 마이크로컴퓨터로 구성된 전자 제어 장치, 마이크로칩, 플로피 디스크, 하드 디스크 및 광 디스크 등의 각종 기록 매체일 수 있다. 즉, 전술된 차량 주변 이미지 처리 장치의 처리과정을 실행할 수 있는 프로그램 등과 같은 수단이 기록되는 어떠한 기록 매체도 될 수 있다.
전술된 바와 같이, 본 발명에 따른 차량 주변 이미지 처리 장치 및 기록 매체는 카메라 시야에서 벗어난 부분을 추정한 추정 이미지를 포함하는, 차량 주변 이미지를 모니터상에 묘사할 수 있고, 이에 따라, 예를 들면, 주차와 같은 운전 동작을 돕기 위한 장치에서 매우 유용하게 사용될 수 있다.

Claims (15)

  1. 차량 주변의 이미지를 촬영하기 위한 이미지 촬영 수단, 및 이미지를 디스플레이하기 위한 디스플레이 수단을 구비한 차량에 적용되고, 상기 이미지 촬영 수단에 의해 촬영된 이미지를 처리하여, 상기 처리된 이미지를 상기 디스플레이 수단에 디스플레이하는 차량 주변 이미지 처리 장치에 있어서,
    상기 이미지 촬영 수단에 의해 촬영된 이미지를, 상기 이미지 촬영 수단을 시점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하기 위한 조감도 이미지 생성 수단;
    상기 조감도 이미지 생성 수단에 의해 생성된 제1 조감도 이미지와 그후에 촬영되어 생성된 제2 조감도 이미지를 비교하여, 일치 영역 및 불일치 영역을 판별하기 위한 영역 판별 수단;
    상기 영역 판별 수단에 의해 판별된 불일치 영역을 상기 제2 조감도 이미지에 추가함으로써 합성 이미지를 작성하기 위한 합성 이미지 작성 수단; 및
    상기 합성 이미지를 상기 디스플레이 수단에 디스플레이하기 위한 디스플레이 처리 수단
    을 포함하는 차량 주변 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 이미지 촬영 수단에 의해 촬영된 이미지는 차량 후방 영역의 이미지인
    차량 주변 이미지 처리 장치.
  3. 제1항에 있어서,
    상기 조감도 이미지 생성 수단은 차선 표시를 보여주는 이미지를 추출하여 상기 조감도 이미지를 생성하는
    차량 주변 이미지 처리 장치.
  4. 제1항에 있어서,
    상기 제1 조감도 이미지와 상기 제2 조감도 이미지는 시간적으로 연속된 조감도 이미지인
    차량 주변 이미지 처리 장치.
  5. 제1항에 있어서,
    상기 디스플레이 처리 수단은 상기 합성 이미지의 이미지 데이터를 상기 디스플레이 수단에 디스플레이하기 위해 좌표 변환을 수행하는
    차량 주변 이미지 처리 장치.
  6. 제1항에 있어서,
    상기 합성 이미지가 상기 디스플레이 수단에 디스플레이될 때에, 상기 차량을 보여주는 이미지가 상기 합성 이미지에 추가되는
    차량 주변 이미지 처리 장치.
  7. 제1항에 있어서,
    상기 영역 판별 수단은, 상기 합성 이미지 작성 수단에 의해 작성된 상기 합성 이미지와 그후에 촬영되어 생성된 제3 조감도 이미지를 비교하여, 일치 영역 및 불일치 영역을 판별하고, 상기 합성 이미지 작성 수단은 상기 판별된 불일치 영역을 상기 합성 이미지에 추가하여 합성 이미지를 작성하는
    차량 주변 이미지 처리 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 기재된 차량 주변 이미지 처리 장치의 처리를 실행하기 위한 수단을 저장하는
    기록 매체.
  9. 차량 주변의 이미지를 촬영하기 위한 이미지 촬영 수단, 및 이미지를 디스플레이하기 위한 디스플레이 수단을 구비한 차량에 적용되고, 상기 이미지 촬영 수단에 의해 촬영된 이미지를 처리하여, 상기 처리된 이미지를 상기 디스플레이 수단에 디스플레이하는 차량 주변 이미지 처리 장치에 있어서,
    상기 이미지 촬영 수단에 의해 촬영된 이미지를 기초로 하여 조감도 이미지를 생성하기 위한 조감도 이미지 생성 수단;
    상기 차량으로부터 획득된 차량 신호를 기초로 하여 차량의 이동량을 검출하기 위한 차량 이동량 검출 수단;
    상기 조감도 이미지 생성 수단에 의해 생성된 제1 조감도 이미지를, 상기 차량의 이동량에 대응하여 이동시킴으로써 이동된 조감도 이미지를 생성하는 조감도 이미지 이동 수단; 및
    상기 제1 조감도 이미지 이후에 촬영되어 생성된 제2 조감도 이미지를 상기 이동된 조감도 이미지와 합성함으로써, 상기 디스플레이 수단에 디스플레이될 합성 조감도 이미지를 생성하기 위한 합성 조감도 이미지 생성 수단
    을 포함하는 차량 주변 이미지 처리 장치.
  10. 제9항에 있어서,
    상기 합성 조감도 이미지는, 상기 이동된 조감도 이미지가 상기 제2 조감도 이미지를 디스플레이한 디스플레이 영역에 추가된 이미지인
    차량 주변 이미지 처리 장치.
  11. 제9항에 있어서,
    상기 합성 조감도 이미지를 생성하는데 사용되는 상기 제2 조감도 이미지로서 가장 최근의 조감도 이미지가 사용되는
    차량 주변 이미지 처리 장치.
  12. 제9항에 있어서,
    상기 조감도 이미지 생성 수단에 의해 생성된 조감도 이미지를 저장하기 위한 메모리 A; 및
    상기 합성 조감도 이미지 생성 수단에 의해 생성된 합성 조감도 이미지를 저장하기 위한 메모리 B
    를 더 포함하는 차량 주변 이미지 처리 장치.
  13. 제12항에 있어서,
    상기 메모리 B에 저장된 합성 조감도 이미지가 상기 디스플레이 수단에 디스 플레이되는
    차량 주변 이미지 처리 장치.
  14. 제9항에 있어서,
    상기 합성 조감도 이미지가 상기 디스플레이 수단에 디스플레이될 때에, 상기 차량을 보여주는 이미지가 상기 합성 조감도 이미지에 추가되는
    차량 주변 이미지 처리 장치.
  15. 제9항 내지 제14항 중 어느 한 항에 기재된 차량 주변 이미지 처리 장치의 처리를 실행하기 위한 수단을 저장하는
    기록 매체.
KR1020037002069A 2001-06-13 2002-03-15 차량 주변 이미지 처리 장치 및 기록 매체 KR100550299B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2001-00178776 2001-06-13
JP2001178776A JP4156214B2 (ja) 2001-06-13 2001-06-13 車両周辺画像処理装置及び記録媒体
PCT/JP2002/002525 WO2002104032A1 (fr) 2001-06-13 2002-03-15 Processeur d'images peripheriques pour vehicule et support d'enregistrement

Publications (2)

Publication Number Publication Date
KR20030024857A KR20030024857A (ko) 2003-03-26
KR100550299B1 true KR100550299B1 (ko) 2006-02-08

Family

ID=19019425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037002069A KR100550299B1 (ko) 2001-06-13 2002-03-15 차량 주변 이미지 처리 장치 및 기록 매체

Country Status (6)

Country Link
US (1) US7317813B2 (ko)
JP (1) JP4156214B2 (ko)
KR (1) KR100550299B1 (ko)
CN (1) CN1210958C (ko)
DE (1) DE10292327B4 (ko)
WO (1) WO2002104032A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854640A (zh) * 2012-12-05 2015-08-19 戴姆勒股份公司 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
KR20150123094A (ko) * 2014-04-24 2015-11-03 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729831B2 (en) 1999-07-30 2010-06-01 Oshkosh Corporation Concrete placement vehicle control system and method
US7107129B2 (en) 2002-02-28 2006-09-12 Oshkosh Truck Corporation Turret positioning system and method for a fire fighting vehicle
JP3575364B2 (ja) * 1999-12-28 2004-10-13 株式会社豊田自動織機 操舵支援装置
US7277782B2 (en) 2001-01-31 2007-10-02 Oshkosh Truck Corporation Control system and method for electric vehicle
US7392122B2 (en) 2002-06-13 2008-06-24 Oshkosh Truck Corporation Steering control system and method
US7412307B2 (en) * 2002-08-02 2008-08-12 Oshkosh Truck Corporation Refuse vehicle control system and method
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4724522B2 (ja) * 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP4809019B2 (ja) * 2005-08-31 2011-11-02 クラリオン株式会社 車両用障害物検出装置
TW200829466A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Advanced bird view visual system
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4661658B2 (ja) * 2006-03-30 2011-03-30 アイシン・エィ・ダブリュ株式会社 運転支援方法、運転支援装置及び運転支援プログラム
JP4321543B2 (ja) 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
CN101438590B (zh) * 2006-05-09 2011-07-13 日产自动车株式会社 车辆周围图像提供装置和车辆周围图像提供方法
JP5309442B2 (ja) 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4232794B2 (ja) * 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
CN101449194B (zh) * 2006-06-20 2012-06-13 数据逻辑扫描公司 具有多个像场的成像扫描仪
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
TW200829464A (en) * 2007-01-03 2008-07-16 Delta Electronics Inc Bird view visual system with fish eye improvement and method thereof
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
US9826200B2 (en) * 2007-04-30 2017-11-21 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP5088074B2 (ja) * 2007-10-01 2012-12-05 日産自動車株式会社 駐車支援装置及び方法
WO2009057410A1 (ja) * 2007-10-30 2009-05-07 Nec Corporation 路面標示画像処理装置，路面標示画像処理方法及びプログラム
US8678287B2 (en) * 2008-02-12 2014-03-25 Datalogic ADC, Inc. Two-plane optical code reader for acquisition of multiple views of an object
EP2248069B1 (en) 2008-02-12 2013-08-28 Datalogic ADC, Inc. Systems and methods for forming a composite image of multiple portions of an object from multiple perspectives
DE102008046214A1 (de) 2008-09-08 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102008046544A1 (de) 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US8322621B2 (en) 2008-12-26 2012-12-04 Datalogic ADC, Inc. Image-based code reader for acquisition of multiple views of an object and methods for employing same
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US8732592B2 (en) * 2009-06-08 2014-05-20 Battelle Energy Alliance, Llc Methods and systems relating to an augmented virtuality environment
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
WO2011047732A1 (en) * 2009-10-22 2011-04-28 Tele Atlas B.V. Method for identifying moving foreground objects in an orthorectified photographic image
US9230300B2 (en) 2009-10-22 2016-01-05 Tim Bekaert Method for creating a mosaic image using masks
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP2011257940A (ja) * 2010-06-08 2011-12-22 Panasonic Corp 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
CN101976429B (zh) * 2010-10-27 2012-11-14 南京大学 基于游弋图像的水面鸟瞰图成像方法
DE102010051206A1 (de) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
MY171030A (en) * 2011-09-12 2019-09-23 Nissan Motor Three-dimensional object detection device
EP2757781B1 (en) * 2011-09-13 2018-02-21 Toyota Jidosha Kabushiki Kaisha Optical axis ascertaining device for in-vehicle camera
EP2819090B1 (en) * 2012-02-23 2022-08-24 Nissan Motor Co., Ltd. Three-dimensional object detection device
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
JP6003226B2 (ja) 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5994437B2 (ja) * 2012-07-04 2016-09-21 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP2014089513A (ja) * 2012-10-29 2014-05-15 Denso Corp 画像生成装置、および画像生成プログラム
CN104871204B (zh) * 2012-11-27 2018-01-26 歌乐株式会社 车载图像处理装置
JP6024581B2 (ja) * 2013-04-15 2016-11-16 株式会社デンソー 車両用画像処理装置
DE102013010233B4 (de) * 2013-06-18 2018-08-30 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
US9845191B2 (en) 2013-08-02 2017-12-19 Oshkosh Corporation Ejector track for refuse vehicle
KR20150019192A (ko) * 2013-08-13 2015-02-25 현대모비스 주식회사 Avm 시스템을 위한 영상 합성 장치 및 그 방법
DE102013217699A1 (de) * 2013-09-05 2015-03-05 Robert Bosch Gmbh Verfahren zum Manövrieren eines Fahrzeuges
KR102175961B1 (ko) * 2013-11-29 2020-11-09 현대모비스 주식회사 차량 후방 주차 가이드 장치
KR101572065B1 (ko) * 2014-01-03 2015-11-25 현대모비스(주) 영상 왜곡 보정 방법 및 이를 위한 장치
JP6375633B2 (ja) * 2014-02-12 2018-08-22 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
US9825706B2 (en) 2014-02-28 2017-11-21 United Technologies Corporation Support system for fiber optic components in harsh environment machines
JP6326869B2 (ja) * 2014-03-05 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
DE102014204872B4 (de) 2014-03-17 2018-03-22 Volkswagen Aktiengesellschaft Verfahren und Anzeigesystem zum Anzeigen von Umgebungsinformationen eines Fahrzeugs
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR102176773B1 (ko) * 2014-06-11 2020-11-09 현대모비스 주식회사 자동차의 주차시스템
DE102014223941A1 (de) * 2014-11-25 2016-05-25 Robert Bosch Gmbh Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
JP6464846B2 (ja) 2015-03-17 2019-02-06 株式会社デンソー 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム
CN104811663B (zh) * 2015-04-17 2018-09-04 浙江吉利汽车研究院有限公司 车辆的图像处理方法及处理装置
JP6464952B2 (ja) * 2015-08-04 2019-02-06 株式会社デンソー 表示制御装置、表示制御プログラム及び表示制御方法
DE102015217258A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Fahrzeugumfeldes eines Fahrzeuges
JP6493143B2 (ja) 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
CN106608220B (zh) * 2015-10-22 2019-06-25 比亚迪股份有限公司 车辆底部影像的生成方法、装置和车辆
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
JP6561824B2 (ja) 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
JP6512145B2 (ja) * 2016-03-22 2019-05-15 株式会社デンソー 画像処理装置、画像処理方法、及びプログラム
CN105763854B (zh) * 2016-04-18 2019-01-08 扬州航盛科技有限公司 一种基于单目摄像头的全景成像系统及其成像方法
CN105898228B (zh) * 2016-04-29 2019-07-09 北京小米移动软件有限公司 用于摄像设备的控制方法及装置
GB2553143A (en) * 2016-08-26 2018-02-28 Jaguar Land Rover Ltd A Vehicle camera system
US10594934B2 (en) 2016-11-17 2020-03-17 Bendix Commercial Vehicle Systems Llc Vehicle display
KR101911926B1 (ko) * 2016-11-25 2019-01-03 주식회사 와이즈오토모티브 주차 보조 장치 및 방법
CN106846243A (zh) * 2016-12-26 2017-06-13 深圳中科龙智汽车科技有限公司 在设备移动过程中获得三维俯视全景图的方法及装置
CA3069112A1 (en) * 2017-07-07 2019-01-10 Nissan Motor Co., Ltd. Parking assistance method and parking assistance device
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display
JP6740991B2 (ja) 2017-11-10 2020-08-19 株式会社デンソー 表示処理装置
US20200349367A1 (en) * 2018-01-19 2020-11-05 Sony Corporation Image processing device, image processing method, and program
KR102103418B1 (ko) * 2018-04-06 2020-04-23 주식회사 와이즈오토모티브 조감도 이미지 생성 장치 및 방법
EP3832034B1 (en) * 2018-07-31 2023-08-23 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
DE102018214874B3 (de) 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
US10922881B2 (en) * 2018-11-02 2021-02-16 Star Global Expert Solutions Joint Stock Company Three dimensional/360 degree (3D/360°) real-time full information smart management integrated mapping system (SMIMS) and process of generating the same
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
EP3979632A1 (en) * 2020-10-05 2022-04-06 Continental Automotive GmbH Motor vehicle environment display system and method
CN114185450A (zh) * 2021-10-18 2022-03-15 北京鸿合爱学教育科技有限公司 鸟瞰图处理方法、装置及电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JP3475507B2 (ja) * 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JPH09193710A (ja) * 1996-01-24 1997-07-29 Matsushita Electric Ind Co Ltd カメラシステム表示装置
JP3711705B2 (ja) * 1996-10-15 2005-11-02 いすゞ自動車株式会社 車両後方視界支援装置
JP3663801B2 (ja) * 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
DE60003750T2 (de) 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
JP2001010432A (ja) * 1999-04-28 2001-01-16 Matsushita Electric Ind Co Ltd 駐車支援装置と駐車支援方法
JP3462812B2 (ja) * 1999-09-22 2003-11-05 富士重工業株式会社 車載カメラの電源制御方法ならびに装置
JP3479006B2 (ja) * 1999-09-22 2003-12-15 富士重工業株式会社 車載カメラの検査方法ならびに装置
JP3301421B2 (ja) * 1999-10-20 2002-07-15 松下電器産業株式会社 車両周囲状況提示装置
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854640A (zh) * 2012-12-05 2015-08-19 戴姆勒股份公司 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
KR20150123094A (ko) * 2014-04-24 2015-11-03 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법
KR102159353B1 (ko) * 2014-04-24 2020-09-23 현대모비스 주식회사 어라운드 뷰 시스템의 동작방법

Also Published As

Publication number Publication date
JP2002373327A (ja) 2002-12-26
CN1210958C (zh) 2005-07-13
US7317813B2 (en) 2008-01-08
DE10292327B4 (de) 2009-06-04
CN1473433A (zh) 2004-02-04
WO2002104032A1 (fr) 2002-12-27
JP4156214B2 (ja) 2008-09-24
DE10292327T5 (de) 2004-09-23
KR20030024857A (ko) 2003-03-26
US20030165255A1 (en) 2003-09-04

Similar Documents

Publication Publication Date Title
KR100550299B1 (ko) 차량 주변 이미지 처리 장치 및 기록 매체
JP4406381B2 (ja) 障害物検出装置及び方法
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
JP2020042831A (ja) 道路の垂直輪郭検出
CN101808236B (zh) 车辆周边显示设备
US20090021609A1 (en) Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
US20030060972A1 (en) Drive assist device
US20140071240A1 (en) Free space detection system and method for a vehicle using stereo vision
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP2012503817A (ja) 画像をぼかす方法及び構成
JP3778849B2 (ja) 車両周辺画像処理装置及び記録媒体
JP2004240480A (ja) 運転支援装置
JP2009053818A (ja) 画像処理装置及びその方法
JP3521859B2 (ja) 車両周辺画像処理装置及び記録媒体
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP2020068515A (ja) 画像処理装置
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP3796417B2 (ja) 車両周辺画像処理装置及び記録媒体
JP6152261B2 (ja) 車載用駐車枠認識装置
JP2006252577A (ja) 地図データ生成装置
JP3850271B2 (ja) 車両周辺画像処理装置及び記録媒体
JP3099692B2 (ja) 走行路における対象物の位置計測方法
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
JP2001341600A (ja) 駐車支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130117

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150123

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170120

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee