KR20090101480A - 차량용 주변 감시 장치 및 차량용 주변 감시 방법 - Google Patents

차량용 주변 감시 장치 및 차량용 주변 감시 방법

Info

Publication number
KR20090101480A
KR20090101480A KR1020097016438A KR20097016438A KR20090101480A KR 20090101480 A KR20090101480 A KR 20090101480A KR 1020097016438 A KR1020097016438 A KR 1020097016438A KR 20097016438 A KR20097016438 A KR 20097016438A KR 20090101480 A KR20090101480 A KR 20090101480A
Authority
KR
South Korea
Prior art keywords
imaging
vehicle
image
timing
information
Prior art date
Application number
KR1020097016438A
Other languages
English (en)
Other versions
KR101132099B1 (ko
Inventor
고오지 사또오
Original Assignee
도요타지도샤가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타지도샤가부시키가이샤 filed Critical 도요타지도샤가부시키가이샤
Publication of KR20090101480A publication Critical patent/KR20090101480A/ko
Application granted granted Critical
Publication of KR101132099B1 publication Critical patent/KR101132099B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

본 발명은, 2 이상의 촬상 수단의 촬상 타이밍의 비동기를 보상하여 정밀도가 높은 정보를 생성하는 것이다. 본 발명에 의한 차량용 주변 감시 장치는 차량의 외부를 제1 촬상 영역에서 소정 주기마다 촬상하는 제1 촬상 수단과, 상기 제1 촬상 영역의 적어도 일부와 중복되는 제2 촬상 영역에서, 차량의 외부를 소정 주기마다 촬상하는 제2 촬상 수단과, 상기 제1 및 제2 촬상 수단의 양쪽의 촬상 화상으로부터, 상기 제1 촬상 수단의 촬상 타이밍과 제2 촬상 수단의 촬상 타이밍 사이의 어긋남이 보정된 소정 정보를 생성하는 정보 생성 수단을 구비하는 것을 특징으로 한다.

Description

차량용 주변 감시 장치 및 차량용 주변 감시 방법 {VEHICLE ENVIRONMENT MONITORING DEVICE AND CAR ENVIRONMENT MONITORING METHOD}
본 발명은 2 이상의 촬상 수단을 사용하는 차량용 주변 감시 장치 및 차량용 주변 감시 방법에 관한 것이다.
종래부터, 차량의 측방에 배치되어 제1 화상을 촬상하는 제1 촬상 수단과, 상기 제1 촬상 수단보다도 전방에 배치되어 제2 화상을 촬상하는 제2 촬상 수단과, 상기 제1 화상 및 상기 제2 화상을 합성하여 표시하는 표시 수단을 구비하는 차량 주변 감시 장치가 알려져 있다(예를 들어, 특허문헌1 참조).
특허문헌1 : 일본공개특허 제2006-237969호 공보
도 1은 본 발명에 의한 차량용 주변 감시 장치의 제1 실시예를 나타내는 시스템 구성도이다.
도 2는 카메라(10)의 설치 형태 및 그 촬상 영역의 일례를 개략적으로 도시하는 평면도이다.
도 3은 디스플레이(20) 상에 표시되는 표시 화상의 일례를 개략적으로 도시하는 도면이다.
도 4는 각 카메라(10FR, 10SR)의 촬상 타이밍의 비동기에 기인한 물표의 촬상 위치의 상이를 도시하는 도면으로, 차량에 대한 물표의 상대적인 움직임을 모식적으로 도시하는 평면도이다.
도 5는 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍의 일례를 나타내는 도면이다.
도 6은 화상 처리 장치(30)에 의해 실현되는 비동기 보상 기능의 기본 처리의 흐름을 도시하는 흐름도이다.
도 7은 도 6의 비동기 보상 기능의 설명도이다.
도 8은 본 발명에 의한 차량용 주변 감시 장치의 제2 실시예를 나타내는 시스템 구성도이다.
도 9는 제2 실시예에 의한 카메라(40)의 설치 형태 및 그 촬상 영역의 일례를 나타내는 평면도이다.
도 10은 각 카메라(41, 42)의 촬상 타이밍의 일례를 나타내는 도면이다.
도 11은 화상 처리 장치(60)에 의해 실현되는 비동기 보상 기능의 기본 처리의 흐름을 도시하는 흐름도이다.
[부호의 설명]
10, 40 : 카메라
20 : 디스플레이
30, 60 : 화상 처리 장치
50 : 프리크러쉬ㆍECU
그러나, 상기한 특허 문헌 1에 기재된 차량 주변 감시 장치에 있어서, 제1 촬상 수단과 제2 촬상 수단의 촬상 타이밍이 동기하고 있지 않은 경우에는, 시간축 상에서 어긋난 2개의 화상을 합성해 버리게 되므로, 합성 화상의 정밀도 내지 신뢰성이 저하될 우려가 있다. 특히, 차량에 있어서는, 예를 들어 2개의 촬상 수단에 있어서의 촬상 타이밍의 1/30(sec) 어긋남이, 차속 108㎞/h에 있어서의 차량의 약 1.0m의 이동 거리에 상당하므로, 합성 화상의 신뢰성에 미치는 영향이 크다. 또한, 이 문제점은 상기한 특허 문헌 1과 같은 2개의 카메라의 촬상 화상을 합성 표시하는 구성뿐만 아니라, 2개의 카메라의 촬상 화상으로부터 물표 인식하거나, 물표의 3차원 정보 내지 거리 정보를 취득하는 구성에 대해서도, 마찬가지로 적용된다. 즉, 이러한 구성에 있어서는, 2 이상의 촬상 수단에 있어서의 촬상 타이밍의 비동기가 허용 레벨을 초과한 물표의 인식 오차나 거리 측정 오차 등을 초래할 우려가 있다.
따라서, 본 발명은 2 이상의 촬상 수단의 촬상 타이밍의 비동기를 보상하여 정밀도가 높은 정보를 생성할 수 있는 차량용 주변 감시 장치 및 차량용 주변 감시 방법의 제공을 목적으로 한다.
상기 목적을 달성하기 위해, 제1 발명에 관한 차량용 주변 감시 장치는 차량의 외부를 제1 촬상 영역에서 소정 주기마다 촬상하는 제1 촬상 수단과,
상기 제1 촬상 영역의 적어도 일부와 중복되는 제2 촬상 영역에서, 차량의 외부를 소정 주기마다 촬상하는 제2 촬상 수단과,
상기 제1 및 제2 촬상 수단의 양쪽의 촬상 화상으로부터, 상기 제1 촬상 수단의 촬상 타이밍과 제2 촬상 수단의 촬상 타이밍 사이의 어긋남이 보정된 소정 정보를 생성하는 정보 생성 수단을 구비하는 것을 특징으로 한다.
제2 발명은, 제1 발명에 관한 차량용 주변 감시 장치에 있어서,
상기 정보 생성 수단은 상기 제1 촬상 수단의 촬상 타이밍과 제2 촬상 수단의 촬상 타이밍 사이의 어긋남에 따라서, 상기 제1 및 제2 촬상 수단의 한쪽의 촬상 화상을 보정하고, 상기 보정한 화상과, 다른 쪽의 촬상 화상을 사용하여 상기 소정 정보를 생성하는 것을 특징으로 한다.
제3 발명은, 제1 발명에 관한 차량용 주변 감시 장치에 있어서,
상기 소정 정보는 차량 외부의 물표의 거리에 관한 정보인 것을 특징으로 한다.
제4 발명은, 제1 발명에 관한 차량용 주변 감시 장치에 있어서,
상기 소정 정보는 차량 외부의 환경을 나타내는 화상이고, 상기 제1 및 제2 촬상 수단의 양쪽으로부터 얻어지는 화상을 합성하여 생성되는 것을 특징으로 한다.
제5 발명에 관한 차량용 주변 감시 장치는, 차량의 외부를 제1 촬상 영역에서 제1 촬상 타이밍으로 촬상하는 제1 촬상 장치와,
상기 제1 촬상 영역의 적어도 일부와 중복되는 제2 촬상 영역에서, 차량의 외부를 상기 제1 촬상 타이밍과 상이한 제2 촬상 타이밍으로 촬상하는 제2 촬상 장치와,
상기 제1 및 제2 촬상 장치의 양쪽의 촬상 화상으로부터 상기 제1 촬상 타이밍과 제2 촬상 타이밍 사이의 어긋남이 보정된 소정 정보를 생성하는 정보 처리 장치를 구비하는 것을 특징으로 한다.
제6 발명은, 제5 발명에 관한 차량용 주변 감시 장치에 있어서,
상기 제1 촬상 타이밍과 제2 촬상 타이밍 사이의 어긋남은 프레임 사이의 상관 관계를 이용한 보간 기술을 사용하여 보정되는 것을 특징으로 한다.
제7 발명은, 차량용 주변 감시 방법에 관한 것으로,
제1 촬상 수단을 사용하여 제1 타이밍으로 차량의 외부를 촬상하는 스텝과,
제2 촬상 수단을 사용하여 제1 타이밍보다도 느리거나 또는 빠른 제2 타이밍으로 차량의 외부를 촬상하는 스텝과,
상기 제1 촬상 수단의 촬상 화상을, 상기 제1 타이밍과 상기 제2 타이밍의 어긋남에 따라서 보정하는 보정 화상 생성 스텝과,
상기 보정 화상 생성 스텝에 의해 얻어지는 보정 화상과, 상기 제2 촬상 수단의 촬상 화상을 사용하여 소정 정보를 생성하는 정보 생성 스텝을 포함하는 것을 특징으로 한다.
제8 발명은, 제7 발명에 관한 차량용 주변 감시 방법에 있어서,
상기 정보 생성 스텝은 상기 보정 화상 생성 스텝에 의해 얻어지는 보정 화상과, 상기 제2 촬상 수단의 촬상 화상을 사용하여 차량 외부의 물표의 거리에 관한 정보를 생성하는 것을 포함하는 것을 특징으로 한다.
제9 발명은, 제7 발명에 관한 차량용 주변 감시 방법에 있어서,
상기 정보 생성 스텝은 상기 보정 화상 생성 스텝에 의해 얻어지는 보정 화상과, 상기 제2 촬상 수단의 촬상 화상을 합성하여 디스플레이로 표시시키는 표시용 합성 화상을 생성하는 것을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 2 이상의 촬상 수단의 촬상 타이밍의 비동기를 보상하여 정밀도가 높은 정보를 생성할 수 있는 차량용 주변 감시 장치 및 차량용 주변 감시 방법이 얻어진다.
이하, 도면을 참조하여 본 발명을 실시하기 위한 최선의 형태의 설명을 행한다.
(제1 실시예)
도 1은 본 발명에 의한 차량용 주변 감시 장치의 제1 실시예를 나타내는 시스템 구성도이다. 본 실시예의 차량용 주변 감시 장치는 화상 처리 장치(30)를 구비한다. 화상 처리 장치(30)는 차량에 탑재된 카메라(10)로부터 얻어지는 촬상 화상에 기초하여, 차량에 탑재되는 디스플레이(20)를 통해 차량 주변의 화상(영상)을 표시한다. 디스플레이(20)는, 예를 들어 액정 디스플레이라도 좋고, 탑승자가 시인하기 쉬운 위치(예를 들어, 인스투르먼트 패널이나 미터 부근)에 설치된다.
도 2는 카메라(10)의 설치 형태 및 그 촬상 영역의 일례를 나타내는 평면도이다. 카메라(10)는, 도 2에 도시한 바와 같이 차량의 전방부, 양측부 및 후방부의 합계 4개소에 설치된다. 각 카메라(10)(10FR, 10SL, 10SR, 10RR)는 CCD(charge-coupled device)나 CMOS(complementary metal oxide semiconductor) 등의 촬상 소자에 의해 노면을 포함하는 주위 화상을 취득한다. 각 카메라(10)는 어안 렌즈를 구비하는 광각 카메라라도 좋다. 각 카메라(10)(10FR, 10SL, 10SR, 10RR)는 소정의 프레임 주기(예를 들어, 30fps)의 스트림 형식으로 화상 처리 장치(30)에 공급하는 것이라도 좋다.
전방 카메라(10FR)는, 도 2에 개략적으로 도시한 바와 같이 차량 전방의 노면을 포함하는 주위 화상을 취득하도록 차체의 전방부(예를 들어, 범퍼 부근)에 설치된다. 좌측 카메라(10SL)는, 도 2에 개략적으로 도시한 바와 같이, 차량 좌측의 노면을 포함하는 주위 화상을 취득하도록 좌측의 도어 미러에 설치된다. 우측 카메라(10SR)는, 도 2에 개략적으로 도시한 바와 같이, 차량 우측의 노면을 포함하는 주위 화상을 취득하도록 우측의 도어 미러에 설치된다. 후방 카메라(10RR)는, 도 2에 개략적으로 도시한 바와 같이, 차량 후방의 노면을 포함하는 주위 화상을 취득하도록 차체의 후방부(예를 들어, 후방부 범퍼 부근이나 백 도어)에 설치된다.
도 2에는 각 카메라(10)의 촬상 영역의 일례가 개략적으로 도시되어 있다. 도 2에 나타내는 예에서는, 각 카메라(10)는 광각 카메라이고, 각 카메라(10)의 촬상 영역은 대략 부채형으로 나타나 있다. 도 2에는 전방 카메라(10FR)의 촬상 영역(Rf)과, 우측 카메라(10SR)의 촬상 영역(Rr)이 해칭에 의해 강조되어 나타나 있다. 이들의 각 촬상 영역은, 도 2에 도시한 바와 같이 서로 중복되는 영역(예를 들어, 도 2의 Rrf)을 갖고 있어도 좋다. 이와 같이 도 2에 나타내는 예에서는, 차량의 전체 주위의 풍경이 4개의 카메라(10FR, 10SL, 10SR, 10RR)에 의해 협동하여 포착된다.
도 3은 디스플레이(20) 상에 표시되는 표시 화상의 일례를 개략적으로 도시하는 도면이다. 표시 화상은 4개의 카메라(10FR, 10SL, 10SR, 10RR)를 통해 얻어지는 화상을 합성하여 생성된다. 도 3에 나타내는 예에서는, 표시 화상의 중앙 영역에, 차량을 모방한 화상(차량 화상)이 내장되어 있다. 이러한 차량 화상은 미리 작성되어 소정의 메모리에 기억해 둔 것이 이용되어도 좋다. 표시 화상은 중앙 영역에 차량 화상을 배치하고, 그 밖의 영역에 각 카메라(10)로부터 얻어지는 화상을 배치함으로써 얻어진다. 각 카메라(10)로부터 얻어지는 화상은 노면을 상공으로부터 부감한 부감(조감) 표시용 화상이 되도록 적절한 전처리(예를 들어, 좌표 변환, 왜곡 보정이나 원근 보정 등)를 받은 후, 디스플레이(20) 상에 표시된다(도면 중 해칭 부분이 노면 내지 노상 물체를 부감한 화상 부분을 나타냄). 이에 의해, 탑승자는 차량을 중심으로 하여 전체 방향에 걸쳐서, 노면의 상태 내지 노상 물체의 상태(예를 들어, 각종 도로 구획선이나 각종 장해물의 위치 등)를 파악할 수 있다.
그런데, 상술한 바와 같은 2 이상의 카메라(10FR, 10SR) 등의 촬상 화상을 합성하여 표시 화상을 생성하는 구성에 있어서, 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍이 동기하고 있지 않은 경우에는, 시간적으로 어긋난 화상을 합성하게 되므로, 각 화상의 경계부의 불연속이나, 동일한 물표의 다중 표시 등의 문제가 발생한다. 예를 들어, 도 4에 도시한 바와 같이, 차량 외부의 물표가 i번째의 프레임 주기의 카메라(10FR)의 촬상 타이밍 tFR(i)에서 카메라(10FR)의 촬상 영역으로 들어가고, i번째의 프레임 주기의 카메라(10SR)의 촬상 타이밍 tSR(i)에서 카메라(10FR, 10SR)의 중복 영역(Rrf)으로 들어가는 경우를 상정한다. 카메라(10SR)의 촬상 타이밍 tSR(i)은, 동기 어긋남에 의해, 상기 프레임 주기의 카메라(10FR)의 촬상 타이밍 tFR(i)보다도 느려진 타이밍으로 한다. 이 경우, 동일한 프레임 주기로 카메라(10FR) 및 카메라(10SR)에 의해 촬상한 각각의 화상을 단순히 합성하면, 1개의 물표가 2개로 표시되어 버리게 된다(동일한 물표의 다중 표시). 이러한 종류의 비동기가 발생한 경우에, 촬상 타이밍을 보정하여 동기를 유지하는 것은 기술적으로 곤란한 경우가 있다.
따라서, 본 실시예에서는, 이러한 종류의 비동기를 허용하면서 화상 처리 장치(30)에 비동기 보상 기능을 부여함으로써, 각 카메라(10)의 촬상 타이밍이 동기하고 있지 않은 경우에 발생하는 문제를 해소한다. 이하, 이 비동기 보상 기능에 대해 상세하게 설명한다.
도 5는 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍의 일례를 나타내는 도면이다. 도 5에 나타내는 예에서는, 각 카메라(10)(10FR, 10SL, 10SR, 10RR)는 동일한 30fps의 프레임 레이트이고, 각각 비동기이다. 이 경우, 30fps의 프레임 레이트이므로, 최대 1/30초의 어긋남이 발생할 수 있다.
도 6은 화상 처리 장치(30)에 의해 실현되는 비동기 보상 기능의 기본 처리의 흐름을 도시하는 흐름도이다. 이하에서는, 각 카메라(10)(10FR, 10SL, 10SR, 10RR) 중, 카메라(10SR)의 촬상 타이밍을 기준으로 하여 합성 화상을 생성하는 경우에 대해 설명한다. 단, 기준이 되는 카메라는 임의이다. 도 6이 도시하는 처리 루틴은 카메라(10SR)의 촬상 타이밍마다 반복해서 실행된다.
도 7은 도 6의 비동기 보상 기능의 설명도로, 도 7의 (A)는 프레임 주기(i)에 있어서의 카메라(10FR)의 촬상 화상을 모식적으로 도시하는 도면이고, 도 7의 (B)는 후술하는 스텝 204의 보정 처리에 의해 얻어지는 카메라(10FR)의 보정 화상을 모식적으로 도시하는 도면이고, 도 7의 (C)는 프레임 주기(i)에 있어서의 카메라(10SR)의 촬상 화상을 모식적으로 도시하는 도면이다. 도 7에 나타내는 예에서는, 도 4에 도시한 바와 같은 물표가 촬상되어 있고, 도 7의 각 도면에는 촬상 화상에 있어서의 중복 영역(Rrf)의 부분이 점선으로 지시되어 있다.
도 6을 참조하여, 스텝 202에서는 동일 프레임 주기(i)에 있어서의 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍의 어긋남이 산출된다. 여기서는, 카메라(10SR)의 촬상 타이밍을 기준으로 하여 어긋남이 산출된다. 예를 들어, 도 5에 나타내는 예에서는 카메라(10FR)의 동기 어긋남량(ΔtFR)은, ΔtFR ＝ tSR(i) － tFR(i)로서 산출된다. 또한, 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍[tSR(i) 등]은 타임 스탬프 등을 사용하여 검출 가능하게 되어도 좋다. 혹은, 동기 어긋남량(Δt)은 각 촬상 화상 사이의 중복 영역에 있어서의 상관성을 평가함으로써 산출되어도 좋다.
스텝 204에서는 상기한 스텝 202에서 산출된 동기 어긋남량에 기초하여, 프레임 주기(i)에 있어서의 카메라(10FR, 10SL 및 10RR)의 촬상 화상이 보정된다. 예를 들어, 카메라(10FR)의 촬상 화상에 관하여, 금회의 프레임 주기(i)에 있어서의 카메라(10FR)의 촬상 화상 I(i)[도 7의 (A) 참조]는 카메라(10SR)의 촬상 타이밍 tSR(i)과 동기하여 촬상된 경우에 얻어지는 촬상 화상[도 7의 (B) 참조]에 대응하도록 보정된다. 이 보정에는, 예를 들어 프레임 사이의 상관 관계(상호 상관 함수)를 이용한 보간 기술이 사용된다. 예를 들어, 이 보정은 MPEG에 있어서의 I(Intra) 프레임[본 예의 경우, 시각 tFR(i)에서 얻어지는 촬상 화상 I(i)]으로부터 P(Predictive) 프레임[본 예의 경우, 시각 tFR(i)으로부터 시간 ΔtFR 후의 시각 tSR(i)에서의 가상 프레임]을 도출하는 요령으로 실현되어도 좋다. 또한, MPEG에 있어서의 프레임간 예측에는, 프레임 주기 간격에 대한 동기 어긋남량(Δt)의 관계를 고려한 운동 보상 기술(물표의 운동 벡터를 추정ㆍ보상하는 기술)이 사용되어도 좋다. 이때, 예를 들어 차륜 속도 센서로부터 도출 가능한 현재의 차속도 고려되어도 좋다. 또한, 이와 같이 하여 얻어진 보정 화상[도 7의 (B) 참조]은 프레임 주기(i)에 있어서의 카메라(10SR)의 촬상 화상[도 7의 (C) 참조]과의 사이에서 중복 영역(Rrf)의 화소 정보(예를 들어, 휘도 신호나 색 신호)의 상관성을 평가함으로써 추가 보정을 받아도 좋다.
스텝 206에서는 상기한 스텝 204서 얻어지는 카메라(10FR, 10SL 및 10RR)의 각 촬상 화상에 대한 각 보정 화상과, 카메라(10SR)의 촬상 화상을 사용하여 표시 화상(도 3 참조)이 생성된다. 이때, 각 카메라(10)의 촬상 영역이 중복되는 영역(예를 들어, 도 2의 Rrf)에 대해서는, 어느 한쪽의 화상을 선택하여 당해 중복 영역에 관한 최종적인 표시 화상이 생성되어도 좋고, 혹은 양쪽의 화상을 협동적으로 사용하여 당해 중복 영역에 관한 최종적인 표시 화상이 생성되어도 좋다. 예를 들어, 카메라(10SR)와 카메라(10FR)의 중복 영역(Rrf)에 대해서는, 도 7의 (B)에 도시하는 카메라(10FR)의 보정 화상의 중복 영역(Rrf)의 부분과, 도 7의 (C)에 도시하는 카메라(10SR)의 촬상 화상 중복 영역(Rrf)의 부분 중 어느 한쪽을 사용하여 묘화되어도 좋고, 양쪽을 협동적으로 사용하여 묘화되어도 좋다.
이와 같이, 본 실시예에 따르면, 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍이 동기하고 있지 않은 경우라도, 촬상 타이밍의 어긋남을 보정한 보정 화상을 사용하여 표시 화상이 생성되므로, 상술한 각 카메라(10)의 촬상 타이밍이 동기하고 있지 않은 경우에 발생하는 문제를 없앨 수 있다. 즉, 경계부의 불연속이나, 동일한 물표의 다중 표시 등이 없는 정밀도가 높은(위화감이 없는) 표시 화상을 생성할 수 있다.
또한, 본 실시예에서는, 도 6에 도시한 바와 같이 동일한 프레임 주기에서 시간적으로 최후의 촬상 타이밍의 카메라[본 예의 경우, 카메라(10SR)]를 기준으로 하여, 다른 카메라[본 예의 경우, 카메라(10FR, 10SL 및 10RR)]의 촬상 화상을 보정하고 있지만, 다른 카메라[본 예의 경우, 카메라(10FR, 10SL 및 10RR)]를 기준으로 해도 좋다. 예를 들어, 카메라(10FR)의 촬상 타이밍을 기준으로 한 경우에는, 카메라(10SL)의 촬상 화상은 상술한 바와 마찬가지로 동기가 어긋난 만큼 앞의 P 프레임을 도출하는 요령(전방향 예측)으로 보정되어도 좋고, 한편 카메라(10SR) 및 카메라(10RR)의 촬상 화상은 동기가 어긋난 만큼 앞의 P 프레임을 도출하는 요령(후방향 예측)으로 보정되어도 좋고, 혹은 전프레임 주기의 촬상 화상과 금회의 프레임 주기의 촬상 화상을 사용하여, B(Bidirectional predictive) 프레임을 도출하는 요령(양방향 예측)으로 보정되어도 좋다.
또한, 본 실시예에 있어서, 상이한 프레임 주기의 촬상 화상을 합성하여 표시하는 것도 가능하다. 예를 들어, 도 5에 도시하는 동기 어긋남의 경우에, 카메라(10SR)의 촬상 화상이 취득된 시점에서 다음 프레임 주기의 카메라(10FR, 10SL 및 10RR)의 촬상 화상을, 동기가 어긋난 만큼 앞의 P 프레임을 도출하는 요령(후방향 예측 또는 양방향 예측)으로 보정하여, 이 결과 얻어지는 보정 화상과, 카메라(10SR)의 촬상 화상을 합성하여 표시하는 것으로 해도 된다.
(제2 실시예)
도 8은 본 발명에 의한 차량용 주변 감시 장치의 제2 실시예를 나타내는 시스템 구성도이다. 본 실시예의 차량용 주변 감시 장치는 화상 처리 장치(60)를 구비한다. 화상 처리 장치(60)는 차량에 탑재된 카메라(40)로부터 얻어지는 촬상 화상에 기초하여, 촬상 화상 내의 물표를 화상 인식하고, 차량 외부의 물표의 거리에 관한 정보(이하, 「거리 정보」라고 함)를 생성한다. 물표라 함은, 타차량, 보행자, 건조물, 도로 표식(페인트를 포함함) 등의 지물이라도 좋다. 거리 정보는 프리크러쉬ㆍECU(50)에 공급되어 프리크러쉬 제어에 사용된다. 거리 정보는, 그 밖에 클리어런스 음파 탐지기의 거리 측정 데이터 대신에 사용되어도 좋고, 차간 거리 제어나 레인 킵 어시스트(Lane Keep Assist) 제어 등과 같은 다른 제어에 사용되어도 좋다. 프리크러쉬 제어는 장해물과의 충돌 전에 경보를 출력하거나, 안전 벨트의 장력을 높이거나, 범퍼의 높이를 적절한 높이까지 구동하거나, 브레이크력을 발생시키는 등의 제어를 포함한다.
도 9는 카메라(40)의 설치 형태 및 그 촬상 영역의 일례를 나타내는 평면도이다. 카메라(40)는, 도 9에 도시한 바와 같이, 차량의 폭 방향으로 이격하여 배치되는 2개의 카메라(41, 42)로 이루어지는 스테레오 카메라이다. 각 카메라(41, 42)는 CCD 등의 촬상 소자에 의해 차량 전방의 주위 화상을 취득한다. 카메라(40)는, 예를 들어 차 실내의 윈드 실드(shield) 글래스의 상부 테두리 부근에 배치되어도 좋다. 각 카메라(41, 42)는 소정의 프레임 주기(예를 들어, 30fps)의 스트림 형식으로 화상 처리 장치(60)에 공급하는 것이라도 좋다.
도 9에는 각 카메라(41, 42)의 촬상 영역의 일례가 개략적으로 나타나 있다. 도 9에 나타내는 예에서는, 각 카메라(41, 42)의 촬상 영역은 대략 부채형으로 나타나 있다. 각 카메라(41, 42)의 촬상 영역은, 도 9에 도시한 바와 같이 서로 중복되는 영역(예를 들어, 도 9의 Rrf)을 갖는다. 이와 같이 도 9에 나타내는 예에서는 차량 전방의 풍경이 2개의 카메라(41, 42)에 의해 시차를 두고 포착된다.
도 10은 각 카메라(41, 42)의 촬상 타이밍의 일례를 나타내는 도면이다. 도 10에 나타내는 예에서는, 각 카메라(41, 42)는 동일한 30fps의 프레임 레이트이고, 각각 비동기이다. 이 경우, 30fps의 프레임 레이트이므로, 최대 1/30초의 어긋남이 발생할 수 있다.
도 11은 화상 처리 장치(60)에 의해 실현되는 비동기 보상 기능의 기본 처리의 흐름을 도시하는 흐름도이다. 이하에서는, 각 카메라(41, 42) 중, 좌측 카메라(42)의 촬상 타이밍을 기준으로 하여 거리 정보를 생성하는 경우에 대해 설명한다. 단, 기준이 되는 카메라는 임의이다. 도 11에 도시하는 처리 루틴은 좌측 카메라(42)의 촬상 타이밍마다 반복 실행된다.
스텝 302에서는 동일 프레임 주기(i)에 있어서의 각 카메라(41, 42)의 촬상 타이밍의 어긋남이 산출된다. 예를 들어, 도 10에 나타내는 예에서는, 카메라(10FR)의 동기 어긋남량(Δt)은, Δt ＝ t2(i) － t1(i)로서 산출된다. 또한, 각 카메라(41, 42)의 촬상 타이밍[t2(i) 등]은 타임 스탬프 등을 사용하여 검출 가능하게 되어도 좋다.
스텝 304에서는 상기한 스텝 302에서 산출된 동기 어긋남량에 기초하여, 프레임 주기(i)에 있어서의 카메라(41)의 촬상 화상이 보정된다. 동기 어긋남량에 따른 촬상 화상의 보정 방법은 상술한 제1 실시예와 마찬가지라도 좋다.
스텝 306에서는 상기한 스텝 304에서 얻어지는 카메라(41)의 촬상 화상에 대한 보정 화상과, 카메라(42)의 촬상 화상을 사용하여 거리 정보가 생성된다. 이 거리 정보는 촬상 타이밍이 동기한 스테레오 카메라를 사용한 경우와 동일한 요령으로 생성되어도 좋다. 촬상 타이밍이 동기한 스테레오 카메라를 사용한 경우와 상이한 것은, 카메라(41)의 촬상 화상이 상술한 바와 같이 보정되어 있는 점뿐이다.
이와 같이, 본 실시예에 따르면, 각 카메라(41, 42)의 촬상 타이밍이 동기하고 있지 않은 경우라도, 촬상 타이밍의 어긋남을 보정한 보정 화상을 사용하여 거리 정보가 생성되므로, 각 카메라(41, 42)의 촬상 타이밍이 동기하고 있지 않은 경우에 발생하는 거리 측정 오차를 없앨 수 있다. 이에 의해, 정밀도가 높은 거리 정보를 생성할 수 있다.
또한, 이상 설명한 각 실시예에 있어서는, 첨부한 특허청구의 범위의 「정보 생성 수단」은 화상 처리 장치(30 또는 60)가 도 6의 처리 또는 도 9의 처리를 실행함으로써 실현되어 있다.
이상, 본 발명의 바람직한 실시예에 대해 상세하게 설명하였지만, 본 발명은 상술한 실시예로 제한되는 경우는 없고, 본 발명의 범위를 일탈하지 않고, 상술한 실시예에 다양한 변형 및 치환을 추가할 수 있다.
예를 들어, 상술한 실시예에서는 합성 화상의 표시나 거리 정보의 생성에, 2 이상의 카메라의 촬상 화상을 협조하여 사용하고 있지만, 본 발명은 동기되어 있지 않은지, 혹은 동기 어긋남이 발생하는 2 이상의 카메라의 촬상 화상을 협조하여 사용하는 어떠한 어플리케이션에 대해서도 적용 가능하다.
또한, 상술한 실시예에서는 각 카메라(10)(10FR, 10SL, 10SR, 10RR) 등의 프레임 레이트는 동일했지만, 상이한 프레임 레이트라도 좋다. 또한, 상술한 제1 실시예에서는 각 카메라(10)(10FR, 10SL, 10SR, 10RR)의 촬상 타이밍이 서로 모두 상이하지만, 적어도 어느 하나의 카메라의 촬상 타이밍이 다른 카메라의 촬상 타이밍과 상이하면 본 발명의 효과를 향수할 수 있다.
또한, 본 국제 출원은 2008년 2월 23일에 출원한 일본 특허 출원 제2007-44441호에 기초하는 우선권을 주장하는 것으로, 그 전체 내용은 본 국제 출원에 여기서의 참조에 의해 원용되는 것으로 한다.

Claims (9)

  1. 차량의 외부를 제1 촬상 영역에서 소정 주기마다 촬상하는 제1 촬상 수단과,
    상기 제1 촬상 영역의 적어도 일부와 중복되는 제2 촬상 영역에서, 차량의 외부를 소정 주기마다 촬상하는 제2 촬상 수단과,
    상기 제1 및 제2 촬상 수단의 양쪽의 촬상 화상으로부터, 상기 제1 촬상 수단의 촬상 타이밍과 제2 촬상 수단의 촬상 타이밍 사이의 어긋남이 보정된 소정 정보를 생성하는 정보 생성 수단을 구비하는 것을 특징으로 하는, 차량용 주변 감시 장치.
  2. 제1항에 있어서, 상기 정보 생성 수단은 상기 제1 촬상 수단의 촬상 타이밍과 제2 촬상 수단의 촬상 타이밍 사이의 어긋남에 따라서, 상기 제1 및 제2 촬상 수단의 한쪽의 촬상 화상을 보정하고, 상기 보정한 화상과, 다른 쪽 촬상 수단의 촬상 화상을 사용하여 상기 소정 정보를 생성하는, 차량용 주변 감시 장치.
  3. 제1항에 있어서, 상기 소정 정보는 차량 외부의 물표의 거리에 관한 정보인, 차량용 주변 감시 장치.
  4. 제1항에 있어서, 상기 소정 정보는 차량 외부의 환경을 나타내는 화상이고, 상기 제1 및 제2 촬상 수단의 양쪽으로부터 얻어지는 화상을 합성하여 생성되는, 차량용 주변 감시 장치.
  5. 차량의 외부를 제1 촬상 영역에서 제1 촬상 타이밍으로 촬상하는 제1 촬상 장치와,
    상기 제1 촬상 영역의 적어도 일부와 중복되는 제2 촬상 영역에서, 차량의 외부를 상기 제1 촬상 타이밍과 상이한 제2 촬상 타이밍으로 촬상하는 제2 촬상 장치와,
    상기 제1 및 제2 촬상 장치의 양쪽의 촬상 화상으로부터 상기 제1 촬상 타이밍과 제2 촬상 타이밍 사이의 어긋남이 보정된 소정 정보를 생성하는 정보 처리 장치를 구비하는 것을 특징으로 하는, 차량용 주변 감시 장치.
  6. 제5항에 있어서, 상기 제1 촬상 타이밍과 제2 촬상 타이밍 사이의 어긋남은 프레임 사이의 상관 관계를 이용한 보간 기술을 사용하여 보정되는, 차량용 주변 감시 장치.
  7. 제1 촬상 수단을 사용하여 제1 타이밍으로 차량의 외부를 촬상하는 스텝과,
    제2 촬상 수단을 사용하여 제1 타이밍보다도 느리거나 또는 빠른 제2 타이밍으로 차량의 외부를 촬상하는 스텝과,
    상기 제1 촬상 수단의 촬상 화상을, 상기 제1 타이밍과 상기 제2 타이밍의 어긋남에 따라서 보정하는 보정 화상 생성 스텝과,
    상기 보정 화상 생성 스텝에 의해 얻어지는 보정 화상과, 상기 제2 촬상 수단의 촬상 화상을 사용하여 소정 정보를 생성하는 정보 생성 스텝을 포함하는 것을 특징으로 하는, 차량용 주변 감시 방법.
  8. 제7항에 있어서, 상기 정보 생성 스텝은 상기 보정 화상 생성 스텝에 의해 얻어지는 보정 화상과, 상기 제2 촬상 수단의 촬상 화상을 사용하여 차량 외부의 물표의 거리에 관한 정보를 생성하는 것을 포함하는, 차량용 주변 감시 방법.
  9. 제7항에 있어서, 상기 정보 생성 스텝은 상기 보정 화상 생성 스텝에 의해 얻어지는 보정 화상과, 상기 제2 촬상 수단의 촬상 화상을 합성하여 디스플레이로 표시시키는 표시용 합성 화상을 생성하는 것을 포함하는, 차량용 주변 감시 방법.
KR1020097016438A 2007-02-23 2008-02-19 차량용 주변 감시 장치 및 차량용 주변 감시 방법 KR101132099B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2007-044441 2007-02-23
JP2007044441A JP4748082B2 (ja) 2007-02-23 2007-02-23 車両用周辺監視装置及び車両用周辺監視方法
PCT/JP2008/052741 WO2008102764A1 (ja) 2007-02-23 2008-02-19 車両用周辺監視装置及び車両用周辺監視方法

Publications (2)

Publication Number Publication Date
KR20090101480A true KR20090101480A (ko) 2009-09-28
KR101132099B1 KR101132099B1 (ko) 2012-04-04

Family

ID=39710041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097016438A KR101132099B1 (ko) 2007-02-23 2008-02-19 차량용 주변 감시 장치 및 차량용 주변 감시 방법

Country Status (6)

Country Link
US (1) US20100060735A1 (ko)
JP (1) JP4748082B2 (ko)
KR (1) KR101132099B1 (ko)
CN (1) CN101611632B (ko)
DE (1) DE112008000089T5 (ko)
WO (1) WO2008102764A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135544A1 (ko) * 2018-01-08 2019-07-11 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235094A1 (en) * 2014-02-17 2015-08-20 General Electric Company Vehicle imaging system and method
US10110795B2 (en) 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
TWI401175B (zh) * 2010-06-08 2013-07-11 Automotive Res & Testing Ct Dual vision front vehicle safety warning device and method thereof
WO2012120814A1 (ja) * 2011-03-08 2012-09-13 ルネサスエレクトロニクス株式会社 撮像装置
JP5849724B2 (ja) * 2012-01-25 2016-02-03 富士通株式会社 映像取得装置及び方法
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
JP6458384B2 (ja) 2014-07-24 2019-01-30 株式会社デンソー 車線検出装置および車線検出方法
US20160031370A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with video switching
DE102015214900A1 (de) * 2015-08-05 2017-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem
JP6540395B2 (ja) * 2015-09-04 2019-07-10 株式会社ソシオネクスト 画像処理方法および画像処理プログラム
JP6659317B2 (ja) 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
EP3522516B1 (en) * 2016-09-28 2023-09-06 Kyocera Corporation Camera module, selector, controller, camera monitoring system, and moving body
JP6604297B2 (ja) * 2016-10-03 2019-11-13 株式会社デンソー 撮影装置
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
GB2583704B (en) * 2019-04-19 2023-05-24 Jaguar Land Rover Ltd Imaging system and method
JP2020205498A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
JPWO2022137324A1 (ko) * 2020-12-22 2022-06-30
JP2023021833A (ja) * 2021-08-02 2023-02-14 日立Astemo株式会社 マルチカメラ装置
DE102021132334A1 (de) 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Abtasten eines Umfelds eines Fahrzeugs

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JPH0937238A (ja) * 1995-07-19 1997-02-07 Hitachi Denshi Ltd 複数画面表示装置
EP0949818A3 (en) * 1998-04-07 2000-10-25 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US20060274829A1 (en) * 2001-11-01 2006-12-07 A4S Security, Inc. Mobile surveillance system with redundant media
JP2003230076A (ja) * 2002-02-01 2003-08-15 Clarion Co Ltd 画像処理装置及び画像表示システム
JP3958638B2 (ja) * 2002-06-25 2007-08-15 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP4476575B2 (ja) * 2003-06-06 2010-06-09 富士通テン株式会社 車両状況判定装置
JP2006044409A (ja) * 2004-08-03 2006-02-16 Nissan Motor Co Ltd 乗員保護装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP2006119843A (ja) * 2004-10-20 2006-05-11 Olympus Corp 画像生成方法およびその装置
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
JP4752284B2 (ja) 2005-02-24 2011-08-17 アイシン精機株式会社 車両周辺監視装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2007044441A (ja) 2005-08-12 2007-02-22 Samii Kk 遊技媒体貸出機
JP2007049598A (ja) * 2005-08-12 2007-02-22 Seiko Epson Corp 画像処理コントローラ、電子機器及び画像処理方法
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135544A1 (ko) * 2018-01-08 2019-07-11 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
KR20190084463A (ko) * 2018-01-08 2019-07-17 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
US11245858B2 (en) 2018-01-08 2022-02-08 Samsung Electronics Co., Ltd Electronic device and method for providing image of surroundings of vehicle

Also Published As

Publication number Publication date
DE112008000089T5 (de) 2009-12-03
US20100060735A1 (en) 2010-03-11
WO2008102764A1 (ja) 2008-08-28
JP4748082B2 (ja) 2011-08-17
CN101611632B (zh) 2011-11-23
JP2008211373A (ja) 2008-09-11
KR101132099B1 (ko) 2012-04-04
CN101611632A (zh) 2009-12-23

Similar Documents

Publication Publication Date Title
KR101132099B1 (ko) 차량용 주변 감시 장치 및 차량용 주변 감시 방법
TWI600559B (zh) 用於影像處理之系統及方法
US8305204B2 (en) Vehicle surrounding confirmation apparatus
JP4879031B2 (ja) 運転支援システム、画像処理装置及びずれ検出方法
US9998675B2 (en) Rearview imaging system for vehicle
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
EP2485203B1 (en) Vehicle-surroundings monitoring device
US7432799B2 (en) Driving support apparatus and driving support method
JP4193886B2 (ja) 画像表示装置
US20080151053A1 (en) Operation Support Device
JP2001218197A (ja) 車両用周辺表示装置
JP2007288282A (ja) 車両周辺監視装置
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
CN102387344A (zh) 成像装置、成像系统和成像方法
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
JP6338930B2 (ja) 車両周囲表示装置
JP2002120675A (ja) 車両周辺監視支援装置
KR20200047257A (ko) 차량 주위 영상 표시 시스템 및 차량 주위 영상 표시 방법
JP2018191230A (ja) 撮像素子及びその駆動方法、並びに、電子機器
JP2018157496A (ja) キャリブレーション装置
US8581984B2 (en) Vehicle circumference monitor apparatus
CN110087022B (zh) 图像处理装置
TWI742636B (zh) 攝像裝置及攝像方法
WO2023095340A1 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
US20230007190A1 (en) Imaging apparatus and imaging system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190306

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 9