KR20090031997A - 차량용 주변 감시 장치 및 영상 표시 방법 - Google Patents

차량용 주변 감시 장치 및 영상 표시 방법 Download PDF

Info

Publication number
KR20090031997A
KR20090031997A KR1020080093548A KR20080093548A KR20090031997A KR 20090031997 A KR20090031997 A KR 20090031997A KR 1020080093548 A KR1020080093548 A KR 1020080093548A KR 20080093548 A KR20080093548 A KR 20080093548A KR 20090031997 A KR20090031997 A KR 20090031997A
Authority
KR
South Korea
Prior art keywords
image
vehicle
display
blind spot
photographed
Prior art date
Application number
KR1020080093548A
Other languages
English (en)
Other versions
KR100936558B1 (ko
Inventor
다꾸라 야나기
사또시 치노미
다께시 아까쯔까
츠또무 가와노
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20090031997A publication Critical patent/KR20090031997A/ko
Application granted granted Critical
Publication of KR100936558B1 publication Critical patent/KR100936558B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 과제는 차량 후방의 영상을 차량 운전자가 정확한 거리감으로 파악할 수 있도록 하는 동시에, 후속 차량의 접근에 의해 당해 후속 차량의 측방에 사각 영역이 발생한 경우에는 이 사각 영역이 되는 후속 차량의 측방의 상황도 차량 운전자에게 제시할 수 있도록 하는 것이다.
차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 사각 판정부(12)에서 판정하고, 사각 영역이 발생하고 있는 경우에는 표시용 영상 생성부(13)가 후방 카메라(1)로 촬영한 차량 후방의 영상과 우측 사이드 카메라(2)나 좌측 사이드 카메라(3)로 촬영한 사각 영역의 영상을 합성하여 표시용 영상을 생성하여 디스플레이(4)에 표시시킨다.
Figure P1020080093548
사각 판정부, 후방 카메라, 후방 카메라, 영상 처리 유닛, 영상 출력부

Description

차량용 주변 감시 장치 및 영상 표시 방법{PERIMETER MONITORING APPARATUS AND IMAGE DISPLAY METHOD FOR VEHICLE}
본 발명은 차량 후방이나 차량 후측방의 영상을 표시하여 차량 운전자에게 제시하는 차량용 주변 감시 장치 및 영상 표시 방법에 관한 것이다.
종래, 자동차의 룸 미러나 도어 미러의 사각(死角)이 되는 영역의 시야를 확보하면서, 적은 시선 이동으로 차량 후방이나 차량 후측방의 상황을 차량 운전자가 정확하게 파악할 수 있도록 하기 위해, 차량 후방이나 차량 후측방의 영상을 차량 탑재 카메라로 촬영하여 차량 내부에 설치한 디스플레이에 표시시키는 것이 제안되어 있다(예를 들어, 특허문헌 1 참조).
특허문헌 1에는, 차량 후단부에 설치한 후방 카메라와 차량의 좌우 도어 미러에 설치한 2대의 측방 카메라를 이용하여 차량 후방 및 차량 후측방의 영상을 촬영하여, 이들 후방 카메라와 2대의 측방 카메라로 촬영한 영상을 횡방향으로 나열하여 차량 내부의 1개의 디스플레이에 표시하도록 한 차량용 주변 감시 장치가 기재되어 있다.
[특허문헌 1] 일본 특허 출원 공개 제2003-81014호 공보
그러나, 차량 내부의 디스플레이는 표시 영역의 크기가 한정되어 있어, 특허문헌 1에 기재된 차량용 주변 감시 장치와 같이 후방 카메라와 2대의 측방 카메라로 각각 촬영한 영상을 횡방향으로 나열하여 표시하도록 하면, 각 카메라의 영상의 표시 사이즈가 상대적으로 작아진다. 이로 인해, 예를 들어 후방 카메라로 후속 차량을 촬영하고 있을 때에, 디스플레이에 표시되고 있는 영상 중의 후속 차량의 크기가, 차량 운전자가 평소부터 눈에 익숙해져 있는 룸 미러로 확인하는 경우에 비해 작아져, 차량 운전자가 이 후속 차량과의 거리감을 정확하게 인식할 수 없어 실제보다도 멀게 존재하는 것으로 잘못 인식해 버리는 경우가 있다.
본 발명은 이상과 같은 종래 기술의 문제점을 해소하기 위해 창안된 것으로, 차량 후방의 영상을 차량 운전자가 정확한 거리감으로 파악할 수 있도록 하는 동시에, 후속 차량의 접근에 의해 당해 후속 차량의 측방에 사각 영역이 발생한 경우에는, 이 사각 영역이 되는 후속 차량의 측방의 상황도 차량 운전자에게 제시할 수 있도록 한 차량용 주변 감시 장치 및 영상 표시 방법을 제공하는 것을 목적으로 하고 있다.
본 발명은 차량 후방 영역과 차량 후측방 영역을 촬상 수단으로 촬영하고, 촬영된 상기 차량 후측방 영역에 사각 영역이 발생하고 있는지 여부를 판정하고, 사각이 발생하고 있지 않다고 판정된 경우에는 촬영된 후방 영역에 대응하는 영상 을 차내의 표시 장치에 표시시키고, 사각이 발생하고 있다고 판정된 경우에는 촬영된 후측방 영역의 사각 영역에 대응하는 영상과, 후방 영역에 대응하는 영상을 상기 표시 장치에 표시시킴으로써 상술한 과제를 해결한다.
본 발명에 따르면, 후속 차량이 접근하고 있지 않은 상황에서는 차량 후방의 영상을 영상 표시 수단에 크게 표시하여 차량 운전자에게 정확한 거리감으로 파악시킬 수 있는 동시에, 후속 차량의 접근에 의해 당해 후속 차량의 측방에 사각 영역이 발생하였을 때에는 이 사각 영역이 되는 후속 차량의 측방의 상황도 차량 운전자에게 제시할 수 있다.
이하, 본 발명의 구체적인 실시 형태에 대해 도면을 참조하면서 상세하게 설명한다.
[제1 실시 형태]
우선, 본 발명의 제1 실시 형태에 대해 설명한다. 본 실시 형태는 차량에 탑재된 3개의 차량 탑재 카메라로 영상을 촬영하는 구성의 차량용 주변 감시 장치에의 적용예이다. 도1은 본 실시 형태의 차량용 주변 감시 장치의 구성을 나타내는 블록도, 도2는 3개의 차량 탑재 카메라의 배치예를 나타내는 도면이다.
도1에 도시한 바와 같이, 본 실시 형태의 차량용 주변 감시 장치는 차량[이하, 자차량(V)이라 함]의 후방부에 설치된 후방 카메라(1)와, 자차량(V)의 우측부에 설치된 우측 사이드 카메라(2)와, 자차량(V)의 좌측부에 설치된 좌측 사이드 카 메라(3)의 3대의 차량 탑재 카메라를 구비하고 있다. 또한, 이 차량용 주변 감시 장치는 이들 3대의 차량 탑재 카메라(1, 2, 3)의 촬영 영상을 이용하여 표시용 영상을 생성하는 영상 처리 유닛(10)과, 영상 처리 유닛(10)에서 생성된 표시용 영상을 표시하는 디스플레이(영상 표시 수단)(4)를 구비하고 있다.
도2에 도시한 바와 같이, 후방 카메라(1)는 예를 들어 루프 스포일러 등의 자차량(V) 후방부의 소정 위치에 설치되어 있고, 예를 들어 도2 중 A1로 나타내는 차량 후방 및 차량 후측방의 비교적 넓은 영역의 영상을 촬영하는 것이 가능하게 되어 있다. 또한, 우측 사이드 카메라(2)는 예를 들어 우측 도어 미러 등의 자차량(V) 우측부의 소정 위치에 설치되어 있고, 예를 들어 도2 중 A2로 나타내는 자차량(V) 우측으로부터 차량 후측방에 걸쳐진 비교적 넓은 영역의 영상을 후방 카메라(1)와는 다른 시점 위치로부터 촬영하는 것이 가능하게 되어 있다. 또한, 좌측 사이드 카메라(3)는 예를 들어 좌측 도어 미러 등의 자차량(V) 좌측부의 소정 위치에 설치되어 있고, 예를 들어 도2 중 A3으로 나타내는 자차량(V) 좌측으로부터 차량 후측방에 걸쳐진 비교적 넓은 영역의 영상을 후방 카메라(1)와는 다른 시점 위치로부터 촬영하는 것이 가능하게 되어 있다. 여기서, 차량 후방의 영역이라 함은, 자차량(V)의 전후 축을 차량 후방으로 연장한 연장선을 중심으로 한 소정 범위의 영역이며, 예를 들어 자차량(V)의 운전자가 룸 미러로 확인할 수 있는 범위의 영역이다. 또한, 차량 후측방 영역이라 함은, 이상과 같은 차량 후방의 영역보다도 좌우 외측에 위치하는 영역으로, 예를 들어 자차량(V)의 운전자가 도어 미러로 확인할 수 있는 범위의 영역이다.
이들 3대의 차량 탑재 카메라(1, 2, 3)는 각각 렌즈 및 수광 소자로 구성되는 광학계를 갖고, 렌즈를 통해 입사되는 광을 CCD나 CMOS 등의 수광 소자로 수광하여 전기 신호로 변환하고, 촬영한 영상을 화소마다 수치화한 영상 신호로서 출력한다. 이들 3대의 차량 탑재 카메라(1, 2, 3)로부터 출력된 영상 신호는 영상 처리 유닛(10)에 입력된다.
영상 처리 유닛(10)은 3대의 차량 탑재 카메라(1, 2, 3)의 촬영 영상을 이용하여 표시용 영상을 생성하고, 생성한 표시용 영상을 자차량(V)의 내부에 설치된 디스플레이(4)에 표시시킨다. 특히 본 실시 형태에서는, 자차량(V)의 후방을 주행하고 있는 후속 차량이 자차량(V)에 접근하고 있지 않은 상황에서는, 후방 카메라(1)로 촬영된 차량 후방의 영상을 확대한 표시용 영상을 생성하여 디스플레이(4)에 표시시킨다. 한편, 자차량(V)의 후방을 주행하고 있는 후속 차량이 자차량(V)에 접근함으로써 후속 차량의 측방에 사각 영역이 발생하고 있는 상황에서는, 후방 카메라(1)로 촬영된 차량 후방의 영상에 우측 사이드 카메라(2) 혹은 좌측 사이드 카메라(3)에 의해 촬영된 사각 영역의 영상을 합성하여, 그 합성 화상을 표시용 영상으로서 디스플레이(4)에 표시시킨다. 본 실시 형태에서는, 디스플레이(4)에 표시시키는 표시용 영상을 후속 차량의 접근에 의한 사각 영역의 유무에 따라서 이상과 같이 절환함으로써, 차량 후방의 영상을 자차량(V)의 운전자가 정확한 거리감으로 파악할 수 있도록 표시시키면서, 후속 차량의 접근에 의한 사각 발생에도 대응시켜 필요한 정보를 자차량(V)의 운전자에게 정확하게 제시할 수 있도록 하고 있다.
여기서, 구체적인 주행 장면을 예로 들면서, 영상 처리 유닛(10)에 있어서의 처리의 개요에 대해 간단하게 설명한다.
우선, 도3에 도시한 바와 같이, 자차량(V)이 한쪽측 3차선 도로의 중앙의 차선을 주행하고 있고, 그 자차량(V)의 후방의 이격된 위치에 후속 차량(V1)이 주행하고 있는 장면을 생각한다. 이 도3에 도시하는 주행 장면에 있어서, 후방 카메라(1)로 촬영되는 차량 후방의 영상은 도4의 (a)와 같이 되고, 우측 사이드 카메라(2)로 촬영되는 우측 차량 후측방의 영상은 도4의 (b)와 같이 되고, 좌측 사이드 카메라(3)로 촬영되는 좌측 차량 후측방의 영상은 도4의 (c)와 같이 된다. 여기서, 이들 도4의 (a) 내지 도4의 (c)의 영상을 횡방향으로 나열하고, 디스플레이(4)의 표시 영역의 크기에 맞게 표시용 영상을 생성하였다고 하면, 디스플레이(4)에 표시되는 표시용 영상은 도5와 같이 된다. 이 도5에 도시하는 표시용 영상은 차량 후방으로부터 좌우 후측방 넓은 영역의 상황을 차량 운전자에게 제시할 수 있는 반면, 표시용 영상 중의 후속 차량(V1)의 크기가 룸 미러의 미러 반사상에서 확인한 경우에 비해 지나치게 작아지므로, 자차량(V)의 운전자가 후속 차량(V1)까지의 거리감을 착각하는 요인이 되는 등의 문제가 있다.
즉, 도3에 도시하는 주행 장면에 있어서, 자차량(V)의 룸 미러에 비치는 차량 후방의 영역의 미러 반사상은 예를 들어 도6과 같이 된다. 자차량(V)의 운전자는 이 룸 미러의 미러 반사상이 평소부터 눈에 익숙해져 있어, 미러 반사상에 나타내어지는 물체의 크기로부터 그 물체까지의 거리를 감각적으로 인식하고 있다. 이로 인해, 표시용 영상 중의 후속 차량(V1)의 크기가 룸 미러의 미러 반사상에서 확 인한 경우에 비해 작으면, 자차량(V)의 운전자는 이 표시용 영상을 보았을 때에 후속 차량(V1)이 실제보다도 멀리 존재하는 것이라 잘못 인식해 버리는 경우가 있다.
이와 같은 문제를 회피하기 위해서는, 표시용 영상으로서 디스플레이(4)에 표시하는 영상을 후방 카메라(1)로 촬영된 영상으로만 하고, 예를 들어 도7에 도시한 바와 같이 후방 카메라(1)로 촬영된 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈가 되도록 확대하여 디스플레이(4)에 표시시키는 것이 유효하다고 생각된다. 이에 의해, 후속 차량(V1)과의 차간 거리의 판단이 용이해진다. 또한, 단독 시점의 영상 쪽이 도5에 도시한 바와 같이 복수 시점의 영상을 동시에 표시하는 것보다도, 차량 후방의 상황을 순간적으로 이해하기 쉬운 장점도 있다. 그러나, 이 도7에 도시한 바와 같은 표시용 영상에서는, 예를 들어 도8에 도시하는 주행 장면에 있어서는 자차량(V)의 운전자에 대해 필요한 정보를 적절하게 제시할 수 없게 되는 등의 새로운 문제가 발생한다.
도8에 도시하는 주행 장면은 자차량(V)의 후방에 대형의 후속 차량(V2)이 접근하고 있고, 또한 자차량의 주행 차선의 우측 옆의 차선을, 후속 차량(V2)의 측방에 나란히 주행하도록 하여 다른 후속 차량(V3)이 주행하고 있는 주행 장면이다. 이 경우, 후속 차량(V2)의 접근에 의해 후속 차량(V2)의 측방에 후방 카메라(1)로는 촬영할 수 없는 사각 영역이 발생하므로, 도7에 도시한 표시용 영상과 마찬가지로 후방 카메라(1)로 촬영된 차량 후방의 영상을 확대하여 디스플레이(4)에 표시시키도록 하면, 디스플레이(4)에 표시되는 표시용 영상은 도9와 같이 되고, 후속 차량(V2)의 측방을 주행하고 있는 다른 후속 차량(V3)을 눈으로 확인하기 어렵게 되 어 버린다. 도8에 도시하는 주행 장면에서는, 자차량(V)의 운전자가 우측 옆의 차선으로의 차선 변경을 판단하는 경우에, 우측 옆의 차선을 후속 차량(V3)이 주행하고 있다는 상황은 매우 중요한 정보이다. 그러나, 디스플레이(4)에 표시되는 표시용 영상이 도9에 도시한 바와 같은 영상이면, 자차량(V)의 운전자는 이 표시용 영상으로부터 후속 차량(V3)의 존재를 정확하게 인식할 수 없어, 차선 변경의 판단을 잘못하는 경우가 있다.
그래서, 본 실시 형태의 차량용 주변 감시 장치에서는 영상 처리 유닛(10)에 있어서, 후속 차량의 접근에 의해 당해 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정한다. 그리고, 이와 같은 사각 영역이 발생하지 않고 있는 동안은, 도7에 도시한 바와 같이 후방 카메라(1)로 촬영된 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈가 되도록 확대하여 디스플레이(4)에 표시시킨다. 한편, 사각 영역이 발생하고 있다고 판정한 경우에는, 후방 카메라(1)로 촬영된 차량 후방의 영상에 우측 사이드 카메라(2) 또는 좌측 사이드 카메라(3)로 촬영된 사각 영역의 영상을 합성함으로써, 예를 들어 도10 혹은 도11에 도시한 바와 같은 표시용 영상을 생성하여 디스플레이(4)에 표시시키도록 하고 있다. 또한, 도10은 후방 카메라(1)의 촬영 영상 상에 있어서의 사각 영역이 되는 위치에 우측 사이드 카메라(2)로 촬영된 사각 영역의 영상을 중첩한 표시용 영상의 예이며, 도11은 후방 카메라(1)로 촬영된 차량 후방의 영상의 우측 옆에 우측 사이드 카메라(2)로 촬영된 사각 영역의 영상을 나열한 표시용 영상의 예이다.
여기서, 이상과 같은 영상 처리 유닛(10)에 의한 표시용 영상의 생성 처리에 대해 더욱 상세하게 설명한다. 이 영상 처리 유닛(10)은, 도1에 도시한 바와 같이 영상 입력부(11), 사각 판정부(판정 수단)(12), 표시용 영상 생성부(표시 제어 수단)(13), 영상 출력부(14)를 구비하고 있다.
영상 입력부(11)는 후방 카메라(1), 우측 사이드 카메라(2), 좌측 사이드 카메라(3)의 3대의 차량 탑재 카메라로 촬영된 영상을 각각 입력하는 것이며, RAM에 의해 구성되는 3개의 입력 영상 프레임 메모리(21, 22, 23)를 구비하고 있다. 입력 영상 프레임 메모리(21)는 후방 카메라(1)에 대응한 프레임 메모리이며, 입력 영상 프레임 메모리(22)는 우측 사이드 카메라(2)에 대응한 프레임 메모리이며, 입력 영상 프레임 메모리(23)는 좌측 사이드 카메라(3)에 대응한 프레임 메모리이다. 후방 카메라(1), 우측 사이드 카메라(2), 좌측 사이드 카메라(3)로 촬영된 영상은 각각 입력 영상 프레임의 사이즈에 맞게 디지털 신호로서, 프레임 단위로 입력 영상 프레임 메모리(21, 22, 23)에 각각 저장된다.
사각 판정부(12)는 후속 차량의 접근에 의해 당해 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정한다. 구체적으로는, 사각 판정부(12)는 영상 입력부(11)의 입력 영상 프레임 메모리(21)에 저장된 후방 카메라(1)의 촬영 영상에 대해 에지 검출이나 패턴 인식 처리 등의 화상 처리를 실시하여, 자차량(V)의 주행 차선 상에서 자차량(V)의 후방에 접근하고 있는 후속 차량을 검출한다. 그리고, 자차량(V)의 후방에 접근하고 있는 후속 차량이 검출된 경우에는, 도12에 도시한 바와 같이 그 후속 차량의 형상을 직사각형 의 프레임(F)으로 근사하게 하여, 후방 카메라(1)의 촬영 영상 중에 있어서의 프레임(F)의 위치 및 그 크기로부터 후속 차량의 위치와 크기를 계산한다. 즉, 차량 후방의 영역에 있어서의 실제 위치와 후방 카메라(1)의 촬영 영상에 있어서의 좌표계의 위치의 관계는, 후방 카메라(1)의 설치 위치나 설치 각도, 화각 등으로부터 일의로 특정할 수 있으므로, 후방 카메라(1)의 촬영 영상 중에 있어서의 프레임(F)의 하단부의 위치로부터 차량 후방의 영역에 있어서의 후속 차량의 위치[자차량(V)과 후속 차량 사이의 차간 거리]를 구할 수 있다. 또한, 이와 같이 구한 후속 차량의 위치와, 후방 카메라(1)의 촬영 영상 중에 있어서의 프레임(F)의 좌우 폭으로부터 후속 차량의 크기(차폭)를 구할 수 있다.
또한, 여기서는 후방 카메라(1)로 촬영된 차량 후방의 영상에 대해 화상 처리를 행함으로써 후속 차량의 위치나 크기를 구하도록 하고 있지만, 차량 탑재용 밀리파 레이더(15)나 레이저 레이더 등의 물체 검출 장치를 자차량(V)에 탑재하고 있는 경우에는, 이 물체 검출 장치에서 검출된 정보를 기초로 하여, 혹은 후방 카메라(1)의 촬영 영상에 대한 화상 처리의 결과와 물체 검출 장치에서 검출된 정보와의 양방을 기초로 하여 후속 차량의 위치나 크기를 구하도록 해도 좋다.
사각 판정부(12)는 이상과 같이 구한 후속 차량의 위치와 크기를 기초로, 이 후속 차량의 접근에 의해 이 후속 차량 측방에 후방 카메라(1)로는 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정한다. 예를 들어, 도13에 도시한 바와 같이, 3개의 주행 차선의 한가운데를 자차량(V)이 주행하고 있고, 자차량(V)의 후방에 트럭 등의 후속 차량(V2)이 추종하고 있는 경우를 예로 설명을 행한다. 도13 에 도시하는 바와 같은 경우에, 자차량(V)과 후속 차량(V2)의 거리(L1)와, 후속 차량(V2)의 차폭(W)에 대해서는, 전술한 바와 같은 순서에 의해 검출되고 있다. 여기서, 후방 카메라(1)가 설치되어 있는 차량 단부를 차량 좌우측으로 연장한 선과 인접 차선의 중앙선(L2)이 교차하는 점을 M1이라 하고, 후방 카메라(1)로부터 후속 차량(V2)의 단부를 연결하여 연장한 선을 L3이라 하고, 중앙선(L2)과 L3과의 교점을 M2라 한다. 여기서 중앙선(L2)의 거리가 소정의 임계치 이하인 경우에, 후속 차량(V2)의 측방에 사각이 발생하고 있다고 판정한다. 즉, 자차량(V)에 대해, 후속 차량(V2)이 어느 정도의 거리를 유지하고 주행하고 있는 경우에는, 중앙선(L2)의 거리는 길고, 사각도 발생하고 있지 않지만, 후속 차량(V2)이 접근하고 있는 경우에는 중앙선(L2)의 거리도 짧아지고, 사각이 발생하고 있을 가능성이 높다. 혹은, 단순히 자차량(V)과 후속 차량(V2) 사이의 차간 거리(L1)가 소정의 임계치 이하가 된 경우에, 후속 차량(V2)의 측방에 사각 영역이 발생하고 있다고 판정하도록 해도 좋다. 또한, 자차량(V)의 후방에 후속 차량이 존재하는 상황에서는 다소라도 후방 카메라(1)로 촬영할 수 없는 사각이 발생하지만, 경미한 사각은 차량 주변 감시의 목적에서는 무시할 수 있으므로, 여기서는 인접 차선을 주행하는 다른 후속 차량이나 이륜차 등이 가려지는 정도의 크기의 사각을 사각 영역이라 부른다.
사각 판정부(12)는 이상과 같은 방법으로 후속 차량의 접근에 의해 당해 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하고, 사각 영역이 발생하고 있다고 판정한 경우에는, 사각 영역이 발생하고 있는 취지의 정보를 표시용 영상 생성부(13)에 대해 출력한다.
표시용 영상 생성부(13)는 사각 판정부(12)로부터 사각 영역이 발생하고 있는 취지의 정보가 출력되고 있지 않은 동안은, 후방 카메라(1)의 촬영 영상을 이용하여, 예를 들어 도7에 도시한 바와 같이 차량 후방의 영상을 룸 미러의 미러 반사 상과 동등한 영상 사이즈로 확대한 표시용 영상을 생성한다. 또한, 디스플레이(4)의 표시 영역이 충분한 크기를 갖는 경우에는, 차량 후방의 영상뿐만 아니라 차량 후측방의 영상도 부가하여 표시용 영상을 생성하도록 해도 좋다.
이 표시용 영상의 생성은, 예를 들어 영상 입력부(11)의 입력 영상 프레임 메모리(21)에 프레임 단위로 저장된 후방 카메라(1)의 촬영 영상의 픽셀 데이터를 정의 테이블에 따라서 영상 출력부(14)의 출력 영상 프레임 메모리(24)에 재배치함으로써 실현할 수 있다. 여기서 사용하는 정의 테이블은 후방 카메라(1)로 촬영된 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈로 확대하는 경우에, 출력 영상 프레임 메모리(24)에 저장하는 각 픽셀이 입력 영상 프레임 메모리(21)의 좌표계(카메라 좌표계)의 어느 장소에 대응하는지 대응 관계를 규정하고 있다.
또한, 표시용 영상 생성부(13)는 사각 판정부(12)로부터 사각 영역이 발생하고 있는 취지의 정보가 출력되면, 후방 카메라(1)의 촬영 영상과, 우측 사이드 카메라(2) 또는 좌측 사이드 카메라(3)의 촬영 영상을 이용하여, 예를 들어 도10 혹은 도11에 도시한 바와 같이, 후방 카메라(1)로 촬영된 차량 후방의 영상에 우측 사이드 카메라(2) 또는 좌측 사이드 카메라(3)로 촬영된 사각 영역의 영상을 합성한 표시용 영상을 생성한다. 이 표시용 영상의 생성은, 예를 들어 상술한 정의 테 이블을 이용하여 후방 카메라(1)의 촬영 영상의 픽셀 데이터를 영상 출력부(14)의 출력 영상 프레임 메모리(23)에 재배치하는 동시에, 입력 영상 프레임 메모리(22)에 저장된 우측 사이드 카메라(2)의 촬영 영상이나 입력 영상 프레임 메모리(23)에 저장된 좌측 사이드 카메라(3)의 촬영 영상으로부터 사각 영역에 상당하는 영상 부분의 픽셀 데이터를 취출하여, 이 사각 영역에 상당하는 영상 부분의 픽셀 데이터를 영상 출력부(14)의 출력 영상 프레임 메모리(24) 상의 소정 위치에 복사함으로써 실현할 수 있다.
우측 사이드 카메라(2)의 촬영 영상이나 좌측 사이드 카메라(3)의 촬영 영상으로부터 취출한 사각 영역에 상당하는 영상 부분의 복사처(copy destination)는, 예를 들어 후방 카메라(1)로 촬영된 차량 후방의 영상의 사각 영역이 되는 위치, 혹은 후방 카메라(1)로 촬영된 차량 후방의 영상의 좌우에 인접한 위치이다. 이 사각 영역에 상당하는 영상 부분의 복사처를 미리 정해 두면, 복사원(copy source)의 입력 영상 프레임 메모리(22, 23)의 각 픽셀과, 복사처가 되는 출력 영상 프레임 메모리(24)의 위치와의 대응 관계가 특정되므로, 이 대응 관계를 미리 사각 영역용 정의 테이블에 규정해 둠으로써, 도10 혹은 도11에 나타낸 바와 같은 표시용 영상을 간편하게 생성할 수 있다.
또한, 도10이나 도11에 도시한 표시용 영상의 예는, 자차량(V)의 우측 추월 차량에 주목하여, 사각 영역 발생시에 우측 사이드 카메라(2)로 촬영된 사각 영역의 영상만을 후방 카메라(1)로 촬영한 차량 후방의 영상에 합성한 것이지만, 물론, 우측 사이드 카메라(2)로 촬영된 사각 영역의 영상과 좌측 사이드 카메라(3)로 촬 영된 사각 영역의 영상의 양방을 후방 카메라(1)로 촬영한 차량 후방의 영상에 합성하도록 해도 좋고, 자차량(V)이 현재 주행하고 있는 차선이나 주행 속도 등의 주행 상황에 따라서 우측 사이드 카메라(2)로 촬영된 사각 영역의 영상과 좌측 사이드 카메라(3)로 촬영된 사각 영역의 영상 중 어느 쪽을 합성할지를 자동적으로 판단하는 구성으로 해도 좋다. 또한, 자차량(V)의 운전자에 의한 차선 변경 등의 의도에 따라서 합성하는 영상을 바꾸는 구성으로 해도 좋다. 단, 어떠한 경우도 표시용 영상을 바꾸는 트리거가 되는 것은, 후속 차량의 접근에 의해 당해 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부의 판정 결과이다.
영상 출력부(14)는 표시용 영상 생성부(13)에서 생성된 표시용 영상을 디스플레이(4)에 대해 출력하는 것으로, RAM에 의해 구성되는 출력 영상 프레임 메모리(24)를 구비한다. 이 출력 영상 프레임 메모리(24)에는, 상술한 바와 같이 표시용 영상 생성부(13)에 의해 생성된 표시용 영상의 영상 데이터가 저장된다. 영상 출력부(14)는 이 출력 영상 프레임 메모리(24)에 저장된 표시용 영상의 영상 데이터를 디스플레이(4)에 수시 출력한다. 이에 의해, 자차량(V)의 후방에 후속 차량이 접근하고 있지 않은 상황에서는, 예를 들어 도7에 도시한 바와 같이, 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈로 확대한 표시용 영상이 디스플레이(4)에 표시되고, 후속 차량이 자차량(V)에 접근함으로써 후속 차량의 측방에 사각 영역이 발생하고 있는 상황에서는, 예를 들어 도10 혹은 도11에 도시한 바와 같이 후방 카메라(1)로 촬영된 차량 후방의 영상에 우측 사이드 카메라(2) 또 는 좌측 사이드 카메라(3)로 촬영된 사각 영역의 영상을 합성한 표시용 영상이 디스플레이(4)에 표시된다.
그런데, 사각 발생시에 도10 혹은 도11에 도시한 바와 같은 표시용 영상을 디스플레이(4)에 표시시키도록 한 경우, 예를 들어 도14에 도시하는 주행 장면과 같이 후속 차량(V2)보다도 자차량(V) 근방의 위치에 이륜차 등의 장해물(M)이 존재하고, 또한 이 장해물[이륜차 등]이 후방 카메라(1)의 촬영 범위에 들어가지 않거나 혹은 들어갔다고 해도 일부분밖에 들어가지 않는 상황에서는, 합성된 영상에서는 이 장해물(M)이 감추어져 버려, 표시용 영상 상에서 이 장해물(M)을 확인할 수 없게 되는 것도 우려된다. 예를 들어, 도14에 도시하는 주행 장면에 있어서, 후속 차량(V2)의 접근에 의해 후속 차량(V2)의 측방에 사각 영역이 발생하고 있다고 판정되어, 후방 카메라(1)로 촬영된 차량 후방의 영상의 우측 옆에 우측 사이드 카메라(2)로 촬영된 사각 영역의 영상을 합성하여 표시용 영상을 생성하면, 디스플레이(4)에는 도15의 (a)에 도시하는 표시용 영상이 표시되게 되고, 이륜차 등의 장해물(M)의 존재를 인식하기 어려워진다.
그래서, 자차량(V)의 근방에 존재하는 이륜차 등의 장해물(M)을 검지하는 수단을 영상 처리 유닛(10)에 마련하도록 하고, 사각 발생시에 이 검지 수단에 의해 장해물(M)이 검지되었을 때에는, 표시용 영상 생성부(13)가 이 장해물(M)의 존재를 인식할 수 있는 표시용 영상을 생성하여 디스플레이(4)에 표시시키는 것이 바람직하다. 구체적으로는, 표시용 영상 생성부(13)는 사각 발생시에 자차량(V) 근방의 장해물(M)이 검지되면, 예를 들어 도15의 (b)에 도시한 바와 같이 장해물(M)의 존 재를 확인할 수 있을 정도로 후방 카메라(1)로 촬영된 차량 후방의 영상 범위를 확대하여 표시용 영상을 생성하거나, 혹은 도15의 (c)에 도시한 바와 같이 생성한 표시용 영상 상에서 장해물(M)의 위치에 장해물(M)이 존재하는 것을 나타내는 아이콘 등을 중첩하여 디스플레이(4)에 표시시킨다. 이에 의해, 이륜차 등의 장해물(M)이 자차량(V) 근방에 존재하고 있는 것을 자차량(V)의 운전자에 인식시킬 수 있다. 또한, 상술한 장해물(M)의 검지는, 예를 들어 사각 판정부(12)에 있어서의 사각 영역의 판정 처리와 마찬가지로, 후방 카메라(1)의 촬영 영상에 대해 에지 검출이나 패턴 인식 처리 등의 화상 처리를 행하거나, 혹은 차량 탑재용 밀리파 레이더(15)나 레이저 레이더 등의 물체 검출 장치를 구비하는 경우에는 그 검출 결과를 사용함으로써 실현할 수 있다.
이상, 구체적인 예를 들면서 상세하게 설명한 바와 같이, 본 실시 형태의 차량용 주변 감시 장치에 따르면, 자차량(V)의 후방에 후속 차량이 접근하고 있지 않은 상황에서는, 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈로 확대한 표시용 영상이 디스플레이(4)에 표시되므로, 자차량(V)의 운전자에 대해 차량 후방의 영상을 정확한 거리감으로 파악시킬 수 있다. 또한, 본 실시 형태의 차량용 주변 감시 장치에 따르면, 후속 차량이 자차량(V)에 접근함으로써 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는 상황에서는, 후방 카메라(1)로 촬영된 차량 후방의 영상에 우측 사이드 카메라(2) 또는 좌측 사이드 카메라(3)로 촬영된 사각 영역의 영상을 합성한 표시용 영상이 디스플레이(4)에 표시되므로, 사각 영역이 되는 후속 차량의 측방의 상황도 자차량(V)의 운전자에게 제시할 수 있다.
[제2 실시 형태]
다음에, 본 발명의 제2 실시 형태에 대해 설명한다. 본 실시 형태는 영상 촬영 수단으로서 후방 카메라(1)만을 구비하는 구성의 차량용 주변 감시 장치에의 적용예이다. 도16은 본 실시 형태의 차량용 주변 감시 장치의 구성을 나타내는 블럭도, 도17은 후방 카메라(1)의 촬영 범위와 표시용 영상에 이용하는 영상 범위와의 관계를 나타내는 도면이다.
본 실시 형태의 차량용 주변 감시 장치에서는, 자차량(V)의 후방부에 설치된 후방 카메라(1)에 의해 차량 후방 및 차량 후측방 영상을 촬영하고, 자차량(V)의 후방을 주행하고 있는 후속 차량이 자차량(V)에 접근하고 있지 않은 상황에서는, 후방 카메라(1)로 촬영된 영상으로부터 차량 후방의 영상만을 확대하여 디스플레이(4)에 표시시키고, 자차량(V)의 후방을 주행하고 있는 후속 차량이 자차량(V)에 접근함으로써 후속 차량의 측방에 차량 후방의 영상으로서 촬영할 수 없는 사각 영역이 발생하고 있는 상황에서는, 후방 카메라(1)로 촬영된 차량 후방 및 차량 후측방 영상을 디스플레이(4)에 표시시킨다. 또한, 차량 주변 감시 장치의 구성으로서는, 도16에 도시한 바와 같이 우측 사이드 카메라(2) 및 좌측 사이드 카메라(3)와, 이들 우측 사이드 카메라(2) 및 좌측 사이드 카메라(3)의 촬영 영상이 저장되는 입력 영상 프레임 메모리(22, 23)가 설치되어 있지 않은 것 이외는, 상술한 제1 실시 형태와 마찬가지이므로, 이하, 제1 실시 형태와 같은 구성에 대해서는 동일 부호를 이용하여 설명한다.
후방 카메라(1)는 제1 실시 형태에서 설명한 바와 같이, 예를 들어 루프 스포일러 등의 차량 후방부의 소정 위치에 설치되고, 예를 들어 도17 중 A1로 나타내는 차량 후방 및 차량 후측방의 비교적 넓은 영역의 영상을 촬영하는 것이 가능하게 되어 있다. 여기서, 차량 후방의 영역이라 함은, 자차량(V)의 전후 축을 차량 후방으로 연장한 연장선을 중심으로 한 소정 범위의 영역이며, 예를 들어 자차량(V)의 운전자가 룸 미러로 확인할 수 있는 범위의 영역(도17 중 B1로 나타내는 영역)이다. 또한, 차량 후측방의 영역이라 함은, 이상과 같은 차량 후방의 영역보다도 좌우 외측에 위치하는 영역이며, 예를 들어 자차량(V)의 운전자가 도어 미러로 확인할 수 있는 범위의 영역(도17 중 B2, B3으로 나타내는 영역)이다.
이 후방 카메라(1)로 촬영된 차량 후방 및 차량 후측방의 영상은 디지털화되어, 프레임 단위로 영상 처리 유닛(10)의 영상 입력부(11)에 설치된 입력 영상 프레임 메모리(21)에 저장된다.
영상 처리 유닛(10)의 사각 판정부(12)는 후속 차량의 접근에 의해 당해 후속 차량의 측방에 후방 카메라(1)로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를, 제1 실시 형태와 같은 방법에 의해 판정한다. 즉, 사각 판정부(12)는 후방 카메라(1)의 촬영 영상에 대해 에지 검출이나 패턴 인식 처리 등의 화상 처리를 행함으로써, 혹은 차량 탑재용 밀리파 레이더나 레이저 레이더 등의 물체 검출 장치를 구비하는 경우에는 그 검출 결과를 이용하여 후속 차량의 위치나 크기를 구한다. 그리고, 후속 차량의 위치나 크기를 기초로 하여 차량 후방의 인접 차선에 있어서 후방 카메라(1)로 촬영할 수 있는 눈으로 확인 가능한 거리를 구하고, 이 눈 으로 확인 가능한 거리가 소정의 임계치 이하로 되어 있는지 여부, 혹은 자차량(V)과 후속 차량 사이의 차간 거리가 소정의 임계치 이하로 되어 있는지 여부에 의해 사각 영역의 발생 유무를 판정한다. 그리고, 사각 영역이 발생하고 있다고 판정한 경우에는, 사각 영역이 발생하고 있는 취지의 정보를 표시용 영상 생성부(13)에 대해 출력한다.
표시용 영상 생성부(13)는 사각 판정부(12)로부터 사각 영역이 발생하고 있는 취지의 정보가 출력되고 있지 않은 동안은, 후방 카메라(1)로 촬영된 영상으로부터 차량 후방의 영상(도17 중 B1로 나타내는 영역의 영상)을 잘라내어, 이 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈로 확대하여 표시용 영상을 생성한다. 이 표시용 영상의 생성은 제1 실시 형태와 마찬가지로, 영상 입력부(11)의 입력 영상 프레임 메모리(21)에 프레임 단위로 저장된 후방 카메라(1)의 촬영 영상의 픽셀 데이터를 정의 테이블에 따라서 영상 출력부(14)의 출력 영상 프레임 메모리(24)에 재배치함으로써 실현할 수 있다.
또한, 표시용 영상 생성부(13)는 사각 판정부(12)로부터 사각 영역이 발생하고 있는 취지의 정보가 출력되면, 후방 카메라(1)로 촬영된 차량 후방 및 차량 후측방의 영상(도17 중 B1, B2, B3으로 나타내는 영역의 영상)을 디스플레이(4)의 표시 영역에 맞춘 영상 사이즈로 변환하여 표시용 영상을 생성한다. 이 표시용 영상의 생성도 차량 후방과 차량 후측방을 포함하는 광역 영상에 대응한 정의 테이블을 이용하여 입력 영상 프레임 메모리(21)에 저장된 후방 카메라(1)의 촬영 영상의 픽셀 데이터를 출력 영상 프레임 메모리(24)에 재배치함으로써 실현할 수 있다.
본 실시 형태에서는 이상과 같이 표시용 영상 생성부(13)에서 생성하는 표시용 영상을 사각 발생의 유무에 따라서 차량 후방의 확대 영상과 차량 후방 및 차량 후측방의 광역 영상으로 절환함으로써, 차량 후방의 영상을 자차량(V)의 운전자가 정확한 거리감으로 파악할 수 있도록 표시시키면서, 후속 차량의 접근에 의한 사각 발생에도 대응시켜 필요한 정보를 자차량(V)의 운전자에게 정확하게 제시할 수 있도록 하고 있다.
여기서, 도18에 도시하는 주행 장면을 예로 들어 본 실시 형태에 있어서의 표시용 영상의 절환에 대해 설명한다. 도18에 도시하는 주행 장면은 자차량(V)의 후방에 대형의 후속 차량(V2)이 접근하고 있고, 또한 자차량의 주행 차선의 우측 옆의 차선을, 후속 차량(V2)의 측방에 나란히 주행하도록 하여 다른 후속 차량(V3)이 주행하고 있는 주행 장면이다. 또한, 도18 중 B1이 후방 카메라(1)로 촬영되는 차량 후방의 영역이며, B2, B3이 후방 카메라(1)로 촬영되는 차량 후측방 영역이다.
이 도18에 도시하는 주행 장면에서는, 후속 차량(V2)이 자차량(V)에 접근함으로써 후속 차량(V2)의 측방에 사각 영역이 발생하지만, 우측 옆의 차선을 주행하고 있는 다른 후속 차량(V3)은 일부가 사각 영역의 외측에 위치하므로, 이 후속 차량(V3)의 일부는 후방 카메라(1)에 의해 촬영 가능하다. 이때, 후방 카메라(1)로 촬영된 차량 후방의 영상(도18 중 B1로 나타내는 영역의 영상)만을 확대하여 표시용 영상으로 하면, 후속 차량(V3)은 후방 카메라(1)로 촬영 가능함에도 불구하고 표시용 영상으로서는 표시되지 않는 것이 되고, 자차량(V)의 운전자는 이 표시용 영상으로부터 후속 차량(V3)의 존재를 정확하게 인식할 수 없게 된다. 그래서, 본 실시 형태에서는 후속 차량(V2)이 자차량(V)에 접근함으로써 후속 차량(V2)의 측방에 사각 영역이 발생한 경우에, 표시용 영상으로서 표시하는 영상을 차량 후방의 확대 영상으로부터 차량 후방 및 차량 후측방을 포함하는 광역 영상(도18 중 B1, B2, B3으로 나타내는 영역의 영상)으로 절환함으로써, 후속 차량(V3)의 존재를 자차량(V)의 운전자가 인식할 수 있도록 하고 있다.
영상 출력부(14)는 제1 실시 형태와 마찬가지로, 표시용 영상 생성부(13)에서 작성되고 출력 영상 프레임 메모리(24)에 저장된 표시용 영상의 영상 데이터를 디스플레이(4)에 수시 출력한다. 이에 의해, 자차량(V)의 후방에 후속 차량이 접근하고 있지 않은 상황에서는, 예를 들어 도7에 도시한 바와 같이 차량 후방의 영상을 룸 미러의 미러 반사상과 동등한 영상 사이즈로 확대한 표시용 영상이 디스플레이(4)에 표시된다. 또한, 후속 차량이 자차량(V)에 접근함으로써 후속 차량의 측방에 사각 영역이 발생하고 있는 상황에서는, 예를 들어 도19에 도시한 바와 같이 차량 후방 및 차량 후측방의 광역 영상이 디스플레이(4)에 표시된다. 이 도19에 도시하는 표시용 영상은 도18에 도시한 주행 장면에 있어서 디스플레이(4)에 표시되는 영상이다. 자차량(V)의 운전자는 이 도19에 나타내는 표시용 영상으로부터 자차량(V)에 접근하고 있는 후속 차량(V2)의 측방에 다른 후속 차량(V3)이 존재하는 것을 인식할 수 있다.
이상, 구체적인 예를 들면서 상세하게 설명한 바와 같이, 본 실시 형태의 차량용 주변 감시 장치에 따르면, 자차량(V)의 후방에 후속 차량이 접근하고 있지 않 은 상황에서는, 차량 후방의 확대 영상이 디스플레이(4)에 표시되므로, 자차량(V)의 운전자에 대해 차량 후방의 영상을 정확한 거리감으로 파악시킬 수 있다. 또한, 본 실시 형태의 차량용 주변 감시 장치에 따르면, 후속 차량이 자차량(V)에 접근함으로써 후속 차량의 측방에 사각 영역이 발생하고 있는 상황에서는, 차량 후방 및 차량 후측방의 광역 영상이 디스플레이(4)에 표시되므로, 후속 차량의 접근에 의한 사각 발생에도 대응시켜 필요한 정보를 자차량(V)의 운전자에게 제시할 수 있다.
또한, 이상에서 설명한 제1 및 제2 실시 형태는 본 발명의 일 적용예이며, 본 발명의 기술적 범위가 이상의 각 실시 형태에서 설명한 내용에 한정되는 것을 의도하는 것은 아니다. 즉, 본 발명의 기술적 범위는 이상의 각 실시 형태에서 개시한 구체적인 기술 사항에 한하지 않고, 이 개시로부터 용이하게 유도할 수 있는 다양한 변형, 변경, 대체 기술 등도 포함하는 것이다.
도1은 제1 실시 형태의 차량용 주변 감시 장치의 구성을 도시하는 블록도.
도2는 제1 실시 형태의 차량용 주변 감시 장치가 구비하는 차량 탑재 카메라의 배치예를 나타내는 도면.
도3은 자차량의 후방의 이격된 위치에 후속 차량이 주행하고 있는 주행 장면을 도시하는 모식도.
도4는 도3의 주행 장면에 있어서 3대의 차량 탑재 카메라에 의해 촬영되는 영상의 구체예를 나타내는 도면으로, (a)는 후방 카메라의 촬영 영상을 도시하는 도면, (b)는 우측 사이드 카메라의 촬영 영상을 도시하는 도면, (c)는 좌측 사이드 카메라의 촬영 영상을 도시하는 도면.
도5는 도4에 도시한 3대의 차량 탑재 카메라의 촬영 영상을 가로로 나열하여 디스플레이에 표시한 경우의 영상 표시예를 나타내는 도면.
도6은 도3의 주행 장면에 있어서 자차량의 룸 미러에 비치는 차량 후방 영역의 미러 반사상을 도시하는 도면.
도7은 제1 실시 형태의 차량용 주변 감시 장치에 있어서, 사각 영역이 발생하고 있지 않은 상황에서 디스플레이에 표시되는 표시용 영상의 일례를 나타내는 도면.
도8은 자차량의 후방에 대형의 후속 차량이 접근하고 있는 주행 장면을 도시하는 모식도.
도9는 도8의 주행 장면에 있어서 차량 후방의 영상을 확대하여 디스플레이에 표시한 경우의 영상 표시예를 나타내는 도면.
도10은 제1 실시 형태의 차량용 주변 감시 장치에 있어서, 사각 영역이 발생한 상황에서 디스플레이에 표시되는 표시용 영상의 일례를 나타내는 도면.
도11은 제1 실시 형태의 차량용 주변 감시 장치에 있어서, 사각 영역이 발생한 상황에서 디스플레이에 표시되는 표시용 영상의 다른 예를 나타내는 도면.
도12는 후방 카메라의 촬영 영상을 화상 처리하여 자차량에 접근하고 있는 후속 차량을 검출하는 방법을 설명하는 도면.
도13은 사각 영역이 발생하고 있는지 여부를 판정하는 구체적인 방법의 일례를 설명하는 도면.
도14는 후속 차량보다도 자차량 근방의 위치에 이륜차 등의 장해물이 존재하는 주행 장면을 도시하는 모식도.
도15는 도14의 주행 장면에 있어서 디스플레이에 표시되는 표시용 영상을 나타내는 도면으로, (a)는 후방 카메라로 촬영된 차량 후방의 영상의 우측 옆에 우측 사이드 카메라로 촬영된 사각 영역의 영상을 단순히 합성한 경우의 표시예를 나타내는 도면, (b)는 장해물의 존재를 확인할 수 있을 정도로 후방 카메라로 촬영된 차량 후방의 영상 범위를 확대한 경우의 표시예를 나타내는 도면, (c)는 후방 카메라로 촬영된 차량 후방의 영상의 우측 옆에 우측 사이드 카메라로 촬영된 사각 영역의 영상을 합성하고, 장해물의 위치에 장해물이 존재하는 것을 나타내는 아이콘을 중첩한 경우의 표시예를 나타내는 도면.
도16은 제2 실시 형태의 차량용 주변 감시 장치의 구성을 나타내는 블록도.
도17은 제2 실시 형태의 차량용 주변 감시 장치가 구비하는 후방 카메라의 촬영 범위와 표시용 영상에 이용하는 영상 범위의 관계를 나타내는 도면.
도18은 자차량의 후방에 대형의 후속 차량이 접근하고 있는 주행 장면을 도시하는 모식도.
도19는 제2 실시 형태의 차량용 주변 감시 장치에 있어서, 사각 영역이 발생한 상황에서 디스플레이에 표시되는 표시용 영상의 일례를 나타내는 도면.
<도면의 주요 부분에 대한 부호의 설명>
1 : 후방 카메라
2 : 우측 사이드 카메라
3 : 좌측 사이드 카메라
4 : 디스플레이
10 : 영상 처리 유닛
12 : 사각 판정부
13 : 표시용 영상 생성부
14 : 영상 출력부
21, 22, 23 : 입력 영상 프레임 메모리
24 : 출력 영상 프레임 메모리
V : 자차량

Claims (11)

  1. 차량 후방 및 차량 후측방을 촬영 가능한 영상 촬영 수단으로 촬영한 영상을 차량 내부의 영상 표시 수단에 표시하는 차량용 주변 감시 장치이며,
    차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 상기 영상 촬영 수단으로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하고, 상기 사각 영역이 발생하고 있다고 판정한 경우에, 상기 영상 촬영 수단과는 다른 시점 위치로부터 영상을 촬영하는 다른 영상 촬영 수단으로 촬영한 상기 사각 영역의 영상을 상기 영상 촬영 수단으로 촬영한 영상에 합성하여 상기 영상 표시 수단에 표시하는 것을 특징으로 하는 차량용 주변 감시 장치.
  2. 차량 후방 및 차량 후측방을 촬영 가능한 제1 영상 촬영 수단과,
    상기 제1 영상 촬영 수단과는 다른 시점 위치로부터 영상을 촬영하는 제2 영상 촬영 수단과,
    차량 내부에 마련된 영상 표시 수단과,
    차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 상기 제1 영상 촬영 수단으로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하는 판정 수단과,
    상기 판정 수단에 의해 상기 사각 영역이 발생하고 있지 않다고 판정된 경우에는 상기 제1 영상 촬영 수단에 의해 촬영된 영상을 상기 영상 표시 수단에 표시 시키고, 상기 판정 수단에 의해 상기 사각 영역이 발생하고 있다고 판정된 경우에는 상기 제2 영상 촬영 수단에 의해 촬영된 상기 사각 영역의 영상을 상기 제1 영상 촬영 수단에 의해 촬영된 영상에 합성하여 상기 영상 표시 수단에 표시시키는 표시 제어 수단을 구비하는 것을 특징으로 하는 차량용 주변 감시 장치.
  3. 제2항에 있어서, 상기 표시 제어 수단은 상기 제1 영상 촬영 수단에 의해 촬영된 영상으로부터 차량 후방의 영상을 잘라내어 상기 영상 표시 수단에 표시시키는 것을 특징으로 하는 차량용 주변 감시 장치.
  4. 제2항 또는 제3항에 있어서, 상기 표시 제어 수단은 상기 판정 수단에 의해 상기 사각 영역이 발생하고 있다고 판정된 경우에, 상기 제1 영상 촬영 수단에 의해 촬영된 영상 상의 상기 사각 영역이 되는 위치에, 상기 제2 영상 촬영 수단에 의해 촬영된 상기 사각 영역의 영상을 중첩하여 상기 영상 표시 수단에 표시시키는 것을 특징으로 하는 차량용 주변 감시 장치.
  5. 제2항 또는 제3항에 있어서, 상기 표시 제어 수단은 상기 판정 수단에 의해 상기 사각 영역이 발생하고 있다고 판정된 경우에, 상기 제1 영상 촬영 수단에 의해 촬영된 영상의 옆에 상기 제2 영상 촬영 수단에 의해 촬영된 상기 사각 영역의 영상을 나열하여 상기 영상 표시 수단에 표시시키는 것을 특징으로 하는 차량용 주변 감시 장치.
  6. 제2항 또는 제3항에 있어서, 상기 판정 수단은 상기 제1 영상 촬영 수단에 의해 촬영된 영상을 해석하여 상기 사각 영역이 발생하고 있는지 여부를 판정하는 것을 특징으로 하는 차량용 주변 감시 장치.
  7. 제2항 또는 제3항에 있어서, 상기 후속 차량보다도 차량 근방의 위치에 존재하는 장해물을 검지하는 검지 수단을 더 구비하고,
    상기 표시 제어 수단은 상기 판정 수단에 의해 상기 사각 영역이 발생하고 있다고 판정되고, 또한 상기 검지 수단에 의해 상기 장해물이 검지된 경우에는, 상기 제1 영상 촬영 수단에 의해 촬영된 영상과 상기 제2 영상 촬영 수단에 의해 촬영된 영상을 합성하는 동시에, 상기 장해물의 위치에 아이콘을 중첩하여 상기 영상 표시 수단에 표시시키는 것을 특징으로 하는 차량용 주변 감시 장치.
  8. 차량 후방 및 차량 후측방을 촬영 가능한 영상 촬영 수단으로 촬영한 영상을 차량 내부의 영상 표시 수단에 표시하는 차량용 주변 감시 장치이며,
    차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 상기 영상 촬영 수단으로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하고, 상기 사각 영역이 발생하고 있지 않다고 판정한 경우에는 상기 영상 촬영 수단으로 촬영한 영상으로부터 차량 후방의 영상을 잘라내어 상기 영상 표시 수단에 표시하고, 상기 사각 영역이 발생하고 있다고 판정한 경우에는 상기 영상 촬영 수단으로 촬영한 차량 후방 및 차량 후측방 영상을 상기 영상 표시 수단에 표시하는 것을 특징으로 하는 차량용 주변 감시 장치.
  9. 차량 후방 및 차량 후측방을 촬영 가능한 영상 촬영 수단과,
    차량 내부에 마련된 영상 표시 수단과,
    차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 상기 영상 촬영 수단으로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하는 판정 수단과,
    상기 판정 수단에 의해 상기 사각 영역이 발생하고 있지 않다고 판정된 경우에는 상기 영상 촬영 수단에 의해 촬영된 영상으로부터 차량 후방의 영상을 잘라내어 상기 영상 표시 수단에 표시시키고, 상기 판정 수단에 의해 상기 사각 영역이 발생하고 있다고 판정된 경우에는 상기 영상 촬영 수단에 의해 촬영된 차량 후방 및 차량 후측방의 영상을 상기 영상 표시 수단에 표시시키는 표시 제어 수단을 구비하는 것을 특징으로 하는 차량용 주변 감시 장치.
  10. 차량 후방 및 차량 후측방을 촬영 가능한 영상 촬영 수단으로 촬영한 영상을 차량 내부의 영상 표시 수단에 표시할 때에, 차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 상기 영상 촬영 수단으로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하고, 상기 사각 영역이 발생하고 있다고 판정한 경우에 상기 영상 촬영 수단과는 다른 시점 위치로부터 영상을 촬영하는 다른 영상 촬영 수단으로 촬영한 상기 사각 영역의 영상을, 상기 영상 촬영 수단으로 촬영한 영상에 합성하여 상기 영상 표시 수단에 표시하는 것을 특징으로 하는 영상 표시 방법.
  11. 차량 후방 및 차량 후측방을 촬영 가능한 영상 촬영 수단으로 촬영한 영상을 차량 내부의 영상 표시 수단에 표시할 때에, 차량 후방의 후속 차량의 접근에 의해 당해 후속 차량의 측방에 상기 영상 촬영 수단으로 촬영할 수 없는 사각 영역이 발생하고 있는지 여부를 판정하고, 상기 사각 영역이 발생하고 있지 않다고 판정한 경우에는 상기 영상 촬영 수단으로 촬영한 영상으로부터 차량 후방의 영상을 잘라내어 차량 내부의 영상 표시 수단에 표시하고, 상기 사각 영역이 발생하고 있다고 판정한 경우에는 상기 영상 촬영 수단으로 촬영한 차량 후방 및 차량 후측방의 영상을 상기 영상 표시 수단에 표시하는 것을 특징으로 하는 영상 표시 방법.
KR1020080093548A 2007-09-26 2008-09-24 차량용 주변 감시 장치 및 영상 표시 방법 KR100936558B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007249476A JP5347257B2 (ja) 2007-09-26 2007-09-26 車両用周辺監視装置および映像表示方法
JPJP-P-2007-00249476 2007-09-26

Publications (2)

Publication Number Publication Date
KR20090031997A true KR20090031997A (ko) 2009-03-31
KR100936558B1 KR100936558B1 (ko) 2010-01-13

Family

ID=40364371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080093548A KR100936558B1 (ko) 2007-09-26 2008-09-24 차량용 주변 감시 장치 및 영상 표시 방법

Country Status (6)

Country Link
US (1) US8058980B2 (ko)
EP (1) EP2045133B1 (ko)
JP (1) JP5347257B2 (ko)
KR (1) KR100936558B1 (ko)
CN (1) CN101396989B (ko)
DE (1) DE602008001229D1 (ko)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8305444B2 (en) * 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5299688B2 (ja) * 2009-06-03 2013-09-25 アイシン精機株式会社 車両周辺監視方法及び車両周辺監視装置
CN101934771B (zh) * 2009-06-29 2012-10-03 财团法人车辆研究测试中心 车辆碰撞警示系统
JP5077307B2 (ja) 2009-08-05 2012-11-21 株式会社デンソー 車両周囲画像表示制御装置
EP2476588B1 (en) * 2009-09-11 2014-07-30 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitor apparatus
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US8606316B2 (en) * 2009-10-21 2013-12-10 Xerox Corporation Portable blind aid device
DE102009050519A1 (de) * 2009-10-23 2011-04-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation
DE102010020201B4 (de) 2009-11-06 2021-08-26 Volkswagen Ag Verfahren und Vorrichtung zur Darstellung der Bilder eines Rückblickkamerasystems eines Kraftfahrzeugs
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
JP5505702B2 (ja) 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
US20120229642A1 (en) * 2011-03-10 2012-09-13 Nissan North America, Inc. Vehicle monitoring system
TWI421624B (zh) 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
EP2723069B1 (en) 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
RU2576362C2 (ru) * 2011-08-02 2016-02-27 Ниссан Мотор Ко., Лтд. Устройство помощи при вождении и способ помощи при вождении
EP2759449B1 (en) * 2011-09-22 2016-07-27 Nissan Motor Co., Ltd Vehicle control apparatus
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
CN102387349B (zh) * 2011-10-31 2014-12-10 深圳市长宇电器有限公司 车载摄像头取得图像的显示方法及装置
US10493916B2 (en) * 2012-02-22 2019-12-03 Magna Electronics Inc. Vehicle camera system with image manipulation
JP5686123B2 (ja) * 2012-09-18 2015-03-18 株式会社デンソー 車両検出装置および警報装置
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
DE102012025322B4 (de) * 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
KR101322162B1 (ko) 2013-07-09 2013-10-28 한국비전기술(주) 차량 검지시스템을 이용한 차량 검지방법
JP6036601B2 (ja) * 2013-08-09 2016-11-30 株式会社デンソー 画像処理装置及び画像処理方法
KR102092625B1 (ko) * 2013-10-15 2020-04-14 현대모비스 주식회사 차량 상태 경보 방법 및 이를 위한 장치
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
US10431105B2 (en) 2014-01-07 2019-10-01 Honeywell International Inc. Enhanced awareness of obstacle proximity
US10963133B2 (en) 2014-01-07 2021-03-30 Honeywell International Inc. Enhanced awareness of obstacle proximity
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
EP3550513B1 (en) * 2014-02-26 2021-10-13 NavVis GmbH Method of generating panorama views on a mobile mapping system
WO2016039554A1 (ko) * 2014-09-11 2016-03-17 김철수 비젼 카메라를 이용한 데이터 획득 장치
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
JP6304391B2 (ja) * 2014-10-17 2018-04-04 株式会社リコー 車両用画像表示システム
JP2016092782A (ja) * 2014-11-11 2016-05-23 トヨタ自動車株式会社 車両用視界支援装置
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
DE102015202330A1 (de) * 2015-02-10 2016-08-11 Continental Automotive Gmbh Fahrerassistenzsystem
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치
US9959765B2 (en) * 2015-07-20 2018-05-01 Dura Operating Llc System and method for providing alert to a vehicle or an advanced driver assist system based on vehicle dynamics input
US20170124881A1 (en) * 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
DE102015223176A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Ermittlung von Verdeckungsbereichen in der Fahrzeugumgebung eines Fahrzeuges
US20170151909A1 (en) * 2015-11-30 2017-06-01 Razmik Karabed Image processing based dynamically adjusting surveillance system
JP2017114155A (ja) * 2015-12-21 2017-06-29 三菱自動車工業株式会社 運転支援装置
CN108602465B (zh) * 2016-01-28 2021-08-17 鸿海精密工业股份有限公司 车辆用图像显示系统及搭载了该图像显示系统的车辆
JP2017154530A (ja) * 2016-02-29 2017-09-07 株式会社オートネットワーク技術研究所 車載機及び車両保安システム
JP6690315B2 (ja) * 2016-03-10 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6575404B2 (ja) * 2016-03-15 2019-09-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2017154316A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6690311B2 (ja) * 2016-03-09 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6690312B2 (ja) * 2016-03-09 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6919740B2 (ja) * 2016-03-09 2021-08-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6313355B2 (ja) * 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置
US9931981B2 (en) 2016-04-12 2018-04-03 Denso International America, Inc. Methods and systems for blind spot monitoring with rotatable blind spot sensor
US9994151B2 (en) 2016-04-12 2018-06-12 Denso International America, Inc. Methods and systems for blind spot monitoring with adaptive alert zone
US9975480B2 (en) 2016-04-12 2018-05-22 Denso International America, Inc. Methods and systems for blind spot monitoring with adaptive alert zone
US9947226B2 (en) * 2016-04-12 2018-04-17 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range
JP6511015B2 (ja) * 2016-05-25 2019-05-08 株式会社ミツバ 車両モニタシステム
JP6730615B2 (ja) * 2016-07-12 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR102344171B1 (ko) * 2016-07-13 2021-12-29 소니그룹주식회사 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP6706797B2 (ja) * 2016-10-26 2020-06-10 パナソニックＩｐマネジメント株式会社 電子ミラー装置
KR20180060753A (ko) * 2016-11-29 2018-06-07 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
EP3562710A4 (en) * 2016-12-30 2019-11-13 Gentex Corporation COMPLETE DISPLAY MIRROR WITH ON-DEMAND OBSERVER VIEW
JP6601422B2 (ja) * 2017-01-11 2019-11-06 トヨタ自動車株式会社 画像表示装置
JP2018116516A (ja) * 2017-01-19 2018-07-26 トヨタ自動車株式会社 車両の注意喚起装置
JP6744236B2 (ja) * 2017-02-08 2020-08-19 トヨタ自動車株式会社 画像表示装置
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
JP6680254B2 (ja) * 2017-03-22 2020-04-15 トヨタ自動車株式会社 車両用表示制御装置
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Ｓｕｂａｒｕ 画像表示装置
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
JP7080616B2 (ja) * 2017-10-10 2022-06-06 マツダ株式会社 車両用表示装置
JP6733647B2 (ja) * 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
JP2019110390A (ja) * 2017-12-15 2019-07-04 株式会社東海理化電機製作所 車両周辺監視装置
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP7258847B2 (ja) * 2018-03-15 2023-04-17 株式会社小糸製作所 車両用映像システム
CN210310142U (zh) * 2018-03-19 2020-04-14 株式会社小糸制作所 图像数据生成装置
JP2019193031A (ja) * 2018-04-23 2019-10-31 シャープ株式会社 車両周辺表示装置
JP7021001B2 (ja) * 2018-05-25 2022-02-16 アルパイン株式会社 画像処理装置および画像処理方法
JP7052632B2 (ja) 2018-08-10 2022-04-12 トヨタ自動車株式会社 車両用周辺表示装置
US10967792B1 (en) 2018-10-12 2021-04-06 Roger Stafford Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device
JP7159802B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7279566B2 (ja) 2019-07-26 2023-05-23 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
JP2021153286A (ja) * 2020-03-23 2021-09-30 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、画像合成方法
JP7347330B2 (ja) * 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
JP7287355B2 (ja) * 2020-06-26 2023-06-06 トヨタ自動車株式会社 車両周辺監視装置
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3102250B2 (ja) * 1994-02-14 2000-10-23 三菱自動車工業株式会社 車両用周囲情報表示装置
US7049945B2 (en) * 2000-05-08 2006-05-23 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JPH0858470A (ja) * 1994-08-24 1996-03-05 Alpine Electron Inc 後方確認装置
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JPH115501A (ja) * 1997-06-18 1999-01-12 Nissan Motor Co Ltd 車両後側方状況表示装置
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP3645196B2 (ja) 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US7634341B2 (en) * 2001-03-07 2009-12-15 1138037 Ontario Ltd. (“Alirt”) Detecting device and method of using same
JP2002308030A (ja) * 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置
JP2002334322A (ja) 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2003081014A (ja) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US6737964B2 (en) * 2001-11-05 2004-05-18 Ford Global Technologies, Llc Vehicle blind spot monitoring system
JP2004040411A (ja) * 2002-07-02 2004-02-05 Sumitomo Electric Ind Ltd 車外画像表示システム、画像処理装置及び車外画像表示方法
JP2004312523A (ja) * 2003-04-09 2004-11-04 Equos Research Co Ltd 車載画像処理装置
DE10343866A1 (de) 2003-09-23 2005-04-21 Daimler Chrysler Ag Stereokameraanordnung
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP4552525B2 (ja) * 2004-06-11 2010-09-29 株式会社エクォス・リサーチ 車両の画像処理装置
JP4560716B2 (ja) * 2004-09-28 2010-10-13 アイシン精機株式会社 車両の周辺監視システム
JP4468859B2 (ja) * 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP4720386B2 (ja) 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP4762698B2 (ja) 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
CN101029823B (zh) * 2006-02-28 2010-09-15 东软集团股份有限公司 基于车辆状态分类的车辆跟踪方法和装置
JP2007249476A (ja) 2006-03-15 2007-09-27 Ricoh Co Ltd 情報処理装置および情報処理方法
JP4731392B2 (ja) * 2006-04-26 2011-07-20 アルパイン株式会社 車載周辺状況提示装置
JP4906437B2 (ja) * 2006-08-22 2012-03-28 アルパイン株式会社 周辺監視システム
TWI314115B (en) * 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects

Also Published As

Publication number Publication date
JP2009081666A (ja) 2009-04-16
KR100936558B1 (ko) 2010-01-13
US8058980B2 (en) 2011-11-15
US20090079553A1 (en) 2009-03-26
EP2045133A2 (en) 2009-04-08
EP2045133A3 (en) 2009-05-06
EP2045133B1 (en) 2010-05-12
DE602008001229D1 (de) 2010-06-24
CN101396989A (zh) 2009-04-01
CN101396989B (zh) 2010-09-29
JP5347257B2 (ja) 2013-11-20

Similar Documents

Publication Publication Date Title
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
US10354155B2 (en) Vehicle vision system with multiple cameras
US10324297B2 (en) Heads up display system for vehicle
JP5099451B2 (ja) 車両周辺確認装置
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US8559675B2 (en) Driving support device, driving support method, and program
JP5132249B2 (ja) 車載用撮像装置
EP1961613B1 (en) Driving support method and driving support device
US10462354B2 (en) Vehicle control system utilizing multi-camera module
US20080198226A1 (en) Image Processing Device
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US8477191B2 (en) On-vehicle image pickup apparatus
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
JP7163748B2 (ja) 車両用表示制御装置
US20190135169A1 (en) Vehicle communication system using projected light
JP2004240480A (ja) 運転支援装置
US20130050490A1 (en) Drive assisting apparatus
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP4848644B2 (ja) 障害物認識システム
TW201526638A (zh) 車用障礙物偵測顯示系統
JP3988551B2 (ja) 車両周囲監視装置
JP2005182305A (ja) 車両走行支援装置
JP2006352249A (ja) 監視装置及び車両用監視装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151209

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20191217

Year of fee payment: 11