KR102344171B1 - 화상 생성 장치, 화상 생성 방법, 및 프로그램 - Google Patents

화상 생성 장치, 화상 생성 방법, 및 프로그램 Download PDF

Info

Publication number
KR102344171B1
KR102344171B1 KR1020187038124A KR20187038124A KR102344171B1 KR 102344171 B1 KR102344171 B1 KR 102344171B1 KR 1020187038124 A KR1020187038124 A KR 1020187038124A KR 20187038124 A KR20187038124 A KR 20187038124A KR 102344171 B1 KR102344171 B1 KR 102344171B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
combined
unit
camera
Prior art date
Application number
KR1020187038124A
Other languages
English (en)
Other versions
KR20190028667A (ko
Inventor
에이지 오바
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190028667A publication Critical patent/KR20190028667A/ko
Application granted granted Critical
Publication of KR102344171B1 publication Critical patent/KR102344171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0006—Affine transformations
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 기술은, 유저의 주의를, 신속하게 환기시킬 수 있도록 하는 화상 생성 장치, 화상 생성 방법, 및 프로그램에 관한 것이다. 통합부는, 제1 화상과 제2 화상을 통합하고, 통합 화상을 생성한다. 중첩부는, 제2 화상에 비치는 물체가, 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 통합 화상에 중첩하고, 중첩 화상을 생성한다. 본 기술은, 예를 들어 사이드미러나, 룸미러로 관찰되는 화상에 상당하는 화상을 제공하는 CMS(Camera Monitor System) 등에 적용할 수 있다.

Description

화상 생성 장치, 화상 생성 방법, 및 프로그램
본 기술은, 화상 생성 장치, 화상 생성 방법, 및 프로그램에 관한 것으로, 특히, 예를 들어 유저의 주의를, 신속하게 환기시킬 수 있도록 하는 화상 생성 장치, 화상 생성 방법, 및 프로그램에 관한 것이다.
예를 들어, 특허문헌 1에는, 자차량에 있어서, 차량 후부에 설치한 카메라로 촬영된 화상과, 차량 좌우의 백미러에 설치한 카메라로 촬영된 화상을 변형한 화상을 조합하여, 하나의 가상적인 시점에서 차량 후방을 관찰한 모습이 비친 화상을 생성하여 표시함으로써, 리얼리티가 있는 화상을 제공하는 CMS(Camera Monitor System)가 제안되어 있다.
여기서, 이하, CMS가 제공하는 화상을, CMS 화상이라고도 한다.
일본 특허 제4762698호 공보
자차량에 있어서, 차량 후부에 설치한 카메라로 촬영된 화상과, 차량 좌우의 백미러에 설치한 카메라로 촬영된 화상을 변형한 화상을 조합하여, 하나의 가상적인 시점에서 차량 후방을 관찰한 모습이 비친 화상을, CMS 화상으로서 생성하는 경우, 그 CMS 화상에서는, 예를 들어 차량 후부에 설치한 카메라로 촬영된 화상에 비치는 주행 중의 제1 차량에, 차량 좌우의 백미러에 설치한 카메라로 촬영된 화상에 비치는 주행 중의 제2 차량이 숨겨져서, 제2 차량이 인식되기 어려워질 수 있다.
이 경우, 자차량을 운전하는 유저(드라이버)는, 제2 차량이 자차량에 가까워져 온다는 발견이 지연될 수 있다.
본 기술은, 이러한 상황을 감안하여 이루어진 것으로, 유저의 주의를, 신속하게 환기시킬 수 있도록 하는 것이다.
본 기술의 화상 생성 장치, 또는 프로그램은, 제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 통합부와, 상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 중첩부를 구비하는 화상 생성 장치, 또는 그와 같은 화상 생성 장치로서 컴퓨터를 기능시키기 위한 프로그램이다.
본 기술의 화상 생성 방법은, 제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 것과, 상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 것을 포함하는 화상 생성 방법이다.
본 기술의 화상 생성 장치, 화상 생성 방법, 및 프로그램에 있어서는, 제1 화상과 제2 화상이 통합되고, 통합 화상이 생성된다. 그리고, 상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크가 상기 통합 화상에 중첩되고, 중첩 화상이 생성된다.
또한, 화상 생성 장치는, 독립된 장치여도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.
또한, 프로그램은, 전송 매체를 통해 전송함으로써, 또는 기록 매체에 기록하여, 제공할 수 있다.
본 기술에 의하면, 유저의 주의를, 신속하게 환기시킬 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니라, 본 개시 중에 기재된 어느 하나의 효과여도 된다.
도 1은, 차량으로서의 자동차에 탑재되는 CMS의 개요를 설명하는 도면이다.
도 2는, 리어 화상, L 사이드 화상, 및 R 사이드 화상을 통합한 통합 화상의 표시 방법의 예를 나타내는 도면이다.
도 3은, 차량이 고속으로 주행하는 경우에 표시하는 CMS 화상으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 평면도이다.
도 4는, 리어 화상 및 L/R 사이드 화상과, 리어 화상 및 L/R 사이드 화상을 통합함으로써 생성되는 통합 화상과의 예를 나타내는 도면이다.
도 5는, 리어 화상 및 L/R 사이드 화상과, 리어 화상 및 L/R 사이드 화상을 통합함으로써 생성되는 통합 화상의 다른 예를 나타내는 도면이다.
도 6은, 리어 화상 및 L/R 사이드 화상의 예를 나타내는 도면이다.
도 7은, L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상을, 리어 화상으로 합성함으로써 얻어지는 합성 화상의 예를 나타내는 도면이다.
도 8은, L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상을, 리어 화상으로 합성함으로써 얻어지는 합성 화상의 다른 예를 나타내는 도면이다.
도 9는, 합성 화상의 예를 나타내는 도면이다.
도 10은, 리어 화상 및 L/R 사이드 화상을, CMS 화상으로서 표시하는 표시 방법을 설명하는 도면이다.
도 11은, 도로상의 상황의 일례를 나타내는 평면도이다.
도 12는, 오클루전 얼러트로서의 화상이 표시된 통합 화상의 표시예를 나타내는 도면이다.
도 13은, 오클루전 얼러트로서의 화상이 표시된 통합 화상의 다른 표시예를 나타내는 도면이다.
도 14는, 오클루전 얼러트로서의 화상이 표시된 통합 화상의 또 다른 표시예를 나타내는 도면이다.
도 15는, 차량이 저속으로 주행하는 경우에 표시하는 CMS 화상으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 평면도이다.
도 16은, 저속 CMS 화상으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 사시도이다.
도 17은, 저속 CMS 화상으로서의 통합 화상의 예를 나타내는 도면이다.
도 18은, 저속 CMS 화상으로서의 통합 화상의 다른 예를 나타내는 도면이다.
도 19는, 차량이 저중속으로 주행하는 경우에 표시하는 CMS 화상으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 사시도이다.
도 20은, 중속 CMS 화상으로서의 통합 화상의 제1의 예를 나타내는 도면이다.
도 21은, 중속 CMS 화상으로서의 통합 화상의 제2의 예를 나타내는 도면이다.
도 22는, 중속 CMS 화상으로서의 통합 화상의 제3의 예를 나타내는 도면이다.
도 23은, 중속 CMS 화상으로서의 통합 화상의 제4의 예를 설명하는 도면이다.
도 24는, 중속 CMS 화상으로서의 통합 화상의 제5의 예를 설명하는 도면이다.
도 25는, 중속 CMS 화상으로서의 통합 화상의 제5의 예를 나타내는 도면이다.
도 26은, 본 기술을 적용한 차량의 일 실시 형태의 외관의 구성예의 개요를 나타내는 평면도이다.
도 27은, 차량(100)에 탑재된 CMS의 구성예를 나타내는 블록도이다.
도 28은, CMS 화상 생성부(165)가 설정하는 표시 모드의 예를 나타내는 도면이다.
도 29는, CMS 화상 생성부(165)의 구성예를 나타내는 블록도이다.
도 30은, 리어 화상 처리부(211)의 구성예를 나타내는 블록도이다.
도 31은, L 사이드 화상 처리부(212)의 구성예를 나타내는 블록도이다.
도 32는, R 사이드 화상 처리부(213)의 구성예를 나타내는 블록도이다.
도 33은, L 리어 사이드 화상 처리부(214)의 구성예를 나타내는 블록도이다.
도 34는, R 리어 사이드 화상 처리부(215)의 구성예를 나타내는 블록도이다.
도 35는, 기립물 검출부(252)에서의 기립물의 검출에 행해지는 세그멘테이션의 개요를 설명하는 도면이다.
도 36은, CMS 화상 생성부(165)가 행하는 CMS 화상 생성 처리의 예를 설명하는 흐름도이다.
도 37은, 스텝 S103에서 행해지는 표시 모드 5, 6, 7의 화상 생성 처리의 예를 설명하는 흐름도이다.
도 38은, 스텝 S111-1에서 리어 화상 처리부(211)가 행하는 리어 화상 처리의 예를 설명하는 흐름도이다.
도 39는, 스텝 S111-2에서 L 사이드 화상 처리부(212)가 행하는 L 사이드 화상 처리의 예를 설명하는 흐름도이다.
도 40은, 스텝 S104에서 행해지는 표시 모드 4의 화상 생성 처리의 예를 설명하는 흐름도이다.
도 41은, 스텝 S181-1에서 리어 화상 처리부(211)가 행하는 리어 화상 처리의 예를 설명하는 흐름도이다.
도 42는, 스텝 S181-2에서 L 리어 사이드 화상 처리부(214)가 행하는 L 리어 사이드 화상 처리의 예를 설명하는 흐름도이다.
도 43은, 스텝 S105에서 행해지는 표시 모드 2, 3의 화상 생성 처리의 예를 설명하는 흐름도이다.
도 44는, 스텝 S231-2에서 L 사이드 화상 처리부(212)가 행하는 L 사이드 화상 처리의 예를 설명하는 흐름도이다.
도 45는, 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 나타내는 블록도이다.
<차량에 탑재되는 CMS의 개요>
도 1은, 차량으로서의 자동차에 탑재되는 CMS의 개요를 설명하는 도면이다.
CMS에서는, 차량에 카메라가 설치되고, 그 카메라로 촬영된 화상이, 후사경을 사용하여 볼 수 있는 화상에 상당하는 화상으로서 표시된다.
후사경으로서는, 소위 룸미러(클래스Ⅰ 미러)나, 사이드미러(클래스Ⅱ 미러, 클래스Ⅲ 미러) 등이 있다.
CMS에서는, 예를 들어 차량의 후부에, 적어도 차량의 후방을 촬영하는 1대의 카메라가 설치됨과 함께, 차량의 사이드미러가 설치되는 위치(이하, 사이드미러 위치라고도 함)에, 적어도 차량의 좌측 후방, 및 우측 후방을 촬영하는 2대의 카메라가 설치된다.
여기서, 차량의 후부에 설치되고, 차량의 후방을 촬영하는 카메라를, 이하, 리어 카메라라고도 한다. 또한, 차량의 좌측 및 우측의 사이드미러 위치에 설치되는 카메라를, 각각, L 사이드 카메라 및 R 사이드 카메라라고도 한다.
또한, 리어 카메라로 촬영되는 화상을, 리어 화상이라고도 하며, L 사이드 카메라 및 R 사이드 카메라로 촬영되는 화상을, 각각, L 사이드 화상 및 R 사이드 화상이라고도 한다.
또한, L 사이드 카메라 및 R 사이드 카메라를, 양쪽 합쳐서 L/R 사이드 카메라라고도 기재한다. 마찬가지로, L 사이드 화상 및 R 사이드 화상을, 양쪽 합쳐서 L/R 사이드 화상이라고도 기재한다.
도 1은, 리어 화상, 및 L/R 사이드 화상의 표시예를 나타내고 있다.
도 1에서는, 리어 화상은, 룸미러를 사용하여 볼 수 있는 화상(룸미러 화상)에 상당하는 화상으로 되어 있으며, L/R 사이드 화상은, 사이드미러를 사용하여 볼 수 있는 화상(사이드미러 화상)에 상당하는 화상으로 되어 있다.
도 1에서는, 차량의 프론트 윈드쉴드 글라스의 하부의 대시보드에, 가로로 긴 표시 패널이 설치되어 있으며, 그 표시 패널에, 리어 화상, 및 L/R 사이드 화상이 표시되어 있다.
즉, 도 1의 표시 패널에 있어서, L 사이드 화상은, 좌측의 A 필러의 근방에 표시되고, R 사이드 화상은, 우측의 A 필러의 근방에 표시되어 있다. 리어 화상은, 표시 패널의 중앙으로부터 약간 운전석 옆의 우측의 위치(운전석은, (차량 전방을 향해) 우측에 있도록 함)에 표시되어 있다.
CMS에서는, 이상과 같이, 리어 화상, L 사이드 화상, 및 R 사이드 화상을, CMS에 의해 표시하는 CMS 화상으로서, 개별로 표시하는 것 외에, 리어 화상, L 사이드 화상, 및 R 사이드 화상을, 1매(1프레임)의 통합 화상에 통합하고, 그 통합 화상을, CMS 화상으로서 표시할 수 있다.
여기서, (복수의) 화상의 통합에는, 화상끼리를, 0 이상 1 이하의 범위의 가중치 α로 알파 블렌딩하는 합성이나, 화상끼리를 배열하여 1매의 화상으로 하는 결합, 그 밖의, 복수의 화상을 1매의 화상으로 변환하는 것이 포함된다.
도 2는, 리어 화상, L 사이드 화상, 및 R 사이드 화상을 통합한 통합 화상의 표시 방법의 예를 나타내는 도면이다.
통합 화상은, 룸미러가 설치되는 위치 P1이나, 대시보드의 중앙 위치 P2, 대시보드의 운전석의 전방 위치 P3 등에 표시할 수 있다.
CMS에 있어서, CMS 화상으로서의 통합 화상 등의 표시에 의해, 차량을 조종(운전)하는 유저(드라이버)에게, 차량의 주변 상황을 제공하는 경우에는, 드라이버가, 차량의 주변 상황(이하, 주변 상황이라고도 함)을 적확하게 파악할 수 있도록, 통합 화상의 표시를 행할 필요가 있다.
또한, 차량에 있어서, 인스트루먼츠 패널(인스트루먼트 클러스터)에 의한 각종 정보의 제공 외에, 통합 화상의 표시에 의한 주변 상황의 제공 등이 행해지면, 드라이버에 대해서, 화상으로서 제공되는 정보가 증가한다.
드라이버에게 화상으로서 제공되는 정보가 증가하면, 드라이버는, 정보 과다로 되어, 드라이버의 정보의 인지, 나아가서는, 그 후의 상황 판단에 영향을 미칠 수 있다.
또한, 차량에 있어서, 많은 정보가, 화상으로서 표시되는 경우, 드라이버는, 그 많은 정보로서의 화상을, 동시에 인식하는 것이 곤란하다.
그래서, 드라이버가, 예를 들어 차량을 직진시키기 위해서, 전방을 주의하여 차량을 운전하고 있는 경우에는, 필요가 없는 정보로서의, 예를 들어 차량의 후방이 비치는 통합 화상에 대해서는, 휘도를 저하시킬 수 있다. 이 경우, 드라이버의 주변 시야에 들어오는 통합 화상에 비치는 차량의 후방 정보(이 드라이버의 인지의 대상으로 되는 것)를 억제할 수 있다.
차량을, 진로 변경하지 않고, 직진시키는 경우에는, 드라이버는, 특히, 전방을 주의해야 한다. 그러나, 차량 후방의 모습이 비치는 통합 화상이 고휘도로 표시되면, 그 통합 화상의 표시에 의해, 드라이버의 시계 주변이 계속해서 비춰져서, 드라이버의 주의가, 휘도가 높은 통합 화상을 향해, 드라이버의 전방에 대한 주의를 방해하는 경우가 있을 수 있다.
그래서, 드라이버가, 차량을 직진시키기 위해서, 전방을 주의하고 있는 경우에는, 통합 화상의 휘도를 저하시킴으로써, 통합 화상의 표시가 드라이버의 전방에 대한 주의를 방해하는 것을 방지할 수 있다.
후사경으로서의 광학적인 미러가 장비된 차량에 있어서, 드라이버는, 후사경에 비치는 화상을, 무의식으로 주변 시야에서 인지하지 않고, 필요한 경우에는, 후방을 확인하는 의사를 갖고, 후사경에 시선을 향해, 그 후사경에 비치는 주변 상황을 인지한다.
한편, CMS가 장비된 차량에 있어서, 드라이버의 전방에 대한 주의를 방해하는 것을 방지하기 위해서, 통합 화상의 휘도를 저하시켜도, 드라이버는, 통합 화상으로 시선을 향함으로써, 통합 화상에 비치는 주변 상황을 인지할 수 있다.
즉, CMS가 장비된 차량에 있어서, 통합 화상의 휘도를 저하시켜도, 드라이버는, 후사경이 장비된 차량과 마찬가지의 (인지) 수순으로, 주변 상황을 인지할 수 있다.
이상으로부터, 통합 화상 등의 CMS 화상은, 휘도를 조정하여 표시하는 것이 바람직하다. 또한, CMS 화상은, 시인성 등의 관점에서, 콘트라스트를 조정하여 표시하는 것이 바람직한 경우가 있다. 또한, CMS 화상은, 드라이버의 상태에 따라서, 휘도나 콘트라스트를 조정할 수 있다. 예를 들어, CMS 화상에 대해서는, 드라이버의 시선이 CMS 화상을 향하지 않는 경우에는, 휘도나 콘트라스트를 낮게 하고, 드라이버의 시선이 CMS 화상을 향하고 있는 경우에는, 휘도나 콘트라스트를 높게 할 수 있다.
그런데, 차량에서는, 상술한 리어 카메라, 및 L/R 사이드 카메라 외에, 차량의 다양한 위치에, 주변 상황을 촬영하는 카메라를 설치할 수 있다.
CMS에서는, 차량에 설치된 각 카메라로 촬영된 화상의 전부를, 개별로, 또는 통합 화상의 형태로, CMS 화상으로서 표시할 수 있지만, CMS 화상으로서 표시하는 화상은, 적절히 선택적으로 전환할 수 있으면 바람직하다.
여기서, 자차량이, 고속(어느 정도의 속도)으로 주행하는 경우의 후사경의 주요한 용도로서는, 예를 들어 자차량과 후방의 다른 차량과의 상대 관계의 확인이나, 자차량이 진로 변경할 때의, 진로 변경처측의 후방의 상황 파악 등이 있다.
또한, 예를 들어 자차량이, 시가지 등을, 저중속으로 주행하는 경우에는, 자차량의 측방(좌우 방향)의, 비교적 가까운 위치로부터 먼 곳까지의 상황을, 드라이버가 파악할 수 있으면 바람직한 경우가 있다.
또한, 예를 들어 자차량이, 주차 상태로부터 발진하고, 저속(서행)으로 주행하는 경우나, 주차 상태가 되기까지, 저속으로 주행하는 경우, 협애 도로로부터의 빠져나가기나, T자로에서의 좌회전이나 우회전을 위해 저속으로 주행하는 경우에는, 자차량의 아주 가까운 후방(예를 들어, 차량 후부의 범퍼의 근방 등)이나, 차량 후부의 아주 가까운 측방(예를 들어, 차량의 후륜의 근방) 등의 상황을, 드라이버가 파악할 수 있으면 바람직한 경우가 있다.
이하, 예를 들어 차량이, 고속으로 주행하는 경우, 시가지 등을 저중속으로 주행하는 경우, 및 주차 등을 위해서 저속으로 주행하는(서행하는) 경우의 각각의 경우를 예로, 각각의 경우에 표시하는 것이 적절한 CMS 화상의 예에 대하여 설명한다.
<차량이 고속으로 주행하는 경우에 표시하는 CMS 화상>
도 3은, 차량이 고속으로 주행하는 경우에 표시하는 CMS 화상(이하, 고속 CMS 화상이라고도 함)으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 평면도이다.
도 3에 있어서, 예를 들어 자동차 등인 (자)차량(10)에서는, 그 차량(10)의 후부에, 리어 카메라(11)가 설치되고, 차량(10)의 좌측 및 우측의 사이드미러 위치에, L 사이드 카메라(12) 및 R 사이드 카메라(13)가, 각각 설치되어 있다.
여기서, 사이드미러 위치는, 수평 방향(차량(10)의 전방에 대해서 좌우의 방향)에 대해서는, 리어 카메라(11)가 설치된 위치(차량(10)의 후부의 위치)로부터 가로 방향으로 어긋난 위치라고 할 수 있다.
리어 카메라(11)는, 차량(10)의 후방(바로 뒤)을 촬영하고, 제1 화상의 일례로서의 리어 화상을 출력한다. 또한, 리어 카메라(11)는, 예를 들어 수평 화각이 비교적 광각의 150도 이상인 리어 화상을 촬영한다.
L 사이드 카메라(12)는, 차량(10)의 좌측 후방을 촬영하고, 제2 화상의 일례로서의 L 사이드 화상을 출력한다. R 사이드 카메라(13)는, 차량(10)의 우측 후방을 촬영하고, 제2 화상의 다른 일례로서의 R 사이드 화상을 출력한다.
리어 카메라(11), L 사이드 카메라(12), 및 R 사이드 카메라(13)는, 설치 위치가 상이하므로, 리어 화상, L 사이드 화상, 및 R 사이드 화상은, 각각 시점이 서로 다른 화상(서로 다른 시점에서 본 화상)이다.
또한, 여기에서는, 설명을 간단하게 하기 위해서, 리어 카메라(11), L 사이드 카메라(12), 및 R 사이드 카메라(13)는, 중심 사영의 화상을 촬영하기로 한다.
여기서, 도 3에 있어서, 차량(10)은, 차선 TL1, TL2, TL3을 갖는 3차선의 도로 중, 좌측부터 2번째의 차선 TL2를 주행하고 있다.
또한, 도 3에 있어서, 도로에는, 차선을 구분하는 차선 구분선 LM1, LM2, LM3, LM4가, 좌측부터 순서대로 그려져 있다.
여기서, 차선을 구분하는 구획선에는, 차도 중앙선이나, 차선 경계선, 차도외 측선이 있지만, 여기에서는, 총괄하여 차선 구분선이라 하기로 한다.
도 3에 있어서, 차선 TL1은, 차선 구분선 LM1과 LM2 사이의 차선이며, 차선 TL2는, 차선 구분선 LM2와 LM3 사이의 차선이다. 차선 TL3은, 차선 구분선 LM3과 LM4 사이의 차선이다.
또한, 도 3에서는, 도로에, 실제로 그려져 있는 구획선은 아니지만, 후술하는 도면에 있어서, 리어 화상과 L/R 사이드 화상의 대응을 이해하기 쉽게 하기 위해서, 도로에, 가상적으로 그려져 있는 구획선으로서의 가상 라인 VL1이 도시되어 있다.
도 3에 있어서, 가상 라인 VL1은, 차량(10)의 후방에 위치하고 있으며, 리어 카메라(11), L 사이드 카메라(12), 및 R 사이드 카메라(13) 모두에 의해 촬영된다.
여기서, 본 명세서에서는, 특별히 언급하지 않는 한, 자차량의 전방을 향한 상태에서, 방향을 고려한다.
도 4는, 리어 화상 및 L/R 사이드 화상과, 리어 화상 및 L/R 사이드 화상을 통합함으로써 생성되는 통합 화상과의 예를 나타내는 도면이다.
도 4의 리어 화상 및 L/R 사이드 화상에는, 차량(10)의 후방 차선 TL1 내지 TL3, 차선 구분선 LM1 내지 LM4, 및 가상 라인 VL1이 비치고 있다. 또한, 설명의 편의상, 자차량(10)과 도로의 위치 관계에 대해서는, 리어 카메라(11)에서는 차선 TL2가 비치고, L 사이드 카메라(12)에서는 차선 TL1이 비치고, R 사이드 카메라(13)에서는 차선 TL3이 비치는 상태에서 설명한다. 실제의 차량과 도로의 위치 관계는 자유롭게 정해지므로, 본 명세서에서 기재하는 위치 관계는 이 가상적 위치 관계에 기초할 뿐이며, 주행 중에 차선을 식별하여 각 해당하는 처리를 반드시 행할 필요는 없다.
리어 화상 및 L/R 사이드 화상을 통합하여 통합 화상을 생성하는 방법으로서는, 예를 들어, 리어 화상 및 L/R 사이드 화상의 각각에 비치는 동일한 피사체의 크기가 일치하며, 또한, 리어 화상 및 L/R 사이드 화상의 무한 원점이 일치하도록, 리어 화상 및 L/R 사이드 화상의 모든 화상 또는 일부의 화상을 아핀 변환하고, 리어 화상 및 L/R 사이드 화상에 비치는 동일한 피사체가 겹치도록 위치 정렬을 행하고, 리어 화상 및 L/R 사이드 화상을 합성하는 방법이 있다. 여기에서 또한 리어 화상과 L/R 사이드 화상을 위화감 없이 매끄럽게 합성하기 위해서는, 자차량(10)의 주행 차선 또는 차량 폭을 따른 선, 즉 상기 차선 위치 관계의 상정으로 선분 LM2, 선분 LM3 근방의 선을 합성의 경계선으로서 합성을 행하는 것이 바람직하다.
여기서, 아핀 변환은, 예를 들어 리어 화상 및 L/R 사이드 화상의 모든 화상을 대상으로 행할 수도 있고, 예를 들어 L/R 사이드 화상만을 대상으로 행할 수도 있다. 예를 들어, 임의의 시점에서 본 통합 화상을 생성하는 경우에는, 그 시점에 대한 무한 원점에, 리어 화상 및 L/R 사이드 화상의 무한 원점이 일치하도록, 리어 화상 및 L/R 사이드 화상의 전부가 아핀 변환된다. 또한, 예를 들어 리어 카메라(11)의 설치 위치를 시점으로 하는 통합 화상을 생성하는 경우에는, L/R 사이드 화상의 무한 원점이, 리어 화상의 무한 원점에 일치하도록, L/R 사이드 화상이 아핀 변환된다.
이하에서는, 아핀 변환은, 리어 화상 및 L/R 사이드 화상 중, L/R 사이드 화상을 대상으로 행하도록 한다. 또한, 아핀 변환은, 예를 들어 L/R 사이드 화상의 각각에 비치는 피사체의 크기가, 리어 화상에 비치는 동일한 피사체에 일치하며, 또한, 리어 화상 및 L/R 사이드 화상의 무한 원점 IPL 및 IPR이, 리어 화상의 무한 원점 IPC에 일치하게 행하도록 한다. 이러한 아핀 변환에 의하면, L/R 사이드 화상은, 리어 화상을 촬영하는 리어 카메라(11)의 설치 위치에서 본(촬영된) 화상, 즉, 리어 카메라(11)의 설치 위치를 시점으로 하는 화상으로 변환된다. 이 아핀 변환은, L/R 사이드 화상과 리어 화상의 카메라 초점 거리가 동일해지고, 또한 차체 진행 방향의 설치 위치의 차이에 의한 표시의 배치를 보정하고, L/R 사이드 화상은 리어 화상과 동일 초점 거리의 카메라에 의해, 또한, 차량(10)의 진행 방향 배치 위치가 동일한 카메라에 의해 촬영된 화상에 상당하는 화상으로 된다. 해당하는 변환을 행함으로써, 리어 화상 및 아핀 변환 후의 L/R 사이드 화상에 있어서, 가상 라인 VL1이 합치하도록 할 수 있다.
또한, 아핀 변환에 의해, 피사체를 어떤 크기로 할지, 어느 시점에서 본 화상으로 변환할지는, 특별히 한정되는 것은 아니다.
또한, 이하에서는 설명을 간단하게 하기 위해서, 아핀 변환 전의 리어 화상 및 L/R 사이드 화상에 있어서는, 동일한 피사체의 크기가 일치하고 있도록 하고, 따라서, L/R 사이드 화상의 아핀 변환은, L 사이드 화상의 무한 원점 IPL, 및 R 사이드 화상의 무한 원점 IPR의 각각이, 리어 화상의 무한 원점 IPC에 일치하게 행해지도록 한다.
통합 화상의 생성에 있어서는, 상술한 바와 같이, L/R 사이드 화상이 아핀 변환되고, 아핀 변환 후의 L/R 사이드 화상이, 리어 화상과의 사이에서 위치 정렬되고, 리어 화상과 합성됨으로써, 통합 화상이 생성된다. L/R 사이드 화상과 리어 화상의 합성에서는, 각각의 카메라가 주로 취득한 차량 후방의 범위를 표시하는 화상으로서, L/R 사이드 화상이, 리어 화상에 덮어쓰기의 형태로 합성된다.
도 4의 통합 화상에 있어서, 리어 화상에 비치는 차선 TL1 내지 TL3, 차선 구분선 LM1 내지 LM4, 및 가상 라인 VL1과, 아핀 변환 후의 L/R 사이드 화상에 비치는 차선 TL1 내지 TL3, 차선 구분선 LM1 내지 LM4, 및 가상 라인 VL1은, 각각 일치하고 있다.
도 5는, 리어 화상 및 L/R 사이드 화상과, 리어 화상 및 L/R 사이드 화상을 통합함으로써 생성되는 통합 화상과의 다른 예를 나타내는 도면이다.
또한, 이하에서는, 도면이 번잡해지는 것을 피하기 위해서, 차선 TL1 내지 TL3, 차선 구분선 LM1 내지 LM4, 및 가상 라인 VL1을 나타내는 부호 TL1 내지 TL3, LM1 내지 LM4, 및 VL1의 도시를 생략한다.
도 5에서는, 도로상에, 도로상에 기립하는 기립물 obj1, obj2, obj3 각각으로서의 자동차, 자동이륜차, 보행자가 존재한다.
그리고, 리어 화상에는, 기립물 obj1 및 obj2가 비치고 있다. 또한, L 사이드 화상에는, 기립물 obj2가 비치고 있으며, R 사이드 화상에는, 기립물 obj1 및 obj3이 비치고 있다.
통합 화상의 생성에 있어서, L/R 사이드 화상의 아핀 변환은, L/R 사이드 화상에 비치는 피사체가, 모두, 도로상의 평면 내에 존재하는 것을 전제로 행해진다. 그 때문에, 아핀 변환의 대상의 L/R 사이드 화상에, 도로상의 다른 차량(자동차나 자동이륜차 등)이나, 보행자, 그 밖의, 도로상에 기립하는 기립물이, 피사체로서 비치고 있는 경우, 아핀 변환 후의 L/R 사이드 화상에 비치는 기립물은, 도로에 대해서 경사진다.
도 5에서는, 아핀 변환 후의 L 사이드 화상에 비치는 기립물 obj2와, 아핀 변환 후의 R 사이드 화상에 비치는 기립물 obj1 및 obj3이, 경사져 있다.
여기서, 통합 화상의 생성에 있어서는, L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상을, 리어 화상과의 사이에서 위치 정렬하고, 리어 화상으로 합성함으로써 얻어지는 합성 화상을, 통합 화상으로 할 수 있다.
또한, 통합 화상의 생성에 있어서는, 합성 화상의 좌우에, 아핀 변환 전의 L 사이드 화상 및 R 사이드 화상(L/R 사이드 화상)을 각각 배열하여 결합함으로써 얻어지는 화상을, 통합 화상으로 할 수 있다.
상술한 바와 같이, 아핀 변환 후의 L/R 사이드 화상에 비치는 기립물은 경사지므로, 그와 같은 아핀 변환 후의 L/R 사이드 화상을 리어 화상으로 합성함으로써 얻어지는 합성 화상에서도, L/R 사이드 화상에 비치고 있는 기립물은 경사진다.
이러한 합성 화상을 포함하는 통합 화상, 즉, 합성 화상 바로 그 자체, 또는 합성 화상의 좌우에 아핀 변환 전의 L/R 사이드 화상이 결합된 화상이, CMS 화상으로서 표시되는 경우, 드라이버는, 부자연스럽게 기운 기립물이 비친 CMS 화상을 보게 되어, 위화감을 느낄 우려가 있다.
도 6은, 리어 화상 및 L/R 사이드 화상의 예를 나타내는 도면이다.
도 6에서는, 도로상에, 기립물 obj2 및 obj11 각각으로서의 자동이륜차 및 대형의 차량이 존재한다.
그리고, 리어 화상에는, 기립물 obj2 및 obj11이 비치고 있으며, L 사이드 화상에는, 기립물 obj2가 비치고 있다. R 사이드 화상에는, 기립물은 비치지 않는다.
또한, 기립물 obj2는, 기립물 obj11의 왼쪽 옆의 후방에 위치하고 있으며, 리어 화상에서는, 기립물 obj2의 일부는, 기립물 obj11에 숨겨져 보이지 않는 상태로 되어 있다.
한편, L 사이드 화상에서는, 기립물 obj2의 전체가 비치고 있다.
도 7은, 도 6의 L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상을, 도 6의 리어 화상으로 합성함으로써 얻어지는 합성 화상의 예를 나타내는 도면이다.
통합 화상의 생성에 있어서, L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상을, 리어 화상과의 사이에서 위치 정렬하고, 리어 화상으로 합성함으로써, 합성 화상을 생성하는 경우에는, L/R 사이드 화상과 리어 화상이 겹치는 중첩 부분에 대해서는, 예를 들어 L/R 사이드 화상의 가중치를 1.0으로 하고, 리어 화상의 가중치를 0.0으로 하여, L/R 사이드 화상과 리어 화상이 합성된다.
즉, 아핀 변환 후의 L/R 사이드 화상과 리어 화상의 중첩 부분은, L/R 사이드 화상으로 덮어쓰기된다.
도 7은, 상술한 바와 같이, 중첩 부분이, L/R 사이드 화상으로 덮어쓰기됨으로써 얻어지는 합성 화상의 예를 나타내고 있다.
L/R 사이드 화상과 리어 화상의 중첩 부분이, L/R 사이드 화상으로 덮어쓰기됨으로써 얻어지는 합성 화상에서는, 리어 화상에 있어서, 리어 화상의 무한 원점 IPC와, L 사이드 카메라(12)와 R 사이드 카메라(13)를 연결하는 선분에 대응하는, 리어 화상의 하부부근 위의 선분 seg1의 단부점을 연결하여 구성되는 삼각형의 영역 re1 이외의 영역은, L/R 사이드 화상으로 덮어쓰기된다. 즉, 리어 화상은, L/R 사이드 화상에 크게 비치는 타일 형상의 영역에서 덮어쓰기된다.
이상과 같은, L/R 사이드 화상의 덮어쓰기에 의해, 합성 화상에서는, 리어 화상에 비치는 기립물의 전부나 일부가 소거되는 경우가 있다.
도 7에서는, 합성 화상에 있어서, 리어 화상에 비치는 기립물 obj11의 일부가, L/R 사이드 화상의 덮어쓰기에 의해 소거되고, 결여되어 있다.
이러한 합성 화상을 포함하는 통합 화상이, CMS 화상으로서 표시되는 경우, 드라이버는, 부자연스럽게 일부가 결여된 기립물이 비친 CMS 화상을 보게 되어, 위화감을 느낄 우려가 있다.
도 8은, 도 6의 L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상을, 도 6의 리어 화상으로 합성함으로써 얻어지는 합성 화상의 다른 예를 나타내는 도면이다.
도 8에서는, 통합 화상의 생성에 있어서, 도 7과 마찬가지의 합성 화상이 생성되는 한편, 그 합성 화상의 생성에 사용된 리어 화상 및 아핀 변환 후의 L/R 사이드 화상 각각으로부터, 그 리어 화상 및 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물(의 화상)이 추출된다.
도 6의 리어 화상 및 L/R 사이드 화상에 대해서는, 예를 들어 리어 화상으로부터, 기립물 obj11이 추출됨과 함께, 아핀 변환 후의 L 사이드 화상으로부터, 기립물 obj2가 추출된다.
또한, 리어 화상으로부터 추출된 기립물 obj11에 대해서는, 그 리어 화상에 비치는 기립물 obj11의 위치가 검출됨과 함께, 아핀 변환 후의 L 사이드 화상으로부터 추출된 기립물 obj2에 대해서는, 그 아핀 변환 후의 L 사이드 화상에 비치는 기립물 obj2의 위치가 검출된다.
또한, 리어 화상으로부터 추출된 기립물 obj11, 및 아핀 변환 후의 L 사이드 화상으로부터 추출된 기립물 obj2에 대해서는, 자차량(10)으로부터의 거리가 검출된다.
그리고, 리어 화상으로부터 추출된 기립물 obj11, 및 L 사이드 화상으로부터 추출된 기립물 obj2는, 그 기립물 obj11 및 obj2 각각까지의 거리, 및 기립물 obj11 및 obj2 각각의 위치에 따라서, 합성 화상에 레이어 합성된다.
여기서, 화상의 레이어 합성이란, 화상을, 거리가 먼 순서로 묘화하는 합성을 의미한다. 따라서, 레이어 합성에서는, 2개의 기립물의 적어도 일부가 겹치는 경우, 그 중첩 부분에 대해서는, 2개의 기립물 중 안쪽에 있는 기립물은, 전방측에 있는 기립물로 덮어쓰기된다.
또한, 기립물 obj11의 합성 화상에 대한 레이어 합성에서는, 기립물 obj11은, 리어 화상에 비치는 기립물 obj11의 위치에 대응하는, 합성 화상상의 위치에 합성된다. 마찬가지로, 기립물 obj2의 합성 화상에 대한 합성에서는, 기립물 obj2는, 아핀 변환 후의 L 사이드 화상에 비치는 기립물 obj2의 위치에 대응하는, 합성 화상상의 위치에 합성된다.
도 6에서는, 리어 화상에 비치는 기립물 obj11은, L 사이드 화상에 비치는 기립물 obj2보다도 앞쪽에 있다. 또한, 리어 화상으로부터 추출된 기립물 obj11과, 아핀 변환 후의 L 사이드 화상으로부터 추출된 기립물 obj2에 대해서는, 일부가 겹친다.
그 때문에, 레이어 합성에서는, 리어 화상으로부터 추출된 기립물 obj11, 및 L 사이드 화상으로부터 추출된 기립물 obj2가 겹치는 부분에 대해서는, 안쪽에 있는 기립물 obj2가, 전방측에 있는 기립물 obj11로 덮어쓰기된다.
이상과 같이, 리어 화상 및 L/R 사이드 화상으로부터, 도 7과 마찬가지의 합성 화상을 생성하고, 그 합성 화상에, 리어 화상 및 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물의 추출 영역의 화상을 레이어 합성함으로써, 도 7에 도시된 바와 같은, 부자연스럽게 일부가 결여된 기립물이 비친 CMS 화상이 얻어지는 것을 방지할 수 있다.
또한, 리어 화상 및 L/R 사이드 화상에 비치는 기립물의 검출은, 예를 들어 스테레오 카메라나, LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging, laser radar)이나, TOF(Time Of Flight) 센서 등의 거리 센서를 사용하고, 거리 센서에 의해 얻어지는 거리에 따라서, 기립물이 일체적으로 된 영역을 세그멘테이션하는 방법에 의해 행할 수 있다. 화상 영역의 세그멘테이션이란, 화상 내에서 하나의 집합체를 이루는 영역을 둘러싸는 화상 처리이다.
또한, 리어 화상 및 L/R 사이드 화상에 비치는 기립물의 검출은, 예를 들어 리어 화상 및 L/R 사이드 화상의 옵티컬 플로우 해석이나 텍스처 해석 등의 화상 처리에 의해, 기립물의 영역을 세그멘테이션하는 방법에 의해 행할 수 있다.
또한, 리어 화상 및 L/R 사이드 화상에 비치는 기립물의 검출에서는, 예를 들어 모션 스테레오법을 이용하여, 리어 화상 및 L/R 사이드 화상상의 노면(도로)을 추정하고, 노면이 아닌 영역을, 기립물의 영역으로서 검출할 수 있다.
또한, 차량(10)에 탑재된 CMS에 있어서, 리어 카메라(11), L 사이드 카메라(12), 및 R 사이드 카메라(13), 그 밖의 차량(10)에 설치된 카메라로 촬영된 화상 등을 사용하여, 차량(10)의 상방으로부터, 차량(10)을 포함하는, 차량(10)의 주변을 부감한 부감 화상을 생성할 수 있는 경우에는, 그 부감 화상을 사용하여, 리어 화상 및 L/R 사이드 화상에 비치는 기립물의 검출을 행할 수 있다.
즉, 부감 화상의, 예를 들어 인접하는 2 프레임으로서의 시각 t의 프레임과 시각 t+1의 프레임에 대하여, 시각 t+1의 프레임과, 시각 t의 프레임을 차량(10)의 1시각분의 이동에 대응하는 움직임 벡터만 이동(움직임 보상)한 프레임의 차분 SS를 구한 경우, 노면(도로)의 영역의 차분 SS는, (거의) 0으로 된다. 그래서, 차분 SS가 임계값 이상의 영역을, 기립물의 영역으로서, 부감 화상으로부터 검출하고, 그 기립물을, 리어 화상 및 L/R 사이드 화상으로부터 검출함으로써, 리어 화상 및 L/R 사이드 화상에 비치는 기립물의 검출을 행할 수 있다.
또한, 리어 화상 및 L/R 사이드 화상에 비치는 기립물까지의 거리의 검출은, 예를 들어 스테레오 카메라나, LIDAR이나, TOF 센서 등의 거리 센서를 사용하는 방법에 의해 행할 수 있다.
또한, 리어 화상 및 L/R 사이드 화상에 비치는 기립물까지의 거리는, 예를 들어 리어 화상 및 L/R 사이드 화상 각각의 복수 프레임을 대상으로 한 화상 처리를 행하는 방법에 의해 추정할 수 있다.
리어 화상 및 L/R 사이드 화상에 비치는 기립물의 검출이나, 기립물까지의 거리의 검출은, 그 밖에, 상술한 방법을 포함하는 임의의 방법을 조합하여 행할 수 있다.
도 9는, 합성 화상의 예를 나타내는 도면이다.
도 8에서 설명한 바와 같이, 합성 화상에, 리어 화상 및 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물을 레이어 합성함으로써, 기립물의 일부가 결여된 것을 방지할 수 있다.
단, 도 8에서는, 리어 화상 및 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물이 레이어 합성된다. 이 경우, 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물은, 도 5에서 설명한 바와 같이 경사지므로, 드라이버에게 위화감을 느끼게 할 우려가 있다.
그래서, L/R 사이드 화상 각각에 비치는 기립물에 대해서는, 아핀 변환 후의 L/R 사이드 화상으로부터 기립물을 추출하는 것이 아니라, 아핀 변환 전의 L/R 사이드 화상으로부터 기립물을 추출하고, 그 아핀 변환 전의 L/R 사이드 화상으로부터 추출된 기립물을, 레이어 합성에 사용할 수 있다.
도 9는, 아핀 변환 전의 L/R 사이드 화상으로부터 추출된 기립물을, 레이어 합성에 사용하여 얻어지는 합성 화상의 예를 나타내고 있다.
도 9에서는, 도 6과 마찬가지로, 리어 화상에는, 기립물 obj2 및 obj11이 비치고 있으며, L 사이드 화상에는, 기립물 obj2가 비치고 있다. R 사이드 화상에는, 기립물은 비치지 않고 있다.
도 9에서는, 도 8의 경우와 마찬가지로, 도 7과 마찬가지의 합성 화상이 생성되는 한편, 리어 화상으로부터, 기립물 obj11이 추출됨과 함께, 아핀 변환 후의 L 사이드 화상으로부터, 기립물 obj2'가 추출된다.
여기서, 아핀 변환 후의 L 사이드 화상에 비치는 기립물 obj2를, 기립물 obj2'라고도 기재한다.
리어 화상으로부터 추출된 기립물 obj11에 대해서는, 그 리어 화상에 비치는 기립물 obj11의 위치가 검출된다. 아핀 변환 후의 L 사이드 화상으로부터 추출된 기립물 obj2'에 대해서도, 마찬가지로, 그 아핀 변환 후의 L 사이드 화상에 비치는 기립물 obj2'의 위치 pos2'가 검출된다.
또한, 리어 화상으로부터 추출된 기립물 obj11, 및 아핀 변환 후의 L 사이드 화상으로부터 추출된 기립물 obj2'에 대해서는, 자차량(10)으로부터의 거리가 검출된다.
또한, 아핀 변환 전의 L 사이드 화상으로부터, 기립물 obj2가 추출된다.
그리고, 리어 화상으로부터 추출된 기립물 obj11, 및 아핀 변환 전의 L 사이드 화상으로부터 추출된 기립물 obj2가, 도 8과 마찬가지로, 합성 화상에 레이어 합성된다.
즉, 도 9에서는, 아핀 변환 후의 L 사이드 화상으로부터 추출된 기립물 obj2'가 아니라, 아핀 변환 전의 L 사이드 화상으로부터 추출된 기립물 obj2가, 레이어 합성의 대상으로서, 합성 화상으로 합성된다.
또한, 아핀 변환 전의 L 사이드 화상으로부터 추출된 기립물 obj2는, 아핀 변환 전의 L 사이드 화상에 비치는 기립물 obj2의 접지 위치 pos2가 아니라, 아핀 변환 후의 L 사이드 화상에 비치는 기립물 obj2'의 접지 위치 pos2'에 대응하는, 합성 화상상의 접지 위치 pos2"에 합성된다. 노면과의 접지 위치에 관해서는 이하 언급하지 않는 한 단순히 위치라 기재한다.
이상과 같이, 아핀 변환 전의 L/R 사이드 화상으로부터 추출된 기립물을, 아핀 변환 후의 L/R 사이드 화상에 비치는 기립물의 위치에 대응하는, 합성 화상상의 위치에 레이어 합성함으로써, 기립물이 부자연스럽게 경사진 CMS 화상이 얻어지는 것을 방지할 수 있다.
도 10은, 리어 화상 및 L/R 사이드 화상을, CMS 화상으로서 표시하는 표시 방법을 설명하는 도면이다.
리어 화상 및 L/R 사이드 화상을, CMS 화상으로서 표시하는 표시 방법은, 개별 표시와 통합 표시로, 크게 나뉜다.
개별 표시에서는, 예를 들어 도 1에 도시한 바와 같이, 리어 화상 및 L/R 사이드 화상 각각이, CMS 화상으로서, 개별로 표시된다. 리어 화상 및 L/R 사이드 화상 각각을, CMS 화상으로서, 개별로 표시하는 표시 방법을, 이하, 제1 표시 방법이라고도 한다.
통합 표시에서는, 예를 들어 도 7 내지 도 9에 도시한 바와 같이, 리어 화상 및 L/R 사이드 화상을 합성한 합성 화상을 포함하는 화상 등의, 리어 화상 및 L/R 사이드 화상을 통합한 통합 화상이, CMS 화상으로서 표시된다.
통합 표시에는, 예를 들어 제2 표시 방법, 제3 표시 방법, 및 제4 표시 방법이 있다.
제2 표시 방법에서는, 도 7 등에서 설명한 바와 같이, 아핀 변환 후의 L/R 사이드 화상과 리어 화상이, 그 L/R 사이드 화상과 리어 화상의 중첩 부분에 대해서는, L/R 사이드 화상으로 덮어쓰기하는 형태로 합성되고, 그 결과 얻어지는 합성 화상을 포함하는 통합 화상이, CMS 화상으로서 표시된다.
제2 표시 방법에서는, 도 7에서 설명한 바와 같이, L/R 사이드 화상의 덮어쓰기에 의해, 합성 화상에서는, 리어 화상에 비치는 기립물의 전부나 일부가 결여되는(소거되는) 경우가 있다.
제3 표시 방법에서는, 도 8에서 설명한 바와 같이, 합성 화상에, 리어 화상 및 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물이 레이어 합성되고, 그 결과 얻어지는 합성 화상을 포함하는 통합 화상이, CMS 화상으로서 표시된다.
제3 표시 방법에서는, 도 8에서 설명한 바와 같이, 아핀 변환 후의 L/R 사이드 화상 각각에 비치는 기립물이 경사지므로, 그 기립물이 레이어 합성되는 합성 화상상의 기립물도 경사진다.
제4 표시 방법에서는, 도 9에서 설명한 바와 같이, 아핀 변환 전의 L/R 사이드 화상으로부터 추출된 기립물이, 아핀 변환 후의 L/R 사이드 화상에 비치는 기립물의 위치에 대응하는, 합성 화상상의 위치에 레이어 합성되고, 그 결과 얻어지는 합성 화상을 포함하는 통합 화상이, CMS 화상으로서 표시된다.
차량(10)에 탑재되는 CMS에 있어서, 합성 화상을 포함하는 통합 화상을, CMS 화상으로서 표시하는 경우에는, 제3 표시 방법, 또는 제4 표시 방법이 유용하다.
이하에서는, 합성 화상을 포함하는 통합 화상을, CMS 화상으로서 표시하는 경우에는, 제3 표시 방법, 또는 제4 표시 방법을 채용하기로 한다.
그런데, 합성 화상은, 예를 들어 리어 화상을 촬영하는 리어 카메라(11)의 설치 위치를 시점으로 하는 화상이 된다.
따라서, 사이드미러 위치를 시점으로 하는, 아핀 변환 전의 L/R 사이드 화상에, 전체가 비치고 있는 기립물이어도, 합성 화상에서는, 리어 화상에 비치는 다른 기립물에 의해, (L/R 사이드 화상에 전체가 비치는 기립물의) 일부 또는 전부가 숨겨져서 보이지 않게 되는 경우가 있다.
도 11은, 도로상의 상황의 일례를 나타내는 평면도이다.
도 11에서는, 리어 카메라(11), L 사이드 카메라(12), 및 R 사이드 카메라(13)가 설치된 차량(10)에 이어지도록, 버스 등의 기립물 obj21, 자동이륜차 등의 기립물 obj22, 및 소형차 등의 기립물 obj23이 주행하고 있다.
기립물 obj21은, 차량(10)의 바로 뒤에 위치하고 있다. 기립물 obj22는, 기립물 obj21의 후부의 좌측에 위치하고, 기립물 obj23은, 기립물 obj21의 후부의 우측이며, 기립물 obj22보다도 뒤에 위치하고 있다.
따라서, (차량(10)으로부터) 기립물 obj21, obj22, obj23까지의 거리를, L1, L2, L3으로 각각 나타내도록 하면, 거리 L1 내지 L3에 대해서는, 식 L1<L2<L3의 관계가 있다.
리어 카메라(11)로 촬영되는 리어 화상에는, 기립물 obj21 내지 obj23이 비친다. 단, 가장 앞쪽의 기립물 obj21에 대해서는, 그 기립물 obj21의 전체가, 리어 화상에 비치지만, 기립물 obj21보다도 안쪽의 기립물 obj22 및 obj23에 대해서는, 리어 화상에서는, 기립물 obj22 및 obj23의 일부가, 앞쪽의 기립물 obj21에 숨겨져서, 보이지 않는 상태가 된다.
한편, L 사이드 카메라(12)로 촬영되는 L 사이드 화상에는, 기립물 obj21 및 obj22가 비친다. 차량(10)에서는, L 사이드 카메라(12)는, 리어 카메라(11)보다도 좌측에 설치되어 있기 때문에, 기립물 obj21의 후부의 좌측에 위치하는 기립물 obj22에 대해서는, 그 전체가 (기립물 obj21에 숨겨지지 않고), L 사이드 화상에 비친다.
R 사이드 카메라(13)로 촬영되는 R 사이드 화상에는, 기립물 obj21 및 obj23이 비친다. 차량(10)에서는, R 사이드 카메라(13)는, 리어 카메라(11)보다도 우측에 설치되어 있기 때문에, 기립물 obj21의 후부의 우측에 위치하는 기립물 obj23에 대해서는, 그 전체가 (기립물 obj21에 숨겨지지 않고), R 사이드 화상에 비친다.
이상과 같이, L 사이드 화상에는, 기립물 obj22의 전체가 비치고, R 사이드 화상에는, 기립물 obj23의 전체가 비친다.
그러나, 이러한 L/R 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L/R 사이드 화상과, 리어 화상을 합성하고, 리어 화상에 비치는 기립물 obj21, 및 아핀 변환 전 또는 아핀 변환 후의 L/R 사이드 화상에 비치는 기립물 obj22 및 obj23을 레이어 합성함으로써 얻어지는 합성 화상은, 리어 화상을 촬영하는 리어 카메라(11)의 설치 위치를 시점으로 하는 화상이 된다.
그 때문에, 합성 화상에서는, 리어 화상과 마찬가지로, 기립물 obj22 및 obj23의 일부(또는 전부)는, 기립물 obj21에 숨겨져서, 보이지 않는 상태가 된다.
따라서, 합성 화상을 포함하는 통합 화상이, CMS 화상으로서 표시되는 경우에는, 차량(10)의 드라이버는, 통합 화상을 보았을 때, 일부가 기립물 obj21에 숨겨지는 기립물 obj22나 기립물 obj23에 알아차리기 어려운 경우가 있을 수 있다.
이상과 같이, 합성 화상에 있어서, L/R 사이드 화상에 전체가 비치는 기립물 의 적어도 일부가, 리어 화상에 비치는 기립물에 숨겨져 보이지 않게 되는 것은, L/R 사이드 화상에 비치는 기립물까지의 거리가, 리어 화상에 비치는 기립물까지의 거리보다도 먼 경우, 즉, L/R 사이드 화상에 비치는 기립물이, 리어 화상에 비치는 기립물보다도 안쪽에 있는 경우에 생길 수 있다.
그래서, CMS에서는, L/R 사이드 화상에 비치는 기립물이, 리어 화상에 비치는 기립물보다도 안쪽에 있는 경우에는, 기립물이 다른 기립물에 숨겨져 있는 것을 경고하는 얼러트(이하, 오클루전 얼러트라고도 함)를 출력할 수 있다.
도 11에서는, 거리 L1 내지 L3이, 식 L1<L2나, 식 L1<L3을 만족하는 경우에, 오클루전 얼러트를 출력할 수 있다.
오클루전 얼러트로서는, 버저음 그 밖의 음성의 출력이나, 표시의 점멸 그 밖의 화상의 표시를 채용할 수 있다. 또한, 버저음은 운전자가 모니터에 시선 이동하는 것을 감지하고 나서 울림으로써, 부주의하게 빈번하게 울려 퍼지는 것을 방지할 수 있다.
도 12는, 오클루전 얼러트로서의 화상이 표시된 통합 화상의 표시예를 나타내는 도면이다.
도 12에서는, 합성 화상 바로 그 자체가, 통합 화상으로 되어 있으며, 통합 화상은, 제3 표시 방법(도 8, 도 10)의 통합 화상으로 되어 있다.
또한, 통합 화상으로서의 합성 화상에는, 기립물 obj1, obj2, obj3, obj11이 비치고 있다.
또한, 합성 화상의 생성에 사용된 리어 화상에는, 기립물 obj11의 전체가 비치고 있다. 또한, 합성 화상의 생성에 사용된 L 사이드 화상에는, 기립물 obj2의 전체가 비치고 있으며, 합성 화상의 생성에 사용된 R 사이드 화상에는, 기립물 obj1 및 obj3 각각의 전체가 비치고 있다.
또한, 기립물 obj1 및 obj2는, 기립물 obj11보다 안쪽에 위치하고, 기립물 obj3은, 기립물 obj11보다 전방측에 위치하고 있다.
그 때문에, 합성 화상에서는, 기립물 obj3에 대해서는, 그 전체가 비치고 있지만, 기립물 obj1 및 obj2에 대해서는, 각각의 일부가, 기립물 obj11에 숨겨져서, 일부가 보이지 않게 되어 있다.
여기서, 이하, 리어 화상에 비치는 기립물을, 리어 기립물이라고도 하며, L/R 사이드 화상에 비치고 있는 기립물을 L/R 사이드 기립물이라고도 한다.
차량(10)에 탑재된 CMS에서는, L/R 사이드 기립물이, 리어 기립물보다도 안쪽에 위치하고 있는 경우, 합성 화상에 있어서 일부(또는 전부)가 보이지 않게 되는 L/R 사이드 기립물의 존재를 경고하는 오클루전 얼러트로서의 경고 마크를, 통합 화상에 중첩할 수 있다.
도 12에서는, 리어 기립물 obj11의 안쪽의 L 사이드 기립물 obj2의 위치에, 오클루전 얼러트로서의 경고 마크 AM2가 중첩됨과 함께, 리어 기립물 obj11의 안쪽 R 사이드 기립물 obj1의 위치에, 오클루전 얼러트로서의 경고 마크 AM1이 중첩되어 있다.
경고 마크의, 통합 화상에 대한 중첩은, 예를 들어 경고 마크의 가중치를 1.0으로 하고, 통합 화상의 가중치를 0.0으로 하여, 경고 마크와 통합 화상을 합성함으로써 행할 수 있다.
경고 마크 AM1이나 AM2에 의하면, 드라이버의 주의를, 신속하게 환기하고, 드라이버에게, 합성 화상에 있어서 일부가 보이지 않는 R 사이드 기립물 obj1이나 L 사이드 기립물 obj2의 존재를, 신속하면서 확실하게 인식시킬 수 있다.
즉, 경고 마크 AM1이나 AM2에 의하면, 드라이버의 주변 시야에 존재하는 통합 화상에, 시선을 향하도록, 드라이버를 재촉하고, 드라이버에게, R 사이드 기립물 obj1이나 L 사이드 기립물 obj2의 존재를, 신속하면서 확실하게 인식시킬 수 있다.
오클루전 얼러트로서의 경고 마크로서는, 예를 들어 도 12의 경고 마크 AM1이나 AM2와 같은, 2색 (이상)의 줄무늬 모양(제브라 모양)이며, 2색 중 1색(줄무늬 모양의 일부)이 투명한 줄무늬 모양의 화상을 채용할 수 있다.
경고 마크로서, 1색(일부)이 투명한 화상을 채용함으로써, 경고 마크가, 합성 화상상의, 리어 기립물의 안쪽의 L/R 사이드 기립물의 위치에 중첩되어도, 드라이버는, L/R 사이드 기립물을, 경고 마크의 투명한 부분으로부터 확인할 수 있다.
또한, 경고 마크로서는, 투명한 부분이 이동하는 화상을 채용할 수 있다. 즉, 예를 들어 외관상, 이발소의 사인 폴과 같은 형태로, 줄무늬 모양이 이동하는 화상을, 경고 마크로서 채용할 수 있다.
경고 마크로서, 투명한 부분이 이동하는 화상을 채용하는 경우에는, 합성 화상에 있어서, 경고 마크가 중첩된 부분에 있어서, L/R 사이드 기립물이 보이는 부분이 변화되므로, 경고 마크가 중첩된 L/R 사이드 기립물이, 어떤 피사체인지를, 드라이버가 인식하기 쉬워진다. 여기서, 2색의 줄무늬 모양의 경고 마크를 통합 화상에 중첩할 때, 반투명이 아니라, 줄무늬의 유효부로서의 1색의 중첩 가중치를 1.0으로 하고, 줄무늬의 무효부로서의 투명한 부분의 다른 1색에서는 반대로 통합 화상의 가중치를 1.0으로 함으로써 경고에 주의하면서도 배경(통합 화상)을 선명하게 보이도록 할 수 있는 장점이 있다. 한편, 경고 마크로서의 줄무늬 모양을, 반투명으로 통합 화상에 중첩하는 경우에는, 통합 화상과 경고 마크의 반투명에서의 중첩 부분이 애매하게 될 위험성이 있음과 동시에 판별 인지에 수고를 초래할 리스크도 있다.
또한, 통합 화상에, 경고 마크를 중첩하는 경우에는, 오클루전 얼러트로서의 소리음을, 동시에 출력할 수 있다. 이 경우, 유저의 주의를, 보다 환기시킬 수 있다. 여기서 소리에 의한 경고는, 후방에 있어서의 상황이 중요한 상황, 즉 운전자가 자차의 주행에 중요하다고 간주하여, 통합 화상으로 시선을 옮겨 상황 파악을 개시하였거나, 또는 상황 파악을 행하고 있는 상황에서 행하는 것이 타당하다. 그래서, 소리에 의한 오클루전 얼러트는 운전자의 시선이나 헤드부 거동 해석을 행하고, 운전자가 후방 확인 시퀀스를 개시한 것에 연동하여 실시할 수 있다.
또한, 경고 마크의 색으로서는, 예를 들어 적이나 황색 등의 위험을 상기시키는 색, 그 밖의 주의의 색을 채용할 수 있다.
또한, 경고 마크는, L/R 사이드 기립물이, 리어 기립물보다도 안쪽에 위치하고 있는 경우에, 항상 통합 화상에 중첩하는 것이 아니라, L/R 사이드 기립물이, 리어 기립물보다도 안쪽에 위치하고 있는 경우로서, 안쪽의 L/R 사이드 기립물이, 전방측의 리어 기립물에 숨겨지는 경우에, 통합 화상에 중첩할 수 있다.
또한, 경고 마크는, 차량(10)이, 왼쪽 또는 오른쪽으로 진로 변경하면, L/R 사이드 기립물과 충돌하는지 여부의 충돌 리스크를 판정하고, L/R 사이드 기립물이, 리어 기립물보다도 안쪽에 위치하고 있는 경우로서, 충돌 리스크가 있는 경우에, 통합 화상에 중첩할 수 있다.
또한, 경고 마크는, L/R 사이드 기립물이, 리어 기립물보다도 안쪽에 위치하고 있으며, 안쪽의 L/R 사이드 기립물이, 전방측의 리어 기립물에 숨겨지는 경우로서, 충돌 리스크가 있는 경우에, 통합 화상에 중첩할 수 있다.
차량(10)이, 왼쪽 또는 오른쪽으로 진로 변경하면, L/R 사이드 기립물과 충돌하는지 여부의 충돌 리스크의 판정은, 예를 들어 차량(10)으로부터 L/R 사이드 기립물까지의 거리, 및 차량(10)을 기준으로 하는(차량(10)에 대한) L/R 기립물의 상대 속도를 사용하여 행할 수 있다.
즉, 충돌 리스크의 판정은, 예를 들어 L/R 사이드 기립물까지의 거리, 및 L/R 기립물의 상대 속도로부터, 차량(10)이 왼쪽 또는 오른쪽으로 진로 변경하면, L/R 사이드 기립물과 충돌할 때까지의 충돌 소요 시간을 추정하고, 그 충돌 소요 시간에 따라서 행할 수 있다.
L/R 사이드 기립물까지의 거리는, 밀리미터파 레이더나, LIDAR, TOF 센서(TOF형 이차원 거리 계측 장치), 음파 탐지기 장치 등의 거리 센서를 사용하여 검출하는 것이나, L/R 사이드 기립물이 비치는 L/R 사이드 화상으로부터 추정할 수 있다.
L/R 기립물의 상대 속도는, 상기 어느 하나의 조치로 직접 또는 간접적으로 L/R 사이드 기립물까지의 거리의 시계열로부터 검출(산출)할 수 있다.
도 13은, 오클루전 얼러트로서의 화상이 표시된 통합 화상의 다른 표시예를 나타내는 도면이다.
도 13에서는, 도 12의 합성 화상의 좌우에, (아핀 변환 전의) L 사이드 화상 및 R 사이드 화상을, 각각 배열하여 결합한 화상이, 통합 화상으로 되어 있다.
또한, 도 13의 통합 화상은, 합성 화상과 L/R 사이드 화상의 사이에, 그 합성 화상과 L/R 사이드 화상을 구획하는, 소정 폭의 분리 경계선을 갖는다.
합성 화상과 L/R 사이드 화상 사이의 분리 경계선에 의하면, 드라이버는, 통합 화상에 배치된 합성 화상과 L/R 사이드 화상의 각각을, 용이하게, 의식적으로 분리하여 인지할 수 있다.
도 12에서 설명한 바와 같이, 경고 마크가, 일부가 투명한 화상인 경우에는, 경고 마크가, 합성 화상상의 L/R 사이드 기립물의 위치에 중첩되어도, 드라이버는, L/R 사이드 기립물을, 경고 마크의 투명한 부분으로부터 확인할 수 있지만, 그렇더라도, 합성 화상상의 L/R 사이드 기립물은, 경고 마크가 투명하지 않은 부분에 의해 숨겨진다.
합성 화상에, L/R 사이드 화상을 결합하여, 통합 화상을 구성하는 경우에는, 드라이버는, 경고 마크가 표시되었을 때, 통합 화상의 합성 화상으로부터, 그 통합 화상에 결합된 L/R 사이드 화상으로 시선을 옮김으로써, L/R 사이드 기립물을 명확하게 확인할 수 있다.
또한, 합성 화상과 L/R 사이드 화상 사이의 분리 경계선의 폭으로서는, 인간 공학적으로, 사람이, 합성 화상과 L/R 사이드 화상을 의식적으로 분리하여, 합성 화상으로부터 L/R 사이드 화상으로 시선을 옮기고, L/R 사이드 화상에 비치는 상황의 파악 인지 및 사고를 행하는데 적절한 폭을 채용할 수 있다. 예를 들어, 드라이버의 헤드부로부터, (수평 방향으로) 0.5도 이상의 각도에 대응하는 폭을, 분리 경계선의 폭으로서 채용할 수 있다.
도 14는, 오클루전 얼러트로서의 화상이 표시된 통합 화상의 또 다른 표시예를 나타내는 도면이다.
도 14의 통합 화상은, 도 13과 마찬가지로 구성된다.
단, 도 14의 통합 화상에서는, 합성 화상의 생성에 사용하는 아핀 변환 후의 L/R 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도가 변화한다.
합성 화상에 있어서, 아핀 변환 후의 L/R 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도는, 예를 들어 드라이버의 상태에 따라서 변화시킬 수 있다.
예를 들어, 드라이버의 헤드부의 회전 이동이나 평행 이동(시점의 이동) 등에 따라서, 합성 화상에 있어서, 아핀 변환 후의 L/R 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도를, 도 14의 양쪽 화살표로 나타낸 바와 같이, 매끄럽게 변화시킬 수 있다.
예를 들어, 드라이버가, 전방을 주의하여 운전하고 있을 때의, 드라이버의 헤드부 상태를, 디폴트의 상태라고 하도록 하면, 디폴트의 상태로부터, 드라이버의 헤드부의 회전 이동이나 평행 이동의 이동량이 클수록, 합성 화상에 있어서, 아핀 변환 후의 L/R 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도를 작게 할(보다 일치하지 않도록 할) 수 있다.
이 경우, 드라이버의 헤드부의 이동에 의해, 합성 화상에는, 예를 들어 리어 기립물 obj11에 숨겨지지 않은 상태의 L 사이드 기립물 obj2가 표시되므로, 드라이버는, 리어 기립물 obj11의 후방에 위치하는 L 사이드 기립물 obj2를 신속하면서 적확하게 인식할 수 있다. R 사이드 기립물 obj1에 대해서도, 마찬가지이다.
또한, 합성 화상에서는, 드라이버의 상태에 따라서, 아핀 변환 후의 L/R 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도를, 매끄럽게 변화시키는 것 외에, 합성 화상에 사용하는 L/R 사이드 화상을, 무한 원점이 리어 화상의 무한 원점과 일치하도록 아핀 변환한 L/R 사이드 화상(아핀 변환 후의 L/R 사이드 화상), 또는 그와 같은 아핀 변환이 실시되기 전의 L/R 사이드 화상(아핀 변환 전의 L/R 사이드 화상)으로 전환할 수 있다.
즉, 예를 들어 드라이버의 헤드부의 위치에 따라서, 합성 화상으로 합성되는 L/R 사이드 화상을, 아핀 변환 전의 L/R 사이드 화상, 또는 아핀 변환 후의 L/R 사이드 화상으로 전환할 수 있다.
이 경우, 예를 들어 드라이버가, 통합 화상에, 경고 마크 AM1이나 AM2가 중첩되어 있는 것을 깨달아, 통합 화상에 시선을 향하도록, 헤드부를 이동시켰을 때, 합성 화상으로 합성되는 L/R 사이드 화상이, 아핀 변환 후의 L/R 사이드 화상으로부터, 아핀 변환 전의 L/R 사이드 화상으로 전환된다.
따라서, 드라이버는, 합성 화상으로 합성된 아핀 변환 전의 L/R 사이드 화상에 의해, L/R 사이드 기립물을 명확하게 확인할 수 있다.
<차량이 저속으로 주행하는(서행하는) 경우에 표시하는 CMS 화상>
도 15는, 차량이 저속으로 주행하는 경우에 표시하는 CMS 화상(이하, 저속 CMS 화상이라고도 함)으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 평면도이다.
도 16은, 저속 CMS 화상으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 사시도이다.
또한, 도 15 및 도 16에 있어서, 도 3의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는, 그 설명은 적절히 생략한다.
도 15 및 도 16에서는, 도 3과 마찬가지로, 차량(10)의 후부에, 리어 카메라(11)가 설치되어 있다. 또한, 차량(10)에서는, 차량(10)의 후부의 좌측 위치에, L 리어 사이드 카메라(14)가 설치되어 있음과 함께, 차량(10)의 후부의 우측 위치에, R 리어 사이드 카메라(15)가 설치되어 있다.
또한, 도 15 및 도 16에서는, 도 3의 L 사이드 카메라(12) 및 R 사이드 카메라(13)의 도시는, 생략하였다.
L 리어 사이드 카메라(14)는, 예를 들어 수평 화각이 90 내지 100도 정도의 중심 사영의 화상을 촬영하여 출력한다. 여기서, L 리어 사이드 카메라(14)로 촬영되는 화상을, L 리어 사이드 화상이라고도 한다.
L 리어 사이드 카메라(14)는, 차량(10)의 아주 가까운 우측 후방의 모습을 촬영하기 위해서, 즉, L 리어 사이드 화상에, 차량(10)의 아주 가까운 우측 후방의 모습이 비치도록 하기 위해서, 차량(10)의 차폭 방향 중심의 폭 방향 중심선 WCL에 대해서, 촬영하고 싶은 방향인 우측 후방과 반대측의, 차량(10)의 후부의 좌측 위치에, 광축을 촬영하고 싶은 방향(우측 후방)을 향해서 설치되어 있다.
또한, L 리어 사이드 카메라(14)는, 예를 들어 L 리어 사이드 화상에, 차량(10)의 후부(의 일부)가 비치도록 설치된다.
R 리어 사이드 카메라(15)는, 예를 들어 L 리어 사이드 카메라(14)와 마찬가지로, 수평 화각이 90 내지 100도 정도의 중심 사영의 화상을 촬영하여 출력한다. 여기서, R 리어 사이드 카메라(15)로 촬영되는 화상을, R 리어 사이드 화상이라고도 한다.
R 리어 사이드 카메라(15)는, 폭 방향 중심선 WCL에 대해서, L 리어 사이드 카메라(14)와 선대칭이 되도록 설치되어 있다.
즉, R 리어 사이드 카메라(15)는, 차량(10)의 아주 가까운 좌측 후방의 모습을 촬영하기 위해서, 즉, R 리어 사이드 화상에, 차량(10)의 아주 가까운 좌측 후방의 모습이 비치도록 하기 위해서, 폭 방향 중심선 WCL에 대해서, 촬영하고 싶은 방향인 좌측 후방과 반대측의, 차량(10)의 후부의 우측 위치에, 광축을 촬영하고 싶은 방향(좌측 후방)을 향해서 설치되어 있다.
또한, R 리어 사이드 카메라(15)는, 예를 들어 R 리어 사이드 화상에, 차량(10)의 후부(의 일부)가 비치도록 설치된다.
또한, L 리어 사이드 카메라(14) 및 R 리어 사이드 카메라(15)의 광축은, 폭 방향 중심선 WCL 상에서 교차한다.
이상과 같이, L 리어 사이드 카메라(14) 및 R 사이드 카메라(15)를, 폭 방향 중심선 WCL에 대해서, 촬영하고 싶은 방향과 반대측의, 차량(10)의 후부의 위치에, 광축을 촬영하고 싶은 방향을 향해서 설치함으로써, 그 L 리어 사이드 카메라(14) 및 R 리어 사이드 카메라(15)의 양쪽에 의해, 차량(10)의 아주 가까운 후방이나, 차량(10)의 후부의 좌우(차량(10)의 후륜의 후방측 부근 등)를 포함하는, 차량(10)의 후방 광각 범위의 상황을 촬영할 수 있다. 즉, L 리어 사이드 카메라(14) 및 R 사이드 카메라(15)를, 차체 후방의 편측으로부터 경사 방향으로 설치함으로써 차량 진행 방향 후방 무한 원방으로부터 차체 후부를 포함할 수 있는 시야각이 되는 범위를 촬상할 수 있다.
그 결과, 차량(10)의 후부에 대하여, 사각(死角)이 적은 결합 화상을 제공할 수 있다.
여기서, 도 15 및 도 16에 있어서, SR1, SR2, SR3은, 리어 카메라(11), L 리어 사이드 카메라(14), R 리어 사이드 카메라(15)의 촬영 범위를, 각각 나타낸다.
촬영 범위 SR2 및 SR3에 의하면, L 리어 사이드 카메라(14) 및 R 리어 사이드 카메라(15)에 의해, 차량(10)의 아주 가까운 후방을 포함하는, 차량(10)의 후방 광각 범위의 상황을 촬영할 수 있음을 확인할 수 있다.
또한, 이하, L 리어 사이드 화상 및 R 리어 사이드 화상을, 총괄하여, L/R 리어 사이드 화상이라고도 한다.
도 17은, 저속 CMS 화상으로서의 통합 화상의 예를 나타내는 도면이다.
도 17에서는, CMS 화상으로서의 통합 화상의 좌측 영역 및 우측 영역에, R 리어 사이드 화상 및 L 리어 사이드 화상을 각각 배치함으로써, 통합 화상이 구성된다.
즉, 도 17의 통합 화상은, R 리어 사이드 화상 및 L 리어 사이드 화상을, 각각 좌우로 배열하여 배치하여 결합함으로써 생성된다.
여기서, "R" 리어 사이드 화상에는, 차량(10)의 「좌」 후방의 모습이 비치기 때문에, R 리어 사이드 화상은, 통합 화상의 「좌」측에 배치된다. 마찬가지로, "L" 리어 사이드 화상에는, 차량(10)의 「우」 후방의 모습이 비치기 때문에, L 리어 사이드 화상은, 통합 화상의 「우」측에 배치된다.
이하, CMS 화상으로서의 통합 화상의 R 리어 사이드 화상이 배치되는 영역을, R 리어 사이드 화상 표시 영역이라고도 하고, L 리어 사이드 화상이 배치되는 영역을, L 리어 사이드 화상 표시 영역이라고도 한다.
R 리어 사이드 화상 표시 영역에는, R 리어 사이드 카메라(15)로 촬영된 R 리어 사이드 화상으로부터, R 리어 사이드 화상 표시 영역에 대응하는 화각의 범위가 잘라내지고, 그 범위의 R 리어 사이드 화상이 배치된다. 마찬가지로, L 리어 사이드 화상 표시 영역에는, L 리어 사이드 카메라(14)로 촬영된 L 리어 사이드 화상으로부터, L 리어 사이드 화상 표시 영역에 대응하는 화각의 범위가 잘라내지고, 그 범위의 L 리어 사이드 화상이 배치된다.
R 리어 사이드 화상 표시 영역과 L 리어 사이드 화상 표시 영역의 경계는, 예를 들어 통합 화상의 수평 방향 중점 위치에 고정으로 할 수 있다.
또한, R 리어 사이드 화상 표시 영역과 L 리어 사이드 화상 표시 영역의 경계는, 예를 들어 드라이버의 헤드부의 위치나 시선의 방향 등의 드라이버의 상태에 따라서, 좌우 방향(수평 방향)으로 이동할 수 있다.
R 리어 사이드 화상 표시 영역과 L 리어 사이드 화상 표시 영역의 경계가, 우측으로 이동된 경우, R 리어 사이드 화상 표시 영역은 수평 방향으로 확장하고, L 리어 사이드 화상 표시 영역은, 수평 방향으로 축소된다.
이 경우, R 리어 사이드 화상 표시 영역에 배치되는 R 리어 사이드 화상의 수평 방향의 화각이 커지게 되어, 드라이버는, 그러한 R 리어 사이드 화상에 비치는 좌측 후방의 넓은 범위의 상황을 확인할 수 있다.
한편, R 리어 사이드 화상 표시 영역과 L 리어 사이드 화상 표시 영역의 경계가, 좌측으로 이동된 경우, R 리어 사이드 화상 표시 영역은 수평 방향으로 축소하고, L 리어 사이드 화상 표시 영역은, 수평 방향으로 확장된다.
이 경우, L 리어 사이드 화상 표시 영역에 배치되는 L 리어 사이드 화상의 수평 방향의 화각이 커지게 되어, 드라이버는, 그와 같은 L 리어 사이드 화상에 비치는 우측 후방의 넓은 범위의 상황을 확인할 수 있다.
도 18은, 저속 CMS 화상으로서의 통합 화상의 다른 예를 나타내는 도면이다.
도 18에서는, CMS 화상으로서의 통합 화상의 좌측 영역 및 우측 영역에, R 리어 사이드 화상 및 L 리어 사이드 화상을 각각 배치함과 함께, 통합 화상의 중앙 영역에, 리어 화상을 배치함으로써, 통합 화상이 구성된다.
즉, 도 18의 통합 화상은, R 리어 사이드 화상 및 L 리어 사이드 화상을, 각각 좌우에 배치하여 결합하고, 그 결합에 의해 얻어지는 화상의 중앙에, 리어 화상을 합성(중첩)하여 생성된다.
여기서, 결합 화상의, 리어 화상이 배치되는 영역을, 리어 화상 표시 영역이라고도 한다.
리어 화상 표시 영역에는, 리어 카메라(11)로 촬영된 리어 화상으로부터, 리어 화상 표시 영역에 대응하는 화각의 범위가 잘라내지고, 그 범위의 리어 화상이 배치된다.
도 18의 결합 화상에서는, 도 17의 경우와 마찬가지로, R 리어 사이드 화상 표시 영역과 L 리어 사이드 화상 표시 영역의 경계에 대해서는, 통합 화상의 수평 방향 중점 위치에 고정으로 할 수도 있고, 드라이버의 상태에 따라서, 화살표 AR1로 나타낸 바와 같이, 좌우 방향으로 이동할 수도 있다.
또한, 도 18의 결합 화상에서는, 리어 화상 표시 영역을, 고정의 영역으로 할 수도 있고, 가변의 영역으로 할 수도 있다.
리어 화상 표시 영역을 가변의 영역으로 하는 경우에는, 예를 들어 드라이버의 헤드부의 위치 등의 드라이버의 상태에 따라서, 리어 화상 표시 영역의 전체를, 화살표 AR2로 나타낸 바와 같이, 확장 또는 축소할 수 있다.
즉, 예를 들어 드라이버의 헤드부가 디폴트 상태로부터 전방으로 이동한 경우에는, 그 이동의 이동량에 따라서, 리어 화상 표시 영역을 확장할 수 있다. 이 경우, 리어 화상 표시 영역에 배치되는 리어 화상의 화각이 커지게 되어, 드라이버는, 그와 같은 리어 화상에 비치는 후방의 넓은 범위의 상황을 확인할 수 있다.
또한, 예를 들어 드라이버의 헤드부가 디폴트 상태로부터 후방으로 이동한 경우에는, 그 이동의 이동량에 따라서, 리어 화상 표시 영역을 축소할 수 있다.
도 17 및 도 18의 결합 화상은, 예를 들어 주차장에 대한 출납을 위해서, 차량(10)을 후진시키는 경우의 CTA(Cross Traffic Alert)의 용도 등에, 특히 유용하다.
<차량이 저중속으로 주행하는 경우에 표시하는 CMS 화상>
도 19는, 차량이 저중속으로 주행하는 경우에 표시하는 CMS 화상(이하, 중속 CMS 화상이라고도 함)으로 되는 화상을 촬영하는 카메라의, 차량에 대한 설치 위치의 예를 나타내는 사시도이다.
또한, 도 19에 있어서, 도 3의 경우와 대응하는 부분에 대해서는, 동일한 부호를 부여하고 있으며, 이하에서는, 그 설명은 적절히 생략한다.
도 19에서는, 도 3과 마찬가지로, 차량(10)의 후부에, 리어 카메라(11)가 설치되어 있다. 또한, 차량(10)에서는, 차량(10)의 좌측 사이드미러 위치에, L 사이드 카메라(22)가 설치되어 있음과 함께, 차량(10)의 우측 사이드미러 위치에, R 사이드 카메라(23)가 설치되어 있다.
L 사이드 카메라(22)는, 예를 들어 어안 카메라 등의, (거의)종일 촬영이 가능한 전천구 카메라이며, 광축이 차량(10)의 좌측 방향을 향하도록 설치되어 있다.
L 사이드 카메라(22)는, 차량(10)의 좌측 방향으로 연장되는 축 주위의 전체 방향(360도)의 상황이 비친 화상을 촬영하고, L 사이드 화상으로서 출력한다. L 사이드 화상에는, 차량(10)의 좌측 전방으로부터 좌측 방향, 나아가, 좌측 방향으로부터 좌측 후방에 걸치는 광범위한 상황이 비친다.
R 사이드 카메라(23)는, 예를 들어 L 사이드 카메라(22)와 마찬가지로, 어안 카메라 등의, 종일의 촬영이 가능한 전천구 카메라이며, 광축이 차량(10)의 우측 방향 DR3을 향하도록 설치되어 있다.
R 사이드 카메라(23)는, 차량(10)의 우측 방향 DR3으로 연장되는 축 주위의 전체 방향의 상황이 비친 화상을 촬영하고, R 사이드 화상으로서 출력한다. R 사이드 화상에는, 차량(10)의 우측 전방으로부터 우측 방향, 나아가, 우측 방향으로부터 우측 후방에 걸치는 광범위한 상황이 비친다.
여기서, 리어 카메라(11)의 광축 방향(차량(10)의 후방 방향) DR1의, 리어 카메라(11)의 설치 위치로부터 소정의 거리만큼 이격된 위치에, 방향 DR1에 수직인 소정 사이즈의 평면을, 투영면 PPA로서 상정한다.
또한, R 사이드 카메라(23)의 설치 위치로부터, 차량(10)의 우측 후방의 방향 DR2의, R 사이드 카메라(23)의 설치 위치에서 소정의 거리만큼 이격된 위치에, 방향 DR2에 수직한 소정 사이즈의 평면을, 투영면 PPB로서 상정한다. 여기서, 투영면 PPB의 세로의 길이는, 투영면 PPA의 세로의 길이와 일치한다. 투영면 PPB의 가로의 길이는, 투영면 PPA의 가로의 길이와 일치한다고는 할 수 없다.
또한, R 사이드 카메라(23)의 설치 위치로부터, 차량(10)의 우측 방향 DR3의, R 사이드 카메라(23)의 설치 위치로부터 소정의 거리만큼 이격된 위치에, 곡면 형상의 투영면 PPC를 상정한다.
투영면 PPC의 세로의 길이는, 투영면 PPA 및 PPB의 세로의 길이와 일치한다.
투영면 PPC는, R 사이드 카메라(23)의 설치 위치를 중심으로 하고, 소정의 거리를 반경으로 하는 원기둥의 측면의 일부이다.
또한, 투영면 PPC는, 예를 들어 차량(10)의 우측 방향 DR3이, 투영면 PPC의 좌우의 단부점과 R 사이드 카메라(23)의 설치 위치가 이루는 각도 θ를 이등분하는 방향이 되도록 상정할 수 있다.
지금, 리어 카메라(11)의 설치 위치에서 볼 때, 투영면 PPA에 투영되는 중심 사영의 화상을, PPA 화상이라고 하기로 한다. 또한, R 사이드 카메라(23)의 설치 위치에서 볼 때, 투영면 PPB에 투영되는 중심 사영의 화상을, RPPB 화상이라고 하기로 한다. 또한, R 사이드 카메라(23)의 설치 위치에서 볼 때, 투영면 PPC에 투영되는 원통 사영의 화상(원통 투영 상)을, RPPC 화상으로 하기로 한다.
PPA 화상에는, 차량(10)의 후방 상황이 비친다. RPPB 화상에는, 차량(10)의 우측 후방의 상황이 비친다. RPPC 화상에는, 차량(10)의 우측 방향 DR3(을 중심으로 하는 각도 θ에 대응하는 수평 방향의 범위)의 상황이 비친다.
PPA 화상은, 리어 카메라(11)로 촬영되는 리어 화상으로부터 얻을 수 있다. RPPB 화상 및 RPPC 화상은, R 사이드 카메라(23)로 촬영되는 R 사이드 화상으로부터 얻을 수 있다.
마찬가지로, L 사이드 카메라(22)로 촬영되는 L 사이드 화상으로부터는, RPPB 화상 및 RPPC 화상에 대응하는 화상을 얻을 수 있다.
이하, L 사이드 화상으로부터 얻어지는, RPPB 화상에 대응하는 화상을, LPPB 화상이라 하며, L 사이드 화상으로부터 얻어지는, RPPC 화상에 대응하는 화상을, LPPC 화상이라고 한다.
RPPB 화상에는, 상술한 바와 같이, 차량(10)의 우측 후방의 상황이 비치므로, RPPB 화상은, 예를 들어 도 3의 R 사이드 카메라(13)로 촬영되는 R 사이드 화상에 상당한다. 마찬가지로, LPPB 화상은, 예를 들어 도 3의 L 사이드 카메라(12)로 촬영되는 L 사이드 화상에 상당한다.
또한, PPA 화상은, 리어 화상이며, 따라서, PPA 화상, LPPB 화상 및 RPPB 화상에 의하면, 제3 표시 방법(도 8, 도 10)의 통합 화상이나, 제4 표시 방법(도 9, 도 10)의 통합 화상, 경고 마크가 중첩된 통합 화상(도 12 등), 나아가, 그들 통합 화상에 포함되는 합성 화상을 생성할 수 있다.
도 20은, 중속 CMS 화상으로서의 통합 화상의 제1의 예를 나타내는 도면이다.
도 20의 통합 화상은, PPA 화상(리어 화상), LPPB 화상 및 RPPB 화상을 사용해서 합성 화상을 생성하고, 그 합성 화상의 좌측에, LPPB 화상 및 LPPC 화상을 배열하여 결합함과 함께, 합성 화상의 우측에, RPPB 화상 및 RPPC 화상을 배열하여 결합함으로써 생성할 수 있다.
도 20의 통합 화상에 의하면, 드라이버는, 차량(10)의 후방(바로 뒤), 좌측 후방, 우측 후방, 좌측 방향, 및 우측 방향의 상황을 확인할 수 있다.
또한, 도 20의 결합 화상에 의하면, LPPC 화상 및 RPPC 화상은, 원통 사영의 화상이므로, 차량의 좌측 방향 및 우측 방향의 광범위를 비칠 수 있으며, 드라이버는, 그러한 광범위를 확인할 수 있다.
또한, 통합 화상은, LPPB 화상 및 RPPB 화상을 배치하지 않고 구성하는 것, 즉, 합성 화상의 왼쪽 옆에, LPPC 화상을 배치함과 함께, 합성 화상의 우측 옆에, RPPC 화상을 배치하여 구성할 수 있다.
또한, 도 20의 통합 화상에 대해서는, PPA 화상이 합성되어 있는 합성 화상 대신에, PPA 화상(리어 화상) 바로 그 자체를 배치할 수 있다.
도 21은, 중속 CMS 화상으로서의 통합 화상의 제2의 예를 나타내는 도면이다.
도 21의 통합 화상에서는, 도 20의 경우와 비교하여, LPPB 화상과 LPPC 화상과의 배치 위치가 교체되고, RPPB 화상과 RPPC 화상의 배치 위치가 교체되어 있다.
도 22는, 중속 CMS 화상으로서의 통합 화상의 제3의 예를 나타내는 도면이다.
도 22의 통합 화상에서는, 합성 화상과 LPPB 화상의 사이, 합성 화상과 RPPB 화상의 사이, LPPB 화상과 LPPC 화상의 사이, 및 RPPB 화상과 RPPC 화상 사이의 각각에, 도 13에서 설명한 분리 경계선이 배치되어 있다.
이에 의해, 드라이버는, 통합 화상에 배치된 합성 화상, LPPB 화상, RPPB 화상, LPPC 화상, 및 RPPC 화상의 각각을, 용이하게, 의식적으로 분리하여 인지할 수 있다.
또한, 도 21의 통합 화상에 대해서도, 분리 경계선을 배치할 수 있다.
도 23은, 중속 CMS 화상으로서의 통합 화상의 제4의 예를 설명하는 도면이다.
통합 화상에는, 예를 들어 RPPB 화상의 하반부에 대하여, PPA 화상에 가까운 영역일수록, 무한 원점이, PPA 화상의 무한 원점에 근접하도록 아핀 변환을 실시한 RPPB 화상을 배치할 수 있다. 무한 원점의 배치는, 실제의 차량에 설치된 카메라의 시야각에 따라서 결정하고, RPPB 화상의 「하반부」는 수평선의 하부에 해당한다.
도 23에서는, RPPB 화상의 하반부가, 거의 직사각형으로 구획되고, PPA 화상에 가까운 직사각형의 영역일수록, 무한 원점이 PPA 화상의 무한 원점에 근접하도록 아핀 변환(이하, 줄무늬 아핀 변환이라고도 함)이 행해지고 있다. 도시하지 않았지만, LPPB 화상에 대해서도, 마찬가지이다.
예를 들어, PPA 화상, 또는 PPA 화상이 합성된 합성 화상의 좌우에, LPPB 화상 및 RPPB 화상을 각각 배치하고, LPPB 화상의 좌측에, LPPC 화상을 배치함과 함께, RPPB 화상의 우측에, RPPC 화상을 배치하고, 통합 화상을 생성하는 경우에는, PPA 화상 또는 합성 화상의 좌우에 각각 배치하는 LPPB 화상 및 RPPB 화상으로 하고, 줄무늬 아핀 변환 후의 LPPB 화상 및 RPPB 화상을 채용함으로써, LPPB 화상 및 RPPB 화상 각각으로부터 PPA 화상 또는 합성 화상에 걸쳐서, 무한 원점이, PPA 화상 또는 합성 화상의 무한 원점에 매끄럽게(서서히) 가까이 가는, 시각적인 위화감이 억제된 통합 화상을 얻을 수 있다.
도 24는, 중속 CMS 화상으로서의 통합 화상의 제5의 예를 설명하는 도면이다.
중속 CMS 화상으로서의 통합 화상에서는, 차량(10)의 주위를 둘러싸는 가상적인 경계선인 가상 경계선 VL10, VL11, VL12, VL13을, 원통 사영의 LPPC 화상 및 RPPC 화상에 중첩할 수 있다.
여기서, 가상 경계선 VL10은, 차량(10)에 있어서, 전방에 가장 돌출되어 있는 부분에 접하는 좌우 방향으로 연장되는 가상적인 직선이며, 가상 경계선 VL11은, 차량(10)에 있어서, 후방에 가장 돌출되어 있는 부분에 접하는 좌우 방향으로 연장되는 가상적인 직선이다.
가상 경계선 VL12는, 차량(10)에 있어서, 좌측 방향에 가장 돌출되어 있는 부분에 접하는 전후 방향으로 연장되는 가상적인 직선이며, 가상 경계선 VL13은, 차량(10)에 있어서, 우측 방향에 가장 돌출되어 있는 부분에 접하는 전후 방향으로 연장되는 가상적인 직선이다.
도 25는, 중속 CMS 화상으로서의 통합 화상의 제5의 예를 나타내는 도면이다.
도 25의 통합 화상에서는, 가상 경계선 VL10 내지 VL13이, 원통 사영의 LPPC 화상 및 RPPC 화상에 중첩되어 있으며, 이러한 점에서, 도 25의 통합 화상은, 도 20의 경우와 상이하다.
도 25의 통합 화상에 의하면, 드라이버는, 가상 경계선 VL10 내지 VL13에 의해, 도로상에 있는 물체와 차량(10)과의 상대적인 위치 관계를 파악할 수 있다.
이상, 고속 CMS 화상, 중속 CMS 화상, 및 저속 CMS 화상에 대하여 설명하였지만, 차량(10)에 탑재된 CMS에서는, CMS 화상의 표시를, 고속 CMS 화상, 중속 CMS 화상, 또는 저속 CMS 화상으로, 적절히 전환할 수 있다.
CMS 화상의 전환은, 차량(10)의 속도 등의 차량(10)의 상태(차량 상태)에 따라서 행할 수 있다. 또한, CMS 화상의 전환은, 그 밖에, 예를 들어 드라이버 등에 의한 차량(10)의 조작이나, 드라이버의 헤드부의 위치나 자세 등의 드라이버의 상태(드라이버 상태)에 따라서 행할 수 있다.
여기서, 차량(10)의 조작에는, 예를 들어 스티어링(핸들)이나, 시프트 레버,그 밖의 기계적인 조작 수단의 조작 외에, 음성이나 제스처에 의한 조작이 포함된다.
예를 들어, 드라이버는, 협애 도로로부터 빠져나가는 경우나, 주차장으로부터 출고하는 경우 등에 있어서는, 상반신을, 안정적으로 착좌하고 있는 자세(이하, 안정 자세라고도 함)로부터, 의식적으로 앞으로 이동하여, 차량의 전방 좌우를 확인한다.
드라이버의 상반신의 전후로의 이동은, 예를 들어 헤드부를 상하시키는 동작 등의, 드라이버가 무의식적으로 행해버릴 가능성이 높은 동작과는 달리, 드라이버가 차량의 전방의 좌우를 확인하는 등의 명확한 의식을 갖고 행할 가능성이 높은 동작이다.
또한, 드라이버의 상반신의 전후로의 이동은, 스티어링을 지닌 상태에서 행해질 가능성이 높아, 동작의 변동이 적은, 소위 정형적인 동작이며, 비교적, 고정밀도로 검출할 수 있다.
그래서, 드라이버 상태로서, 드라이버의 상반신 앞으로의 이동을 검출하고, 드라이버의 상반신 앞으로의 이동이 검출된 경우에는, 예를 들어 협애 도로로부터의 빠져나갈 때 등에 있어서, 차량의 전방의 좌우 확인에 유용한 중속 CMS 화상이나 저속 CMS 화상으로, CMS 화상의 표시를 전환할 수 있다.
또한, 드라이버 상태로서의 드라이버의 상반신 전후로의 이동을 검출하는 방법으로서는, 절대적인 이동량을 검출하는 방법과, 소정의 단시간마다, 그 단시간 내에서의 상대적인 이동량을 검출하는 방법이 있다. CMS 화상의 표시를, 중속 CMS 화상이나 저속 CMS 화상으로 전환하는 경우의, 드라이버의 상반신 전후로의 이동의 검출에는, 예를 들어 단시간마다, 상대적인 이동량을 검출하는 방법을 채용할 수 있다.
<본 기술을 적용한 차량의 일 실시 형태>
도 26은, 본 기술을 적용한 차량의 일 실시 형태의 외관의 구성예의 개요를 나타내는 평면도이다.
예를 들어, 자동차 등인 (자)차량(100)에는, CMS가 탑재되어 있다. 그리고, 차량(100)에는, CMS를 구성하는 리어 카메라(111), L 사이드 카메라(112), R 사이드 카메라(113), L 리어 사이드 카메라(114), R 리어 사이드 카메라(115), 프론트 카메라(121), 및 실내 카메라(122) 등이 설치되어 있다.
리어 카메라(111)는, 예를 들어 도 3의 리어 카메라(11)와 마찬가지로, 차량(100)의 후부에 설치되어 있다. 또한, 리어 카메라(111)는, 예를 들어 도 3의 리어 카메라와 마찬가지로, 차량(100)의 후방(바로 뒤)을 소정의 프레임 레이트로 촬영하고, 그 후방의 상황이 비친 중심 사영의 리어 화상을 출력한다.
L 사이드 카메라(112)는, 예를 들어 도 19의 L 사이드 카메라(22)와 마찬가지로, 차량(100)의 좌측 사이드미러 위치에 설치되어 있다. 또한, L 사이드 카메라(112)는, 예를 들어 도 19의 L 사이드 카메라(22)와 마찬가지로, 종일 촬영이 가능한 전천구 카메라이며, 광축이 차량(100)의 좌측 방향을 향하도록 설치되어 있다. 따라서, L 사이드 카메라(112)는, 도 19의 L 사이드 카메라(22)와 마찬가지로, 차량(100)의 좌측 방향으로 연장되는 축 주위의 전체 방향의 상황이 비친 화상을 소정의 프레임 레이트로 촬영하고, L 사이드 화상으로서 출력한다.
R 사이드 카메라(113)는, 예를 들어 도 19의 R 사이드 카메라(23)와 마찬가지로, 차량(100)의 우측 사이드미러 위치에 설치되어 있다. 또한, R 사이드 카메라(113)는, 예를 들어 도 19의 R 사이드 카메라(23)와 마찬가지로, 종일 촬영이 가능한 전천구 카메라이며, 광축이 차량(100)의 우측 방향을 향하도록 설치되어 있다. 따라서, R 사이드 카메라(113)는, 도 19의 L 사이드 카메라(23)와 마찬가지로, 차량(100)의 우측 방향으로 연장되는 축 주위의 전체 방향의 상황이 비친 화상을 소정의 프레임 레이트로 촬영하고, R 사이드 화상으로서 출력한다.
L 리어 사이드 카메라(114)는, 예를 들어 도 15 및 도 16의 L 리어 사이드 카메라(14)와 마찬가지로, L 리어 사이드 카메라(114)로 촬영하고 싶은 방향인 우측 후방과 반대측의, 차량(100)의 후부의 좌측 위치에, 광축을 촬영하고 싶은 방향(우측 후방)을 향해 설치되어 있다. 그리고, L 리어 사이드 카메라(114)는, 예를 들어 도 15 및 도 16의 L 리어 사이드 카메라(14)와 마찬가지로, 수평 화각이 90 내지 100도 정도인 중심 사영의 화상을 소정의 프레임 레이트로 촬영하고, 그 결과 얻어지는 L 리어 사이드 화상을 출력한다.
R 리어 사이드 카메라(115)는, 예를 들어 도 15 및 도 16의 R 리어 사이드 카메라(15)와 마찬가지로, R 리어 사이드 카메라(115)로 촬영하고 싶은 방향인 좌측 후방과 반대측의, 차량(100)의 후부의 우측 위치에, 광축을 촬영하고 싶은 방향(좌측 후방)을 향해 설치되어 있다. 그리고, R 리어 사이드 카메라(115)는, 예를 들어 도 15 및 도 16의 R 리어 사이드 카메라(15)와 마찬가지로, 수평 화각이 90 내지 100도 정도의 중심 사영의 화상을 소정의 프레임 레이트로 촬영하고, 그 결과 얻어지는 R 리어 사이드 화상을 출력한다.
프론트 카메라(121)는, 예를 들어 차량(100)의 전방부에 설치되어 있다. 프론트 카메라(121)는, 차량(100)의 전방을 소정의 프레임 레이트로 촬영하고, 그 전방의 상황이 비친 프론트 화상을 출력한다.
실내 카메라(122)는, 예를 들어 백미러의 위치나 스티어링 휠의 축 상부 위치 등에 설치되어 있다. 실내 카메라(122)는, 예를 들어 차량(100)을 조종(운전)하는 드라이버를 소정의 프레임 레이트로 촬영하고, 그 결과 얻어지는 화상을 출력한다.
또한, 차량(100)에는, 리어 카메라(111), L 사이드 카메라(112), R 사이드 카메라(113), L 리어 사이드 카메라(114), R 리어 사이드 카메라(115), 프론트 카메라(121), 및 실내 카메라(122) 이외에도, 카메라를 설치할 수 있다.
<차량(100)에 탑재된 CMS의 구성예>
도 27은, 차량(100)에 탑재된 CMS의 구성예를 나타내는 블록도이다.
도 27에 있어서, CMS(150)는, 촬영부(161), 거리 검출부(162), 차량 상태 검출부(163), 드라이버 상태 검출부(164), CMS 화상 생성부(165), 및 표시부(166)를 갖는다.
촬영부(161)는, 리어 카메라(111), L 사이드 카메라(112), R 사이드 카메라(113), L 리어 사이드 카메라(114), R 리어 사이드 카메라(115), 프론트 카메라(121), 및 실내 카메라(122) 등을 갖는다.
촬영부(161)에 있어서, 리어 카메라(111), L 사이드 카메라(112), R 사이드 카메라(113), L 리어 사이드 카메라(114), R 리어 사이드 카메라(115), 프론트 카메라(121), 및 실내 카메라(122)로 촬영된 화상(리어 화상, L 사이드 화상, R 사이드 화상, L 리어 사이드 화상, R 리어 사이드 화상, 프론트 화상, 드라이버를 촬영한 화상 등)은, 필요에 따라서, 드라이버 상태 검출부(164)나 CMS 화상 생성부(165)에 공급된다.
거리 검출부(162)는, 예를 들어 음파 탐지기나, 레이더, 스테레오 카메라, LIDAR, TOF 센서, 그 밖의 측거가 가능한 센서를 갖는다. 거리 검출부(162)는, 측거가 가능한 센서의 출력을 사용하여, 차량(100)의 주위 기립물, 그 밖의 물체까지의 거리를 검출하고, 그 거리를 나타내는 거리 정보를, CMS 화상 생성부(165)에 공급한다. 또한, 화상 처리에 의해 카메라 단독으로 거리 추정을 해도 된다.
차량 상태 검출부(163)에는, 조작부(151)로부터 조작 정보가 공급됨과 함께, 센서부(162)로부터 센서 신호가 공급된다.
여기서, 조작부(151)는, 예를 들어 브레이크 페달이나, 스티어링, 윙커 레버, 액셀러레이터 페달, 시프트 레버 등의, 드라이버 등이 차량(100)의 조종 등을 위해서 조작하는, 차량(100)에 설치된 각종 조작 수단이다. 또한, 도시하지 않았지만, 그 밖에 스위처나 제스처 센서 등에 의해 운전자 조작을 검출·인식을 해도 된다.
조작부(151)는, 드라이버 등에 의해 조작되고, 그 조작에 대응하는 조작 정보를, 차량 상태 검출부(163) 및 CMS 화상 생성부(165)에 공급한다.
센서부(152)는, 자이로 센서나 가속도 센서 등의, 차량(100)에 관한 각종 물리량을 센싱하는 각종 센서를 갖고, 그 각종 센서가 출력하는 센서 신호를, 차량 상태 검출부(163)에 공급한다.
차량 상태 검출부(163)는, 조작부(151)로부터의 조작 정보나, 센서부(152)로부터의 센서 신호에 기초하여, 차량(100)의 차량 상태를 검출하고, CMS 화상 생성부(165)에 공급한다.
차량(100)의 차량 상태로서는, 예를 들어 차량(100)이, 저속, 중속, 및 고속 중 어느 쪽의 속도 레인지로 주행하고 있거나, 차량(100)이 전진하고 있거나 또는 후진하는 등이 있다.
드라이버 상태 검출부(164)에는, 촬영부(161)의 실내 카메라(122)로부터, 드라이버(운전석)를 촬영한 화상이 공급된다.
드라이버 상태 검출부(164)는, 실내 카메라(122)의 화상으로부터, 드라이버의 드라이버 상태, 즉, 예를 들어 드라이버의 헤드부의 위치나, 헤드부의 이동(회전), 시선, 자세, 상반신의 위치나, 상반신의 이동 등을 검출하고, CMS 화상 생성부(165)에 공급한다. 그 밖에, 제스처나 ToF 센서를 사용하여 드라이버의 상태 검출을 행해도 된다.
CMS 화상 생성부(165)에는, 상술한 바와 같이, 조작부(151)로부터 조작 정보가, 차량 상태 검출부(163)로부터 차량 상태가, 드라이버 상태 검출부(164)로부터 드라이버 상태가, 각각 공급된다.
또한, CMS 화상 생성부(165)에는, 촬영부(161)의 리어 카메라(111), L 사이드 카메라(112), R 사이드 카메라(113), L 리어 사이드 카메라(114), R 리어 사이드 카메라(115), 및 프론트 카메라(121)로부터, 리어 화상, L 사이드 화상, R 사이드 화상, L 리어 사이드 화상, R 리어 사이드 화상, 및 프론트 화상이 각각 공급된다.
CMS 화상 생성부(165)는, 조작부(151)로부터의 조작 정보나, 차량 상태 검출부(163)로부터의 차량 상태, 드라이버 상태 검출부(164)로부터의 드라이버 상태에 따라서, 표시 모드를 설정한다.
또한, CMS 화상 생성부(165)는, 촬영부(161)로부터의 리어 화상, L 사이드 화상, R 사이드 화상, L 리어 사이드 화상, R 리어 사이드 화상, 및 프론트 화상을 사용하여, 표시 모드에 따른 CMS 화상으로서의 통합 화상을 생성하고, 표시부(166)에 공급한다.
표시부(166)는, 예를 들어 차량(100)의 앞유리에 화상을 표시하는 HUD(Head Up Display)나, 대시보드에 설치된 디스플레이 등이며, CMS 화상 생성부(165)로부터의 CMS 화상으로서의 통합 화상 등을 표시한다.
<표시 모드>
도 28은, CMS 화상 생성부(165)가 설정하는 표시 모드의 예를 나타내는 도면이다.
도 28에서는, 표시 모드로서, 예를 들어 주차 지원 백 기어 전환 모드, 시가지 저속 광역 모드, 시가지 저속 사이드 분리 가변 모드, CTA 모드, 고속 사이드 분리 표시 모드, 고속 중간 표시 모드, 및 고속 표준 연속 모드가 있다.
또한, 도 28에서는, 표시 모드의 천이는, 도면 중, 화살표로 표현되는 천이로 제한된다. 단, 표시 모드의 천이는, 도 28에 화살표로 나타낸 천이로 한정되는 것은 아니다. 즉, 예를 들어 표시 모드는, 임의의 표시 모드로부터, 다른 임의의 표시 모드로 천이시킬 수 있다.
여기서, 주차 지원 백 기어 전환 모드, 시가지 저속 광역 모드, 시가지 저속 사이드 분리 가변 모드, CTA 모드, 고속 사이드 분리 표시 모드, 고속 중간 표시 모드, 고속 표준 연속 모드를, 각각 표시 모드 1, 2, 3, 4, 5, 6, 7이라고도 한다.
표시 모드 1에서는, CMS 화상 생성부(165)는, 차량(100)의 상방으로부터, 차량(100)을 포함하는, 차량(100)의 주변을 부감한, 소위 버드 뷰 또는 서라운드 뷰의 화상(부감 화상)을, 표시 모드 1의 화상으로서 생성하고, 그 표시 모드 1의 화상을, CMS 화상으로서 출력한다.
표시 모드 2 또는 3에서는, CMS 화상 생성부(165)는, 도 19 내지 도 25에서 설명한 중속 CMS 화상으로서의 통합 화상을 생성하여 출력한다.
즉, 표시 모드 2에서는, CMS 화상 생성부(165)는, 예를 들어 도 25의 통합 화상을, 표시 모드 2의 통합 화상으로서 생성하고, 그 표시 모드 2의 통합 화상을, CMS 화상으로서 출력한다.
표시 모드 3에서는, CMS 화상 생성부(165)는, 예를 들어 도 22의 통합 화상을, 표시 모드 3의 통합 화상으로서 생성하고, 그 표시 모드 3의 통합 화상을, CMS 화상으로서 출력한다.
표시 모드 4에서는, CMS 화상 생성부(165)는, 도 15 내지 도 18에서 설명한 저속 CMS 화상으로서의 통합 화상을 생성하여 출력한다.
즉, 표시 모드 4에서는, CMS 화상 생성부(165)는, 예를 들어 도 18의 통합 화상을, 표시 모드 4의 통합 화상으로서 생성하고, 그 표시 모드 4의 통합 화상을, CMS 화상으로서 출력한다.
표시 모드 5, 6, 또는 7에서는, CMS 화상 생성부(165)는, 도 12 내지 도 14에서 설명한 고속 CMS 화상으로서의 통합 화상을 생성하여 출력한다.
즉, 표시 모드 5에서는, CMS 화상 생성부(165)는, 예를 들어 도 13의 통합 화상을, 표시 모드 5의 통합 화상으로서 생성하고, 그 표시 모드 5의 통합 화상을, CMS 화상으로서 출력한다.
표시 모드 6에서는, CMS 화상 생성부(165)는, 예를 들어 도 14의 통합 화상을, 표시 모드 6의 통합 화상으로서 생성하고, 그 표시 모드 6의 통합 화상을, CMS 화상으로서 출력한다.
표시 모드 7에서는, CMS 화상 생성부(165)는, 예를 들어 도 12의 통합 화상을, 표시 모드 7의 통합 화상으로서 생성하고, 그 표시 모드 7의 통합 화상을, CMS 화상으로서 출력한다.
CMS 화상 생성부(165)는, 조작부(151)로부터의 조작 정보나, 차량 상태 검출부(163)로부터의 차량 상태, 드라이버 상태 검출부(164)로부터의 드라이버 상태에 따라서, 표시 모드를 설정한다.
예를 들어, 조작부(151)로부터의 조작 정보가, 조작부(151)(도 27)의 시프트 레버가 백 기어가 되어 있음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를 표시 모드 1로 설정할 수 있다.
또한, 예를 들어 차량 상태 검출부(163)로부터의 차량 상태가, 차량(100)이 중속으로 주행하고 있음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를, 표시 모드 2 또는 3으로 설정할 수 있다.
또한, 예를 들어 차량 상태 검출부(163)로부터의 차량 상태가, 차량(100)이 저속으로 주행하고 있음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를, 표시 모드 4로 설정할 수 있다.
또한, 예를 들어 차량 상태 검출부(163)로부터의 차량 상태가, 차량(100)이 고속으로 주행하고 있음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를, 표시 모드 5, 6, 또는 7로 설정할 수 있다. 차량(100)이, 예를 들어 주차 등을 위해서 저속으로 주행하고 있는 차량 상태인 것이나, 시가지 주행 등을 위해 중속으로 주행하고 있는 차량 상태에 있는 것, 고속도로 등에서 고속으로 주행하고 있는 차량 상태인 것은, 예를 들어 GNSS(Global Navigation Satellite System)나 내비게이션, 내비게이션 플래닝 정보를 적절히 이용하여 검출할 수 있다.
또한, 예를 들어 조작부(151)로부터의 조작 정보가, 조작부(151)가 소정의 표시 모드를 지정하도록 조작되었음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를, 조작부(151)의 조작에 따른 소정의 표시 모드로 설정할 수 있다.
또한, 예를 들어 드라이버 상태 검출부(164)로부터의 드라이버 상태가, 드라이버가 안정 자세가 되어 있음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를, 표시 모드 5, 6, 또는 7로 설정할 수 있다.
또한, 예를 들어 드라이버 상태 검출부(164)로부터의 드라이버 상태가, 드라이버의 상반신이 앞으로 이동하고 있음을 나타내는 경우, CMS 화상 생성부(165)는, 표시 모드를, 표시 모드 2, 3, 또는 4로 설정할 수 있다.
<CMS 화상 생성부(165)의 구성예>
도 29는, 도 27의 CMS 화상 생성부(165)의 구성예를 나타내는 블록도이다.
도 29에 있어서, CMS 화상 생성부(165)는, 표시 모드 설정부(201), 리어 화상 처리부(211), L 사이드 화상 처리부(212), R 사이드 화상 처리부(213), L 리어 사이드 화상 처리부(214), R 리어 사이드 화상 처리부(215), 기억부(216), 거리 정보 취득부(217), 위치 관계 판정부(218), 충돌 리스크 판정부(219), 통합부(220) 및 중첩부(221) 등을 갖는다.
표시 모드 설정부(201)에는, 조작부(151)(도 27)로부터 조작 정보가 공급된다. 또한, 표시 모드 설정부(201)에는, 차량 상태 검출부(163)(도 27)로부터 차량 상태가 공급됨과 함께, 드라이버 상태 검출부(164)(도 27)로부터 드라이버 상태가 공급된다.
표시 모드 설정부(201)는, 조작부(151)로부터의 조작 정보, 차량 상태 검출부(163)로부터의 차량 상태, 및 드라이버 상태 검출부(164)로부터의 드라이버 상태 중 적어도 하나에 따라서, 통합 화상의 표시에 관한 표시 모드를 설정하고, 통합부(220) 그 밖의 필요한 블록에 공급한다.
리어 화상 처리부(211)에는, 리어 카메라(111)(도 27)로부터 리어 화상이 공급된다. 리어 화상 처리부(211)는, 리어 카메라(111)로부터 공급되는 리어 화상(의 각 프레임)에, 표시 모드에 따른 화상 처리를 실시하고, 그 화상 처리 후의 리어 화상이나, 리어 화상에 비치는 기립물(리어 기립물), 및 리어 화상상의 리어 기립물의 위치를 나타내는 위치 정보를, 기억부(216)에 공급한다.
L 사이드 화상 처리부(212)에는, L 사이드 카메라(112)(도 27)로부터 L 사이드 화상이 공급된다. L 사이드 화상 처리부(212)는, L 사이드 카메라(112)로부터 공급되는 L 사이드 화상(의 각 프레임)에, 표시 모드에 따른 화상 처리를 실시하고, 그 화상 처리 후의 L 사이드 화상이나, L 사이드 화상에 비치는 기립물(L 사이드 기립물), 및 L 사이드 화상상의 L 사이드 기립물의 위치를 나타내는 위치 정보를, 기억부(216)에 공급한다.
R 사이드 화상 처리부(213)에는, R 사이드 카메라(113)(도 27)로부터 R 사이드 화상이 공급된다. R 사이드 화상 처리부(213)는, R 사이드 카메라(113)로부터 공급되는 R 사이드 화상(의 각 프레임)에, 표시 모드에 따른 화상 처리를 실시하고, 그 화상 처리 후의 R 사이드 화상이나, R 사이드 화상에 비치는 기립물(R 사이드 기립물), 및 R 사이드 화상상의 R 사이드 기립물의 위치를 나타내는 위치 정보를, 기억부(216)에 공급한다.
L 리어 사이드 화상 처리부(214)에는, L 리어 사이드 카메라(114)(도 27)로부터 L 리어 사이드 화상이 공급된다. L 사이드 화상 처리부(214)는, L 리어 사이드 카메라(114)로부터 공급되는 L 리어 사이드 화상(의 각 프레임)에, 표시 모드에 따른 화상 처리를 실시하고, 그 화상 처리 후의 L 리어 사이드 화상을, 기억부(216)에 공급한다.
R 리어 사이드 화상 처리부(215)에는, R 리어 사이드 카메라(115)(도 27)로부터 R 리어 사이드 화상이 공급된다. R 사이드 화상 처리부(215)는, R 리어 사이드 카메라(115)로부터 공급되는 R 리어 사이드 화상(의 각 프레임)에, 표시 모드에 따른 화상 처리를 실시하고, 그 화상 처리 후의 R 리어 사이드 화상을, 기억부(216)에 공급한다.
기억부(216)는, 리어 상(像) 처리부(211)로부터의 리어 화상, 리어 기립물(의 화상) 및 리어 기립물의 위치 정보를 기억한다. 또한, 기억부(216)는, L 사이드 화상 처리부(212)로부터의 L 사이드 화상, L 사이드 기립물(의 화상) 및 L 사이드 기립물의 위치 정보를 기억한다. 또한, 기억부(216)는, R 사이드 화상 처리부(213)로부터의 R 사이드 화상, R 사이드 기립물(의 화상), 및 R 사이드 기립물의 위치 정보를 기억한다. 또한, 기억부(216)는, L 리어 사이드 화상 처리부(214)로부터의 L 리어 사이드 화상, 및 R 리어 사이드 화상 처리부(215)로부터의 R 리어 사이드 화상을 기억한다.
거리 정보 취득부(217)에는, 거리 검출부(162)(도 27)로부터, 차량(100)의 주위 물체까지의 거리를 나타내는 거리 정보가 공급된다. 거리 정보 취득부(217)는, 거리 검출부(162)로부터 공급되는 거리 정보로부터, 기억부(216)에 기억된 위치 정보가 나타내는 위치에 있는 기립물(리어 기립물, L/R 사이드 기립물)의 거리 정보를 취득하고, 위치 관계 판정부(218), 충돌 리스크 판정부(219) 및 통합부(220)에 공급한다.
위치 관계 판정부(218)는, 거리 정보 취득부(217)로부터의 기립물의 거리 정보에 기초하여, 리어 기립물과 L/R 사이드 기립물의 전후 관계를 판정하는 전후 관계 판정을 행한다. 또한, 위치 관계 판정부(218)는, 거리 정보 취득부(217)로부터의 기립물의 거리 정보, 및 기억부(216)에 기억된 기립물의 위치 정보에 기초하여, 합성 화상에 있어서, L/R 사이드 기립물이, 리어 기립물에 의해 숨겨질지 여부를 판정하는 오클루전 판정을 행한다.
그리고, 위치 관계 판정부(218)는, 전후 관계 판정의 판정 결과, 및 오클루전 판정의 판정 결과를, 위치 관계 정보로 하여, 중첩부(221)에 공급한다.
충돌 리스크 판정부(219)는, 거리 정보 취득부(217)로부터의 L/R 사이드 기립물의 거리 정보에 기초하여, 차량(100)이, 왼쪽 또는 오른쪽으로 진로 변경하면, L/R 사이드 기립물과 충돌할지 여부의 충돌 리스크를 판정하는 충돌 리스크 판정을 행한다.
즉, 충돌 리스크 판정부(219)는, 예를 들어 거리 정보 취득부(217)로부터의 L/R 사이드 기립물의 거리 정보로부터, L/R 사이드 기립물의 상대 속도를 구한다. 또한, 충돌 리스크 판정부(219)는, L/R 사이드 기립물의 거리 정보가 나타내는 L/R 사이드 기립물까지의 거리, 및 L/R 사이드 기립물의 상대 속도로부터, 차량(100)이 왼쪽 또는 오른쪽으로 진로 변경하면, L/R 사이드 기립물과 충돌할 때까지의 충돌 소요 시간을 추정하고, 그 충돌 소요 시간에 따라서, 충돌 리스크 판정을 행한다.
충돌 리스크 판정부(219)는, 충돌 리스크 판정의 판정 결과를, 중첩부(221)에 공급한다.
통합부(220)는, 표시 모드에 따라서, 기억부(216)에 기억된 리어 화상, L/R 사이드 화상, L/R 리어 사이드 화상, 리어 기립물, 및 L/R 사이드 기립물 중 필요한 화상을 통합하여, 통합 화상을 생성하고, 중첩부(221)에 공급(출력)한다.
또한, 통합부(220)는, 통합 화상(을 구성하는 합성 화상)의 생성에 있어서, 리어 기립물, 및 L/R 사이드 기립물의 레이어 합성을 행하는 경우에는, 거리 정보 취득부(217)로부터의 기립물의 거리 정보에 따라서, 리어 기립물, 및 L/R 사이드 기립물이 중첩되는 부분에 대하여, 안쪽에 있는 기립물을, 전방측에 있는 기립물로 덮어쓰도록, 리어 기립물, 및 L/R 사이드 기립물을 합성한다.
중첩부(221)는, 표시 모드에 따라서, 통합부(220)로부터의 통합 화상에, 경고 마크 AM1이나 AM2(도 12)와 같은 경고 마크, 또는 차량(100)의 주위를 둘러싸는 가상 경계선 VL10, VL11, VL12, VL13(도 24, 도 25)을 중첩하고, 그 결과 얻어지는 중첩 화상을, CMS 화상으로서, 표시부(166)(도 27)로 출력한다.
즉, 중첩부(221)는, 표시 모드(도 28)가 표시 모드 1, 3, 또는 4인 경우, 통합부(220)로부터의 통합 화상을, 그대로, CMS 화상으로서 출력한다.
또한, 중첩부(221)는, 표시 모드가 표시 모드 2인 경우, 차량(100)의 주위를 둘러싸는 가상 경계선 VL10, VL11, VL12, VL13(에 대응하는 선)을 중첩하고, 그 결과 얻어지는 중첩 화상을, CMS 화상으로서 출력한다.
또한, 중첩부(221)는, 표시 모드가 표시 모드 5, 6, 또는 7인 경우, 위치 관계 판정부(218)로부터의 위치 관계 정보나, 충돌 리스크 판정부(219)로부터의 충돌 리스크 판정의 판정 결과에 따라서, 드라이버에게 L/R 사이드 기립물의 접근을 경고할지 여부를 판정하는 경고 판정을 행한다.
그리고, 중첩부(221)는, 경고 판정에 있어서, 경고가 불필요하다고 판정한 경우, 통합부(220)로부터의 통합 화상을, 그대로, CMS 화상으로서 출력한다.
또한, 중첩부(221)는, 경고 판정에 있어서, 경고가 필요하다고 판정한 경우, 통합부(220)로부터의 통합 화상의, L/R 사이드 기립물이 존재하는 위치에, 경고 마크를 중첩하고, 그 결과 얻어지는 중첩 화상을, CMS 화상으로서 출력한다.
또한, 중첩부(221)는, 통합 화상의, 경고 마크를 중첩하는 L/R 사이드 기립물이 존재하는 위치를, 기억부(216)에 기억된 L/R 사이드 기립물의 위치 정보로부터 인식한다.
도 30은, 도 29의 리어 화상 처리부(211)의 구성예를 나타내는 블록도이다.
리어 화상 처리부(211)는, 화상 잘라내기부(251) 및 기립물 검출부(252)를 갖는다.
화상 잘라내기부(251)에는, 리어 카메라(111)(도 27)로부터 리어 화상이 공급된다.
화상 잘라내기부(251)는, 리어 카메라(111)로부터 공급되는 리어 화상(이하, 원 리어 화상이라고도 함)으로부터, 표시 모드에 따라서, 그 표시 모드의 통합 화상의 생성에 필요한 범위를 잘라내고, 그 범위의 리어 화상을, 기립물 검출부(252) 및 기억부(216)(도 29)에 공급한다.
기립물 검출부(252)는, 화상 잘라내기부(251)로부터의 리어 화상의 옵티컬 플로우 해석이나 텍스처 해석 등을 행함으로써, 리어 화상에 비치는 리어 기립물의 영역의 세그멘테이션을 행한다.
기립물 검출부(252)는, 세그멘테이션에 의해, 리어 화상에 비치는 리어 기립물(의 화상), 및 그 리어 기립물의 리어 화상상의 위치를 나타내는 위치 정보를 검출하고, 기억부(216)에 공급한다. 여기서, 세그멘테이션에서는, 비노면으로 되는 기립물의 영역 추출이 행해진다. 세그멘테이션을 통해 추출되는 영역의 경계 최하단부를 노면접 지점이라고 간주할 수 있다. 이동하는 기립물은 반드시 노면 접지점을 갖는다.
도 31은, 도 29의 L 사이드 화상 처리부(212)의 구성예를 나타내는 블록도이다.
L 사이드 화상 처리부(212)는, 화상 잘라내기부(261), 사영 방식 변환부(262), 기립물 검출부(263), 아핀 변환부(264), 및 변환 후 위치 검출부(265)를 갖는다.
화상 잘라내기부(261)에는, L 사이드 카메라(112)(도 27)로부터 L 사이드 화상이 공급된다.
화상 잘라내기부(261)는, L 사이드 카메라(112)로부터 공급되는 L 사이드 화상(이하, 원 L 사이드 화상이라고도 함)으로부터, 표시 모드에 따라서, 그 표시 모드의 통합 화상의 생성에 필요한 범위를 잘라내고, 그 범위의 L 사이드 화상을, 사영 방식 변환부(262)에 공급한다.
사영 방식 변환부(262)는, 표시 모드에 따라서, 화상 잘라내기부(261)로부터의 L 사이드 화상을, 중심 사영의 L 사이드 화상이나, 원통 사영의 L 사이드 화상으로 변환하는, 사영 방식의 변환을 행한다.
여기서, 본 실시 형태에서는, L 사이드 카메라(112)는, 전천구 카메라이며, L 사이드 카메라(112)로 촬영되는 (원)L 사이드 화상은, 예를 들어 등거리 사영 등의, 종일 촬영에서 채용되는 사영 방식의 화상으로 되어 있다.
사영 방식 변환부(262)는, 이상과 같은 등거리 사영의 L 사이드 화상을, 중심 사영의 L 사이드 화상이나, 원통 사영의 L 사이드 화상(의 한쪽, 또는 양쪽)으로 변환한다.
사영 방식 변환부(262)는, 중심 사영의 L 사이드 화상을, 기립물 검출부(263), 아핀 변환부(264), 및 기억부(216)(도 29)에 공급하고, 원통 사영의 L 사이드 화상을, 기억부(216)에 공급한다.
기립물 검출부(263)는, 사영 방식 변환부(262)로부터의 L 사이드 화상의 옵티컬 플로우 해석이나 텍스처 해석 등을 행함으로써, L 사이드 화상에 비치는 L 사이드 기립물의 영역의 세그멘테이션을 행한다.
기립물 검출부(263)는, 세그멘테이션에 의해, L 사이드 화상에 비치는 L 사이드 기립물(의 화상), 및 그 L 사이드 기립물의 L 사이드 화상상의 위치를 나타내는 위치 정보를 검출하고, 변환 후 위치 검출부(265), 및 기억부(216)에 공급한다.
아핀 변환부(264)는, 예를 들어 사영 방식 변환부(262)로부터의 L 사이드 화상의 무한 원점을, 리어 화상의 무한 원점에 일치시키도록, 사영 방식 변환부(262)로부터의 L 사이드 화상을 아핀 변환한다.
그리고, 아핀 변환부(264)는, 아핀 변환에 의해 얻어지는 아핀 변환 후의 L 사이드 화상을, 기억부(216)에 공급한다.
또한, 아핀 변환부(264)에서는, L 사이드 화상의 무한 원점을, 리어 화상의 무한 원점에 일치시키는 아핀 변환을 행하는 외에, 예를 들어 드라이버의 상태에 따라서, 아핀 변환 후의 L 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도를 조정한 아핀 변환을 행할 수 있다.
또한, 아핀 변환부(264)는, 아핀 변환에 있어서, 아핀 변환 전의 L 사이드 화상의 각 화소의 위치와, 아핀 변환 후의 L 사이드 화상의 각 화소의 위치를 대응지은 변환 테이블을 생성한다. 아핀 변환의 변환 테이블은, 아핀 변환부(264)로부터 변환 후 위치 검출부(265)로 공급된다.
변환 후 위치 검출부(265)는, 아핀 변환부(264)로부터의 변환 테이블을 사용하여, 기립물 검출부(263)로부터의 L 사이드 기립물의 위치 정보(아핀 변환 전의 L 사이드 화상에 비치는 기립물의 위치 정보)로부터, 아핀 변환 후의 L 사이드 화상에 비치는 L 사이드 기립물의 위치 정보를 검출하고, 기억부(216)에 공급한다.
도 32는, 도 29의 R 사이드 화상 처리부(213)의 구성예를 나타내는 블록도이다.
R 사이드 화상 처리부(213)는, 화상 잘라내기부(271), 사영 방식 변환부(272), 기립물 검출부(273), 아핀 변환부(274), 및 변환 후 위치 검출부(275)를 갖는다.
화상 잘라내기부(271) 내지 변환 후 위치 검출부(275)는, 도 31의 화상 잘라내기부(261) 내지 변환 후 위치 검출부(265)와 각각 마찬가지로 구성된다.
화상 잘라내기부(271) 내지 변환 후 위치 검출부(275)에서는, R 사이드 카메라(113)로부터 공급되는 R 사이드 화상(이하, 원 R 사이드 화상이라고도 함)을 대상으로 하는 점을 제외하고, 화상 잘라내기부(261) 내지 변환 후 위치 검출부(265)와 각각 마찬가지의 처리가 행해진다.
도 33은, 도 29의 L 리어 사이드 화상 처리부(214)의 구성예를 나타내는 블록도이다.
L 리어 사이드 화상 처리부(214)는, 화상 잘라내기부(281)를 갖는다.
화상 잘라내기부(281)에는, L 리어 사이드 카메라(114)(도 27)로부터 L 리어 사이드 화상이 공급된다.
화상 잘라내기부(281)는, L 리어 사이드 카메라(114)로부터 공급되는 L 리어 사이드 화상(이하, 원 L 리어 사이드 화상이라고도 함)으로부터, 표시 모드에 따라서, 그 표시 모드의 통합 화상의 생성에 필요한 범위를 잘라내고, 그 범위의 L 리어 사이드 화상을, 기억부(216)(도 29)에 공급한다.
도 34는, 도 29의 R 리어 사이드 화상 처리부(215)의 구성예를 나타내는 블록도이다.
R 리어 사이드 화상 처리부(215)는, 화상 잘라내기부(291)를 갖는다.
화상 잘라내기부(291)에는, R 리어 사이드 카메라(115)(도 27)로부터 R 리어 사이드 화상이 공급된다.
화상 잘라내기부(281)는, R 리어 사이드 카메라(115)로부터 공급되는 R 리어 사이드 화상(이하, 원 R 리어 사이드 화상이라고도 함)으로부터, 표시 모드에 따라서, 그 표시 모드의 통합 화상의 생성에 필요한 범위를 잘라내고, 그 범위의 R 리어 사이드 화상을, 기억부(216)(도 29)에 공급한다.
도 35는, 도 30의 기립물 검출부(252)에서의 기립물의 검출에 행해지는 세그멘테이션의 개요를 설명하는 도면이다.
즉, 도 35는, 리어 화상의 일례를 나타내고 있다.
도 35에 있어서, 화살표는, 리어 화상의 옵티컬 플로우 해석을 행함으로써 얻어지는 OF(Optical Flow)(를 나타내는 벡터)를 나타낸다.
리어 화상에 있어서, 리어 화상에 비치는 물체의 OF는, 그 물체의, 차량(100)에 대한 상대 속도에 따라 상이하다. 따라서, 예를 들어 도로 등의 정지하고 있는 물체의 OF와, 차량(100) 이외의 차량 등이 움직이고 있는 기립물의 OF와는 상이하다.
예를 들어, 도로의 OF는, 차량(100)의 속도에 대응하는 크기이며, 후방(리어 화상의 안쪽)을 향하는 벡터로 된다. 또한, 예를 들어 차량(100)에 접근하는 기립물의 OF는, 전방(리어 화상의 전방측)을 향하는 벡터로 되고, 차량(100)의 후방을, 차량(100)과 동일 속도로 주행하는 기립물의 OF는, 0 벡터가 된다.
따라서, 리어 화상에 있어서, OF가 유사한 연속한 영역은, 예를 들어 자동차나, 자동이륜차, 보행자 등의, 유사한 텍스처를 갖는 하나의 물체(집합체)를 구성할 확률이 극히 높다.
그래서, 기립물 검출부(252)는, 리어 화상에 있어서, 차량(100)의 속도에 대응하는 크기이며, 후방을 향하는 OF를, 도로의 OF로서, 리어 화상을, 도로의 OF와는 다른 OF이며, 유사한 OF가 분포하는 한 묶음의 영역으로 구분하는 세그멘테이션을 행한다.
그리고, 기립물 검출부(252)는, 세그멘테이션에 의해 얻어지는 한 묶음의 영역을, 기립물(의 영역)로서 검출한다.
도 31의 기립물 검출부(263) 및 도 32의 기립물 검출부(273)에서도, 기립물 검출부(252)와 마찬가지로 세그멘테이션을 행하고, 기립물을 검출한다. 세그멘테이션에 의해 추출한 기립물의 영역에 대해서는, 자차량(100)과의 상대 위치 관계가 중요하며, 자차량(100)에 가장 가까운 점인 최접근점이 가장 중요하다. 또한, 기립물은, 그 기립물의 영역의 경계 최하부의 위치에 직립하고 있다고 가정할 수 있다. 또한, 크레인 차 등의 특수한 형상의 차량에 대해서는, 차량의 도로 접지점이 세그멘테이션에 의해 검출된 (기립물) 영역보다 인입하고 있는 경우(기립물의 영역의 경계의 최하부가 아닌 경우)가 있다. 이 경우, 기립물의 영역의 경계 최하부를, 차량의 도로 접지점으로 하면, 그 도로 접지점은 오차를 포함한다. 그래서, 차량의 도로 접지점의 검출에 있어서는, 차량 식별을 행하고, 그 식별 결과에 따라서, 능동적으로 차량의 도로 접지점의 오차를 저감하는 오프셋을 인가하는 등의 처리를 행해도 된다.
<CMS 화상 생성 처리>
도 36은, 도 29의 CMS 화상 생성부(165)가 행하는 CMS 화상 생성 처리의 예를 설명하는 흐름도이다.
스텝 S101에 있어서, 표시 모드 설정부(201)는, 조작부(151)로부터의 조작 정보, 차량 상태 검출부(163)로부터의 차량 상태 및 드라이버 상태 검출부(164)로부터의 드라이버 상태에 따라서, 표시 모드를 설정하고, 통합부(220) 그 밖의 필요한 블록에 공급하고, 처리는 스텝 S102로 진행된다.
스텝 S102에서는, CMS 화상 생성부(165)(의 각블록)는, 표시 모드를 판정한다.
스텝 S102에 있어서, 표시 모드가, 표시 모드 5, 6, 또는 7이라고 판정된 경우, 처리는 스텝 S103으로 진행하고, CMS 화상 생성부(165)는 표시 모드 5, 6, 7의 화상 생성 처리를 행하고, 처리는 스텝 S101로 되돌아간다.
스텝 S102에 있어서, 표시 모드가, 표시 모드 4라고 판정된 경우, 처리는 스텝 S104로 진행하고, CMS 화상 생성부(165)는, 표시 모드 4의 화상 생성 처리를 행하고, 처리는 스텝 S101로 되돌아간다.
스텝 S102에 있어서, 표시 모드가, 표시 모드 2 또는 3이라고 판정된 경우, 처리는 스텝 S105로 진행하고, CMS 화상 생성부(165)는, 표시 모드 2, 3의 화상 생성 처리를 행하고, 처리는 스텝 S101로 되돌아간다.
스텝 S102에 있어서, 표시 모드가, 표시 모드 1이라고 판정된 경우, 처리는 스텝 S106으로 진행되고, CMS 화상 생성부(165)는, 촬영부(161)로부터 공급되는 화상을 적절히 사용하여, 표시 모드 1의 화상, 즉, 서라운드 뷰의 화상을 생성한다.
그리고, CMS 화상 생성부(165)는, 서라운드 뷰의 화상을, CMS 화상으로서 (표시부(166)로) 출력하고, 처리는 스텝 S106으로부터 스텝 S101로 되돌아간다.
도 37은, 도 36의 스텝 S103에서 행해지는 표시 모드 5, 6, 7의 화상 생성 처리의 예를 설명하는 흐름도이다.
스텝 S111에 있어서, 표시 모드 5, 6, 7의 화상 처리가 행해지고, 처리는 스텝 S112로 진행된다.
여기서, 표시 모드 5, 6, 7의 화상 처리로서는, 스텝 S111-1에 있어서, 리어 화상 처리부(211)가, 리어 화상 처리를 행한다. 또한, 스텝 S111-2에 있어서, L 사이드 화상 처리부(212), L 사이드 화상 처리를 행하고, 스텝 S111-3에 있어서, R 사이드 화상 처리부(213), R 사이드 화상 처리를 행한다.
스텝 S111-1에서는, 리어 화상 처리부(211)는, 리어 화상 처리를 행함으로써, 표시 모드 5, 6, 또는 7의 통합 화상(도 13, 도 14, 또는 도 12의 통합 화상)의 생성에 사용되는 리어 화상, 리어 기립물 및 리어 기립물의 위치 정보를 얻어 출력한다.
스텝 S111-2에서는, L 사이드 화상 처리부(212)는, L 사이드 화상 처리를 행함으로써, 표시 모드 5, 6, 또는 7의 통합 화상의 생성에 사용되는 L 사이드 화상, L 사이드 기립물 및 L 사이드 기립물의 위치 정보를 얻어 출력한다.
스텝 S111-3에서는, R 사이드 화상 처리부(213)는, R 사이드 화상 처리를 행함으로써, 표시 모드 5, 6, 또는 7의 통합 화상의 생성에 사용되는 R 사이드 화상, R 사이드 기립물, 및 R 사이드 기립물의 위치 정보를 얻어 출력한다.
스텝 S112에서는, 기억부(216)가, 직전의 스텝 S111의 표시 모드 5, 6, 7의 화상 처리에 의해 얻어지는 리어 화상, 리어 기립물, 리어 기립물의 위치 정보, L/R 사이드 화상, L/R 사이드 기립물, 및 L/R 사이드 화상의 위치 정보를 기억하고, 처리는 스텝 S113으로 진행된다.
스텝 S113에서는, 거리 정보 취득부(217)는, 거리 검출부(162)(도 27)로부터 공급되는 거리 정보로부터, 기억부(216)에 기억된 위치 정보가 나타내는 위치에 있는 리어 기립물 및 L/R 사이드 기립물의 거리 정보를 취득한다. 그리고, 거리 정보 취득부(217)는, 리어 기립물, 및 L/R 사이드 기립물의 거리 정보를, 위치 관계 판정부(218), 충돌 리스크 판정부(219), 및 통합부(220)에 공급하고, 처리는 스텝 S113으로부터 스텝 S114로 진행된다.
스텝 S114에서는, 충돌 리스크 판정부(219)는, 거리 정보 취득부(217)로부터의 L/R 사이드 기립물의 거리 정보(의 변화)로부터, L/R 사이드 기립물의 상대 속도(차량(100)에 대한 상대 속도)를 구한다. 또한, 충돌 리스크 판정부(219)는, L/R 사이드 기립물의 거리 정보가 나타내는 L/R 사이드 기립물까지의 거리 및 L/R 사이드 기립물의 상대 속도로부터, 충돌 리스크 판정을 행하고, 처리는 스텝 S115로 진행된다.
스텝 S115에서는, 위치 관계 판정부(218)는, 거리 정보 취득부(217)로부터의 리어 기립물, 및 L/R 사이드 기립물의 거리 정보 및 기억부(216)에 기억된 리어 기립물, 및 L/R 사이드 기립물의 위치 정보에 기초하여, 전후 관계 판정과 오클루전 판정을 행한다.
그리고, 위치 관계 판정부(218)는, 전후 관계 판정의 판정 결과 및 오클루전 판정의 판정 결과를, 위치 관계 정보로서, 중첩부(221)에 공급하고, 처리는 스텝 S115로부터 스텝 S116으로 진행된다.
스텝 S116에서는, 통합부(220)는, 기억부(216)에 기억된 리어 화상, L/R 사이드 화상, 리어 기립물 및 L/R 사이드 기립물을 사용하여, 표시 모드 5, 6, 또는 7의 통합 화상(도 13, 도 14, 또는 도 12의 통합 화상)을 생성한다.
즉, 통합부(220)는, 기억부(216)에 기억된 리어 화상 및 아핀 변환 후의 L/R 사이드 화상을 합성하고, 그 결과 얻어지는 합성 화상에, 기억부(216)에 기억된 리어 기립물 및 L/R 사이드 기립물을, 거리 정보 취득부(217)로부터의 리어 기립물 및 L/R 사이드 기립물의 거리 정보에 따라서 레이어 합성함으로써, 합성 화상을 생성한다.
또한, 여기에서는, 도 10에서 설명한 CMS 화상의 표시 방법으로서, 제4 표시 방법을 채용하기로 한다. 이 경우, 레이어 합성에는, 아핀 변환 전의 L/R 사이드 기립물이, 아핀 변환 후의 L/R 사이드 기립물(아핀 변환 후의 L/R 사이드 화상에 비치는 L/R 사이드 기립물)의 위치 정보가 나타내는 위치에 합성된다.
통합부(220)는, 이상과 같이 하여 합성 화상을 생성한 후, 그 합성 화상에, 필요에 따라서, 기억부(216)에 기억된 아핀 변환 전의 L/R 사이드 화상을 결합함으로써, 표시 모드 5, 6, 또는 7의 통합 화상을 생성한다.
그리고, 통합부(220)는, 표시 모드 5, 6, 또는 7의 통합 화상을, 중첩부(221)에 공급하고, 처리는 스텝 S116으로부터 스텝 S117로 진행된다.
스텝 S117에서는, 중첩부(221)는, 위치 관계 판정부(218)로부터의 위치 관계 정보나, 충돌 리스크 판정부(219)로부터의 충돌 리스크 판정의 판정 결과에 따라서, 드라이버에게 L/R 사이드 기립물의 접근을 경고할지 여부를 판정하는 경고 판정을 행한다.
경고 판정에 있어서, 경고가 필요하다고 판정된 경우, 즉, 예를 들어 L/R 기립물이, 리어 기립물보다도 안쪽에 있고, 합성 화상에 있어서, 리어 기립물의 적어도 일부가, 리어 기립물에 의해 숨고, 또한, 차량(100)이, 왼쪽 또는 오른쪽으로 진로 변경하면, 소정의 시간 내에, L/R 사이드 기립물과 충돌할 가능성이 높은 경우, 중첩부(221)는, 통합부(220)로부터의 통합 화상에 경고 마크를 중첩한다.
즉, 중첩부(221)는, 기억부(216)에 기억된(아핀 변환 후의) L/R 사이드 기립물의 위치 정보에 따라서, 통합부(220)로부터의 통합 화상의, L/R 사이드 기립물이 존재하는 위치에, 경고 마크를 중첩하고, 처리는 스텝 S117로부터 스텝 S118로 진행된다.
스텝 S118에서는, 중첩부(221)는, 경고 마크의 중첩에 의해 얻어지는 중첩 화상을, CMS 화상으로서 출력하고, 처리는 되돌아간다.
또한, 스텝 S117의 경고 판정에 있어서, 경고가 불필요하다고 판정된 경우, 처리는 스텝 S118로 진행하고, 중첩부(221)는, 통합부(220)로부터의 통합 화상을, 그대로, CMS 화상으로서 출력한다.
도 38은, 도 37의 스텝 S111-1에서 리어 화상 처리부(211)가 행하는 리어 화상 처리의 예를 설명하는 흐름도이다.
스텝 S131에 있어서, 리어 화상 처리부(211)(도 30)의 화상 잘라내기부(251)는, 리어 카메라(111)로부터 공급되는 원 리어 화상을 취득한다.
그리고, 화상 잘라내기부(251)는, 리어 카메라(111)의 카메라 파라미터에 따라서, 원 리어 화상을 수정하고, 처리는 스텝 S132로 진행된다.
스텝 S132에서는, 화상 잘라내기부(251)는, 원 리어 화상으로부터, 표시 모드 5, 6, 또는 7의 통합 화상의 생성에 사용하는 범위의 리어 화상을 잘라내고, 기립물 검출부(252), 및 기억부(216)(도 29)로 출력하고, 처리는 스텝 S133으로 진행된다.
스텝 S133에서는, 기립물 검출부(252)는, 화상 잘라내기부(251)로부터의 리어 화상에, 기립물의 검출 대상으로 되는 대상 영역으로서의 ROI(Region Of Interest)를 설정하고, 처리는 스텝 S134로 진행된다.
스텝 S134에서는, 기립물 검출부(252)는, 화상 잘라내기부(251)로부터의 리어 화상의 대상 영역에 대해서, 옵티컬 플로우 해석이나, 텍스처 해석, 톤 해석 등을 이용한 세그멘테이션을 행함으로써, 리어 화상의 대상 영역 내에 비치는 리어 기립물의 검출을 행하여(리어 기립물의 검출을 시도하여), 처리는 스텝 S135로 진행된다.
즉, 스텝 S134에서는, 예를 들어, 우선 스텝 S134-1에 있어서, 기립물 검출부(252)는, 리어 화상의 대상 영역의 옵티컬 플로우 해석을 행한다.
또한, 기립물 검출부(252)는, 대상 영역을, 옵티컬 플로우 해석에 의해 얻어지는 OF(Optical Flow)를 나타내는 벡터가 유사한 소 영역으로 클러스터링한다.
또한, 기립물 검출부(252)는, 대상 영역의 클러스터링에 의해 얻어진 각 소 영역의 텍스처 해석이나 톤 해석 등을 행함으로써, 각 소 영역의 특징량을 구하고, 특징량이 유사한, 인접하는 소 영역끼리를 병합함으로써, 소 영역을 확장하고, 처리는 스텝 S134-1로부터 스텝 S134-2로 진행된다.
스텝 S134-2에서는, 기립물 검출부(252)는, 스텝 S134-1에서 얻어진, 소 영역을 확장시킨 확장 영역 중에서, 리어 기립물이라고 추정되는 확장 영역의 경계를 검출하고, 처리는 스텝 S134-3으로 진행된다.
스텝 S134-3에서는, 기립물 검출부(252)는, 대상 영역으로부터, 스텝 S134-2에서 경계가 검출된 확장 영역 내의 화상을, 리어 기립물이 화상으로서 추출되고, 그 화상의 경계를 매끄럽게 하는 에지 처리를 행하여, 스텝 S134의 처리는 종료된다.
스텝 S135에서는, 기립물 검출부(252)는, 리어 화상에 리어 기립물이 비치고 있는지 여부를 판정한다.
즉, 스텝 S135에서는, 기립물 검출부(252)는, 직전의 스텝 S134의 세그멘테이션에 의해, 리어 화상으로부터 리어 기립물을 검출할 수 있는지 여부를 판정한다.
스텝 S135에 있어서, 리어 기립물을 검출할 수 없었다고 판정된 경우, 처리는 스텝 S136 및 S137을 스킵하고, 되돌아간다.
이 경우, 기립물 검출부(252)는, 리어 기립물, 및 리어 기립물의 위치 정보를 출력하지 않는다(출력할 수 없음).
한편, 스텝 S135에 있어서, 리어 기립물을 검출할 수 있었다고 판정된 경우, 처리는 스텝 S136으로 진행하고, 기립물 검출부(252)는, 리어 화상상의 리어 기립물의 위치를 나타내는 위치 정보를 검출하고, 처리는 스텝 S137로 진행된다.
스텝 S137에서는, 기립물 검출부(252)는, 스텝 S134에서 검출한 리어 기립물과, 스텝 S136에서 검출한 리어 기립물의 위치 정보를, 기억부(216)(도 29)로 출력하여, 처리는 되돌아간다.
도 39는, 도 37의 스텝 S111-2에서 L 사이드 화상 처리부(212)가 행하는 L 사이드 화상 처리의 예를 설명하는 흐름도이다.
스텝 S151에 있어서, L 사이드 화상 처리부(212)(도 31)의 화상 잘라내기부(261)는, L 사이드 카메라(112)로부터 공급되는 원 L 사이드 화상을 취득한다.
그리고, 화상 잘라내기부(261)는, L 사이드 카메라(112)의 카메라 파라미터에 따라서, 원 L 사이드 화상을 수정하고, 처리는 스텝 S152로 진행된다.
스텝 S152에서는, 화상 잘라내기부(261)는, 원 L 사이드 화상으로부터, 표시 모드 5, 6, 또는 7의 통합 화상의 생성에 사용하는 범위의 L 사이드 화상을 잘라내고, 사영 방식 변환부(262)에 공급하고, 처리는 스텝 S153으로 진행된다.
스텝 S153에서는, 사영 방식 변환부(262)는, 화상 잘라내기부(261)로부터의 잘라내기 후의 L 사이드 화상을, 중심 사영의 L 사이드 화상으로 변환하고, 기립물 검출부(263), 아핀 변환부(264) 및 기억부(216)(도 29)로 출력하고, 처리는 스텝 S154로 진행된다.
스텝 S154에서는, 아핀 변환부(264)는, 사영 방식 변환부(262)로부터의 L 사이드 화상의 무한 원점을, 리어 화상의 무한 원점에 일치시키도록, 사영 방식 변환부(262)로부터의 L 사이드 화상을 아핀 변환하기 위한, 아핀 변환 전의 L 사이드 화상의 각 화소의 위치와, 아핀 변환 후의 L 사이드 화상의 각 화소의 위치를 대응지은 변환 테이블을 생성한다.
또한, 아핀 변환부(264)는, 변환 테이블에 따라서, 사영 방식 변환부(262)로부터의 L 사이드 화상을 아핀 변환하고, 아핀 변환 후의 L 사이드 화상을, 기억부(216)(도 29)로 출력한다.
또한, 아핀 변환부(264)는, 변환 테이블을, 변환 후 위치 검출부(265)에 공급하고, 처리는 스텝 S154로부터 스텝 S155로 진행된다.
또한, 표시 모드가 표시 모드 6으로 설정된 경우에 있어서, 도 14에서 설명한 바와 같이, 드라이버의 헤드부 이동에 따라서, 합성 화상에 있어서, 아핀 변환 후의 L/R 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도를, 연속적으로 변화시킬 때에는, 아핀 변환부(264)는, 드라이버 상태 검출부(164)(도 27)로부터 CMS 화상 생성부(165)에 공급되는 드라이버 상태에 따라서, 아핀 변환 후의 L 사이드 화상의 무한 원점이 리어 화상의 무한 원점과 일치하는 정도를 조정하고, 아핀 변환을 행한다.
스텝 S155에서는, 기립물 검출부(263)는, 사영 방식 변환부(262)로부터의 L 사이드 화상에, 기립물의 검출 대상으로 되는 대상 영역으로서의 ROI를 설정하고, 처리는 스텝 S156으로 진행된다.
스텝 S156에서는, 기립물 검출부(263)는, 사영 방식 변환부(262)로부터의 L 사이드 화상의 대상 영역에 대해서, 도 38의 스텝 S134과 마찬가지의 세그멘테이션을 행함으로써, L 사이드 화상의 대상 영역 내에 비치는 L 사이드 기립물의 검출을 행하여(L 사이드 기립물의 검출을 시도하여), 처리는 스텝 S157로 진행된다.
스텝 S157에서는, 기립물 검출부(263)는, L 사이드 화상에 L 사이드 기립물이 비치고 있는지 여부를 판정한다.
즉, 스텝 S157에서는, 기립물 검출부(263)는, 직전의 스텝 S156의 세그멘테이션에 의해, L 사이드 화상으로부터 L 사이드 기립물을 검출할 수 있는지 여부를 판정한다.
스텝 S157에 있어서, L 사이드 기립물을 검출할 수 없었다고 판정된 경우, 처리는 스텝 S158 내지 S160을 스킵하고, 스텝 S161로 진행된다.
이 경우, 기립물 검출부(263)는, L 사이드 기립물 및(아핀 변환 전의) L 사이드 기립물의 위치 정보를 출력하지 않는다(출력할 수 없음). 또한, 변환 후 위치 검출부(265)도, 마찬가지로, (아핀 변환 후의) L 사이드 기립물의 위치 정보를 출력하지 않는다.
한편, 스텝 S157에 있어서, L 사이드 기립물을 검출할 수 있었다고 판정된 경우, 처리는 스텝 S158로 진행하고, 기립물 검출부(263)는, L 사이드 화상상의 L 사이드 기립물의 위치를 나타내는 위치 정보를 검출하고, 처리는 스텝 S159로 진행된다.
스텝 S159에서는, 기립물 검출부(263)는, 스텝 S158에서 검출한 L 사이드 기립물과, 스텝 S158에서 검출한 L 사이드 기립물의 위치 정보를, 변환 후 위치 검출부(265) 및 기억부(216)(도 29)로 출력하고, 처리는 스텝 S160으로 진행된다.
스텝 S160에서는, 변환 후 위치 검출부(265)는, 아핀 변환부(264)로부터의 변환 테이블을 사용하여, 기립물 검출부(263)로부터의 L 사이드 기립물의 위치 정보(아핀 변환 전의 L 사이드 화상에 비치는 기립물의 위치 정보)로부터, 아핀 변환 후의 L 사이드 화상에 비치는 L 사이드 기립물(아핀 변환 후의 L 사이드 기립물)의 위치 정보를 검출한다. 그리고, 변환 후 위치 검출부(265)는, 아핀 변환 후의 L 사이드 기립물의 위치 정보를, 기억부(216)로 출력하고, 처리는, 스텝 S161로 진행된다.
스텝 S161에서는, CMS 화상 생성부(165)는, 촬영부(161)를 구성하는 리어 카메라(111) 내지 실내 카메라(122)의 카메라 파라미터를 교정하는 카메라 파라미터 교정 타이밍이 되었는지, 또는 카메라 파라미터를 교정하는 교정 트리거가, 도시하지 않은 블록으로부터 발행되었는지 여부를 판정한다.
스텝 S161에 있어서, 카메라 파라미터 교정 타이밍도 되지 않고, 또한 교정 트리거가 발행되지 않았다고 판정된 경우, 처리는 스텝 S162를 스킵하여 되돌아간다.
또한, 스텝 S161에 있어서, 카메라 파라미터 교정 타이밍이라고 판정되거나, 또는 교정 트리거가 발행되었다고 판정된 경우, 처리는 스텝 S162로 진행된다.
스텝 S163에서는, CMS 화상 생성부(165)는, 촬영부(161)를 구성하는 리어 카메라(111) 내지 실내 카메라(122)의 카메라 파라미터의 교정을 소정의 방법으로 행하고, 처리는 되돌아간다.
또한, 도 37의 스텝 S111-3에서 R 사이드 화상 처리부(213)가 행하는 R 사이드 화상 처리는, L 사이드 화상 대신에, R 사이드 화상을 대상으로 하여 처리가 행해지는 점을 제외하고, 도 39의 L 사이드 화상 처리와 마찬가지이기 때문에, 그 설명은 생략한다.
도 40은, 도 36의 스텝 S104에서 행해지는 표시 모드 4의 화상 생성 처리의 예를 설명하는 흐름도이다.
스텝 S181에 있어서, 표시 모드 4의 화상 처리가 행해지고, 처리는 스텝 S182로 진행된다.
여기서, 표시 모드 4의 화상 처리로서는, 스텝 S181-1에 있어서, 리어 화상 처리부(211)가 리어 화상 처리를 행한다. 또한, 스텝 S181-2에 있어서, L 리어 사이드 화상 처리부(214)가, L 리어 사이드 화상 처리를 행하고, 스텝 S181-3에 있어서, R 리어 사이드 화상 처리부(215)가 R 리어 사이드 화상 처리를 행한다.
스텝 S181-1에서는, 리어 화상 처리부(211)는, 리어 화상 처리를 행함으로써, 표시 모드 4의 통합 화상(도 18의 통합 화상)의 생성에 사용되는 리어 화상을 얻어 출력한다.
스텝 S181-2에서는, L 리어 사이드 화상 처리부(214)는, L 리어 사이드 화상 처리를 행함으로써, 표시 모드 4의 통합 화상의 생성에 사용되는 L 리어 사이드 화상을 얻어 출력한다.
스텝 S181-3에서는, R 리어 사이드 화상 처리부(215)는, R 리어 사이드 화상 처리를 행함으로써, 표시 모드 4의 통합 화상의 생성에 사용되는 R 리어 사이드 화상을 얻어 출력한다.
스텝 S182에서는, 기억부(216)가, 직전의 스텝 S181의 표시 모드 4의 화상 처리에 의해 얻어지는 리어 화상 및 L/R 리어 사이드 화상을 기억하고, 처리는 스텝 S183으로 진행된다.
스텝 S183에서는, 통합부(220)는, 기억부(216)에 기억된 리어 화상, L/R 리어 사이드 화상을 통합하고, 표시 모드 4의 통합 화상(도 18의 통합 화상)을 생성한다.
즉, 통합부(220)는, 도 18에서 설명한 바와 같이, 기억부(216)에 기억된 R 리어 사이드 화상 및 L 리어 사이드 화상을, 각각 좌우에 배치하여 결합함으로써 결합 화상을 생성한다. 또한 통합부(220)는, 결합 화상의 중앙에, 기억부(216)에 기억된 리어 화상을 합성(중첩)함으로써, 표시 모드 4의 통합 화상(도 18의 통합 화상)을 생성한다.
그리고, 통합부(220)는, 표시 모드 4의 통합 화상을, 중첩부(221)에 공급하고, 처리는 스텝 S184로 진행된다.
스텝 S184에서는, 중첩부(221)는, 통합부(220)로부터의 표시 모드 4의 통합 화상을, CMS 화상으로서 출력하고, 처리는 되돌아간다.
도 41은, 도 40의 스텝 S181-1에서 리어 화상 처리부(211)가 행하는 리어 화상 처리의 예를 설명하는 흐름도이다.
스텝 S191에 있어서, 리어 화상 처리부(211)(도 30)의 화상 잘라내기부(251)는, 리어 카메라(111)로부터 공급되는 원 리어 화상을 취득한다.
그리고, 화상 잘라내기부(251)는, 리어 카메라(111)의 카메라 파라미터에 따라서, 원 리어 화상을 수정하고, 처리는 스텝 S192로 진행된다.
스텝 S192에서는, 화상 잘라내기부(251)는, 드라이버 상태 검출부(164)(도 27)로부터 CMS 화상 생성부(165)에 공급되는 드라이버 상태에 따라서, 표시 모드 4의 통합 화상(도 18)의 리어 화상 표시 영역을 설정하고, 처리는 스텝 S193으로 진행된다.
스텝 S193에서는, 화상 잘라내기부(251)는, 원 리어 화상으로부터, 직전의 스텝 S192에서 설정한 리어 화상 표시 영역에 표시하는 범위의 리어 화상을 잘라내고, 기억부(216)(도 29)로 출력하고, 처리는 되돌아간다.
도 42는, 도 40의 스텝 S181-2에서 L 리어 사이드 화상 처리부(214)가 행하는 L 리어 사이드 화상 처리의 예를 설명하는 흐름도이다.
스텝 S211에 있어서, L 리어 사이드 화상 처리부(214)(도 33)의 화상 잘라내기부(281)는, L 리어 사이드 카메라(114)로부터 공급되는 L 리어 사이드 화상을 취득한다.
그리고, 화상 잘라내기부(281)는, L 리어 사이드 카메라(114)의 카메라 파라미터에 따라서, 원 L 리어 사이드 화상을 수정하고, 처리는 스텝 S212로 진행된다.
스텝 S212에서는, 화상 잘라내기부(281)는, 드라이버 상태 검출부(164)(도 27)로부터 CMS 화상 생성부(165)에 공급되는 드라이버 상태에 따라서, 표시 모드 4의 통합 화상(도 18)의 L 리어 사이드 화상 표시 영역을 설정하고, 처리는, 스텝 S213으로 진행된다.
스텝 S213에서는, 화상 잘라내기부(281)는, 원 L 리어 사이드 화상으로부터, 직전의 스텝 S212에서 설정한 L 리어 사이드 화상 표시 영역에 표시하는 범위의 L 리어 사이드 화상을 잘라내고, 기억부(216)(도 29)로 출력하여, 처리는 되돌아간다.
또한, 도 40의 스텝 S181-3에서 R 리어 사이드 화상 처리부(215)(도 35)가 행하는 R 리어 사이드 화상 처리는, L 리어 사이드 화상 대신에, R 리어 사이드 화상을 대상으로서 처리가 행해지는 점을 제외하고, 도 42의 L 리어 사이드 화상 처리와 마찬가지이기 때문에, 그 설명은 생략한다.
도 43은, 도 36의 스텝 S105에서 행해지는 표시 모드 2, 3의 화상 생성 처리의 예를 설명하는 흐름도이다.
스텝 S231에 있어서, 표시 모드 2, 3의 화상 처리가 행해지고, 처리는 스텝 S232로 진행된다.
여기서, 표시 모드 2, 3의 화상 처리로서는, 스텝 S231-1에 있어서, 리어 화상 처리부(211)가, 도 38과 마찬가지의 리어 화상 처리를 행한다. 또한, 스텝 S231-2에 있어서, L 사이드 화상 처리부(212)가, L 사이드 화상 처리를 행하고, 스텝 S231-3에 있어서, R 사이드 화상 처리부(213)가, R 사이드 화상 처리를 행한다.
스텝 S231-1에서는, 리어 화상 처리부(211)는, 리어 화상 처리를 행함으로써, 표시 모드 2 또는 3의 통합 화상(도 25 또는 도 22의 통합 화상)에 포함되는 합성 화상의 생성에 사용되는 PPA 화상(도 19)으로서의 리어 화상, 리어 기립물, 및 리어 기립물의 위치 정보를 얻어 출력한다.
스텝 S231-2에서는, L 사이드 화상 처리부(212)는, L 사이드 화상 처리를 행함으로써, 표시 모드 2 또는 3의 통합 화상의 생성에 사용되는 L 사이드 화상, L 사이드 기립물, 및 L 사이드 기립물의 위치 정보를 얻어 출력한다.
여기서, 표시 모드 2 또는 3의 통합 화상의 생성에 사용되는 L 사이드 화상에는, 도 19 및 도 20 등에서 설명한 LPPB 화상과 LPPC 화상이 포함된다. 또한, 표시 모드 2 또는 3의 통합 화상의 생성에 사용되는 L 사이드 기립물은, LPPB 화상에 비치는 기립물을 의미한다.
스텝 S231-3에서는, R 사이드 화상 처리부(213)는, R 사이드 화상 처리를 행함으로써, 표시 모드 2 또는 3의 통합 화상의 생성에 사용되는 R 사이드 화상, R 사이드 기립물, 및 R 사이드 기립물의 위치 정보를 얻어 출력한다.
여기서, 표시 모드 2 또는 3의 통합 화상의 생성에 사용되는 R 사이드 화상에는, 도 19 및 도 20 등에서 설명한 RPPB 화상과 RPPC 화상이 포함된다. 또한, 표시 모드 2 또는 3의 통합 화상의 생성에 사용되는 R 사이드 기립물은, RPPB 화상에 비치는 기립물을 의미한다.
스텝 S232에서는, 기억부(216)가, 직전의 스텝 S231의 표시 모드 2, 3의 화상 처리에 의해 얻어지는 PPA 화상으로서의 리어 화상, 리어 기립물, 리어 기립물의 위치 정보, L/R 사이드 화상(LPPB 화상, LPPC 화상, RPPB 화상, RPPC 화상), L/R 사이드 기립물, 및 L/R 사이드 화상의 위치 정보를 기억하고, 처리는, 스텝 S233으로 진행된다.
스텝 S233에서는, 거리 정보 취득부(217)는, 거리 검출부(162)(도 27)로부터 공급되는 거리 정보로부터, 기억부(216)에 기억된 위치 정보가 나타내는 위치에 있는 리어 기립물, 및 L/R 사이드 기립물의 거리 정보를 취득한다. 그리고, 거리 정보 취득부(217)는, 리어 기립물, 및 L/R 사이드 기립물의 위치 정보를, 위치 관계 판정부(218) 및 통합부(220)에 공급하고, 처리는 스텝 S233으로부터 스텝 S234로 진행된다.
스텝 S234에서는, 통합부(220)는, 기억부(216)에 기억된 PPA 화상으로서의 리어 화상, L/R 사이드 화상(LPPB 화상, LPPC 화상, RPPB 화상, RPPC 화상), 리어 기립물, 및 L/R 사이드 기립물을 사용하여, 표시 모드 2 또는 3의 통합 화상(도 25 또는 도 22의 통합 화상)을 생성한다.
즉, 통합부(220)는, 표시 모드 5, 6, 7의 화상 생성 처리(도 37)와 마찬가지로 하여, 합성 화상을 생성한다.
구체적으로는, 통합부(220)는, 기억부(216)에 기억된 PPA 화상으로서의 리어 화상 및 아핀 변환 후의 LPPB 화상 및 RPPB 화상을 합성하고, 그 결과 얻어지는 합성 화상에, 기억부(216)에 기억된 리어 기립물 및 L/R 사이드 기립물을, 거리 정보 취득부(217)로부터의 리어 기립물 및 L/R 사이드 기립물의 거리 정보에 따라서 레이어 합성함으로써, 합성 화상을 생성한다.
통합부(220)는, 이상과 같이 하여 합성 화상을 생성한 후, 그 합성 화상에 인접하는 형태로, 기억부(216)에 기억된 아핀 변환 전의 LPPB 화상 및 RPPB 화상을 결합하고, 또한, 그 결합 후의 LPPB 화상 및 RPPB 화상에 인접하는 형태로, 기억부(216)에 기억된 LPPC 화상 및 RPPC 화상을 결합함으로써, 표시 모드 2 또는 3의 통합 화상(도 25 또는 도 22의 통합 화상)을 생성한다.
그리고, 통합부(220)는, 표시 모드 2 또는 3의 통합 화상을, 중첩부(221)에 공급하고, 처리는 스텝 S234로부터 스텝 S235로 진행된다.
스텝 S235에서는, 중첩부(221)는, 표시 모드가 표시 모드 2 및 3 중 표시 모드 2인 경우에, 차량(100)의 주위를 둘러싸는 가상 경계선 VL10, VL11, VL12, VL13에 대응하는 선으로서의 경계 마크(도 24, 도 25)를, 통합부(220)로부터의 통합 화상에 중첩하고, 처리는 스텝 S235로부터 스텝 S236으로 진행된다.
스텝 S236에서는, 중첩부(221)는, 경계 마크의 중첩에 의해 얻어지는 중첩 화상을, CMS 화상으로서 출력하고, 처리는 되돌아간다.
또한, 표시 모드가 표시 모드 3인 경우, 중첩부(221)는, 스텝 S235에 있어서, 통합부(220)로부터의 통합 화상에, 경계 마크를 중첩하지 않고, 스텝 S236에 있어서, 통합 화상을, 그대로 CMS 화상으로서 출력한다.
도 44는, 도 43의 스텝 S231-2에서 L 사이드 화상 처리부(212)가 행하는 L 사이드 화상 처리의 예를 설명하는 흐름도이다.
스텝 S251에 있어서, L 사이드 화상 처리부(212)(도 31)의 화상 잘라내기부(261)는, L 사이드 카메라(112)로부터 공급되는 원 L 사이드 화상을 취득한다.
그리고, 화상 잘라내기부(261)는, L 사이드 카메라(112)의 카메라 파라미터에 따라서, 원 L 사이드 화상을 수정하고, 처리는 스텝 S252로 진행된다.
스텝 S252에서는, 화상 잘라내기부(261)는, 원 L 사이드 화상으로부터, 표시 모드 2 또는 3의 통합 화상의 생성에 사용하는 LPPB 화상 및 LPPC 화상이 되는 범위의 화상을, LPPB 범위 화상 및 LPPC 범위 화상으로서 잘라내고, 사영 방식 변환부(262)에 공급하여, 처리는 스텝 S253으로 진행된다.
스텝 S253에서는, 사영 방식 변환부(262)는, 화상 잘라내기부(261)로부터의 LPPB 범위 화상을, 중심 사영의 LPPB 화상으로 변환하고, 기립물 검출부(263), 및 아핀 변환부(264)에 공급하여, 처리는 스텝 S254로 진행된다.
스텝 S254에서는, 아핀 변환부(264)는, 사영 방식 변환부(262)로부터의 LPPB 화상의 무한 원점을, 리어 화상의 무한 원점에 일치시키도록, 사영 방식 변환부(262)로부터의 LPPB 화상을 아핀 변환하기 위한, 아핀 변환 전의 LPPB 화상의 각 화소의 위치와, 아핀 변환 후의 LPPB 화상의 각 화소의 위치를 대응지은 변환 테이블을 생성한다.
또한, 아핀 변환부(264)는, 변환 테이블에 따라서, 사영 방식 변환부(262)로부터의 LPPB 화상을 아핀 변환하고, 아핀 변환 후의 LPPB 화상을, L 사이드 화상(의 일종)로서, 기억부(216)(도 29)로 출력한다.
또한, 아핀 변환부(264)는, 변환 테이블을, 변환 후 위치 검출부(265)에 공급하여, 처리는 스텝 S254로부터 스텝 S255로 진행된다.
여기서, 스텝 S254에서, 아핀 변환부(264)로부터 기억부(216)로 출력되는 아핀 변환 후의 LPPB 화상은, 도 43의 스텝 S234에서의 합성 화상의 생성에 사용된다.
스텝 S255에서는, 기립물 검출부(263)는, 사영 방식 변환부(262)로부터의 LPPB 화상에, 기립물의 검출 대상으로 되는 대상 영역으로서의 ROI를 설정하고, 처리는 스텝 S256으로 진행된다.
스텝 S256에서는, 기립물 검출부(263)는, 사영 방식 변환부(262)로부터의 LPPB 화상의 대상 영역에 대해서, 도 38의 스텝 S134와 마찬가지의 세그멘테이션을 행함으로써, LPPB 화상의 대상 영역 내에 비치는 L 사이드 기립물의 검출을 행하여(L 사이드 기립물의 검출을 시도하여), 처리는 스텝 S257로 진행된다.
스텝 S257에서는, 기립물 검출부(263)는, LPPB 화상에 L 사이드 기립물이 비치고 있는지 여부를 판정한다.
즉, 스텝 S257에서는, 기립물 검출부(263)는, 직전의 스텝 S256의 세그멘테이션에 의해, LPPB 화상으로부터 L 사이드 기립물을 검출할 수 있었는지 여부를 판정한다.
스텝 S257에 있어서, L 사이드 기립물을 검출할 수 없었다고 판정된 경우, 처리는 스텝 S258 내지 S260을 스킵하고, 스텝 S261로 진행된다.
이 경우, 기립물 검출부(263)는, L 사이드 기립물 및(아핀 변환 전의) L 사이드 기립물의 위치 정보를 출력하지 않는다(출력할 수 없음). 또한, 변환 후 위치 검출부(265)도, 마찬가지로 (아핀 변환 후의) L 사이드 기립물의 위치 정보를 출력하지 않는다.
한편, 스텝 S257에 있어서, L 사이드 기립물을 검출할 수 있었다고 판정된 경우, 처리는 스텝 S258로 진행하고, 기립물 검출부(263)는, LPPB 화상상의 L 사이드 기립물의 위치를 나타내는 위치 정보를 검출하고, 처리는 스텝 S259로 진행된다.
스텝 S259에서는, 기립물 검출부(263)는, 스텝 S256에서 검출한 L 사이드 기립물과, 스텝 S258에서 검출한 L 사이드 기립물의 위치 정보를, 기억부(216)(도 29)로 출력하고, 처리는 스텝 S260으로 진행된다.
스텝 S260에서는, 변환 후 위치 검출부(265)는, 아핀 변환부(264)로부터의 변환 테이블을 사용하여, 기립물 검출부(264)로부터의 L 사이드 기립물의 위치 정보(아핀 변환 전의 LPPB 화상에 비치는 기립물의 위치 정보)로부터, 아핀 변환 후의 LPPB 화상에 비치는 L 사이드 기립물(아핀 변환 후의 L 사이드 기립물)의 위치 정보를 검출한다. 그리고, 변환 후 위치 검출부(265)는, 아핀 변환 후의 L 사이드 기립물의 위치 정보를, 기억부(216)로 출력하고, 처리는 스텝 S261로 진행된다.
여기서, 스텝 S260에서, 변환 후 위치 검출부(265)로부터 기억부(216)로 출력되는 아핀 변환 후의 L 사이드 기립물의 위치 정보는, 도 43의 스텝 S234에서의 합성 화상의 생성에 있어서, (아핀 변환 전의) L 사이드 기립물의 레이어 합성을 행할 때 사용된다.
스텝 S261에서는, 사영 방식 변환부(262)는, (아핀 변환 전의) LPPB 화상을, 그대로 L 사이드 화상으로서, 기억부(216)로 출력한다.
또는, 스텝 S261에서는, 사영 방식 변환부(262)는, 아핀 변환부(264)에, LPPB 화상을 대상으로 하여, 도 23에서 설명한 줄무늬 아핀 변환(LPPB 화상의 하반부, PPA 화상에 가까운 영역일수록, 무한 원점이 PPA 화상의 무한 원점에 근접하는 아핀 변환)을 행하게 하고, 그 줄무늬 아핀 변환 후의 LPPB 화상을, L 사이드 화상으로서, 기억부(216)로 출력시킨다.
여기서, 스텝 S261에서, 사영 방식 변환부(262)로부터 기억부(216)로 출력되는 아핀 변환 전의 LPPB 화상, 또는 아핀 변환부(264)로부터 기억부(216)로 출력되는 줄무늬 아핀 변환 후의 LPPB 화상은, 도 43의 스텝 S234에서의 표시 모드 2 또는 3의 통합 화상(도 25 또는 도 22의 통합 화상)의 생성에 있어서, 합성 화상에 인접하여 배치(결합)된다.
스텝 S261의 후, 처리는 스텝 S262로 진행하고, 사영 방식 변환부(262)는, 화상 잘라내기부(261)로부터의 LPPC 범위 화상을, 원통 사영의 LPPC 화상으로 변환하고, L 사이드 화상(의 다른 일종)으로서, 기억부(216)로 출력하고, 처리는, 스텝 S263으로 진행된다.
여기서, 스텝 S262에서, 사영 방식 변환부(262)로부터 기억부(216)로 출력되는 원통 사영의 LPPC 화상은, 도 43의 스텝 S234에서의 표시 모드 2 또는 3의 통합 화상(도 25 또는 도 22의 통합 화상)의 생성에 있어서, LPPB 화상에 인접하여 배치(결합)된다.
스텝 S263 및 S264에서는, 도 39의 스텝 S161 및 S162와 각각 마찬가지의 처리가 행해지고, 처리는 되돌아간다.
이상, 본 기술을, 자동차(가솔린차 외에, 전기 자동차나 하이브리드차 등을 포함함)인 차량(100)에 적용한 경우에 대하여 설명하였지만, 본 기술은, 자동차 외에, 예를 들어 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 것의 종류의 이동체나, 그와 같은 이동체를 조종하는 장치 등에 적용할 수 있다. 또한, 거리나 기립물의 검출에는, 스테레오 카메라나 RADAR, LIDAR, TOF 센서 등을 사용할 수 있지만, 스테레오 카메라를 사용하는 경우에는, 스테레오 카메라를 구성하는, 예를 들어 2대의 카메라의 광축이 수직 방향으로 이격되도록, 스테레오 카메라를 설치할 수 있다. 즉, 스테레오를 카메라는, 일반적으로 사람의 눈의 배치에 준하여, 스테레오 카메라를 구성하는 2대의 카메라의 광축이 수평 방향으로 이격되도록 배치된다. 본 기술에 사용하는 스테레오 카메라는, 스테레오 카메라를 구성하는 2대의 카메라의 광축이 수평 방향으로 이격되도록 배치해도 되고, 2대의 카메라의 광축이 수직 방향으로 이격되도록 배치해도 된다.
<본 기술을 적용한 컴퓨터의 설명>
다음으로, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
도 45는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 나타내는 블록도이다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드디스크(405)나 ROM(403)에 미리 기록해 둘 수 있다.
또한, 프로그램은, 리무버블 기록 매체(411)에 저장(기록)해 둘 수 있다. 이와 같은 리무버블 기록 매체(411)는, 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(411)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(411)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통하여 컴퓨터에 다운로드하고, 내장된 하드디스크(405)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용 인공위성을 통하여, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(402)를 내장하고 있으며, CPU(402)에는, 버스(401)를 통하여 입출력 인터페이스(410)가 접속되어 있다.
CPU(402)는, 입출력 인터페이스(410)를 통하여, 유저에 의해 입력부(407)가 조작 등에 의해 명령이 입력되면, 그것에 따라서, ROM(Read Only Memory)(403)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(402)는, 하드디스크(405)에 저장된 프로그램을, RAM(Random Access Memory)(404)에 로드하여 실행한다.
이에 의해, CPU(402)는, 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(402)는, 그 처리 결과를, 필요에 따라서, 예를 들어 입출력 인터페이스(410)를 통하여, 출력부(406)로부터 출력, 혹은 통신부(408)로부터 송신, 나아가서는 하드디스크(405)에 기록 등을 시킨다.
또한, 입력부(407)는 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(406)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 흐름도로서 기재된 순서를 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은 원격 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태로 한정되는 것이 아니라, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에 의해 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것이 아니라, 다른 효과가 있어도 된다.
또한, 본 기술은, 이하의 구성을 취할 수 있다.
<1>
제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 통합부와,
상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 중첩부
를 구비하는 화상 생성 장치.
<2>
상기 중첩부는, 상기 통합 화상에 있어서, 상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있으며, 또한, 상기 제2 화상에 비치는 물체의 적어도 일부가, 상기 제1 화상에 비치는 물체에 의해 숨겨지는 경우에, 상기 경고 마크를, 상기 통합 화상에 중첩하는, 상기 <1>에 기재된 화상 생성 장치.
<3>
상기 경고 마크는, 일부가 투명한 화상인, 상기 <1> 또는 <2>에 기재된 화상 생성 장치.
<4>
상기 경고 마크는, 상기 투명한 부분이 이동하는 화상인, 상기 <3>에 기재된 화상 생성 장치.
<5>
상기 경고 마크는, 줄무늬 모양의 화상인, 상기 <3> 또는 <4>에 기재된 화상 생성 장치.
<6>
상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
상기 통합부는, 상기 제1 화상과, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상을 합성한 합성 화상을 포함하는 화상을, 상기 통합 화상으로서 생성하는, 상기 <1> 내지 <5> 중 어느 한 항에 기재된 화상 생성 장치.
<7>
상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
상기 통합부는, 상기 합성 화상과, 아핀 변환 전의 상기 제2 화상이 배열된 화상을, 상기 통합 화상으로서 생성하는, 상기 <6>에 기재된 화상 생성 장치.
<8>
상기 통합 화상은, 상기 합성 화상과, 아핀 변환 전의 상기 제2 화상의 사이에, 소정의 폭의 경계선을 갖는, 상기 <7>에 기재된 화상 생성 장치.
<9>
상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
상기 통합부는, 상기 제1 화상과, 상기 제2 화상을 합성한 합성 화상을 포함하는 화상을, 상기 통합 화상으로서 생성하고,
상기 합성 화상에는, 무한 원점이 상기 제1 화상과 일치하는 정도가 변화하는 아핀 변환이 실시된 상기 제2 화상이 합성되는, 상기 <1> 내지 <5> 중 어느 한 항에 기재된 화상 생성 장치.
<10>
상기 제1 화상 및 상기 제2 화상은, 차량의 후방을 촬영한 화상이며,
아핀 변환 후의 상기 제2 화상의 무한 원점이 상기 제1 화상과 일치하는 정도는, 상기 차량을 조종하는 유저의 상태에 따라서 변화하는, 상기 <9>에 기재된 화상 생성 장치.
<11>
상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
상기 통합부는, 상기 제1 화상과, 상기 제2 화상을 합성한 합성 화상을 포함하는 화상을, 상기 통합 화상으로서 생성하고,
상기 합성 화상에는, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상, 또는 아핀 변환 전의 상기 제2 화상이 합성되는, 상기 <1> 내지 <5> 중 어느 한 항에 기재된 화상 생성 장치.
<12>
상기 제1 화상, 및 상기 제2 화상은, 차량의 후방을 촬영한 화상이며,
상기 차량을 조종하는 유저의 상태에 따라서, 상기 합성 화상에는, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상, 또는 아핀 변환 전의 상기 제2 화상이 합성되는, 상기 <11>에 기재된 화상 생성 장치.
<13>
상기 제1 화상은, 차량의 후부의 위치로부터, 상기 차량의 후방을 촬영한 화상이며,
상기 제2 화상은, 상기 후부의 위치로부터 가로 방향으로 어긋난 위치로부터, 상기 차량의 후방을 촬영한 화상이며,
상기 중첩부는, 상기 제2 화상에 비치는, 상기 차량이 주행하는 도로상에 기립하는 기립물이, 상기 제1 화상에 비치는, 상기 도로상에 기립하는 기립물보다도 안쪽에 있는 경우에, 상기 경고 마크를 상기 통합 화상에 중첩하는, 상기 <1> 내지 <12> 중 어느 한 항에 기재된 화상 생성 장치.
<14>
상기 통합부는,
상기 제1 화상과, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상을 합성하고,
상기 제1 화상과 상기 제2 화상을 합성한 합성 화상에, 상기 제1 화상으로부터 추출되는 상기 기립물과, 상기 제2 화상으로부터 추출되는 상기 기립물을, 상기 차량으로부터 상기 기립물까지의 거리에 따라서 합성함으로써, 상기 통합 화상을 생성하는, 상기 <13>에 기재된 화상 생성 장치.
<15>
상기 통합부는, 상기 제1 화상과 상기 제2 화상을 합성한 합성 화상의, 아핀 변환 후의 상기 제2 화상에 비치는 상기 기립물의 위치에 대응하는 위치에, 아핀 변환 전의 상기 제2 화상으로부터 추출되는 상기 기립물을 합성하는, 상기 <14>에 기재된 화상 생성 장치.
<16>
상기 통합부는, 상기 차량의 상태, 상기 차량을 조종하는 유저의 상태, 및 상기 차량에 대한 조작에 관한 조작 정보 중 적어도 하나에 따라서 설정되는 표시 모드에 따라서,
상기 제1 화상과, 상기 제2 화상을 통합한 화상,
상기 차량의 후부의 좌측 위치로부터, 상기 차량의 우측 후방을 촬영한 화상과, 상기 차량의 후부의 우측 위치로부터, 상기 차량의 좌측 후방을 촬영한 화상을 통합한 화상,
또는, 상기 제1 화상과, 상기 차량의 가로 방향을 촬영한 원통 사영의 화상을 통합한 화상
을, 상기 통합 화상으로서 생성하는, 상기 <13> 내지 <15> 중 어느 한 항에 기재된 화상 생성 장치.
<17>
상기 통합부는, 상기 차량의 후부의 좌측 위치로부터, 상기 차량의 우측 후방을 촬영한 화상을 우측의 영역에 배치함과 함께, 상기 차량의 후부의 우측의 위치로부터, 상기 차량의 좌측 후방을 촬영한 화상을 좌측의 영역에 배치한 화상을, 상기 통합 화상으로서 생성하고,
상기 좌측의 영역 및 우측의 영역 경계는, 상기 유저의 상태에 따라서, 좌우로 이동하는, 상기 <16>에 기재된 화상 생성 장치.
<18>
상기 중첩부는, 상기 차량의 주위를 둘러싸는 가상적인 경계선을, 상기 통합 화상의 상기 원통 사영의 화상에 중첩하는, 상기 <16>에 기재된 화상 생성 장치.
<19>
제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 것과,
상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 것
을 포함하는, 화상 생성 방법.
<20>
제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 통합부와,
상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 중첩부로서, 컴퓨터를 기능시키기 위한 프로그램.
10: 차량
11: 리어 카메라
12: L 사이드 카메라
13: R 사이드 카메라
14: L 리어 사이드 카메라
15: R 리어 사이드 카메라
22: L 사이드 카메라
23: R 사이드 카메라
100: 차량
111: 리어 카메라
112: L 사이드 카메라
113: R 사이드 카메라
114: L 리어 사이드 카메라
115: R 리어 사이드 카메라
150: CMS
151: 조작부
152: 센서부
161: 촬영부
162: 거리 검출부
163: 차량 상태 검출부
164: 드라이버 상태 검출부
165: CMS 화상 생성부
166: 표시부
201: 표시 모드 설정부
211: 리어 화상 처리부
212: L 사이드 화상 처리부
213: R 사이드 화상 처리부
214: L 리어 사이드 화상 처리부
215: R 리어 사이드 화상 처리부
216: 기억부
217: 거리 정보 취득부
218: 위치 관계 판정부
219: 충돌 리스크 판정부
220: 통합부
221: 중첩부
251: 화상 잘라내기부
252: 기립물 검출부
261: 화상 잘라내기부
262: 사영 방식 변환부
263: 기립물 검출부
264: 아핀 변환부
265: 변환 후 위치 검출부
271: 화상 잘라내기부
272: 사영 방식 변환부
273: 기립물 검출부
274: 아핀 변환부
275: 변환 후 위치 검출부
281, 291: 화상 잘라내기부
401: 버스
402: CPU
403: ROM
404: RAM
405: 하드디스크
406: 출력부
407: 입력부
408: 통신부
409: 드라이브
410: 입출력 인터페이스
411: 리무버블 기록 매체

Claims (20)

  1. 제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 통합부와,
    상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 중첩부
    를 구비하고,
    상기 통합 화상은, 상기 제1 및 제2 화상들에 비치는 동일한 부분이 상기 통합 화상에서 서로 일치하도록 아핀 변환을 통해 상기 제1 화상 및 상기 제2 화상을 결합한 하나의 화상이고,
    상기 제1 화상은, 차량의 후부의 위치로부터 상기 차량의 후방을 촬영함으로써 취득된 화상이고,
    상기 제2 화상은, 상기 후부의 위치로부터 가로 방향으로 어긋난 위치로부터 상기 차량의 후방을 촬영함으로써 취득된 화상이고,
    상기 통합부는,
    상기 제2 화상에 나타나는 화상 특징을 상기 제2 화상으로부터 추출하고,
    상기 제2 화상에 대해 아핀 변환을 실시하여, 변환된 제2 화상을 생성하고,
    합성된 제2 화상을 생성하고,
    상기 합성된 제2 화상에서는, 아핀 변환이 실시되지 않은 상기 화상 특징이 나타나도록, 상기 변환된 제2 화상이, 아핀 변환이 실시되기 전의 상기 제2 화상으로부터 추출된 상기 화상 특징으로 덮어쓰기되는, 화상 생성 장치.
  2. 제1항에 있어서,
    상기 중첩부는, 상기 통합 화상에 있어서, 상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있으며, 또한, 상기 제2 화상에 비치는 물체의 적어도 일부가, 상기 제1 화상에 비치는 물체에 의해 숨겨지는 경우에, 상기 경고 마크를, 상기 통합 화상에 중첩하는, 화상 생성 장치.
  3. 제1항에 있어서,
    상기 경고 마크는, 일부가 투명한 화상인, 화상 생성 장치.
  4. 제3항에 있어서,
    상기 경고 마크는, 상기 투명한 부분이 이동하는 화상인, 화상 생성 장치.
  5. 제3항에 있어서,
    상기 경고 마크는, 줄무늬 모양의 화상인, 화상 생성 장치.
  6. 제1항에 있어서,
    상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
    상기 통합부는, 상기 제1 화상과, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상을 합성한 합성 화상을 포함하는 화상을, 상기 통합 화상으로서 생성하는, 화상 생성 장치.
  7. 제6항에 있어서,
    상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
    상기 통합부는, 상기 합성 화상과, 아핀 변환 전의 상기 제2 화상이 배열된 화상을, 상기 통합 화상으로서 생성하는, 화상 생성 장치.
  8. 제7항에 있어서,
    상기 통합 화상은, 상기 합성 화상과, 아핀 변환 전의 상기 제2 화상과의 사이에, 소정의 폭의 경계선을 갖는, 화상 생성 장치.
  9. 제1항에 있어서,
    상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
    상기 통합부는, 상기 제1 화상과, 상기 제2 화상을 합성한 합성 화상을 포함하는 화상을, 상기 통합 화상으로서 생성하고,
    상기 합성 화상에는, 무한 원점이 상기 제1 화상과 일치하는 정도가 변화하는 아핀 변환이 실시된 상기 제2 화상이 합성되는, 화상 생성 장치.
  10. 제9항에 있어서,
    아핀 변환 후의 상기 제2 화상의 무한 원점이 상기 제1 화상과 일치하는 정도는, 상기 차량을 조종하는 유저의 상태에 따라서 변화하는, 화상 생성 장치.
  11. 제1항에 있어서,
    상기 제1 화상과 상기 제2 화상은, 서로 다른 시점의 화상이며,
    상기 통합부는, 상기 제1 화상과, 상기 제2 화상을 합성한 합성 화상을 포함하는 화상을, 상기 통합 화상으로서 생성하고,
    상기 합성 화상에는, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상, 또는 아핀 변환 전의 상기 제2 화상이 합성되는, 화상 생성 장치.
  12. 제11항에 있어서,
    상기 차량을 조종하는 유저의 상태에 따라서, 상기 합성 화상에는, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상, 또는, 아핀 변환 전의 상기 제2 화상이 합성되는, 화상 생성 장치.
  13. 제1항에 있어서,
    상기 중첩부는, 상기 제2 화상에 비치는, 상기 차량이 주행하는 도로상에 기립하는 기립물이, 상기 제1 화상에 비치는, 상기 도로상에 기립하는 기립물보다도 안쪽에 있는 경우에, 상기 경고 마크를 상기 통합 화상에 중첩하는, 화상 생성 장치.
  14. 제13항에 있어서,
    상기 통합부는,
    상기 제1 화상과, 무한 원점이 상기 제1 화상과 일치하도록 아핀 변환이 실시된 상기 제2 화상을 합성하고,
    상기 제1 화상과 상기 제2 화상을 합성한 합성 화상에, 상기 제1 화상으로부터 추출되는 상기 기립물과, 상기 제2 화상으로부터 추출되는 상기 기립물을, 상기 차량으로부터 상기 기립물까지의 거리에 따라서 합성함으로써, 상기 통합 화상을 생성하는, 화상 생성 장치.
  15. 삭제
  16. 제13항에 있어서,
    상기 통합부는, 상기 차량의 상태, 상기 차량을 조종하는 유저의 상태 및 상기 차량에 대한 조작에 관한 조작 정보 중 적어도 하나에 따라서 설정되는 표시 모드에 따라서,
    상기 제1 화상과, 상기 제2 화상을 통합한 화상,
    상기 차량의 후부의 좌측 위치로부터, 상기 차량의 우측 후방을 촬영한 화상과, 상기 차량의 후부의 우측 위치로부터, 상기 차량의 좌측 후방을 촬영한 화상을 통합한 화상,
    또는, 상기 제1 화상과, 상기 차량의 가로 방향을 촬영한 원통 사영의 화상을 통합한 화상
    을 상기 통합 화상으로서 생성하는, 화상 생성 장치.
  17. 제16항에 있어서,
    상기 통합부는, 상기 차량의 후부의 좌측 위치로부터, 상기 차량의 우측 후방을 촬영한 화상을 우측의 영역에 배치함과 함께, 상기 차량의 후부의 우측 위치로부터, 상기 차량의 좌측 후방을 촬영한 화상을 좌측의 영역에 배치한 화상을, 상기 통합 화상으로서 생성하고,
    상기 좌측의 영역 및 우측의 영역 경계는, 상기 유저의 상태에 따라서, 좌우로 이동하는, 화상 생성 장치.
  18. 제16항에 있어서,
    상기 중첩부는, 상기 차량의 주위를 둘러싸는 가상적인 경계선을, 상기 통합 화상의 상기 원통 사영의 화상에 중첩하는, 화상 생성 장치.
  19. 제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 것과,
    상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 것
    을 포함하고,
    상기 통합 화상은, 상기 제1 및 제2 화상들에 비치는 동일한 부분이 상기 통합 화상에서 서로 일치하도록 아핀 변환을 통해 상기 제1 화상 및 상기 제2 화상을 결합한 하나의 화상이고,
    상기 제1 화상은, 차량의 후부의 위치로부터 상기 차량의 후방을 촬영함으로써 취득된 화상이고,
    상기 제2 화상은, 상기 후부의 위치로부터 가로 방향으로 어긋난 위치로부터 상기 차량의 후방을 촬영함으로써 취득된 화상이고,
    상기 통합하는 것은,
    상기 제2 화상에 나타나는 화상 특징을 상기 제2 화상으로부터 추출하는 것,
    상기 제2 화상에 대해 아핀 변환을 실시하여, 변환된 제2 화상을 생성하는 것, 및
    상기 변환된 제2 화상의 일부를, 아핀 변환이 실시되기 전의 상기 제2 화상으로부터 추출된 상기 화상 특징으로 덮어쓰는 것을 포함하는, 화상 생성 방법.
  20. 제1 화상과 제2 화상을 통합하고, 통합 화상을 생성하는 것과,
    상기 제2 화상에 비치는 물체가, 상기 제1 화상에 비치는 물체보다도 안쪽에 있는 경우에, 경고 마크를 상기 통합 화상에 중첩하고, 중첩 화상을 생성하는 것
    을 포함하는 화상 생성 방법을 수행하는 프로그램을 저장하고,
    상기 통합 화상은, 상기 제1 및 제2 화상들에 비치는 동일한 부분이 상기 통합 화상에서 서로 일치하도록 아핀 변환을 통해 상기 제1 화상 및 상기 제2 화상을 결합한 하나의 화상이고,
    상기 제1 화상은, 차량의 후부의 위치로부터 상기 차량의 후방을 촬영함으로써 취득된 화상이고,
    상기 제2 화상은, 상기 후부의 위치로부터 가로 방향으로 어긋난 위치로부터 상기 차량의 후방을 촬영함으로써 취득된 화상이고,
    상기 통합하는 것은,
    상기 제2 화상에 나타나는 화상 특징을 상기 제2 화상으로부터 추출하는 것,
    상기 제2 화상에 대해 아핀 변환을 실시하여, 변환된 제2 화상을 생성하는 것, 및
    상기 변환된 제2 화상의 일부를, 아핀 변환이 실시되기 전의 상기 제2 화상으로부터 추출된 상기 화상 특징으로 덮어쓰는 것을 포함하는, 컴퓨터 판독 가능한 기록 매체.
KR1020187038124A 2016-07-13 2017-06-29 화상 생성 장치, 화상 생성 방법, 및 프로그램 KR102344171B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138364 2016-07-13
JPJP-P-2016-138364 2016-07-13
PCT/JP2017/023918 WO2018012299A1 (ja) 2016-07-13 2017-06-29 画像生成装置、画像生成方法、及び、プログラム

Publications (2)

Publication Number Publication Date
KR20190028667A KR20190028667A (ko) 2019-03-19
KR102344171B1 true KR102344171B1 (ko) 2021-12-29

Family

ID=60952382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187038124A KR102344171B1 (ko) 2016-07-13 2017-06-29 화상 생성 장치, 화상 생성 방법, 및 프로그램

Country Status (8)

Country Link
US (1) US10857942B2 (ko)
EP (1) EP3487172A4 (ko)
JP (1) JP7010221B2 (ko)
KR (1) KR102344171B1 (ko)
CN (1) CN109417611A (ko)
CA (1) CA3029410A1 (ko)
MX (1) MX2019000060A (ko)
WO (1) WO2018012299A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE539981C2 (en) * 2016-06-28 2018-02-20 Scania Cv Ab Method and control unit for a digital mirror
JP6711295B2 (ja) * 2017-02-08 2020-06-17 株式会社デンソー 車両用表示制御装置
US10726792B2 (en) * 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
JP6733647B2 (ja) * 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
CN108510458B (zh) * 2018-03-29 2021-07-27 中国海洋大学 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法
WO2019216087A1 (ja) 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、移動装置、および方法、並びにプログラム
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP7047586B2 (ja) * 2018-05-15 2022-04-05 トヨタ自動車株式会社 車両用表示制御装置
JP7282798B2 (ja) * 2018-10-31 2023-05-29 ソニーグループ株式会社 撮影装置、画像処理方法、及び、プログラム
JP7342024B2 (ja) * 2018-10-31 2023-09-11 ソニーグループ株式会社 撮影装置、制御方法、及び、プログラム
JP7159802B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7159801B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
US11603043B2 (en) 2018-12-11 2023-03-14 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
JPWO2020122084A1 (ja) * 2018-12-11 2021-10-21 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理システム
CN109624858B (zh) * 2019-01-04 2021-02-02 斑马网络技术有限公司 外后视镜的图像显示方法及装置
US10896335B2 (en) 2019-01-07 2021-01-19 Ford Global Technologies, Llc Adaptive transparency of virtual vehicle in simulated imaging system
DE112019006793T5 (de) * 2019-01-31 2021-11-04 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
JP2021153286A (ja) * 2020-03-23 2021-09-30 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、画像合成方法
JP7347330B2 (ja) * 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
KR20210147405A (ko) 2020-05-28 2021-12-07 삼성전자주식회사 객체 인식을 수행하는 전자 장치 및 이의 동작 방법
JP2021190981A (ja) * 2020-05-28 2021-12-13 パナソニックＩｐマネジメント株式会社 表示制御装置、車両及び表示制御方法
KR20210149374A (ko) * 2020-06-02 2021-12-09 현대자동차주식회사 전방 차량 브레이킹 레벨 제공 장치 및 그의 브레이킹 레벨 제공 방법
US11769412B2 (en) * 2020-06-10 2023-09-26 Hyundai Mobis Co., Ltd. Rear side warning system and method for vehicle
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
US11724692B2 (en) * 2020-09-25 2023-08-15 GM Global Technology Operations LLC Detection, warning and preparative action for vehicle contact mitigation
WO2022250117A1 (ja) * 2021-05-27 2022-12-01 株式会社デンソー 車両用表示システム、車両用表示方法、及び車両用表示プログラム
JP2023030856A (ja) * 2021-08-24 2023-03-08 株式会社東海理化電機製作所 車両用視認装置
JP2023066483A (ja) * 2021-10-29 2023-05-16 フォルシアクラリオン・エレクトロニクス株式会社 後方画像表示装置、及び後方画像表示方法
WO2023095340A1 (ja) * 2021-11-29 2023-06-01 日産自動車株式会社 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165108A1 (en) * 2005-11-30 2007-07-19 Mizuki Yuasa Vehicle Surrounding Image Display Device
US20080044061A1 (en) * 2006-08-21 2008-02-21 Sanyo Electric Co., Ltd. Image processor and vehicle surrounding visual field support device
US20090079553A1 (en) * 2007-09-26 2009-03-26 Nissan Motor Co., Ltd. Vehicle periphery monitoring apparatus and image displaying method
US20150103172A1 (en) * 2013-10-11 2015-04-16 Fujitsu Limited Image processing apparatus and method
JP2015197706A (ja) * 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2002316602A (ja) 2001-04-24 2002-10-29 Matsushita Electric Ind Co Ltd 車載カメラの撮像画像表示方法及びその装置
JP2004159268A (ja) * 2002-11-08 2004-06-03 Nissan Motor Co Ltd 車両周辺監視装置
JP4114647B2 (ja) * 2004-07-07 2008-07-09 日産自動車株式会社 障害物検出装置
JP4731392B2 (ja) * 2006-04-26 2011-07-20 アルパイン株式会社 車載周辺状況提示装置
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP5172482B2 (ja) * 2008-06-06 2013-03-27 本田技研工業株式会社 車両周辺監視装置
JP2010287029A (ja) 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
US9743002B2 (en) * 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP6231345B2 (ja) * 2013-10-18 2017-11-15 クラリオン株式会社 車両用発進支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165108A1 (en) * 2005-11-30 2007-07-19 Mizuki Yuasa Vehicle Surrounding Image Display Device
US20080044061A1 (en) * 2006-08-21 2008-02-21 Sanyo Electric Co., Ltd. Image processor and vehicle surrounding visual field support device
US20090079553A1 (en) * 2007-09-26 2009-03-26 Nissan Motor Co., Ltd. Vehicle periphery monitoring apparatus and image displaying method
US20150103172A1 (en) * 2013-10-11 2015-04-16 Fujitsu Limited Image processing apparatus and method
JP2015197706A (ja) * 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置

Also Published As

Publication number Publication date
MX2019000060A (es) 2019-04-01
JP7010221B2 (ja) 2022-01-26
EP3487172A1 (en) 2019-05-22
EP3487172A4 (en) 2019-07-10
CA3029410A1 (en) 2018-01-18
CN109417611A (zh) 2019-03-01
US20190248288A1 (en) 2019-08-15
KR20190028667A (ko) 2019-03-19
WO2018012299A1 (ja) 2018-01-18
JPWO2018012299A1 (ja) 2019-05-16
US10857942B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
EP3229204B1 (en) Around view provision apparatus and vehicle including the same
EP1961613B1 (en) Driving support method and driving support device
US9672432B2 (en) Image generation device
JP5454934B2 (ja) 運転支援装置
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JP5669791B2 (ja) 移動体の周辺画像表示装置
JP2016506572A (ja) インフォテイメントシステム
KR20020005496A (ko) 화상합성장치 및 방법
JP6981377B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP5516998B2 (ja) 画像生成装置
JP7163748B2 (ja) 車両用表示制御装置
CN109927552B (zh) 车辆用显示装置
US20190135169A1 (en) Vehicle communication system using projected light
US20220086400A1 (en) Vehicular display system
CN114764782A (zh) 多视图汽车和机器人系统中的图像合成
JP2023165721A (ja) 表示制御装置
JP5691339B2 (ja) 運転支援装置
JP2021154888A (ja) 車両用表示装置
WO2022224754A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
US20220086368A1 (en) Vehicular display system
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JP2019202641A (ja) 表示装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right