KR20210100608A - 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템 - Google Patents

화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템 Download PDF

Info

Publication number
KR20210100608A
KR20210100608A KR1020217015967A KR20217015967A KR20210100608A KR 20210100608 A KR20210100608 A KR 20210100608A KR 1020217015967 A KR1020217015967 A KR 1020217015967A KR 20217015967 A KR20217015967 A KR 20217015967A KR 20210100608 A KR20210100608 A KR 20210100608A
Authority
KR
South Korea
Prior art keywords
image
setting
vehicle
unit
display
Prior art date
Application number
KR1020217015967A
Other languages
English (en)
Inventor
고지 나가타
야스히로 유카와
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210100608A publication Critical patent/KR20210100608A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

운동 시차에 의한 거리감의 제공과 다양한 시계의 제공을 양호하게 실현한다. 차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성한다. 설정부에 의해 설정된 기준 시계의 설정 정보에 기초하여 표시 화상을 생성한다. 예를 들어, 기준 시계 설정으로서, 표시 위치 설정, 표시 사이즈 설정, 가로 방향의 전체 또는 일부의 압축 설정, 세로 방향의 전체 또는 일부의 압축 설정 등이 포함된다. 예를 들어, 차량을 나타내는 화상은, 컴퓨터 그래픽스 화상이다. 예를 들어, 운전자의 시점의 운동에 따라서 촬영 화상과 차량을 나타내는 화상과의 중첩 위치 관계를 변화시킨다.

Description

화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
본 기술은, 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템에 관한 것으로, 상세하게는, 차량 탑재용 전자 미러에 적용하기에 적합한 화상 처리 장치 등에 관한 것이다.
종래, 차량의 백미러(룸 미러나 좌우의 도어 미러)를 카메라와 디스플레이로 치환한 차량 탑재용 전자 미러가 제안되어 있다. 예를 들어, 특허문헌 1에는, 전자 미러가 보이는 방식이 실제의 미러가 보이는 방식과 다른 것을 해결하기 위해서, 디스플레이에 대한 운전자의 머리 부분의 상대 위치를 이용하여, 카메라 화상 중 디스플레이에 표시하는 범위를 가변하는 기술이 제안되어 있다.
일본 특허 공개 제2013-216286호 공보
운전자가 시각에 의해 인식하는 중요한 정보 중 하나로 운동 시차로부터 얻는 거리감이 있다. 인간은, 시점을 움직이게 한 때에, 물체의 원근의 위치에 따라, 물체가 보였다 안 보였다가 변화하는 현상으로부터, 그 물체까지의 거리나, 물체끼리의 상대적인 거리를 지각하고 있다. 특허문헌 1에 제안되어 있는 기술에서는, 상기의 지각을 보조하는 것이 불가능하다. 또한, 운전에 적합한 시계는 운전 상황에 따라 다르고, 또한 개인의 기호도 있다.
본 기술의 목적은, 운동 시차에 의한 거리감의 제공과 다양한 시계의 제공을 양호하게 실현하는 것에 있다.
본 기술의 개념은,
차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 처리부를 구비하고,
상기 처리부는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
상기 기준 시계를 설정하는 설정부를 더 구비하는,
화상 처리 장치에 있다.
본 기술에 있어서, 처리부에 의해, 차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상이 중첩되어서 표시 화상이 생성된다. 이 경우, 기준 시계의 설정 정보에 기초하여 표시 화상이 생성된다. 설정부에 의해, 기준 시계가 설정된다. 예를 들어, 기준 시계 설정으로서, 표시 위치 설정을 포함하도록 할 수도 있다. 또한, 예를 들어, 기준 시계 설정으로서, 표시 사이즈 설정을 포함하도록 할 수도 있다. 또한, 예를 들어, 기준 시계 설정으로서, 가로 방향의 전체 또는 일부의 압축 설정을 포함하도록 할 수도 있다. 또한, 예를 들어, 기준 시계 설정으로서, 세로 방향의 전체 또는 일부의 압축 설정을 포함하도록 할 수도 있다.
이렇게 본 기술에 있어서는, 차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 얻는 것이다. 이 경우, 차량의 후방을 촬영하여 얻어진 촬영 화상만으로 표시 화상을 구성하는 것이 아니고, 그 촬영 화상에 차량을 나타내는 화상을 중첩하여 표시 화상을 얻는 것인 것으로부터, 운동 시차에 의한 거리감의 제공을 양호하게 실현할 수 있다. 또한, 기준 시계를 설정하는 설정부를 구비하는 것이다. 그 때문에, 운전 상황에 따른, 또는 운전자(개인)의 기호에 따른 시계의 제공을 양호하게 실현할 수 있다.
또한, 본 기술에 있어서, 예를 들어, 처리부는, 차량의 후방을 촬영하여 얻어진 촬영 화상으로서, 차량의 후부에 설치된 촬영 장치에 의해 촬영된 촬영 화상과 함께 차량의 측부에 설치된 촬영 장치에 의해 촬영된 촬영 화상을 사용하도록 할 수도 있다. 이에 의해, 촬영 화상의 촬영 범위가 넓어지는 것으로부터, 시계 설정으로서의 표시 위치 설정이나 표시 사이즈 설정 등에 있어서의 설정 자유도를 높이는 것이 가능하다.
또한, 본 기술에 있어서, 예를 들어, 복수의 기준 시계 설정으로부터 임의의 기준 시계 설정을 선택하는 선택부를 더 구비하고, 처리부는, 선택된 기준 시계 설정에 기초하여 표시 화상을 생성하도록 할 수도 있다. 이에 의해, 예를 들어, 운전 상황의 변화 등에 맞춘 시계의 전환을 용이하고 또한 바로 행할 수 있게 된다.
또한, 본 기술에 있어서, 예를 들어, 차 실내 화상은, 컴퓨터 그래픽스 화상이도록 해도 된다. 컴퓨터 그래픽스 화상을 사용함으로써, 차 실내 화상의 생성 자유도를 높게 할 수 있다.
또한, 본 기술에 있어서, 예를 들어, 처리부는, 운전자의 시점의 운동에 따라서 촬영 화상과 차 실내 화상과의 중첩 위치 관계를 변화시키도록 해도 된다. 이에 의해, 실제의 백미러를 보고 있는 것에 가까운 운동 시차를 발생시키고, 운전자의 거리 간의 지각을 보조할 수 있다.
이 경우, 예를 들어, 처리부는, 촬영 화상과 차량을 나타내는 화상을 삼차원 공간에 배치하고, 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하고, 그 가상 시점 위치에 의해 결정되는 시계에 의해 촬영 화상과 차량을 나타내는 화상을 사영 좌표계로 변환하여 표시 화상을 얻도록 해도 된다. 이에 의해, 운전자의 시점의 운동에 따라서 촬영 화상과 차량을 나타내는 화상과의 중첩 위치 관계를 고정밀도로 변화시키는 것이 가능하다.
그리고, 이 경우, 예를 들어, 처리부는, 촬영 화상을, 차량의 후방에 존재하는 소정의 오브젝트의 위치에 배치하도록 해도 된다. 예를 들어, 소정의 오브젝트는, 차량에 대하여 가장 가까이에 있는 오브젝트, 또는 운전자가 보고 있는 오브젝트이도록 해도 된다. 이렇게 촬영 화상을 차량의 후방에 존재하는 소정의 오브젝트의 위치에 배치함으로써, 소정의 오브젝트를 삼차원 공간의 올바른 위치에 올바른 크기로 배치할 수 있고, 그 소정의 오브젝트와 차 실내 화상 사이에서 일어나는 운동 시차를 정확하게 표현하는 것이 가능하다.
예를 들어, 처리부는, 운전자마다 등록되어 있는 기준 시점 위치 및 기준 가상 시점 위치에 기초하여, 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하도록 해도 된다. 이에 의해, 운전자마다, 최적인 표시 화상을 얻는 것이 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어, 처리부는, 차 실내 화상을 촬영 화상이 투과하여 보이도록, 그 촬영 화상에 중첩하도록 해도 된다. 이에 의해, 차 실내 화상의 중첩에 의해 운동 시차를 제공해도, 후방 시인성을 손상시키지 않도록 할 수 있다.
도 1은 실시 형태로서의 차량의 구성물 배치의 일례를 도시하는 도면이다.
도 2는 차량의 차체(바디), 차체 개구부(창) 및 내장 오브젝트를 도시하는 도면이다.
도 3은 화상 처리 장치의 구성예를 도시하는 블록도이다.
도 4는 가상 공간 상의 구성물 배치(카메라 1대)를 도시하는 도면이다.
도 5는 가상 공간 상의 구성물 배치(카메라 복수 대)를 도시하는 도면이다.
도 6은 시점 운동과 가상 시점 운동을 설명하기 위한 도면이다.
도 7은 기준 시계에서의 전자 미러가 보이는 방식의 일례를 도시하는 도면이다.
도 8은 초기화 플로의 일례를 나타내는 흐름도이다.
도 9는 기준 시점 위치의 등록 플로의 일례를 나타내는 흐름도이다.
도 10은 시점 검출 영역과 시선 검출 영역의 일례를 도시하는 도면이다.
도 11은 촬영된 카메라 화상을 설명하기 위한 도면이다.
도 12는 카메라 화상의 배치 예를 도시하는 도면이다.
도 13은 카메라 화상의 배치의 차이에 의한 카메라 화상이 보이는 방식의 변화를 도시하는 도면이다.
도 14는 카메라 화상 배치 연산부의 처리 플로의 일례를 나타내는 흐름도이다.
도 15는 카메라 화상 배치 연산부의 처리 플로의 다른 일례를 나타내는 흐름도이다.
도 16은 카메라 화상 배치 연산부의 처리 플로의 다른 일례를 나타내는 흐름도이다.
도 17은 가상 공간 상의 카메라 화상 배치(사용 카메라 화상은 1개)를 도시하는 도면이다.
도 18은 가상 공간 상의 카메라 화상 배치(사용 카메라 화상은 복수)를 도시하는 도면이다.
도 19는 가상 공간 상에 있어서의 묘화에 필요한 요소의 배치 예(사용 카메라 화상은 1개)를 도시하는 도면이다.
도 20은 가상 공간 상에 있어서의 묘화에 필요한 요소의 배치 예(사용 카메라 화상은 복수)를 도시하는 도면이다.
도 21은 화상 묘화부에 의해 얻어지는 표시 화상의 일례를 도시하는 도면이다.
도 22는 기준 시계 설정에 있어서의 표시 위치의 조작 방법의 일례를 설명하기 위한 도면이다.
도 23은 기준 시계 설정에 있어서의 표시 사이즈의 조작 방법의 일례를 설명하기 위한 도면이다.
도 24는 기준 시계 설정에 있어서의 가로 방향 전체의 압축(곡률)의 조작 방법의 일례를 설명하기 위한 도면이다.
도 25는 기준 시계 설정에 있어서의 가로 방향 단부만의 압축(곡률)의 조작 방법의 일례를 설명하기 위한 도면이다.
도 26은 기준 시계 설정에 있어서의 세로 방향 전체의 압축(곡률)의 조작 방법의 일례를 설명하기 위한 도면이다.
도 27은 기준 시계 설정에 있어서의 세로 방향 단부만의 압축(곡률)의 조작 방법의 일례를 설명하기 위한 도면이다.
도 28은 화상 처리 장치에 있어서의 통상 동작 플로의 일례를 나타내는 흐름도이다.
도 29는 표시 화상 처리의 일례를 나타내는 흐름도이다.
도 30은 사용 카메라 화상이 1개인 경우를 설명하기 위한 도면이다.
도 31은 사용 카메라 화상이 복수인 경우를 설명하기 위한 도면이다.
도 32는 시점 운동에 의한 묘화 오브젝트 이동의 겹침 정도의 변화를 도시하는 도면이다.
도 33은 묘화 처리의 배리에이션을 도시하는 도면이다.
도 34는 표시 모드(기준 시계 설정)를 토글적으로 전환하는 예를 설명하기 위한 도면이다.
도 35는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대해서 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[차량의 구성물 배치]
도 1은, 실시 형태로서의 차량(10)의 구성물 배치의 일례를 보여주고 있다. 차량(10)은, 차체(바디)(100)와, 차체 개구부(창)(101)와, 시트 등의 내장 오브젝트(102)를 갖고 있다. 도2(a)는 차체(바디)(100)를 나타내고, 도 2의 (b)의 해칭 부분은 차체 개구부(창)(101)를 나타내고, 도 2의 (c)는 시트 등의 내장 오브젝트(102)를 나타내고 있다.
또한, 차량(10)은, 중앙 후방 촬영부(103)와, 중앙 후방 거리 계측부(104)와, 시점 계측부(105)와, 시선 계측부(106)를 갖고 있다. 중앙 후방 촬영부(103)는, 예를 들어, CMOS(Complementary Metal Oxide Semiconductor) 카메라로 구성되어 있고, 차량(10)의 리어 측 외곽에 후방을 촬영하도록 설치되어 있다. 중앙 후방 거리 계측부(104)는, 예를 들어, ToF(Time of Flight) 방식 거리 화상 센서로 구성되어 있고, 차량(10)의 리어 측 외곽에 후방의 거리 화상을 취득하도록 설치되어 있다.
또한, 차량(10)은, 우측 후방 촬영부(103R)와, 우측 후방 거리 계측부(104R)와, 좌측 후방 촬영부(103L)와, 좌측 후방 거리 계측부(104L)를 갖고 있다. 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)는, 각각, 예를 들어, CMOS 카메라로 구성되어 있고, 차량(10)의 사이드 측 외곽에 후방을 촬영하도록 설치되어 있다. 예를 들어, 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)를, 각각, 사이드미러 위치에 설치하는 것도 고려된다.
또한, 우측 후방 거리 계측부(104R) 및 좌측 후방 거리 계측부(104L)는, 각각, 예를 들어, ToF 방식 거리 화상 센서로 구성되어 있고, 차량(10)의 사이드 측 외곽에 후방의 거리 화상을 취득하도록 설치되어 있다. 예를 들어, 우측 후방 거리 계측부(104R) 및 좌측 후방 거리 계측부(104L)를, 각각, 사이드미러 위치에 설치하는 것도 고려된다.
시점 계측부(105)는, 운전자(유저)의 시점 위치를 검출하는 것이다. 시점 계측부(105)는, 차량(10)의 프론트측 내부에 설치되어 있다. 시점 계측부(105)는, 예를 들어, CMOS 카메라를 구비하고 있고, 그 카메라의 촬영 화상에 기초하여 운전자의 눈 위치를 시점 위치로서 계측한다. 또한, 시점 계측부(105)는, 예를 들어, 적외선 카메라에 의해 촬영한 화상에 기초하여 운전자의 시점 위치를 계측해도 된다. 시선 계측부(106)는, 운전자의 시선을 검출하는 것이다. 시선 계측부(106)는, 차량(10)의 프론트측 내부에 설치되어 있다. 시선 계측부(106)는, 예를 들어, CMOS 카메라를 구비하고 있고, 운전자의 눈동자의 화상에 기초하여, 운전자의 시선, 즉 운전자가 어디를 보고 있는지를 검출한다.
또한, 차량(10)은, 영상 표시부(디스플레이)(107)와, 유저 조작부(108)와, 화상 처리 장치(109)를 갖고 있다. 영상 표시부(107)는, 종래의 룸 미러 대신에 차량(10)의 프론트측 내부에 설치되어 있고, 대략 직사각 형상의 표시면을 갖고 있다. 영상 표시부(107)는, LCD(liquid crystal display)나 유기 EL(Electronic Luminescent) 패널 등으로 구성된다.
유저 조작부(108)는, 운전자에 의한 다양한 조작을 접수하는 유저 인터페이스를 구성하고 있다. 이 유저 조작부(108)는, 예를 들어, 인-프론트 패널에 배치되는 기계적인 조작 버튼, 게다가 영상 표시부(107)의 화면 상에 배치되는 터치 패널 등으로 구성되어 있다. 또한, 도 1의 예에서는, 유저 조작부(108)가 인-프론트 패널에 배치되도록 나타내고 있지만, 유저 조작부(108)의 배치 위치는 그 위치에 한정되지 않는다. 영상 표시부(107)는, 기본적으로는 차량(10)의 후방 화상을 표시하는 것이지만, 터치 패널 기능을 갖는 경우에는, 필요에 따라, 유저 조작을 위한 UI(User Interface) 표시도 된다.
화상 처리 장치(109)는, 영상 표시부(107)에 표시하는 표시 화상을 얻기 위한 처리를 한다. 화상 처리 장치(109)는, 차량(10)의 내부의 임의의 장소, 예를 들어, 도시된 바와 같이 인-프론트 패널 부분에 배치된다. 화상 처리 장치(109)는, 중앙 후방 촬영부(103), 우측 후방 촬영부(103R), 좌측 후방 촬영부(103L) 등에 의해 얻어진 카메라 화상에, 차량(10)을 나타내는 화상으로서의 차 실내 화상(시트, 헤드레스트, 창, 필러 등)을 3D CG로 중첩 합성해서 표시 화상을 얻는다. 이와 같이, 카메라 화상만으로 표시 화상을 구성하는 것이 아니고, 그 카메라 화상에 차 실내 화상을 중첩하여 표시 화상을 얻는 것인 것으로부터, 운동 시차에 의한 거리감의 제공을 간단하게 실현할 수 있다.
이 경우, 화상 처리 장치(109)는, 시점 계측부(105)에 의해 얻어지는 운전자의 시점의 운동에 따라서 촬영 화상과 차 실내 화상과의 중첩 위치 관계를 변화시킨다. 이에 의해, 운전자에게 실제의 룸 미러를 보고 있는 것에 가까운 운동 시차를 발생시키고, 운전자의 거리 간의 지각을 보조할 수 있다.
화상 처리 장치(109)는, 기준 시계의 설정 정보에 기초하여 표시 화상을 설정한다. 기준 시계 설정으로서, 표시 위치 설정, 표시 사이즈 설정, 가로 방향의 전체 또는 일부의 압축 설정, 세로 방향의 전체 또는 일부의 압축 설정 등이 포함된다. 운전자(유저)는, 유저 조작부(108)를 조작함으로써, 기준 시계를 임의로 설정하는 것이 가능하게 된다. 이에 의해, 운전 상황에 따른, 또는 운전자(개인)의 기호에 따른 시계의 제공이 가능하게 된다.
[화상 처리 장치의 구성]
도 3은, 화상 처리 장치(109)의 구성예를 나타내고 있다. 화상 처리 장치(109)는, 기억부(111)와, 시추대(view frustum) 형상 위치 연산부(112)와, 물체 이력 기억부(113)와, 카메라 화상 배치 연산부(115)와, 가상 공간 배치 연산부(116)와, 사영 연산부(117)와, 화상 묘화부(118)를 갖고 있다.
화상 처리 장치(109)는, 화상 처리의 대상이 되는 구성물, 즉 차량(10)의 3D CG 데이터(바디, 창, 내장 등)외에, 후방을 촬영한 카메라 화상을 가상 공간 상에 배치하고, 가상 시점 위치 및 가상 영상 표시부(107A)에 기초하여 구해지는 시추대를 둔다.
도 4는, 사용하는 카메라 화상이 1개, 즉 중앙 후방 촬영부(103)에 의한 카메라 화상만을 사용하는 경우에 있어서의 가상 공간 상의 구성물 배치의 일례를 보여주고 있다. 또한, 도 5는, 사용하는 카메라 화상이 복수, 예를 들어, 중앙 후방 촬영부(103) 및 우측 후방 촬영부(103R)에 의한 2개의 카메라 화상, 또는 중앙 후방 촬영부(103) 및 좌측 후방 촬영부(103L)에 의한 2개의 카메라 화상, 또는 중앙 후방 촬영부(103), 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)에 의한 3개의 카메라 화상을 사용하는 경우에 있어서의 가상 공간 상의 구성물 배치의 일례를 보여주고 있다.
여기서, 사용하는 카메라 화상의 개수는, 시추대가 포함하는 카메라 화상의 영역에 의해 결정된다. 예를 들어, 시추대가 중앙 후방 촬영부(103)의 카메라 화상의 영역만을 포함하는 경우에는, 사용하는 카메라 화상은 1개가 된다. 또한, 예를 들어, 시추대가 복수의 후방 촬영부의 카메라 화상의 영역을 포함하는 경우에는, 사용하는 카메라 화상은 복수가 된다. 복수의 카메라 화상을 사용하는 경우에는, 그것들의 카메라 화상이 합성되어서 사용된다. 복수의 카메라 화상의 중첩 부분의 왜곡을 경감하기 위해서, 카메라 화상 합성면은, 예를 들어, 가상 영상 표시부(107A)를 중심으로 한 원통상으로 된다.
화상 처리 장치(109)는, 시추대에 의해 생성되는 화상을, 필요에 따라 확대 축소의 처리를 실시하고, 영상 표시부(107)에 표시되는 표시 화상으로서 출력한다. 또한, 가상 영상 표시부(107A)의 크기가 영상 표시부(107)와 동일한 크기인 경우에는, 확대 축소의 처리는 불필요하게 된다.
이 경우, 화상 처리 장치(109)는, 도 6에 도시하는 바와 같이, 시점 계측부(105)로 계측된 운전자의 시점 위치의 운동을 기준 시점 위치에 대한 상대 운동으로서 계측하고, 이것에 대응하여 가상 시점 위치를 기준 가상 시점 위치로부터 움직임으로써, 가상 영상 표시부(107A), 따라서 영상 표시부(107)에 표시되는 화상(영상)을 변화시키고, 운전자에게 적절한 운동 시차를 제공한다.
도 3으로 되돌아가서, 기억부(111)는, 운전자마다의 등록된 기준 시점 위치나 기준 시계 설정의 정보, 게다가 차량의 3D CG 데이터를 기억한다. 여기서, 기준 시계는, 기준이 되는 후방 시계이고, 가상 시점 위치 및 가상 영상 표시부(107A)에 의해 형성되는 시추대에 의한 시계를 의미한다. 그 때문에, 기준 시계 설정의 정보는, 구체적으로는, 가상 시점 위치의 정보, 가상 영상 표시부(107A)의 위치나 크기의 정보 등으로 이루어진다.
운전자는, 미리, 유저 조작부(108)로부터의 조작에 의해, 기준 시점 위치나 기준 시계 설정을 등록할 수 있다. 화상 처리 장치(109)는, 초기화 플로에서 기억부(111)로부터 기준 시점 위치나 기준 시계 설정의 정보를 판독하고, 통상 동작 플로에서는 그 판독된 정보를 사용한다. 또한, 운전자는, 기준 시계의 설정에 관해서는, 통상 동작 플로의 중에, 변경 조정을 행하는 것도 가능하게 된다.
기준 시계로서 바람직한 후방 시계는, 운전 상황이나 개인에 따라 다르지만, 상하 좌우가 밸런스 좋게 반사되고, 소실 점이 화면 중앙의 약간 위에 있는 시계가 일반적인 기준 시계로서 고려된다. 도 7은, 기준 시계로서 바람직한 후방 시계의 일례를 보여주고 있다. 이 예에서는, 직선 수평 도로를 주행하고 있는 상태에서, 소실 점이 화면 중앙의 약간 위에 있다. 또한, 도 7에 있어서, 세로 방향 및 가로 방향으로 연장하는 파선의 교점은 화면 중심을 나타내고 있다.
이 실시 형태에 있어서, 기준 시계의 설정으로서, 표시 위치 설정, 표시 사이즈 설정, 가로 방향의 전체 또는 일부의 압축(곡률) 설정, 세로 방향의 전체 또는 일부의 압축(곡률) 설정 등이 포함된다. 기준 시계 설정의 상세에 대해서는 후술한다.
화상 처리 장치(109)는, 예를 들어, 전원 온 등의 기동 시에, 초기화 플로를 실시하고, 운전자(유저)를 특정하고, 기억부(111)로부터 운전자에게 대응한 기준 시점 위치나 기준 시계 설정의 정보를 판독하고, 그 후의 통상 동작 플로에 있어서 사용한다. 운전자의 특정은, 예를 들어, 유저 조작부(108)로부터의 운전자에 의한 조작으로 행해진다. 또한, 상세 설명은 생략하지만, 종래 주지의 얼굴 인증, 지문 인증, 음성 인증 등의 인증 방법 등에 의해, 운전자를 자동적으로 특정하는 것도 고려할 수 있다.
도 8의 흐름도는, 초기화 플로의 일례를 보여주고 있다. 화상 처리 장치(109)는, 스텝 ST1에 있어서, 처리를 개시한다. 이어서, 화상 처리 장치(109)는, 스텝 ST2에 있어서, 유저, 즉 운전자를 특정한다. 이어서, 화상 처리 장치(109)는, 스텝 ST3에 있어서, 기억부(111)로부터, 특정된 운전자의 기준 시계 설정의 정보를 판독한다. 이어서, 화상 처리 장치(109)는, 스텝 ST3에 있어서, 기억부(111)로부터, 특정된 운전자의 기준 시점 위치의 정보를 판독한다. 그리고, 화상 처리 장치(109)는, 스텝 ST5에 있어서 초기화 플로의 일련의 처리를 종료한다.
도 9의 흐름도는, 기준 시점 위치의 등록 플로의 일례를 보여주고 있다. 화상 처리 장치(109)는, 스텝 ST11에 있어서, 처리를 개시한다. 이어서, 화상 처리 장치(109)는, 스텝 ST12에 있어서, 시점 계측부(105)의 검출 결과에 기초하여 운전자의 현재의 시점 위치를 취득하는 것과 함께, 시선 계측부(106)의 검출 결과에 기초하여 운전자의 현재의 시선 위치를 취득한다.
이어서, 화상 처리 장치(109)는, 스텝 ST13에 있어서, 시점은 시점 검출 영역(도 10 참조) 내에 있는지의 여부를 판단한다. 시점이 시점 검출 영역 내에 없을 때, 화상 처리 장치(109)는, 스텝 ST12의 처리로 복귀한다. 한편, 시점이 시점 검출 영역 내에 있을 때, 화상 처리 장치(109)는, 스텝 ST14에 있어서, 시선은 시선 검출 영역(도 10 참조) 내의 영상 표시부(107) 상에 있는지의 여부를 판단한다. 시선이 영상 표시부(107) 상에 없을 때, 화상 처리 장치(109)는, 스텝 ST12의 처리로 복귀한다. 한편, 시선이 영상 표시부(107) 상에 있을 때, 화상 처리 장치(109)는, 스텝 ST15의 처리로 이행한다.
스텝 ST15에 있어서, 화상 처리 장치(109)는, 시선은 일정 시간 이상, 여기서는 1초 이상 계속해서 영상 표시부(107) 상에 있는지의 여부를 판단한다. 시선이 1초 이상 계속해서 영상 표시부(107) 상에 없을 때, 화상 처리 장치(109)는, 스텝 ST12의 처리로 복귀한다. 한편, 시선이 1초 이상 계속해서 영상 표시부(107) 상에 있을 때, 화상 처리 장치(109)는, 스텝 ST16에 있어서, 현재의 시점 위치를 기준 시점 위치로 하여, 운전자에 대응시키고, 기억부(111)에 등록한다. 그 후, 화상 처리 장치(109)는, 스텝 ST17에 있어서, 일련의 처리를 종료한다.
도 3으로 되돌아가서, 시추대 형상 위치 연산부(112)는, 기억부(111)로부터 판독되는 기준 시점 위치 및 기준 시계 설정의 정보와, 시점 계측부(105)로 검출되는 현재의 시점 위치에 기초하여, 가상 공간 상에서의 시추대의 형상과 위치를 산출한다. 이 경우, 기준 시점 위치로부터의 시점 위치(현재의 시점 위치)의 어긋남(거리, 방향의 어긋남)에 따라서 기준 가상 시점 위치에서 어긋나게 된 가상 시점 위치(현재의 가상 시점 위치)가 구해지고(도 6 참조), 이 가상 시점 위치와 가상 영상 표시부(107A)의 크기 및 위치에 기초하여 가상 시점을 정점으로 하는 시추대의 위치와 형상이 구해진다(도 4, 도 5 참조).
카메라 화상 배치 연산부(115)는, 우측 후방 거리 계측부(104R), 중앙 후방 거리 계측부(104) 및 좌측 후방 거리 계측부(104L)로 취득되는 후방의 거리 화상, 우측 후방 촬영부(103R), 중앙 후방 촬영부(103) 및 좌측 후방 촬영부(103L)로 취득되는 후방의 카메라 화상, 시추대 형상 배치 연산부(112)로 구해지는 시추대의 형상과 위치 등에 기초하여, 가상 공간 상에서의 카메라 화상의 배치 거리를 산출한다.
이 카메라 화상의 배치 위치에 의해, 운전자가 시점 위치를 움직이게 한 때에, 차 실내 화상(바디, 창, 내장)에 보였다 안 보였다 하는 카메라 화상에 반사되는 피사체가 보이는 방식(운동 시차)이 달라진다. 적절한 운동 시차를 제공하기 위해서는, 가상 공간 상에 있어서 카메라 화상을 적절한 위치에 배치할 필요가 있다.
실제로 카메라에 의해 촬영된 화상은, 도 11에 도시한 바와 같이, 3차원 공간을 거리 방향으로 압축한 것이고, 상이한 거리들에 있는 물체(오브젝트) A 내지 D가 2차원이 화상으로서 거리에 따른 크기로 촬영되고 있다. 그 때문에, 이 카메라 화상을 3차원 공간 상의 어디에 두어도 완전히 적절하게는 안 되고, 카메라 화상을 둔 거리에 존재하는 물체에 대해서만 적절한 위치가 된다. 또한, 실제로는, 카메라 렌즈의 피사계 심도로부터 밧어난 화상은 흐릿해지지만, 여기에서는 이상적인 팬-포커스(pan-focus) 카메라로서 고찰하고 있다.
도 12은, 물체 A의 거리에 카메라 화상을 둔 경우(화상 배치 A)과, 물체 D의 거리에 카메라 화상을 둔 경우(화상 배치 D)을 나타내고 있다. 그리고, 도 13의 (a), (b), (c)는, 각각, 시계(가상 시점 위치에 의해 결정되는 시추대에 대응)를 우측, 중앙, 좌측으로 움직이게 한 경우의 시야를 나타내고 있다.
도 13의 (a), (b), (c)를 비교해 보면, 화상 배치 A의 경우와 화상 배치 D의 경우에서, 시야에 들어오는 카메라 화상의 범위가 다르고, 시계의 운동에 따라 카메라 화상 내를 움직이는 범위가 다른 것을 알 수 있다. 이것이, 카메라 화상 내의 물체에 대한 운동 시차이고, 주목하고 싶은 물체(오브젝트)의 거리에 카메라 화상을 두는 것으로, 그 물체와 차량 사이에서 일어나는 운동 시차를 정확하게 표현할 수 있다.
주의해야 할 점으로서, 주목하는 물체 이외의 물체에 대해서는, 표시되는 크기나, 시점 운동에 따라 발생하는 운동 시차가 정확하게 표현되지 않는 점을 들 수 있다. 모든 물체에 대해서 올바른 운동 시차를 제공하기 위해서는, 후방을 3D로 촬영하고, 모든 물체를 분리해서 가상 공간 상에 배치할 필요가 있다. 그러나, 그러한 처리는 매우 큰 계산력을 필요로 한다.
본 기술은, 주목하는 물체 이외의 운동 시차를 포기하는 것으로 하여, 비교적 작은 계산량으로, 주목한 물체에 대한 운동 시차를 제공하는 것을 특징으로 하고 있다.
한정적인 운동 시차에 의해, 유용한 거리감을 제시하기 위해서는, 운전자에게 거리감을 제시하는 것에 어울리는, 주목하는 물체를 선택할 필요가 있다. 거리감을 제시하는 것에 어울리는 물체를 선택하는 데 있어서, 고려해야 할 현상을 이하에 든다.
(1) 차량과 물체와의 거리(차량에 가장 가까운 물체.)
(2) 차량과 물체와의 거리의 변화(가까워지고 있는지, 멀어지고 있는지.)
(3) 물체의 크기(일정 이하의 크기의 물체에는 주목할 필요가 없다. Ex. 곤충)
(4) 그 물체가 무엇인지(차인지, 자전거인지, 사람인지, 벽인지, 식물인지)
(5) 운전자가 보고 있는 것(운전자는 어디를 보고 있는지.)
이들 모두를 고려해서 종합적으로 판단하는 것이 이상적이지만, 일부의 현상만으로도 유용한 시스템을 제공하는 것은 가능하다. 도 14의 흐름도는, 카메라 화상 배치 연산부(115)의 처리 플로의 일례를 보여주고 있다. 이 처리 예는, 상술한(1), (2), (3)의 현상을 고려한 것이고, 후방 거리 계측부(우측 후방 거리 계측부(104R), 중앙 후방 거리 계측부(104) 및 좌측 후방 거리 계측부(104L))로 취득되는 거리 화상만을 이용하여 실현할 수 있는 것이다.
카메라 화상 배치 연산부(115)는, 후방 거리 계측부에 의해 거리 화상을 취득할 때마다, 도 14의 흐름도에 나타내는 처리 플로를 실행한다. 또한, 후방 거리 계측부는, 예를 들어, 120fps의 빈도로 거리 화상을 취득한다.
카메라 화상 배치 연산부(115)는, 스텝 ST21에 있어서, 후방 거리 계측부에 의해 거리 화상을 취득하는 타이밍에서 처리를 개시한다. 이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST22에 있어서, 거리 화상으로부터 물체(오브젝트)를 추출하고, 일정 이상의 크기의 물체에 대해서, 위치, 형상, 크기, 거리의 리스트를 작성한다. 그리고, 카메라 화상 배치 연산부(115)는, 스텝 ST23에 있어서, 작성된 리스트를 물체 이력 기억부(113)에 보존한다.
이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST24에 있어서, 물체 이력 기억부(113)의 이력 데이터를 열람하고, 형상의 특징으로부터, 동일한 물체를 탐색하고, 이력이 없는 물체를 리스트로부터 삭제하고, 이력이 있는 물체는 차량과의 상대 속도를 산출해서 리스트에 추가한다.
이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST25에 있어서, 작성된 리스트로부터 카메라의 유효 촬영 거리에서 벗어나는 물체를 배제한다. 이것은, 카메라의 포커스가 맞지 않는 거리에 있는 물체를 제외시키는 것을 의도하고 있다. 거리를 측정할 수 있어도, 카메라 화상을 촬영할 수 없는 것이라면, 카메라 화상 배치 거리로서는 부적절하므로, 배제하는 것이다.
이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST26에 있어서, 일정 이상의 속도로 멀어지고 있는 물체를 리스트로부터 삭제한다. 이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST27에 있어서, 시추대 및 그 근방에서 벗어나는 물체를 리스트로부터 삭제한다. 그리고, 카메라 화상 배치 연산부(115)는, 스텝 ST28에 있어서, 리스트에 데이터가 남아있는지 여부를 판단한다.
리스트에 데이터가 남아있을 때, 카메라 화상 배치 연산부(115)는, 스텝 ST29에 있어서, 차량으로부터 가장 가까운 물체와의 거리를 카메라 화상 배치 거리로 채용한다. 카메라 화상 배치 연산부(115)는, 스텝 ST29의 처리 후, 스텝 ST30에 있어서, 일련의 처리를 종료한다.
또한, 스텝 ST28에서 리스트에 데이터가 남아있지 않을 때, 스텝 ST31에 있어서, 미리 정해진 디폴트 거리를 카메라 화상 배치 거리로 채용한다. 여기서, 디폴트 거리는, 원경을 배치하기에 적합한 거리이다. 거리감을 제시하는 데 있어서는 계산 능력이 허용하는 한 먼 쪽이 바람직하다. 그러나, 현실적으로는, 예를 들어, 중앙 후방 거리 계측부(104)의 계산 능력을 참고로 디폴트 거리가 결정된다. 예를 들어, 디폴트 거리는, Lidar(light detection and ranging)에서는 100m 정도, ToF 센서에서는 250m 정도로 하는 것을 고려할 수 있다. 카메라 화상 배치 연산부(115)는, 스텝 ST31의 처리 후, 스텝 ST30에 있어서, 일련의 처리를 종료한다.
도 15의 흐름도는, 카메라 화상 배치 연산부(115)의 처리 플로의 다른 일례를 보여주고 있다. 이 처리 예는, 상술한(1), (3), (4)의 사상을 고려한 것이고, 후방 거리 계측부에 의해 취득되는 거리 화상 이외에, 중앙 후방 촬영부(103)에 의해 얻어진 카메라 화상을 사용하여 실현할 수 있는 것이다.
카메라 화상 배치 연산부(115)는, 후방 거리 계측부에 의해 거리 화상을 취득할 때마다, 도 15의 흐름도에 나타내는 처리 플로를 실행한다. 또한, 후방 거리 계측부는, 예를 들어, 120fps의 빈도로 거리 화상을 취득한다.
카메라 화상 배치 연산부(115)는, 스텝 ST61에 있어서, 후방 거리 계측부에 의해 거리 화상을 취득하는 타이밍에서 처리를 개시한다. 이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST62에 있어서, 거리 화상으로부터 물체를 추출하고, 일정 이상의 크기의 물체에 대해서, 위치, 형상, 크기, 거리의 리스트를 작성한다.
이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST63에 있어서, 작성된 리스트로부터 카메라의 유효 촬영 거리에서 벗어나는 물체를 배제한다. 이것은, 카메라의 포커스가 맞지 않는 거리에 있는 물체를 제외시키는 것을 의도하고 있다. 거리를 측정할 수 있어도, 카메라 화상을 촬영할 수 없는 것이라면, 카메라 화상 배치 거리로서는 부적절하므로, 배제하는 것이다.
이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST64에 있어서, 화상 인식에 의해 물체를 인식하고, 화상 배치에 어울리지 않는 물체(예를 들어, 새, 고엽 등)를 리스트로부터 삭제한다. 이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST65에 있어서, 시추대 및 그 근방에서 벗어나는 물체를 리스트로부터 삭제한다. 그리고, 카메라 화상 배치 연산부(115)는, 스텝 ST66에 있어서, 리스트에 데이터가 남아있는지 여부를 판단한다.
리스트에 데이터가 남아있을 때, 카메라 화상 배치 연산부(115)는, 스텝 ST67에 있어서, 차량으로부터 가장 가까운 물체와의 거리를 카메라 화상 배치 거리로 채용한다. 카메라 화상 배치 연산부(115)는, 스텝 ST67의 처리 후, 스텝 ST68에 있어서, 일련의 처리를 종료한다.
또한, 스텝 ST66에서 리스트에 데이터가 남아있지 않을 때, 스텝 ST69에 있어서, 미리 정해진 디폴트 거리(원경을 배치하기에 적합한 거리)를 카메라 화상 배치 거리로 채용한다. 카메라 화상 배치 연산부(115)는, 스텝 ST69의 처리 후, 스텝 ST68에 있어서, 일련의 처리를 종료한다.
도 16의 흐름도는, 카메라 화상 배치 연산부(115)의 처리 플로의 또 다른 일례를 보여주고 있다. 이 처리 예는, 상술한 (1), (3), (5)의 사상을 고려한 것이고, 후방 거리 계측부에 의해 취득되는 거리 화상 이외에, 시선 계측부(106)에 있어서의 운전자(유저)의 시선 검출 결과를 이용하여 실현할 수 있는 것이다.
카메라 화상 배치 연산부(115)는, 후방 거리 계측부에 의해 거리 화상을 취득할 때마다, 도 16의 흐름도에 나타내는 처리 플로를 실행한다. 또한, 후방 거리 계측부는, 예를 들어, 120fps의 빈도로 거리 화상을 취득한다.
카메라 화상 배치 연산부(115)는, 스텝 ST71에 있어서, 후방 거리 계측부에 의해 거리 화상을 취득하는 타이밍에서 처리를 개시한다. 이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST72에 있어서, 거리 화상으로부터 물체를 추출하고, 일정 이상의 크기의 물체에 대해서, 위치, 형상, 크기, 거리의 리스트를 작성한다.
이어서, 카메라 화상 배치 연산부(115)는, 스텝 ST73에 있어서, 작성된 리스트로부터 카메라의 유효 촬영 거리에서 벗어나는 물체를 배제한다. 그리고, 카메라 화상 배치 연산부(115)는, 스텝 ST74에 있어서, 리스트에 데이터가 남아있는지 여부를 판단한다.
리스트에 데이터가 남아있을 때, 카메라 화상 배치 연산부(115)는, 스텝 ST75에 있어서, 시선 계측부(106)에 의해 얻어지는 운전자(유저)의 시선을 취득한다. 그리고, 카메라 화상 배치 연산부(115)는, 스텝 ST76에 있어서, 시선에 가장 가까운 위치에 있는 물체의 거리를 카메라 화상 배치 거리로 채용한다. 카메라 화상 배치 연산부(115)는, 스텝 ST76의 처리 후, 스텝 ST77에 있어서, 일련의 처리를 종료한다.
또한, 스텝 ST74에서 리스트에 데이터가 남아있지 않을 때, 스텝 ST78에 있어서, 미리 정해진 디폴트 거리(원경을 배치하기에 적합한 거리)를 카메라 화상 배치 거리로 채용한다. 카메라 화상 배치 연산부(115)는, 스텝 ST78의 처리 후, 스텝 ST77에 있어서, 일련의 처리를 종료한다.
도 17은, 사용 카메라 화상이 1개, 즉 중앙 후방 촬영부(103)에 의한 카메라 화상만을 사용하는 경우에 있어서의 카메라 화상의 배치 위치를 나타내고 있다. 카메라 화상은 중앙 후방 촬영부(103)에 의해 소정의 촬영 화각으로 촬영되어서 얻어진 것이다. 이 카메라 화상은, 가상 공간 상에 있어서, 차량(10)의 후부로부터, 카메라 화상 배치 연산부(115)로 산출된 카메라 화상 배치 거리만큼 이격된 위치에 배치된다. 또한, 이렇게 중앙 후방 촬영부(103)만을 사용하는 경우, 카메라 화상 배치 연산부(115)에서는, 상술한 바와 같이 카메라 화상 배치 거리를 산출할 때에 중앙 후방 거리 계측부(104)에 의해 얻어진 거리 화상이 사용되고, 차량(10)의 후부(후방 거리 측정부(104))로부터의 카메라 화상 배치 거리가 산출된다.
도 18은, 사용 카메라 화상이 복수인 경우, 예를 들어, 중앙 후방 촬영부(103) 및 우측 후방 촬영부(103R)에 의한 2개의 카메라 화상, 또는 중앙 후방 촬영부(103) 및 좌측 후방 촬영부(103L)에 의한 2개의 카메라 화상, 또는 중앙 후방 촬영부(103), 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)에 의한 3개의 카메라 화상을 사용하는 경우에 있어서의 합성 카메라 화상의 배치 위치를 나타내고 있다.
이 경우, 대응하는 복수 대의 후방 거리 계측부 각각에서 후방의 거리 화상이 얻어진다. 그것들의 거리 화상은 따로따로 측정된 거리가 되기 때문에, 가상 영상 표시부(107A)를 중심으로 한 거리 화상으로 합성된다. 합성 카메라 화상은, 가상 공간 상에 있어서, 가상 영상 표시부(107A)로부터, 카메라 화상 배치 연산부(115)로 산출된 카메라 화상 배치 거리만큼 이격된 위치에 배치된다. 또한, 이렇게 복수 대의 카메라를 사용하는 경우, 카메라 화상 배치 연산부(115)에서는, 상술한 바와 같이 카메라 화상 배치 거리를 산출할 때에 복수 대의 후방 거리 계측부의 거리 화상을 합성한 것이 사용되고, 가상 영상 표시부(107A)로부터의 카메라 화상 배치 거리가 산출된다.
도 3으로 되돌아가서, 가상 공간 배치 연산부(116)는, 가상 공간 상에 묘화에 필요한 요소를 배치한다. 즉, 가상 공간 배치 연산부(116)는, 가상 공간 상에 기억부(111)에 기억되고 있는 차량(10)의 3D CG 데이터(바디, 창, 내장 등)을 배치하는 것과 함께, 카메라 화상 배치 연산부(115)로 산출된 카메라 화상 배치 거리의 위치에 카메라 화상을 배치하고, 또한, 시추대 형상 배치 연산부(112)로 산출된 형상과 위치에 기초하여 시추대를 배치한다.
도 19는, 사용 카메라 화상이 1개, 즉 중앙 후방 촬영부(103)에 의한 카메라 화상만을 사용하는 경우의 가상 공간 상에 있어서의 묘화에 필요한 요소의 배치 예를 나타내고 있다. 또한, 도 20은, 사용 카메라 화상이 복수인 경우의 가상 공간 상에 있어서의 묘화에 필요한 요소의 배치 예를 나타내고 있다. 또한, 도시의 예는, 중앙 후방 촬영부(103), 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)의 3대를 사용하는 경우를 나타내고 있다.
상술한 바와 같이, 복수 대의 카메라를 사용하는 경우, 각각에서 촬영되어서 얻어진 카메라 화상은, 가상 영상 표시부(107A)를 중심으로 한 원통상의 카메라 화상 합성면에서 합성되어서 사용된다. 원통형으로 카메라 화상을 합성함으로써, 카메라 화상의 이음매가 눈에 띄지 않도록 화상 처리를 행할 수 있다. 이때, 실제로 차량(10)에 설치하는 중앙 후방 촬영부(103), 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)도, 도 20에 도시하는 바와 같이, 각각의 카메라 광축이 가상 영상 표시부(107A)의 중심을 통과하도록 배치함으로써, 카메라 화상의 합성시에 보정량이 적은, 보다 자연스러운 화상을 얻을 수 있다.
사영 연산부(117)은, 가상 영상 표시부(107A)를 사영면으로 하여, 가상 공간 상의 오브젝트를 사영 화상으로 변환한다. 화상 묘화부(118)은, 사영 연산부(117)에 의해 얻어진 사영 화상에 카메라 화상 및 3D CG 데이터의 디테일을 묘화하는 처리, 게다가 화상의 크기를 영상 표시부(107)의 크기에 맞추기 위한 확대 축소의 처리를 실시하고, 영상 표시부(107)에 공급하는 표시 화상을 출력한다. 도 21의 (a), (b)는, 화상 묘화부(118)에 의해 얻어지는 표시 화상의 일례를 보여주고 있다. 도 21의 (b)는, 도 21의 (a)에 비하여 기준 시계의 표시 사이즈가 크게 되었을 경우의 예를 나타내고 있다.
기준 시계의 설정에 대해서 설명한다. 기준 시계의 설정 포인트로서는, (1) 표시 위치, (2) 표시 사이즈, (3) 가로 방향 전체의 압축(곡률), (4) 가로 방향 단부만의 압축, (5) 세로 방향 전체의 압축(곡률), (6) 세로 방향 단부만의 압축(곡률) 등이 고려된다. 각각의 설정 방법으로서 다양한 방법이 고려되지만, 여기서는, (1)과 (2)에 관해서는 버튼 조작을 사용한 설정 방법을, (3) 내지 (6)에 관해서는 영상 표시부(107) 상의 터치 패널 조작을 사용한 설정 방법을 예로서 설명한다.
최초에, (1) 표시 위치의 조작 방법의 일례를 설명한다. 이 경우, 도 22의 (a)에 도시하는 바와 같이, 예를 들어, 운전자(유저)는, 상하 좌우의 버튼을 사용하여 표시 위치를 변경한다. 운전자가 상하 좌우의 버튼을 누르면, 기준 가상 시점 위치가 상하 좌우의 반대 방향으로 이동한다. 예를 들어, 운전자가 좌측 버튼을 누르면, 도 22의 (b)에 도시하는 바와 같이, 가상 기준 시점 값은 반대 방향인 우측으로 움직이고, 가상 영상 표시부의 위치는 고정되어 있으므로, 이에 의해 시추대의 방향이 좌측 방향으로 바뀌고, 영상 표시부(107)에 표시되는 화상 범위는 좌측으로 이동한다.
이어서, (2) 표시 사이즈의 조작 방법의 일례를 설명한다. 이 경우, 도 23의 (a)에 도시하는 바와 같이, 예를 들어, 운전자(유저)는, 「+」, 「-」의 버튼을 사용하여 표시 위치를 변경한다. 운전자가 「+」, 「-」의 버튼을 누르면, 기준 가상 시점 위치가 전후 방향으로 이동한다. 예를 들어, 운전자가 「+」 버튼을 누르면, 도 23의 (b)에 도시하는 바와 같이, 가상 기준 시점 값은 가상 영상 표시부에 가까워지고, 가상 영상 표시부의 위치는 고정되어 있으므로, 이에 의해 시추대의 화각이 확대되고, 표시되는 범위(표시 사이즈)가 커진다.
이어서, (3) 가로 방향 전체의 압축(곡률)의 조작 방법의 일례를 설명한다. 도 24는, 이 조작 방법을 나타내고 있다. 운전자(유저)가 화면 중앙 부근에서 좌우로 핀치-인(pinch-in)하면, 핀치-인한 크기에 따라서 가상 영상 표시부의 가로 방향의 사이즈가 확대된다. 이때, 기준 가상 시점 위치는 고정되어 있으므로, 시추대가 가로 방향 전체로 커진다. 실제 영상 표시부(영상 표시부(107))의 사이즈는 고정이기 때문에, 가상→실상 변환은 전체적으로 좌우 방향으로 압축한 변환이 되고, 실제 영상 표시부(107)에 표시되는 표시 영상은 좌우 방향으로 압축된 것이 된다.
반대로 운전자가 화면 중앙 부근에서 좌우로 핀치-아웃(pinch-out) 조작을 한 경우는, 시추대가 가로 방향으로 작아지고, 실제 영상 표시부(107)에 표시되는 표시 영상의 좌우 방향으로의 압축률이 작아진다. 이러한 핀치-인, 핀치-아웃의 가감에 의해, 화면 전체의 좌우 방향의 압축 배율(실제 미러의 좌우 방향 전체의 곡률에 대응)이 조정된다.
이어서, (4) 가로 방향 단부만의 압축(곡률)의 조작 방법의 일례를 설명한다. 도 25는, 이 조작 방법을 나타내고 있다. 운전자(유저)가 화면의 우측 단부 부근에서 좌우로 핀치-인하면, 핀치-인한 크기에 따라서 가상 영상 표시부의 우측 방향의 사이즈가 확대된다. 이때, 기준 가상 시점 위치는 고정되어 있으므로, 시추대가 우측 방향으로 커진다. 실제 영상 표시부(영상 표시부(107))의 사이즈는 고정이기 때문에, 가상→실상 변환은 우측 단부에서 좌우 방향으로 압축한 변환이 되고, 영상 표시부(107)에 표시되는 표시 영상은 우측 단부에서 좌우 방향으로 압축된 것이 된다.
반대로 운전자가 화면 중앙 부근에서 좌우로 핀치-아웃 조작을 한 경우는, 가상 영상 표시부의 우측 방향의 사이즈가 작아지고, 시추대의 우측 방향의 사이즈가 작아진다. 이러한 핀치-인, 핀치-아웃의 가감에 의해, 화면의 우측 단부 좌우 방향의 압축 배율(실제 미러의 우측 단부 곡률에 대응)이 조정된다. 또한, 상세 설명은 생략하지만, 좌측 단부의 좌우 방향의 압축 배율도 유사하게 조정하는 것이 가능하다. 또한, 우측 단부 또는 좌측 단부의 좌우 방향의 압축률을 조정할 때에 양쪽의 압축률을 동시에 조정하는 것도 고려된다.
이어서, (5) 세로 방향 전체의 압축(곡률)의 조작 방법의 일례를 설명한다. 도 26은, 이 조작 방법을 나타내고 있다. 운전자(유저)가 화면 중앙 부근에서 상하로 핀치-인하면, 핀치-인한 크기에 따라서 가상 영상 표시부의 세로 방향의 사이즈가 확대된다. 이때, 기준 가상 시점 위치는 고정되어 있으므로, 시추대가 세로 방향 전체로 커진다. 실제 영상 표시부(영상 표시부(107))의 사이즈는 고정이기 때문에, 가상→실상 변환은 전체적으로 상하 방향으로 압축한 변환이 되고, 실제 영상 표시부(107)에 표시되는 표시 영상은 상하 방향으로 압축된 것이 된다.
반대로 운전자가 화면 중앙 부근에서 상하로 핀치-아웃 조작을 한 경우는, 시추대가 세로 방향으로 작아지고, 실제 영상 표시부(107)에 표시되는 표시 영상의 상하 방향으로의 압축률이 작아진다. 이러한 핀치-인, 핀치-아웃의 가감에 의해, 화면 전체의 상하 방향의 압축 배율(실제 미러의 상하 방향 전체의 곡률에 대응)이 조정된다.
이어서, (6) 세로 방향 단부만의 압축(곡률)의 조작 방법의 일례를 설명한다. 도 27은, 이 조작 방법을 나타내고 있다. 운전자(유저)가 화면의 상단부 부근에서 좌우로 핀치-인하면, 핀치-인한 크기에 따라서 가상 영상 표시부의 상 방향의 사이즈가 확대된다. 이때, 기준 가상 시점 위치는 고정되어 있으므로, 시추대가 상 방향으로 커진다. 실제 영상 표시부(영상 표시부(107))의 사이즈는 고정이기 때문에, 가상→실상 변환은 상단부에서 상하 방향으로 압축한 변환이 되고, 실제 영상 표시부(107)에 표시되는 표시 영상은 상단부에서 상하 방향으로 압축된 것이 된다.
반대로 운전자가 화면 중앙 부근에서 좌우로 핀치-아웃 조작을 한 경우는, 가상 영상 표시부의 상 방향의 사이즈가 작아지고, 시추대의 상 방향의 사이즈가 작아진다. 이러한 핀치-인, 핀치-아웃의 가감에 의해, 화면의 상단부의 상하 방향의 압축 배율(실제 미러의 우측 단부 곡률에 대응)이 조정된다. 또한, 상세 설명은 생략하지만, 하단부의 상하 방향의 압축 배율도 유사하게 조정하는 것이 가능하다. 또한, 상단부 또는 하단부의 상하 방향의 압축률을 조정할 때에 양쪽의 압축률을 동시에 조정하는 것도 고려된다.
도 28의 흐름도는, 화상 처리 장치(109)에 있어서의 통상 동작 플로의 일례를 보여주고 있다. 화상 처리 장치(109)는, 스텝 ST71에 있어서, 처리를 개시한다. 이어서, 화상 처리 장치(109)는, 스텝 ST72에 있어서, 기준 시계 설정의 변경 조작이 있는지의 여부를 판단한다. 변경 조작이 있을 때, 화상 처리 장치(109)는, 스텝 ST73에 있어서, 유저 조작에 기초하여 기준 시계 설정의 변경을 행한다(도 24 내지 도 27 참조).
화상 처리 장치(109)는, 스텝 ST73의 처리 후, 스텝 ST74의 처리로 진행한다. 또한, 스텝 ST72에서 변경 조작이 없을 때, 화상 처리 장치(109)는, 즉시, 스텝 ST74의 처리로 진행한다. 화상 처리 장치(109)는, 스텝 ST74에 있어서, 영상 표시부(107)에 표시하는 표시 화상을 생성하기 위한 처리를 한다. 화상 처리 장치(109)는, 스텝 ST74의 처리 후, 스텝 ST72으로 되돌아가서 상술한 것과 유사한 처리를 반복한다.
도 29의 흐름도는, 도 28의 스텝 ST74의 표시 화상 처리의 일례를 보여주고 있다. 화상 처리 장치(109)는, 스텝 ST41에 있어서, 처리를 개시한다. 이어서, 화상 처리 장치(109)는, 스텝 ST42에 있어서, 시점 계측부(105)의 검출 결과에 기초하여 현재의 시점 위치를 취득한다.
이어서, 화상 처리 장치(109)는, 스텝 ST43에 있어서, 기준 시점 위치와 현재의 시점 위치와의 차분을 기준 가상 시점 위치로부터의 가상 시점의 차분으로 변환하여 가상 시점 위치를 산출한다(도 6 참조). 이어서, 화상 처리 장치(109)는, 스텝 ST44에 있어서, 가상 시점 위치로부터 시추대의 형상과 위치를 산출한다.
이어서, 화상 처리 장치(109)는, 스텝 ST45에 있어서, 사용 카메라 화상은 복수인지 여부를 판단한다. 여기서, 사용 카메라 화상의 개수는, 1개의 경우와, 복수의 경우가 있고, 기준 가상 시점 위치와 가상 영상 표시부(107A)에 의해 형성되는 시추부가, 어느 카메라 화상의 영역을 포함하고 있는지에 의해 결정된다.
예를 들어, 도 30에 도시하는 바와 같이 1개의 카메라 화상(중앙 후방 촬영부(103)에 의한 카메라 화상)만으로 시추대가 들어가는 경우는, 사용 카메라 화상은 1개가 된다. 또한, 예를 들어, 도 31에 도시하는 바와 같이 3대의 카메라인 중앙 후방 촬영부(103), 우측 후방 촬영부(103R) 및 좌측 후방 촬영부(103L)에 의한 카메라 화상에 걸쳐서 시추대가 있을 경우는, 사용 카메라 화상은 3개가 된다. 유사한 발상으로, 도시는 생략하지만, 사용 카메라 화상이 중앙 후방 촬영부(103) 및 우측 후방 촬영부(103R)에 의한 2개의 카메라 화상, 또는 중앙 후방 촬영부(103) 및 좌측 후방 촬영부(103L)에 의한 2개의 카메라 화상이라고 하는 경우도 있을 수 있다.
도 29으로 되돌아가서, 스텝 ST45에서 사용 카메라 화상이 1개 있을 때, 화상 처리 장치(109)는, 스텝 ST46에 있어서, 그 1개의 카메라 화상을 취득한다. 이어서, 화상 처리 장치(109)는, 스텝 ST47에 있어서, 카메라 화상 배치 거리를 산출한다(도 17 참조). 이 경우, 중앙 후방 거리 계측부(104)에 의해 얻어진 거리 화상이 사용되고, 차량(10)의 후부(중앙 후방 거리 측정부(104))로부터의 카메라 화상 배치 거리가 산출된다. 화상 처리 장치(109)는, 스텝 ST47의 처리 후, 스텝 ST48의 처리로 진행한다.
또한, 스텝 ST45에서 사용 카메라 화상이 복수일 때, 화상 처리 장치(109)는, 스텝 ST49에 있어서, 그 복수의 카메라 화상을 취득한다. 이어서, 화상 처리 장치(109)는, 스텝 ST50에 있어서, 복수의 카메라 화상을 합성한다. 이 경우, 가상 공간 상에 준비된, 가상 영상 표시부(107A)를 중심으로 한 원통상의 카메라 화상 배치면에 매핑된다.
이어서, 화상 처리 장치(109)는, 스텝 ST51에 있어서, 카메라 화상 배치 거리를 산출한다(도 18 참조). 이 경우, 복수 대의 후방 거리 계측부의 거리 화상을 합성한 것이 사용되고, 가상 영상 표시부(107A)로부터의 카메라 화상 배치 거리가 산출된다. 화상 처리 장치(109)는, 스텝 ST51의 처리 후, 스텝 ST48의 처리로 진행한다.
스텝 ST48에 있어서, 화상 처리 장치(109)는, 가상 공간 상에, 묘화에 필요한 요소인, 차량(10)의 3D CG 데이터(바디, 창, 내장 등), 카메라 화상, 시추대를 배치한다(도 19, 도 20 참조). 이어서, 화상 처리 장치(109)는, 스텝 ST52에 있어서, 가상 공간 상의 구성물을 사영 좌표계로 변환하여 사영 화상을 얻는다.
이어서, 화상 처리 장치(109)는, 스텝 ST53에 있어서, 사영 화상에 카메라 화상 및 3D CG 데이터의 디테일을 묘화하는 처리를 행하여 표시 화상을 얻는다. 이어서, 화상 처리 장치(109)는, 스텝 ST54에 있어서, 표시 화상을 영상 표시부(107)에 출력한다. 화상 처리 장치(109)는, 스텝 ST54의 처리 후, 스텝 ST55에 있어서, 처리를 종료한다.
화상 처리 장치(109)는, 상술한 통상 동작 플로의 처리를, 영상 표시부(107)의 갱신 빈도, 예를 들어, 120fps에 동기하여 연속하여 행한다. 이에 의해, 영상 표시부(107)에 표시되는 표시 화상은, 시점의 운동과, 주목하는 후방 물체와의 거리에 의해, 묘화 대상 오브젝트의 겹침 정도가 적절하게 변화하고, 즉 적절한 운동 시차가 얻어지고, 운전자(유저)는, 후방의 카메라 화상에 대하여 적절한 거리감을 얻는 것이 가능하다.
도 32의 (a), (b), (c)는 영상 표시부(107)에 표시되는 표시 화상의 일례를 보여주고 있다. 도 32의 (a)는 운전자의 시점 위치가 표준 시점 위치에 있는 경우를 나타내고 있고, 도 32의 (b)는 운전자의 시점 위치가 표준 시점 위치로부터 우측으로 이동한 경우를 나타내고 있고, 또한, 도 32의 (c)는 운전자의 시점 위치가 표준 시점 위치로부터 좌측으로 이동한 경우를 나타내고 있다. 운전자의 시점 위치에 따라, 차 실내 CG 화상과 카메라 화상 내의 오브젝트(자동차)와의 겹침 정도가 변화하고 있는 것을 알 수 있다.
또한, 내장 오브젝트나 차체는, 실제 미러라면 후방이 보이지 않는 사각을 만들어버리지만, 본 기술에서는, 묘화 시에 투과하여 묘화하거나, 또는 일부를 비표시로 하거나 함으로써, 운동 시차에 의해 거리감의 지각을 보조하면서, 후방 시계를 넓게 유지하는 것도 가능하다. 예를 들어, 도 33의 (a)는, 내장 오브젝트로서의 후부 시트를 비표시로 한 것이다. 또한, 도 33의 (b)는, 차체 및 내장 오브젝트로서의 후부 시트를 저투과율로 한 것이고, 도 33의 (c)는, 차체 및 내장 오브젝트로서의 후부 시트를 고투과율로 한 것이다.
물론, 사각의 발생을 걱정하지 않으면, 내장 오브젝트나 차체를 투과율 0%로 묘화하고, 실제 미러와 같은 화상을 생성하여 표시해도 된다.
또한, 내장 오브젝트는, 시트 등에 한하지 않고, 예를 들어, 창 유리 상에 패턴을 그리는 것으로, 보다 거리 지각을 강조하는 것도 가능하다. 도 33의 (d)는, 창 유리 상의 오브젝트로서 수평 라인을 마련한 것이다.
상술한 바와 같이, 도 1에 도시하는 차량(10)에 있어서는, 도 3에 도시하는 화상 처리 장치(109)에 의해, 운전자(유저)에 의한 유저 조작부(108)의 조작에 따라, 기준 시계 설정이 행해진다. 그 때문에, 운전 상황에 따른, 또는 운전자(개인)의 기호에 따른 시계의 제공을 양호하게 실현할 수 있다.
또한, 도 1에 도시하는 차량(10)에 있어서는, 도 3에 도시하는 화상 처리 장치(109)에 의해, 차량(10)의 후방을 촬영하여 얻어진 카메라 화상에 차 실내 화상을 중첩하고, 종래의 룸 미러 대신에 배치되는 영상 표시부(107)에 표시하는 표시 화상을 얻는 것이다. 차량(10)의 후방을 촬영하여 얻어진 카메라 화상만으로 표시 화상을 구성하는 것이 아니고, 그 카메라 화상에 차 실내 화상을 중첩하여 표시 화상을 얻는 것인 것으로부터, 운동 시차에 의한 거리감의 제공을 간단하게 실현할 수 있다.
또한, 도 1에 도시하는 차량(10)에 있어서는, 도 3에 도시하는 화상 처리 장치(109)에 의해, 운전자의 시점의 운동에 따라서 카메라 화상과 차 실내 화상과의 중첩 위치 관계를 변화시키는 것이다. 그 때문에, 실제의 백미러를 보고 있는 것에 가까운 운동 시차를 발생시키고, 운전자의 거리 간의 지각을 보조할 수 있다.
또한, 도 1에 도시하는 차량(10)에 있어서는, 도 3에 도시하는 화상 처리 장치(109)에 의해, 카메라 화상과 차량을 나타내는 화상을 삼차원 공간에 배치하고, 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하고, 그 가상 시점 위치에 의해 결정되는 시계에 의해 카메라 화상과 차 실내 화상을 사영 좌표계로 변환하여 표시 화상을 얻는 것이다. 그 때문에, 운전자의 시점의 운동에 따라서 카메라 화상과 차 실내 화상과의 중첩 위치 관계를 고정밀도로 변화시키는 것이 가능하다.
또한, 도 1에 도시하는 차량(10)에 있어서는, 도 3에 도시하는 화상 처리 장치(109)에 의해, 카메라 화상을, 차량(10)의 후방에 존재하는 주목하는 물체(오브젝트)의 위치에 배치하고, 표시 화상을 얻는 것이다. 그 때문에, 주목하는 물체를 삼차원 공간의 올바른 위치에 올바른 크기로 배치할 수 있고, 그 물체와 차 실내 화상 사이에서 일어나는 운동 시차를 정확하게 표현하는 것이 가능하다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니며, 또한 부가적인 효과가 있을 수 있다.
차량용의 전자 미러는, 짐의 적재 등에도 영향을 받지 않고, 실제의 미러와 비교해도 사각이 적은 후방 시계를 제공할 수 있는 이점이 있다. 그러나, 전자 미러에서는 거리감을 직감적으로 지각하기 어렵다라고 하는 문제가 있다. 사람이 거리를 지각하기 위한 중요한 요소에, 양안 시차, 폭주각(convergence angle), 조절, 운동 시차가 있다.
이 중 운동 시차는, 거리가 다른 2개 이상의 물체가, 시점의 운동에 따라 보였다 안 보였다 하는 현상이고, 상술한 특허문헌 1에 기재되는 기술과 같이 카메라 화상의 표시 개소를 운동시킨 것만으로는, 보였다 안 보였다의 변화가 부족하고 운동 시차에 의한 거리감의 제시 효과는 매우 약하다고 생각된다. 본 기술에서는, 후방 카메라 화상에, 차 실내의 오브젝트를 중첩 묘화하고, 그것들에 운동 시차를 가함으로써, 적극적으로 운동 시차에 의한 거리감의 제공을 행하고, 직감적이고 운전자(유저)에게 친숙하기 쉬운 전자 미러를 제공할 수 있다.
<2. 변형예>
또한, 상술한 실시 형태에 있어서는, 운전자(유저)가 유저 조작부(108)로부터 기준 시계를 설정하고, 그 설정 정보에 기초하여 표시 영상을 생성하고, 룸 미러에 상당하는 영상 표시부(107)에 표시하는 예를 보여주었다.
실제의 사용 사례를 생각하면, 운전자의 기호나, 차종, 운전 상황에 따라, 미리 몇 가지의 표시 모드(기준 시계 설정)를 유지해 두고, 전환하여 사용하는 것도 상정된다. 여기에서는, 이하의 (1) 내지 (4)를 전환하는 방법을 설명한다. 또한, 이 예에서는 4 모드의 전환을 나타내지만, 필요에 따라서 유지하는 표시 모드의 수는 가변하는 것으로 한다.
(1) 평면 거울(표준적인 표시)
(2) 곡면 거울(화면 가로 방향으로 곡률을 가진 표시)
(3) 우측 단부 곡면 거울(화면 우측 단부에 곡률을 가진 표시)
(4) 좌측 단부 곡면 거울(화면 좌측 단부에 곡률을 가진 표시)
표시 모드 전환 조작 방법으로서는, 메뉴에 의한 전환이나, 운전 조작이나 차량의 주행 상황에 따른 전환 등, 다양한 실현 방법이 고려된다. 여기에서는, 도 34의 (a)에 도시하는 바와 같이, 모드(mode) 버튼을 누를 때마다 미리 준비된 (1) 내지 (4)의 표시 모드를 토글적으로 전환하여 사용하는 것이 가능하다. 도 34의 (b)는, 표시 모드 (1) 내지 (4)에 대응하여 토글적으로 전환되는 영상 표시부(107) 상의 표시 화상의 일례를 보여주고 있다.
또한, 이 예에서는 버튼 조작으로 표시 모드를 전환하고 있지만, 주행 속도나 방향 지시기, 핸들 조작 등의 운전 조작에 따라 자동적으로 적절한 표시 모드를 제공하는 방법이나, 내비게이션 장치와 연동하여 장소에 기초하여 자동적으로 적절한 표시 모드를 제공하는 방법도 고려된다.
또한, 상술한 화상 처리 장치(109)에 있어서의 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어, 범용의 퍼스널 컴퓨터 등이 포함된다.
도 35는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터(400)의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터(400)에 있어서, CPU(Central Processing Unit)(401), ROM(Read Only Memory)(402), RAM(Random Access Memory)(403)은, 버스(404)에 의해 서로 접속되어 있다.
버스(404)에는, 또한, 입출력 인터페이스(405)가 접속되어 있다. 입출력 인터페이스(405)에는, 입력부(406), 출력부(407), 기록부(408), 통신부(409) 및 드라이브(410)가 접속되어 있다.
입력부(406)는, 입력 스위치, 버튼, 마이크로폰, 촬상 소자 등으로 이루어진다. 출력부(407)는, 디스플레이, 스피커 등으로 이루어진다. 기록부(408)는, 하드 디스크나 불휘발성의 메모리 등으로 이루어진다. 통신부(409)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(410)는, 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(411)를 구동한다.
이상과 같이 구성되는 컴퓨터(400)에서는, CPU(401)가, 예를 들어, 기록부(408)에 기록되어 있는 프로그램을, 입출력 인터페이스(405) 및 버스(404)를 통해, RAM(403)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(400)(CPU(401))가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 미디어(411)에 기록하여 제공하는 것이 가능하다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공하는 것이 가능하다.
컴퓨터에서는, 프로그램은, 리무버블 미디어(411)를 드라이브(410)에 장착함으로써, 입출력 인터페이스(405)를 통해, 기록부(408)에 인스톨하는 것이 가능하다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(409)로 수신하고, 기록부(408)에 인스톨하는 것이 가능하다. 그 외에, 프로그램은, ROM(402)이나 기록부(408)에 미리 인스톨해 두는 것이 가능하다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 좋다.
또한, 첨부 도면을 참조하면서 본 개시가 적합한 실시 형태에 대해서 상세하게 설명했지만, 본 개시의 기술적 범위는 관련 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명확하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 처리부를 구비하고,
상기 처리부는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
상기 기준 시계를 설정하는 설정부를 더 구비하는,
화상 처리 장치.
(2) 상기 기준 시계 설정으로서, 표시 위치 설정을 포함하는,
상기 (1)에 기재된 화상 처리 장치.
(3) 상기 기준 시계 설정으로서, 표시 사이즈 설정을 포함하는,
상기 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 기준 시계 설정으로서, 가로 방향의 전체 또는 일부의 압축 설정을 포함하는,
상기 (1) 내지 (3) 중 어느 한 항에 기재된 화상 처리 장치.
(5) 상기 기준 시계 설정으로서, 세로 방향의 전체 또는 일부의 압축 설정을 포함하는,
상기 (1) 내지 (4) 중 어느 한 항에 기재된 화상 처리 장치.
(6) 상기 처리부는, 상기 차량의 후방을 촬영하여 얻어진 촬영 화상으로서, 상기 차량의 후부에 설치된 촬영 장치에 의해 촬영된 촬영 화상과 함께 상기 차량의 측부에 설치된 촬영 장치에 의해 촬영된 촬영 화상을 사용하는,
상기 (1) 내지 (5) 중 어느 한 항에 기재된 화상 처리 장치.
(7) 복수의 상기 기준 시계 설정으로부터 임의의 기준 시계 설정을 선택하는 선택부를 더 구비하고,
상기 처리부는, 상기 선택된 기준 시계 설정에 기초하여 상기 표시 화상을 생성하는,
상기 (1) 내지 (6) 중 어느 한 항에 기재된 화상 처리 장치.
(8) 상기 차 실내 화상은, 컴퓨터 그래픽스 화상인,
상기 (1) 내지 (7) 중 어느 한 항에 기재된 화상 처리 장치.
(9) 상기 처리부는, 운전자의 시점의 운동에 따라서 상기 촬영 화상과 상기 차 실내 화상과의 중첩 위치 관계를 변화시키는,
상기 (1) 내지 (8) 중 어느 한 항에 기재된 화상 처리 장치.
(10) 상기 처리부는,
상기 촬영 화상과 상기 차 실내 화상을 삼차원 공간에 배치하고,
상기 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하고, 해당 가상 시점 위치에 의해 결정되는 시계에 의해 상기 촬영 화상과 상기 차 실내 화상을 사영 좌표계로 변환하여 상기 표시 화상을 얻는,
상기 (9)에 기재된 화상 처리 장치.
(11) 상기 처리부는, 상기 촬영 화상을, 상기 차량의 후방에 존재하는 소정의 오브젝트의 위치에 배치하는,
상기 (10)에 기재된 화상 처리 장치.
(12) 상기 소정의 오브젝트는, 상기 차량에 대하여 가장 가까이에 있는 오브젝트인,
상기 11에 기재된 화상 처리 장치.
(13) 상기 소정의 오브젝트는, 상기 운전자가 보고 있는 오브젝트인,
상기 (11)에 기재된 화상 처리 장치.
(14) 상기 처리부는, 운전자마다 등록되어 있는 기준 시점 위치 및 기준 가상 시점 위치에 기초하여, 상기 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하는,
상기 (10) 내지 (13) 중 어느 한 항에 기재된 화상 처리 장치.
(15) 상기 처리부는, 상기 차 실내 화상을 상기 촬영 화상이 투과하여 보이도록 해당 촬영 화상에 중첩하는,
상기 (1) 내지 (14) 중 어느 한 항에 기재된 화상 처리 장치.
(16) 차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 수순을 갖고,
상기 표시 화상을 생성하는 수순에서는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
상기 기준 시계를 설정하는 수순을 더 갖는,
화상 처리 방법.
(17) 차량의 후방을 촬영하는 촬영부와,
차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 처리부를 구비하고,
상기 처리부는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
상기 기준 시계를 설정하는 설정부와,
상기 처리부에 의해 생성된 표시 화상을 표시하는 표시부를 더 구비하는,
화상 처리 시스템.
(18) 차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 수순을 갖고,
상기 표시 화상을 생성하는 수순에서는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
상기 기준 시계를 설정하는 수순을 더 갖는,
화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램.
10 차량
100 차체(바디)
101 차체 개구부(창)
102 내장 오브젝트
103 중앙 후방 촬영부
103R 우측 후방 촬영부
103L 좌측 후방 촬영부
104 중앙 후방 거리 계측부
104R 우측 후방 거리 계측부
104L 좌측 후방 거리 계측부
105 시점 계측부
106 시선 계측부
107 영상 표시부
107A 가상 영상 표시부
108 유저 조작부
109 화상 처리 장치
111 기억부
112 시추대 형상 배치 연산부
113 물체 이력 기억부
115 카메라 화상 배치 연산부
116 가상 공간 배치 연산부
117 사영 연산부
118 화상 묘화부

Claims (17)

  1. 화상 처리 장치로서,
    차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 처리부를 구비하고,
    상기 처리부는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
    상기 기준 시계를 설정하는 설정부를 더 구비하는,
    화상 처리 장치.
  2. 제1항에 있어서,
    상기 기준 시계 설정으로서, 표시 위치 설정을 포함하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 기준 시계 설정으로서, 표시 사이즈 설정을 포함하는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 기준 시계 설정으로서, 가로 방향의 전체 또는 일부의 압축 설정을 포함하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 기준 시계 설정으로서, 세로 방향의 전체 또는 일부의 압축 설정을 포함하는, 화상 처리 장치.
  6. 제1항에 있어서,
    상기 처리부는, 상기 차량의 후방을 촬영하여 얻어진 촬영 화상으로서, 상기 차량의 후부에 설치된 촬영 장치에 의해 촬영된 촬영 화상과 함께 상기 차량의 측부에 설치된 촬영 장치에 의해 촬영된 촬영 화상을 사용하는, 화상 처리 장치.
  7. 제1항에 있어서,
    복수의 상기 기준 시계 설정으로부터 임의의 기준 시계 설정을 선택하는 선택부를 더 구비하고,
    상기 처리부는, 상기 선택된 기준 시계 설정에 기초하여 상기 표시 화상을 생성하는, 화상 처리 장치.
  8. 제1항에 있어서,
    상기 차 실내 화상은, 컴퓨터 그래픽스 화상인, 화상 처리 장치.
  9. 제1항에 있어서,
    상기 처리부는, 운전자의 시점의 운동에 따라서 상기 촬영 화상과 상기 차 실내 화상과의 중첩 위치 관계를 변화시키는, 화상 처리 장치.
  10. 제9항에 있어서,
    상기 처리부는,
    상기 촬영 화상과 상기 차 실내 화상을 삼차원 공간에 배치하고,
    상기 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하고, 해당 가상 시점 위치에 의해 결정되는 시계에 의해 상기 촬영 화상과 상기 차 실내 화상을 사영 좌표계로 변환하여 상기 표시 화상을 얻는, 화상 처리 장치.
  11. 제10항에 있어서,
    상기 처리부는, 상기 촬영 화상을, 상기 차량의 후방에 존재하는 소정의 오브젝트의 위치에 배치하는, 화상 처리 장치.
  12. 제11항에 있어서,
    상기 소정의 오브젝트는, 상기 차량에 대하여 가장 가까이에 있는 오브젝트인, 화상 처리 장치.
  13. 제11항에 있어서,
    상기 소정의 오브젝트는, 상기 운전자가 보고 있는 오브젝트인, 화상 처리 장치.
  14. 제10항에 있어서,
    상기 처리부는, 운전자마다 등록되어 있는 기준 시점 위치 및 기준 가상 시점 위치에 기초하여, 상기 운전자의 시점의 운동에 따라서 변화하는 가상 시점 위치를 구하는, 화상 처리 장치.
  15. 제1항에 있어서,
    상기 처리부는, 상기 차 실내 화상을 상기 촬영 화상이 투과하여 보이도록 해당 촬영 화상에 중첩하는, 화상 처리 장치.
  16. 화상 처리 방법으로서,
    차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 수순을 갖고,
    상기 표시 화상을 생성하는 수순에서는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
    상기 기준 시계를 설정하는 수순을 더 갖는, 화상 처리 방법.
  17. 화상 처리 시스템으로서,
    차량의 후방을 촬영하는 촬영부와,
    차량의 후방을 촬영하여 얻어진 촬영 화상에 차 실내 화상을 중첩하여 표시 화상을 생성하는 처리부를 구비하고,
    상기 처리부는, 기준 시계의 설정 정보에 기초하여 상기 표시 화상을 생성하고,
    상기 기준 시계를 설정하는 설정부와,
    상기 처리부에 의해 생성된 표시 화상을 표시하는 표시부를 더 구비하는, 화상 처리 시스템.
KR1020217015967A 2018-12-11 2019-12-10 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템 KR20210100608A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018232048 2018-12-11
JPJP-P-2018-232048 2018-12-11
PCT/JP2019/048363 WO2020122084A1 (ja) 2018-12-11 2019-12-10 画像処理装置、画像処理方法および画像処理システム

Publications (1)

Publication Number Publication Date
KR20210100608A true KR20210100608A (ko) 2021-08-17

Family

ID=71077293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217015967A KR20210100608A (ko) 2018-12-11 2019-12-10 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템

Country Status (6)

Country Link
US (1) US20220030178A1 (ko)
EP (1) EP3896963A4 (ko)
JP (1) JP7484722B2 (ko)
KR (1) KR20210100608A (ko)
CN (1) CN113170083A (ko)
WO (1) WO2020122084A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210370773A1 (en) * 2018-05-08 2021-12-02 Sony Semiconductor Solutions Corporation Image processing apparatus, moving apparatus, method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210100610A (ko) * 2018-12-11 2021-08-17 소니그룹주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013216286A (ja) 2012-04-12 2013-10-24 Suzuki Motor Corp 車両周囲確認用モニター装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP4192643B2 (ja) 2003-03-20 2008-12-10 アイシン精機株式会社 車両運転者の視線検出装置
JP4698351B2 (ja) * 2005-09-13 2011-06-08 パナソニック株式会社 車両側方確認装置
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
EP1974998B1 (en) * 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP5115136B2 (ja) 2007-10-16 2013-01-09 株式会社デンソー 車両後方監視装置
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
JP6130118B2 (ja) * 2012-09-28 2017-05-17 富士通テン株式会社 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
WO2014130049A1 (en) * 2013-02-25 2014-08-28 Johnson Controls Technology Company Systems and methods for augmented rear-view displays
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
JP2015201680A (ja) 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2016048839A (ja) * 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
US10503989B2 (en) * 2015-09-28 2019-12-10 Kyocera Corporation Image processing apparatus, imaging apparatus, camera monitor system, and image processing method
JP2017111739A (ja) * 2015-12-18 2017-06-22 株式会社デンソー 運転支援装置、運転支援方法
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置
EP3487172A4 (en) * 2016-07-13 2019-07-10 Sony Corporation PICTURE GENERATING DEVICE, PICTURE PRODUCTION PROCESS AND PROGRAM
CN109691088B (zh) * 2016-08-22 2022-04-15 索尼公司 图像处理设备、图像处理方法、以及程序
JP6768412B2 (ja) * 2016-08-26 2020-10-14 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템
EP3550829B1 (en) * 2017-04-03 2021-08-11 Jvc Kenwood Corporation Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program
JP6890288B2 (ja) * 2018-03-28 2021-06-18 パナソニックＩｐマネジメント株式会社 画像処理装置、画像表示システムおよび画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013216286A (ja) 2012-04-12 2013-10-24 Suzuki Motor Corp 車両周囲確認用モニター装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210370773A1 (en) * 2018-05-08 2021-12-02 Sony Semiconductor Solutions Corporation Image processing apparatus, moving apparatus, method, and program
US11958358B2 (en) * 2018-05-08 2024-04-16 Sony Semiconductor Solutions Corporation Image processing apparatus, moving apparatus, method, and program

Also Published As

Publication number Publication date
EP3896963A4 (en) 2022-01-19
JPWO2020122084A1 (ja) 2021-10-21
WO2020122084A1 (ja) 2020-06-18
EP3896963A1 (en) 2021-10-20
US20220030178A1 (en) 2022-01-27
CN113170083A (zh) 2021-07-23
JP7484722B2 (ja) 2024-05-16

Similar Documents

Publication Publication Date Title
JP6493361B2 (ja) 車両用装置、車両用プログラム、フィルタ設計プログラム
KR20190000591A (ko) 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
WO2013145706A1 (en) Display apparatus and display control method
JP4378118B2 (ja) 立体映像呈示装置
JP7428139B2 (ja) 画像処理装置、画像処理方法および画像処理システム
CN103770706A (zh) 动态后视镜显示特征
JP7444073B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2007052304A (ja) 映像表示システム
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
KR20210100608A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
KR20190026507A (ko) 차량용 영상 생성 장치 및 방법
JP2016181004A (ja) 情報処理装置、表示制御方法、プログラムおよび記憶媒体
KR20190068162A (ko) 차량용 디스플레이 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination