KR20210006888A - 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램 - Google Patents

화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20210006888A
KR20210006888A KR1020207031130A KR20207031130A KR20210006888A KR 20210006888 A KR20210006888 A KR 20210006888A KR 1020207031130 A KR1020207031130 A KR 1020207031130A KR 20207031130 A KR20207031130 A KR 20207031130A KR 20210006888 A KR20210006888 A KR 20210006888A
Authority
KR
South Korea
Prior art keywords
image
driver
cameras
camera
mobile device
Prior art date
Application number
KR1020207031130A
Other languages
English (en)
Other versions
KR102570780B1 (ko
Inventor
에이지 오바
미츠하루 오키
시게유키 바바
요시쿠니 노무라
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210006888A publication Critical patent/KR20210006888A/ko
Application granted granted Critical
Publication of KR102570780B1 publication Critical patent/KR102570780B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

운전자의 머리의 움직임 등의 운전자 거동에 따라서 표시부로의 출력 화상을 전환하여 표시하는 구성을 실현한다. 이동 장치의 운전자의 거동을 나타내는 운전자 정보와, 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고, 운전자 정보에 따라서, 표시부로의 출력 화상을 전환한다. 복수 카메라는, 예를 들어 이동 장치 후부에 설치된 복수의 리어 카메라이며, 예를 들어 운전자의 얼굴 또는 시선 방향을 검출하고, 검출된 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을 출력 화상으로서 선택하여 표시부에 표시, 혹은 운전자의 제스처에 의해 지시되는 방향의 화상을 선택하여 표시부에 표시한다.

Description

화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램
본 개시는, 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램에 관한 것이다. 더욱 상세하게는, 자동차 등의 이동 장치에 장착된 카메라의 촬영 화상에 기초하여 운전석의 표시부(모니터)에 출력하는 표시 화상의 제어를 행하는 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램에 관한 것이다.
최근, 자동차에 장착한 카메라의 촬영 화상을 운전석의 모니터에 표시하고, 자동차의 주위, 예를 들어 자동차 후방(리어 방향)의 상황을 확인 가능하게 한 카메라 모니터 시스템(CMS: Camera Monitor System)의 탑재가 가능하게 되어, 실제로 자동차에 도입되기 시작하고 있다.
예를 들어, 특허문헌 1(국제 공개 WO2018/012299호 공보)에는, 자차량에 있어서, 차량 후부에 설치한 리어 카메라가 촬영한 차량 후방 화상과, 차량 좌우의 백미러 위치에 설치한 사이드 카메라로 촬영한 좌우 후방 화상, 혹은 이들 합성 화상을 표시부에 표시하는 카메라 모니터 시스템(CMS)을 개시하고 있다.
국제 공개 WO2018/012299호 공보
카메라 모니터 시스템(CMS)은, 소위 종래의 차량의 백미러나 사이드미러와 같은 후사경으로 확인하고 있던 주위의 모습을, 카메라 촬영 화상으로 확인 가능하게 한 시스템이다.
예를 들어, 운전자가 관찰 가능한 표시부(모니터)에는, 차량의 후방을 촬영하는 리어 카메라의 후방 촬영 화상과, 차량의 좌우 사이드미러 위치의 근방에 설치되는 좌측 사이드 카메라와 우측 사이드 카메라에 의해 촬영되는 좌후방 촬영 화상과 우후방 촬영 화상, 이들 3개의 화상이 개별로 표시된다. 또는 이들 3장의 화상을 적절히 합성하여 모니터에 생성한 한 장의 합성 화상이 표시된다.
그러나, 이와 같은 화상 표시 시스템에 있어서, 리어 카메라, 및 좌우 사이드 카메라의 3장의 화상으로부터 연속된 한 장의 합성 화상을 생성하여 표시하고자 한 경우, 3장의 화상 중 어느 것에 촬영되고 있던 피사체가 합성 화상으로부터 사라져버려 표시되지 않는 경우가 있다. 이것은, 리어 카메라, L 사이드 카메라, R 사이드 카메라, 이들 3개의 카메라에 의해 촬영되는 화상이, 각각 시점이 다른 화상이며, 합성 화상 생성 시에 하나의 시점, 예를 들어 리어 카메라 시점으로부터의 화상으로 변환하는 처리 등에 기인하는 것이다.
합성 화상 생성 시에 리어 카메라의 시점을 기준으로 하여 합성 화상을 생성하면, 좌측 사이드 카메라나 우측 사이드 카메라의 촬영 피사체, 예를 들어 후방 바로 근처의 대형 차량에 가려진 자전거나 먼 곳에서 고속으로 접근하는 차량 등이 합성 화상으로부터 사라져버린다. 이것은 리어 카메라 시점부터는 자전거 등이 대형 차량에 가려진 영역, 즉 오클루전 영역이 되기 때문이다.
본 개시는, 예를 들어 상술한 문제점을 감안하여 이루어진 것으로, 서로 다른 촬영 시점을 갖는 복수 카메라에 의한 촬영 화상을, 운전자의 거동, 예를 들어 머리의 움직임에 따라서 순차 전환하여 표시함으로써, 종래의 백미러나 사이드미러를 확인하는 것과 마찬가지로, 여러 시점에서 관찰되는 후방의 화상을 거의 연속적으로(끊어짐 없이) 확인 가능하게 한 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.
본 개시의 제1 측면은,
이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고,
상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 데이터 처리부를 갖는 화상 처리 장치에 있다.
또한, 본 개시의 제2 측면은,
이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수의 카메라와,
상기 이동 장치의 운전자의 거동을 나타내는 운전자 정보를 검출하는 운전자 정보 검출부와,
상기 운전자 정보와, 상기 복수의 카메라의 촬영 화상을 입력하고, 상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수의 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 데이터 처리부를 갖는 이동 장치에 있다.
또한, 본 개시의 제3 측면은,
화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
데이터 처리부가,
이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고,
상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 화상 처리 방법에 있다.
또한, 본 개시의 제4 측면은,
이동 장치에 있어서 실행하는 표시 화상 제어 방법이며,
복수의 카메라가, 상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 화상 촬영 스텝과,
운전자 정보 검출부가, 상기 이동 장치의 운전자의 거동을 나타내는 운전자 정보를 검출하는 운전자 정보 검출 스텝과,
데이터 처리부가,
상기 운전자 정보와, 상기 복수의 카메라의 촬영 화상을 입력하고, 상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수의 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어 스텝을 실행하는 표시 화상 제어 방법에 있다.
또한, 본 개시의 제5 측면은,
화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
데이터 처리부에,
이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력시키고,
상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행시키는 프로그램에 있다.
또한, 본 개시의 프로그램은, 예를 들어 여러 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대하여, 컴퓨터 가독의 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이와 같은 프로그램을 컴퓨터 가독의 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터·시스템상에서 프로그램에 따른 처리가 실현된다.
본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템은, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한정되지는 않는다.
본 개시의 일 실시예의 구성에 의하면, 운전자의 머리의 움직임 등의 운전자 거동에 따라서 표시부로의 출력 화상을 전환하여 표시하는 구성이 실현된다.
구체적으로는, 예를 들어 이동 장치의 운전자의 거동을 나타내는 운전자 정보와, 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하여, 운전자 정보에 따라서, 표시부로의 출력 화상을 전환한다. 복수 카메라는, 예를 들어 이동 장치 후부에 설치된 복수의 리어 카메라이며, 예를 들어 운전자의 얼굴 또는 시선 방향을 검출하여, 검출된 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을 출력 화상으로서 선택하여 표시부에 표시, 혹은 운전자의 제스처에 의해 지시되는 방향의 화상을 선택하여 표시부에 표시한다.
본 구성에 의해, 운전자의 머리의 움직임 등의 운전자 거동에 따라서 표시부로의 출력 화상을 전환하여 표시하는 구성이 실현된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니라, 더욱 부가적인 효과가 있어도 된다.
도 1은 자동차에 탑재되는 카메라 모니터 시스템(CMS: Camera Monitor System)의 개요에 대하여 설명하는 도면이다.
도 2는 CMS의 이용예에 대하여 설명하는 도면이다.
도 3은 CMS의 이용예에 대하여 설명하는 도면이다.
도 4는 CMS의 이용예에 대하여 설명하는 도면이다.
도 5는 본 개시의 이동 장치, 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
도 6은 본 개시의 이동 장치, 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
도 7은 본 개시의 이동 장치, 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
도 8은 표시부의 화상 표시예에 대하여 설명하는 도면이다.
도 9는 표시부의 화상 표시예에 대하여 설명하는 도면이다.
도 10은 표시부의 화상 표시예에 대하여 설명하는 도면이다.
도 11은 표시부의 화상 표시예에 대하여 설명하는 도면이다.
도 12는 이동 장치, 화상 처리 장치의 구성과 처리에 대하여 설명하는 도면이다.
도 13은 표시부의 화상 표시예에 대하여 설명하는 도면이다.
도 14는 표시부의 화상 표시예에 대하여 설명하는 도면이다.
도 15는 이동 장치에 대한 카메라 배치예에 대하여 설명하는 도면이다.
도 16은 이동 장치에 대한 카메라 배치예에 대하여 설명하는 도면이다.
도 17은 이동 장치에 대한 카메라 배치와 표시 화상의 예에 대하여 설명하는 도면이다.
도 18은 이동 장치에 대한 카메라 배치와 표시 화상의 예에 대하여 설명하는 도면이다.
도 19는 이동 장치에 대한 카메라 배치와 표시 화상의 예에 대하여 설명하는 도면이다.
도 20은 이동 장치에 대한 카메라 배치와 표시 화상의 예에 대하여 설명하는 도면이다.
도 21은 이동 장치에 대한 카메라 배치와 표시 화상의 예에 대하여 설명하는 도면이다.
도 22는 이동 장치에 대한 카메라 배치예에 대하여 설명하는 도면이다.
도 23은 화상 처리 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면이다.
도 24는 화상 처리 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면이다.
도 25는 화상 처리 장치의 하드웨어 구성예에 대하여 설명하는 도면이다.
이하, 도면을 참조하면서 본 개시의 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램의 상세에 대하여 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.
1. 차량 탑재 카메라 모니터 시스템(CMS)의 개요에 대하여
2. 본 개시의 화상 처리 장치, 이동 장치의 구성예에 대하여
3. 기타 실시예에 대하여
4. 화상 처리 장치 및 이동 장치가 실행하는 처리의 시퀀스에 대하여
5. 화상 처리 장치의 구성예에 대하여
6. 본 개시의 구성의 결론
[1. 차량 탑재 카메라 모니터 시스템(CMS)의 개요에 대하여]
우선, 도 1 이하를 참조하여 자동차에 탑재되는 카메라 모니터 시스템(CMS: Camera Monitor System)의 개요에 대하여 설명한다.
도 1은, 자동차(10)에 탑재되는 CMS의 개요를 설명하는 도면이다. CMS는, 자동차에 설치된 카메라로 촬영된 화상을, 운전자가 관찰 가능한 표시부에 표시하는 시스템이다.
도 1에 도시한 자동차(10)에는, 자동차(10)의 후방에 설치된 리어 카메라(11), 자동차(10)의 좌측에 설치된 좌측 사이드 카메라(12), 자동차(10)의 우측에 설치된 우측 사이드 카메라(13)가 구비되고, 이들 각 카메라가 각 카메라의 설치 위치에서 관찰한 자동차(10)의 후방 화상을 촬영한다.
이들 카메라의 촬영 화상, 또는 이들 촬영 화상에 기초하여 생성된 합성 화상이, 자동차(10) 내부의 표시부(20)에 표시된다. 자동차(10)의 운전자는, 표시부(20)의 표시 화상을 보고, 자동차(10)의 후방의 모습을 확인할 수 있다.
표시부(20)에 표시되는 구체적인 화상예에 대하여, 도 2 이하를 참조하여 설명한다. 도 2는, 자동차(10)의 후방의 모습을 나타내는 도면이다. 도 2에 있어서, 자동차(10)는 도면에 도시한 화살표 방향(전방)을 향해 주행하고 있다.
이 상태에서, 리어 카메라(11), 좌측 사이드 카메라(12), 우측 사이드 카메라(13)의 3대의 카메라는, 각 카메라 위치를 시점 위치로 한 화상을 촬영한다.
도 3은, 자동차(10)의 운전자가 확인 가능한 표시부(20)에 표시된 화상의 일례를 나타내는 도면이다. 도 3에 도시한 예는, 표시부(20)에, 리어 카메라(11), 좌측 사이드 카메라(12), 우측 사이드 카메라(13)의 3대의 카메라의 촬영 화상을 개별로 표시한 예이다. 표시부(20)에는, 리어 카메라(11)가 촬영한 리어 카메라 화상(21)이 표시부(20)의 중앙에 표시되고, 좌측 사이드 카메라(12)가 촬영한 좌측 사이드 카메라 화상(22)이 표시부(20)의 좌측에 표시되며, 우측 사이드 카메라(13)가 촬영한 우측 사이드 카메라 화상(23)이 표시부(20)의 우측에 표시되어 있다.
운전자는, 이들 3장의 화상을 봄으로써, 백미러, 좌우의 사이드미러를 보는 것과 마찬가지의 주위 상황 확인이 가능하게 된다.
그러나, 이와 같이 3장의 화상을 배열하여 표시한 경우, 운전자가 주로 백미러에 상당하는 중앙의 화상에만 주목해버려, 좌우의 화상에 주의를 하지 않으면 좌우의 화상에 주로 찍힌 정보를 못보고 지나치는 경향이 있다는 문제가 있다.
도 3에 도시한 예에 있어서, 좌측 사이드 카메라 화상(22)에 찍혀 있는 자전거가 중앙의 리어 카메라 화상(21)에서는 대형 차량의 뒤에 가려져서 거의 보이지 않는 상태에 있다. 이와 같은 경우, 운전자가 표시부(20)의 중앙에 표시된 리어 카메라 화상(21)만에 주목한 경우, 자전거를 알아차리지 못한다고 하는 위험이 발생한다.
도 3에 도시한 예는, 표시부(20)에 각 카메라의 촬영 화상을 개별로 표시한 예이지만, 이들 3장의 화상을 한 장으로 합친 합성 화상을 생성하여 표시부(20)에 표시하는 구성도 제안되어, 이용되고 있다. 도 4에 합성 화상의 표시예를 나타낸다.
도 4에는 표시부(20)에 표시되는 합성 화상(25)의 일례를 나타내고 있다. 이 합성 화상(25)은, 리어 카메라(11)의 시점을 기준으로 하여 생성한 합성 화상(25)이다. 리어 카메라(11), 좌측 사이드 카메라(12), 우측 사이드 카메라(13)는 각각 다른 시점으로부터의 화상을 촬영하고 있기 때문에, 한 장의 합성 화상을 생성할 때에는, 각 화상의 시점 위치의 변환 처리나, 오브젝트(피사체)의 사이즈 변환 처리, 위치 조정 처리 등을 행하는 것이 필요해진다. 구체적으로는, 예를 들어 아핀 변환 등의 화상 변환 처리가 행해진다.
이와 같은 화상 변환 처리를 행하여 복수의 화상을 접합해서 한 장의 합성 화상을 생성한다. 도 4에 도시한 예는, 좌측 사이드 카메라(12)나 우측 사이드 카메라(13)의 촬영 화상을 리어 카메라(11)의 시점으로부터의 촬영 화상으로 변환하여 생성한 합성 화상의 예이다. 그러나, 이와 같은 합성 화상을 생성하면, 좌측 사이드 카메라나 우측 사이드 카메라에는 촬영되고 있던 피사체가 사라져버리는 경우가 있다.
앞에서 설명한 도 3의 좌측 사이드 카메라 화상(22)에는, 피사체로서의 자전거를 분명히 확인할 수 있었지만, 도 4에 도시한 합성 화상(25)에서는, 자전거는 차량의 뒤에 가려져버려, 거의 보이지 않는 상태로 되어 있다. 이것은 자전거가, 리어 카메라 시점부터는 그 전의 대형 차량에 가려진 영역, 즉 오클루전 영역이 되기 때문이다.
운전자는 이와 같은 합성 화상(25)을 보아도 후방에서 근접하는 자전거를 확인할 수 없어, 갑자기 좌회전하는 등의 운전을 행해버리면, 후방에서 근접하는 자전거에 접촉하는 등의 사고를 발생시킬 가능성이 있다.
[2. 본 개시의 화상 처리 장치, 이동 장치의 구성예에 대하여]
다음으로, 도 4 이하를 참조하여, 본 개시의 화상 처리 장치, 이동 장치의 구성예에 대하여 설명한다. 본 개시는, 예를 들어 도 4를 참조하여 설명한 문제점을 해결하는 것이다. 구체적으로는, 예를 들어 서로 다른 촬영 시점을 갖는 복수 카메라에 의한 촬영 화상을, 운전자의 거동, 예를 들어 머리나 얼굴, 시선의 움직임 등에 따라서 순차 전환하여 표시한다.
도 5에 본 개시의 자동차(10)(이동 장치)의 일 구성예를 나타낸다. 도 5에 도시한 자동차(10)는, 앞에서 도 1을 참조하여 설명한 것과 마찬가지로, 자동차(10)의 좌측에 좌측 사이드 카메라(12), 자동차(10)의 우측에 우측 사이드 카메라(13)가 구비되어 있다. 자동차(10)의 후방에는, 3개의 리어 카메라, 즉, 자동차(10)의 후부 중앙에 설치된 리어 C(중앙) 카메라(31), 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32), 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33)가 설치되어 있다.
또한, 자동차(10)의 후부에 설치하는 카메라의 수를 본 예에서는 3대로 하고 있지만, 3대 이외의 다양한 복수 카메라의 이용이 가능하다. 3대 이상의 다수의 카메라의 이용예에 대하여는, 후단에서 설명한다.
자동차(10) 후부에 설치된 3대의 카메라의 촬영 영역의 예를 도 6에 나타낸다. 도 6에는, 자동차(10) 후부 중앙에 설치된 리어 C(중앙) 카메라(31), 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32), 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33), 이들 3대의 카메라의 촬영 영역을 나타내고 있다.
도 6에 도시한 바와 같이, 3대의 카메라는, 각각 다른 시점에서 자동차 후방을 촬영하고, 그 촬영 영역의 일부는 중복되는 설정으로 되어 있다. 본 개시의 구성에서는, 이와 같은 다른 촬영 시점을 갖는 복수 카메라에 의한 촬영 화상을, 운전자의 거동, 예를 들어 머리의 움직임에 따라서 순차 전환하여 표시한다. 머리의 움직임 검출은, 종래의 백미러나 사이드미러를 볼 때의 운전자의 행동 동작에 필적하는 움직임을 검출하고, 그 행동을 표시 전환의 트리거로 하기 위해서이다.
도 7은, 앞에서 설명한 도 2와 마찬가지의 촬영 환경을 나타내고 있다. 자동차(10)는, 도면에 도시한 화살표 방향(전방)을 향해서 주행하고 있다.
자동차(10)의 후방을 대형 차량이 주행하고 있으며, 그 좌후방을 자전거가 주행하고 있다.
도 8은, 자동차(10)의 운전자가 확인 가능한 표시부(20)에 표시된 화상의 일례를 나타내는 도면이다. 표시부(20)의 좌측에 좌측 사이드 카메라(12)가 촬영한 좌측 사이드 카메라 화상(22)을 표시하고, 표시부(20)의 우측에 우측 사이드 카메라(13)가 촬영한 우측 사이드 카메라 화상(23)을 표시하고 있다.
표시부(20)의 중앙부의 화상 표시 영역은, 리어 카메라 화상 전환 표시 영역(41)으로서 설정된다. 리어 카메라 화상 전환 표시 영역(41)에는, 자동차(10)의 후부에 설치한 3대의 카메라, 즉, 자동차(10) 후부 중앙에 설치된 리어 C(중앙) 카메라(31), 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32), 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33), 이들 3대의 카메라의 촬영 화상을, 운전자의 거동, 예를 들어 머리의 움직임에 따라서 순차 전환하여 표시한다.
도 9를 참조하여, 리어 카메라 화상 전환 표시 영역(41)의 화상 표시예, 즉, 화상 전환 표시예에 대하여 설명한다.
도 9에는, 운전자(50)의 머리의 움직임(얼굴이나 시선의 방향)과, 리어 카메라 화상 전환 표시 영역(41)의 화상 표시예의 대응 데이터를 나타내고 있다. 이하의 3개의 화상 표시예를 나타내고 있다.
(R) 리어 R 카메라 촬영 화상 표시예
(C) 리어 C 카메라 촬영 화상 표시예
(L) 리어 L 카메라 촬영 화상 표시예
도 9에 도시한 (R) 리어 R 카메라 촬영 화상 표시예는, 운전자(50)의 얼굴이나 시선 방향이 우측 방향인 경우의 화상 표시예이다. 이와 같이, 자동차(10)의 운전자(50)가 우측 방향을 보고 있는 경우, 표시부(20)의 리어 카메라 화상 전환 표시 영역(41)에는, 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33)의 촬영 화상이 표시된다.
또한, 도 9에 도시한 (C) 리어 C 카메라 촬영 화상 표시예는, 운전자(50)의 얼굴이나 시선 방향이 거의 정면 방향인 경우의 화상 표시예이다. 이와 같이, 자동차(10)의 운전자(50)가 정면 방향을 보고 있는 경우, 표시부(20)의 리어 카메라 화상 전환 표시 영역(41)에는, 자동차(10)의 후부 중앙에 설치된 리어 C(중앙) 카메라(31)의 촬영 화상이 표시된다.
또한, 도 9에 도시한 (L) 리어 L 카메라 촬영 화상 표시예는, 운전자(50)의 얼굴이나 시선 방향이 좌측 방향인 경우의 화상 표시예이다. 이와 같이, 자동차(10)의 운전자(50)가 좌측 방향을 보고 있는 경우, 표시부(20)의 리어 카메라 화상 전환 표시 영역(41)에는, 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32)의 촬영 화상이 표시된다.
또한, 예를 들어 운전자(50)가, 처음에 우측 방향을 보고, 다음에 정면을 보고, 마지막으로 좌측을 본다고 하는 거동을 나타낸 경우, 표시부(20)의 리어 카메라 화상 전환 표시 영역(41)의 표시 화상은, 다음과 같이 순차 전환된다. 우선, 리어 R(우측) 카메라(33)의 촬영 화상이 표시되고, 다음에, 리어 C(중앙) 카메라(31)의 촬영 화상으로 전환되고, 또한, 리어 L(좌측) 카메라(32)의 촬영 화상의 표시로 전환된다.
자동차(10)에는 운전자(50)의 거동을 검출하는 운전자 정보 검출부가 설치되어 있으며, 자동차(10)의 화상 처리 장치는, 이 운전자 정보 검출부의 검출 정보에 기초하여 표시부(20)의 표시 화상의 전환 제어를 실행한다.
도 9에 도시한 3개의 화상 중, 좌측에 나타낸 (L) 리어 L 카메라 촬영 화상 표시예에서는, 자전거의 화상을 분명히 확인하는 것이 가능해진다. 이것은, 리어 L(좌측) 카메라(33)가, 자동차(10) 후부 좌측으로부터의 화상을 촬영하는 카메라이며, 자전거 앞의 대형 차량에 가려지지 않은 자전거의 화상을 촬영할 수 있기 때문이다.
운전자(50)는, 이 화상을 보고, 자전거가 대형 차량의 뒤에 있음을 분명히 확인할 수 있다.
또한, 도 9에 도시한 각 화상은, 앞에서 도 8을 참조하여 설명한 표시부(20)의 표시예와 같이, 좌측 사이드 카메라 화상(22), 우측 사이드 카메라 화상(23)과 함께, 이들 2개의 화상의 중앙 영역에 표시해도 되지만, 좌측 사이드 카메라 화상(22)과, 우측 사이드 카메라 화상(23)을 비표시로 하여, 운전자(50)의 얼굴이나 시선 방향에 따라서 도 9에 도시한 화상만을 단독으로 표시부(20)에 표시하는 구성으로 해도 된다.
또한, 도 9에서는, 운전자(50)의 얼굴이나 시선 방향에 따라서 표시부(20)의 표시 화상, 즉, 도 8에 도시한 표시부(20)의 중앙 영역인 리어 카메라 화상 전환 표시 영역(41)의 화상을 전환하는 설정으로 하여 설명하였지만, 예를 들어 운전자(50)의 얼굴이나 시선 방향에 따라서 리어 카메라 화상 전환 표시 영역(41)의 위치를 변경하는 구성으로 해도 된다. 즉, 리어 카메라 화상 전환 표시 영역(41)의 위치를, 운전자(50)의 얼굴이나 시선 방향에 일치하는 위치로 변경한다.
이 화상 위치 변경 표시예에 대하여, 도 10을 참조하여 설명한다. 도 10에는, 도 9와 마찬가지로, 운전자(50)의 머리의 움직임(얼굴이나 시선의 방향)과, 리어 카메라 화상 전환 표시 영역(41)의 화상 표시예의 대응 데이터를 나타내고 있다. 이하의 3개의 화상 표시예를 나타내고 있다.
(R) 리어 R 카메라 촬영 화상 표시예
(C) 리어 C 카메라 촬영 화상 표시예
(L) 리어 L 카메라 촬영 화상 표시예
도 10에 도시한 표시부(20)는, 자동차의 프론트 패널 상부에 설정되고, 좌우 방향으로 긴 표시 영역을 갖는다.
도 10에 도시한 (L) 리어 L 카메라 촬영 화상 표시예는, 운전자(50)의 얼굴이나 시선 방향이 좌측 방향인 경우의 화상 표시예이다. 운전자(50)가 좌측 방향을 보고 있는 경우, 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32)의 촬영 화상이, 표시부의 좌단에 표시된다.
또한, 도 10에 도시한 (C) 리어 C 카메라 촬영 화상 표시예는, 운전자(50)의 얼굴이나 시선 방향이 거의 정면 방향인 경우의 화상 표시예이다. 운전자(50)가 정면 방향을 보고 있는 경우, 자동차(10)의 후부 중앙에 설치된 리어 C(중앙) 카메라(31)의 촬영 화상이, 표시부의 중앙부에 표시된다.
또한, 도 10에 도시한 (R) 리어 R 카메라 촬영 화상 표시예는, 운전자(50)의 얼굴이나 시선 방향이 우측 방향인 경우의 화상 표시예이다. 운전자(50)가 우측 방향을 보고 있는 경우, 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33)의 촬영 화상이, 표시부의 우단에 표시된다.
이 도 10에 도시한 예는, 리어 카메라 화상 전환 표시 영역(41)의 위치를, 운전자(50)의 얼굴이나 시선 방향에 일치하는 위치로 변경하여 표시한 예이다. 이와 같은 표시 위치 제어를 행함으로써, 운전자(50)는, 자신의 시선 방향으로 보고 싶은 화상이 표시된다. 따라서, 운전자(50)는, 주의를 기울인 방향의 화상을 그 시선 방향인 채로 확실하게 확인하는 것이 가능해진다.
또한, 이 화상 표시 위치의 제어도, 자동차(10)에 설치된 운전자(50)의 거동을 검출하는 운전자 정보 검출부의 검출 정보에 기초하여 실행된다.
또한, 운전자(50)의 얼굴이나 시선 방향과는 별도로, 예를 들어 운전자(50)의 머리부의 움직임 시퀀스나 손이나 손가락에 의한 지시를 실행하여, 이 지시에 따라서 표시 화상을 변경하는 구성으로 해도 된다.
도 11을 참조하여, 운전자(50)의 손이나 손가락에 의한 지시에 따라서 표시 화상을 변경하는 구성으로서도 예에 대하여 설명한다.
도 11에 도시한 (L) 리어 L 카메라 촬영 화상 표시예는, 운전자(50)의 손가락에 의한 지시가 좌측 방향인 경우의 화상 표시예이다. 운전자(50)의 손가락이 좌측 방향을 가리키고 있는 경우, 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32)의 촬영 화상이, 표시부(20)에 표시된다.
또한, 도 11에 도시한 (C) 리어 C 카메라 촬영 화상 표시예는, 운전자의 손가락에 의한 지시가 거의 정면 방향인 경우의 화상 표시예이다. 운전자(50)의 손가락이 정면 방향을 가리키고 있는 경우, 자동차(10)의 후부 중앙에 설치된 리어 C(중앙) 카메라(31)의 촬영 화상이, 표시부(20)에 표시된다.
또한, 도 11에 도시한 (R) 리어 R 카메라 촬영 화상 표시예는, 운전자(50)의 손가락에 의한 지시가 우측 방향인 경우의 화상 표시예이다. 운전자(50)의 손가락이 우측 방향을 가리키고 있는 경우, 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33)의 촬영 화상이, 표시부(20)에 표시된다.
이 도 11에 도시한 예는, 리어 카메라 화상 전환 표시 영역(41)에 표시되는 화상을, 운전자(50)의 손이나 손가락에 의한 지시(제스처)에 따라서 변경하는 예이다. 또한, 머리부의 동작 시퀀스를 제스처로서 검출해도 된다. 이와 같은 제어를 행함으로써, 운전자(50)는, 시선 방향을 크게 변경하지 않고, 화상을 전환하는 것이 가능해진다.
도 12는, 이동 장치인 자동차(10)에 마련된 화상 전환 표시 제어를 위한 구성예를 나타내는 도면이다. 도 12에 도시한 바와 같이, 자동차(10)에는, 운전자(50)의 얼굴이나 시선 방향, 혹은 손이나 손가락에 의한 지시(제스처)를 검출하는 운전자 정보 검출부(52)가 마련되어 있다. 운전자 정보 검출부(52)는 구체적으로는 카메라, 혹은 움직임 센서 등으로 구성된다. 이 운전자 정보 검출부(52)의 검출 정보가 데이터 처리부(60)에 입력된다.
데이터 처리부(60)는, 운전자 정보 검출부(52)의 검출 정보에 기초하여 표시부(20)에 표시되는 화상의 전환 처리나 표시 위치의 변경을 행한다.
또한, 표시부(20)에 표시되는 화상의 전환은, 유저(운전자(50))에 의한 조작에 의해 행하는 구성으로 해도 된다. 예를 들어 도 13에 도시한 바와 같이, 예를 들어 표시부(20)의 근방에 설정된 조작부, 혹은 터치 패널 형식의 표시부에 유저 조작부를 표시하고, 유저가 이 조작부를 조작하여 표시 화상을 전환하는 구성으로 해도 된다.
도 13에 도시한 (L) 리어 L 카메라 촬영 화상 표시예는, 유저가 조작부를 좌측으로 이동시킨 경우의 표시부(20)의 표시 화상의 예이다. 이 경우, 자동차(10)의 후부 좌측에 설치된 리어 L(좌측) 카메라(32)의 촬영 화상이 표시부(20)에 표시된다.
(C) 리어 C 카메라 촬영 화상 표시예는, 유저가 조작부를 중앙으로 이동시킨 경우의 표시부(20)의 표시 화상의 예이다. 이 경우, 자동차(10)의 후부 중앙에 설치된 리어 C(중앙) 카메라(31)의 촬영 화상이 표시부(20)에 표시된다.
(R) 리어 R 카메라 촬영 화상 표시예는, 유저가 조작부를 우측으로 이동시킨 경우의 표시부(20)의 표시 화상의 예이다. 이 경우, 자동차(10)의 후부 우측에 설치된 리어 R(우측) 카메라(33)의 촬영 화상이 표시부(20)에 표시된다.
또한, 앞에서 도 9를 참조하여 설명한 것과 마찬가지로, 도 9 내지 도 13에 도시한 각 화상은, 앞에서 도 8을 참조하여 설명한 표시부(20)의 표시예와 같이, 좌측 사이드 카메라 화상(22), 우측 사이드 카메라 화상(23)과 함께 표시하는 설정이 가능하다. 또한, 좌측 사이드 카메라 화상(22)과, 우측 사이드 카메라 화상(23)을 비표시로 하여, 운전자(50)의 얼굴이나 시선 방향, 지시에 따라서 도 9 내지 도 13에 도시한 화상만을 단독으로 표시부(20)에 표시하는 구성으로 해도 된다.
도 9 내지 도 13을 참조하여 설명한 화상 전환 표시예는, 자동차(10)의 후부에 설치된 3개의 카메라, 즉, 리어 L(좌측) 카메라(32), 리어 C(중앙) 카메라(31), 리어 R(우측) 카메라(33), 이들 3개의 카메라의 촬영 화상을 운전자의 머리부·얼굴의 위치나 시선 방향, 혹은 지시에 기초하여 전환 표시하는 구성예이다.
전환 화상의 대상으로서, 이들 3개의 카메라의 촬영 화상에 좌측 사이드 카메라(12)의 촬영 화상과, 우측 사이드 카메라(13)의 촬영 화상을 더 추가하는 구성으로 해도 된다.
이 구체예에 대하여 도 14를 참조하여 설명한다.
도 14에 도시한 예는, 운전자(50)의 얼굴이나 시선 방향, 혹은 지시, 혹은 조작부에 대한 입력 등에 기초하는 표시부(20)의 표시 화상 전환 시퀀스를 나타내는 도면이다.
예를 들어, 운전자(50)의 얼굴이나 시선 방향이 우측으로부터 좌측으로 변경됨에 따라서, 표시부(20)의 표시 화상은, 이하의 순서로 순차 전환된다.
(1) 우측 사이드 카메라(13)가 촬영한 우측 사이드 카메라 화상
(2) 리어 R 카메라(33)가 촬영한 리어 R 카메라 촬영 화상
(3) 리어 C 카메라(31)가 촬영한 리어 C 카메라 촬영 화상
(4) 리어 L 카메라(32)가 촬영한 리어 L 카메라 촬영 화상
(5) 좌측 사이드 카메라(12)가 촬영한 좌측 사이드 카메라 촬영 화상
또한, 운전자(50)의 얼굴이나 시선 방향이 좌측으로부터 우측으로 변경됨에 따라서, 표시부(20)의 표시 화상은, 상기 (5) 내지 (1)의 순서로 순차 전환된다.
[3. 기타 실시예에 대하여]
도 5 내지 도 14를 참조하여 설명한 실시예는, 자동차(10)의 후부의 3개의 카메라, 즉, 리어 L(좌측) 카메라(32), 리어 C(중앙) 카메라(31), 리어 R(우측) 카메라(33)를 설치하고, 이들 3개의 카메라의 촬영 화상을 운전자의 얼굴이나 시선 방향, 혹은 머리부 등에 의한 제스처 지시, 혹은 조작부에 대한 입력에 기초하여 전환 표시하는 구성예였다.
자동차(10)의 후부에 설치하는 카메라의 수는 3 이외의 임의의 복수로 할 수 있다.
도 15에, 자동차(10)의 후부의 5개의 카메라를 설치한 예를 나타낸다. 도 15에 도시한 예는, 도 5 내지 도 14를 참조하여 설명한 실시예와 마찬가지의, 리어 L(좌측) 카메라(32), 리어 C(중앙) 카메라(31), 리어 R(우측) 카메라(33)를 설치하고, 추가로 리어 L(좌측) 카메라(32)와, 리어 C(중앙) 카메라(31)의 중간 시점으로부터의 화상을 촬영하는 리어 CL(중앙 좌측) 카메라(34)와, 리어 C(중앙) 카메라(31)와, 리어 R(우측) 카메라(33)의 중간 시점으로부터의 화상을 촬영하는 리어 CR(중앙 우측) 카메라(35)를 마련한 예이다.
도 16은, 이들 5개의 카메라의 촬영 영역의 예를 나타내는 도면이다. 도 16에는, 자동차(10) 후부의 좌측으로부터 우측에 설치된, 리어 L(좌측) 카메라(32), 리어 CL(중앙 좌측) 카메라(34), 리어 C(중앙) 카메라(31), 리어 CR(중앙 우측) 카메라(35), 리어 R(우측) 카메라(33), 이들 5대의 카메라의 촬영 영역을 나타내고 있다.
도 16에 도시한 바와 같이, 5대의 카메라는, 각각 서로 다른 시점에서 자동차 후방을 촬영하고, 그 촬영 영역의 일부는 중복되는 영역으로 되어 있다. 이들 서로 다른 촬영 시점을 갖는 5대의 카메라에 의한 촬영 화상을, 운전자의 거동, 예를 들어 머리의 움직임에 따라서 순차 전환하여 표시함으로써, 더욱 원활한 화상 전환 표시가 가능하게 된다.
도 17은, 자동차(10)의 후부에 더욱 많은 카메라(c1 내지 cn=15대)를 배치하여 화상 전환을 행한 경우의 전환 화상의 예를 나타내는 도면이다.
이와 같이 다수의 카메라의 촬영 화상을 순차 전환함으로써, 운전자는, 동화상과 같이 원활하게 변화하는 화상을 관찰하는 것이 가능해진다.
도 18에 도시한 예는, 자동차(10)의 후부에 설치하는 카메라 수를 도 17에 도시한 예보다 적은 설정으로 한 예이다. 이와 같이, 적은 카메라로 화상 전환을 행해도 되지만, 카메라 간의 시차의 차이로부터 화상이 띄엄띄엄하여 이어지지 않는다. 이와 같은 경우, 각 화상의 무한원점(101)을, 화상의 일정 위치에 설정되도록, 각 카메라 촬영 화상의 교정 처리를 실시하여 표시한다. 이 처리를 행함으로써, 각 화상의 전환 시에 발생하는 피사체의 흔들림을 억제하는 것이 가능하게 되어, 화상 시청자(운전자)는, 부자연스러운 변화가 없는 원활하게 변화하는 화상을 관찰하는 것이 가능해진다.
또한, 화상 내의 근방점의 가로 방향의 상(像)을 운전자의 머리부 이동에 맞춰 스위프 시프트하는 화상 보정을 행해도 된다. 이 처리를 행함으로써, 운전자는, 각 카메라 화상 간의 전환을 시각적으로 직감하여 인식할 수 있다.
또한, 자동차(10)의 후부에 설치하는 카메라 수가 적고, 카메라 간의 시차의 차이로 화상이 띄엄띄엄하여 이어지지 않는 경우에는, 2개의 인접 카메라의 촬영 화상에 기초하여, 그 중간 시점의 가상 시점 화상을 합성하여 표시하는 구성으로 해도 된다.
즉, 표시부로의 출력 화상을 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 구성으로 한다.
도 19에 가상 시점 화상의 생성예를 나타낸다. 도 19에 도시한 (1) 카메라 C3 촬영 화상과, (4) 카메라 C4 촬영 화상은 인접하는 카메라 C3, C4의 실제의 촬영 화상이다.
이들 2개의 실제 촬영 화상에 기초하여, (2) (3)의 가상 시점 합성 화상을 생성한다.
(2) 가상 시점 합성 화상은, (1) 카메라 C3 촬영 화상을 65％, (4) 카메라 C4 촬영 화상을 35％의 비율로 합성하여 생성한 합성 화상이다.
(3) 가상 시점 합성 화상은, (1) 카메라 C3 촬영 화상을 35％, (4) 카메라 C4 촬영 화상을 65％의 비율로 합성하여 생성한 합성 화상이다.
도 19에 도시한 4장의 화상 (1) 내지 (4)를, 순차 전환하여 표시함으로써, 원활하게 변화하는 화상을 운전자에게 제시하는 것이 가능해진다.
단, 한편에서 운전자에게 있어서 중요한 것은, 카메라 간의 도중 시점의 화상의 상세를 시인하는 것이 아니라, 후방의 상황을 판단하는 것이다. 차량의 후방 중심에 있는 리어 C 카메라(31)로 촬영한 리어 C 카메라 위치의 취득 화상과, 측면에 배치한 카메라로부터 도입된 화상을 일순 눈으로 본 것만으로는 운전자는 전환된 상황의 판단을 할 수 없는 경우가 있다. 도중의 화상을 복수, 전환하면서 운전자에게 제시함으로써, 운전자는 감각적으로 화상의 전환을 자연스럽게 인지할 수 있어, 순시의 상황 판단이 필요할 때의 사고의 혼란을 피할 수 있다.
화상 전환은, 얼굴의 방향이나 시선의 방향 등에 기초하는 전환, 손이나 목의 거동 등의 소위 제스처에 의한 전환 등이 추가로 이용 가능하다. 제스처에 의한 전환을 가능하게 함으로써 무리한 자세의 유지를 요하지 않는 장점이 있다. 단, 얼굴의 방향이나 시선의 방향에 의존하지 않는 화상 전환을 행하는 경우, 운전자의 관찰 자세는 동일해지기 때문에, 화상의 전환이나 추이를 나타내는 정보, 예를 들어 전환 마크 등의 보조적 정보를 표시하는 것이 바람직하다.
본 개시의 처리에서는, 차량 후방의 복수의 서로 다른 시점에서 얻은 카메라 화상을 제공함으로써, 오클루전 없이 후방을 적절하게 확인할 수 있는 수단을 제공하고, 또한 그 서로 다른 시점의 카메라 화상에 연속성을 갖게 하여, 사람의 시각 특성을 이용하여 전환 도중의 화상을 의사적으로 생성하여 모니터에 제시함으로써 운전자는 시점의 이동을 감각적으로 화상으로부터 파악하여 상황의 파악 저하나 상실을 억제한 정보 제공이 가능하게 된다. 즉, 인간 공학적으로 볼 때, 변해가는 서로 다른 시점 카메라 간을 워프하는 화상을 운전자가 봄으로써, 양호한 시점 파악이 가능하게 된다.
도 20은, 표시부(20)에 표시하는 화상에 카메라 촬영 시점을 나타내는 카메라 위치 아이콘(102)을 중첩해서 표시한 예이다. 이와 같이, 화상에 함께, 그 화상을 촬영한 카메라의 위치를 나타내는 카메라 위치 아이콘(102)을 표시함으로써, 운전자는 화상의 촬영 위치를 바로 확인하는 것이 가능하게 되어, 화상에 있는 피사체의 위치를 보다 빠르게 인식할 수 있다.
도 21은, 표시부(20)에, 자동차(10)의 후부의 좌단에 설치한 리어 좌단 카메라에 의한 촬영 화상인 리어 좌단 카메라 화상과, 좌측 사이드 카메라(12)에 의한 촬영 화상인 좌측 사이드 카메라 화상을 배열하여 표시한 예이다. 이와 같은 표시를 행함으로써, 자동차(10)의 좌측의 상황을 보다 확실하게 파악하는 것이 가능해진다.
또한, 마찬가지로, 자동차(10)의 후부의 우단에 설치한 리어 우단 카메라에 의한 촬영 화상과, 우측 사이드 카메라(13)에 의한 촬영 화상을 배열하여 표시함으로써, 자동차(10)의 우측의 상황을 보다 확실하게 파악하는 것이 가능해진다.
도 21에 도시한 예에서는, 카메라를 차량 범퍼 근방에 카메라를 모방한 픽토그램 표시로서 나타낸 예이지만, 단순한 색의 마커나 화면 전체나 좌우의 프레임을, 굵게 표시하거나, 점멸하거나, 줄무늬 표시 주의 간이 표시를 하거나 해도 되며, 운전자가 화면을 보고 직감적으로 카메라 배치를 이해할 수 있는 표시라면 다른 주의 환기 표시여도 된다. 또한 복수의 표시의 조합이어도 된다. 또한 운전자의 기호에 따라 직감적 이해를 손상시키지 않는 표시 방법으로 전환 가능한 구성으로 해도 된다.
또한, 자동차(10)의 후부에 배치하는 복수의 카메라의 설치 양태로서는, 예를 들어 도 22에 도시한 바와 같이, 주로 이하의 2개의 설치 양태가 있다.
(a) 방사형 배치
(b) 직선형 배치
(a) 방사형 배치는, 소정의 곡률을 갖는 곡선상에 카메라를 배치한 예이며, 보다 넓은 범위의 화상을 촬영할 수 있다고 하는 특징이 있다. 한편, (b) 직선형 배치는, 촬영 범위는 좁아지지만, 각 화상에 포함되는 오브젝트의 변형량이 적어, 표시 화상의 보정 처리량이 적어진다고 하는 장점이 있다. 또한, 수렴형 배치는 (a)의 방사형과는 반대로 후방의 근방점에 수렴한 방각에 배치도 가능하지만, 그 설치 양태에 관해서는 좌측 사이드 카메라(12)나 우측 사이드 카메라(13)에 대한 방각의 연속성은 얻어지지 않는 단점이 있다. 실제 설치하는 카메라의 화상은 중심 사영 상의 투영 상으로서 각 방각에 광축을 배치할 필요는 없으며, 어안 투영 상으로부터 화상을 변환하여, 가상적 중심 사영 상의 광축이 각각의 설치 양태에 맞춘 광축이 되도록 화상 변환을 이용해도 된다.
[4. 화상 처리 장치, 및 이동 장치가 실행하는 처리의 시퀀스에 대하여]
다음으로, 본 개시의 화상 처리 장치, 및 이동 장치가 실행하는 처리의 시퀀스에 대하여, 도 23에 도시한 흐름도를 참조하여 설명한다.
도 23 이하에 나타낸 플로우의 처리는, 이동 장치 또는 이동 장치 내에 장착된 화상 처리 장치에 있어서 실행된다. 예를 들어 장치 내의 기억부에 저장된 프로그램에 따라서 프로그램 실행 기능을 갖는 CPU 등의 프로세서를 갖는 데이터 처리부의 제어하에서 실행된다.
이하, 도 23에 도시한 플로우의 각 스텝의 처리에 대하여 설명한다.
(스텝 S101)
우선, 스텝 S101에 있어서, 데이터 처리부는, 운전자의 얼굴, 시선 방향, 제스처, 또는 운전자의 조작 정보를 검출한다.
이것은, 예를 들어 도 12에 도시한 데이터 처리부(60)가, 운전자 정보 검출부(52)로부터의 검출 정보나, 조작부에 대한 운전자의 조작 정보를 입력하는 처리이다.
(스텝 S102)
다음으로, 데이터 처리부는 스텝 S102에 있어서, 운전자의 얼굴, 시선 방향의 변화나, 제스처, 또는 운전자의 조작 정보의 입력이 검출되었는지 여부를 판정한다.
검출된 경우에는, 스텝 S103으로 진행된다. 검출되지 않은 경우에는, 스텝 S101의 검출 처리를 계속한다.
(스텝 S103)
다음으로, 데이터 처리부는 스텝 S103에 있어서, 스텝 S102에서 입력한 운전자의 얼굴, 시선 방향, 또는 제스처 또는 조작 정보에 따른 방향의 카메라 촬영 화상을 선택한다.
또한, 예를 들어 운전자 시선 방향과 완전히 일치하는 화상이 없는 경우에는, 가장 가까운 방향의 화상을 선택한다.
예를 들어 운전자의 얼굴, 또는 시선, 제스처, 혹은 조작부에 대한 입력이 좌측 방향인 경우에는, 자동차(10)의 후부의 좌측 카메라(리어 L 카메라)에 의해 촬영된 화상을 선택한다.
또한, 예를 들어 운전자의 얼굴, 또는 시선, 제스처, 혹은 조작부에 대한 입력이 중앙 방향인 경우에는, 자동차(10)의 후부의 중앙의 카메라(리어 C 카메라)에 의해 촬영된 화상을 선택한다. 또는, 예를 들어 운전자의 얼굴, 또는 시선, 제스처, 혹은 조작부에 대한 입력이 우측 방향인 경우에는, 자동차(10)의 후부의 우측의 카메라(리어 R 카메라)에 의해 촬영된 화상을 선택한다.
(스텝 S104)
다음으로, 데이터 처리부는 스텝 S104에 있어서, 스텝 S103에서 선택한 화상을 표시부에 표시한다.
또한, 표시부에 대한 표시 화상은, 선택된 리어 카메라 촬영 화상만을 표시하는 설정과, 좌우의 사이드 카메라에 의한 2장의 사이드 카메라 화상을 함께 표시하는 설정 등, 다양하게 설정이 가능하다.
이 도 23에 도시한 플로우는, 스텝 S102에서 입력한 운전자의 얼굴, 시선 방향, 또는 제스처 또는 조작 정보에 따른 방향의 카메라 촬영 화상을 선택할 때, 예를 들어 운전자 시선 방향과 완전 일치하는 화상이 없는 경우에는, 가장 가까운 방향의 화상을 선택하는 처리를 행한다.
다음으로, 이와 같은 경우, 즉 운전자 시선 방향과 완전히 일치하는 화상이 없을 경우에, 그 방향의 화상을 합성하는 처리를 행하는 시퀀스에 대하여 도 24에 도시한 흐름도를 참조하여 설명한다.
이하, 도 24에 도시한 플로우의 각 스텝의 처리에 대하여 설명한다.
(스텝 S201)
우선, 스텝 S201에 있어서, 데이터 처리부는, 운전자의 얼굴, 시선 방향, 제스처, 또는 운전자의 조작 정보를 검출한다.
이것은, 예를 들어 도 12에 도시한 데이터 처리부(60)가, 운전자 정보 검출부(52)로부터의 검출 정보나, 조작부에 대한 운전자의 조작 정보를 입력하는 처리이다.
(스텝 S202)
다음으로, 데이터 처리부는 스텝 S202에 있어서, 운전자의 얼굴, 시선 방향의 변화나, 제스처, 또는 운전자의 조작 정보의 입력이 검출되었는지 여부를 판정한다.
검출된 경우에는, 스텝 S203으로 진행된다. 검출되지 않은 경우에는, 스텝 S201의 검출 처리를 계속한다.
(스텝 S203)
다음으로, 데이터 처리부는 스텝 S203에 있어서, 스텝 S202에서 입력한 운전자의 얼굴, 시선 방향의 변화나, 제스처, 또는 운전자의 조작 정보에 따른 방향의 카메라 촬영 화상의 유무를 판정한다.
일치하는 방향의 촬영 화상이 있는 경우에는, 스텝 S204로 진행된다.
한편, 일치하는 방향의 촬영 화상이 없는 경우에는, 스텝 S206으로 진행된다.
(스텝 S204)
스텝 S203에 있어서, 스텝 S202에서 입력한 운전자의 얼굴, 시선 방향의 변화나, 제스처, 또는 운전자의 조작 정보에 따른 방향의 카메라 촬영 화상이 있다고 판정된 경우에는, 스텝 S204 내지 S205의 처리를 실행한다. 이것은, 주로 전환 시의 카메라 배치가 인접하고 있는 경우에서 화상의 묘사 화상이 비약되지 않은 케이스에 적합한 표시이다. 전환 화상의 촬영 방향이 떨어져 있는 경우에는, 후술하는 스텝 S206을 따른 전환을 행한다.
스텝 S204에서는, 스텝 S202에서 입력한 운전자의 얼굴, 시선 방향 또는 제스처, 또는 조작 정보에 따른 방향의 카메라 촬영 화상을 선택한다.
예를 들어, 운전자의 얼굴 또는 시선, 제스처, 혹은 조작부에 대한 입력이 좌측 방향인 경우에는, 자동차(10)의 후부의 좌측의 카메라(리어 L 카메라)에 의해 촬영된 화상을 선택한다.
또한, 예를 들어 운전자의 얼굴, 또는 시선, 제스처, 혹은 조작부에 대한 입력이 중앙 방향인 경우에는, 자동차(10)의 후부의 중앙의 카메라(리어 C 카메라)에 의해 촬영된 화상을 선택한다. 또는, 예를 들어 운전자의 얼굴, 또는 시선, 제스처, 혹은 조작부에 대한 입력이 우측 방향인 경우에는, 자동차(10)의 후부의 우측의 카메라(리어 R 카메라)에 의해 촬영된 화상을 선택한다.
(스텝 S205)
다음으로, 데이터 처리부는 스텝 S205에 있어서, 스텝 S204에서 선택한 화상을 표시부에 표시한다.
또한, 표시부에 대한 표시 화상은, 선택된 리어 카메라 촬영 화상만을 표시하는 설정과, 좌우의 사이드 카메라에 의한 2장의 사이드 카메라 화상을 함께 표시하는 설정 등, 다양한 설정이 가능하다.
(스텝 S206)
한편, 스텝 S203에 있어서, 스텝 S202에서 입력한 운전자의 얼굴, 시선 방향의 변화나, 제스처, 또는 운전자의 조작 정보에 따른 방향의 카메라 촬영 화상이 없다고 판정된 경우에는, 스텝 S206 내지 S207의 처리를 실행한다.
우선, 스텝 S206에 있어서, 스텝 S202에서 입력한 운전자의 얼굴, 시선 방향의 변화나, 제스처, 또는 운전자의 조작 정보에 따른 방향의 카메라 촬영 화상을 합성 화상으로서 생성하는 처리를 실행한다.
이 합성 화상 생성 처리는, 예를 들어 앞에서, 도 19를 참조하여 설명한 화상 합성 처리이다.
화상 합성 처리는, 예를 들어 인접하는 카메라에 의한 실제 촬영 화상의 단순한 가중치 부여 가산에 의해 행하는 것이 가능하다. 또한, 영역별 동체 검출을 행하여 검출 정보에 기초하는 보정을 해서 중간 가상 화상을 생성해도 된다. 또한, 실제 촬영 화상 간의 중간 시점의 합성 화상을 운전자에게 제시함으로써, 운전자의 정보 상실이 방지된다. 구체적으로는, 예를 들어 리어 C(중앙) 카메라(31)로부터 사이드 카메라로 촬영 화상을 전환하면, 한순간에 화상이 크게 변화한다. 이와 같은 경우에 일어날 수 있는 운전자의 정보 상실을 방지하기 위해 유효해진다.
또한, 스텝 S206에 나타낸 운전자의 얼굴, 시선 방향 또는 제스처, 또는 화상 선택 지시 입력 등은, 완만한 움직임인 경우, 급준한 움직임인 경우 등, 다양하며, 스텝 S206부터 스텝 S207에서는, 검출된 움직임에 따라서, 1개 또는 2개 이상의 복수의 중간 화상, 즉 합성 화상의 생성 스텝으로서 실행된다.
(스텝 S207)
다음으로, 데이터 처리부는 스텝 S207에 있어서, 스텝 S206에서 생성한 합성 화상을 표시부에 표시한다. 그 밖에, 스텝 S207의 합성 화상을 표시부에 출력할 때, 도 21의 표시부(20)에, 묘사 카메라 위치를 화면에 중첩 표시함으로써, 운전자는 표시 화상의 카메라 위치를 파악하는 것이 가능해진다. 또한, 표시부에 대한 표시 화상은, 선택된 리어 카메라 촬영 화상만을 표시하는 설정과, 좌우의 사이드 카메라에 의한 2장의 사이드 카메라 화상을 함께 표시하는 설정 등, 다양한 설정이 가능하다.
또한, 본 시퀀스의 설명에서는, 운전자의 의지에 기초하는 얼굴이나 시선, 머리부 이동, 혹은 제스처, 조작 등을 행하여 화상을 전환하는 것으로서 설명하였지만, 예를 들어 운전자가 사이드 카메라 화상의 확인을 행하는 트리거로서, 리어 C(중앙) 카메라(31)를 볼 때, 전술한 도 7, 도 8, 도 9를 참조하여 설명한 바와 같이, 후방 차량 뒤에 가려진 물체, 즉 오클루전 영역의 물체 검출을 행하고, 오클루전 발생시키고 있는 후방의 오브젝트 경계에 줄무늬 패턴이나 점멸 중첩 경고 표시 등, 운전자의 시각적 상세 확인을 촉구하는 경고 표시를 행하는 구성으로 해도 된다.
즉, 후방에 대형 차량 등이 접근하면, 중앙 카메라의 촬영 화상만으로는 오클루전에 의해 대형 차량에 가려진 접근 차량 등을 못보고 놓치는 경향이 있게 된다. 이와 같은 경우에 오클루전 영역에 오브젝트가 있음을 나타내는 경고 표시를 행한다. 이 경고에 의해, 운전자에게 시점이 다른 카메라의 촬영 화상에 의한 확인을 재촉한다. 이 처리에 의해, 오클루전이 있는 경우라도 운전자는 카메라 시점을 바꾸고, 확실하게 후방의 상황을 확인하는 것이 가능하게 되어, 안전성의 향상이 실현된다.
또한, 화상 전환은 단숨에 건너 뛰어 서로 다른 카메라 촬영 화상을 제공하는 구성으로 해도 되지만, 서로 다른 카메라 촬영 화상의 사이에, 카메라 간의 가상 시점의 화상을 출력하고, 화상 추이나 연속성을 갖게 한 표시를 행하는 것이 바람직하다. 이 처리에 의해, 운전자의 상황 파악의 상실을 방지하여, 안전한 후방 확인이 실현된다.
[5. 화상 처리 장치의 구성예에 대하여]
다음으로, 상술한 처리를 실행하는 화상 처리 장치의 하드웨어 구성예에 대하여 설명한다.
도 25는, 화상 처리 장치의 하드웨어 구성예를 나타내는 도면이다.
CPU(Central Processing Unit)(501)는, ROM(Read Only Memory)(502) 또는 기억부(508)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 데이터 처리부로서 기능한다. 예를 들어, 상술한 실시예에 있어서 설명한 시퀀스를 따른 처리를 실행한다.
RAM(Random Access Memory)(503)에는, CPU(501)가 실행하는 프로그램이나 데이터 등이 기억된다. 이들 CPU(501), ROM(502), 및 RAM(503)은, 버스(504)에 의해 서로 접속되어 있다.
CPU(501)는 버스(504)를 통해 입출력 인터페이스(505)에 접속되고, 입출력 인터페이스(505)에는, 각종 스위치, 키보드, 터치 패널, 마우스, 마이크로폰, 또한, 센서, 카메라, GPS 등의 상황 데이터 취득부 등을 포함하는 입력부(506), 디스플레이, 스피커 등을 포함하는 출력부(507)가 접속되어 있다.
CPU(501)는, 입력부(506)로부터 입력되는 명령이나 상황 데이터 등을 입력하고, 각종 처리를 실행하여, 처리 결과를 예를 들어 출력부(507)에 출력한다.
입출력 인터페이스(505)에 접속되어 있는 기억부(508)는, 예를 들어 하드디스크 등을 포함하고, CPU(501)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(509)는, 인터넷이나 로컬 에어리어 네트워크 등의 네트워크를 통한 데이터 통신의 송수신부로서 기능하고, 외부의 장치와 통신한다.
입출력 인터페이스(505)에 접속되어 있는 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 메모리 카드 등의 반도체 메모리 등의 리무버블 미디어(511)를 구동하고, 데이터의 기록 혹은 판독을 실행한다.
[6. 본 개시의 구성의 결론]
이상, 특정한 실시예를 참조하면서, 본 개시의 실시예에 대하여 상세히 설명해 왔다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것이고, 한정적으로 해석되어서는 안 된다. 본 개시의 요지를 판단하기 위해서는, 청구범위란을 참작해야만 한다.
또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.
(1) 이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고,
상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 데이터 처리부를 갖는 화상 처리 장치.
(2) 상기 복수 카메라는, 상기 이동 장치의 후부에 설치된 복수의 리어 카메라이며,
상기 데이터 처리부는,
상기 운전자 정보에 따라서, 상기 복수의 리어 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상을 전환하여 표시하는, 상기 (1)에 기재된 화상 처리 장치.
(3) 상기 복수 카메라는, 상기 이동 장치의 후부에 설치된 복수의 리어 카메라와, 상기 이동 장치의 측면에 설치된 사이드 카메라이며,
상기 데이터 처리부는,
상기 운전자 정보에 따라서, 상기 복수의 리어 카메라, 및 사이드 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상을 전환하여 표시하는, 상기 (1)에 기재된 화상 처리 장치.
(4) 상기 데이터 처리부는,
상기 이동 장치의 후부에 설치된 복수의 리어 카메라의 촬영 화상으로부터, 상기 운전자 정보에 따라서 선택한 한 장의 리어 카메라 촬영 화상과,
상기 이동 장치의 측면에 설치된 사이드 카메라의 촬영 화상을 배열하여 상기 표시부에 표시하는, 상기 (1) 내지 (3) 중 어느 것에 기재된 화상 처리 장치.
(5) 상기 운전자 정보는, 상기 운전자의 얼굴 또는 시선 방향의 검출 정보이며,
상기 데이터 처리부는,
상기 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을 상기 표시부에 표시하는, 상기 (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.
(6) 상기 운전자 정보는, 상기 운전자의 제스처 검출 정보이며,
상기 데이터 처리부는,
상기 운전자의 제스처에 대응하는 방향의 화상을 상기 표시부에 표시하는, 상기 (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.
(7) 상기 데이터 처리부는,
상기 운전자의 조작부에 대한 입력에 따른 방향의 화상을 상기 표시부에 표시하는, 상기 (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.
(8) 상기 가상 시점 합성 화상은,
상기 복수 카메라의 촬영 화상에 기초하는 합성 화상이며, 상기 복수 카메라의 촬영 시점 사이의 가상 시점으로부터의 촬영 화상에 상당하는 합성 화상인, 상기 (1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.
(9) 상기 운전자 정보는, 상기 운전자의 얼굴 또는 시선 방향의 검출 정보이며,
상기 데이터 처리부는,
상기 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을, 복수의 카메라의 촬영 화상을 합성하여 생성하고, 상기 표시부에 표시하는, 상기 (1) 내지 (8) 중 어느 것에 기재된 화상 처리 장치.
(10) 상기 데이터 처리부는,
상기 표시부에 대한 화상의 전환 표시 시에, 각 화상의 무한원점의 위치를 일치시키는 화상 교정 처리를 실행하는, 상기 (1) 내지 (9) 중 어느 것에 기재된 화상 처리 장치.
(11) 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수의 카메라와,
상기 이동 장치의 운전자의 거동을 나타내는 운전자 정보를 검출하는 운전자 정보 검출부와,
상기 운전자 정보와, 상기 복수의 카메라의 촬영 화상을 입력하고, 상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수의 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 데이터 처리부를 갖는 이동 장치.
(12) 상기 복수의 카메라는, 상기 이동 장치의 후부에 설치된 복수의 리어 카메라이며,
상기 데이터 처리부는,
상기 운전자 정보에 따라서, 상기 복수의 리어 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상을 전환하여 표시하는, 상기 (11)에 기재된 이동 장치.
(13) 상기 운전자 정보 검출부는,
상기 운전자의 얼굴 또는 시선 방향을 검출하고,
상기 데이터 처리부는,
상기 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을 상기 표시부에 표시하는, 상기 (11) 또는 (12)에 기재된 이동 장치.
(14) 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
데이터 처리부가,
이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고,
상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 화상 처리 방법.
(15) 이동 장치에 있어서 실행하는 표시 화상 제어 방법이며,
복수의 카메라가, 상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 화상 촬영 스텝과,
운전자 정보 검출부가, 상기 이동 장치의 운전자의 거동을 나타내는 운전자 정보를 검출하는 운전자 정보 검출 스텝과,
데이터 처리부가,
상기 운전자 정보와, 상기 복수의 카메라의 촬영 화상을 입력하고, 상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수의 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어 스텝을 실행하는 표시 화상 제어 방법.
(16) 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
데이터 처리부에,
이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력시키고,
상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행시키는 프로그램.
또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해 프로그램을 수신하여, 내장된 하드디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템은, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한정되지는 않는다.
이상, 설명한 바와 같이, 본 개시의 일 실시예의 구성에 의하면, 운전자의 머리의 움직임 등의 운전자 거동에 따라서 표시부로의 출력 화상을 전환하여 표시하는 구성이 실현된다.
구체적으로는, 예를 들어 이동 장치의 운전자의 거동을 나타내는 운전자 정보와, 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고, 운전자 정보에 따라서, 표시부로의 출력 화상을 전환한다. 복수 카메라는, 예를 들어 이동 장치 후부에 설치된 복수의 리어 카메라이며, 예를 들어 운전자의 얼굴 또는 시선 방향을 검출하여, 검출된 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을 출력 화상으로서 선택하여 표시부에 표시, 혹은 운전자의 제스처에 의해 지시되는 방향의 화상을 선택하여 표시부에 표시한다. 또한, 다른 카메라 촬영 화상의 전환 시에, 적절히 중간 시점의 합성 화상을 생성하여 표시하여, 운전자에 의한 상황 파악의 상실을 방지한다.
본 구성에 의해, 운전자의 머리의 움직임 등의 운전자 거동에 따라서 표시부로의 출력 화상을 전환하여 표시하는 구성이 실현된다.
10: 자동차
11: 리어 카메라
12: 좌측 사이드 카메라
13: 우측 사이드 카메라
20: 표시부
21: 리어 카메라 화상
22: 좌측 사이드 카메라 화상
23: 우측 사이드 카메라 화상
25: 합성 화상
31: 리어 C(중앙) 카메라
32: 리어 L(좌측) 카메라
33: 리어 R(우측) 카메라
34: 리어 CL(중앙 좌측) 카메라
35: 리어 CR(중앙 우측) 카메라
41: 리어 카메라 화상 전환 표시 영역
50: 운전자
52: 운전자 정보 검출부
60: 데이터 처리부
101: 무한원점
102: 카메라 위치 아이콘
501: CPU
502: ROM
503: RAM
504: 버스
505: 입출력 인터페이스
506: 입력부
507: 출력부
508: 기억부
509: 통신부
510: 드라이브
511: 리무버블 미디어

Claims (16)

  1. 이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
    상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고,
    상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 데이터 처리부를 갖는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 복수 카메라는, 상기 이동 장치의 후부에 설치된 복수의 리어 카메라이며,
    상기 데이터 처리부는,
    상기 운전자 정보에 따라서, 상기 복수의 리어 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상을 전환하여 표시하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 복수 카메라는, 상기 이동 장치의 후부에 설치된 복수의 리어 카메라와, 상기 이동 장치의 측면에 설치된 사이드 카메라이며,
    상기 데이터 처리부는,
    상기 운전자 정보에 따라서, 상기 복수의 리어 카메라 및 사이드 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상을 전환하여 표시하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 이동 장치의 후부에 설치된 복수의 리어 카메라의 촬영 화상으로부터, 상기 운전자 정보에 따라서 선택한 한 장의 리어 카메라 촬영 화상과,
    상기 이동 장치의 측면에 설치된 사이드 카메라의 촬영 화상을 배열하여 상기 표시부에 표시하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 운전자 정보는, 상기 운전자의 얼굴 또는 시선 방향의 검출 정보이며,
    상기 데이터 처리부는,
    상기 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을 상기 표시부에 표시하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 운전자 정보는, 상기 운전자의 제스처 검출 정보이며,
    상기 데이터 처리부는,
    상기 운전자의 제스처에 대응하는 방향의 화상을 상기 표시부에 표시하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 운전자의 조작부에 대한 입력에 따른 방향의 화상을 상기 표시부에 표시하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 가상 시점 합성 화상은,
    상기 복수 카메라의 촬영 화상에 기초하는 합성 화상이며, 상기 복수 카메라의 촬영 시점 사이의 가상 시점으로부터의 촬영 화상에 상당하는 합성 화상인 화상 처리 장치.
  9. 제1항에 있어서,
    상기 운전자 정보는, 상기 운전자의 얼굴 또는 시선 방향의 검출 정보이며,
    상기 데이터 처리부는,
    상기 운전자의 얼굴 또는 시선 방향에 대응하는 방향의 화상을, 복수의 카메라의 촬영 화상을 합성하여 생성하고, 상기 표시부에 표시하는 화상 처리 장치.
  10. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 표시부에 대한 화상의 전환 표시 시에, 각 화상의 무한원점의 위치를 일치시키는 화상 교정 처리를 실행하는 화상 처리 장치.
  11. 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수의 카메라와,
    상기 이동 장치의 운전자의 거동을 나타내는 운전자 정보를 검출하는 운전자 정보 검출부와,
    상기 운전자 정보와, 상기 복수의 카메라의 촬영 화상을 입력하고, 상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수의 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 데이터 처리부를 갖는 이동 장치.
  12. 제11항에 있어서,
    상기 복수의 카메라는, 상기 이동 장치의 후부에 설치된 복수의 리어 카메라이며,
    상기 데이터 처리부는,
    상기 운전자 정보에 따라서, 상기 복수의 리어 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상을 전환하여 표시하는 이동 장치.
  13. 제11항에 있어서,
    상기 운전자 정보 검출부는,
    상기 운전자의 얼굴, 또는 시선 방향을 검출하고,
    상기 데이터 처리부는,
    상기 운전자의 얼굴, 또는 시선 방향에 대응하는 방향의 화상을 상기 표시부에 표시하는 이동 장치.
  14. 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
    데이터 처리부가,
    이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
    상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력하고,
    상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행하는 화상 처리 방법.
  15. 이동 장치에 있어서 실행하는 표시 화상 제어 방법이며,
    복수의 카메라가, 상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 화상 촬영 스텝과,
    운전자 정보 검출부가, 상기 이동 장치의 운전자의 거동을 나타내는 운전자 정보를 검출하는 운전자 정보 검출 스텝과,
    데이터 처리부가,
    상기 운전자 정보와, 상기 복수의 카메라의 촬영 화상을 입력하고, 상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수의 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어 스텝을 실행하는 표시 화상 제어 방법.
  16. 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
    데이터 처리부에,
    이동 장치의 운전자의 거동을 나타내는 운전자 정보와,
    상기 이동 장치의 주변 상황을 서로 다른 시점에서 촬영하는 복수 카메라의 촬영 화상을 입력시키고,
    상기 운전자 정보에 따라서, 표시부로의 출력 화상을 상기 복수 카메라의 촬영 화상 중 어느 것, 또는 가상 시점 합성 화상으로 전환하는 화상 표시 제어를 실행시키는 프로그램.
KR1020207031130A 2018-05-08 2019-04-09 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램 KR102570780B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018089667 2018-05-08
JPJP-P-2018-089667 2018-05-08
PCT/JP2019/015379 WO2019216087A1 (ja) 2018-05-08 2019-04-09 画像処理装置、移動装置、および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20210006888A true KR20210006888A (ko) 2021-01-19
KR102570780B1 KR102570780B1 (ko) 2023-08-29

Family

ID=68467941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207031130A KR102570780B1 (ko) 2018-05-08 2019-04-09 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램

Country Status (6)

Country Link
US (1) US11958358B2 (ko)
EP (1) EP3793191A4 (ko)
JP (1) JP7296374B2 (ko)
KR (1) KR102570780B1 (ko)
CN (1) CN112055963A (ko)
WO (1) WO2019216087A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7038643B2 (ja) * 2018-11-26 2022-03-18 本田技研工業株式会社 映像表示装置
JP7383549B2 (ja) 2020-03-30 2023-11-20 日産自動車株式会社 画像記録システム及び画像記録方法
JP2023103776A (ja) * 2022-01-14 2023-07-27 マクセル株式会社 撮像レンズ系、カメラモジュール、車載システム、移動体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170785A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017211828A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
WO2018012299A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253571A (ja) 2008-04-04 2009-10-29 Clarion Co Ltd 車両用モニタ映像生成装置
JP5300443B2 (ja) * 2008-12-01 2013-09-25 富士通テン株式会社 画像処理装置
US10800329B2 (en) * 2010-04-19 2020-10-13 SMR Patents S.à.r.l. Rear view mirror simulation
JP5813944B2 (ja) 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
WO2013144998A1 (ja) * 2012-03-27 2013-10-03 三菱電機株式会社 車両用視認支援装置
JP5874920B2 (ja) 2012-04-12 2016-03-02 スズキ株式会社 車両周囲確認用モニター装置
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
GB2508860A (en) 2012-12-13 2014-06-18 Nissan Motor Mfg Uk Ltd Vehicle Rear-View Camera System
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
JP6417994B2 (ja) * 2015-02-09 2018-11-07 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US9942522B2 (en) * 2015-08-19 2018-04-10 Faraday&Future Inc. In-vehicle camera system
CN108602465B (zh) * 2016-01-28 2021-08-17 鸿海精密工业股份有限公司 车辆用图像显示系统及搭载了该图像显示系统的车辆
US20170217372A1 (en) * 2016-02-02 2017-08-03 Magna Electronics Inc. Wireless camera system for vehicle and trailer
KR101838187B1 (ko) * 2016-03-25 2018-04-26 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101819003B1 (ko) * 2016-04-07 2018-01-16 엘지전자 주식회사 차량 운전 보조 장치 및 차량
JP6361986B2 (ja) * 2016-05-30 2018-07-25 マツダ株式会社 車両用表示装置
KR101789984B1 (ko) * 2016-07-13 2017-10-25 엠엠피씨 주식회사 차량용 사이드 미러 카메라 시스템
US11528413B2 (en) 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP6669019B2 (ja) * 2016-09-08 2020-03-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
EP3305597B1 (en) * 2016-10-04 2020-12-09 Ficomirrors, S.A.U. Vehicle driving assist system
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR101965834B1 (ko) * 2016-10-12 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
WO2018125870A1 (en) * 2016-12-27 2018-07-05 Gentex Corporation Rear vision system with eye-tracking
US11498485B2 (en) * 2017-05-19 2022-11-15 Georgios Zafeirakis Techniques for vehicle collision avoidance
KR20210100610A (ko) * 2018-12-11 2021-08-17 소니그룹주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
US11383656B2 (en) * 2018-12-11 2022-07-12 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
CN113170083A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
WO2020226258A1 (ko) * 2019-05-09 2020-11-12 엘지전자 주식회사 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
US20210354722A1 (en) * 2019-05-22 2021-11-18 Lg Electronics Inc. Autonomous vehicle and driving control system and method using the same
US11506888B2 (en) * 2019-09-20 2022-11-22 Nvidia Corp. Driver gaze tracking system for use in vehicles
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11370360B2 (en) * 2019-12-25 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Display system
JP7448403B2 (ja) * 2020-03-31 2024-03-12 本田技研工業株式会社 駐車枠認識システム、及び、駐車枠認識システムを備えた駐車支援システム
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
US20220230456A1 (en) * 2021-01-20 2022-07-21 Magna Electronics Inc. Vehicular driver assist system with adjustable display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170785A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017211828A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
WO2018012299A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム

Also Published As

Publication number Publication date
EP3793191A1 (en) 2021-03-17
CN112055963A (zh) 2020-12-08
KR102570780B1 (ko) 2023-08-29
JP7296374B2 (ja) 2023-06-22
WO2019216087A1 (ja) 2019-11-14
JPWO2019216087A1 (ja) 2021-07-15
US20210370773A1 (en) 2021-12-02
US11958358B2 (en) 2024-04-16
EP3793191A4 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP4323377B2 (ja) 画像表示装置
JP5093611B2 (ja) 車両周辺確認装置
US20140136054A1 (en) Vehicular image system and display control method for vehicular image
KR102570780B1 (ko) 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6339887B2 (ja) 画像表示装置
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP7052632B2 (ja) 車両用周辺表示装置
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
WO2018159019A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP5977130B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
WO2019187283A1 (ja) 画像処理装置、画像表示システムおよび画像処理方法
CN111629930A (zh) 用于示出机动车的周围环境的图像数据和/或视频数据的镜替换系统及方法
JP5861449B2 (ja) 障害物警報装置
JP6370833B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
JP6760129B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6724821B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2012179958A (ja) 車両用表示装置
JP6927167B2 (ja) 電子制御装置及び電子制御方法
JP7492802B2 (ja) 表示制御装置、車両及び表示制御方法
US20230331162A1 (en) Display controller
JP5825091B2 (ja) 撮影領域明示装置
JP5765575B2 (ja) 撮影領域明示装置
JP2023006857A (ja) ビュー表示装置およびビュー表示方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant