KR102658704B1 - 정보처리장치, 정보처리방법 및 정보처리시스템 - Google Patents

정보처리장치, 정보처리방법 및 정보처리시스템 Download PDF

Info

Publication number
KR102658704B1
KR102658704B1 KR1020207034240A KR20207034240A KR102658704B1 KR 102658704 B1 KR102658704 B1 KR 102658704B1 KR 1020207034240 A KR1020207034240 A KR 1020207034240A KR 20207034240 A KR20207034240 A KR 20207034240A KR 102658704 B1 KR102658704 B1 KR 102658704B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
information processing
sensor
processing device
Prior art date
Application number
KR1020207034240A
Other languages
English (en)
Other versions
KR20210018246A (ko
Inventor
코타 요네자와
사토시 나카야마
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210018246A publication Critical patent/KR20210018246A/ko
Application granted granted Critical
Publication of KR102658704B1 publication Critical patent/KR102658704B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B60R16/0234—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions related to maintenance or repairing of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S3/00—Vehicle cleaning apparatus not integral with vehicles
    • B60S3/04—Vehicle cleaning apparatus not integral with vehicles for exteriors of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Hardware Redundancy (AREA)

Abstract

본 기술은, 차량에 탑재된 센서 중 불량이 있는 센서의 위치를, 유저가 용이하게 인식할 수 있도록 하는 정보처리장치, 정보처리방법 및 정보처리시스템에 관한 것이다. 차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보가 취득되고, 그 위치 관련 정보에 따라, 차량을 나타내는 차량 화상에, 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상이 표시된다. 본 기술은, 예를 들면, 차량에 탑재된 센서 중 불량이 있는 센서를, 유저에게 인식시키는 경우에 적용할 수 있다.

Description

정보처리장치, 정보처리방법 및 정보처리시스템
본 기술은, 정보처리장치, 정보처리방법 및 정보처리시스템에 관한 것으로, 특히, 예를 들면, 차량에 탑재된 센서 중 불량이 있는 센서의 위치를, 유저가 용이하게 인식할 수 있도록 하는 정보처리장치, 정보처리방법 및 정보처리시스템에 관한 것이다.
근년, 자동 브레이크 등의 운전 지원 등을 위해, 4륜 등의 자동차에서는, 차외에, 카메라 등의 다수의 센서가 탑재되어 있다.
차외에 탑재된 센서에는, 더러움이 부착되기 쉽고, 센서에 부착된 더러움은, 센서의 센싱을 방해하기 때문에, 센서에 부착된 더러움을 세정할 필요가 있다.
예를 들면, 특허문헌 1에는, 센서로서의 카메라로 촬영된 화상을 휴대 단말에 표시하고, 센서의 더러움 상태를 유저에게 알리는 기술이 제안되고 있다.
특허문헌 1: 일본특허공개 2012-106557호 공보
센서로서의 카메라로 촬영된 화상을, 휴대 단말에 표시하는 경우, 유저는, 카메라에 더러움이 있음을 인식할 수 있지만, 그 더러움이 있는 카메라가 탑재되어 있는 위치(자동차에 있어서의 위치)를 인식하는 것은 곤란하다. 그리고, 더러움이 있는 카메라의 위치가 불분명할 경우에는, 유저는 센서에 부착된 더러움을 세정하는 것이 곤란하다.
본 기술은, 이러한 상황을 감안하여 이루어진 것으로, 차량에 탑재된 센서 중, 더러움 등의 불량이 있는 센서의 위치를, 유저가 용이하게 인식할 수 있도록 하는 것이다.
본 기술의 정보처리장치는, 차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 위치 관련 정보 취득부와, 상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 표시 제어부를 구비하는 정보처리장치이다.
본 기술의 정보처리방법은, 차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 것과, 상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 것을 포함하는 정보처리방법이다.
본 기술의 정보처리시스템은, 차량에 탑재되는 센서와, 상기 센서의 불량을 검출하는 불량 검출부와, 화상을 표시하는 표시부와, 상기 차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 위치 관련 정보 취득부와, 상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 표시 제어부를 구비하는 정보처리시스템이다.
본 기술의 정보처리장치, 정보처리방법 및 정보처리시스템에서는, 차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보가 취득되고, 상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상이 표시된다.
한편, 정보처리장치는, 독립된 장치이어도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.
또한, 정보처리장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다. 프로그램은, 전송 매체를 통해 전송함으로써, 또는, 기록 매체에 기록하여, 제공할 수 있다.
본 기술에 의하면, 차량에 탑재된 센서 중 불량이 있는 센서의 위치를, 유저가 용이하게 인식할 수 있다.
한편, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시중에 기재된 어떠한 효과이어도 된다.
도 1은 본 기술을 적용한 정보처리시스템으로서의 차량 제어 시스템의 일 실시형태의 개요를 나타내는 도면이다.
도 2는 차량(1)의 전기적 구성예를 나타내는 블록도이다.
도 3은 차외 단말(40)의 전기적 구성예를 나타내는 블록도이다.
도 4는 합성 화상의 제1 표시예로서의 AR(Augmented Reality) 표시를 설명하는 도면이다.
도 5는 합성 화상의 제2 표시예로서의 VR(Virtual Reality) 표시를 설명하는 도면이다.
도 6는 합성 화상의 제3 표시예로서의 부감 표시를 설명하는 도면이다.
도 7은 알림 처리에 동기한 차량(1)의 설비 제어의 예를 설명하는 도면이다.
도 8은 차량 제어 장치(10)의 알림 처리를 설명하는 순서도이다.
도 9는 차외 단말(40)의 알림 처리를 설명하는 순서도이다.
도 10은 더러움의 위치를 나타내는 화상을 포함하는 불량 화상 표시의 표시예를 나타내는 도면이다.
도 11은 발광부를 갖는 센서(30i)의 구성예를 나타내는 단면도 및 평면도이다.
도 12는 본 기술을 적용한 컴퓨터의 일 실시형태의 구성예를 나타내는 블록도이다.
<본 기술을 적용한 정보처리시스템의 일 실시형태>
도 1은, 본 기술을 적용한 정보처리시스템으로서의 차량 제어 시스템의 일 실시형태 개요를 나타내는 도면이다.
도 1에 있어서, 차량 제어 시스템은, 차량(1) 및 차외 단말(40)을 갖는다.
차량(1)은, 예를 들면, 4륜 승용차이며, 차량 제어 장치(10)를 내장하고 있다. 또한, 차량(1)은, 헤드라이트, 테일라이트(taillight), 그 밖에, LED(Light Emitting Diode)나 램프 등의 차량(1)에 설치된 발광부로서의 차량용 라이트(201 및 202), 및, 카메라 등의 센서(301, 302, 303, 304, 및, 305) 등을, 차외에 탑재하고 있다.
차량 제어 장치(10)는, 센서(30i)(본 실시형태에서는, i=1, 2, 3, 4, 5)로부터 공급되는 센서 정보에 따라, 운전 지원 등을 위한 각종 제어를 행한다. 또한, 차량 제어 장치(10)는, 차량용 라이트(201 및 202)의 점등이나 소등 등의 제어를 행한다.
또한, 차량 제어 장치(10)는, 차외 단말(40)과의 사이에서, 무선통신을 행하고, 각종의 정보를 주고받는다.
예를 들면, 차량 제어 장치(10)는, 센서(30i)로부터의 센서 정보에 따라, 센서(30i)의 불량을 검출하고, 그 불량이 있는 센서(30i)의 (차량(1) 상의) 위치 등을 포함하는 불량 정보를 생성하고, 차외 단말(40)에 송신한다. 또한, 차량 제어 장치(10)는, 차외 단말(40)로부터 송신되어 오는 위치 관련 정보나 청소 종료 통지를 수신한다.
차량 제어 장치(10)는, 차외 단말(40)로부터의 위치 관련 정보에 따라, 불량이 있는 센서(30i)에 가까운 차량용 라이트(20j)(본 실시형태에서는, j=1, 2)를 점등시킨다. 또한, 차량 제어 장치(10)는, 차외 단말(40)로부터의 청소 종료 통지에 따라, 차량용 라이트(20j)를 소등시킨다.
차외 단말(40)은, 예를 들면, 스마트폰 등의 유저(예를 들면, 차량(1)의 운전자 등)가 휴대 가능한 휴대 단말 등의 정보처리장치이며, 차량 제어 장치(10)와의 사이에서, 무선통신을 행하고, 각종의 정보를 주고받는다.
예를 들면, 차외 단말(40)은, 차량에 대한 차외 단말(40)의 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하고, 차량 제어 장치(10)에 송신한다. 또한, 차외 단말(40)은, 유저의 조작에 따라, 센서(30i)의 불량으로서의, 예를 들면, 더러움의 청소가 종료되었음의 청소 종료 통지를, 차량 제어 장치(10)에 송신한다.
또한, 차외 단말(40)은, 차량 제어 장치(10)로부터 송신되어 오는 불량 정보를 수신한다. 차외 단말(40)은, 차량 제어 장치(10)로부터의 불량 정보로부터, 불량이 있는 센서(30i)의 위치를 나타내는 불량 화상을 생성하고, 위치 관련 정보에 따라, 차량(1)을 나타내는 차량 화상에, 불량 화상을 합성한다. 그리고, 차외 단말(40)은, 차량 화상에 불량 화상을 합성한 합성 화상을, 표시부(145)에 표시시킨다.
도 1에서는, 차외 단말(40)에 있어서, 차량(1) 상의 불량이 있는 센서(30i)의 위치를 나타내는 검게 칠해진 원형 형상의 화상과, 메시지「이 카메라가 진흙으로 더러워져 있습니다」가 기재된 말풍선 화상을, 불량 화상으로 하여, 그 불량 화상이 차량 화상에 합성(중첩)된 합성 화상이 표시되어 있다.
이상과 같이, 도 1의 차량 제어 시스템에서는, 차외 단말(40)에서, 차량(1)을 나타내는 차량 화상에, 차량(1)에 탑재된 불량이 있는 센서(30i)의 위치를 나타내는 불량 화상을 합성한 합성 화상이 표시되기 때문에, 유저는, 차외에 차외 단말(40)을 휴대하여, 합성 화상을 봄으로써, 차량(1)에 탑재된 센서(301~305) 중 불량이 있는 센서(30i)의 위치를 용이하게 인식할 수 있다.
여기서, 차외에 센서(30i)가 탑재된 차량(1)에서, 센서(30i)에 더러움이 있는 것 등의 불량이 차량 제어 장치(10)에 의해 검출된 경우, 유저 자신이 차외로 나와서, 센서(30i)를 청소할 필요가 있는 경우가 있다. 예를 들면, 차량(1)이, 센서(30i)를, 물이나 세정액, 에어 등으로 자동 세정하는 세정 시스템을 탑재하지 않는 경우나, 세정 시스템을 탑재하고 있어도, 세정 시스템에 의해 센서(30i)의 더러움을 제거할 수 없는 경우에는, 유저가 차외로 나와서, 센서(30i)를 청소할 필요가 있다.
유저가 차외로 나와서, 센서(30i)를 청소하는 경우, 유저가, 더러움이 있는 센서(30i)의 차량(1) 상의 위치나, 필요에 따라, 더러움의 상황을 인식할 필요가 있다. 센서(30i)의 더러움의 정보가, 차량(1)의 차내 디스플레이에만 표시되는 경우, 유저는, 디스플레이의 표시를 보고, 더러움이 있는 센서(30i)의 위치나 더러움의 상황을 기억하고, 또한, 차외로 나와서, 더러움이 있는 센서(30i)를 찾아서, 청소할 필요가 있다. 또한, 더러움이 있는 센서(30i)의 청소 후, 센서(30i)의 더러움이 제거되어 센서(30i)가 문제없는 상태가 되었다고 차량 제어 장치(10)가 판정할지, 즉, 센서(30i)에 대해, 더러움이 검출되지 않는 상태가 된 것인지 아닌지를, 유저는 차외로부터 차내에 돌아와서 확인할 필요가 있다.
나아가, 장래적으로는, 차량(1)이 자동 운전 차량으로서 실현된 경우, 센싱의 로버스트(robust)성을 향상시키기 위해, 차량(1)에 탑재되는 센서(30i)의 수가 많게 되고, 또한, 센서(30i)가 소형화됨이 예상된다. 그리고, 자동 운전 차량이 보급된 세상에서는, 자동 배차되는 택시나 카 쉐어링 자동차 등의, 자신의 소유물이 아닌 차량을 사용하는 기회가 많아질 것으로 예상된다. 이와 같이, 차량(1)이 자신의 소유물이 아닌 차량인 경우에는, 차량(1)을 사용하는 유저는, 센서(30i)가 탑재되어 있는 차량(1) 상의 위치나, 센서(30i)의 탑재의 상태를 파악하고 있지 않기 때문에, 더러움이 있는 센서(30i)를 찾는데 시간이 걸릴 것으로 예상된다.
이에, 예를 들면, 더러움이 있는 센서(30i)에 가까운 위치의 라이트(예를 들면, 차량용 라이트(20j) 등)을 점멸시키거나, 더러움이 있는 센서(30i)에 가까운 위치로부터 소리를 출력함으로써, 유저에게 더러움이 있는 센서(30i)의 위치를 인식시키는 방법이 생각된다.
그러나, 상술한 바와 같이, 차량(1)에 탑재되는 센서(30i)의 수가 많게 된 경우, 라이트의 근처에 다수의 센서(30i)가 존재하는 경우가 있다. 이 경우, 더러움이 있는 센서(30i)에 가까운 위치의 라이트를 점멸시켜도, 유저가 더러움이 있는 센서(30i)의 위치를 용이하게 인식하는 것이 곤란한 경우가 있다.
이에, 도 1의 차량 제어 시스템에서는, 상술한 바와 같이, 휴대 가능한 차외 단말(40)에 있어서, 차량(1)을 나타내는 차량 화상에, 차량(1)에 탑재된 불량이 있는 센서(30i)의 위치를 나타내는 불량 화상을 합성한 합성 화상이 표시된다. 이 경우, 유저는, 차외에 차외 단말(40)을 휴대하여, 합성 화상을 봄으로써, 차량(1)에 탑재된 센서(301~305) 중에서, 더러움 등의 불량이 있는 센서(30i)의 위치를 용이하게 인식할 수 있다.
또한, 차량(1)으로서는, 4륜 승용차 외에, 트랙터 등의 농업용의 차량이나, 포크레인 등의 건설용 차량, 전차, 그 밖에의 임의의 차량을 채용할 수 있다. 또한, 차량(1)에 대신하여, 드론이나, 비행기, 로봇, 그 밖의 센서가 탑재되는 임의의 장치를 채용할 수 있다.
또한, 센서(30i)의 불량에는, 먼지나, 곤충, 진흙 등의 더러움(센싱의 장해가 되는 장해물)의 부착 외에, 센서(30i)의 고장, 그 밖의 임의의 불량이 포함된다. 이하에서는, 센서(30i)의 불량으로서 더러움(의 부착)을 채용하는 것으로 한다.
또한, 센서(30i)로서는, 카메라(스테레오 카메라를 포함함)나, 측거(ToF(Time of Flight) 센서, LIDAR(Light Detection and Ranging) 센서, 밀리파 센서 등), 가속도 센서, 온도 센서, 그 밖의 임의의 센서를 채용할 수 있다.
또한, 도 1에서는, 5개의 센서(301~305)가, 차량(1)에 탑재되어 있으나, 차량(1)에 탑재되는 센서(30i)의 수는, 5개로 한정되는 것은 아니다.
또한, 차량 제어 장치(10)와 차외 단말(40)과의 사이에서 행해지는(쌍방향) 무선통신의 방식으로서는, 예를 들면, 무선 LAN(Local Area Network)이나 Bluetooth(등록상표) 등의 임의의 방식을 채용할 수 있다.
또한, 차량 제어 장치(10)와 차외 단말(40)과의 사이의 무선통신은, 피어 투 피어(peer-to-peer)로 행해도 되고, 인터넷 등의 네트워크를 경유하여 행해도 된다.
또한, 차외 단말(40)은, 예를 들면, 전용 단말에 의해 실현할 수도 있고, 스마트폰 등의 범용 정보처리장치에 어플리케이션을 실행시킴으로써 실현할 수도 있다. 나아가, 차외 단말(40)은, 차량 제어 장치(10)의 탈착 가능한 하나의 블록으로서 구성할 수도 있다.
<차량(1)의 전기적 구성예>
도 2는, 도 1의 차량(1)의 전기적 구성예를 나타내는 블록도이다.
차량(1)은, 도 1에서 설명한 바와 같이, 차량 제어 장치(10), 차량용 라이트(201 및 202), 및, 카메라 등의 센서(301~305)를 갖는다.
차량 제어 장치(10)는, 표시부(111), 입력부(112), 정보처리부(113), 통신부(114 및 115)를 갖는다.
표시부(111)는, 정보처리부(113)의 제어를 따라, 각종의 정보를 표시한다.
입력부(112)는, 유저에 의해 조작되며, 유저의 조작에 대응하는 입력 정보를 정보처리부(113)에 공급한다. 입력 정보가 입력부(112)로부터 정보처리부(113)에 공급되면, 정보처리부(113)는, 입력부(112)로부터의 입력 정보에 따른 처리를 행한다.
또한, 표시부(111) 및 입력부(112)는, 예를 들면, 터치 패널 등을 사용하여 일체적으로 구성할 수 있다.
정보처리부(113)는, 차량 제어 장치(10)를 구성하는 각 블록의 제어, 그 밖의 각종 처리를 행한다.
통신부(114)는, 차량용 라이트(20j)나 센서(30i) 등 과의 사이에서, 유선 통신을 행한다.
예를 들면, 통신부(114)는, 정보처리부(113)로부터 공급되는 라이트 제어 정보를 차량용 라이트(20j)에 송신한다. 차량용 라이트(20j)는, 통신부(114)로부터의 라이트 제어 정보를 따라, 점등, 점멸, 또는, 소등하고, 또는, 발광의 방향이나 강도를 변경한다.
또한, 예를 들면, 통신부(114)는, 센서(30i)로부터 송신되어 오는 센서 정보를 수신하고, 정보처리부(113)에 공급한다. 센서(30i)의 센서 정보에는, 그 센서(30i)로 행해진 센싱의 센싱 결과(예를 들면, 카메라의 촬영에 의해 얻어지는 RGB(Red, Green, Blue) 등을 화소값으로서 갖는 촬영 화상이나, 측거 센서의 측거에 의해 얻어지는 거리를 화소값으로서 갖는 거리 화상 등)와, 센서(30i)의 불량으로서의 더러움의 더러움 상황 등이 포함된다. 정보처리부(113)는, 통신부(114)로부터의 센서(30i)의 센서 정보에 따라, 센서(30i)의 불량으로서의 더러움을 검출하고, 센서(30i)에 대해, 더러움이 있는지를 나타내는 불량 정보를 생성한다. 나아가, 정보처리부(113)는, 센서(30i)의 불량 정보에, 그 센서(30i)의(차량(1) 상의) 위치를 나타내는 센서 위치 정보를 포함시켜, 통신부(115)에 공급하고, 차외 단말(40)에 송신시킨다.
통신부(115)는, 차외 단말(40) 등과의 사이에서, 무선통신을 행한다.
예를 들면, 통신부(115)는, 정보처리부(113)로부터 공급되는 센서(30i)의 불량 정보를, 차외 단말(40)에 송신한다.
또한, 예를 들면, 통신부(115)는, 차외 단말(40)로부터 송신되어 오는 위치 관련 정보나 청소 종료 통지를 수신하고, 정보처리부(113)에 공급한다.
차외 단말(40)으로부터 송신되어 오는 위치 관련 정보는, 차외 단말(40)의 차량(1)에 대한 상대적인 위치 또는 방향에 관한 정보이며, 정보처리부(113)는, 위치 관련 정보로부터, 차외 단말(40)의 차량(1)에 대한 상대적인 위치(이하, 간단히 상대 위치라고도 말함)를 구한다. 즉, 위치 관련 정보가 차외 단말(40)의 차량(1)에 대한 상대적인 위치를 나타내는 경우, 정보처리부(113)는, 위치 관련 정보가 나타내는 상대적인 위치를 차외 단말(40)의 상대 위치로서 채용한다. 또한, 위치 관련 정보가 차외 단말(40)의 차량(1)에 대한 상대적인 방향을 나타내는 경우, 정보처리부(113)는, 예를 들면, 위치 관련 정보가 나타내는 상대적인 방향에 있어서의, 차량(1)로부터의 소정의 거리의 위치를, 차외 단말(40)의 상대 위치로서 구한다. 그리고, 정보처리부(113)는, 차외 단말(40)의 상대 위치 등에 따라, 차량용 라이트(20j)를 제어하는 라이트 제어 정보를, 통신부(114)에 공급하고, 차량용 라이트(20j)에 송신시킴으로써, 차량용 라이트(20j)를 제어한다.
차외 단말(40)로부터 송신되어 오는 청소 종료 통지는, 더러움이 있는 센서(30i)의 청소가 종료되었음의 통지이며, 정보처리부(113)는, 통신부(115)로부터 청소 종료 통지가 공급되면, 정보처리부(113)는 재차, 통신부(114)로부터의 센서(30i)의 센서 정보에 따라, 센서(30i)의 불량으로서의 더러움(의 유무)을 검출하고, 불량 정보를 생성하는 것을 반복한다.
<차외 단말(40)의 전기적 구성예>
도 3은, 도 1의 차외 단말(40)의 전기적 구성예를 나타내는 블록도이다.
차외 단말(40)은, 통신부(141), 정보처리부(142), 카메라(144), 및, 표시부(145)를 갖는다.
통신부(141)는, 차량 제어 장치(10) 등과의 사이에서, 무선통신을 행한다.
예를 들면, 통신부(141)는, 정보처리부(142)(의 제어부(155))로부터 공급되는 위치 관련 정보나 청소 종료 통지를, 차량 제어 장치(10)로 송신한다. 또한, 통신부(141)는, 차량 제어 장치(10)(의 통신부(115))로부터 송신되어 오는 불량 정보를 수신하고, 정보처리부(142)(의 제어부(155))에 공급한다.
정보처리부(142)는, 차량 제어 장치(10)를 구성하는 각 블록의 제어, 그 밖의 각종 처리를 행한다.
정보처리부(142)는, 화상 처리부(151), 위치 관련 정보 취득부(152), 화상 생성부(153), 표시 제어부(154), 및, 제어부(155)를 갖는다.
화상 처리부(151)에는, 카메라(144)로 촬영된 촬영 화상이 공급된다. 화상 처리부(151)는, 카메라(144)로부터의 촬영 화상이, 차량(1)을 나타내는 차량 화상인 경우, 그 차량 화상인 촬영 화상을, 위치 관련 정보 취득부(152)에 공급함과 함께, 필요에 따라, 표시 제어부(154)에 공급한다.
또한, 화상 처리부(151)는, 차량 화상인 촬영 화상으로부터, 차량(1)의 CG(Computer Graphics)를 생성하여, 그 CG로서의 차량 화상을 표시 제어부(154)에 공급한다.
위치 관련 정보 취득부(152)는, 화상 처리부(151)로부터의 차량 화상인 촬영 화상 등을 사용하여, 예를 들면, SLAM(Simultaneous Localization and Mapping)에 의해, 차외 단말(40)의, 차량(1)에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 추정함으로써 취득하여, 화상 생성부(153), 및, 제어부(155)에 공급한다.
여기서, 위치 관련 정보 취득부(152)에서는, SLAM에 의해 차외 단말(40)의 위치 관련 정보를 취득하는 것으로 하였으나, 차외 단말(40)의 위치 관련 정보는, 그 밖의 임의의 방법으로 취득할 수 있다.
예를 들면, 차외 단말(40)의 위치 관련 정보는, 차량 화상인 촬영 화상에 나타난 차량(1)의 형상으로부터 추정할 수 있다. 또한, 차량(1)에 소정의 마커를 설치해 두고, 차량 화상인 촬영 화상에 나타난 차량(1) 상의 마커로부터, 차외 단말(40)의 위치 관련 정보를 추정할 수 있다. 또한, 차량(1)으로부터 지향성이 강한 전파를 송신하고, 그 전파의 차외 단말(40)에서의 수신 상황으로부터, 차외 단말(40)의 위치 관련 정보를 추정할 수 있다. 또한, 차량(1) 및 차외 단말(40)에 GPS(Global Positioning System) 기능이 탑재되어 있는 경우에는, 그 GPS 기능에 의해 얻어지는 차량(1) 및 차외 단말(40)의 위치로부터 차외 단말(40)의 위치 관련 정보를 추정할 수 있다. 또한, 차량(1)의 센서(30i)가 측거를 위한 적외선을 발하는 경우나, 차량(1)에 가시광을 발하는 LED가 설치되어 있는 경우에는, 그 적외선이나 가시광의 차외 단말(40)에서의 수광 상황으로부터, 차외 단말(40)의 위치 관련 정보를 추정할 수 있다.
이상은, 차외 단말(40)에서 위치 관련 정보를 구하는 방법이지만, 차외 단말(40)의 위치 관련 정보는, 차외 단말(40)이 아닌, 차량(1)에서 구하는 것이 가능하다. 그리고, 차량(1)에서 구해진 위치 관련 정보를, 차량(1)으로부터 차외 단말(40)에 송신하고, 차외 단말(40)에서, 차량(1)으로부터의 위치 관련 정보를 수신함으로써 취득할 수 있다.
차량(1)에서는, 예를 들면, 카메라로서의 센서(30i)에 의해, 차외 단말(40)을 소지하여, 차외에 있는 유저를 촬영하고, 그 촬영에 의해 얻어지는 촬영 화상에 비치는 유저를 인식함으로써, 유저의 위치 관련 정보를 차외 단말(40)의 위치 관련 정보로서 구할 수 있다. 또한, 예를 들면, 하나의 센서(30i)로서 휴먼 감지 센서를 채용하고, 그 휴먼 감지 센서의 센싱 결과로, 유저의 위치 관련 정보를 차외 단말(40)의 위치 관련 정보로서 구할 수 있다. 또한, 차외 단말(40)로부터 지향성이 강한 전파를 송신하고, 그 전파의 차량(1)에서의 수신 상황으로부터, 차외 단말(40)의 위치 관련 정보를 구할(추정함) 수 있다. 또한, 차외 단말(40)이 적외선이나 가시광을 발할 수 있는 경우에는, 그 적외선이나 가시광의, 차량(1)에서의 수광 상황으로부터, 차외 단말(40)의 위치 관련 정보를 구할 수 있다.
그 밖에, 차외 단말(40)의 위치 관련 정보는, 상술한 방법을 복수로 조합시켜서 구하여, 로버스트성을 향상시킬 수 있다.
화상 생성부(153)에는, 위치 관련 정보 취득부(152)로부터, 차외 단말(40)의 위치 관련 정보가 공급되는 것 외에, 제어부(155)로부터, 차량 제어 장치(10)로부터 송신되어 오는 불량 정보가 공급된다. 화상 생성부(153)는, 위치 관련 정보 취득부(152)로부터의 위치 관련 정보, 및, 제어부(155)로부터의 불량 정보에 따라, 더러움이 있는 센서(30i)의 위치를 나타내는 불량 화상을 생성하고, 표시 제어부(154)에 공급한다.
표시 제어부(154)는, 각종 화상을 표시부(145)에 공급하여 표시시키는 표시 제어를 행한다. 또한, 표시 제어부(154)는, 화상 처리부(151)로부터 공급되는 촬영 화상의 차량 화상, 또는, CG의 차량 화상에, 화상 생성부(153)로부터의 불량 화상을 합성하고, 합성 화상을 생성한다. 그리고, 표시 제어부(154)는, 합성 화상을, 표시부(145)에 공급하여 표시시킨다.
제어부(155)는, 정보처리부(142)의 각 블록의 제어, 그 밖의 각종 처리를 행한다.
예를 들면, 제어부(155)는, 입력부(143)의 조작에 따라, 청소 종료 통지를 생성하고, 통신부(141)에 공급하여 송신시킨다. 또한, 제어부(155)는, 위치 관련 정보 취득부(152)로부터 공급되는 위치 관련 정보를, 통신부(141)에 공급하여 송신시킨다. 나아가, 제어부(155)는, 통신부(141)로부터 공급되는, 차량 제어 장치(10)로부터 송신되어 오는 불량 정보를, 화상 생성부(153)에 공급한다.
입력부(143)는, 유저에 의해 조작되며, 유저의 조작에 대응하는 입력 정보를 제어부(155)에 공급한다.
카메라(144)는, 예를 들면, 차량(1) 등의 피사체를 촬영하고, 그 촬영에 의해 얻어지는 촬영 화상을, 화상 처리부(151)에 공급한다.
표시부(145)는, 표시 제어부(154)의 표시 제어를 따라, 표시 제어부(154)로부터 공급되는 합성 화상 등의 화상을 표시한다.
또한, 입력부(143) 및 표시부(145)는, 예를 들면, 터치 패널 등을 사용하여, 일체적으로 구성할 수 있다.
도 2의 차량(1) 및 도 3의 차외 단말(40)로 구성되는 도 1의 차량 제어 시스템에서는, 예를 들면, 차량(1)의 차량 제어 장치(10)가 기동하고, 또한, 차량(1)이 안전한 장소에서 정차하고 있는 상태의, 미리 결정된 타이밍에, 센서(30i)의 불량으로서의 더러움을 유저에게 알리는 알림 처리가 개시된다. 미리 결정된 타이밍으로서는, 예를 들면, 유저가 차량(1)에 근접하였을 때(차량(1)의 소정의 범위 내에 들어갔을 때)나, 유저가 차외로부터 차량(1)의 잠금(키)을 해제하였을 때, 유저가 차량(1)의 엔진을 걸었을 때 등을 채용할 수 있다.
또한, 차량 제어 장치(10)에서 충분한 전력을 사용할 수 있도록, 알림 처리는 차량(1)의 엔진이 걸려 있는 상태에서 행하는 것이 바람직하다. 단, 차량(1)이 전기자동차인 경우에는, 차량(1)의 엔진을 걸지 않아도, 차량 제어 장치(10)에 있어서 충분한 전력을 사용할 수 있기 때문에 알림 처리는 차량(1)의 엔진이 걸려 있지 않은 상태로 행해도 된다.
또한, 차량(1)의 주행중에, 차외 단말(40)에 합성 화상 등이 표시되어도, 차량(1)의 운전을 하고 있는 유저는, 차외 단말(40)에 표시된 합성 화상 등을 볼 수 없기 때문에, 차량(1)의 주행 중에는, 차외 단말(40)에 합성 화상 등을 표시하지 않는 것으로 한다.
차량 제어 장치(10)(도 2)에서 알림 처리가 개시되면, 센서(30i)는, 그 센서(30i)의 불량으로서의 더러움의 더러움 상황을 취득하고, 센서 정보에 포함시켜 송신한다. 센서(30i)가 송신하는 센서 정보는, 통신부(114)에서 수신되어, 정보처리부(113)에 공급된다. 한편, 센서(30i)의 더러움 상황의 취득 방법으로서는, 임의의 방법을 채용할 수 있다. 또한, 센서(30i)의 더러움 상황은, 알림 처리를 시작하였을 때 외에, 임의의 타이밍에서 취득할 수 있다. 예를 들면, 차량(1)이 주행하고 있을 때나, 정차하고 있을 때 등에, 센서(30i)의 더러움 상황을 취득하여, 차량 제어 장치(10)나 센서(30i)의 도시되지 않은 메모리에 기억해 둘 수 있다. 그리고, 그 이후에 행하여지는 알림 처리에서, 메모리에 기억된 센서(30i)의 더러움 상황을 사용할 수 있다.
정보처리부(113)는, 통신부(114)로부터의 센서 정보(에 포함되는 더러움 상황)로부터, 불량으로서의 더러움이 있는 센서(30i)를 검출한다(센서(30i)의 더러움을 검출함). 더러움이 있는 센서(30i)가 검출된 경우, 정보처리부(113)는, 센서(30i)가 더러워져 있다는 내용 등의 정보를, 표시부(111)에 표시시킨다. 또한, 정보처리부(113)는, 더러움이 있는 센서(30i)의 위치나 더러움의 상황(상태) 등을, 표시부(111)에 표시시킨다.
또한, 정보처리부(113)는, 센서(30i)에 대해, 더러움이 있는지를 나타내는 불량 정보를 생성한다. 또한, 정보처리부(113)는, 센서(30i)의 불량 정보에, 그 센서(30i)의 위치를 나타내는 센서 위치 정보를 포함시키고, 통신부(115)에 공급하여, 차외 단말(40)에 송신시킨다.
차량(1)의 차내에 있는 유저는, 표시부(111)의 표시를 보고, 센서(30i)에 더러움이 있음을 인식한 경우, 더러움이 있는 센서(30i)의 청소를 행한다.
더러움이 있는 센서(30i)의 청소에 있어서, 유저는, 차외 단말(40)을 소지하고, 차외로 나가서, 차외 단말(40)로 더러움이 있는 센서(30i)를 확인한다. 그 때문에, 유저는 차외로 나와서, 차외 단말(40)로서의 스마트폰의 표시부(145)를 자신 측을 향하게 하고, 표시부(145)의 반대측(표시부(145)가 설치되어 있는 측을 표면측으로 하면 이면측)에 설치된 카메라(144)로, 차량(1)을 촬영하도록 자세를 취한다.
차외 단말(40)(도 3)에서 알림 처리가 개시되면, 카메라(144)는 촬영을 개시한다.
이에 의해, 카메라(144)에서는, 차외 단말(40)의 위치(유저의 위치)로부터 본 차량(1)을 나타내는 차량 화상으로서의 촬영 화상이 촬영되어, 화상 처리부(151)에 공급된다. 화상 처리부(151)는, 카메라(144)로부터의 차량 화상으로서의 촬영 화상을, 위치 관련 정보 취득부(152)에 공급한다.
나아가, 화상 처리부(151)는, 카메라(144)로부터의 차량 화상으로서의 촬영 화상을, 표시 제어부(154)에 공급한다. 또는, 화상 처리부(151)는, 카메라(144)로부터의 차량 화상으로서의 촬영 화상으로부터, 차외 단말(40)의 위치로부터 본 차량(1)의 CG를 생성하여, 그 CG로서의 차량 화상을, 표시 제어부(154)에 공급한다.
표시 제어부(154)는, 화상 처리부(151)로부터의 차량 화상을, 표시부(145)에 표시시킨다.
한편, 위치 관련 정보 취득부(152)는, 화상 처리부(151)로부터의 차량 화상으로서의 촬영 화상을 사용하여, 차외 단말(40)의, 차량(1)에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 추정함으로써 취득하고, 화상 생성부(153), 및, 제어부(155)에 공급한다. 제어부(155)에 공급된 위치 관련 정보는, 통신부(141)를 통하여, 차량 제어 장치(10)에 송신되며, 필요에 따라, 차량용 라이트(20j)의 제어 등에 사용된다.
또한, 차외 단말(40)(도 3)에서는, 통신부(141)가, 차량 제어 장치(10)의 통신부(115)로부터 송신되어 오는 불량 정보를 수신하고, 제어부(155)에 공급한다. 제어부(155)는, 통신부(141)로부터의 불량 정보를, 화상 생성부(153)에 공급한다.
화상 생성부(153)는, 위치 관련 정보 취득부(152)로부터의 위치 관련 정보, 및, 제어부(155)로부터의 불량 정보에 따라, 더러움이 있는 센서(30i)의 위치를 나타내는 불량 화상을 생성하고, 표시 제어부(154)에 공급한다.
표시 제어부(154)는, 화상 생성부(153)로부터 불량 화상이 공급되면, 화상 처리부(151)로부터 공급되는 차외 단말(40)의 위치로부터 본 차량(1)을 나타내는 차량 화상(촬영 화상 또는 CG)에, 화상 생성부(153)로부터의 불량 화상을 합성하고, 합성 화상을 생성한다. 그리고, 표시 제어부(154)는, 합성 화상을, 표시부(145)에 공급하여 표시시킨다.
합성 화상은, 차외 단말(40)의 위치, 즉, 유저의 위치로부터 본 차량(1)을 나타내는 차량 화상에, 불량이 있는 센서(30i)의 위치를 나타내는 불량 화상이 합성된 화상이기 때문에, 유저는, 합성 화상을 봄으로써, 차량(1)에 탑재된 센서(301~305) 중 불량으로서의 더러움이 있는 센서(30i)의 위치를, 용이하게 인식할 수 있다. 즉, 유저는, 차외 단말(40)의 표시부(145)에 표시된 합성 화상을 봄으로써, 차량 제어 장치(10)의 표시부(111)에 표시된 더러움이 있는 센서(30i)의 위치를 보기 위해 차내에 돌아가지 않고 더러움이 있는 센서(30i)의 위치를 인식할 수 있다. 그 결과, 유저의 편리성을 향상시킬 수 있다.
더러움이 있는 센서(30i)의 위치를 인식한 유저는, 그 센서(30i)에 접근하여 청소한다. 센서(30i)의 청소를 종료한 유저는, 청소 종료 통지를 통지하도록, 입력부(143)를 조작한다. 제어부(155)는, 입력부(143)의 조작에 따라, 청소 종료 통지를, 통신부(141)에 송신시킨다.
통신부(141)가 송신한 청소 종료 통지는, 차량 제어 장치(10)의 통신부(115)로 수신되어, 정보처리부(113)에 공급된다. 정보처리부(113)는, 청소 종료 통지에 따라, 재차, 통신부(114)로부터의 센서 정보로부터, 불량으로서의 더러움이 있는 센서(30i)를 검출한다. 그리고, 더러움이 있는 센서(30i)가 검출된 경우, 상술한 경우와 마찬가지의 처리가 반복된다.
한편, 더러움이 있는 센서(30i)가 검출되지 않은 경우, 차량 제어 장치(10) 및 차외 단말(40)의 알림 처리는 종료한다.
한편, 여기서는, 청소 종료 통지를 차량 제어 장치(10)의 정보처리부(113)에 통지하기 위해 차외 단말(40)의 입력부(143)를 조작하는 것으로 하였으나, 그 밖에, 차량 제어 장치(10)의 입력부(112)를 조작함으로써, 청소 종료 통지를 정보처리부(113)에 통지할 수 있다.
또한, 표시 제어부(154)에서는, 차외 단말(40)의 위치로부터 본 차량(1)을 나타내는 차량 화상에 불량 화상을 합성한 합성 화상의 외에, 차량(1)을 부감한 부감 화상에 불량 화상을 합성한 합성 화상을 생성하여, 표시부(145)에 표시시킬 수 있다.
<합성 화상의 표시예>
도 4는, 합성 화상의 제1 표시예로서의 AR(Augmented Reality) 표시를 설명하는 도면이다.
AR 표시에서는, 차외 단말(40)의 위치로부터 차량(1)을 카메라(144)로 촬영한 차량 화상으로서의 촬영 화상에, 불량 화상을 합성한 합성 화상이 표시된다.
도 4에서는, 차량(1) 상의 더러움이 있는 센서(30i)의 위치를 나타내는 원형 형상의 화상과, 메시지「이 카메라가 진흙으로 더러워져 있습니다」가 기재된 말풍선 화상을, 불량 화상으로 하여, 그 불량 화상이 차량 화상으로서의 촬영 화상에 합성된 합성 화상이 표시부(145)에 표시되어 있다.
또한, 도 4에서는, 차외 단말(40)을 소지한 유저가, 차량(1)의 후방에 위치하고 있는 경우와, 차량(1)의(전방을 향해) 좌측의 다소 후방에 위치하고 있는 경우에 있어서, 표시부(145)에 표시되는 합성 화상이 도시되어 있다.
AR 표시에 의하면, 유저(가 소지하고 있는 차외 단말(40))의 위치로부터 본 차량(1)의 차량 화상과, 더러움이 있는 센서(30i)의 위치를 나타내는 불량 화상이 표시되기 때문에, 유저는 더러움이 있는 센서(30i)의 위치를 용이하게 인식할 수 있다.
도 5는, 합성 화상의 제2 표시예로서의 VR(Virtual Reality) 표시를 설명하는 도면이다.
VR 표시에서는, 차외 단말(40)의 위치로부터 차량(1)을 카메라(144)로 촬영한 차량 화상에서 3D(dimensional) 모델 등을 이용하여 생성된, 차외 단말(40)의 위치로부터 본 차량(1)을 나타내는 차량 화상으로서의 CG에, 불량 화상을 합성한 합성 화상이 표시된다.
도 5에서는, 차량(1) 상의 더러움이 있는 센서(30i)의 위치를 나타내는 원형 형상의 화상과, 메시지「이 카메라가 진흙으로 더러워져 있습니다」가 기재된 말풍선 화상을, 불량 화상으로 하여, 그 불량 화상이 차량 화상으로서의 CG에 합성된 합성 화상이, 표시부(145)에 표시되어 있다.
한편, 도 5에서는, 도 4의 경우와 마찬가지로, 차외 단말(40)을 소지한 유저가, 차량(1)의 후방에 위치하고 있는 경우와, 차량(1)의 좌측 다소 후방에 위치하고 있는 경우에 있어서, 표시부(145)에 표시되는 합성 화상이 도시되어 있다.
VR 표시에 의하면, AR 표시와 마찬가지로, 유저(가 소지하고 있는 차외 단말(40))의 위치로부터 본 차량(1)의 차량 화상과, 더러움이 있는 센서(30i)의 위치를 나타내는 불량 화상이 표시되기 때문에, 유저는 더러움이 있는 센서(30i)의 위치를 용이하게 인식할 수 있다.
여기서, AR 표시와 VR 표시는, 차외 단말(40)의 위치로부터 차량(1)을 본 차량 화상에, 불량 화상을 합성한 합성 화상이 표시되는 점에서 공통된다. 단, AR 표시의 차량 화상은, 카메라(144)로 촬영된 촬영 화상인 것에 비해, VR 표시의 차량 화상은, CG인 점에서 AR 표시와 VR 표시는 다르다.
도 6는, 합성 화상의 제3 표시예로서의 부감 표시를 설명하는 도면이다.
부감 표시에서는, 차량(1)을 부감한 차량 화상(이하, 부감 화상이라고도 말함)에, 불량 화상과, 차외 단말(40)의 상대 위치를 나타내는 상대 위치 화상을 합성한 합성 화상이 표시된다.
도 6에서는, 차량(1) 상의 더러움이 있는 센서(30i)의 위치를 나타내는 원형 형상의 화상과, 메시지「이 카메라가 진흙으로 더러워져 있습니다」가 기재된 말풍선 화상을, 불량 화상으로 함과 함께, 차외 단말(40)의 상대 위치를 나타내는 원형 형상의 화상과, 그 상대 위치가 유저의 위치인 것을 나타내는 메시지「현재 위치」를, 상대 위치 화상으로 하여, 불량 화상 및 상대 위치 화상이 부감 화상에 합성된 합성 화상이, 표시부(145)에 표시되어 있다.
부감 화상으로서는, 예를 들면, 주차 보조 시스템용의, 차량(1)을 부감한 화상 등을 사용할 수 있다.
부감 표시에 의하면, 차량(1)을 부감한 부감 화상, 더러움이 있는 센서(30i)의 위치를 나타내는 불량 화상, 및, 유저(가 소지하고 있는 차외 단말(40))의 상대 위치(현재 위치)를 나타내는 상대 위치 화상이 표시되기 때문에, 유저는 더러움이 있는 센서(30i)의 위치를 용이하게 인식할 수 있다.
이상 설명한 AR 표시, VR 표시, 및, 부감 표시는, 필요에 따라 전환할 수 있다.
예를 들면, AR 표시, VR 표시, 및, 부감 표시는, 유저의 조작에 따라 전환할 수 있다.
그 밖에, AR 표시, VR 표시, 및, 부감 표시의 변환은, 다음과 같이 행할 수 있다.
예를 들면, 유저의 위치, 즉, 차외 단말(40)의 위치로부터, 더러움이 있는 센서(30i)가 보이지 않는 경우에는, 차외 단말(40)에서는, 부감 표시를 행할 수 있다.
또한, 차외 단말(40)의 위치로부터, 더러움이 있는 센서(30i)가 보이는 경우에는, 차외 단말(40)에서는, AR 표시 또는 VR 표시를 행할 수 있다.
이 경우, 차외 단말(40)의 위치로부터, 더러움이 있는 센서(30i)가 보이지 않을 때에는, 부감 표시에 의해, 더러움이 있는 센서(30i)가 보이는 위치로의 이동을 유저에게 재촉할 수 있다. 그리고, 유저가 더러움이 있는 센서(30i)가 보이는 위치로 이동한 후에는, AR 표시 또는 VR 표시에 의해, 유저는 더러움이 있는 센서(30i)의 위치를 용이하게 인식할 수 있다.
또한, 차외 단말(40)에서는, 예를 들면, 카메라(144)로 촬영된 차량 화상의 밝기에 따라, AR 표시 또는 VR 표시를 행할 수 있다. 예를 들면, 차량 화상의 휘도 평균치가 임계값 이상인 경우에는 AR 표시를 행하고, 차량 화상의 휘도 평균치가 임계값 이상이 아닌 경우에는, VR 표시를 행할 수 있다.
예를 들면, 야간에 있어서는, 카메라(144)로 촬영된 차량 화상이 어두워, 그 차량 화상에 비치는 차량(1)을 시인하기 어려운 경우가 있다. 그 경우, 그 차량 화상에 불량 화상을 합성한 합성 화상에서도, 그 합성 화상에 비치는 차량(1)을 시인하기 어렵게 된다.
이에, 카메라(144)로 촬영된 차량 화상이 어둡고, 예를 들면, 차량 화상의 휘도 평균치가 임계값 이상이 아닌 경우에는, 차량(1)의 CG를 표시하는 VR 표시를 행함으로써, 합성 화상에 비치는 차량(1)을 시인하기 어렵게 됨을 방지할 수 있다.
또한, 여기서는, 카메라(144)로 촬영된 차량 화상의 밝기(차량 화상이 어두운지 아닌지)를, 차량 화상의 휘도 평균치에 의해 판정하는 것으로 하였으나, 카메라(144)로 촬영된 차량 화상의 밝기는, 그 밖에, 예를 들면, 조도계에 의해 계측되는 조도 등에 의해 판정할 수 있다.
또한, 합성 화상을 생성하는데 사용하는 불량 화상으로서는, 상술한 더러움이 있는 센서(30i)의 위치를 나타내는 화상의 외에, 더러움이 있는 센서(30i)의 위치를 이해하기 쉽게 표시하는 임의의 GUI(Graphical User Interface)를 채용할 수 있다.
<알림 처리에 동기한 차량(1)의 설비 제어>
도 7은, 알림 처리에 동기한 차량(1)의 설비 제어예를 설명하는 도면이다.
차량 제어 장치(10)에서는, 알림 처리가 행해지는 것에 동기화하여(알림 처리와 병행하여), 더러움이 있는 센서(30i)의 위치를 유저가 용이하게 인식하는 것을 보조하기 위해, 차량(1)의 설비를 제어할 수 있다.
더러움이 있는 센서(30i)의 위치를, 유저가 용이하게 인식하는 것을 보조하기 위해, 차량 제어 장치(10)가 행하는 차량(1)의 설비 제어를, 보조 제어라고 한다면, 차량 제어 장치(10)에서는, 차외 단말(40)로부터 송신되어 오는, 차외 단말(40)의 위치 관련 정보나, 주위의 밝기 등에 따라, 보조 제어를 행할 수 있다.
예를 들면, 차량 제어 장치(10)에서는, 주위의 밝기에 따라, 주위의 밝기가 어두운 경우에는, 도 7에 나타낸 바와 같이, 정보처리부(113)가, 통신부(114)를 통해, 더러움이 있는 센서(30i)에 가까운 차량용 라이트(20j)(더러움이 있는 센서(30i) 주변의 차량용 라이트(20j))를 제어함으로써, 그 차량용 라이트(20j)를, 소정의 밝기로 점등시킬 수 있다. 이 경우, 예를 들면, 야간에 있어서, 더러움이 있는 센서(30i)에 가까운 차량용 라이트(20j)가 점등하기 때문에, 유저가 더러움이 있는 센서(30i)를 찾는 것과, 더러움이 있는 센서(30i)의 세정 작업을 보조할 수 있다.
또한, 차량 제어 장치(10)에서는, 차외 단말(40)로부터 송신되어 오는, 차외 단말(40)의 위치 관련 정보가, 통신부(115)로 수신되어 정보처리부(113)에 공급된다. 정보처리부(113)에서는, 통신부(115)로부터의 위치 관련 정보로부터, 차외 단말(40)의 상대 위치가 구해진다. 정보처리부(113)에서는, 차외 단말(40)의 상대 위치를 사용하여, 더러움이 있는 센서(30i)가 차외 단말(40)의 위치, 즉, 유저의 위치로부터 보이는지 어떤지를 판정할 수 있다. 그리고, 정보처리부(113)에서는, 주위의 밝기가 어둡고, 더러움이 있는 센서(30i)가 차외 단말(40)의 위치로부터 보이는 경우에, 상술한 바와 같이, 더러움이 있는 센서(30i)에 가까운 차량용 라이트(20j)를 제어하여 점등시킬 수 있다.
한편, 주위가 어두운지 아닌지는, 카메라(144)로 촬영되는 촬영 화상의 밝기(휘도)나, 조도계에 의해 계측되는 조도 등에 의해 판정할 수 있다.
정보처리부(113)에서는, 그 밖에, 차외 단말(40)의 상대 위치에 따라, 차량용 라이트(20j)를 제어하여 점멸 또는 점등시킬 수 있다.
예를 들면, 유저(가 소지하는 차외 단말(40))가, 더러움이 있는 센서(30i)로부터 떨어져 있는 경우에는, 정보처리부(113)는, 더러움이 있는 센서(30i)에 가까운 차량용 라이트(20j)를 제어하여 점멸시킬 수 있다. 이 경우, 점멸하는 차량용 라이트(20j)에 의해, 유저는 더러움이 있는 센서(30i)의 대략의 위치를 인식할 수 있다.
또한, 예를 들면, 유저가 더러움이 있는 센서(30i)에 근처에 위치하고 있는 경우에는, 정보처리부(113)는, 더러움이 있는 센서(30i)에 가까운 차량용 라이트(20j)를 제어하여, 비교적 높은 광 강도로 점등시킬 수 있다. 이 경우, 예를 들면, 더러움이 있는 센서(30i)의 대략의 위치를 인식한 유저가, 그 더러움이 있는 센서(30i)에 근접하였을 때, 더러움이 있는 센서(30i)의 근처가 밝게 비추어지기 때문에, 유저는, 더러움이 있는 센서(30i)의 더러움 상태를 확인하거나, 야간에서의 센서(30i)의 세정 작업을 보조할 수 있다.
또한, 정보처리부(113)는, 차량용 라이트(20j)를 점등 또는 점멸시킨 경우, 유저의 조작 등에 따라, 또는, 청소 종료 통지가 통지됨을 기다려, 차량용 라이트(20j)를 소등시킬 수 있다.
<알림 처리>
도 8은, 도 2의 차량 제어 장치(10)의 알림 처리를 설명하는 순서도이다.
스텝(S11)에 있어서, 차량 제어 장치(10)의 정보처리부(113)는, 통신부(114)를 통해, 각 센서(30i)로부터, 센서(30i)의 센서 정보를 취득하고, 처리는, 스텝(S12)으로 진행한다.
스텝(S12)에서는, 정보처리부(113)가 각 센서(30i)의 센서 정보를 이용하여, 더러움이 있는 센서(30i)가 있는지 판정한다. 여기서, 스텝(S12)의 처리를 행하는 정보처리부(113)는, 센서(30i)의 불량으로서의 더러움을 검출하는 불량 검출부로서 기능한다고 할 수 있다
스텝(S12)에 있어서, 더러움이 있는 센서(30i)가 없다고 판정된 경우, 처리는, 스텝(S13)으로 진행하고, 정보처리부(113)는, 불량으로서의 더러움이 없다는 내용의 불량 정보를 생성하여, 통신부(115)로부터, 차외 단말(40)로 송신시켜, 차량 제어 장치(10)의 알림 처리는 종료한다.
한편, 스텝(S12)에 있어서, 더러움이 있는 센서(30i)가 있다고 판정된 경우, 처리는, 스텝(S14)으로 진행하고, 정보처리부(113)는, 불량으로서의 더러움이 있다는 내용의 불량 정보를 생성한다. 나아가, 정보처리부(113)는, 불량 정보에 더러움이 있는 센서(30i) 각각의 위치를 나타내는 센서 위치 정보를 포함시키고, 통신부(115)로부터, 차외 단말(40)에 송신시켜, 처리는, 스텝(S14)으로부터 스텝(S15)으로 진행한다.
스텝(S15)에서는, 정보처리부(113)는, 차외 단말(40)으로부터 청소 종료 통지를 수신한 것인지 아닌지를 판정한다. 스텝(S15)에 있어서, 청소 종료 통지를 수신하지 않았다고 판정된 경우, 처리는 스텝(S16)으로 진행하고, 정보처리부(113)는, 필요에 따라, 차외 단말(40)의 위치 관련 정보 등에 따라 통신부(114)를 통해, 차량용 라이트(20j)를 제어함으로써, 예를 들면, 더러움이 있는 센서(30i)에 가까운 차량용 라이트(20j)를 점등시킨다. 그리고, 처리는, 스텝(S16)으로부터 스텝(S15)으로 되돌아가서, 이하, 마찬가지의 처리가 반복된다.
또한, 스텝(S15)에 있어서, 청소 종료 통지를 수신하였다고 판정된 경우, 즉, 예를 들면, 유저가 더러움이 있는 센서(30i)의 청소를 행하고, 그 후, 청소 종료 통지를 통지하도록 차외 단말(40)을 조작함으로써, 차외 단말(40)로부터 차량 제어 장치(10)에 청소 종료 통지가 송신된 경우, 처리는, 스텝(S17)으로 진행한다.
스텝(S17)에서는, 스텝(S16)에서 차량용 라이트(20j)가 점등된 경우에, 정보처리부(113)가, 통신부(114)를 통해, 차량용 라이트(20j)를 제어함으로써 소등시켜, 처리는, 스텝(S11)으로 되돌아간다. 따라서, 유저가, 더러움이 있는 센서(30i)의 청소를 행하고, 불량으로서의 더러움이 해소된(것으로 일단 추측함) 경우, 점등하고 있었던 차량용 라이트(20j)는 소등한다.
그리고, 스텝(S11)에서는, 상술한 바와 같이, 정보처리부(113)가, 각 센서(30i)의 센서 정보를 취득하고, 이하, 스텝(S12)에 있어서, 더러움이 있는 센서(30i)가 없다고 판정될 때까지, 마찬가지의 처리가 반복된다.
도 9는, 도 3의 차외 단말(40)의 알림 처리를 설명하는 순서도이다.
스텝(S21)에 있어서, 차외 단말(40)의 제어부(155)는, 차량 제어 장치(10)로부터의 불량 정보를 취득하고, 처리는, 스텝(S22)으로 진행한다. 즉, 통신부(141)는, 차량 제어 장치(10)로부터 불량 정보가 송신되어 오는 것을 기다리고, 그 불량 정보를 수신하여, 제어부(155)에 공급한다. 제어부(155)는 이와 같이 하여 통신부(141)로부터 공급되는 불량 정보를 취득한다.
스텝(S22)에 있어서는, 제어부(155)는, 스텝(S21)에서 취득한 차량 제어 장치(10)로부터의 불량 정보를 사용하여, 더러움이 있는 센서(30i)가 있는지를 판정한다.
스텝(S22)에 있어서, 더러움이 있는 센서(30i)가 있다고 판정된 경우, 즉, 차량 제어 장치(10)로부터의 불량 정보가 더러움이 있다는 내용을 나타내고, 그 더러움이 있는 센서(30i)의 센서 위치 정보를 포함할 경우, 제어부(155)는 차량 제어 장치(10)로부터의 불량 정보를, 화상 생성부(153)로 공급하고, 처리는, 스텝(S23)로 진행한다.
스텝(S23)에서는, 제어부(155)는, 청소 종료 통지를 통지하도록, 입력부(143)가 조작된 것인지 아닌지를 판정한다.
스텝(S23)에 있어서, 청소 종료 통지를 통지하도록 입력부(143)가 조작되지 않았다고 판정된 경우, 처리는, 스텝(S24)으로 진행하고, 위치 관련 정보 취득부(152)는, 차외 단말(40)의 위치 관련 정보를 취득하여, 제어부(155) 및 화상 생성부(153)에 공급하고, 처리는, 스텝(S25)으로 진행한다.
스텝(S25)에서는, 화상 생성부(153)는, 위치 관련 정보 취득부(152)로부터의 위치 관련 정보, 및, 제어부(155)로부터의 불량 정보에 따라, 더러움이 있는 센서(30i)의 위치를 나타내는 불량 화상을 생성하고, 표시 제어부(154)로 공급한다.
표시 제어부(154)는, 화상 처리부(151)로부터 공급되는 차량 화상, 또는, 차량(1)을 부감한 차량 화상에, 화상 생성부(153)로부터의 불량 화상을 합성하고, 합성 화상을 생성한다. 그리고, 표시 제어부(154)는, 합성 화상을, 표시부(145)에 공급하여 표시시킨다.
또한, 제어부(155)는, 위치 관련 정보 취득부(152)로부터의 위치 관련 정보를, 통신부(141)로부터 차량 제어 장치(10)에 송신시켜, 처리는, 스텝(S25)로부터 스텝(S23)으로 되돌아간다.
여기서, 이상과 같이 하여, 통신부(141)로부터 차량 제어 장치(10)에 송신되는 위치 관련 정보가, 도 8의 스텝(S16)의 처리에 사용된다.
한편, 스텝(S23)에 있어서, 청소 종료 통지를 통지하도록 입력부(143)가 조작되었다고 판정된 경우, 처리는, 스텝(S26)으로 진행하고, 제어부(155)는, 청소 종료 통지를 통신부(141)로부터 차량 제어 장치(10)로 송신시켜, 처리는, 스텝(S21)으로 되돌아간다.
스텝(S21)에서는, 상술한 바와 같이, 차량 제어 장치(10)로부터의 불량 정보가 취득되어, 처리는, 스텝(S22)으로 진행한다.
그리고, 스텝(S22)에 있어서, 더러움이 있는 센서(30i)가 없다고 판정된 경우, 즉, 차량 제어 장치(10)로부터의 불량 정보가, 더러움이 없음을 나타내는 경우, 차외 단말(40)의 알림 처리는 종료한다.
<더러움의 위치를 나타내는 화상을 포함하는 불량 화상의 표시>
도 10은, 더러움의 위치를 나타내는 화상을 포함하는 불량 화상 표시의 표시예를 나타내는 도면이다.
예를 들면, 센서(30i)가 비교적 큰 사이즈의 카메라인 경우에, 그 센서(30i)로서의 카메라 렌즈 일부가 더러워져, 그 더러움의(렌즈 상의) 위치를 차량 제어 장치(10)로 검출할 수 있을 때에는, 불량 정보에는, 센서(30i)로서의 카메라의 더러움 위치(범위)를 나타내는 더러움 위치 정보를 포함시킬 수 있다.
이 경우, 차외 단말(40)(도 3)의 화상 생성부(153)는, 더러움이 있는 센서(30i)의 더러움의 위치를 나타내는 화상을 포함하는 불량 화상을 생성할 수 있다.
도 10은, 차외 단말(40)의 위치로부터 차량(1)을 본 차량 화상에, 더러움이 있는 센서(30i)의 더러움의 위치를 나타내는 화상을 포함하는 불량 화상을 합성한 합성 화상의 표시예를 나타내고 있다.
도 10에서는, 더러움이 있는 센서(30i)의 위치를 나타내는 원형 형상의 화상과, 메시지「이 카메라가 진흙으로 더러워져 있습니다」가 기재된 말풍선 화상이, 불량 화상으로서 표시되어 있다. 또한, 도 10에서는, 더러움이 있는 센서(30i)로서의 카메라를 본뜬 화상 상에 더러움으로서의 그림자가 부가된 화상을, 더러움의 위치를 나타내는 더러움 위치 화상으로 하여, 그 더러움 위치 화상을 포함하는 불량 화상이 표시되어 있다.
이상과 같이, 더러움 위치 화상을 표시할 경우에는, 유저는 더러움이 있는 센서(30i) 상의 어느 위치가 더러워진 것인지를 용이하게 인식할 수 있다.
또한, 더러움 위치 화상에 있어서, 더러움의 위치는, 예를 들면, 화상의 색을 변경하는 것이나, 점멸시키는 것 등에 의해 나타낼 수 있다.
또한, 유저가 더러움이 있는 센서(30i)를 청소하여 더러움이 제거된 경우에는, 차외 단말(40)에 있어서, 불량 화상의 표시를, 더러움이 제거됨을 나타내는 화상 표시로 변경할 수 있다.
도 10에서는, 더러움이 제거된 것을 나타내는 화상으로서, 더러움이 있었던 센서(30i)의 위치를 나타내는 원형 형상의 화상과, 메시지「더러움이 제거되었습니다」가 기재된 말풍선 화상이 표시되어 있다. 또한, 도 10에서는, 더러움이 제거된 것을 나타내는 화상으로서, 더러움이 제거된 센서(30i)로서의 카메라를 나타내는 화상이 표시되어 있다.
<발광부를 갖는 센서(30i)의 구성예>
도 11은, 발광부를 갖는 센서(30i)의 구성예를 나타내는 단면도 및 평면도이다.
차량(1)에 있어서는, 센서(30i)의 주변의 위치(가까운 위치)에, 차량용 라이트(20j)가 장착되어 있다고 단정 지을 수 없다. 센서(30i)의 주변의 위치에, 차량용 라이트(20j)가 장착되어 있지 않은 경우, 더러움이 있는 센서(30i)의 가장 가까운 위치의 차량용 라이트(20j)가 도 7에서 설명한 바와 같이 점등되어도, 더러움이 있는 센서(30i)로부터 크게 떨어진 차량용 라이트(20j)가 점등되는 경우가 있다. 이와 같이, 더러움이 있는 센서(30i)로부터 크게 떨어진 차량용 라이트(20j)가 점등되는 것은, 더러움이 있는 센서(30i)의 위치를 유저가 용이하게 인식하는 것을 보조하는 것이 되지 않고, 도리어 방해가 될 수 있다.
이에, 차량(1)에 탑재되는 센서(30i)로서는, 발광부를 갖는 센서(30i)를 채용할 수 있다.
도 11에 있어서, 센서(30i)는, 예를 들면, 카메라로, 이미지 센서 등으로 구성되는 광학 센서(200)를 갖는다. 광학 센서(200)의 수광면측에는, 렌즈(201)가 설치되어 있다. 또한, 광학 센서(200)의 주위에는, 원형 고리 형상의 기판(202)이 설치되고, 그 기판(202) 위에는, 광학 센서(200)(렌즈(201))를 둘러싸도록, 복수의 발광부(203)가 설치되어 있다.
여기서, 발광부(203)는, LED 등으로 구성할 수 있다. 또한, 도 11에서는, 8개의 발광부(203)가 설치되어 있지만, 센서(30i)에 설치하는 발광부(203)의 수는, 1개이어도 되고, 8개 이외의 복수개이어도 된다.
이상과 같이, 센서(30i)가 발광부(203)를 갖는 경우에는, 차량용 라이트(20j)에 대신하여, 더러움이 있는 센서(30i)가 갖는 발광부(203)를 점등 또는 점멸시킬 수 있다. 더러움이 있는 센서(30i)가 갖는 발광부(203)를 점등 또는 점멸시키는 경우에는, 더러움이 있는 센서(30i)의 주변의 차량용 라이트(20j)를 점등 또는 점멸시키는 경우와 비교하여, 더러움이 있는 센서(30i)의 보다 정확한 위치를, 유저가 용이하게 인식할 수 있다.
또한, 불량 화상이나 합성 화상은, 차외 단말(40)에서 생성하는 것 외에, 차량 제어 장치(10)나 클라우드 상의 컴퓨터에서 생성하여, 차외 단말(40)에 공급할 수 있다.
<본 기술을 적용한 컴퓨터의 설명>
다음으로, 상술한 차량 제어 장치(10)나 차외 단말(40)의 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행할 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등으로 인스톨된다.
도 12는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시형태 구성예를 나타내는 블록도이다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(905)나 ROM(903)에 미리 기록해 둘 수 있다.
또는, 프로그램은, 드라이브(909)에 의해 구동되는 리무버블 기록 매체(911)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(911)는, 이른바 패키지소프트 웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(911)로서는, 예를 들면, flexible disk, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 기록 매체(911)로부터 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 거쳐, 컴퓨터에 다운로드하여 내장하는 하드 디스크(905)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들면, 다운로드 사이트에서, 디지털 위성방송용의 인공 위성을 거쳐, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 거쳐, 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(902)를 내장하고 있고, CPU(902)에는, 버스(901)를 통해, 입출력 인터페이스(910)가 접속되어 있다.
CPU(902)는, 입출력 인터페이스(910)를 통해, 유저에 의해, 입력부(907)가 조작 등에 의해 지령이 입력되면, 그에 따라, ROM(Read Only Memory)(903)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(902)는, 하드 디스크(905)에 저장된 프로그램을, RAM(Random Access Memory)(904)에 로드하여 실행한다.
이에 의해, CPU(902)는, 상술한 순서도에 따른 처리, 또는 상술한 블록도의 구성에 의해 행하여지는 처리를 행한다. 그리고, CPU(902)는, 그 처리 결과를, 필요에 따라, 예를 들면, 입출력 인터페이스(910)를 통해, 출력부(906)로부터 출력, 또는, 통신부(908)로부터 송신, 나아가, 하드 디스크(905)에 기록 등을 시킨다
한편, 입력부(907)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(906)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램을 따라 행하는 처리는, 반드시 순서도로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 또는 개별적으로 실행되는 처리(예를 들면, 병렬 처리 또는 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 원격 컴퓨터로 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 케이스 안에 있는지 여부는 묻지 않는다. 따라서, 별개의 케이스에 수납되어, 네트워크를 거쳐 접속되어 있는 복수 장치 및 하나의 케이스 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
한편, 본 기술의 실시형태는, 상술한 실시형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들면, 본 기술은, 하나의 기능을 네트워크를 거쳐 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 순서도에서 설명한 각 스텝은, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
나아가, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.
한편, 본 기술은, 이하의 구성을 취할 수 있다.
<1>
차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 위치 관련 정보 취득부와,
상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 표시 제어부를 구비하는 정보처리장치.
<2>
상기 표시 제어부는, 상기 위치 관련 정보에 따라, 상기 차량을 부감한 상기 차량 화상에, 상기 차량에 대한 상기 정보처리장치의 상대적인 위치를 나타내는 화상 및 상기 불량 화상을 합성한 상기 합성 화상을 표시시키는 <1>에 기재된 정보처리장치.
<3>
상기 표시 제어부는, 상기 위치 관련 정보에 따라, 상기 정보처리장치의 위치로부터 상기 차량을 본 상기 차량 화상에, 상기 불량 화상을 합성한 상기 합성 화상을 표시시키는 <1>에 기재된 정보처리장치.
<4>
상기 차량 화상은, 상기 정보처리장치의 위치로부터 본 상기 차량의 CG(Computer Graphics), 또는, 상기 정보처리장치의 위치로부터 상기 차량을 카메라로 촬영한 촬영 화상인 <3>에 기재된 정보처리장치.
<5>
상기 표시 제어부는,
상기 차량을 부감한 상기 차량 화상에, 상기 차량에 대한 상기 정보처리장치의 상대적인 위치를 나타내는 화상 및 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 부감 표시와,
상기 정보처리장치의 위치로부터 본 상기 차량의 CG에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 VR(Virtual Reality) 표시와,
상기 정보처리장치의 위치로부터 상기 차량을 카메라로 촬영한 촬영 화상에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 AR(Augmented Reality) 표시를 전환하는 <1>에 기재된 정보처리장치.
<6>
상기 표시 제어부는,
상기 정보처리장치의 위치로부터, 상기 불량이 있는 센서가 보이지 않는 경우, 상기 부감 표시를 행하고,
상기 정보처리장치의 위치로부터, 상기 불량이 있는 센서가 보이는 경우, 상기 VR 표시 또는 상기 AR 표시를 행하는 <5>에 기재된 정보처리장치.
<7>
상기 표시 제어부는, 상기 촬영 화상의 밝기에 따라, 상기 VR 표시 또는 상기 AR 표시를 행하는 <5>에 기재된 정보처리장치.
<8>
상기 차량은, 상기 불량이 있는 센서의 주변의 발광부를 점등시키는 <1> 내지 <7> 중 어느 하나에 기재된 정보처리장치.
<9>
상기 차량은, 상기 불량이 있는 센서의 불량이 해소된 경우에, 상기 발광부를 소등시키는 <8>에 기재된 정보처리장치.
<10>
상기 센서는, 상기 발광부를 갖는 <8> 또는 <9>에 기재에 정보처리장치.
<11>
상기 센서는, 카메라인 <1> 내지 <10> 중 어느 하나에 기재된 정보처리장치.
<12>
상기 불량은, 상기 센서의 더러움인 <1> 내지 <11> 중 어느 하나에 기재된 정보처리장치.
<13>
상기 불량 화상은, 상기 더러움이 있는 센서의 상기 더러움의 위치를 나타내는 화상을 포함하는 <12>에 기재된 정보처리장치.
<14>
휴대 단말인 <1> 내지 <13> 중 어느 하나에 기재된 정보처리장치.
<15>
차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 것과,
상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 것을 포함하는 정보처리방법.
<16>
차량에 탑재되는 센서와,
상기 센서의 불량을 검출하는 불량 검출부와,
화상을 표시하는 표시부와,
상기 차량에 대한 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 위치 관련 정보 취득부와,
상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 표시 제어부를 구비하는 정보처리시스템.
1: 차량
10: 차량 제어 장치
201, 202: 차량용 라이트
301~305: 센서
40: 차외 단말
111: 표시부
112: 입력부
113: 정보처리부
114, 115, 141: 통신부
142: 정보처리부
143: 입력부
144: 카메라
145: 표시부
151: 화상 처리부
152: 위치 관련 정보 취득부
153: 화상 생성부
154: 표시 제어부
155: 제어부
200: 광학 센서
201: 렌즈
202: 기판
203: 발광부
901: 버스
902: CPU,
903: ROM
904: RAM
905: 하드 디스크
906: 출력부
907: 입력부
908: 통신부
909: 드라이브
910: 입출력 인터페이스
911: 리무버블 기록 매체

Claims (16)

  1. 차량에 대한 정보처리장치의 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 위치 관련 정보 취득부와,
    상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 표시 제어부를 구비하고,
    상기 표시 제어부는,
    상기 차량을 부감한 상기 차량 화상에, 상기 차량에 대한 상기 정보처리장치의 상대적인 위치를 나타내는 화상 및 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 부감 표시와,
    상기 정보처리장치의 위치로부터 본 상기 차량의 CG에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 VR(Virtual Reality)표시와,
    상기 정보처리장치의 위치로부터 상기 차량을 카메라로 촬영한 촬영 화상에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 AR(Augmented Reality) 표시를 전환하는 정보처리장치.
  2. 제1항에 있어서,
    상기 표시 제어부는, 상기 위치 관련 정보에 따라, 상기 차량을 부감한 상기 차량 화상에, 상기 차량에 대한 상기 정보처리장치의 상대적인 위치를 나타내는 화상 및 상기 불량 화상을 합성한 상기 합성 화상을 표시시키는 정보처리장치.
  3. 제1항에 있어서,
    상기 표시 제어부는, 상기 위치 관련 정보에 따라, 상기 정보처리장치의 위치로부터 상기 차량을 본 상기 차량 화상에, 상기 불량 화상을 합성한 상기 합성 화상을 표시시키는 정보처리장치.
  4. 제3항에 있어서,
    상기 차량 화상은, 상기 정보처리장치의 위치로부터 본 상기 차량의 CG(Computer Graphics), 또는, 상기 정보처리장치의 위치로부터 상기 차량을 카메라로 촬영한 촬영 화상인 정보처리장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 표시 제어부는,
    상기 정보처리장치의 위치로부터, 상기 불량이 있는 센서가 보이지 않는 경우, 상기 부감 표시를 행하고,
    상기 정보처리장치의 위치로부터, 상기 불량이 있는 센서가 보이는 경우, 상기 VR 표시 또는 상기 AR 표시를 행하는 정보처리장치.
  7. 제1항에 있어서,
    상기 표시 제어부는, 상기 촬영 화상의 밝기에 따라, 상기 VR 표시 또는 상기 AR 표시를 행하는 정보처리장치.
  8. 제1항에 있어서,
    상기 차량은, 상기 불량이 있는 센서의 주변의 발광부를 점등시키는 정보처리장치.
  9. 제8항에 있어서,
    상기 차량은, 상기 불량이 있는 센서의 불량이 해소된 경우에, 상기 발광부를 소등시키는 정보처리장치.
  10. 제8항에 있어서,
    상기 센서는, 상기 발광부를 갖는 정보처리장치.
  11. 제1항에 있어서,
    상기 센서는, 카메라인 정보처리장치.
  12. 제1항에 있어서,
    상기 불량은, 상기 센서의 더러움인 정보처리장치.
  13. 제12항에 있어서,
    상기 불량 화상은, 상기 더러움이 있는 센서의 상기 더러움의 위치를 나타내는 화상을 포함하는 정보처리장치.
  14. 제1항에 있어서,
    상기 정보처리장치는 휴대 단말인 정보처리장치.
  15. 차량에 대한 정보처리장치의 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 것과,
    상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 것을 포함하고,
    상기 불량 화상을 합성한 합성 화상은,
    상기 차량을 부감한 상기 차량 화상에, 상기 차량에 대한 상기 정보처리장치의 상대적인 위치를 나타내는 화상 및 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 부감 표시와,
    상기 정보처리장치의 위치로부터 본 상기 차량의 CG에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 VR(Virtual Reality)표시와,
    상기 정보처리장치의 위치로부터 상기 차량을 카메라로 촬영한 촬영 화상에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 AR(Augmented Reality) 표시로 전환하여 표시되는 정보처리방법.
  16. 차량에 탑재되는 센서와,
    상기 센서의 불량을 검출하는 불량 검출부와,
    화상을 표시하는 표시부와,
    상기 차량에 대한 정보처리장치의 상대적인 위치 또는 방향에 관한 위치 관련 정보를 취득하는 위치 관련 정보 취득부와,
    상기 위치 관련 정보에 따라, 상기 차량을 나타내는 차량 화상에, 상기 차량에 탑재된 센서 중 불량이 있는 센서의 위치를 나타내는 불량 화상을 합성한 합성 화상을 표시시키는 표시 제어부를 구비하고,
    상기 표시 제어부는,
    상기 차량을 부감한 상기 차량 화상에, 상기 차량에 대한 상기 정보처리장치의 상대적인 위치를 나타내는 화상 및 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 부감 표시와,
    상기 정보처리장치의 위치로부터 본 상기 차량의 CG에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 VR(Virtual Reality)표시와,
    상기 정보처리장치의 위치로부터 상기 차량을 카메라로 촬영한 촬영 화상에, 상기 불량 화상을 합성한 상기 합성 화상을 표시하는 AR(Augmented Reality) 표시를 전환하는 정보처리시스템.
KR1020207034240A 2018-06-07 2019-05-24 정보처리장치, 정보처리방법 및 정보처리시스템 KR102658704B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018109523 2018-06-07
JPJP-P-2018-109523 2018-06-07
PCT/JP2019/020586 WO2019235245A1 (ja) 2018-06-07 2019-05-24 情報処理装置、情報処理方法、及び、情報処理システム

Publications (2)

Publication Number Publication Date
KR20210018246A KR20210018246A (ko) 2021-02-17
KR102658704B1 true KR102658704B1 (ko) 2024-04-22

Family

ID=68770756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034240A KR102658704B1 (ko) 2018-06-07 2019-05-24 정보처리장치, 정보처리방법 및 정보처리시스템

Country Status (7)

Country Link
US (1) US11557030B2 (ko)
EP (1) EP3805048B1 (ko)
JP (1) JP7414715B2 (ko)
KR (1) KR102658704B1 (ko)
CN (2) CN110576792A (ko)
TW (1) TWI805725B (ko)
WO (1) WO2019235245A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11318916B2 (en) * 2019-06-13 2022-05-03 Ford Global Technologies, Llc Vehicle maintenance
JP2021150792A (ja) * 2020-03-18 2021-09-27 株式会社デンソー 車両用表示制御装置及び車両用システム
JP7303171B2 (ja) 2020-10-28 2023-07-04 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115759A (ja) * 1998-10-05 2000-04-21 Sony Corp 撮像表示装置
JP2005186659A (ja) * 2003-12-24 2005-07-14 Honda Motor Co Ltd 始業点検補助装置
JP2015019271A (ja) * 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06288873A (ja) * 1993-03-30 1994-10-18 Suzuki Motor Corp 故障診断システム
US6550949B1 (en) * 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
JP3807331B2 (ja) * 2002-03-06 2006-08-09 日産自動車株式会社 カメラの汚れ検出装置およびカメラの汚れ検出方法
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
JP4052662B2 (ja) 2006-04-17 2008-02-27 オリンパス株式会社 電子スチルカメラ
JP2009225322A (ja) 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
JP5546321B2 (ja) * 2010-04-02 2014-07-09 アルパイン株式会社 複数カメラ画像使用車外表示装置
JP5521990B2 (ja) 2010-11-16 2014-06-18 株式会社デンソー 車載カメラ用付着物報知装置
KR101232639B1 (ko) * 2011-06-02 2013-02-13 유비벨록스(주) 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 시스템, 이동 단말기 및 방법
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
DE102012222126B4 (de) * 2012-12-04 2020-06-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera, Verfahren zum Reinigen einer Fahrzeugkamera und Kamerasystem für ein Fahrzeug
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
JP6082272B2 (ja) * 2013-02-25 2017-02-15 東京エレクトロン株式会社 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
US9472028B2 (en) * 2014-06-23 2016-10-18 GM Global Technology Operations LLC Augmented reality based interactive troubleshooting and diagnostics for a vehicle
KR101667732B1 (ko) * 2015-01-23 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6585995B2 (ja) 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
JP2017086542A (ja) * 2015-11-11 2017-05-25 株式会社コロプラ 画像変更システム、方法、及びプログラム
US20190149813A1 (en) * 2016-07-29 2019-05-16 Faraday&Future Inc. Method and apparatus for camera fault detection and recovery
US10909779B2 (en) * 2016-08-11 2021-02-02 Tekion Corp 3D vehicle model data capturing and retrieving for vehicle inspection, service and maintenance
KR102526083B1 (ko) 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6766557B2 (ja) 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
KR101750875B1 (ko) * 2017-03-16 2017-06-26 엘지전자 주식회사 차량용 진단 장치
US20180342054A1 (en) * 2017-05-26 2018-11-29 Bsquare Corp. System and method for constructing augmented and virtual reality interfaces from sensor input
KR102017802B1 (ko) * 2017-12-21 2019-09-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10657721B2 (en) * 2018-02-09 2020-05-19 Paccar Inc Systems and methods for providing augmented reality support for vehicle service operations
US20190279438A1 (en) * 2018-03-09 2019-09-12 Progress Rail Locomotive Inc. Systems and methods for servicing a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115759A (ja) * 1998-10-05 2000-04-21 Sony Corp 撮像表示装置
JP2005186659A (ja) * 2003-12-24 2005-07-14 Honda Motor Co Ltd 始業点検補助装置
JP2015019271A (ja) * 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置

Also Published As

Publication number Publication date
EP3805048B1 (en) 2022-12-14
TW202000517A (zh) 2020-01-01
JP7414715B2 (ja) 2024-01-16
CN210760472U (zh) 2020-06-16
EP3805048A1 (en) 2021-04-14
CN110576792A (zh) 2019-12-17
US20210224976A1 (en) 2021-07-22
JPWO2019235245A1 (ja) 2021-06-24
EP3805048A4 (en) 2021-08-04
US11557030B2 (en) 2023-01-17
TWI805725B (zh) 2023-06-21
WO2019235245A1 (ja) 2019-12-12
KR20210018246A (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
KR102658704B1 (ko) 정보처리장치, 정보처리방법 및 정보처리시스템
US10944912B2 (en) Systems and methods for reducing flicker artifacts in imaged light sources
JP2022111151A (ja) 撮像装置及び撮像装置の制御方法
JP6771673B2 (ja) 自律運転車両下方の監視のためのシステム
CN111033571B (zh) 图像处理设备和图像处理方法
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP2008205914A (ja) 画像処理装置
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
US11119633B2 (en) Information processing device and method
WO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
CN111086451B (zh) 一种平视显示系统、显示方法和汽车
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
JP2012054689A (ja) 可視光データ処理装置、可視光通信システム、可視光データ処理方法及びそのプログラム
KR20150143962A (ko) 차량의 위치 확인 장치 및 방법
US11557201B2 (en) Apparatus for assisting driving of a host vehicle based on augmented reality and method thereof
TW201441079A (zh) 車輛輔助系統及車輛輔助方法
CN104702967B (zh) 虚拟视频巡检系统与其组件
US20210331586A1 (en) Vehicle control device and vehicle control method
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JPWO2019049710A1 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP2020052851A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
JP2024023041A (ja) 車両用室内灯装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant