JPWO2019235245A1 - 情報処理装置、情報処理方法、及び、情報処理システム - Google Patents

情報処理装置、情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
JPWO2019235245A1
JPWO2019235245A1 JP2020523620A JP2020523620A JPWO2019235245A1 JP WO2019235245 A1 JPWO2019235245 A1 JP WO2019235245A1 JP 2020523620 A JP2020523620 A JP 2020523620A JP 2020523620 A JP2020523620 A JP 2020523620A JP WO2019235245 A1 JPWO2019235245 A1 JP WO2019235245A1
Authority
JP
Japan
Prior art keywords
vehicle
image
sensor
information processing
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020523620A
Other languages
English (en)
Other versions
JP7414715B2 (ja
Inventor
航太 米澤
航太 米澤
智詞 中山
智詞 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2019235245A1 publication Critical patent/JPWO2019235245A1/ja
Application granted granted Critical
Publication of JP7414715B2 publication Critical patent/JP7414715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B60R16/0234—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions related to maintenance or repairing of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/573—Mobile devices controlling vehicle functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S3/00—Vehicle cleaning apparatus not integral with vehicles
    • B60S3/04—Vehicle cleaning apparatus not integral with vehicles for exteriors of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Hardware Redundancy (AREA)

Abstract

本技術は、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。車両に対する相対的な位置又は方向に関する位置関連情報が取得され、その位置関連情報に応じて、車両が映る車両画像に、車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像が表示される。本技術は、例えば、車両に搭載されたセンサの中の不具合があるセンサを、ユーザに認識させる場合に適用できる。

Description

本技術は、情報処理装置、情報処理方法、及び、情報処理システムに関し、特に、例えば、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。
近年、自動ブレーキ等の運転支援等のために、四輪等の自動車では、車外に、カメラ等の多数のセンサが搭載されつつある。
車外に搭載されたセンサには、汚れが付着しやすく、センサに付着した汚れは、センサのセンシングを妨げるため、センサに付着した汚れを洗浄する必要がある。
例えば、特許文献１には、センサとしてのカメラで撮影された画像を、携帯端末に表示し、センサの汚れ具合を、ユーザに報知する技術が提案されている。
特開2012-106557号公報
センサとしてのカメラで撮影された画像を、携帯端末に表示する場合、ユーザは、カメラに汚れがあることを認識することができるが、その汚れがあるカメラが搭載されている位置（自動車における位置）を認識することは困難である。そして、汚れがあるカメラの位置が不明である場合には、ユーザは、センサに付着した汚れを洗浄することが困難である。
本技術は、このような状況に鑑みてなされたものであり、車両に搭載されたセンサの中の、汚れ等の不具合があるセンサの位置を、ユーザが容易に認識することができるようにするものである。
本技術の情報処理装置は、車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備える情報処理装置である。
本技術の情報処理方法は、車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることとを含む情報処理方法である。
本技術の情報処理システムは、車両に搭載されるセンサと、前記センサの不具合を検出する不具合検出部と、画像を表示する表示部と、前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備える情報処理システムである。
本技術の情報処理装置、情報処理方法、及び、情報処理システムにおいては、車両に対する相対的な位置又は方向に関する位置関連情報が取得され、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像が表示される。
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した情報処理システムとしての車両制御システムの一実施の形態の概要を示す図である。 車両１の電気的構成例を示すブロック図である。 車外端末４０の電気的構成例を示すブロック図である。 合成画像の第１の表示例としてのAR(Augmented Reality)表示を説明する図である。 合成画像の第２の表示例としてのVR(Virtual Reality)表示を説明する図である。 合成画像の第３の表示例としての俯瞰表示を説明する図である。 報知処理に同期した車両１の設備の制御の例を説明する図である。 車両制御装置１０の報知処理を説明するフローチャートである。 車外端末４０の報知処理を説明するフローチャートである。 汚れの位置を表す画像を含む不具合画像の表示の表示例を示す図である。 発光部を有するセンサ３０ｉの構成例を示す断面図及び平面図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用した情報処理システムの一実施の形態＞
図１は、本技術を適用した情報処理システムとしての車両制御システムの一実施の形態の概要を示す図である。
図１において、車両制御システムは、車両１及び車外端末４０を有する。
車両１は、例えば、4輪の乗用車あり、車両制御装置１０を内蔵している。さらに、車両１は、ヘッドライト、テールライト、その他、LED(Light Emitting Diode)やランプ等の車両１に装備された発光部としての車載ライト２０１及び２０２、並びに、カメラ等のセンサ３０１，３０２，３０３，３０４、及び、３０５等を、車外に搭載している。
車両制御装置１０は、センサ３０ｉ（本実施の形態では、ｉ＝１，２，３，４，５）から供給されるセンサ情報に応じて、運転支援等のための各種の制御を行う。また、車両制御装置１０は、車載ライト２０１及び２０２の点灯や消灯等の制御を行う。
さらに、車両制御装置１０は、車外端末４０との間で、無線通信を行い、各種の情報をやりとりする。
例えば、車両制御装置１０は、センサ３０ｉからのセンサ情報に応じて、センサ３０ｉの不具合を検出し、その不具合があるセンサ３０ｉの（車両１上の）位置等を含む不具合情報を生成して、車外端末４０に送信する。また、車両制御装置１０は、車外端末４０から送信されてくる位置関連情報や清掃終了通知を受信する。
車両制御装置１０は、車外端末４０からの位置関連情報に応じて、不具合があるセンサ３０ｉに近い車載ライト２０ｊ（本実施の形態では、ｊ＝１，２）を点灯させる。また、車両制御装置１０は、車外端末４０からの清掃終了通知に応じて、車載ライト２０ｊを消灯させる。
車外端末４０は、例えば、スマートフォン等のユーザ（例えば、車両１の運転者等）が携帯可能な携帯端末等の情報処理装置であり、車両制御装置１０との間で、無線通信を行い、各種の情報をやりとりする。
例えば、車外端末４０は、車両に対する車外端末４０の相対的な位置又は方向に関する位置関連情報を取得し、車両制御装置１０に送信する。また、車外端末４０は、ユーザの操作に応じて、センサ３０ｉの不具合としての、例えば、汚れの清掃が終了した旨の清掃終了通知を、車両制御装置１０に送信する。
さらに、車外端末４０は、車両制御装置１０から送信されてくる不具合情報を受信する。車外端末４０は、車両制御装置１０からの不具合情報から、不具合があるセンサ３０ｉの位置を表す不具合画像を生成し、位置関連情報に応じて、車両１が映る車両画像に、不具合画像を合成する。そして、車外端末４０は、車両画像に不具合画像を合成した合成画像を、表示部１４５に表示させる。
図１では、車外端末４０において、車両１上の不具合があるセンサ３０ｉの位置を表す黒で塗りつぶされた円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とが、不具合画像として、その不具合画像が車両画像に合成（重畳）された合成画像が表示されている。
以上のように、図１の車両制御システムでは、車外端末４０において、車両１が映る車両画像に、車両１に搭載された不具合があるセンサ３０ｉの位置を表す不具合画像を合成した合成画像が表示されるので、ユーザは、車外に車外端末４０を携帯して、合成画像を見ることにより、車両１に搭載されたセンサ３０１ないし３０５の中の不具合があるセンサ３０ｉの位置を容易に認識することができる。
ここで、車外にセンサ３０ｉが搭載された車両１において、センサ３０ｉに汚れがあること等の不具合が、車両制御装置１０により検出された場合、ユーザ自身が車外に出て、センサ３０ｉを清掃する必要があるケースがある。例えば、車両１が、センサ３０ｉを、水や洗浄液、エア等で自動洗浄する洗浄システムを搭載していない場合や、洗浄システムを搭載していても、洗浄システムによってセンサ３０ｉの汚れを取りきれない場合には、ユーザが車外に出て、センサ３０ｉを清掃する必要がある。
ユーザが車外に出て、センサ３０ｉを清掃する場合、ユーザが、汚れがあるセンサ３０ｉの車両１上の位置や、必要に応じて、汚れの状況を認識する必要がある。センサ３０ｉの汚れの情報が、車両１の車内のディスプレイに表示されるだけの場合、ユーザは、ディスプレイの表示を見て、汚れがあるセンサ３０ｉの位置や汚れの状況を記憶し、さらに、車外に出て、汚れがあるセンサ３０ｉを見つけて、清掃する必要がある。また、汚れがあるセンサ３０ｉの清掃後、センサ３０ｉの汚れが除去され、センサ３０ｉが問題ない状態になったと、車両制御装置１０が判定するかどうか、すなわち、センサ３０ｉについて、汚れが検出されない状態になったかどうかを、ユーザは、車外から車内に戻って確認する必要がある。
さらに、将来的には、車両１が自動運転車両として実現された場合、センシングのロバスト性を向上させるために、車両１に搭載されるセンサ３０ｉの数が多くなり、しかも、センサ３０ｉが小型化されることが予想される。そして、自動運転車両が普及した世の中では、自動配車されるタクシーや、カーシェアの自動車等の、自分の所有物ではない車両を使用する機会が多くなることが予想される。このように、車両１が、自分の所有物ではない車両である場合には、車両１を使用するユーザは、センサ３０ｉが搭載されている車両１上の位置や、センサ３０ｉの搭載の状態を把握していないため、汚れがあるセンサ３０ｉを見つけるのに、時間を要することが予想される。
そこで、例えば、汚れがあるセンサ３０ｉに近い位置のライト（例えば、車載ライト２０ｊ等）を点滅させることや、汚れがあるセンサ３０ｉに近い位置で音を出力することで、ユーザに、汚れがあるセンサ３０ｉの位置を認識させる方法が考えられる。
しかしながら、上述のように、車両１に搭載されるセンサ３０ｉの数が多くなった場合、ライトの近くに、多数のセンサ３０ｉが存在することがある。この場合、汚れがあるセンサ３０ｉに近い位置のライトを点滅させても、ユーザが、汚れがあるセンサ３０ｉの位置を容易に認識することが困難であることがある。
そこで、図１の車両制御システムでは、上述のように、携帯可能な車外端末４０において、車両１が映る車両画像に、車両１に搭載された不具合があるセンサ３０ｉの位置を表す不具合画像を合成した合成画像が表示される。この場合、ユーザは、車外に車外端末４０を携帯して、合成画像を見ることにより、車両１に搭載されたセンサ３０１ないし３０５の中で、汚れ等の不具合があるセンサ３０ｉの位置を容易に認識することができる。
なお、車両１としては、4輪の乗用車の他、トラクタ等の農業用の車両や、ショベルカー等の建設用の車両、戦車、その他の任意の車両を採用することができる。また、車両１に代えて、ドローンや、飛行機、ロボット、その他のセンサが搭載される任意の装置を採用することができる。
さらに、センサ３０ｉの不具合には、ゴミや、虫、泥等の汚れ（センシングの障害になる障害物）の付着の他、センサ３０ｉの故障、その他の任意の不具合が含まれる。以下では、センサ３０ｉの不具合として、汚れ（の付着）を採用することとする。
また、センサ３０ｉとしては、カメラ（ステレオカメラを含む）や、測距センサ（ToF(Time of Flight)センサ、LIDAR(Light Detection and Ranging)センサ、ミリ波センサ等）、加速度センサ、温度センサ、その他の任意のセンサを採用することができる。
さらに、図１では、５個のセンサ３０１ないし３０５が、車両１に搭載されているが、車両１に搭載されるセンサ３０ｉの数は、５個に限定されるものではない。
また、車両制御装置１０と車外端末４０との間で行われる（双方向）無線通信の方式としては、例えば、無線LAN(Local Area Network)やBluetooth（登録商標）等の任意の方式を採用することができる。
さらに、車両制御装置１０と車外端末４０との間の無線通信は、ピアトゥピアで行ってもよいし、インターネット等のネットワーク経由で行ってもよい。
また、車外端末４０は、例えば、専用端末により実現することもできるし、スマートフォン等の汎用の情報処理装置にアプリケーションを実行させることにより実現することもできる。さらに、車外端末４０は、車両制御装置１０の着脱可能な１つのブロックとして構成することもできる。
＜車両１の電気的構成例＞
図２は、図１の車両１の電気的構成例を示すブロック図である。
車両１は、図１で説明したように、車両制御装置１０、車載ライト２０１及び２０２、並びに、カメラ等のセンサ３０１ないし３０５を有する。
車両制御装置１０は、表示部１１１、入力部１１２、情報処理部１１３、通信部１１４、及び、１１５を有する。
表示部１１１は、情報処理部１１３の制御に従い、各種の情報を表示する。
入力部１１２は、ユーザによって操作され、ユーザの操作に対応する入力情報を、情報処理部１１３に供給する。入力情報が入力部１１２から情報処理部１１３に供給されると、情報処理部１１３は、入力部１１２からの入力情報に応じた処理を行う。
なお、表示部１１１及び入力部１１２は、例えば、タッチパネル等を用いて、一体的に構成することができる。
情報処理部１１３は、車両制御装置１０を構成する各ブロックの制御、その他各種の処理を行う。
通信部１１４は、車載ライト２０ｊやセンサ３０ｉ等との間で、有線通信を行う。
例えば、通信部１１４は、情報処理部１１３から供給されるライト制御情報を、車載ライト２０ｊに送信する。車載ライト２０ｊは、通信部１１４からのライト制御情報に従い、点灯し、点滅し、若しくは、消灯し、又は、発光の向きや強度を変更する。
また、例えば、通信部１１４は、センサ３０ｉから送信されてくるセンサ情報を受信し、情報処理部１１３に供給する。センサ３０ｉのセンサ情報には、そのセンサ３０ｉで行われたセンシングのセンシング結果（例えば、カメラの撮影により得られるRGB(Red, Green, Blue)等を画素値として有する撮影画像や、測距センサの測距により得られる距離を画素値として有する距離画像等）と、センサ３０ｉの不具合としての汚れの汚れ状況等とが含まれる。情報処理部１１３は、通信部１１４からのセンサ３０ｉのセンサ情報に応じて、センサ３０ｉの不具合としての汚れを検出し、センサ３０ｉについて、汚れがあるかどうかを表す不具合情報を生成する。さらに、情報処理部１１３は、センサ３０ｉの不具合情報に、そのセンサ３０ｉの（車両１上の）位置を表すセンサ位置情報を含め、通信部１１５に供給して、車外端末４０に送信させる。
通信部１１５は、車外端末４０等との間で、無線通信を行う。
例えば、通信部１１５は、情報処理部１１３から供給されるセンサ３０ｉの不具合情報を、車外端末４０に送信する。
また、例えば、通信部１１５は、車外端末４０から送信されてくる位置関連情報や清掃終了通知を受信し、情報処理部１１３に供給する。
車外端末４０から送信されてくる位置関連情報は、車外端末４０の、車両１に対する相対的な位置又は方向に関する情報であり、情報処理部１１３は、位置関連情報から、車外端末４０の、車両１に対する相対的な位置（以下、単に、相対位置ともいう）を求める。すなわち、位置関連情報が、車外端末４０の、車両１に対する相対的な位置を表す場合、情報処理部１１３は、位置関連情報が表す相対的な位置を、車外端末４０の相対位置として採用する。また、位置関連情報が、車外端末４０の、車両１に対する相対的な方向を表す場合、情報処理部１１３は、例えば、位置関連情報が表す相対的な方向の、車両１から所定の距離の位置を、車外端末４０の相対位置として求める。そして、情報処理部１１３は、車外端末４０の相対位置等に応じて、車載ライト２０ｊを制御するライト制御情報を、通信部１１４に供給して、車載ライト２０ｊに送信させることで、車載ライト２０ｊを制御する。
車外端末４０から送信されてくる清掃終了通知は、汚れがあるセンサ３０ｉの清掃が終了した旨の通知であり、情報処理部１１３は、通信部１１５から清掃終了通知が供給されると、情報処理部１１３は、再び、通信部１１４からのセンサ３０ｉのセンサ情報に応じて、センサ３０ｉの不具合としての汚れ（の有無）を検出し、不具合情報を生成することを繰り返す。
＜車外端末４０の電気的構成例＞
図３は、図１の車外端末４０の電気的構成例を示すブロック図である。
車外端末４０は、通信部１４１、情報処理部１４２、カメラ１４４、及び、表示部１４５を有する。
通信部１４１は、車両制御装置１０等との間で、無線通信を行う。
例えば、通信部１４１は、情報処理部１４２（の制御部１５５）から供給される位置関連情報や清掃終了通知を、車両制御装置１０に送信する。また、通信部１４１は、車両制御装置１０（の通信部１１５）から送信されてくる不具合情報を受信し、情報処理部１４２（の制御部１５５）に供給する。
情報処理部１４２は、車両制御装置１０を構成する各ブロックの制御、その他各種の処理を行う。
情報処理部１４２は、画像処理部１５１、位置関連情報取得部１５２、画像生成部１５３、表示制御部１５４、及び、制御部１５５を有する。
画像処理部１５１には、カメラ１４４で撮影された撮影画像が供給される。画像処理部１５１は、カメラ１４４からの撮影画像が、車両１が映る車両画像である場合、その車両画像である撮影画像を、位置関連情報取得部１５２に供給するとともに、必要に応じて、表示制御部１５４に供給する。
また、画像処理部１５１は、車両画像である撮影画像から、車両１のCG(Computer Graphics)を生成し、そのCGとしての車両画像を、表示制御部１５４に供給する。
位置関連情報取得部１５２は、画像処理部１５１からの車両画像である撮影画像等を用い、例えば、SLAM(Simultaneous Localization and Mapping)によって、車外端末４０の、車両１に対する相対的な位置又は方向に関する位置関連情報を推定することにより取得し、画像生成部１５３、及び、制御部１５５に供給する。
ここで、位置関連情報取得部１５２では、SLAMにより、車外端末４０の位置関連情報を取得することとしたが、車外端末４０の位置関連情報は、その他の任意の方法で取得することができる。
例えば、車外端末４０の位置関連情報は、車両画像である撮影画像に映る車両１の形状から推定することができる。また、車両１に所定のマーカを設けておき、車両画像である撮影画像に映る車両１上のマーカから、車外端末４０の位置関連情報を推定することができる。さらに、車両１から指向性の強い電波を送信し、その電波の、車外端末４０での受信状況から、車外端末４０の位置関連情報を推定することができる。また、車両１及び車外端末４０にGPS(Global Positioning System)機能が搭載されている場合には、そのGPS機能により得られる車両１及び車外端末４０の位置から、車外端末４０の位置関連情報を推定することができる。さらに、車両１のセンサ３０ｉが測距のための赤外線を発する場合や、車両１に可視光を発するLEDが設けられている場合には、その赤外線や可視光の、車外端末４０での受光状況から、車外端末４０の位置関連情報を推定することができる。
以上は、車外端末４０において位置関連情報を求める方法であるが、車外端末４０の位置関連情報は、車外端末４０ではなく、車両１で求めることができる。そして、車両１で求められた位置関連情報を、車両１から車外端末４０に送信し、車外端末４０において、車両１からの位置関連情報を受信することにより取得することができる。
車両１では、例えば、カメラとしてのセンサ３０ｉによって、車外端末４０を所持して、車外にいるユーザを撮影し、その撮影により得られる撮影画像に映るユーザを認識することにより、ユーザの位置関連情報を、車外端末４０の位置関連情報として求めることができる。また、例えば、１つのセンサ３０ｉとして人感センサを採用し、その人感センサのセンシング結果から、ユーザの位置関連情報を、車外端末４０の位置関連情報として求めることができる。さらに、車外端末４０から指向性の強い電波を送信し、その電波の、車両１での受信状況から、車外端末４０の位置関連情報を求める（推定する）ことができる。また、車外端末４０が赤外線や可視光を発することができる場合には、その赤外線や可視光の、車両１での受光状況から、車外端末４０の位置関連情報を求めることができる。
その他、車外端末４０の位置関連情報は、上述の方法を複数組み合わせて求め、ロバスト性を向上させることができる。
画像生成部１５３には、位置関連情報取得部１５２から、車外端末４０の位置関連情報が供給される他、制御部１５５から、車両制御装置１０から送信されてくる不具合情報が供給される。画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。
表示制御部１５４は、各種の画像を表示部１４５に供給して表示させる表示制御を行う。また、表示制御部１５４は、画像処理部１５１から供給される撮影画像の車両画像、又は、CGの車両画像に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。
制御部１５５は、情報処理部１４２の各ブロックの制御、その他各種の処理を行う。
例えば、制御部１５５は、入力部１４３の操作に応じて、清掃終了通知を生成し、通信部１４１に供給して送信させる。また、制御部１５５は、位置関連情報取得部１５２から供給される位置関連情報を、通信部１４１に供給して送信させる。さらに、制御部１５５は、通信部１４１から供給される、車両制御装置１０から送信されてくる不具合情報を、画像生成部１５３に供給する。
入力部１４３は、ユーザによって操作され、ユーザの操作に対応する入力情報を、制御部１５５に供給する。
カメラ１４４は、例えば、車両１等の被写体を撮影し、その撮影により得られる撮影画像を、画像処理部１５１に供給する。
表示部１４５は、表示制御部１５４の表示制御に従い、表示制御部１５４から供給される合成画像等の画像を表示する。
なお、入力部１４３及び表示部１４５は、例えば、タッチパネル等を用いて、一体的に構成することができる。
図２の車両１及び図３の車外端末４０で構成される図１の車両制御システムでは、例えば、車両１の車両制御装置１０が起動し、かつ、車両１が安全な場所で停車している状態の、あらかじめ決められたタイミングで、センサ３０ｉの不具合としての汚れを、ユーザに報知する報知処理が開始される。あらかじめ決められたタイミングとしては、例えば、ユーザが車両１に近づいたとき（車両１の所定の範囲内に入ったとき）や、ユーザが車外から車両１のロック（キー）を解除したとき、ユーザが車両１のエンジンをかけたとき等を採用することができる。
なお、車両制御装置１０において十分な電力を使用することができるように、報知処理は、車両１のエンジンがかかっている状態で行うことが望ましい。但し、車両１が電気自動車である場合には、車両１のエンジンをかけなくても、車両制御装置１０において十分な電力を使用することができるので、報知処理は、車両１のエンジンがかかっていない状態で行ってもよい。
また、車両１の走行中に、車外端末４０に合成画像等が表示されても、車両１の運転をしているユーザは、車外端末４０に表示された合成画像等を見ることができないため、車両１の走行中には、車外端末４０に合成画像等を表示しないこととする。
車両制御装置１０（図２）において報知処理が開始されると、センサ３０ｉは、そのセンサ３０ｉの不具合としての汚れの汚れ状況を取得し、センサ情報に含めて送信する。センサ３０ｉが送信するセンサ情報は、通信部１１４で受信され、情報処理部１１３に供給される。なお、センサ３０ｉの汚れ状況の取得の方法としては、任意の方法を採用することができる。また、センサ３０ｉの汚れ状況は、報知処理を開始したときの他、任意のタイミングで取得することができる。例えば、車両１が走行しているときや、停車しているとき等に、センサ３０ｉの汚れ状況を取得して、車両制御装置１０やセンサ３０ｉの図示せぬメモリに記憶しておくことができる。そして、その後に行われる報知処理において、メモリに記憶されたセンサ３０ｉの汚れ状況を用いることができる。
情報処理部１１３は、通信部１１４からのセンサ情報（に含まれる汚れ状況）から、不具合としての汚れがあるセンサ３０ｉを検出する（センサ３０ｉの汚れを検出する）。汚れがあるセンサ３０ｉが検出された場合、情報処理部１１３は、センサ３０ｉが汚れている旨等の情報を、表示部１１１に表示させる。さらに、情報処理部１１３は、汚れがあるセンサ３０ｉの位置や汚れの状況（状態）等を、表示部１１１に表示させる。
また、情報処理部１１３は、センサ３０ｉについて、汚れがあるかどうかを表す不具合情報を生成する。さらに、情報処理部１１３は、センサ３０ｉの不具合情報に、そのセンサ３０ｉの位置を表すセンサ位置情報を含め、通信部１１５に供給して、車外端末４０に送信させる。
車両１の車内にいるユーザは、表示部１１１の表示を見て、センサ３０ｉに汚れがあることを認識した場合、汚れがあるセンサ３０ｉの清掃を行う。
汚れがあるセンサ３０ｉの清掃にあたり、ユーザは、車外端末４０を所持して、車外に出て、車外端末４０によって、汚れがあるセンサ３０ｉを確認する。そのため、ユーザは、車外に出て、車外端末４０としてのスマートフォンの表示部１４５を、自分側に向け、表示部１４５の反対側（表示部１４５が設けられている側を表側とすると、裏面側）に設けられたカメラ１４４で、車両１を撮影するような姿勢をとる。
車外端末４０（図３）において報知処理が開始されると、カメラ１４４は撮影を開始する。
これにより、カメラ１４４では、車外端末４０の位置（ユーザの位置）から見た車両１が映る車両画像としての撮影画像が撮影され、画像処理部１５１に供給される。画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像を、位置関連情報取得部１５２に供給する。
さらに、画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像を、表示制御部１５４に供給する。又は、画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像から、車外端末４０の位置から見た車両１のCGを生成し、そのCGとしての車両画像を、表示制御部１５４に供給する。
表示制御部１５４は、画像処理部１５１からの車両画像を、表示部１４５に表示させる。
一方、位置関連情報取得部１５２は、画像処理部１５１からの車両画像としての撮影画像を用い、車外端末４０の、車両１に対する相対的な位置又は方向に関する位置関連情報を推定することにより取得し、画像生成部１５３、及び、制御部１５５に供給する。制御部１５５に供給された位置関連情報は、通信部１４１を介して、車両制御装置１０に送信され、必要に応じて、車載ライト２０ｊの制御等に用いられる。
また、車外端末４０（図３）では、通信部１４１が、車両制御装置１０の通信部１１５から送信されてくる不具合情報を受信し、制御部１５５に供給する。制御部１５５は、通信部１４１からの不具合情報を、画像生成部１５３に供給する。
画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。
表示制御部１５４は、画像生成部１５３から不具合画像が供給されると、画像処理部１５１から供給される、車外端末４０の位置から見た車両１が映る車両画像（撮影画像又はCG）に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。
合成画像は、車外端末４０の位置、すなわち、ユーザの位置から見た車両１が映る車両画像に、不具合があるセンサ３０ｉの位置を表す不具合画像が合成された画像であるので、ユーザは、合成画像を見ることにより、車両１に搭載されたセンサ３０１ないし３０５の中の不具合としての汚れがあるセンサ３０ｉの位置を、容易に認識することができる。すなわち、ユーザは、車外端末４０の表示部１４５に表示された合成画像を見ることで、車両制御装置１０の表示部１１１に表示された汚れがあるセンサ３０ｉの位置を見るために車内に戻ることなく、汚れがあるセンサ３０ｉの位置を認識することができる。その結果、ユーザの利便性を向上することができる。
汚れがあるセンサ３０ｉの位置を認識したユーザは、そのセンサ３０ｉに近寄って清掃する。センサ３０ｉの清掃を終了したユーザは、清掃終了通知を通知するように、入力部１４３を操作する。制御部１５５は、入力部１４３の操作に応じて、清掃終了通知を、通信部１４１に送信させる。
通信部１４１が送信した清掃終了通知は、車両制御装置１０の通信部１１５で受信され、情報処理部１１３に供給される。情報処理部１１３は、清掃終了通知に応じて、再度、通信部１１４からのセンサ情報から、不具合としての汚れがあるセンサ３０ｉを検出する。そして、汚れがあるセンサ３０ｉが検出された場合、上述した場合と同様の処理が繰り返される。
一方、汚れがあるセンサ３０ｉが検出されなかった場合、車両制御装置１０及び車外端末４０の報知処理は終了する。
なお、ここでは、清掃終了通知を、車両制御装置１０の情報処理部１１３に通知するために、車外端末４０の入力部１４３を操作することとしたが、その他、車両制御装置１０の入力部１１２を操作することにより、清掃終了通知を、情報処理部１１３に通知することができる。
また、表示制御部１５４では、車外端末４０の位置から見た車両１が映る車両画像に不具合画像を合成した合成画像の他、車両１を俯瞰した俯瞰画像に不具合画像を合成した合成画像を生成して、表示部１４５に表示させることができる。
＜合成画像の表示例＞
図４は、合成画像の第１の表示例としてのAR(Augmented Reality)表示を説明する図である。
AR表示では、車外端末４０の位置から車両１をカメラ１４４で撮影した車両画像としての撮影画像に、不具合画像を合成した合成画像が表示される。
図４では、車両１上の汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像として、その不具合画像が車両画像としての撮影画像に合成された合成画像が、表示部１４５に表示されている。
なお、図４では、車外端末４０を所持したユーザが、車両１の後方に位置している場合と、車両１の（前方に向って）左側のやや後方に位置している場合とにおいて、表示部１４５に表示される合成画像が示されている。
AR表示によれば、ユーザ（が所持している車外端末４０）の位置から見た車両１の車両画像と、汚れがあるセンサ３０ｉの位置を表す不具合画像とが表示されるので、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
図５は、合成画像の第２の表示例としてのVR(Virtual Reality)表示を説明する図である。
VR表示では、車外端末４０の位置から車両１をカメラ１４４で撮影した車両画像から3D(dimensional)モデル等を用いて生成された、車外端末４０の位置から見た車両１が映る車両画像としてのCGに、不具合画像を合成した合成画像が表示される。
図５では、車両１上の汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像として、その不具合画像が車両画像としてのCGに合成された合成画像が、表示部１４５に表示されている。
なお、図５では、図４の場合と同様に、車外端末４０を所持したユーザが、車両１の後方に位置している場合と、車両１の左側のやや後方に位置している場合とにおいて、表示部１４５に表示される合成画像が示されている。
VR表示によれば、AR表示と同様に、ユーザ（が所持している車外端末４０）の位置から見た車両１の車両画像と、汚れがあるセンサ３０ｉの位置を表す不具合画像とが表示されるので、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
ここで、AR表示とVR表示とは、車外端末４０の位置から車両１を見た車両画像に、不具合画像を合成した合成画像が表示される点で共通する。但し、AR表示の車両画像は、カメラ１４４で撮影された撮影画像であるのに対して、VR表示の車両画像は、CGである点で、AR表示とVR表示とは異なる。
図６は、合成画像の第３の表示例としての俯瞰表示を説明する図である。
俯瞰表示では、車両１を俯瞰した車両画像（以下、俯瞰画像ともいう）に、不具合画像と、車外端末４０の相対位置を表す相対位置画像とを合成した合成画像が表示される。
図６では、車両１上の汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像とするとともに、車外端末４０の相対位置を表す円形状の画像と、その相対位置がユーザの位置であることを表すメッセージ「現在地」とを、相対位置画像として、不具合画像及び相対位置画像が俯瞰画像に合成された合成画像が、表示部１４５に表示されている。
俯瞰画像としては、例えば、パーキングアシストシステム用の、車両１を俯瞰した画像等を使用することができる。
俯瞰表示によれば、車両１を俯瞰した俯瞰画像、汚れがあるセンサ３０ｉの位置を表す不具合画像、及び、ユーザ（が所持している車外端末４０）の相対位置（現在地）を表す相対位置画像が表示されるので、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
以上説明したAR表示、VR表示、及び、俯瞰表示は、必要に応じて切り替えることができる。
例えば、AR表示、VR表示、及び、俯瞰表示は、ユーザの操作に応じて切り替えることができる。
その他、AR表示、VR表示、及び、俯瞰表示の切り替えは、以下のように行うことができる。
例えば、ユーザの位置、すなわち、車外端末４０の位置から、汚れがあるセンサ３０ｉが見えない場合には、車外端末４０では、俯瞰表示を行うことができる。
また、車外端末４０の位置から、汚れがあるセンサ３０ｉが見える場合には、車外端末４０では、AR表示又はVR表示を行うことができる。
この場合、車外端末４０の位置から、汚れがあるセンサ３０ｉが見えないときには、俯瞰表示によって、汚れがあるセンサ３０ｉが見える位置への移動を、ユーザに促すことができる。そして、ユーザが、汚れがあるセンサ３０ｉが見える位置に移動した後は、AR表示又はVR表示によって、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
また、車外端末４０では、例えば、カメラ１４４で撮影された車両画像の明るさに応じて、AR表示又はVR表示を行うことができる。例えば、車両画像の輝度の平均値が閾値以上である場合には、AR表示を行い、車両画像の輝度の平均値が閾値以上でない場合には、VR表示を行うことができる。
例えば、夜間においては、カメラ１４４で撮影された車両画像が暗く、その車両画像に映る車両１が視認しにくいことがある。この場合、その車両画像に不具合画像を合成した合成画像でも、その合成画像に映る車両１が視認しにくくなる。
そこで、カメラ１４４で撮影された車両画像が暗く、例えば、車両画像の輝度の平均値が閾値以上でない場合には、車両１のCGを表示するVR表示を行うことで、合成画像に映る車両１が視認しにくくなることを防止することができる。
なお、ここでは、カメラ１４４で撮影された車両画像の明るさ（車両画像が暗いかどうか）を、車両画像の輝度の平均値によって判定することとしたが、カメラ１４４で撮影された車両画像の明るさは、その他、例えば、照度計により計測される照度等によって判定することができる。
また、合成画像を生成するのに用いる不具合画像としては、上述した汚れがあるセンサ３０ｉの位置を表す画像の他、汚れがあるセンサ３０ｉの位置を分かりやすく表示する任意のGUI(Graphical User Interface)を採用することができる。
＜報知処理に同期した車両１の設備の制御＞
図７は、報知処理に同期した車両１の設備の制御の例を説明する図である。
車両制御装置１０では、報知処理が行われるのに同期して（報知処理と並行して）、汚れがあるセンサ３０ｉの位置を、ユーザが容易に認識することを補助するために、車両１の設備を制御することができる。
汚れがあるセンサ３０ｉの位置を、ユーザが容易に認識することを補助するために、車両制御装置１０が行う車両１の設備の制御を、補助制御ということとすると、車両制御装置１０では、車外端末４０から送信されてくる、車外端末４０の位置関連情報や、周囲の明るさ等に応じて、補助制御を行うことができる。
例えば、車両制御装置１０では、周囲の明るさに応じて、周囲の明るさが暗い場合には、図７に示すように、情報処理部１１３が、通信部１１４を介して、汚れがあるセンサ３０ｉに近い車載ライト２０ｊ（汚れがあるセンサ３０ｉの周辺の車載ライト２０ｊ）を制御することにより、その車載ライト２０ｊを、所定の明るさで点灯させることができる。この場合、例えば、夜間において、汚れがあるセンサ３０ｉに近い車載ライト２０ｊが点灯するので、ユーザが、汚れがあるセンサ３０ｉを見つけることや、汚れがあるセンサ３０ｉの洗浄作業を補助することができる。
また、車両制御装置１０では、車外端末４０から送信されてくる、車外端末４０の位置関連情報が、通信部１１５で受信され、情報処理部１１３に供給される。情報処理部１１３では、通信部１１５からの位置関連情報から、車外端末４０の相対位置が求められる。情報処理部１１３では、車外端末４０の相対位置を用いて、汚れがあるセンサ３０ｉが、車外端末４０の位置、すなわち、ユーザの位置から見えるかどうかを判定することができる。そして、情報処理部１１３では、周囲の明るさが暗く、かつ、汚れがあるセンサ３０ｉが、車外端末４０の位置から見える場合に、上述のように、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを制御して点灯させることができる。
なお、周囲が暗いかどうかは、カメラ１４４で撮影される撮影画像の明るさ（輝度）や、照度計により計測される照度等により判定することができる。
情報処理部１１３では、その他、車外端末４０の相対位置に応じて、車載ライト２０ｊを制御して点滅又は点灯させることができる。
例えば、ユーザ（が所持する車外端末４０）が、汚れがあるセンサ３０ｉから離れている場合には、情報処理部１１３は、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを制御して点滅させることができる。この場合、点滅する車載ライト２０ｊによって、ユーザは、汚れがあるセンサ３０ｉのおおよその位置を認識することができる。
また、例えば、ユーザが、汚れがあるセンサ３０ｉに近くに位置している場合には、情報処理部１１３は、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを制御して、比較的高い光強度で点灯させることができる。この場合、例えば、汚れがあるセンサ３０ｉのおおよその位置を認識したユーザが、その汚れがあるセンサ３０ｉに近づいたときに、汚れがあるセンサ３０ｉの近くが明るく照らされるので、ユーザは、汚れがあるセンサ３０ｉの汚れ具合を確認することや、夜間におけるセンサ３０ｉの洗浄作業を補助することができる。
なお、情報処理部１１３は、車載ライト２０ｊを点灯又は点滅させた場合、ユーザの操作等に応じて、又は、清掃終了通知が通知されるのを待って、車載ライト２０ｊを消灯させることができる。
＜報知処理＞
図８は、図２の車両制御装置１０の報知処理を説明するフローチャートである。
ステップＳ１１において、車両制御装置１０の情報処理部１１３は、通信部１１４を介して、各センサ３０ｉから、センサ３０ｉのセンサ情報を取得し、処理は、ステップＳ１２に進む。
ステップＳ１２では、情報処理部１１３が、各センサ３０ｉのセンサ情報を用いて、汚れがあるセンサ３０ｉがあるかどうか判定する。ここで、ステップＳ１２の処理を行う情報処理部１１３は、センサ３０ｉの不具合としての汚れを検出する不具合検出部として機能するということができる。
ステップＳ１２において、汚れがあるセンサ３０ｉがないと判定された場合、処理は、ステップＳ１３に進み、情報処理部１１３は、不具合としての汚れがない旨の不具合情報を生成し、通信部１１５から、車外端末４０に送信させ、車両制御装置１０の報知処理は終了する。
一方、ステップＳ１２において、汚れがあるセンサ３０ｉがあると判定された場合、処理は、ステップＳ１４に進み、情報処理部１１３は、不具合としての汚れがある旨の不具合情報を生成する。さらに、情報処理部１１３は、不具合情報に、汚れがあるセンサ３０ｉそれぞれの位置を表すセンサ位置情報を含め、通信部１１５から、車外端末４０に送信させ、処理は、ステップＳ１４からステップＳ１５に進む。
ステップＳ１５では、情報処理部１１３は、車外端末４０から清掃終了通知を受信したかどうかを判定する。ステップＳ１５において、清掃終了通知を受信していないと判定された場合、処理は、ステップＳ１６に進み、情報処理部１１３は、必要に応じて、車外端末４０の位置関連情報等に応じ、通信部１１４を介して、車載ライト２０ｊを制御することにより、例えば、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを点灯させる。そして、処理は、ステップＳ１６からステップＳ１５に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１５において、清掃終了通知を受信したと判定された場合、すなわち、例えば、ユーザが、汚れがあるセンサ３０ｉの清掃を行い、その後、清掃終了通知を通知するように、車外端末４０を操作することにより、車外端末４０から車両制御装置１０に、清掃終了通知が送信された場合、処理は、ステップＳ１７に進む。
ステップＳ１７では、ステップＳ１６で車載ライト２０ｊが点灯された場合に、情報処理部１１３が、通信部１１４を介して、車載ライト２０ｊを制御することにより消灯させ、処理は、ステップＳ１１に戻る。したがって、ユーザが、汚れがあるセンサ３０ｉの清掃を行い、不具合としての汚れが解消された（と一応推測される）場合、点灯していた車載ライト２０ｊは消灯する。
そして、ステップＳ１１では、上述のように、情報処理部１１３が、各センサ３０ｉのセンサ情報を取得し、以下、ステップＳ１２において、汚れがあるセンサ３０ｉがないと判定されるまで、同様の処理が繰り返される。
図９は、図３の車外端末４０の報知処理を説明するフローチャートである。
ステップＳ２１において、車外端末４０の制御部１５５は、車両制御装置１０からの不具合情報を取得し、処理は、ステップＳ２２に進む。すなわち、通信部１４１は、車両制御装置１０から不具合情報が送信されてくるのを待って、その不具合情報を受信し、制御部１５５に供給する。制御部１５５は、そのようにして通信部１４１から供給される不具合情報を取得する。
ステップＳ２２では、制御部１５５は、ステップＳ２１で取得した車両制御装置１０からの不具合情報を用いて、汚れのあるセンサ３０ｉがあるかどうかを判定する。
ステップＳ２２において、汚れのあるセンサ３０ｉがあると判定された場合、すなわち、車両制御装置１０からの不具合情報が、汚れがある旨を表し、その汚れがあるセンサ３０ｉのセンサ位置情報を含む場合、制御部１５５は、車両制御装置１０からの不具合情報を、画像生成部１５３に供給して、処理は、ステップＳ２３に進む。
ステップＳ２３では、制御部１５５は、清掃終了通知を通知するように、入力部１４３が操作されたかどうかを判定する。
ステップＳ２３において、清掃終了通知を通知するように、入力部１４３が操作されていないと判定された場合、処理は、ステップＳ２４に進み、位置関連情報取得部１５２は、車外端末４０の位置関連情報を取得し、制御部１５５及び画像生成部１５３に供給して、処理は、ステップＳ２５に進む。
ステップＳ２５では、画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。
表示制御部１５４は、画像処理部１５１から供給される車両画像、又は、車両１を俯瞰した車両画像に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。
また、制御部１５５は、位置関連情報取得部１５２からの位置関連情報を、通信部１４１から車両制御装置１０に送信させ、処理は、ステップＳ２５からステップＳ２３に戻る。
ここで、以上のようにして、通信部１４１から車両制御装置１０に送信される位置関連情報が、図８のステップＳ１６の処理に用いられる。
一方、ステップＳ２３において、清掃終了通知を通知するように、入力部１４３が操作されたと判定された場合、処理は、ステップＳ２６に進み、制御部１５５は、清掃終了通知を、通信部１４１から車両制御装置１０に送信させ、処理は、ステップＳ２１に戻る。
ステップＳ２１では、上述したように、車両制御装置１０からの不具合情報が取得され、処理は、ステップＳ２２に進む。
そして、ステップＳ２２において、汚れのあるセンサ３０ｉがないと判定された場合、すなわち、車両制御装置１０からの不具合情報が、汚れがない旨を表す場合、車外端末４０の報知処理は終了する。
＜汚れの位置を表す画像を含む不具合画像の表示＞
図１０は、汚れの位置を表す画像を含む不具合画像の表示の表示例を示す図である。
例えば、センサ３０ｉが比較的大きなサイズのカメラである場合に、そのセンサ３０ｉとしてのカメラのレンズの一部が汚れており、その汚れの（レンズ上の）位置を、車両制御装置１０で検出することができるときには、不具合情報には、センサ３０ｉとしてのカメラの汚れの位置（範囲）を表す汚れ位置情報を含めることができる。
この場合、車外端末４０（図３）の画像生成部１５３は、汚れがあるセンサ３０ｉの汚れの位置を表す画像を含む不具合画像を生成することができる。
図１０は、車外端末４０の位置から車両１を見た車両画像に、汚れがあるセンサ３０ｉの汚れの位置を表す画像を含む不具合画像を合成した合成画像の表示例を示している。
図１０では、汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とが、不具合画像として表示されている。さらに、図１０では、汚れがあるセンサ３０ｉとしてのカメラを模した画像上に汚れとしての影を付した画像を、汚れの位置を表す汚れ位置画像として、その汚れ位置画像を含む不具合画像が表示されている。
以上のように、汚れ位置画像を表示する場合には、ユーザは、汚れがあるセンサ３０ｉ上のどの位置が汚れているのかを、容易に認識することができる。
なお、汚れ位置画像において、汚れの位置は、例えば、画像の色を変更することや、点滅させること等により表すことができる。
また、ユーザが、汚れがあるセンサ３０ｉを清掃し、汚れがなくなった場合には、車外端末４０において、不具合画像の表示を、汚れがなくなったことを表す画像の表示に変更することできる。
図１０では、汚れがなくなったことを表す画像として、汚れがあったセンサ３０ｉの位置を表す円形状の画像と、メッセージ「汚れが落ちました」が記載された吹き出しの画像とが表示されている。さらに、図１０では、汚れがなくなったことを表す画像として、汚れがないセンサ３０ｉとしてのカメラを模した画像が表示されている。
＜発光部を有するセンサ３０ｉの構成例＞
図１１は、発光部を有するセンサ３０ｉの構成例を示す断面図及び平面図である。
車両１においては、センサ３０ｉの周辺の位置（近い位置）に、車載ライト２０ｊが装備されているとは限らない。センサ３０ｉの周辺の位置に、車載ライト２０ｊが装備されていない場合、汚れがあるセンサ３０ｉの最も近い位置の車載ライト２０ｊが、図７で説明したように点灯されても、汚れがあるセンサ３０ｉから大きく離れた車載ライト２０ｊが点灯されることがある。このように、汚れがあるセンサ３０ｉから大きく離れた車載ライト２０ｊが点灯されることは、汚れがあるセンサ３０ｉの位置を、ユーザが容易に認識することを補助することにならず、却って妨げとなることがあり得る。
そこで、車両１に搭載されるセンサ３０ｉとしては、発光部を有するセンサ３０ｉを採用することができる。
図１１において、センサ３０ｉは、例えば、カメラで、イメージセンサ等で構成される光学センサ２００を有する。光学センサ２００の受光面側には、レンズ２０１が設けられている。さらに、光学センサ２００の周囲には、円環状の基板２０２が設けられ、その基板２０２上には、光学センサ２００（レンズ２０１）を囲むように、複数の発光部２０３が設けられている。
ここで、発光部２０３は、LED等で構成することができる。また、図１１では、８個の発光部２０３が設けられているが、センサ３０ｉに設ける発光部２０３の数は、１個でも良いし、８個以外の複数個でも良い。
以上のように、センサ３０ｉが発光部２０３を有する場合には、車載ライト２０ｊに代えて、汚れがあるセンサ３０ｉが有する発光部２０３を点灯又は点滅させることができる。汚れがあるセンサ３０ｉが有する発光部２０３を点灯又は点滅させる場合には、汚れがあるセンサ３０ｉの周辺の車載ライト２０ｊを点灯又は点滅させる場合に比較して、汚れがあるセンサ３０ｉのより正確な位置を、ユーザが容易に認識することができる。
なお、不具合画像や合成画像は、車外端末４０で生成する他、車両制御装置１０やクラウド上のコンピュータで生成し、車外端末４０に供給することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述した車両制御装置１０や車外端末４０の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理装置。
＜２＞
前記表示制御部は、前記位置関連情報に応じて、前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示させる
＜１＞に記載の情報処理装置。
＜３＞
前記表示制御部は、前記位置関連情報に応じて、前記情報処理装置の位置から前記車両を見た前記車両画像に、前記不具合画像を合成した前記合成画像を表示させる
＜１＞に記載の情報処理装置。
＜４＞
前記車両画像は、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)、又は、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像である
＜３＞に記載の情報処理装置。
＜５＞
前記表示制御部は、
前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
を切り替える
＜１＞に記載の情報処理装置。
＜６＞
前記表示制御部は、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
＜５＞に記載の情報処理装置。
＜７＞
前記表示制御部は、前記撮影画像の明るさに応じて、前記VR表示又は前記AR表示を行う
＜５＞に記載の情報処理装置。
＜８＞
前記車両は、前記不具合があるセンサの周辺の発光部を点灯させる
＜１＞ないし＜７＞のいずれかに記載の情報処理装置。
＜９＞
前記車両は、前記不具合があるセンサの不具合が解消された場合に、前記発光部を消灯させる
＜８＞に記載の情報処理装置。
＜１０＞
前記センサは、前記発光部を有する
＜８＞又は＜９＞に記載に情報処理装置。
＜１１＞
前記センサは、カメラである
＜１＞ないし＜１０＞のいずれかに記載の情報処理装置。
＜１２＞
前記不具合は、前記センサの汚れである
＜１＞ないし＜１１＞のいずれかに記載の情報処理装置。
＜１３＞
前記不具合画像は、前記汚れがあるセンサの前記汚れの位置を表す画像を含む
＜１２＞に記載の情報処理装置。
＜１４＞
携帯端末である
＜１＞ないし＜１３＞のいずれかに記載の情報処理装置。
＜１５＞
車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることと
を含む情報処理方法。
＜１６＞
車両に搭載されるセンサと、
前記センサの不具合を検出する不具合検出部と、
画像を表示する表示部と、
前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理システム。
１ 車両， １０ 車両制御装置， ２０１，２０２ 車載ライト， ３０１ないし３０５ センサ， ４０ 車外端末， １１１ 表示部， １１２ 入力部， １１３ 情報処理部， １１４，１１５，１４１ 通信部， １４２ 情報処理部， １４３ 入力部， １４４ カメラ， １４５ 表示部， １５１ 画像処理部， １５２ 位置関連情報取得部， １５３ 画像生成部， １５４ 表示制御部， １５５ 制御部， ２００ 光学センサ， ２０１ レンズ， ２０２ 基板， ２０３ 発光部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (16)

  1. 車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
    前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
    を備える情報処理装置。
  2. 前記表示制御部は、前記位置関連情報に応じて、前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示させる
    請求項１に記載の情報処理装置。
  3. 前記表示制御部は、前記位置関連情報に応じて、前記情報処理装置の位置から前記車両を見た前記車両画像に、前記不具合画像を合成した前記合成画像を表示させる
    請求項１に記載の情報処理装置。
  4. 前記車両画像は、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)、又は、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像である
    請求項３に記載の情報処理装置。
  5. 前記表示制御部は、
    前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
    前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
    前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
    を切り替える
    請求項１に記載の情報処理装置。
  6. 前記表示制御部は、
    前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
    前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
    請求項５に記載の情報処理装置。
  7. 前記表示制御部は、前記撮影画像の明るさに応じて、前記VR表示又は前記AR表示を行う
    請求項５に記載の情報処理装置。
  8. 前記車両は、前記不具合があるセンサの周辺の発光部を点灯させる
    請求項１に記載の情報処理装置。
  9. 前記車両は、前記不具合があるセンサの不具合が解消された場合に、前記発光部を消灯させる
    請求項８に記載の情報処理装置。
  10. 前記センサは、前記発光部を有する
    請求項８に記載に情報処理装置。
  11. 前記センサは、カメラである
    請求項１に記載の情報処理装置。
  12. 前記不具合は、前記センサの汚れである
    請求項１に記載の情報処理装置。
  13. 前記不具合画像は、前記汚れがあるセンサの前記汚れの位置を表す画像を含む
    請求項１２に記載の情報処理装置。
  14. 携帯端末である
    請求項１に記載の情報処理装置。
  15. 車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、
    前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることと
    を含む情報処理方法。
  16. 車両に搭載されるセンサと、
    前記センサの不具合を検出する不具合検出部と、
    画像を表示する表示部と、
    前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
    前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
    を備える情報処理システム。
JP2020523620A 2018-06-07 2019-05-24 情報処理装置、情報処理方法、及び、情報処理システム Active JP7414715B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018109523 2018-06-07
JP2018109523 2018-06-07
PCT/JP2019/020586 WO2019235245A1 (ja) 2018-06-07 2019-05-24 情報処理装置、情報処理方法、及び、情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2019235245A1 true JPWO2019235245A1 (ja) 2021-06-24
JP7414715B2 JP7414715B2 (ja) 2024-01-16

Family

ID=68770756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523620A Active JP7414715B2 (ja) 2018-06-07 2019-05-24 情報処理装置、情報処理方法、及び、情報処理システム

Country Status (7)

Country Link
US (1) US11557030B2 (ja)
EP (1) EP3805048B1 (ja)
JP (1) JP7414715B2 (ja)
KR (1) KR102658704B1 (ja)
CN (2) CN110576792A (ja)
TW (1) TWI805725B (ja)
WO (1) WO2019235245A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11318916B2 (en) * 2019-06-13 2022-05-03 Ford Global Technologies, Llc Vehicle maintenance
JP2021150792A (ja) * 2020-03-18 2021-09-27 株式会社デンソー 車両用表示制御装置及び車両用システム
JP7303171B2 (ja) 2020-10-28 2023-07-04 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06288873A (ja) * 1993-03-30 1994-10-18 Suzuki Motor Corp 故障診断システム
JP2000115759A (ja) * 1998-10-05 2000-04-21 Sony Corp 撮像表示装置
JP2005186659A (ja) * 2003-12-24 2005-07-14 Honda Motor Co Ltd 始業点検補助装置
JP2005346468A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法、画像処理装置
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体
JP2014164482A (ja) * 2013-02-25 2014-09-08 Tokyo Electron Ltd 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
JP2015019271A (ja) * 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置
JP2017086542A (ja) * 2015-11-11 2017-05-25 株式会社コロプラ 画像変更システム、方法、及びプログラム
JP2018056794A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 周辺監視装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6550949B1 (en) * 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
JP3807331B2 (ja) * 2002-03-06 2006-08-09 日産自動車株式会社 カメラの汚れ検出装置およびカメラの汚れ検出方法
JP4052662B2 (ja) 2006-04-17 2008-02-27 オリンパス株式会社 電子スチルカメラ
JP2009225322A (ja) 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
JP5521990B2 (ja) 2010-11-16 2014-06-18 株式会社デンソー 車載カメラ用付着物報知装置
KR101232639B1 (ko) * 2011-06-02 2013-02-13 유비벨록스(주) 차량의 자기 진단 상태를 3차원 모델링하여 시각적으로 표시하기 위한 시스템, 이동 단말기 및 방법
JP2014011785A (ja) * 2012-07-03 2014-01-20 Clarion Co Ltd 車載カメラ汚れ除去装置の診断装置、診断方法及び車両システム
DE102012222126B4 (de) * 2012-12-04 2020-06-04 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera, Verfahren zum Reinigen einer Fahrzeugkamera und Kamerasystem für ein Fahrzeug
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US9472028B2 (en) * 2014-06-23 2016-10-18 GM Global Technology Operations LLC Augmented reality based interactive troubleshooting and diagnostics for a vehicle
KR101667732B1 (ko) * 2015-01-23 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6585995B2 (ja) 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
US20190149813A1 (en) * 2016-07-29 2019-05-16 Faraday&Future Inc. Method and apparatus for camera fault detection and recovery
US10909779B2 (en) * 2016-08-11 2021-02-02 Tekion Corp 3D vehicle model data capturing and retrieving for vehicle inspection, service and maintenance
KR102526083B1 (ko) 2016-08-30 2023-04-27 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR101750875B1 (ko) * 2017-03-16 2017-06-26 엘지전자 주식회사 차량용 진단 장치
US20180342054A1 (en) * 2017-05-26 2018-11-29 Bsquare Corp. System and method for constructing augmented and virtual reality interfaces from sensor input
KR102017802B1 (ko) * 2017-12-21 2019-09-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10657721B2 (en) * 2018-02-09 2020-05-19 Paccar Inc Systems and methods for providing augmented reality support for vehicle service operations
US20190279438A1 (en) * 2018-03-09 2019-09-12 Progress Rail Locomotive Inc. Systems and methods for servicing a vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06288873A (ja) * 1993-03-30 1994-10-18 Suzuki Motor Corp 故障診断システム
JP2000115759A (ja) * 1998-10-05 2000-04-21 Sony Corp 撮像表示装置
JP2005186659A (ja) * 2003-12-24 2005-07-14 Honda Motor Co Ltd 始業点検補助装置
JP2005346468A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法、画像処理装置
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体
JP2014164482A (ja) * 2013-02-25 2014-09-08 Tokyo Electron Ltd 支援情報表示方法、基板処理装置の保守支援方法、支援情報表示制御装置、基板処理システム及びプログラム
JP2015019271A (ja) * 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置
JP2017086542A (ja) * 2015-11-11 2017-05-25 株式会社コロプラ 画像変更システム、方法、及びプログラム
JP2018056794A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
EP3805048B1 (en) 2022-12-14
TW202000517A (zh) 2020-01-01
JP7414715B2 (ja) 2024-01-16
CN210760472U (zh) 2020-06-16
EP3805048A1 (en) 2021-04-14
CN110576792A (zh) 2019-12-17
US20210224976A1 (en) 2021-07-22
EP3805048A4 (en) 2021-08-04
KR102658704B1 (ko) 2024-04-22
US11557030B2 (en) 2023-01-17
TWI805725B (zh) 2023-06-21
WO2019235245A1 (ja) 2019-12-12
KR20210018246A (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
US10944912B2 (en) Systems and methods for reducing flicker artifacts in imaged light sources
US20200344421A1 (en) Image pickup apparatus, image pickup control method, and program
US10989790B2 (en) Distance measuring apparatus, electronic apparatus, and method of controlling distance measuring apparatus
JPWO2019235245A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
JP6771673B2 (ja) 自律運転車両下方の監視のためのシステム
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN111033571A (zh) 图像处理设备和图像处理方法
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
CN110741631A (zh) 车辆的图像提供系统、服务器系统及车辆的图像提供方法
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
JP6984256B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
JP7371496B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US20210331586A1 (en) Vehicle control device and vehicle control method
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2020049977A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2023019712A (ja) 画像生成装置、画像生成方法、及び車両制御システム
JP2007038956A (ja) 周辺状況表示装置及び周辺状況表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150