JP7226440B2 - 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 - Google Patents

情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 Download PDF

Info

Publication number
JP7226440B2
JP7226440B2 JP2020521153A JP2020521153A JP7226440B2 JP 7226440 B2 JP7226440 B2 JP 7226440B2 JP 2020521153 A JP2020521153 A JP 2020521153A JP 2020521153 A JP2020521153 A JP 2020521153A JP 7226440 B2 JP7226440 B2 JP 7226440B2
Authority
JP
Japan
Prior art keywords
recognition
visible light
unit
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020521153A
Other languages
English (en)
Other versions
JPWO2019225349A1 (ja
Inventor
啓太郎 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019225349A1 publication Critical patent/JPWO2019225349A1/ja
Application granted granted Critical
Publication of JP7226440B2 publication Critical patent/JP7226440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/13—Ultraviolet light; Infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1431—Illumination control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)

Description

本技術は、情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体に関し、特に、可視画像に対して画像認識処理を行う場合に用いて好適な情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体に関する。
従来、車両の前方の道路使用者の検出結果に基づいて、ヘッドライト装置の配光パターンを制御し、道路使用者の眩惑を防止することが提案されている（例えば、特許文献１参照）。
特表２０１３－５１１４１８号公報
ところで、夜間等の暗い環境下で可視光カメラにより車両の周囲を撮影した可視画像では、車両からの照射光の照度が低い領域でノイズやブラーが増大したり、照射光の照度が高い領域で画素の飽和が発生したりする。その結果、可視画像に対する画像認識処理の精度が低下し、例えば、車両の周囲の物体の検出精度が低下する。
これに対して、特許文献１では、画像認識処理の精度を向上させる目的で、ヘッドライト装置の配光パターンを制御することは検討されていない。
本技術は、このような状況に鑑みてなされたものであり、画像認識処理の精度を向上させるようにするものである。
本技術の第１の側面の情報処理装置は、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部とを備える。
本技術の第２の側面の情報処理方法は、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出し、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する。
本技術の第３の側面の撮影装置は、撮像素子と、前記撮像素子により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮像素子の撮影方向への可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部とを備える。
本技術の第４の側面の照明装置は、光源部と、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部とを備える。
本技術の第５の側面の移動体は、撮影部と、前記撮影部の撮影方向へ可視光を照射する照明部と、前記撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記照明部の可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部とを備える。
本技術の第６の側面の情報処理装置は、撮影部により撮影された画像に対して画像認識処理を行う認識部と、物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部とを備える。
本技術の第７の側面の情報処理方法は、撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する。
本技術の第８の側面の撮影装置は、撮像素子と、前記撮像素子により撮影された画像に対して画像認識処理を行う認識部と、物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮像素子の撮影方向への可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部とを備える。
本技術の第９の側面の照明装置は、光源部と、撮影部により撮影された画像に対して画像認識処理を行う認識部と、物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部とを備える。
本技術の第１０の側面の移動体は、撮影部と、前記撮影部の撮影方向へ可視光を照射する照明部と、前記撮影部により撮影された画像に対して画像認識処理を行う認識部と、物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記照明部の可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部とを備える。
本技術の第１の側面乃至第５の側面においては、撮影された画像に対して画像認識処理が行われ、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度が算出され、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、撮影方向への可視光の照射パターンが制御され、前記低信頼度領域に対する可視光の光量が制御される。
本技術の第６の側面乃至第１０の側面においては、撮影された画像に対して画像認識処理が行われ、物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、撮影方向への可視光の照射パターンが制御され、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量が０に設定される。
本技術の第１の側面乃至第１０の側面によれば、画像認識処理の精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車両の構成例を示すブロック図である。 照明部の構成例を示すブロック図である。 撮影部の構成例を示すブロック図である。 情報処理部の構成例を示すブロック図である。 照明制御処理を説明するためのフローチャートである。 照射パターンの制御方法を説明するための図である。 照射パターンの制御方法を説明するための図である。 照射パターンの制御方法を説明するための図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．変形例
３．その他
＜＜１．実施の形態＞＞
＜車両１０１の構成例＞
図１は、本技術を適用した車両１０１の機略的な構成例を示すブロック図である。
車両１０１は、車両制御システム１１１を備える。
車両制御システム１１１は、通信ネットワーク１２１を介して接続された複数の制御ユニットを備える。図１に示した例では、車両制御システム１１１は、駆動系制御ユニット１２２、ボディ系制御ユニット１２４、バッテリ制御ユニット１２６、車外情報検出ユニット１２７、車内情報検出ユニット１３０、及び統合制御ユニット１３３を備える。これらの複数の制御ユニットを接続する通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク１２１を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１では、統合制御ユニット１３３の機能構成として、マイクロコンピュータ１５１、汎用通信Ｉ／Ｆ１５２、専用通信Ｉ／Ｆ１５３、測位部１５４、ビーコン受信部１５５、車内機器Ｉ／Ｆ１５６、音声画像出力部１５７、車載ネットワークＩ／Ｆ１５８及び記憶部１５９が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット１２２は、各種プログラムにしたがって車両１０１の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２２は、内燃機関又は駆動用モータ等の車両１０１の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両１０１の舵角を調節するステアリング機構、及び、車両１０１の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット１２２は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット１２２には、車両状態検出部１２３が接続される。車両状態検出部１２３には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両１０１の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット１２２は、車両状態検出部１２３から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット１２４は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２４は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２４には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２４は、これらの電波又は信号の入力を受け付け、車両１０１のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
なお、図１では、ボディ系制御ユニット１２４の制御対象として照明部１２５のみを図示している。照明部１２５は、上述した各種ランプのうちの少なくとも一部を備える。
バッテリ制御ユニット１２６は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池（不図示）を制御する。例えば、バッテリ制御ユニット１２６には、二次電池を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット１２６は、これらの信号を用いて演算処理を行い、二次電池の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット１２７は、車両１０１の外部の情報を検出する。例えば、車外情報検出ユニット１２７には、撮影部１２８及び車外情報検出部１２９のうちの少なくとも一方が接続される。撮影部１２８には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部１２９には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両１０１の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮影部１２８及び車外情報検出部１２９は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
車外情報検出ユニット１２７は、撮影部１２８に車外の画像を撮影させるとともに、撮影された画像データを受信する。また、車外情報検出ユニット１２７は、接続されている車外情報検出部１２９から検出情報を受信する。車外情報検出部１２９が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット１２７は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報（以下、反射波情報と称する）を受信する。車外情報検出ユニット１２７は、反射波情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２７は、反射波情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット１２７は、反射波情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット１２７は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット１２７は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮影部１２８により撮影された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット１２７は、異なる撮影部１２８により撮影された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット１３０は、車内の情報を検出する。車内情報検出ユニット１３０には、例えば、運転者の状態を検出する運転者状態検出部１３１が接続される。運転者状態検出部１３１は、運転者を撮影するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット１３０は、運転者状態検出部１３１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット１３０は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット１３３は、各種プログラムにしたがって車両制御システム１１１内の動作全般を制御する。統合制御ユニット１３３には、入力部１３２が接続されている。入力部１３２は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット１３３には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部１３２は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム１１１の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部１３２は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部１３２は、例えば、上記の入力部１３２を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット１３３に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部１３２を操作することにより、車両制御システム１１１に対して各種のデータを入力したり処理動作を指示したりする。
記憶部１５９は、マイクロコンピュータ１５１により実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部１５９は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現し、例えば、マイクロコンピュータ１５１が実行する各種プログラムを提供するようにしてもよい。
汎用通信Ｉ／Ｆ１５２は、外部環境１０２に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ１５２は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE-Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ１５２は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ１５２は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両１０１の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
なお、例えば、マイクロコンピュータ１５１が実行する各種プログラムを、外部環境１０２から提供するようにしてもよい。
専用通信Ｉ／Ｆ１５３は、車両１０１における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ１５３は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ１５３は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０１と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部１５４は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両１０１の緯度、経度及び高度を含む位置情報を生成する。なお、測位部１５４は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部１５５は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部１５５の機能は、上述した専用通信Ｉ／Ｆ１５３に含まれてもよい。
車内機器Ｉ／Ｆ１５６は、マイクロコンピュータ１５１と車内に存在する様々な車内機器１３４との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ１５６は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ１５６は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器１３４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両１０１に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器１３４は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ１５６は、これらの車内機器１３４との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ１５８は、マイクロコンピュータ１５１と通信ネットワーク１２１との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ１５８は、通信ネットワーク１２１によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット１３３のマイクロコンピュータ１５１は、汎用通信Ｉ／Ｆ１５２、専用通信Ｉ／Ｆ１５３、測位部１５４、ビーコン受信部１５５、車内機器Ｉ／Ｆ１５６及び車載ネットワークＩ／Ｆ１５８のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム１１１を制御する。例えば、マイクロコンピュータ１５１は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２２に対して制御指令を出力してもよい。例えば、マイクロコンピュータ１５１は、車両１０１の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０１の衝突警告、又は車両１０１のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ１５１は、取得される車両１０１の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ１５１は、汎用通信Ｉ／Ｆ１５２、専用通信Ｉ／Ｆ１５３、測位部１５４、ビーコン受信部１５５、車内機器Ｉ／Ｆ１５６及び車載ネットワークＩ／Ｆ１５８のうちの少なくとも一つを介して取得される情報に基づき、車両１０１と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両１０１の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ１５１は、取得される情報に基づき、車両１０１の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部１５７は、車両１０１の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１の例では、出力装置として、オーディオスピーカ１３５、表示部１３６及びインストルメントパネル１３７が例示されている。表示部１３６は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部１３６は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ１５１が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図１に示した例において、通信ネットワーク１２１を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム１１１が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク１２１を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク１２１を介して相互に検出情報を送受信してもよい。
なお、以下、制御ユニットが、通信ネットワーク１２１を介して通信を行う場合の通信ネットワーク１２１の記載を省略する。例えば、駆動系制御ユニット１２２と統合制御ユニット１３３が、通信ネットワーク１２１を介して通信を行う場合、単に、駆動系制御ユニット１２２と統合制御ユニット１３３が通信を行うと記載する。
また、以下、統合制御ユニット１３３のマイクロコンピュータ１５１が、車載ネットワークＩ／Ｆ１５８及び通信ネットワーク１２１を介して通信を行う場合の車載ネットワークＩ／Ｆ１５８及び通信ネットワーク１２１の記載を省略する。例えば、マイクロコンピュータ１５１が、車載ネットワークＩ／Ｆ１５８及び通信ネットワーク１２１を介して駆動系制御ユニット１２２と通信を行う場合、単に、マイクロコンピュータ１５１が駆動系制御ユニット１２２と通信を行うと記載する。
＜照明部１２５の構成例＞
図２は、図１の照明部１２５の構成例の一部を示すブロック図である。
照明部１２５は、可変照射ランプ２０１及び赤外線ランプ２０２を備える。
可変照射ランプ２０１は、可視光を発する可視光光源部２１１を備え、車両１０１の前方に可視光を照射可能な位置に設置される。そして、可変照射ランプ２０１は、ボディ系制御ユニット１２４の制御の下に、車両１０１の前方に可視光を照射する。
また、可変照射ランプ２０１は、可視光の照射領域を複数に分割した単位領域毎に光量を制御でき、単位領域毎に光量を制御することにより、照射パターンを制御する。従って、照射パターンは、可変照射ランプ２０１から出射される可視光の空間方向の光量の分布、より具体的には、可視光の単位領域毎の光量の分布を示す。
例えば、可視光光源部２１１は、複数の光源（例えば、ＬＥＤ）がアレイ状に並べられた構成を備えている。そして、可視光光源部２１１の各光源の光量を個別に制御することにより、可視光の照射パターンが制御される。なお、各光源の光量の制御には、光量を０に設定すること、すなわち、光源をオフすることを含む。
或いは、例えば、可視光光源部２１１は、光源、ＤＭＤ（Digital Mirror Device）、レンズ等を備える。そして、可視光光源部２１１のＤＭＤの各ミラーのオン／オフが制御されることにより、可視光の照射パターンが制御される。
なお、必ずしも単位領域の形及び大きさを全て同じにする必要はなく、形又は大きさが異なる単位領域が含まれていてもよい。
赤外線ランプ２０２は、赤外光を発する赤外線光源部２２１を備え、車両１０１の前方に赤外光を照射可能な位置に設置される。そして、赤外線ランプ２０２は、ボディ系制御ユニット１２４の制御の下に、車両１０１の前方に赤外光を照射する。
＜撮影部１２８の構成例＞
図３は、図１の撮影部１２８の構成例を示すブロック図である。
撮影部１２８は、可視光カメラ２５１及び赤外線カメラ２５２を備える。
可視光カメラ２５１は、可視光に対して感度を有する可視光撮像素子２６１を備え、車両１０１の前方を撮影可能な位置に設置される。例えば、可視光カメラ２５１は、車両１０１のヘッドライト内、ダッシュボード上、車内のリアビューミラーの上方、又は、屋根の上等に設置される。そして、可視光カメラ２５１は、車外情報検出ユニット１２７の制御の下に、車両１０１の前方を撮影し、撮影の結果得られたカラーの画像（以下、可視画像と称する）のデータを車外情報検出ユニット１２７に供給する。
なお、上述した可変照射ランプ２０１は、可視光カメラ２５１（可視光撮像素子２６１）の撮影方向へ可視光を照射し、少なくとも可視光カメラ２５１の画角内にほぼ均等に可視光を照射することが可能である。
赤外線カメラ２５２は、赤外線（赤外光）に対して感度を有する赤外線撮像素子２７１を備え、車両１０１の前方を撮影可能な位置に設置される。例えば、赤外線カメラ２５２は、可視光カメラ２５１と同様の位置に設置される。そして、赤外線カメラ２５２は、車外情報検出ユニット１２７の制御の下に、車両１０１の前方を撮影し、撮影の結果得られたモノクロの画像（以下、赤外画像と称する）のデータを車外情報検出ユニット１２７に供給する。
なお、上述した赤外線ランプ２０２は、赤外線カメラ２５２（赤外線撮像素子２７１）の撮影方向へ赤外光を照射し、少なくとも赤外線カメラ２５２の画角内にほぼ均等に赤外光を照射することが可能である。
＜情報処理部３０１の構成例＞
図４は、統合制御ユニット１３３のマイクロコンピュータ１５１が、所定の制御プログラムを実行することにより実現される機能の一部である情報処理部３０１の構成例を示している。なお、図中、駆動系制御ユニット１２２、ボディ系制御ユニット１２４、及び、車外情報検出ユニット１２７と、情報処理部３０１との間の通信ネットワーク１２１及び車載ネットワークＩ／Ｆ１５８の図示を省略している。
情報処理部３０１は、認識部３１１、測距部３１２、照射制御部３１３、及び、動作制御部３１４を備える。
認識部３１１は、可視画像及び赤外画像のデータを車外情報検出ユニット１２７から取得し、可視画像及び赤外画像に対して画像認識処理を行う。ここで、画像認識処理とは、例えば、画像内の物体を認識する処理である。また、認識部３１１は、画像認識処理による物体の認識結果に基づく領域（以下、認識領域と称する）毎に認識結果の信頼度を示す認識スコアを算出する。
認識領域は、例えば、認識された各物体にそれぞれ対応する領域である。ただし、認識領域は、物体の認識に失敗した領域も含み得る。また、認識スコアは、例えば、認識領域内の物体の認識結果の信頼度、換言すれば、認識領域内において認識された物体の確からしさを示す。
認識部３１１は、各認識領域の位置、並びに、各認識領域内の物体の種類及び認識スコア等の認識結果を含む認識情報を照射制御部３１３及び動作制御部３１４に供給する。
測距部３１２は、車外情報検出ユニット１２７から供給される、ステレオカメラの画像データ、ＴｏＦカメラの画像データ、又は、超音波センサ、レーダ装置、若しくは、ＬＩＤＡＲ装置の反射波情報に基づいて、車両１０１の前方の物体までの距離の検出処理を行う。測距部３１２は、各物体までの距離の検出結果を含む測距情報を照射制御部３１３及び動作制御部３１４に供給する。
照射制御部３１３は、車両１０１の前方の物体の認識結果、車両１０１の前方の物体までの距離の検出結果、及び、駆動系制御ユニット１２２から通知される、車両１０１の速度の検出結果等に基づいて、照明部１２５による可視光及び赤外光の照射の制御を行う。
例えば、照射制御部３１３は、可変照射ランプ２０１の照射パターンを含む制御信号（以下、可視光制御信号と称する）を生成し、可視光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、可視光制御信号に基づいて、可変照射ランプ２０１の照射パターンを制御する。
また、例えば、照射制御部３１３は、赤外線ランプ２０２による赤外光の照射を制御する制御信号（以下、赤外光制御信号と称する）を生成し、赤外光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、赤外光制御信号に基づいて、赤外線ランプ２０２の赤外光の照射を制御する。
動作制御部３１４は、車両１０１の前方の物体の認識結果、及び、車両１０１の前方の物体までの距離の検出結果等に基づいて、車両１０１の駆動系に関連する装置の動作を制御する。例えば、動作制御部３１４は、制御対象となる装置の制御内容を含む制御信号（以下、駆動系制御信号と称する）を生成し、駆動系制御信号を駆動系制御ユニット１２２に供給する。駆動系制御ユニット１２２は、駆動系制御信号に基づいて、制御対象となる装置の動作を制御する。
また、動作制御部３１４は、車両１０１の前方の物体の認識結果、及び、車両１０１の前方の物体までの距離の検出結果等に基づいて、車両１０１のボディに装備された各種装置の動作を制御する。例えば、動作制御部３１４は、制御対象となる装置の制御内容を含む制御信号（以下、ボディ系制御信号と称する）を生成し、ボディ系制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、ボディ系制御信号に基づいて、制御対象となる装置の動作を制御する。
＜照明制御処理＞
次に、図５のフローチャートを参照して、車両１０１により実行される照明制御処理について説明する。
この処理は、例えば、可視光の照射を開始する条件が満たされたとき、例えば、車両１０１の起動中に周囲の明るさが所定の閾値未満になったとき、又は、可変照射ランプ２０１のスイッチかオンに設定されたとき、開始される。また、この処理は、可視光の照射を終了する条件が満たされたとき、例えば、車両１０１の電源がオフされたとき、車両１０１の周囲の明るさが所定の閾値以上になったとき、又は、可変照射ランプ２０１のスイッチがオフに設定されたとき終了する。
ステップＳ１において、車両制御システム１１１は、赤外光及び可視光の照射を開始する。
具体的には、照射制御部３１３は、例えば、所定の光量で赤外光を照射するように制御する赤外光制御信号を生成し、生成した赤外光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、赤外光制御信号に基づいて、所定の光量で赤外光を照射するように赤外線ランプ２０２を制御する。これにより、所定の光量の赤外光が車両１０１の前方へ照射される。
なお、赤外光は、通行人や他の車両の運転者等の眩惑を気にする必要がないため、赤外画像の画素の飽和が発生しない範囲で、できる限り光量を大きくすることが可能である。
また、照射制御部３１３は、例えば、標準的な照射パターンで可視光を照射するように制御する可視光制御信号を生成し、生成した可視光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、可視光制御信号に基づいて、標準的な照射パターンで可視光を照射するように可変照射ランプ２０１を制御する。これにより、標準的なパターンの可視光が車両１０１の前方へ照射される。
ここで、標準的な照射パターンとは、例えば、全ての単位領域の光量を同じ初期値に設定したパターンである。
ステップＳ２において、撮影部１２８は、赤外画像及び可視画像を撮影する。具体的には、赤外線カメラ２５２は、車両１０１の前方を撮影し、撮影の結果得られた赤外画像のデータを、車外情報検出ユニット１２７を介して、認識部３１１及び測距部３１２に供給する。また、可視光カメラ２５１は、車両１０１の前方を撮影し、撮影の結果得られた可視画像のデータを、車外情報検出ユニット１２７を介して、認識部３１１及び測距部３１２に供給する。
ステップＳ３において、認識部３１１は、画像認識処理を行う。例えば、認識部３１１は、画像認識処理としてセマンティックセグメンテーションを行う。
具体的には、認識部３１１は、赤外画像に対してセマンティックセグメンテーションを行い、赤外画像内の各物体の種類及び位置の検出を画素レベルで行い、認識結果に基づいて、赤外画像を複数の認識領域に分割する。また、認識部３１１は、赤外画像内の各認識領域の認識スコアを算出する。
また、認識部３１１は、可視画像に対しても同様にセマンティックセグメンテーションを行い、可視画像内の各物体の種類及び位置の検出を画素レベルで行い、認識結果に基づいて、可視画像を複数の認識領域に分割する。また、認識部３１１は、可視画像内の各認識領域の認識スコアを算出する。
ここで、認識領域は、基本的に認識された物体毎に設定される。従って、各認識領域は、基本的に１つの物体を含む。ただし、例えば、物体の境界線が曖昧な場合等において、複数の物体が１つの認識領域に含まれる場合がある。また、物体の認識に失敗した領域が、認識領域に設定される場合がある。この場合、認識領域内の物体は未知となる。
また、認識スコアの算出方法には、任意の手法を用いることが可能である。
なお、赤外画像は、色情報がなく、可視画像に比べてノイズが多い。従って、赤外画像に対する画像認識処理（現在の例では、セマンティックセグメンテーション）の結果は、可視画像に対する画像認識処理の結果と比較して、信頼性が低くなる。
認識部３１１は、各認識領域の位置、並びに、各認識領域内の物体の種類及び認識スコア等の認識結果を含む認識情報を照射制御部３１３及び動作制御部３１４に供給する。
ステップＳ４において、車両制御システム１１１は、測距処理を行う。例えば、車外情報検出部１２９は、車外情報検出ユニット１２７を介して、反射波情報を測距部３１２に供給する。測距部３１２は、反射波情報に基づいて、車両１０１の前方の各物体までの距離を検出する。測距部３１２は、各物体までの距離の検出結果を含む測距情報を照射制御部３１３及び動作制御部３１４に供給する。
なお、測距処理には、任意の手法を用いることが可能である。例えば、ステレオカメラの画像データや、ＴｏＦカメラの画像データ等を用いて、測距処理を行うようにしてもよい。
ステップＳ５において、駆動系制御ユニット１２２は、車速を検出する。具体的には、駆動系制御ユニット１２２は、車両状態検出部１２３から入力される信号に基づいて、車両１０１の速度を検出し、検出結果を含む情報を照射制御部３１３及び動作制御部３１４に供給する。
ステップＳ６において、車両制御システム１１１は、可視光の照射パターンを制御する。具体的には、照射制御部３１３は、各単位領域の光量を設定することにより、照射パターンを設定する。例えば、照射制御部３１３は、可視画像の各認識領域の認識スコアができる限り高くなるように、照射パターンを設定する。照射制御部３１３は、設定した照射パターンを含む可視光制御信号を生成し、可視光制御信号をボディ系制御ユニット１２４に供給する。ボディ系制御ユニット１２４は、可視光制御信号に基づいて、可変照射ランプ２０１の照射パターンを制御する。
ここで、照射パターンの設定方法の例について説明する。
例えば、照射制御部３１３は、赤外画像に対する画像認識処理の結果に基づいて照射パターンを設定する。
例えば、照射制御部３１３は、赤外画像において認識スコアが閾値Ｔ１未満の認識領域（以下、低信頼度領域と称する）の可視画像における認識スコアが高くなるように、低信頼度領域に対する可視光の光量を設定する。例えば、照射制御部３１３は、低信頼度領域に対する可視光の光量を上げる（明るくする）。
一方、照射制御部３１３は、赤外画像において認識スコアが閾値Ｔ１以上の認識領域に対する可視光の光量を、例えば、認識領域内の物体の種類に基づいて設定する。
例えば、照射制御部３１３は、認識領域に路面が含まれる場合、当該認識領域を常に一定の光量以上で照らすように、当該認識領域に対する可視光の光量を設定する。
例えば、照射制御部３１３は、認識領域に人又は他の車両が含まれる場合、当該認識領域に対する可視光の光量を下げる。これにより、通行人や他車の運転者が眩惑されることが防止される。なお、照射制御部３１３は、可視光の光量を０まで下げ、当該認識領域に可視光を照射しないようにしてもよい。
例えば、照射制御部３１３は、認識領域に発光する物体（例えば、信号機、街灯等）が含まれる場合、当該認識領域に対する可視光の光量を下げる。発光する物体は、可視光で照らさなくても、画像認識処理の精度が高くなるからである。なお、照射制御部３１３は、可視光の光量を０まで下げ、当該認識領域に可視光を照射しないようにしてもよい。
例えば、照射制御部３１３は、認識領域に可視光を反射する反射部材を備える物体（例えば、道路標識等）が含まれる場合、当該認識領域に対する可視光の光量を下げる。当該認識領域は、反射部材が可視光を反射することにより他の領域より明るくなり、可視画像において飽和するおそれがあるためである。照射制御部３１３は、可視画像において当該認識領域が飽和しないレベルまで、当該認識領域に対する可視光の光量を下げる。
また、例えば、照射制御部３１３は、可視画像に対する画像認識処理の結果に基づいて照射パターンを制御する。
例えば、照射制御部３１３は、赤外画像に対する画像認識処理の結果に基づいて照射パターンを制御したにも関わらず、可視画像において認識スコアが閾値Ｔ１未満の認識領域（低信頼度領域）が存在する場合、低信頼度領域に照射する可視光の光量を、可視画像内の低信頼度領域の輝度の平均値に基づいて設定する。例えば、照射制御部３１３は、低信頼度領域の輝度の平均値が閾値Ｔｈ２未満の場合、低信頼度領域に対する可視光の光量を上げる（明るくする）。一方、照射制御部３１３は、低信頼度領域の輝度の平均値が閾値Ｔｈ２以上の場合、低信頼度領域に対する可視光の光量を下げる（暗くする）。
さらに、例えば、照射制御部３１３は、認識領域内の物体までの距離に基づいて、当該認識領域に対する可視光の光量を設定する。例えば、照射制御部３１３は、認識領域内の物体までの距離が近いほど、当該認識領域に対する可視光の光量を下げる（暗くする）。一方、照射制御部３１３は、認識領域内の物体までの距離が遠いほど、当該認識領域に対する可視光の光量を上げる（明るくする）。
また、例えば、照射制御部３１３は、認識領域内の物体までの距離が閾値Ｔｈ３以上の場合、当該認識領域は画像認識処理の対象外とし、当該認識領域に照射する照射光の光量を０に設定するようにしてもよい。これにより、例えば、空などの遠方の物体への可視光の照射が停止される。
なお、照射制御部３１３は、例えば、車両１０１の速度により閾値Ｔｈ３を変更するようにしてもよい。例えば、照射制御部３１３は、車両１０１の速度が速くなるほど閾値Ｔｈ３を大きくし、より遠方の物体まで可視光が照射されるようにする。一方、例えば、照射制御部３１３は、車両１０１の速度が遅くなるほど閾値Ｔｈ３を小さくし、遠方の物体に可視光が照射されないようにする。これは、車両１０１の速度が速い場合、衝突防止等のために、より遠くの物体まで監視する必要がある一方、車両１０１の速度が遅い場合、遠くの物体をあまり監視する必要がないためである。
ここで、図６乃至図８を参照して、照射パターンの制御方法の具体例について説明する。
図６は、車両１０１の前方を撮影した赤外画像の例を示している。
認識領域Ｒ１は、自転車に乗った人を含む領域である。例えば、認識領域Ｒ１の認識スコアが閾値Ｔｈ１以上の場合、認識領域Ｒ１に対する可視光の光量は下げられる。一方、認識領域Ｒ１の認識スコアが閾値Ｔｈ１未満の場合、認識領域Ｒ１に対する可視光の光量は上げられる。また、認識領域Ｒ１に対する可視光の光量は、例えば、領域内の人までの距離に応じて変更される。
認識領域Ｒ２は、反射板を備える道路標識を含む領域である。例えば、認識領域Ｒ２に対する可視光の光量は下げられる。また、認識領域Ｒ２に対する可視光の光量は、例えば、領域内の道路標識までの距離に応じて変更される。
認識領域Ｒ３は、自発光する信号機を含む領域である。例えば、認識領域Ｒ３に対する可視光の光量は下げられる。また、認識領域Ｒ３に対する可視光の光量は、例えば、領域内の信号機までの距離に応じて変更される。
認識領域Ｒ４は、他の車両を含む領域である。例えば、認識領域Ｒ４の認識スコアが閾値Ｔｈ１以上の場合、認識領域Ｒ４に対する可視光の光量は下げられる。一方、認識領域Ｒ４の認識スコアが閾値Ｔｈ１未満の場合、認識領域Ｒ４に対する可視光の光量は上げられる。また、認識領域Ｒ４に対する可視光の光量は、例えば、領域内の車両までの距離に応じて変更される。
認識領域Ｒ５は、遠方の建物及び空を含む領域である。例えば、認識領域Ｒ５に対する可視光の光量は０に設定される。
認識領域Ｒ６は、車両１０１の近くの非常に暗い領域であり、認識スコアが非常に低い領域である。例えば、認識領域Ｒ６に対する可視光の光量は、認識スコアを改善するために上げられる。
図７は、図６と同じ画角の可視画像に対してセマンティックセグメンテーションを行った結果の例を示している。
認識領域Ｒ１１内には、路面が存在する。従って、認識領域Ｒ１１には、常に可視光が照射されるように制御される。なお、認識領域Ｒ１１に対する可視光の光量は、例えば、領域内の路面までの距離に応じて変更される。
認識領域Ｒ１２は、自転車に乗った人を含む領域である。例えば、認識領域Ｒ１２の認識スコアが閾値Ｔｈ１以上の場合、認識領域Ｒ１２に対する可視光の光量は下げられる。一方、認識領域Ｒ１２に対する認識スコアが閾値Ｔｈ１未満の場合、認識領域Ｒ１２に対する可視光の光量は上げられる。また、認識領域Ｒ１２に対する可視光の光量は、例えば、領域内の人までの距離に応じて変更される。
認識領域Ｒ１３は、道路標識を含む領域である。例えば、認識領域Ｒ１３に対する可視光の光量は下げられる。また、認識領域Ｒ１３に対する可視光の光量は、例えば、領域内の道路標識までの距離に応じて変更される。
認識領域Ｒ１４は、信号機を含む領域である。例えば、認識領域Ｒ１４に対する可視光の光量は下げられる。また、認識領域Ｒ１４に対する可視光の光量は、例えば、領域内の信号機までの距離に応じて変更される。
認識領域Ｒ１５乃至認識領域Ｒ１７は、他の車両を含む領域である。例えば、認識領域Ｒ１５乃至認識領域Ｒ１７のうち認識スコアが閾値Ｔｈ１以上の領域に対する可視光の光量は下げられる。一方、認識領域Ｒ１５乃至認識領域Ｒ１７のうち認識スコアが閾値Ｔｈ１未満の領域に対する可視光の光量は上げられる。また、認識領域Ｒ１５乃至認識領域Ｒ１７に対する可視光の光量は、例えば、領域内の車両までの距離に応じて変更される。
認識領域Ｒ１８は、車両１０１の近くの非常に暗い領域であり、認識スコアが非常に低い領域である。例えば、認識領域Ｒ１８に対する可視光の光量は、認識スコアを改善するために上げられる。
図８は、車両１０１の前方を撮影した赤外画像の他の例を示している。
認識領域Ｒ２１は、車両１０１の近くの非常に暗い領域であり、認識スコアが非常に低い領域である。例えば、認識領域Ｒ２１に対する可視光の光量は、認識スコアを改善するために上げられる。
認識領域Ｒ２２及び認識領域Ｒ２３は、人を含む領域である。例えば、認識領域Ｒ２２及び認識領域Ｒ２３のうち認識スコアが閾値Ｔｈ１以上の領域に対する可視光の光量は下げられる。一方、認識領域Ｒ２２及び認識領域Ｒ２３のうち認識スコアが閾値Ｔｈ１未満の領域に対する可視光の光量は上げられる。また、認識領域Ｒ２２及び認識領域Ｒ２３に対する可視光の光量は、例えば、領域内の人までの距離に応じて変更される。
図５に戻り、その後、処理はステップＳ２に戻り、ステップＳ２以降の処理が実行される。
以上のようにして、可視光の照射パターンが適切に制御されることにより、可視画像に対する画像認識処理の精度が向上する。その結果、例えば、可視画像内の物体の認識精度が向上し、認識結果を用いる車両１０１の機能（例えば、自動運転、ＡＤＡＳ等）の性能が向上する。
＜＜２．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
以上の説明では、画像認識処理としてセマンティックセグメンテーションを用いる例を示したが、本技術は、他の手法の画像認識処理を用いる場合にも適用することができる。
また、本技術は、例えば、可視画像のみを用いて画像認識処理を行う場合にも適用することができる。この場合、例えば、赤外画像に対する画像認識処理の結果を用いる場合と同様の方法により、可視画像の各認識領域の認識スコア、物体の種類、及び、物体までの距離に基づいて、照射パターンが制御される。
さらに、以上の照射パターンの制御処理では、可視光の光量が下げられたり、０に設定されたりする認識領域が生じうる。これは、運転者が介在しない自動運転の場合は、特に問題にならない。一方、運転者が運転する場合、運転者の視界が悪化するおそれがある。そのため、運転者が運転する場合、画像認識処理を行う期間だけ、上記の方法で照射パターンを制御し、画像認識処理を行わない期間は、車両１０１の前方を可視光で一様に照らすようにしてもよい。
また、以上の説明では、車両１０１の前方の画像に対して画像認識処理を行う例を示したが、本技術は、前方以外の他の方向（例えば、側方、後方、上方等）の画像に対して画像認識処理を行う場合にも適用することができる。この場合、例えば、各画像の撮影方向の可視光の照射パターンが制御される。
さらに、本技術は、車両以外の移動体にも適用することができる。例えば、パーソナルモビリティ、建設機械、農業機械（トラクター）等の移動体にも本技術を適用することができる。また、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）したり、自動運転したりする移動体にも本技術を適用することができる。
また、本技術は、移動体から撮影された画像以外の画像に対して画像認識処理を行う場合にも適用することができる。例えば、本技術は、道路の周辺に設置されたカメラにより撮影された監視画像に対して画像認識処理を行う場合にも適用することができる。
さらに、図４の情報処理部３０１は、必ずしも全て統合制御ユニット１３３で実現する必要はなく、その一部又は全部が、他の１以上の制御ユニットで実現されてもよい。
また、情報処理部３０１の一部又は全部を、例えば、可変照射ランプ２０１、又は、可視光カメラ２５１に設けるようにしてもよい。
＜＜３．その他＞＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。
なお、図１のマイクロコンピュータ１５１等が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する照射制御部と
を備える情報処理装置。
（２）
前記照射制御部は、前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域に対する前記信頼度が高くなるように、前記低信頼度領域に対する可視光の光量を制御する
前記（１）に記載の情報処理装置。
（３）
前記照射制御部は、前記画像内の前記低信頼度領域の輝度に基づいて、前記低信頼度領域に対する可視光の光量を制御する
前記（２）に記載の情報処理装置。
（４）
前記照射制御部は、さらに前記認識領域内の物体の種類に基づいて前記照射パターンを制御する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記照射制御部は、発光する物体、及び、可視光を反射する反射部材を備える物体を含む前記認識領域に対する可視光の光量を下げる
前記（４）に記載の情報処理装置。
（６）
前記照射制御部は、さらに前記認識領域内の物体までの距離に基づいて前記照射パターンを制御する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記照射制御部は、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を下げる
前記（６）に記載の情報処理装置。
（８）
前記画像は、赤外画像及び可視画像を含み、
前記照射制御部は、前記赤外画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記照射制御部は、さらに前記可視画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
前記（８）に記載の情報処理装置。
（１０）
前記画像は、移動体の周囲を撮影した画像である
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記移動体は、車両であり、
前記照射制御部は、路面を含む前記認識領域に可視光を照射するように前記照射パターンを制御する
前記（１０）に記載の情報処理装置。
（１２）
前記移動体は、車両であり、
前記照射制御部は、人又は他の車両を含む前記認識領域に対する可視光の光量を下げる
前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記照射制御部は、所定の領域単位で可視光の光量を制御することにより前記照射パターンを制御する
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記照射パターンは、可視光の空間方向の光量の分布である
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記照射制御部は、前記照射パターンを含む制御信号を出力する
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記認識部は、画像認識処理としてセマンティックセグメンテーションを行う
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出し、
少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への可視光の照射パターンを制御する
情報処理方法。
（１８）
撮像素子と、
前記撮像素子により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮像素子の撮影方向への可視光の照射パターンを制御する照射制御部と
を備える撮影装置。
（１９）
光源部と、
撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御する照射制御部と
を備える照明装置。
（２０）
撮影部と、
前記撮影部の撮影方向へ可視光を照射する照明部と、
前記撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記照明部の可視光の照射パターンを制御する照射制御部と
を備える移動体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０１ 車両， １１１ 車両制御システム， １２２ 駆動系制御ユニット， １２４ ボディ系制御ユニット， １２５ 照明部， １２７ 車外情報検出ユニット， １２８ 撮影部， １２９ 車外情報検出部， １３３ 統合制御ユニット， １５１ マイクロコンピュータ， ２０１ 可変照射ランプ， ２０２ 赤外線ランプ， ２１１ 可視光光源部， ２１２ 赤外線光源部， ２５１ 可視光カメラ， ２５２ 赤外線カメラ， ２６１ 可視光撮像素子， ２７１ 赤外線撮像素子， ３０１ 情報処理部， ３１１ 認識部， ３１２ 測距部， ３１３ 照射制御部， ３１４ 動作制御部

Claims (25)

  1. 撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部と
    を備える情報処理装置。
  2. 前記照射制御部は、前記低信頼度領域に対する前記信頼度が高くなるように、前記低信頼度領域に対する可視光の光量を制御する
    請求項１に記載の情報処理装置。
  3. 前記照射制御部は、さらに前記認識領域内の物体の種類に基づいて前記照射パターンを制御する
    請求項１に記載の情報処理装置。
  4. 前記照射制御部は、発光する物体、及び、可視光を反射する反射部材を備える物体を含む前記認識領域に対する可視光の光量を下げる
    請求項３に記載の情報処理装置。
  5. 前記照射制御部は、さらに前記認識領域内の物体までの距離に基づいて前記照射パターンを制御する
    請求項１に記載の情報処理装置。
  6. 前記照射制御部は、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する
    請求項５に記載の情報処理装置。
  7. 前記画像は、赤外画像及び可視画像を含み、
    前記照射制御部は、前記赤外画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
    請求項１に記載の情報処理装置。
  8. 前記照射制御部は、さらに前記可視画像に対する画像認識処理の前記信頼度に基づいて、前記照射パターンを制御する
    請求項７に記載の情報処理装置。
  9. 前記画像は、移動体の周囲を撮影した画像である
    請求項１に記載の情報処理装置。
  10. 前記移動体は、車両であり、
    前記照射制御部は、路面を含む前記認識領域に可視光を照射するように前記照射パターンを制御する
    請求項９に記載の情報処理装置。
  11. 前記移動体は、車両であり、
    前記照射制御部は、人又は他の車両を含む前記認識領域に対する可視光の光量を下げる
    請求項９に記載の情報処理装置。
  12. 前記照射制御部は、所定の領域単位で可視光の光量を制御することにより前記照射パターンを制御する
    請求項１に記載の情報処理装置。
  13. 前記照射パターンは、可視光の空間方向の光量の分布である
    請求項１に記載の情報処理装置。
  14. 前記照射制御部は、前記照射パターンを含む制御信号を出力する
    請求項１に記載の情報処理装置。
  15. 前記認識部は、画像認識処理としてセマンティックセグメンテーションを行う
    請求項１に記載の情報処理装置。
  16. 撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出し、
    前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する
    情報処理方法。
  17. 撮像素子と、
    前記撮像素子により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮像素子の撮影方向への可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部と
    を備える撮影装置。
  18. 光源部と、
    撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部と
    を備える照明装置。
  19. 撮影部と、
    前記撮影部の撮影方向へ可視光を照射する照明部と、
    前記撮影部により撮影された画像に対して画像認識処理を行い、物体の認識結果に基づく領域である認識領域毎に認識結果の信頼度を算出する認識部と、
    前記信頼度が所定の閾値未満の前記認識領域である低信頼度領域の前記画像内の輝度に基づいて、前記照明部の可視光の照射パターンを制御し、前記低信頼度領域に対する可視光の光量を制御する照射制御部と
    を備える移動体。
  20. 撮影部により撮影された画像に対して画像認識処理を行う認識部と、
    物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部と
    を備える情報処理装置。
  21. 前記認識部は、前記認識領域毎に認識結果の信頼度を算出し、
    前記照射制御部は、少なくとも一部の前記認識領域に対する前記信頼度が高くなるように、前記照射パターンを制御する
    請求項２０に記載の情報処理装置。
  22. 撮影部により撮影された画像に対して画像認識処理を行い、
    物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮影部の撮影方向への可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する
    情報処理方法。
  23. 撮像素子と、
    前記撮像素子により撮影された画像に対して画像認識処理を行う認識部と、
    物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮像素子の撮影方向への可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部と
    を備える撮影装置。
  24. 光源部と、
    撮影部により撮影された画像に対して画像認識処理を行う認識部と、
    物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記撮影部の撮影方向への前記光源部による可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部と
    を備える照明装置。
  25. 撮影部と、
    前記撮影部の撮影方向へ可視光を照射する照明部と、
    前記撮影部により撮影された画像に対して画像認識処理を行う認識部と、
    物体の認識結果に基づく領域である認識領域内の物体までの距離に基づいて、前記照明部の可視光の照射パターンを制御し、所定の距離以上離れた物体を含む前記認識領域に対する可視光の光量を０に設定する照射制御部と
    を備える移動体。
JP2020521153A 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 Active JP7226440B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018099296 2018-05-24
JP2018099296 2018-05-24
PCT/JP2019/018676 WO2019225349A1 (ja) 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体

Publications (2)

Publication Number Publication Date
JPWO2019225349A1 JPWO2019225349A1 (ja) 2021-06-10
JP7226440B2 true JP7226440B2 (ja) 2023-02-21

Family

ID=68616697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020521153A Active JP7226440B2 (ja) 2018-05-24 2019-05-10 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体

Country Status (6)

Country Link
US (2) US11850990B2 (ja)
EP (2) EP4227157A1 (ja)
JP (1) JP7226440B2 (ja)
KR (1) KR20210013044A (ja)
CN (1) CN112135753A (ja)
WO (1) WO2019225349A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390985A (zh) * 2019-09-11 2022-04-22 株式会社小糸制作所 车辆用灯系统
DE102019214319A1 (de) * 2019-09-20 2021-03-25 Continental Automotive Gmbh Verfahren zur Verbesserten Umfelderfassung
EP3876143A1 (de) * 2020-03-02 2021-09-08 ZKW Group GmbH System zur überwachung der umgebung eines kraftfahrzeuges
JP7483552B2 (ja) 2020-08-17 2024-05-15 日本信号株式会社 画像処理装置
US20220291701A1 (en) * 2021-03-10 2022-09-15 Flir Commercial Systems, Inc. Thermal imaging for navigation systems and methods
CN112963797A (zh) * 2021-03-19 2021-06-15 蔚来汽车科技(安徽)有限公司 基于红外光源的车辆照明系统及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143505A (ja) 2006-11-16 2008-06-26 Denso Corp 前照灯制御装置
JP2013232390A (ja) 2012-04-03 2013-11-14 Sharp Corp 発光装置、投光器、および車両用前照灯
JP2016169001A (ja) 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP2017211909A (ja) 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2018069800A (ja) 2016-10-25 2018-05-10 スタンレー電気株式会社 車両用灯具システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008025947A1 (de) * 2008-05-30 2009-12-03 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Steuern der Lichtabgabe eines Frontscheinwerfers eines Fahrzeugs
DE102009054227A1 (de) 2009-11-21 2011-05-26 Volkswagen Ag Verfahren zum Steuern einer Scheinwerferanordnung für ein Fahrzeug und Scheinwerferanordnung
US9534756B2 (en) * 2012-04-03 2017-01-03 Sharp Kabushiki Kaisha Light-emitting device, floodlight, and vehicle headlight
KR101632179B1 (ko) * 2013-12-24 2016-07-01 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
EP3067826B1 (en) * 2015-03-11 2021-05-05 Ricoh Company, Ltd. Image processing system and parallax image generation method
JP6532023B2 (ja) * 2015-10-28 2019-06-19 本田技研工業株式会社 車載機器制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143505A (ja) 2006-11-16 2008-06-26 Denso Corp 前照灯制御装置
JP2013232390A (ja) 2012-04-03 2013-11-14 Sharp Corp 発光装置、投光器、および車両用前照灯
JP2016169001A (ja) 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP2017211909A (ja) 2016-05-27 2017-11-30 株式会社東芝 情報処理装置及び移動体装置
JP2018069800A (ja) 2016-10-25 2018-05-10 スタンレー電気株式会社 車両用灯具システム

Also Published As

Publication number Publication date
EP3805045A4 (en) 2021-07-21
EP3805045B1 (en) 2023-07-19
KR20210013044A (ko) 2021-02-03
JPWO2019225349A1 (ja) 2021-06-10
US20240075866A1 (en) 2024-03-07
WO2019225349A1 (ja) 2019-11-28
EP4227157A1 (en) 2023-08-16
US20210232842A1 (en) 2021-07-29
US11850990B2 (en) 2023-12-26
EP3805045A1 (en) 2021-04-14
CN112135753A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
JP7226440B2 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
CN107272300B (zh) 车辆驾驶辅助装置
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
US10805548B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
US11272115B2 (en) Control apparatus for controlling multiple camera, and associated control method
JP6977722B2 (ja) 撮像装置、および画像処理システム
US11585898B2 (en) Signal processing device, signal processing method, and program
JPWO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
JP7030703B2 (ja) 信号処理装置、撮影装置、及び、信号処理方法
US20230186651A1 (en) Control device, projection system, control method, and program
US20220165066A1 (en) Information processing apparatus, information processing method, and program
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
US20220148283A1 (en) Information processing apparatus, information processing method, and program
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151