JPWO2020116205A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

本開示は、車内ネットワークを介して流通する、自動運転に必要とされる通信データ量を低減できるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。
イメージセンサが、自車の周囲の画像を撮像し、認識部が、撮像された画像内の物体を認識する物体認識処理を行い、物体認識処理による物体認識処理結果を自動運転制御部に出力する。また、ミリ波レーダにより検出される自車の周囲の物体の速度情報と、LiDARによる自車の周囲の物体の距離情報とが、物体認識処理結果に対応付けて、メタデータとして出力される。本開示は、車載システムに適用することができる。

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、車内ネットワークを介して流通する、自動運転に必要とされる通信データ量を低減できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

ACC（Adaptive Cruise Control）やPCS（Pre-Crash Safety）のような利便性と、安全性の向上を目的としたADAS（Advanced Driver Assistance System）において、障害物の有無を確認したうえで、走行可能か否かを判定する必要がある。

この際、カメラにより撮像された画像データや、その他のセンサの検出結果のデータが車内のネットワークにおいて流通することになる。

近年においては、カメラ等のセンサのコストが低減することにより、設置台数が増大する傾向になっているが、カメラ等のセンサ類の設置台数が増大すると、車内のネットワークにおいて流通するデータ量が増大し、通信速度の低下を招く恐れがあった。

そこで、例えば、カメラで撮像した画像内の物体を認識して、認識した物体の画像内の座標情報を車両ネットワークに出力することで車内のネットワークに流通するデータ量を低減させる技術が提案されている（特許文献１参照）。

特開２０１４−１２５０２９号公報

しかしながら、特許文献１の技術においては、カメラにより撮像された画像内において認識された物体の座標情報のみが出力されるので、それ以外の物体の速度や距離などの情報は含まれておらず、自動運転に必要とされる十分な情報を流通させることができない。

本開示は、このような状況に鑑みてなされたものであり、特に、車内ネットワークを介して流通する、自動運転に必要とされる通信データ量を低減できるようにするものである。

本開示の一側面の情報処理装置は、移動体の周囲の画像を撮像する撮像部と、前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理部とを備えた情報処理装置である。

本開示の一側面の情報処理方法およびプログラムは、情報処理装置に対応する。

本開示の一側面においては、自車の周囲の画像が撮像され、撮像された前記画像内の物体を認識する物体認識処理が行われ、前記物体認識処理による物体認識処理結果が、認識した前記物体を単位として、前記移動体内のネットワークを介して出力される。

一般的な車内ネットワークの概要を説明する図である。 本開示の車内ネットワークの概要を説明する図である。 本開示の車両制御システムの構成例を説明するブロック図である。 本開示のデータ取得部の第１の実施の形態の構成例を説明するブロック図である。 認識部の構成を説明する図である。 認識部による物体認識結果の例を説明する図である。 図４のデータ取得部によるセンシング処理を説明するフローチャートである。 認識部による物体認識結果にメタデータを付加する例を説明する図である。 認識部による物体認識結果にメタデータを付加するデータ取得部の第２の実施の形態の構成例を説明するブロック図である。 図９のデータ取得部によるセンシング処理を説明するフローチャートである。 複数のセンサ部を設け、車両の全周囲をセンシングする例を説明する図である。 複数のセンサ部を設け、車両の全周囲をセンシングするようにしたデータ取得部の第３の実施の形態の構成例を説明するブロック図である。 図１２のデータ取得部による複数のセンサ部のセンシング処理結果を統合する統合処理を説明するフローチャートである。 複数の感度で撮像した複数の画像による複数の物体認識結果と、ミリ波レーダおよびLiDARによるセンシング結果とを条件により使い分けてセンシングする例を説明する図である。 複数の感度で撮像した複数の画像による複数の物体認識結果と、ミリ波レーダおよびLiDARによるセンシング結果との使い分けのパターンを説明する図である。 複数の感度で撮像した複数の画像による複数の物体認識結果と、ミリ波レーダおよびLiDARによるセンシング結果とを条件により使い分けてセンシングするデータ取得部の第４の実施の形態の構成例を説明するブロック図である。 図１６のデータ取得部によるセンシング処理を説明するフローチャートである。 図１７の認識結果統合処理を説明するフローチャートである。 LEDを用いた信号機を撮像したときに生じるフリッカが発生する原理を説明する図である。 本開示のイメージセンサの露光時間を説明する図である。 LEDを用いた信号機や車両ランプを撮像したときのフリッカの発生を抑制するようにしたデータ取得部の第５の実施の形態の構成例を説明するブロック図である。 図２１のデータ取得部によるフリッカ抑制処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の車両を制御する車両制御システムの構成例
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．第５の実施の形態
８．ソフトウェアにより実行させる例

＜＜１．本開示の概要＞＞
本開示の概要について説明する。

本開示の車両は、ADAS等の自動運転に必要とされる、車内のネットワークにおいて流通される通信データ量を低減できるようにするものである。

自動運転を実現する車両１１は、例えば、図１で示されるように、センサ部３１と自動運転制御部３２とを備えている。

センサ部３１は、車両１１の外界の情報をセンシングし、センシング結果Ｍ１を自動運転制御部３２に出力する。

自動運転制御部３２は、センサ部３１より供給されるセンシング結果Ｍ１に基づいて、車両１１の動作を制御して、自動運転を実現する。

より詳細には、センサ部３１は、撮像部４１、ミリ波レーダ４２、およびLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）４３を備えている。

撮像部４１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどから構成され、車両１１の周囲の画像を撮像して、画像データをセンシング結果として自動運転制御部３２に出力する。

ミリ波レーダ４２は、ミリ波帯の電波を照射し、物体により反射される反射波のピーク値が検出される位置の情報から物体の位置、速度、および方向の情報を検出し、センシング結果として自動運転制御部３２に出力する。

LiDAR４３は、赤外光からなるレーザ光を投光し、物体からの反射光を受光し、その往復時間に基づいて、物体までの距離の点群の情報からなる３次元点群情報を検出して、センシング結果として自動運転制御部３２に出力する。

したがって、センサ部３１より出力されるセンシング結果Ｍ１は、撮像部４１により撮像された画像、ミリ波レーダ４２により検出される物体の位置、速度、および方向の情報、および、LiDAR４３の検出結果である３次元点群情報から構成される。

いずれのセンシング結果も高分解能のセンシング結果となるが、それが故に、全ての情報を自動運転制御部３２に出力すると、車内ネットワーク上において通信データ量が増大し、通信の遅れが発生する恐れがあり、自動運転の実現に影響を与える恐れがあった。

そこで、本開示においては、図２で示されるように、撮像部４１により撮像された画像に基づいて、画像内の物体を認識する認識部５１を新たに設け、ミリ波レーダ４２およびLiDAR４３のセンシング結果を認識部５１に出力させる。

認識部５１は、撮像部４１により撮像された画像に基づいた物体認識結果である、個々の物体毎にミリ波レーダ４２およびLiDAR４３のセンシング結果を、例えば、メタデータとして付与し、撮像部４１により撮像された画像と共にセンシング結果Ｍ２として自動運転制御部３２に出力する。

このような構成により、センシング結果Ｍ２は、ミリ波レーダ４２およびLiDAR４３のセンシング結果である物体の位置、速度、方向、および距離の情報は物体認識結果である物体毎にメタデータとして付与されることになるので、センシング結果Ｍ２のデータ量を低減させることが可能となる。

結果として、自動運転に必要とされる情報を十分に確保しつつ、車内ネットワークに流通するセンシング結果のデータ量を抑制することが可能となるので、通信の遅延などの発生を抑制することが可能となり、適切な自動運転を実現することが可能となる。

＜＜２．本開示の車両を制御する車両制御システムの構成例＞＞
次に、図３のブロック図を参照して、本開示の車両の車両制御システムについて説明する。

図３は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。車両制御システム１００は、車両９１に搭載されている。

なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜＜３．第１の実施の形態＞＞
＜車内ネットワークを介して流通するセンシング結果のデータ量を低減する構成＞
次に、図４のブロック図を参照して、車内ネットワークを介して流通するセンシング結果のデータ量を低減するデータ取得部１０２の構成例について説明する。

尚、図４は、図３を参照して説明した車両制御システム１００を実現する機能の構成例のうち、車内ネットワークを介して流通するセンシング結果のデータ量を低減するデータ取得部１０２の構成を示している。

センサ部２００は、データ取得部１０２の一部であり、図４では、実質的にカメラとして機能する構成である。

センサ部２００は、制御部２０１、レンズ２０２、イメージセンサ２０３、信号処理部２０４、認識部２０５、バッファ２０６、および判定部２０７を備えている。

制御部２０１は、プロセッサやメモリから構成されており、センサ部２００の動作の全体を制御する。

レンズ２０２は、車両９１の周囲からの入射光をイメージセンサ２０３の撮像面において結像するように集光する。

イメージセンサ２０３は、制御部２０１により制御され、レンズ２０２を介して入射する周囲の光に基づいて、画素単位の信号を生成し信号処理部２０４に出力する。

信号処理部２０４は、制御部２０１により制御され、イメージセンサ２０３より供給される画素単位の信号に対して、デモザイク処理、ノイズ除去、および諧調補正等の信号処理を施し、画像を生成して認識部２０５、バッファ２０６、および判定部２０７に出力する。

認識部２０５は、信号処理部２０４より供給される画像に基づいて、画素単位で物体認識を行い、認識結果を、認識された物体を単位として車内のネットワークを介して自動運転制御部１１２および判定部２０７に出力する。すなわち、物体認識結果が、画素単位ではなく、認識された物体を単位として出力されることにより、車内ネットワークを介して出力される物体認識結果のデータ量を抑制することが可能となる。この際、物体認識結果には、画像内において認識された物体の座標情報が含まれる。これにより、車内ネットワークにおいては、認識された物体を単位とした物体の座標位置と物体認識結果が流通するだけで済むため、車内ネットワークにおける通信負荷を低減させることが可能となる。

より詳細には、認識部２０５は、画像に基づいて、画素単位で物体認識を行い、地上面、人間、車両、建造物、固定物体、自然環境、および空などを物体として認識し、物体認識結果を出力する。

地上面の物体認識結果には、道路、歩道、駐車場、および軌道等の情報が含まれる。

また、人間の物体認識結果には、歩行者や運転者が含まれる。

ここで、運転者の物体認識結果には、自転車、バイク、スクータ、スケートボード、馬、ローラブレード、車椅子、道路清掃車、および屋根のない車の運転者が含まれる。

さらに、車両の物体認識結果には、車、トラック、バス、レール上を走行する電車や列車、バイク、自転車、および牽引車両が含まれる。

また、建造物の物体認識結果には、建物、壁、フェンス、ガードレール、橋梁、およびトンネルが含まれる。

さらに、固定物体の物体認識結果には、ポール、ポール群、交通標識、および信号機が含まれる。

また、自然環境の物体認識結果には、植生や地形の情報が含まれる。

バッファ２０６は、制御部２０１により制御され、信号処理部２０４より供給される画像を一時的にバッファリングし、認識部２０５による認識処理や信号処理のそれぞれの処理時間に応じたタイミングでバッファリングした画像を自動運転制御部１１２に出力する。

尚、自動運転制御部１１２に対しては、物体認識結果のみが出力されるようにして、画像については、画像そのものは出力されないようにしてもよいし、ビットレートを低減させるようにして出力するようにしてもよい。このようにすることで、車内ネットワークに流通するデータ量をさらに抑制することが可能となる。

判定部２０７は、認識部２０５による認識処理と、信号処理部２０４における信号処理との処理時間を比較し、比較結果と、処理時間の差分（処理時間差）を制御部２０１に出力する。

制御部２０１は、比較結果に応じて、撮像結果である画像を間引いて出力する、物体認識結果を間引いて出力する、または、撮像結果も物体認識結果も間引かずに出力するかのいずれかを行うように信号処理部２０４、認識部２０５、およびバッファ２０６を制御する。

また、制御部２０１は、撮像結果である画像を間引いて出力する、または、物体認識結果を間引いて出力する場合、処理時間の差分（処理時間差）に対応して、撮像結果である画像を間引いて出力する、または、物体認識結果を間引いて出力する。

より詳細には、物体認識処理時間が、信号処理時間よりも遅く、信号処理時間のｎ倍掛かるような場合、制御部２０１は、信号処理部２０４を制御して、画像をｎフレームおきに間引いて出力させ、ｎフレーム前の画像の物体認識結果と現在の画像とを対応付けて出力する。また、制御部２０１は、バッファ２０６により物体認識結果が求められるまで画像をバッファリングさせ、物体認識結果が求められるタイミングで、画像と合わせて出力されるようにしてもよい。この場合も、物体認識結果が求められるタイミングに応じて画像が出力されることになるので、画像はｎフレームおきに間引かれることになる。

また、物体認識処理時間が、信号処理時間よりも速く、信号処理時間のｎ倍の速さである場合、制御部２０１は、認識部２０５を制御して、物体認識結果をｎ回に１回出力させ、現在の画像を対応付けて出力させる。

＜認識部の構成＞
認識部２０５は、信号処理部２０４より供給される画像について、画素単位で物体認識結果を求めて出力する。

すなわち、認識部２０５は、図５で示されるように、信号処理部２０４より出力される画像Ｒ１の画素Ｐ毎に、セマンティックセグメンテーション等の物体認識処理が掛けられて、画素Ｐ単位で物体認識結果Ｐｒを出力する。

より具体的には、例えば、図６で示されるような画像Ｐ１１が撮像された場合、物体認識処理により、例えば、歩行者Ｈ１乃至Ｈ４、車両Ｃ１乃至Ｃ４、白線Ｌ１，Ｌ２、信号機Ｔ１、および標識Ｍ１が認識される。

また、図６の物体認識結果である歩行者Ｈ１乃至Ｈ４、車両Ｃ１乃至Ｃ４、白線Ｌ１，Ｌ２、信号機Ｔ１、および標識Ｍ１のそれぞれには、物体を構成する画素領域の、例えば、重心位置等に座標位置、並びに、識別名称（例えば、人物、車両、白線、信号機、または標識など）が設定される。

＜図４のデータ取得部によるセンシング処理＞
次に、図４のデータ取得部１０２によるセンシング処理について説明する。

ステップＳ１１において、イメージセンサ２０３は、制御部２０１により制御されて、レンズ２０２を介して入射する車両９１の周囲を撮像し、撮像した画素単位の信号を信号処理部２０４に出力する。

ステップＳ１２において、信号処理部２０４は、制御部２０１により制御され、イメージセンサ２０３より供給される画素単位の信号に対して、デモザイク処理、ノイズ除去、および諧調補正等の信号処理を施し、画像を生成して認識部２０５、バッファ２０６、および判定部２０７に出力する。

ステップＳ１３において、バッファ２０６は、信号処理部２０４より出力された画像信号をバッファリングする。

ステップＳ１４において、認識部２０５は、信号処理部２０４より供給される画像に基づいて、画素単位で物体認識を行う。

ステップＳ１５において、バッファ２０６は、バッファリングした画像を自動運転制御部１１２に出力する。

ステップＳ１６において、認識部２０５は、図６を参照して説明したように、認識結果を車内のネットワークを介して自動運転制御部１１２および判定部２０７に出力する。

すなわち、ステップＳ１５，Ｓ１６の処理により、相互に対応する画像と物体認識結果とが自動運転制御部１１２に出力される。

ステップＳ１７において、判定部２０７は、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間とを比較し、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅いか否かを判定する。

ステップＳ１７において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅い場合、処理は、ステップＳ１８に進む。

ステップＳ１８において、判定部２０７は、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、信号処理部２０４を制御して、信号処理部２０４より出力される信号処理結果である画像を、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間との処理時間差に応じて間引いて出力するように制御する。

ステップＳ１９において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップＳ１１に戻る。

また、ステップＳ１７において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも遅くない場合、処理は、ステップＳ２０に進む。

ステップＳ２０において、判定部２０７は、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間とを比較し、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速いか否かを判定する。

ステップＳ２０において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速い場合、処理は、ステップＳ２１に進む。

ステップＳ２１において、判定部２０７は、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、認識部２０５を制御して、信号処理部２０４による信号処理時間と、認識部２０５による物体認識処理時間との処理時間差に応じて、物体認識結果を間引いて出力するように制御する。

そして、ステップＳ２０において、認識部２０５による物体認識処理時間の方が、信号処理部２０４による信号処理時間よりも速くない場合、すなわち、いずれの処理時間もほぼ同一である場合、処理は、ステップＳ１９に進み、信号処理部２０４および認識部２０５における間引き処理がなされるような制御がなされない。

以上の処理により、物体認識結果と撮像した画像を信号処理部２０４における信号処理時間と認識部２０５における物体認識処理時間との差分に応じて、いずれかを間引くようにすることでタイミングを調整して適切に出力することが可能となる。

また、以上においては、物体認識結果と画像との両方のデータを自動運転制御部１１２に出力する例について説明してきたが、自動運転制御部１１２において、物体認識結果のみを用いて自動運転を制御するような場合には、物体認識結果のみを出力するようにしてもよい。このようにすることで、車内のネットワークにおいて流通するデータ量を低減させることが可能となり、通信速度を向上させることが可能となる。

さらに、画像から物体認識処理を必要としないので、センサ部２００からは低解像度の画像と、物体認識結果とを併せて自動運転制御部１１２に出力するようにしてもよい。

また、以上においては、物体認識結果の全てが出力される例について説明してきたが、物体認識結果のうち、自動運転制御に必要とされる、比較的重要度の高い物体の物体認識結果のみを出力するようにしてもよい。ここで、比較的重要度の高い物体とは、例えば、交通状況を把握する上で必要な対象物や、衝突や接触の対象物などであり、具体的には、信号機、道路標識、車両、歩行者、自転車、およびバイクなどである。また、重要度の低い物体の物体認識結果については出力しないようにしてもよく、例えば、空の認識結果については自動運転制御には必須とは言えないので、空の物体認識結果については出力しないようにしてもよい。

このようにすることで、車内のネットワークにおいて流通するデータ量を抑制しつつ、自動運転制御に必要な画像と物体認識結果とを自動運転制御部１１２に流通させることが可能となる。

また、以上においては、物体認識処理時間の方が、信号処理時間よりも遅い場合、画像が、処理時間差に応じて間引いて出力される例について説明してきたが、画像を間引かず、物体認識結果については、数フレーム前の画像のものを、現在の画像に対応付けて出力するようにしてもよい。このようにすることで、物体認識結果の精度は低下するが、フレームレートを落とす必要がなくなる。

＜＜４．第２の実施の形態＞＞
以上においては、センサ部２００は、イメージセンサ２０３により撮像される画像に基づいて物体認識処理を実行させて、物体認識結果と、画像とを対応付けて自動運転制御部１１２に出力する例について説明してきたが、センサ部２００にさらに別の情報をセンシングできる複数のセンサを設けて、複数のセンサのセンシング結果を物体認識結果に付与して出力するようにしてもよい。

例えば、センサ部２００にイメージセンサ２０３に加えて、ミリ波レーダ、およびLiDARを設け、それぞれのセンシング結果により得られる物体の速度情報や距離情報を物体認識結果のそれぞれにメタデータとして付与するようにしてもよい。

すなわち、例えば、図８で示されるように、上述した処理により物体認識処理がなされることにより、歩行者Ｈ１乃至Ｈ４、車両Ｃ１乃至Ｃ４、白線Ｌ１，Ｌ２、信号機Ｔ１、および標識Ｍ１が認識される。

ここで、センサ部２００にさらにミリ波レーダやLiDARを設けるようにすることで、物体認識結果のうち、所定の精度でセンシング可能な移動する物体のそれぞれにミリ波レーダで検出される物体の速度情報、およびLiDARで検出される物体までの距離情報をメタデータとして付与する。

この際、物体認識結果のうち、所定の精度でセンシング可能な移動する物体とは、例えば、車両Ｃ１乃至Ｃ４である。例えば、歩行者Ｈ１乃至Ｈ４は、ミリ波帯の電波を透過し易く、検出可能な速度情報の精度が低いことが知られている。

このように、所定の精度でセンシング可能な移動する物体については、メタデータとして速度情報や距離情報が付与されることで、自動運転制御に必要な物体について、より詳細な情報が得られる。尚、以降においては、所定の精度でセンシング可能な移動する物体のように、メタデータが付与される物体について、特に、要メタデータ付与物体とも称する。

図８においては、車両Ｃ１乃至Ｃ４のそれぞれには、図中の（Ｖ，Ｄ）で示されるように、速度（Ｖ）と距離（Ｄ）が付与される。

より具体的には、車両Ｃ１については、Ｈ１（45，8.0）と表記され、車両Ｃ１の移動速度が45km/hであり、自車からの距離が8.0mであることが示されている。また、車両Ｃ２については、Ｃ２（50，70）と表記され、車両Ｃ２の移動速度が時速50km/hであり、自車からの距離が70mであることが示されている。

車両Ｃ３については、Ｃ３（−40，30）と表記され、車両Ｃ３の移動速度が−40km/hであり、自車からの距離が30mであることが示されている。また、車両Ｃ４については、Ｃ４（−50，5.0）と表記され、車両Ｃ４の移動速度が時速−50km/hであり、距離が5.0mであることが示されている。

なお、速度について、「−」が付与されているのは、自車の進行方向に対して反対方向であることを示しており、車両Ｃ３，Ｃ４が対向車であることを示している。

また、図８における表記は、画像認識結果との対応を説明するための表記であり、実際には、それぞれの物体認識結果に対応付けて、それぞれの物体の速度情報および距離情報がメタデータとして物体認識結果に付与される。

さらに、以上においては、ミリ波レーダ２２１により所定の精度でセンシング可能な移動する物体が、メタデータが付与される要メタデータ付与物体として設定される例について説明してきたが、自動運転制御に必要とされる、比較的重要度の高い物体にメタデータを付与するようにしてもよい。比較的重要度の高い物体とは、例えば、交通状況を把握する上で必要な対象物や、衝突や接触の対象物などであり、具体的には、信号機、道路標識、車両、歩行者、自転車、およびバイクなどである。また、当然のことながら、ミリ波レーダ２２１やLiDAR２２２の物体認識結果の全てを要メタデータ付与物体に設定するようにしてもよい。

＜速度情報と距離情報を物体認識結果に付与するセンサ部の構成例＞
次に、図９のブロック図を参照して、車内ネットワークを介して流通するセンシング結果のデータ量を低減する、第２の実施の形態の構成例について説明する。

尚、図９は、図３を参照して説明した車両制御システム１００を実現する機能の構成例のうち、車内ネットワークを介して流通するセンシング結果のデータ量を低減し、さらに、速度と距離の情報を物体認識結果の各物体のうちの所定の精度でセンシング可能な移動する物体に付与するデータ取得部１０２の構成例を示している。

また、図９のデータ取得部１０２において、図４のデータ取得部１０２と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

すなわち、図９のデータ取得部１０２においては、新たにミリ波レーダ２２１、およびLiDAR２２２が付与されている。

ミリ波レーダ２２１は、ミリ波帯の電波を照射して、物体から反射する反射波を受信し、電波を照射してからピーク強度の反射波を受信するまでの往復時間に基づいて物体の距離および速度を検出し、認識部２０５に出力する。

LiDAR２２２は、赤外光からなるレーザ光を投光し、物体からの反射光を受光することで、レーザ光を投光したタイミングから受光するタイミングまでの往復時間により、物体までの距離情報を検出し、3次元点群情報として認識部２０５に出力する。

認識部２０５は、物体認識結果のうち、所定の精度でセンシング可能な移動する物体に対して、速度情報と距離情報とをメタデータとして付与し、物体認識結果と対応付けて登録して記憶するとともに、自動運転制御部１１２に出力する。

また、物体認識結果と対応付けて速度情報および距離情報とが登録された後は、画像の乱れや明るさが不十分である等の理由により画像から検出できない物体状態になっても、認識部２０５は、直前と現在のミリ波レーダ２２１より供給される速度情報と、LiDAR２２２より供給される距離情報とに基づいて、物体の位置を推定する。

尚、以降においては、物体認識結果と対応付けて速度情報および距離情報とが登録された物体のうち、画像の乱れや明るさが不十分である等の理由により画像から検出できない物体については、非検出物体とも称する。また、所定の精度でセンシング可能な移動する物体については、メタデータ付与物体とも称する。

＜図９のデータ取得部によるセンシング処理＞
次に、図１０のフローチャートを参照して、図９のデータ取得部１０２によるセンシング処理について説明する。

尚、図９のフローチャートにおけるステップＳ３１乃至Ｓ３３，Ｓ３６の処理は、図７のフローチャートにおけるステップＳ１１乃至Ｓ１４の処理と同一であるので、その説明は省略する。

すなわち、ステップＳ３４において、ミリ波レーダ２２１は、車両９１の周囲に対してミリ波帯の電波を照射して、ピーク強度の反射波に基づいて、物体の速度情報を検出して認識部２０５に出力する。

ステップＳ３５において、LiDAR２２２は、赤外光からなるレーザ光を投光し、物体からの反射光を受光することで、レーザ光の往復時間に基づいて、物体までの距離情報からなる３次元点群情報を検出して認識部２０５に出力する。

ステップＳ３６において、認識部２０５は、信号処理部２０４より供給される画像に基づいて、画素単位で物体認識を行う。

ステップＳ３７において、認識部２０５は、未処理の認識物体を処理対象物体に設定する。

ステップＳ３８において、認識部２０５は、処理対象物体が所定の精度でセンシング可能な移動する物体、すなわち、要メタデータ付与物体であるか否かを判定する。ここで、所定の精度でセンシング可能な移動する要メタデータ不要物体とは、例えば、車両である。尚、要メタデータ付与物体については、任意の物体に設定することが可能であり、例えば、車両のみならず、全ての物体とするようにしてもよい。

ステップＳ３８において、処理対象物体が要メタデータ付与物体であるとみなされた場合、処理は、ステップＳ３９に進む。

ステップＳ３９において、認識部２０５は、処理対象物体に対して、ミリ波レーダ２２１より供給された速度情報と、LiDAR２２２より供給された距離情報とをメタデータとして付与し、処理対象物体と対応付けて登録（更新）して記憶する。

尚、ステップＳ３８において、処理対象物体が要メタデータ付与物体ではないとみなされた場合、ステップＳ３９の処理がスキップされて、メタデータが付与されない。

ステップＳ４０において、認識部２０５は、物体認識結果のうち、未処理の認識物体が存在するか否かを判定し、未処理の認識物体が存在する場合、処理は、ステップＳ３７に戻る。

ステップＳ４１において、認識部２０５は、登録された物体認識結果のうち、非検出物体のいずれかを処理対象非検出物体に設定する。

ステップＳ４２において、認識部２０５は、非検出物体の、現在の速度情報および距離情報と、直前の速度情報および距離情報とに基づいて、非検出物体の現在の位置を推定し、推定した位置に非検出物体の物体認識結果が存在するものとみなし、現在の速度情報および距離情報を対応付けて登録する。

尚、処理対象非検出物体の現在の速度情報および距離情報については、処理対象非検出物体の直前の位置から、速度情報および距離情報に基づいて予測される位置の速度情報および距離情報が、現在の速度情報および距離情報とみなして使用される。

また、処理対象非検出物体に対応する、現在の速度情報および距離情報が検出されていない場合については、物体そのものが存在しないものとみなされるので、認識部２０５は、処理対象非検出物体と、その処理対象非検出物体に対応付けて登録された速度情報および距離情報を登録から解除する。

ステップＳ４３において、認識部２０５は、未処理の非検出物体が存在するか否かを判定し、存在する場合、処理は、ステップＳ４１に戻る。すなわち、全ての非検出物体について、対応する速度情報および距離情報に基づいて現在の位置が推定されるまで、ステップＳ４１乃至Ｓ４３の処理が繰り返される。

そして、ステップＳ４３において、未処理の非検出物体がないとみなされた場合、処理は、ステップＳ４４に進む。

ステップＳ４４において、バッファ２０６は、バッファリングした画像を自動運転制御部１１２に出力する。

ステップＳ４５において、認識部２０５は、図８を参照して説明したように、重要度の高い物体に速度と距離の情報からなるメタデータが付与された認識結果を車内のネットワークを介して自動運転制御部１１２および判定部２０７に出力する。

ステップＳ４６において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間と、信号処理部２０４による信号処理時間とを比較し、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅いか否かを判定する。

ステップＳ４６において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅い場合、処理は、ステップＳ４７に進む。

ステップＳ４７において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、信号処理部２０４を制御して、信号処理部２０４より出力される信号処理結果である画像を、信号処理部２０４による信号処理時間と、ミリ波レーダ２２１およびLiDAR２２２の処理時間との時間差に応じて間引いて出力するように制御する。

ステップＳ４８において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップＳ３１に戻る。また、ステップＳ４８において、終了が指示されている場合、処理は終了する。

また、ステップＳ４６において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅くない場合、処理は、ステップＳ４９に進む。

ステップＳ４９において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間と、信号処理部２０４による信号処理時間とを比較し、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速いか否かを判定する。

ステップＳ４９において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速い場合、処理は、ステップＳ５０に進む。

ステップＳ５０において、判定部２０７は、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速いことを制御部２０１に通知する。この通知に応じて、制御部２０１は、認識部２０５を制御して、信号処理部２０４より出力される信号処理結果である画像が出力されないタイミングにおいて、ミリ波レーダ２２１およびLiDAR２２２の処理結果を空パケットとして出力するように制御する。

そして、ステップＳ４９において、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速くない場合、すなわち、いずれの処理時間もほぼ同一である場合、処理は、ステップＳ４８に進み、信号処理部２０４における間引き処理や、認識部２０５における空パケットとして出力するような制御がなされない。

以上の処理により、物体認識結果のうち、所定の精度でセンシング可能な移動する物体である、要メタデータ付与物体については、速度情報と距離情報がメタデータとして付与されて、物体認識結果と対応付けて登録（更新）される。これにより、自動運転制御部１１２は、所定の精度でセンシング可能な移動する要メタデータ付与物体に対しては、画像内の座標情報に加えて、移動速度および距離情報を考慮して、自動運転制御を実現することが可能となる。

このようにすることで、車内のネットワークにおいて流通するデータ量を抑制しつつ、自動運転制御に必要な画像と物体認識結果とを自動運転制御部１１２に流通させることが可能となる。

また、物体認識結果と対応付けて速度情報および距離情報が登録された後は、画像から物体認識結果が得られない状態になっても、直前までに対応付けて登録された速度情報および距離情報と、現在の速度情報および距離情報とに基づいて位置が推定されて、推定された位置の物体認識結果と対応付けて速度情報および距離情報が登録される。

結果として、イメージセンサ２０３により撮像された画像が乱れる、十分な明るさがない、ワイパーブレードなどにより画像にブラインドが生じるといった画像上の問題により、物体認識結果が得られない状態になっても、ミリ波レーダ２２１により得られる速度情報とLiDAR２２２により得られる距離情報に基づいて、物体認識結果を取得し続けることが可能となる。

さらに、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも遅い場合には、信号処理部２０４が制御されて、信号処理結果である画像が処理時間の時間差に応じて間引いて出力される。

また、ミリ波レーダ２２１およびLiDAR２２２の処理時間が、信号処理部２０４による信号処理時間よりも速い場合には、認識部２０５が制御されて、信号処理結果である画像が供給されないタイミングにおけるミリ波レーダ２２１およびLiDAR２２２の処理結果は、空パケットとして出力される。

これにより、ミリ波レーダ２２１により得られる速度情報と、LiDAR２２２により得られる距離情報とを、信号処理部２０４とミリ波レーダ２２１およびLiDAR２２２のそれぞれの処理速度に応じたタイミングに調整されて出力される。

＜＜５．第３の実施の形態＞＞
以上においては、物体認識結果のうち、所定の精度でセンシング可能な移動する物体である、要メタデータ付与物体については、速度情報と距離情報のメタデータが付与されて出力される例について説明してきたが、車両９１に複数のセンサ部２００を設けるようにして、車両９１の全周囲の情報を検出するようにしてもよい。

より詳細には、例えば、図１１で示されるように、車両９１の前方正面となる範囲Ｚ１、前方右側となる範囲Ｚ２、後方右側となる範囲Ｚ３、後方正面となる範囲Ｚ４、後方左側となる範囲Ｚ５、および前方左側となる乃至Ｚ６からなる全周囲をセンシングできるように、センサ部２００−１乃至２００−６が設けられるようにしてもよい。

そして、センサ部２００−１乃至２００−６のそれぞれのセンシング結果が統合され、その統合結果が、自動運転制御部１１２に出力される。

すなわち、センサ部２００−１乃至２００−６のそれぞれの物体認識結果については、センシングする車両９１から見た範囲Ｚ１乃至Ｚ６の情報と対応付けて出力されるようにしてもよい。

また、車両９１周辺を２次元平面としたときの座標を設定し、センサ部２００−１乃至２００−６のそれぞれの物体認識結果が、車両９１周辺の２次元平面上の座標に対応付けて１つのマップ情報として出力されるようにしてもよい。

さらに、車内のネットワークにおいて流通するデータ量を低減させるため、運転状態やミリ波レーダ２２１およびLiDAR２２２の動作状態に応じて、自動運転制御部１１２に出力するデータが変化されるようにしてもよい。

例えば、走行速度が一定の状態となり、かつ、周囲の車両との位置関係に変化がないような状態が所定時間継続しているような場合、全方向のセンシング結果は必要なく、進行方向である範囲Ｚ１をセンシングするセンサ部２００−１からのセンシング結果のみを出力させるようにしてもよい。以降においては、このように一部の方向のセンシング結果のみが出力されるモードを低負荷モードとも称する。

また、センサ部２００−１乃至２００−６のそれぞれのミリ波レーダ２２１およびLiDAR２２２の動作状態に不具合があるような場合、運転状態に関係なく、全方向のセンシング結果が出力されるようにしてもよい。以降においては、このように全方向のセンシング結果のみが出力されるモードを高負荷モードとも称する。

＜車両の全周囲の情報が検出されるようにしたデータ取得部の構成例＞
次に、図１２のブロック図を参照して、車両の全周囲の情報が検出されるようにしたデータ取得部１０２の第３の実施の形態の構成例について説明する。

尚、図１２のデータ取得部１０２の構成例において、図９のデータ取得部１０２における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

すなわち、図１２のデータ取得部１０２において、図９と異なる点は、センサ部２００と同一の構成であるセンサ部２００−１乃至２００−６が図１１で示されるように、車両９１の全周囲となる範囲Ｚ１乃至Ｚ６をセンシングできるように設けられ、認識結果統合部２３１、および画像統合部２３２が設けられている点が異なる。

認識結果統合部２３１は、センサ部２００−１乃至２００−６のそれぞれより供給される物体認識結果を取得し、範囲Ｚ１乃至Ｚ６の情報と対応付けて自動運転制御部１１２に出力する。

画像統合部２３２は、センサ部２００−１乃至２００−６のそれぞれより供給される画像を、範囲Ｚ１乃至Ｚ６の情報と対応付けて自動運転制御部１１２に出力する。

または、認識結果統合部２３１は、センサ部２００−１乃至２００−６のそれぞれより供給される物体認識結果を取得し、車両９１周辺の２次元平面上の座標に対応付けて１つのマップ情報として出力するようにしてもよい。

また、走行速度が一定の状態となり、かつ、周囲の車両との位置関係に変化がないような状態が所定時間継続しているような場合、全方向のセンシング結果は必要ないので、認識結果統合部２３１は、進行方向である範囲Ｚ１をセンシングするセンサ部２００−１からの物体認識結果のみを出力させる。

このとき、画像統合部２３２も、進行方向である範囲Ｚ１を撮像するセンサ部２００−１からの画像のみを出力させる。

さらに、センサ部２００−１乃至２００−６のそれぞれのミリ波レーダ２２１およびLiDAR２２２の動作状態に不具合があるような場合、認識結果統合部２３１は、運転状態に関係なく、全方向の物体認識結果を出力させる。

このとき、画像統合部２３２も、全方向を撮像するセンサ部２００−１乃至２００−６からの全画像を出力させる。

＜統合処理＞
次に、図１３のフローチャートを参照して、図１２のデータ取得部１０２により統合処理について説明する。尚、この処理においては、センサ部２００−１乃至２００−６のそれぞれにおいて、図１０のフローチャートを参照して説明したセンシング処理がなされていることが前提となる。

ステップＳ６１において、認識結果統合部２３１は、センサ部２００−１乃至２００−６からのそれぞれより供給される物体認識結果を取得する。同様に、画像統合部２３２は、センサ部２００−１乃至２００−６からのそれぞれより供給される画像を取得する。

ステップＳ６２において、認識結果統合部２３１は、速度情報および距離情報からなるメタデータが付与された物体認識結果に基づいて、車両９１が一定の速度で走行中であり、かつ、周囲の車両との距離が一定の状態が所定時間継続したか否かを判定する。

ステップＳ６２において、車両９１が一定の速度で走行中であり、かつ、周囲の車両との距離が一定の状態が所定時間継続しているとみなされた場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、認識結果統合部２３１は、ミリ波レーダ２２１より供給される速度情報、およびLiDAR２２２より供給される距離情報の有無に基づいて、ミリ波レーダ２２１、およびLiDAR２２２の動作状態に異常がないか否かを判定する。

ステップＳ６３において、ミリ波レーダ２２１、およびLiDAR２２２の動作状態に異常がないと判定された場合、処理は、ステップＳ６４に進む。

ステップＳ６４において、認識結果統合部２３１は、進行方向である範囲Ｚ１をセンシングするセンサ部２００−１からの物体認識結果のみを自動運転制御部１１２に出力させる（低負荷モード）。また、画像統合部２３２は、進行方向である範囲Ｚ１をセンシングするセンサ部２００−１からの画像のみを自動運転制御部１１２に出力させる。

また、ステップＳ６２において、車両９１が一定の速度で走行中でない、もしくは、周囲の車両との距離が一定の状態が所定時間継続していないとみなされた場合、または、ステップＳ６３において、ミリ波レーダ２２１、およびLiDAR２２２の少なくともいずれかの動作状態に異常があると判定された場合、処理は、ステップＳ６５に進む。

ステップＳ６５において、認識結果統合部２３１は、センサ部２００−１乃至２００−６からの全方向の物体認識結果を出力させる。また、画像統合部２３２は、センサ部２００−１乃至２００−６からの全画像を自動運転制御部１１２に出力させる（高負荷モード）。

以上の一連の処理により、車両９１の全周囲をカバーする範囲がセンシングされて、物体認識結果と画像が自動運転制御部１１２に出力されるので、より高精度な自動運転制御を実現することが可能となる。

また、車両９１の走行状態やミリ波レーダ２２１やLiDAR２２２の動作状態の異常の有無に応じて、自動運転制御部１１２に供給される物体認識結果と画像のセンシング範囲が変化する。

より具体的には、比較的危険性が低い状態においては、進行方向前方の物体認識結果と画像のみが自動運転制御部１１２に供給されることになるので、車内ネットワークにおける通信負荷を低減させることが可能となる。

ここで、比較的危険性が低い状態とは、例えば、車両９１が一定の速度で走行中であり、かつ、周囲の車両との距離が一定の状態が所定時間継続している状態や、ミリ波レーダ２２１やLiDAR２２２の動作状態の異常がない状態である。

さらに、以上においては、比較的危険性が低い場合には、進行方向前方の物体認識結果と画像が自動運転制御部１１２に出力される例について説明してきたが、危険性が低いほど自動運転制御は不要な状態となる。したがって、例えば、一般的な歩行速度よりも低速で、ブレーキによりいつでも停止できるような速度であるような、さらに、危険性が低い場合には、物体認識結果および画像のいずれも自動運転制御部１１２に出力しないようにしてもよい。

＜＜６．第４の実施の形態＞＞
以上においては、車両９１の全方向に対して複数のセンサ２００を設けて、複数のセンシング結果を統合して出力する例について説明してきたが、イメージセンサ２０３が単一露光を行うものとして説明してきたが、もちろん、複数同時露光（すなわち、１フレーム期間内に複数の露光タイミングを持ち、１フレーム期間内に複数の画像を撮像する）を実施可能な構成であってもよい。それぞれの感度での撮像結果、並びにミリ波レーダ２２１、およびLiDAR２２２のセンシング結果を、車外の状況に応じて選択的に使用することで認識精度を向上させるようにしてもよい。

すなわち、図１４の左部のイメージセンサ２０３は、１フレーム期間内に３枚の画像を撮像し、それぞれ高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌのシャッター開閉タイミング（すなわち露光時間）や、センサゲイン調整といったイメージセンサ制御を実施することで設定される。このため、図１４のイメージセンサ２０３においては、３種類の感度の画像ＰＨ，ＰＭ，ＰＬを同時に撮像することができる。

高感度画像ＰＨは、露光時間が所定時間より長い画像であり、暗い被写体用の画像である。中感度画像ＰＭは、露光時間が高感度画像ＰＨよりも短く、低感度画像ＰＬよりも長い画像であり、中間輝度の被写体用の画像である。低感度画像ＰＬは、露光時間が所定時間より短い画像であり、明るい被写体用の画像である。

そして、高感度画像ＰＨが信号処理されて、物体認識処理がなされることで、高感度物体認識結果が求められる。

同様に、中感度画像ＰＭが信号処理されて、物体認識処理がなされることで、中感度物体認識結果が求められる。

また、低感度画像ＰＬが信号処理されて、物体認識処理がなされることで、低感度物体認識結果が求められる。

そして、外界の条件に応じて、高感度物体認識結果、中感度物体認識結果、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が選択的に用いられて物体認識精度が向上される。

すなわち、例えば、外界の条件において、例えば、十分な明るさがあり、全ての認識結果を使用できるような場合については、図１５のＰａｔ１で示されるように、高感度物体認識結果、中感度物体認識結果、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。

また、例えば、外界の条件が所定の照度よりも低く暗い場合については、図１５のＰａｔ２で示されるように、高感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。

さらに、例えば、外界の条件が逆光である場合については、図１５のＰａｔ３で示されるように、中感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。

また、例えば、外界の条件が所定の照度よりも高く明るすぎるような場合については、図１５のＰａｔ４で示されるように、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。

さらに、例えば、濃霧であるような場合については、図１５のＰａｔ５で示されるように、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が統合されて使用される。ただし、この場合、物体認識処理ができないが、物体の位置、速度、および距離については求められるので、物体認識結果としては不明であるが、物体が存在し、物体の画像内における位置、速度、および距離が確認される。

尚、図１５において、使用されるセンシング結果の種別が記載されており、上から高感度物体認識結果（高感度）、中感度物体認識結果（中感度）、低感度物体認識結果（低感度）、ミリ波レーダ２２１およびLiDAR２２２の認識結果（ミリ波、LiDAR）であることが示されている。また、最下段においては、物体認識結果が得られるか否かの項目が設けられている。さらに、左から順に、パターンＰａｔ１乃至Ｐａｔ５の種別に応じた選択されるセンシング結果の種別が丸印で示されており、バツ印は、選択されないことが示されている。

＜複数の異なる感度で撮像した画像、並びにミリ波レーダ、およびLiDARのセンシング結果を、車外の状況に応じて選択するようにしたデータ取得部の構成例＞
次に、図１６を参照して、複数の異なる感度で撮像した画像、並びにミリ波レーダ２２１、およびLiDAR２２２のセンシング結果を、車外の状況に応じて選択するようにしたデータ取得部１０２の第４の実施の形態の構成例について説明する。

図１６のデータ取得部１０２において、図９のデータ取得部１０２と異なる点は、イメージセンサ２０３、信号処理部２０４、および認識部２０５のそれぞれに高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬを処理する構成が設けられ、さらに、照度を検出する照度センサ２４１、および霧を検出する霧センサ２４２が設けられている点である。

イメージセンサ２０３は、図１４を参照したように、高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌが設けられており、異なる露光時間により同時に感度の異なる画像を撮像することができ、それぞれ信号処理部２０４に出力する。

尚、図１４においては、感度を３段階にする例について説明しているが、２段階や４段階以上に分割されるようにしてもよい。

信号処理部２０４は、イメージセンサ２０３の分割数に対応して、高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌを備えている。高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌは、それぞれ高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌより供給される高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬを信号処理し、認識部２０５に出力する。

認識部２０５は、イメージセンサ２０３の分割数に対応して、高感度認識部２０５Ｈ、中感度認識部２０５Ｍ、および低感度認識部２０５Ｌ、並びに、認識結果統合部２０５Ｒを備えている。高感度認識部２０５Ｈ、中感度認識部２０５Ｍ、および低感度認識部２０５Ｌは、それぞれ高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌより供給される信号処理結果である高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬに基づいて、物体認識処理を行い、結果である物体認識結果を認識結果統合部２０５Ｒに出力する。

認識結果統合部２０５Ｒは、照度センサ２４１より供給される照度の情報、および霧センサ２４２により供給される霧の有無の情報に基づいて、図１５を参照して説明したように、高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌの物体認識結果、並びに、ミリ波レーダ２２１、およびLiDAR２２２のセンシング結果を選択的に使用することで物体認識結果を統合して、自動運転制御部１１２に出力する。

このような構成により、外界の条件に応じた物体認識結果が選択的に用いられることにより、物体認識精度を向上させることが可能となる。

＜図１６のデータ取得部によるセンシング処理＞
次に、図１７のフローチャートを参照して、図１６のデータ取得部１０２によるセンシング処理について説明する。

尚、図１７のフローチャートにおいて、ステップＳ７９乃至Ｓ８５の処理は、図１０のフローチャートを参照して説明したステップＳ４４乃至Ｓ５０の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ７１において、イメージセンサ２０３は、制御部２０１により制御されて、高感度部２０３Ｈ、中感度部２０３Ｍ、および低感度部２０３Ｌのそれぞれの感度で、レンズ２０２を介して入射する車両９１の周囲の感度の異なる３枚の画像ＰＨ，ＰＭ，ＰＬを撮像し、撮像した画像信号を信号処理部２０４に出力する。

ステップＳ７２において、信号処理部２０４は、制御部２０１により制御され、高感度信号処理部２０４Ｈ、中感度信号処理部２０４Ｍ、および低感度信号処理部２０４Ｌのそれぞれにおいて、高感度画像ＰＨ、中感度画像ＰＭ、および低感度画像ＰＬに対して、信号処理を施し、認識部２０５、バッファ２０６、および判定部２０７に出力する。

ステップＳ７３において、制御部２０１は、信号処理部２０４より出力された３種類の感度の画像信号のうち、照度センサ２４１の照度に応じた感度の画像をバッファ２０６にバッファリングさせる。また、照度センサ２４１を用いず、信号処理部２０４にイメージセンサ２０３で撮像した画面全体の輝度検波処理部を設けて、画面の明るさを検出する構成にしても良い。

すなわち、照度が所定値よりも低く、暗い場合は、高感度信号処理部２０４Ｈにより処理された画像がバッファリングされ、照度が所定値よりも高く、明るい場合は、低感度信号処理部２０４Ｌにより処理された画像がバッファリングされ、それ以外の場合、中感度信号処理部２０４Ｍにより処理された画像がバッファリングされる。

ステップＳ７４において、ミリ波レーダ２２１は、車両９１の周囲に対してミリ波帯の電波を照射して、ピーク強度の反射波に基づいて、物体の速度情報を検出して認識部２０５に出力する。

ステップＳ７５において、LiDAR２２２は、赤外光からなるレーザ光を投光し、物体からの反射光を受光することで、レーザ光の往復時間に基づいて、物体までの距離情報を３次元点群情報として検出し、認識部２０５に出力する。

ステップＳ７６において、認識部２０５の高感度認識部２０５Ｈ、中感度認識部２０５Ｍ、および低感度認識部２０５Ｌは、それぞれの感度の画像ＰＨ，ＰＭ，ＰＬに基づいて物体認識処理を行い、結果である物体認識結果を認識結果統合部２０５Ｒに出力する。

ステップＳ７７において、認識結果統合部２０５Ｒは、認識結果統合処理を実行して、それぞれの感度に認識結果、並びに、ミリ波レーダ２２１の速度情報、およびLiDAR２２２の距離情報に基づいて、認識結果を統合する。

ステップＳ７８において、認識結果統合部２０５Ｒは、認識結果統合処理結果に基づいて、物体認識結果に対して、ミリ波レーダ２２１の速度情報、およびLiDAR２２２の距離情報をメタデータとして付与し、物体認識結果を生成する。

そして、ステップＳ７９において、バッファリングされていた画像が自動運転制御部１１２に出力され、ステップＳ８０において、物体認識結果が自動運転制御部１１２に出力される。

以降の処理により、自動運転制御部１１２においては、より高精度な物体認識結果に基づいた自動運転制御を実現させることが可能となる。

＜認識結果統合処理＞
ここで、図１８のフローチャートを参照して、認識結果統合処理について説明する。

ステップＳ１０１において、認識結果統合部２０５Ｒは、照度センサ２４１により検出される車両９１の周囲の照度に基づいて、周囲の照度は、所定の照度以下であり、暗い状態であるか否かを判定する。

ステップＳ１０１において、周囲の照度は、所定の照度以下であり、暗い状態であると判定された場合、処理は、ステップＳ１０２に進む。

ステップＳ１０２において、認識結果統合部２０５Ｒは、図１５のＰａｔ２で示されるように、高感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。

また、ステップＳ１０１において、周囲の照度は、所定の照度以下ではなく、暗い状態ではないと判定された場合、処理は、ステップＳ１０３に進む。

ステップＳ１０３において、認識結果統合部２０５Ｒは、中感度信号処理結果である画像ＰＭにおける、画像内の明暗差に基づいて、逆光であるか否かを判定する。

ステップＳ１０３において、逆光であるとみなされた場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、認識結果統合部２０５Ｒは、図１５のＰａｔ３で示されるように、中感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。

また、ステップＳ１０３において、逆光ではないと判定された場合、処理は、ステップＳ１０５に進む。

ステップＳ１０５において、認識結果統合部２０５Ｒは、照度センサ２４１により検出される車両９１の周囲の照度に基づいて、所定の照度以上であり過剰な明るさであるか否かを判定する。

ステップＳ１０５において、所定の照度以上であり過剰な明るさであるとみなされた場合、処理は、ステップＳ１０６に進む。

ステップＳ１０６において、認識結果統合部２０５Ｒは、図１５のＰａｔ４で示されるように、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。

さらにステップＳ１０５において、過剰な明るさではないとみなされた場合、処理は、ステップＳ１０７に進む。

ステップＳ１０７において、認識結果統合部２０５Ｒは、霧センサ２４２により検出される車両９１の周囲が霧であるか否かの情報に基づいて、霧の有無を判定する。

ステップＳ１０７において、霧状態であるとみなされた場合、処理は、ステップＳ１０８に進む。

ステップＳ１０８において、認識結果統合部２０５Ｒは、図１５のＰａｔ５で示されるように、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果を選択する。ただし、この場合、物体認識結果は不明とされる。すなわち、この場合、物体認識結果は不明であるが、速度情報と距離情報とが認識物体が不明である物体認識結果にメタデータとして付与される。

ステップＳ１０７において、霧状態ではないとみなされた場合、すなわち、暗すぎず、明るすぎず、逆光でも、霧でもない場合、処理は、ステップＳ１０９に進む。

ステップＳ１０９において、認識結果統合部２０５Ｒは、全ての認識結果を使用できるので、図１５のＰａｔ１で示されるように、高感度物体認識結果、中感度物体認識結果、低感度物体認識結果、ミリ波レーダ２２１の検出結果、および、LiDAR２２２の検出結果が選択される。

以上の処理により、複数の感度の画像に基づいた物体認識結果、および、ミリ波レーダ２２１により求められる物体の速度情報、およびLiDAR２２２により求められる物体の距離情報が求められ、外界の状況に応じて、適切な情報が選択されて物体認識結果が生成されて、自動運転制御部１１２に出力される。

結果として、物体認識精度を向上させることが可能となり、高精度な物体認識結果に基づいた適切な自動運転制御を実現させることが可能となる。

＜＜７．第５の実施の形態＞＞
以上においては、複数の感度の画像に基づいた物体認識結果、および、ミリ波レーダ２２１により求められる物体の速度情報、およびLiDAR２２２により求められる物体の距離情報が求められ、外界の状況に応じて、適切な情報が選択されて物体認識結果が生成される例について説明してきた。

ところで、昨今においては、信号機に使用される照明や車両のウィンカやブレーキランプなどにLED（Light Emission Diode）が使用される構成が増えてきている。

例えば、LEDを使用した信号機などにおいては、人間の目では認識できない、交流電源の周期に応じた点滅がなされているため、シャッタスピードに応じて信号機が全て消灯しまうような画像が撮像される、いわゆるフリッカ現象が生じることがある。

すなわち、図１９は、交流電源の電圧の変位を示したものであるが、このように電圧が変化する場合、LEDは、上に凸、または下に凸のタイミングにおいて明るく点灯し、波形の正負が反転するタイミングを含むタイミングにおいて消灯する状態になる。

このため、イメージセンサ２０３の露光時間が矢印ＳＳ１である場合、正負が反転する近傍のタイミングでは、LEDが消灯するため撮像されないことになる。これに対して、イメージセンサ２０３の露光時間が矢印ＳＳ１よりも長い矢印ＳＳ２である場合、波形の正負が反転するタイミングを跨ぐような期間を含んでいても、LEDが点灯した状態のタイミングも露光されているため、どのようなタイミングにおいてもLEDが消灯した状態の画像が撮像されることがない。

このため、一般的に信号機が撮像されるようなイメージセンサ２０３においては、図２０の下段で示されるように、露光時間を11ms（＝1/90s）で制限して、信号機のLEDが消灯した画像が撮像されないように設定されている。ただし、図２０においては、F値が1.8で、ISO100相当であることが前提とされている。

尚、図２０において、露光時間が1/30s乃至1/90sにおいては、露光時間による感度調整がなされ、露光時間が1/90sにおいては、ゲイン（gain）により感度が調整される。これにより、フリッカの発生は抑制されることになる。

しかしながら、周囲の状況が明るすぎるような状態になると、露光時間に制限があることにより、動きがある画像などでは色滲みが発生したり、トンネル出口の画像などで白飛びなどが発生する恐れがある。

そこで、本開示においては、物体認識結果により画像内に信号機が存在する場合については、従来通り露光時間を11ms（＝1/90s）で制限し、それ以外の場合については、図２０の上段で示されるように、外界の照度に応じて、露光時間を1/90s乃至1/15000s等の範囲で調整できるようにする。

このような構成により、LEDを用いた信号機が画像内に存在する場合には、消灯してしまっている画像が撮像されることが防止されるとともに、信号機が画像内に存在しないときには、光量の応じた露光時間で画像を撮像することが可能となる。

結果として、動きのある画像における滲みやトンネル出口の画像などでの白飛びの発生が抑制されつつ、信号機が存在する場合には、LEDが用いられていても信号機が消灯された状態で撮像されることがなくなる。

また、車両に用いられる照明のうち、テールランプにLEDが用いられる場合においてもフリッカが生じることがある。この場合についても同様の処理が必要である。さらに、車両に用いられるウィンカにLEDが用いられる場合があるがウィンカについてはテールランプほど点灯時間が長くないので、フリッカが視認できる状態とはならない。そこで、車両に用いられるランプのうちテールランプが画像内に存在するときは、信号機に対する場合と同様の処理を行い、ウィンカの場合については、明るさに応じた露光時間の調整を行うようにする。

＜LEDを用いた信号機や車両の照明が画像内に存在するか否かに応じて露光時間を調整するデータ取得部の構成例＞
次に、図２１を参照して、LEDを用いた信号機や車両の照明が画像内に存在するか否かに応じて露光時間を調整するデータ取得部１０２の構成例について説明する。

図２１のデータ取得部１０２において、図９のデータ取得部１０２の構成と異なるのは、判定部２０７に、信号機判定部２０７Ａ、および車両ランプ判定部２０７Ｂが含まれている点である。

信号機判定部２０７Ａは、認識部２０５の物体認識結果に基づいて、信号処理部２０４より出力される画像内に信号機が含まれているか否かを判定し、判定結果を制御部２０１に出力する。

車両ランプ判定部２０７Ｂは、認識部２０５の物体認識結果に基づいて、信号処理部２０４より出力される画像内に車両ランプがあるか否かを判定する。さらに、車両ランプがある場合、車両ランプ判定部２０７Ｂは、車両ランプが、点灯時間が所定時間より短いウィンカであるか否かを判定し、ウィンカではないとき、すなわち、点灯時間が所定時間より長いテールランプである場合、判定結果を制御部２０１に出力する。

信号処理部２０４は、信号機やテールランプが画像内に存在することを示す判定結果が供給される場合、イメージセンサ２０３の露光時間をフリッカが生じない長さに制限し、それ以外の場合、イメージセンサ２０３の露光時間を外界の明るさに応じた適切な長さに制御する。

このような構成により、信号機やテールランプによるフリッカの発生を抑制しつつ、動きのある画像における色滲みやトンネル出口の画像などでの白飛びの発生が抑制される。

＜フリッカ抑制処理＞
次に、図２２のフローチャートを参照して、図２２のデータ取得部１０２によるフリッカ抑制処理について説明する。尚、ここでは、上述したセンシング処理がなされ、認識部２０５からは順次物体認識結果が供給される。

ステップＳ１３１において、判定部２０７は、認識部２０５より物体認識結果を取得する。

ステップＳ１３２において、信号機判定部２０７Ａは、物体認識結果に信号機が含まれているか否かを判定する。

ステップＳ１３２において、信号機が含まれているとみなされた場合、処理は、ステップＳ１０３に進む。

ステップＳ１３３において、信号機判定部２０７Ａは、物体認識結果に信号機が含まれることを制御部２０１に通知する。制御部２０１は、露光時間を調整してフリッカ抑制用の状態となるように、例えば、露光時間を11msに制限するようにイメージセンサ２０３を制御する。

ステップＳ１３４において、処理の終了が指示されたか否かが判定され、終了が指示されていない場合、処理は、ステップＳ１３１に戻り、それ以降の処理が繰り返される。また、ステップＳ１３４において、処理の終了が指示された判定された場合、処理が終了する。

また、ステップＳ１３２において、信号機がないと判定された場合、処理は、ステップＳ１３５に進む。

ステップＳ１３５において、車両ランプ判定部２０７Ｂは、物体認識結果に車両ランプが含まれているか否かを判定し、車両ランプが含まれているとき、処理は、ステップＳ１３６に進む。

ステップＳ１３６において、車両ランプ判定部２０７Ｂは、車両ランプが、点灯時間が所定時間より短いウィンカであるか否かを判定する。

ステップＳ１３６において、ウィンカではないと判定された場合、処理は、ステップＳ１０３に進む。

一方、ステップＳ１３６において、ウィンカであった場合、処理は、ステップＳ１３７に進む。

ステップＳ１３７において、車両ランプ判定部２０７Ｂは、物体認識結果に信号機やテールランプが含まれないことを制御部２０１に通知する。制御部２０１は、外界の照度に合わせた、通常状態の露光時間となるようにイメージセンサ２０３を制御する。

さらに、ステップＳ１３５において、車両ランプがないとみなされた場合、処理は、ステップＳ１３７に進む。

以上の処理により、LEDが用いられた信号機やテールランプについては、フリッカの発生が抑制され、信号機やテールランプが消灯しているような画像を撮像することが抑制され、信号機やテールランプがない場合については、照度に合わせた通常状態の露光時間で撮像することが可能となるので、動きのある画像での色滲みや、トンネル出口の画像などにおいて白飛びなどの発生を抑制することが可能となる。

＜＜８．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図２３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図２３におけるCPU１００１が、図３における自動運転制御部１１２の機能を実現させる。また、図２３における記憶部１００８が、図３における記憶部１１１を実現する。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ 自車となる車両の周囲の画像を撮像する撮像部と、
前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記車両の運転を制御する運転制御部に出力する物体認識処理部と
を備える情報処理装置。
＜２＞ 前記物体認識処理部は、前記画像より、地上面、人間、車両、建造物、固定物体、自然環境、および空の情報のうちの少なくともいずれか一つを前記物体として認識し、前記物体認識処理結果として出力する
＜１＞に記載の情報処理装置。
＜３＞ 前記地上面の前記物体認識処理結果には、道路、歩道、駐車場、および軌道のうちの少なくともいずれか一つが含まれる
＜２＞に記載の情報処理装置。
＜４＞ 前記人間の前記物体認識処理結果には、歩行者および運転者のうちの少なくともいずれか一つが含まれる
＜２＞に記載の情報処理装置。
＜５＞ 前記車両の前記物体認識処理結果には、車、トラック、バス、レール上を走行する電車や列車、バイク、自転車、および牽引車両のうちの少なくともいずれか一つが含まれる
＜２＞に記載の情報処理装置。
＜６＞ 前記建造物の前記物体認識処理結果には、建物、壁、フェンス、ガードレール、橋梁、およびトンネルのうちの少なくともいずれか一つが含まれる
＜２＞に記載の情報処理装置。
＜７＞ 前記自然環境の前記物体認識処理結果には、植生や地形の情報のうちの少なくともいずれか一つが含まれる
＜２＞に記載の情報処理装置。
＜８＞ 前記自然環境の前記物体認識処理結果には、植生や地形の情報が含まれる
＜２＞に記載の情報処理装置。
＜９＞ 前記画像を信号処理する信号処理部をさらに含み、
前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも遅い場合、前記信号処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記信号処理された画像を間引いて出力する
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞ 前記信号処理された画像が間引いて出力される場合、前記物体認識処理結果は、間引かれる画像数だけ前のタイミングの画像と共に出力される
＜９＞に記載の情報処理装置。
＜１１＞ 前記画像を信号処理する信号処理部をさらに含み、
前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも速い場合、前記物体認識処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記物体認識処理結果を間引いて出力する
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１２＞ 前記自車の周囲の物体の速度情報を検出する速度情報検出部と、
前記自車の周囲の物体の距離情報を検出する距離情報検出部とをさらに含み、
前記物体認識処理部は、前記物体認識処理結果のそれぞれに対応付けて、前記速度情報および前記距離情報からなるメタデータを付与して出力する
＜１＞乃至＜１１＞のいずれかに記載の情報処理装置。
＜１３＞ 前記物体認識処理部は、前記物体認識処理結果のうち、前記速度情報検出部および前記距離情報検出部による検出精度が所定値よりも高い前記物体認識処理結果に対して、前記速度情報および前記距離情報からなるメタデータを付与して出力する
＜１２＞に記載の情報処理装置。
＜１４＞ 前記物体認識処理部は、前記周囲の状況に応じて、前記物体認識処理結果のうちの一部を出力する低負荷モード、または、前記物体認識処理結果の全部を出力する高負荷モードのいずれかのモードで、前記物体認識処理結果を出力する
＜１＞乃至＜１３＞のいずれかに記載の情報処理装置。
＜１５＞ 前記物体認識処理部は、前記周囲の状況が、前記周囲の車両の速度が一定速度で走行し、かつ、距離が一定の状態で所定時間継続する状況である場合、前記低負荷モードにより、前記物体認識処理結果のうち進行方向の前記物体認識処理結果を出力する
＜１４＞に記載の情報処理装置。
＜１６＞ 前記撮像部は、異なる感度で複数の画像を撮像し、
前記物体認識処理部は、前記異なる感度の複数の画像のそれぞれについて物体認識処理を行って異なる感度の複数の物体認識処理結果を生成し、前記周囲の状況に応じて、前記異なる感度の複数の物体認識処理結果を選択して出力する
＜１＞乃至＜１５＞のいずれかに記載の情報処理装置。
＜１７＞ 前記物体認識処理結果のうち、所定の物体認識結果が含まれる場合、前記撮像部のパラメータが制御される
＜１＞乃至＜１６＞のいずれかに記載の情報処理装置。
＜１８＞ 前記物体認識処理結果のうち、所定の物体認識結果として信号機、およびテールランプが含まれる場合、前記撮像部の前記パラメータのうち露光時間が、所定時間以上の長さに制御される
＜１７＞に記載の情報処理装置。
＜１９＞ 自車となる車両の周囲の画像を撮像する撮像処理と
撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記車両の運転を制御する運転制御部に出力する物体認識処理と
を含む情報処理方法。
＜２０＞ 自車となる車両の周囲の画像を撮像する撮像部と、
前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記車両の運転を制御する運転制御部に出力する物体認識処理部と
してコンピュータを機能させるプログラム。

９１ 車両， １００ 車両制御システム， １０２ データ取得部１０２ 自動運転制御部， ２００，２００−１乃至２００−６ センサ部， ２０１，２０１−１乃至２０１−６ 制御部， ２０２，２０２−１乃至２０２−６ レンズ， ２０３，２０３−１乃至２０３−６ イメージセンサ， ２０３Ｈ 高感度部， ２０３Ｍ 中感度部， ２０３Ｌ 低感度部， ２０４，２０４−１乃至２０４−６ 信号処理部， ２０４Ｈ 高感度信号処理部， ２０４Ｍ 中感度信号処理部， ２０４Ｌ 低感度信号処理部， ２０５，２０５−１乃至２０５−６ 認識部， ２０５Ｈ 高感度認識部， ２０５Ｍ 中感度認識部， ２０５Ｌ 低感度認識部， ２０５Ｒ 認識結果統合部， ２０６，２０６−１乃至２０６−６ ， バッファ， ２０７ 判定部， ２０７Ａ 信号機判定部， ２０７Ｂ 車両ランプ判定部， ２２１ ミリ波レーダ， ２２２ LiDAR， ２２３ 衝突判定部， ２３１ 認識結果統合部， ２３２ 画像統合部， ２４１ 照度センサ， ２４２ 霧センサ

Claims (20)

1. 移動体の周囲の画像を撮像する撮像部と、
   前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理部と
   を備える情報処理装置。
2. 前記物体認識処理部は、前記画像より、地上面、人間、車両、建造物、固定物体、自然環境、および空の情報のうちの少なくともいずれか一つを前記物体として認識し、前記物体認識処理結果として出力する
   請求項１に記載の情報処理装置。
3. 前記地上面の前記物体認識処理結果には、道路、歩道、駐車場、および軌道のうちの少なくともいずれか一つが含まれる
   請求項２に記載の情報処理装置。
4. 前記人間の前記物体認識処理結果には、歩行者および運転者のうちの少なくともいずれか一つが含まれる
   請求項２に記載の情報処理装置。
5. 前記車両の前記物体認識処理結果には、車、トラック、バス、レール上を走行する電車や列車、バイク、自転車、および牽引車両のうちの少なくともいずれか一つが含まれる
   請求項２に記載の情報処理装置。
6. 前記建造物の前記物体認識処理結果には、建物、壁、フェンス、ガードレール、橋梁、およびトンネルのうちの少なくともいずれか一つが含まれる
   請求項２に記載の情報処理装置。
7. 前記固定物体の前記物体認識処理結果には、ポール、ポール群、交通標識、および信号機のうちの少なくともいずれか一つが含まれる
   請求項２に記載の情報処理装置。
8. 前記自然環境の前記物体認識処理結果には、植生や地形の情報のうちの少なくともいずれか一つが含まれる
   請求項２に記載の情報処理装置。
9. 前記画像を信号処理する信号処理部をさらに含み、
   前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
   前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも遅い場合、前記信号処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記信号処理された画像を間引いて出力する
   請求項１に記載の情報処理装置。
10. 前記信号処理された画像が間引いて出力される場合、前記物体認識処理結果は、間引かれる画像数だけ前のタイミングの画像と共に出力される
    請求項９に記載の情報処理装置。
11. 前記画像を信号処理する信号処理部をさらに含み、
    前記物体認識処理部は、前記信号処理部により信号処理された画像に基づいた物体認識処理により前記画像内の物体を認識し、
    前記物体認識処理部による物体認識処理が、前記信号処理部による信号処理よりも速い場合、前記物体認識処理部は、前記物体認識処理の処理時間と、前記信号処理の処理時間との時間差に基づいて、前記物体認識処理結果を間引いて出力する
    請求項１に記載の情報処理装置。
12. 前記移動体の周囲の物体の速度情報を検出する速度情報検出部と、
    前記移動体の周囲の物体の距離情報を検出する距離情報検出部とをさらに含み、
    前記物体認識処理部は、前記物体認識処理結果のそれぞれに対応付けて、前記速度情報および前記距離情報からなるメタデータを付与して出力する
    請求項１に記載の情報処理装置。
13. 前記物体認識処理部は、前記物体認識処理結果のうち、前記速度情報検出部および前記距離情報検出部による検出精度が所定値よりも高い前記物体認識処理結果に対して、前記速度情報および前記距離情報からなるメタデータを付与して出力する
    請求項１２に記載の情報処理装置。
14. 前記物体認識処理部は、前記周囲の状況に応じて、前記物体認識処理結果のうちの一部を出力する低負荷モード、または、前記物体認識処理結果の全部を出力する高負荷モードのいずれかのモードで、前記物体認識処理結果を出力する
    請求項１に記載の情報処理装置。
15. 前記物体認識処理部は、前記周囲の状況が、前記周囲の移動体の速度が一定速度で移動し、かつ、距離が一定の状態で所定時間継続する状況である場合、前記低負荷モードにより、前記物体認識処理結果のうち進行方向の前記物体認識処理結果を出力する
    請求項１４に記載の情報処理装置。
16. 前記撮像部は、異なる感度で複数の画像を撮像し、
    前記物体認識処理部は、前記異なる感度の複数の画像のそれぞれについて物体認識処理を行って異なる感度の複数の物体認識処理結果を生成し、前記周囲の状況に応じて、前記異なる感度の複数の物体認識処理結果を選択して出力する
    請求項１に記載の情報処理装置。
17. 前記物体認識処理結果のうち、所定の物体認識結果が含まれる場合、前記撮像部のパラメータが制御される
    請求項１に記載の情報処理装置。
18. 前記物体認識処理結果のうち、所定の物体認識結果として信号機、およびテールランプが含まれる場合、前記撮像部の前記パラメータのうち露光時間が、所定時間以上の長さに制御される
    請求項１７に記載の情報処理装置。
19. 移動体の周囲の画像を撮像する撮像処理と
    撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理と
    を含む情報処理方法。
20. 移動体の周囲の画像を撮像する撮像部と、
    前記撮像部により撮像された前記画像内の物体を認識する物体認識処理を行い、前記物体認識処理による物体認識処理結果を、認識した前記物体を単位として、前記移動体内のネットワークを介して出力する物体認識処理部と
    してコンピュータを機能させるプログラム。

Images