JP7243714B2 - 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体 - Google Patents

Description

本技術は、露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体に関し、特に、自動露光（Auto Exposure）を行う場合に用いて好適な露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体に関する。

従来、自車両の走行進行方向の遠方道路消失点を基準にして、遠方車両が走行していると期待される遠方小枠を定義し、遠方小枠内の輝度情報に基づいて車載カメラの露光制御を行うことが提案されている（例えば、特許文献１参照）。

特開２０１７－５６７８号公報

ところで、例えば、トンネルの入口又は出口付近などで周囲の明るさが急激に変化する場合、車載カメラの露光制御が間に合わずに、撮影された画像において、明るい場所が白飛びしたり、暗い場所が黒潰れしたりする場合がある。特許文献１では、この対策については検討されていない。

本技術は、このような状況に鑑みてなされたものであり、適切に露光制御を行うことができるようにするものである。

本技術の第１の側面の露光制御装置は、撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部とを備える。

本技術の第１の側面の露光制御方法は、撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出し、前記検波値に基づいて、前記撮影部の露光制御を行う。

本技術の第１の側面のプログラムは、撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出し、前記検波値に基づいて、前記撮影部の露光制御を行う処理をコンピュータに実行させる。

本技術の第２の側面の撮影装置は、撮影部と、前記撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部とを備える。

本技術の第３の側面の移動体は、撮影部と、前記撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出する検波部と、前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と、前記撮影画像に基づいて、移動制御を行う移動制御部とを備える。

本技術の第１の側面においては、撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値が算出され、前記検波値に基づいて、前記撮影部の露光制御が行われる。

本技術の第２の側面においては、撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値が算出され、前記検波値に基づいて、前記撮影部の露光制御が行われる。

本技術の第３の側面においては、撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値が算出され、前記検波値に基づいて、前記撮影部の露光制御が行われ、前記撮影画像に基づいて、移動制御が行われる。

本技術の第１の側面又は第２の側面によれば、適切に露光制御を行うことができる。

本技術の第３の側面によれば、適切に露光制御を行うことができる。その結果、移動体の移動制御を適切に行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術が適用され得る移動体制御システムの構成例を示すブロック図である。 本技術を適用した撮影システムの第１の実施の形態を示すブロック図である。 図２の撮影システムにより実行される露光制御処理を説明するためのフローチャートである。 撮影画像の例を示す模式図である。 分割領域の重みの第１の例を示す図である。 白飛びした撮影画像の例の模式図である。 黒潰れした撮影画像の例の模式図である。 生存時間の例を示す図である。 分割領域の重みの第２の例を示す図である。 パラメータテーブルの例を示す図である。 画像勾配に基づくパラメータを説明するための図である。 本技術を適用した撮影システムの第２の実施の形態を示すブロック図である。 図１２の撮影システムにより実行される露光制御処理を説明するためのフローチャートである。 検波領域の第１の設定方法を説明するための図である。 検波領域の第２の設定方法を説明するための図である。 検波領域の第２の設定方法を説明するための図である。 コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．移動体制御システムの構成例
２．第１の実施の形態（輝度の加重平均を用いる例）
３．第２の実施の形態（検波領域を設定する例）
４．変形例
５．その他

＜＜１．移動体制御システムの構成例＞＞
図１は、本技術を適用した移動体制御システム１００の概略的な機能の構成例を示すブロック図である。

移動体制御システム１００は、移動体１０に設けられ、移動体１０の各種の制御を行うシステムである。

移動体１０は、例えば、移動しながら周囲を撮影し、撮影した画像を用いた処理を行う移動体からなる。例えば、移動体１０は、車両、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の搭乗者のいる移動体を含む。また、例えば、移動体１０は、遠隔操作又は自動制御により移動するドローン、ロボット等の搭乗者のいない移動体を含む。さらに、例えば、移動体１０は、直接操作、遠隔操作、又は、自動制御のいずれにより移動するものでもよい。

移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自律移動制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自律移動制御部１１０は、通信ネットワーク１１１を介して、相互に接続されている。通信ネットワーク１１１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、IEEE802.3等のＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１１１を介さずに、直接接続される場合もある。

なお、以下、移動体制御システム１００の各部が、通信ネットワーク１１１を介して通信を行う場合、通信ネットワーク１１１の記載を省略するものとする。例えば、入力部１０１と自律移動制御部１１０が、通信ネットワーク１１１を介して通信を行う場合、単に入力部１０１と自律移動制御部１１０が通信を行うと記載する。

入力部１０１は、ユーザが各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、ユーザにより入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。

データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。

例えば、データ取得部１０２は、移動体１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、移動体１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、移動体１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１０が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

移動体内部機器１０４は、例えば、ユーザが有するモバイル機器若しくはウェアラブル機器、移動体１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、ユーザ又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、ユーザ又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、ユーザが装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。尚、出力制御部１０５および出力部１０６は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、移動体１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、４本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを４本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。

別の例では、駆動系システム１０８は、４基ないし６基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。

さらに、別の例では、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体１０の周囲の情報を含むローカルマップ等の地図データを記憶する。

自律移動制御部１１０は、自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部１１０は、移動体１０の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体１０の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部１１０は、ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自律移動の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。

移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、他の移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。

移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。

移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０の状態の検出処理を行う。検出対象となる移動体１０の状態には、例えば、速度、加速度、角速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。

自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。

状況分析部１３３は、移動体１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。

マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体１０の状況、移動体１０の周囲の状況、及び、移動体１０の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）、道路地図（Lane Map）、または、点群地図（Point Cloud Map）とされる。

認識対象となる移動体１０の状況には、例えば、移動体１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。

状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体１０に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体１０の状況、移動体１０の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる移動体１０の状況には、例えば、移動体１０の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体１０の周囲の状況には、例えば、移動体１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体１０の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体１０の動作を示すデータを、動作制御部１３５等に供給する。

動作制御部１３５は、移動体１０の動作の制御を行う。

より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体１０の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体１０の動作を計画する。

また、動作制御部１３５は、動作計画部１６３により計画された移動体１０の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

さらに、動作制御部１３５は、動作計画部１６３により計画された移動体１０の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

なお、以下、主に移動体１０が車両である場合を例に挙げて説明する。

＜＜２．第１の実施の形態＞＞
次に、図２乃至図１１を参照して、本技術の第１の実施の形態について説明する。

なお、第１の実施の形態は、図１の移動体制御システム１００のうち、主にデータ取得部１０２の処理に関連するものである。

＜撮影システムの構成例＞
図２は、本技術の第１の実施の形態である撮影システム２０１の構成例を示すブロック図である。

撮影システム２０１は、移動体１０の周囲を撮影するシステムである。撮影システム２０１は、撮影部２１１及び制御部２１２を備える。

なお、撮影システム２０１は、１つの装置（例えば、撮影装置）により構成されてもよいし、複数の装置により構成されてもよい。後者の場合、例えば、撮影部２１１と制御部２１２がそれぞれ異なる装置（例えば、撮影装置と露光制御装置）に分かれたり、撮影部２１１と制御部２１２の一部とが１つの装置（例えば、撮影装置）を構成し、制御部２１２の残りが異なる装置（例えば、露光制御装置）を構成したりする。

撮影部２１１は、移動体１０の周囲を撮影する。撮影部２１１は、撮影の結果得られた画像（以下、撮影画像と称する）を、移動体制御システム１００の検出部１３１及び自己位置推定部１３２、並びに、制御部２１２の検波部２２１の重み設定部２３１等に供給する。

また、撮影部２１１は、制御信号生成部２４４からの制御信号に基づいて、撮像素子（不図示）の露光時間（シャッタ速度）、撮像素子のゲイン（感度）、及び、絞りの大きさを調整することにより、露光量を調整する。

制御部２１２は、撮影部２１１の露光制御等を行う。制御部２１２は、検波部２２１及び露光制御部２２２を備える。

検波部２２１は、撮影画像の輝度に基づく検波値を検出し、検波値を示す検波信号を露光制御部２２２の誤差検出部２４１に供給する。検波部２２１は、重み設定部２３１及び検波値算出部２３２を備える。

重み設定部２３１は、後述するように、撮影画像を複数の分割領域に分割し、各分割領域に対する重みを設定する。重み設定部２３１は、撮影画像、及び、各分割領域の重みを示すデータを検波値算出部２３２に供給する。

検波値算出部２３２は、撮影画像の各分割領域の輝度及び重みに基づいて、検波値を算出する。検波値算出部２３２は、検波値を示す検波信号を露光制御部２２２の誤差検出部２４１に供給する。

露光制御部２２２は、検波信号に基づいて、撮影部２１１の露光制御を行う。露光制御部２２２は、誤差検出部２４１、露光量設定部２４２、制御方法設定部２４３、及び、制御信号生成部２４４を備える。

誤差検出部２４１は、検波部２２１により検出された検波値と目標値との間の誤差を検出し、検出した誤差を示すデータを露光量設定部２４２に供給する。

露光量設定部２４２は、検波値の誤差に基づいて、撮影部２１１の露光量の目標値を設定する。露光量設定部２４２は、露光量の目標値を示すデータを制御方法設定部２４３に供給する。

制御方法設定部２４３は、撮影部２１１の露光量が目標値に達するように、撮影部２１１の露光の制御方法を設定する。制御方法設定部２４３は、露光量の目標値、及び、露光の制御方法を示すデータを制御信号生成部２４４に供給する。

制御信号生成部２４４は、設定された露光の制御方法に従って、露光量が目標値に達するように撮影部２１１の露光を制御する制御信号を生成し、撮影部２１１に供給する。

＜露光制御処理＞
次に、図３のフローチャートを参照して、撮影システム２０１により実行される露光制御処理について説明する。

この処理は、例えば、撮影システム２０１の電源がオンされたとき開始され、撮影システム２０１の電源がオフされたとき終了する。

ステップＳ１において、撮影部２１１は、移動体１０の周囲を撮影する。撮影部２１１は、撮影により得られた撮影画像を検出部１３１、自己位置推定部１３２、及び、重み設定部２３１等に供給する。

検出部１３１の移動体外部情報検出部１４１（図１）は、例えば、撮影画像内の特徴点、及び各特徴点の移動体１０に対する位置（距離及び方向）の検出を行う。なお、特徴点の検出方法には、任意の手法を用いることが可能である。

また、移動体外部情報検出部１４１は、例えば、撮影画像内の各被写体の位置及び種類等の検出を行う。なお、被写体の検出方法には、例えば、セマンティックセグメンテーション、人体検出、又は、車両検出等の任意の手法を用いることが可能である。

さらに、移動体外部情報検出部１４１は、例えば、撮影画像内の各被写体の動き（例えば、速度及び移動方向等）の検出を行う。なお、被写体の動きの検出方法には、任意の手法を用いることが可能である。

自己位置推定部１３２は、撮影画像等に基づいて、移動体１０の自己位置推定を行う。

なお、以下、図４に模式的に示される撮影画像Ｐ１が撮影された場合を適宜具体例に挙げながら説明する。撮影画像Ｐ１は、移動体１０の前方を撮影した画像であり、空、前方の路面、路面上の他の車両、道路の両側の建物や木々等が写っている。

ステップＳ２において、重み設定部２３１は、移動体１０及び周囲の情報を取得する。

例えば、重み設定部２３１は、撮影画像内の特徴点、各特徴点の移動体１０に対する位置（距離及び方向）、並びに、撮影画像内の各被写体の位置、種類、及び、動き等の検出結果を示すデータを移動体外部情報検出部１４１から取得する。

また、例えば、重み設定部２３１は、移動体１０の速度及び角速度等の検出結果を示すデータを、検出部１３１の移動体状態検出部１４３（図１）から取得する。

さらに、例えば、重み設定部２３１は、移動体１０の自己位置の推定結果を示すデータを自己位置推定部１３２から取得する。

ステップＳ３において、重み設定部２３１は、撮影画像の各分割領域に対する重みを設定する。具体的には、重み設定部２３１は、撮影画像を複数の分割領域に分割する。そして、詳細は後述するが、重み設定部２３１は、各分割領域に対する重みを設定する。重み設定部２３１は、撮影画像、及び、各分割領域の重みを示すデータを検波値算出部２３２に供給する。

ステップＳ４において、検波値算出部２３２は、撮影画像の各分割領域の輝度及び重みに基づいて、検波値を算出する。検波値算出部２３２は、検波値を示す検波信号を誤差検出部２４１に供給する。

ここで、図５乃至図１１を参照して、ステップＳ３及びステップＳ４における検波値の算出方法の具体例について説明する。

＜検波値の第１の算出方法＞
まず、図５乃至図９を参照して、検波値の第１の算出方法について説明する。

例えば、重み設定部２３１は、図５に示されるように、同じ大きさのｎ個（この例では４８個）の矩形の分割領域ｉ（ｉ＝１～ｎ）に撮影画像Ｐ１を分割し、各分割領域ｉに対して重みｗｉを設定する。図５の各分割領域ｉ内の数字は、各分割領域ｉの重みｗｉを示しており、この例では、全ての分割領域ｉの重みｗｉが１に設定されている。

検波値算出部２３２は、次式（１）により、各分割領域ｉの輝度の加重平均を検波値として算出する。

なお、ｘｉは、分割領域ｉ内の各画素の輝度の平均ｘｉ（以下、平均輝度ｘｉと称する）を示す。

ここで、図５の例では、全ての分割領域ｉの重みｗｉが１に設定されている。そこで、式（１）の重みｗｉに１を代入すると、次式（２）となる。

すなわち、全ての分割領域ｉの重みｗｉを１に設定すると、検波値は、各分割領域ｉの平均輝度ｘｉの平均、換言すれば、撮影画像Ｐ１の各画素の輝度の単純平均と等しくなる。

しかしながら、検波値を撮影画像の各画素の輝度の単純平均に設定すると、移動体１０の周囲の明るさが急激に変化した場合、適切に撮影部２１１の露光を制御できない場合がある。すなわち、通常、露光制御は、所定のフレーム前又は所定の時間前に撮影された撮影画像に基づく検波値に基づいて行われるため、周囲の明るさが急激に変化した場合、露光制御が周囲の明るさの変化に迅速に追従できないおそれがある。

例えば、トンネルや森林の出口付近等において、暗い場所から明るい場所に移る場合、露光制御が間に合わずに、撮影画像内の明るい部分が白飛びしてしまうおそれがある。

例えば、図６は、森林の出口付近において撮影された撮影画像Ｐ２を模式的に示している。撮影画像Ｐ２では、例えば、領域Ａ１内の森林の出口付近及び出口より前方の明るい領域が白飛びしてしまう。そのため、森林の外の状況を正確に把握できずに、自己位置推定や障害物認識等の精度が低下するおそれがある。

また、例えば、トンネルや森林の入口付近等において、明るい場所から暗い場所に移る場合、露光制御が間に合わずに、撮影画像内の暗い部分が黒潰れしてしまうおそれがある。

例えば、図７は、トンネルの入口付近において撮影された撮影画像Ｐ３を模式的に示している。撮影画像Ｐ３では、例えば、領域Ａ２内のトンネル内の暗い領域が黒潰れしてしまう。そのため、トンネル内の状況を正確に把握できずに、自己位置推定や障害物認識等に支障が出るおそれがある。

これに対して、重み設定部２３１は、まず、各分割領域ｉの生存時間ｔｉを予測する。

生存時間ｔｉは、生存時間を予測する基準となる基準時刻以降において、分割領域ｉ（内の被写体）が撮影画像に写っている時間である。換言すれば、生存時間ｔｉは、基準時刻以降において、分割領域ｉ（内の被写体）が撮影部２１１の画角内に留まっている時間である。より具体的には、例えば、生存時間は、生存時間を予測する時点（基準時刻）から、分割領域ｉ（内の被写体）が撮影部２１１の画角から出て、撮影画像に写らなくなる時点までの時間である。

例えば、重み設定部２３１は、撮影画像の分割領域ｉ毎に代表特徴点ｐｉを設定する。

このとき、重み設定部２３１は、分割領域ｉ内に特徴点が１つしか存在しない場合、その特徴点を代表特徴点ｐｉに設定する。

一方、重み設定部２３１は、分割領域ｉ内に複数の特徴点が存在する場合、そのうちの１つを代表特徴点ｐｉに設定する。例えば、重み設定部２３１は、分割領域ｉ内で最も面積の大きい被写体、又は、分割領域ｉ内で最も重要な被写体を選択する。ここで、最も重要な被写体とは、例えば、人、車両、標識等、認識する必要性が最も高い被写体である。そして、重み設定部２３１は、選択した被写体の特徴点のうち、例えば最も特徴量が大きい特徴点を代表特徴点ｐｉに設定する。

或いは、例えば、重み設定部２３１は、被写体を考慮せずに、分割領域ｉ内で最も特徴量の大きい特徴点、又は、分割領域ｉの中心に最も近い特徴点を代表特徴点ｐｉに設定する。

そして、重み設定部２３１は、例えば、移動体１０の速度及び移動方向、並びに、代表特徴点ｐｉの移動体１０からの距離及び方向に基づいて、分割領域ｉの生存時間ｔｉを予測する。例えば、重み設定部２３１は、移動体１０が現在の移動方向に現在の速度で移動を継続する仮定して、代表特徴点ｐｉが撮影画像から出る時刻（撮影部２１１の画角から出る時刻）を予測する。重み設定部２３１は、現在の時刻から予測した時刻までの時間を分割領域ｉの生存時間ｔｉとする。

図８は、移動体１０が矢印の方向に移動する場合の撮影画像Ｐ１内の各点における生存時間の例を示している。図内の黒点の下の数値は、各点の生存時間を示している。

この例では、移動体１０の進行方向において移動体１０に近い被写体上の点ほど、生存時間が短くなっている。一方、移動体１０の進行方向において移動体１０から遠い被写体上の点ほど、生存時間が長くなっている。

なお、重み設定部２３１は、分割領域ｉ内の被写体の動きをさらに考慮して、生存時間ｔｉを予測するようにしてもよい。

例えば、重み設定部２３１は、移動体１０の速度及び移動方向、代表特徴点ｐｉを有する被写体（以下、代表被写体と称する）の特徴点の速度及び移動方向、並びに、代表特徴点ｐｉの移動体１０からの距離及び方向に基づいて、生存時間ｔｉを予測する。例えば、重み設定部２３１は、移動体１０及び代表被写体が現在の移動方向に現在の速度で移動を継続すると仮定し、代表特徴点ｐｉが撮影画像から出る時刻（撮影部２１１の画角から出る時刻）を予測する。重み設定部２３１は、現在の時刻から予測した時刻までの時間を分割領域ｉの生存時間ｔｉとする。

次に、重み設定部２３１は、例えば、次式（３）の関数ｆを用いて、生存時間ｔｉに基づいて、各分割領域ｉの重みｗｉを算出する。

ｗｉ＝ｆ（ｌ，Ｄ，ｔｉ，ｖ，ω） ・・・（３）

なお、ｌはタイムラグを示し、Ｄは露光深度を示し、ｖは移動体１０の速度を示し、ωは移動体１０の角速度を示している。

タイムラグｌは、露光の制御に要する時間を示している。例えば、タイムラグｌは、撮影画像を取得してから、その撮影画像に基づく露光制御が完了するまでの時間（タイムラグ）を示している。タイムラグｌは、例えば、露光が反映されるのに要する時間ともいえる。

なお、タイムラグｌは、固定値でもよいし、可変値でもよい。可変値の場合、タイムラグｌは、例えば、検波値の変化量に基づいて設定される。検波値の変化量が大きい場合、すなわち、移動体１０の周囲の明るさが大きく変化した場合、一般的に露光制御に要する時間が長くなるため、タイムラグｌは大きくされる。一方、検波値の変化量が小さい場合、すなわち、移動体１０の周囲の明るさがほとんど変化していない場合、一般的に露光制御に要する時間が短くなるため、タイムラグｌは小さくされる。

露光深度Ｄは、露光を合わせたい深度、すなわち、露光を合わせたい位置の移動体１０からの距離を示している。

そして、例えば、関数ｆにより、タイムラグｌの経過後（露光制御が完了する時刻）に撮影画像内で支配的になる分割領域ｉであって、重要度が高い分割領域ｉに対する重みｗｉが、大きな値に設定される。一方、例えば、タイムラグｌの経過後に撮影画像内で支配的にならない分割領域ｉ、及び、重要度が低い分割領域ｉに対する重みｗｉが、小さい値に設定される。

ここで、タイムラグｌの経過後に撮影画像内で支配的になる分割領域ｉとは、例えば、タイムラグｌの経過後に撮影される撮影画像内で大きな面積を占めると予測される分割領域ｉである。分割領域ｉがタイムラグｌの経過後に撮影される撮影画像内で占める面積は、例えば、分割領域ｉの生存時間ｔｉ、並びに、移動体１０の速度ｖ及び角速度ｗ等に基づいて予測される。

また、分割領域ｉの重要度は、例えば、タイムラグｌ、露光深度Ｄ、生存時間ｔｉ、並びに、移動体１０の速度ｖ及び角速度ｗに基づいて予測される。例えば、タイムラグｌの経過後の移動体１０から分割領域ｉ（内の被写体）までの予測距離と露光深度Ｄとの差が小さいほど、すなわち、分割領域ｉ（内の被写体）がタイムラグｌの経過後に露光を合わせたい位置に近いほど、重要度が高いと予測される。一方、例えば、タイムラグｌの経過後の移動体１０から分割領域ｉ（内の被写体）までの予測距離と露光深度Ｄとの差が大きいほど、すなわち、分割領域ｉ（内の被写体）がタイムラグｌの経過後に露光を合わせたい位置から遠いほど、重要度が低いと予測される。

図９は、撮影画像Ｐ１の各分割領域ｉに対して関数ｆを用いて設定した重みｗｉの例を、図５と同様の方法により示している。

例えば、撮影画像Ｐ１の中央付近の分割領域ｉであって、生存時間ｔｉが（タイムラグｌ＋露光深度Ｄ／速度ｖ）に近い分割領域ｉに対する重みｗｉが大きくなっている。具体的には、移動体１０の少し前の路面及び路面上の車両、並びに、移動体１０の少し前の建物等が写っている分割領域ｉに対する重みｗｉが大きくなっている。

一方、タイムラグｌの経過後に撮影画像内に存在しないと予測される分割領域ｉ（タイムラグｌが経過するまでの時間内に撮影部２１１の画角から出ると予測される分割領域ｉ）、例えば、生存時間ｔｉがタイムラグｌ未満の分割領域ｉに対する重みが小さくなっている。具体的には、例えば、撮影画像Ｐｉの左右の端部及び四隅付近の分割領域ｉに対する重みｗｉが小さくなっている。また、例えば、移動体１０からの距離が遠い分割領域ｉに対する重みｗｉが小さくなっている。具体的には、例えば、空や道路の消失点付近が写っている分割領域ｉに対する重みｗｉが小さくなっている。

そして、検波値算出部２３２は、上述した式（１）により、各分割領域ｉに対する重みｗｉを用いて各分割領域ｉの輝度の加重平均を算出することにより、検波値を算出する。

なお、関数ｆは、人手により作成及びチューニングするようにしてもよいし、機械学習を用いて生成するようにしてもよい。

また、例えば、関数ｆの引数であるタイムラグｌ、露光深度Ｄ、移動体１０の速度ｖ、及び、移動体１０の角速度ωのうち１つ以上を省略することも可能である。

＜検波値の第２の算出方法＞
次に、図１０乃至図１１を参照して、検波値の第２の算出方法について説明する。

第２の算出方法では、重みｗｉに加えて、各分割領域ｉの重要度等を示すパラメータφｉが求められ、各分割領域ｉに対する重みが、パラメータφｉ×重みｗｉに設定される。

例えば、重み設定部２３１は、図１０に示されるパラメータテーブルを用いて、各分割領域ｉ内の被写体のうち最も大きな被写体の種類に基づいて、パラメータφｉを設定する。例えば、人、車、路面、標識等の認識する必要性が高い被写体ほど、パラメータφｉが大きくなっている。一方、例えば、空、木等の認識する必要性が低い被写体ほど、パラメータφｉは小さくなっている。

または、例えば、重み設定部２３１は、次式（３）により、各分割領域ｉのパラメータφｉを設定する。

φｉ＝Σｇｒａｄ（ｕ，ｖ） ・・・（３）

ｇｒａｄ（ｕ，ｖ）は、分割領域ｉ内の座標（ｕ，ｖ）の画素の輝度（または画素値）の勾配を示しており、パラメータφｉは、分割領域ｉの画像勾配となる。

従って、分割領域ｉの画像勾配が大きくなるほど、例えば、分割領域ｉの輝度（または画素値）の変化が大きくなるほど、パラメータφｉは大きくなる。一方、分割領域ｉの画像勾配が小さくなるほど、例えば、分割領域ｉの輝度（または画素値）の変化が小さくなるほど、パラメータφｉは小さくなる。

画像勾配が大きい分割領域ｉは、一般的に移動体１０に近い物体を含み、その物体が鮮明に写っている領域である。一方、画像勾配が小さい領域は、一般的に物体が存在しない領域や、移動体１０から遠い物体を含み、その物体が鮮明に写っていない領域である。例えば、図１１の撮影画像Ｐ１の建物を含む分割領域Ａ１１に対するパラメータφｉは、空を含む分割領域Ａ１２に対するパラメータφｉより大きくなる。

そして、検波値算出部２３２は、次式（４）により、各分割領域ｉに対する重みφｉ＊ｗｉを用いて各分割領域ｉの輝度の加重平均を算出することにより、検波値を算出する。

このように、パラメータφｉを用いることにより、認識する必要性が高い被写体が存在し、重要度が高い分割領域ｉに対してより大きな重みが設定され、認識する必要性が高い被写体が存在せず、重要度が低い分割領域ｉに対してより小さな重みが設定されて、検波値が算出される。

なお、例えば、被写体の種類と画像勾配の両方に基づいて、パラメータφｉを設定するようにしてもよい。また、例えば、他の分割領域ｉの重要度等を示すパラメータを用いて、パラメータφｉを設定するようにしてもよい。

なお、いずれの算出方法においても、検波値の算出に用いる撮影画像は、γ補正を施す前のＲａｗ画像が望ましい。

図３に戻り、ステップＳ５において、誤差検出部２４１は、検波値の誤差を検出する。具体的には、誤差検出部２４１は、検波値算出部２３２により算出された検波値と、検波値の目標値との差を誤差として検出する。誤差検出部２４１は、検波値の誤差を示すデータを露光量設定部２４２に供給する。

なお、検波値の目標値は、例えば、撮影部２１１の撮像素子の画素の飽和時の輝度の１２％から２０％の間の値（例えば、１８％）に設定される。

ステップＳ６において、露光量設定部２４２は、露光量の目標値を設定する。例えば、露光量設定部２４２は、検波値の誤差の推移に基づいて、検波値が目標値に近づくように、撮影部２１１の露光量の目標値を設定する。このとき、露光量設定部２４２は、撮影画像の明るさが不自然に変化しないように、例えば、撮影画像が急激に明るくなったり、急激に暗くなったり、又は、明暗を繰り返したりしないように、露光量の目標値を設定する。例えば、露光量設定部２４２は、露光量の目標値を徐々に変化させたり、検波値の目標値付近で露光量の目標値を変化させずに固定する期間を設けたりする。

露光量設定部２４２は、露光量の目標値を示すデータを制御方法設定部２４３に供給する。

ステップＳ７において、制御方法設定部２４３は、露光の制御方法を設定する。

撮影部２１１の露光量は、撮影部２１１の撮像素子の露光時間（シャッタ速度）、撮像素子のゲイン（感度）、及び、絞りの大きさにより設定される。一方、例えば、ゲインを上げすぎると、撮影画像のノイズが増加し、露光時間を長くすると、撮影画像のブレが大きくなる。

そこで、制御方法設定部２４３は、撮影画像のノイズやブレを抑制しつつ、露光量が目標値に達するように、露光の制御方法（露光時間、ゲイン、及び、絞り）の配分を適切に設定する。

制御方法設定部２４３は、露光量の目標値、及び、露光の制御方法の配分を示すデータを制御信号生成部２４４に供給する。

ステップＳ８において、撮影システム２０１は、露光制御を行う。

具体的には、制御信号生成部２４４は、露光量の目標値、及び、露光の制御方法の配分に基づいて、露光時間、ゲイン、及び、絞りの大きさの制御量を算出する。制御信号生成部２４４は、算出した露光時間、ゲイン、及び、絞りの大きさの制御量を示す制御信号を撮影部２１１に供給する。

撮影部２１１は、制御信号に基づいて、露光時間、ゲイン、及び、絞りの大きさを調整する。

その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

以上のように、撮影画像の各分割領域ｉに重みをつけて検波値が算出され、算出された検波値に基づいて露光制御が行われる。これにより、より大きな重みが設定された分割領域ｉ内の被写体に対して迅速に露光が合わせられる。従って、例えば、少し前に撮影された撮影画像に基づいて実際に露光が制御されるときに撮影される撮影画像において支配的になる被写体や認識する必要性が高い被写体に対して、迅速に露光を合わせることができ、白飛びや黒潰れの発生を抑制することができる。その結果、移動体１０の自己位置推定や障害物認識等の精度が向上する。

＜＜３．第２の実施の形態＞＞
次に、図１２乃至図１６を参照して、本技術の第２の実施の形態について説明する。

なお、第２の実施の形態は、第１の実施の形態と同様に、図１の移動体制御システム１００のうち、主にデータ取得部１０２の処理に関連するものである。

＜撮影システムの構成例＞
図１２は、本技術の第２の実施の形態である撮影システム３０１の構成例を示すブロック図である。なお、図中、図２の撮影システム２０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。

撮影システム３０１は、撮影システム２０１と比較して、制御部２１２の代わりに制御部３１１が設けられている点が異なる。制御部３１１は、制御部２１２と比較して、検波部２２１の代わりに検波部３２１が設けられている点が異なる。

検波部３２１は、領域設定部３３１及び検波値算出部３３２を備える。

領域設定部３３１は、後述するように、撮影画像において、検波値を検出する対象とする領域（以下、検波領域と称する）を設定する。領域設定部３３１は、撮影画像、及び、検波領域を示すデータを検波値算出部３３２に供給する。

検波値算出部３３２は、撮影画像の検波領域の輝度に基づいて、検波値を算出する。検波値算出部３３２は、検波値を示す検波信号を誤差検出部２４１に供給する。

＜露光制御処理＞
次に、図１３のフローチャートを参照して、撮影システム３０１により実行される露光制御処理について説明する。

なお、この処理は、例えば、撮影システム３０１の電源がオンされたとき開始され、撮影システム３０１の電源がオフされたとき終了する。

ステップＳ１０１において、図３のステップＳ１の処理と同様に、移動体１０の周囲が撮影される。

ステップＳ１０２において、図３のステップＳ２の処理と同様に、移動体１０及び周囲の情報が取得される。

ステップＳ１０３において、領域設定部３３１は、検波領域を設定する。

例えば、領域設定部３３１は、上述した図３のステップＳ３と同様の処理により、撮影画像の各分割領域ｉの生存時間ｔｉを予測する。そして、領域設定部３３１は、各分割領域ｉの生存時間ｔｉに基づいて、撮影画像の検波領域を設定する。

例えば、領域設定部３３１は、生存時間ｔｉが所定の閾値以上の分割領域ｉからなる領域を検波領域に設定する。例えば、図１４に示されるように、移動体１０が矢印の方向に移動している場合、撮影画像Ｐ１のほぼ中央の矩形の領域Ａ２１が検波領域に設定される。

なお、検波領域の設定に用いる閾値は、固定値でもよいし、可変値でもよい。可変値の場合、例えば、上述した式（３）のタイムラグｌ、露光深度Ｄ、移動体１０の速度ｖ等に基づいて閾値が設定される。例えば、タイムラグｌ、又は、（タイムラグｌ＋露光深度Ｄ／速度ｖ）が閾値に設定される。

或いは、例えば、領域設定部３３１は、移動体１０の動き（例えば、速度及び角速度等）並びに撮影画像等に基づいて、所定のアルゴリズムにより、現在の撮影画像内において、所定のターゲット時間経過後の撮影画像に対応する領域を予測する。そして、領域設定部３３１は、予測した領域を検波領域に設定する。

例えば、図１５は、撮影画像Ｐ１が撮影されてからターゲット時間経過後に撮影された撮影画像Ｐ４の例を模式的に示している。この例では、例えば、領域設定部３３１は、撮影画像Ｐ４の撮影前に、撮影画像Ｐ１内において撮影画像Ｐ４に対応する領域Ａ３１を予測する。すなわち、領域Ａ３１は、撮影画像Ｐ１において、ターゲット時間後の撮影画像Ｐ４に写っていると予測される領域である。そして、領域設定部３３１は、領域Ａ３１を検波領域に設定する。

なお、このアルゴリズムは、例えば、機械学習により生成される。また、ターゲット時間は、固定値でもよいし、可変値でもよい。可変値の場合、例えば、上述した式（３）のタイムラグｌ、露光深度Ｄ、移動体１０の速度ｖ等に基づいてターゲット時間が設定される。例えば、タイムラグｌ、又は、（タイムラグｌ＋露光深度Ｄ／速度ｖ）がターゲット時間に設定される。

なお、検波領域は、必ずしも矩形に限定されるものではなく、矩形以外の形状でもよい。

また、例えば、上述した方法により設定した検波領域以外に、認識する必要性が高い被写体が存在し、重要度が高い領域を検波領域に加えるようにしてもよい。

ステップＳ１０４において、検波値算出部３３２は、検波領域を対象にして、検波値を算出する。例えば、検波値算出部３３２は、撮影画像の検波領域内の各画素の輝度の平均を検波値として算出する。この検波値は、撮影画像の検波領域に対する重みを１に設定し、検波領域以外の領域（所定の時間内に撮影部２１１の画角から出ると予測される領域）に対する重みを０に設定し、重みを０に設定した領域を除いて撮影画像の輝度の平均を算出した値と等しくなる。

ステップＳ１０５乃至ステップＳ１０８において、図３のステップＳ５乃至ステップＳ８と同様の処理が実行される。その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。

以上のように、検波領域が設定され、検波領域の輝度に基づいて検波値が算出され、算出された検波値に基づいて露光制御が行われる。これにより、検波領域外の被写体を除いて、検波領域内の被写体を対象に迅速に露光が合わせられる。少し前に撮影された撮影画像に基づいて実際に露光が制御されるときに撮影される撮影画像において支配的になる被写体や認識する必要性が高い被写体に対して、迅速に露光を合わせることができ、白飛びや黒潰れの発生を抑制することができる。その結果、移動体１０の自己位置推定や障害物認識等の精度が向上する。

＜＜４．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

例えば、以上の説明では分割領域ｉを矩形にする例を示したが、矩形以外の形状にすることも可能である。

また、例えば、分割領域ｉを１画素により構成することも可能である。

さらに、例えば、第１の実施の形態と第２の実施の形態を組み合わせることが可能である。例えば、検波領域を複数の分割領域に分割して、各分割領域に対して重みをつけて検波値を算出するようにしてもよい。

＜＜５．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
を備える露光制御装置。
（２）
前記検波部は、前記撮影画像内の複数の領域毎の生存時間に基づいて、前記検波値を算出する
前記（１）に記載の露光制御装置。
（３）
前記検波部は、前記生存時間に基づいて前記領域の重みを設定し、各前記領域の輝度及び前記重みに基づいて、前記検波値を算出する
前記（２）に記載の露光制御装置。
（４）
前記検波部は、前記重みを用いた各前記領域の輝度の加重平均により前記検波値を算出する
前記（３）に記載の露光制御装置。
（５）
前記検波部は、前記生存時間に加えて、露光の制御に要する時間、露光を合わせる距離、前記撮影部を備える移動体の速度、及び、前記移動体の角速度のうち少なくとも１つに基づいて、前記重みを設定する
前記（３）又は（４）に記載の露光制御装置。
（６）
前記検波部は、さらに前記領域内の被写体の種類に基づいて、前記重みを設定する
前記（３）乃至（５）のいずれかに記載の露光制御装置。
（７）
前記検波部は、さらに前記領域内の画像勾配に基づいて、前記重みを設定する
前記（３）乃至（６）のいずれかに記載の露光制御装置。
（８）
前記検波部は、各前記領域の前記生存時間に基づいて前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
前記（２）に記載の露光制御装置。
（９）
前記検波部は、前記生存時間が所定の閾値以上の前記領域を前記検波領域に設定する
前記（８）に記載の露光制御装置。
（１０）
前記検波部は、前記撮影部を備える移動体の動き及び前記撮影画像に基づいて、前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
前記（１）に記載の露光制御装置。
（１１）
前記検波部は、所定の時間後に前記撮影部により撮影されると予測される領域を前記検波領域に設定する
前記（１０）に記載の露光制御装置。
（１２）
前記検波部は、前記所定の時間内に前記撮影部の画角から出ると予測される領域を除いて前記検波値を算出する
前記（１）乃至（１１）のいずれかに記載の露光制御装置。
（１３）
撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、
前記検波値に基づいて、前記撮影部の露光制御を行う
露光制御方法。
（１４）
撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出し、
前記検波値に基づいて、前記撮影部の露光制御を行う
処理をコンピュータに実行させるためのプログラム。
（１５）
撮影部と、
前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
を備える撮影装置。
（１６）
撮影部と、
前記撮影部により撮影された撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして検波値を算出する検波部と、
前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と、
前記撮影画像に基づいて、移動制御を行う移動制御部と
を備える移動体。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１０ 移動体， １００ 移動体制御システム， １０２ データ取得部， １３１ 検出部， １３２ 自己位置推定部， １４１ 移動体外部情報検出部， １４３ 移動体状態検出部， ２０１ 撮影システム， ２１１ 撮影部， ２１２ 制御部， ２２１ 検波部， ２２２ 露光制御部， ２３１ 重み設定部， ２３２ 検波値算出部， ２４１ 誤差検出部， ２４２ 露光量設定部， ２４３ 制御方法設定部， ２４４ 制御信号生成部， ３０１ 撮影システム， ３１１ 制御部， ３２１ 検波部， ３３１ 領域設定部， ３３２ 検波値算出部

Claims (16)

1. 撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出する検波部と、
   前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
   を備える露光制御装置。
2. 前記検波部は、前記生存時間に基づいて前記領域の重みを設定し、各前記領域の輝度及び前記重みに基づいて、前記検波値を算出する
   請求項１に記載の露光制御装置。
3. 前記検波部は、前記重みを用いた各前記領域の輝度の加重平均により前記検波値を算出する
   請求項２に記載の露光制御装置。
4. 前記検波部は、前記生存時間に加えて、露光の制御に要する時間、露光を合わせる距離、前記撮影部を備える移動体の速度、及び、前記移動体の角速度のうち少なくとも１つに基づいて、前記重みを設定する
   請求項２に記載の露光制御装置。
5. 前記検波部は、さらに前記領域内の被写体の種類に基づいて、前記重みを設定する
   請求項２に記載の露光制御装置。
6. 前記検波部は、さらに前記領域内の画像勾配に基づいて、前記重みを設定する
   請求項２に記載の露光制御装置。
7. 前記検波部は、各前記領域の前記生存時間に基づいて前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
   請求項１に記載の露光制御装置。
8. 前記検波部は、前記生存時間が所定の閾値以上の前記領域を前記検波領域に設定する
   請求項７に記載の露光制御装置。
9. 前記検波部は、前記撮影画像において所定の時間内に前記撮影部の画角から出ると予測される領域に対する重みを小さくして前記検波値を算出する
   請求項１に記載の露光制御装置。
10. 前記検波部は、前記撮影部を備える移動体の動き及び前記撮影画像に基づいて、前記撮影画像の一部の領域を検波領域に設定し、前記検波領域の輝度に基づいて前記検波値を算出する
    請求項１に記載の露光制御装置。
11. 前記検波部は、所定の時間後に前記撮影部により撮影されると予測される領域を前記検波領域に設定する
    請求項１０に記載の露光制御装置。
12. 前記検波部は、所定の時間内に前記撮影部の画角から出ると予測される領域を除いて前記検波値を算出する
    請求項１に記載の露光制御装置。
13. 撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出し、
    前記検波値に基づいて、前記撮影部の露光制御を行う
    露光制御方法。
14. 撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出し、
    前記検波値に基づいて、前記撮影部の露光制御を行う
    処理をコンピュータに実行させるためのプログラム。
15. 撮影部と、
    前記撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出する検波部と、
    前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と
    を備える撮影装置。
16. 撮影部と、
    前記撮影部により撮影された撮影画像内の複数の領域毎の生存時間に基づいて、検波値を算出する検波部と、
    前記検波値に基づいて、前記撮影部の露光制御を行う露光制御部と、
    前記撮影画像に基づいて、移動制御を行う移動制御部と
    を備える移動体。

Images