JP7173056B2 - 認識装置と認識方法およびプログラム - Google Patents

Description

この技術は、認識装置と認識方法およびプログラムに関し、撮像画に含まれる被写体を精度よく認識できるようにする。

従来、夜間に被写体を精度よく検出するため、撮像時の露光量を自動的に切り替えることが行われている。例えば特許文献１では点灯された灯火類の輪郭部分を撮像可能な第１撮像モードと、灯火類を有しない対象を検出可能な第２撮像モードで撮像モードの切り替えが行われている。

特開２００９－２３４３４４号公報

ところで、認識器を用いて撮像画に含まれる被写体の認識を行う場合、例えばノイズが多い撮像画で認識精度の低下を招くおそれがある。また、ノイズの少ない撮像画を取得するために、露光時間を長くして光量を増やすと、動きを生じた被写体の画像はボケを生じてしまい、絞りを広げて光量を増やすと、被写界深度が浅くなってしまい、ボケの少ない撮像画を取得できない。

そこで、この技術では撮像画に含まれる被写体を容易に精度よく認識できる認識装置と認識方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、
撮像領域の光量検出結果に基づき選択判別情報を生成する認識制御部と、
前記撮像領域を示す撮像画についての被写体認識処理を、前記認識制御部で生成された前記選択判別情報に基づいて選択した認識器を用いて行う認識処理部と
を備える認識装置。

この技術においては、撮像領域の光量検出結果に基づき選択判別情報が生成される。撮像領域の光量は、撮像画を取得する撮像部の動作を制御する制御信号と撮像部で生成された画像信号に基づいて検出する。制御信号は、絞り，シャッター速度，アナログゲイン調整および階調変換の少なくとも何れかを制御する信号であり、例えば絞りとシャッター速度とアナログゲイン調整および階調変換の制御信号と、アナログゲイン調整と階調変換が行われた画像信号に基づいて検出する。また、例えば絞りとシャッター速度とアナログゲイン調整の制御信号とアナログゲイン調整が行われた画像信号に基づいて検出してもよい。また、絞りとシャッター速度の制御信号とアナログゲイン調整が行われる前の画像信号に基づいて検出してもよい。さらに、撮像部で生成された画像信号と撮像環境照度を検出する照度検出部で検出された照度に基づいて光量を検出してもよい。

認識制御部は、光量検出結果に基づきノイズ推定を行い、ノイズ推定結果を選択判別情報とする。認識処理部は、選択判別情報に基づき認識器を選択する。例えば、認識処理部は、選択判別情報で示されたノイズが閾値以下である場合に第１の認識器を選択して、選択判別情報で示されたノイズが閾値よりも多い場合に第１の認識器よりもノイズに強い第２の認識器を選択する。なお、認識処理部は、選択判別情報に基づいて撮像画の領域分割を行い、分割された領域毎に認識器を選択する。また、認識制御部は、撮像画を取得する撮像部の動作を制御する制御信号によって示された階調変換の変換関数情報に基づいて撮像画の領域分割を行い、分割された領域毎に選択判別情報を生成してもよい。

この技術の第２の側面は、
撮像領域の光量検出結果に基づき選択判別情報を認識制御部で生成することと、
前記撮像領域を示す撮像画についての被写体認識処理を、前記認識制御部で生成された選択判別情報に基づいて選択した認識器を用いて認識処理部で行うことと
を含む認識方法にある。

この技術の第３の側面は、
認識処理をコンピュータで実行させるプログラムであって、
撮像領域の光量検出結果に基づき選択判別情報を生成する手順と、
前記撮像領域を示す撮像画についての被写体認識処理を、前記選択判別情報に基づいて選択した認識器を用いて行う手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、撮像領域の光量検出結果に基づき選択判別情報が生成されて、選択判別情報に基づいて選択した認識器を用いて、撮像領域を示す撮像画について被写体認識処理が行われる。したがって、撮像画に含まれる被写体を容易に精度よく認識できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

認識装置の構成を例示した図である。 第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 光量とＳ／Ｎ比の関係を例示した図である。 領域区分を説明するための図である。 階調変換の変換関数を例示した図である。 第１の実施の形態の動作例を示した図である。 第２の実施の形態の構成を例示した図である。 第３の実施の形態の構成を例示した図である。 第４の実施の形態の構成を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．認識装置の構成
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．応用例

＜１．認識装置の構成＞
図１は、認識装置の構成を例示している。認識装置１０は、カメラ部２０、カメラ制御部３０、認識制御部４０、認識処理部５０を有している。なお、カメラ部２０やカメラ制御部３０は、認識装置１０と別個に設けられていてもよい。

カメラ部２０は、所望の撮像領域を示す撮像画の画像信号を生成して認識処理部５０へ出力する。カメラ制御部３０は、制御信号をカメラ部２０に出力して、カメラ部２０のシャッタースピードや絞り，アナログゲイン、階調変換等を制御する。また、カメラ制御部３０は、制御信号を認識制御部４０へ出力する。

認識制御部４０は、カメラ制御部３０からの制御信号やカメラ部２０で生成した画像信号に基づき、撮像領域の光量を検出する。また、認識装置１０に照度検出部６０を設けて、認識制御部４０は、照度検出部６０からの照度検出信号に基づき撮像領域の光量を検出してもよい。認識制御部４０は、検出した光量に基づき選択判別情報を生成して認識処理部５０へ出力する。例えば、認識制御部４０は、光量検出結果に基づきノイズ推定を行い、ノイズ推定結果を選択判別情報とする。

認識処理部５０は、選択判別情報に基づき選択した認識器を用いて、カメラ部２０で取得された撮像画について被写体認識処理を行う。

＜２．第１の実施の形態＞
次に、認識装置の第１の実施の形態について説明する。図２は、認識装置の第１の実施の形態の構成を例示している。

カメラ部２０は、光学系ブロック２１、撮像部２２、ゲイン調整部２３、Ａ／Ｄ（アナログ／ディジタル）変換部２４、階調変換部２５を有している。

光学系ブロック２１は光学レンズ２１１と絞り機構２１２を有している。光学レンズ２１１は、被写体光学像を撮像部２２の撮像素子の撮像面に結像させる。また、絞り機構２１２は、撮像面に結像される被写体光学像の光量を調整する。光学系ブロック２１は、カメラ制御部３０から供給された制御信号に基づき光学レンズ２１１を移動して、フォーカス動作やズーム動作を行う。また、光学系ブロック２１では、制御信号に基づき絞り機構２１２を駆動して、被写体光学像の光量を調整する。

撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２２は、光電変換を行い、被写体光学像に応じた画像信号を生成してゲイン調整部２３へ出力する。また、撮像部２２は、カメラ制御部３０から供給された制御信号に基づき撮像素子の露光期間を制御して、所望のシャッター速度で撮像を行う。なお、撮像動作における露光期間は、光学系ブロック２１にシャッター機構を設けて、カメラ制御部３０からの制御信号に基づきシャッター機構を駆動することで変更可能とされてもよい。

ゲイン調整部２３は、撮像部２２で生成されたアナログ画像信号のゲイン調整（アナログゲイン調整ともいう）を行って、Ａ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、アナログゲイン調整後の画像信号をアナログ信号からディジタル信号に変換して階調変換部２５へ出力する。

階調変換部２５は、Ａ／Ｄ変換部２４から供給された画像信号に対して、制御信号に基づいた変換関数を用いて輝度の階調を圧縮する。階調変換部２５は、階調変換後の画像信号を認識制御部４０と認識処理部５０へ出力する。

カメラ制御部３０は、制御信号を生成してカメラ部２０に供給して、カメラ部２０における各部の動作を制御する。また、カメラ制御部３０は、制御信号を認識制御部４０へ出力する。

認識制御部４０は、光量検出部４１とノイズ推定部４２を有している。光量検出部４１は、カメラ部２０から供給された画像信号とカメラ制御部３０から供給された制御信号に基づき、撮像領域の光量を検出する。ノイズ推定部４２は、光量検出部４１の光量検出結果に基づきノイズを推定して、推定結果を示すノイズ情報を生成する。ノイズ推定部４２は、生成したノイズ情報を選択判別情報として認識処理部５０へ出力する。

認識処理部５０は、認識器選択部５１と複数の認識器５２-1～５２-nを有している。例えば認識処理部５０は、ノイズの少ない学習画像を用いて機械学習等を行うことで、ノイズの少ない撮像画から高精度に被写体を認識できる認識器と、ノイズの多い学習画像を用いて機械学習等を行うことで、ノイズの多い撮像画から高精度に被写体を認識できる認識器を有している。認識器選択部５１は、認識制御部４０からの選択判別情報に基づき撮像領域の領域区分処理を行い、区分された領域毎に認識器を選択して、選択した認識器５２-1（５２-n）を用いて、カメラ部２０から供給された画像信号に基づき被写体認識を行う。

次に、認識装置の第１の実施の形態の動作について説明する。図３は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で認識装置は撮像画を取得する。カメラ部２０では、撮像素子で生成された画像信号のアナログゲイン調整、アナログゲイン調整後の画像信号をアナログ信号からディジタル信号へのＡ／Ｄ変換、Ａ／Ｄ変換後の画像信号の階調変換等を行い、画像信号を生成する。認識装置１０の認識処理部５０は、カメラ部２０で生成された撮像画の画像信号を取得してステップＳＴ２に進む。

ステップＳＴ２で認識装置は、光量関連情報を取得する。光量関連情報は、撮像領域の光量に応じた変化を生じるパラメータに関する情報である。例えば絞り値、シャッター速度、アナログゲイン調整値、階調変換の変換関数ｆ（u,v,Ｉ(u,v))は、撮像領域の光量に応じて調整されるパラメータであり、これらのパラメータに関する制御信号は光量関連情報として用いることができる。なお、変換関数ｆ（u,v,Ｉ(u,v))において、パラメータｕ，ｖは撮像画における位置、パラメータＩ(u,v)は位置（ｕ，ｖ）の輝度を示している。カメラ部２０で生成される画像信号は、光量に応じて信号レベルが変化することから、光量関連情報として用いることができる。したがって、認識装置１０の認識制御部４０は、カメラ制御部３０から出力される制御信号やカメラ部２０で生成された画像信号を光量関連情報として取得してステップＳＴ３に進む。

ステップＳＴ３で認識装置は、光量を検出する。認識制御部４０は、ステップＳＴ２で出力した光量関連情報に基づき、撮像領域の光量を検出する。

ここで、光量の検出処理について説明する。撮像画における位置（ｕ，ｖ）の階調変換前（Ａ／Ｄ変換後）の画像信号の信号値Ｉ（ｕ，ｖ）は、撮像画における位置（ｕ，ｖ）の被写体の光量Ｌ（ｕ，ｖ）、絞り状態に関する絞り情報Ｆ、露光時間に関するシャッター速度情報Ｓ、アナログゲイン調整に関するゲイン情報Ｇに基づき、式（１）の関係が成り立つ。
Ｉ（ｕ，ｖ）＝Ｌ（ｕ，ｖ）＊Ｓ＊Ｆ＊Ｇ ・・・（１）

また、階調変換の変換関数に撮像画における位置（ｕ，ｖ）の階調変換前の画像信号の信号値Ｉ（ｕ，ｖ）を入力することで、式（２）に示すように、階調変換後の位置（ｕ，ｖ）の画像信号を信号値Ｊ（ｕ，ｖ）が得られる。
Ｊ（ｕ，ｖ）＝ｆ（ｕ，ｖ，Ｉ（ｕ，ｖ）） ・・・（２）

したがって、式（３）に基づき算出される光量Ｌ’（ｕ，ｖ）は、位置（ｕ，ｖ）の被写体の光量を示すことになる。
Ｌ’（ｕ，ｖ）＝ｆ^－１（ｕ，ｖ，Ｊ（ｕ，ｖ））／（Ｓ＊Ｆ＊Ｇ） ・・・（３）

このようにして、認識制御部４０は撮像領域の光量を検出してステップＳＴ４に進む。

ステップＳＴ４で認識装置は、光量の検出結果に基づき選択判別情報を生成する。認識装置１０の認識制御部４０には、例えば光量とＳ／Ｎの関係を示す特性情報が予め記憶されており、光量関連情報に基づき検出された光量におけるノイズを推定する。図４は、特性情報で示されている光量とＳ／Ｎ比の関係を例示している。認識制御部４０は、ノイズ情報すなわち光量関連情報に基づき検出された光量に対応するＳ／Ｎ比を、選択判別情報としてステップＳＴ５に進む。

ステップＳＴ５で認識装置は領域区分処理を行う。認識装置１０の認識処理部５０は、ステップＳＴ４で生成された選択判別情報に基づいて撮像領域を例えばノイズの多い領域とノイズの少ない領域に区分する。図５は、領域区分を説明するための図である。認識処理部５０は、選択判別情報（Ｓ／Ｎ比）を閾値ＴＨsnと比較して、選択判別情報（Ｓ／Ｎ比）が閾値ＴＨsn以下である場合はノイズの多い領域、選択判別情報（Ｓ／Ｎ比）が閾値ＴＨsnより大きい場合はノイズの少ない領域としてステップＳＴ６に進む。

ステップＳＴ６で認識装置は領域毎に認識器を選択する。認識装置１０の認識処理部５０は、ステップＳＴ５で区分された領域毎に、認識処理で用いる認識器を選択する。認識処理部５０は、ノイズの少ない領域では、ノイズの少ない撮像画から高精度に被写体を認識できる認識器を選択して、ノイズの多い領域では、ノイズの多い撮像画から高精度に被写体を認識できる認識器を選択してステップＳＴ７に進む。

ステップＳＴ７で認識装置は認識処理を行う。認識装置１０の認識処理部５０は、ステップＳＴ６で選択した認識器を用いて、領域毎に被写体認識を行って処理を終了する。

また、ステップＳＴ２で取得した光量関連情報に、領域区分に関する情報が含まれる場合、ステップＳＴ３とステップＳＴ４では、領域毎に光量の検出やノイズの推定を行ってもよい。例えば、画面全体で一律に階調変換を行うと白飛びや黒潰れが生じるため、領域毎に階調変換関数を切り替える場合がある。図６は、階調変換の変換関数を例示している。図６の（ａ）は、黒潰れが生じる場合に用いられる階調変換特性を示しており、変換前の信号レベルが小さい場合は、信号レベル変化が大きくなるように階調変換が行われる。また、図６の（ｂ）は、白飛びや黒潰れが生じない場合に用いられる階調変換特性を例示している。このように階調変換で変換関数の切り替えが行われる場合、認識制御部４０は、撮像画を取得する撮像部の階調変換切替動作に応じて撮像領域の領域分割を行い、分割された領域毎に選択判別情報を生成してもよい。

図７は第１の実施の形態の動作例を示している。認識制御部４０は、光量関連情報に基づき撮像領域の光量を検出して、光量検出結果に基づき選択判別情報を生成する。ここで、選択判別情報によって、領域ＡＲａがノイズの多い領域、領域ＡＲｂがノイズの少ない領域であることが示されている場合、認識処理部５０は、領域ＡＲａではノイズの多い撮像画から高精度に被写体を認識できる認識器を選択する。また、認識処理部５０は、領域ＡＲｂではノイズの少ない撮像画から高精度に被写体を認識できる認識器を選択する。さらに、認識処理部５０は、選択した認識器を用いて被写体認識を行う。したがって、認識領域を示す認識枠ＴＡを矢印方向に順次移動させて被写体認識を行った場合、例えば光量の少ない領域ＡＲａの被写体と光量の多い領域ＡＲｂの被写体を容易に精度よく認識できるようになる。

このように、第１の実施の形態によれば、光量関連情報に基づき撮像領域の光量が検出されて、検出された光量に基づき生成された選択判別情報に基づき認識器を選択して、撮像領域の撮像画について被写体認識処理が行われる。例えば撮像画におけるノイズの多い領域では、ノイズの多い撮像画から高精度に被写体を認識できる認識器を用いて被写体認識が行われる。また、撮像画におけるノイズの少ない領域では、ノイズの少ない撮像画から高精度に被写体を認識できる認識器を用いて被写体認識が行われる。すなわち、ノイズの少ない撮像画を取得するために、露光時間を長くしてあるいは絞りを広げて光量を増やす処理を行わなくとも、最適な認識器が自動的に選択されて認識処理を行うことができる。また、ノイズを推定するために画像信号をメモリに記憶してノイズ推定のための処理を行う必要がないので、必要とされるメモリ容量や処理量の増加を招くことがない。したがって、撮像画に含まれる被写体を容易に精度よく認識できるようになる。

＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、階調変換よりも前段階の制御信号と階調変換が行われる前の画像信号を光量関連情報として用いて、階調変換の影響を受けることなく光量の検出を行う。

図８は、認識装置の第２の実施の形態の構成を例示している。カメラ部２０は、光学系ブロック２１、撮像部２２、ゲイン調整部２３、Ａ／Ｄ（アナログ／ディジタル）変換部２４、階調変換部２５を有している。

光学系ブロック２１は光学レンズ２１１と絞り機構２１２を有している。光学系ブロック２１は、カメラ制御部３０から供給された制御信号に基づき光学レンズ２１１を移動して、フォーカス動作やズーム動作を行う。また、光学系ブロック２１は、制御信号に基づき絞り機構２１２を駆動して、被写体光学像の光量を調整する。

撮像部２２は、被写体光学像に応じた画像信号を生成してゲイン調整部２３へ出力する。また、撮像部２２は、カメラ制御部３０から供給された制御信号に基づき撮像素子の露光期間を制御して、所望のシャッター速度で撮像を行う。なお、撮像動作における露光期間は、光学系ブロック２１に設けたシャッター機構を駆動することで変更可能とされてもよい。

ゲイン調整部２３は、撮像部２２で生成された画像信号のアナログゲイン調整を行って、Ａ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、アナログゲイン調整後の画像信号をアナログ信号からディジタル信号に変換して階調変換部２５と認識制御部４０へ出力する。

階調変換部２５は、Ａ／Ｄ変換部２４から供給された画像信号に対して、制御信号に基づく変換関数を用いて輝度の階調を圧縮する。階調変換部２５は、階調変換後の画像信号を認識処理部５０へ出力する。

カメラ制御部３０は、制御信号を生成してカメラ部２０に供給して、カメラ部２０における各部の動作を制御する。また、カメラ制御部３０は、制御信号を認識制御部４０へ出力する。

認識制御部４０は、光量検出部４１とノイズ推定部４２を有している。光量検出部４１は、カメラ部２０から供給された階調変換前の画像信号とカメラ制御部３０から供給された階調変換よりも前段階の処理に関する制御信号に基づき、撮像領域の光量を検出する。

ノイズ推定部４２は、光量検出部４１の光量検出結果に基づきノイズを推定して、推定結果を示すノイズ情報を生成する。ノイズ推定部４２は、生成したノイズ情報を選択判別情報として認識処理部５０へ出力する。

認識処理部５０は、認識器選択部５１と複数の認識器５２-1～５２-nを有している。例えば認識処理部５０は、ノイズの少ない撮像画から高精度に被写体を認識できる認識器と、ノイズの多い撮像画から高精度に被写体を認識できる認識器を有している。認識器選択部５１は、認識制御部４０からの選択判別情報に基づき撮像領域の領域区分処理を行い、区分された領域毎に認識器を選択して、選択した認識器５２-1（５２-n）を用いて、カメラ部２０から供給された画像信号に基づき被写体認識を行う。

認識装置の第２の実施の形態の動作では、図３に示す第１の実施の形態の動作と同様な処理を行い、ステップＳＴ２とステップＳＴ３の処理内容が第１の実施の形態と相違する。

ステップＳＴ２で認識装置は、光量関連情報を取得する。光量関連情報としては、例えば絞り値情報Ｆ、シャッター速度情報Ｓ、ゲイン情報Ｇを用いる。また、撮像領域の光量に応じて信号レベルが変化しており、階調変換による情報の劣化を生じていない階調変換前の画像信号を、光量関連情報として用いる。認識装置１０の認識制御部４０は、このように光量関連情報を取得してステップＳＴ３に進む。

ステップＳＴ３で認識装置は、光量を検出する。認識制御部４０は、ステップＳＴ２で出力した光量関連情報に基づき、撮像領域の光量を検出する。

ここで、光量の検出処理について説明する。撮像画のおける位置（ｕ，ｖ）の被写体を光量Ｌ（ｕ，ｖ）、位置（ｕ，ｖ）の階調変換前の画像信号を信号値Ｉ（ｕ，ｖ）とすると、上述の式（１）の関係が成り立つ。

したがって、式（４）に基づき算出される光量Ｌ’（ｕ，ｖ）は、位置（ｕ，ｖ）の被写体の光量を示す。
Ｌ’（ｕ，ｖ）＝Ｉ（ｕ，ｖ））／（Ｓ＊Ｆ＊Ｇ） ・・・（４）

このようにして、認識制御部４０は撮像領域の光量を検出する。その後、第１の実施の形態と同様に、光量の検出結果に基づきノイズ推定を行い、推定結果を示すノイズ情報を選択判別情報とする。さらに、認識処理部５０は、選択判別情報に基づき領域区分処理を行い、領域毎に認識器を選択して被写体認識を行う。

このように、第２の実施の形態によれば、階調変換によって情報量の劣化が生じても、この情報量の劣化の影響を受けることなく被写体認識を行うことができるようになる。また、第２の実施の形態では、第１の実施の形態と同様に、撮像画に含まれる被写体を容易に精度よく認識できる。

＜４．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、アナログゲイン調整よりも前段階の制御信号とアナログゲイン調整が行われる前の画像信号を光量関連情報として用いて光量の検出を行う。

図９は、認識装置の第３の実施の形態の構成を例示している。カメラ部２０は、光学系ブロック２１、撮像部２２、ゲイン調整部２３、Ａ／Ｄ（アナログ／ディジタル）変換部２４、階調変換部２５を有している。

光学系ブロック２１は光学レンズ２１１と絞り機構２１２を有している。光学系ブロック２１は、カメラ制御部３０から供給された制御信号に基づき光学レンズ２１１を移動して、フォーカス動作やズーム動作を行う。また、光学系ブロック２１は、制御信号に基づき絞り機構２１２を駆動して、被写体光学像の光量を調整する。

撮像部２２は、被写体光学像に応じた画像信号を生成してゲイン調整部２３と認識制御部４０へ出力する。また、撮像部２２は、カメラ制御部３０から供給された制御信号に基づき撮像素子の露光期間を制御して、所望のシャッター速度で撮像を行う。なお、撮像動作における露光期間は、光学系ブロック２１に設けたシャッター機構を駆動することで変更可能とされてもよい。

ゲイン調整部２３は、撮像部２２で生成された画像信号のアナログゲイン調整を行って、Ａ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、アナログゲイン調整後の画像信号をアナログ信号からディジタル信号に変換して階調変換部２５へ出力する。

階調変換部２５は、Ａ／Ｄ変換部２４から供給された画像信号に対して、制御信号に基づく変換関数を用いて輝度の階調を圧縮する。階調変換部２５は、階調変換後の画像信号を認識処理部５０へ出力する。

カメラ制御部３０は、制御信号を生成してカメラ部２０に供給して、カメラ部２０における各部の動作を制御する。また、カメラ制御部３０は、制御信号を認識制御部４０へ出力する。

認識制御部４０は、光量検出部４１とノイズ推定部４２を有している。光量検出部４１は、カメラ部２０から供給されたアナログゲイン調整前の画像信号とカメラ制御部３０から供給されたアナログゲイン調整よりも前段階の処理に関する制御信号に基づき、撮像領域の光量を検出する。

ノイズ推定部４２は、光量検出部４１の光量検出結果に基づきノイズを推定して、推定結果を示すノイズ情報を生成する。ノイズ推定部４２は、生成したノイズ情報を選択判別情報として認識処理部５０へ出力する。

認識処理部５０は、認識器選択部５１と複数の認識器５２-1～５２-nを有している。例えば認識処理部５０は、ノイズの少ない撮像画から高精度に被写体を認識できる認識器と、ノイズの多い撮像画から高精度に被写体を認識できる認識器を有している。認識器選択部５１は、認識制御部４０からの選択判別情報に基づき撮像領域の領域区分処理を行い、区分された領域毎に認識器を選択して、選択した認識器５２-1（５２-n）を用いて、カメラ部２０から供給された画像信号に基づき被写体認識を行う。

認識装置の第３の実施の形態の動作では、図３に示す第１の実施の形態の動作と同様な処理を行い、ステップＳＴ２とステップＳＴ３の処理内容が第１の実施の形態と相違する。

ステップＳＴ２で認識装置は、光量関連情報を取得する。ここで、光量関連情報としては、例えば絞り値情報Ｆ、シャッター速度情報Ｓを光量関連情報として用いる。また、撮像領域の光量に応じて信号レベルが変化するアナログゲイン調整前の画像信号を光量関連情報として用いる。認識装置１０の認識制御部４０は、このように光量関連情報を取得してステップＳＴ３に進む。

ステップＳＴ３で認識装置は、光量を検出する。認識制御部４０は、ステップＳＴ２で出力した光量関連情報に基づき、撮像領域の光量を検出する。

ここで、光量の検出処理について説明する。撮像画のおける位置（ｕ，ｖ）の被写体を光量Ｌ（ｕ，ｖ）、位置（ｕ，ｖ）のアナログゲイン調整前の画像信号を信号値Ａ（ｕ，ｖ）とすると、式（５）の関係が成り立つ。
Ａ（ｕ，ｖ）＝Ｌ（ｕ，ｖ）＊Ｓ＊Ｆ ・・・（５）

したがって、式（６）に基づき算出される光量Ｌ’（ｕ，ｖ）は、位置（ｕ，ｖ）の被写体の光量を示す。
Ｌ’（ｕ，ｖ）＝Ａ（ｕ，ｖ））／（Ｓ＊Ｆ） ・・・（６）

このようにして、認識制御部４０は撮像領域の光量を検出する。その後、第１の実施の形態と同様に、光量の検出結果に基づきノイズ推定を行い、推定結果を示すノイズ情報を選択判別情報とする。さらに、認識処理部５０は、選択判別情報に基づき領域区分処理を行い、領域毎に認識器を選択して被写体認識を行う。

このように、第３の実施の形態によれば、階調変換やアナログゲイン調整で情報量の劣化が生じても、この情報量の劣化の影響を受けることなく被写体認識を行うことができるようになる。また、第３の実施の形態では、第１の実施の形態と同様に、撮像画に含まれる被写体を容易に精度よく認識できる。

＜５．第４の実施の形態＞
上述の第１乃至第３の実施の形態では、カメラ制御部３０で生成された制御信号を用いて光量を検出する場合を例示したが、認識装置の構成によっては制御信号を取得できない場合がある。例えばカメラ部２０とカメラ制御部３０が認識装置と別個に設けられており、カメラ制御部３０と認識制御部４０と間で制御信号の通信を行うことができない場合、制御信号を光量関連情報として利用することができない。そこで、第４の実施の形態では、制御信号を用いることなく撮像領域の光量を検出する場合について説明する。

図１０は、認識装置の第４の実施の形態の構成を例示している。カメラ部２０は、光学系ブロック２１、撮像部２２、ゲイン調整部２３、Ａ／Ｄ（アナログ／ディジタル）変換部２４、階調変換部２５を有している。

光学系ブロック２１は光学レンズ２１１と絞り機構２１２を有している。光学系ブロック２１は、カメラ制御部３０から供給された制御信号に基づき光学レンズ２１１を移動して、フォーカス動作やズーム動作を行う。また、光学系ブロック２１は、制御信号に基づき絞り機構２１２を駆動して、被写体光学像の光量を調整する。

撮像部２２は、被写体光学像に応じた画像信号を生成してゲイン調整部２３へ出力する。また、撮像部２２は、カメラ制御部３０から供給された制御信号に基づき撮像素子の露光期間を制御して、所望のシャッター速度で撮像を行う。なお、撮像動作における露光期間は、光学系ブロック２１に設けたシャッター機構を駆動することで変更可能とされてもよい。

ゲイン調整部２３は、撮像部２２で生成された画像信号のアナログゲイン調整を行って、Ａ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、アナログゲイン調整後の画像信号をアナログ信号からディジタル信号に変換して階調変換部２５へ出力する。

階調変換部２５は、Ａ／Ｄ変換部２４から供給された画像信号に対して、制御信号に基づく変換関数を用いて輝度の階調を圧縮する。階調変換部２５は、階調変換後の画像信号を認識制御部４０と認識処理部５０へ出力する。

カメラ制御部３０は、制御信号を生成してカメラ部２０に供給して、カメラ部２０における各部の動作を制御する。

照度検出部６０は、撮像領域の明るさを示す撮像環境照度情報を生成して認識制御部４０へ出力する。

認識制御部４０は、光量検出部４１とノイズ推定部４２を有している。光量検出部４１は、カメラ部２０から供給された階調変換後の画像信号と照度検出部６０から供給された撮像環境照度情報に基づき、撮像領域の光量を検出する。

ノイズ推定部４２は、光量検出部４１の光量検出結果に基づきノイズを推定して、推定結果を示すノイズ情報を生成する。ノイズ推定部４２は、生成したノイズ情報を選択判別情報として認識処理部５０へ出力する。

認識処理部５０は、認識器選択部５１と複数の認識器５２-1～５２-nを有している。例えば認識処理部５０は、ノイズの少ない撮像画から高精度に被写体を認識できる認識器と、ノイズの多い撮像画から高精度に被写体を認識できる認識器を有している。認識器選択部５１は、認識制御部４０からの選択判別情報に基づき撮像領域の領域区分処理を行い、区分された領域毎に認識器を選択して、選択した認識器５２-1（５２-n）を用いて、カメラ部２０から供給された画像信号に基づき被写体認識を行う。

認識装置の第４の実施の形態の動作では、図３に示す第１の実施の形態の動作と同様な処理を行い、ステップＳＴ２とステップＳＴ３の処理内容が第１の実施の形態と相違する。

ステップＳＴ２で認識装置は、光量関連情報を取得する。ここで、光量関連情報としては、例えば撮像環境照度βを光量関連情報として用いる。また、撮像領域の光量に応じて信号レベルが変化する階調変換後の画像信号を光量関連情報として用いる。認識装置１０の認識制御部４０は、このように光量関連情報を取得してステップＳＴ３に進む。

ステップＳＴ３で認識装置は、光量を検出する。認識制御部４０は、ステップＳＴ２で出力した光量関連情報に基づき、撮像領域の光量を検出する。

ここで、光量の検出処理について説明する。撮像画のおける位置（ｕ，ｖ）の階調変換後の画像信号を信号値Ｊ（ｕ，ｖ）として、撮像環境照度を画像平均照度と近似すると、式（７）に基づき算出される光量Ｌ’（ｕ，ｖ）は、位置（ｕ，ｖ）の被写体の光量を示す。
Ｌ’（ｕ，ｖ）＝Ｊ（ｕ，ｖ））＊β ・・・（７）

このようにして、認識制御部４０は撮像領域の光量を検出する。その後、第１の実施の形態と同様に、光量の検出結果に基づきノイズ推定を行い、推定結果を示すノイズ情報を選択判別情報とする。さらに、認識処理部５０は、選択判別情報に基づき領域区分処理を行い、領域毎に認識器を選択して被写体認識を行う。

このように、第４の実施の形態によれば、カメラ制御部３０から制御信号を取得できない場合でも、照度検出部６０で検出された撮像環境照度とカメラ部２０から出力される画像信号に基づき撮像領域の光量を検出できる。さらに、上述の第１の実施の形態等と同様に、検出された光量に基づき生成された選択判別情報に基づき認識器を選択して、撮像領域の撮像画について被写体認識処理を行うことができる。また、第４の実施の形態では、第１の実施の形態と同様に、撮像画に含まれる被写体を容易に精度よく認識できる。

＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、本技術は、図１１に示す車外情報検出ユニット７４００に適用することができる。このように、車外情報検出ユニット７４００に本技術を適用すれば、被写体の明るさによる影響を少なくして、例えば車外の被写体の視認が容易となりドライバの疲労等を軽減できる。また、自動運転等に必要な情報を高精度で取得することが可能となる。

また、本開示に係る技術を監視システムに適用すれば、被写体の明るさによらず精度よく認識処理を行うことが可能となり、例えば明るい場所の人物や暗い場所の人物を精度よく監視できるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の認識装置は以下のような構成も取ることができる。
（１） 撮像領域の光量検出結果に基づき選択判別情報を生成する認識制御部と、
前記撮像領域を示す撮像画についての被写体認識処理を、前記認識制御部で生成された前記選択判別情報に基づいて選択した認識器を用いて行う認識処理部と
を備える認識装置。
（２） 前記認識制御部は、前記光量検出結果に基づきノイズ推定を行い、ノイズ推定結果を前記選択判別情報とする（１）に記載の認識装置。
（３） 前記認識処理部は、前記選択判別情報に基づきノイズが閾値以下であると判別した場合に第１の認識器を選択して、前記選択判別情報に基づきノイズが閾値よりも多いと判別した場合に第１の認識器よりもノイズに強い第２の認識器を選択する（２）に記載の認識装置。
（４） 前記認識処理部は、前記選択判別情報に基づいて前記撮像画の領域分割を行い、分割された領域毎に前記認識器を選択する（１）乃至（３）の何れかに記載の認識装置。
（５） 前記認識制御部は、前記撮像画を取得する撮像部の階調変換切替動作に応じて前記撮像画の領域分割を行い、分割された領域毎に前記選択判別情報を生成する（１）乃至（３）の何れかに記載の認識装置。
（６） 前記認識制御部は、前記撮像画を取得する撮像部の動作を制御する制御信号と前記撮像部で生成された画像信号に基づいて前記撮像領域の光量を検出する（１）乃至（５）の何れかに記載の認識装置。
（７） 前記制御信号は、絞り，シャッター速度，アナログゲイン調整および階調変換の少なくとも何れかを制御する信号である（６）に記載の認識装置。
（８） 前記制御信号は、前記絞りと前記シャッター速度と前記アナログゲイン調整および前記階調変換を制御する信号であり、
前記画像信号は前記アナログゲイン調整と前記階調変換とが行われた信号である（７）に記載の認識装置。
（９） 前記制御信号は、前記絞りと前記シャッター速度と前記アナログゲイン調整を制御する信号であり、
前記画像信号は前記アナログゲイン調整が行われた信号である（７）に記載の認識装置。
（１０） 前記制御信号は、前記絞りと前記シャッター速度を制御する信号であり、
前記画像信号は前記アナログゲイン調整が行われる前の信号である（７）に記載の認識装置。
（１１） 前記認識制御部は、前記撮像部で生成された画像信号と撮像環境照度を検出する照度検出部で検出された照度に基づいて前記光量を検出する（１）に記載の認識装置。

この技術の認識装置と認識方法およびプログラムによれば、撮像領域の光量検出結果に基づき選択判別情報が生成されて、選択判別情報に基づいて選択した認識器を用いて、撮像領域を示す撮像画について被写体認識処理が行われる。このため、撮像画に含まれる被写体を容易に精度よく認識できるようになる。したがって、周辺状況を監視する監視装置や、周辺状況を判別して移動制御を行う移動体装置等に適している。

１０・・・認識装置
２０・・・カメラ部
２１・・・光学系ブロック
２２・・・撮像部
２３・・・ゲイン調整部
２４・・・Ａ／Ｄ変換部
２５・・・階調変換部
３０・・・カメラ制御部
４０・・・認識制御部
４１・・・光量検出部
４２・・・ノイズ推定部
５０・・・認識処理部
５１・・・認識器選択部
５２-1～５２-n・・・認識器
６０・・・照度検出部
２１１・・・光学レンズ
２１２・・・絞り機構

Claims (12)

1. 撮像領域の光量検出結果に基づき選択判別情報を生成する認識制御部と、
   前記撮像領域を示す撮像画についての被写体認識処理を、前記認識制御部で生成された前記選択判別情報に基づいて選択した認識器を用いて行う認識処理部を備え、
   前記認識処理部は、前記選択判別情報に基づいて前記撮像画の領域分割を行い、分割された領域毎に前記認識器を選択する
   認識装置。
2. 前記認識制御部は、前記光量検出結果に基づきノイズ推定を行い、ノイズ推定結果を前記選択判別情報とする
   請求項１に記載の認識装置。
3. 前記認識処理部は、前記選択判別情報に基づきノイズが閾値以下であると判別した場合に第１の認識器を選択して、前記選択判別情報に基づきノイズが閾値よりも多いと判別した場合に第１の認識器よりもノイズに強い第２の認識器を選択する
   請求項２に記載の認識装置。
4. 前記認識制御部は、前記撮像画を取得する撮像部の階調変換切替動作に応じて前記撮像画の領域分割を行い、分割された領域毎に前記選択判別情報を生成する
   請求項１に記載の認識装置。
5. 前記認識制御部は、前記撮像画を取得する撮像部の動作を制御する制御信号と前記撮像部で生成された画像信号に基づいて前記撮像領域の光量を検出する
   請求項１に記載の認識装置。
6. 前記制御信号は、絞り，シャッター速度，アナログゲイン調整および階調変換の少なくとも何れかを制御する信号である
   請求項５に記載の認識装置。
7. 前記制御信号は、前記絞りと前記シャッター速度と前記アナログゲイン調整および前記階調変換を制御する信号であり、
   前記画像信号は前記アナログゲイン調整と前記階調変換とが行われた信号である
   請求項６に記載の認識装置。
8. 前記制御信号は、前記絞りと前記シャッター速度と前記アナログゲイン調整を制御する信号であり、
   前記画像信号は前記アナログゲイン調整が行われた信号である
   請求項６に記載の認識装置。
9. 前記制御信号は、前記絞りと前記シャッター速度を制御する信号であり、
   前記画像信号は前記アナログゲイン調整が行われる前の信号である
   請求項６に記載の認識装置。
10. 前記認識制御部は、撮像部で生成された画像信号と撮像環境照度を検出する照度検出部で検出された照度に基づいて前記光量を検出する
    請求項１に記載の認識装置。
11. 撮像領域の光量検出結果に基づき選択判別情報を認識制御部で生成することと、
    前記撮像領域を示す撮像画についての被写体認識処理を、前記認識制御部で生成された選択判別情報に基づいて選択した認識器を用いて認識処理部で行うことを含み、
    前記認識処理部は、前記選択判別情報に基づいて前記撮像画の領域分割を行い、分割された領域毎に前記認識器を選択する
    認識方法。
12. 認識処理をコンピュータで実行させるプログラムであって、
    撮像領域の光量検出結果に基づき選択判別情報を生成する第１の手順と、
    前記撮像領域を示す撮像画についての被写体認識処理を、前記選択判別情報に基づいて選択した認識器を用いて行う第２の手順を前記コンピュータで実行させ、
    前記第２の手順では、前記選択判別情報に基づいて前記撮像画の領域分割を行い、分割された領域毎に前記認識器を選択する
    プログラム。

Images