JP2024012828A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】適切な画像認識を行うことができる撮像装置を提供すること。【解決手段】撮像装置は、単一あるいは複数の画素ごとに露光条件を設定可能な露光領域を有する撮像手段と、画像処理による画像認識を行う画像認識領域を取得する取得手段と、前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定手段と、前記決定手段により決定した前記露光条件の遷移設定を用いて、前記撮像手段による撮像を行う撮像制御手段と、を備える。【選択図】図３

Description

本発明は、撮像装置およびその制御方法に関する。

従来、監視用途のカメラではユーザにとって視認性が高い監視向けのＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：自動露出）の遷移設定が求められている。監視向けのＡＥの遷移設定とは、被写体の動きブレが目立たない露光時間と、ノイズが少なくないアナログゲインのバランスを取り明るさが適切な露出となるように遷移する設定である。これに対して、カメラにとって画像認識が処理し易い露出となるよう遷移する設定があり、このような設定がされたカメラを機械認識用途のカメラと呼ぶ。機械認識用途のカメラでは、機械認識（画像認識）の精度を向上するために、露光時間とアナログゲインのバランスを極端に片方に寄せたＡＥの遷移設定にすることがある。例えば、画像からエッジ検出を行う場合、動きブレを極力排除するために、露光時間を短く設定し、露光量を補うためにアナログゲインは高ゲインに設定する。また、背景差分などを用いた画像間比較を行う場合には、ノイズ量を抑えるためにアナログゲインは低ゲインに設定し、露光量を補うために露光時間を長く設定する。このように、監視向けのＡＥの遷移設定と機械認識向けのＡＥの遷移設定は異なる。

また、機械認識は撮像される画像の全面ではなく一部で実施することがある。特許文献１には、機械認識における被写体の検出結果に基づき、露出を決定する技術が開示されている。

特開２０２０－７２４６９号公報

しかしながら特許文献１では、画像全体の明るさを一律に変更するため、機械認識を行う領域に対しては適切な明るさになるが、それ以外の領域（例えば、ユーザが視認したい領域）に対しては適切な明るさになるとは限らない。また、特許文献１では、画像一律（画像全体の）で明るさを変更するため、領域ごとのＡＥの遷移設定については言及されていない。
本発明は、上記した課題に鑑み、適切な画像認識を行うことができる撮像装置を提供することである。

上記課題を解決するために、本発明の一つの態様にかかる撮像装置は、単一あるいは複数の画素ごとに露光条件を設定可能な露光領域を有する撮像手段と、画像処理による画像認識を行う画像認識領域を取得する取得手段と、前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定手段と、前記決定手段により決定した前記露光条件の遷移設定を用いて、前記撮像手段による撮像を行う撮像制御手段と、を備える。

本発明によれば、適切な画像認識を行うことができる。

本発明の第１の実施形態に係る撮像装置の機能構成の例を示す図。 図１Ａの撮像装置のハードウェア構成の例を示す図。 第１の実施形態に係る撮像システム構成の例を示す図。 第１の実施形態に係る撮像装置の動作の例を示すフローチャート。 第１の実施形態に係るユーザの操作画面の例を示す図。 非機械認識領域に適用するＡＥ遷移設定の例を示す図。 時間的な認識処理を行う機械認識領域に適用するＡＥ遷移設定の例を示す図。 空間的な認識処理を行う機械認識領域に適用するＡＥ遷移設定の例を示す図。 第２の実施形態に係る撮像システムの動作の例を示すフローチャート。 第３の実施形態に係るクライアント装置の構成例を示す図。 図９Ａのクライアント装置のハードウェア構成の例を示す図。 第３の実施形態に係る撮像システムの動作の一例を示すフローチャート。 第３の実施形態に係る撮像システムの動作の他の例を示すフローチャート。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜第１の実施形態＞
図１Ａは本発明の第１の実施形態に係る撮像装置１００の機能構成を例示したブロック図である。
撮像装置１００は、撮像光学系１０１、撮像部１０２、システム制御部１０３、機械認識領域取得部１０４、優先度決定部１０５、ＡＥ制御部１０６、エンコーダ部１０７、ネットワークＩ／Ｆ１０８およびメモリ１０９を有する。ＡＥはＡｕｔｏ Ｅｘｐｏｓｕｒｅの略である。撮像部１０２は、撮像素子１０２ａ、増幅部１０２ｂおよび画像処理部１０２ｃを有する。メモリ１０９は、ＳＲＡＭやＤＲＡＭといった揮発性メモリと、フラッシュメモリといった不揮発性メモリとを含む。ＳＲＡＭはＳｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭはＤｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。撮像装置１００は、例えば、監視カメラである。

撮像光学系１０１は、被写体からの光を撮像素子１０２ａの受光面に集光する。撮像光学系１０１は、単数或いは複数のレンズを備える。例えば、撮像光学系１０１は、ズームレンズ、フォーカスレンズおよびぶれ補正レンズ等を備える。

撮像部１０２は被写体の像を撮像して画像を生成する。
撮像素子１０２ａは、撮像光学系１０１によって撮像面（受光面）に集光された被写体からの光を画素ごとに電気信号に変換して出力する。撮像素子１０２ａは、撮像面の画素又は画素ブロック毎に露光時間およびアナログゲインを独立して設定（変更）可能な露光領域を有する。ここでいう画素ブロックは１以上の画素から構成される画素の集合であり、各画素ブロックでそれぞれ露光時間又はアナログゲインを異ならせて設定できる。画素ブロックは、単一の画素で構成される場合もあるし、複数の画素で構成される場合もある。画素ブロックの形状は矩形である必要はなく、どのような形状をしていてもよい。本実施形態では画素ブロックの形状が矩形（ブロック形状）であるとして説明する。撮像素子１０２ａは、光電変換素子からなる画素がマトリクス状に配列されたＩＣチップである。例えば、撮像素子１０２ａは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。撮像素子１０２ａは、主に可視光に高い感度を有しており、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかに高い感度を有するが、赤外光にもある程度の感度を有している。そのため、太陽光に照らされている被写体、および赤外光照明によって照らされている場所等にある被写体を鮮明に撮像することができる。

増幅部１０２ｂは、撮像素子１０２ａから出力された電気信号を増幅して出力する。増幅部１０２ｂの信号増幅率（アナログゲイン）は撮像素子１０２ａの画素又は画素ブロック毎に設定・変更できる。

画像処理部１０２ｃは、増幅部１０２ｂから出力されたアナログ信号である電気信号をデジタル信号へＡ／Ｄ変換する。Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。画像処理部１０２ｃは、Ａ／Ｄ変換により得られたデジタル信号に対してさらにデモザイキング処理、ホワイトバランス処理、ガンマ処理等を含む信号処理を行ってデジタル画像を生成する。また、画像処理部１０２ｃは、画素又は画素ブロック毎のアナログゲインに基づいて、画素又は画素ブロック毎に対応する画像信号のデジタル値を増幅・減退させることによって明るさ補正を行う。生成されたデジタル画像はメモリ１０９に一時的に保存される。この際、画像処理部１０２ｃは、例えばＪＰＥＧやＨ．２６４、Ｈ．２６５等の所定のフォーマットの画像ファイル、または動画ファイルをメモリ１０９へ出力する。なお、メモリ１０９には、機械認識処理で使用する教師データも格納されている。
また、画像処理部１０２ｃは画像の機械認識処理（カメラによる画像認識処理）を行う。画像の機械認識処理は大別して２種類ある。１つは時間的な輝度の変化に基づいて画像の機械認識を行う処理（「時間的な認識処理」と称する）である。もう１つは空間的な輝度の変化に基づいて画像の機械認識を行う処理（「空間的な認識処理」と称する）である。この２種類の機械認識処理の詳細は後述する。

なお、図１Ａでは、増幅部１０２ｂおよび画像処理部１０２ｃが撮像素子１０２ａと別体として示されているが、撮像素子１０２ａが増幅部１０２ｂおよび画像処理部１０２ｃの一部またはすべてを含む構成としてもよい。
また、図１Ａでは、撮像装置１００が撮像光学系１０１を有しているが、交換式レンズのように撮像光学系１０１が撮像装置１００に着脱可能に設けられていてもよい。つまり、撮像装置１００は、自身の構成要素として撮像光学系１０１を常に有する必要はない。

システム制御部１０３はＣＰＵ（図１Ｂ参照）を含み、撮像装置１００の各構成要素を統括的に制御し、各種パラメータの設定を行う。システム制御部１０３は撮像装置１００を構成する各部が協調して動作するように統括的に制御する。例えば、システム制御部１０３は撮像光学系１０１を制御する。より具体的には、システム制御部１０３は、光学ズーム倍率、Ｆ値、焦点距離などの光学制御を行う。システム制御部１０３は、撮像素子１０２ａによる撮像を行うので、撮像制御部と称してもよい。

機械認識領域取得部１０４は、機械認識を行う画素又は画素ブロックを判別して、機械認識領域（画像認識領域）として出力する。機械認識領域は、ネットワークＩ／Ｆ１０８を介してユーザがマニュアル操作で指定することが可能である。また、機械認識の結果に基づいて機械認識領域を撮像装置１００が自動で指定（自動設定）してもよい。例えば、撮像装置１００の機械認識領域取得部１０４は、画像全体あるいは画像の一部の領域で動体検出を行い、動体が検出された領域を機械認識領域に自動設定する。さらに、機械認識領域取得部１０４は、機械認識領域に対して動体が人体であるかを識別する人体識別を実施する。

優先度決定部１０５は、撮像部１０２の露光時間とアナログゲインの優先度を決定する。露光時間を増やすほど露光量は増えるが、被写体または撮像装置１００の動きブレが増加する。アナログゲインを増やすほど露光量は増えるが、ノイズが増加する。優先度決定部１０５では非機械認識領域（人間が認識する領域）と機械認識領域で、露光時間とアナログゲインの優先度が異なる。

次に、優先度について説明する。
非機械認識領域では機械的な認識処理を行わないためユーザが人の眼で見て違和感が小さくなるように露光時間とアナログゲインのそれぞれを段階的にＡＥ（自動露出）遷移させる。つまり、非機械認識領域では、人間の視認性を重視したＡＥ遷移の設定を行う。そのため露光時間とアナログゲインは同一あるいは近い優先度に設定する。本実施形態においてＡＥは露光時間およびアナログゲインによって決定される露光量である。
機械認識領域では、機械認識の種類（内容）に応じて、露光時間とアナログゲインに優先度をつけて露光量が適切となるようにＡＥを遷移させる。
時間的な認識処理においては、アナログゲインを優先してＡＥを遷移させる。すなわち時間的な認識処理では、アナログゲインを決定して固定した後に、露光時間によってＡＥの遷移（露光量の調整）を行う。
空間的な認識処理においては、露光時間を優先してＡＥを遷移させる。すなわち、空間的な認識処理では、露光時間を決定して固定した後に、アナログゲインによってＡＥの遷移（露光量の調整）を行う。

ＡＥ制御部１０６は、画素毎の輝度又は画素ブロック毎の輝度および優先度決定部１０５の優先度に基づいて露光条件を決定・制御する。例えば、画素毎の輝度又は画素ブロック毎の輝度の平均値が出力可能なデータ諧調の中央値となるように露光量（露光時間＋アナログゲイン）を決定する。さらに優先度決定部１０５の優先度に基づいて露光時間とアナログゲインのうち一方を決定した後に、もう一方によって決定された露光量に調整する。決定された露光時間およびアナログゲインによって撮像素子１０２ａの露出を制御する。つまり、撮像素子１０２ａは、決定された露光条件の遷移設定を用いて、撮像を行う。

エンコーダ部１０７は、画像処理部１０２ｃにて処理された画像データをＭоｔｉоｎ ＪｐｅｇやＨ２６４、Ｈ２６５等の所定のファイルフォーマットに符号化する（符号化処理を行う）。
ネットワークＩ／Ｆ１０８は、ネットワーク１１０を介して外部の情報処理装置（例えば、図２のクライアント装置２１０）や記憶装置（例えば、図２のサーバ２２０）との通信に利用されるインターフェースである。エンコーダ部１０７で符号化処理された画像データを、ネットワークＩ／Ｆ１０８を利用して情報処理装置（クライアント装置２１０）や記憶装置（サーバ２２０）に送信することができる。ネットワークＩ／Ｆ１０８は、情報処理装置（クライアント装置２１０）から、機械認識を行う領域の指定や、機械認識の種類の指定を受信する。また、ネットワークＩ／Ｆ１０８は、撮像装置１００のパンニング・チルト・ズームの制御命令等を情報処理装置（クライアント装置２１０）から受信する。

ネットワーク１１０は、例えば、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格に準拠したルータ等から構成される。撮像装置１００、情報処理装置（クライアント装置２１０）および記憶装置（サーバ２２０）はＬＡＮケーブル等によって接続される。なお、ネットワーク１１０はインターネット等の無線ネットワークを含んでもよい。この場合、撮像装置１１０、情報処理装置（クライアント装置２１０）および記憶装置（サーバ２２０）は無線ネットワークにより接続されてよい。

次に、２種類の機械認識処理と、ＡＥの遷移設定について説明する。
１つ目の機械認識処理は時間的な輝度の変化を演算するものである。同一画角で連続した複数の画像を撮像し、画像あるいは画像内の領域ごとに輝度の変化量を算出する。時間的な輝度の変化量が所定値を超えた場合（つまり、当該領域に明るさの変化が所定量を超えた場合）、動体がいると推測できる。そのため、ノイズによる変動を抑えることで精度が向上する。撮像装置（カメラ）１００の具体的な機能としては、画像内に動体がいるかを判定する動体検出機能、特定の領域に対して物体が持ち込まれることを検出する検知機能、物体が持ち去られることを検出する検知機能などが、１つ目の機械認識処理に含まれる。

２つ目の機械認識処理は空間的な輝度の変化を演算するものである。撮像した一枚の画像に対して水平方向または垂直方向の空間的な輝度の変化量を算出する。空間的な輝度の変化量が所定値を超えた場合には、その境界を不連続点であるエッジ（輪郭）として検出することができる。このエッジの形状に基づいて特徴点を算出することが可能となる。そのため被写体の動きによる変動を抑制することで精度が向上する。撮像装置（カメラ）１００の具体的な機能としては、人の肩や頭の形状から人体であるかを識別する人体識別や、顔の目、鼻、口といった部位の位置関係または形状を教師データと比較して一致度を評価する顔認証などがが、２つ目の機械認識処理に含まれる。教師データとは予め保存された特徴点のデータである。機械学習によって教師データ（サンプル数）を増やすことで精度を向上させることが可能である。

１つ目の機械認識処理（時間的な認識処理）と２つ目の機械認識処理（空間的な認識処理）では、優先される撮像条件が異なる。具体的には、時間的な認識処理では、露光時間よりアナログゲインを優先し、空間的な認識処理ではアナログゲインより露光時間を優先する。

時間的な認識処理においては、低いアナログゲイン（低ノイズ）で撮像して画像間の意図しない輝度変化（ノイズ）を抑制することで精度を向上する。アナログゲインを低く設定するためには露光時間を長く設定する必要があるが、時間的な認識処理においては空間的な輝度変化、すなわち動きブレは精度に大きく影響しないためアナログゲインを優先して設定することが可能である。

空間的な認識処理においては、短い露光時間（動きブレ小）で撮像して空間内の意図しない輝度変化（動きブレ）を抑制することで精度を向上する。これは、動きブレはデジタル処理では抑制することが困難なためである。露光時間を短く設定するためにはアナログゲインを高く設定する必要があるが、微分フィルタなどのデジタル処理を用いることでアナログゲインによるノイズの影響を抑制することが可能である。

図１Ａに示す各機能ブロック（符号１０２ｂ、１０２ｃ、１０３～１０８）は、ソフトウェアにより実現される。より詳しくは、図１Ａの各機能ブロックの機能提供するためのプログラムが図１Ｂに示すＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２４等のメモリに記憶される。そして、そのプログラムを図１Ｂに示すＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２５に読み出してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２３が実行することにより実現される。なお、機能ブロックの一部または全部は、ハードウェアにより実現されてもよい。この場合、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
なお、図１Ａに示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

図１Ｂは、撮像装置１００のハードウェア構成の一例を示している。
撮像装置１００は、撮像光学系１２１、撮像素子１２２、ＣＰＵ１２３、ＲＯＭ１２４、ＲＡＭ１２５、撮像系制御部１２６、通信制御部１２７、Ａ／Ｄ変換部１２８、画像処理部１２９、エンコーダ部１３０およびネットワークＩ／Ｆ１３１を有する。撮像装置１００の各部（１２３～１３１）は、システムバス１３２により相互接続されている。ＲＯＭ１２４はフラッシュメモリを含む。ＲＡＭ１２５はＳＲＡＭやＤＲＡＭを含む。ＲＯＭ１２４とＲＡＭ１２５は図１Ａのメモリ１０９に対応している。

撮像光学系１２１はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系１２１は撮像素子１２２に接続されている。撮像光学系１２１は図１Ａの撮像光学系１０１に対応している。
撮像素子１２２は、撮像光学系１２１で集光される光束を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子である。撮像素子１２２は図１Ａの撮像素子１０２ａに対応している。撮像素子１２２はＡ／Ｄ変換部１２８に接続されている。

ＣＰＵ１２３は、撮像装置１００の動作を統括的に制御する制御部である。ＣＰＵ１２３は、ＲＯＭ１２４やＲＡＭ１２５に格納された命令を読み込み、その結果に従って処理を実行する。ＣＰＵ１２３は図１Ａのシステム制御部１０３に対応している。
撮像系制御部１２６は、ＣＰＵ１２３からの指示に基づいて、撮像装置１００の各部の制御を行う。例えば、撮像系制御部１２６は、撮像光学系１２１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。撮像系制御部１２６は図１Ａのシステム制御部１０３に対応している。
通信制御部１２７は、クライアント装置２１０との通信によって、クライアント装置２１０から撮像装置１００の各部への制御命令（制御信号）をＣＰＵ１２３に伝達するための制御を行う。通信制御部１２７は図１Ａのシステム制御部１０３に対応している。

Ａ／Ｄ変換部１２８は、撮像素子１２２から受信した電流値をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部１２８は、当該デジタル信号を画像処理部１２９に送信する。Ａ／Ｄ変換部１２８は図１Ａの画像処理部１０２ｃに対応している。
画像処理部１２９は、Ａ／Ｄ変換部１２８から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部１２９はエンコーダ部１３０に接続されている。画像処理部１２９は図１Ａの画像処理部１０２ｃに対応している。
エンコーダ部１３０は、画像処理部１２９で処理された画像データをＭｏｔｉｏｎ Ｊｐｅｇ、Ｈ２６４、Ｈ２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部１３０はネットワークＩ／Ｆ１３１に接続されている。エンコーダ部１３０は図１Ａのエンコーダ部１０７に対応している。
ネットワークＩ／Ｆ１３１は、クライアント装置２１０等の外部の装置とのネットワーク１１０を介した通信に利用されるインターフェースであって、通信制御部１２７により制御される。ネットワークＩ／Ｆ１３１は図１ＡのネットワークＩ／Ｆ１０８に対応している。

図２を参照して、撮像装置１００を含む撮像システム２００の構成を説明する。図２は撮像システム２００の構成の一例を示している。撮像システム２００において、撮像装置１００は、ネットワーク１１０を介してクライアント装置２１０とサーバ２２０に接続されている。クライアント装置２１０はパーソナルコンピュータなどの情報処理装置である。
クライアント装置２１０は表示装置２０１と入力装置２０２に、有線または無線で接続される。表示装置２０１はディスプレイを有し、画像およびユーザの操作画面（ＧＵＩ）を表示する機器である。ディスプレイは例えば、液晶ディスプレイである。ＧＵＩはＧｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。入力装置２０２とはマウスやキーボードを含み、ユーザは表示装置２０１の画面を見ながら入力装置２０２を操作することができる。ＧＵＩは入力装置２０２の一部であると考えてもよい。
なお、図２ではクライアント装置２１０の外部に表示装置２０１と入力装置２０２が設けられているが、クライアント装置２１０は表示装置２０１と入力装置２０２の少なくとも一方を内蔵してもよい。

図３を参照して、撮像装置１００で実行される処理について説明する。図３は撮像装置１００の動作の一例である。図３では、ユーザが機械認識領域を指定する場合を説明する。
Ｓ３００において、ユーザによる機械認識領域の設定（指定）が行われる。例えば、人体検出をする場合、ユーザは機械認識領域として、人物が通ると予想される通路を指定する。ユーザはクライアント装置２１０からネットワーク１１０を介して撮像装置１００に機械認識領域を指示する（領域指定情報を送信する）。クライアント装置２１０は表示装置２０１に接続され、表示装置２０１に画像を表示することが可能である。表示装置２０１（図４のディスプレイ４００）にはユーザが操作を行うユーザインターフェースの機能があり、ユーザは、撮像装置１００によって撮像される画像や重畳表示されているボタンやスライドをタッチやドラッグによって操作することができる。ユーザは表示されている画像に対して、機械認識領域の設定を行う。機械認識領域の設定に関するユーザインターフェースについては図４を参照して後述する。

Ｓ３０１において、撮像装置１００は機械認識領域（画像認識領域）の取得を行う。撮像装置１００はネットワーク１１０を介して得られた機械認識領域の指示に基づいて、当該機械認識領域の取得を機械認識領域取得部１０４で行う。
Ｓ３０２において、撮像装置１００は露光条件（アナログゲインおよび露光時間）の制御・決定を行う。本実施形態では、撮像装置１００のＣＰＵ１２３が、機械認識の内容に基づいて、機械認識領域に適用する露光条件の遷移設定を決定する。
本実施形態では、特に断りがない限り、露光条件とはアナログゲインおよび露光時間を指す。露光条件を決定するために領域毎の輝度の平均値を算出する。この輝度の平均値と目標輝度の差分をとって、差分がある場合に露光時間またはアナログゲインを遷移させる。本実施形態では、非機械認識領域と機械認識領域で、遷移させる露光時間およびアナログゲインの優先度が異なる。露光条件は画素ブロック（単一または複数の画素）ごとに独立して決定（設定）される。また、非機械認識領域と機械認識領域では、同じ輝度であっても、アナログゲインと露光時間の割合が異なる露光条件となる。ＡＥの遷移設定の詳細については図５、図６および図７に示した露光条件遷移図を参照して説明する。

Ｓ３０３において、決定された露光条件で撮像を行う。より詳しくは、撮像装置１００のシステム制御部１０３は、撮像素子１０２ａによる撮像を行う。
Ｓ３０４において、撮像により得られた映像信号（映像データ）に対して画像処理を行い、輝度情報を取得する。輝度情報とは、画素毎又は画素ブロック毎の輝度値、時間的な輝度変化の量、および、空間的な輝度変化の量である。時間的な輝度変化の量を算出する場合には、１フレーム以上前に撮像した映像信号の輝度をメモリに保存しておき、現在のフレームの輝度と比較する。

Ｓ３０５において、Ｓ３０４で得られた輝度情報に基づいて画像処理部１０２ｃで機械認識処理を行う。
Ｓ３０６において、画像処理部１０２ｃにて現像処理を行う。これにより映像データはＪＰＥＧなどの画像に圧縮処理される。
Ｓ３０７において、ネットワークＩ／Ｆ１０８によって、圧縮処理された画像をクライアント装置２１０に配信（送信）する。
クライアント装置２１０は圧縮された画像を受信する。クライアント装置２１０は受信した画像を表示装置２０１に表示する。

図４を参照して、ユーザによる機械認識領域の設定方法について説明する。図４はユーザの操作画面の一例である。操作画面となるディスプレイ４００において、配信画像４０１と機能選択部４０４の一例が示されている。配信画像４０１内に示す格子は撮像素子１０２ａの露光ブロックの境界である。配信画像４０１の左上にある露光ブロック４０２は斜線部で示されている。またユーザは機械認識を行う領域を選択することが可能である。ユーザが指定した機械認識領域はユーザ指定領域４０３であり、図４ではドット部で示されている。ユーザ指定領域４０３はマウス操作によって画像の領域をドラッグやクリックにすることによって指定することができる。

機能選択部４０４は機械認識の機能を選択するユーザインターフェースである。一例として、図４には、持ち去り検知４０５、置き去り検知４０６、動体検出４０７、人体検出４０８、顔認識４０９のボタンが示されている。機能選択部４０４を使用して、機械認識（画像認識）の内容を決定することができる。

持ち去り検知とは指定された領域内の静止物が移動したかを判定する機能で、輝度またはエッジの時間的な変化に基づいて検知を行う。置き去り検知とは指定された領域内の静止物が移動しないかを判定する機能で、輝度またはエッジの時間的な変化に基づいて検知を行う。持ち去り検知および置き去り検知は静止物に対してのエッジまたは輝度情報に基づいて判定するため、動きブレは検出精度に影響しない。そのため、露光時間は長秒に設定することが可能であり、その分アナログゲインを低く設定することで低ノイズの画像を取得できる。これによって検出精度が向上する。また、動体検出の一例として輝度の時間的な変化から算出する（動体を検出する）方法がある。この場合、輝度に時間的な変化（動き）があるかどうかが判断基準となるため、動きブレは検出精度に影響しない。そのため、露光時間は長秒に設定することが可能であり、その分アナログゲインを低く設定することで低ノイズの画像を取得できる。これによって検出精度が向上する。

人体検出は、一枚の画像から人体の特徴となるエッジ（例えば頭や肩）を検出して、教師データと比較して類似しているかを評価値として算出する。類似している場合には評価値が高くなる。類似していない場合には評価値が低くなる。一枚の画のエッジを検出するため、動きブレがないことが重要となる。そのため露光時間を短秒にすることでエッジの検出精度が向上する。

顔認識は、人体検出と同様に一枚の画像から人体の特徴となるエッジ（例えば目や鼻）を検出して、教師データと比較して類似しているかを評価値として算出する。類似している場合には評価値が高くなる。類似していない場合には評価値が低くなる。一枚の画のエッジを検出するため、動きブレがないことが重要となる。そのため露光時間を短秒にすることでエッジの検出精度が向上する。

図５、図６および図７を参照して機械認識領域の設定に応じたＡＥの遷移設定について説明する。本実施形態では非機械認識領域に適用する遷移図をバランス型ＡＥ遷移図（図５）、時間的な機械認識領域に適用する遷移図をアナログゲイン優先ＡＥ遷移図（図６）、空間的な機械認識領域に適用する遷移図を露光時間優先ＡＥ遷移図（図７）と称する。図５～図７において、横軸はアナログゲインを示し、縦軸は露光時間を示している。また、横軸および縦軸に記載している数字は段数を示していて、数字が一つ大きくなると露光する量が倍になる。アナログゲインの段数と露光時間の段数の和を露出＝ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）の段数として表現する。露出（ＥＶ）とアナログゲインおよび露光時間の関係を式（１）に示す。また、アナログゲインおよび露光時間によって決定される値を露光量Ｘとして式（２）に示す。ＥＶの基準となるＥＶ＝０とは、ＩＳＯ感度（アナログゲイン）を１００かつ、露光時間を１秒かつ、絞りをＦ１の条件で撮像した被写体が適正な露出になる明るさである。本実施形態ではＥＶおよびＸに関して、絞りについては省略し、アナログゲインまたは露光時間が変化したときの露出の変化を示す相対値として取り扱う。

露出ＥＶ（段数）＝－（アナログゲイン（段数）＋露光時間（段数））・・・式（１）

露光量Ｘ（段数）＝－ＥＶ（段数）＝ アナログゲイン（段数）＋露光時間（段数）
・・・式（２）

すなわち、遷移図の左下（縦軸と横軸の交点）の露光条件ではアナログゲイン１段と露光時間１段の和なので、Ｘ＝２となる。遷移図の右上端の露光条件では、例えば、アナログゲイン９段と露光時間９段の和になり、Ｘ＝１８となる。Ｘの値が同じであれば、露光条件とアナログゲインの差に依らず、露光量は同一となる。図中の矢印は露光条件の遷移方向を示している。Ｘを変化させるためには、矢印の方向にアナログゲインまたは露光時間を遷移する。本実施形態では説明を簡単にするために１段ずつ遷移させるが、一度に遷移できる値は１段に限定されない。

図５のバランス型ＡＥ遷移図では、ユーザの視認性が高い画像となるように露光時間とアナログゲインのバランスをとって遷移する。例えば、Ｘ＝２からＸ＝６に遷移するためには、アナログゲインと露光時間を交互に１段ずつ遷移させて、合計４段（アナログゲイン２段、露光時間２段）の遷移を行う。これにより、ノイズ感と動きブレのバランスをとった画像を取得することができる。

図５のバランス型ＡＥ遷移図に対して、時間的な機械認識領域に適用するアナログゲイン優先ＡＥ遷移図（図６）および空間的な機械認識領域に適用する露光時間優先ＡＥ遷移図（図７）では、アナログゲインと露光時間の優先度が異なる。アナログゲイン優先ＡＥ遷移図および露光時間優先ＡＥ遷移図のそれぞれについて説明する。

図６に示した時間的な機械認識領域に適用するアナログゲイン優先ＡＥ遷移図では、Ｘが低い（図ではＸ＝１０段以下）ときはアナログゲインを優先して低ゲイン（図では最小の１段）に固定して、露光時間によって露出の調整を行う。これによりノイズ感の少ない画像を取得することができる。従って、時間的な輝度の変化量がノイズに埋もれずに、検出精度が向上する。ただし、Ｘが大きい領域（図ではＸ＝１１以上）では、露光時間だけでＸの値をこれ以上増大することができないので、アナログゲインによって露出を調整する。

なお、図６では、露光時間が最大になってからアナログゲインを変更するとしたが、露光時間が最大値になる前にアナログゲインを変更してもよい。例えば、Ｘ＝６まではアナログゲインを１で固定し、Ｘ＝８まではアナログゲインを２で固定するというような、段階的な制御（変更）をしてもよい。ただし、図５のバランス型ＡＥ遷移図に対して、アナログゲインの優先度を高く設定する。

図７に示した空間的な機械認識領域に適用するアナログゲイン優先ＡＥ遷移図（露光時間優先ＡＥ遷移図）では、Ｘが低い（図ではＸ＝１０段以下）ときは露光時間を優先して短秒（図では最小の１段）に固定して、アナログゲインによって露出の調整を行う。これにより動きブレの少ない画像を取得することができる。その結果、空間的な輝度の変化量が動きブレに埋もれずに、検出精度が向上する。ただし、Ｘが大きい領域（図ではＸ＝１１以上）では、アナログゲインだけでＸの値を増大することができないので、露光時間によって露出を調整する。

なお、図７では、アナログゲインが最大になってから露光時間を変更するとしたが、アナログゲインが最大値になる前に露光時間を変更してもよい。例えば、Ｘ＝６までは露光時間を１で固定し、Ｘ＝８までは露光時間を２で固定するというような、段階的な制御をしてもよい。ただし、非機械認識領域に適用するバランス型ＡＥ遷移図（図５）に対して、露光時間の優先度を高く設定する。

本実施形態では、機械認識の種類（内容）に基づいて、機械認識領域に適用する露光条件の遷移設定を図６の遷移設定にするか図７の遷移設定にするかを決定する。非機械認識領域（画像認識領域以外の領域）に適用する遷移設定は、図５の遷移設定であるのでユーザ（人間）にとって視認性の高い露光条件になっている。
このように本実施形態において、機械認識領域に設定されている領域に対して優先度の異なるＡＥの遷移設定（図６の遷移設定または図７の遷移設定）に設定することで、非機械認識領域における視認性が高い画像出力しつつも、機械認識の検出精度を向上させることができる。さらに、機械認識の認識処理方法（機械認識の内容）によって、アナログゲインと露光時間のどちらを優先するか選択・決定することで、機械認識の種類に適した設定となり、検出精度を向上させることができる。

図６および図７で、機械認識領域に対するＡＥの遷移設定について説明したが、機械認識に必要な精度（要求される精度）によって遷移設定を変形（変更、調節）することで、機械認識に必要な精度を確保したまま、視認性を向上することができる。例えば、顔認証（空間的な認識処理）を用いて、「１．人の顔であるか判定する場合」と、「２．人の顔の年齢を判定する場合」、では必要となる精度が異なる。この場合、「２．人の顔の年齢を判定する場合」のほうが詳細なデータが必要となるため、高い検出精度が要求される。そのため「２．人の顔の年齢を判定する場合」には図７で示したように、Ｘ＝２～１０は露光時間の設定を１で固定して撮像を行って、被写体の動きブレを抑制する。これに対して、「１．人の顔であるか判定する場合」には、「２．人の顔の年齢を判定する場合」よりも高い精度（ほどの高い精度）は要求されない。そこで、検出精度が十分である明るさでは視認性を重視したＡＥの遷移を行い、検出精度が十分ではない明るさでは機械認識を重視したＡＥの遷移を行う。このような場合について、Ｘ＝１から６までを検出精度が十分である明るさとして具体的に説明する。

検出精度が十分である明るさＸ＝１から６までは図５のバランス型ＡＥ遷移と同様に遷移させて視認性を向上させる。検出精度が十分ではない明るさであるＸ＝６から１２では露光時間を３で固定して検出精度を向上させる。露光時間を固定する段数は図７と異なるが、図７と同様に露光時間を優先（固定）させる。Ｘ＝１２以上では、図７と同様にこれ以上アナログゲインによる調整ができないため、露光時間で露出の調整を行う。このように、必要な精度によって、優先度を変更することで、必要な検出精度を維持しつつも視認性を向上することができる。また、機械認識に必要な精度に依らず、機械認識の種類によっても、同様にＡＥの遷移設定を変形（変更、調節）することが可能である。

非機械認識領域に対して、新たに機械認識領域を設定する場合もある。例えば、非機械認識領域で動体が検出（認識）された場合、新たに機械認識領域を設定する。この場合、Ｘの値に依らず、切り替え後（機械認識領域）のＡＥ遷移図におけるＡＥの設定となるように、露光時間およびアナログゲインを遷移させることが望ましい。この場合、１フレームで一度に遷移させてもよいし、数段ずつ徐々に（段階的に）遷移させてもよい。一度に遷移させる場合にはＡＥ遷移図の目標とするＸのＡＥ設定を参照して、変更を行う。数段ずつ徐々に遷移させる場合には、アナログゲインまたは露光時間のうち、優先する項目を先に遷移させることが望ましい。これによって短時間で検出精度を向上することが可能となる。このように、領域の種類（非機械認識領域、時間的な機械認識領域、空間的な機械認識領域）が変更される場合には、切り替え後のＡＥ遷移図を参照して、露光時間およびアナログゲインを遷移させる。

本実施形態では露光量Ｘ（=－ＥＶ）の値を露光時間またはアナログゲインの和として示した。しかし、撮像光学系１０１でしぼりやＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタによって撮像素子１０２へ入射する光量が変化する場合も有り得る。そのため、輝度情報および撮像光学系１０１の光学情報に基づいて、Ｘ（=－ＥＶ）の値を補正して、露光時間またはアナログゲインを遷移させることが望ましい。

上記した実施形態では、ＡＥの遷移図においてアナログゲインおよび露光時間が１段ごとに変化（遷移）する例を示したが、１段ごとである必要はない。例えば１／３段ごとに遷移してもよいし、２段ごとに遷移してもよい。

ＡＥの遷移設定を変更するための機械認識領域の設定の有無は機械認識の種類や領域の位置、撮像状況などによって設計者もしくはユーザが変更可能である。例えば複数の機械認識の種類・内容（例えば、図４の機能選択部４０４に示された５つの画像認識４０５～４０９）の中でも顔認証の精度のみを上げたい場合には、顔認証を実施する領域のみ機械認識領域のＡＥの遷移設定を変更してもよい。また、ＡＥの遷移設定を変更は、機械認識を行うすべての領域に適用する必要はない。例えば、動体検出と人体識別の両方を同時に異なる領域で実施する場合でも、片方のみ、ＡＥの遷移設定を変更してもよい。このとき設計者もしくはユーザが機械認識の種類（内容）に応じて機械認識領域を設定するか選択（決定）することが望ましい。これにより設計者もしくはユーザが重要視する機械認識に対して精度を向上することができる。

また動体検出後に人物識別（人体検出）を行うなど、同一の領域に対して異なる機械認識を行う場合には、それぞれの機械認識を行うタイミング毎に、ＡＥの遷移設定を変更してもよい。動体検出後に人体検出（人物検出）を行う場合、どのようにＡＥの遷移設定を変更するかについて、以下に具体的に説明する。

動体検出（時間的な認識処理）では、誤検出を防ぐためにノイズを抑制することが望ましい（図６）。これに対し、動体検出の後に行う人体検出（空間的な認識処理）では、人体検出や顔検出といった特徴点を正確に算出するために露光時間を短くすることが望ましい（図７）。そのため、動体検出期間中は図６のアナログゲイン優先のＡＥ遷移図を適用し、人物識別期間中は図７の露光時間優先のＡＥ遷移図を適用する。これにより、異なるタイミングに限定されるが同一領域に複数のＡＥの遷移設定を反映することができる。すなわち、同一領域で異なる種類の領域設定を行う場合でも、機械認識の精度を向上することができる。

＜第２の実施形態＞
第１の実施形態では、ユーザが機械認識領域を指定する場合（図３のＳ３００）を説明した。第２の実施形態では、撮像装置１００が自動で機械認識領域を指定（設定）する場合を説明する。第２の実施形態では、顔認証を具体例に挙げて説明する。顔認証を行うために、まず動体検出を行う。動体が検出された場合、当該動体（領域）に対して機械認識領域を設定して顔認証を実施する。なお、以下の記載において、第１の実施形態と同じ構成および処理については、同じ参照符号を付けて、詳細な説明は省略する。

本発明の第２の実施形態を、図８を用いて説明する。図８は本実施形態の処理を実施するための手順を示したフローチャートである。
Ｓ８００において、撮像装置１００は予備撮像を行う。予備撮像により、撮像装置１００の撮像輝度を取得する。
その後、Ｓ８０１において、予備撮像時の輝度から、時間的な輝度変化が所定量以上あるか否かを判定する。より詳しくは、時間的な輝度変化に基づいて、動体（機械認識対象）が検出されたか判定する。動体を検出するためにＳ８０１では時間的な認識処理を用いて、時間的な輝度変化が所定量以上あった場合には、動体がいる領域と判定する。このとき、動体の検出は画像全面で実施する。そのため、予備撮像期間中のＡＥの遷移設定は、時間的な認識処理向けのＡＥ遷移図（図６）に設定しておくことが望ましい。ただし、ユーザが画像を視認する場合には、バランス型ＡＥ遷移図（図５）に設定してもよい。

Ｓ８０１において、動体が検出されない場合には、予備撮像（Ｓ８００）を繰り返す。動体が検出された場合にはＳ８０２に移行する。
Ｓ８０２において、動体が検出された領域を、顔認証（空間的な認識処理）を行うための機械認識領域に設定する。このとき、検出誤差や動体の動きを考慮した設定を行う。具体的には、実際に検出された領域の周辺も含めた大きい領域を空間的な認識処理を行う機械認識領域に設定することが望ましい。Ｓ８０２の後、Ｓ３０２に移行する。
Ｓ３０２からＳ３０７は図３と同様のため、説明は省略する。Ｓ３０７の後、Ｓ８０３に移行する。

Ｓ８０３において、顔認証（機械認識）が完了したか判定を行う。例えば、顔認証の評価値が所定値以上であれば（評価値が８０／１００点以上であれば）、顔認証が完了したと判定する。顔認証が完了したならば、Ｓ８０４に移行して機械認識領域の設定を解除し、図８の処理を終了する。Ｓ８０３において、評価値が８０／１００点未満であればＳ８０５に移行する。

Ｓ８０５において、顔認証のエラー判定（エラーか否かの判定）を実施する。例えば、評価値が８０／１００点未満となった画像の枚数をカウントしていき、当該カウントが所定数（例えば、１０）になったか否かを判定する。評価値が８０／１００点未満となった画像の枚数が１０枚になるまでは、Ｓ８０５の判定結果はＮｏであり、Ｓ３０２に移行してＳ３０２～Ｓ８０３の処理を繰り返す。評価値が８０／１００点未満となった画像の枚数が１０枚になっても評価値が８０／１００点以上とならない場合にはエラーと判定する（Ｓ８０５：Ｙｅｓ）。エラーと判定された後、Ｓ８０４に移行して機械認識領域の設定を解除し、画像の枚数のカウントをリセットし、図８の処理を終了する。

なお、図示していないが、Ｓ８０４の後、予備撮像時のＡＥの遷移設定に戻す。
以上、本実施形態における機械認識領域を自動で設定する場合におけるＡＥの遷移設定の方法について示した。このように本実施形態においても、機械認識領域に設定されている領域に対して優先度の異なるＡＥの遷移設定に設定することで、非機械認識領域における視認性が高い画像出力しつつも、機械認識の検出精度を向上させることができる。さらに、機械認識の認識処理方法によって、アナログゲインと露光時間のどちらを優先するか決定することで、機械認識の種類に適した設定となり、検出精度を向上させることができる。
なお、機械認識領域の設定は、機械認識による認識（検出）結果に基づいて、変更してもよい。

＜第３の実施形態＞
第１の実施形態および第２の実施形態では、撮像装置１００で機械認識を実施する場合について示した。第３の実施形態ではクライアント装置２１０で機械認識を実施する場合を説明する。顔認証などを行う場合、複数の特徴点を算出して、当該複数の特徴点を膨大な教師データと比較するので、高い演算能力が必要となる。クライアント装置２１０のほうが撮像装置１００に比べて演算能力が高い場合には、機械認識をクライアント装置２１０で実施することが望ましいことも有り得る。なお、以下の記載において、第１の実施形態および第２の実施形態と同じ構成および処理については、同じ参照符号を付けて、詳細な説明は省略する。

本発明の第３の実施形態を、図９Ａ～図１１を用いて説明する。図９Ａはクライアント装置２１０の機能構成を示している。クライアント装置２１０は、ネットワークＩ／Ｆ９０１と、システム制御部９０２と、出力Ｉ／Ｆ９０３と、入力Ｉ／Ｆ９０４と、画像処理部９０５と、メモリ９０６と、を備えている。
ネットワークＩ／Ｆ９０１は、ネットワーク１１０とクライアント装置２１０を接続するインターフェースであり、データの入出力を行う。システム制御部９０２は、各モジュールを制御する。出力Ｉ／Ｆ９０３は表示装置２０１とのインターフェースである。入力Ｉ／Ｆ９０４は入力装置２０２とのインターフェースである。メモリ９０６は、撮像装置１００から受信した画像や輝度情報を格納する。また、メモリ９０６は、顔認証で使用する教師データと、システム制御部９０２が使用するプログラムなどを記憶している。

画像処理部９０５は撮像装置１００から出力される画像もしくは輝度情報に基づいて機械認識を行う。圧縮前の輝度情報に基づいて機械認識を行う場合は、撮像装置１００で機械認識を実施する場合と同等の精度が得られる。これに対して、圧縮後の画像に基づいて機械認識を行う場合はデータが圧縮されて分解能が落ちるため、撮像装置１００で機械認識を実施する場合と比べて検出精度（認識精度）が低下する。さらに、圧縮処理のパラメータはフレーム毎に変化する場合があるため、被写体に変化がなくても、圧縮画像に時間的な変化が生まれることがある。そのため、時間的な認識処理を行う場合には、圧縮による変化も加味したうえで、画像の明るさの変化に対する機械認識処理のパラメータを設定することが望ましい。例えば、動体検出において、時間的な画像の明るさの変化をみて判断する場合に、基準となる所定値よりも大きいか否かで判断するが、圧縮率が変化する場合や圧縮率が高い場合には、誤検出を防ぐために所定値を緩和することが望ましい。

図９Ｂは、クライアント装置２１０のハードウェア構成の例を示すブロック図である。
クライアント装置２１０は、クライアントＣＰＵ９１１、主記憶装置９１２、補助記憶装置９１３、入力Ｉ／Ｆ９１４、出力Ｉ／Ｆ９１５およびネットワークＩ／Ｆ９１６を有する。クライアント装置２１０の各要素は、システムバス９１７を介して、相互に通信可能に接続されている。

クライアントＣＰＵ９１１は、クライアント装置２１０の動作を統括的に制御する中央演算装置である。なお、クライアントＣＰＵ９１１によって、ネットワーク１１０を介して撮像装置１００の統括的な制御を実行してもよい。クライアントＣＰＵ９１１は、図９Ａのシステム制御部９０２および画像処理部９０５に対応する。
主記憶装置９１２は、クライアントＣＰＵ９１１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。例えば、主記憶装置９１２は、クライアント装置２１０が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）を予め格納している。主記憶装置９１２は、図９Ａのメモリ９０６に対応する。
補助記憶装置９１３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。また、補助記憶装置９１３には、あらかじめ登録された顔画像と人物情報とを関連付けたデータベース（顔認証データベース）が保存されていてもよい。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。補助記憶装置９１３も、図９Ａのメモリ９０６に対応する。

入力Ｉ／Ｆ９１４は、クライアント装置２１０が入力装置２０２等からの入力（信号）を受け取る際に利用されるインターフェースである。入力Ｉ／Ｆ９１４は、図９Ａの入力Ｉ／Ｆ９０４に対応する。
出力Ｉ／Ｆ９１５は、クライアント装置２１０から表示装置２０１等への情報（信号）を出力する際に利用されるインターフェースである。出力Ｉ／Ｆ９１５は、図９Ａの出力Ｉ／Ｆ９０３に対応する。
ネットワークＩ／Ｆ９１６は、撮像装置１００等の外部の装置とのネットワーク１１０を介した通信に利用されるインターフェースである。ネットワークＩ／Ｆ９１６は図９ＡのネットワークＩ／Ｆ９０１に対応する。
クライアントＣＰＵ９１１が、補助記憶装置９１３に記憶されたプログラムに基づき処理を実行することによって、クライアント装置２１０の処理（図１０のＳ１０００や図１１のＳ１１００）が実現される。

次に、図１０および図１１を参照してクライアント装置２１０が実行する処理について説明する。図１０は、第１の実施形態のようにユーザが機械認識領域を指定する（図３）が、機械認識処理をクライアント装置２１０が実施する場合の動作手順の一例を示している。図１１は、第２の実施形態のように自動で機械認識領域を指定する（図８）が、機械認識処理をクライアント装置２１０が実施する動作手順の一例である。

まず、図１０について説明する。図１０におけるＳ３００からＳ３０４は図３と同じである。図１０にＳ３０５はない。図１０におけるＳ３０６およびＳ３０７も図３と同じである。Ｓ３０７で、撮像装置１００が画像をクライアント装置２１０に配信する。当該画像は、クライアント装置２１０のネットワークＩ／Ｆ９０１を介して画像処理部９０５に配信（送信）される。図１０ではＳ３０７の後にＳ１０００を実施する。
Ｓ１０００において、クライアント装置２１０の画像処理部９０５は、配信（送信）されてきた画像に基づいて機械認識を行う。このとき、空間的な認識処理を行う場合には、配信された画像に対して、機械認識のための演算・処理を行う。時間的な認識処理を行う場合には、フレーム毎に画像をメモリ９０６に保存しておき、機械認識のための演算・処理を行う。例えば、顔認証を実施する場合には、配信された画像とメモリ９０６に格納している教師データを比較して、評価値を算出する。このように図３のＳ３０５における機械認識処理（撮像装置）を、Ｓ１０００で示したようにクライアント装置で実施することができる。

次に、図１１について説明する。図１１におけるＳ８００～Ｓ８０２、Ｓ３０２～Ｓ３０４、Ｓ３０６、Ｓ３０７およびＳ８０３～Ｓ８０５は図８と同じである。図１１にもＳ３０５はない。Ｓ３０７で、撮像装置１００が画像をクライアント装置２１０に配信する。当該画像は、クライアント装置２１０のネットワークＩ／Ｆ９０１を介して画像処理部９０５に配信（送信）される。図１１では、Ｓ３０７とＳ８０３の間にＳ１１００の処理を行う。
Ｓ１１００において、クライアント装置２１０の画像処理部９０５は、配信（送信）されてきた画像に基づいて機械認識を行う。この機械認識の処理はＳ１０００（図１０）と同様のため、説明を省略する。このように図８のＳ３０５における機械認識処理（撮像装置）を、Ｓ１１００で示したようにクライアント装置２１０で実施することができる。

本実施形態では、機械認識処理をクライアント装置２１０で行う場合におけるＡＥの遷移設定の方法について説明した。本実施形態においても、機械認識領域に設定されている領域に対して優先度の異なるＡＥの遷移設定に設定することで、非機械認識領域における視認性が高い画像出力しつつも、機械認識の検出精度を向上させることができる。さらに、機械認識の認識処理方法によって、アナログゲインと露光時間のどちらを優先するか決定することで、機械認識の種類に適した設定となり、検出精度を向上させることができる。

上記した機械認識の種類は、時間的な機械認識（処理）と空間的な機械認識（処理）を含む。また、機械認識処理を行うのは、撮像装置１００またはクライアント装置２１０のどちらか片方だけでもよく、両方でもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行することによっても実現できる。 従って、本発明の機能処理をコンピュータで実現するために、当該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明には、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＯＳはＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略である。

本実施形態の開示は、以下の構成、システム、方法およびプログラムを含む。
構成１
単一あるいは複数の画素ごとに露光条件を設定可能な露光領域を有する撮像手段と、
画像処理による画像認識を行う画像認識領域を取得する取得手段と、
前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定手段と、
前記決定手段により決定した前記露光条件の遷移設定を用いて、前記撮像手段による撮像を行う撮像制御手段と、
を備えることを特徴とする撮像装置。
構成２
前記露光条件はアナログゲインと露光時間を含み、
前記決定手段は、前記画像認識の内容に応じて、前記遷移設定における前記アナログゲインと前記露光時間の優先度を決定することを特徴とする構成１に記載の撮像装置。
構成３
前記画像認識領域に適用する前記露光条件の遷移設定は、前記画像認識領域以外の領域に適用する露光条件の遷移設定とは異なることを特徴とする構成２に記載の撮像装置。
構成４
時間的な輝度の変化に基づいて前記画像認識を行う場合、前記決定手段は、前記露光時間より前記アナログゲインを優先した遷移設定とすることを特徴とする構成３に記載の撮像装置。
構成５
空間的な輝度の変化に基づいて前記画像認識を行う場合、前記決定手段は、前記アナログゲインより前記露光時間を優先した遷移設定とすることを特徴とする構成３に記載の撮像装置。
構成６
前記決定手段は、前記画像認識の種類または前記画像認識に要求される精度によって、前記露光条件の遷移設定を決定することを特徴とする構成１から構成５のいずれかに記載の撮像装置。
構成７
前記取得手段は、外部からの領域指定情報に基づいて、前記画像認識領域を取得することを特徴とする構成１から構成６のいずれかに記載の撮像装置。
構成８
前記画像認識の結果に基づいて前記画像認識領域を指定する指定手段をさらに備え、
前記取得手段は、前記指定手段による指定に基づいて、前記画像認識領域を取得することを特徴とする構成１から構成６のいずれかに記載の撮像装置。
構成９
前記画像認識による検出結果に基づいて前記画像認識領域の設定を変更する変更手段をさらに備えることを特徴とする構成１から構成８のいずれかに記載の撮像装置。
構成１０
前記撮像装置は撮像光学系をさらに備え、
前記決定手段は、前記画像認識の内容に加えて、前記画素の輝度および前記撮像光学系の光学情報も用いて、前記画像認識領域に適用する前記露光条件の遷移設定を決定することを特徴とする構成１から構成９のいずれかに記載の撮像装置。
構成１１
前記画像認識の内容は、少なくとも、前記画像認識の種類と、画像認識される物体と、前記物体の部位と、のいずれかを含むことを特徴とする構成１から構成１０のいずれかに記載の撮像装置。
構成１２
前記画像認識のための画像処理を行う処理手段をさらに備えることを特徴とする構成１から構成１１のいずれかに記載の撮像装置。
構成１３
前記撮像装置は、前記撮像手段により撮像した画像を外部の情報処理装置に送信し、当該情報処理装置が前記画像認識を行うことを特徴とする構成１から構成１１のいずれかに記載の撮像装置。
システム１
構成１３に記載の撮像装置と、
前記撮像装置から送信されてきた画像に対して、前記画像認識のための画像処理を行う情報処理装置と、
を有することを特徴とするシステム。
方法１
単一あるいは複数の画素ごとに、露光条件を設定可能な露光領域を有する撮像素子を備える撮像装置の制御方法であって、
画像処理による画像認識を行う画像認識領域を取得する取得工程と、
前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定工程と、
前記決定工程により決定した前記露光条件の遷移設定を用いて、前記撮像素子による撮像を行う撮像工程と、
を有することを特徴とする制御方法。
プログラム１
単一あるいは複数の画素ごとに、露光条件を設定可能な露光領域を有する撮像素子を備える撮像装置のコンピュータに、
画像処理による画像認識を行う画像認識領域を取得する取得工程と、
前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定工程と、
前記決定工程により決定した前記露光条件の遷移設定を用いて、前記撮像素子による撮像を行う撮像工程と、
を実行させるためのプログラム。

１００ 撮像装置、１０１ 撮像光学系、１０２ 撮像部、１０３ システム制御部、１０４ 機械認識領域取得部、１０５ 優先度決定部、１０６ ＡＥ制御部、１２３ ＣＰＵ、１２６ 撮像制御部、１２９ 画像処理部、２１０ クライアント装置

Claims (16)

1. 単一あるいは複数の画素ごとに露光条件を設定可能な露光領域を有する撮像手段と、
   画像処理による画像認識を行う画像認識領域を取得する取得手段と、
   前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定手段と、
   前記決定手段により決定した前記露光条件の遷移設定を用いて、前記撮像手段による撮像を行う撮像制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記露光条件はアナログゲインと露光時間を含み、
   前記決定手段は、前記画像認識の内容に応じて、前記遷移設定における前記アナログゲインと前記露光時間の優先度を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記画像認識領域に適用する前記露光条件の遷移設定は、前記画像認識領域以外の領域に適用する露光条件の遷移設定とは異なることを特徴とする請求項２に記載の撮像装置。
4. 時間的な輝度の変化に基づいて前記画像認識を行う場合、前記決定手段は、前記露光時間より前記アナログゲインを優先した遷移設定とすることを特徴とする請求項３に記載の撮像装置。
5. 空間的な輝度の変化に基づいて前記画像認識を行う場合、前記決定手段は、前記アナログゲインより前記露光時間を優先した遷移設定とすることを特徴とする請求項３に記載の撮像装置。
6. 前記決定手段は、前記画像認識の種類または前記画像認識に要求される精度によって、前記露光条件の遷移設定を決定することを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
7. 前記取得手段は、外部からの領域指定情報に基づいて、前記画像認識領域を取得することを特徴とする請求項６に記載の撮像装置。
8. 前記画像認識の結果に基づいて前記画像認識領域を指定する指定手段をさらに備え、
   前記取得手段は、前記指定手段による指定に基づいて、前記画像認識領域を取得することを特徴とする請求項６に記載の撮像装置。
9. 前記画像認識による検出結果に基づいて前記画像認識領域の設定を変更する変更手段をさらに備えることを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
10. 前記撮像装置は撮像光学系をさらに備え、
    前記決定手段は、前記画像認識の内容に加えて、前記画素の輝度および前記撮像光学系の光学情報も用いて、前記画像認識領域に適用する前記露光条件の遷移設定を決定することを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
11. 前記画像認識の内容は、少なくとも、前記画像認識の種類と、画像認識される物体と、前記物体の部位と、のいずれかを含むことを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
12. 前記画像認識のための画像処理を行う処理手段をさらに備えることを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
13. 前記撮像装置は、前記撮像手段により撮像した画像を外部の情報処理装置に送信し、当該情報処理装置が前記画像認識を行うことを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
14. 請求項１３に記載の撮像装置と、
    前記撮像装置から送信されてきた画像に対して、前記画像認識のための画像処理を行う情報処理装置と、
    を有することを特徴とするシステム。
15. 単一あるいは複数の画素ごとに、露光条件を設定可能な露光領域を有する撮像素子を備える撮像装置の制御方法であって、
    画像処理による画像認識を行う画像認識領域を取得する取得工程と、
    前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定工程と、
    前記決定工程により決定した前記露光条件の遷移設定を用いて、前記撮像素子による撮像を行う撮像工程と、
    を有することを特徴とする制御方法。
16. 単一あるいは複数の画素ごとに、露光条件を設定可能な露光領域を有する撮像素子を備える撮像装置のコンピュータに、
    画像処理による画像認識を行う画像認識領域を取得する取得工程と、
    前記画像認識の内容に基づいて、前記画像認識領域に適用する前記露光条件の遷移設定を決定する決定工程と、
    前記決定工程により決定した前記露光条件の遷移設定を用いて、前記撮像素子による撮像を行う撮像工程と、
    を実行させるためのプログラム。

Images