JP7136234B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像解析に関する。

カメラによって生成される撮像画像を用いて対象物を認識するシステムが開発されている。撮像画像を用いた対象物の認識は、撮像画像から物体を表す画像領域の特徴を抽出し、その特徴を解析することで行われる。物体の特徴とは、例えば、色、エッジ（輪郭）、又は表面テクスチャなどである。

撮像画像を用いた認識システムに関する先行技術を開示している文献として、特許文献１がある。特許文献１のシステムは、同一の人の顔がそれぞれ異なる方向から撮像されている複数の画像を監視映像から選択し、選択した画像を出力する。画像の選択は、顔の向きに加え、画質も考慮して行われる。このように複数の顔画像を出力することで、監視者が人物識別を容易にできるようにしている。

また、特許文献１のシステムは、上記選択した複数の画像を用いて人の頭部の３次元形状モデルを構築し、監視対象の人物の顔写真と同じ角度から見た顔画像を３次元形状モデルから作成し、生成した顔画像と顔写真とを比較することで、人物認証を行う。

特開２００８－１９９５４９号公報

物体認識を伴うシステムにおいて、物体認識の処理に長時間を要してしまうと、物体認識の処理がボトルネックとなってしまい、システム全体の利便性などが低下してしまう。例えば、認識対象である物体が移動している場合に物体認識の処理に長時間を要すると、物体認識の結果が判るときには、認識した場所からその物体が大きく移動してしまっているため、認識結果を有効に活用できなくなる。そのため、実環境において詳細に物体を認識し、その認識結果を活用する場合には、認識処理を実行している期間は物体を静止させたり、意図的に物体の移動を制御したりする必要がある。その結果、システム全体の動作が遅くなったり、システムの運用方法が複雑になったりしてしまう。

以上のことに鑑みて、本発明者は、物体認識の処理を効率化する必要があることを見出した。この点、特許文献１のシステムは、監視者が人の顔を様々な方向から確認（監視）できるようにすること、及び人の顔の３次元形状モデルを構築することを目的として顔画像の選択を行っており、物体認識の効率化については言及されていない。

本発明は、上記の課題に鑑みてなされたものであり、その目的の一つは、物体認識を効率化する技術を提供することである。

本発明の情報処理装置は、１）撮像装置によって生成される複数の撮像画像それぞれから物体を検出する検出部と、２）検出された物体ごとに、その物体が検出された複数の撮像画像の中から、その物体の特徴抽出に適した撮像画像である適合画像を特定する特定部と、を有する。

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）撮像装置によって生成される複数の撮像画像それぞれから物体を検出する検出ステップと、２）検出された物体ごとに、その物体が検出された複数の撮像画像の中から、その物体の特徴抽出に適した撮像画像である適合画像を特定する特定ステップと、を有する。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、物体認識を効率化する技術が提供される。

本実施形態の情報処理装置の動作を概念的に例示する図である。 各物体についての適合画像が特定される様子を例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 学習部を有する情報処理装置を例示する図である。 情報処理装置の具体的な利用シーンを例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
＜概要＞
図１は、本実施形態の情報処理装置２０００の動作を概念的に例示する図である。なお、図１は、情報処理装置２０００に対する理解を容易にするための例示であり、情報処理装置２０００の機能は図１に表されているものに限定されない。

撮像装置１０は、撮像を行い、その結果として、撮像画像２０を生成する。例えば図１は、コンベアで輸送した物体３０を自然落下させ、その落下中の物体３０を撮像装置１０で撮像する様子を示している。

情報処理装置２０００は、撮像画像２０を解析することで、撮像画像２０に含まれる１つ以上の物体３０を検出する。物体３０が検出された撮像画像２０は、その物体３０の認識に利用される。物体３０の認識とは、例えば、物体３０を特定する処理（例えば認証）や、複数のクラス（種類）の中から物体３０が属する種類を特定する処理（クラス分類）などである。例えば図１では、識別器４０によって物体認識が行われる。

ここで、物体３０の認識は、撮像画像２０から抽出される物体３０の特徴量を利用して行われる。しかし、撮像画像２０から物体３０が検出された場合であっても、その撮像画像２０が物体３０の特徴抽出（特徴量の抽出）に適さないことがある。例えば撮像画像２０において、物体３０がぶれていたり、物体３０の一部が欠けていたりする場合、その撮像画像２０は、その物体３０の特徴抽出にあまり適していないと考えられる。

そこで情報処理装置２０００は、検出された物体３０ごとに、その物体３０が検出された複数の撮像画像２０の中から、その物体３０の特徴抽出に適した画像（以下、適合画像）を特定する。図２は、各物体３０についての適合画像が特定される様子を例示する図である。図２において、情報処理装置２０００は、物体Ａが検出された５つの撮像画像２０の中から、物体Ａについての適合画像を２つ特定している。また、情報処理装置２０００は、物体Ｂが検出された７つの撮像画像２０の中から、物体Ｂについての適合画像を３つ特定している。

＜作用効果＞
物体３０の認識を行う方法の一つとして、物体３０が検出される全ての撮像画像２０から物体３０の特徴量を抽出し、これらを全て用いて認識を行うという方法が考えられる。しかしながら、物体３０の分類すべき数（クラス）が多くなるにつれ、特徴抽出に要する時間が長くなったり、特徴抽出に要する計算機資源が多くなるという問題がある。特に、撮像装置１０が高頻度（高フレームレート）で繰り返し撮像画像２０の生成を行う場合、この問題が顕著になる。

そこで本実施形態の情報処理装置２０００は、撮像画像２０から検出される物体３０それぞれについて、その物体３０の特徴抽出に適した適合画像を特定する。こうすることで、物体３０の認識に利用する撮像画像２０を、特徴抽出に適した撮像画像２０に絞り込むことができる。そのため、撮像画像２０を用いた物体認識に要する時間や計算機資源を削減することができ、物体認識の効率化を実現できる。

情報処理装置２０００は、物体認識処理が含まれる様々なシステムの実現に活用できる。例えば、移動する物体を止めることなく認識するシステムの構築に活用できる。具体的な活用例の一つは、物体の仕分けを行うシステムの実現である。例えば工場では、製造品や部品をコンベアに乗せたり上方から落下させたりしながら輸送する。そして、その輸送中に、製造品等を種類ごとに仕分けたり、不良品と正常品とを仕分けたりすることがある。このような仕分けは、工場に限らず、物流倉庫などでも行われる。

このような仕分け作業において物品の識別に時間がかかってしまうと、仕分け作業が遅くなってしまう。そこで情報処理装置２０００を利用して、輸送中の製造品等を撮像装置１０で撮像することで得られる撮像画像２０の中から適合画像を特定し、特定した適合画像のみについて物体認識を行うようにする。こうすることで、物体認識に要する時間を削減できるため、高速な仕分け作業を実現できる。

その他の活用例としては、液体や粉体内の異物検出を行うシステムの実現がある。現状、薬品バイタル瓶の異物検査では、薬品が封入された容器（瓶など）を振って目視で異物を検出している。しかし、目視での異物検出は、作業者の作業負担が大きいなどといった問題がある。そこで、液体や粉体が容器に入れられる際にこれらを撮像し、得られた撮像画像について物体認識を行うことによって、異物検出を行うことが好適である。このシステムにおいても、物体認識に利用する撮像画像を情報処理装置２０００を用いて限定することにより、物体認識に要する時間を削減でき、高速な異物検出が可能になる。

さらに、上述した仕分けのシステムや異物検出のシステムにおいて、1,000fps などといった高いフレームレートのカメラ（以下、高速カメラ）を利用すると、フレーム間における物体の移動量等が小さくなるため、低フレームレートのカメラを利用する場合と比較し、物体認識により有効な撮像画像が得られやすい。そのため、物体認識の精度を高くすることができる。

しかしながら、高速カメラから得られる大量の撮像画像の全てを対象にして物体認識を行うと、物体認識の処理がボトルネックになってしまう。そこで、情報処理装置２０００を用いて、高速カメラによって得られる大量の撮像画像の中から特徴抽出に適したものを選び出し、選び出した撮像画像に対して物体認識を行うようにすることが好適である。こうすることで、高精度かつ高速なシステムを実現できる。

このような高精度かつ高速な処理を求められるシステムとして、移動している人物に対する虹彩認証を実現するシステムが考えられる。30fps などのフレームレートである一般的なカメラを利用する虹彩認証では、十分な精度で認証を行うために、認証対象の人物を立ち止まらせ、静止した人物の虹彩を撮像する必要がある。そのため、認証場所で渋滞が発生してしまうなどといった問題がある。

これに対し、高速カメラを利用して認証対象の人物を撮像すれば、その人物が移動していても、精度の高い認証を行える撮像画像を得ることができる。また、情報処理装置２０００を利用することで、前述したように認証処理がボトルネックになることも避けることができる。よって、移動している人物について高精度かつ高速な虹彩認証を実現できる。

その他にも、情報処理装置２０００は、都市鉱山再利用のための金属検出や仕分け、ドライブスルー料金所での車両認証、ドローンの空中認証、走行中車両のタイヤ状態チェックなどといったシステムを高精度かつ高速に実現するために利用できる。また、人やロボットの動作のリアルタイム分析を高精度かつ高速に実現するためにも利用できる。

以下、本実施形態についてさらに詳細を述べる。

＜機能構成の例＞
図３は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は、検出部２０２０及び特定部２０４０を有する。検出部２０２０は、撮像装置１０によって生成される複数の撮像画像２０それぞれから物体３０を検出する。特定部２０４０は、検出された物体３０ごとに、その物体３０が検出された複数の撮像画像２０の中から、その物体３０の特徴抽出に適した適合画像を特定する。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図４は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などの可搬型の計算機である。その他にも例えば、計算機１０００は、撮像装置１０であってもよい。この場合、撮像装置１０は、自身で生成した撮像画像２０の中から、物体３０の特徴抽出に適した画像を特定する。このように情報処理装置２０００の機能を持たせる撮像装置１０は、例えば、インテリジェントカメラ、ネットワークカメラ、IP（Internet Protocol）カメラなどと呼ばれるカメラで実現される。なお、計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。その他にも例えば、入出力インタフェース１１００には、撮像装置１０が接続される。

ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

＜撮像装置１０について＞
撮像装置１０は、撮像を行い、その結果として撮像画像を生成する任意の装置である。撮像装置１０は、静止画像を生成するスチルカメラであってもよいし、動画像を生成するビデオカメラであってもよい。また、撮像装置１０には、可視光カメラに限らず、センサの検知結果に基づいて、画像データとして扱えるデータを生成する任意の装置を利用できる。例えば、単一波長の光を撮像するモノクロカメラ、赤外光やその他の波長域の電磁波（テラヘルツ波やミリ波を含む）を撮像するカメラなどであってもよい。

撮像装置１０のフレームレートは、撮像対象の物体３０の大きさや移動速度などに基づいて、適切に設定することが好適である。例えば、フレームレートは、1フレームでの物体３０の最大移動量が、物体３０の大きさと比べて十分小さくなる（例えば半分以下になる）ように設定する。このように設定することで、２つ以上の物体３０が同時に存在する場合でも、詳細な認識を行うことなく、各個体を同定しつづけることが可能となる。具体的には、30cm 程度の高さから自由落下する直径１０ｍｍ程度の物体３０を撮像する場合における撮像装置１０の好適な設定例は、フレームレートが 1000fpsである。

例えば、撮像装置１０に設定すべきフレームレートは、以下の式（１）で定式化できる。

ここで、想定される物体３０の大きさと移動速度がそれぞれ x[mm] 及び y[mm/sec] と表されている。また、撮像装置１０のフレームレートが f[frames/sec] と表されている。

ここで、情報処理装置２０００は、上記式（１）などに基づいて、撮像装置１０にフレームレートを設定する機能を有していてもよい。例えば情報処理装置２０００は、想定される物体３０の大きさ及び移動速度を表す情報を取得し、その情報及び上記式（１）に基づいて、フレームレート f を算出する。そして、情報処理装置２０００は、撮像装置１０のフレームレートを、算出した f 又は f に所定のマージンを加えた値に設定する。また、撮像装置１０が、そのフレームレートを複数の候補の中から設定する仕様であるとする。この場合、例えば情報処理装置２０００は、設定可能な候補のフレームレートのうち、上記算出した f よりも大きい最小のフレームレートを撮像装置１０に設定する。

また、情報処理装置２０００は、想定される物体３０の大きさ及び移動速度を示す情報を取得する代わりに、撮像画像２０を用いて検出した各物体３０について大きさ及び速度を算出し、算出した大きさ及び速度の統計値（最大値や平均値）を上述した x 及び y として用いることで、上記フレームレート f を算出してもよい。

なお、フレームレートを設定する代わりに、撮像間隔を設定してもよい。撮像間隔はフレームレート f の逆数となる。

撮像装置１０は複数設けられていてもよい。この場合、情報処理装置２０００は複数の撮像装置１０それぞれから撮像画像２０を取得する。

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、撮像画像２０を取得する（Ｓ１０２）。検出部２０２０は、撮像画像２０から物体３０を検出する（Ｓ１０４）。

Ｓ１０６からＳ１１２は、撮像画像２０から検出される１つ以上の物体３０それぞれについて実行されるループ処理Ａである。Ｓ１０６において、情報処理装置２０００は、全ての物体３０についてループ処理Ａを実行したか否かを判定する。既に全ての物体３０についてループ処理Ａを実行した場合、図５の処理は終了する。一方、まだループ処理Ａの対象としていない物体３０が存在する場合、図５の処理はＳ１０８に進む。この際、情報処理装置２０００は、まだループ処理Ａの対象としていない物体３０の中から１つを選択する。ここで選択される物体３０を、物体ｉと表記する。

特定部２０４０は、撮像画像２０が物体ｉの特徴抽出に適しているか否かを判定する（Ｓ１０８）。撮像画像２０が物体ｉの特徴集出に適している場合（Ｓ１０８：ＹＥＳ）、特定部２０４０は、撮像画像２０を物体ｉの適合画像として特定する（Ｓ１１０）。撮像画像２０が物体ｉの特徴抽出に適していない場合（Ｓ１０８：ＮＯ）、図５の処理はＳ１１２に進む。Ｓ１１２はループ処理Ａの終端であるため、図５の処理はＳ１０６に進む。

情報処理装置２０００は、撮像装置１０によって生成される撮像画像２０それぞれについて、図５に示す一連の処理を実行する。ただし、情報処理装置２０００が実行する処理の流れは、図５に示す流れに限定されない。例えば情報処理装置２０００は、物体ｉが検出された複数の撮像画像２０の中から、物体ｉの特徴抽出に最も適した画像を特定し、その画像を物体ｉの適合画像として特定してもよい。この場合、情報処理装置２０００は、図５に示すように撮像画像２０ごとに適合画像であるか否かを判定するのではなく、物体ｉが検出された複数の撮像画像２０を比較することにより、その中から適合画像を特定する（図示せず）。

＜撮像画像２０の取得：Ｓ１０２＞
検出部２０２０は、撮像画像２０を取得する（Ｓ１０２）。検出部２０２０が撮像画像２０を取得する方法は様々である。例えば検出部２０２０は、撮像装置１０から送信される撮像画像２０を受信することで、撮像画像２０を取得する。その他にも例えば、検出部２０２０は、撮像装置１０にアクセスし、撮像装置１０に記憶されている撮像画像２０を取得する。

なお、撮像装置１０は、撮像装置１０の外部に設けられている記憶装置に撮像画像２０を記憶させてもよい。この場合、検出部２０２０は、この記憶装置にアクセスして撮像画像２０を取得する。

情報処理装置２０００の機能が撮像装置１０によって実現される場合、検出部２０２０は、情報処理装置２０００の内部で生成された撮像画像２０を取得する。この場合、撮像画像２０は、例えば情報処理装置２０００の内部にある記憶装置（例えばストレージデバイス１０８０）に記憶されている。

検出部２０２０が撮像画像２０を取得するタイミングは任意である。例えば検出部２０２０は、撮像装置１０によって新たな撮像画像２０が生成される度に、その新たに生成された撮像画像２０を取得する。その他にも例えば、検出部２０２０は、定期的に未取得の撮像画像２０を取得してもよい。この際、検出部２０２０は、最新の撮像画像２０のみを取得してもよいし、複数の（例えば全ての）撮像画像２０を取得してもよい。

＜物体３０の検出：Ｓ１０４＞
検出部２０２０は、撮像画像２０から物体３０を検出する（Ｓ１０４）。より具体的には、撮像画像２０から、物体３０を表す画像領域を検出する。以下、この画像領域を物体領域と呼ぶ。物体領域は、例えば、物体３０を含む所定の形状の画像領域（例えば外接矩形）である。物体領域は、ROI（Region of Interest）領域とも表現できる。ここで、撮像画像から物体を表す画像領域を検出する処理には、既存の物体検出処理（背景差分など）を利用することができる。

なお、時系列の撮像画像２０を処理する場合において、いずれの撮像画像２０からも検出されていない新規の物体３０を検出する処理は、撮像画像２０内の一部の画像領域のみを対象として行われるようにしてもよい。例えば、ベルトコンベアで運ばれる物体を撮像装置１０で撮像する場合、新規の物体が出現する撮像画像２０上の画像領域は限られている。そこで、そのような新規の物体が出現する画像領域を予め定めておき、検出部２０２０に、その画像領域を対象として、新規の物体３０を検出する処理を行わせる。

既出の物体３０を撮像画像２０から検出する処理には、トラッキングなどといった既存の技術を利用できる。例えば検出部２０２０は、或る撮像画像２０から新規の物体３０を検出したら、その撮像画像２０におけるその物体３０の代表点（例えば重心位置）やサイズを算出し、算出した代表点やサイズに基づいて、その次の撮像画像２０からその物体３０を探索する画像領域（以下、探索領域）を設定する。そして検出部２０２０は、次の撮像画像２０を得たら、その撮像画像２０内の探索領域について物体検出処理を実行することにより、既出の物体３０の検出を行う。このとき、物体３０のサイズおよび移動速度に対して十分に高いフレームレートで撮像を行うことにより、探索領域が現在のフレームにおける物体３０の代表点の近傍に限定されるため、詳細な特徴を認識しなくとも物体３０の各個体の同定が可能となる。

なお、探索領域の設定は、物体３０の移動方向や移動速度をさらに考慮して行われてもよい。例えばコンベアに乗せられて物体３０が移動している場合、コンベアが物体を移動させる方向やその移動速度は既知である。また、移動速度や移動方向が既知でなくても、複数の撮像画像から検出される物体３０の位置の変化に基づいて、その移動速度や移動方向を算出することができる。

探索領域のサイズは、予め固定で設定されていてもよいし、撮像画像２０から検出された物体３０のサイズに基づいて決定されてもよい。例えば後者の場合、探索領域のサイズを、撮像画像２０から検出された物体３０のサイズの定数倍にする。特に 1000fps のような十分に高いフレームレートで撮像が行われる場合、フレーム間で物体位置はほとんど変化しないため、探索領域のサイズを、撮像画像２０から検出された物体３０のサイズとほぼ同じ程度にまで小さく設定することができる。そのため、物体３０同士の近接に対する頑健さを向上させることができる。また、フレーム間で物体位置がほとんど変化しないという高フレームレートでの撮影には、物体の予想外の動きに対して頑健であるというメリットもある。

＜適合画像の特定：Ｓ１０８、Ｓ１１０＞
特定部２０４０は、物体３０が検出された撮像画像２０の中から、その物体３０の特徴抽出に適した適合画像を特定する（Ｓ１０８、Ｓ１１０）。そのために、特定部２０４０は、物体３０が検出された各撮像画像２０について、その撮像画像２０に含まれる物体３０の物体領域が特徴抽出に適している度合いを表す指標値を算出する。以下、この指標値を適合度と呼ぶ。適合度は、「撮像画像２０、その撮像画像２０から検出された物体３０」という組み合わせごとに算出されることになる。

例えば特定部２０４０は、或る物体３０が検出された複数の撮像画像２０のうち、その物体３０の物体領域について算出された適合度が最大のものを、その物体３０についての適合画像として特定する。その他にも例えば、特定部２０４０は、或る物体３０が検出された複数の撮像画像２０のうち、その物体３０について算出された適合度が所定の閾値以上であるものそれぞれを、その物体３０についての適合画像として特定する。

上記所定の閾値には、任意の値を定めることができる。例えば、閾値は、適合画像を用いて物体認識を行う識別器に用意されている計算機資源の量に基づいて設定される。具体的には、計算機資源の量が少ないほど閾値の値を大きくすることで、適合画像の数を少なくする。

その他にも例えば、上記閾値は、識別器４０のスコアに基づいて決定する。上記閾値が大きいほど、より特徴抽出に適した撮像画像２０しか適合画像として特定されなくなるため、識別器４０の精度が高くなる。言い換えれば、上記閾値が大きいほど、特定された適合画像を識別器４０に対して入力した場合に、識別器４０が正解のクラスについて出力するスコア（確度）が高くなりやすい。そこで、「閾値設定用に用意したテストデータ（複数の撮像画像２０）について特定部２０４０に適合画像を特定させ、特定された適合画像について識別器４０に物体認識を行わせる」という操作を、適合画像の特定に使う上記閾値を徐々に増加させながら繰り返す。この操作は、識別器４０から出力される正解のクラスについてのスコアの統計値（例えば平均値）が所定値以上となるまで繰り返される。そして、スコアの平均値が所定値以上になった際に設定されている上記閾値を、特定部２０４０に最終的に設定する閾値として利用する。

なお、スコアの統計値として、スコアのばらつきを把握するための値（分散や標準偏差など）をさらに用いてもよい。この場合、例えば、「識別器４０から出力される正解のクラスについてのスコアの平均値が第１所定値以上であり、なおかつスコアの分散が第２所定値以下である」といった条件を満たす閾値を利用する。

なお、上述した種々の方法で決定した閾値は、特定部２０４０からアクセス可能な記憶装置に予め記憶させておく。

＜＜適合度の算出方法＞＞
適合度の算出には様々な指標を利用することができる。以下、適合度の算出に利用可能な指標について具体的に説明する。

＜＜＜１つの撮像画像２０から得られる指標値＞＞＞
１つの撮像画像２０から得られる指標値には、例えば、物体領域のボケ量に関する指標値、物体領域における画素値のばらつきに関する指標値、物体領域における情報の欠損具合（白飛びや黒飛びなど）、又は物体３０の向きの適切さを表す指標値などを用いることができる。

物体領域のボケ量を表す指標値としては、S/N 比や、コントラストを表す指標値などを利用することができる。コントラストを表す指標値としては、例えば、Michelson コントラスト、Weber コントラスト、又はコントラスト比などを用いることができる。これらはそれぞれ、以下の式で定義される。

ここで、Imax と Imin はそれぞれ、物体領域に含まれる輝度の最大値と最小値である。

画素値のばらつきに関する指標値は、輝度値の分散やエントロピーで表すことができる。これらはそれぞれ、以下の数式で表される。

ここで、Ik は、物体領域に含まれる画素 k の輝度値である。Iavg は、物体領域に含まれる全ての画素の輝度値の平均である。N は、物体領域に含まれる画素の総数である。Nj は、階調が j の画素の総数である。

情報の欠損具合を表す指標値は、例えば、白飛びが生じている画素の個数、又は黒潰れが生じている画素の個数で表される。白飛びが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の上限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 255）となっている画素の総数である。黒潰れが生じている画素とは、物体領域内に含まれる画素のうち、その輝度値が撮像装置１０のセンサ感度の下限値（例えば、輝度を 0 以上 255 以下の値で表す場合では 0）となっている画素の総数である。

物体３０の向きの適切さを表す指標値とは、物体３０の特徴を良く表す部分が撮像装置１０の方を向いている度合いを表す値である。撮像画像２０から物体３０の特徴を精度良く抽出するためには、その物体３０の特徴を良く表す部分が撮像画像２０に含まれていることが好適である。例えば物体３０が人である場合、目、鼻、及び口などといった種々のパーツが含まれる顔の正面が撮像装置１０の方を向いている（撮像画像２０に顔の正面全体が含まれる）ことが好適である。

そこで、例えば、物体３０の種類に応じて、その物体３０の向きの適切さを表す指標値の算出方法を定めておく。例えば物体３０が適切な向きで撮像された場合に撮像画像２０に含まれるはずの物体３０のパーツのうち、どの程度のパーツが撮像画像２０に（物体３０の物体領域に）含まれているかに基づいて、物体３０の向きの適切さを定める。具体的には、「物体領域に含まれるパーツの数／物体領域に含まれるべきパーツの数」によって、物体３０の向きの適切さを定めることができる。ただし、各パーツに異なる重みを付してもよい。

その他にも例えば、物体領域における各パーツの位置に基づいて、物体３０の向きの適切さを表す指標値を定めてもよい。例えば、人の顔の正面度（顔が正面を向いている度合い）を表す指標値を利用する。顔の水平方向の正面度は、例えば、「顔領域内での鼻の水平位置が両目の中心に近い度合い」として定めることができる。すなわち、鼻の水平方向の位置が両目の中心に近いほど、水平方向の正面度を高くする。一方、顔の垂直方向の正面度については、例えば、「両目の位置が、顔の垂直方向における中心位置に近い度合い」として定めることができる。例えば、垂直方向において、顔の領域を、１）顔の上 1/3 より上の部分、２）顔の上 1/3 から 1/2 の部分、及び３）顔の上 1/2 より下の部分という３つの領域に分ける。そして、１）の領域に両目が含まれる場合には顔が上向きであり、２）の領域に両目が含まれる場合には顔が正面向きであり、３）の領域に両目が含まれる場合には顔が下向きであると定める。顔の垂直方向の正面度は、例えば、正面向きであるケースが最も大きい値となるように定める。例えば、上記１）～３）のケースそれぞれについて、指標値を固定で定めておく。なお、両目や鼻の位置検出には、例えばHaar-like特徴を利用できる。

なお、情報の欠損具体を表す指標値については、その値が小さいほど、特徴抽出に適していると言える。そこで、情報の欠損具体を表す指標値を適合度に利用する場合、その逆数などを適合度として利用することで、適合度が大きいほど特徴抽出に適していることを表すようにすることが好適である。

＜＜＜複数の撮像画像２０の比較によって得られる指標値＞＞＞
物体３０の移動速度、回転速度、又は変形度合いなどの指標値も適合度として扱うことができる。具体的には、物体３０の移動速度、回転速度、及び変形度合いが小さい撮像画像２０ほど、その物体３０の特徴抽出に適しているといえる。

撮像画像２０における物体３０の移動速度、回転速度、又は変形度合いは、その撮像画像２０と他の撮像画像２０（例えば、時系列において前又は直後の撮像画像２０）との間におけるその物体３０の物体領域の差分に基づいて算出することができる。なお、画像から検出された物体について、画像間の差分に基づいてその物体の移動速度、回転速度、及び変形度合いを算出する技術には、既存の技術を利用することができる。なお、高フレームレートで撮像が行われる場合、物体３０の運動はほぼ線形とみなせる。そのため、Lucus-Kanade 法などの手法で、高精度に変形度合いや回転量を算出することができる。

ここで前述した様に、物体３０の移動速度、回転速度、及び変形度合いはいずれも、その値が小さい方が、物体３０の特徴抽出に適していることを表す。そこで、これらの値を適合度として利用する場合には、これらの逆数などを適合度して利用することで、適合度が大きいほど特徴抽出に適していることを表すようにすることが好適である。

＜＜＜撮像装置１０の制御情報によって定まる適合度＞＞＞
撮像装置１０の制御情報としては、例えば、フォーカス値やパンチルト角度などの制御パラメータがある。ここで、撮像装置１０が自動的にフォーカスの調整（オートフォーカス）又はパンチルト角度の調整（オートパンチルト）を行う機能を有するとする。この場合、各撮像画像２０が生成された時点のフォーカス値やパンチルト角度などの制御パラメータの値を示す制御情報を得ることができる。また、オートフォーカスやオートパンチルトなどの自動調整機能は、撮像装置１０の撮像範囲に入っている特定の物体に注目して行われる。そこで、このような自動機能の対象となった物体を表す情報（例えば、撮像画像２０におけるその物体の位置を表す情報）も、撮像装置１０の制御情報として扱うことができる。なお、上述した制御情報を得る技術には、既存の技術を利用することができる。例えば、制御情報は、撮像装置１０やその支持部材（雲台など）に設けられているアクチュエータやセンサなどから得ることができる。

以下、これらの制御情報に基づいて適合度を決定する方法について説明する。例えば、フォーカス値やパンチルト値が急激に変化した時（例えば、指数関数的に増加又は減少した時）やその前後では、物体の速度や向きなどの動きに大きな変化が起こっており、撮像装置１０が物体の動きを追従し切れていない（撮像装置１０の制御パラメータが適切な値に設定されていない）と考えられる。そのため、フォーカス値やパンチルト値が急激に変化した時やその前後に生成された撮像画像２０では、物体３０のブレやぼけが大きく、物体３０の特徴抽出を精度よく行うことが難しい蓋然性が高い。一方で、フォーカス値やパンチルト値の変化が安定している時（例えば、線形に変化している時）やその前後では、物体の動きの変化が小さく、撮像装置１０が物体の動きを追従できている（撮像装置１０の制御パラメータが設定な値に設定されている）と考えられる。そのため、フォーカス値やパンチルト値の変化が安定している時やその前後に生成された撮像画像２０では、物体３０のブレやぼけが小さく、物体３０の特徴抽出を高い精度で行える蓋然性が高い。

そこで例えば、特定部２０４０は、撮像装置１０の制御パラメータが急激に変化した時点を特定し、その時点に近い時点に生成された撮像画像２０ほど、適合度を小さくする。ここで、撮像装置１０の制御パラメータが急激に変化したかどうかは、例えば、その制御パラメータの時間変化率の時間変化率（制御パラメータの変化を表す関数の２階微分値）が所定の閾値以上であるか否かを判定することで特定することができる。

また、オートフォーカスやオートパンチルトなどの自動調整機能の対象となった物体（追跡対象の物体）については、それ以外の物体と比較し、ボケたりブレたりせずに撮像画像２０に含まれている蓋然性が高い。そこで特定部２０４０は、自動調整機能の対象となった物体３０を表す制御情報（例えば、その物体３０の撮像画像２０における位置を表す情報）を取得する。そして、特定部２０４０は、制御情報によって特定される物体３０についての撮像画像２０の適合度を、それ以外の物体３０についての適合度よりも高くする。例えば特定部２０４０は、前述した種々の方法で適合度を算出した後、制御情報によって特定される物体３０についての撮像画像２０の適合度に１より大きい所定値を乗算することで、より大きな値に調整する。

＜＜複数の指標値の利用＞＞
特定部２０４０は、上述した様々な指標値の１つ以上を利用して、撮像画像２０の適合度を定める。複数の指標値を利用する場合、例えば特定部２０４０は、算出した各指標値の重み付き平均値を算出し、その重み付き平均値を適合度として扱う。

ここで、適合度の算出に利用する指標値の決定や各指標値に与える重みの決定は、人手で行われてもよいし、情報処理装置２０００によって行われてもよい。後者の場合、例えば、教師データを用いた機械学習により、上述の決定を行う。具体的には、「入力された物体領域が特徴抽出に適しているか否かを判定する」という機能を持つ識別器や、「或る物体３０についての物体領域が複数入力され、それら複数の物体領域の中から特徴抽出に適している物体領域を特定する」という機能を持つ識別器を、特定部２０４０の中に設ける。以下、この識別器を識別器２０４２とも表記する。識別器２０４２のモデルには、例えば、線形 SVM（Support Vector Machine）などを用いることができる。

識別器２０４２には、物体領域や、その物体領域に対応する（その物体領域を含む撮像画像２０に対応する）撮像装置１０の制御情報が入力される。識別器２０４２は、入力された情報を利用して前述した各指標値を算出し、各指標値に基づいて適合度を算出し、各撮像画像２０について算出された適合度に基づいて、適合画像の特定を行う。

＜＜＜識別器２０４２の学習＞＞＞
識別器２０４２の学習には、例えば、「物体３０の物体領域、撮像装置１０の制御情報、正解データ」という組み合わせを表す教師データが用いられる。なお、複数の物体領域の複数の撮像画像２０の比較に基づく適合度を利用する場合、教師データには物体３０の物体領域が複数含まれる。教師データが示す正解データは、教師データが示す物体領域が物体３０の特徴抽出に適している度合い、すなわち適合度を示す。

識別器２０４２の学習を情報処理装置２０００で行う場合、情報処理装置２０００は、識別器の学習を行う機能構成部をさらに有する。この機能構成部を学習処理部２０６０と呼ぶ。図６は、学習処理部２０６０を有する情報処理装置２０００を例示する図である。学習処理部２０６０は、１つ以上の教師データを利用して識別器の学習を行う。

ここで、教師データを用いて識別器の学習を行う技術には、既存の技術を利用することができる。例えば、教師データが示す物体３０の物体領域を識別器に入力することで出力される適合度と、教師データが示す正解データとに基づいて損失を算出し、その損失を減少させるように識別器のパラメータ（各指標値に付す重みなど）を更新していく。なお、識別器２０４２の学習を可能にするため、識別器２０４２は、学習時においては、物体領域が特徴抽出に適しているか否かを表すフラグ（ラベル）ではなく、その物体領域の適合度を出力するように構成される。

ここで、教師データが示す正解データの値は、人手で決められてもよいし、コンピュータによって決められてもよい。後者の場合、例えば正解データは、教師データにおいてその正解データに対応づけられている物体領域を用いて物体認識を行うことで得られるスコアに基づいて定められる。

一般に、或る画像領域が表す物体のクラス（種類）を認識する識別器では、予め定められた複数のクラスそれぞれについて、入力された画像領域がそのクラスに属する物体を表す確率を算出する。そして、入力された画像領域が表す物体のクラスとして、算出された確率が最大であるクラスが特定される。

ここで、物体３０の物体領域を識別器に入力した際、正解のクラス（実際に物体３０が属するクラス）について識別器が算出する確率は、その物体領域が物体３０の特徴を良く表せているほど高くなると言える。例えば、人物Ａを表す画像領域を識別器に入力すると、識別器により、その画像領域が人物Ａを表す確率が算出される。そして、この確率が高いほど、入力された画像領域は人物Ａの特徴を良く表していると言える。

そこで、物体３０の物体領域を識別器に入力した場合に、正解のクラスについて識別器から出力される確率（スコア）を、その物体３０の物体領域と対応づける正解データ（適合度）として利用することができる。この識別器としては、例えば、情報処理装置２０００から出力される適合画像を利用して物体認識を行う識別器４０（図１参照）を利用することができる。

＜適合画像の出力＞
情報処理装置２０００は、物体３０ごとに、その物体３０について特定された適合画像を出力する。具体的には、情報処理装置２０００は、適合画像を用いて物体認識を行う識別器４０に対して、適合画像を出力する。識別器４０は、情報処理装置２０００の内部に設けられていてもよいし、情報処理装置２０００の外部に設けられていてもよい。なお、情報処理装置２０００は、適合画像全体（すなわち、撮像画像２０全体）を出力する代わりに、特徴抽出に適していることが特定された物体領域のみ（すなわち、撮像画像２０の一部）のみを出力してもよい。その他にも例えば、情報処理装置２０００は、適合画像全体に加え、その適合画像に含まれる、特徴抽出に適した物体領域の位置を出力してもよい。

ここで、情報処理装置２０００が適合画像を出力するタイミングは様々である。例えば情報処理装置２０００は、適合画像が特定される度に、その適合画像を識別器４０へ出力する。その他にも例えば、情報処理装置２０００は、所定の時間間隔で、適合画像の出力を行う。この場合、前回適合画像を出力した時点以降に特定された適合画像が出力対象となる。その他にも例えば、情報処理装置２０００は、識別器４０が動作可能になったタイミングで（例えば、識別器４０を動作させるための計算機資源に空きができたタイミングで）、適合画像の出力を行う。この場合にも、前回適合画像を出力した時点以降に特定された適合画像が出力対象となる。

ここで、情報処理装置２０００は、出力対象の適合画像の全てではなく、その一部を出力してもよい。例えば情報処理装置２０００は、出力対象の適合画像のうち、所定数（例えば１つ）の適合画像を出力する。出力する適合画像を決める方法は様々である。例えば情報処理装置２０００は、出力対象の適合画像のうち、適合度の降順で所定順位以上の適合画像を出力する。このケースでは、適合度が高い適合画像ほど優先して出力される。

その他にも例えば、情報処理装置２０００は、出力対象の適合画像のうち、生成時点の降順で所定順位以上の適合画像を出力する。このケースでは、生成時点が遅い（すなわち、より新しい）適合画像ほど優先して出力される。

＜具体的な利用シーンの例＞
図７は、情報処理装置２０００の具体的な利用シーンを例示する図である。この例では、コンベア上を移動する物体３０の仕分けが行われる。また、コンベア上で移動する物体３０に対して、照明の光が照射されている。

物体３０に対して照射する照明の適切な明るさは、その物体３０の色によって異なる。例えば、黒色の物体３０の特徴を把握するためには、強い光を照射することが好適である。一方で、そのような強い光を白色の物体３０にも照射してしまうと、撮像画像２０において、その白色の物体３０を表す画像領域で白飛びが多く発生してしまい、白色の物体３０の特徴を撮像画像２０から把握することが難しくなってしまう。

ここで、全ての物体３０の色が同程度の明るさであれば、照明の強さを物体３０に適した強さに固定で設定することができる。しかしながら、物体３０の色がばらばらである場合、このように照明の強さを固定で設定しておくことが難しい。

そこで図７の例では、コンベアに対して照射する光の強さを場所ごとに異ならせている。このような照明環境のコンベア上で物体３０を移動させれば、いずれの物体３０についても、いずれかの場所においてその物体３０に適した強さの光が照射されることになる。

そこで、コンベア上を移動する物体３０をそれぞれ異なる位置に設置した複数の撮像装置１０で撮像し、各撮像装置１０から得られた撮像画像２０を情報処理装置２０００で処理する。このようにすれば、物体３０ごとに、その物体３０に適した強さの光が照射される場所を撮像する撮像装置１０によって得られた撮像画像２０が、その物体３０についての適合画像として特定される。このように、どのような色を持つ物体３０であっても、その物体３０の特徴抽出に適した撮像画像２０を得ることができるため、精度の高い物体認識を実現することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 撮像装置によって生成される複数の撮像画像それぞれから物体を検出する検出部と、
検出された物体ごとに、その物体が検出された複数の撮像画像の中から、その物体の特徴抽出に適した撮像画像である適合画像を特定する特定部と、を有する情報処理装置。
２． 前記特定部は、前記物体が検出された各前記撮像画像について、その物体の特徴抽出に適している度合いを表す適合度を算出し、前記算出した適合度に基づいて、その物体についての前記適合画像を特定する、１．に記載の情報処理装置。
３． 前記特定部は、各前記撮像画像の適合度を、その撮像画像が生成された時点における前記撮像装置の制御情報を用いて算出する、２．に記載の情報処理装置。
４． 前記撮像装置の制御情報は、フォーカス値及びパンチルト角度のいずれか１つ以上を含む、３．に記載の情報処理装置。
５． 前記撮像装置によって生成される複数の撮像画像は、時系列の撮像画像であり、
前記特定部は、各前記撮像画像の適合度を、その撮像画像と他の撮像画像との差分に基づいて算出する、２．乃至４．いずれか一つに記載の情報処理装置。
６． 前記特定部は、前記撮像画像が前記物体の特徴抽出に適しているか否かを判別する識別器を有し、
前記識別器は、１つ以上の指標値の重み付き平均として前記適合度を算出し、前記算出した適合度に基づいて前記判別を行い、
前記適合度の算出に用いられる前記指標値には、前記撮像装置の制御情報に基づいて算出される指標値が含まれる、２．乃至５．いずれか一つに記載の情報処理装置。
７． 前記識別器の学習処理を行うことによって各前記指標値の重みを決定する学習処理部を有する、６．に記載の情報処理装置。
８． 前記特定部は、前記物体について算出された前記適合度が最大である前記撮像画像を、その物体についての前記適合画像として特定する、２．乃至７．いずれか一つに記載の情報処理装置。
９． 前記特定部は、前記物体について算出された前記適合度が閾値以上である前記撮像画像を、その物体についての前記適合画像として特定する、２．乃至７．いずれか一つに記載の情報処理装置。
１０． 撮像対象の物体の大きさと移動速度をそれぞれ x 及び y と表すと、前記撮像装置による撮像の時間間隔 T は x/(2*y) 以下である、１．乃至９．いずれか一つに記載の情報処理装置。
１１． 撮像対象の物体の大きさ x 及び移動速度 y を示す情報を取得し、前記取得した情報を用いて前記時間間隔 T を決定し、前記決定した時間間隔 T を前記撮像装置に設定する、１０．に記載の情報処理装置。

１２． コンピュータによって実行される制御方法であって、
撮像装置によって生成される複数の撮像画像それぞれから物体を検出する検出ステップと、
検出された物体ごとに、その物体が検出された複数の撮像画像の中から、その物体の特徴抽出に適した撮像画像である適合画像を特定する特定ステップと、を有する制御方法。
１３． 前記特定ステップにおいて、前記物体が検出された各前記撮像画像について、その物体の特徴抽出に適している度合いを表す適合度を算出し、前記算出した適合度に基づいて、その物体についての前記適合画像を特定する、１２．に記載の制御方法。
１４． 前記特定ステップにおいて、各前記撮像画像の適合度を、その撮像画像が生成された時点における前記撮像装置の制御情報を用いて算出する、１３．に記載の制御方法。
１５． 前記撮像装置の制御情報は、フォーカス値及びパンチルト角度のいずれか１つ以上を含む、１４．に記載の制御方法。
１６． 前記撮像装置によって生成される複数の撮像画像は、時系列の撮像画像であり、
前記特定ステップにおいて、各前記撮像画像の適合度を、その撮像画像と他の撮像画像との差分に基づいて算出する、１３．乃至１５．いずれか一つに記載の制御方法。
１７． 前記コンピュータは、前記撮像画像が前記物体の特徴抽出に適しているか否かを判別する識別器を有し、
前記特定ステップにおいて、前記識別器が、１つ以上の指標値の重み付き平均として前記適合度を算出し、前記算出した適合度に基づいて前記判別を行い、
前記適合度の算出に用いられる前記指標値には、前記撮像装置の制御情報に基づいて算出される指標値が含まれる、１３．乃至１６．いずれか一つに記載の制御方法。
１８． 前記識別器の学習処理を行うことによって各前記指標値の重みを決定する学習処理ステップを有する、１７．に記載の制御方法。
１９． 前記特定ステップにおいて、前記物体について算出された前記適合度が最大である前記撮像画像を、その物体についての前記適合画像として特定する、１３．乃至１８．いずれか一つに記載の制御方法。
２０． 前記特定ステップにおいて、前記物体について算出された前記適合度が閾値以上である前記撮像画像を、その物体についての前記適合画像として特定する、１３．乃至１８．いずれか一つに記載の制御方法。
２１． 撮像対象の物体の大きさと移動速度をそれぞれ x 及び y と表すと、前記撮像装置による撮像の時間間隔 T は x/(2*y) 以下である、１２．乃至２０．いずれか一つに記載の制御方法。
２２． 撮像対象の物体の大きさ x 及び移動速度 y を示す情報を取得し、前記取得した情報を用いて前記時間間隔 T を決定し、前記決定した時間間隔 T を前記撮像装置に設定する、２１．に記載の制御方法。

２３． １２．乃至２２．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

この出願は、２０１９年１月１７日に出願された日本出願特願２０１９－００５７７８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 撮像装置
２０ 撮像画像
３０ 物体
４０ 識別器
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 情報処理装置
２０２０ 検出部
２０４０ 特定部
２０４２ 識別器
２０６０ 学習処理部

Claims (7)

1. 撮像装置によって生成される複数の撮像画像それぞれから物体を検出する検出部と、
   検出された物体ごとに、その物体が検出された複数の撮像画像の中から、その物体の特徴抽出に適した撮像画像である適合画像を特定する特定部と、を有し、
   前記特定部は、
   前記物体が検出された各前記撮像画像について、その物体の特徴抽出に適している度合いを表す適合度を、その撮像画像が生成された時点における前記撮像装置の制御情報を用いて算出し、
   前記算出した適合度に基づいて、その物体についての前記適合画像を特定し、
   前記撮像装置の制御情報は、自動調整されたフォーカス値及びパンチルト角度のいずれか１つ以上を含み、
   前記特定部は、
   前記フォーカス値及びパンチルト角度の少なくとも一方の時間変化率の時間変化率が所定の閾値以上である時点を特定し、
   前記特定された時点に近い時点に生成された撮像画像ほど前記適合度を小さくする情報処理装置。
2. 前記撮像装置によって生成される複数の撮像画像は、時系列の撮像画像であり、
   前記特定部は、各前記撮像画像の適合度を、その撮像画像と他の撮像画像との差分に基づいて算出する、請求項１に記載の情報処理装置。
3. 前記特定部は、前記撮像画像が前記物体の特徴抽出に適しているか否かを判別する識別器を有し、
   前記識別器は、１つ以上の指標値の重み付き平均として前記適合度を算出し、前記算出した適合度に基づいて前記判別を行い、
   前記適合度の算出に用いられる前記指標値には、前記撮像装置の制御情報に基づいて算出される指標値が含まれる、請求項１または２に記載の情報処理装置。
4. 前記識別器の学習処理を行うことによって各前記指標値の重みを決定する学習処理部を有する、請求項３に記載の情報処理装置。
5. 撮像対象の物体の大きさと移動速度をそれぞれ x 及び y と表すと、前記撮像装置による撮像の時間間隔 T は x/(2*y) 以下である、請求項１乃至４いずれか一項に記載の情報処理装置。
6. コンピュータによって実行される制御方法であって、
   撮像装置によって生成される複数の撮像画像それぞれから物体を検出する検出ステップと、
   検出された物体ごとに、その物体が検出された複数の撮像画像の中から、その物体の特徴抽出に適した撮像画像である適合画像を特定する特定ステップと、を有し、
   前記特定ステップにおいて、
   前記物体が検出された各前記撮像画像について、その物体の特徴抽出に適している度合いを表す適合度を、その撮像画像が生成された時点における前記撮像装置の制御情報を用いて算出し、
   前記算出した適合度に基づいて、その物体についての前記適合画像を特定し、
   前記撮像装置の制御情報は、自動調整されたフォーカス値及びパンチルト角度のいずれか１つ以上を含み、
   前記特定ステップにおいて、
   前記フォーカス値及びパンチルト角度の少なくとも一方の時間変化率の時間変化率が所定の閾値以上である時点を特定し、
   前記特定された時点に近い時点に生成された撮像画像ほど前記適合度を小さくする制御方法。
7. 請求項６に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images