JP6705486B2 - 被写体検知装置、システム、方法およびプログラム - Google Patents

Description

本発明は、被写体検知装置、システム、方法およびプログラムに関する。

多くの人が行き来する環境で用いられる監視カメラでは、より多くの人の顔を検知できることが望ましい。

しかし、監視カメラでの顔検知を行う際、監視カメラと人物との間の距離が離れている場合など、顔検知に必要な解像度を撮像画像が満たさない場合、顔を検知できないことが多い。また、人物が監視カメラの方向を向いていないときにも、顔を検知することが難しくなる。

特許文献１には、複数の被写体のそれぞれを判別可能にする特徴量を抽出可能な解像度を決定し、決定した解像度で画像を出力するように撮像手段を制御する方法が記載されている。この方法では、解像度を上げるよう撮像手段を制御することで、個々の被写体を判別することを可能にしている。

特開２０１７−０７６９０９号公報

しかし、特許文献１に記載の方法では、撮像画像に人物が撮像されているが、その人物の撮像画像の解像度が個々の人物の判別に必要な解像度を満たさない場合に、解像度を上げる。この方法は、より多くの人物を検知する、といった、より良い検知結果を得ることを目的としたものではなく、検知されている人物の判別を目的としたものである。そのため、偶然新たな人物を検知できる可能性はあるものの、より良い検知結果を得られる可能性は低い。

本発明の目的は、より良い被写体検知結果を得られる可能性を向上することを可能にする、被写体検知装置、システム、方法およびプログラムを提供することにある。

上述の問題を解決するために、本発明の一実施形態において、被写体検知装置は、第一の撮像装置が撮像した第一の画像を受信する第一の受信部と、第二の撮像装置が撮像した第二の画像を受信する第二の受信部と、前記第一の画像に撮像されている被写体の検知と前記第二の画像に撮像されている前記被写体の前記検知とを行う検知部と、前記第一の画像の特徴を示す特徴情報を算出する特徴情報算出部と、前記特徴情報と、前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習部と、前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定する推定部と、前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲を制御する制御部とを備えることを特徴とする。

また、本発明の他の実施形態において、被写体検知方法は、第一の撮像装置が撮像した第一の画像を受信し、第二の撮像装置が撮像した第二の画像を受信し、前記第一の画像に撮像されている被写体の検知と前記第二の画像に撮像されている前記被写体の前記検知とを行い、前記第一の画像の特徴を示す特徴情報を算出し、前記特徴情報と、前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定し、前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲を制御することを特徴とする。

また、本発明の他の実施形態において、被写体検知プログラムは、コンピュータに、第一の撮像装置が撮像した第一の画像を受信する第一の受信機能と、第二の撮像装置が撮像した第二の画像を受信する第二の受信機能と、前記第一の画像に撮像されている被写体の検知と前記第二の画像に撮像されている前記被写体の前記検知とを行う検知機能と、前記第一の画像の特徴を示す特徴情報を算出する特徴情報算出機能と、前記特徴情報と、前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習機能と、前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定する推定機能と、前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲を制御する制御機能とを実現させることを特徴とする。

本発明の被写体検知装置、システム、方法およびプログラムにより、より良い被写体検知結果を得られる可能性を向上することが可能になる。

本発明の第一の実施形態の被写体検知装置の構成例を示す図である。 本発明の第一の実施形態の被写体検知装置の動作例を示す図である。 本発明の第二の実施形態の被写体検知システムの構成例を示す図である。 本発明の第二の実施形態の第一の撮像装置および第二の撮像装置の撮像範囲の例を示す図である。 本発明の第二の実施形態の学習情報の例を示す図である。 本発明の第二および第三の実施形態の被写体検知装置の動作例を示す図である。 本発明の第二および第三の実施形態の被写体検知装置の動作例を示す図である。 本発明の第三の実施形態の被写体検知装置の撮像領域の例を示す図である。 本発明の第三の実施形態の学習情報の例を示す図である。 本発明の第三の実施形態の学習情報の例を示す図である。 本発明の各実施形態のハードウェア構成例を示す図である。

［第一の実施形態］
本発明の第一の実施の形態について説明する。

図１に本実施形態の被写体検知装置１０の構成例を示す。本実施形態の被写体検知装置１０は、第一の受信部１１、第二の受信部１２、検知部１３、特徴情報算出部１４、学習部１５、記憶部１６、推定部１７および制御部１８により構成される。

第一の受信部１１は、第一の撮像装置が撮像した第一の画像を受信する。第二の受信部１２は、第二の撮像装置が撮像した第二の画像を受信する。

検知部１３は、第一の画像に撮像されている被写体の検知と第二の画像に撮像されている被写体の検知とを行う。特徴情報算出部１４は、第一の画像の特徴を示す特徴情報を算出する。

学習部１５は、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部１６へ記憶させる。

推定部１７は、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。制御部１８は、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。

このように被写体検知装置１０を構成することによって、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

次に、図２に本実施形態の被写体検知装置１０の動作の例を示す。

第一の受信部１１は、第一の撮像装置が撮像した第一の画像を受信する。第二の受信部１２は、第二の撮像装置が撮像した第二の画像を受信する（ステップＳ１０１）。

検知部１３は、第一の画像に撮像されている被写体の検知と第二の画像に撮像されている被写体の検知とを行う（ステップＳ１０２）。特徴情報算出部１４は、第一の画像の特徴を示す特徴情報を算出する（ステップＳ１０３）。

学習部１５は、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部１６へ記憶させる（ステップＳ１０４）。

推定部１７は、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する（ステップＳ１０５）。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する（ステップＳ１０６）。

このように動作することによって、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

以上で説明したように、本発明の第一の実施形態では、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

［第二の実施形態］
次に、本発明の第二の実施の形態について説明する。本実施形態では、被写体検知装置１０についてより具体的に説明する。

まず、図３に本実施形態の被写体検知システムの構成例を示す。本実施形態の被写体検知システムは、被写体検知装置１０、第一の撮像装置３０および第二の撮像装置４０により構成される。

第一の撮像装置３０および第二の撮像装置４０は、監視カメラなどの撮像装置である。本実施形態では、第一の撮像装置３０は、広角撮影が可能な固定カメラであるとする。また、第二の撮像装置４０は、ＰＴＺ（pan tilt zoom）制御、すなわち、第二の撮像装置４０が撮像する撮像方向の制御およびズーム倍率の制御が可能なカメラであるとする。なお、第一の撮像装置３０もＰＴＺ制御が可能なカメラであっても良い。

被写体検知装置１０は、第一の撮像装置３０が撮像した第一の画像および第二の撮像装置４０が撮像した第二の画像に基づいて、被写体（たとえば、人物の顔）の検知を行う装置である。第一の撮像装置３０および第二の撮像装置４０は、被写体検知装置１０と直接接続していても良いし、ネットワーク等を経由して間接的に接続していても良い。

図４に、第一の撮像装置３０の撮像範囲および第二の撮像装置４０の撮像範囲の例を示す。本実施形態では、第一の撮像装置３０は広角撮影が可能な固定カメラであるため、第一の撮像装置３０の撮像範囲は固定である。また、第二の撮像装置４０はＰＴＺ制御が可能なカメラであるため、第二の撮像装置４０の撮像範囲は変更可能である。

次に、図１を用いて、本実施形態の被写体検知装置１０の構成例について説明する。

第一の受信部１１は、第一の撮像装置３０が撮像した第一の画像を受信する。第二の受信部１２は、第二の撮像装置４０が撮像した第二の画像を受信する。

検知部１３は、第一の画像に撮像されている被写体（たとえば、人物の顔）の検知と第二の画像に撮像されている被写体の検知とを行う。被写体の検知には、任意の方法を使用することが可能である。

特徴情報算出部１４は、第一の画像の特徴を示す特徴情報を算出する。本実施形態では、特徴情報算出部１４は、特徴情報として、特徴量の変化に関する変化情報を使用する。より具体的には、特徴情報算出部１４は、第一の画像に基づいて、特徴量が変化した第一の画像の変化部分を特定し、また、変化部分における特徴量の変化量を算出し、変化部分の情報と変化量とを特徴情報として使用する。

特徴量は、たとえば、色彩を示す値である。たとえば、信号の色が変化したとき、特徴情報算出部１４は、信号の部分を変化部分とし、信号の色の変化量を算出する。特徴量は、音声（第一の撮像装置３０から音声も受信する場合）を示す値、明るさを示す値などであっても良い。なお、特徴情報算出部１４は、一つ以上の特徴量について、変化部分の特定および変化量の算出を行うことが可能である。

学習部１５は、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置４０の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部１６へ記憶させる。

検知指標は、検知部１３で行った被写体の検知の結果の良否に関する指標である。検知指標は、たとえば、第二の画像に基づいて検知された被写体の数である。あるいは、検知指標は、第二の画像から検知された被写体の数から、第一の画像と第二の画像の両方から検知された被写体の数を引いた数であっても良い。あるいは、検知指標は、検知された被写体についての顔らしさに関する値（平均値など）や、あらかじめ検知対象として登録済みの被写体のうち、検知された被写体の数や、第二の画像の特徴量の変化に関する値などであっても良い。

図５に、学習部１５が記憶部１６へ記憶させた学習情報の例を示す。顔座標および変化情報は、第一の撮像装置３０が撮像した第一の画像に関する情報、範囲情報および顔検知件数は、第二の撮像装置４０が撮像した第二の画像に関する情報である。

顔座標は、第一の撮像装置３０が撮像した第一の画像から検知された顔の、第一の画像における座標の情報である。この例では４つの顔座標が記憶されているが、学習情報として記憶される顔座標の数は任意である。また、特徴情報算出部１４は、顔座標と合わせて、年齢推定値や性別推定値を学習部１５へ記憶させることも可能である。

変化情報は、変化部分および当該変化部分における変化量の情報である。図５の例では、「／」の左側が変化部分の座標情報を、「／」の右側が変化量を示している。この例では、各時刻において、変化情報が２つ記憶されているが、学習情報として記憶される変化情報の数は任意である。

範囲情報は、第二の撮像装置４０の撮像範囲に関する情報である。この例では、「／」の左側がズームの倍率を、「／」の右側が撮像方向（チルトの角度−パンの角度）を示している。

顔検知件数は、第二の撮像装置４０が撮像した第二の画像から検知された顔の数である。この例では、検知指標として、第二の画像での顔検知件数が使用されている。

推定部１７は、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。たとえば、検知指標が第二の画像から検知された顔の数である場合、推定部１７は、第二の画像から検知された顔の数がより多くなる、特徴情報（本実施形態の場合、変化情報）と範囲情報との対応関係を推定する。特徴情報算出部１４は、対応関係の推定を、機械学習により行うことができる。なお、機械学習の方法には、任意の方法を使用することが可能である。

制御部１８は、特徴情報算出部１４が算出した特徴情報が、学習部１５が推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。

たとえば、推定部１７が、より良い検知指標を得られる対応関係として、「信号の色が青から赤に変化」という変化情報と「右下の方向で３倍ズーム」という範囲情報との組を推定したとする。この場合、制御部１８は、特徴情報算出部１４が算出した変化情報が「信号の色が青から赤に変化」のとき、第二の撮像装置４０の撮像方向を右下に向け、ズーム倍率を３倍にする。

また、制御部１８は、所定のタイミングで、第二の撮像装置４０の撮像範囲を所定のルール（ランダムなど）に従って変更する。所定のタイミングは、たとえば、記憶部１６に所定の量の学習情報が記憶されるまでや、所定の時間の間などである。なお、制御部１８は、ＯＮＶＩＦ（Open Network Video Interface Forum）インタフェースなどを利用することにより、第二の撮像装置４０の撮像範囲を制御することができる。

このように被写体検知装置１０を構成することによって、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

また、本実施形態の被写体検知装置１０は、特徴情報として、変化情報を使用する。これにより、信号の色の変化のような、人が特定の方向を向きやすいタイミングで第二の撮像装置４０を制御することが可能になる。そのため、より良い被写体検知結果を得ることが可能になる。

また、本実施形態の被写体検知装置１０は、学習情報に基づいて、より良い検知指標を得られる、特徴情報と撮像範囲の対応関係を推定する。そのため、被写体検知装置１０は、外的環境の変化（建造物の新たな設置等）にも自動で対応することが可能になる。

また、本実施形態の被写体検知システムは、広角撮影が可能な撮像装置と、撮像範囲を変更可能な撮像装置を使用する。そのため、撮像装置を広角撮影可能かつ高解像度のものに変更することなく、より良い被写体検知結果を得ることが可能になる。

次に、図６および図７に、本実施形態の被写体検知装置１０の動作例を示す。

まず、被写体検知装置１０は、第二の撮像装置４０の撮像範囲を所定のルールに従って（ランダムなど）変更する（図６のステップＳ２０１）。

次に、被写体検知装置１０は、第一の撮像装置３０から第一の画像を、第二の撮像装置４０から第二の画像を受信する（ステップＳ２０２）。そして、第一の画像に撮像されている被写体の検知と第二の画像に撮像されている被写体の検知とを行う（ステップＳ２０３）。

また、被写体検知装置１０は、第一の撮像装置３０が撮像した第一の画像に基づいて、第一の画像の特徴を示す特徴情報、たとえば、特徴量の変化に関する変化情報を算出する（ステップＳ２０４）。

次に、被写体検知装置１０は、特徴情報（たとえば変化情報）と、検知指標と、第二の撮像装置４０の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部１６へ記憶させる（ステップＳ２０５）。

そして、図７のステップＳ３０２において対応関係が推定されるまでの間（ステップＳ２０６でＮＯ）、被写体検知装置１０は、図６のステップＳ２０１からステップＳ２０５の動作を繰り返す。

被写体検知装置１０は、所定のタイミングで（ステップＳ３０１でＹＥＳ）、記憶部１６が記憶している学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する（ステップＳ３０２）。所定のタイミングは、たとえば、所定の量の学習情報が記憶部１６に記憶されたタイミングや、所定の時間間隔などの、任意のタイミングである。

そして、対応関係が推定された後は（ステップＳ２０６でＹＥＳ）、ステップＳ２０２からステップＳ２０５と同様に、第一の画像および第二の画像の受信、被写体の検知、特徴情報の算出および学習情報の記憶を行う（ステップＳ２０７からステップＳ２１０）。

また、被写体検知装置１０は、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御する（ステップＳ２１１）。

その後、被写体検知装置１０は、ステップＳ２０７からステップＳ２１１の動作を繰り返す。また、被写体検知装置１０は、所定のタイミングで（ステップＳ３０１でＹＥＳ）、新たな対応関係を推定する（ステップＳ３０２）。被写体検知装置１０は、ステップＳ２１１では、最新の対応関係に基づいて第二の撮像装置４０の撮像範囲を制御する。なお、被写体検知装置１０は、二度目以降に対応関係を推定する前にも、図６のステップＳ２０１からステップＳ２０５を所定の時間繰り返しても良い。

このように動作することによって、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

以上で説明したように、本発明の第二の実施形態では、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

また、本実施形態の被写体検知装置１０は、特徴情報として、変化情報を使用する。これにより、信号の色の変化のような、人が特定の方向を向きやすいタイミングで第二の撮像装置４０を制御することが可能になる。そのため、より良い被写体検知結果を得ることが可能になる。

また、本実施形態の被写体検知装置１０は、学習情報に基づいて、より良い検知指標を得られる、特徴情報と撮像範囲の対応関係を推定する。そのため、被写体検知装置１０は、外的環境の変化（建造物の新たな設置等）にも自動で対応することが可能になる。

また、本実施形態の被写体検知システムは、広角撮影が可能な撮像装置と、撮像範囲を変更可能な撮像装置を使用する。そのため、撮像装置を広角撮影可能かつ高解像度のものに変更することなく、より良い被写体検知結果を得ることが可能になる。

［第三の実施形態］
次に、本発明の第三の実施の形態について説明する。本実施形態では、特徴量として、第一の撮像装置３０が撮像した第一の画像から検知された被写体の数を使用する場合について説明する。

まず、図１を用いて本実施形態の被写体検知装置１０の構成例について説明する。

本実施形態の特徴情報算出部１４は、第一の画像の特徴情報として、第一の画像から検知した被写体の数に関する情報を使用する。より具体的には、たとえば、被写体検知装置１０は、第一の画像をいくつかの所定の領域に分割し、領域ごとの被写体の数を特徴情報として使用する。

図８に、第一の撮像装置３０の撮像範囲を分割した領域の例を示す。この例では、説明の簡単化のために、第一の撮像装置３０の撮像範囲を６つの領域に分割している。領域の数／形状には任意の数／形状を使用することが可能である。

図９に、学習部１５が記憶部１６に記憶させる学習情報の例を示す。この例では、第一の画像の特徴情報として、図８の領域の各々において検知された被写体の数が使用されている。また、第二の撮像装置４０が撮像する撮像範囲の情報として、図８の領域の情報が使用されている。

そして、推定部１７は、記憶部１６に記憶されている学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を、機械学習により推定する。記憶部１６に図１０のような学習情報が記憶されている場合、推定部１７は、第二の画像から検知した被写体の数がより多くなる、特徴情報と範囲情報（撮像領域）との対応関係を推定する。この例の場合、被写体検知装置１０は、第一の画像から検知された被写体の数が、領域Ａ〜Ｆの各々において、２、３、１、６、０、２となる特徴情報に対して、顔検知件数が最大の領域Ｂを対応付けた対応関係を推定する。そして、制御部１８は、第一の画像から検知された被写体の数が、領域Ａ〜Ｆの各々において、２、３、１、６、０、２となったときに、第二の撮像装置４０の撮像範囲が領域Ｂとなるように第二の撮像装置４０を制御する。

その他の部分については第二の実施形態と同様のため、説明を省略する。

このように被写体検知装置１０を構成することによって、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

なお、本実施形態の動作例については、第二の実施形態の動作例（図６および図７）と同様のため、説明を省略する。

以上で説明したように、本発明の第三の実施形態では、被写体検知装置１０は、第二の画像に撮像されている被写体を検知し、第一の画像の特徴情報を算出する。また、特徴情報と、被写体の検知の結果の良否に関する指標である検知指標と、第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、学習情報に基づいて、より良い検知指標を得られる、特徴情報と範囲情報との対応関係を推定する。そして、算出した特徴情報が、推定した対応関係における特徴情報に相当するとき、対応関係において当該特徴情報に対応する範囲情報が示す撮像範囲になるよう、第二の撮像装置の撮像範囲を制御する。これにより、被写体検知装置１０は、より良い検知指標を得られると推定される撮像範囲になるよう、第二の撮像装置４０の撮像範囲を制御することが可能になる。そのため、より良い被写体検知結果を得られる可能性を向上することが可能になる。

［ハードウェア構成例］
上述した本発明の各実施形態における被写体検知装置（１０）を、一つの情報処理装置（コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。なお、被写体検知装置は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現してもよい。また、被写体検知装置は、専用の装置として実現してもよい。また、被写体検知装置の一部の機能のみを情報処理装置を用いて実現しても良い。

図１１は、本発明の各実施形態の被写体検知装置を実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置９０は、通信インタフェース９１、入出力インタフェース９２、演算装置９３、記憶装置９４、不揮発性記憶装置９５およびドライブ装置９６を備える。

通信インタフェース９１は、各実施形態の被写体検知装置が、有線あるいは／および無線で外部装置と通信するための通信手段である。なお、被写体検知装置を、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース９１経由で相互に通信可能なように接続しても良い。

入出力インタフェース９２は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。

演算装置９３は、汎用のＣＰＵ（Central Processing Unit）やマイクロプロセッサ等の演算処理装置である。演算装置９３は、たとえば、不揮発性記憶装置９５に記憶された各種プログラムを記憶装置９４に読み出し、読み出したプログラムに従って処理を実行することが可能である。

記憶装置９４は、演算装置９３から参照可能な、ＲＡＭ（Random Access Memory）等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置９４は、揮発性のメモリ装置であっても良い。

不揮発性記憶装置９５は、たとえば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。

ドライブ装置９６は、たとえば、後述する記録媒体９７に対するデータの読み込みや書き込みを処理する装置である。

記録媒体９７は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。

本発明の各実施形態は、たとえば、図１１に例示した情報処理装置９０により被写体検知装置を構成し、この被写体検知装置に対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。

この場合、被写体検知装置に対して供給したプログラムを、演算装置９３が実行することによって、実施形態を実現することが可能である。また、被写体検知装置のすべてではなく、一部の機能を情報処理装置９０で構成することも可能である。

さらに、上記プログラムを記録媒体９７に記録しておき、被写体検知装置の出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置９５に格納されるよう構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用して被写体検知装置内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
第一の撮像装置が撮像した第一の画像を受信する第一の受信部と、
第二の撮像装置が撮像した第二の画像を受信する第二の受信部と、
前記第一の画像に撮像されている被写体の検知と前記第二の画像に撮像されている前記被写体の前記検知とを行う検知部と、
前記第一の画像の特徴を示す特徴情報を算出する特徴情報算出部と、
前記特徴情報と、前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習部と、
前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定する推定部と、
前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲を制御する制御部と
を備えることを特徴とする被写体検知装置。

（付記２）
前記特徴情報は、特徴量の変化に関する変化情報を含む
ことを特徴とする付記１に記載の被写体検知装置。

（付記３）
前記特徴量は、色彩、明るさ、前記第一の撮像装置から受信した音声のいずれか一つ以上に関する値である
ことを特徴とする付記２に記載の被写体検知装置。

（付記４）
前記特徴情報は、前記第一の画像から前記検知した前記被写体の数に関する情報を含む
ことを特徴とする付記１から付記３のいずれかに記載の被写体検知装置。

（付記５）
前記検知指標は、前記第二の画像に基づいて前記検知された前記被写体の数に関する値、前記検知された前記被写体の顔らしさに関する値、あらかじめ検知対象として登録済みの前記被写体のうち、前記検知された前記被写体の数に関する値、前記第二の画像の特徴量の変化に関する値のいずれか一つ以上に関する値である
ことを特徴とする付記１から付記４のいずれかに記載の被写体検知装置。

（付記６）
前記制御部は、前記撮像範囲の前記制御を、前記第二の撮像装置の撮像方向およびズーム倍率を変更することによって行う
ことを特徴とする付記１から付記５のいずれかに記載の被写体検知装置。

（付記７）
前記制御部は、前記対応関係の前記推定がされるまで、前記第二の撮像装置の前記撮像範囲の前記制御を所定のルールに応じて行い、前記対応関係の前記推定がされた後、前記対応関係に応じて前記第二の撮像装置の前記撮像範囲の前記制御を行う
ことを特徴とする付記１から付記６のいずれかに記載の被写体検知装置。

（付記８）
付記１から付記７のいずれかに記載の被写体検知装置と、
前記第一の撮像装置と、
前記第二の撮像装置と
を備えることを特徴とする被写体検知システム。

（付記９）
第一の撮像装置が撮像した第一の画像を受信し、
第二の撮像装置が撮像した第二の画像を受信し、
前記第一の画像に撮像されている被写体の検知と前記第二の画像に撮像されている前記被写体の前記検知とを行い、
前記第一の画像の特徴を示す特徴情報を算出し、
前記特徴情報と、前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、
前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定し、
前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲を制御する
ことを特徴とする被写体検知方法。

（付記１０）
前記特徴情報は、特徴量の変化に関する変化情報を含む
ことを特徴とする付記９に記載の被写体検知方法。

（付記１１）
前記特徴量は、色彩、明るさ、前記第一の撮像装置から受信した音声のいずれか一つ以上に関する値である
ことを特徴とする付記１０に記載の被写体検知方法。

（付記１２）
前記特徴情報は、前記第一の画像から前記検知した前記被写体の数に関する情報を含む
ことを特徴とする付記９から付記１１のいずれかに記載の被写体検知方法。

（付記１３）
前記検知指標は、前記第二の画像に基づいて前記検知された前記被写体の数に関する値、前記検知された前記被写体の顔らしさに関する値、あらかじめ検知対象として登録済みの前記被写体のうち、前記検知された前記被写体の数に関する値、前記第二の画像の特徴量の変化に関する値のいずれか一つ以上に関する値である
ことを特徴とする付記９から付記１２のいずれかに記載の被写体検知方法。

（付記１４）
前記撮像範囲の前記制御を、前記第二の撮像装置の撮像方向およびズーム倍率を変更することによって行う
ことを特徴とする付記９から付記１３のいずれかに記載の被写体検知方法。

（付記１５）
前記対応関係の前記推定がされるまで、前記第二の撮像装置の前記撮像範囲の前記制御を所定のルールに応じて行い、前記対応関係の前記推定がされた後、前記対応関係に応じて前記第二の撮像装置の前記撮像範囲の前記制御を行う
ことを特徴とする付記９から付記１４のいずれかに記載の被写体検知方法。

（付記１６）
コンピュータに、
第一の撮像装置が撮像した第一の画像を受信する第一の受信機能と、
第二の撮像装置が撮像した第二の画像を受信する第二の受信機能と、
前記第一の画像に撮像されている被写体の検知と前記第二の画像に撮像されている前記被写体の前記検知とを行う検知機能と、
前記第一の画像の特徴を示す特徴情報を算出する特徴情報算出機能と、
前記特徴情報と、前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習機能と、
前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定する推定機能と、
前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲を制御する制御機能と
を実現させることを特徴とする被写体検知プログラム。

（付記１７）
前記特徴情報は、特徴量の変化に関する変化情報を含む
ことを特徴とする付記１６に記載の被写体検知プログラム。

（付記１８）
前記特徴量は、色彩、明るさ、前記第一の撮像装置から受信した音声のいずれか一つ以上に関する値である
ことを特徴とする付記１７に記載の被写体検知プログラム。

（付記１９）
前記特徴情報は、前記第一の画像から前記検知した前記被写体の数に関する情報を含む
ことを特徴とする付記１６から付記１８のいずれかに記載の被写体検知プログラム。

（付記２０）
前記検知指標は、前記第二の画像に基づいて前記検知された前記被写体の数に関する値、前記検知された前記被写体の顔らしさに関する値、あらかじめ検知対象として登録済みの前記被写体のうち、前記検知された前記被写体の数に関する値、前記第二の画像の特徴量の変化に関する値のいずれか一つ以上に関する値である
ことを特徴とする付記１６から付記１９のいずれかに記載の被写体検知プログラム。

（付記２１）
前記制御機能は、前記撮像範囲の前記制御を、前記第二の撮像装置の撮像方向およびズーム倍率を変更することによって行う
ことを特徴とする付記１６から付記２０のいずれかに記載の被写体検知プログラム。

（付記２２）
前記制御機能は、前記対応関係の前記推定がされるまで、前記第二の撮像装置の前記撮像範囲の前記制御を所定のルールに応じて行い、前記対応関係の前記推定がされた後、前記対応関係に応じて前記第二の撮像装置の前記撮像範囲の前記制御を行う
ことを特徴とする付記１６から付記２１のいずれかに記載の被写体検知プログラム。

１０ 被写体検知装置
１１ 第一の受信部
１２ 第二の受信部
１３ 検知部
１４ 特徴情報算出部
１５ 学習部
１６ 記憶部
１７ 推定部
１８ 制御部
３０ 第一の撮像装置
４０ 第二の撮像装置
９０ 情報処理装置
９１ 通信インタフェース
９２ 入出力インタフェース
９３ 演算装置
９４ 記憶装置
９５ 不揮発性記憶装置
９６ ドライブ装置
９７ 記録媒体

Claims (9)

1. 第一の撮像装置が撮像した第一の画像を受信する第一の受信部と、
   第二の撮像装置が撮像した第二の画像を受信する第二の受信部と、
   前記第二の画像に撮像されている被写体の検知を行う検知部と、
   前記第一の画像の特徴量の変化に関する情報を含む特徴情報を算出する特徴情報算出部と、
   前記特徴情報と、前記第二の画像に撮像されている前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習部と、
   前記学習情報に基づき、より良い前記検知指標を得られる、特徴情報と範囲情報との対応関係を推定する推定部と、
   前記算出した前記特徴情報が前記推定した対応関係における特徴情報に相当する場合に、前記対応関係における特徴情報に対応する撮像範囲になるよう、前記第二の撮像装置の撮像範囲の制御を行う制御部と
   を備えることを特徴とする被写体検知装置。
2. 前記特徴量は、色彩、明るさ、前記第一の撮像装置から受信した音声のいずれか一つ以上に関する値である
   ことを特徴とする請求項１に記載の被写体検知装置。
3. 前記特徴情報は、前記第一の画像から前記検知した前記被写体の数に関する情報を含む
   ことを特徴とする請求項１または請求項２に記載の被写体検知装置。
4. 前記制御部は、前記撮像範囲の前記制御を、前記第二の撮像装置の撮像方向およびズーム倍率を変更することによって行う
   ことを特徴とする請求項１から請求項３のいずれかに記載の被写体検知装置。
5. 第一の撮像装置が撮像した第一の画像を受信する第一の受信部と、
   第二の撮像装置が撮像した第二の画像を受信する第二の受信部と、
   前記第二の画像に撮像されている被写体の検知を行う検知部と、
   前記第一の画像の特徴を示す特徴情報を算出する特徴情報算出部と、
   前記特徴情報と、前記第二の画像に撮像されている前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習部と、
   前記学習情報に基づき、より良い前記検知指標を得られる、特徴情報と範囲情報との対応関係を推定する推定部と、
   前記算出した前記特徴情報が前記推定した対応関係における特徴情報に相当する場合に、前記対応関係における特徴情報に対応する撮像範囲になるよう、前記第二の撮像装置の撮像範囲の制御を行う制御部と
   を備え、
   前記検知指標は、前記第二の画像に基づいて前記検知された前記被写体の数に関する値、前記検知された前記被写体の顔らしさに関する値、あらかじめ検知対象として登録済みの前記被写体のうち、前記検知された前記被写体の数に関する値、前記第二の画像の特徴量の変化に関する値のいずれか一つ以上に関する値である
   ことを特徴とする被写体検知装置。
6. 第一の撮像装置が撮像した第一の画像を受信する第一の受信部と、
   第二の撮像装置が撮像した第二の画像を受信する第二の受信部と、
   前記第二の画像に撮像されている被写体の検知を行う検知部と、
   前記第一の画像の特徴を示す特徴情報を算出する特徴情報算出部と、
   前記特徴情報と、前記第二の画像に撮像されている前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習部と、
   前記学習情報に基づいて、より良い前記検知指標を得られる、前記特徴情報と前記範囲情報との対応関係を推定する推定部と、
   前記算出した前記特徴情報が、前記推定した前記対応関係における前記特徴情報に相当するとき、前記対応関係において当該特徴情報に対応する前記範囲情報が示す前記撮像範囲になるよう、前記第二の撮像装置の前記撮像範囲の制御を行い、前記対応関係の前記推定がされるまで、前記第二の撮像装置の前記撮像範囲の前記制御を所定のルールに応じて行い、前記対応関係の前記推定がされた後、前記対応関係に応じて前記第二の撮像装置の前記撮像範囲の前記制御を行う制御部と
   を備えることを特徴とする被写体検知装置。
7. 請求項１から請求項６のいずれかに記載の被写体検知装置と、
   前記第一の撮像装置と、
   前記第二の撮像装置と
   を備えることを特徴とする被写体検知システム。
8. 第一の撮像装置が撮像した第一の画像を受信し、
   第二の撮像装置が撮像した第二の画像を受信し、
   前記第二の画像に撮像されている被写体の検知を行い、
   前記第一の画像の特徴量の変化に関する情報を含む特徴情報を算出し、
   前記特徴情報と、前記第二の画像に撮像されている前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶し、
   前記学習情報に基づき、より良い前記検知指標を得られる、特徴情報と範囲情報との対応関係を推定し、
   前記算出した前記特徴情報が前記推定した対応関係における特徴情報に相当する場合に、前記対応関係における特徴情報に対応する撮像範囲になるよう、前記第二の撮像装置の撮像範囲を制御する
   ことを特徴とする被写体検知方法。
9. コンピュータに、
   第一の撮像装置が撮像した第一の画像を受信する第一の受信機能と、
   第二の撮像装置が撮像した第二の画像を受信する第二の受信機能と、
   前記第二の画像に撮像されている被写体の検知を行う検知機能と、
   前記第一の画像の特徴量の変化に関する情報を含む特徴情報を算出する特徴情報算出機能と、
   前記特徴情報と、前記第二の画像に撮像されている前記被写体の前記検知の結果の良否に関する指標である検知指標と、前記第二の撮像装置の撮像範囲に関する範囲情報とを関連付けた学習情報を記憶部へ記憶させる学習機能と、
   前記学習情報に基づき、より良い前記検知指標を得られる、特徴情報と範囲情報との対応関係を推定する推定機能と、
   前記算出した前記特徴情報が前記推定した対応関係における特徴情報に相当する場合に、前記対応関係における特徴情報に対応する撮像範囲になるよう、前記第二の撮像装置の撮像範囲を制御する制御機能と
   を実現させることを特徴とする被写体検知プログラム。

Images