JP6700661B2 - 画像処理装置、画像処理方法、及び画像処理システム - Google Patents

Description

本発明は、画像を解析処理する画像処理装置、画像処理方法及び画像処理システムに関する。

監視カメラシステムの分野では、画像解析技術を利用して、画像から所定の条件に合致した物体を検出する技術がある。画像から人体や顔等の特定の対象を検出する場合、対象物体の特徴を記憶した照合パターン（辞書）を用い、画像中の検出対象領域から照合パターンに合う物体を検出する。
このような画像処理装置として、特許文献１に記載の技術がある。この技術は、画像データを所定の倍率で縮小し、縮小した画像データから照合対象のパターンを切り出して解析処理を行うものである。ここでは、倍率の異なる縮小処理を順次適用し、解析処理を行っている。これにより、さまざまな大きさの人体の検出に対応することができる。

ところで、人体検出や顔検出等の検出機能は、仕様として、対象物体を検出可能な最小サイズや最大サイズを定めている。すなわち、検出可能範囲外のサイズで画像に映っている人体や顔は検出できないか、検出したとしても精度が保証できない。
また、これら検出機能に対する実行オン／オフの設定や、検出対象領域の設定等、各種関連パラメータの設定は、設定ツールなどを用いてユーザが行う。そして、検出結果は、表示画面上での人体枠や顔枠等の重畳表示や、検出結果メタデータの表示等によってユーザに通知される。

特開２００９−２１１３１１号公報

しかしながら、上記従来の画像処理装置にあっては、解析処理を行った結果、人体や顔等、所定の条件に合致した物体が検出された場合にはその結果が明確に表示されるが、検出されなかった場合には結果が表示されない。そのため、ユーザは、検出機能が正しく設定されているか、正しく作動しているかを容易に確認することができない。すなわち、ユーザは、対象物体が検出されない理由が、検出機能が無効化されているためであるのか、検出処理に関するパラメータの設定が適正でないためであるのかを把握することができない。したがって、ユーザは、所望の処理結果を得るための設定作業やパラメータ修正作業を適正に行うことができない。
そこで、本発明は、適切に画像解析処理を行うために必要な情報をユーザに提示することができる画像処理方法を提供することを目的としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、撮像手段から撮像画像を取得する取得手段と、前記取得手段により取得した撮像画像から所定の条件に合致する人体を検出する検出手段と、前記検出手段により検出した人体の顔に対して解析処理を行う解析手段と、前記解析処理がされていない前記顔の大きさを推定し、推定された前記顔の大きさが、前記解析処理が可能な所定範囲内になる撮像条件を推定する推定手段と、前記撮像画像における前記顔の大きさが、前記解析手段による前記解析処理が可能な所定範囲内にない場合に、前記検出手段による検出処理および前記解析処理のそれぞれの成否の情報とともに前記推定手段で推定した撮像条件に関する情報を表示装置に表示させる表示制御手段と、を備える。

本発明によれば、適切に画像解析処理を行うための情報をユーザに提示することができる。

画像処理システムの一例を示すネットワーク接続構成図である。 撮像装置のハードウェア構成の一例を示す図である。 撮像装置の機能ブロック図である。 物体と人体との対応付けの例を示す図である。 物体と人体との対応付けの例を示す図である。 軌跡感知部が管理する情報の一例である。 画像処理装置の動作を説明するためのフローチャートである。 推定提示処理を説明するためのフローチャートである。 設定変更前の情報提示画面の一例である。 確認ダイアログの一例である。 設定変更後の表示画面の一例である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図１は、本実施形態における画像処理システムの動作環境の一例を示したネットワーク接続構成図である。本実施形態では、画像処理システムをネットワークカメラシステムに適用する。

ネットワークカメラシステム１０は、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）２０と、少なくとも１台の情報処理装置３０とを備える。カメラ２０と情報処理装置３０とは、ネットワーク回線であるＬＡＮ（Local Area Network）４０によって接続されている。なお、ネットワーク回線はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ４０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１において、カメラ２０及び情報処理装置３０は、それぞれ２台ずつＬＡＮ４０に接続されているが、接続台数は図１に示す数に限定されない。なお、本実施形態のカメラ２０は、画像に対して解析処理を行う画像処理装置として動作する。

カメラ２０は、光学ズーム機能を有し、所定の画角で被写体を撮像する。このカメラ２０は、撮像した画像から所定の条件に合致した特定物体（例えば、人物の顔など）を検出するための動体検出機能や人体検出機能、顔検出機能等の各種検出機能を有する。
カメラ２０は、撮像画像データをもとに上記検出機能を用いた検出処理を実施し、その処理結果を、撮像画像データと共にＬＡＮ４０を介して情報処理装置３０に送信可能である。さらに、カメラ２０は、外部からの通信に応じてフォーカスなどのカメラ撮像設定やカメラ画角を変更する機能を有する。なお、カメラ２０は、魚眼カメラや多眼カメラ等であってもよい。

情報処理装置３０は、例えばパーソナルコンピューター（ＰＣ）により構成されており、ユーザ（例えば、監視員）が操作可能である。この情報処理装置３０は、カメラ２０から配信される画像データの再生や、検出処理結果の表示を行う表示制御機能を有する。また、情報処理装置３０は、カメラ２０で実行する検出処理に関するパラメータ設定などの諸操作を行うための入力手段の機能も有する。

図２は、カメラ２０のハードウェア構成の一例を示す図である。
カメラ２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、撮像部２５と、入力部２６と、通信Ｉ／Ｆ２７と、システムバス２８とを備える。
ＣＰＵ２１は、カメラ２０における動作を統括的に制御するものであり、システムバス２８を介して、各構成部（２２〜２７）を制御する。
ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。
ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラム等をＲＡＭ２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ２４は、例えば、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２４には、例えば、ＣＰＵ２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
撮像部２５は、被写体の撮像を行うためのものであり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を含んで構成される。

入力部２６は電源ボタンなどから構成され、カメラ２０のユーザは、入力部２６を介して当該カメラ２０に指示を与えることができるようになっている。
通信Ｉ／Ｆ２７は、外部装置（ここでは、情報処理装置３０）と通信するためのインターフェースである。通信Ｉ／Ｆ２７は、例えばＬＡＮインターフェースである。
システムバス２８は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４、撮像部２５、入力部２６及び通信Ｉ／Ｆ２７を通信可能に接続する。
図２に示すカメラ２０の各部の機能は、ＣＰＵ２１がＲＯＭ２２もしくは外部メモリ２４に記憶されたプログラムを実行することで実現される。

なお、情報処理装置３０の場合には、撮像部２５に代えて、表示部等のハードウェア構成を具備する。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。また、情報処理装置３０は、入力部２６として、キーボードやマウス等のポインティングデバイスを具備し、情報処理装置３０のユーザが情報処理装置３０に対して指示を与えることができるように構成されている。

図３は、画像処理装置２００の機能構成を示すブロック図である。本実施形態では、カメラ２０が画像処理装置２００として動作する例を説明するが、情報処理装置３０が画像処理装置２００として動作してもよいし、一般のＰＣが画像処理装置２００として動作してもよいし、他の機器でもよい。画像処理装置２００は、検出パラメータや画角変更等の設定画面を、情報処理装置３０の表示画面に表示させ、ユーザによる諸操作を入力することで、検出処理に関わる各種設定を行う機能を有する。

なお、本実施形態においては画像処理装置としているが、映像を取得し映像を一枚ごとに処理しても処理内容は同一であるため、映像処理装置にも適用可能である。
画像処理装置２００は、画像取得部２０１と、物体検出部２０２と、パラメータ設定部２０３と、物体追尾部２０４と、人体検出部２０５と、顔検出部２０６と、物体対応付部２０７とを備える。また、画像処理装置２００は、軌跡管理部２０８と、軌跡情報判定部２０９と、外部出力部２１０とを備える。さらに、画像処理装置２００は、顔推定部２１１と、設定値算出部２１２と、撮像制御部２１３とを備える。

画像取得部２０１は、内部撮像センサ（撮像部２５）で撮像した動画像若しくは静止画像を取得し、取得した動画像若しくは静止画像を物体検出部２０２へ送信する。なお、当該画像は、外部から供給される画像であってもよい。
画像取得部２０１は、動画像を取得した場合は、当該動画像を構成する各フレームの画像を順次、物体検出部２０２に送出する。また、画像取得部２０１は、静止画像を取得した場合は、この静止画像を物体検出部２０２に送出する。なお、動画像若しくは静止画像の供給元については特に限定するものではなく、供給元は、有線若しくは無線を介して動画像若しくは静止画像を供給するサーバ装置や撮像装置であってもよい。また、画像処理装置２００内のメモリ（例えば、外部メモリ２４等）から動画像若しくは静止画像を取得するようにしてもよい。以下の説明では、画像取得部２０１が動画像を取得した場合であっても静止画像を取得した場合であっても、物体検出部２０２へ１枚の画像が送出される場合について説明する。前者の場合は、この１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、この１枚の画像が静止画像に相当する。

物体検出部２０２は、画像取得部２０１から取得したフレーム画像（撮像画像）から背景差分法等により、撮像画像中の特定の物体（オブジェクト）を検出する。検出した物体の情報は、その物体の画面上での位置と、その物体の外接矩形と、その物体のサイズとを有する。この物体検出部２０２における物体検出処理を行う領域（物体検出処理領域）は、パラメータ設定部２０３が設定する。なお、ここでは説明を簡略化するため、物体検出処理を行う領域は、検出範囲の設定を行わず全画面を対象とする。また、物体検出部２０２は、画像から物体を検出する処理を行うが、その処理方法は背景差分法等の特定の方法に限定するものではなく、同様の処理を行う方法であれば適宜適用可能である。

物体追尾部２０４は、物体検出部２０２が着目フレームよりも１フレーム前のフレームの画像から検出したオブジェクトと同じオブジェクトを、着目フレームの画像から検出した場合、それぞれのフレームにおけるオブジェクト同士を対応づける。例えば、物体追尾部２０４が、着目フレームよりも１フレーム前のフレームの画像から物体検出部２０２が検出したオブジェクトに対してオブジェクトＩＤ＝Ａを割り当てたとする。そして、物体検出部２０２が着目フレームの画像からもこのオブジェクトを検出した場合、物体追尾部２０４は、このオブジェクトに対してもオブジェクトＩＤ＝Ａを割り当てる。このように、複数フレームに渡って同じオブジェクトが検出された場合には、それぞれのオブジェクトには同じオブジェクトＩＤを割り当てる。なお、着目フレームで新規に検出されたオブジェクトに対しては、新規のオブジェクトＩＤを割り当てる。この物体追尾部２０４における物体追尾処理を行う領域（物体追尾処理領域）は、上述した物体検出処理領域と同様にパラメータ設定部２０３が設定する。

この物体追尾部２０４において、複数フレームに亘って同じ物体であると判断する方法としては、検出物体の移動ベクトルを用いて物体の移動予測位置と検出した物体位置が一定距離内であれば同一物体とする方法がある。また、物体の色、形状、大きさ（面積）等を用い、フレーム間で相関の高い物体を関連付ける方法もある。物体部追尾部２０４は、複数フレームに渡って同じ物体であると判断し追尾する処理を行うが、その処理方法は特定の方法に限るものではなく、同様の処理を行う方法であれば適宜適用可能である。

人体検出部２０５は、予め記憶した照合パターン辞書等を用い、物体検出部２０２が物体を検出した領域、あるいは物体追尾部２０４による追尾物体領域に対し、人体検出処理を実施することで人体を検出する。ここで、人体検出部２０５は、画像から人体を検出する機能を有していればよく、人体検出処理はパターン処理に限定されない。また、本実施形態では検出対象を人体としているが、人体に限定されるものではない。検出対象は、人物の顔、自動車、動物などであってもよい。さらに、複数種類の特定物体を検出する特定物体検出部を備えてもよく、同時に複数の検出が可能であるならば、複数の特定物体検出処理を実施してもよい。

また、人体検出部２０５による人体検出処理の領域は、必ずしも物体検出部２０２が物体を検出した領域や物体追尾部２０３の追尾物体領域である必要はない。例えば、人体検出処理は、パラメータ設定部２０３が設定した人体検出処理領域に対してのみ行うようにしてもよい。あるいは、パラメータ設定部２０３が、検出対象とする人体の最大サイズと最小サイズとを指定し、この範囲から外れた人体検出処理を行わないようにすることも可能である。このように人体検出処理や領域の一部を省略することで人体検出処理を高速化することができる。
このように、パラメータ設定部２０３は画像処理装置２００に搭載される検出処理設定アプリケーションであり、物体検出部２０２、物体追尾部２０４、人体検出部２０５への処理パラメータの設定を行う。当該処理パラメータは、情報処理装置３０のユーザインタフェースを用いて設定することができる。

顔検出部２０６は、人体検出部２０５が検出した人体領域に対し顔検出処理を行うことで顔の検出を行う。顔検出処理は、例えば、人体領域から、目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。すなわち、顔検出処理では、顔位置や顔の大きさ、顔の確からしさ等から顔領域を検出する。また、顔検出部２０６は、検出した顔領域から個人認証に用いる特徴情報を抽出し、抽出した特徴情報と予め記憶した辞書データとをパターンマッチングにより比較して顔認証を行ってもよい。なお、顔検出処理を行う領域は、全画面を対象としてもよい。さらに、顔検出部２０６は、検出対象が人体以外である場合には、検出対象の特徴量（例えば、自動車の場合、ナンバープレート等）を検出する特徴量検出部であってもよい。

物体対応付部２０７は、物体検出部２０２が検出したオブジェクトと、人体検出部２０５が検出した人体とを対応付ける。図４および図５を参照して、検出したオブジェクトと、検出した人体との対応付けの例を説明する。図４は、検出したオブジェクトの外接矩形５１に、検出した人体Ｐの外接矩形５２が内包されない場合の例を示す。この場合、オブジェクトの外接矩形５１に対する人体の外接矩形５２の重畳率が予め設定した閾値を超えた場合に対応付けを行う。ここで重畳率とは、オブジェクトの外接矩形５１と人体の外接矩形５２とが重畳する部分の面積の、人体の外接矩形５２の面積に対する割合である。一方、図５は、検出したオブジェクトの外接矩形５３から複数の人体Ｐ１，Ｐ２を検出した場合の例を示す。この場合、人体Ｐ１の外接矩形５４および人体Ｐ２の外接矩形５５のそれぞれと、オブジェクトの外接矩形５３との重畳率が予め設定した閾値を超えた場合にそれぞれ対応付けを行う。

軌跡管理部２０８は、物体検出部２０２および物体追尾部２０４から取得されるオブジェクトの情報を、管理情報としてオブジェクトごとに管理する。図６を参照して、軌跡管理部２０８が管理する管理情報の例を説明する。管理情報２０８ａには、オブジェクトＩＤごとにオブジェクト情報２０８ｂが管理されている。１つのオブジェクトに対するオブジェクト情報２０８ｂには、当該オブジェクトが検出されたフレーム毎の情報２０８ｃが管理されている。情報２０８ｃには、当該情報が作成された日時を示すタイムスタンプ（Time Stamp）、検出されたオブジェクトの座標位置（Position）、検出されたオブジェクトの領域を包含する外接矩形を規定する情報（Bounding box）、オブジェクトのサイズ（size）、オブジェクトの属性(Attribute)が含まれている。ただし、情報２０８ｃに含まれる情報はこれらに限らず、如何なる情報を含めてもよい。軌跡管理部２０８が管理する管理情報２０８ａは、後述する軌跡情報判定部２０９が使用する。

軌跡管理部２０８は、物体対応付部２０７の対応付け結果に従って、オブジェクトの属性(Attribute)を更新する。さらに、過去のオブジェクトの属性(Attribute)も対応付け結果に従って更新するようにしてもよい。また、その後のオブジェクトの属性(Attribute)も対応付け結果に従って設定するようにしてもよい。このような処理を行うことで、同一のオブジェクトＩＤを有するオブジェクトの追尾結果は、どの時刻においても同一の属性を持つことができる。

軌跡情報判定部２０９は、通過物体検出部としての機能を有しており、検出対象の判定処理として、パラメータ設定部２０３により設定された判定パラメータと、軌跡管理部２０８が管理する管理情報とに従って通過判定処理を行う。ここで、通過判定処理とは、画像中におけるオブジェクトが、画面上に設定されたオブジェクト検出用の線を通過したか否かを判定する処理である。

軌跡情報判定部２０９は、着目フレームより１フレーム前のフレームにおける人体属性オブジェクトの外接矩形から、着目フレームにおける人体属性オブジェクトの外接矩形への移動ベクトルが、パラメータ設定部２０３が規定する線分（検知線）と交差しているか否かを判定する。交差しているか否かを判定することは、人体属性オブジェクトが設定した線分を通過したか否かを判定することに相当する。軌跡情報判定部２０９による判定結果は、外部出力部２１０を介して情報処理装置３０の表示部へ出力される。また、外部出力部２１０がＣＲＴや液晶画面などにより構成される表示部の機能を有している場合、情報処理装置３０の表示部に代えて外部出力部２１０を用いて判定結果を表示してもよい。なお、ここでは、軌跡情報判定部２０９で実施する軌跡情報判定処理が通過判定処理である場合について説明したが、判定パラメータと軌跡情報を用いた判定処理であればどのような処理であってもよい。

また、顔推定部２１１は、顔検出部２０６で顔が検出できていない場合に、人体検出部２０５の人体検出結果から、対象人体における顔の大きさを推定する。人体検出結果から顔の大きさを推定する方法としては、例えば、単純に検出した人体幅の１／２を顔の大きさと推定する方法を用いる。仮に、人体幅が５０画素である場合には、顔幅は２５画素だと推定される。
なお、ここでは説明の簡略化のため、一律に人体幅の１／２の比率で推定顔幅を推定しているが、当該比率は一律でなくてもよい。例えば、人体の移動方向や人体の撮像されている角度によりこの割合を適宜変更するようにしてもよい。例えば、人体が横向きである場合、上記比率を１に近づける等の処理を行えば、より適切に顔の大きさを推定することができる。

設定値算出部２１２は、画像の解析処理（顔検出処理や顔認証処理）に失敗した場合に、当該解析処理を成功させるための撮像条件を推定し、当該解析処理を成功させるための撮像パラメータ設定値を算出する。本実施形態では、顔検出部２０６で顔が検出できていない場合に、当該顔検出部２０６による顔検出を成功させるための撮像パラメータ設定値を算出する。顔検出処理の場合、画面に映る顔の大きさが、顔検出に必要な最低必要画素数に満たないと、適切に顔を検出することができない。そこで、設定値算出部２１２は、人体検出部２０５の人体検出結果に基づいて顔推定部２１１で推定した顔の大きさ（画素数）と、上記の最低必要画素数とに基づいて、顔検出が可能な大きさに顔が映るような撮像パラメータ設定値を算出する。ここで、撮像パラメータ設定値は、カメラ２０の光学ズーム値の変更倍率とする。

例えば、顔検出部２０６の最低必要画素数が縦横５０画素であり、顔推定部２１１で推定された顔幅が２５画素である場合、対象人体の顔検出を成功させるための光学ズーム値の変更倍率は２倍と算出できる。但し、最低顔幅を基準に変更倍率を算出すると顔検出が行えない可能性があるため、多少のマージン（×１．２５）を設けて、次式により光学ズーム値の変更倍率を２.５倍と算出する。
（５０／２５）×１．２５ = ２．５ ………（１）

また、顔検出処理の場合、画面に映る顔の大きさが、顔検出が可能な最大画素数を超えると、適切に顔を検出することができない。そこで、顔推定部２１１で推定した顔の大きさ（画素数）が上記最大画素数を超えている場合には、顔検出が可能な大きさに顔が映るような撮像パラメータ設定値（光学ズーム値）を算出する。このように、推定した顔の大きさを、顔検出に必要な所定範囲内とするための撮像条件を推定する。
なお、本実施形態では、撮像パラメータ設定値として光学ズーム値の変更倍率を用いる場合について説明したが、撮像パラメータ設定値は撮像解像度（人体検出を行う画像解像度）であってもよい。例えば、撮像解像度を２倍とする場合、６４０×４８０の画像で人体検出処理しているのであれば１２８０×９６０とする。

また、本実施形態では、設定値算出部２１２が顔検出処理を成功させるための撮像パラメータ設定値を算出する場合について説明したが、解析処理は顔検出処理に限定されるものではない。例えば、当該解析処理は、顔認証処理であってもよいし、検出対象が自動車である場合には、ナンバープレート検出処理等であってもよい。
撮像制御部２１３は、設定値算出部２１２で算出した光学ズーム値に従ってズーム制御を行い、カメラ２０の画角を変更する。これにより、顔検出が可能な解像度で顔が撮像される。なお、本実施形態では、設定値算出部２１２で算出した撮像パラメータ設定値を撮像制御部２１３で適用して画角を変更する前に、ユーザインタフェース（ＵＩ）を用いて操作者に確認をとってもよい。その際、解析処理が失敗した旨や、当該解析処理が失敗した理由、更には当該解析処理を成功させるための撮像条件（推奨設定）等を提示してもよい。これにより、操作性を大幅に向上させることができる。

次に、画像処理装置２００の動作について、図７を参照しながら説明する。図７の処理は、カメラ２０のＣＰＵ２１が、必要なプログラムを読み出して実行することにより、実現される。ただし、図７の処理の一部または全部が、専用のハードウェアにより実現されてもよい。また、図７の処理は、検出処理を開始させるためのユーザ指示の入力に応じて開始される。ただし、図７の処理の開始タイミングは、上記のタイミングに限らない。
Ｓ１で、画像処理装置２００は、画像処理を継続するか否かを判定する。例えば、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定する。そして、画像処理装置２００は、処理を終了すると判定すると、本処理を終了する。一方、画像処理装置２００は、処理を継続すると判定するとＳ２に移行する。

Ｓ２では、画像取得部２０１は、画像データを取得し、Ｓ３に移行する。Ｓ３では、物体検出部２０２は、Ｓ２で取得した画像に対して物体検出処理を行う。次にＳ４では、物体検出部２０２は、Ｓ３の物体検出処理でオブジェクトが検出されたか否かを判定する。そして、オブジェクトが検出されなかったと判定した場合にはＳ１へ戻り、オブジェクトが検出されたと判定された場合にはＳ５に移行する。
Ｓ５では、物体追尾部２０４は、物体追尾処理を行う。次にＳ６で、軌跡管理部２０８は、Ｓ５の物体追尾処理結果に従って軌跡情報を更新する。次にＳ７では、人体検出部２０５は、パラメータ設定部２０３で設定された人体検出処理領域において、Ｓ３の物体検出処理でオブジェクトを検出した領域に対して人体検出処理を行う。次にＳ８では、人体検出部２０５は、Ｓ７の人体検出処理で人体を検出したか否かを判定する。そして、人体を検出していないと判定した場合にはＳ１へ戻り、人体を検出したと判定した場合にはＳ９へ移行する。

Ｓ９では、顔検出部２０６は、人体検出部２０５が検出した人体領域に対して顔検出処理を行う。次にＳ１０では、画像処理装置２００は、Ｓ７の人体検出処理結果と、Ｓ９の顔検出処理結果とを用いて、推定提示処理を行う。推定提示処理は、Ｓ９の顔検出処理で顔検出ができなかった場合に、顔検出に必要な撮像パラメータ設定値の推定と提示とを行う処理である。この推定提示処理の詳細については後述する。

次にＳ１１で、物体対応付部２０７は、オブジェクトと人体との対応付け処理を行う。次にＳ１２で、軌跡管理部２０８は、Ｓ１１の対応付け処理結果に基づいて、軌跡情報を更新する。Ｓ１３では、軌跡情報判定部２０９は、軌跡情報判定処理を行い、オブジェクトが検知線を通過したか否かを判定する。そして、Ｓ１４で、外部出力部２１０は、軌跡情報判定処理の結果を外部へ出力し、Ｓ１へ戻る。

次に、Ｓ１０で実行する推定提示処理について説明する。
図８に示すように、Ｓ１０１で、画像処理装置２００は、推定提示処理を実行するか否かを判定する。例えば、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定する。そして、画像処理装置２００は、処理を終了すると判定すると、本処理を終了し、図７のＳ１１へ移行する。一方、画像処理装置２００は、処理を継続すると判定するとＳ１０２に移行する。

Ｓ１０２では、画像処理装置２００は、上述したＳ９の顔検出処理結果をもとに、パラメータ設定部２０３が設定した顔検出設定領域内で所定範囲内の顔を検出したか否かを判定する。そして、顔を検出したと判定した場合には、そのまま当該処理を終了し、顔を検出していないと判定した場合にはＳ１０３に移行する。顔検出設定領域とは、人体検出部２０５が検出した人体領域に対応する領域である。顔検出設定領域は、人体領域と同一の領域でも良いし、人体領域を中心としたより広い領域であってもよい。

Ｓ１０３では、顔推定部２１１は、上述したＳ７の人体検出処理結果をもとに、対象人体における顔の大きさを推定する。次にＳ１０４で、設定値算出部２１２は、Ｓ１０３で推定した顔の大きさをもとに、顔検出が可能な大きさに顔が映る撮像パラメータ設定値を算出する。
Ｓ１０５では、設定値算出部２１２は、Ｓ１０４の算出結果を情報処理装置３０に出力し、当該情報処理装置３０の表示部に当該算出結果を提示すると共に、設定変更指示を受け付ける画面を表示する。

図９は、設定変更前の情報提示画面の一例である。図９に示す設定画面ウインドウ３００は、画像処理装置２００の各種検出機能のパラメータや画角変更等の撮像制御の変更を行うためのユーザインタフェース（ＵＩ）画面である。設定画面ウインドウ３００は、撮像した映像が表示される映像表示部３１０と、画像処理装置２００で行う各種検出機能の設定を行うためのＵＩである設定部３２０とを有する。また、設定画面ウインドウ３００は、レコメンド情報を表示する情報表示部３３０と、ユーザが設定変更指示を入力するための設定変更指示部（自動設定ボタン）３４０とを有する。

図９に示す例では、映像表示部３１０に、画面左上から画面右下に道が伸びているところを撮像した映像が表示されており、画面中央部に人体Ｐが撮像されている。また、設定部３２０では、チェックボックス３２１ａ〜３２１ｃによって、各種検出機能の有効化と無効化との切り替えが可能となっている。この図９では、人体検出機能、顔検出機能、及び顔認証機能が有効化されている例を示している。
さらに、設定部３２０には、成否ランプ３２２ａ〜３２２ｃによって、有効化された各機能の検出結果の成否が表示可能となっている。この図９では、人体検出が成功しており、顔検出および顔認証が失敗している例を示している。

各機能の検出結果の成否は、映像表示部３１０からも確認することができる。人体検出が成功している場合、その結果は、図９に示すように、映像表示部３１０に検出された人体Ｐを囲む人体枠３１１として表示される。また、顔検出が成功している場合には、映像表示部３１０に、検出された顔を囲む顔枠として表示される。さらに、顔認証が成功している場合には、映像表示部３１０に表示した顔枠の近傍に、顔認証結果（登録名など）が表示される。なお、各機能の検出結果の表示方法は、上記の方法に限定されない。

図９に示す例のように、人体検出ができて顔検出や顔認証ができない理由としては、主に２つある。１つ目は、処理に必要な画素（解像度）が足りない場合である。一般に、各種検出機能に必要な最低解像度は検出機能毎に仕様として定められており、処理対象が最低解像度に満たない場合、検出処理ができないか、検出精度が低下する。２つ目の理由は、単純に顔が映らない場合である。

そこで、人体検出ができて顔検出や顔認証ができない場合には、解像度が足りずに顔検出および顔認証ができていないと判断し、図９に示すように、情報表示部３３０に、ズームを推奨するレコメンド情報を表示する。また、映像表示部３１０には、推奨画角３１２を表示する。このように、画像処理装置２００は、顔検出および顔認証を成功させるための撮像条件を推定し、推定した撮像条件に関する情報を画面に表示させる。
このとき、ユーザが自動設定ボタン３４０を押下すると、情報処理装置３０は、表示部に図１０に示す確認ダイアログ３５０を表示する。また、続いてユーザが図１０に示す「はい」ボタン３５１を選択すると、情報処置装置３０は、ユーザによる設定変更指示を画像処理装置２００に対して送信する。一方、ユーザが図１０に示す「いいえ」ボタン３５２を選択すると、設定変更（画角変更）がキャンセルされ、情報処置装置３０は、画面表示を図９の設定画面ウインドウ３００の状態に戻す。

図８に戻って、Ｓ１０６で、設定値算出部２１２が設定変更指示を受信すると、Ｓ１０７に移行する。一方、設定変更指示を受信しない場合には、設定変更を行わないと判断してそのまま当該処理を終了する。
Ｓ１０７では、撮像制御部２１３は、Ｓ１０４で算出した撮像パラメータ設定値をもとに撮像設定変更処理を行う。すなわち、撮像制御部２１３は、光学ズーム値を変更し、画角を変更する。

画角変更が完了すると、画像処理装置２００は、情報処理装置３０の表示部の表示を図１１に示すように切り替える。このとき映像表示部３１０には、図９に示す推奨画角３１２で撮像された映像が表示されることになる。また、画像処理装置２００は、変更後の画角で各検出処理を実施する。そして、その変更後の画角で顔検出処理が成功すると、図１１に示すように顔枠３１３が表示される。このとき、顔認証処理の結果として、顔枠３１３の近傍（例えば、右横）に登録名を表示することもできる。

なお、画角変更後に再度各検出処理を実施しても、顔検出が成功しない場合がある。これは、上述した２つ目の理由によるものであり、単純に対象人体が後ろ向きであるなど顔が映っていないことが考えられる。そのため、この場合には、図８の推定提示処理を一定時間停止したり、顔が映ると思われる人体移動方向になったら本推定提示処理を再開したりする等の制御を行うようにしてもよい。
また、画面中に多数人体が存在する場合は、ユーザに検出させたい人体を指定させたり、検出対象領域内の人体の平均の推定顔大きさを算出したりしてもよい。

以上説明したとおり、本実施形態では、画像から所定の条件に合致する特定物体に対して解析処理を行うに際し、当該解析処理に失敗した場合には、その旨を表示させる。具体例としては、図９に示すように、ユーザが有効化した検出機能やそれらの成否結果を、チェックボックス３２１ａ〜３２１ｃや成否ランプ３２２ａ〜３２２ｃによって明確に表示する。これにより、ユーザは、所望の検出機能が正しく設定されているか、正しく作動しているかを視覚的に確認することができる。すなわち、所望の解析処理が成功しない理由が、所望の検出機能が無効化されているためであるのか、処理パラメータの設定が不適切であるためであるのかを容易に把握することができる。したがって、ユーザは、所望の解析処理を行うための設定作業やパラメータ修正作業を適正に行うことができる。

また、このとき、画像処理装置２００は、解析処理を成功させるために必要な撮像条件を推定し、当該撮像条件に関する情報を提示する。したがって、ユーザは、所望の解析処理が行われない理由を容易に確認することができ、どのように設定を修正すれば所望の解析処理が行われるかを把握することができる。
さらに、画像処理装置２００は、画像から物体を検出し、その検出した物体から特定物体を検出する場合、物体検出結果に基づいて特定物体の検出を成功させるための撮像条件を推定する。したがって、特定物体の検出が成功しない理由が、撮像パラメータの設定が適正でないためである場合には、これを適切に推定することができる。また、このとき、推定した撮像条件を推奨撮像設定として提示する。具体例としては、図９に示すように、情報表示部３３０にズームすれば顔検出や顔認証が行われる旨を表示したり、映像表示部３１０に推奨画角３１２を表示したりする。これにより、ユーザは、どのように撮像設定を修正すれば特定物体の検出が成功するかを容易に把握することができる。

上記特定物体として人物の顔を検出する場合、先ず画像処理装置２００は、画像から人物を検出し、検出した人物から人物の顔を検出する。このとき、検出した人物の大きさに基づいて、当該人物の顔の大きさを推定する。そして、推定した顔の大きさが、顔検出処理に必要な所定範囲内にない（例えば、最低必要画素数に満たない）とき、顔検出処理が成功しない理由が、撮像パラメータの設定が適正でないためであると判断する。このように、所望の解析処理が成功しない理由を正確に判定することができる。

そして、この場合、画像処理装置２００は、推定した顔の大きさを上記所定範囲内とするための撮像条件を推定する。例えば、画像処理装置２００は、上記の最低必要画素数以上で顔が撮像されるような撮像パラメータ設定値を算出する。このように、所望の解析処理を成功させるための撮像条件を適切に推定することができる。
更にこのとき、撮像パラメータ設定値としてカメラ２０の光学ズーム値を算出するので、所望の解析処理を成功させるための撮像条件を容易に実現することができる。

画像処理装置２００は、以上のように所望の解析処理が成功するための撮像パラメータ設定値を算出すると、算出した設定値をカメラ２０に適用し、自動的に撮像条件を変更する。したがって、容易に設定変更を行うことができる。また、撮像条件を変更する際には、事前にユーザインタフェースを用いて操作者に確認をとるので、操作性を向上させることができる。

（変形例）
なお、上記実施形態においては、撮像パラメータ設定値を光学ズーム値とし、レコメンド情報としてズームを推奨する情報を提示する場合について説明したが、他の情報を適用することもできる。例えば、物体移動速度が速いために所望の解析処理ができないと判断される場合には、撮像パラメータ設定値をフレームレートとし、レコメンド情報を、フレームレートを上げることを推奨する情報としてもよい。これにより、物体移動速度が比較的速い場合であっても物体の追尾が可能となったり、対象が自動車である場合にはナンバープレートの認証が可能となったりする。

また、例えば、明るさが足りないために所望の解析処理ができないと判断される場合には、撮像パラメータ設定値をＨＤＲ（High Dynamic Range）機能のＯＮ／ＯＦＦ設定値とし、レコメンド情報を、照明を明るくすることを推奨する情報としてもよい。これにより、明るさが足りない場合であっても、ＨＤＲ機能をＯＮすることで所望の解析処理が可能となる。また、ユーザが有効にした検出機能に応じて撮像パラメータ設定値を何にするかを決定してもよい。例えば、ユーザが有効にした検出機能が顔認証やナンバープレート検出である場合には、撮像パラメータ設定値をズーム値とし、ユーザが有効にした検出機能が物体の通過検知である場合には、撮像パラメータ設定値をフレームレートとしてもよい。

さらに、上記実施形態においては、画像取得部２０１で取得した映像をフレーム毎に画面３００で表示し、一連の推定提示処理を行う場合について説明したが、これに限定されるものではない。例えば、過去に撮像した映像や静止画や、他の記憶媒体に保存されている静止画に対して上記処理を行うようにしてもよい。
また、撮像対象の人体は動くため、人体の撮像される大きさは都度変化する。そのため、１フレーム単位で本推定提示処理を行うようにしてもよいし、まとまったフレーム単位で平均の人体大きさ等を用いて処理を行ってもよい。あるいは、設定画面ウインドウ３００に、映像表示部３１０に表示する映像の更新を止めるＵＩを設け、静止画を映像表示部３１０に表示し操作できるようにしてもよい。

さらに、上記実施形態においては、画像取得部２０１が画像を取得するカメラと、撮像制御部２１３により画角を変更するカメラとを同一として説明したが、それぞれ異なるカメラであってもよい。
また、上記実施形態においては、人体検出処理と顔検出処理とを同一の画像処理装置２００で実施しているが、異なる画像処理装置で行ってもよい。さらに、各種検出処理と設定値算出処理とを同一の画像処理装置２００で実施しているが、異なる画像処理装置で行ってもよい。例えば、複数のカメラ間で検出機能設定や画角設定を共有しておき、異なるカメラでそれぞれ得た各種検出処理結果を、更に別の画像処理装置に入力して設定値算出し、別のカメラに設定値を適用するようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体（または記録媒体）を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…ネットワークカメラシステム、２０…カメラ、３０…情報処理装置、４０…ＬＡＮ、２００…画像処理装置、２０１…画像取得部、２０２…物体検出部、２０３…パラメータ設定部、２０４…物体追尾部、２０５…人体検出部、２０６…顔検出部、２０７…物体対応付部、２０８…軌跡管理部、２０９…軌跡情報判定部、２１０…外部出力部、２１１…顔推定部、２１２…設定値算出部、２１３…撮像制御部、３００…設定画面ウインドウ、３１０…映像表示部、３１１…人体枠、３１２…推奨画角、３２０…設定部、３２１ａ〜３２１ｃ…チェックボックス、３２２ａ〜３２２ｃ…成否ランプ、３３０…情報表示部、３４０…設定変更指示部（自動設定ボタン）、３５０…確認ダイアログ

Claims (10)

1. 撮像手段から撮像画像を取得する取得手段と、
   前記取得手段により取得した撮像画像から所定の条件に合致する人体を検出する検出手段と、
   前記検出手段により検出した人体の顔に対して解析処理を行う解析手段と、
   前記解析処理がされていない前記顔の大きさに基づいて、前記顔の大きさが、前記解析処理が可能な所定範囲内になる撮像条件を推定する推定手段と、
   前記撮像画像における前記顔の大きさが、前記解析手段による前記解析処理が可能な所定範囲内にない場合に、前記検出手段による検出処理および前記解析処理のそれぞれの成否の情報とともに前記推定手段で推定した撮像条件に関する情報を表示装置に表示させる表示制御手段と、を備えることを特徴とする画像処理装置。
2. 前記推定手段は、前記検出手段による人体の検出結果に基づいて、前記撮像条件を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、
   前記検出手段で検出した人体の大きさに基づいて、当該人体の顔の大きさを推定する第一の推定手段と、
   前記第一の推定手段で推定した顔の大きさを、前記人体の顔の検出が可能となる所定範囲内とするための前記撮像画像の撮像条件を推定する第二の推定手段と、を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記第二の推定手段は、前記撮像画像の撮像条件として、前記撮像手段によるズーム倍率を推定することを特徴とする請求項３に記載の画像処理装置。
5. 前記推定手段で推定した撮像条件を、撮像装置に適用する撮像制御手段をさらに備える
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記推定手段で推定した撮像条件の撮像装置への適用をユーザが指示するためのユーザインタフェースを表示させる第二の表示制御手段をさらに備え、
   前記撮像制御手段は、前記ユーザインタフェースを介してユーザの指示を受信したとき、前記推定手段で推定した撮像条件を前記撮像装置に適用することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像制御手段は、
   前記推定手段で推定した撮像条件を、前記撮像画像を撮像した撮像装置とは異なる撮像装置に適用することを特徴する請求項５または６に記載の画像処理装置。
8. 前記撮像画像を撮像する撮像装置と、
   前記撮像装置と通信可能に接続された、請求項１から７のいずれか１項に記載の画像処理装置と、
   前記画像処理装置と通信可能に接続され、前記表示制御手段によって表示制御される表示手段を備える表示装置と、を備えることを特徴とする画像処理システム。
9. 撮像手段から撮像画像を取得するステップと、
   取得した前記撮像画像から所定の条件に合致する人体を検出するステップと、
   検出した前記人体の顔に対して解析処理を行うステップと、
   前記解析処理がされていない前記顔の大きさに基づいて、前記顔の大きさが、前記解析処理が可能な所定範囲内になる撮像条件を推定するステップと、
   前記撮像画像における前記顔の大きさが、前記解析処理に必要な所定範囲内にない場合に、前記検出するステップによる検出処理および前記解析処理のそれぞれの成否の情報とともに前記撮像条件に関する情報を表示装置に表示させるステップと、を含む
   ことを特徴とする画像処理方法。
10. コンピュータを、
    撮像手段から撮像画像を取得する取得手段と、
    前記取得手段により取得した撮像画像から所定の条件に合致する人体を検出する検出手段と、
    前記検出手段により検出した人体の顔に対して解析処理を行う解析手段と、
    前記解析処理がされていない前記顔の大きさに基づいて、前記顔の大きさが、前記解析処理が可能な所定範囲内になる撮像条件を推定する推定手段と、
    前記撮像画像における前記顔の大きさが、前記解析手段による前記解析処理に必要な所定範囲内にない場合に、前記検出手段による検出処理および前記解析処理のそれぞれの成否の情報とともに前記推定手段で推定した撮像条件に関する情報を表示装置に表示させる表示制御手段として機能させるためのプログラム。

Images