JP7208713B2 - 画像解析装置および画像解析方法 - Google Patents

Description

本発明は、画像解析装置および画像解析方法に関する。

動画像や静止画像のなかから物体を検出する処理が知られている（例えば、特許文献１参照）。しかしながら、このような物体検出処理は時間がかかる。これは、複数の物体モデルでテンプレートマッチングを行っているからである。精度を向上させるには、より多くの物体モデルが必要となるが、テンプレートマッチングを行う回数が増えるため処理速度が低下してしまう。つまり、精度と速度はトレードオフとなる。

特開２０１０－１９１９３９号公報

撮像装置の設置環境が決まれば、検出される物体モデルはおのずと決まる。例えば、俯角が高い画角だと撮り下ろしの物体モデル、俯角が低い画角だと正面に近いモデルで検出される。その特徴を活かし、不要な物体モデルを検出対象から外すことで高速化することは可能である。しかしながら、稀に想定する物体モデルではないモデルで検出されることがあり、ある物体モデルを一律に削除することが適切でない場合がある。また、検出される物体モデルの傾向は設置環境によって異なる。

一方で、ユーザごとに設置環境やユースケースは異なり、精度を重視するか速度を重視するかも異なる。そこで、ユーザが物体モデルを用いた物体検出の状況を見て、求められる精度と速度とのバランスの観点から、物体モデルの要否を判断し取捨選択できると、ユースケースごとに精度と速度とをチューニングすることが可能となる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、物体モデルを用いた物体検出の結果をユーザに分かりやすく提示し、物体検出に用いる物体モデルのユーザによる変更を支援できる技術の提供にある。

本発明のある態様は画像解析装置に関する。この画像解析装置は、複数の異なる物体モデルを用いて、画像から物体を検出した物体検出処理の処理結果を取得する取得手段と、複数の異なる物体モデルのそれぞれを表す情報と、前記複数の異なる物体モデルのそれぞれに係る前記処理結果と、を表示する画面をディスプレイに表示させる表示制御手段と、を備え、前記表示制御手段は、前記画像から検出された物体の合計数に対する、前記物体モデルのそれぞれを用いて前記画像から検出された物体の数に基づいて算出される検出割合を、前記複数の異なる物体モデルのそれぞれに係る前記処理結果として表示させ、前記処理結果は、前記物体モデルのそれぞれについて前記物体検出処理に要した処理時間の合計に対する、前記物体モデルのそれぞれについて前記物体検出処理に要した処理時間に基づいて算出される処理時間の割合を示す情報を含むことを特徴とする。

本発明によれば、物体モデルを用いた物体検出の結果をユーザに分かりやすく提示し、物体検出に用いる物体モデルのユーザによる変更を支援できる。

第１の実施の形態に係るシステムのシステム構成及びハードウエア構成の一例を示す模式図。 図１の撮像装置およびクライアント装置の機能および構成を示すブロック図。 クライアント装置が撮像装置から取得した撮像画像の一例を示す図。 図２のクライアント装置における一連の処理の流れを示すフローチャート。 図４の人体モデルの設定ステップにおける一連の処理の流れを示すフローチャート。 人体モデルの設定ステップにおいて最初に表示されるモデル設定画面の代表画面図。 更新されたモデル設定画面の代表画面図。 正面見下ろし人体モデルおよび横顔人体モデルに対応する二つのチェックボックスをオフにして再検出ボタンをクリックした後に表示されるモデル設定画面の代表画面図。 第２の実施の形態に係る人体モデルの設定ステップにおける一連の処理の流れを示すフローチャート。 図９の通知生成処理における一連の処理の流れを示すフローチャート。 通知を含む更新されたモデル設定画面の代表画面図。 第１変形例に係るモデル設定画面の代表画面図。 第２変形例に係るモデル設定画面の代表画面図。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、カメラの画像からの物体の検出において、複数の異なる物体モデルごとにかかった処理時間の割合と検出数の割合とを算出し、モデル設定画面に表示させる。該モデル設定画面において、表示された複数の物体モデルから検出に用いる物体モデルをユーザに選択させる。モデル設定画面の表示によってユーザは、ある物体モデルが全体のなかでどの程度検出に寄与し、どの程度の処理時間がかかっているかを知ることができる。そして、表示された検出数の割合と処理時間の割合とによって、ユーザはどの物体モデルを検出に用いるかを自己の要求に合わせて選択することができる。

＜第１の実施の形態＞
第１の実施の形態では、検出する物体を人体とする。本実施の形態に係る画像解析装置は、動画像をモニタリングし解析する。画像解析装置は、撮像装置により得られた動画像に対して人体検出を行い、人体モデルごとにかかった処理時間の割合と検出数の割合とを算出し、モデル設定画面に表示させる。該モデル設定画面において、表示された複数の人体モデルから検出に用いる人体モデルをユーザに選択させる。

図１は、本実施の形態に係るシステムのシステム構成及びハードウエア構成の一例を示す模式図である。撮像装置１１０は例えばネットワークカメラや監視カメラであり、現実世界の所定の位置、例えば天井やエントランスや外壁など、に設置される。撮像装置１１０は撮像を行う。他の実施の形態では、撮像装置１１０はスマートフォンやタブレットやラップトップＰＣなどの携帯端末に組み込まれた撮像デバイスであってもよい。画像解析装置としてのクライアント装置１２０は、撮像装置１１０の駆動、撮像装置１１０で撮像された画像（以下、撮像画像とも称す）の表示を行う。入力装置１３０は、マウスやキーボード等から構成され、クライアント装置１２０へのユーザ入力を行うために用いられる。表示装置１４０は、ディスプレイ等から構成され、クライアント装置１２０が生成した画像の表示を行う。図１ではクライアント装置１２０と表示装置１４０とを各々独立した装置として示したが、クライアント装置１２０と表示装置１４０とを一体化して構成してもよい。また、入力装置１３０と表示装置１４０とを一体化して構成してもよいし、クライアント装置１２０と入力装置１３０と表示装置１４０とを一体化して構成してもよい。

ネットワーク１５０は撮像装置１１０とクライアント装置１２０とを接続する。ネットワーク１５０は例えばローカルネットワーク等であり、通信規格を満たす複数のルータ、スイッチ、ケーブル等から構成される。本実施の形態においては撮像装置１１０、クライアント装置１２０間の通信を可能とするものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。また、クライアント装置１２０に接続される撮像装置１１０の数は１台に限られず、複数台であってもよい。

撮像装置１１０のハードウエア構成について説明する。撮像装置１１０は、ハードウエア構成として、撮像部１１と、ＣＰＵ１２と、メモリ１３と、通信Ｉ／Ｆ１４と、を含む。撮像部１１は、撮像素子と撮像素子上に設けられた被写体の光学系とを有し、ＣＰＵ１２の制御に基づき光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像素子は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等であってもよい。ＣＰＵ１２は、撮像装置１１０の全体を制御する。メモリ１３は、プログラムや撮像部１１で撮像された画像、ＣＰＵ１２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ１４は、ＣＰＵ１２の制御に基づきネットワーク１５０を介したクライアント装置１２０との通信を制御する。ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより、撮像装置１１０の機能等が実現される。

次に、クライアント装置１２０のハードウエア構成について説明する。クライアント装置１２０は、ハードウエア構成として、メモリ２１と、ＣＰＵ２２と、通信Ｉ／Ｆ２３と、入力Ｉ／Ｆ２４と、表示Ｉ／Ｆ２５と、を含む。ＣＰＵ２２は、クライアント装置１２０の全体を制御する。メモリ２１は、プログラムや撮像装置１１０から送信された撮像画像、ＣＰＵ２２が処理を実行する際に利用するデータ等を記憶する。通信Ｉ／Ｆ２３は、ＣＰＵ２２の制御に基づきネットワーク１５０を介した撮像装置１１０との通信を制御する。入力Ｉ／Ｆ２４は、クライアント装置１２０と入力装置１３０とを接続し、入力装置１３０からの情報の入力を制御する。表示Ｉ／Ｆ２５は、クライアント装置１２０と表示装置１４０とを接続し、表示装置１４０への情報の出力を制御する。ＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより、クライアント装置１２０の機能及び後述するフローチャートの処理等が実現される。但し、クライアント装置１２０のハードウエア構成は、図１に示されるものに限定されない。例えば、クライアント装置１２０は、通知装置の一例であるスピーカ等の音声出力装置を有していてもよい。クライアント装置１２０が音声出力装置をハードウエア構成として有する場合、通知処理の一例は、警告等の音声の出力処理である。

図２は、図１の撮像装置１１０およびクライアント装置１２０の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

撮像装置１１０は、撮像部１１と、信号処理部１１２と、駆動制御部１１３と、通信制御部１１４と、を含む。信号処理部１１２は、撮像部１１によって撮像された画像の信号の処理を行う。例えば、信号処理部１１２は、撮像部１１によって撮像された画像の符号化を行う。信号処理部１１２は、符号化方式として、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を用いることができる。又は、信号処理部１１２は、符号化方式として、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣを用いることができる。又は、信号処理部１１２は、符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）を用いることができる。但し符号化方式はこれらに限らない。また、信号処理部１１２は、複数の符号化方式の中から符号化方式を選択して符号化を行うようにしても良い。駆動制御部１１３は、撮像部１１の撮像方向、及び画角を変更させる制御を行う。本実施の形態では、撮像部１１は、パン方向、チルト方向に撮像方向を変更でき、かつ、撮像画角を変更することができる場合について説明するが、これに限らない。撮像装置１１０は、パン方向、チルト方向に撮像方向を変更する機能を有さなくてもよいし、画角を変更する機能を有さなくてもよい。通信制御部１１４は、信号処理部１１２で処理された撮像画像をクライアント装置１２０に送信する。更に通信制御部１１４は、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。

クライアント装置１２０は、制御部１２１と、通信制御部１２３と、情報取得部１２４と、表示制御部１２５と、を含む。制御部１２１は、クライアント装置１２０を制御する。通信制御部１２３は、撮像画像を撮像装置１１０から取得する。情報取得部１２４は、入力装置１３０に対してなされたユーザ入力を受け付ける、または入力装置１３０より入力情報を取得する。表示制御部１２５は、画像（例えば、動画像、映像、静止画像）を生成して表示装置１４０へ出力し、後述する表示処理を表示装置１４０に実行させる。表示装置１４０は表示という形でユーザへの通知を行うので、通知装置の一例と理解されてもよい。

図３は、クライアント装置１２０が撮像装置１１０から取得した撮像画像２００の一例を示す図である。撮像画像２００には複数の人体２０１が同時に撮像されている。

図２に戻り、クライアント装置１２０の制御部１２１は、用いる人体モデルを設定する必要がある場合、撮像装置１１０から取得した撮像画像に対し人体検出を行い、人体モデルごとにかかった処理時間の割合と検出数の割合とを算出して表示装置１４０に表示させる。クライアント装置１２０は、表示された複数の人体モデルから検出に用いる人体モデルをユーザに選択させる。これにより、リアルタイムのライブ映像に対して人体検出を行い、人体モデルごとに処理時間の割合と検出数の割合とを表示し、表示された複数の人体モデルから検出に用いる人体モデルを選択させることができる。

なお、他の実施の形態では、クライアント装置１２０は、撮像装置１１０内に保存されている動画を取得し、各フレームに対し人体検出を行い、人体モデルごとに処理時間の割合と検出数の割合とを算出して表示装置１４０に表示させてもよい。あるいはまた、クライアント装置１２０内に保存されている動画の各フレームに対して人体検出を行い、人体モデルごとに処理時間の割合と検出数の割合とを算出して表示装置１４０に表示させてもよい。あるいはまた、クライアント装置１２０は、録画サーバ等にアクセスし、録画サーバ内に保存されている動画の各フレームに対して人体検出を行い、人体モデルごとに処理時間の割合と検出数の割合とを算出して表示装置１４０に表示させてもよい。

図４は、図２のクライアント装置１２０における一連の処理の流れを示すフローチャートである。制御部１２１は、人体検出に用いる人体モデルの設定を行う（Ｓ４１）。制御部１２１は、その時点で使用するものとして設定されている少なくともひとつの人体モデルを用いて、撮像画像から人体を検出する。表示制御部１２５は、選択可能な人体モデルと検出結果とを対応付けて表示するモデル設定画面を表示装置１４０に表示させる。情報取得部１２４はユーザによる人体モデルの選択結果を取得し、制御部１２１は選択された人体モデルを、以降の人体検出において用いられる人体モデルとして新たに設定する。ステップＳ４１のさらなる詳細は後述する。

通信制御部１２３は、ネットワーク１５０を介して撮像装置１１０から、撮像画像を取得する（Ｓ４２）。制御部１２１は、ステップＳ４１で設定された人体モデルを用いて、ステップＳ４２で取得された撮像画像から人体を検出する（Ｓ４３）。制御部１２１は、ステップＳ４３における検出結果に対する所定の処理を行う（Ｓ４４）。所定の処理は、例えば、検出結果をユーザに示すための画面の生成や、検出結果に基づく人体の数のカウントなどの統計処理である。

制御部１２１は、人体モデルを再設定するための指示をユーザから受け付けた場合（Ｓ４５のＹＥＳ）、処理をステップＳ４１に戻す。そのような指示が無い場合（Ｓ４５のＮＯ）、制御部１２１は終了指示の有無を確認する（Ｓ４６）。終了指示があれば（Ｓ４６のＹＥＳ）処理は終了し、無ければ（Ｓ４６のＮＯ）処理はステップＳ４２に戻る。このように、クライアント装置１２０は、撮像装置１１０から取得した撮像画像に対して人体検出を行い、その検出結果を含むモデル設定画面を提供することで、ユーザによる人体モデルの初期設定を支援することができる。また、クライアント装置１２０は、撮像装置１１０から取得した撮像画像に対して引き続き人体検出を行いながら、必要に応じて人体モデルを設定し直すことを可能とすることで、ユーザ利便性を高めることができる。

図５は、図４の人体モデルの設定ステップＳ４１における一連の処理の流れを示すフローチャートである。ステップＳ４１では、クライアント装置１２０は、人体検出において、人体モデルごとに処理時間の割合と検出数の割合とを表示装置１４０に表示させ、表示された複数の人体モデルから検出に用いる人体モデルを少なくともひとつユーザに選択させる。

制御部１２１は、ネットワーク１５０を介して撮像装置１１０から撮像画像を取得する（Ｓ４００）。表示制御部１２５は、ステップＳ４００で取得された撮像画像を用いてモデル設定画面３００を生成し、表示装置１４０に表示させる（Ｓ４２０）

図６は、人体モデルの設定ステップにおいて最初に表示されるモデル設定画面３００の代表画面図である。モデル設定画面３００は、クライアント装置１２０に登録されている全てのまたは一部の人体モデルのそれぞれを表す情報とその人体モデルに係る検出結果とを対応付けて表示する。なお、この段階では人体検出は行われていないので、検出結果に実質的な情報は含まれていない。すなわち、割合の数値は空欄となっている。モデル設定画面３００は、人体検出に用いられるべき人体モデルをユーザが選択可能に構成される。

モデル設定画面３００は、対象画像表示領域３０１と、選択受付領域３０２と、モデル表示領域３０３と、割合表示領域３０４と、を有する。対象画像表示領域３０１には、ステップＳ４００で取得された撮像画像（図６の例では撮像画像２００）が表示される。ユーザは、対象画像表示領域３０１に表示される撮像画像２００を操作（拡大、縮小、切り出し、回転、移動、トリミング等）することで、人体検出を行う検出エリアを設定してもよい。選択受付領域３０２は、クライアント装置１２０に登録されている人体モデルごとに使用・不使用の別の指定をユーザから受け付けることができるように構成され、例えば人体モデルごとにチェックボックスを含む。チェックボックスをオン・オフすることで、対応する人体モデルを人体検出に用いるか否かを切り替えることができる。モデル表示領域３０３は、登録されている人体モデルごとにユーザがその人体モデル自体を識別できるように構成され、例えば人体モデルごとに模式図（どのような人体モデルであるかを表示する絵）やアイコンや名前を含む。割合表示領域３０４は登録されている人体モデルごとに検出結果として割合を表示する。割合表示領域３０４については後述する。選択受付領域３０２とモデル表示領域３０３と割合表示領域３０４とは表形式になっており、ひとつの人体モデルに対して選択受付領域３０２のチェックボックスとモデル表示領域３０３の名前と割合表示領域３０４の割合とが対応付けて表示される。

図６の例において、選択受付領域３０２に含まれるチェックボックスはデフォルトで全てオンになっている。ユーザは、対象画像表示領域３０１に表示される撮像画像２００を検出対象として視認し、もし不要な人体モデルがあれば選択受付領域３０２において不要な人体モデルに対応するチェックボックスをオフにし（チェックを外し）、検出実行ボタン３０５をクリックする。

図５に戻り、制御部１２１は、検出に用いられるものとして設定されている人体モデルを取得する（Ｓ４０１）。制御部１２１は、検出実行ボタン３０５に対するクリックを検出すると、選択受付領域３０２のチェックボックスがＯＮとなっている人体モデルを、検出に用いる人体モデルとして取得する。図６の状態で検出実行ボタン３０５がクリックされたならば、正面顔、正面上半身、正面見下ろし、横顔の全ての人体モデルについてチェックボックスがＯＮとなっているので、その全ての人体モデルを用いて人体検出が行われる。

なお、正面顔、正面上半身、正面見下ろし、横顔の人体モデルは同じ人体を異なる視点から撮像することに対応する。本実施の形態では、正面顔、正面上半身、正面見下ろし、横顔の四つの人体モデルを採用する場合を説明するが、別の実施の形態では他の人体モデルを用いてもよいし、正面顔、正面上半身、正面見下ろし、横顔のいずれかまたは全てを用いなくてもよい。

制御部１２１は、ステップＳ４０１で取得された人体モデルを用いて、対象画像表示領域３０１に表示された撮像画像２００から人体を検出する（Ｓ４０２）。ステップＳ４０２において、例えば特開２０１４－１９９５０６号公報に記載されるような公知の人体検出方法が用いられてもよい。制御部１２１は、ステップＳ４０１で取得された人体モデルのそれぞれとのマッチング処理を撮像画像２００に対して行い、人体を検出する。この時、制御部１２１は、ネットワーク１５０を介して別の端末に、人体検出の結果を送信してもよいし、表示装置１４０に表示させてもよい。

制御部１２１は、ステップＳ４０１で取得された人体モデルのそれぞれについて、ステップＳ４０２の人体検出において該人体モデルを用いた検出にかかった時間（以下、処理時間とも称す）を算出する（Ｓ４０３）。制御部１２１は、ステップＳ４０１で取得された人体モデルのそれぞれについて、撮像画像２００から該人体モデルとのマッチングにより検出された人体の数（以下、検出数とも称す）を算出する（Ｓ４０４）。制御部１２１は、処理時間を全ての人体モデルに亘って合計し、合計時間を算出する（Ｓ４０５）。制御部１２１は、検出数を全ての人体モデルに亘って合計し、合計を求める（Ｓ４０６）。制御部１２１は、ステップＳ４０１で取得された人体モデルのそれぞれについて、ステップＳ４０５で算出された合計時間に対するステップＳ４０３で算出された該人体モデルの処理時間の割合を算出する（Ｓ４０７）。処理時間の割合は、例えば、処理時間／合計時間で求められる。制御部１２１は、ステップＳ４０１で取得された人体モデルのそれぞれについて、ステップＳ４０６で算出された合計の数に対するステップＳ４０４で算出された該人体モデルの検出数の割合を算出する（Ｓ４０８）。検出数の割合は、例えば、検出数／合計の数、で求められる。

表示制御部１２５は、人体検出の結果により更新されたモデル設定画面５００を表示装置１４０に表示させる（Ｓ４０９）。特にモデル設定画面５００はステップＳ４０７およびＳ４０８で求められた割合を人体モデルごとに表示する。

図７は、更新されたモデル設定画面５００の代表画面図である。図６に示されるモデル設定画面３００と比べると、更新されたモデル設定画面５００は検出実行ボタン３０５の代わりに再検出ボタン５０１および設定終了ボタン５０２を有する。また、割合表示領域３０４の表示内容に検出結果が反映されている。具体的には、割合表示領域３０４は、人体モデルごとに、ステップＳ４０７で算出された処理時間の割合とステップＳ４０８で算出された検出数の割合とを表示する。

正面見下ろし人体モデルの検出数の割合（５％）および横顔人体モデルの検出数の割合（０％）を見ると、それらの人体モデルの検出数の割合が比較的低く、したがってそれらの人体モデルの検出数への寄与が低いことが分かる。また、正面見下ろし人体モデルの処理時間の割合（２０％）および横顔人体モデルの処理時間の割合（１０％）を見ると、それらの人体モデルの処理時間の割合が検出数の割合より高いことが分かる。すなわち、それらの人体モデルについては、検出数の割には処理時間がかかっていることが分かる。

そこで、本実施の形態では、ユーザは正面見下ろし人体モデルおよび横顔人体モデルについて効率が悪く不要であると判断し、それらの人体モデルを人体検出用の人体モデルから除くための指示を入力する。具体的には、ユーザは入力装置１３０を用いて、正面見下ろし人体モデルおよび横顔人体モデルに対応する選択受付領域３０２のチェックボックスをクリックすることでオフにする。他の実施の形態では他の人体モデルに対応するチェックボックスをオフにしてもよいし、正面見下ろし人体モデルおよび横顔人体モデルをオフにせず残してもよい。チェックボックスをオフにした後、ユーザは再検出ボタン５０１をクリックする。

図５に戻り、制御部１２１は、人体検出に用いられるべき人体モデルに変更があったか否かを判定する（Ｓ４１０）。制御部１２１は、モデル設定画面５００を介して人体モデルの選択をユーザから受け付ける。具体的には、制御部１２１は、再検出ボタン５０１に対するクリックを検出すると、そのとき選択受付領域３０２のチェックボックスがＯＮとなっている人体モデルを、検出に用いる人体モデルとして取得する。モデル設定画面５００においてユーザが選択受付領域３０２のチェックボックスを更新した場合は制御部１２１は用いられるべき人体モデルに更新があったと判定する（Ｓ４１０のＹＥＳ）。更新があったと判定された場合、制御部１２１は、モデル設定画面５００においてユーザにより選択された人体モデルを、以降の人体検出において用いられる人体モデルとして設定する（Ｓ４１１）。例えば、図７に示される状態のモデル設定画面５００に対して、正面見下ろし人体モデルおよび横顔人体モデルに対応する二つのチェックボックスをオフにして再検出ボタン５０１をクリックしたとする。この場合、正面顔、正面上半身の二つの人体モデルについてチェックボックスがＯＮとなっているので、以降の人体検出においてその二つの人体モデルが用いられるようモデル設定が変更される。ステップＳ４１１の後、またはステップＳ４１０において更新があったと判定されなかった場合（Ｓ４１０のＮＯ）、制御部１２１は繰り返し処理を終了するか判定する（Ｓ４１２）。処理を終了しないと判定された場合（Ｓ４１２のＮＯ）、処理はステップＳ４０２に戻る。

図８は、正面見下ろし人体モデルおよび横顔人体モデルに対応する二つのチェックボックスをオフにして再検出ボタン５０１をクリックした後に表示されるモデル設定画面６００の代表画面図である。モデル設定画面６００は、正面見下ろし人体モデルおよび横顔人体モデルに対応する二つのチェックボックスをオフにして再検出ボタン５０１をクリックした後のステップＳ４０９で表示される。モデル設定画面６００の選択受付領域３０２では、正面見下ろし人体モデルおよび横顔人体モデルに対応する二つのチェックボックスはオフとなっている。

本実施の形態に係る画像解析装置によると、人体検出に用いる人体モデルをユーザがユースシーンに合わせて適切に選択しやすくなり、精度と速度とのバランスを簡単に調整できるようになる。また、人体モデルごとに用いるか否かを設定できるので、設定の自由度が高い。

本実施の形態ではモデル設定画面３００、５００、６００を介してユーザに人体モデルを設定させる場合を説明するが、他の実施の形態では、他の方法でユーザに設定させてもよい。本実施の形態では、各人体モデルのオン／オフを選択するためにチェックボックスを用いる場合を説明したが、他の実施の形態では他の方法でユーザに選択させてもよい。本実施の形態では、チェックボックスがオンであるとき対応する人体モデルが人体検出に用いられるものとして設定される場合を説明したが、これに限られない。特に、逆、すなわち、チェックボックスがオンであるとき対応する人体モデルが人体検出に用いられないものとして設定されてもよい。あるいはまた、ある人体モデルの検出または非検出のみを選択させる手段を用いてもよい。非検出にする人体モデルをラジオボタンで選択させるのはその一例である。

本実施の形態では、撮像画像２００から人体モデルとのマッチングにより検出された人体の数を示す情報として検出数の割合を採用する場合を説明したが、これに限られず、検出数そのものや段階的表示（例えば、五段階表示、ヒートマップ等）が採用されてもよい。また、本実施の形態では、人体モデルを用いた検出にかかった時間を示す情報として処理時間の割合を採用する場合について説明したが、これに限られず、処理時間そのものや段階的表示が採用されてもよい。

本実施の形態では、検出数の割合および処理時間の割合を数値で表示する場合について説明したが、これに限られず、例えば濃淡画像として表示してもよく、または割合に応じて表示色を変更してもよい。

＜第２の実施の形態＞
第１の実施の形態では、人体モデルごとに処理時間の割合と検出数の割合とが表示され、ユーザは人体モデルごとの割合を見て、どの人体モデルを人体検出に用いるかを選択している。これは、ユーザによるよりきめ細かな判断を可能とする一方、全ての人体モデルの処理時間の割合と検出数の割合とを見る必要があり、ユーザの負担となる虞がある。そこで、第２の実施の形態では、人体モデルごとの検出数の割合を用いてユーザに通知を行う。

第２の実施の形態に係るクライアント装置は、人体モデルに係る検出結果が所定の排除候補基準を満たす場合、該人体モデルを特定可能な態様でユーザに通知を行う。ここでは、人体モデルごとに設定された閾値を検出数の割合が下回る場合に排除候補基準が満たされるが、他の基準が用いられてもよい。例えば、検出数の割合の統計値と閾値とが比較されてもよいし、検出数自体が閾値と比較されてもよい。あるいはまた、検出数の割合と処理時間の割合とに基づく基準が用いられてもよい。例えば、検出数の割合が第１閾値より小さければ通知を行うが、例外処理として、処理時間の割合が第２閾値より小さければ、検出数の割合が第１閾値より小さくても通知を行わなくてもよい。

図９は、第２の実施の形態に係る人体モデルの設定ステップにおける一連の処理の流れを示すフローチャートである。本実施の形態に係るクライアント装置の制御部１２１は、ステップＳ４０１で取得された人体モデルのそれぞれについて検出数の割合を算出する（Ｓ４０８）。制御部１２１は、ステップＳ４０８で算出された検出数の割合が閾値よりも小さい場合に通知を生成するための通知生成処理を行う（Ｓ４２１）。表示制御部１２５は、人体検出の結果により更新され、かつ、生成された通知を含むモデル設定画面を表示装置１４０に表示させる（Ｓ４２２）。

図１０は、図９の通知生成処理Ｓ４２１における一連の処理の流れを示すフローチャートである。制御部１２１は、ステップＳ４０１で取得された人体モデルのうち、閾値比較の対象としてまだ選択されていない人体モデルをひとつ選択する（Ｓ４２５）。制御部１２１は、ステップＳ４２５で選択された人体モデルに対して設定されている、検出数の割合の閾値を取得する（Ｓ４２６）。閾値は、グラフィカルユーザインタフェースを介したユーザ入力により設定されてもよい。本実施の形態では、人体モデルに依らず閾値を一律５％とする。他の実施の形態では閾値は他の値でもよく、人体モデルごとに異なっていてもよい。

制御部１２１は、ステップＳ４２５で選択された人体モデルについてステップＳ４０８で算出された検出数の割合と、ステップＳ４２６で取得された閾値と、を比較する（Ｓ４２７）。検出数の割合が閾値を下回っている場合（Ｓ４２７のＹＥＳ）、制御部１２１は、モデル設定画面に含める通知すなわちダイアログを生成する（Ｓ４２８）。該ダイアログは、選択された人体モデルの検出数が少ないことを示す。なお、本実施の形態では、ダイアログを用いてユーザに通知する場合を説明するが、他の実施の形態では他の方法を用いて通知してもよい。本実施の形態では、ユーザへの通知を即時的に行う場合を説明するが、他の実施の形態では通知までの時間を設定してもよい。本実施の形態では、人体モデルごとの検出数の割合が人体モデルごとに設定されている閾値を下回っている場合にユーザに通知したが、他の実施の形態では別の条件判定が採用されてもよい。

制御部１２１は、未選択の人体モデルがあるか否かを判定する（Ｓ４２９）。未選択の人体モデルがあれば（Ｓ４２９のＹＥＳ）、処理はステップＳ４２５に戻り、無ければ（Ｓ４２９のＮＯ）処理はステップＳ４２２に進む。

図１１は、通知を含む更新されたモデル設定画面８００の代表画面図である。モデル設定画面８００では、通知対象の人体モデル（横顔人体モデル）を特定可能な態様でダイアログ８０１が表示されており、その他の表示は図７に示されるモデル設定画面５００と同等である。図１１に記載の例では、横顔人体モデルのみ検出数の割合が閾値を下回っているので、横顔人体モデルに対してのみダイアログ８０１が表示される。

本実施の形態に係るクライアント装置によると、第１の実施の形態に係るクライアント装置１２０により奏される作用効果と同様の作用効果が奏される。加えて、ダイアログ８０１を表示することで、ユーザがより迅速に検出数の低い人体モデルを特定することができる。

第１および第２の実施の形態では検出する物体が人体である場合を説明したが、これに限られず、人体以外の物体、例えば車両や動物を検出する場合にもそれらの実施の形態に係る技術的思想を適用できる。

以上、実施の形態に係るクライアント装置の構成と動作について説明した。これらの実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図７に示される更新されたモデル設定画面５００の変形例を説明する。図１２は、第１変形例に係るモデル設定画面５２０の代表画面図である。モデル設定画面５２０では、所定の強調表示基準を満たした人体モデルが強調表示される。強調表示基準は上述の排除候補基準に準じる。図１２の例では、正面見下ろし人体モデルおよび横顔人体モデルについて、検出数の割合が１０％よりも小さいので、それらの人体モデルが斜線により強調表示されている。強調表示の態様としては、他に、色を変える、濃淡を変える等がある。本例によると、ユーザはより迅速に検出数の低い人体モデルを特定することができる。

図１３は、第２変形例に係るモデル設定画面５３０の代表画面図である。モデル設定画面５３０は、割合表示領域３０４の代わりに表示種類５３１を有する。表示種類５３１は、人体モデルごとに対応するマークの種類を表示する。図１３の例では、表示種類５３１は、正面顔人体モデルで検出された人体には実線の囲みが付与され、正面上半身人体モデルで検出された人体には破線の囲みが付与され、正面見下ろし人体モデルで検出された人体には一点鎖線の囲みが付与され、横顔人体モデルで検出された人体には二点鎖線の囲みが付与されることを示す。対象画像表示領域３０１は、人体検出の結果に基づくマーク５３２を撮像画像２００に重畳して表示する。本例によると、ユーザは、人体モデルごとの人体検出の結果を迅速に把握することができる。また、ユーザはマーク５３２により人体モデルの適用状況を把握することができ、用いる人体モデルの選択を適用状況に応じて適切に行うことができる。

他の変形例では、図１１に示されるモデル設定画面８００において、通知の対象となっている人体モデルを用いて検出された人体が撮像画像２００にあれば、対象画像表示領域３０１においてその人体を強調表示するか、その人体にマークを付してもよい。あるいはまた、ダイアログ８０１に人体モデルのオン／オフを切り替えるためのボタンを追加してもよい。

撮像装置１１０の機能や構成は、ＣＰＵ１２がメモリ１３に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウエア構成として撮像装置に実装されてもよい。また、撮像装置１１０の機能や構成の一部又は全てはハードウエア構成として撮像装置１１０に実装されてもよい。同様に、クライアント装置１２０の機能や構成はＣＰＵ２２がメモリ２１に記憶されたプログラムに基づき処理を実行することにより実現されるソフトウエア構成としてクライアント装置１２０に実装されてもよい。また、クライアント装置１２０の機能や構成の一部又は全てはハードウエア構成としてクライアント装置１２０に実装されてもよい。また、上述したクライアント装置や撮像装置のハードウエア構成は一例であり、例えば、ＣＰＵやメモリ、通信Ｉ／Ｆ等は複数備えられてもよい。

＜その他の実施例＞
本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 撮像装置、 １１２ 信号処理部、 １１３ 駆動制御部、 １１４ 通信制御部、 １２０ クライアント装置、 １２１ 制御部、 １２３ 通信制御部、 １２４ 情報取得部、 １２５ 表示制御部、 １３０ 入力装置、 １４０ 表示装置、 １５０ ネットワーク。

Claims (9)

1. 複数の異なる物体モデルを用いて、画像から物体を検出した物体検出処理の処理結果を取得する取得手段と、
   前記複数の異なる物体モデルのそれぞれを表す情報と、前記複数の異なる物体モデルのそれぞれに係る前記処理結果と、を表示する画面をディスプレイに表示させる表示制御手段と、を備え、
   前記表示制御手段は、前記画像から検出された物体の合計数に対する、前記物体モデルのそれぞれを用いて前記画像から検出された物体の数に基づいて算出される検出割合を、前記複数の異なる物体モデルのそれぞれに係る前記処理結果として表示させ、
   前記処理結果は、前記物体モデルのそれぞれについて前記物体検出処理に要した処理時間の合計に対する、前記物体モデルのそれぞれについて前記物体検出処理に要した処理時間に基づいて算出される処理時間の割合を示す情報を含むことを特徴とする画像解析装置。
2. ユーザによる前記物体モデルの選択を受け付ける受付手段と、
   前記ユーザによって選択された前記物体モデルに基づいて、前記物体検出処理に用いる前記物体モデルを決定する決定手段と、をさらに備える請求項１に記載の画像解析装置。
3. 前記決定手段によって決定された前記物体モデルを用いて前記物体検出処理を実行する物体検出手段をさらに備える請求項２に記載の画像解析装置。
4. 前記複数の異なる物体モデルは、同じ物体を異なる視点から撮像することによって生成されたモデルである請求項１から３のいずれか一項に記載の画像解析装置。
5. 前記複数の異なる物体モデルのそれぞれに係る前記処理結果に基づいて、所定の条件を満たさない前記処理結果に対応する前記物体モデルを通知する通知手段をさらに備える請求項１から４のいずれか一項に記載の画像解析装置。
6. 所定の位置に設置された撮像装置から前記画像を取得する画像取得手段をさらに備える請求項１から５のいずれか一項に記載の画像解析装置。
7. 前記複数の異なる物体モデルは、複数の異なる人体モデルである請求項１から６のいずれか一項に記載の画像解析装置。
8. コンピュータを請求項１乃至７のいずれか一項に記載の装置の各手段として機能させるためのプログラム。
9. 画像解析装置が行う画像解析方法であって、
   複数の異なる物体モデルを用いて、画像から物体を検出した物体検出処理の処理結果を取得する取得工程と、
   前記複数の異なる物体モデルのそれぞれを表す情報と、前記複数の異なる物体モデルのそれぞれに係る前記処理結果と、を表示する画面をディスプレイに表示させる表示制御工程と、を含み、
   前記表示制御工程は、前記画像から検出された物体の合計数に対する、前記物体モデルのそれぞれを用いて前記画像から検出された物体の数に基づいて算出される検出割合を、前記複数の異なる物体モデルのそれぞれに係る前記処理結果として表示させ、
   前記処理結果は、前記物体モデルのそれぞれについて前記物体検出処理に要した処理時間の合計に対する、前記物体モデルのそれぞれについて前記物体検出処理に要した処理時間に基づいて算出される処理時間の割合を示す情報を含むことを特徴とする画像解析方法。

Images