JP7216487B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像に含まれる物体を検知する技術に関するものである。

従来、画像から人体等を検知する物体検知装置が知られている。物体検知装置は、例えば、スタジアムにいる観客人数の計測や、遊園地の来客数の人数を計測するのに用いられる。特許文献１には、画像から人体等の領域を正確に検出する技術が開示されている。

特開２０１８－８８０４９号公報

ところで、画像を対象とした物体検知においては検出領域など検知設定を少し変更しただけで誤検知や未検知が発生し得る。そのため、適切な検知設定がなされなかった場合、適切な検知結果が得られないことになる。そのため、ユーザは、様々な検知条件を試行し、誤検知や未検知の発生を確認しながら適切な検知条件を決定する必要があった。すなわち、適切な検知条件を決定はユーザにとって困難で煩雑なものとなっていた。

本発明は、このような問題に鑑みてなされたものであり、画像に含まれる物体の検知における適切な検知条件の設定を容易にする技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
撮像装置によって撮像された画像から物体を検出する検出手段と、
前記画像における互いに異なる複数の領域を特定する特定手段と、
前記複数の領域それぞれについて、前記検出手段により検出された物体のうち、前記画像における物体のサイズの下限および上限を示す第１のサイズ範囲に含まれるサイズの物体の数を示す第１の情報を取得する第１の取得手段と、
前記第１のサイズ範囲の前記下限および前記上限の少なくとも一方に対して変更を加えた第２のサイズ範囲を設定する設定手段と、
前記複数の領域それぞれについて、前記検出手段により検出された物体のうち、前記第２のサイズ範囲に含まれるサイズの物体の数を示す第２の情報を取得する第２の取得手段と、
前記第１の情報と前記第２の情報とを、前記複数の領域それぞれについてリスト形式で表示する表示手段と、
を有する。

本発明によれば、画像に含まれる物体の検知における適切な検知条件の設定を容易にする技術を提供することができる。

画像処理システムの全体構成を示す図である。 情報処理装置における解析領域の設定動作を示すフローチャートである。 解析領域の設定動作における領域の表示方法を例示的に示す図である。 表示部に表示される操作画面の一例を示す図である。 表示部に表示される操作画面の他の例を示す図である。

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、撮像装置１００により得られた撮像画像から物体を検知する情報処理装置１０６を例に挙げて以下に説明する。

＜システム及び各装置の構成＞
図１は、画像処理システムの全体構成を示す図である。画像処理システムは、撮像装置１００と情報処理装置１０６とを含み、これらの装置は相互に情報の送受信ができるようにネットワーク１０５を介して接続されている。ここで、撮像装置１００は、撮像により画像（静止画像／動画像）を生成するカメラであり、例えば、所定の撮像範囲を撮像する監視用の撮像装置である。撮像装置１００は、撮像画像を、ネットワーク１０５を介して情報処理装置１０６へ送信する。撮像装置１００は、壁面や天井に設置することができ、例えば、ＰｏＥ（登録商標）によりＬＡＮケーブルを介して電力を供給され得る。なお、以下の説明では、情報処理装置１０６は、撮像装置１００により生成された動画像をリアルタイムに取得する形態を想定するが、予めハードディスクドライブ（ＨＤＤ）などに格納された画像を取得する形態でもよい。また、画像は、静止画像であってもよいし動画像であってもよい。また、図１では、撮像装置１００及び情報処理装置１０６をそれぞれ１台として図示しているが、複数台の撮像装置及び／又は複数台の情報処理装置を含むよう構成してもよい。

撮像装置１００は、撮像部１０１、通信インタフェース（Ｉ／Ｆ）１０２、ＣＰＵ１０３、記憶部１０４を含んでいる。

撮像部１０１は、撮像光学系であるレンズ群及びＣＭＯＳ等の撮像素子を有し、撮像素子はレンズ群により結像された光学像を電気信号に変換し符号化した所定フォーマットの画像として出力する機能部である。ここでは、例えば毎秒３０フレームのフレーム画像として出力する。

通信Ｉ／Ｆ１０２は、ネットワーク１０５と接続して外部機器と通信するための機能部である。なお、通信規格は任意のものが利用可能である。例えば、有線通信規格としては、Ｅｔｈｅｒｎｅｔ（登録商標）等を利用可能であり、無線通信規格としてはＷｉ－Ｆｉ（登録商標）等が利用可能である。もちろん、近距離の通信でよければ無線ＰＡＮの規格である、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ等を用いてもよい。また、長距離の通信が必要な場合には、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮや、ＬＴＥ／３Ｇ等の無線ＷＡＮを用いることもできる。

ＣＰＵ１０３は、所与の制御プログラムを実行することにより撮像装置１００の各部の動作を制御する演算処理部である。記憶部１０４は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置である。例えば、ＲＡＭは、撮像データや各種制御データを一時的に記憶するほか、ＣＰＵ１０３のワークメモリとしても利用される。ＲＯＭは、ＣＰＵ１０３が実行する制御プログラムを記憶するほか、制御に利用される設定値や各種情報を記憶する。

なおここでは、ＣＰＵ１０３によるソフトウェア制御により撮像装置１００の各部の動作を制御することを想定するが、制御の一部または全部をＡＳＩＣ等によるハードウェア制御により実現してもよい。

ネットワーク１０５は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等により構成される。なお、途中に、インターネットサービスプロバイダ（ＩＳＰ）や社内ネットワークを経由する構成であり得る。

情報処理装置１０６は、通信インタフェース（Ｉ／Ｆ）１０７、ＣＰＵ１０８、記憶部１０９、表示部１１０、入力部１１１を有する。情報処理装置１０６は、例えば、ＰＣであってもよいし、タブレット端末、スマートフォン等の携帯用端末であっても構わない。 ＣＰＵ１０８は、所与の制御プログラムを実行することにより情報処理装置１０６の各部の動作を制御する演算処理部である。記憶部１０９は、ＲＡＭ、ＲＯＭ、ＨＤＤ等の記憶装置である。例えば、ＲＡＭは、ネットワーク１０５を介して撮像装置１００から取得した撮像データや各種制御データを一時的に記憶するほか、ＣＰＵ１０８のワークメモリとしても利用される。ＲＯＭは、ＣＰＵ１０８が実行する制御プログラムを記憶するほか、制御に利用される設定値や各種情報を記憶する。ＨＤＤは、オペレーティングシステム（ＯＳ）の他、プログラムやデータなどから構成されるソフトウェア１１２を格納している。

ソフトウェア１１２は、プログラムとして画像解析処理１１３、解析結果格納処理１１４、解析設定処理１１５を含み、データとして解析領域１１６、仮解析領域１１７、解析結果１１８、仮解析結果１１９を含む。ソフトウェア１１２の詳細については後述する。ここでは、ＣＰＵ１０８によるソフトウェア制御により情報処理装置１０６の各部の動作を制御することを想定するが、制御の一部または全部をＡＳＩＣ等によるハードウェア制御により実現してもよい。

表示部１１０は、撮像装置１００から取得した画像の表示や解析の結果、また、後述する解析領域の設定の操作画面を表示する。なお、情報処理装置１０６内の表示部１１０を介して各種表示を行う構成としたが、外部装置である表示装置（不図示）に各種表示を行う構成でもよい。

入力部１１１は、マウス入力、キーボード入力、タッチ入力、ジェスチャ入力等のユーザ指示の入力を受け付ける機能部である。例えば、撮像装置１００の設定を変更する指示を入力部１１１が受け付けると、ＣＰＵ１０８は、当該指示を示す情報に基づいて撮像装置１００に対する制御命令を生成し、当該制御命令を通信Ｉ／Ｆ１０７を介して撮像装置１００へ送信する。

次に、ソフトウェア１１２についてより詳細に説明する。上述のように、ソフトウェア１１２において、画像解析処理１１３、解析結果格納処理１１４、解析設定処理１１５がプログラムを示しており、解析領域１１６、仮解析領域１１７、解析結果１１８および仮解析結果１１９はデータを示している。

画像解析処理１１３は、画像から物体検知を行う解析処理（検知処理）を行うプログラムである。以下の説明では、検知対象の物体として人体を想定するが、人体以外の物体を検知する場合にも適用可能である。また、物体（人体）の検出は特定の手法に限定されるものではなく、公知の様々な手法が利用可能である。

解析結果格納処理１１４は、画像解析処理１１４の解析結果と所与の条件に基づいた判定処理を行い、判定結果を格納する処理を行うプログラムである。例えば、判定処理として、所与の解析領域に対する物体の内外判定を行う。具体的には、後述する解析設定処理１１５によって設定した解析領域１１６及び／又は仮解析領域１１７が示す領域に対して、画像解析処理１１３によって検知した物体それぞれが当該領域の内側にあるか外側にあるかを判定する内外判定を行う。内外判定を行うことによってそれぞれの領域内に存在する物体の個数を知ることができる。そして、解析領域１１６及び仮解析領域１１７に関する内外判定の結果を、解析結果１１８及び仮解析結果１１９としてそれぞれ保存する。

解析設定処理１１５は、画像解析処理１１３及び／又は解析結果格納処理１１４を行う際の条件設定を行うためのプログラムである。具体的には、図４を参照して後述する操作画面を表示部１１０に表示し、入力部１１１を介してユーザからの操作を受け付けつけ、解析領域１１６及び／又は仮解析領域１１７を設定する。

解析領域１１６は、解析設定処理１１５で設定し確定された１以上の領域であり、入力された画像に対する１以上の部分領域である。一方、仮解析領域１１７は、解析設定処理１１５で設定途中の未確定の１以上の領域であり、入力された画像に対する１以上の部分領域である。以下の説明では、仮解析領域１１７は、既存の解析領域１１６をベースとして設定され、ユーザからの修正を受け付け可能に設定された領域である。

解析結果１１８及び仮解析結果１１９は、上述のように、解析領域１１６及び仮解析領域１１７に関する画像解析処理１１３及び解析結果格納処理１１４の結果を示すデータである。

＜装置の動作＞
図２は、情報処理装置１０６における解析領域の設定動作を示すフローチャートである。図２のフローは、例えば、入力部１１１を介してユーザにより解析設定処理１１５の実行が指示されたことをトリガに開始される。なお、以下の各ステップは、ＣＰＵ１０８がプログラムを実行することにより実現される。

ステップＳ２０１では、情報処理装置１０６は、撮像装置１００から画像を取得する。ここでは、画像は動画像であり、情報処理装置１０６は、動画像を構成するフレーム画像を順次取得することを想定する。

ステップＳ２０２では、情報処理装置１０６は、解析設定が存在するか確認を行う。具体的には、記憶部１０９に解析領域１１６及び／又は仮解析領域１１７が存在するか否かを確認する。設定が存在する場合はＳ２０３で設定の取得を行い、設定が存在しない場合はＳ２０４に進む。

ステップＳ２０３では、情報処理装置１０６は、解析設定を取得する。具体的には、記憶部１０９から解析領域１１６及び／又は仮解析領域１１７を読み取る。なお、Ｓ２１０を介してＳ２０３に到達（つまり２回目以降のループ）した場合は仮解析領域１１７のみを取得するよう構成してもよい。

ステップＳ２０４では、情報処理装置１０６は、表示部１１０に、Ｓ２０３で取得した解析設定の表示を行う。具体的には、Ｓ２０３で取得した解析領域１１６及び／又は仮解析領域１１７の表示を行う。なお、Ｓ２１０を介してＳ２０４に到達（つまり２回目以降のループ）した場合は仮解析領域１１７に対する表示のみ更新するよう構成してもよい。

ステップＳ２０５では、情報処理装置１０６は、Ｓ２０３で取得した解析設定に基づく画像解析の実行を行う。ここで、画像解析は、画像解析処理１１３及び解析結果格納処理１１４を含む。なお、解析設定が存在しない場合は画像全域に対する解析を行うが、解析設定がない場合は解析を行わないとしても良い。なお、ここでは、Ｓ２０５に到達すると自動的に画像解析の実行を開始することを想定するが、ユーザによる操作（例えば後述する解析ボタン５０５の押下）をトリガに開始するよう構成してもよい。また、例えば、ユーザによる操作入力が一定時間なかった場合に画像解析を実行するよう構成してもよい。

ステップＳ２０６では、情報処理装置１０６は、表示部１１０に、Ｓ２０５による解析結果の表示を行う。具体的には、解析設定における各領域の名称や各領域における検知結果を表示する。表示の詳細については図４を参照して後述する。

ステップＳ２０７では、情報処理装置１０６は、どのモードで動作しているかを判断して処理を分岐する。具体的には、ユーザによる操作（例えば、ボタンの押下）や、情報処理装置１０６の現在の動作モードに依存して分岐する。ここでは、モードとして「編集モード」「削除モード」「閲覧モード」があるとする。

「編集モード」は、既存の解析設定における領域の編集や新規の領域の追加をユーザから受け付けるモードであり、後述する編集ボタン４０１が押下されることにより開始される。「削除モード」は、既存の解析設定における領域の削除をユーザから受け付けるモードであり、後述する削除ボタン４０２が押下されることにより開始される。「閲覧モード」は、既存の解析設定が示す領域および当該領域に対する解析結果を閲覧するモードである。情報処理装置１０６は、編集ボタン４０１や削除ボタン４０２が押下されるまでは、閲覧モードで動作する。また、編集モードや削除モードで動作中に適用ボタン４０３が押下されると閲覧モードに移行する。

Ｓ２１０を介さずにＳ２０７に到達（つまり１回目のループ）した場合は閲覧モードで動作しており、ユーザによる編集ボタン４０１又は削除ボタン４０２の押下を待機する。そして、編集ボタン４０１が押下された場合はＳ２０８に進み、削除ボタン４０２が押下された場合はＳ２１１に進む。

一方、Ｓ２１０を介してＳ２０７に到達（つまり２回目以降のループ）した場合は編集モード又は削除モードで動作している。編集モードで動作しており、削除ボタン４０２又は適用ボタン４０３が押下されていない場合は、引き続き編集モードで動作するためＳ２０８に進む。ただし、削除ボタン４０２が押下された場合はＳ２１１に進み、適用ボタン４０３が押下された場合はＳ２１３に進む。同様に、削除モードで動作しており、編集ボタン４０１又は適用ボタン４０３が押下されていない場合は、引き続き削除モードで動作するためＳ２１１に進む。ただし、編集ボタン４０１が押下された場合はＳ２０８に進み、適用ボタン４０３が押下された場合はＳ２１３に進む。

ステップＳ２０８では、情報処理装置１０６は、ユーザからの設定編集受付を開始する。例えば、Ｓ２０８への初回の到達であり、Ｓ２０３で解析設定が存在した場合は、当該解析設定が示す解析領域と同じ領域を仮解析領域として表示する。ステップＳ２０９では、情報処理装置１０６は、ユーザからの解析設定の編集操作を受け付ける。例えば、ユーザは、マウスを操作することにより、仮解析領域を選択し領域形状の変形を行うことで仮解析領域を編集することができる。また、新規の領域である仮解析領域を追加しても良い。なお、解析領域である領域は操作不可とすることで解析領域については設定を維持することが出来る。

ステップＳ２１０では、情報処理装置１０６は、現在の仮解析領域の状態を保存／更新する。なお、保存／更新するタイミングは、所定の時間間隔ごと（例えば各フレーム画像を取得するごと）に保存しても良いし、ユーザが任意に選択したタイミングで保存してもよい。保存した後、Ｓ２０２に戻る。

つまり、編集モードで動作している間、Ｓ２０２～Ｓ２１０のループを繰り返し実行することになる。これにより、既存の領域である解析領域及び現在編集中の領域である仮解析領域の両方が表示されることになる。それと共に、解析領域及び仮解析領域における物体の検知結果が表示されるため、ユーザは、編集による検知結果の変化を容易に確認することが可能となる。

ステップＳ２１１では、情報処理装置１０６は、ユーザからの設定削除受付を開始する。例えば、Ｓ２１１への初回の到達であり、Ｓ２０３で解析設定が存在した場合は、当該解析設定が示す解析領域と同じ領域を仮解析領域として表示する。ステップＳ２１２では、情報処理装置１０６は、ユーザからの解析設定の削除操作を受け付ける。例えば、ユーザは、マウスを操作することにより、仮解析領域を選択し削除することができる。なお、解析領域である領域は操作不可とすることで解析領域については設定を維持することが出来る。

つまり、削除モードで動作している間、Ｓ２０２～Ｓ２０７、Ｓ２１１～Ｓ２１２、Ｓ２１０のループを繰り返し実行することになる。これにより、領域の削除による検知結果の変化を容易に確認することが可能となる。

ステップＳ２１３では、情報処理装置１０６は、現在の仮解析領域の内容を解析領域として保存する。すなわち、ユーザは、編集モード／削除モードにおいて、適切な検知結果が得られる仮解析領域を設定できたと判断した段階で適用ボタン４０３を押下することにより、当該仮解析領域を正式な解析領域として保存することが出来る。

なお、上述の説明では、Ｓ２０５の解析の実行およびＳ２０６の解析結果の表示を常時行う構成に関して説明したが、例えば、モードとして「解析モード」を別途追加し任意のタイミングで実行するよう構成してもよい。このとき、解析領域と仮解析領域との両方が存在する場合は、両方の領域に対して解析結果が表示される。そのため、ユーザは、編集による検知結果の変化を容易に確認することが可能となる。

また、上述の説明では、領域の変更及び領域の追加を行う編集モードと、領域の削除を行う削除モードを分けて説明した。これは、ユーザの誤操作による誤設定を低減するためである。ただし、領域の変更、追加、削除を包含した編集モードとして構成しても良い。この場合、領域の変更、領域の追加、領域の削除を並列して行うことが可能となる。

＜操作画面における表示＞
図３は、解析領域の設定動作における領域の表示方法を例示的に示す図である。すなわち、情報処理装置１０６が編集モードや削除モードで動作している場合の、解析領域及び仮解析領域の表示形態の具体例を示している。実線は解析領域（既存の解析設定に含まれる領域）、破線は仮解析領域（現在編集中である領域）を示している。なお、解析領域と仮解析領域が区別できる表示形態であればよく、実線と破線による表示形態に限定されるものではない。

最初に、初期状態の表示方法について説明する。初期状態とは、編集ボタン４０１又は削除ボタン４０２が押下された直後の状態である。

編集モードにおいて領域の修正を行う場合は、すでに既存の解析領域が存在するため解析領域を実線、仮解析領域を破線として重畳表示する。一方、編集モードにおいて領域の追加を行う場合は、既存の解析領域が存在しないため何も表示しない。削除モードの場合は、編集モードにおける領域の修正と同様に、解析領域を実線、仮解析領域を破線として重畳表示する。

次に、設定中の表示方法について説明する。設定中とは、編集モード又は削除モードで動作しユーザからの操作を受け付けている状態である。

編集モードにおいて領域の修正を行う場合は、仮解析領域として示した破線を操作することによって編集を行う。たとえば、ユーザは、マウスによるクリック操作やドラッグ操作によって領域形状の変形を行う。また、解析領域を操作できない実線として表示することで、変更前の解析領域と変更後の仮解析領域とを比較して確認することができる。また、併せて画像解析を実行し解析結果を表示することによって、編集による解析結果の変化を確認することができる。編集において領域の追加を行う場合は、新たに仮解析領域として破線の矩形領域を追加し領域形状の変形を行う。たとえば、ユーザは、マウスのクリック操作により破線の矩形領域を追加し、クリック操作やドラッグ操作によって当該矩形領域の変形を行う。削除モードの場合は、削除を行う仮解析領域を選択することによって削除する。例えば、ユーザは、マウスにより仮解析領域をクリック操作することにより当該仮解析領域の削除を行う。

最後に、適用後の表示方法について説明する。初期状態とは、適用ボタン４０３が押下された直後の状態である。

編集モードにおいて領域の修正を行う場合は、破線で示された仮解析領域を解析領域として設定し実線で表示する。編集において領域の追加を行う場合も同様に、新たに追加した破線の仮解析領域を解析領域として設定し実線で表示する。削除モードの場合は、実線の解析領域の表示を消去する。

以上のように、既存の領域である変更前の解析領域と編集中の領域である変更後の仮解析領域とを併せて表示する。特に、解析領域と仮解析領域とを識別可能に表示する。

図４は、表示部に表示される操作画面の一例を示す図である。ここでは特に解析設定処理１１５において表示部１１０に表示されるユーザインタフェース（ＵＩ）である操作画面４００を示している。

操作画面４００には、編集ボタン４０１、削除ボタン４０２、適用ボタン４０３、キャンセルボタン４０４、解析ボタン４０５、停止ボタン４０６、解析結果一覧表４０７、画像表示領域４０８が配置されている。ここでは、画像表示領域４０８に、解析結果表示４０９及び領域４１０～４１３が表示されている状態を示している。なお、領域４１０～４１３において、実線で示される領域は解析領域、破線で示される領域は仮解析領域である。また、解析結果一覧表４０７には、画像表示領域４０８での設定状態に対応する解析結果がリスト形式で表示する例を示している。

編集ボタン４０１は、操作画面４００を編集モードに移行するためのボタンである。上述したように、編集とは、既存の領域の変更、及び、領域の追加を行う処理を意味している。たとえば、編集ボタン４０１を押下した場合は、操作画面４００は編集モードになり、解析領域を実線で表示し、仮解析領域を破線で表示する。領域を追加する場合は、新たな仮解析領域を破線で追加する。図３を参照して説明したように、初期状態では仮解析領域は解析領域に基づいて設定・表示される。これにより、ユーザは、既存の解析領域をベースとした編集を容易に行うことが可能となる。

削除ボタン４０２は、操作画面４００を削除モードにするためのボタンである。上述したように、削除とは、既存の領域の削除を行う処理を意味している。たとえば、削除ボタン４０２を押下した場合は、操作画面４００は削除モードになり、解析領域を実線で表示し、仮解析領域を破線で表示する。ユーザは仮解析領域を選択することによって当該仮解析領域を削除することが可能になる。

適用ボタン４０３は、編集モード又は削除モードの操作画面４００における現在の仮解析領域を確定し、解析領域として保存するためのボタンである。

キャンセルボタン４０４は、編集モード又は削除モードの操作画面４００における現在の仮解析領域を破棄するボタンである。キャンセルボタン４０４を押下することにより、画像表示領域４０８の表示は初期状態に戻ることになる。

解析ボタン４０５は、画像解析処理１１３の開始を指示するボタンである。上述のＳ２０５では画像解析処理１１３を自動的に開始したが、手動で開始する構成となっている場合に解析ボタン４０５が利用される。また、停止ボタン４０６により画像解析処理１１３が停止された状態において、画像解析処理１１３を再開する場合に解析ボタン４０５が利用される。解析結果は、解析結果一覧表４０７及び／又は画像表示領域４０８に表示される。

停止ボタン４０６は、Ｓ２０５において開始された又は解析ボタン４０５の押下により開始された画像解析処理１１３を停止するためのボタンである。

なお、ここでは、解析ボタン４０５および停止ボタン４０６を操作画面４００に配置したが、これらのボタンを配置せず、所定のタイミングで画像解析処理１１３の開始及び停止を行ってもよい。

解析結果一覧表４０７は、画像解析を行った検知結果がリスト形式で表示されたものである。ここでは、画像全域の検知結果、領域４１０での修正前後での検知結果、領域４１２での検知結果、領域４１３での検知結果、を示している。

具体的には、１行目では、画像全域の解析結果の名前として“ＡＬＬ”を表示し、解析結果である“１５”を表示している。これは、画像全域において人体が１５人検知されたことを示している。なお、画像全域における検知結果は領域修正による影響はないため、変更前後で検出個数は変化することはない。なお、“ＡＬＬ”は一例であり画像全域の解析結果であることが識別できれば良い。

２行目では、解析領域である領域４１０の領域名として、“Ａｒｅａ＿１”を表示し、修正前の領域４１０および修正後の領域４１１の解析結果を併せて“５（３）”と表示している。これは、修正前の領域４１０では５人検出され、修正後の領域４１１では３人検出されたことを示している。

３行目では、領域４１２の領域名として“Ａｒｅａ＿２”を表示し、解析結果“５”を表示している。すなわち、領域４１２はまだ修正が行われていない領域であり、解析領域でありかつ仮解析領域である領域だからである。同様に、４行目では、領域４１３の領域名として“Ａｒｅａ＿３”を表示し、解析結果“２”を表示している。すなわち、領域４１３はまだ修正が行われていない領域であり、解析領域でありかつ仮解析領域である領域だからである。

なお、ここでは、対応関係を明確にするために領域４１０および領域４１１の解析結果を“５（３）”とまとめて１行で表示したが、他の表示形態を用いてもよい。例えば、領域４１１に対応する新たに行を追加し、領域４１１の領域名として“Ａｒｅａ＿１’”を表示し、解析結果“３”を表示する構成でもよい。

画像表示領域４０８は、撮像装置等によって取得した撮像画像を表示する領域である。ここでは、入力部１１１から入力された動画像を構成するフレーム画像を順次表示することを想定する。ただし、検出した物体（人体）の個数が相対的に多いフレーム画像を選択的に表示するよう構成してもよい。例えば、所定の時間期間ごとに最も多くの物体が検出されたフレーム画像を表示するよう構成してもよい。また、複数枚のフレーム画像を合成することにより、検出した物体の個数が多い画像を模擬した合成画像を表示するよう構成してもよい。画像表示領域４０８には、解析領域及び／又は仮解析領域である領域４１０～４１３が重畳表示される。ここで、図３を参照して説明したように、既存の領域である解析領域は実線で表示され、編集中の領域である仮解析領域は破線で表示される。更に、画像全域に対する解析結果である表示４０９、領域４１０～４１３に対する領域名・解析結果が表示される。

より具体的には、解析領域である領域４１０は実線で、仮解析領域である領域４１１は破線で表示される。解析領域かつ仮解析領域である領域４１２および領域４１３は実線と破線が重畳して表示される。領域４１０～４１３に対して、各領域の名称及び物体（人体）の位置による内外判定の結果がそれぞれの領域内部に表示される。たとえば、領域４１０は、名称が“Ａｒｅａ＿１”であり５人が検出され、領域４１１は、名称が“Ａｒｅａ＿１’”であり３人が検出されたことを示している。

更に、画像の全域の解析結果の表示４０９では“１５”が表示され、画像全域では１５人が検出されたことを示している。なお、画像全域の解析結果の表示４０９は、領域の変更において必須な情報というわけではない。ただし、領域４１０～４１３に対する検出数を画像全域の解析結果（検出数）と比較することにより、ユーザは、より適切な領域の設定を行うことができる可能性が増す。

以上説明したとおり第１実施形態によれば、既存の解析設定である解析領域に対する画像解析処理を実行中に、修正途中の解析設定である仮解析領域の編集を受け付け可能に構成する。すなわち、ユーザによる修正に際して既存の解析設定が破棄されることなく、ユーザは引き続き既存の解析設定に基づく解析結果を確認することが可能となる。これにより、ユーザは、煩雑な操作を行うことなく既存の解析設定である解析領域に対する画像解析処理の結果を確認することが出来、修正途中の解析設定である仮解析領域の設定（修正）をより直感的に行うことが出来る。

また、仮解析領域に対する画像解析処理の実行を併せて実行することにより、仮解析領域における誤検知や未検知を確認しながら設定を行うことが出来る。更に、解析領域に対する検知結果と仮解析領域に対する検知結果とを関連付けて表示することにより、修正前後での変化を確認することが出来、ユーザは仮解析領域の設定（修正）をより直感的に行うことが出来る。

（変形例）
上述の説明においては、既存の解析設定である解析領域に対する検知個数と修正途中の解析設定である仮解析領域に対する検知個数とを併せて表示することにより、修正前後での検知個数の変化を確認することを可能とした。例えば、図４の“Ａｒｅａ＿１”において“５（３）”と表示することにより、ユーザは、“Ａｒｅａ＿１”から“Ａｒｅａ＿１’”への修正により、２つの物体が検出されなくなったことを理解することができる。その際、修正前後での差分である当該２つの物体に対するマークを更に表示するよう構成してもよい。これにより、ユーザは、修正前後での検知結果の変化をより直感的に把握することが可能となる。

（第２実施形態）
第２実施形態では、検知対象とする物体のサイズ範囲を指定するサイズフィルタの設定を変更する形態について説明する。すなわち、第１実施形態においては、解析設定として解析領域の編集／削除のみを行ったが、第２実施形態では、更に、検知対象とする物体のサイズ範囲の編集／削除を行う。なお、システム構成及び装置構成、装置の動作は第１実施形態とほぼ同様であるため差異のある部分のみ説明する。解析設定として、解析領域に加えサイズ設定を含む点が第１実施形態と異なる。

＜装置構成＞
解析結果格納処理１１４では、第１実施形態における内外判定に加え、所与のサイズ範囲に収まらない物体（人体）を除外するサイズフィルタ処理を併せて行う。具体的には、解析設定処理１１５によって設定した解析設定（下限表示及び上限表示）及び／又は仮解析設定（仮下限表示及び仮上限表示）が示すサイズ範囲を、画像解析処理１１３によって検知した物体それぞれが満たすか否かをサイズ判定する。そして、解析領域に関する内外判定の結果とサイズ範囲に関するサイズ判定の結果との論理積（ＡＮＤ）をとり、解析結果１１８及び仮解析結果１１９としてそれぞれ保存する。サイズ範囲に関する判定を行うことによって極端に大きい物体や、極端に小さい物体の検知を排除することができる。

解析設定処理１１５は、画像解析処理１１３及び／又は解析結果格納処理１１４を行う際の条件設定を行うためのプログラムである。第２実施形態では、条件設定として物体のサイズ範囲を設定する。具体的には、図５を参照して後述する操作画面を表示部１１０に表示し、入力部１１１を介してユーザからの操作を受け付けつけ、解析設定（下限表示及び上限表示）及び／又は仮解析設定（仮下限表示及び仮上限表示）を設定する。

＜操作画面における表示＞
図５は、表示部に表示される操作画面の一例を示す図である。ここでは特に解析設定処理１１５において表示部１１０に表示されるユーザインタフェース（ＵＩ）である操作画面５００を示している。ここで、図５の参照符号５０１～５０９により示される各部は図４の参照符号４０１～４０９により示される各部とほぼ同様であるため説明を省略する。また、領域５１０，５１１，５１２は図４の領域４１０，４１２，４１３と同様であるため説明を省略する。操作画面５００では、図４を参照して説明した操作画面４００に対して、サイズフィルタの設定に関連する表示が追加されている。

具体的には、画像表示領域４０８には、撮像画像に対して、解析領域である領域５１０～５１２が重畳表示される。更に、画像全域に対する解析結果である表示５０９、領域５１０～５１２に対する領域名・解析結果が表示される。なお、第２実施形態では、解析結果として、各解析領域内でありかつサイズフィルタのサイズ範囲内である検知結果（人体の検出数）が表示される。

加えて、既存の解析設定である下限表示５１３及び上限表示５１４、修正途中の解析設定である仮上限表示５１５が表示されている。なお、初期状態では、仮解析設定（仮下限表示及び仮上限表示）は、既存の解析設定（下限表示及び上限表示）と同じ値が設定され得る。なお、ここでは、下限表示５１３及び上限表示５１４を、画像表示領域４０８の中央付近に上下方向に配置した例を示しているが、配置方法は任意に決定され得る。すなわち、ユーザが、下限表示５１３及び上限表示５１４と、撮像映像に含まれる人体画像とを容易に比較できる表示であればよい。

また、仮上限表示５１４のサイズを変更するためのＵＩ部品５１７、仮下限表示（図５では下限表示５１３に重畳）のサイズを変更するためのＵＩ部品５１６、が併せて表示されている。例えば、ユーザがマウスのドラッグ操作によりＵＩ部品５１７を右下（仮上限表示５１５の表示から離れる方向）に動かすと仮上限表示５１５は大きくなる。ＵＩ部品５１７を左上（仮上限表示５１５の表示に近づく方向）に動かすと仮上限表示５１５は小さくなる。

既存の解析設定である上限表示５１４は実線、修正途中の解析設定である仮上限表示５１５は破線で表示される。ここでは、仮上限表示５１５を上限表示５１４に比較し小さくなるようにサイズ変更した例を示している。このように、第１実施形態と同様に、既存の解析設定と修正途中の解析設定とを識別可能に表示する。

上述したように、第２実施形態では、領域５１０～５１２に対して、内外判定の結果とサイズ判定の結果との論理積（ＡＮＤ）がそれぞれの領域内部に表示される。たとえば、領域５１０（名称は“Ａｒｅａ＿１”）では、既存のサイズ範囲設定では５人が検出され、修正途中のサイズ範囲設定では３人が検出されたことを示している。すなわち、仮上限表示５１４のサイズを小さくした結果、サイズ範囲を満たす物体数が減っていることを示している。

更に、画像全域の解析結果の表示５０９では“１５（１３）”が表示されている。これは、画像全域において、既存のサイズ範囲設定では１５人が検出され、修正途中のサイズ範囲設定では１３人が検出されたことを示している。

以上説明したとおり第２実施形態によれば、既存の解析設定（領域及びサイズ範囲）に対する画像解析処理の実行を継続しつつ、修正途中の解析設定（サイズ範囲）の編集を受け付け可能に構成する。すなわち、ユーザによる修正に際して既存の解析設定が破棄されることなく、ユーザは引き続き既存の解析設定に基づく解析結果を確認することが可能となる。これにより、ユーザは、煩雑な操作を行うことなく既存の解析設定に対する画像解析処理の結果を確認することが出来、修正途中の解析設定（サイズ範囲の修正）をより直感的に行うことが出来る。

（変形例）
上述の説明においては、既存のサイズ範囲設定に対する検知個数と修正途中のサイズ範囲設定に対する検知個数とを併せて表示することにより、修正前後での検知個数の変化を確認することを可能とした。例えば、図５の“Ａｒｅａ＿１”において“５（３）”と表示することにより、ユーザは、仮上限表示５１５を上限表示５１４より小さくすることにより、２つの物体が検出されなくなったことを理解することができる。その際、修正前後での差分である当該２つの物体に対するマークを更に表示するよう構成してもよい。これにより、ユーザは、修正前後での検知結果の変化をより直感的に把握することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置； １０５ ネットワーク； １０６ 情報処理装置； １０７ 通信インタフェース； １０８ ＣＰＵ； １０９ 記憶部； １１０ 表示部； １１１ 入力部

Claims (11)

1. 撮像装置によって撮像された画像から物体を検出する検出手段と、
   前記画像における互いに異なる複数の領域を特定する特定手段と、
   前記複数の領域それぞれについて、前記検出手段により検出された物体のうち、前記画像における物体のサイズの下限および上限を示す第１のサイズ範囲に含まれるサイズの物体の数を示す第１の情報を取得する第１の取得手段と、
   前記第１のサイズ範囲の前記下限および前記上限の少なくとも一方に対して変更を加えた第２のサイズ範囲を設定する設定手段と、
   前記複数の領域それぞれについて、前記検出手段により検出された物体のうち、前記第２のサイズ範囲に含まれるサイズの物体の数を示す第２の情報を取得する第２の取得手段と、
   前記第１の情報と前記第２の情報とを、前記複数の領域それぞれについてリスト形式で表示する表示手段と、
   を有することを特徴とする画像処理装置。
2. 前記表示手段は、前記画像に重畳して、前記第１のサイズ範囲を示す情報と前記第２のサイズ範囲を示す情報とを表示する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の領域それぞれについて、前記第１のサイズ範囲に含まれるサイズの物体の数を判定する第１の判定手段と、
   前記複数の領域それぞれについて、前記第２のサイズ範囲に含まれるサイズの物体の数を判定する第２の判定手段と、
   をさらに有し、
   前記第１の取得手段は、前記第１の判定手段の判定結果を前記第１の情報として取得し、
   前記第２の取得手段は、前記第２の判定手段の判定結果を前記第２の情報として取得する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示手段は、前記複数の領域それぞれについて、前記第２の情報を前記第１の情報と区別可能に隣接して表示する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示手段は、前記第１のサイズ範囲の最小サイズを示す第１のガイドと、前記第１のサイズ範囲の最大サイズを示す第２のガイドと、を表示し、
   前記設定手段は、ユーザ入力に基づいて、前記第１のガイドおよび前記第２のガイドのサイズを変更し、前記第１のガイドのサイズを変更して得られた第３のガイドを最小サイズとし、かつ、前記第２のガイドのサイズを変更して得られた第４のガイドを最大サイズとする前記第２のサイズ範囲、を設定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記表示手段は、前記第１の情報と前記第２の情報とを前記画像に重畳して表示する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、前記物体として人体を検出する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. ユーザ入力に基づいて前記複数の領域を設定する領域設定手段をさらに有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の領域の１つは、前記画像の全域である
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 撮像装置によって撮像された画像から物体を検出する検出工程と、
    前記画像における互いに異なる複数の領域を特定する特定工程と、
    前記複数の領域それぞれについて、前記検出工程により検出された物体のうち、前記画像における物体のサイズの下限および上限を示す第１のサイズ範囲に含まれるサイズの物体の数を示す第１の情報を取得する第１の取得工程と、
    前記第１のサイズ範囲の前記下限および前記上限の少なくとも一方に対して変更を加えた第２のサイズ範囲を設定する設定工程と、
    前記複数の領域それぞれについて、前記検出工程により検出された物体のうち、前体のサイズが前記第２のサイズ範囲に含まれるサイズの物体の数を示す第２の情報を取得する第２の取得工程と、
    前記第１の情報と前記第２の情報とを、前記複数の領域それぞれについてリスト形式で併せて表示する表示工程と、
    を含むことを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images