JP6991045B2 - 画像処理装置、画像処理装置の制御方法 - Google Patents

Description

本発明は、撮像画像における動体の通過を検知するための技術に関するものである。

監視カメラの撮影映像から物体や人体を検出して追尾する技術がある。監視カメラの撮影映像では、被写体の顔や人体の特徴が検出しやすい方向に映るとは限らないため、顔や人体を検出し続けることは難しい。そこで、顔や人体のように特定の物体に限定した追尾を行うために、顔や人体に関連付けられた動体の通過を判定する方法が考案されている。

また、魚眼レンズを使用した監視カメラにおいては、通常の広角レンズに比べてはるかに広い画角で撮影が行える。しかし、魚眼レンズを使用した監視カメラによる撮影映像の形状は円形であるため、周囲の部分が黒枠表示になって無駄が生じたり、撮影画角によってはレンズの歪みにより大きく歪んだ撮影映像が取得されたりしてしまう。

そこで、ビューワにおいて、受信した撮影映像の歪みを補正した後に該撮影映像から矩形形状の映像を作成したり、監視カメラが、該監視カメラ内部で画像処理した歪み補正後の映像を送信したりする、ことが行われている。

特許文献１には、動体の検出結果と人体の検出結果とを対応付け、人体に対応付けられた動体の位置情報を過去に遡って通過を判定する方法が開示されている。また、特許文献２には、カメラの設置方向を自動的に推定し、該推定の結果に応じた方法で、撮像された画像の歪みを補正する方法が開示されている。

特許文献３に記載の発明では、魚眼レンズにより撮影される映像において人体の検出処理を開始する領域を、カメラの設置方向に応じて決定する。そして、カメラの設置方向に応じた歪み補正処理を行った後、決定された優先領域に対応する部分から人体の検出処理を実行する。

特許文献４には、複数カメラを用いて特定物体を検出する方法が開示されている。特許文献４に記載の発明では、天井に設置したカメラで人物の移動方向と顔の向きを推定し、カメラに対して人物が正面を向いていると推定されたカメラでは顔検出処理を行い、カメラに対して人物が背中を向けていると推定されたカメラでは人体検出処理を行う。

特開２０１２－１０３７５２号公報 特開２０１６－２５５１６号公報 特開２０１６－３９５３９号公報 特開２０１４－２０４３７５号公報

しかしながら、特許文献１に記載の発明では、蓄積された軌跡データに対する検出処理を行うため、軌跡を記録するための記憶領域を多く必要としてしまう。また特許文献１では、カメラの設置方向による映像の見え方の違いについては言及されておらず、特に魚眼レンズで撮影した場合の特定物体の検出精度については考慮されていない。そのため、魚眼レンズで撮影した映像に対しては、カメラの設置方向や物体の検出位置によっては通過の判定精度が低下してしまう場合があるという課題がある。

特許文献２や特許文献３に記載の発明では、天井付け設置のときに、カメラ内でダブルパノラマ方式による歪み補正処理を行っている。ダブルパノラマ方式は魚眼レンズの歪み補正に良く用いられるが、カメラの真下が死角になり、検知ができないという課題がある。特許文献４に記載の発明は、精度良く人物を検出するために２台以上のカメラを必要とし、単独のカメラで対応することは出来ない。

本発明はこのような問題に鑑みてなされたものであり、撮像画像における動体の検知をより簡便に行うための技術を提供する。

本発明の一様態は、撮像装置によって撮像される撮像画像における動体に関する検知処理のうち、前記撮像装置の設置に関する設定に応じて実行する検知処理を決定する決定手段と、
前記決定手段によって決定された検知処理の結果を出力する出力手段と
を備え、
前記決定手段は、前記動体が規定のオブジェクトであるかの識別の結果を用いずに所定の位置を通過した前記動体を検知する第１の検知処理、該識別の結果を用いて所定の位置を通過した前記動体を検知する第２の検知処理、のうちいずれか一方を、前記撮像装置の設置に関する設定に応じて実行する検知処理として決定することを特徴とする。

本発明の構成によれば、撮像画像における動体の検知をより簡便に行うことができる。

システムの構成例を示すブロック図。 動体の通過の検知処理のフローチャート。 ステップＳ２１２における処理の詳細を示すフローチャート。 ステップＳ２０２，Ｓ２０３の処理を説明する図。 システムの構成例を示すブロック図。 人体検出処理を説明する図。 第２の実施形態に係る処理のフローチャート。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、実空間中に配置される監視カメラなどのカメラ装置１０００と、該カメラ装置１０００と無線若しくは有線のネットワークを介して接続されている端末装置２０００と、を有する。

先ず、端末装置２０００について説明する。端末装置２０００は、スマートフォン、タブレット端末装置、ＰＣ（パーソナルコンピュータ）、等のコンピュータ装置であり、カメラ装置１０００の設定及び制御を行うと共に、カメラ装置１０００により撮像された映像を表示する。

ＣＰＵ２０１は、ＲＡＭ２０２やＲＯＭ２０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、端末装置２０００全体の動作制御を行うと共に、端末装置２０００が行うものとして後述する各処理を実行若しくは制御する。

ＲＡＭ２０２は、ＲＯＭ２０３や外部記憶装置２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）２０７を介してカメラ装置１０００から受信した映像、等を格納するためのエリアを有する。更にＲＡＭ２０２は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０２は、各種のエリアを適宜提供することができる。ＲＯＭ２０３には、端末装置２０００の設定データや基本プログラムなど、書換不要のコンピュータプログラムやデータなどが格納されている。

操作部２０４は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。

表示部２０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を画像や文字などでもって表示することができる。例えば表示部２０５には、カメラ装置１０００の各種の設定を行うためのＧＵＩ（グラフィカルユーザインターフェース）や、カメラ装置１０００から受信した映像が表示される。なお、操作部２０４と表示部２０５とを一体化させてタッチパネル画面を構成しても良い。

外部記憶装置２０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２０６には、ＯＳ（オペレーティングシステム）や、端末装置２０００が行うものとして後述する各処理をＣＰＵ２０１に実行若しくは制御させるためのコンピュータプログラムやデータなどが保存されている。外部記憶装置２０６に保存されているコンピュータプログラムには、上記のＧＵＩのコンピュータプログラムや、カメラ装置１０００から受信した映像等を表示するためのビューワのコンピュータプログラム、が含まれている。外部記憶装置２０６に保存されているデータには、以下の説明において既知の情報として端末装置２０００が取り扱うものや、上記のＧＵＩやビューワのデータが含まれている。外部記憶装置２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。

Ｉ／Ｆ２０７はカメラ装置１０００との間のデータ通信を行うための通信インターフェースとして機能するものであり、端末装置２０００はこのＩ／Ｆ２０７を介してカメラ装置１０００との間のデータの送受信を行う。

ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示部２０５、外部記憶装置２０６、Ｉ／Ｆ２０７は何れもバス２０８に接続されている。なお、図１に示した端末装置２０００の構成は一例であり、端末装置２０００が行うものとして後述する各処理を実行可能な構成であれば、如何なる構成を採用しても良い。

次に、カメラ装置１０００について説明する。カメラ装置１０００は、壁や天井などに取り付けて撮像範囲内の映像を撮像する監視カメラとして利用可能な撮像装置であり、撮像範囲内で動体が通過したか否かを検知する通過検知処理を行い、該通過検知処理の結果を端末装置２０００に対して送信する。カメラ装置１０００は単体の装置であっても良いし、スマートフォンやタブレット端末装置などの機器に組み込まれる装置であっても良い。

撮像部１０１は、外界の映像を撮像し、該映像の各フレームの画像（撮像画像）を出力する。判定部１０２は、カメラ装置１０００の設置方向を判定する。画像変換部１０３は、判定部１０２が判定したカメラ装置１０００の設置方向に応じて、撮像部１０１からの撮像画像、該撮像画像に対して歪み補正を行うことで得られる撮像画像、の何れかを出力する。

画像符号化部１０４は、画像変換部１０３から出力された撮像画像を符号化する。制御部１０５は、ＣＰＵやＭＰＵ等の１つ以上のプロセッサと、該プロセッサが実行するコンピュータプログラムやデータを保持するメモリと、を有する。そして該１つ以上のプロセッサが該メモリに格納されているコンピュータプログラムやデータを用いて処理を実行することで、図１に示したカメラ装置１０００の各機能部を含むカメラ装置１０００全体の動作制御を行う。Ｉ／Ｆ（インターフェース）部１０６は、ネットワークを介して端末装置２０００との間のデータ通信を行うための通信インターフェースとして機能する。

動体検出部１０７は、画像変換部１０３から出力された撮像画像から動体を検出する。動体追尾部１０８は、フレーム間で同じ動体を対応付けることで該動体を追跡する。人体検出部１０９は、画像変換部１０３から出力された撮像画像から人（人体）を検出する。

対応付け部１１０は、撮像画像から検出した動体と、該撮像画像から検出した人体と、を対応付ける。保持部１１１は、画像変換部１０３から出力される撮像画像における動体の通過の検知を行うためのパラメータを保持する。通過判定部１１２は、保持部１１１に保持されているパラメータに基づき、画像変換部１０３から出力される撮像画像における動体の通過の検知処理を行う。管理部１１３は、人体と対応付けられなかった動体を管理する。

次に、カメラ装置１０００による動体の通過の検知処理について、図２のフローチャートに従って説明する。なお、図２のフローチャートでは、撮像部１０１は魚眼レンズを有し、各フレームの撮像画像として魚眼画像を出力するものとしている。

ステップＳ２０１では、判定部１０２は、カメラ装置１０００の設置方向を判定する。カメラ装置１０００の設置方向を判定するための構成には様々な構成が考えられ、本実施形態では、如何なる構成を採用しても良い。

例えば、カメラ装置１０００に方向センサが備わっている場合、判定部１０２は該方向センサが測定した「カメラ装置１０００の現在の方向（撮像方向）」をカメラ装置１０００の設置方向として判定する。

また、カメラ装置１０００の設置方向は、端末装置２０００から取得するようにしても良い。例えばオペレータは、端末装置２０００の操作部２０４を操作して「カメラ装置１０００の設置方向」を設定し、該設定の後、操作部２０４を操作して送信指示を入力する。端末装置２０００のＣＰＵ２０１は該送信指示を検知すると、該設定した「カメラ装置１０００の設置方向」をＩ／Ｆ２０７を介してカメラ装置１０００に対して送信する。これにより判定部１０２は、「カメラ装置１０００の設置方向」を端末装置２０００から取得することができる。

また、オペレータは操作部２０４を操作して、カメラ装置１０００の設置位置を設定するようにしても良い。この場合、端末装置２０００は、カメラ装置１０００の設置位置をカメラ装置１０００に対して送信することになる。

例えばカメラ装置１０００の設置位置が「壁面」の場合、判定部１０２は、カメラ装置１０００の設置方向を「水平方向」と判定し、設置位置が「天井」の場合、判定部１０２は、カメラ装置１０００の設置方向を「鉛直下向き」と判定する。この場合、カメラ装置１０００には、設置位置と設置方法とを対応付けたテーブルが予め登録されている必要があり、判定部１０２はこのテーブルを参照して、カメラ装置１０００の設置位置に対応する設置方向を取得する。カメラ装置１０００の設置位置が「壁面」であり、設置方向が「水平方向」と判定される場合は撮像される領域の中心の方向が水平方向となっている。また、カメラ装置１０００の設置位置が「天井」であり、カメラ装置１０００の設置方向が「鉛直下向き」と判定される場合は、撮像される領域の中心の方向が鉛直下向きとなっている。

なお、「水平方向」は、床面と平行な方向（壁面と垂直な方向）と完全に一致することを意図したものではなく、床面と平行な方向（壁面と垂直な方向）に対して規定角度範囲内の角度を有する方向を許容する。同様に、「鉛直下向き」は、床面に対して垂直な方向（下向き）と完全に一致することを意図したものではなく、床面に対して垂直な方向（下向き）に対して規定角度範囲内の角度を有する方向を許容する。

図２のフローチャートでは一例として、カメラ装置１０００の設置方向は「水平方向」、「鉛直下向き」の何れかであるとする。判定部１０２が、カメラ装置１０００の設置方向が「水平方向」であると判定した場合、処理はステップＳ２０２に進み、判定部１０２が、カメラ装置１０００の設置方向が「鉛直下向き」であると判定した場合、処理はステップＳ２０３に進む。

ステップＳ２０２では、画像変換部１０３は、撮像部１０１から出力された魚眼画像からシングルパノラマ画像を生成し、該生成したシングルパノラマ画像を処理対象画像として出力する。一方、ステップＳ２０３では、画像変換部１０３は、撮像部１０１から出力された魚眼画像を処理対象画像として出力する。

ステップＳ２０２では画像変換部１０３は、例えば図４（ａ）に示す如く、撮像部１０１から出力された魚眼画像４０１の中央付近の画像領域４０２に対して歪み補正を行って切り出した画像をシングルパノラマ画像４０３として生成する。そして画像変換部１０３は、該生成したシングルパノラマ画像４０３を処理対象画像として出力する。シングルパノラマ画像４０３の生成において魚眼画像４０１の上下部はカットされるが、上部はほぼ天井が映っており、下部は撮像部１０１の真下付近が映るため、どちらも人体の検出には不要な領域である。

またステップＳ２０３では画像変換部１０３は、図４（ｂ）に示す如く、撮像部１０１から出力された魚眼画像４０４に対して歪み補正を行うことなく、該魚眼画像４０４を処理対象画像として出力する。魚眼画像４０４では、場所によって人が横向きや逆さ向きに映るが、画像内に全ての画角が含まれている。周辺部になるほど撮像部１０１から遠くの被写体が映り、中央付近になるほど撮像部１０１に近くの被写体が映っている。そのため、検知線を引く場所によっては中央付近も重要な検知領域となる。

なお、ステップＳ２０２，Ｓ２０３では、画像に対して色補正などの画像処理を適宜行うようにしても良い。

図２に戻って、次にステップＳ２０５では、動体検出部１０７は、画像変換部１０３から出力された処理対象画像から動体（動体領域）を検出する。画像から動体を検出するための方法には様々な方法があり、特定の方法に限らない。例えば、予め撮像部１０１によって撮像された背景画像（人体を含まない撮像画像）を保持しておき、動体検出部１０７は、画像変換部１０３から処理対象画像を取得すると、該処理対象画像と背景画像との差分画像を生成する。そして動体検出部１０７は、該差分画像において規定値以上の差分値を画素値として有する画素で構成される領域を動体領域として検出する。

次にステップＳ２０６では、制御部１０５は、動体検出部１０７が処理対象画像から１つ以上の動体を検出したのか否かを判断する。この判断の結果、処理対象画像から１つ以上の動体を検出したのであれば、処理はステップＳ２０７に進み、処理対象画像から１つも動体を検出しなかった場合には、処理はステップＳ２０１に戻る。

ステップＳ２０７では、動体追尾部１０８は、ステップＳ２０５において検出した動体と、直前のフレームの処理対象画像から検出した動体と、で同じ動体を対応付けることで、フレーム間で動体を追跡する。この追跡処理については周知の技術であるため、これに係る詳細な説明は省略する。

そして次に、上記のステップＳ２０１において判定部１０２が、カメラ装置１０００の設置方向が「水平方向」であると判定した場合には、処理はステップＳ２０８を介してステップＳ２１２に進む。一方、上記のステップＳ２０１において判定部１０２が、カメラ装置１０００の設置方向が「鉛直下向き」であると判定した場合には、処理はステップＳ２０８を介してステップＳ２１０に進む。

ステップＳ２１０では、通過判定部１１２は、保持部１１１が保持する「処理対象画像上の検知線を規定するパラメータ」を読み出す。保持部１１１に保持されているパラメータは、例えば、該検知線の両端の画像座標位置を示すパラメータである。なお、保持部１１１には、検知領域を規定するパラメータが格納されていても良い。検知領域が矩形の場合、このパラメータは、矩形の４隅の画像座標を示すパラメータである（他にも例えば、矩形の対向する２隅の画像座標を示すパラメータであっても良いし、１隅の画像座標と矩形の縦横サイズを示すパラメータであっても良い）。また検知領域が円形の場合は、このパラメータは、円の中心の画像座標位置と半径とを示すパラメータである。また、保持部１１１が保持するパラメータには、通過検知の対象となる動体を規定するパラメータが含まれていても良い。

保持部１１１が保持するパラメータは、カメラ装置１０００が有する不図示の操作部をオペレータが操作することで設定しても良いし、端末装置２０００のオペレータが操作部２０４を操作することで設定してカメラ装置１０００に送信しても良い。何れの設定方法であっても、設定されたパラメータは制御部１０５によって取得され、該取得したパラメータは保持部１１１に格納される。このパラメータは適宜編集しても良い。

そして通過判定部１１２は、動体追尾部１０８が追跡した動体の移動軌跡が、保持部１１１が保持するパラメータによって規定される検知線（及び／又は検知領域）を通過したか否かを判断する（通過検知処理）。なお、保持部１１１に、通過検知の対象となる動体を規定するパラメータが含まれている場合には、通過判定部１１２は、上記のステップＳ２０５において検出した動体のうち、該パラメータに対応する動体について通過検知処理を行う。例えば保持部１１１に、通過検知処理の対象となる動体のサイズ「縦Ｈ画素×横Ｗ画素」を示すパラメータが格納されているとする。このとき通過判定部１１２は、上記のステップＳ２０５において検出した動体のうち「縦Ｈ画素×横Ｗ画素」以上のサイズを有する動体について通過検知処理を行う。また、保持部１１１に動体の属性（性別、服の色、移動速度など）を規定するパラメータが格納されている場合、通過判定部１１２は、上記のステップＳ２０５において検出した動体のうち、該属性に該当する動体について通過検知処理を行う。

そしてステップＳ２１１では、制御部１０５は、通過判定部１１２による判断の結果を、Ｉ／Ｆ部１０６を介して端末装置２０００に対して送信する。例えば、１つ以上の動体が検知線や検知領域を通過したことを通過判定部１１２が検知した場合には、制御部１０５は、その旨を端末装置２０００のオペレータに通知するための通知情報を端末装置２０００に対して送信する。通知情報は、例えば、１つ以上の動体が検知線や検知領域を通過したことを示すメッセージ（テキストであっても良いし画像であっても良い）であっても良いし、検知線や検知領域を通過した動体の領域を囲む枠の情報（枠情報）であっても良い。また、１つ以上の動体が検知線や検知領域を通過したことを音声出力にて端末装置２０００のオペレータに通知する場合には、通知情報は、その通知内容に対応する音声データであっても良い。

このような通知情報を受信した端末装置２０００のＣＰＵ２０１は、該通知情報に応じた情報通知処理を行う。例えば、通知情報が上記のメッセージである場合には、ＣＰＵ２０１は、このメッセージを表示部２０５に表示する。また、通知情報が枠情報である場合には、ＣＰＵ２０１は、表示部２０５の表示画面において、該枠情報が示す位置（検知線や検知領域を通過した動体の領域の位置）に該枠情報が示す枠の画像を表示する。また、端末装置２０００にスピーカなどの音声出力機器が接続されている場合には、ＣＰＵ２０１は、通知情報に含まれている音声データに基づく音声を、該音声出力機器から出力させる。そして処理はステップＳ２０１に戻る。

一方、ステップＳ２１２では、図３のフローチャートに従って、処理対象画像に対する通過検知処理を行う。ステップＳ２１２における処理の詳細について、図３のフローチャートに従って説明する。

ステップＳ３０１では、人体検出部１０９は、処理対象画像におけるそれぞれの動体領域（画像領域）が人体の領域（人体領域）であるのか否かを判断する。処理対象画像におけるそれぞれの動体領域が人体領域であるのか否かを判断するための処理には様々な処理があり、特定の処理に限らない。

例えば人体検出部１０９は、動体領域の画像特徴量と予め収集した人体領域の画像特徴量との類似度が閾値以上であれば、該動体領域は人体領域であると判断し、該類似度が閾値未満であれば、該動体領域は人体領域ではないと判断する。

また例えば人体検出部１０９は、予め収集した人体領域の画像特徴量を学習した学習器に動体領域の画像特徴量を入力することで得られる該学習器の出力に基づいて、該動体領域が人体領域であるのか否かを判断するようにしても良い。

このように、ステップＳ３０１における処理により、処理対象画像におけるそれぞれの動体領域が人体領域であるのか否かを特定することができる。然るにステップＳ３０２では、対応付け部１１０は、処理対象画像におけるそれぞれの動体領域のうち人体領域であると判断された動体領域に対して「人体領域であることを示す情報」（人体属性）を対応付ける。また対応付け部１１０は、処理対象画像におけるそれぞれの動体領域のうち人体属性が対応付けられていない動体領域に対して非人体属性を対応付ける。このような対応付け部１１０による対応付け処理が、動体領域と人体領域との対応付け処理に対応する。

なお、ステップＳ３０１で人体検出部１０９は、処理対象画像全体に対して人体領域を検出する処理を行い、ステップＳ３０２で対応付け部１１０は、処理対象画像において人体領域との距離が閾値未満となる動体領域に人体属性を対応付けるようにしても良い。また、対応付け部１１０は、動体領域の全体面積に対する「人体領域と重なる面積」の割合が規定値以上であれば、該動体領域に人体属性を対応付けるようにしても良い。

なお、互いに重なり合っている複数の人体を含む処理対象画像の場合、該複数の人体が１つの動体領域として該処理対象画像から検出される可能性がある。このように、１つの動体領域に複数の人体領域が含まれているような場合、対応付け部１１０は、該１つの動体領域を人体領域ごとに分割し、それぞれの人体領域に人体属性を対応付けるようにしても良い。このように、画像において人体領域とおぼしき動体領域には人体属性を対応付けることで、以降の処理において、通過検知処理の対象を人体に絞って行うことが可能となる。

このように、処理対象画像において人体領域とおぼしき動体領域には人体属性を対応付け、処理対象画像において人体領域とおぼしき動体領域ではない動体領域には非人体属性を対応付けるのであればステップＳ３０１、Ｓ３０２の処理は特定の処理に限らない。

ステップＳ３０３では、通過判定部１１２は、処理対象画像における動体領域のうち通過検知処理の対象として未選択の動体領域が残っているのか否かを判断する。この判断の結果、未選択の動体領域が残っている場合には、処理はステップＳ３０４に進み、残っていない場合には、処理はステップＳ３０８に進む。

ステップＳ３０４では、通過判定部１１２は、処理対象画像において人体属性が対応付けられている動体領域のうち通過検知処理の対象として未選択の動体領域が残っているか否かを判断する。この判断の結果、未選択の動体領域が残っている場合には、処理はステップＳ３０５に進み、残っていない場合には、処理はステップＳ３０６に進む。

ステップＳ３０５で通過判定部１１２は、処理対象画像において人体属性が対応付けられている動体領域のうち通過検知処理の対象として未選択の動体領域を１つ選択動体領域として選択し、該選択動体領域について通過検知処理を行う。なお、上記の通り、保持部１１１に、通過検知の対象となる動体を規定するパラメータが保持されている場合には、人体属性が対応付けられている動体領域のうち該パラメータに対応する動体領域が選択対象となる。

ステップＳ３０５における通過検知処理では、人体と判定された動体について通過検知処理を行うことになるので、例えば、検知線や検知領域を通過した人体の数をカウントするなど、監視対象を人体に限って処理を行うことができる。

通過判定部１１２による通過検知処理の結果（判定結果）は、制御部１０５によってＩ／Ｆ部１０６を介して端末装置２０００に対して送信される。そして処理はステップＳ３０３に戻る。

一方、ステップＳ３０６では、通過判定部１１２は、処理対象画像において非人体属性が対応付けられている動体領域のうち通過検知処理の対象として未選択の動体領域が残っているか否かを判断する。この判断の結果、未選択の動体領域が残っている場合には、処理はステップＳ３０７に進み、残っていない場合には、処理はステップＳ３０３に戻る。

ステップＳ３０７で通過判定部１１２は、処理対象画像において非人体属性が対応付けられている動体領域のうち通過検知処理の対象として未選択の動体領域を１つ選択動体領域として選択し、該選択動体領域について上記の通過検知処理を行う。なお、上記の通り、保持部１１１に、通過検知の対象となる動体を規定するパラメータが保持されている場合には、非人体属性が対応付けられている動体領域のうち該パラメータに対応する動体領域が選択対象となる。管理部１１３は、「処理対象画像において非人体属性が対応付けられている動体領域」と「該動体領域に対する通過検知処理の結果（仮判定結果）」と、のセットを保持する。そして処理はステップＳ３０３に戻る。

ステップＳ３０８では、管理部１１３は、１つ以上のセットを管理しているか否かを判断する。この判断の結果、管理部１１３が、１つ以上のセットを管理している場合には、処理はステップＳ３０９に進む。一方、管理部１１３が１つも上記のセットを管理していない場合には、処理はステップＳ２０１に進む。

ステップＳ３０９では、管理部１１３は、管理部１１３が管理しているセットのうち、現フレームの処理対象画像から検出されなかった動体領域のセットが存在するか否かを判断する。この判断の結果、管理部１１３が管理しているセットのうち、現フレームの処理対象画像から検出されなかった動体領域のセットが存在する場合には、処理はステップＳ３１０に進む。一方、管理部１１３が管理しているセットのうち、現フレームの処理対象画像から検出されなかった動体領域のセットが存在しなかった場合には、処理はステップＳ３１１に進む。

ステップＳ３１０では、管理部１１３は、自身が管理しているセットのうち、現フレームの処理対象画像から検出されなかった動体領域のセットを削除する。そして処理はステップＳ３０８に戻る。

一方、ステップＳ３１１では、管理部１１３は、自身が管理するセットのうち、現フレームの処理対象画像から検出された動体領域（人体属性が対応付けられた動体領域）と同じ動体領域のセットが存在するか否かを判断する。この判断の結果、存在する場合には、処理はステップＳ３１２に進み、存在しない場合には、処理はステップＳ３１４に進む。

ステップＳ３１２では、制御部１０５は、管理部１１３が管理するセットのうち、現フレームの処理対象画像から検出された動体領域（人体属性が対応付けられた動体領域）と同じ動体領域のセットに含まれている通過検知処理の結果を、Ｉ／Ｆ部１０６を介して端末装置２０００に対して送信する。なおステップＳ３１２では制御部１０５は更に若しくは代えて、通過判定部１１２が現フレームの処理対象画像から検出した動体領域（人体属性が対応付けられた動体領域）の通過検知処理の結果のうち、管理部１１３が管理するセットに対応する通過検知処理の結果を、Ｉ／Ｆ部１０６を介して端末装置２０００に送信しても良い。

ステップＳ３１３では、管理部１１３は、自身が管理するセットのうち、現フレームの処理対象画像から検出された動体領域（人体属性が対応付けられた動体領域）と同じ動体領域のセットを削除する。

ステップＳ３１４では、制御部１０５は、管理部１１３が管理するセットのうち期限切れのセットがあるか否かを判断する。例えば制御部１０５は、管理部１１３が管理するセットのうち、管理を開始してから規定時間以上が経過したセットについては期限切れのセットと判定する。この判断の結果、管理部１１３が管理するセットのうち期限切れのセットがある場合には、処理はステップＳ３１５に進み、管理部１１３が管理するセットのうち期限切れのセットがない場合には、処理はステップＳ３０８に進む。ステップＳ３１５では、管理部１１３は、期限切れのセットを削除する。そして処理はステップＳ３０８に戻る。

このように、本実施形態によれば、同一の判定パラメータに対してカメラの設置方向に適した通過判定処理を行うことが可能となり、設定が容易でありがなら精度良く人の通過を判定することが可能となる
［第２の実施形態］
第１の実施形態では、カメラ装置１０００の設置方向が鉛直下向きの場合には、画像における人体領域の識別は行わなかったので、人体領域を鑑みた通過検知処理を行うことはなかった。本実施形態では、カメラ装置１０００に人体領域識別用の辞書が登録されている場合には、カメラ装置１０００の設置方向が鉛直下向きであっても、画像における人体領域の識別は可能であるから、人体領域を鑑みた通過検知処理を行う。以下では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。

本実施形態に係るシステムの構成例について、図５のブロック図を用いて説明する。図５に示す如く、図５に示した構成は、図１に示した構成において、カメラ装置１０００に判定部１１５及び追加部１１４を加えた構成である。

第１の実施形態でも本実施形態でもカメラ装置１０００には、処理対象画像内で直立した人体（画像の上部から下部に向けて頭部から足先まで写っている人体（以下、直立人体と称する））を識別するための辞書である正面辞書が予め登録されている。然るに第１の実施形態でも本実施形態でも、人体検出部１０９は、このような正面辞書を用いて処理対象画像から直立人体の領域を識別することができる。

本実施形態ではこれに加え、画像内で回転している人体の領域をも識別可能にするために、追加の辞書をカメラ装置１０００に登録するための構成を有する。追加部１１４は、このような追加の辞書をカメラ装置１０００に追加登録するためのものである。カメラ装置１０００への追加の辞書の登録方法には様々な方法が考えられ、本実施形態では如何なる方法を採用しても良い。例えばカメラ装置１０００にＳＤカードやＵＳＢメモリなどのメモリ装置を装着した場合には、追加部１１４は該メモリ装置から追加の辞書を読み出してカメラ装置１０００に登録する。また、端末装置２０００から追加の辞書が送信された場合には、追加部１１４は、この送信された辞書を受信してカメラ装置１０００に登録する。

例えば、図６に示す魚眼画像６０１中のドーナッツ型の領域の部分領域６０２には人体ｈ１，ｈ２が写っており、部分領域６０３には人体ｈ３が写っており、部分領域６０５には人体ｈ４が写っており、部分領域６０４には人体は写っていない。また、魚眼画像６０１における中央の部分領域には人体ｈ５が写っている。

部分領域６０２に写っている人体ｈ１，ｈ２は何れも直立人体である。然るに、人体検出部１０９は、正面辞書を用いて人体識別処理を行い、その結果、部分領域６０２から人体ｈ１，ｈ２を識別することができる。

部分領域６０３に写っている人体ｈ３は、魚眼画像６０１における左端から右端に向けて頭部から足先までが写っている人体（以下、真横人体と称する）である。然るに追加部１１４は追加辞書としてこのような真横人体を識別するための辞書（真横辞書）をカメラ装置１０００に登録することで、人体検出部１０９は、真横辞書を用いて人体識別処理を行い、その結果、部分領域６０３から人体ｈ３を識別することができる。

部分領域６０５に写っている人体ｈ４は、魚眼画像６０１における下部から上部に向けて頭部から足先までが写っている人体（以下、逆さ人体と称する）である。然るに追加部１１４は追加辞書としてこのような逆さ人体を識別するための辞書（逆さ辞書）をカメラ装置１０００に登録することで、人体検出部１０９は、逆さ辞書を用いて人体識別処理を行い、その結果、部分領域６０５から人体ｈ４を識別することができる。

本実施形態では、追加部１１４は、正面辞書が予め登録されているカメラ装置１０００に対して新たに追加辞書として、真横辞書及び逆さ辞書を追加登録するものとする。然るに、動体が部分領域６０２，６０３，６０４，６０５の何れかに位置する限りは、該動体が人体であるか否かの識別処理は可能である。

ここで上記の通り、魚眼画像６０１における中央領域には人体ｈ５が写っているが、この人体は正面人体でも、真横人体でも、逆さ人体でもないので、正面辞書、真横辞書、逆さ辞書の何れを用いても人体として識別されない。しかし、この人体ｈ５は動体としては検出されるため、非人体属性が対応付けられることになる。

本実施形態では、図２のフローチャートに従った処理の開始前に、図７のフローチャートに従った処理が行われる。ステップＳ７０１では、判定部１０２は上記のステップＳ２０１と同様の処理により、カメラ装置１０００の設置方向を判定する。この判定の結果、カメラ装置１０００の設置方向が水平方向の場合には、処理はステップＳ７０２に進み、カメラ装置１０００の設置方向が鉛直下向きの場合には、処理はステップＳ７０４に進む。

ステップＳ７０２では、判定部１１５は、処理対象画像に対する人体の識別処理は可能と判断する。一方、ステップＳ７０４では、判定部１１５は、追加部１１４により真横辞書及び逆さ辞書がカメラ装置１０００に追加登録済みであるか否かを判断する。この判断の結果、追加部１１４により真横辞書及び逆さ辞書が追加登録済みである場合には、処理はステップＳ７０５に進み、追加部１１４により真横辞書及び逆さ辞書が追加登録済みではない場合には、処理はステップＳ７０６に進む。

ステップＳ７０５では、判定部１１５は、処理対象画像に対する人体の識別処理は可能と判断する。一方、ステップＳ７０６では、判定部１１５は、処理対象画像に対する人体の識別処理は不可能と判断する。

上記のように、カメラ装置１０００の設置方向が水平方向であれば、判定部１１５により「処理対象画像に対する人体の識別処理は可能」と判断されるので、図２のステップＳ２１２では、第１の実施形態と同様に、図３のフローチャートに従った処理を行う。なお、このときに人体検出部１０９において使用される辞書は正面辞書である。

一方、上記のように、カメラ装置１０００の設置方向が鉛直下向きであっても、真横辞書及び逆さ辞書が追加登録されている場合には、判定部１１５により「処理対象画像に対する人体の識別処理は可能」と判断される。然るに、この場合、ステップＳ２１０では、人体検出部１０９は、図３のフローチャートに従った処理を行う。その際、ステップＳ３０１では、正面辞書に加えて真横辞書及び逆さ辞書を用いて、各動体が人体であるのか否かの識別処理を行う。また、その場合、ステップＳ２１１は省略可能である。

また、カメラ装置１０００の設置方向が鉛直下向きであり、真横辞書及び逆さ辞書が追加登録されていない場合には、判定部１１５により「処理対象画像に対する人体の識別処理は不可能」と判断される。然るに、この場合、ステップＳ２１０では、人体検出部１０９は、第１の実施形態と同様と同様の処理行う。

このように、本実施形態によれば、追加の人体辞書の有無で人体検出可否を判定するので、カメラ装置１０００の設置方向が水平方向であっても鉛直下向きであっても、人体辞書を追加したときに人体属性の付いた動体の通過を判定することが可能になる。

［第３の実施形態］
図１，５のカメラ装置１０００の各機能部はハードウェアで実装しても良いし、一部をソフトウェアで実装しても良い。例えば、撮像部１０１、制御部１０５、Ｉ／Ｆ部１０６、保持部１１１以外の機能部のうち１つ以上の機能部の機能を制御部１０５に実行させるためのコンピュータプログラムを、制御部１０５が有するメモリに格納しておいても良い。この場合、このコンピュータプログラムは制御部１０５が有するプロセッサによって実行され、これにより制御部１０５は、対応する機能部の機能を実現することができる。

また、図１，５のカメラ装置１０００を２つ以上の機器で構成しても良い。例えば図１，５に示したカメラ装置１０００を、撮像部１０１として機能する撮像装置と、撮像部１０１以外の機能部群を有するコンピュータ装置と、で構成しても良い。この場合、該コンピュータ装置には該撮像装置と、上記の端末装置２０００とが接続されることになる。そして、該撮像装置と該コンピュータ装置とで協調動作を行うことで、上記のカメラ装置１０００として機能する。

また、図１，５のカメラ装置１０００の構成は適宜変更しても良い。例えば、図１，５の構成では、画像変換部１０３から出力された画像を画像符号化部１０４によって圧縮符号化したが、画像符号化部１０４を省略し、画像変換部１０３から出力された画像を圧縮符号化することなく端末装置２０００に対して送信しても良い。また、ユーザからの指示などに応じて、画像符号化部１０４による圧縮符号化を行う／行わないを切り替えるようにしても良い。また、圧縮符号化する場合であっても、その圧縮符号化形式は特定の圧縮符号化形式に限らない。

また、図１，５ではカメラ装置１０００及び端末装置２０００のそれぞれの数を１としたが、カメラ装置１０００及び端末装置２０００のそれぞれの数は１に限るものではなく、２以上であっても良い。また、端末装置２０００以外の機器をカメラ装置１０００に接続しても良い。

また、第１，２の実施形態では、「人体領域」の代わりに若しくは加えて「動物」、「乗り物」、「建物」等の他の種類のオブジェクトの領域を対象としても良い。また、第１，２の実施形態では、映像は動画像であっても良いし、定期的若しくは不定期的に撮像される静止画像の集合であっても良い。

また、図３のフローチャートに従った処理では、非人物属性が対応付けられた動体領域についての通過検知処理の結果を得ることもできるので、これを通知するようにしても良い。つまり、通過検知処理における人体領域の検出結果の使用方法については特定の使用方法に限らない。

また、第１，２の実施形態では、カメラ装置１０００の設置方向が鉛直下向きであったり、人体識別用の辞書がない場合には、動体が人体であるのかの識別処理は行わないものとした。これは、画像中の動体が人体として識別し難い若しくは識別できないことに起因する。然るに、カメラ装置１０００の設置方向や人体識別用の辞書の有無以外にも、カメラ装置１０００の撮像状態が人体として識別し難い状況にあるのかに応じて、人体の識別を行うのか否かを切り替えても良い。「カメラ装置１０００の撮像状態が人体として識別し難い状況」には、例えば、撮像部１０１の撮像環境における明るさが暗い若しくは明るすぎる、霧が濃い等がある。そして例えば、ステップＳ２０８において、人体として識別し難い状況であれば、処理はステップＳ２１０に進み、人体として識別し難い状況ではない場合には、処理はステップＳ２１２に進むようにしても良い。

なお、「人体として識別し難い状況」であるか否かの判断は、例えば、カメラ装置１０００が有するセンサが、規定レベル以下の明るさ若しくは規定レベル以上の明るさを検知した場合には、「人体として識別し難い状況」と判断するようにしてもよい。また、撮像画像のボケ量が大きい場合には、「人体として識別し難い状況」と判断するようにしてもよい。なお、以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

また、本発明は、通過検知以外にも撮像画像に含まれる物体の数をカウントする（数える）カウント処理にも応用することができる。つまり、撮像画像に含まれる物体の数を該物体が特定のオブジェクト（例えば人体）であるかの識別の結果を用いずにカウントする第１のカウント処理と、撮像画像に含まれる物体の数を該物体が特定のオブジェクト（例えば人体）であるかの識別の結果を用いてカウントする第２のカウント処理、のうち撮像装置の撮像状態に応じた一方を実行するようにしてもよい。つまり、撮像装置の設置方向が鉛直下向きである場合には、第１のカウント処理を実行し、撮像装置の設置方向が水平方向である場合には、第２のカウント処理を実行する。

第１のカウント処理では、人体であるか否かにかかわらず動体（又は前景物体）をカウントし、第２のカウント処理では、人体と判定された動体のみをカウントすることとなる。例えば、第１のカウント処理は、ステップＳ２１０において実行され、第２のカウント処理はステップＳ２１２において実行される。上記のカウント処理は、例えば、動体検出部１０７、動体追尾部１０８、人体検出部１０９、及び対応付け部１１０の出力に基づいて、制御部１０５によって、実行される。

また、上記の説明において画像処理装置としてのカメラ装置１０００が行うものとして説明した処理（例えば、図２，３，７のフローチャートに従った処理）の一部若しくは全部は画像処理装置としての端末装置２０００において実行しても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像部 １０２：判定部 １０３：画像変換部 １０４：画像符号化部 １０５：制御部 １０６：Ｉ／Ｆ部 １０７：動体検出部 １０８：動体追尾部 １０９：人体検出部 １１０：対応付け部 １１１：保持部 １１２：通過判定部 １１３：管理部

Claims (13)

1. 撮像装置によって撮像される撮像画像における動体に関する検知処理のうち、前記撮像装置の設置に関する設定に応じて実行する検知処理を決定する決定手段と、
   前記決定手段によって決定された検知処理の結果を出力する出力手段と
   を備え、
   前記決定手段は、前記動体が規定のオブジェクトであるかの識別の結果を用いずに所定の位置を通過した前記動体を検知する第１の検知処理、該識別の結果を用いて所定の位置を通過した前記動体を検知する第２の検知処理、のうちいずれか一方を、前記撮像装置の設置に関する設定に応じて実行する検知処理として決定することを特徴とする画像処理装置。
2. 前記決定手段は、前記撮像装置の設置方向が鉛直下向きである場合には、前記第１の検知処理を前記撮像装置の設置に関する設定に応じて実行する検知処理として決定し、前記撮像装置の設置方向が水平方向である場合には、前記第２の検知処理を前記撮像装置の設置に関する設定に応じて実行する検知処理として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記撮像装置の設置方向が鉛直下向きであっても、前記識別のための辞書が前記画像処理装置に登録されている場合には、前記第２の検知処理を前記撮像装置の設置に関する設定に応じて実行する検知処理として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記辞書は、前記撮像画像における動体の向きに対応する辞書であることを特徴とする請求項３に記載の画像処理装置。
5. 更に、
   前記辞書を登録する手段を備えることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記決定手段は、前記撮像装置の撮像環境が規定の明るさよりも暗い場合には、前記第１の検知処理を前記撮像装置の設置に関する設定に応じて実行する検知処理として決定し、前記撮像装置の撮像環境が規定の明るさよりも明るい場合には、前記第２の検知処理を前記撮像装置の設置に関する設定に応じて実行する検知処理として決定することを特徴とする請求項１に記載の画像処理装置。
7. 前記第２の検知処理は、前記撮像画像における動体のうち規定のオブジェクトであると識別した動体が所定の位置を通過したことを検知する検知処理であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記規定のオブジェクトは人物であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記第１の検知処理は、前記撮像画像における前記動体の動き情報に基づいて、前記動体が所定の位置を通過したことを検知する検知処理であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記出力手段は、前記決定手段によって決定された検知処理の結果を示す情報を外部の装置に対して送信することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記出力手段は、前記決定手段によって決定された検知処理の結果に基づいて、所定の位置を通過した動体の数を出力することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
13. 画像処理装置の制御方法であって、
    撮像装置によって撮像される撮像画像における動体に関する検知処理のうち、前記撮像装置の設置に関する設定に応じて実行する検知処理を決定する決定工程と、
    前記決定工程によって決定された検知処理の結果を出力する出力工程と
    を備え、
    前記決定工程では、前記動体が規定のオブジェクトであるかの識別の結果を用いずに所定の位置を通過した前記動体を検知する第１の検知処理、該識別の結果を用いて所定の位置を通過した前記動体を検知する第２の検知処理、のうちいずれか一方を、前記撮像装置の設置に関する設定に応じて実行する検知処理として決定することを特徴とする画像処理装置の制御方法。

Images