JP6141079B2 - 画像処理システム、画像処理装置、それらの制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理装置、それらの制御方法、及びプログラムに関するものである。

従来、監視カメラの画像から顔や人体等の特定の対象を検出する場合は、一般的に対象物体の特徴を記憶した照合パターン（辞書）を一つ又は、角度に応じて用意されている複数の照合パターンを用いる。そして、画像中の検出対象領域から照合パターンに合う物体の検出を行う。

例えば、特許文献１では、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、局所特徴量に重み付けを行った結果の総和から、人体を含む画像であるかを判定する。

また、複数のカメラを備える監視システム等で、複数のカメラを連携させて移動物体を追跡し監視するシステムが知られている。

更に、特許文献２では、移動体を追跡監視する際に画像認識により移動体の特徴情報を抽出し、ネットワークを介してカメラ間で特徴情報を伝送し追跡を継続する方法について記載されている。

特開２００９−２１１３１１号公報 特開２００３−３２４７２０号公報

ネットワークカメラ機器の高画素化という背景や、また、ネットワークカメラ機器による監視等では高精度に実時間処理を行う必要があるという背景から、特定物体の検出処理は、高速に実行できることが求められる。

そのため、画像の中から動きのある領域のみを検出対象範囲にする等の、処理領域を小さくする方法や、時系列的に処理画像フレームを間引く等で検出処理頻度を処理可能な程度に下げて処理する等の方法がある。

しかし、パターンマッチング等による物体（オブジェクト）検出処理は処理負荷が大きく、実時間処理ができないことがあった。

また、監視カメラの画像では被写体はあらゆる方向へと移動するため被写体はあらゆる向きを取り得る。そのため、正面向きや側面向き等、複数の向きの照合パターン（辞書）を用いて高精度にパターンマッチングを行う場合は、より処理負荷が増大してしまっていた。

このように、現状では、物体検出処理を高精度に行うには高負荷で低速度となり、一方で、物体検出処理を高速に行うには低負荷の検出部を採用する必要があるというトレードオフの関係にあり、両立が難しいという課題があった。

本発明は上記の課題に鑑みてなされたものであり、複数のカメラでの画像処理システムにおける画像処理を高精度または高速に行うための技術を提供することを目的とする。

上記の目的を達成するための本発明による画像処理システムは以下の構成を備える。即ち、
第１のカメラと第２のカメラを少なくとも含む画像処理システムであって、
前記第１のカメラは、
当該第１のカメラによる撮像画像から、特定の物体を検出する第１の検出手段と、
前記第１の検出手段で検出した物体の状態を推定する推定手段とを備え、
前記第２のカメラは、
第２の検出処理の指示に応じて、前記第１の検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、複数種類の検出処理から選択された第２の検出処理を行う第２の検出手段を備え、
前記推定手段で推定した物体の状態に応じて、前記第１の検出手段で検出した特定の物体を撮像した撮像画像に対して前記第２の検出処理を行う第２のカメラを選択する選択手段と、
前記選択手段で選択した第２のカメラに、前記第１の検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記推定手段で推定した物体の状態に応じた種類の第２の検出処理を指示する指示手段と
を備える。

本発明によれば、複数のカメラでの画像処理システムにおける画像処理を高精度または高速に行うことができる。

画像処理システムの構成例を示す図である。 ネットワークカメラの機能構成を示す図である。 カメラ配置を説明するための立体図と平面図である。 カメラの撮像画像の処理を説明するための図である。 カメラ５０２の機能構成を示す図である。 カメラ５０３の機能構成を示す図である。 第１のカメラの処理手順を説明するためのフローチャートである。 第２のカメラの処理手順を説明するためのフローチャートである。 カメラの撮像画像の処理を説明するための図である。 カメラの撮像画像の処理を説明するための図である。 ネットワークカメラの機能構成を示す図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
実施形態１の画像処理装置は、監視カメラ等の撮像装置内に組み込まれる画像処理回路や、パーソナルコンピュータ等のコンピュータ装置に適用することができる。

図１は実施形態１の画像処理システムの構成の一実施形態を示す図である。

図１において、１０１、１０２、１０３及び１０４は、動体検出や人体検出、顔認証機能等の各種検出機能を有しているネットワークカメラである。１０５は、ネットワークである。１０６は、ＰＣ（パーソナルコンピュータ）等の情報処理装置である。尚、情報処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。

ＰＣ１０６は、ネットワークカメラ１０１〜１０４に対し、検出処理を行う際のパラメータ（検出処理設定）の設定や、ネットワークカメラ１０１〜１０４から画像を受信し、ＰＣ１０６に接続される表示装置での表示制御処理を行う。

ネットワークカメラ１０１〜１０４のそれぞれとＰＣ１０６は、ネットワーク１０５を介して接続される。ここで、ネットワーク１０５は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークである。また、実施形態１においては、説明を簡便にするために、ネットワークカメラ１０１を第１のカメラ、ネットワークカメラ１０２〜１０４を第２のカメラ（カメラ群）と呼ぶ。

尚、第１のカメラと第２のカメラは、構成及び機能が重複するところもあり、第１のカメラの機能を第２のカメラにも搭載することで、すべてのカメラで同一の構成とすることも可能である。また、第１のカメラ及び第２のカメラは、各々複数台の構成をとることも可能である。

また、実施形態１においては、画像処理システムとしているが、画像を取得し一枚ずつ処理を行っても処理内容は同一であるため画像処理装置としてもなんら変わりはない。

次に、画像処理システムの動作（複数のネットワークカメラの動作制御）の詳細を説明する。

図２は実施形態１のネットワークカメラ１０１の機能構成を示すブロック図である。

図２において、２０１はレンズや撮像素子からなる撮像部であり、撮像画像を物体検出部２０２へ送信する処理を行う。物体検出部２０２は、撮像部２０１で取得したフレーム画像（撮像画像）から背景差分法により、撮像画像中の特定の物体を検出する。検出した物体の情報は、その物体の画面上での位置と、その物体の外接矩形と、物体のサイズとからなる。物体検出部２０２では、画像から物体を検出する処理であり、特定の方法に限定されるものではない。人体検出部２０３は、検出処理設定部２０９で設定された検出処理設定を、検出処理変更部２０６により適用した設定値に基づき、人体を検出する。

このように、ネットワークカメラ１０１では、物体検出部２０２及び人体検出部２０３によって、物体及び人体を検出する複数種類の検出部（第１の検出部）を備える。

物体向き推定部２０４は、物体検出部２０２または人体検出部２０３で検出した物体（人体を含む）の状態の１つとして、例えば、物体の向いている向き（物体向き）の推定を行う。

ここで、物体向きの推定方法について説明する。

物体向きとは、物体の移動方向または物体の向いている方向のいずれかである。

まず、物体の移動方向の推定方法であるが、着目した物体を画面内で追尾する追尾処理を実行し、その移動軌跡からどちらに移動しているかの推定を行う。

物体の追尾処理について説明する。物体検出部２０２が着目フレーム画像よりも１フレーム前のフレーム画像から検出した物体と同一の物体を着目フレーム画像から検出した場合、追尾処理はそれぞれのフレーム画像における物体を対応づける。例えば、着目フレーム画像よりも１フレーム前のフレーム画像から物体検出部２０２が検出した物体に対して、物体ＩＤ＝Ａを割り当てたとする。そして、物体検出部２０２が着目フレーム画像からもこの物体を検出した場合、追尾処理は、この物体に対しても物体ＩＤ＝Ａを割り当てる。このように、複数のフレーム画像に渡って同一の物体が検出された場合には、それぞれの物体には同一の物体ＩＤを割り当てる。また、着目フレーム画像で新規に検出された物体に対しては、新規の物体ＩＤを割り当てる。

尚、異なるフレーム画像間で検出される物体が同一物体であるか否かの判定方法としては、上記方法に限定されるではない。物体の特徴量の尤度比較を行って、尤度の近い物体を関連付けるようにしてもよい。あるいは、ｎ−１番目のフレーム画像の移動物体の推定移動位置とｎ番目のフレーム画像の物体検出位置の距離や、フレーム画像間の物体が存在する領域の重畳度に応じて同一物体と判定するようにしてもよい。

また、移動方向の推定も上述した方法に限定されるではない。例えば、画像における動体部分のオプティカルフローから移動方向を推定するようにしてもよいし、物体の位置が取得可能な他のセンサを用いて追尾を行って、物体の移動方向を推定するようにしても構わない。あるいは、複数のカメラを用いて、移動物体の３次元的位置を検出して、追尾処理を行って、移動方向を推定するようにしてもよい。

物体向きの推定方法としては、物体の向いている方向を物体向きと推定する方法がある。

物体の向いている方向の推定方法としては、人体検出部２０３で検出する物体（人体）がどちらの方向を向いているか推定する方法がある。これは、例えば、人体検出時に人体の向き別の複数種類の照合パターン（検出用辞書）を使用してもっとも尤度の高い向きを、物体であるその人体の向いている方向とする方法である。

尚、物体の向いている方向の推定方法は上述した方法に限定されるではない。顔検出処理で検出される顔の向いている方向を検出することで、物体の向いている方向を推定するようにしてもよい。あるいは、視線センサ等のセンサを用いて、検出される顔の視線方向を物体の向いている方向と推定するようにしてもよい。

以上が、物体向き推定部２０４による物体向き推定処理である。

図２の説明に戻り、２０５はカメラ選択部である。カメラ選択部２０５は、検出処理設定部２０９により画像処理システムで検出する対象の設定に応じて検出処理を行う第２のカメラの選択を行う。そして、通信部２０８で、選択された第２のカメラに対し検出処理設定の送信を行う。例えば、検出処理設定部２０９で、第２のカメラが設置された店舗において人体検出とその顔検出・顔認証を行うように設定したとする。

ここで、検出処理設定部２０９は、ＰＣ１０６に搭載される検出処理設定アプリケーションであり、設定した検出処理に係るパラメータ（検出処理設定）を、検出処理変更指示によってネットワークを介してネットワークカメラ１０１に設定する。ここでは、ＰＣ１０６の検出処理設定アプリケーションで検出処理設定を行っているが、ネットワークカメラに検出処理設定アプリケーションを搭載して、他の端末からネットワークを介して検出処理を変更するようにしてもよく、その方法は問わない。

ここで、カメラの設置位置について説明をする。

図３は監視空間におけるカメラの配置を説明するための図である。

図３は、例えば、ある監視空間（例えば、店舗）内に設置される複数のカメラの設置位置の状態を示している。図３（ａ）は監視空間における立体図であり、図３（ｂ）はその平面図である。

図３において、カメラ５０１は、天井中央に下向きに設置された全方位カメラであり、店内の物体（あるいは人体）の移動を撮影することができるカメラである。カメラ５０２は、扉５０５の反対側から扉方向へ向け斜め下方に所定角度（浅い角度）で撮影するように設置されている。カメラ５０３は、扉５０５の上部からカメラ５０２への方向に向け斜め下方に所定角度（浅い角度）で撮影するように設置されている。カメラ５０４は、扉５０５から見て左側の天井から監視空間中央に向け斜め下方に所定角度（浅い角度）で撮影するように設置されている。

各カメラは、監視空間において固定されており、空間内の３次元位置を、そのカメラの設置位置を実測することにより算出することが可能である。そして、カメラの撮影の向きと画角から、撮影範囲、撮影方向等の設置環境から算出される環境情報と空間内の３次元位置を示す位置情報とを合わせて、カメラ設置情報として設定保存部２０７（図２）に保存する。

このように、カメラ設置情報として、他のカメラの３次元位置である位置情報と撮影方向等の環境情報とをカメラ内に保存しておくことにより、指定された検出処理設定に最適なカメラを選択することが可能となる。例えば、検出処理設定が顔検出や顔認証であれば、検出した人体が最も正面向きである方向のカメラを選択することが可能となる。

どのカメラが物体に対して正面向きであるかの選択方法は、カメラ設置時に移動方向と他のカメラの設置位置を対応付けて予め設定しておき、検出した移動方向に応じて、その移動方向毎に対応する設置位置のカメラに対して検出処理変更指示を送信するようにする。

尚、ここでは、カメラの設置位置を予め設定する構成としているが、これに限定されず、カメラの３次元上の設置位置を特定できる方法であればどのようなものでも構わない。また、カメラの設置位置は固定としているが、設置位置を変更可能な可動カメラであっても設置位置の変更の度にカメラ設置情報を相互に更新することで、可動カメラであっても常に最新の状態のカメラ設置情報を把握できるようにしてもよい。

また、実施形態１では、検出処理として、顔検出・顔認証としているが、他の検出処理であってもよい。ここで、他の例を挙げる。人体の歩き方から個人を特定する歩容認証を行う場合では、腕の振りや歩幅等を用いるため、人体の向き（進行方向）に対して横方向（垂直方向）からの撮像画像で認証を行うことが望ましい。そのため、人体に対し横方向から撮像しているカメラのみに対し歩容認証指示を送信する。

例として、図３及び図４で説明する。カメラ５０１〜５０４にはいずれも図２の構成に加えて歩容認証機能を有しているものとする。カメラ５０１が人体６０３の移動方向としてカメラ５０２への方向を検出すると、カメラ５０１は、カメラ５０２及びカメラ５０３に対してのみ歩容認証指示を送信することになる。カメラ５０４では、歩容認証指示が行われないため、他の人体検出や顔認証処理にリソースを回すことができ、高速または高精度に検出処理が可能となる。

図４は図３の複数のカメラでの撮像画像を認識処理した結果を説明するための図である。

図４（ａ）〜図４（ｄ）はそれぞれ、カメラ５０１〜カメラ５０４による撮像画像である。

図４（ａ）（カメラ５０１）において、人体６０１は扉側から扉反対側へ向かって移動しており、人体６０３は扉５０５から見て右手側から反対側面に向かって移動している。矩形６０２は、カメラ５０１が撮像画像に対し動体検出を行い、検出された動体検出領域に対して、更に人体検出処理を行って検出した人体６０１の人体領域である。矩形６０４は、同様の処理を経て得られる人体６０３の人体領域である。

図４（ｂ）（カメラ５０２）において、矩形６０５は、人体検出処理に行って検出した人体６０１の人体領域である。矩形６０６は、人体検出処理を行って検出した人体６０３の人体領域である。矩形６０７は、カメラ５０２で顔検出処理を行って検出した人体６０１の顔領域である。

図４（ｃ）（カメラ５０３）において、矩形６０８は、人体検出処理による処理結果を示す人体６０１の人体領域である。矩形６０９は、人体検出処理による処理結果を示す人体６０３の人体領域矩形である。

図４（ｄ）（カメラ５０４）において、矩形６１０は、人体検出処理を行って検出した人体６０１の人体領域矩形である。矩形６１１は、人体検出処理を行って検出した人体６０３の人体領域矩形である。矩形６１２は、カメラ５０４で顔検出処理を行って検出した人体６０３の顔領域である。

再び、図２に戻り説明を続ける。

検出処理設定部２０９では、人体検出とその顔検出・顔認証を行うように設定されている。その設定状態で、図４に示すように、人体６０１が検出されたとする。この場合、カメラ５０１のカメラ選択部２０５は、人体６０１の移動方向の正面に位置するカメラ５０２を設定保存部２０７に保存されている設定値から選択する。そして、カメラ５０１は、カメラ５０２に対し顔検出処理と顔認証処理を行うように検出処理変更指示を通信部２０８から送信する。

同様に、カメラ５０１は、人体６０３の顔検出処理と顔認証処理を行うために、人体６０３の移動方向の正面に位置するカメラ５０４を設定保存部２０７に保存されている設定値から選択する。そして、カメラ５０１は、カメラ５０４に対し顔検出処理と顔認証処理を行うように検出処理変更指示を通信部２０８から送信する。

一方、カメラ５０３については、どの人体も正面向きでない方向にある。そこで、カメラ５０１は、カメラ５０３に対して顔検出処理と顔認証処理を行わないよう（禁止する）に検出処理変更指示を送信する。この検出処理変更指示は、物体向き推定部２０４により人体の移動方向が変更したと認識された場合や人体が検出されなくなった場合のみ送信すればよい。

次に、図５及び図６を用い、カメラ５０１からの検出処理変更指示を受信した際のカメラ５０２とカメラ５０３の処理を説明する。

図５は実施形態１のカメラ５０２の機能構成を示すブロック図であり、図６は実施形態１のカメラ５０３の機能構成を示すブロック図である。

尚、図５において、撮像部３０１、物体検出部３０２、検出処理変更部３０４及び通信部３０５はそれぞれ、図２の撮像部２０１、物体検出部２０２、検出処理変更部２０６及び通信部２０８に対応し、その説明については省略する。図５では、顔認証部３０３を備える。このように、カメラ５０２では、物体検出部２０２及び顔認証部３０３によって、物体及び人体の顔を検出する複数種類の検出部（第２の検出部）を備える。

また、図６において、撮像部４０１、物体検出部４０２、人体検出部４０３、検出処理変更部４０４及び通信部３０５はそれぞれ、図２の撮像部２０１、物体検出部２０２、人体検出部２０３、検出処理変更部２０６及び通信部２０８に対応し、その説明については省略する。このように、カメラ５０３では、物体検出部４０２及び人体検出部４０３によって、物体及び人体を検出する複数種類の検出部（第２の検出部）を備える。

図５の顔認証部３０３は、検出処理変更部３０４からの検出処理変更指示により顔検出を行うか否かの処理が変更される。検出処理変更指示は、カメラ５０１の通信部２０８からカメラ５０２へ送信され、カメラ５０２の通信部３０５で受信し検出処理変更部３０４へ送信される。

この時、カメラ５０１では、図４（ａ）のように人体が検出されているので、カメラ５０１から、人体に対し正面向きに設置されているカメラ５０２に対し顔認証処理指示が送信される。一方、カメラ５０３は、カメラ５０１で検出した人体に対して横向きに設置されているため、カメラ５０１からカメラ５０３へ顔認証処理指示は送信されない（顔認証処理指示の送信を禁止する）。

検出処理変更部３０４からの顔認証処理指示により、顔認証部３０３は顔認証処理を行う。カメラ５０２は、物体検出部３０２による検出結果、及び顔認証部３０３による認証結果を通信部３０５を介してＰＣ１０６に送信する。一方、カメラ５０３では、検出処理変更部４０４から、顔検出処理変更指示が行われないため、人体検出部４０３による人体検出処理を行う。そして、その検出結果を通信部４０５を介してＰＣ１０６に送信する。

このように、顔検出においては、検出対象の人体の向き（人体の向いている方向（正面向等））に基づき、検出機能毎に適した人体の向きを示す向き情報を予め規定しておき、その向き情報とカメラ設置情報とを設定保存部２０７で管理しておく。そして、設定保存部２０７で管理される情報を参照することにより、指定された検出処理に最適なカメラを選択することができる。

ここで、実施形態１では、二次検出処理（顔認証処理）を行うカメラは、特に、検出領域を絞るような処理は実行せずに全画面の領域に対して顔認証処理を行っている。しかし、第１のカメラで検出した人体の検出位置に基づき第２のカメラで検出されて複数の人体領域の内、どの領域を顔認証（顔検出）処理するかを制限するようにしてもよい。

また、複数のカメラ間で互いの位置が位置情報により予めわかっているため、一方のカメラの撮像画像における任意の領域が、他のカメラの撮像画像においてどの領域に相当するかが推定される。図４の例では、図４（ｃ）（カメラ５０４）において、人体検出結果としては人体矩形領域である矩形６１０と矩形６１１の２つが検出される。このとき、実施形態１では、特に、領域を制限せずに顔認証処理を行っているが、矩形６１１の領域内に対してのみ顔認証処理を行う構成にしてもよい。

これを利用して、第１のカメラと第２のカメラで同一の特定物体認識機能を備える構成である場合に第２のカメラの高速化が行える。

例えば、第１のカメラと第２のカメラがともに物体向き推定部と顔認証部を搭載したカメラの場合で説明する。第１のカメラでは、検出する人体の向きが正面向きでなく顔認証処理が行えず、その移動方向のみ取得できた場合、移動方向の正面向きのカメラに対し顔認証処理を行うように指示する。この時、第１のカメラで検出した物体（人体）が存在する撮像領域の位置に対応する第２のカメラの撮像領域に対してのみ顔認証を行う領域を制限することで高速に処理を行うことが可能となる。

あるいは、第１のカメラと第２のカメラで同一の特定物体認識機能を備える構成である場合における、別の効果として、第２のカメラの検出処理を省力することによる高速化がある。第１のカメラで物体向きを検出し、第２のカメラに対し顔認証処理を行うよう指示するが、この時、第２のカメラ以外のカメラに対し顔認証処理を行わないよう指示（禁止指示）することで、第２のカメラの高速化が可能となる。

このように、第１のカメラと第２のカメラで同一の構成をとることで、設置されている複数のカメラの内、任意のカメラを第１のカメラとすることができる。つまり、最初に物体の方向を推定したカメラが第１のカメラとなり、第１のカメラから指示を受けるカメラが第２のカメラとなる。また。実施形態１では、第１のカメラは単一としているが、複数のカメラ群で構成してもよい。この場合、複数台のカメラの物体検出結果や物体移動軌跡から物体の方向を推定するようにしてもよい。このようにすることで、複数のカメラで監視空間全体を撮像し、指定された検出機能により最適な設置位置のカメラを第２のカメラとして選択することが可能となる。

次に、図７のフローチャートを参照して、実施形態１に係る第１のカメラであるネットワークカメラ１０１（例えば、カメラ５０１）が実行する処理手順を説明する。

尚、当該フローチャートに従う処理を開始する時点で、上述のカメラ設置情報がネットワークカメラ１０１の設定保存部２０７に保存されているものとする。

ステップＳ７０１において、ネットワークカメラ１０１が有する制御部（不図示）は、当該処理を継続するか否かを判定する。例えば、処理を終了することを、ユーザを介してＰＣ１０６から受け付けたか否かに応じて処理を継続するか否かを判定する。処理を継続すると判定された場合（ステップＳ７０１でＹＥＳ）、ステップＳ７０２へ進む。一方、処理を終了すると判定された場合（ステップＳ７０１でＮＯ）、処理を終了する。

ステップＳ７０２において、撮像部２０１は、画像を取得する。

ステップＳ７０３において、物体検出部２０２は、取得した画像に対して物体検出処理を行う。ステップＳ７０４において、物体検出部２０２は、ステップＳ７０３で物体を検出したか否かを判定する。物体を検出したと判定された場合（ステップＳ７０４でＹＥＳ）、ステップＳ７０５へ進む。一方、物体を検出していないと判定された場合（ステップＳ７０４でＮＯ）、ステップＳ７０１へ戻る。

ステップＳ７０５において、ネットワークカメラ１０１が有する物体追尾部（不図示）は、物体追尾処理を行う。ステップＳ７０６において、ステップＳ７０５での物体追尾処理結果に従って物体毎の移動軌跡を示す軌跡情報を更新する。ステップＳ７０７において、人体検出部２０３は、検出処理設定部２０９により設定された設定値（人体検出設定値）に基づき人体検出処理を行う。

ステップＳ７０８において、人体検出部２０３は、ステップＳ７０７で処理された人体検出結果に従って人体を検出したか否かを判定する。人体を検出したと判定された場合（ステップＳ７０８でＹＥＳ）、ステップＳ７０９へ進む。一方、人体を検出していないと判定された場合（ステップＳ７０８でＮＯ）、ステップＳ７１１へ進む。

ステップＳ７０９において、制御部は、検出した物体と検出した人体との対応付け処理を行う。ステップＳ７１０において、物体追尾部は、ステップＳ７０９での対応付け処理結果に基づいて、軌跡情報を更新する。ステップＳ７１１において、物体向き推定部２０４は、検出した物体の物体向き推定処理または検出した人体の人体向き推定処理を行う。

ステップＳ７１２において、カメラ選択部２０５は、ステップＳ７１１で推定した物体向きまたは人体向きと、設定保存部２０７に保存されているカメラ設置情報から、物体向きに対応したカメラを選択するカメラ選択処理を行う。ステップＳ７１３において、通信部２０８は、その処理結果と二次検出処理指示（検出処理変更指示）を、ステップＳ７１２で選択したカメラに対して送信し、ステップＳ７０１へ戻る。

次に、図８のフローチャートを参照して、実施形態１に係る第２のカメラであるネットワークカメラ１０２（例えば、カメラ５０２）が実行する処理手順を説明する。

ステップＳ８０１において、ネットワークカメラ１０２が有する制御部（不図示）は、当該処理を継続するか否かを判定する。例えば、処理を終了することを、ユーザを介してＰＣ１０６から受け付けたか否かに応じて処理を継続するか否かを判定する。処理を継続すると判定された場合（ステップＳ８０１でＹＥＳ）、ステップＳ８０２へ進む。一方、処理を終了すると判定された場合（ステップＳ８０１でＮＯ）、処理を終了する。

ステップＳ８０２において、撮像部３０１は、画像を取得する。
ステップＳ８０３において、物体検出部３０２は、取得した画像に対して物体検出処理を行う。ステップＳ８０４において、物体検出部３０２は、ステップＳ８０３で物体を検出したか否かを判定する。物体を検出した判定された場合（ステップＳ８０４でＹＥＳ）、ステップＳ８０５へ進む。一方、物体を検出していないと判定した場合（ステップＳ８０４でＮＯ）、ステップＳ８０１へ戻る。

ステップＳ８０５において、顔認証を行うか否かの判定を、検出処理変更部３０４の検出処理変更指示に基づき行う。検出処理変更部３０４の検出処理変更指示は通信部３０５を介してネットワークカメラ１０１から行われる。顔認証を行うと判定された場合（ステップＳ８０５でＹＥＳ）、ステップＳ８０６において、顔認証部３０３は、顔認証処理を行う。一方、顔認証を行わないと判定した場合（ステップＳ８０５でＮＯ）、ステップＳ８０７へ進む。ステップＳ８０７において、通信部３０５は、ＰＣ１０６に対し処理結果を送信し、ステップＳ８０１へ戻る。

尚、実施形態１においては、人体検出処理を行い、その物体の１つである人体の向きを推定しているが、人体に限定されるではなく、自動車や動物等のその向きを特定することができる、人体以外の物体についても同様の処理が可能である。

例えば、自動車であれば、真上から撮像しているカメラから、正面または背面方向に設置されているカメラに対してはナンバープレートを検出するための検出指示を送信する。また、自動車に対して正面向きのカメラであれば、運転者・助手席の顔が撮影できるので同時に顔検出や顔認証も行うように指示することもできる。自動車に対して横方向のカメラに対しては、速度検出や、業者トラックや自動車のロゴ等の特定画像を検出できるため、その特定画像の検出・認証を行うように指示することもできる。さらに、速度検出の場合は、複数のカメラに対し指示を送信することで高精度な速度検出処理を行うようにすることも考えられる（第２のカメラが複数である場合）。自動車の上方向のカメラに対しては渋滞を検出するための検出指示を送信する等を指示することができる。また、指示を送信するカメラが、撮像している方向（上方向）でないカメラからであっても同様に処理が可能である。例えば、自動車を横方向から撮影しているカメラにおいて自動車の向きの検出処理を行い、進行方向のカメラに対しナンバープレートを検出するための検出指示を送信するという処理である。

また、実施形態１では、物体向き推定部２０４により物体向きを推定しているが、物体の状態を推定するようにしても構わない。物体の状態とは、人体であれば様々な姿勢、しゃがむ、倒れている、前屈み、手を挙げる等の姿勢変化である。例えば、第１のカメラで人体の姿勢を推定し、第２のカメラで姿勢に応じた照合パターン（辞書）を使用する（選択する設定を行う）ことで検出精度を向上させることができる。あるいは、第１のカメラで人体の姿勢を推定し、第２のカメラで姿勢に応じて検出種別を変更したり、正常な姿勢になるまで処理を中断するようにしてもよい。

また、実施形態１では、第１のカメラで人体の向きを検出したらすぐにカメラ選択処理を行っているが、所定の状態（例えば、向きが一定）が所定時間継続した場合にのみカメラ選択処理を行うようにしてもよい。これにより、第２のカメラの照合パターン（辞書）が頻繁に変わるのを防いだり、照合パターン（辞書）の切替時間等の制御時間を削減したりすることができる。

以上説明したように、実施形態１によれば、移動方向に応じて、二次検出処理を実行させるカメラを選択することで、二次検出処理を行うカメラは検出指示された場合のみ指定された検出処理を実行する。そのため、検出指示されない場合には、他の検出処理にＣＰＵ等のリソースを回すことができる。これにより、複数のカメラでの画像処理システムにおける画像認識処理を高精度または高速に行うことができる。

＜実施形態２＞
実施形態２では、実施形態１と異なる点のみについて説明し、以下で、特に、説明しない限りは、実施形態１と同様であるものとする。

実施形態１では、移動方向に応じて二次検出処理を実行させるカメラを選択しているが、物体の向きに応じて第２のカメラの人体検出用の照合パターン（辞書）を変更することで、画像処理システムにおける人体検出処理を高速化も可能となる。

尚、カメラの配置や内部構成については図２乃至図５と同様であるが、カメラ５０１〜５０４には、人体検出部と、人体検出を行うための向きを検出するための複数種類の照合パターン（辞書）を保持しているものとする。複数種類の照合パターン（辞書）とは、人体の正面向き、背面向き、右側面向き、左側面向きを検出するための照合パターン（辞書）である。各カメラは、これらの照合パターン（辞書）の少なくとも１つ以上を用いて人体検出処理を行う。更に、検出処理設定部２０９では、全てのカメラで人体検出処理を行うように設定されている。その状態で、図９に示すように人体９０１が検出されたとする。

図９（ａ）は、カメラ５０１で撮像した撮像画像、図９（ｂ）は同時刻にカメラ５０２で撮像した撮像画像である。

図９（ａ）において、人体９０１は、扉５０５から見て右手方向から左手方向に移動している。このとき、カメラ５０２では、人体９０１が人体９０２（図９（ｂ））のように撮像されている。

カメラ５０１が実行する処理手順（例えば、物体検出に伴う画像解析処理等）は、実施形態１の図７とフローチャートと同一の処理を行う。処理開始後、ステップＳ７０１からステップＳ７１１まで処理を行う。次に、ステップＳ７１２において、カメラ選択部２０５は、カメラ選択処理を行う。ここで、検出処理設定部２０９では、残りの全てのカメラ５０２〜５０４で人体検出処理を行うように設定されている。そのため、残りの全てのカメラ５０２〜５０４に対して二次検出処理（人体検出処理）を行う人体検出処理指示（検出処理変更指示）と、検出した人体の向きを示す人体向き情報を通信部２０８から送信する。

図９（ｂ）において、カメラ５０２は、人体検出処理指示と人体向き情報を通信部３０５から受信する。受信した人体向き情報が示す人体向きにより、使用する人体検出用の照合パターン（辞書）を検出処理変更部３０４で変更する。カメラ５０２の撮像画像を示す図９（ｂ）では、人体が左から右に移動しているため、カメラ５０２は、保持している複数の照合パターン（辞書）から、右側面向き用の照合パターン（辞書）のみを使用して人体検出処理を行う。この時、カメラ５０３では、人体の移動方向に基づき左側面用の照合パターン（辞書）のみを使用して人体検出処理を行う。カメラ５０４では、人体の移動方向に基づき正面向き用の照合パターン（辞書）を使用して人体検出処理を行う。

実施形態２の別の例を、図１０を用いて説明する。

図１０（ａ）は、カメラ５０１で撮像した撮像画像、図１０（ｂ）は同時刻にカメラ５０２で撮像した撮像画像である。

カメラ５０１では、人体１００１が、扉５０５から見て左から右方向へ移動していることを検出する（図１０（ａ））。また、二次検出処理を行うカメラ５０２は、図３の構成をとるものとする。

図１０（ｂ）において、カメラ５０２は、人体検出処理指示と人体向き情報を通信部３０５から受信する。受信した人体向き情報が示す人体向きにより、使用する人体検出用の照合パターン（辞書）を検出処理変更部３０４で変更する。カメラ５０２の撮像画像を示す図１０（ｂ）では、人体が画面奥から手前方向に正面向きに移動しているため、カメラ５０２は、保持している複数の辞書から、正面向き用の照合パターン（辞書）のみを使用して人体検出処理を行う。この時、カメラ５０３では、人体の移動方向に基づき背面用の照合パターン（辞書）のみを使用して人体検出処理を行う。カメラ５０４では、人体の移動方向に基づき左向き用の照合パターン（辞書）を使用して人体検出処理を行う。

以上説明したように、実施形態２によれば、物体の向きに応じて第２のカメラの照合パターン（辞書）を変更することで、画像処理システムにおける人体検出処理を高速化または高精度化することができる。

＜実施形態３＞
実施形態３では、実施形態１と異なる点のみについて説明し、以下で、特に、説明しない限りは、実施形態１と同様であるものとする。

実施形態１や２では、カメラ５０１が二次検出処理を行うカメラを選択する構成としているが、これに限定されるものではない。

図１１は実施形態３のネットワークカメラ１０００と情報処理装置１１１０の構成を示すブロック図である。

図１１において、情報処理装置１１１０は、ＰＣ（パーソナルコンピュータ）等の処理装置であり、ネットワークを介してネットワークカメラ１０００と接続されている。情報処理装置１１１０は、検出処理設定部１１０７、設定保存部１１０８、カメラ選択部１１０９を備える。

実施形態１では、移動方向に応じてネットワークカメラ１０００が二次検出処理を行うカメラを選択している。これに対し、実施形態３では、外部の情報処理装置１１１０が、カメラが検出した物体向きを受信し、設定保存部１１０８のカメラ設置情報に応じてカメラ選択処理（カメラ選択部）を行う。

実施形態３における構成では、カメラ選択部１１０９及び設定保存部１１０８が外部の情報処理装置１１１０に存在する。第１のカメラ検出処理により物体向き情報が情報処理装置１１１０に送信されると、情報処理装置１１１０は、設定保存部１１０８のカメラ設置情報と物体向きにより、次に、検出処理（二次検出処理）を行うカメラを選択する。あるいは、次に二次検出処理を行うカメラの検出辞書を選択する。そして、二次検出処理を行うカメラに対し検出処理設定情報を送信する構成となる。

以上説明したように、実施形態３によれば、実施形態１及び２で説明した効果に加えて、外部の情報処理装置より、二次検出処理を行うカメラを適切に選択することができる。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (20)

1. 第１のカメラと第２のカメラを少なくとも含む画像処理システムであって、
   前記第１のカメラは、
   当該第１のカメラによる撮像画像から、特定の物体を検出する第１の検出手段と、
   前記第１の検出手段で検出した物体の状態を推定する推定手段とを備え、
   前記第２のカメラは、
   第２の検出処理の指示に応じて、前記第１の検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、複数種類の検出処理から選択された第２の検出処理を行う第２の検出手段を備え、
   前記推定手段で推定した物体の状態に応じて、前記第１の検出手段で検出した特定の物体を撮像した撮像画像に対して前記第２の検出処理を行う第２のカメラを選択する選択手段と、
   前記選択手段で選択した第２のカメラに、前記第１の検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記推定手段で推定した物体の状態に応じた種類の第２の検出処理を指示する指示手段と
   を備えることを特徴とする画像処理システム。
2. 第１のカメラと第２のカメラを少なくとも含む画像処理システムであって、
   前記第１のカメラは、
   当該第１のカメラによる撮像画像から、特定の物体を検出する第１の検出手段と、
   前記第１の検出手段で検出した物体の状態を推定する推定手段とを備え、
   前記第２のカメラは、
   第２の検出処理の指示に応じて、前記第１の検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、検出用辞書を使用した第２の検出処理を行う第２の検出手段を備え、
   前記推定手段で推定した物体の状態に応じて、前記第１の検出手段で検出した特定の物体を撮像した撮像画像に対して前記第２の検出処理を行う第２のカメラを選択する選択手段と、
   前記選択手段で選択した第２のカメラに、前記第１の検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記推定手段で推定した物体の状態に応じた検出用辞書を使用した第２の検出処理を指示する指示手段と
   を備えることを特徴とする画像処理システム。
3. 前記第２のカメラは、前記第１の検出手段で検出した特定の物体を前記第１のカメラと同時に撮影する
   ことを特徴とする請求項１または２に記載の画像処理システム。
4. 前記物体の状態は、物体の移動方向、または物体の向いている方向、または物体の姿勢のいずれかである
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 第１のカメラと第２のカメラを少なくとも含む画像処理システムにおける前記第１のカメラとして機能する画像処理装置であって、
   前記第１のカメラによる撮像画像から、特定の物体を検出する検出手段と、
   前記検出手段で検出した特定の物体の状態に応じて、前記検出手段で検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択手段と、
   前記選択手段で選択した第２のカメラに、前記検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記検出手段で検出した物体の状態に応じた種類の第２の検出処理を指示する指示手段と
   を備えることを特徴とする画像処理装置。
6. 前記第２のカメラは、前記検出手段で検出した特定の物体を前記第１のカメラと同時に撮影する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記選択手段は、前記検出手段で検出した特定の物体の状態と前記第２のカメラの設置環境に応じて、前記第２のカメラを選択することを特徴とする請求項５または６に記載の画像処理装置。
8. 第１のカメラと第２のカメラを少なくとも含む画像処理システムにおける画像処理装置であって、
   前記第１のカメラで検出した特定の物体の状態の情報を受信する受信手段と、
   前記受信手段で受信した特定の物体の状態の情報に応じて、前記第１のカメラで検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択手段と、
   前記選択手段で選択した第２のカメラに、前記第１のカメラで検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記受信手段で受信した物体の状態に応じた種類の第２の検出処理を指示する指示手段と
   を備えることを特徴とする画像処理装置。
9. 前記第２のカメラは、前記第１のカメラで検出した特定の物体を前記第１のカメラと同時に撮影する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記選択手段は、前記第１のカメラで検出した特定の物体の状態と前記第２のカメラの設置環境に応じて、前記第２のカメラを選択することを特徴とする請求項８または９に記載の画像処理装置。
11. 第１のカメラと第２のカメラを少なくとも含む画像処理システムの制御方法であって、
    前記第１のカメラによる撮像画像から特定の物体を検出する第１の検出工程と、
    前記第１の検出工程で検出した物体の状態を推定する推定工程と、
    前記推定工程で推定した物体の状態に応じて、前記第１の検出工程で検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択工程と
    前記選択工程で選択した第２のカメラに、前記第１の検出工程で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記推定工程で推定した物体の状態に応じた種類の第２の検出処理を指示する指示工程と
    を備えることを特徴とする画像処理システムの制御方法。
12. 前記第２のカメラは、前記第１の検出工程で検出した特定の物体を前記第１のカメラと同時に撮影する
    ことを特徴とする請求項１１に記載の画像処理システムの制御方法。
13. 第１のカメラと第２のカメラを少なくとも含む画像処理システムにおける前記第１のカメラとして機能する画像処理装置の制御方法であって、
    前記第１のカメラによる撮像画像から、特定の物体を検出する検出工程と、
    前記検出工程で検出した特定の物体の状態に応じて、前記検出工程で検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択工程と、
    前記選択工程で選択した第２のカメラに、前記検出工程で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記検出工程で検出した物体の状態に応じた種類の第２の検出処理を指示する指示工程と
    を備えることを特徴とする画像処理装置の制御方法。
14. 前記第２のカメラは、前記検出工程で検出した特定の物体を前記第１のカメラと同時に撮影する
    ことを特徴とする請求項１３に記載の画像処理装置の制御方法。
15. 第１のカメラと第２のカメラを少なくとも含む画像処理システムにおける画像処理装置の制御方法であって、
    前記第１のカメラで検出した特定の物体の状態の情報を受信する受信工程と、
    前記受信工程で受信した特定の物体の状態の情報に応じて、前記第１のカメラで検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択工程と、
    前記選択工程で選択した第２のカメラに、前記第１のカメラで検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記受信工程で受信した物体の状態に応じた種類の第２の検出処理を指示する指示工程と
    を備えることを特徴とする画像処理装置の制御方法。
16. 前記第２のカメラは、前記第１のカメラで検出した特定の物体を前記第１のカメラと同時に撮影する
    ことを特徴とする請求項１５に記載の画像処理装置の制御方法。
17. 第１のカメラと第２のカメラを少なくとも含む画像処理システムにおける前記第１のカメラとしてコンピュータを機能させるためのプログラムであって、
    前記コンピュータを、
    前記第１のカメラによる撮像画像から、特定の物体を検出する検出手段と、
    前記検出手段で検出した特定の物体の状態に応じて、前記検出手段で検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択手段と、
    前記選択手段で選択した第２のカメラに、前記検出手段で検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記検出手段で検出した物体の状態に応じた種類の第２の検出処理を指示する指示手段として機能させることを特徴とするプログラム。
18. 前記第２のカメラは、前記検出手段で検出した特定の物体を前記第１のカメラと同時に撮影する
    ことを特徴とする請求項１７に記載のプログラム。
19. 第１のカメラと第２のカメラを少なくとも含む画像処理システムにおける画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
    前記コンピュータを、
    前記第１のカメラで検出した特定の物体の状態の情報を受信する受信手段と、
    前記受信手段で受信した特定の物体の状態の情報に応じて、前記第１のカメラで検出した特定の物体を撮像して第２の検出処理を行う第２のカメラを選択する選択手段と、
    前記選択手段で選択した第２のカメラに、前記第１のカメラで検出した特定の物体を撮像した前記第２のカメラによる撮像画像に対して、前記第２のカメラが実行可能な複数種類の検出処理のうち、前記受信手段で受信した物体の状態に応じた種類の第２の検出処理を指示する指示手段として機能させることを特徴とするプログラム。
20. 前記第２のカメラは、前記第１のカメラで検出した特定の物体を前記第１のカメラと同時に撮影する
    ことを特徴とする請求項１９に記載のプログラム。

Images