JP6468725B2 - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Description

本発明は、動画像中の物体が所定の物体であるか判断する頻度を設定する技術に関するものである。

従来、監視カメラの画像内の人物を追尾し、人の流れを把握するシステムや、追尾する人物を照合することで特定の人物を追跡するシステムが使われている。

表示画面内の人物の追尾は、追尾された人物同士が交差すると、人物が入れ替わって追尾されたり、人物が物等の他の遮蔽物に隠れてしまうと追尾が継続できず、別の人物として検出されたりしてしまうことがある。

また、特定の人物を追尾するシステムにおいては、処理画像毎に人物と登録者情報とを照合すると画像レートに対して処理が間に合わず、結果的に照合や追尾の精度が低下してしまうことがあった。

このような処理負荷を軽減するため、例えば、特許文献１では、表示画面内の人物を照合し、照合が成功すると追尾モードに移行し、照合を停止する。これにより、照合のための処理負荷を省略することができ、処理画像レートを保持することができるとしている。

また、特許文献２では、サッカーの試合において、選手の移動軌跡を表示する。認証された人物Ａ及び人物Ｂが重なり１つの被写体となった後、その１つの被写体が２つの被写体に分割される場合の分割した片方の被写体を認証する。認証結果が人物Ａであれば、もう片方の被写体は人物Ｂであると確定する。

特開２００８−２７０８９６号公報 米国特許出願公開第２００９／００５９００７号明細書

しかしながら、特許文献１では、先に説明したように、人物の追尾は、人物の交差や遮蔽物により、人の入れ替わりが発生し、人物Ｃを追尾していたはずが、人物Ｄを追尾していた、といった状況が容易に発生してしまう。また、特許文献２においては、認証された人物が重なりあっている間は、その被写体は、人物Ａ及び人物Ｂどちらの人物が表示画面上に表示されているのかが不明である。

本発明は上記の課題を解決するためになされたものであり、適切な処理負荷で、動画像中の物体が所定の物体であるか精度よく判断する技術を提供する。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
動画像中の物体を検出する検出手段と、
前記検出手段により検出した物体が所定の個体であるか照合する照合手段と、を有し、
前記照合手段は、所定の頻度で前記検出手段により検出した物体が所定の個体であるか照合し、更に当該照合手段により照合された物体が他の物体と重なった又は分離した場合には、前記他の物体と重なった又は分離した物体の少なくとも一部が所定の個体であるか照合することで前記所定の頻度より高い頻度で照合する。

本発明によれば、適切な処理負荷で、動画像中の物体が所定の物体であるか精度よく判断することができる。

実施形態１の画像処理装置のブロック図である。 実施形態１の人物を照合する場合を説明するための図である。 実施形態１の物体照合処理を示すフローチャートである。 実施形態１の顔検出処理を示すフローチャートである。 実施形態１の顔認証処理を示すフローチャートである。 実施形態１の追尾情報の一例を示す図である。 実施形態２の画像処理装置のブロック図である。 実施形態２の人物を照合する場合を説明するための図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は実施形態１の設定装置である画像処理装置のブロック図である。

本システムの設定装置は、画像取得部１０１、物体検出部１０２、物体追尾部１０３、物体照合部１０４、登録者情報記憶部１０５、処理結果統合部１０６、表示部１０７、及び結果保存・報告部１０８から構成される。

以下、本実施形態では、物体検出、照合において、人体検出、顔検出、顔認証を用いて説明するが、これに限定されない。例えば、歩容認証を用いる等の、他の物体検出方法、及び認証方法を使用することもできる。

画像取得部１０１は、動画像あるいは処理対象の一連の画像（画像フレーム）を時系列順に外部装置から取得（入力）する。画像を取得する外部装置は、カメラに限定されるものではなく、サーバや外部メモリ等の外部装置に保存されたものであってもよい。また、本設定装置は、カメラを内蔵してもよいし、また、本設定装置は、ＩＰネットワーク等のネットワークを介して、遠隔地のカメラから画像を取得してもよい。

物体検出部１０２は、画像取得部１０１で取得した画像中（あるいは動画像中）から背景差分法等の所定の検出方法により物体を検出する。検出方法は、背景差分法に限定されるものでなく、動きベクトル等の他の特徴量を用いる処理であってもよい。検出対象の物体は、単に、動体であってもよいし、人体を検出するもの、顔を検出するものであってもかまわない。更には、定位置で形状や形態、色等の特徴量が変化する物体を検出するものでも良い。

ここでは、動体を検出する場合について、以下、説明を進める。物体検出部１０２は、検出結果として、画像を表示する表示部１０７の表示画面上の物体の位置と外接矩形と物体サイズを保持する物体検出結果を出力する。

物体追尾部１０３は、直前の画像フレームで検出された物体（第１の物体）と現画像フレーム（着目画像フレーム）で検出された物体（第２の物体（第１の物体と同定される））とを対応付けることで、画像フレーム間で物体を追尾する。尚、追尾は、毎フレーム行わなくても、１フレームおき、あるいは、数フレームおきに行ってもよい。

新規に検出された物体は、新規に固有の追尾ＩＤが付与され、一方、前フレームと対応付けられた物体は、前フレームで付与された追尾ＩＤが付与された追尾トラックを出力する。追尾トラックは、検出された物体の画面内位置、大きさ、速度、物体との対応付け状態等の特徴情報を保持している。

物体追尾部１０３は、前の画像フレームにおける追尾トラックの位置や大きさと速度から現画像フレームにおける追尾トラック位置を予測し、予測した画面上の位置付近に存在する物体検出結果との対応付けをしている。

物体照合部１０４は、追尾された物体（被写体）と、予め登録された物体（例えば、人物）との照合を行う。予め登録された物体の情報は、記憶媒体である登録者情報記憶部１０５に記録されている。本実施形態では、予め登録された物体の情報は、人物の情報（登録者情報）であり、特に、その人物の顔を識別するための顔情報である。但し、これに限定されず、人物の情報は、個人を特定する情報であれば、顔情報に限定されず、どのような情報であっても構わない。

物体照合部１０４は、照合頻度を設定し、設定された頻度で照合を行うと共に、所定のタイミングで照合頻度を変更する。また、照合する情報は、個人と特定する情報に限定されず、検出された物体が人体（あるいは顔）であるかを判断するための人体情報（顔情報）との照合でもよい。

物体照合部１０４は、追尾された物体から顔を検出し、検出された顔を、登録者情報記憶部１０５に記録されている登録者情報と照合することにより、人物の認証を行う。照合結果は、顔が検出されたか、検出された顔は照合できたか、照合された人物は誰であったか等の照合結果（顔検出結果・顔認証結果等）を出力する。

尚、ここでは、予め登録された物体の情報は、人物の情報としているが、顔を認識可能な物体、例えば、動物、着ぐるみ等の他の物体についての情報とすることもできる。

処理結果統合部１０６では、物体追尾部１０３の処理結果（追尾情報）と物体照合部１０４との処理結果（照合結果）を統合する。追尾された物体の情報である追尾情報に、物体照合部１０４の処理結果（顔検出結果・顔認証結果）を書き込み、結果保存・報告部１０８へ送信する。また、追尾情報と顔検出・照合結果と、画像取得部１０１により取得された画像を重ね合わせ、表示部１０７へ送信する。尚、表示部１０７は、本設定装置に内蔵してもよい。本設定装置をＰＣ（パーソナルコンピュータ）で構成した場合に、別体の表示部としてもよい。また、ＩＰネットワーク等のネットワークを介して、遠隔地の表示装置に送信してもよい。

処理結果統合部１０６は、画像取得部１０１により取得された画像に、物体検出部１０２で検出された物体を囲む枠を重畳する。また、処理結果統合部１０６は、その物体を囲む枠の所定位置に、物体追尾部１０３によりその物体に付与された追尾ＩＤを重畳する。

処理結果統合部１０６は、物体照合部１０４により人体であると判断された物体を赤の枠で囲み、人体であると判断されていない物体を白の枠で囲む。処理結果統合部１０６は、物体照合部１０４により特定の人物の顔であると判断された物体を黄色の枠で囲み、特定されない人物の顔であると判断された物体を緑の枠で囲む。尚、枠の色は、物体照合部１０４（物体追尾部１０３）による処理結果が異なる場合、処理結果が異なることが区別できるような態様で表示されればよく、上記の色には限定されない。また、色を変える代わりに、枠を示す線の種類（実線、点線、一点鎖線等）を変えてもよいし、線の色と種類の両方を変えてもよい。

表示部１０７は、処理結果統合部１０６により作成された画像を、例えば、モニタ（液晶モニタ等）上へ表示する。

また、結果保存・報告部１０８は、処理結果を半導体メモリやハードディスク等の記憶媒体に保存するとともに、その内容を所定のメッセージで指定の報告先（例えば、ユーザ装置）へ報告（送信）する。結果保存・報告部１０８は、例えば、登録者情報記憶部１０５に登録された登録者の情報と一致した人物が検出されたこと（あるいは、登録者の情報と一致しない人物が検出されたこと）を、報告先に報告する。処理結果の保存先は、本設定装置に内蔵する記憶部、あるいは、本設定装置に接続されるＳＤカード等の外部記憶装置でもよく、ＩＰネットワーク等のネットワークを介して接続される遠隔地の記憶装置でもよい。

また、結果保存・報告部１０８により報告される内容は、画像取得部１０１により取得された画像、物体追尾部１０３で付与される追尾トラック、物体照合部１０４による照合結果等である。

尚、画像処理装置は、それぞれ専用のハードウェアによって実現されても良い。または、画像処理装置は、汎用コンピュータに搭載される標準的なハードウェア（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）で実現されても良い。その場合、これらのハードウェアと、メモリ（ＲＡＭやＲＯＭ）に記憶されるプログラムをＣＰＵが実行することで、図１の各構成要素が機能的に実現される。

次に、物体照合部１０４において実行される顔検出・顔認証処理を、図２から図４を用いて説明する。

図２は、表示部１０７の表示画面に表示される例を示しており、人物の検出から顔が検出・照合され、人物同士が交差し、離れていく過程を示している。図３Ａ〜図３Ｃは物体照合処理（物体の追尾、顔検出、顔認証）を示すフローチャートである。図４は、検出された物体に対して管理する追尾情報の一部を示している。以下、図２を用いて説明する。

図２Ａにおいて、表示画面上に、物体として、人物Ａ２０１と人物Ｂ２０２が物体検出部１０２により検出され、検出された物体は物体追尾部１０３により追尾が開始される。物体追尾部１０３は、追尾された物体（追尾物体）について、図４に一部示すような追尾情報を管理する。物体追尾部１０３は、追尾情報を記憶するためのメモリ（不図示）を有する。また、本設定装置の内部あるいは外部の記憶部に追尾情報を記憶してもよい。追尾情報では、例えば、ＩＤ項目、顔検出項目、顔認証項目、分割イベント項目、分割イベント項目及び統合イベント項目を含んでいる。

ＩＤ項目は、追尾物体を固有に識別するためのＩＤを管理する。顔検出項目は、物体から顔が検出されたか否かを示す情報（検出状態：「検出済み」／「未検出」）を管理する。この顔検出とは、特定の人物の顔であるかの判断ではなく、不特定の人の顔であるとの判断である。顔認証項目は、検出された顔は認証済みであるか否かを示す情報（認証状態（照合状態）：「認証（人物名）」／「未認証」）を管理する。この顔認証は、登録者情報記憶部１０５に登録された顔であると判断されたことを意味する。

分割イベント項目は、追尾物体は分割イベントが発生したか否かを示す情報（分割状態：「あり」／「なし」）を管理する。統合イベント項目は、統合イベントが発生したか否かを示す情報（統合状態：「あり」／「なし」）を管理する。

尚、追加情報で管理する項目は、図４に示す項目に限定されず、他の追尾特有の情報項目を管理することができる。

ここで、分割イベントとは、１つの追尾物体が、追尾に応じて、２つ以上の追尾物体として検出される状態（１つの追尾物体から複数の追尾物体に分割される状態）になる場合を意味する。例えば、２つの追尾物体が重なっていて、１つの追尾物体（統合物体）として検出されている状態（統合状態）から、互いに離れることで、２つの追尾物体それぞれが検出される状態（分割状態）になるようなイベントである。

一方、統合イベントは、２つ以上の追尾物体が、追尾に応じて、１つの追尾物体（統合物体）として検出される状態（複数の追尾物体から１つの追尾物体に統合される状態）になる場合を意味する。例えば、２つの追尾物体が検出されている状態（分割状態）から、互いに近づき重なることで、１つの追尾物体として検出されている状態（統合状態）になるようなイベントである。

物体追尾部１０３は、統合イベントが発生したと判断すると、統合イベントが発生した２つ以上の追尾物体の追尾情報を「統合イベントあり」に設定する。また、統合した２つ以上の物体が分割した場合、分割イベントに関連する物体の追尾情報を「分割イベントあり」に設定する。

図２Ａの状態の場合、図３Ａでは、ステップＳ３０１で、物体照合部１０４は、追尾物体の追尾情報（図４）を記憶部（不図示）から取得する。次に、ステップＳ３０２で、物体照合部１０４は、追尾情報から分割イベント項目を参照し、追尾物体の分割が発生したか否かを判断する。追尾物体の分割が発生していない場合（ステップＳ３０２でＮＯ）、ステップＳ３０３へ進む。一方、追尾物体の分割が発生している場合（ステップＳ３０２でＹＥＳ）、ステップＳ３０４へ進む。

図２Ａの状態の場合、人物Ａ２０１及び人物Ｂ２０２はともに物体が検出された直後であり、分割イベントは発生していないため、処理は、ステップＳ３０３へ進む。

ステップＳ３０３で、物体照合部１０４は、追尾情報から統合イベント項目を参照し、追尾物体の統合が発生したか否かを判断する。追尾物体の統合が発生していない場合（ステップＳ３０３でＮＯ）、ステップＳ３０６へ進む。一方、追尾物体の統合が発生している場合（ステップＳ３０３でＥＳ）、ステップＳ３０４へ進む。

図２Ａの状態の場合、人物Ａ２０１及び人物Ｂ２０２はともに、統合イベントは発生していないため、処理は、ステップＳ３０６へ進む。

ステップＳ３０６で、物体照合部１０４は、追尾情報から顔検出項目を参照し、追尾物体の中に顔が検出されているか否かを判断する。顔が検出されていない場合（ステップＳ３０６でＮＯ）、ステップＳ３０７へ進む。一方、顔が検出されている場合（ステップＳ３０６でＹＥＳ）、ステップＳ３０８へ進む。

図２Ａの状態の場合、まだ、顔が検出されていないため、処理は、ステップＳ３０７の顔検出処理へ進む。尚、この状態では、顔認証も実行されていない。

顔検出処理３０７の内部処理フローを図３Ｂに示す。顔検出処理では、ステップＳ３２０で、物体照合部１０４は、物体の領域において顔検出処理を実行する。図２Ａの状態の場合、物体２０１を囲む矩形内、及び、物体２０２を囲む矩形内において、顔検出処理を実行する。次に、ステップＳ３２１で、物体照合部１０４は、顔が検出されるか否かを判断する。顔が検出された場合（ステップＳ３２１でＹＥＳ）、ステップＳ３２２で、物体照合部１０４は、顔検出結果として、追尾情報（図４）の顔検出項目に顔が検出されたことを示す情報（「検出済み」）を追加して、処理を終了する。図２Ａの状態の場合、顔は検出されたものとする。一方、顔が検出されない場合（ステップＳ３２１でＮＯ）、追尾情報へ顔検出結果を追加しないで、処理を終了する。

尚、顔が検出されているか否かに関わらず、顔検出処理をしてもよい。図３Ａのように、顔が検出されていない場合に顔検出するようにすると、顔検出による負荷の増大を防止できる。一方、顔が検出されていても顔検出処理をするようにすると、より正確な顔検出が可能になる。

図３Ａに戻り、ステップＳ３０８で、物体照合部１０４は、追尾情報から顔認証項目を参照し、顔が検出されているか否かを判断する。顔が検出されている場合（ステップＳ３０８でＹＥＳ）、ステップＳ３０９へ進む。一方、顔が検出されていない場合（ステップＳ３０８でＮＯ）、処理を終了する。

図２Ａの状態の場合、ステップＳ３０７で、顔が検出されたため、処理は、ステップＳ３０９の顔認証処理へ進む。

顔認証処理３０９の内部処理フローを図３Ｃに示す。顔認証処理では、予め設定された頻度（認証頻度）に応じて、顔認証処理を実行する。例えば、認証頻度が所定頻度以上に設定されていたら、例えば、毎フレーム、顔認証処理を実行する。また、認証頻度が所定頻度未満に設定されていたら、例えば、１０フレーム毎に１回、顔認証処理を実行する。尚、所定値の比較ではなく、設定された認証頻度が示す処理単位（フレーム数）に応じて、顔認証処理を実行するようにしても良い。

認証頻度は初期状態では、所定の頻度（例えば、毎フレーム）で認証処理を実行するように設定されている。そして、後述するように、顔が認証されると、物体照合部１０４は、認証処理が所定の頻度より少ない頻度で行われるように、認証処理の頻度を下げる。また、認証処理の頻度を下げた後に、追尾物体の分割、統合が生じた場合、認証処理の頻度を、再度、上げる。

顔認証処理を実行する場合、ステップＳ３４０で、物体照合部１０４は、検出された顔と、登録者情報記憶部１０５に記録された登録者情報との照合処理を行う。ステップＳ３４１で、物体照合部１０４は、検出された顔が照合・認証されたか否かを判断する。検出された顔が照合・認証された場合（ステップＳ３４１でＹＥＳ）、ステップＳ３４２で、物体照合部１０４は、追尾情報の顔認証項目に認証結果を追加する。この認証結果は、人物の情報（例えば、図４では、人物Ａであることを示す認証（Ａ））である。

次に、ステップＳ３４３で、物体照合部１０４は、処理対象の物体においては認証ができたため、その物体における顔認証処理の認証頻度を低く設定し、顔認証処理を終了する。

一方、顔が照合・認証されない場合（ステップＳ３４１でＮＯ）、物体照合部１０４は、追尾情報へ認証結果を追加しないで、処理を終了する。この場合、処理対象の物体における顔認証処理の認証頻度は変更しない。あるいは、認証できる可能性を上げるために、現在設定されている認証頻度よりも高い認証頻度を設定するようにしても良い。

図２Ｂは、上述の処理が終了した後の画像フレームが表示されたものである。図２Ｂは、図２Ａの状態で人物Ａであると判断された物体が右に移動し、図２Ａの状態で人物Ｂであると判断された物体が左に移動したと、物体追尾部１０３は、判断した状態であることを示している。

人物Ａの追尾情報（図４）は、ＩＤ項目は「ＩＤ５」、顔検出結果項目は「検出済み」、顔認証結果項目は「認証（Ａ）」、分割イベント項目及び統合イベント項目はともに「なし」となっている。表示部１０７では、人物Ａに対して、人物Ａであることを示す認証枠２０３が表示されている。この認証枠２０３は、この認証枠２０３内において、顔が検出され、さらに、検出された顔が人物Ａの顔であると判断されたことを示している。

また、人物Ｂの追尾情報（図４）は、ＩＤ項目は「ＩＤ６」、顔検出結果項目は「検出済み」、顔認証結果項目は「認証（Ｂ）」、分割イベント項目及び統合イベント項目はともに「なし」の情報となっている。表示部１０７では、人物Ｂに対して、人物Ｂであることを示す認証枠２０４が表示されている。この認証枠２０４は、この認証枠２０４内において、顔が検出され、さらに、検出された顔が人物Ｂの顔であると判断されたことを示している。

図２Ｂの人物Ａにおける物体照合処理は、ステップＳ３０１で、物体照合部１０４は、追尾情報を取得する。ステップ３０２で、物体照合部１０４は、追尾情報から、追尾物体の分割が発生していないと判断する。ステップＳ３０３で、物体照合部１０４は、追尾情報から、追尾物体の統合が発生していないと判断する。ステップＳ３０６で、物体照合部１０４は、顔が検出されていると判断する。

ステップＳ３０９で、物体照合部１０４は、頻度に応じて顔認証処理を行う。ここでは、図２Ａの画像を元にした顔認証が成功し、ステップＳ３４３において認証頻度が低く設定されているので、図２Ｂの画像を元にした、認証枠２０３、２０４内の顔に対する顔認証処理は行われない。

このように、一度、人物が照合され、物体の分割イベントや統合イベントがない場合、後続の画像フレーム以降における物体照合処理による顔認証処理の認証頻度（照合頻度）を制御する。これにより、物体照合処理の負荷を軽減することができる。図２Ｂの人物Ｂにおける物体照合処理も、人物Ａにおける物体照合処理と同様である。

次に、表示画面上の人物は、図２Ｃのように、人物同士の重なり合いが発生したとする。このとき、物体追尾部１０３は、２つの物体が統合したものとして追尾情報を生成する。図４の追尾情報では、統合イベント項目に「あり」と管理される。

図２Ｃにおける物体の図３の物体照合処理は、ステップＳ３０１で、物体照合部１０４は、追尾情報を取得する。ステップＳ３０２で、物体照合部１０４は、追尾情報から分割イベント項目を参照し、追尾物体の分割が発生していないと判断する。

ステップＳ３０３で、物体照合部１０４は、追尾情報から統合イベント項目を参照し、追尾物体の統合が発生していると判断する。統合イベントが発生した場合、ステップＳ３０４で、物体照合部１０４は、追尾情報を修正（更新）する。具体的には、物体照合部１０４は、ＩＤ５とＩＤ６の追尾情報の顔検出項目を「未検出」に、顔認証項目を「未認証」へと変更する。これは、追尾物体が統合されたため、従前の画像フレームから直前の画像フレームまでで検出されていた顔検出項目及び顔認証項目の内容が変更される可能性が高いため、再度、顔検出処理及び顔認識処理を実行する必要があるためである。

ステップＳ３０５で、物体照合部１０４は、統合した物体の認証頻度を所定頻度より高く設定する。ステップＳ３０６で、物体照合部１０４は、ＩＤ５とＩＤ６の追尾情報から顔検出項目を参照し、顔が検出されているか否かを判断する。この場合、顔が検出されていないので、ステップＳ３０７へ進み、物体照合部１０４は、顔検出処理（図３Ｂ）を実行する。

図２Ｃの状態の場合、人物Ａが前面に存在するため、ここでは、人物Ａの顔が顔として検出されたとする。物体照合部１０４は、顔検出結果として、ＩＤ５、ＩＤ６の追尾情報（図４）の顔検出項目に顔が検出されたことを示す情報（「検出済み」）を追加する。

尚、認証頻度とは、物体照合部１０４の内部において制御されるものであり、認証頻度を所定頻度より低く設定する場合、所定フレーム数毎（例えば、１０フレーム毎）に１回認証を実行する。認証頻度を所定頻度以上に高く設定する場合、毎フレーム認証を実行する等、画像処理装置の用途や目的に応じて認証頻度を決定すれば良い。

次に、ステップＳ３０８で、物体照合部１０４は、ＩＤ５、ＩＤ６の追尾情報から顔認証項目を参照し、顔が検出されていると判断する。ステップＳ３０９で、物体照合部１０４は、顔認証処理（図３Ｃ）を実行する。顔認証処理では、物体照合部１０４は、検出された顔と、登録者情報記憶部１０５に記録されている登録者情報と照合することにより、検出された顔は人物Ａであると認証し、物体照合処理を終了する。ここで、物体照合部１０４は、ＩＤ５の追尾情報の顔認証項目に、人物Ａの顔が認証されたことを示す認証結果を追加する。また、物体照合部１０４は、ＩＤ５の追尾情報の顔認証項目の更新が完了したので、ＩＤ５の追尾情報の統合イベントを「なし」に設定する。ここで、物体照合部１０４は、認証枠２０５内の画像に対する人物Ａの顔の照合頻度は低く設定される。一方、認証枠２０５内の画像に対する人物Ｂの顔の照合頻度は高く設定されたまま変更しない。

図２Ｃでは、認証された物体（人物）が人物Ａと認証されるため、人物Ａであることを示す認証枠２０５が認証結果として表示されている。

次に、表示画面上の人物は、図２Ｄのように、重なり合った人物が互いに離れて、２つの物体として検出されたとする。このとき、物体追尾部１０３は、物体が分割されたものとして追尾情報を生成する。図４の追尾情報では、分割イベント項目に「あり」と管理される。

図２Ｄにおける図３の物体照合処理は、ステップＳ３０１で、物体照合部１０４は、追尾情報を取得する。

ステップＳ３０２で、物体照合部１０４は、追尾情報から分割イベント項目を参照し、追尾物体の分割が発生していると判断する。分割イベントが発生した場合、ステップＳ３０４で、物体照合部１０４は、ＩＤ５とＩＤ６の追尾情報を修正（更新）する。具体的には、物体照合部１０４は、追尾情報の顔検出項目を「未検出」に、顔認証項目を「未認証」へと変更する。これは、追尾物体が分割されることで、再度、物体の顔検出、顔認証処理を実行する必要があるためである。尚、物体検出部１０２により物体が最初に検出され、ＩＤが付与された時は、顔検出、顔認証はされていないので、これらの項目の初期値は、「未検出」、「未認証」である。

ステップＳ３０５で、物体照合部１０４は、認証頻度を所定頻度より高く設定する。ステップＳ３０６で、物体照合部１０４は、ＩＤ５とＩＤ６の追尾情報から顔検出項目を参照し、顔が検出されているか否かを判断する。この場合、顔が検出されていないので、ステップＳ３０７へ進み、物体照合部１０４は、顔検出処理（図３Ｂ）を実行する。物体照合部１０４は、分割後の物体の両方から顔が検出されるので、顔検出結果として、ＩＤ５、ＩＤ６の追尾情報（図４）の顔検出項目に顔が検出されたことを示す情報（「検出済み」）を追加する。

ステップＳ３０８で、物体照合部１０４は、ＩＤ５とＩＤ６の追尾情報から顔認証項目を参照し、顔が検出されていると判断する。ステップＳ３０９で、物体照合部１０４は、顔認証処理（図３Ｃ）を実行する。顔認証処理では、物体照合部１０４は、検出された顔と、登録者情報記憶部１０５に記録されている登録者情報と照合することにより、顔認証処理を実行し、その後、物体照合処理を終了する。ここで、物体照合部１０４は、ＩＤ５、ＩＤ６の追尾情報の顔認証項目に、人物Ａ、人物Ｂの顔が認証されたことを示す認証結果を追加する。また、物体照合部１０４は、ＩＤ５、ＩＤ６の追尾情報の顔認証項目の更新が完了したので、ＩＤ５、ＩＤ６の追尾情報の分割イベントを「なし」に設定する（リセットする）。物体照合部１０４は、認証枠２０６、２０７に対する顔認証処理の認証頻度を低く設定する。

この物体照合処理により、表示部１０７では、図２Ｄのように、人物Ｂであることを示す認証枠２０６が表示されるとともに、人物Ａであることを示す認証枠２０７が表示される。

以上説明したように、実施形態１によれば、着目画像フレームから検出される物体についての物体照合処理を実行して、その照合結果に応じて、後続の画像フレーム以降の画像フレームについての物体照合処理を実行する頻度を制御する。これにより、照合のための処理負荷を軽減し、かつ物体の分割、統合が発生したときに照合処理を実行することで、精度の高い認証された人物の追尾を実現することができる。

図５は実施形態２の画像処理装置のブロック図である。図５において、実施形態１の図１と共通の構成要素については、同一の参照番号を付加し、その説明は省略する。

２１１は物体照合部であり、検出・追尾された物体と、登録者情報記憶部１０５に記録されている登録者情報を照合する処理を実行する。物体照合部２１１は、一度照合された登録者情報を、別メモリ上に、認証者情報２１２として保存する。以降、物体の再照合が発生した場合は、認証者情報２１２との照合を先に行い、認証者情報２１２との照合がとれない場合、登録者情報記憶部１０５の登録者情報との照合を行う。登録者情報記憶部１０５には、予め複数の登録者情報が登録されている。

図６は、表示部１０７に表示される例を示しており、人物の検出から、顔検出、顔認証がなされ、人物同士が交差し、離れていく過程を示したものである。

以下、物体照合部２１１における顔検出・顔認証処理を説明する。

図６Ａにおいて、表示画面上に、人物Ａ６０１と人物Ｂ６０２が検出されると、検出された物体は、物体追尾部１０３により追尾が開始される。追尾された物体は、追尾情報を保有する。物体照合部２１１では、検出された物体の領域で顔検出処理を実行する。顔が検出されると、登録者情報記憶部１０５に記録された登録者情報と照合し、人物の認証を行う。人物が認証されると、図６Ｂのように、人物Ａに対して、人物Ａであることを示す認証枠６０３が表示される。また、人物Ｂに対して、人物Ｂであることを示す認証枠６０４が表示される。このとき、物体照合部２１１は、照合情報として、人物Ａ情報６０５、人物Ｂ情報６０６を、登録者情報記憶部１０５から取り出し、別メモリ上に認証者情報２１２として記録する。物体照合部２１１は、認証枠６０３、６０４に対する認証頻度を低く設定する。

次に、図６Ｃのように、人物同士の重なり合いが発生したとする。このとき、物体追尾部１０３は、２つの物体が統合したものとして追尾情報を生成する。この場合、物体照合部２１１は、追尾された物体の領域で顔検出処理を実行する。検出された顔と、認証者情報２１２に記録してある人物Ａ情報６０５あるいは人物Ｂ情報６０６と照合を行い、検出された顔を照合する。認証者情報２１２に記録してある人物Ａ情報６０５あるいは人物Ｂ情報６０６との照合がとれない場合、登録者情報記憶部１０５の登録者情報との照合を行う。登録者情報記憶部１０５には、予め複数の登録者情報が登録されている。

図６Ｃでは、表示画面の前面に人物Ａが表示されているため、人物Ａであることを示す認証枠６０７が表示される。物体照合部２１１は、認証枠６０７内の画像と人物Ａ情報６０５との照合頻度を低く設定する。物体照合部２１１は、認証枠６０７内の画像と人物Ｂ情報６０６との照合頻度を高く設定する。

次に、図６Ｄのように、重なりあった人物が離れ、２つの物体として検出されたとする。このとき、物体追尾部１０３は、物体が分割したものとして追尾情報を生成する。この場合、物体照合部２１１は、物体の領域において顔検出処理を実行する。検出された顔と、認証者情報２１２に記録してある人物Ａ情報６０５あるいは人物Ｂ情報６０６と照合を行い、検出された顔の照合を行う。図６Ｄでは、人物Ｂに対し、人物Ｂであることを示す認証枠６０８が表示され、人物Ａに対して、人物Ａであることを示す認証枠６０９が表示される。物体照合部２１１は、認証枠６０８、６０９内の画像に対する照合頻度を低く設定する。

以上説明したように、実施形態２によれば、物体照合部２１１で照合・認証した物体についての情報を認証者情報として別途保存しておき、物体の分割や統合が発生した場合には、保存済みの認証者情報と優先して照合する。これにより、認証対象の物体が、保存済みの認証者情報と照合する場合には、認証処理を行う必要がなくなり、より処理負荷の少ない、より精度のよい物体照合処理を実現することが可能となる。

尚、以上の実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのコンピュータプログラムをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がコンピュータプログラムを実行することによっても達成される。この場合、記憶媒体から読み出されたプコンピュータプログラム自体が上述した実施形態の機能を実現することとなり、またそのコンピュータプログラムを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのコンピュータプログラムを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、コンピュータプログラムをコンピュータが実行する場合であってもよいし、コンピュータプログラムの機能を実現するための回路等のハードウェアを設けてもよい。またはコンピュータプログラムの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

１０１：画像取得部、１０２：物体検出部、１０３：物体追尾部、１０４：物体照合部、１０５：登録者情報記憶部、１０６：処理結果統合部、１０７：表示部、１０８：結果保存・報告部

Claims (14)

1. 動画像中の物体を検出する検出手段と、
   前記検出手段により検出した物体が所定の個体であるか照合する照合手段と、を有し、
   前記照合手段は、所定の頻度で前記検出手段により検出した物体が所定の個体であるか照合し、更に当該照合手段により照合された物体が他の物体と重なった又は分離した場合には、前記他の物体と重なった又は分離した物体の少なくとも一部が所定の個体であるか照合することで前記所定の頻度より高い頻度で照合することを特徴とする画像処理装置。
2. 物体に関する情報を記憶する記憶手段をさらに備え、
   前記照合手段は、前記記憶手段に記憶されている情報を用いて、前記物体が所定の個体であるかの照合を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記照合手段は、当該照合手段により照合された物体が他の物体と重なった又は分離した場合に、前記他の物体と重なった又は分離した物体の少なくとも一部が前記記憶手段に記憶された物体であるか照合することを特徴とする請求項２に記載の画像処理装置。
4. 前記照合手段が照合する頻度を設定する設定手段を更に有することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記設定手段は、前記物体が所定の個体であると照合されなかった場合に、前記照合手段が照合する頻度を、前記物体が前記所定の個体と照合された場合よりも高く設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、前記物体が所定の個体であると照合された場合、前記照合手段が照合する頻度を、前記物体が前記所定の個体と照合されなかった場合よりも低く設定することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記設定手段は、前記物体が他の物体と重なった又は分離した場合に、前記照合手段が照合する頻度を、前記物体が他の物体と重なりまたは分離する前よりも高く設定することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記他の物体と重なった又は分離した物体の少なくとも一部が前記記憶手段に記憶された物体であると照合された場合に、前記照合手段が前記物体について照合を行う頻度を、前記他の物体と重なった又は分離した物体の少なくとも一部が前記記憶手段に記憶された物体であると照合されなかった場合よりも低く設定する
   ことを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、前記物体が所定の個体であると前記照合手段が照合したことを示す情報を記憶し、前記物体が複数の物体に分割すると前記情報をリセットすることを特徴とする請求項４乃至８のいずれか１項に記載の画像処理装置。
10. 前記照合手段は、前記検出手段により検出した物体が所定の人物の顔であるか照合することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記動画像中の複数のフレームから前記検出手段により検出した物体の位置を対応付けることで、前記検出手段により検出した物体を追尾する追尾手段を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記追尾手段が、照合手段により照合された物体が他の物体と重なった又は分離したことを検出することを特徴とする請求項１１に記載の画像処理装置。
13. 動画像中の物体を検出する検出工程と、
    前記検出工程により検出した物体が所定の個体であるか照合する照合工程と、を有し、
    前記照合工程では、所定の頻度で前記検出工程により検出した物体が所定の個体であるか照合し、更に当該照合工程により照合された物体が他の物体と重なった又は分離した場合には、前記他の物体と重なった又は分離した物体の少なくとも一部が所定の個体であるか照合することで前記所定の頻度より高い頻度で照合することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images