JP6308011B2

JP6308011B2 - 同一対象検出装置、同一対象検出方法、及び同一対象検出プログラム

Info

Publication number: JP6308011B2
Application number: JP2014102635A
Authority: JP
Inventors: 健太郎辻; 明燮鄭; 馬場　孝之; 孝之馬場; 上原　祐介; 祐介上原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-05-16
Filing date: 2014-05-16
Publication date: 2018-04-11
Anticipated expiration: 2034-05-16
Also published as: JP2015219712A

Description

本件は、同一対象検出装置、同一対象検出方法、及び同一対象検出プログラムに関する。

監視範囲が重複しない複数のカメラによる映像を利用して、同一人物を検出するシステムが知られている（例えば特許文献１〜５参照）。例えば、映像から取得した画像を複数の領域に分割し、色ヒストグラムを利用して各領域の特徴量を抽出することで、映像に含まれる人物の姿勢の変化に依存せずに、対象人物を検索する技術がある（例えば特許文献６参照）。

特開２００５−２０２９３８号公報特開２００７−１１６９６号公報特開平１１−９６３６４号公報特開２００５−２５０６９２号公報特開２００９−２３１９２１号公報特開２０１１−１８２３８号公報

しかしながら、上述した技術では各領域内における姿勢の変化には依存しないものの、領域を跨って姿勢が変化した場合には、対象人物の検索精度が低下する。この場合、同一人物を異なる人物として検出するおそれがある。

そこで、１つの側面では、本件は、同一人物の誤検出を抑える同一対象検出装置、同一対象検出方法、及び同一対象検出プログラムを提供することを目的とする。

本明細書に開示の同一対象検出装置は、時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出する対象検出部と、前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する同異判断部と、を有する同一対象検出装置である。

本明細書に開示の同一対象検出方法は、時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出し、前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する、処理をコンピュータが実行する同一対象検出方法である。

本明細書に開示の同一対象検出プログラムは、時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出し、前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する、処理をコンピュータに実行させるための同一対象検出プログラムである。

本明細書に開示の同一人物の誤検出を抑える同一対象検出装置、同一対象検出方法、及び同一対象検出プログラムによれば、同一対象の誤検出を抑えることができる。

図１は、同一対象検出システムの一例を説明するための図である。図２は、同一対象検出装置のブロック図の一例である。図３は、同一対象検出装置のハードウェア構成の一例である。図４は、同一対象検出装置で実行される人物情報登録処理の一例を示すフローチャートである。図５は、色テーブルの一例である。図６は、人物画像の姿勢の変化の一例を説明するための図である。図７は、人物画像の向きの一例を説明するための図である。図８は、重み係数が登録された色テーブルの一例である。図９は、人物テーブルの一例である。図１０は、色テーブル更新処理の一例を示すフローチャートである。図１１は、同一対象検出装置で実行される対応付け処理の一例を示すフローチャートである。図１２は、類似度算出処理の一例を示すフローチャートである。図１３は、類似度算出処理の一例を説明するための図である。

以下、本件を実施するための形態について図面を参照して説明する。

図１は、同一対象検出システムＳの一例を説明するための図である。図１に示すように、同一対象検出システムＳは、複数の撮像装置１００，２００，３００と同一対象検出装置４００を含んでいる。

撮像装置１００，２００，３００は、それぞれ自己の撮像範囲内を撮像する。撮像装置１００，２００，３００としては、例えばビデオカメラといった動画像や映像を撮像する装置がある。各撮像装置１００，２００，３００は、人物Ｍが通る通路の壁や天井に撮像範囲が重複しないように設けられている。したがって、図１では、撮像装置１００は、壁に掛けられた時計１０を含む撮像範囲内を撮像する。撮像装置２００は、壁に掛けられた絵画２０を含む撮像範囲内を撮像する。ここで、鞄Ｂを所持する人物Ｍが撮像装置１００の撮像範囲内に入ると、鞄Ｂを所持する人物Ｍと時計１０を含む映像が撮像装置１００に入力される。映像の一部にはある時刻における瞬間的な撮像画像３０が含まれる。また、人物Ｍが撮像装置１００の撮像範囲内から直進移動して通路を左折し、撮像装置２００の撮像範囲内に入ると、人物Ｍと絵画２０を含む映像が撮像装置２００に入力される。映像の一部には別の時刻における瞬間的な撮像画像３１が含まれる。撮像装置１００は連続して撮像しているため、撮像画像３０を含む時系列の撮像画像が映像として撮像装置１００に入力される。撮像装置２００についても同様である。

同一対象検出装置４００は、各撮像装置１００，２００，３００と接続されている。同一対象検出装置４００としては例えばサーバ装置がある。同一対象検出装置４００は、撮像装置１００，２００，３００に入力された各映像を取得して、いずれかの映像に含まれる人物と別の映像に含まれる人物が同一か否かを判断する。尚、同一対象検出装置４００による判断対象は人物に限定されず、例えば体の一部を動かして姿勢を変えながら移動する動物やロボットといった移動体であってもよい。

次に、図２を参照して、上述した同一対象検出装置４００の概略的な機能構成を説明する。

図２は、同一対象検出装置４００のブロック図の一例である。
図２に示すように、同一対象検出装置４００は、映像取得部４１０、対象検出部４２０、色情報生成部４３０、情報登録部４４０及び情報記憶部４５０を含んでいる。また、同一対象検出装置４００は、情報抽出部４６０、同異判断部４７０及び情報更新部４８０を含んでいる。尚、情報記憶部４５０は、同一対象検出装置４００の外部にあってもよい。

映像取得部４１０は、撮像装置１００，２００，３００に入力された映像を取得する。映像取得部４１０は、取得した映像を１フレーム毎に画像に変換する。これにより、撮像装置１００や撮像装置２００による時系列な複数の画像（撮像画像）が生成される。映像取得部４１０は、時系列な複数の画像を対象検出部４２０に出力する。
対象検出部４２０は、時系列な複数の画像から判断対象としての人物を画像毎に検出する。これにより、時刻の経過に従って姿勢が変化する複数の人物が検出される。対象検出部４２０は、複数の人物を検出した後、時間的に連続した画像間で同一人物を追跡する。対象検出部４２０は、追跡した人物を色情報生成部４３０に出力する。

色情報生成部４３０は、対象検出部４２０により追跡された人物から色情報を抽出する。色情報生成部４３０は、抽出した色情報を利用して色テーブルを更新することにより色テーブルを生成する。色情報生成部４３０は、生成した色テーブルを情報登録部４４０に出力する。
情報登録部４４０は、色テーブルにより特徴付けられる人物の人物特徴量を人物情報に含め、その人物情報を情報記憶部４５０に登録する。この結果、情報記憶部４５０には人物情報が記憶される。

情報抽出部４６０は、情報記憶部４５０から比較元の人物情報と比較先の人物情報を抽出する。情報抽出部４６０は、抽出した比較元の人物情報と比較先の人物情報を同異判断部４７０に出力する。
同異判断部４７０は、比較元の人物情報を比較先の人物情報と比較して人物情報が同一であるか否かを判断する。同異判断部４７０は、判断結果を情報更新部４８０に出力する。

情報更新部４８０は、判断結果に応じて情報記憶部４５０に記憶された比較元の人物情報を更新する。例えば、情報更新部４８０は、比較元の人物情報と比較先の人物情報が同一であると判断された場合には、比較先の人物情報に付与されたラベルと同じラベルを比較元の人物情報に付与する。逆に、情報更新部４８０は、比較元の人物情報と比較先の人物情報が異なると判断された場合には、比較先の人物情報に付与されたラベルと異なるラベルを比較元の人物情報に付与する。これにより、情報記憶部４５０には、様々なラベルが付与された人物情報が記憶される。例えば２つの人物情報に同じラベルが付与されていれば、それぞれの人物情報により特定される人物は同一の人物である判断することができる。

次に、図３を参照して、同一対象検出装置４００のハードウェア構成について説明する。

図３は、同一対象検出装置４００のハードウェア構成の一例である。
図３に示すように、同一対象検出装置４００は、少なくともCentral Processing Unit（ＣＰＵ）４００Ａ、Random Access Memory（ＲＡＭ）４００Ｂ、Read Only Memory（ＲＯＭ）４００Ｃ及びネットワークＩ／Ｆ（インタフェース）４００Ｄを含んでいる。同一対象検出装置４００は、必要に応じて、Hard Disk Drive（ＨＤＤ）４００Ｅ、入力Ｉ／Ｆ４００Ｆ、出力Ｉ／Ｆ４００Ｇ、入出力Ｉ／Ｆ４００Ｈ、ドライブ装置４００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ４００Ａ，・・・，ドライブ装置４００Ｉは、内部バス４００Ｊによって互いに接続されている。少なくともＣＰＵ４００ＡとＲＡＭ４００Ｂとが協働することによってコンピュータが実現される。

入力Ｉ／Ｆ４００Ｆには、入力装置５１０が接続される。入力装置５１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ４００Ｇには、表示装置５２０が接続される。表示装置５２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ４００Ｈには、半導体メモリ５３０が接続される。半導体メモリ５３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ４００Ｈは、半導体メモリ５３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ４００Ｆ及び入出力Ｉ／Ｆ４００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ４００Ｇは、例えばディスプレイポートを備えている。

ドライブ装置４００Ｉには、可搬型記録媒体５４０が挿入される。可搬型記録媒体５４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置４００Ｉは、可搬型記録媒体５４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ４００Ｄは、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。同一対象検出装置４００は、ネットワークＩ／Ｆ４００Ｄを介してネットワークと接続される。

上述したＲＡＭ４００Ｂには、ＲＯＭ４００ＣやＨＤＤ４００Ｅに記憶されたプログラムがＣＰＵ４００Ａによって格納される。ＲＡＭ４００Ｂには、可搬型記録媒体５４０に記録されたプログラムがＣＰＵ４００Ａによって格納される。格納されたプログラムをＣＰＵ４００Ａが実行することにより、後述する各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。

次に、図４乃至図９を参照して、同一対象検出装置４００の動作について説明する。

図４は、同一対象検出装置４００で実行される人物情報登録処理の一例を示すフローチャートである。図５は、色テーブルの一例である。図６は、人物画像の姿勢の変化の一例を説明するための図である。図７は、人物画像の向きの一例を説明するための図である。図８は、重み係数が登録された色テーブルの一例である。図９は、人物テーブルの一例である。

まず、映像取得部４１０は、撮像装置１００，２００，３００のいずれかに入力された映像を取得し、取得した映像を１フレーム毎に画像に変換する（ステップＳ１０１）。例えば撮像装置２００に入力された映像を取得した場合には、撮像装置２００による時系列な複数の画像が生成される。次いで、対象検出部４２０は、各画像中からそれぞれ人物を検出し、それぞれの人物特徴量を抽出する（ステップＳ１０２）。より詳しくは、対象検出部４２０は、予め定めた検出手法により、時系列な複数の画像から判断対象としての人物を画像毎に検出する。検出手法には、例えば背景差分法、動的２値化法、テンプレートマッチングなどがある（特開２００２−１５７５９９号公報参照）。対象検出部４２０は、人物を検出すると、検出した人物の特徴量を表す人物特徴量を抽出する。人物特徴量としては、例えば、検出位置における色や時間的に連続した人物に応じた移動ベクトルなどがある。

次いで、対象検出部４２０は、同一人物を追跡する（ステップＳ１０３）。より詳しくは、対象検出部４２０は、前の画像（処理済の画像）から検出した人物の人物特徴量と現画像（処理中の画像）から検出した人物の人物特徴量を判定基準に基づいて対応付けることにより同一人物を追跡する。この結果、撮像装置１００や撮像装置２００に入力された各映像内で移動する人物が検出されて追跡される。尚、人物の追跡手法には以下の技術を利用してもよい。追跡対象の形状変化（見え変化）については、色ヒストグラムを用いる手法により追跡できる。物体の移動（動き変化）については、追跡対象の存在する領域を、尤度をもとにサンプリングするパーティクルフィルタを導入した手法により追跡できる（山下隆義、藤吉弘亘、「追跡対象と周辺領域の関係性を利用した協調的な物体追跡」、画像認識シンポジウム（ＭＩＲＵ２０１１）、ｐｐ．５６−６３、２０１１年７月参照）。

次いで、色情報生成部４３０は、色テーブル更新処理を実行する（ステップＳ１０４）。色テーブル更新処理は、追跡中の人物から色の特徴を表す色情報を抽出し、抽出した色情報を予めフォーマットが定められた色テーブルに書き込んで更新する処理である。これにより、色情報を含む色テーブルが生成される。色テーブルは、人物の画像を表す人物画像が複数の領域（例えば矩形領域）に分割された場合に、各領域がどのような色を有するかを纏めたテーブルである。領域は画素単位でもよいし複数画素で構成されたものでもよい。色テーブルは、図５に示すように、各領域の位置を表す領域位置、各領域における時刻毎の色情報、及び後述する重み係数を構成要素として含んでいる。領域位置は、図６に示すように、人物画像が複数の領域に分割された場合における各領域の位置を表している。領域位置の先頭（０，０）は左上隅に仮想的に設定されている。例えば、時刻ｔ_０における領域位置（８０，１０）の色情報欄には、図５に示すように、皮膚の色を表す色情報（２２０，１６５，１１０）が登録されている。色情報は、例えば領域内の代表値やヒストグラムなどで表すことができる。

また、色テーブルは人物の向き毎に定められている。例えば図７に示すように、４方向に人物の向きを分けた場合、右方向を向く０°方向、正面方向を向く９０°方向、左方向を向く１８０°方向及び背面方向を向く２７０°方向の４つの色テーブルが定められる。上述した図５では０°方向の色テーブルが示されている。尚、このような９０°刻みに代えて４５°刻みが利用されてもよい。この場合、８つの色テーブルが定められる。色テーブル更新処理の詳細は後述するが、色テーブル更新処理により時刻ｔ_０における色情報を含む色テーブルが人物の向き毎に生成される。

色情報生成部４３０は、色テーブル更新処理が終了すると、追跡終了か否かを判断する（ステップＳ１０５）。例えば、図１において人物Ｍが撮像装置２００の撮像範囲外へ出た場合、撮像装置２００には人物Ｍが入力されないため、色情報生成部４３０は追跡終了と判断する（ステップＳ１０５：ＹＥＳ）。逆に、人物Ｍが撮像装置２００の撮像範囲外へ出ていない場合、撮像装置２００には人物Ｍが入力されるため、色情報生成部４３０は追跡終了でないと判断する（ステップＳ１０５：ＮＯ）。色情報生成部４３０は追跡終了でないと判断する限り、映像取得部４１０は映像を取得する。この結果、図５に示すように、時刻ｔ_０，ｔ_１，・・・，ｔ_６の色情報が順に抽出されて色テーブルにおける対応する色情報欄に登録される。

色情報生成部４３０は追跡終了と判断した場合、次いで、情報登録部４４０は重み係数を算出する（ステップＳ１０６）。重み係数は、互いに異なる色テーブルにおける同じ領域同士を比較して類似度を判断する場合における、類似度の信頼性を表す係数である。重み係数が小さいほど人物画像全体の同異判断に及ぼす影響が小さくなり、人物画像全体の同異判断において同一であると判断され易くなる。重み係数は、各領域における時系列の色情報に基づいて算出される。

例えば、図６に示すように、人物Ｍの顔の一部を含む領域位置（８０，１０）では、図５に示すように、時刻ｔ_０から時刻ｔ_６まで色情報（２２０，１６５，１１０）は変化していない。すなわち、腕の動きにより姿勢が変化しても色情報は変化しにくい領域であり、類似度を求める際に信頼性が高いため、相対的に大きな重み係数を算出する。逆に、図６に示すように、人物Ｍの脚の一部を含む領域位置（５０，１００）では、図５に示すように、時刻ｔ_０から時刻ｔ_６まで色情報（１６８，１６８，１６８）や色情報（１，６３，１０１）に変化する。すなわち、腕の動きにより鞄Ｂの位置が変化すると、領域位置（５０，１００）には、鞄Ｂの色を表す色情報（１６８，１６８，１６８）と人物Ｍの被服の色を表す色情報（１，６３，１０１）が現れるため色情報は変化し易い領域であり、類似度を求める際の信頼性が低いため、相対的に小さな重み係数を算出する。人物Ｍの腕の一部を含む領域位置（４０，７０）では、図５に示すように、時刻ｔ_０から時刻ｔ_６まで色情報（１，６３，１０１）や色情報（６０，６０，６０）に変化するが、腕の動きによる陰の影響を受けているため領域位置（５０，１００）ほど色情報は変化していない。したがって、領域位置（８０，１０）に対して算出された重み係数と領域位置（５０，１００）に対して算出された重み係数の間に属する重み係数が算出される。

重み係数の具体的な算出方法としては、例えば色情報をＲＧＢ軸の３次元グラフ上にプロットして、その色情報の分布や分散を調べて重み係数を算出する方法がある。分布や分散が小さい場合には、姿勢が変化しても色情報はあまり変化しないため、情報登録部４４０は予め定められた小さな分布に応じた大きな重み係数を算出する。逆に、分布や分散が大きい場合には、姿勢が変化すると様々な色情報が現れ、色情報は大きく変化するため、情報登録部４４０は予め定められた大きな分布に応じた小さな重み係数を算出する。

この結果、図８に示すように、情報登録部４４０は領域位置（８０，１０）に対して算出された重み係数「２．０」を色テーブルにおける対応する重み係数欄に登録する。同様に、情報登録部４４０は領域位置（４０，７０）に対して算出された重み係数「１．０」を色テーブルにおける対応する重み係数欄に登録する。情報登録部４４０は領域位置（５０，１００）に対して算出された重み係数「０．３」を色テーブルにおける対応する重み係数欄に登録する。

情報登録部４４０は、重み係数を算出すると、次いで、人物情報を登録する（ステップＳ１０７）。人物情報は、図９に示すように、人物情報を識別する人物ＩＤ、同一人物には同一のラベルが付与される人物ラベル及び人物特徴を含んでいる。人物情報は人物テーブルに登録される。人物ＩＤは、情報記憶部４５０にカウントアップして付与される番号である。人物ＩＤには文字や記号が含まれていてもよい。人物特徴は、０°方向、９０°方向、１８０°方向及び２７０°方向の４つの色テーブルを含んでいる。図８では、色テーブルのテーブル名が示されている。尚、人物ＩＤ「０６」の人物情報は、人物ラベルが付与されていないが、処理対象の人物情報であるため、人物ＩＤ「０１」〜「０５」の人物情報と対応付けが完了していない。後述する対応付け処理により、人物ＩＤ「０６」の人物情報に適切な人物ラベルが付与される。情報登録部４４０がステップＳ１０７の処理を終了すると、映像取得部４１０はステップＳ１０１の処理を開始する。このように、人物の特徴を表す人物情報が順に情報記憶部４５０に登録される。

次に、図１０を参照して、上述した色テーブル更新処理について説明する。

図１０は、色テーブル更新処理の一例を示すフローチャートである。
色情報生成部４３０は、まず、画像から判断対象としての人物画像を切り出す（ステップＳ２０１）。例えば、色情報生成部４３０は、背景差分処理を利用して画像から人物Ｍの領域である人物画像と背景を分離する。次いで、色情報生成部４３０は、人物画像を正規化する（ステップＳ２０２）。例えば、色情報生成部４３０は、頭頂部から靴底までの長さが予め定めた長さになるように人物画像の寸法を変更する。

次いで、色情報生成部４３０は、人物の向いている方向を特定する（ステップＳ２０３）。例えば、色情報生成部４３０は、人物画像における人物Ｍの移動方向や顔の向き、頭部の頭髪と皮膚の割合やこれらの位置関係などを利用して、人物の向きを特定する。特定された人物の向きに最も近い方向の色テーブルが更新対象と色テーブルになる。次いで、色情報生成部４３０は、方向毎に各領域の色情報を抽出し、色テーブルを更新する（ステップＳ２０４）。具体的には、人物画像の中心位置が所定の位置（例えば原点）に配置されるように合わされて、左上の領域から順番に色情報が抽出され、抽出された色情報色テーブルに登録される。これにより、図５に示すように、色テーブルにおける対応する色情報欄に色情報が登録される。

次に、図１１乃至図１３を参照して、同一対象検出装置４００の動作について説明する。

図１１は、同一対象検出装置４００で実行される対応付け処理の一例を示すフローチャートである。
まず、情報抽出部４６０は、新たな人物情報が登録されたか否かを判断する（ステップＳ３０１）。例えば、情報抽出部４６０は、情報記憶部４５０を定期的に監視し、前回と異なる人物情報が登録されているか否かを判断する。情報抽出部４６０は、新たな人物情報が登録されたと判断した場合（ステップＳ３０１：ＹＥＳ）、登録された人物情報を比較元として抽出する（ステップＳ３０２）。一方、情報抽出部４６０は、新たな人物情報が登録されていないと判断した場合（ステップＳ３０１：ＮＯ）、ステップＳ３０１の処理に戻る。

情報抽出部４６０は、比較元の人物情報を抽出後、その人物情報と比較する人物情報を比較先として抽出する（ステップＳ３０３）。比較先の人物情報は、情報記憶部４５０に記憶されているすべての人物情報であってもよいし、時間や移動経路といった情報を人物情報に加えて、例えば所定の時間以内に登録された人物情報を比較先として抽出するようにしてもよい。

次いで、同異判断部４７０は、類似度算出処理を実行する（ステップＳ３０４）。詳細は後述するが、類似度算出処理は、比較元の人物情報と比較先の人物情報のいずれか１つとの類似度を算出する処理である。類似度算出処理により、比較元の人物情報と比較先の人物情報のいずれか１つとの類似度が算出される。類似度算出処理が完了すると、次いで、同異判断部４７０は、全ての比較先との類似度を算出したか否かを判断する（ステップＳ３０５）。同異判断部４７０は、全ての比較先との類似度を算出していないと判断した場合（ステップＳ３０５：ＮＯ）、再び類似度算出処理を実行する。これにより、比較元の人物情報と比較先の人物情報すべてとの類似度が算出される。

同異判断部４７０は、すべての比較先との類似度を算出したと判断した場合（ステップＳ３０５：ＹＥＳ）、最大の類似度が所定の閾値以上であるか否かを判断する（ステップＳ３０６）。同異判断部４７０は、最大の類似度が所定の閾値以上であると判断した場合（ステップＳ３０６：ＹＥＳ）、情報更新部４８０は、最大類似度となった人物情報のラベルと同じラベルを比較元の人物情報に書き込む（ステップＳ３０７）。すなわち、比較元の人物情報は、最大類似度となった比較先の人物情報と同一人物を表していると判断される。一方、同異判断部４７０は、最大の類似度が所定の閾値以上でないと判断した場合（ステップＳ３０６：ＮＯ）、情報更新部４８０は、新たなラベルを比較元の人物情報に書き込む（ステップＳ３０８）。すなわち、比較元の人物情報は、最大類似度となった比較先の人物情報とは別の人物を表していると判断される。情報更新部４８０がステップＳ３０７又はＳ３０８の処理を終えると、情報抽出部４６０はステップＳ３０１の処理を実行する。

次に、図１２及び図１３を参照して、上述した類似度算出処理について説明する。

図１２は、類似度算出処理の一例を示すフローチャートである。図１３は、類似度算出処理の一例を説明するための図である。
まず、図１２に示すように、同異判断部４７０は、同一方向の色テーブルを取得する（ステップＳ４０１）。具体的には、同異判断部４７０は、比較元の人物情報と比較先の人物情報のそれぞれに含まれる方向毎の色テーブルの中から、いずれか１つの方向を選択し、選択した方向の色テーブルを取得する。図８を参照して説明したように、人物情報には人物の向き毎に異なる複数の色テーブルが含まれているため、同異判断部４７０はいずれかの色テーブルを選択する。選択する向きに関しては、予め向き毎に優先順位を決めておいて優先順位の高い向きの色テーブルを選択する。尚、同異判断部４７０は、すべての向きを選択するようにしてもよい。この場合、全ての向きに関して類似度を求めて平均化することで、最終的な類似度が算出される。

同異判断部４７０は、次いで、各領域の色情報の類似度を領域毎に算出する（ステップＳ４０２）。色テーブルは、図８を参照して説明したように、１つの領域に対して時系列な複数の色情報を有しているため、比較方法としては、例えば、全ての色情報の平均値同士を比較して色情報の類似度を求める方法や、全ての色情報の全組み合わせの類似度を求め、その中で最も高い類似度を採用する方法、時系列な複数の色情報同士が類似しているか調べる方向などがある。また、類似度の算出には、例えばＲＧＢ空間上の２点のユークリッド距離を利用する方法がある。色情報（Ｒ１，Ｇ１，Ｂ１）と色情報（Ｒ２，Ｇ２，Ｂ２）の２点間のユークリッド距離ｄｉｓは、以下の数式（１）により表される。

ここで、求めて距離を利用して、類似度ｃｏｒは例えば以下の数式（２）のように定義されることで、類似している場合には値「１」に近づき、類似していない場合には値「０」に近づくような値を求めることができる。

同異判断部４７０は、次いで、重み係数を利用して、全体の類似度を算出する（ステップＳ４０３）。具体的には、同異判断部４７０は、各領域で求めた類似度に、各領域に対応した重み係数をかけて足し合わせ、平均化することで人物画像全体の類似度を求める。例えば、図１３に示すように、撮像装置１００に基づく比較先である人物ＩＤ「０１」の色テーブルと、撮像装置２００に基づく比較元である人物ＩＤ「０６」の色テーブルを比較する場合、以下の数式（３）により人物画像全体の類似度ｃｏｒ＿ａｌｌを求めることができる。尚、ｉ，ｊはそれぞれ領域位置のｘ，ｙに対応する。ｗａ_ｉ，ｊ、ｗｂ_ｉ，ｊの一方は比較元の重み係数に対応し、ｗａ_ｉ，ｊ、ｗｂ_ｉ，ｊの他方は比較先の重み係数に対応する。例えば、人物ＩＤ「０１」と人物ＩＤ「０６」の類似度ｃｏｒ＿ａｌｌが残りの類似度ｃｏｒ＿ａｌｌと比べて最大であり、人物ＩＤ「０１」と人物ＩＤ「０６」の類似度ｃｏｒ＿ａｌｌが所定の閾値以上であれば、図９における人物ＩＤ「０６」の人物ラベルには「人物Ａ」が登録される。

以上説明したように、本実施形態によれば、判断対象としての人物Ｍを含む人物画像を複数の領域に分割し、各領域が有する時系列の色情報同士を比べる際、他の領域と比べて変化が大きい領域には類似度の信頼性を表す重み係数を下げて、判断対象同士が同一か否か判断する。これにより、変化が大きい領域では、同異判断に及ぼす影響が小さくなり、人物画像全体の同異判断において同一であると判断され易くなる。したがって、変化が大きい領域に対して類似度の信頼性を表す重み係数を下げない場合と比べて、同一対象の誤検出を抑えることができる。換言すれば、同一対象の検出精度を向上することができる。

特に、大きな姿勢変動にも対応させるために、人物の体全体を含む大きな領域が設定された場合、ヒストグラムによって色情報を表現すると、上半身と下半身の色が逆であることにより異なる人物であっても同一人物と誤って検出されるおそれがある。しかしながら、本実施形態によれば、このような誤った検出を抑えることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

なお、以上の説明に関して更に以下の付記を開示する。
（付記１）時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出する対象検出部と、前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する同異判断部と、を有する同一対象検出装置。
（付記２）前記第１の判断対象と前記第２の判断対象のそれぞれの移動方向に対し移動方向毎に前記色情報を生成する色情報生成部を有し、前記同異判断部は、同一の移動方向の前記色情報同士を比較する場合に、前記第１の判断対象と前記第２の判断対象が同一か否かを判断することを特徴とする付記１に記載の同一対象検出装置。
（付記３）前記同異判断部は、前記色情報同士の第１の類似度を領域毎に算出し、領域毎の前記第１の類似度に各領域に対応する前記第１の重み係数又は前記第２の重み係数を掛けて足し合わせて平均化することにより、前記第１の判断対象と前記第２の判断対象の第２の類似度を算出し、前記第２の類似度が同一と判断する閾値以上である場合に、前記第１の判断対象と前記第２の判断対象が同一であると判断することを特徴とする付記１又は２に記載の同一対象検出装置。
（付記４）時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出し、前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する、処理をコンピュータが実行する同一対象検出方法。
（付記５）前記第１の判断対象と前記第２の判断対象のそれぞれの移動方向に対し移動方向毎に前記色情報を生成する処理を有し、前記判断する処理は、同一の移動方向の前記色情報同士を比較する場合に、前記第１の判断対象と前記第２の判断対象が同一か否かを判断することを特徴とする付記４に記載の同一対象検出方法。
（付記６）前記判断する処理は、前記色情報同士の第１の類似度を領域毎に算出し、領域毎の前記第１の類似度に各領域に対応する前記第１の重み係数又は前記第２の重み係数を掛けて足し合わせて平均化することにより、前記第１の判断対象と前記第２の判断対象の第２の類似度を算出し、前記第２の類似度が同一と判断する閾値以上である場合に、前記第１の判断対象と前記第２の判断対象が同一であると判断することを特徴とする付記４又は５に記載の同一対象検出方法。
（付記７）時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出し、前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する、処理をコンピュータに実行させるための同一対象検出プログラム。

Ｓ同一対象検出システム
１００，２００，３００撮像装置
４００同一対象検出装置
４２０対象検出部
４３０色情報生成部
４７０同異判断部

Claims

時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出する対象検出部と、
前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する同異判断部と、
を有する同一対象検出装置。
前記第１の判断対象と前記第２の判断対象のそれぞれの移動方向に対し移動方向毎に前記色情報を生成する色情報生成部を有し、
前記同異判断部は、同一の移動方向の前記色情報同士を比較する場合に、前記第１の判断対象と前記第２の判断対象が同一か否かを判断することを特徴とする請求項１に記載の同一対象検出装置。
前記同異判断部は、前記色情報同士の第１の類似度を領域毎に算出し、領域毎の前記第１の類似度に各領域に対応する前記第１の重み係数又は前記第２の重み係数を掛けて足し合わせて平均化することにより、前記第１の判断対象と前記第２の判断対象の第２の類似度を算出し、前記第２の類似度が同一と判断する閾値以上である場合に、前記第１の判断対象と前記第２の判断対象が同一であると判断することを特徴とする請求項１又は２に記載の同一対象検出装置。
時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出し、
前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する、
処理をコンピュータが実行する同一対象検出方法。
時系列に撮像された第１の撮像画像と時系列に撮像された第２の撮像画像のそれぞれから第１の判断対象と第２の判断対象を検出し、
前記第１の判断対象と前記第２の判断対象がそれぞれ複数の領域に分割されて、対応する領域がそれぞれ有する色情報同士を比較する場合に、比較する領域の時系列での前記色情報の変化がいずれかの領域と比べて大きい領域に、前記いずれかの領域に対して利用する第１の重み係数より小さな第２の重み係数を利用して、前記第１の判断対象と前記第２の判断対象が同一か否かを判断する、
処理をコンピュータに実行させるための同一対象検出プログラム。