JP6331761B2 - 判定装置、判定方法及び判定プログラム - Google Patents

Description

本発明は、動画を解析して移動体を識別する、判定装置、判定方法及び判定プログラムに関する。

従来、監視カメラ等で撮像された動画を解析して、移動体を識別する技術が開示されている。従来例では、例えば、画像毎に人物の領域を複数のブロック領域に分割し、ブロック領域の色分布から算出した代表色を比較することで、同一人物か否かを判定する。

特開２００５−２０２９３８号公報

しかし、従来例では、単に代表色による比較を行っているため、以下の問題が生じる。すなわち、従来例では、例えば、人物が衣服の色と異なる色の鞄を前後に振りながら歩行している場合、人物の衣服の部分が鞄の陰に隠れている時と、隠れていない時において、歩行のタイミングによって、その鞄の陰の影響を受けるブロック領域の箇所の代表色に差が生じる。そのため、従来例では、動きを伴う同一人物を別人物と誤認するおそれが生じる。

そこで、本発明の１つの側面では、撮像した動画において、動きを伴って移動する移動体であっても、比較対象同士が同一であるか否かの判定精度を向上させることを目的とする。

本発明の１つの側面によれば、撮像装置から撮像された動画の画像データを取得し、画像データに基づく画像を時系列に解析して移動体を検出する毎に、撮像装置の撮像範囲内に移動体が出現してから消失するまでの移動を追跡する。そして、移動体を追跡した画像毎に移動体を複数の領域に分割し、各々の領域における色の特徴量を抽出する。さらに、特徴量の時間変化の周期を、比較対象となる移動体毎に求め、比較対象の移動体同士で周期に基づく類似度を算出し、類似度に基づいて、同一であるか否かを識別する。

本発明の１つの側面によれば、撮像した動画において、動きを伴って移動する移動体であっても、比較対象同士が同一であるか否かの判定精度を向上させることができる。

第１実施形態における監視システムの概要の一例を示す説明図である。 第１実施形態における監視システムの機能構成の一例を示す説明図である。 図１に示す人物判定装置のハードウェア構成の一例を示すブロック図である。 第１実施形態における人物判定プログラムの登録処理の一例を示すフローチャートである。 第１実施形態における色抽出処理の一例を示す説明図である。 第１実施形態における色テーブルの一例を示す図である。 第１実施形態における人物の移動方向の向きを示す説明図である。 第１の方向（θ₁＝０度）に人物が移動する場合における色テーブルの更新処理の一例を説明する図である。 第３の方向（θ₃＝９０度）に人物が移動する場合における色テーブルの更新処理の一例を説明する図である。 第１実施形態における人物情報ＤＢの一例を示す図である。 第１実施形態における色更新処理のサブルーチンの一例を示すフローチャートである。 第１実施形態における正規化処理の一例を説明する図である。 第１実施形態における人物判定プログラムの対応付け処理の一例を示すフローチャートである。 第１実施形態における類似度の比較処理におけるサブルーチンの一例を示すフローチャートである。 第１実施形態における人物の動きに伴う周期の一例を示す説明図である。 第１実施形態における類似度の算出方法の一例を説明する図である。 第２実施形態における色テーブルの一例を示す図である。 第２実施形態における類似度の算出方法の一例を説明する図である。

以下、図面に基づいて、本件に開示する実施形態について詳細に説明する。本発明の一の実施形態における人物判定装置、人物判定方法及び人物判定プログラムの一例について説明する。
この人物判定装置には、人物判定プログラムが格納される。ここで、人物判定プログラムは、例えば、人物が姿勢を変化させて移動する場合であっても、比較対象の人物同士が同一であるか否かの判定の精度を向上させる処理を行う。
なお、以下の実施形態では、複数の監視カメラと、それらの監視カメラで撮像された動画から同一人物を判定する人物判定装置とを備える監視システムの適用例について説明するが、本発明がこれにより限定されるものではない。

＜第１実施形態＞
［監視システムの概要］
図１は、第１実施形態における監視システムの概要の一例を示す説明図である。図１に示す監視システムＳは、一例として、人物判定装置１と、監視カメラＣ１、Ｃ２とを含む。人物判定装置１は、判定装置の一例であり、監視カメラＣ１、Ｃ２は、撮像装置の一例である。なお、監視カメラの数は、２台に限定されるものではなく、必要に応じた台数分を設置してよい。また、監視カメラＣ１、Ｃ２は、例えば、同じ機種であってもよい。そのため、監視カメラの構成等については、監視カメラＣ１を代表して説明する。

監視カメラＣ１、Ｃ２は、例えば、屋内であれば、通路Ａの壁や天井等において、被写体を撮影しやすい場所に配置される。図１では、通路Ａを上方から見下ろすように描いており、例えば、鞄２０を持った人物Ｐが通路Ａを矢印で示す方向に歩いている様子を時系列に表している。この際、人物Ｐが、監視カメラＣ１、Ｃ２の撮像範囲内(図中、破線で示す)を歩いて通過すると、各々撮像されることになる。なお、破線で示す撮像範囲は、一例であって、これに限定されるものではない。また、監視カメラＣ１、Ｃ２は、撮像範囲が重複しないように配置してもよい。

監視カメラＣ１、Ｃ２は、ＬＡＮ(Local Area Network)ケーブル等による有線の通信回線Ｌを介して、人物判定装置１に接続されている。なお、監視カメラＣ１、Ｃ２は、無線機能により、人物判定装置１に接続されてもよい。
人物判定装置１は、例えば、サーバ装置としての機能を有する。人物判定装置１は、監視カメラＣ１、Ｃ２から動画の画像データを取得し、人物判定プログラムを実行する。次に、図２を参照して、監視システムＳの機能構成について、説明する。
［監視システムＳの機能構成］
図２は、第１実施形態における監視システムの機能構成の一例を示す説明図である。監視カメラＣ１は、撮像手段と、画像処理手段と、通信手段とを備える。監視カメラＣ１は、撮像手段として、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサにより、カラーの画像を生成する。なお、撮像手段としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて、カラーの画像を生成してもよい。
また、監視カメラＣ１は、画像処理手段により、撮像したカラーの画像の画像データを、例えば、「H.264/MPEG-4 Advanced Video Coding」等による動画の画像データの圧縮符号化方式に基づいて圧縮する。なお、圧縮符号化方式としては、上記の方式に限られず、例えば、他のＭＰＥＧ（Moving Picture Experts Group）の圧縮符号化方式を採用してもよい。そして、監視カメラＣ１は、通信手段により、圧縮した動画の画像データを人物判定装置１に送信する。

人物判定装置１は、人物判定プログラムが実行されることによって、人物判定における機能が実現される。具体的には、人物判定装置１は、映像取得部１０、移動体追跡部１１、色抽出部１２、色テーブル処理部１３、ＤＢ（データベース：Data Base）登録処理部１４、人物情報抽出部１５、人物識別部１６及びＤＢ更新部１７を備える。なお、映像取得部１０は、取得部の一例であり、移動体追跡部１１は、追跡部の一例である。また、色抽出部１２は、抽出部の一例であり、色テーブル処理部１３は、色情報処理部の一例であり、人物識別部１６は、識別部の一例である。

映像取得部１０は、監視カメラＣ１、Ｃ２から撮像され、圧縮された動画の画像データを取得する。そして、映像取得部１０は、この画像データを、所定のフォーマットに従って、１フレーム毎の画像に変換する。これにより、映像取得部１０は、監視カメラＣ１、Ｃ２毎に、所定のフレームレート（例えば、３０フレーム／秒）で読み出す時系列の動画の画像を生成する。
なお、映像取得部１０は、監視カメラＣ１、Ｃ２から圧縮された動画の画像データを受信するのではなく、所定のフレームレートで出力された動画の画像（画像データの一例）を受信するようにしてもよい。

移動体追跡部１１は、画像データに基づく画像（フレーム）を時系列に解析することにより、例えば、動きのある人物を検出する毎に、その人物が監視カメラ（例えばＣ１、Ｃ２）の撮像範囲内に出現してから消失するまでの移動を追跡する。つまり、移動体追跡部１１は、例えば、時間的に連続した時系列の画像間で同一人物を追跡する。なお、人物は、移動体の一例であり、また、例えば、人物が鞄等を持って移動する場合には、画像内で人物と鞄とを含む領域も移動体の一例となる。また、姿勢を変化させて移動する移動体であれば、動物やロボット等も移動体の一例となる。したがって、移動体追跡部１１は、人物が犬を連れて移動する場合には、画像内で、例えば、人物及び犬を囲む領域、又は、人物及び犬を切り取った領域を移動体の一例とみなして、画像解析により追跡してもよい。

色抽出部１２は、例えば人物を追跡した画像毎に人物を複数の領域に分割し、各々の領域における色の特徴量を抽出する。より詳しくは、色抽出部１２は、追跡中の人物の画像を解析し、赤 (Red)、緑 (Green)、青(Blue)の三原色に基づいて、色を再現するＲＧＢ等の色の特徴量を各々の領域で抽出する。ここで、例えば、赤、緑、青の各色を０〜２５５の値（２５６階調）で指定すると、色抽出部１２は、各色の値の組み合わせにより定まる色を、その色の特徴量として抽出することができる。例えば、白は（２５５，２５５，２５５）であり、黒は、（０，０，０）である。

色テーブル処理部１３は、画像毎に抽出される色の特徴量を統合する色情報のテーブル（以下「色テーブル」という。）を、移動体追跡部１１が追跡を開始した人物毎に作成する。そして、色テーブル処理部１３は、追跡中に抽出される色の特徴量を順次追加することにより、色テーブル３２を更新する。色テーブル処理部１３は、図２に示す色テーブル３２を作成することにより、例えば、歩く動作等に起因する人物の移動による画像間で、比較対象となる同じ座標の色の変動を抽出できる。なお、色テーブル３２のデータ構造の詳細については、図６等を用いて後述する。

ＤＢ登録処理部１４は、移動体追跡部１１が追跡を終了する毎に、追跡した人物に識別子を付与し、その識別子を付与した人物とその人物の色テーブル３２とを対応付けた人物情報を人物情報ＤＢ３１に登録する。具体的には、ＤＢ登録処理部１４は、追跡中の人物について、複数の画像間で色テーブル３２により特徴付けられる人物の特徴量（例えば、色情報）を、人物情報に含めて、人物情報ＤＢ３１のテーブルに登録する。人物情報ＤＢ３１におけるテーブルのデータ構造の詳細については、図１０を用いて後述する。

人物情報抽出部１５は、人物情報ＤＢ３１から、比較対象元となる新規に登録した人物の人物情報と、比較対象先となる既に登録済みの人物の人物情報を抽出する。
人物識別部１６は、複数の画像間に跨がって、それらの画像内で人物が複数の領域に分割された各々の領域における色の特徴量の時間変化の周期を、比較対象となる人物毎に求める。そして、人物識別部１６は、比較対象の人物同士で周期に基づく類似度を算出し、その類似度に基づいて、同一であるか否かを識別する。この場合、人物識別部１６は、人物情報抽出部１５が抽出した人物情報に基づいて、例えば、比較対象元となる新規に登録した人物と、比較対象先となる既に登録済みの人物に対して、それぞれ周期を求める。より詳しくは、人物識別部１６は、新規登録された人物の人物情報に対し、登録済みの人物の人物情報を用いて、周期に基づく類似度を各々算出し、類似度に基づいて、新規登録された人物が既に登録済みの人物の何れかと同一人物であるか否かを識別する。

ＤＢ更新部１７は、人物識別部１６の識別結果に応じて、比較対象元の人物と比較対象先の人物とが同一人物である旨の情報を追加する。これらの各部１０〜１７の処理の詳細については、図４に示すフローチャート等を用いて後述する。

［人物判定装置のハードウェア構成］
次に、人物判定装置１の主なハードウェア構成について説明する。本件開示の人物判定装置は、例えば、コンピュータを用いて実現できる。

図３は、図１に示す人物判定装置１のハードウェア構成の一例を示すブロック図である。図３では、図１に示す人物判定装置１として機能するコンピュータ１００のハードウェア構成の一例を示す。コンピュータ１００は、プロセッサ２、ストレージ３、メモリ４、駆動装置５、入力装置６、通信インターフェース７、表示装置８及びバス９を備える。プロセッサ２、ストレージ３、メモリ４、駆動装置５、入力装置６、通信インターフェース７、及び表示装置８は、バス９を介して、互いに接続されている。

プロセッサ２は、人物判定装置１の統括的な制御を実行するものである。具体的には、プロセッサ２は、実行ユニット、命令デコーダ、制御ユニット及び、演算ユニット等を含み、実行ユニットは、命令デコーダで解読されたプログラムの命令に従い、制御ユニットより出力される制御信号に応じ、演算ユニットを用いて算術・論理演算を実行する。なお、プロセッサ２は、ＣＰＵ（Central Processing Unit）コアが複数設けられているコアプロセッサの構成であってもよい。

また、ストレージ３は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置であり、プログラムや各種データが格納される。また、ストレージ３には、人物情報ＤＢ３１や色テーブル３２等が格納される。

メモリ４は、例えば、ＲＡＭ（Random Access Memory）等の記憶装置であり、プロセッサ２で実行されるプログラムがロードされると共に、プロセッサ２の処理に用いるデータが格納されるメインメモリである。メモリ４には、プロセッサ２がプログラムを実行する際の作業メモリやバッファメモリ等を備える。

駆動装置５は、可搬型の記憶媒体１３に記憶されたデータやプログラムを読み出す装置である。記憶媒体１３は、例えば、光ディスク、磁気ディスク、光磁気ディスク、ＵＳＢ（Universal Serial Bus）メモリ又は半導体メモリ（フラッシュメモリ等）を採用したメモリカード等の可搬型の記憶媒体である。

入力装置６は、例えば、タッチパネル方式の入力デバイスである。通信インターフェース７は、例えば、無線又は有線によりデータ通信を行うためのインターフェースを具備する。表示装置８は、例えば、液晶モニタであって、プロセッサ２の指示に応じて、操作用のメニュー画面や出力結果を表示する。バス９は、例えば、データバス、アドレスバス及びコントロールバスの３系統のバスを含む。

なお、プロセッサ２が実行するプログラムや、アクセス対象となるデータは、人物判定装置１と通信可能な他の装置に格納されていてもよい。また、人物判定装置１の記憶手段とは、ストレージ３、メモリ４、記憶媒体１３又は人物判定装置１との間で通信可能な他の装置の少なくとも何れかを示す。

また、図３に例示したコンピュータ１００は、プロセッサ２、ストレージ３、メモリ４等のハードウェアと、オペレーティング・システムやアプリケーション・プログラム等のプログラムとが協働することにより、各種機能を実現する。このアプリケーション・プログラムには、人物判定プログラムが含まれる。したがって、図２に示した、映像取得部１０、移動体追跡部１１、色抽出部１２、色テーブル処理部１３、ＤＢ登録処理部１４、人物情報抽出部１５、人物識別部１６及びＤＢ更新部１７は、プロセッサ２が人物判定プログラムを実行することにより機能を実現する。

［処理動作の説明］
次に、監視システムＳにおける人物判定プログラムの動作の一例について説明する。ここで、人物判定装置１が人物判定プログラムの処理を実行することで、第１実施形態における人物判定方法が実現される。人物判定プログラムは、例えば、映像取得処理、移動体追跡処理、色抽出処理、色テーブル作成処理、ＤＢ登録処理、人物情報抽出処理、人物識別処理及びＤＢ更新処理等をプロセッサ２に実行させる。ここで、人物判定プログラムは、（１）登録処理と、（２）対応付け処理との２つの機能モジュールを有する。そこで、第１実施形態では、登録処理と対応付け処理とに分けて、以下説明を続ける。なお、図３に示すプロセッサ２は、登録処理と対応付け処理とを独立に並列処理で実行してもよく、登録処理に従属して、対応付け処理を実行するようにしてもよい。

［登録処理の説明］
登録処理は、動画から動きのある人物が検出され、追跡が終了する毎に、その人物に識別子を付与して人物情報ＤＢ３１に登録し、データベース化する処理を行う。
ここで、図３に示すプロセッサ２は、一例として、入力装置６を介して、人物判定プログラムの実行を示すコマンド入力を受け付ける。すると、プロセッサ２は、先ず、図４に示すフローチャートに従って、人物判定プログラムの登録処理を開始する。
図４は、第１実施形態における人物判定プログラムの登録処理の一例を示すフローチャートである。

ステップＳ１０１：映像取得部１０は、監視カメラＣ１、Ｃ２で撮像される映像(動画の画像データ)の取得処理を行う。具体的には、映像取得部１０は、例えば、上記の「H.264/MPEG-4 Advanced Video Coding」等により圧縮された動画の画像データを、監視カメラＣ１、Ｃ２から周期的に受信し、図３に示すストレージ３に取り込む。
そして、映像取得部１０は、さらに、取得した映像を１フレーム毎の画像に変換する。映像取得部１０は、例えば、監視カメラＣ１から圧縮された動画の画像データを取得した場合、その動画の画像データを所定のフレームレートで読み出すことが可能な複数の時系列の画像に変換する。

ステップＳ１０２：移動体追跡部１１は、ステップＳ１０１で変換されたフレームの画像を読み出して、人物の検出処理を行う。具体的には、移動体追跡部１１は、予め設定した検出手法により、人物の検出処理を行う。検出手法としては、例えば、背景差分法、テンプレートマッチング法、動的２値化法等がある（特開２００２−１５７５９９号公報等参照）。なお、移動体追跡部１１は、上記の検出手法に限られず、人物の検出処理を行える他の検出手法を適用してもよい。移動体追跡部１１は、人物を検出すると、検出した人物の特徴量を表す人物特徴量を抽出する。人物特徴量としては、例えば、検出位置における色や人物の時間的な移動を示す移動ベクトル等がある。

ステップＳ１０３：移動体追跡部１１は、ステップＳ１０２で検出した人物の追跡処理を行う。具体的には、移動体追跡部１１は、例えば、テンプレートマッチング法（特開２００２−１５７５９９号公報参照）に基づいて、人物の追跡処理を行う。なお、移動体追跡部１１は、テンプレートマッチング法に限られず、人物の追跡処理を行える他の追跡手法を適用してもよい。例えば、移動体追跡部１１は、以下の非特許文献を参照し、追跡対象の形状変化（見え変化）に基づく色ヒストグラムを用いる手法により、人物を追跡してもよい。又は、移動体追跡部１１は、移動体の移動（動き変化）について、追跡対象の存在する領域を、尤度に基づいてサンプリングするパーティクルフィルタを用いた手法により追跡してもよい（山下隆義、藤吉弘亘、「追跡対象と周辺領域の関係性を利用した協調的な物体追跡」、画像認識・理解シンポジウム（ＭＩＲＵ２０１１）、ｐｐ．５６−６３、２０１１年７月参照）。

ステップＳ１０４：色抽出部１２は、移動体追跡部１１が人物を追跡した画像毎にその人物を複数のブロック領域に分割し、各々の領域における色の特徴量を抽出する色抽出処理を行う。
図５は、第１実施形態における色抽出処理の一例を示す説明図である。図５Ａに示すように、色抽出部１２は、例えば、人物Ｐを囲む領域を複数のブロック領域に分割する。人物Ｐが鞄２０等の荷物を所持している場合、その人物Ｐ及び鞄２０を含む領域を画像内から抽出する。具体的には、図５Ａにおいて、色抽出部１２は、例えば、左上隅のブロック領域の位置座標α（ｘ,ｙ）を基準座標（０,０）として、人物Ｐを囲む領域における各々のブロック領域の位置座標を特定するようにしてもよい。

そして、色抽出部１２は、図５Ｂに示すように、例えば背景差分処理等に基づいて、背景領域から人物Ｐ及び鞄２０の領域を切り出す。続いて、色抽出部１２は、その人物Ｐ及び鞄２０の領域に対して、該当する各々のブロック領域の位置座標α（ｘ,ｙ）における、そのブロック領域内の各Ｒ,Ｇ,Ｂ成分の平均値（Ｒ,Ｇ,Ｂ）（以下「ＲＧＢ値」という。）を抽出する。なお、図５に示すブロック領域の区画は、一例であって、これに限定されるものではない。

また、図５Ａでは、説明の便宜上、画像内から抽出した人物Ｐを囲む領域（人物画像の一例）を矩形にして、各々のブロック領域の位置座標を特定するようにしているが、画像内の背景領域から人物Ｐの領域（人物画像の一例）を切り出すようにしてから、ブロック領域の位置座標を特定するようにしてもよい。なお、領域は、複数画素で構成されるブロック単位に限定されず、画素単位であってもよい。また、色情報は、例えば、各ブロック領域内の最頻値やヒストグラムで表してもよい。

ステップＳ１０５：色テーブル処理部１３は、移動体追跡部１１が検出した人物毎に、現在、処理対象の画像が追跡開始の画像か否かを判定する。これは、移動体追跡部１１が動きのある人物を検出して追跡を行う毎に、色テーブル処理部１３は、その追跡する人物の色テーブル３２を新規に作成する必要があるからである。そこで、処理対象の画像が、追跡開始の画像の場合（ステップＳ１０５：Ｙｅｓ）、その追跡する人物の色テーブル３２を新規に作成するため、ステップＳ１０６に処理に移行する。一方、色テーブル処理部１３は、処理対象の画像が、追跡中の画像の場合（ステップＳ１０５：Ｎｏ）、追跡中における当該人物の色テーブル３２のデータを更新するため、ステップＳ１０７に処理に移行する。

ステップＳ１０６：色テーブル処理部１３は、追跡中の画像毎に抽出される色の特徴量をデータベース化するために統合する色テーブル３２の作成処理を行う。
図６は、第１実施形態における色テーブル３２の一例を示す図である。図６に示す色テーブル３２は、例えば図５に示す人物Ｐを示す人物画像が複数の領域（例えば、矩形状のブロック）に分割された場合に、その領域が何色を主に含むかを纏めたテーブル形式のデータである。色テーブル３２は、一例として「領域」、「色情報」等の列を含んでいる。ここで、領域は、例えば、図５に示した通り、人物Ｐの領域を特定のサイズで分割したブロック領域の位置座標α（ｘ,ｙ）を示す。色情報は、例えば、ブロック領域の位置座標α（ｘ,ｙ）のＲＧＢ値である。なお、色情報の欄における数字の番号は、画像のフレーム番号を表している。

ステップＳ１０７：色テーブル処理部１３は、色テーブルの更新処理のサブルーチンを実行する。ここで、サブルーチンの処理の詳細については、図１１を用いて後述する。色テーブル処理部１３は、色テーブル３２を作成した後、その人物Ｐが撮像範囲内から消失するまで、時系列の画像を順番に解析する毎に、色抽出部１２が抽出した色の特徴量を、その人物Ｐの色テーブル３２に追加して更新していく。より詳しくは、先ず、移動体追跡部１１は、撮像範囲内における人物の移動軌跡に基づいて、人物の移動方向を特定する。そして、色抽出部１２は、人物の移動方向に応じて、例えば、以下の図７に示す８方向に色情報を分類して抽出する。これにより、後述する類似度の算出計算において、人物識別部１６は、比較対象元の人物と比較対象先の人物とを比較するに際し、移動方向が同一方向の色情報同士で比較することが可能になる。

ここで、この色テーブル３２は、人物の移動方向の向き毎に定められている。
図７は、第１実施形態における人物の移動方向の向きを示す説明図である。図７に示す通り、監視カメラ（例えばＣ１）の撮像範囲において、一例として、人物の移動方向の向きは、大きく分けて８方向の向きに分類することができる。図７では、一例として、第１の方向（θ₁＝０度）〜 第８の方向（θ₈＝３１５度）に分類している。なお、第１実施形態では、第１の方向（θ₁＝０度）〜 第８の方向（θ₈＝３１５度）以外の方向については、８方向のうちでより近い方向に近似し、例えば、人物の移動がθ＝１０度の方向であった場合には、第１の方向（θ₁＝０度）に近似する。このように近似しても、後述する通り、人物の寸法を調整する正規化処理等を行うことで、対処することができる。

図２に示す色テーブル処理部１３は、一例として、追跡対象の人物毎に第１〜第８の方向に応じた８種類の色テーブル３２を予め用意している。そして、色テーブル処理部１３は、色抽出部１２が分類して抽出した色情報を人物の移動方向に応じて、第１の方向〜第８の方向の何れかの色テーブル３２に書き込んでいく。つまり、図６では、１種類の色テーブル３２を例示したが、色テーブル３２は、例えば、所定の方向（第１〜第８の方向）毎に分類付けされた８種類のテーブルを含むデータ構造を有している。したがって、図６に示す色テーブル３２のシートが所定の方向分（８枚）あることになる。そして、色テーブル処理部１３は、人物の移動方向に応じて、８種類のテーブルの何れかにＲＧＢ値を書き込む。これにより、色テーブル処理部１３は、人物の移動方向に応じて、データ管理をすることができる。

図８は、第１の方向（θ₁＝０度）に人物が移動する場合における色テーブル３２の更新処理の一例を説明する図である。なお、図８において、空欄にも実際にはＲＧＢ値が格納されていることとする（以下、図９も同様）。
図８において、例えば図１に示す通り、鞄２０を持っている人物Ｐが、第１の方向（θ₁＝０度）に歩いている場合、色テーブル処理部１３は、第１の方向に対応する色テーブルを選択する。そして、色テーブル処理部１３は、１フレーム目における人物画像のブロック領域の位置座標として、例えばα（５０,１２５）に対応する色情報の欄に、鞄２０の色として、例えば、ＲＧＢ値（１６８,１６８,１６８）を書き込む。なお、説明の便宜上、図８、９に示すブロック領域の位置座標は、例えば、図５Ａに示すブロック領域の位置座標とは異なっている。色テーブル処理部１３は、２フレーム目の人物画像についても、１フレーム目と同様の処理を行う。

さらに、色テーブル処理部１３は、３フレーム目における人物画像のブロック領域の位置座標α（５０,１２５）に対応する色情報の欄に、人物Ｐの衣服の色として、例えば、ＲＧＢ値（１,６３,１０１）を書き込む。さらに、色テーブル処理部１３は、４〜６フレーム目の人物画像については、再度、鞄２０の色として、例えば、ＲＧＢ値（１６８,１６８,１６８）を書き込む。

続いて、色テーブル処理部１３は、７フレーム目の人物画像については、人物Ｐの衣服の色として、例えば、ＲＧＢ値（１,６３,１０１）を書き込む。このようにして、色テーブル処理部１３は、人物Ｐが撮像範囲に出現してから消失するまで、時系列の画像（人物画像）を解析する毎に、その人物の色テーブル３２を更新していく。これにより、人物Ｐの歩行等については、周期性があると、色情報の変化も周期性を有することになる。第１実施形態では、後述する通り、この周期性を同一人物の判定に利用することができる。

図９は、第３の方向（θ₃＝９０度）に人物が移動する場合における色テーブル３２の更新処理の一例を説明する図である。例えば、人物Ｐが、撮像範囲内で第１の方向に移動しており、その後、第３の方向に向きを変えて移動した場合、色テーブル処理部１３は、図９に示す通り、第３の方向に対応する色テーブルを選択して、第３の方向の１〜５フレーム目の人物画像ブロック領域の位置座標α（４０,１２０）に対応する色情報の欄に、人物Ｐの衣服の色として、例えば、ＲＧＢ値（１,６３,１０１）を書き込む。この段階において、第２、第４〜第８の方向の色テーブルは、空欄となる。なお、色テーブル処理部１３が１フレームの画像を解析して色テーブル３２を更新する毎に、ステップＳ１０８の処理に移行する。また、色テーブル処理部１３は、色テーブル３２にフレームの番号を書き込んでいるが、そのフレームの画像の撮像時刻も書き込んでいることとする。これにより、撮像時刻は、必要に応じて、後述する移動速度を求める際に利用される。

ステップＳ１０８：移動体追跡部１１は、追跡を終了したか否かを判定する。すなわち、移動体追跡部１１は、複数の時系列の画像を解析することにより、追跡対象の人物が監視カメラＣ１又はＣ２の撮像範囲内に出現してから消失した場合、追跡終了と判断し（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９の処理に移行する。一方、追跡対象の人物が監視カメラＣ１又はＣ２の撮像範囲内に存在している場合、追跡中と判断し（ステップＳ１０８：Ｎｏ）、ステップＳ１０１の処理に戻り、映像取得部１０は、次の画像の取得処理を行う。この際、映像取得部１０は、既に、変換された時系列の画像が残っている場合、上記の変換処理をスキップして、次の画像を取得して、ステップＳ１０２の処理に移行する。

ステップＳ１０９：ＤＢ登録処理部１４は、人物情報ＤＢ３１への登録処理を行う。具体的には、追跡対象の人物が撮像範囲外へ出る等して追跡が終了した場合、ＤＢ登録処理部１４は、第１〜第８の方向の色テーブル３２に対応付けた人物情報を人物情報ＤＢ３１へ書き込む。

図１０は、第１実施形態における人物情報ＤＢの一例を示す図である。人物情報ＤＢ３１は、人物情報をデータベース化したテーブル形式のデータである。人物情報ＤＢ３１は、一例として「人物ＩＤ」、「同一人物ラベル」、「人物特徴量」等の列を含んでいる。

「人物ＩＤ」は、人物情報ＤＢ３１に登録した順番にカウントアップして付与される番号であり、重複することがない情報を含んでいることを意味する。なお、人物ＩＤは、識別子の一例であり、数値に限られず、文字、記号でもよく、またこれらの組み合わせであってもよい。
「同一人物ラベル」は、後述する人物対応付けの処理により、同一人物と判定されたデータには、全て同じラベルが付与される。

「人物特徴量」は、追跡した人物毎に付与される、第１〜第８方向における角度毎の色テーブル３２のテーブル名（例えば、Table_01-00等）が記載される。このテーブル名の色情報を、以下「色テーブルデータ」ということがある。
図１０では、色情報のテーブル名を記載している。つまり、色テーブル３２のテーブル名によって、追跡した人物毎の色テーブル３２の色情報が紐付けられている。

ここで、人物情報抽出部１５が、実際に人物特徴量を見るためには、先ず、テーブル名を人物情報ＤＢ３１から抽出し、そのテーブル名の色情報を色テーブル３２から読み出す処理を行う。また、ＤＢ登録処理部１４は、人物情報ＤＢ３１への登録は、色テーブル処理部１３が作成した色テーブル３２のテーブル名を「人物特徴量」の欄に書き込む処理を行う。なお、第１実施形態では、監視カメラＣ１、Ｃ２で撮像された動画のデータについて、１つの人物情報ＤＢ３１に登録するようにしているが、監視カメラＣ１、Ｃ２毎に、人物情報ＤＢ３１を作成するようにしてもよい。

次に、図１１を参照して、追跡対象の人物が撮像範囲内に出現して消失するまでの間、色テーブル処理部１３が、色情報を追加していく色更新処理のサブルーチンについて説明する。
図１１は、第１実施形態における色更新処理のサブルーチンの一例を示すフローチャートである。
ステップＳ２０１：色抽出部１２は、必要に応じて、人物の大きさの正規化処理を行う。例えば、色抽出部１２は、移動体追跡部１１が追跡した画像間で人物の大きさが移動方向に応じて異なって映っている場合、何れか１つの画像（例えば、追跡開始の画像）における人物の大きさを基準として選択し、基準と異なる他の画像については基準に揃えた上で、画像毎に人物を複数の領域に分割し、色情報を抽出する処理を行う。このようにして、移動体追跡部１１が人物を追跡中に、人物の大きさが移動方向に応じて異なって映っている場合であっても、正規化処理を行うことで、後述する周期の算出の誤りを防ぎ、類似度の算出の精度を向上させることができる。

図１２は、第１実施形態における正規化処理の一例を説明する図である。なお、図１２では、説明をわかりやすくするため、通路Ａを直進しながら遠ざかる人物Ｐを監視カメラ（図示省略）で撮像している場合について例示する。図１２に示す通り、人物Ｐが通路Ａを歩行により直進しながら遠ざかっていくに従って、監視カメラの画角内では、人物Ｐの大きさが小さくなっていくように撮像される。そのため、色抽出部１２は、追跡中に移動方向よって人物Ｐの寸法が異なるように映った場合、複数の画像に跨がって移動する人物Ｐの各ブロック領域を同一サイズにするため、人物Ｐの寸法が同じになるように調整する。

具体的には、色抽出部１２は、正規化処理の一例として、例えば、図４に示すステップＳ１０４の色抽出処理を行うに際し、切り出した人物画像において、頭頂部から靴底までの高さが、予め設定した高さとなるように人物画像を補間処理する等して、寸法を調整する。ここで、予め設定した高さは、一例として、図１２に示すように、監視カメラに、頭頂部から靴底まで映った人物Ｐが出現した時の高さ（ｈ）を基準値とすることが好ましい。これにより、色抽出部１２は、以後、人物Ｐが通路Ａを歩行により直進しながら遠ざかっても、常に基準値（ｈ）になるように人物Ｐの寸法を調整して色抽出処理を行う。

ここで、画像の補間処理としては、例えば、画像補間法として代表的な手法である、ニアレストネイバー法、バイリニア法、バイキュービック法等のうち、何れかを用いてよい。なお、色抽出部１２は、正規化処理が不要な場合には、ステップＳ２０１の処理をスキップする。

ステップＳ２０２：色テーブル処理部１３は、人物の移動方向や顔の向き等を利用して、人物の向きの判定処理を行う。この場合、色テーブル処理部１３は、人物の向きに最も近い方向の色テーブル３２を更新する。例えば、図１に示す人物Ｐが第１の方向に向かって歩行している場合、色テーブル処理部１３は、図８に示すように、第１の方向（θ₁＝０度）の色テーブル３２を更新する。また、図１２示したように、仮に、他の監視カメラを追加した場合であって、人物Ｐが第７の方向に向かって歩行していると、色テーブル処理部１３は、その第７の方向（θ₇＝２７０度）の色テーブル３２を更新する。

ステップＳ２０３：色テーブル処理部１３は、人物の向き毎に色抽出部１２が抽出した各ブロック領域の色情報（ＲＧＢ値）を、色テーブル３２への書込みを行う。色テーブル処理部１３は、例えば、図５Ｂに示すように、切り出した人物画像の各ブロック領域のＲＧＢ値を色テーブル３２へ書き込む。そして、色テーブル処理部１３は、色抽出部１２が抽出した各ブロック領域の色情報を、色テーブル３２の色情報の欄に追加していくことで色テーブル３２の内容を更新する。続いて、図４に示すステップＳ１０８の処理に戻る。そして、ステップＳ１０８の処理において、追跡が終了すると、ステップＳ１０９の処理において、ＤＢ登録処理部１４は、人物情報ＤＢ３１への登録処理を行う。

［対応付け処理の説明］
次に、対応付け処理について説明する。対応付け処理は、新規に登録した人物が、既に人物情報ＤＢ３１に登録されている何れかの人物と同一人物であるか否かの判定を行うための処理である。

図１３は、第１実施形態における人物判定プログラムの対応付け処理の一例を示すフローチャートである。
ステップＳ３０１：人物情報抽出部１５は、新規登録のデータの有無を確認する。具体的には、人物情報抽出部１５は、先ず、例えば、図１０に示す人物情報ＤＢ３１内の「人物ＩＤ」及び「同一人物ラベル」の欄を参照する。そして、人物情報抽出部１５は、同一人物ラベルの情報が記載されていないが、人物ＩＤが記載されていれば、新規の人物が登録されていると判断する。したがって、新規登録が行われた場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に移行する。例えば、図１０において、人物ＩＤ（００００６）については、同一人物ラベルが付与されていないので、新規登録されたことになる。
一方、新規登録が行われていない場合（ステップＳ３０１：Ｎｏ）、人物情報抽出部１５は、新規登録が行われるまでステップＳ３０１の処理を繰り返す。なお、人物情報抽出部１５は、予め設定した時間の周期を繰り返す毎にステップＳ３０１の処理を行うようにしてもよい。

ステップＳ３０２：人物情報抽出部１５は、比較対象元となる新規登録された人物特徴量の抽出処理を行う。具体的には、人物情報抽出部１５は、例えば、新規登録された人物が存在した場合、その人物の人物特徴量を図１０に示す人物情報ＤＢ３１から読み出す。

ステップＳ３０３：人物情報抽出部１５は、同一人物の判定を行う比較対象先の人物特徴量を人物情報ＤＢ３１から抽出する。ここで、人物情報抽出部１５は、比較対象先の人物として、人物情報ＤＢ３１に既に登録されている人物の全てを対象としてもよい。又は、人物情報抽出部１５は、比較対象先の人物として、必要に応じて、時間や移動経路等の情報を人物情報ＤＢ３１に加えて、例えば、一定時間以内に登録された人物などの条件に該当する人物に絞り込んでもよい。以下のフローチャートの処理では、人物情報抽出部１５は、比較対象先の人物として、既に人物情報ＤＢ３１に登録されている人物の全てを対象とする。

ステップＳ３０４：人物識別部１６は、比較対象元の人物（新規登録）と、比較対象先の人物（登録済みの人物）との類似度を求めるため、類似度の算出処理のサブルーチンを実行する。なお、具体的な方法は、図１４で後述する。サブルーチンが終了すると、ステップＳ３０５の処理に移行する。

ステップＳ３０５：人物識別部１６は、類似度に基づいて、比較対象元の人物と、他の比較対象先の人物との比較が全て終了した場合（ステップＳ３０５：Ｙｅｓ）、ステップＳ３０６の処理に移行する。一方、比較が全て終了していない場合（ステップＳ３０５：Ｎｏ）、比較対象先の人物を変更して、ステップＳ３０４の処理を繰り返す。

ステップＳ３０６：ＤＢ更新部１７は、人物情報ＤＢ３１の更新処理を行う。ここで、人物識別部１６は、最も類似度が高い人物に基づいて、その人物の類似度が予め設定した閾値以上である場合、同一人物と識別する。つまり、人物識別部１６は、新規登録の人物と最も類似度が高い人物とが、同一人物であると判定する。そして、ＤＢ更新部１７は、同一人物とされた比較対象先の人物ラベルのデータを、新しく登録された人物の「同一人物ラベル」の欄に書き込む。例えば、人物識別部１６が、図１０に示す人物ＩＤ（００００６）の新規登録の人物と、人物Ａとが、同一人物であると判定すると、ＤＢ更新部１７は、人物ＩＤ（００００６）の横の「同一人物ラベル」の欄に人物Ａを書き込む。

一方、人物識別部１６は、比較対象先の人物毎に、新規登録の人物を比較した結果、どの比較対象先の人物に対しても類似度が閾値より小さい場合、人物情報ＤＢ３１には、同一人物が存在しないと判定する。この場合、ＤＢ更新部１７は、新規登録の人物ＩＤにおける「同一人物ラベル」の欄に新しいラベルを書き込む。例えば、ＤＢ更新部１７は、図１０に示す人物ＩＤ（００００６）の新規登録の人物に対して、「同一人物ラベル」の欄に、人物Ｄを書き込む。これにより、新規登録の人物は、人物Ｄとラベル付けされて、比較対象先の人物となる。そして、プロセッサ２は、ステップＳ３０１の処理に戻る。

次に、類似度の算出処理について説明をする。
図１４は、第１実施形態における類似度の算出処理におけるサブルーチンの一例を示すフローチャートである。
ステップＳ４０１：人物識別部１６は、例えば、図１０に示す人物情報ＤＢ３１の「人物特徴量」の欄を参照し、比較対象同士の同一方向の色テーブルデータを取得する。例えば、人物識別部１６は、比較対象元（新規登録）の人物の色テーブルデータと、比較対象先の登録人物の色テーブルデータとを参照し、同じ方向（一例として、第１の方向(θ₁＝０度））の色テーブルデータを読み込む。第１実施形態では、比較対象先の登録人物の比較する順番を、図１０に示す通り、人物ＩＤの順番としてよい。ここで、人物識別部１６は、人物ＩＤ（００００１）と人物ＩＤ（００００３）とは、同一人ラベルから人物Ａと同定されているので、人物ＩＤ（００００１）のみを比較対象先の人物として比較するようにしてもよい。

また、人物識別部１６は、例えば、人物ＩＤ（００００１）の人物特徴量を用いて比較する際、第１〜第８の方向のうちで、予め方向毎に優先順位を決めてもよい。これは、図１に示す監視カメラＣ１であれば、設置方向に応じて、人物の移動が、図７に示す通り、第１の方向（θ₁＝０度）又は第５の方向（θ₅＝１８０度）に行われやすいからである。また、人物識別部１６は、人物情報ＤＢ３１を参照し、例えば、人物ＩＤ（００００１）の人物特徴量を用いて比較する際、第１〜第８の方向のうちで、データ量（画像のフレーム数等）が多い方向から選択して、類似度の算出処理を行ってもよい。

ステップＳ４０２：人物識別部１６は、各々の色テーブルデータにおける時間変化の周期を求める。具体的には、人物識別部１６は、選択された方向（例えば第１の方向（θ₁＝０度））の色テーブルデータから、人物の動きに伴う周期を求める。ここで、歩行時の動作は、基本的に、右足と左足を交互に動かし、それに合わせて左腕と右腕を交互に動かすことを繰り返す。そのため、人物の領域を抽出した場合、歩行時の映像は、一定周期毎に略同じ映像が繰り返されることになる。つまり、人物の体を複数のブロック領域で分割した各領域の色の変化も、ブロック領域によっては、歩行時の動作に応じて周期的なものになる。

図１５は、第１実施形態における人物の動きに伴う周期の一例を示す説明図である。図１５では、監視カメラＣ１、Ｃ２で撮像した人物Ｐの動きと、所定のブロック領域における色の変化とを対応付けて模式的に表している。なお、説明の便宜上、白のブロック領域は、鞄２０の色を示し、黒のブロック領域は、人物Ｐの衣服の色を示している。監視カメラＣ１で撮像された人物Ｐにおける歩行時の動作の周期は、色の変化の周期で対応付けられ、例えば、図１５に示す所定のブロック領域における色の変化（黒、白、白、黒、黒）の繰り返しとなる。したがって、監視カメラＣ１で撮像した人物Ｐの動きに関し、図１５に示す所定のブロック領域における色の変化の１周期は、繰り返し単位として、黒、白、白、黒、黒となる。

また、監視カメラＣ２で撮像された人物Ｐにおける歩行時の動作の周期も、色の変化の周期に対応付けられ、図１５に示す所定のブロック領域における色の変化（黒、白、白、黒、黒）の繰り返しとなっている。そのため、人物識別部１６は、図１５に示す所定のブロック領域の類似度を大（閾値以上）と判定する。図１５では、１箇所のブロック領域について説明したが、第１実施形態では、より精度を向上させるため、人物に割り振られた全てのブロック領域を考慮して、周期を求め、その周期に基づく類似度を算出する。

そこで、人物識別部１６は、全てのブロック領域を考慮した類似度を算出するため、先ず、比較対象元（新規登録）の人物と比較対象先の登録人物とにおける色テーブルデータを比較する。この場合、人物識別部１６は、比較対象元（新規登録）の人物と比較対象先の登録人物とにおける人物の歩行に伴う色の変化の周期をそれぞれ求め、１周期分のデータを抽出することで、比較する条件を合わせる。つまり、第１実施形態では、比較対象元（新規登録）の人物と比較対象先の登録人物との同一人物の判定を、比較対象同士で各々の１周期分のデータを用いるだけで類似度を算出することができる。

具体的な周期の算出方法としては、例えば自己相関係数を求める方法がある。自己相関関数Ｒ（τ）は波形をｘ（ｔ）とすると（１）式で表される。
また、今回のように離散的な数値を利用する場合には、（１）式を変換して、（２）式で表されるものを利用すればよい。
（２）式において、ｊ＝１,２,３・・・と変化させながら自己相関関数Ｒを求め、ピーク値が現れる間隔を調べることで１周期の長さを得ることができる。

第１実施形態では、色のデータを使っているため、各ブロック領域の色成分をＲ,Ｇ,Ｂに各々分けて考え、Ｒ成分の値の時間変化から求めた周期Ｔ_r、Ｇ成分の値の時間変化から求めた周期Ｔ_g 及びＢ成分の値の時間変化から求めた周期Ｔ_b における平均値や最頻値により、その画素の周期を求めてもよい。さらに、例えば、人物の歩行時の動作は、全体として周期性を持つとした場合、体全体の各画素で求めた周期を平均化して体全体の周期としてもよい。

また、第１実施形態では、他の周期算出方法として、人物を切り出した人物画像を利用して周期を求めてもよく、例えば、ある時刻の人物画像を用意し、さらにその画像から一定時刻毎の間隔の人物画像を用意する。これにより、人物識別部１６は、所定の時刻の人物画像と、その所定の時刻から一定時間経過した時刻の人物画像を順次比較して、最も類似度が高くなる時刻のずれ量を求め、そのピーク値の間隔を計測することで周期を求めることができる。

ステップＳ４０３：人物識別部１６は、各々の色テーブルデータから１周期分のデータを抽出する。人物識別部１６は、ステップＳ４０２で求めた１周期の長さＴに基づいて、各々の色テーブルデータと共に、適当な時刻から長さＴ分のデータを抽出する。

ステップＳ４０４：人物識別部１６は、１周期分のデータの正規化を行う。例えば、図１に示す人物Ｐが監視カメラＣ１の撮像範囲では、ゆっくり歩き、監視カメラＣ２の撮像範囲では、早歩きで移動した場合に、同じ動作を繰り返してはいるが、繰り返す周期が異なってくる。この場合は、早歩きの方が、動作が素早いため、周期が短くなる。そこで、人物識別部１６は、１周期分のデータの時間軸の長さが比較対象同士で同じになるようにする。より詳しくは、人物識別部１６は、人物同士で周期の１周期分の時間長が異なる場合、比較対象となる一方の１周期分の時間長を、他方の１周期分の時間長に合うように色情報の時間変化を補正する正規化処理を行う。これにより、例えば、同一人物が監視カメラＣ１、Ｃ２の前を異なる移動速度で歩いても、移動速度の差異による誤認識を抑制することができる。なお、人物識別部１６は、比較対象の１周期分の時間長が同じ場合には、ステップＳ４０４の処理をスキップする。また、第２実施形態では、人物の移動速度を実際に算出して、１周期分のデータの正規化を行う処理について、説明する。

ステップＳ４０５：人物識別部１６は、１周期分のデータの類似度を算出する。例えば、人物識別部１６は、色テーブルデータから抽出した１周期分の色情報同士を比較して類似度を算出する。具体的には、人物識別部１６は、先ず、各ブロック領域の色変化の類似度を算出する。
図１６は、第１実施形態における類似度の算出方法の一例を説明する図である。第１実施形態では、一例として、色の値を、ｙとし、１つ目のデータ（例えば、監視カメラＣ１で撮像された比較対象元の人物の色情報）の色の変化を、ｙ＝ａ(ｔ)とし、２つ目のデータ（例えば、監視カメラＣ２で撮像された比較対象先の人物の色情報）の色の変化を、ｙ＝b(ｔ)として、関数で表すことにする。図１６では、横軸を時刻（時間）とし、縦軸を色の値とした、１周期分のｙ＝ａ(ｔ)（実線）、ｙ＝b(ｔ)（破線）をそれぞれ示している。
ここで、人物識別部１６は、２つのデータの類似度（ｃｏｒ）を、（３）式で求めることができる。なお、Ｔは、１周期分の時間を表す。類似度（ｃｏｒ）は、０〜１．０の値をとり、１．０が最も類似していることを表す。

ただし、この色の変化のデータは、１周期分の長さを持つが、人物の移動に際し、どの姿勢の時刻からデータを取得し始めているかを示していない。そこで、図１６に示す計算方法により、人物識別部１６は、類似度を算出する。
人物識別部１６は、図１６に示すように両データの人物の姿勢がどの状態から始まっていても適用できるように、一方のデータの時刻をずらしながら上記の類似度（ｃｏｒ）を求め、その最大値を求めたい類似度とする。

ここで、２つ目のデータ、ｙ＝b(ｔ)を時刻ｎだけずらした場合の類似度（ｃｏｒ（ｎ））は、（４）式の通りである。このとき、b(ｔ)は、１周期分のデータを取り扱っているため、０〜Ｔのデータが時間方向に無限に繰り返されるとして計算する。

人物識別部１６は、（４）式のｎを０〜Ｔまで変化させて最も高いｃｏｒを類似度として採用する。なお、（４）式は、簡単のため１次元で表しているが、実際には、色Ｒ，Ｇ，Ｂで類似度を判定するため、（５）式のようになる。ａ,ｂにそれぞれ付与されている添え字ｒ,ｇ,ｂは、それぞれ色情報のＲ成分、Ｇ成分、Ｂ成分を表す。
同様に、ｎを０〜Ｔまで変化させて、最も高い類似度（ｃｏｒ）を求めたい類似度として採用する。これは、図１６において、時刻のずれ量と一致度との関係を示すグラフにおいて、一致度の最大のピーク値が、最も高い類似度（ｃｏｒ）に相当する。つまり、図１６に示す時刻のずれ量と一致度との関係を示すグラフは、例えば、（５）式の数学的な処理の内容を模式的に表している。

人物識別部１６は、上記の処理を全てのブロック領域に対して行い、全ブロック領域の平均値を求めて人物同士の類似度とする。このようにして、人物識別部１６は、類似度を算出することができる。そして、プロセッサ２は、図１３に示すステップＳ３０５の処理に戻る。

以上より、第１実施形態では、撮像した動画において、動きを伴って移動する移動体であっても、色情報の時間変化の周期に基づいて、類似度を算出するので、同一人物の判定の精度を向上できる。つまり、第１実施形態では、従来例のような方式とは、本質的に異なるので、歩行のタイミングによって、例えば鞄の陰の影響を受けるような場合であっても、誤認識を抑制することができる。

なお、第１実施形態では、第１〜第８の方向における色テーブル３２の色テーブルデータのうち、１つの方向に対して、類似度を算出したが、全ての方向の色テーブルデータに関して類似度を求め、全方向の類似度の平均値を最終的な類似度としてもよい。

また、１周期分のデータの類似度の算出において、第１実施形態では、ブロック領域毎に類似度を求め、最終的に全領域で平均値を求めているため、ブロック領域毎に時刻のずらし量ｎが異なる場合がある。
このずらし量は、人の部位に依存しない。そのため、第１実施形態では、全てのブロック領域に対して、同じ分だけ、ｎをずらした全体のｃｏｒ（ｎ）を求め、最も高い類似度を用いる方法をとってもよい。具体的には、人物識別部１６は、２つの色テーブルデータの同一位置において、画素の色の変化の類似度を計算してもよい。

なお、第１実施形態では、監視カメラＣ１、Ｃ２を用いて説明したが、例えば、監視カメラＣ１が１台の場合でも、本件開示の技術は適用可能である。例えば、図１において、人物Ｐが、監視カメラＣ１の前を複数回にわたって、往復する移動をするような場合、人物識別部１６は、類似度を算出し、同一であるか否かを識別してもよい。また、図１において、監視カメラＣ１で撮像された人物が、監視カメラＣ２で撮像されていない場合、人物識別部１６は、その人物が通路Ａにおいて、監視カメラＣ２側に左折したのではなく、右折したと推定するようにしてもよい。

また、第１実施形態では、色テーブル３２や人物情報ＤＢ３１等を利用して説明したが、監視システムＳでは、必ずしも、色テーブル３２や人物情報ＤＢ３１を利用しなくてもよい。例えば、ストレージ３に、順次、追跡した人物毎に色抽出部１２の処理結果を記憶していき、人物識別部１６は、新たに追跡した人物と過去に追跡した人物との類似度を算出し、同一であるか否かを識別する方式を採用してもよい。この方式であっても、同一人物の判定の精度を向上できる。また、追跡中の人物の大きさが異なって映るような場合であっても、この方式では、図１１に示すステップＳ２０１における人物の大きさの正規化処理を行うことにより、誤認識を抑制することができる。さらに、この方式において、人部識別部１６は、人物同士で、色情報の時間変化における１周期分の時間長が異なる場合、一方の時間長を、他方の時間長に合うように特徴量の時間変化を補正した上で、類似度を算出しても、誤認識を抑制することができる。なお、第１実施形態では、１周期分のデータを用いたが、これは一例であって、１周期分のデータに必ずしも限定されるわけではない。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、人物の移動速度を利用し、移動速度に応じて周期を変化させることで、同一人物の判定の精度を向上させる。なお、第２実施形態では、第１実施形態と、同じ構成要素については同じ符号を付して説明を省略し、相違点について詳述する。第２実施形態でも、図１に示す監視システムＳを適用できる。

ここで、第２実施形態では、図４に示す人物判定プログラムの登録処理のフローチャートにおいて、人物の追跡処理（ステップＳ１０３）の機能を追加する点が、第１実施形態と異なる。そのため、色テーブル３２のデータ構造が、第１実施形態と異なる。

図１７は、第２実施形態における色テーブル３３の一例を示す図である。図１７に示す色テーブル３３は、一例として「領域」、「色情報」の列に加え、さらに「位置情報」を含んでいる。
ここで、人物の位置は、監視カメラＣ１、Ｃ２の映像中のある場所を原点とした実空間中の位置（u、v）とする。この位置は、設置した監視カメラＣ１、Ｃ２の姿勢を予め計測しておき、画像上の座標点と実空間上の位置との対応付ける対応マップを予め作成しておく。これにより、第２実施形態において、移動体追跡部１１は、画像上の人物の検出位置を実空間上の位置に変換し、取得することができる。なお、図１７における色情報、位置情報のシーケンスの番号（１,２,３,４,５・・・）は、取得した画像のフレームの番号を表しており、１番目のフレームが、例えば追跡開始の画像となる。

この位置情報を利用することで、第２実施形態では、人物の移動速度が算出でき、これにより、図１３に示す人物判定プログラムの対応付け処理の類似度の算出処理（ステップＳ３０４）が、以下のようになる。具体的には、図１４に示す１周期分のデータの正規化処理（ステップＳ４０４）において、人物識別部１６は、人物の移動速度を考慮して、１周期分のデータの正規化を図る。

図１８は、第２実施形態における類似度の算出方法の一例を説明する図である。図１８では、図１に示す人物Ｐが、図１に示す監視カメラＣ１の前をゆっくり歩き（一例として、第１の方向で２．５ｍ／ｓ）、監視カメラＣ２の前を早歩き（一例として、第１の方向で５．０ｍ／ｓ）で移動した場合について例示している。この場合、人物Ｐは、同じ歩く動作を繰り返しているが、繰り返す周期が異なっている。そのため、早歩きの方が、動作が素早いため、周期が短くなる。そこで、人物Ｐの移動速度を求め、図１８に示すように移動速度が等しくなるように１周期分のデータを時間軸に沿って調整する。

具体的には、人物識別部１６は、人物情報ＤＢ３１の比較対象となる人物同士の各色テーブルデータから１周期分の色情報を抽出し、その抽出した時刻範囲の位置情報を読み出す。ここで、各色テーブルデータから画像が取り込まれている時間間隔が予め分かっているため、人物識別部１６は、移動距離と時間変化とから、各々の人物の移動速度を求めることができる。そして、人物識別部１６は、各色テーブルデータの移動速度の比を求め、一方のデータの周期を、例えば「比較対象先の人物速度」／「比較対象元の人物の速度」倍することで、同じ速度の条件における色の変化に変更できる。

図１８では、移動速度の差異を考慮した色の変化の算出処理を模式的に表しており、所定のブロック領域において、人物Ｐの衣服の色を黒のブロックで表しており、鞄２０の色を白のブロックで表している。例えば、人物Ｐが監視カメラＣ１の前を第１の方向に２．５ｍ／ｓで移動している場合、所定のブロック領域における色の変化は、図１８に示す通り、黒、白、白、黒、黒となる。一方、人物Ｐが監視カメラＣ２の前を第１の方向に５．０ｍ／ｓで移動している場合、所定のブロック領域における色の変化は、黒、白、黒、黒、白になる。これを、２．５ｍ／ｓでの移動に変更すると、黒、黒、白、白、黒、黒、黒、黒、白、白となるので、人物識別部１６は、同じ速度の条件における色の変化に変更できる。

そして、人物識別部１６は、２つのデータ間で周期を比較する。この周期の差が予め設定した設定値以上の場合は、速度が同じ場合でも色の変化周期（姿勢変化の周期）が異なるため、別人と考えられる。そこで、この周期の差が設定値以上の場合、人物識別部１６は、類似度を“０”として、図１４に示す類似度の算出（ステップＳ４０５）を行わずにサブルーチンの処理を終了する。一方、人物識別部１６は、類似度が設定値より小さい場合、図１４に示す類似度の算出（ステップＳ４０５）を行う。

以上の処理を行うことで、第２実施形態では、人物の移動速度の差異による姿勢変動に対して、影響を抑えて同一人物の判定を行うことが可能となる。なお、第２実施形態でも、色テーブル３２や人物情報ＤＢ３１等を利用して説明したが、監視システムＳでは、必ずしも、色テーブル３２や人物情報ＤＢ３１を利用しなくてもよい。例えば、ストレージ３に、順次、追跡した人物毎に色抽出部１２の処理結果を記憶していき、人物識別部１６は、新たに追跡した人物と過去に追跡した人物との類似度を、人物の移動速度を考慮して、１周期分のデータの正規化を図ることで算出し、同一であるか否かを識別し、判定してもよい。このような場合であっても、同一人物の判定の精度を向上できる。また、第２実施形態においても、図１２に示した通り、人物の大きさが異なって映っている場合、色抽出部１２は、何れか１つの画像の人物の大きさを基準として選択し、基準と異なる他の画像については基準に揃えた上で、画像毎に人物を複数の領域に分割し、色情報を抽出してもよい。

以上、本件に開示する一の実施形態について明細書及び図面等を用いて説明したが、本件開示の技術は、上記実施形態に限定されるものではない。つまり、本発明の技術的範囲内において、各種の改良又は変更も本件開示の技術に含まれるのは、特許請求の範囲の記載から明らかである。

また、特許請求の範囲、明細書及び図面中において示したプログラム、装置及び方法における動作等の各処理の実行順序は、前の処理の出力結果を後の処理で用いるのでない限り、任意の順序で実行してもよい場合がある点に留意すべきである。
さらに、明細書及び図面中のフローチャートに関して、「先ず」、「次に」、「続いて」等の用語を用いて説明したとしても、各種の改良又は変更に関し、この順で実施しなければならないことを必ずしも意味しないという点に留意すべきである。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置から撮像された動画の画像データを取得する取得部と、
前記画像データに基づく画像を時系列に解析して移動体を検出する毎に、前記撮像装置の撮像範囲内に前記移動体が出現してから消失するまでの移動を追跡する追跡部と、
前記移動体を追跡した前記画像毎に前記移動体を複数の領域に分割し、各々の前記領域における色の特徴量を抽出する抽出部と、
前記特徴量の時間変化の周期を、比較対象となる移動体毎に求め、前記比較対象の移動体同士で前記周期に基づく類似度を算出し、前記類似度に基づいて、同一であるか否かを識別する識別部と、
を備える判定装置。
（付記２）
前記識別部は、前記移動体同士で前記周期の１周期分の時間長が異なる場合、一方の前記時間長を、他方の前記時間長に合うように前記特徴量の時間変化を補正した上で、前記類似度を算出する、付記１に記載の判定装置。
（付記３）
前記識別部は、前記移動体の各々の移動速度を算出し、前記移動速度が等しくなるようにして、一方の前記時間長を、他方の前記時間長に合うように前記特徴量の時間変化を補正する、付記２に記載の判定装置。
（付記４）
前記追跡部は、前記撮像範囲内における前記移動体の移動軌跡に基づいて、移動方向を特定し、
前記抽出部は、前記移動体の移動方向に応じて、前記特徴量を分類して抽出する、付記１から付記３の何れか１項に記載の判定装置。
（付記５）
前記抽出部は、前記移動体を追跡した前記画像間で前記移動体の大きさが異なって映っている場合、何れか１つの画像の前記移動体の大きさを基準として選択し、前記基準と異なる他の画像については前記基準に揃えた上で、前記画像毎に前記移動体を複数の領域に分割し、前記特徴量を抽出する、付記１から付記４の何れか１項に記載の判定装置。
（付記６）
前記画像毎に抽出される前記特徴量を統合する色情報のテーブルを、前記追跡部が追跡を開始した前記移動体毎に作成し、追跡中に抽出される前記特徴量を順次追加することにより、前記色情報のテーブルを更新する色情報処理部と、
前記追跡部が追跡を終了する毎に、識別子を付与した前記移動体と前記色情報のテーブルとを対応付けた移動体情報を記憶部に登録する登録処理部と、をさらに備え、
前記識別部は、新規登録された移動体の前記移動体情報に対し、登録済みの移動体の前記移動体情報を用いて、前記類似度を各々算出し、前記類似度に基づいて、前記新規登録された移動体が前記登録済みの移動体の何れかと同一であるか否かを識別する、付記１に記載の判定装置。
（付記７）
コンピュータが、
撮像装置から撮像された動画の画像データを取得し、
前記画像データに基づく画像を時系列に解析して移動体を検出する毎に、前記撮像装置の撮像範囲内に前記移動体が出現してから消失するまでの移動を追跡し、
前記移動体を追跡した前記画像毎に前記移動体を複数の領域に分割し、各々の前記領域における色の特徴量を抽出し、
前記特徴量の時間変化の周期を、比較対象となる移動体毎に求め、前記比較対象の移動体同士で前記周期に基づく類似度を算出し、前記類似度に基づいて、同一であるか否かを識別する
処理を実行する判定方法。
（付記８）
コンピュータに、
撮像装置から撮像された動画の画像データを取得し、
前記画像データに基づく画像を時系列に解析して移動体を検出する毎に、前記撮像装置の撮像範囲内に前記移動体が出現してから消失するまでの移動を追跡し、
前記移動体を追跡した前記画像毎に前記移動体を複数の領域に分割し、各々の前記領域における色の特徴量を抽出し、
前記特徴量の時間変化の周期を、比較対象となる移動体毎に求め、前記比較対象の移動体同士で前記周期に基づく類似度を算出し、前記類似度に基づいて、同一であるか否かを識別する
処理を実行させる判定プログラム。

１…人物判定装置、１０…映像取得部、１１…移動体追跡部、１２…色抽出部、１３…色テーブル処理部、１４…ＤＢ登録処理部、１５…人物情報抽出部、１６…人物識別部、Ｓ…監視システム

Claims (8)

1. 撮像装置から撮像された動画の画像データを取得する取得部と、
   前記画像データに基づく画像を時系列に解析して移動体を検出する毎に、前記撮像装置の撮像範囲内に前記移動体が出現してから消失するまでの移動を追跡する追跡部と、
   前記移動体を追跡した前記画像毎に前記移動体を複数の領域に分割し、各々の前記領域における色の特徴量を抽出する抽出部と、
   前記特徴量の時間変化の周期を、比較対象となる移動体毎に求め、前記比較対象の移動体同士で前記周期に基づく類似度を算出し、前記類似度に基づいて、同一であるか否かを識別する識別部と、
   を備える判定装置。
2. 前記識別部は、前記移動体同士で前記周期の１周期分の時間長が異なる場合、一方の前記時間長を、他方の前記時間長に合うように前記特徴量の時間変化を補正した上で、前記類似度を算出する、請求項１に記載の判定装置。
3. 前記識別部は、前記移動体の各々の移動速度を算出し、前記移動速度が等しくなるようにして、一方の前記時間長を、他方の前記時間長に合うように前記特徴量の時間変化を補正する、請求項２に記載の判定装置。
4. 前記追跡部は、前記撮像範囲内における前記移動体の移動軌跡に基づいて、移動方向を特定し、
   前記抽出部は、前記移動体の移動方向に応じて、前記特徴量を分類して抽出する、請求項１から請求項３の何れか１項に記載の判定装置。
5. 前記抽出部は、前記移動体を追跡した前記画像間で前記移動体の大きさが異なって映っている場合、何れか１つの画像の前記移動体の大きさを基準として選択し、前記基準と異なる他の画像については前記基準に揃えた上で、前記画像毎に前記移動体を複数の領域に分割し、前記特徴量を抽出する、請求項１から請求項４の何れか１項に記載の判定装置。
6. 前記画像毎に抽出される前記特徴量を統合する色情報のテーブルを、前記追跡部が追跡を開始した前記移動体毎に作成し、追跡中に抽出される前記特徴量を順次追加することにより、前記色情報のテーブルを更新する色情報処理部と、
   前記追跡部が追跡を終了する毎に、識別子を付与した前記移動体と前記色情報のテーブルとを対応付けた移動体情報を記憶部に登録する登録処理部と、をさらに備え、
   前記識別部は、新規登録された移動体の前記移動体情報に対し、登録済みの移動体の前記移動体情報を用いて、前記類似度を各々算出し、前記類似度に基づいて、前記新規登録された移動体が前記登録済みの移動体の何れかと同一であるか否かを識別する、請求項１から請求項５の何れか１項に記載の判定装置。
7. コンピュータが、
   撮像装置から撮像された動画の画像データを取得し、
   前記画像データに基づく画像を時系列に解析して移動体を検出する毎に、前記撮像装置の撮像範囲内に前記移動体が出現してから消失するまでの移動を追跡し、
   前記移動体を追跡した前記画像毎に前記移動体を複数の領域に分割し、各々の前記領域における色の特徴量を抽出し、
   前記特徴量の時間変化の周期を、比較対象となる移動体毎に求め、前記比較対象の移動体同士で前記周期に基づく類似度を算出し、前記類似度に基づいて、同一であるか否かを識別する
   処理を実行する判定方法。
8. コンピュータに、
   撮像装置から撮像された動画の画像データを取得し、
   前記画像データに基づく画像を時系列に解析して移動体を検出する毎に、前記撮像装置の撮像範囲内に前記移動体が出現してから消失するまでの移動を追跡し、
   前記移動体を追跡した前記画像毎に前記移動体を複数の領域に分割し、各々の前記領域における色の特徴量を抽出し、
   前記特徴量の時間変化の周期を、比較対象となる移動体毎に求め、前記比較対象の移動体同士で前記周期に基づく類似度を算出し、前記類似度に基づいて、同一であるか否かを識別する
   処理を実行させる判定プログラム。