JP6337545B2 - 画像処理装置、追跡方法、および追跡プログラム - Google Patents

Description

この発明は、防犯カメラ等で撮像した動画像に撮像されているオブジェクトの移動を追跡する技術に関する。

従来、空港、駅、ショッピングセンター、街角等、不特定多数の人が集まる様々な場所に防犯カメラが設置されている。

また、カメラで撮像した動画像を処理し、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）を検出することも検討されている。例えば、カメラで撮像した動画像を処理し、撮像されている人の行動の特徴量として、その人の移動速度、移動方向、頭の高さ等を検出し、その人が不審者であるかどうかを判定するものがある（特許文献１参照）。

なお、特許文献１は、処理対象のカメラ画像（動画像）が、防犯カメラの撮像画像ではなく、車載カメラである。

特開２０１３− ８８８７０号公報

しかしながら、防犯カメラで撮像した動画像を処理し、撮像されている人（以下、対象者と言う。）の移動速度、移動方向を得るには、その人を追跡しなければならない。そして、フレーム画像に撮像されている人を追跡するには、フレーム画像間において、撮像されている同一人物を対応付ける同定を精度よく行う必要がある。

特に、何らかの原因で、フレーム画像に撮像されている人（追跡している人）が検出できない検出漏れが生じると、そのフレーム画像において追跡が途切れる。また、複数の人がフレーム画像上で重なると、フレーム画像間での同定が行えずに追跡が途切れたり、フレーム画像上で重なった人を誤って対応付けて別の人を追跡したりすることがある。

この発明の目的は、撮像されているオブジェクトをフレーム画像間で対応付ける同定の精度を向上させ、撮像されているオブジェクトの追跡が適正に行える技術を提供することにある。

この発明の動画像処理装置は、上記目的を達するために、以下のように構成している。

動画像入力部には、撮像装置が対象エリアを撮像した動画像が入力される。オブジェクト検出部は、動画像入力部に入力された動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理し、この処理対象フレーム画像に撮像されているオブジェクトを検出するとともに、検出したオブジェクトの位置を検出する。オブジェクト検出部は、動画像入力部に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として、撮像されているオブジェクトの検出を行ってもよいし、動画像入力部に入力された動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として、撮像されているオブジェクトの検出を行ってもよい。処理対象フレーム画像を抽出する間隔については、動画像入力部に入力された動画像のフレームレートに応じて定めればよい。また、この間隔は、時間間隔で定めてもよいし、フレーム間隔で定めてもよい。

また、同定部は、オブジェクト検出部が検出したオブジェクトを、処理対象フレーム画像間で対応付ける。この同定部は、時間的に連続する３つの処理対象フレーム画像において、オブジェクト検出部が時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトの中に、オブジェクト検出部が時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第１の未対応付オブジェクトがあった場合、この第１の未対応付オブジェクトについて、オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができなかった第１の未対応付オブジェクトを対象エリアの外側に移動したオブジェクトであると判定する第１判定処理、および、時間的に連続する３つの処理対象フレーム画像において、オブジェクト検出部が時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトの中に、オブジェクト検出部が時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第２の未対応付オブジェクトがあった場合、この第２の未対応付オブジェクトについて、オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができた前記第２の未対応付オブジェクトを対象エリアの内側に移動してきたオブジェクトであると判定する第２判定処理、を行う。

この構成では、例えば、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置しない２つの処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを対応付けることができる。このため、オブジェクト検出部が、何らかの原因で、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置する処理対象フレーム画像に撮像されているオブジェクト（追跡しているオブジェクト）が検出できない検出漏れが生じても、時間的に中間に位置しない２つの処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを対応付ける同定が精度よく行える。

また、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置する処理対象フレーム画像に撮像されているオブジェクトが重なっても、時間的に中間に位置しない２つの処理対象フレーム画像間における、撮像されているオブジェクトの類似度に基づいて、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを対応付ける同定が精度よく行える。また、対象エリアへのオブジェクトの進入、および対象エリアからのオブジェクトの退出が、適正に判定できる。

したがって、処理対象フレーム画像間において、撮像されているオブジェクトを対応付ける同定の精度を向上させることができ、撮像されているオブジェクトの追跡が適正に行える。

この発明によれば、撮像されているオブジェクトを処理対象フレーム画像間で対応付ける同定の精度を向上させ、撮像されているオブジェクトの追跡が適正に行える。

画像処理装置の主要部の構成を示すブロック図である。 画像処理部の機能構成を示す図である。 オブジェクトマップを示す図である。 処理対象フレーム画像上におけるオブジェクトの大きさ、および位置を説明する図である。 判定基準テーブルを示す図である。 追跡処理を示すフローチャートである。 同定処理を示すフローチャートである。 時間的に連続する処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 時間的に連続する３つの処理対象フレーム画像に撮像されている人を対応付ける処理を説明する図である。 判定基準設定処理を示すフローチャートである。 処理対象フレーム画像上における水平方向の変化量を集計した頻度分布を示す図である。 速度異常者検出処理を示すフローチャートである。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置１は、動画像入力部２と、画像処理部３と、出力部４と、を備えている。この例にかかる画像処理装置１は、防犯カメラ等の撮像装置１０で撮像した動画像を処理し、この動画像に撮像されている人の移動速度が正常であるか、異常であるかを判定するとともに、その判定結果を上位装置に出力する。

動画像入力部２には、撮像装置１０が接続されている。撮像装置１０は、動画像を撮像するビデオカメラである。撮像装置１０は、例えば不特定多数の人が集まる場所（空港、駅、ショッピングセンター、街角等）に設置された防犯カメラである。動画像入力部２には、撮像装置１０が撮像した動画像にかかるフレーム画像が時系列に入力される。撮像装置１０のフレームレートは、数フレーム／ｓｅｃ（３〜５フレーム／ｓｅｃ）の比較的低いものであってもよい。撮像装置１０の撮像エリアが、この発明で言う対象エリアに相当する。

なお、動画像入力部２は、ＵＳＢメモリや、ＳＤメモリカード、ＤＶＤ等のメディアに記録されている動画像ファイルを入力する構成であってもよい。この場合、撮像装置１０が撮像した動画像を一旦メディアに記録し、そのメディアに記録した動画像ファイルを動画像入力部２に入力する。

画像処理部３は、動画像入力部２に入力された動画像にかかるフレーム画像を処理し、撮像されている人（オブジェクト）の移動を追跡するとともに、この追跡した人の移動速度が正常であるか、異常であるかを判定する。また、画像処理部３は、移動速度が正常であるか、異常であるかの判定に用いる判定基準の設定を行う。画像処理部３の詳細については、後述する。

なお、画像処理部３が処理するフレーム画像（以下、処理対象フレーム画像と言う。）は、動画像入力部２に入力された動画像にかかる全てのフレーム画像でなくてもよい。具体的には、画像処理部３は、動画像入力部２に入力された動画像にかかる全てのフレーム画像を処理対象フレーム画像として処理してもよいし、動画像入力部２に入力された動画像から予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理してもよい（ここで抽出しなかったフレーム画像については後述する処理を行わない。）。また、この処理対象フレーム画像を抽出する間隔は、動画像入力部２に入力された動画像のフレームレートに応じて定めればよく、時間間隔で設定してもよいし、フレーム間隔で設定してもよい。

この画像処理部３が、この発明にかかる追跡方法を実行するコンピュータを備える。また、この発明にかかる追跡プログラムは、画像処理部３が備えるコンピュータにインストールされる。

出力部４は、画像処理部３において移動速度が異常であると判定された人を上位装置に通知する。具体的には、画像処理部３が追跡した人の移動速度が異常であると判定すると、出力部４が上位装置に対してその旨を通知する。上位装置は、例えば警備室等に設置された表示灯やスピーカによって、移動速度が異常である人が検出されたことを警備員等に報知する。

図２は、画像処理部の機能構成を示すブロック図である。画像処理部３は、オブジェクト検出機能部３１と、オブジェクト同定機能部３２と、オブジェクトマップ作成機能部３３と、移動速度判定機能部３４と、集計機能部３５と、判定基準設定機能部３６と、を備えている。

オブジェクト検出機能部３１は、撮像装置１０が撮像した動画像にかかるフレーム画像から抽出した処理対象フレーム画像毎に、その処理対象フレーム画像に撮像されている人をオブジェクトとして検出する。上述したように、処理対象フレーム画像は、動画像入力部２に入力された動画像にかかる全てのフレーム画像であってもよいし、動画像入力部２に入力された動画像から予め定めた間隔で抽出したフレーム画像であってもよい。オブジェクト検出機能部３１は、例えば公知の背景差分方式、フレーム画像間差分方式により、撮像されている人を検出する。背景差分方式や、フレーム画像間差分方式によるオブジェクトの検出については公知であるので、ここでは説明を省略する。オブジェクト検出機能部３１は、検出した人に仮ＩＤを付与する。

オブジェクト同定機能部３２は、時間的に連続する複数の処理対象フレーム画像を用いて、これらの処理対象フレーム画像に撮像されている人を対応付ける同定処理を行う。この同定処理の詳細については、後述する。オブジェクト同定機能部３２は、この同定により、オブジェクト検出機能部３１が仮ＩＤを付与した人が、すでに本ＩＤを付与した人であるか、この時点では本ＩＤを付与していない人であるかを判断する。オブジェクト同定機能部３２は、すでに本ＩＤを付与している人であれば、仮ＩＤを本ＩＤに置き換える。一方、オブジェクト同定機能部３２は、本ＩＤを付与していない人であれば、仮ＩＤを新たに付与する本ＩＤに置き換える。この場合、実質的に仮ＩＤを本ＩＤに置き換えてもよいし、この仮ＩＤを本ＩＤにしてもよい。

オブジェクトマップ作成機能部３３は、図３に示すオブジェクトマップを生成する。オブジェクトマップは、図３に示すように、処理対象フレーム画像毎に、オブジェクト検出機能部３１が検出した人の本ＩＤに、その処理対象フレーム画像上における大きさＳと、その処理対象フレーム画像における位置（ｘ，ｙ）とを対応付けて登録したものである。例えば、図３に示すオブジェクトマップの例では、処理対象フレーム画像Ｎｏ．ｔ_n-1である処理対象フレーム画像に、本ＩＤがＡ１２３４５６である人と、Ａ１２３４５７である人が撮像されていたことを示している。また、本ＩＤがＡ１２３４５６である人は、処理対象フレーム画像上における大きさＳがＳａ１であり、処理対象フレーム画像上における位置（ｘ，y）が（ｘ_a1，y_a1）であったことを示している。また、本ＩＤがＡ１２３４５７である人は、処理対象フレーム画像上における大きさＳがＳｂ１であり、処理対象フレーム画像上における位置（ｘ，y）が（ｘ_b1，y_b1）であったことを示している。

なお、撮像装置１０が撮像した動画像にかかるフレーム画像（処理対象フレーム画像として抽出されなかったフレーム画像）が、時間的に連続する処理対象フレーム画像の間、例えば、処理対象フレーム画像Ｎｏ．ｔ_n-1と、処理対象フレーム画像Ｎｏ．ｔ_nと、の間に存在することもある。

また、他の処理対象フレーム画像Ｎｏ．ｔ_n、処理対象フレーム画像Ｎｏ．ｔ_n+1、処理対象フレーム画像Ｎｏ．ｔ_n+2についても、オブジェクト検出機能部３１が検出した人の本ＩＤに、その処理対象フレーム画像上における大きさＳと、その処理対象フレーム画像上における位置とが対応付けて登録されている。

図４は、人Ａ，および人Ｂが撮像されている処理対象フレーム画像を示す図である。図４に示すように、この例では、オブジェクト検出機能部３１によって検出された人を囲む矩形領域の高さ（処理対象フレーム画像上における垂直方向の長さＳＡ、ＳＢ）を、検出された人の大きさＳとしてオブジェクトマップに登録している。また、図４に示すように、この矩形領域（検出された人を囲む矩形領域）の左下の角を、検出された人の位置（ｘ，y）にしてオブジェクトマップに登録している。検出された人の位置は、処理対象フレーム画像上における水平方向の位置Ｘａ、Ｘｂと、処理対象フレーム画像上における垂直方向の位置Ｙａ、Ｙｂと、で示される。

なお、検出された人を囲む矩形領域の面積を、検出された人の大きさにしてもよいし、処理対象フレーム画像上における、この矩形領域の右下の角や重心を検出された人の位置にしてもよい。

したがって、本ＩＤが付与された人は、このオブジェクトマップにより、処理対象フレーム画像上における大きさＳが得られるとともに、時間経過にともなう位置（ｘ，ｙ）の変化が得られる。すなわち、本ＩＤが付与された人については、処理対象フレーム画像上における移動経路（すなわち撮像装置１０の撮像エリア内における移動経路）をオブジェクトマップから得ることができ、オブジェクトの追跡が行える。

オブジェクト検出機能部３１がこの発明で言うオブジェクト検出部に相当し、オブジェクト同定機能部３２が、この発明で言う同定部に相当する構成である。

移動速度判定機能部３４は、後述する判定基準設定機能部３６により設定された判定基準を用い、追跡している人の移動速度が正常であるか、異常であるかを判定する。

なお、ここで言う、移動速度が異常であるとは、一般的な人に比べて移動速度がある程度以上速い人だけでなく、一般的な人に比べて移動速度がある程度以上遅い人も含まれる。

集計機能部３５は、上述のオブジェクトマップを用いて、時間的に連続する処理対象フレーム画像間において、処理対象フレーム画像上における人の位置の変化量を集計する。この集計は、処理対象フレーム画像上における人の大きさＳで複数段階に区分して行う。

同じ人であっても、その人と、撮像装置１０との距離が短くなるにつれて、処理対象フレーム画像上における大きさＳが大きくなる。また、実空間上における移動距離が同じであっても、その移動場所と、撮像装置１０との距離が短くなるにつれて、処理対象フレーム画像上における変化量が大きくなる。すなわち、集計機能部３５は、処理対象フレーム画像上での人の大きさＳを複数段階に区分して集計することによって、処理対象フレーム画像上における人の位置の変化量の集計を撮像装置１０と人との距離で区分して行う。

集計機能部３５は、検出された人の大きさＳで区分した段階毎に、オブジェクトマップを参照して、時間的に連続する２つの処理対象フレーム画像間における、処理対象フレーム画像上での人の水平方向の変化量の分布、および処理対象フレーム画像上での人の垂直方向の変化量の分布を集計する。水平方向の変化量は、時間的に連続する２つの処理対象フレーム画像において、人の水平方向の検出位置の差分の絶対値である。また、垂直方向の変化量は、時間的に連続する２つの処理対象フレーム画像において、人の垂直方向の検出位置の差分の絶対値である。

判定基準設定機能部３６は、集計機能部３５の集計結果に基づき、処理対象フレーム画像上における人の大きさ別に、処理対象フレーム画像上における水平方向の正常変化量の範囲、および処理対象フレーム画像上における水平方向の正常変化量の範囲を対応付けた判定基準を設定する。図５は、判定基準設定機能部３６により判定基準が設定された判定基準テーブルを示す図である。図５に示す判定基準テーブルの例では、処理対象フレーム画像上における大きさＳの範囲がＳ０〜Ｓ１である人にかかる判定基準は、水平方向の変化量がＸ１〜Ｘ２の範囲であり、且つ垂直方向の変化量がＹ１〜Ｙ２の範囲である人について、移動速度が正常であると判定する設定である。図５において示す、処理対象フレーム画像上における大きさＳの範囲の他の例についても、同様である。

なお、画像処理部３は、特に図示していないが、上述のオブジェクト検出処理を行うための画像メモリや、図３に示したオブジェクトマップ、および図５に示した判定基準テーブルを記憶するメモリを有している。

次に、この例にかかる画像処理装置１の動作について説明する。この例にかかる画像処理装置１は、以下に示す追跡処理、判定基準設定処理、および速度異常者検出処理を行う。追跡処理は、図３に示したオブジェクトマップに、処理対象フレーム画像に撮像されていた人について、この処理対象フレーム画像上における大きさＳ、および位置（ｘ、ｙ）を登録する処理である。判定基準設定処理は、図５に示した判定基準テーブルを設定する処理である。速度異常者検出処理は、撮像装置１０の撮像エリア内における移動速度が異常である人を検出する処理である。

図６は、追跡処理を示すフローチャートである。画像処理装置１は、画像処理部３が今回処理する処理対象フレーム画像を決定する（ｓ１）。ｓ１では、動画像入力部２に入力された動画像（撮像装置１０が撮像した動画像）から、予め定められている間隔に基づいて抽出した処理対象フレーム画像であって、その時点において未処理である時間的に最もはやい処理対象フレーム画像（直前に処理した処理対象フレーム画像に対して、時間的に直後に位置する処理対象フレーム画像）を、今回処理する処理対象フレーム画像に決定する。

画像処理部３は、オブジェクト検出機能部３１において、ｓ１で決定した処理対象フレーム画像に撮像されているオブジェクト（人）を検出する（ｓ２）。ｓ２では、公知の背景差分方式や、フレーム間差分方式により撮像されている人を検出し、検出した人に対して仮ＩＤを付与する。画像処理部３は、オブジェクト同定機能部３２において、ｓ２で検出した人と、この時点ですでに検出されていた人と対応づける同定処理を行う（ｓ３）。

図７は、このｓ３にかかる同定処理を示すフローチャートである。オブジェクト同定機能部３２は、ｓ２で検出した人毎に、その特徴量を抽出する（ｓ１１）。ｓ１１では、処理対象フレーム画像上における検出した人のＲＧＢの輝度値を特徴量として抽出してもよいし、目、鼻、口等の顔部品の形状や色等を特徴量として抽出してもよい。

オブジェクト同定機能部３２は、前回の処理対象フレーム画像（すなわち、今回の処理対象フレーム画像に対して、時間的に直前の処理対象フレーム画像）に撮像されていた人と、ｓ２で検出した人と、の対応付けを行う（ｓ１２）。ｓ１２では、ｓ２で検出した人毎に、その人についてｓ１１で抽出した特徴量と、前回の処理対象フレーム画像に撮像されていたそれぞれの人の特徴量（この特徴量は、前回の処理対象フレーム画像における同定処理で検出されている。）と、の類似度を算出する。例えば、図８に示すように、前回の処理対象フレーム画像において、人Ａ，人Ｂ、および人Ｃが検出されており、今回の処理対象フレーム画像において、人ａ、人ｂ、および人ｃが検出された場合、人ａについて、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出する。同様に、人ｂについても、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出し、人ｃについても、人Ａ，人Ｂ、および人Ｃのそれぞれについて特徴量の類似度を算出する。

オブジェクト同定機能部３２は、ｓ２で検出した人毎に、特徴量の類似度が予め定めた閾値よりも大きい人に対応付ける。このとき、特徴量の類似度が予め定めた閾値よりも大きい人が複数人いれば、その類似度が最大であった人に対応付ける。また、特徴量の類似度が予め定めた閾値よりも大きい人がいなければ、その人については前回の処理対象フレーム画像に撮像されていた人と対応付けない。

ｓ１２で前回の処理対象フレーム画像に撮像されていた人に対応付けた人は、仮ＩＤを破棄し、今回対応付けた人に付与されている本ＩＤを設定する。また、ｓ１２で対応付けた前回の処理対象フレーム画像に撮像されていた人に本ＩＤが付与されていなければ（仮ＩＤを保持していれば）、これらの仮ＩＤを破棄して、新たに生成した本ＩＤを設定する。また、ｓ１２で前回の処理対象フレーム画像に撮像されていた人と対応付けられなかった人は、その人に付与されている仮ＩＤを保持する。仮ＩＤを保持する人は、前回の処理対象フレーム画像の撮像タイミングから、今回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内に進入した人や、前回の処理対象フレーム画像に対する処理で適正に検出されなかった人等である。

オブジェクト同定機能部３２は、２段階同定フラグがオンされているか、オフされているかを判定する（ｓ１３）。この２段階同定フラグは、後述するように、前回の処理対象フレーム画像に撮像されていた人の中に、本ＩＤが付与されていない（仮ＩＤを保持している。）人がいる場合や、前々回の処理対象フレーム画像に撮像されていた人の中に、前回の処理対象フレーム画像に撮像されていた人に対応付けられなかった人がいる場合にオンされている。

オブジェクト同定機能部３２は、２段階同定フラグがオンされていると、今回の処理対象フレーム画像に撮像されていた人であって、この時点において本ＩＤが付与されていない人（ｓ１２で前回の処理対象フレーム画像に撮像されていた人に対応付けされなかった人）について、前々回の処理対象フレーム画像に撮像されていた人との対応付けを行う（ｓ１４）。ｓ１４では、前々回の処理対象フレーム画像に撮像されていた人であっても、前回の処理対象フレーム画像に撮像されていた人と対応付けされている人については、このｓ１４にかかる処理の対象外である。言い換えれば、前々回の処理対象フレーム画像に撮像されていた人であって、前回の処理対象フレーム画像に撮像されていた人と対応付けされなかった人が対象である。このｓ１４にかかる処理も、上述したｓ１２と同様に、特徴量の類似度を算出し、対応付けを行う。

オブジェクト同定機能部３２は、今回の処理対象フレーム画像に撮像されている人の中に、仮ＩＤを保持している人がいるかどうか、および、前回の処理対象フレーム画像に撮像されていた人の中に、今回の処理対象フレーム画像に撮像されていた人が対応付けられなかった人がいるかどうかを判定する（ｓ１５、ｓ１６）。

オブジェクト同定機能部３２は、今回の処理対象フレーム画像に撮像されている人の中に、仮ＩＤを保持している人がおらず、且つ、前回の処理対象フレーム画像に撮像されていた人の中に、今回の処理対象フレーム画像に撮像されていた人に対応付けられなかった人がいなければ、２段階同定フラグをオフに設定し（ｓ１７）、その他の場合に、２段階同定フラグをオンに設定し（ｓ１８）、この同定処理を終了する。

上述の同定処理を、具体的な例で説明する。まず、前々回の処理対象フレーム画像の撮像タイミングから、前回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内に人Ｃが進入した図９に示す場合を例にして説明する。図９に示す各処理対象フレーム画像に撮像されている、人Ａは同一人物である。同様に、人Ｂも同一人物であり、人Ｃも同一人物である。

図９において、人Ｃは前回の処理対象フレーム画像に対する同定処理で前々回の処理対象フレーム画像に撮像されていたいずれの人にも対応付けられない。したがって、前回の処理対象フレーム画像に対する同定処理が完了した時点で、人Ｃは仮ＩＤを保持した状態（本ＩＤが付与されていない状態）である。すなわち、前回の処理対象フレーム画像に対する同定処理のｓ１８で２段階同定フラグがオンに設定される。

図９に示す今回の処理対象フレーム画像に対する同定処理のｓ１２で、今回の処理対象フレーム画像に撮像されている人Ｃが、前回の処理対象フレーム画像に撮像されている人Ｃに対応付けられた時点で、この人Ｃに対して本ＩＤが付与される。

したがって、任意のタイミングで撮像装置１０の撮像エリア内に進入してきた人Ｃに対して本ＩＤを付与し、追跡処理を適正に開始できる。

なお、図９に示す例では、今回の処理対象フレーム画像に撮像されている人Ａは、前回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、今回の処理対象フレーム画像に撮像されている人Ｂは、前回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。

次に、図１０に示す、前々回の処理対象フレーム画像の撮像タイミングから、前回の処理対象フレーム画像の撮像タイミングまでの間に、撮像装置１０の撮像エリア内から撮像エリア外へ、人Ｃが退出した場合を例にして説明する。図１０に示す各処理対象フレーム画像に撮像されている、人Ａは同一人物である。同様に、人Ｂも同一人物であり、人Ｃも同一人物である。

図１０において、前々回の処理対象フレーム画像に撮像されている人Ｃは、前回の処理対象フレーム画像に対する同定処理で前回の処理対象フレーム画像に撮像されていた人に対応付けられない。このため、前回の同定処理のｓ１８で２段階同定フラグがオンに設定される。そして、図１０に示す今回の処理対象フレーム画像に対する同定処理のｓ１２で、今回の処理対象フレーム画像に撮像されている人Ａは、前回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、今回の処理対象フレーム画像に撮像されている人Ｂは、前回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。一方、同定処理のｓ１４で、前々回の処理対象フレーム画像に撮像されている人Ｃは、今回の処理対象フレーム画像に撮像されている人と対応付けられない。

したがって、撮像装置１０の撮像エリア内から撮像エリア外へ退出した人Ｃに対する追跡処理が適正に終了できる。

一方で、上述の図１０の説明において、撮像装置１０の撮像エリア内から退出したとした、人Ｃが実際には撮像エリア内から退出しておらず、図１１に示すように、前回の処理対象フレーム画像に対するオブジェクト検出処理において、何らかの原因で人Ｃが適正に検出されていなかった場合、この人Ｃは、今回の処理対象フレーム画像に撮像されているので、今回の処理対象フレーム画像に対する同定処理のｓ１２で、前回の処理対象フレーム画像に撮像されていたいずれの人にも対応付けられない。しかし、この人Ｃは、今回の処理対象フレーム画像に対する同定処理のｓ１４で、前々回の処理対象フレーム画像に撮像されていた人Ｃに対応付けられる。したがって、一時的に見失った人（ｓ２のオブジェクト検出処理において、何らかの原因で適正に検出できなかった人）に対する追跡処理を適正に継続できる。

さらに、図１２に示すように、前回の処理対象フレーム画像において、人Ａと人Ｂとが重なったため、前回の処理対象フレーム画像に対する同定処理で、前回の処理対象フレーム画像に重なって撮像されている人Ａ、人Ｂを、前々回の処理対象フレーム画像に撮像されていた人Ａ、および人Ｂに対応付けられなかった場合について説明する。この場合、前回の同定処理のｓ１８で２段階同定フラグがオンに設定される。

図１２に示す例では、今回の処理対象フレーム画像に対する同定処理のｓ１４で、今回の処理対象フレーム画像に撮像されている人Ａが、前々回の処理対象フレーム画像に撮像されている人Ａに対応付けられ、且つ今回の処理対象フレーム画像に撮像されている人Ｂが、前々回の処理対象フレーム画像に撮像されている人Ｂに対応付けられる。

したがって、人が処理対象フレーム画像上で重なる等して、前回の処理対象フレーム画像に撮像されていた人との対応付けが適正に行えない状態が生じても、それらの人に対する追跡処理を適正に継続できる。

なお、図９〜図１２において示す３つの処理対象フレーム画像は、時間的に連続する３つの処理対象フレーム画像である。

また、上記の例では、処理対象フレーム画像間における、検出した人の対応付けを、検出した人の特徴量を用いて行うとしたが、移動方向等を用いて行うようにしてもよい。

画像処理部３のオブジェクトマップ作成機能部３３が、ｓ３にかかる同定処理を完了すると、今回検出した人毎に、図３に示したオブジェクトマップに処理対象フレーム画像上の大きさＳ、および処理対象フレーム画像の位置を登録し（ｓ４）、ｓ１に戻る。

このように、この例にかかる画像処理装置１では、図７に示した同定処理、特にｓ１４にかかる処理を実行することによって、一時的に見失ったオブジェクト（この例では、人）や、処理対象フレーム画像上で重なったオブジェクトについても、適正に追跡できる。

次に、この例にかかる画像処理装置１の判定基準設定処理について説明する。この判定基準設定処理は、毎日午前０時等の適当なタイミングで実行する。図１３は、判定基準設定処理を示すフローチャートである。

集計機能部３５は、オブジェクトマップ作成機能部３３が作成したオブジェクトマップを参照し、処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の分布、および検出された人の処理対象フレーム画像上における垂直方向の変化量の分布を集計する（ｓ２１）。図１４は、ある大きさＳについて、水平方向の変化量を集計した集計結果を示す図である。図１４における横軸が水平方向の変化量であり、縦軸が頻度（オブジェクトマップから抽出された抽出数）である。

判定基準設定機能部３６は、集計機能部３５の集計結果に基づき、処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の正常範囲、および検出された人の処理対象フレーム画像上における垂直方向の変化量の正常範囲を決定する（ｓ２２）。ｓ２２で決定する正常範囲は、図１４に示すように、ピークを略中心にして、６０％〜７０％の変化量が含まれる範囲を正常範囲に決定する。

判定基準設定機能部３６は、ｓ２２で処理対象フレーム画像上おける検出された人の大きさＳを区分した段階毎に、時間的に連続する２つの処理対象フレーム画像間における検出された人の処理対象フレーム画像上における水平方向の変化量の正常範囲、および検出された人の処理対象フレーム画像上における垂直方向の変化量の正常範囲を決定すると、これを図５に示した判定基準テーブルに設定し（ｓ２３）、本処理を終了する。

なお、この例では、判定基準テーブルに、水平方向の変化量、および垂直方向の変化量を個別に設定するとしたが、時間的に連続する２つの処理対象フレーム画像間における検出された人の位置の変化量である、
（（水平方向の変化量）²＋（垂直方向の変化量）²）^1/2
を設定する構成にしてもよい。

次に、速度異常者検出処理について説明する。図１５は、速度異常者検出処理を示すフローチャートである。この速度異常者検出処理は、オブジェクトマップ作成機能部３３が上述の追跡処理でｓ４を実行する毎に行う。具体的には、移動速度判定機能部３４は、オブジェクトマップ作成機能部３３が上述の追跡処理のｓ４で、図３に示したオブジェクトマップに処理対象フレーム画像上の大きさＳ、および処理対象フレーム画像上の位置を登録した人（以下、判定対象者と言う。）について、この速度異常者検出処理を実行する。

移動速度判定機能部３４は，図５に示した判定基準テーブルから、判定対象者の処理対象フレーム画像上の大きさＳに応じた水平方向の変化量の正常範囲、および垂直方向の変化量の正常範囲を読み出す（ｓ３１）。

移動速度判定機能部３４は、判定対象者について、オブジェクトマップを参照し、処理対象フレーム画像上における水平方向変化量、および処理対象フレーム画像上における垂直方向の変化量を算出する（ｓ３２）。ｓ３２では、この判定対象者について、時間的に最新の２つの処理対象フレーム画像上における位置を用いる。

移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量が正常範囲であるか、およびｓ３２で算出した処理対象フレーム画像上における垂直方向の変化量が正常範囲であるかを判定する（ｓ３３、ｓ３４）。移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量が正常範囲であり、且つ、ｓ３２で算出した処理対象フレーム画像上における垂直方向の変化量が正常範囲であれば、速度異常者でないと判定する（ｓ３５）。一方、移動速度判定機能部３４は、ｓ３２で算出した処理対象フレーム画像上における水平方向の変化量、または処理対象フレーム画像上における垂直方向の変化量の少なくとも一方が正常範囲でなければ、速度異常者であると判定する（ｓ３６）。

なお、図１５は、１人の判定対象者に対して速度異常者であるかどうかを判定する処理を示しており、判定対象者が複数人存在するときには、判定対象者毎に、図１５に示す処理を繰り返す。

画像処理装置１は、移動速度判定機能部３４が判定対象者について、ｓ３６で速度異常者であると判定すると、出力部４からその旨を上位装置に通知する。

このように、この画像処理装置１は、撮像装置１０が撮像した動画像から抽出した処理対象フレーム画像を処理して検出した人について、その人の実空間上の位置を算出することなく、速度異常者であるかどうかを判定する。したがって、画像処理装置の処理負荷が大幅に低減でき、装置本体のコストダウンが図れる。また、撮像装置１０の設置時に、撮像される処理対象フレーム画像上の位置と、実空間上の位置と、を対応付けるパラメータを設定する必要が無く、撮像装置１０の設置作業が簡単に行える。

また、この画像処理装置１は、図１３に示した判定基準設定処理により、図５に示した判定基準テーブルに設定された判定基準を用いて、速度異常者であるかどうかを判定する。したがって、撮像装置１０の撮像エリアの環境に応じて、速度異常者であるかどうかを適正に判定することができる。

また、上記の例では、画像処理装置１は、移動速度判定機能部３４が判定対象者について、ｓ３６で速度異常者であると判定すると、出力部４からその旨を上位装置に通知するとしたが、端末装置からの要求に応じて、ｓ３６で速度異常者であると判定した判定対象者が撮像されている部分の動画像を端末装置に送信するようにしてもよい。動画像入力部２に入力された動画像において、ｓ３６で速度異常者であると判定した判定対象者が撮像されている部分は、図３に示したオブジェクトマップから得られる。具体的には、ｓ３６で速度異常者であると判定した判定対象者の本ＩＤを用いて、オブジェクトマップを検索することにより、この本ＩＤにかかる判定対象者が最初に撮像されていた処理対象フレーム画像と、最後に撮像されていた処理対象フレーム画像とを特定することができる。画像処理装置１は、速度異常者であると判定した判定対象者が最初に撮像されていた処理対象フレーム画像の直前の処理フレーム画像から、最後に撮像されていた処理対象フレーム画像の直後の処理対象フレーム画像までの動画部分（この間に位置する全てのフレーム画像）を端末装置に送信する。

また、画像処理装置１は、ｓ３６で速度異常者であると判定した判定対象者毎に、その判定対象者（速度異常者）が撮像されているフレーム画像を端末装置に送信し、端末装置において、動画像の送信を画像処理装置１に要求する速度異常者の選択が簡単に行えるようにしてもよい。具体的には、オペレータが、端末装置において速度異常者が撮像されているいずれかのフレーム画像を選択すると、端末装置が選択されたフレーム画像に撮像されている速度異常者が撮像されている動画像の送信を画像処理装置１に要求する構成にしてもよい。

また、上記の例では、検出対象のオブジェクトを人としたが、車両等の他の種類の移動体であってもよい。

１−画像処理装置
２−動画像入力部
３−画像処理部
４−出力部
１０−撮像装置
３１−オブジェクト検出機能部
３２−オブジェクト同定機能部
３３−オブジェクトマップ作成機能部
３４−移動速度判定機能部
３５−集計機能部
３６−判定基準設定機能部

Claims (4)

1. 撮像装置が対象エリアを撮像した動画像が入力される動画像入力部と、
   前記動画像入力部に入力された動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理し、この処理対象フレーム画像に撮像されているオブジェクトを検出するとともに、検出したオブジェクトの位置を検出するオブジェクト検出部と、
   前記オブジェクト検出部が検出したオブジェクトを、処理対象フレーム画像間で対応付ける同定部と、を備え、
   前記同定部は、
   時間的に連続する３つの処理対象フレーム画像において、前記オブジェクト検出部が時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトの中に、前記オブジェクト検出部が時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第１の未対応付オブジェクトがあった場合、この第１の未対応付オブジェクトについて、前記オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、前記オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができなかった前記第１の未対応付オブジェクトを前記対象エリアの外側に移動したオブジェクトであると判定する第１判定処理、および、
   時間的に連続する３つの処理対象フレーム画像において、前記オブジェクト検出部が時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトの中に、前記オブジェクト検出部が時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第２の未対応付オブジェクトがあった場合、この第２の未対応付オブジェクトについて、前記オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、前記オブジェクト検出部が時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができた前記第２の未対応付オブジェクトを前記対象エリアの内側に移動してきたオブジェクトであると判定する第２判定処理、
   を実行する、画像処理装置。
2. 前記同定部は、時間的に連続する３つの処理対象フレーム画像の中で、時間的に中間に位置しない２つの処理対象フレーム画像間における、前記オブジェクト検出部が検出したオブジェクトの対応付けを、時間的に中間に位置しない２つの処理対象フレーム画像に撮像されているオブジェクトの類似度に基づいて、これら３つの処理対象フレーム画像間で撮像されているオブジェクトを対応付ける、請求項１に記載の画像処理装置。
3. 動画像入力部に入力された、対象エリアを撮像装置で撮像した動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理し、この処理対象フレーム画像に撮像されているオブジェクトを検出するとともに、検出したオブジェクトの位置を検出するオブジェクト検出ステップと、
   前記オブジェクト検出ステップが検出したオブジェクトを、前記処理対象フレーム画像間で対応付ける同定ステップと、を備え、
   前記同定ステップは、
   時間的に連続する３つの処理対象フレーム画像において、前記オブジェクト検出ステップで時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトの中に、前記オブジェクト検出ステップで時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第１の未対応付オブジェクトがあった場合、この第１の未対応付オブジェクトについて、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができなかった前記第１の未対応付オブジェクトを前記対象エリアの外側に移動したオブジェクトであると判定する第１判定処理、および、
   時間的に連続する３つの処理対象フレーム画像において、前記オブジェクト検出ステップで時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトの中に、前記オブジェクト検出ステップで時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第２の未対応付オブジェクトがあった場合、この第２の未対応付オブジェクトについて、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができた前記第２の未対応付オブジェクトを前記対象エリアの内側に移動してきたオブジェクトであると判定する第２判定処理、
   を含む、追跡方法。
4. 動画像入力部に入力された、対象エリアを撮像装置で撮像した動画像から、予め定めた間隔で抽出したフレーム画像を処理対象フレーム画像として処理し、この処理対象フレーム画像に撮像されているオブジェクトを検出するとともに、検出したオブジェクトの位置を検出するオブジェクト検出ステップと、
   前記オブジェクト検出ステップが検出したオブジェクトを、前記処理対象フレーム画像間で対応付ける同定ステップと、をコンピュータに実行させる追跡プログラムであって、
   前記同定ステップは、
   時間的に連続する３つの処理対象フレーム画像において、前記オブジェクト検出ステップで時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトの中に、前記オブジェクト検出ステップで時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第１の未対応付オブジェクトがあった場合、この第１の未対応付オブジェクトについて、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができなかった前記第１の未対応付オブジェクトを前記対象エリアの外側に移動したオブジェクトであると判定する第１判定処理、および、
   時間的に連続する３つの処理対象フレーム画像において、前記オブジェクト検出ステップで時間的に中間に位置する処理対象フレーム画像を処理して検出したオブジェクトの中に、前記オブジェクト検出ステップで時間的に最も早い処理対象フレーム画像を処理して検出したオブジェクトを対応づけることができなかった第２の未対応付オブジェクトがあった場合、この第２の未対応付オブジェクトについて、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトとの対応付けを行い、前記オブジェクト検出ステップで時間的に最も遅い処理対象フレーム画像を処理して検出したオブジェクトを対応付けることができた前記第２の未対応付オブジェクトを前記対象エリアの内側に移動してきたオブジェクトであると判定する第２判定処理、
   を含む、追跡プログラム。

Images