JP6615847B2 - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

従来、建物の出入口付近にカメラを設置して、そのカメラにより撮像された画像上において人物を追跡し、追跡した人物が入退室することを検出する技術が知られている。このような技術では、例えば、追跡対象の人物が検知線を通過したのか否かに応じて、その人物が入室したのかまたは退室したのかが判定される。しかしながら、従来の技術では、通過有無の判定が困難な位置に検知線が設定されたり、入退室しない人物が通過したと判定される位置に検知線が設定されたりした場合、入室または退室する人物の検知精度が低下するという問題があった。

特開２０１６−１１６１３７号公報 特開２０１２−２４３１６１号公報

本発明が解決しようとする課題は、進入または退出する人物の検知精度を向上させることができる画像処理装置、画像処理システム、画像処理方法、およびプログラムを提供することである。

実施形態の画像処理装置は、出力部と、追跡部と、記憶制御部と、設定部と、出力制御部とを持つ。出力部は、情報を出力する。追跡部は、一以上の時系列の画像の中で、対象の物体を追跡する。記憶制御部は、前記追跡部により追跡された一以上の前記物体の移動軌跡を含む追跡情報を所定の記憶部に記憶させる。設定部は、前記物体の移動軌跡に基づいて前記物体が通過したことを検知する検知領域を、ユーザの操作に応じて前記画像上に設定する。評価部は、前記所定の記憶部に記憶された前記追跡情報と、前記設定部により設定された前記検知領域とに基づいて、前記検知領域の設定態様を評価する。出力制御部は、前記所定の記憶部に記憶された前記追跡情報を、前記評価部の評価結果に基づく出力態様で前記出力部に出力させる。

第１実施形態の画像処理システム１の構成の一例を示す概略図。 第１実施形態の画像処理装置１００の構成の一例を示す図。 第１実施形態の制御部１１０による一連の処理の流れを示すフローチャート。 検知線ＬＮ_ＤとトラックレットＴＬとの交差有無の判定方法を説明するための図。 検知線ＬＮ_ＤとトラックレットＴＬとの交差有無の判定方法を説明するための図。 検知線ＬＮ_ＤとトラックレットＴＬとの交差有無の判定方法を説明するための図。 トラックレットＴＬの表示方法を説明するための図。 トラックレットＴＬの表示方法を説明するための図。 トラックレットＴＬの表示方法を説明するための図。 トラックレットＴＬの表示方法を説明するための図。 第２実施形態の制御部１１０による一連の処理の流れを示すフローチャート。 トラックレットＴＬの選択画面の一例を示す図。 検知線ＬＮ_Ｄの設定画面の一例を示す図。 検知線ＬＮ_Ｄが設定された画面の一例を示す図。 各評価結果に基づく表示態様で表示されたトラックレットＴＬの一例を示す図。 トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する場合の評価方法を説明するための図。 トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する場合の評価方法を説明するための図。 トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する場合の評価方法を説明するための図。 検知線ＬＮ_Ｄの設定態様の一例を示す図。 検知線ＬＮ_Ｄの設定態様の一例を示す図。 検知線ＬＮ_Ｄの設定態様の一例を示す図。 検知線ＬＮ_Ｄの設定態様の一例を示す図。 検知線ＬＮ_Ｄの設定態様の他の例を示す図。 検知線ＬＮ_Ｄの設定態様の他の例を示す図。 検知線ＬＮ_Ｄの候補の設定方法を説明するための図。 検知線ＬＮ_Ｄの設定態様の好みを設定する画面の一例を示す図。 ある監視区域の検知線ＬＮ_Ｄの設定態様を、他の監視区域の検知線ＬＮ_Ｄの設定態様に反映させる方法を説明するための図。 実施形態の画像処理装置１００のハードウェア構成の一例を示す図。

以下、実施形態の画像処理装置、画像処理システム、画像処理方法、およびプログラムを、図面を参照して説明する。

（第１実施形態）
図１は、第１実施形態の画像処理システム１の構成の一例を示す概略図である。第１実施形態の画像処理システム１は、例えば、一以上のカメラ１０と、画像処理装置１００とを備える。これらの装置は、例えば、ＬＡＮ（Local Area Network）などを介して互いに接続されてよい。各カメラ１０は、例えば、商業施設や公共施設などの各種建物の内部の出入口付近に設置される。より具体的には、各カメラ１０は、出入口付近の天井などに設置され、その設置位置から見下ろした視点で周囲を所定の周期で繰り返し撮像する。所定の周期は、例えば、フレームレートが３０ＦＰＳ（Frames Per Second）や６０ＦＰＳ、１２０ＦＰＳ等となる周期である。各カメラ１０は、周囲を繰り返し撮像することで時系列の画像の集合、すなわち動画を生成する。この動画は、例えば、カラースケールの動画やグレースケールの動画などである。また、例えば、カメラ１０が、赤外線などによって奥行き方向の距離を計測する距離センサを備える場合、カメラ１０により生成される動画には、距離動画（デプス動画）が含まれてもよい。

画像処理装置１００は、例えば、各建物に１台ずつ設置され、同じ建物内に設置された一以上のカメラ１０の其々により生成された動画に対して画像処理を行って、各出入口において、進入（入室）する人物や退出（退室）する人物を検出する。例えば、画像処理装置１００は、動画を構成する各フレームに対して、検出対象である人物を検出するための検出窓Ｗ_Ｄを設定し、この検出窓Ｗ_Ｄをフレームの二次元方向に走査することで、フレーム領域のどの位置に人物が存在するのかを検出する。そして、画像処理装置１００は、各フレームで人物を検出した検出窓Ｗ_Ｄを時間方向に連ねた軌跡を、人物の移動軌跡（以下、トラックレットＴＬと称して説明する）として導出し、このトラックレットＴＬと、検知線ＬＮ_Ｄとに基づいて、人物が出入口に進入するのか或いは出入口から退出するのかを判定する。

画像処理装置１００は、このような処理を、例えば、オンラインでリアルタイムに処理してもよいし、動画を記憶装置に保存した後にオフラインで処理してもよい。なお、画像処理装置１００は、カメラ１０が設置された建物と同じ建物に設置されるのに限られず、他の建物に設置されてもよい。この場合、カメラ１０と画像処理装置１００とは、ＷＡＮ（Wide Area Network）などを介して互いに接続されてよい。また、画像処理装置１００の一部機能は、ＷＡＮ（Wide Area Network）に接続された他のコンピュータ（例えばクラウドサーバ等）が行ってもよい。

図２は、第１実施形態の画像処理装置１００の構成の一例を示す図である。画像処理装置１００は、例えば、通信部１０２と、表示部１０４と、操作部１０６と、制御部１１０と、記憶部１３０とを備える。表示部１０４は、「出力部」の一例である。

通信部１０２は、ＬＡＮやＷＡＮなどのネットワークに接続可能なＮＩＣ（Network Interface Card）などのハードウェアインターフェースを含む。例えば、通信部１０２は、ネットワークを介してカメラ１０と通信し、その通信相手のカメラ１０から動画を取得する。

表示部１０４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置を含む。表示部１０４は、制御部１１０による制御を受けて画像を表示する。

操作部１０６は、例えば、ボタン、キーボードやマウス等のユーザインターフェースを含む。操作部１０６は、ユーザの操作を受け付けて、受け付けた操作に応じた情報を制御部１１０に出力する。なお、操作部１０６は、表示部１０４と一体として構成されるタッチパネルであってもよい。

制御部１１０は、例えば、物体追跡部１１２と、記憶制御部１１４と、出力制御部１１６と、検知領域設定部１１８と、評価解析部１２０とを備える。これらの制御部１１０の構成要素は、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはＧＰＵ（Graphics Processing Unit）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、プロセッサに参照されるプログラムの他に、カメラ１０から取得された動画や各種処理結果などが記憶される。

［処理フロー］
以下、第１実施形態の制御部１１０の各構成要素の処理内容についてフローチャートを用いて説明する。図３は、第１実施形態の制御部１１０による一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、カメラ１０から動画が取得される度に繰り返されてよい。

まず、物体追跡部１１２は、カメラ１０から取得された動画の中で対象物体を追跡する（ステップＳ１００）。対象物体は、例えば、人間の上半身や、顔、頭などの一部や全身である。例えば、物体追跡部１１２は、動画を構成する各フレームに検出窓Ｗ_Ｄを設定し、この検出窓Ｗ_Ｄと重なる画像領域と、予め用意されたテンプレート画像とを比較するテンプレートマッチングによって、その検出窓Ｗ_Ｄと重なる画像領域が対象物体を写した画像領域であるのか否かを判定する。

例えば、物体追跡部１１２は、色相、輝度値、または輝度勾配などのパラメータに基づいてテンプレートマッチングを行う。例えば、物体追跡部１１２は、色相のパラメータをテンプレートマッチングに利用する場合、検出窓Ｗ_Ｄと重なる画像領域の色相と、テンプレート画像の色相との差が一定値以下である場合、検出窓Ｗ_Ｄと重なる画像領域が対象物体を写した画像領域であると判定し、一定値を超える場合、検出窓Ｗ_Ｄと重なる画像領域が背景の画像領域である判定する。また、例えば、物体追跡部１１２は、輝度値や輝度勾配のパラメータをテンプレートマッチングに利用する場合、検出窓Ｗ_Ｄと重なる画像領域の輝度値や輝度勾配と、テンプレート画像の輝度値や輝度勾配との差が一定値以下である場合、検出窓Ｗ_Ｄと重なる画像領域が対象物体を写した画像領域であると判定し、一定値を超える場合、検出窓Ｗ_Ｄと重なる画像領域が背景の画像領域である判定する。

物体追跡部１１２は、検出窓Ｗ_Ｄを設定した領域が対象物体を含む画像領域であるのか否かを判定した後、検出窓Ｗ_Ｄの位置を変更し、位置を変更した先の領域が、対象物体を含む画像領域であるのか否かを判定する。物体追跡部１１２は、このような処理を繰り返すことで、フレームの二次元方向に検出窓Ｗ_Ｄを走査しながら、各フレームから対象物体を検出する。

そして、物体追跡部１１２は、時系列に連続する複数のフレームの間で、其々のフレームにおいて検出した対象物体の位置を比較し、この比較対象の位置同士の距離が所定距離未満である場合、これらの対象物体が同一の物体であると判定し、比較対象の対象物体の位置同士の距離が所定距離以上である場合、これらの対象物体が互いに異なる物体であると判定する。所定距離は、例えば、動画のフレームレートが高いほど短くし、フレームレートが低いほど長くしてよい。

また、物体追跡部１１２は、比較対象である対象物体の形状が一定以上類似している場合に、これらの対象物体が同一の物体であると判定してもよい。例えば、物体追跡部１１２は、色相、輝度値、または輝度勾配などの差分が一定値以下である場合、対象物体の形状が類似していると判定する。

また、物体追跡部１１２は、過去のある期間の複数のフレームの其々から検出した対象物体の位置に基づきオプティカルフローなどを求めて、そのオプティカルフローを基に、将来のある時刻の対象物体の位置を予測し、その予測した位置と、実際にその時刻に検出された対象物体の位置とを比較して、対象物体が同一の物体であるのか否かを判定してもよい。

物体追跡部１１２は、同一の物体であると判定した対象物体を検出する際に設定した検出窓Ｗ_Ｄの重心などの代表点をフレーム間で連ね、このフレーム間で連ねた線をトラックレットＴＬとして導出する。なお、物体追跡部１１２は、検出窓Ｗ_Ｄを走査した結果、複数のフレームの其々において複数の対象物体を検出した場合、複数のトラックレットＴＬを導出してよい。トラックレットＴＬは、例えば、物体の移動方向を示すものとする。

次に、記憶制御部１１４は、物体追跡部１１２により導出された一以上のトラックレットＴＬを、そのトラックレットＴＬが導出される際に参照された複数のフレームのうち、代表的な一つのフレーム（例えば最も時刻が新しいフレーム）に重畳させ、その一以上のトラックレットＴＬを重畳させたフレームを含む情報（以下、追跡情報と称する）を、記憶部１３０に記憶させる（ステップＳ１０２）。また、記憶制御部１１４は、通信部１０２を制御して、ネットワーク上の外部記憶装置に追跡情報を記憶させてもよい。

次に、出力制御部１１６は、検知線ＬＮ_Ｄの設定画面を表示部１０４に表示させる（ステップＳ１０４）。検知線ＬＮ_Ｄの設定画面とは、例えば、検知線ＬＮ_Ｄを設定するために各種入力を受け付ける画面である。例えば、出力制御部１１６は、追跡情報に含まれるトラックレットＴＬが重畳されたフレーム上において、検知線ＬＮ_Ｄの始点および終点の座標を指定可能な画面を表示する。

次に、検知領域設定部１１８は、追跡情報に含まれるトラックレットＴＬに基づき対象物体が通過したことを検知する検知線ＬＮ_Ｄを、操作部１０６に対するユーザの操作に応じて、トラックレットＴＬが重畳されたフレームに設定する（ステップＳ１０６）。

検知線ＬＮ_Ｄとは、画像において、一以上の画素を連ねた近似的な線であってもよいし、直線や曲線の関数として幾何的に定義された幅を持たない線であってもよい。前者の場合、検知線ＬＮ_Ｄは、少なくとも一画素分の幅を持った線であってよい。

例えば、トラックレットＴＬが重畳されたフレームが設定画面として表示部１０４に表示されたときに、ユーザがこの画面を見ながら操作部１０６を操作して、トラックレットＴＬが重畳されたフレーム上に複数の位置座標を指定する。例えば、ユーザによって２点の座標が指定された場合、検知領域設定部１１８は、これらの２点間を繋ぐ直線を検知線ＬＮ_Ｄとして設定する。また、例えば、ユーザによって２点以上の座標が指定された場合、検知領域設定部１１８は、これらの点との距離の二乗が最小となる曲線を、検知線ＬＮ_Ｄとして設定してもよい。これらの直線や曲線は、関数として幾何的に定義された幅を持たない一次元の線であってもよいし、数画素が集まって形成された線状の二次元領域であってもよい。

また、検知領域設定部１１８は、直線や曲線の検知線ＬＮ_Ｄを設定する代わりに、二次元の領域である検知領域Ｒ_Ｄを設定してもよい。検知領域Ｒ_Ｄは、例えば、トラックレットＴＬが重畳されたフレームの部分空間（二次元空間）として設定されるものであり、フレームの縦横を次元とした空間である。例えば、ユーザによって３点以上の座標が指定された場合、検知領域設定部１１８は、各点を頂点とし、各点の間を直線で結ぶ多角形状の領域を検知領域Ｒ_Ｄとして設定する。また、検知領域設定部１１８は、ユーザによって座標が指定された各点を頂点とする三次元の検知領域Ｒ_Ｄを設定してもよい。以下の説明では、検知領域設定部１１８が一次元の検知線ＬＮ_Ｄを設定するものとして説明する。

次に、評価解析部１２０は、記憶部１３０や外部記憶装置に記憶された追跡情報と、検知領域設定部１１８により設定された検知線ＬＮ_Ｄとに基づいて、追跡情報に含まれる一以上のトラックレットＴＬの其々に対する、検知線ＬＮ_Ｄの設定態様を評価する。一次元の検知領域Ｒ_Ｄである検知線ＬＮ_Ｄが設定される場合、設定態様は、例えば、検知線ＬＮ_Ｄの位置や、検知線ＬＮ_Ｄの長さ、検知線ＬＮ_Ｄの曲がり具合などである。また、二次元以上の検知領域Ｒ_Ｄが設定される場合、設定態様は、例えば、検知領域Ｒ_Ｄの位置や、検知領域Ｒ_Ｄの面積（体積）、検知領域Ｒ_Ｄの形状などである。

例えば、評価解析部１２０は、追跡情報に含まれる一以上のトラックレットＴＬの中から任意の一つのトラックレットＴＬを処理対象として選択し、この処理対象のトラックレットＴＬと、検知線ＬＮ_Ｄとが交差したか否かを判定する（ステップＳ１０８）。「交差する」とは、例えば、トラックレットＴＬが、検知線ＬＮ_Ｄを表す一以上の画素を含む画素領域に進入してから、その画素領域から退出することである。

図４は、検知線ＬＮ_ＤとトラックレットＴＬとの交差有無の判定方法を説明するための図である。例えば、検知線ＬＮ_Ｄが数画素から数十画素分の幅を持った線として表される場合、評価解析部１２０は、検知線ＬＮ_Ｄの始点と終点とを通る円（楕円）を設定し、この円内の領域のうち検知線ＬＮ_Ｄにより分離された二つの領域（図中領域ＡおよびＢ）を基に、トラックレットＴＬと検知線ＬＮ_Ｄとが交差したか否かを判定する。例えば、評価解析部１２０は、トラックレットＴＬ１やＴＬ２のように、設定した円内において、検知線ＬＮ_Ｄにより二つに分離された領域のうち一方の領域から他方の領域に進入しないトラックレットＴＬについては、検知線ＬＮ_Ｄに対して交差しないトラックレットＴＬとして判定する。また、評価解析部１２０は、トラックレットＴＬ３やＴＬ４のように、設定した円内において、検知線ＬＮ_Ｄにより二つに分離された領域のうち一方の領域から他方の領域に進入するトラックレットＴＬについては、検知線ＬＮ_Ｄに対して交差するトラックレットＴＬとして判定する。

また、検知線ＬＮ_Ｄが一画素分の幅を持った線として表される場合、評価解析部１２０は、検知線ＬＮ_Ｄを表す複数の画素のうち、ある着目する画素に対して上下左右に隣接する４つの画素のうち、対角線上に位置する２つの画素（例えば左側と下側の隣接画素）がトラックレットＴＬを表す画素であることが、検知線ＬＮ_Ｄを表す複数の画素のうち２つ以上の画素について成り立つ場合に、トラックレットＴＬと検知線ＬＮ_Ｄとが交差したと判定する。

図５および図６は、検知線ＬＮ_ＤとトラックレットＴＬとの交差有無の判定方法を説明するための図である。各図の例では、検知線ＬＮ_ＤおよびトラックレットＴＬが一画素分の画像領域として表されており、更に、検知線ＬＮ_Ｄが画素Ａ〜Ｈによって表され、トラックレットＴＬが画素Ｏ〜Ｗによって表されている。図５に例示するように、検知線ＬＮ_Ｄを表す画素のうち２つの画素ＤおよびＥに着目した場合、この着目画素Ｄの上側の隣接画素と着目画素Ｅの左側の隣接画素とがトラックレットＴＬを表す画素の一つである画素Ｒになっており、着目画素Ｄの右側の隣接画素と着目画素Ｅの下側の隣接画素とがトラックレットＴＬを表す画素の一つである画素Ｓになっている。このような場合、評価解析部１２０は、検知線ＬＮ_ＤとトラックレットＴＬとが交差したと判定する。

一方、図６に例示するように、検知線ＬＮ_Ｄを表す画素のうち２つの画素ＤおよびＥに着目した場合、この着目画素Ｄの上側の隣接画素と着目画素Ｅの左側の隣接画素とがトラックレットＴＬを表す画素の一つである画素Ｒとなっているが、着目画素Ｄの他の隣接画素がトラックレットＴＬを表す画素となっていない。このような場合、評価解析部１２０は、検知線ＬＮ_ＤとトラックレットＴＬとが交差していないと判定する。

評価解析部１２０は、トラックレットＴＬと検知線ＬＮ_Ｄとが交差する場合と、トラックレットＴＬと検知線ＬＮ_Ｄとが交差しない場合とで、検知線ＬＮ_Ｄの設定態様の評価を異ならせる。例えば、評価解析部１２０は、トラックレットＴＬと検知線ＬＮ_Ｄとが交差する場合、トラックレットＴＬと検知線ＬＮ_Ｄとが交差しない場合に比して、検知線ＬＮ_Ｄの設定態様を高く評価してよい。

出力制御部１１６は、評価解析部１２０の評価結果に基づいて、追跡情報の表示態様を変更する。例えば、出力制御部１１６は、トラックレットＴＬと検知線ＬＮ_Ｄとが交差する場合と、トラックレットＴＬと検知線ＬＮ_Ｄとが交差しない場合とで評価が異なることから、これらの各場合においての検知線ＬＮ_Ｄの表示態様を異ならせる。

例えば、出力制御部１１６は、トラックレットＴＬと検知線ＬＮ_Ｄとが交差したと判定した場合、表示部１０４に、検知線ＬＮ_Ｄと交差したトラックレットＴＬを強調表示させる（ステップＳ１１０）。強調表示とは、例えば、トラックレットＴＬの表示色を他の色に変更することである。また、強調表示は、例えば、トラックレットＴＬの色を変更するのに代えて、或いは加えて、明度、彩度、輝度といった要素値をより大きくすることであってもよいし、トラックレットＴＬの線の太さをより太くすることであってもよいし、トラックレットＴＬの線の透明度を下げることであってもよいし、トラックレットＴＬのテクスチャを変更することであってもよい。

一方で、出力制御部１１６は、トラックレットＴＬと検知線ＬＮ_Ｄとが交差していないと判定した場合、表示部１０４に、検知線ＬＮ_Ｄと交差していないトラックレットＴＬを通常表示させる（ステップＳ１１２）。通常表示とは、例えば、トラックレットＴＬの表示色を他の色に変更せず、現在の色を維持させることである。また、通常表示は、例えば、トラックレットＴＬの表示色の明度、彩度、輝度といった要素値を、強調表示時よりも小さくすることであってもよいし、トラックレットＴＬの線の太さを強調表示時よりも細くすることであってもよいし、トラックレットＴＬの線の透明度を強調表示時よりも上げることであってもよい。

図７から図１０は、トラックレットＴＬの表示方法を説明するための図である。図７の例では、４つのトラックレットＴＬのうち、トラックレットＴＬ１、ＴＬ２、およびＴＬ３は検知線ＬＮ_Ｄと交差しており、トラックレットＴＬ４は検知線ＬＮ_Ｄと交差していない。この場合、例えば、出力制御部１１６は、表示部１０４に、トラックレットＴＬ１、ＴＬ２、およびＴＬ３については表示色を赤色とすることで強調表示させ、トラックレットＴＬ４については表示色を灰色とすることで通常表示させてよい。

また、出力制御部１１６は、図８に示すように、トラックレットＴＬをヒートマップとして表示させてもよいし、図９に示すように、トラックレットＴＬの総数に対する、検知線ＬＮ_Ｄと交差するトラックレットＴＬの数の割合を示す数値を表示させてもよい。

また、出力制御部１１６は、トラックレットＴＬの向きに応じて、その表示態様を変更してもよい。例えば、出力制御部１１６は、図１０に示すように、トラックレットＴＬの移動方向（図中矢印の向き）が出入口に入るものについては、表示色を赤色とし、トラックレットＴＬの移動方向が出入口から出るものについては、表示色を青色とすることで、それぞれのトラックレットＴＬを強調表示させてよい。

制御部１１０は、全てのトラックレットＴＬについて検知線ＬＮ_Ｄとの交差を判定した場合、本フローチャートの処理を終了し、全てのトラックレットＴＬについて検知線ＬＮ_Ｄとの交差を判定していない場合、処理対象のトラックレットＴＬを変更し、Ｓ１０８からＳ１１２の処理を繰り返す。

なお、上述したフローチャートの処理において、評価解析部１２０は、検知領域設定部１１８により検知線ＬＮ_Ｄの代わりに検知領域Ｒ_Ｄが設定される場合、トラックレットＴＬと、検知領域Ｒ_Ｄとが互いに交わるか否かを判定してよい。交わるとは、例えば、トラックレットＴＬと、検知領域Ｒ_Ｄとが互いに入り込んだ位置関係となることである。

以上説明した第１実施形態によれば、動画の中で対象物体を追跡し、その追跡した物体の移動軌跡であるトラックレットＴＬを含む追跡情報を記憶部１３０や外部記憶装置に記憶させ、追跡情報に含まれるトラックレットＴＬに基づいて、物体が通過したことを検知する検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄを動画内のある一フレームに設定し、この設定した検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄと、トラックレットＴＬとに基づいて、検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄの設定態様を評価し、その評価結果に基づく出力態様で追跡情報を出力するため、進入または退出する人物の検知精度を向上させることができる。

例えば、引用文献１に記載された技術の場合、過去の人物のトレックレットＴＬを参照して検知線ＬＮ_Ｄを設定するための推奨領域をユーザに提示しているが、例えば出入口を横切るように通行する人物など、出入口以外を通行する人物がいる場合は、正しい推奨領域を提示できず、物体の検知精度が低下するという問題がある。また、引用文献２に記載された技術の場合、一般的に追跡した人物のトラックレットＴＬの検知精度が低くなる画面端領域を設定禁止領域としているが、出入口以外を通行する人物がいる状況は、画面中央の領域でも起こり得るため、物体の検知精度が低下するという問題が生じる。

これに対して、本実施形態では、ユーザの操作に応じて設定された検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄによって、過去のトラックレットＴＬが正しく検知できているか否かをユーザに確認させることができるため、例えば、出入口以外を通行する人物のトラックレットＴＬと交差しないように、再度検知線ＬＮ_Ｄ等をユーザに設定させることができる。この結果、出入口以外を通行する人物がいる場合でも、出入口に進入または出入口から退出する人物を精度良く検知することができる。

（第２実施形態）
以下、第２実施形態について説明する。第２実施形態では、複数のトラックレットＴＬのうち、ユーザにより選択されたトラックレットＴＬが検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄと交わるのかを判定し、その判定結果に基づいて、ユーザにより選択されたトラックレットＴＬごとに検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄの設定態様を評価する点で第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する部分についての説明は省略する。

図１１は、第２実施形態の制御部１１０による一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、カメラ１０から動画が取得される度に繰り返されてよい。

まず、物体追跡部１１２は、カメラ１０から取得された動画の中で対象物体を追跡する（ステップＳ２００）。次に、記憶制御部１１４は、対象物体の追跡するために物体追跡部１１２により導出された一以上のトラックレットＴＬを、そのトラックレットＴＬが導出される際に参照された複数のフレームのうち、代表的な一つのフレームに重畳させ、その一以上のトラックレットＴＬを重畳させたフレームを含む追跡情報を、記憶部１３０に記憶させる（ステップＳ２０２）。

次に、出力制御部１１６は、トラックレットＴＬの選択画面を表示部１０４に表示させる（ステップＳ２０４）。トラックレットＴＬの選択画面とは、例えば、物体追跡部１１２により導出された全てのトラックレットＴＬの中から、検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄによって検知させたいトラックレットＴＬ（検知対象のトラックレットＴＬ）をユーザに選択させる画面である。

図１２は、トラックレットＴＬの選択画面の一例を示す図である。図示の例の画面が表示された場合、ユーザは、操作部１０６を操作して、５つのトラックレットＴＬの中から一つ以上のトラックレットＴＬを検知対象のトラックレットＴＬとして選択することになる。

次に、出力制御部１１６は、トラックレットＴＬの選択画面を表示部１０４に表示させた後に、ユーザによって一以上のトラックレットＴＬが選択されたか否かを判定し（ステップＳ２０６）、ユーザによって一以上のトラックレットＴＬが選択された場合、検知線ＬＮ_Ｄの設定画面を表示部１０４に表示させる（ステップＳ２０８）。

図１３は、検知線ＬＮ_Ｄの設定画面の一例を示す図である。図示の例では、トラックレットＴＬ１、ＴＬ２、およびＴＬ３が検知対象のトラックレットＴＬとして選択され、選択されなかった残りのトラックレットＴＬ４およびＴＬ５が非検知対象のトラックレットＴＬに設定されている。このとき、出力制御部１１６は、検知対象のトラックレットＴＬと、非検知対象のトラックレットＴＬとの表示態様を異ならせてよい。例えば、出力制御部１１６は、検知対象のトラックレットＴＬの表示色を赤色とし、非検知対象のトラックレットＴＬの表示色を灰色としてよい。これによって、ユーザは、どのトラックレットＴＬと交差させればよいか確認しながら検知線ＬＮ_Ｄを設定することができる。

次に、評価解析部１２０は、追跡情報に含まれる一以上のトラックレットＴＬの中から任意の一つのトラックレットＴＬを処理対象として選択し、この処理対象のトラックレットＴＬと、検知線ＬＮ_Ｄとが交差したか否かを判定する（ステップＳ２１２）。

次に、評価解析部１２０は、処理対象のトラックレットＴＬと検知線ＬＮ_Ｄとが交差したと判定した場合、更に、処理対象のトラックレットＴＬが検知対象としてユーザにより選択されたトラックレットＴＬであるのか否かを判定する（ステップＳ２１４）。

一方、評価解析部１２０は、処理対象のトラックレットＴＬと検知線ＬＮ_Ｄとが交差していないと判定した場合、更に、処理対象のトラックレットＴＬが検知対象としてユーザにより選択されたトラックレットＴＬであるのか否かを判定する（ステップＳ２１６）。

評価解析部１２０は、これらの各種判定結果を基に、トラックレットＴＬごとに検知線ＬＮ_Ｄの設定態様を評価する。

例えば、評価解析部１２０は、検知対象の一以上のトラックレットＴＬのうち、検知線ＬＮ_Ｄと交差するトラックレットＴＬについては検知線ＬＮ_Ｄの設定態様を高く評価し、検知線ＬＮ_Ｄと交差しないトラックレットＴＬについては検知線ＬＮ_Ｄの設定態様を低く評価する。

また、例えば、評価解析部１２０は、非検知対象の一以上のトラックレットＴＬのうち、検知線ＬＮ_Ｄと交差するトラックレットＴＬについては検知線ＬＮ_Ｄの設定態様を低く評価し、検知線ＬＮ_Ｄと交差しないトラックレットＴＬについては検知線ＬＮ_Ｄの設定態様を高く評価する。

図１４は、検知線ＬＮ_Ｄが設定された画面の一例を示す図である。図示の例では、トラックレットＴＬ１、ＴＬ２、およびＴＬ３が検知対象のトラックレットＴＬとして選択されたフレームに対して、設定された検知線ＬＮ_Ｄが描画されている。この設定された検知線ＬＮ_Ｄに対して、検知対象のトラックレットＴＬ２およびＴＬ３が交差していると共に、非検知対象のトラックレットＴＬ４が交差している。すなわち、検知対象のトラックレットＴＬ２およびＴＬ３については、ユーザが所望するように検知線ＬＮ_Ｄによって検知されている「正検知な状態」であり、非検知対象のトラックレットＴＬ４については、ユーザが所望していないにもかかわらず検知線ＬＮ_Ｄによって検知されている「過検知な状態」である。

また、検知線ＬＮ_Ｄに対して、検知対象のトラックレットＴＬ１が交差していないと共に、非検知対象のトラックレットＴＬ５が交差していない。すなわち、検知対象のトラックレットＴＬ１については、ユーザが所望しているのにもかかわらず検知線ＬＮ_Ｄによって検知されていない「未検知な状態」であり、非検知対象のトラックレットＴＬ５については、ユーザが所望するように検知線ＬＮ_Ｄによって検知されていない「正未検知な状態」である。

このような場合、評価解析部１２０は、「正検知な状態」の検知対象のトラックレットＴＬ２およびＴＬ３と、「正未検知な状態」の非検知対象のトラックレットＴＬ５に対する検知線ＬＮ_Ｄの設定態様を高く評価すると共に、「未検知な状態」の検知対象のトラックレットＴＬ１と、「過検知な状態」の非検知対象のトラックレットＴＬ４に対する検知線ＬＮ_Ｄの設定態様を低く評価する。

出力制御部１１６は、これらの各トラックレットＴＬに対する検知線ＬＮ_Ｄの設定態様の評価結果に基づいて、トラックレットＴＬの表示態様を変更する。

例えば、出力制御部１１６は、評価解析部１２０により、処理対象のトラックレットＴＬが検知線ＬＮ_Ｄと交差し、且つ検知対象のトラックレットＴＬであると判定された場合、すなわち、「正検知な状態」である場合、表示部１０４に、処理対象のトラックレットＴＬを第１強調表示させる（ステップＳ２１８）。第１強調表示とは、例えば、後述する第２強調表示や第３強調表示といった他の表示態様に比して、より強調して表示させることである。

また、出力制御部１１６は、評価解析部１２０により、処理対象のトラックレットＴＬが検知線ＬＮ_Ｄと交差し、且つ検知対象のトラックレットＴＬでないと判定された場合、すなわち、「誤検知な状態」である場合、表示部１０４に、処理対象のトラックレットＴＬを第２強調表示させる（ステップＳ２２０）。第２強調表示とは、例えば、第３強調表示と同程度、または第３強調表示よりも強調して表示させることである。

また、出力制御部１１６は、評価解析部１２０により、処理対象のトラックレットＴＬが検知線ＬＮ_Ｄと交差せず、且つ検知対象のトラックレットＴＬであると判定された場合、すなわち、「未検知な状態」である場合、表示部１０４に、処理対象のトラックレットＴＬを第３強調表示させる（ステップＳ２２２）。第３強調表示とは、例えば、少なくとも通常表示よりも強調して表示させることである。

また、出力制御部１１６は、評価解析部１２０により、処理対象のトラックレットＴＬが検知線ＬＮ_Ｄと交差せず、且つ検知対象のトラックレットＴＬでないと判定された場合、すなわち、「正未検知な状態」である場合、表示部１０４に、処理対象のトラックレットＴＬを通常表示させる（ステップＳ２２４）。

図１５は、各評価結果に基づく表示態様で表示されたトラックレットＴＬの一例を示す図である。図示の例のように、出力制御部１１６は、「正検知な状態」、「誤検知な状態」、「未検知な状態」、「正未検知な状態」という、各トラックレットＴＬに対する検知線ＬＮ_Ｄのそれぞれの評価結果に応じて、トラックレットＴＬの表示態様（例えば色やテクスチャ等）を決定してよい。

制御部１１０は、全てのトラックレットＴＬについて検知線ＬＮ_Ｄとの交差を判定した場合、本フローチャートの処理を終了し、全てのトラックレットＴＬについて検知線ＬＮ_Ｄとの交差を判定していない場合、処理対象のトラックレットＴＬを変更し、Ｓ２１２からＳ２２４の処理を繰り返す。

以上説明した第２実施形態によれば、複数のトラックレットＴＬのうち、ユーザにより選択されたトラックレットＴＬが検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄと交わるのかを判定し、その判定結果に基づいて、ユーザにより選択されたトラックレットＴＬごとに検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄの設定態様を評価するため、ユーザが試しに設定した検知線ＬＮ_Ｄ等に対して、過去に追跡した人物のトラックレットＴＬが正しく検知できたこと、または、誤って検知してしまったことをユーザに提示することができ、設定した検知線ＬＮ_Ｄ等がユーザの意図した通りに動作するかどうかをユーザ自身が判断することができる。

（第３実施形態）
以下、第３実施形態について説明する。第３実施形態では、トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する際に、トラックレットＴＬ上での交差位置、検知線ＬＮ_Ｄ上での交差位置、およびトラックレットＴＬと検知線ＬＮ_Ｄとのなす角（なす角度）のうち一部または全部に応じて、検知線ＬＮ_Ｄの設定態様を評価する点で第１および第２実施形態と相違する。以下、第１および第２実施形態との相違点を中心に説明し、第１および第２実施形態と共通する部分についての説明は省略する。

図１６から図１８は、トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する場合の評価方法を説明するための図である。例えば、トラックレットＴＬの中点から最も遠い端部は対象物体の追跡が途絶えた位置であり、この端部付近に検知線ＬＮ_Ｄが設定された場合、追跡している対象物体が検知線ＬＮ_Ｄを通過せずに途絶える場合がある。従って、安定して対象物体の通過を検出するためには、トラックレットＴＬの中点付近に検知線ＬＮ_Ｄが設定されるのが好ましい。そのため、第３実施形態の評価解析部１２０は、例えば、トラックレットＴＬにおいて、検知線ＬＮ_Ｄとの交差点がトラックレットＴＬの長さＤ_ＴＬの中心（中点）に近いほど評価の程度を定量化したスコアを高くし、検知線ＬＮ_Ｄとの交差点がトラックレットＴＬの長さＤ_ＴＬの中心から遠ざかるほどスコアを低くしてよい。

また、検知線ＬＮ_Ｄの端部とトラックレットＴＬとが交わるように設定された場合、追跡している対象物体が検知線ＬＮ_Ｄを逸れて進行してしまい、対象物体を検知できない場合がある。従って、安定して対象物体の通過を検出するためには、検知線ＬＮ_Ｄの中点付近とトラックレットＴＬとが交わるように設定されるのが好ましい。そのため、評価解析部１２０は、例えば、検知線ＬＮ_Ｄにおいて、トラックレットＴＬとの交差点が検知線ＬＮ_Ｄの長さＤ_ＬＮＤの中心（中点）に近いほどスコアを高くし、トラックレットＴＬとの交差点が検知線ＬＮ_Ｄの長さＤ_ＬＮＤの中心から遠ざかるほどスコアを低くしてよい。

また、検知線ＬＮ_ＤがトラックレットＴＬと並行になるように設定された場合、追跡している対象物体が検知線ＬＮ_Ｄを通過する確率が低下するため、検知線ＬＮ_ＤはトラックレットＴＬと直交するように設定されるのが好ましい。そのため、評価解析部１２０は、例えば、トラックレットＴＬと検知線ＬＮ_Ｄとのなす角θが９０度に近いほどスコアを高くし、なす角θが０度または１８０度に近いほどスコアを低くしてよい。

評価解析部１２０は、トラックレットＴＬにおける検知線ＬＮ_Ｄとの交差点の位置を評価したスコア（以下、第１スコアと称する）と、検知線ＬＮ_ＤにおけるトラックレットＴＬとの交差点の位置を評価したスコア（以下、第２スコアと称する）と、トラックレットＴＬと検知線ＬＮ_Ｄとのなす角θを評価したスコア（以下、第３スコアと称する）とのうち一部または全部に基づいて、最終的な検知線ＬＮ_Ｄの設定態様を評価する。例えば、評価解析部１２０は、全てのスコアを参照する場合、これらのスコアの重み付き和が最大となる設定態様を最も高く評価する。上述した例の場合、評価解析部１２０は、トラックレットＴＬと検知線ＬＮ_Ｄとが互いに直交した状態で、トラックレットＴＬの中心と検知線ＬＮ_Ｄの中心とが交わる場合に、ユーザによって設定された検知線ＬＮ_Ｄの設定態様を最も高く評価する。

図１９から図２２は、検知線ＬＮ_Ｄの設定態様の一例を示す図である。例えば、図１９に示すように、検知線ＬＮ_ＤがトラックレットＴＬの端部に近い位置に設定された場合、他の対象物体のトラックレットＴＬと検知線ＬＮ_Ｄとが交差しない蓋然性が高くなるため、評価解析部１２０は、この検知線ＬＮ_Ｄの設定態様を、図２２に例示するような検知線ＬＮ_Ｄの設定態様よりも低く評価する。この場合、出力制御部１１６は、検知線ＬＮ_Ｄによる対象物体の検知精度が低いことを表すため、すなわち未検知の確率が高くなることを表すために、例えば、表示部１０４に、青色の検知線ＬＮ_Ｄを表示させる。

また、例えば、図２０に示すように、検知線ＬＮ_ＤがトラックレットＴＬとのなす角θが１５０度のように平行に近い状態で設定された場合、対象物体が検知線ＬＮ_Ｄを通過する蓋然性が低くなるため、評価解析部１２０は、この検知線ＬＮ_Ｄの設定態様を、図２２に例示するような検知線ＬＮ_Ｄの設定態様よりも低く評価する。この場合、出力制御部１１６は、図１９の例と同様に、表示部１０４に、青色の検知線ＬＮ_Ｄを表示させる。

また、例えば、図２１に示すように、検知線ＬＮ_Ｄの端部付近がトラックレットＴＬと交わるように設定された場合、対象物体が検知線ＬＮ_Ｄを通過する蓋然性が低くなるため、評価解析部１２０は、この検知線ＬＮ_Ｄの設定態様を、図２２に例示するような検知線ＬＮ_Ｄの設定態様よりも低く評価する。この場合、出力制御部１１６は、図１９や図２０の例と同様に、表示部１０４に、青色の検知線ＬＮ_Ｄを表示させる。

また、例えば、図２２に示すように、トラックレットＴＬと検知線ＬＮ_Ｄとが互いに直交に近い状態で、検知線ＬＮ_Ｄの中央付近がトラックレットＴＬの中央付近と交差するように設定された場合、対象物体が検知線ＬＮ_Ｄを通過する蓋然性が高くなるため、評価解析部１２０は、この検知線ＬＮ_Ｄの設定態様を、図１９から図２１に例示するような検知線ＬＮ_Ｄの設定態様よりも高く評価する。この場合、出力制御部１１６は、検知線ＬＮ_Ｄによる対象物体の検知精度が高いことを表すため、すなわち未検知の確率が低くなることを表すために、例えば、表示部１０４に、黄色の検知線ＬＮ_Ｄを表示させる。

なお、上述した例では、対象物体の検知精度の程度を検知線ＬＮ_Ｄの色によって表現したがこれに限られない。例えば、出力制御部１１６は、対象物体の検知精度の程度を、検知線ＬＮ_Ｄの透明度、テクスチャ、線の太さなどによって表現してもよいし、対象物体の検知精度が高いこと、或いは低いことを表す文字や画像を、検知線ＬＮ_Ｄとは別に表示させてもよいし、スピーカ（不図示）などから音声を出力させてもよい。また、出力制御部１１６は、第１スコアと第２スコアと第３スコアとの加重和の値を、対象物体の検知精度を表す確率値として表示させてもよい。

以上説明した第３実施形態によれば、トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差しているものの、十分に対象物体を追跡できずにトラックレットＴＬが短くなった場合などに、その対象物体を正しく検知できる蓋然性が低いと判断される検知線ＬＮ_Ｄについては、通常と異なる表示方法にすることで、ユーザに設定済みの検知線ＬＮ_Ｄの検知精度がどの程度なのかを確認させることができる。これにより、例えば、ユーザが検知線ＬＮ_Ｄを再度設定し直したりするため、より高精度に対象物体を検知することができる検知線ＬＮ_Ｄを設定することができる。

（第４実施形態）
以下、第４実施形態について説明する。第４実施形態では、トラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する際に、他のトラックレットＴＬとの距離と、他のトラックレットＴＬとのなす角とのうち一方または双方に応じて、検知線ＬＮ_Ｄの設定態様を評価する点で第１から第３実施形態と相違する。以下、第１から第３実施形態との相違点を中心に説明し、第１から第３実施形態と共通する部分についての説明は省略する。

例えば、上述した第２実施形態と同様に、複数のトラックレットＴＬのうち、ユーザにより検知対象として選択されたトラックレットＴＬと、ユーザにより検知対象として選択されなかった非検知対象のトラックレットＴＬとが設定された場合に、検知線ＬＮ_Ｄが、検知対象のトラックレットＴＬには交差し、非検知対象のトラックレットＴＬには交差しない場合がある。すなわち、検知線ＬＮ_Ｄの設定位置によっては、ユーザが所望するように検知対象のトラックレットＴＬに対しては「正検知な状態」となり、非検知対象のトラックレットＴＬに対しては「正未検知な状態」となる場合がある。しかしながら、検知線ＬＮ_Ｄが非検知対象のトラックレットＴＬに近い位置に設定されたり、検知線ＬＮ_Ｄの延長線が非検知対象のトラックレットＴＬと交差して設定されたりした場合、非検知対象のトラックレットＴＬであっても、検知線ＬＮ_Ｄによって誤って検知される蓋然性が高くなる。

従って、第４実施形態の評価解析部１２０は、検知線ＬＮ_Ｄが非検知対象のトラックレットＴＬと交差せず、その設定態様が高く評価されるような場合であっても、そのトラックレットＴＬと検知線ＬＮ_Ｄとの距離が短い場合や、検知線ＬＮ_Ｄの延長線が非検知対象のトラックレットＴＬと直交に近い角度で交差する場合に、検知線ＬＮ_Ｄの設定態様の評価を低下させる。

例えば、評価解析部１２０は、検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する際に、非検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとの間の距離（最短距離）が長いほどスコアを高くし、非検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとの間の距離が短いほどスコアを低くしてよい。

また、例えば、評価解析部１２０は、検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差する際に、非検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとのなす角φが０度または１８０度に近いほどスコアを高くし、なす角φが９０度に近いほどスコアを低くしてよい。

そして、評価解析部１２０は、非検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとの間の距離を評価したスコア（以下、第４スコアと称する）と、非検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとのなす角φを評価したスコア（以下、第５スコアと称する）とのうち一方または双方に基づいて、最終的な検知線ＬＮ_Ｄの設定態様を評価する。例えば、評価解析部１２０は、これらのスコアの重み付き和が大きいほど設定態様を高く評価する。

図２３および図２４は、検知線ＬＮ_Ｄの設定態様の他の例を示す図である。図中ＴＬ１は、検知対象のトラックレットであり、ＴＬ２は、非検知対象のトラックレットである。図２３の例では、検知線ＬＮ_Ｄと検知対象のトラックレットＴＬ１とが直交に近い状態で交差しているため、評価解析部１２０は、本来であれば、この検知線ＬＮ_Ｄの設定態様を高く評価する。しかしながら、検知線ＬＮ_Ｄと非検知対象のトラックレットＴＬ２との間の距離が短いため、評価解析部１２０は、上述した図２２に例示するような検知線ＬＮ_Ｄの設定態様よりも低く評価する。この場合、出力制御部１１６は、検知線ＬＮ_Ｄによる対象物体の検知精度が低いことを表すため、すなわち過検知の確率が高くなることを表すために、例えば、表示部１０４に、赤色の検知線ＬＮ_Ｄを表示させる。

また、図２４の例では、非検知対象のトラックレットＴＬ２には、検知線ＬＮ_Ｄが交差していないものの、その検知線ＬＮ_Ｄの延長線が交差している。このような場合、評価解析部１２０は、上述した図２２に例示するような検知線ＬＮ_Ｄの設定態様よりも低く評価する。出力制御部１１６は、検知線ＬＮ_Ｄによる対象物体の検知精度が低いことを表すため、すなわち過検知の確率が高くなることを表すために、例えば、表示部１０４に、赤色の検知線ＬＮ_Ｄを表示させる。

なお、評価解析部１２０は、非検知対象のトラックレットＴＬとの距離と、非検知対象のトラックレットＴＬとのなす角とのうち一方または双方に加えて、更に、上述した第３実施形態において説明した、トラックレットＴＬ上での交差位置、検知線ＬＮ_Ｄ上での交差位置、およびトラックレットＴＬと検知線ＬＮ_Ｄとのなす角のうち一部または全部を考慮して、検知線ＬＮ_Ｄの設定態様を評価してもよい。評価解析部１２０は、これらの５つの要素を考慮する場合、第１から第５までの全てのスコアの重み付き和が大きいほど、検知線ＬＮ_Ｄの設定態様を高く評価してよい。

以上説明した第４実施形態によれば、検知対象のトラックレットＴＬと非検知対象のトラックレットＴＬとがユーザによって指定された場合、検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差し、非検知対象のトラックレットＴＬと検知線ＬＮ_Ｄとが互いに交差していないものの、非検知対象のトラックレットＴＬと同じような移動軌跡を描く対象物体が通過したと誤って検知する蓋然性の高い検知線ＬＮ_Ｄ（第４スコアと第５スコアが低い検知線ＬＮ_Ｄ）については、通常と異なる表示方法とすることで、ユーザに設定済みの検知線ＬＮ_Ｄの検知精度がどの程度なのかを確認させることができる。これにより、例えば、ユーザが検知線ＬＮ_Ｄを再度設定し直したりするため、より高精度に対象物体を検知することができる検知線ＬＮ_Ｄを設定することができる。

（第５実施形態）
以下、第５実施形態について説明する。第５実施形態では、予め検知線ＬＮ_Ｄの候補を提示しておき、この候補の中から検知線ＬＮ_Ｄとする候補をユーザに選択させる点で第１から第４実施形態と相違する。以下、第１から第４実施形態との相違点を中心に説明し、第１から第４実施形態と共通する部分についての説明は省略する。

第５実施形態の検知領域設定部１１８は、例えば、出入口付近に始点または終点が位置する一以上のトラックレットＴＬの集合である第１グループに含まれるトラックレットＴＬと交差する数が最も多く、第１グループを除く一以上のトラックレットＴＬの集合である第２グループに含まれるトラックレットＴＬと交差する数が最も少なくなるような直線または曲線を検知線ＬＮ_Ｄの候補として設定する。

図２５は、検知線ＬＮ_Ｄの候補の設定方法を説明するための図である。図中のトラックレットＴＬ１からＴＬ３は、第１グループに含まれ、トラックレットＴＬ４およびＴＬ５は、第２グループに含まれる。この場合、検知領域設定部１１８は、例えば、検知線の候補ＬＮ_Ｄ＃１やＬＮ_Ｄ＃２を設定する。なお、検知領域設定部１１８は、ＬＮ_Ｄ＃３といった第２グループの一部トラックレットＴＬと交差するような検知線の候補を設定してもよい。

また、検知領域設定部１１８は、例えば、出入口方向、または出入口と反対方向に向かうトラックレットＴＬとの交差数が最大となり、かつ、その他のトラックレットＴＬとの交差数が最小となるような直線または曲線を検知線ＬＮ_Ｄの候補として設定してもよい。

また、検知領域設定部１１８は、例えば、ユーザによって検知対象として選択されたトラックレットＴＬとの交差数が最大となり、かつ、その他のトラックレットＴＬとの交差数が最小となるような直線または曲線を検知線ＬＮ_Ｄの候補として設定してもよい。

そして、検知領域設定部１１８は、ユーザに提示した一以上の検知線ＬＮ_Ｄの候補の中から選択された候補を、検知線ＬＮ_Ｄに決定する。なお、検知領域設定部１１８は、検知線ＬＮ_Ｄの候補の中から検知線ＬＮ_Ｄとして決定した直線または曲線の始点または終点などがユーザによって再指定された場合、この再指定された点を通るように検知線ＬＮ_Ｄの長さや湾曲度合などを変更してよい。

また、第５実施形態の検知領域設定部１１８は、ユーザの操作に応じて過去に設定した検知線ＬＮ_Ｄの設定態様の評価に基づいて、一以上の検知線ＬＮ_Ｄの候補を新たに設定してもよい。例えば、複数のトラックレットＴＬ同士の相対的な位置関係や、複数のトラックレットＴＬの其々の長さや湾曲度合といった、トラックレットＴＬのパターンに対して、設定態様の評価が異なる複数の検知線ＬＮ_Ｄが設定されたとする。この場合、検知領域設定部１１８は、検知線ＬＮ_Ｄの候補を設定する際に、今回のトラックレットＴＬのパターンが過去のトラックレットＴＬのパターンと類似する場合、このパターンのトラックレットＴＬのときに設定した複数の検知線ＬＮ_Ｄのうち、より設定態様の評価が高い検知線ＬＮ_Ｄを、今回の検知線ＬＮ_Ｄの候補として優先的に設定する。

また、第５実施形態の検知領域設定部１１８は、ユーザの検知線ＬＮ_Ｄの設定態様の好みを学習し、その学習した好みに応じて、検知線ＬＮ_Ｄを自動的（ユーザの操作に依らずに）に設定してもよい。例えば、ユーザが検知対象のトラックレットＴＬと非検知対象のトラックレットＴＬとを設定したときに、検知対象のトラックレットＴＬと共に、非検知対象のトラックレットＴＬも検知されるような位置に検知線ＬＮ_Ｄが設定されることが多い場合、すなわち、「正検知」を優先させるために、ある程度の「過検知」を許容した検知線ＬＮ_Ｄが設定されることが多い場合、検知領域設定部１１８は、このユーザが、過検知を許容してでもトラックレットＴＬの検知精度を高めることを好んでいると学習する。また、例えば、ユーザが検知対象のトラックレットＴＬと非検知対象のトラックレットＴＬとを設定したときに、検知対象のトラックレットＴＬが検知されなくとも、非検知対象のトラックレットＴＬが検知されないことを優先した位置に検知線ＬＮ_Ｄが設定されることが多い場合、すなわち、「過検知」されないことを優先させるために、ある程度の「未検知」を許容した検知線ＬＮ_Ｄが設定されることが多い場合、検知領域設定部１１８は、このユーザが、トラックレットＴＬの検知精度を下げてでも、過検知を禁止することを好んでいると学習する。

そして、検知領域設定部１１８は、この学習したユーザの検知線ＬＮ_Ｄの設定態様の好みに応じて、新たな検知線ＬＮ_Ｄを自動的に設定する。例えば、「正検知」を優先させるために、ある程度の「過検知」を許容した検知線ＬＮ_Ｄを設定する傾向にあると学習したユーザが新たに検知線ＬＮ_Ｄを設定しようとした場合、検知領域設定部１１８は、この学習結果に基づいて、「過検知」を許容しつつ「正検知」となることを最も優先した検知線ＬＮ_Ｄを自動的に設定してよい。これによって、ユーザが検知線ＬＮ_Ｄを設定する手間を省くことができ、ユーザの利便性を向上させることができる。

なお、検知領域設定部１１８が学習するユーザの検知線ＬＮ_Ｄの設定態様の好みは、ユーザ自身が決定してもよい。図２６は、検知線ＬＮ_Ｄの設定態様の好みを設定する画面の一例を示す図である。例えば、出力制御部１１６は、図２６に例示するような画面を表示部１０４に表示させ、ユーザに検知線ＬＮ_Ｄの設定態様の好みを設定させる。図中の閾値を示すバーは、例えば、検知線ＬＮ_ＤによるトラックレットＴＬの検知精度の程度を調整するためのものである。ユーザは、このバーを０［％］側か１００［％］側かに移動させることで、所望の検知精度に設定する。０［％］側は、例えば、検知線ＬＮ_ＤによってトラックレットＴＬが「過検知」となることを禁止することを表し、１００［％］側は、例えば、検知線ＬＮ_ＤによってトラックレットＴＬが「未検知」となることを禁止することを表している。

また、検知領域設定部１１８は、各カメラ１０の監視区域ごとに検知線ＬＮ_Ｄを設定する場合、ある監視区域に対して設定した検知線ＬＮ_Ｄの設定態様を、他の監視区域に対して設定する検知線ＬＮ_Ｄの設定態様としてもよい。

図２７は、ある監視区域の検知線ＬＮ_Ｄの設定態様を、他の監視区域の検知線ＬＮ_Ｄの設定態様に反映させる方法を説明するための図である。例えば、ある施設Ｘを１００台のカメラ１０が設置されている場合、その施設Ｘを管理するユーザが、１００台のカメラ１０の其々の監視区域について、予め決められた更新タイミングで検知線ＬＮ_Ｄを設定することがある。この場合、検知領域設定部１１８は、ある監視区域Ａについて設定した検知線ＬＮ_Ｄの設定態様で、監視区域ＢやＣといった他の監視区域に検知線ＬＮ_Ｄを設定してよい。これによって、ユーザが全ての監視区域について検知線ＬＮ_Ｄを設定するときよりも手間を省くことができ、ユーザの利便性を向上させることができる。

以上説明した第５実施形態によれば、予め、ある程度のトラックＴＬを通過するように設定した検知線ＬＮ_Ｄの候補をユーザに提示するため、ユーザは提示された候補の中から検知線ＬＮ_Ｄを選択するだけでよくなり、ユーザによる検知線ＬＮ_Ｄの設定の手間を省くことができる。この結果、ユーザの利便性を向上させることができる。

また、上述した第５実施形態によれば、ユーザの操作に応じて過去に設定した検知線ＬＮ_Ｄの設定態様の評価に基づいて、一以上の検知線ＬＮ_Ｄの候補を新たに設定するため、ユーザが自ら設定したときの態様に近い検知線ＬＮ_Ｄを、複数の検知線ＬＮ_Ｄの候補の中から選択することができる。この結果、更に、ユーザによる検知線ＬＮ_Ｄの設定の手間を省くことができ、ユーザの利便性を向上させることができる。

また、上述した第５実施形態によれば、ユーザの検知線ＬＮ_Ｄの設定態様の好みを学習するため、ユーザの好みに応じて、検知線ＬＮ_Ｄを自動的に設定することができる。

また、上述した第５実施形態によれば、学習したユーザの検知線ＬＮ_Ｄの設定態様の好みに基づいて、カメラ１０ごとの各監視区域に一律に検知線ＬＮ_Ｄを設定するため、ユーザが全ての監視区域について検知線ＬＮ_Ｄを設定するときよりも更に手間を省くことができ、ユーザの利便性を向上させることができる。

（第６実施形態）
以下、第６実施形態について説明する。第６実施形態では、動画の中で物体を追跡する際に、その追跡する物体が対象物体であることの確からしさの程度を示す確信度を求め、その確信度が閾値以上の物体の移動軌跡であるトラックレットＴＬのみを含む追跡情報を、記憶部１３０や外部記憶装置に記憶させる点で第１から第５実施形態と相違する。以下、第１から第５実施形態との相違点を中心に説明し、第１から第５実施形態と共通する部分についての説明は省略する。

第６実施形態の物体追跡部１１２は、追跡対象の物体ごとに確信度を導出する。例えば、物体追跡部１１２は、検出窓Ｗ_Ｄと重なる画像領域とテンプレート画像との類似度を確信度として導出してもよいし、複数のフレームの其々で検出した物体の類似度を確信度として導出してもよいし、検出窓Ｗ_Ｄと重なる画像領域と背景画像との類似度を確信度として導出してもよいし、複数のフレーム間の色相、輝度値、輝度勾配などの差分を確信度として導出してもよい。また、物体追跡部１１２は、これらのパラメータを組み合わせた時の加重和などの値を確信度として導出してもよい。

第６実施形態の記憶制御部１１４は、物体追跡部１１２により確信度が導出された物体のうち、その確信度が閾値以上の物体を対象物体（例えば人物）とし、この確信度が閾値以上の物体の移動軌跡であるトラックレットＴＬのみを含む追跡情報を、記憶部１３０や外部記憶装置に記憶させる。これによって、第６実施形態の検知領域設定部１１８は、対象物体であることの確信度が高い物体のトラックレットＴＬのみを用いて検出窓Ｗ_Ｄを設定する。

以上説明した第６実施形態によれば、人物であるだろうという確信度の高い物体のトラックレットＴＬのみを追跡情報に含めるため、誤って追跡した対象物体以外の物体のトラックレットＴＬを参照して検出窓Ｗ_Ｄを設定してしまうことを抑制することができる。

なお、上述したいずれの実施形態において、出力制御部１１６は、評価解析部１２０の評価結果に基づいて、追跡情報の表示態様を変更するものとして説明したがこれに限られない。例えば、出力制御部１１６は、スピーカ（不図示）に、評価解析部１２０の評価結果を音声として出力させることで、ユーザに検知線ＬＮ_Ｄの設定のフィードバックを行ってよい。例えば、出力制御部１１６は、「検知精度が○○％のトラックレットＴＬに対して、ユーザが設定した検知線ＬＮ_Ｄが交差しています」といった内容や、「ユーザが設定した検知線ＬＮ_Ｄによって、過検知な状態が検出されました」といった内容の音声案内を行ってよい。

（ハードウェア構成）
上述した実施形態の画像処理装置１００は、例えば、図２８に示すようなハードウェア構成により実現される。図２８は、実施形態の画像処理装置１００のハードウェア構成の一例を示す図である。

画像処理装置１００は、ＮＩＣ１００−１、ＣＰＵ１００−２、ＲＡＭ１００−３、ＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの二次記憶装置１００−５、およびドライブ装置１００−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００−６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００−５、またはドライブ装置１００−６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００−３に展開され、ＣＰＵ１００−２によって実行されることで、制御部１１０が実現される。制御部１１０が参照するプログラムは、通信ネットワークＮＷを介して他の装置からダウンロードされてもよい。

以上説明した少なくとも一つの実施形態によれば、動画の中で対象物体を追跡し、その追跡した物体の移動軌跡であるトラックレットＴＬを含む追跡情報を記憶部１３０や外部記憶装置に記憶させ、追跡情報に含まれるトラックレットＴＬに基づいて、物体が通過したことを検知する検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄを動画内のある一フレームに設定し、この設定した検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄと、トラックレットＴＬとに基づいて、検知線ＬＮ_Ｄまたは検知領域Ｒ_Ｄの設定態様を評価し、その評価結果に基づく出力態様で追跡情報を出力するため、進入または退出する人物の検知精度を向上させることができる。

上記実施形態は、以下のように表現することができる。
情報を出力する出力装置と、
情報を記憶するストレージと、
前記ストレージに格納されたプログラムを実行するプロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
一以上の時系列の画像の中で、対象の物体を追跡し、
前記追跡した一以上の前記物体の移動軌跡を含む追跡情報を前記ストレージまたは外部ストレージに記憶させ、
前記物体の移動軌跡に基づいて前記物体が通過したことを検知する検知領域を、ユーザの操作に応じて前記画像上に設定し、
前記ストレージまたは前記外部ストレージに記憶された前記追跡情報と、前記設定した前記検知領域とに基づいて、前記検知領域の設定態様を評価し、
前記ストレージまたは前記外部ストレージに記憶された前記追跡情報を、前記検知領域の設定態様の評価結果に基づく出力態様で前記出力部に出力させるように構成された画像処理装置。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像処理システム、１０…カメラ、１００…画像処理装置、１０２…通信部、１０４…表示部、１０６…操作部、１１０…制御部、１１２…物体追跡部、１１４…記憶制御部、１１６…出力制御部、１１８…検知領域設定部、１２０…評価解析部、１３０…記憶部

Claims (23)

1. 情報を出力する出力部と、
   一以上の時系列の画像の中で、対象の物体を追跡する追跡部と、
   前記追跡部により追跡された一以上の前記物体の移動軌跡を含む追跡情報を所定の記憶部に記憶させる記憶制御部と、
   前記物体の移動軌跡に基づいて前記物体が通過したことを検知する検知領域を、ユーザの操作に応じて前記画像上に設定する設定部と、
   前記所定の記憶部に記憶された前記追跡情報と、前記設定部により設定された前記検知領域とに基づいて、前記検知領域の設定態様を評価する評価部と、
   前記所定の記憶部に記憶された前記追跡情報を、前記評価部の評価結果に基づく出力態様で前記出力部に出力させる出力制御部と、を備え、
   前記評価部は、前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択された一以上の移動軌跡と、前記設定部により設定された前記検知領域とに基づいて、前記ユーザにより選択された移動軌跡ごとに、前記検知領域の設定態様を評価する、
   を備える画像処理装置。
2. 前記評価部は、前記ユーザにより選択された一以上の移動軌跡のうち、前記検知領域と交差する移動軌跡について前記検知領域の設定態様を高く評価し、前記検知領域に交差しない移動軌跡について前記検知領域の設定態様を低く評価する、
   請求項１に記載の画像処理装置。
3. 前記出力部は、画像を表示する表示部を含み、
   前記出力制御部は、前記評価部により前記検知領域の設定態様が高く評価された前記移動軌跡ほど強調して前記表示部に表示させる、
   請求項２に記載の画像処理装置。
4. 前記評価部は、前記ユーザにより選択されなかった一以上の移動軌跡のうち、前記検知領域と交差する移動軌跡について前記検知領域の設定態様を低く評価し、前記検知領域に交差しない移動軌跡について前記検知領域の設定態様を高く評価する、
   請求項１に記載の画像処理装置。
5. 前記出力部は、画像を表示する表示部を含み、
   前記出力制御部は、前記評価部により前記検知領域の設定態様が低く評価された前記移動軌跡ほど強調して前記表示部に表示させる、
   請求項４に記載の画像処理装置。
6. 前記出力部は、画像を表示する表示部を含み、
   前記出力制御部は、更に、前記評価結果に基づいて、前記設定部により前記画像上に設定された前記検知領域を視覚的に変化するように前記表示部に表示させる、
   請求項１に記載の画像処理装置。
7. 前記評価部は、前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択された一以上の移動軌跡と、前記検知領域とが交差する場合、前記一以上の移動軌跡における交差位置に応じて、前記検知領域の設定態様を評価する、
   請求項６に記載の画像処理装置。
8. 前記評価部は、前記交差位置が前記移動軌跡の中心に近づくほど、前記検知領域の設定態様を高く評価し、前記交差位置が前記移動軌跡の中心から遠ざかるほど、前記検知領域の設定態様を低く評価する、
   請求項７に記載の画像処理装置。
9. 前記評価部は、前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択された一以上の移動軌跡と、前記検知領域とが互いに交差する場合、前記一以上の検知領域における交差位置に応じて、前記検知領域の設定態様を評価する、
   請求項６に記載の画像処理装置。
10. 前記評価部は、前記交差位置が前記検知領域の中心に近づくほど、前記検知領域の設定態様を高く評価し、前記交差位置が前記検知領域の中心から遠ざかるほど、前記検知領域の設定態様を低く評価する、
    請求項９に記載の画像処理装置。
11. 前記評価部は、前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択された一以上の移動軌跡と、前記検知領域とのなす角度に応じて、前記検知領域の設定態様を評価する、
    請求項６に記載の画像処理装置。
12. 前記評価部は、前記なす角度が９０度に近づくほど、前記検知領域の設定態様を高く評価し、前記なす角度が０度または１８０度に近づくほど、前記検知領域の設定態様を低く評価する、
    請求項１１に記載の画像処理装置。
13. 前記評価部は、前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択されなかった一以上の移動軌跡と、前記検知領域との距離に応じて、前記検知領域の設定態様を評価する、
    請求項６に記載の画像処理装置。
14. 前記評価部は、前記距離が短いほど、前記検知領域の設定態様を低く評価する、
    請求項１３に記載の画像処理装置。
15. 前記評価部は、前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択されなかった一以上の移動軌跡と、前記検知領域とのなす角度に応じて、前記検知領域の設定態様を評価する、
    請求項６に記載の画像処理装置。
16. 前記評価部は、前記なす角度が９０度に近づくほど、前記検知領域の設定態様を低く評価する、
    請求項１５に記載の画像処理装置。
17. 前記検知領域は、検知線である、
    請求項２から５並びに７から１６のうちいずれか１項に記載の画像処理装置。
18. 前記設定部は、更に、
    一以上の前記検知領域の候補を前記画像上に設定し、
    前記画像上に設定した一以上の前記検知領域の候補の中から前記ユーザにより選択された候補を、前記検知領域として決定する、
    請求項１から１７のうちいずれか１項に記載の画像処理装置。
19. 前記追跡部は、前記一以上の時系列の画像の中で追跡する物体が前記対象の物体であることの確からしさの程度を示す確信度を導出し、
    前記記憶制御部は、前記追跡部により追跡された一以上の前記物体のうち、前記追跡部により導出された前記確信度が閾値以上である物体の移動軌跡を含む前記追跡情報を、前記所定の記憶部に記憶させる、
    請求項１から１８のうちいずれか１項に記載の画像処理装置。
20. 前記物体の移動軌跡は、前記物体の移動方向を含み、
    前記出力制御部は、前記物体の移動方向に応じた出力態様で、前記所定の記憶部に記憶された前記追跡情報を、前記出力部に出力させる、
    請求項１から１９のうちいずれか１項に記載の画像処理装置。
21. 請求項１から２０のうちいずれか１項に記載の画像処理装置と、
    前記一以上の時系列の画像を生成する一以上のカメラと、
    を備える画像処理システム。
22. コンピュータが、
    一以上の時系列の画像の中で、対象の物体を追跡し、
    前記追跡した一以上の前記物体の移動軌跡を含む追跡情報を所定の記憶部に記憶させ、
    前記物体の移動軌跡に基づいて前記物体が通過したことを検知する検知領域を、ユーザの操作に応じて前記画像上に設定し、
    前記所定の記憶部に記憶された前記追跡情報と、前記設定した前記検知領域とに基づいて、前記検知領域の設定態様を評価し、
    前記所定の記憶部に記憶された前記追跡情報を、前記検知領域の設定態様の評価結果に基づく出力態様で、情報を出力する出力部に出力させ、
    前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択された一以上の移動軌跡と、前記設定した検知領域とに基づいて、前記ユーザにより選択された移動軌跡ごとに、前記検知領域の設定態様を評価する、
    画像処理方法。
23. コンピュータに、
    一以上の時系列の画像の中で、対象の物体を追跡する処理と、
    前記追跡した一以上の前記物体の移動軌跡を含む追跡情報を所定の記憶部に記憶させる処理と、
    前記物体の移動軌跡に基づいて前記物体が通過したことを検知する検知領域を、ユーザの操作に応じて前記画像上に設定する処理と、
    前記所定の記憶部に記憶された前記追跡情報と、前記設定した前記検知領域とに基づいて、前記検知領域の設定態様を評価する処理と、
    前記所定の記憶部に記憶された前記追跡情報を、前記検知領域の設定態様の評価結果に基づく出力態様で、情報を出力する出力部に出力させる処理と、
    前記所定の記憶部に記憶された前記追跡情報に含まれる一以上の前記物体の移動軌跡の中から前記ユーザにより選択された一以上の移動軌跡と、前記設定した検知領域とに基づいて、前記ユーザにより選択された移動軌跡ごとに、前記検知領域の設定態様を評価する処理と、
    を実行させるためのプログラム。

Images