JP6004148B1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理装置を提供する。画像処理装置（１００Ａ）は、複数の画像（３０）と、複数の画像（３０）のそれぞれの撮影時刻とを格納する記憶装置（１０）と、複数の画像（３０）の一部を入力画像として表示部に表示しつつ、入力画像内で追跡の対象となる基準領域の設定を受け付ける第１受付部（２１０）と、複数の画像（３０）のうち撮影時刻が入力画像と時系列にある画像を探索画像として、探索画像の時系列の順に基準領域と類似する領域を探索する探索部（２２０）と、順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示部に表示する表示制御部（２３０）と、時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付ける第２受付部（２４０）とを備える。

Description

本開示は、登録した追跡対象を時系列の画像上で追跡するための画像処理装置、画像処理方法、および画像処理プログラムに関する。

監視カメラは、ビル、駅、空港、商店街などあらゆる場所に設置されている。監視カメラの映像は、たとえば、迷子の捜索時や、徘徊する老人の捜索時などに利用されている。近年では、これらの捜索を支援するために、監視カメラの映像に写っている特定の人物を自動で追跡するための技術が開発されている。たとえば、特開２００４−１５１８２０号公報（特許文献１）は、迷子の捜索を容易にするための監視システムを開示している。

特開２００４−１５１８２０号公報

特開２００４−１５１８２０号公報に開示される監視システムは、追跡対象の特徴（たとえば、色や形など）を他の画像において探索する所謂テンプレートマッチングにより迷子を追跡する。当該監視システムは、たとえば、追跡対象が物陰に隠れてしまった場合や追跡対象が上着を脱いだ場合などには、追跡対象を画像内で探索できず、追跡処理を継続することができない。

本開示は上述のような問題点を解決するためになされたものであって、その目的は、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理装置を提供することである。他の局面における目的は、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理方法を提供することである。さらに他の局面における目的は、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することが可能な画像処理プログラムを提供することである。

一実施の形態に従うと、画像処理装置は、表示部と、複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するための記憶部と、複数の画像の一部の画像を入力画像として表示部に表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるための第１受付部と、複数の画像のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域を探索するための探索部と、探索部によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示部に表示するための表示制御部と、表示制御部によって時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるための第２受付部とを備える。

好ましくは、表示制御部によって時系列に表示される画像は、撮影時刻の順に並べて表示される静止画像と、撮影時刻の順に順次表示される動画像との少なくとも一方を含む。

好ましくは、表示制御部は、動画像を表示部に繰り返して表示する。
好ましくは、表示制御部は、各画像の撮影時刻の間隔よりも長い間隔で動画像を表示部に表示する。

好ましくは、探索部による探索処理は、探索画像の撮影時刻を遡る順番に実行される。
好ましくは、表示制御部は、探索部によって順次出力される探索結果の確からしさが予め定められた条件を満たしている間は、当該探索結果を表示部に順次表示する。探索結果は、探索画像内における基準領域と類似する領域と、当該探索画像の撮影時刻との少なくとも一方を含む。

好ましくは、表示制御部は、探索部によって順次出力される探索結果の確からしさの度合いに応じて、基準領域と類似する領域の表示方法を変える。

好ましくは、画像処理装置は、時刻の入力を受け付けるための時刻受付部と、複数の画像の中から時刻と撮影時刻が最も近い画像を入力画像として検索するための検索部とをさらに備える。

好ましくは、画像処理装置は、新たな基準領域の設定を実施可能な状態になってから一定時間の間に新たな基準領域の設定が実施された場合は、当該新たな基準領域を基準とした探索部による探索処理を続行する。画像処理装置は、新たな基準領域の設定を実施可能な状態になってから一定時間の間に、新たな基準領域の設定が実施されなかった場合は、探索部による探索処理を終了する。

好ましくは、記憶部は、複数のカメラで撮影された複数の画像をそれぞれ記憶する。画像処理装置は、複数のカメラの内の１つのカメラで撮影された画像において、新たな基準領域の設定を実施可能な状態になってから一定時間の間に、新たな基準領域の設定が実施されなかった場合は、１つのカメラと隣接するカメラで撮影された画像において探索部による探索処理を継続する。

他の実施の形態に従うと、画像処理方法は、複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、複数の画像のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域を探索するステップと、探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを備える。

さらに他の実施の形態に従うと、コンピュータに実行される画像処理プログラムは、コンピュータに、複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、複数の画像のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域を探索するステップと、探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを実行させる。

ある局面において、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することができる。

本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

第１の実施の形態に従う画像処理装置によって実行される処理を時系列に表した概念図である。 第１の実施の形態に従う画像処理装置の機能構成を示すブロック図である。 追跡対象の探索成功中にディスプレイに表示される画面の一例を表わす図である。 追跡対象の探索成功中にディスプレイに表示される画面の変形例を表わす図である。 追跡対象の探索失敗時にディスプレイに表示される画面の一例を表わす図である。 追跡対象の探索失敗時にディスプレイに表示される画面の変形例を表わす図である。 基準領域の再設定画面の一例を表わす図である。 基準領域の再設定画面の変形例を表わす図である。 基準領域の再設定画面の変形例を表わす図である。 追跡結果の表示画面の一例を表わす図である。 第１の実施の形態に従う画像処理装置が実行する処理を表わすフローチャートである。 第１の実施の形態に従う画像処理装置の主要なハードウェア構成を表わすブロック図である。 画像情報の内容を示した図である。 第２の実施の形態に従う画像処理装置の機能構成を表わすブロック図である。 第２の実施の形態に従う画像処理装置が実行する処理を表わすフローチャートである。 第３の実施の形態に従う画像処理装置が実行する処理を表わすフローチャートである。 カメラ情報の内容を表わす図である。

以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。

［概要］
以下の各実施の形態に従う画像処理装置１００Ａは、たとえば、迷子を捜索するためや徘徊する老人の捜索するためなどに用いられる。たとえば、画像処理装置１００Ａが迷子の捜索に用いられる場合には、画像処理装置１００Ａのオペレータは、監視カメラの映像を確認して、迷子が写っている画像を探す。オペレータは、その画像内で迷子が写っている領域を基準領域として設定し、追跡処理の開始指示を入力する。画像処理装置１００Ａは、当該指示を受け付けると、監視カメラの映像から時系列の順に基準領域を探索して迷子を追跡する。これにより、画像処理装置１００Ａは、迷子を容易に見つけることができる。好ましくは、画像処理装置１００Ａは、複数台の監視カメラの映像から迷子を探索する。これにより、画像処理装置１００Ａは、追跡対象をより広範囲に探索することができる。

このとき、追跡対象が物陰に隠れてしまった場合や追跡対象が上着を脱いだ場合、または同色の服を着た人物がすれ違う場合などには、画像処理装置１００Ａは、追跡処理を継続することができないことがある。以下で説明する画像処理装置１００Ａは、追跡処理が失敗した場合に、追跡処理の失敗時における画像と撮影時刻が連続する一連の画像を表示し、その一連の画像に対して新たに追跡対象の設定を受け付けるためのユーザインターフェイスを提供する。これにより、画像処理装置１００Ａは、追跡処理が途中で失敗した場合であっても、追跡対象の探索を継続することができる。

＜第１の実施の形態＞
［画像処理装置１００Ａの処理］
図１を参照して、画像処理装置１００Ａの処理について説明する。図１は、画像処理装置１００Ａによって実行される処理を時系列に表した概念図である。図１には、後述するカメラ１１の前を人物３５が通過しているときに得られた時系列の画像（入力画像３０Ａおよび探索画像３０Ｂ〜３０Ｇ）が示されている。

画像処理装置１００Ａは、最初に、追跡の対象となる基準領域の設定を受け付ける。図１には、入力画像３０Ａに基準領域３４Ａを設定する例が示されている（図１のステップ（１）参照）。入力画像３０Ａは、カメラ１１の画像からオペレータによって手動で選択されてもよいし、「第２の実施の形態」で説明するように入力された時刻に基づいて選択されてもよい。基準領域３４Ａは、追跡対象の一例である人物３５を囲むように入力画像３０Ａ上で設定される。一例として、画像処理装置１００Ａは、マウス（図示しない）などでポインタ３６を操作することにより入力画像３０Ａ上で矩形状の基準領域を設定できるように構成される。

画像処理装置１００Ａは、入力画像３０Ａ上で基準領域３４Ａの設定を受け付けると、入力画像３０Ａと時系列にある探索画像３０Ｂ〜３０Ｇを時系列の順に、入力画像３０Ａに設定された基準領域３４Ａと類似する領域を探索画像３０Ｂ〜３０Ｇ内において探索する（図１のステップ（２）参照）。このように、画像処理装置１００Ａが基準領域の探索処理を時系列の順に繰り返すことにより、人物３５の追跡処理が実現される。

画像処理装置１００Ａが探索画像３０Ｂ〜３０Ｆに対して時系列に探索処理を実行している過程で、人物３５が探索画像３０Ｆにおいて柱３８に隠れたことに起因して、探索処理が失敗したとする。このとき、画像処理装置１００Ａは、探索画像３０Ｆの撮影時刻を含む期間に撮影された画像を時系列に表示する。すなわち、画像処理装置１００Ａは、探索処理に失敗した探索画像３０Ｆと撮影時刻が連続する一連の画像を表示する。図１には、探索処理の失敗時に表示する画像の例として、探索処理に失敗した探索画像３０Ｆ、および当該探索画像３０Ｆと撮影時刻が前後である探索画像３０Ｅ，３０Ｇが示されている。

画像処理装置１００Ａは、探索処理の失敗時に時系列に表示される探索画像３０Ｅ〜３０Ｇ内において、追跡の対象となる新たな基準領域の設定を受け付ける。図１には、探索画像３０Ｇに新たな基準領域３４Ｇを設定している例が示されている（図１のステップ（３）参照）。このように、画像処理装置１００Ａが追跡対象を見失った場合に基準領域の新たな設定を受け付けるように構成されることにより、追跡対象が物陰に隠れてしまった場合、追跡対象が上着を脱いだ場合、および同色の服を着た人物がすれ違う場合などにおいても、画像処理装置１００Ａは、追跡対象の追跡処理を継続することができる。その結果、画像処理装置１００Ａは、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することができ、結果として、追跡処理の精度を上げることができる。

なお、上記では追跡対象として人物３５を例に挙げて説明を行なったが、追跡対象は、人物に限定されない。たとえば、追跡対象は、犬などの動物や車などの物体などの動体であってもよい。

また、上記では、探索処理が失敗した探索画像３０Ｆと撮影時刻が前後である探索画像３０Ｅ，３０Ｇを表示する例について説明を行なったが、画像処理装置１００Ａは、探索処理が失敗した探索画像よりも撮影時刻が新しい探索画像のみを表示してもよい。あるいは、画像処理装置１００Ａは、探索処理が失敗した探索画像よりも撮影時刻が古い探索画像のみを表示してもよい。

［画像処理装置１００Ａの機能構成］
図２を参照して、第１の実施の形態に従う画像処理装置１００Ａの機能について説明する。図２は、画像処理装置１００Ａの機能構成を示すブロック図である。図２に示されるように、画像処理装置１００Ａは、ＣＰＵ（Central Processing Unit）２と、記憶装置１０とを含む。ＣＰＵ２は、その機能構成として、第１受付部２１０と、探索部２２０と、表示制御部２３０と、第２受付部２４０とを含む。記憶装置１０は、複数の画像３０と、複数の画像３０のそれぞれの撮影時刻とを格納している。

第１受付部２１０は、複数の画像３０の一部（たとえば、１枚）を入力画像として後述するディスプレイ１２（表示部）に表示しつつ、当該入力画像において追跡の対象となる基準領域の設定を受け付ける。第１受付部２１０は、受け付けた基準領域を探索部２２０に出力する。たとえば、基準領域は、入力画像上の座標として示される。

探索部２２０は、複数の画像３０のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において基準領域と類似する領域（以下、「類似領域」ともいう。）を探索する。より具体的には、探索部２２０は、撮影時刻が入力画像と連続している探索画像の順に、当該探索画像内において基準領域との画像情報の類似度が相対的に高くなる類似領域を探索する。典型的には、探索部２２０は、基準領域との類似度が最大となる探索画像内の領域を類似領域として決定する。たとえば、基準領域の探索処理は、テンプレートマッチング、オプティカルフローなどの画像処理技術によって実現される。

一例として、類似度は、ＳＡＤ（Sum of Absolute Difference）値、ＳＳＤ（Sum of Squared Difference）値、ＮＣＣ（Normalized Cross-Correlation）値、またはＺＮＣＣ（Zero-mean Normalized Cross-Correlation）値などによって示される。なお、探索部２２０は、基準領域と類似領域とが類似するほど類似度が低くなるＳＡＤ値およびＳＳＤ値のような指標を用いる場合には、探索画像内において類似度が最小となる領域を類似領域として決定する。

ある局面において、探索部２２０による探索処理は、探索画像の撮影時刻の順に実行される。これにより、オペレータは、基準領域を設定した入力画像よりも撮影時刻が新しい探索画像に対して追跡処理を実行できる。

他の局面において、探索部２２０による探索処理は、探索画像の撮影時刻を遡る順番に実行される。これにより、オペレータは、基準領域を設定した入力画像よりも撮影時刻が古い探索画像に対して追跡処理を実行できる。

一例として、撮影時刻を遡る追跡機能は、親が迷子である子供と一緒にいた時点まで映像を戻す場合に利用される。オペレータは、最初に、親のみが写っている画像を入力画像として、親のみが写っている領域を基準領域として設定する。画像処理装置１００Ａは、親および子供の両方が写っている時点まで撮影時刻を遡る順に追跡処理を行なう。次に、オペレータは、子供が写っている領域を基準領域として再設定する。画像処理装置１００Ａは、子供を追跡対象とした追跡処理を開始する。これにより、オペレータは、効率的に迷子である子供を捜索することが可能になる。

他の局面では、撮影時刻を遡る追跡機能は、落し物やスリの対策に利用される。オペレータは、落し物をした人物やスリにあった人物を追跡対象とし、撮影時刻を遡る追跡処理を開始することで、落し物をした時点やスリにあった時点まで遡ることができる。

表示制御部２３０は、探索部２２０によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像（以下、「一連の画像」ともいう。）を時系列にディスプレイ１２に表示する。一例として、探索結果の確からしさは、入力画像の基準領域と探索画像の類似領域との間の画像情報の類似度で示される。表示制御部２３０は、順次出力される類似度が所定値よりも高い間は、上記予め定められた条件を満たすものとする。一方で、表示制御部２３０は、順次出力される類似度が所定値よりも１回または複数回小さくなったときに上記予め定められた条件を満たさないものとする。あるいは、表示制御部２３０は、順次出力される類似度が所定値よりも低い時間が一定時間を超えると、上記予め定められた条件を満たさないものとする。

なお、以下では、探索結果の確からしさが予め定められた条件を満たすことを「探索成功」ともいい、探索結果の確からしさが予め定められた条件を満たさないことを「探索失敗」ともいう。

第２受付部２４０は、表示制御部２３０によって表示される一連の画像内において、追跡の対象となる新たな基準領域の設定を受け付ける。第２受付部２４０は、受け付けた新たな基準領域を探索部２２０に出力する。探索部２２０は、新たな基準領域の設定を受け付けると、当該新たな基準領域を基準とした探索処理を続行する。

［探索成功中の画面］
（探索成功中の画面例１）
図３を参照して、追跡対象の探索が成功している間における表示制御部２３０（図２参照）の表示制御について説明する。図３は、追跡対象の探索成功中にディスプレイ１２に表示される画面の一例を表わす図である。図３には、人物３５を追跡している様子が示されている。

表示制御部２３０は、上述の探索部２２０（図２参照）によって順次出力される探索結果の確からしさが予め定められた条件を満たしている間は、ディスプレイ１２に探索結果を順次表示する。当該探索結果は、オペレータによって設定された基準領域と類似する探索画像内における領域（すなわち、類似領域）と、当該探索画像の撮影時刻との少なくとも一方を含む。表示制御部２３０は、たとえば探索画像と撮影時刻との両方を表示する。あるいは、探索が成功している間はオペレータは探索画像を詳細にチェックする必要がないので、表示制御部２３０は、探索が成功している間は撮影時刻のみを表示してもよい。一例として、図３に示されるように、表示制御部２３０は、人物３５の探索結果として、類似領域３７Ｈ〜３７Ｊと、探索画像３０Ｈ〜３０Ｊの撮影時刻３８Ｈ〜３８Ｊとを表示する。

より具体的には、探索画像３０Ｈの探索処理が終了したときに、表示制御部２３０は、探索画像３０Ｈ内における基準領域との類似領域３７Ｈと、探索画像３０Ｈの撮影時刻３８Ｈとを表示する。次に、探索画像３０Ｉの探索処理が終了したときに、表示制御部２３０は、探索画像３０Ｉ内における基準領域との類似領域３７Ｉと、探索画像３０Ｉの撮影時刻３８Ｉとを表示する。次に、探索画像３０Ｊの探索処理が終了したときに、表示制御部２３０は、探索画像３０Ｊ内における基準領域との類似領域３７Ｊと、探索画像３０Ｊの撮影時刻３８Ｊとを表示する。

このように、表示制御部２３０は、基準領域との類似領域３７Ｈ〜３７Ｊと、探索画像の撮影時刻３８Ｈ〜３８Ｊとを順次表示することで、オペレータは、人物３５の追跡結果を一見して確認できるようになる。

好ましくは、探索処理が終了した探索画像３０Ｈ〜３０Ｊは、早送りで動画像として表示される。すなわち、探索処理が終了した探索画像３０Ｈ〜３０Ｊは、追跡成功中は、探索画像３０Ｈ〜３０Ｊの撮影時刻の間隔よりも短い間隔で順次表示される。これにより、画像処理装置１００Ａのオペレータは、追跡成功中における追跡対象の確認作業を高速に行なうことができる。

また、表示制御部２３０は、基準領域との類似度に応じて類似領域３７Ｈ〜３７Ｊの表示色を変えてもよい。たとえば、表示制御部２３０は、類似度が低い場合には類似領域３７Ｈ〜３７Ｊの縁を赤色で表示し、類似度が高い場合には類似領域３７Ｈ〜３７Ｊの縁を緑色で表示する。このように表示色が変えられることで、オペレータは、類似度の高低を一見して確認できる。また、表示制御部２３０は、表示色を変える以外に、画質を変えるなど他の方法で類似度の高低を表わしてもよい。

（探索成功中の画面例２）
図４を参照して、追跡対象の探索成功中にディスプレイ１２に表示される画面の変形例について説明する。図４は、追跡対象の探索成功中にディスプレイ１２に表示される画面の変形例を表わす図である。

本変形例では、表示制御部２３０は、追跡対象の探索が成功している間は、動画ではなく、特定の静止画像を表示する。図４には、探索成功中に表示される画像として、「追跡中」と表記されている静止画像３０Ｋがディスプレイ１２に表示されている例が示されている。これにより、画像処理装置１００Ａのオペレータは、追跡成功中における追跡対象の確認作業を省くことができる。

［探索失敗時の画面］
（探索失敗時の画面例１）
図５を参照して、追跡対象の探索が失敗したときにおける表示制御部２３０（図２参照）の表示制御について説明する。図５は、追跡対象の探索失敗時にディスプレイ１２に表示される画面の一例を表わす図である。

上述したように、表示制御部２３０は、探索部２２０（図２参照）によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列にディスプレイ１２に表示する。すなわち、表示制御部２３０は、探索処理が失敗したときに、探索処理に失敗した探索画像と撮影時刻が連続する一連の画像を時系列に表示する。

たとえば、探索部２２０は、探索画像３０Ｍにおいて探索処理を失敗したとする。このとき、図５に示されるように、表示制御部２３０は、探索処理に失敗した探索画像３０Ｍと撮影時刻が連続する一連の探索画像３０Ｌ〜３０Ｎを時系列に表示する。

ある局面において、探索処理の失敗時に表示される画像は、撮影時刻の順に順次表示される動画像として表示される。図５には、動画像として順に表示される探索画像３０Ｌ〜３０Ｎが示されている。このように、探索処理の失敗時に表示される画像が動画像として表示されることで、オペレータは、探索処理が失敗した原因を目視で確認できるようになる。

好ましくは、表示制御部２３０は、動画像として表示される探索画像３０Ｌ〜３０Ｎを繰り返して表示する。これにより、オペレータは、探索処理が失敗した原因を何度も目視で確認できるようになる。

また、表示制御部２３０は、探索画像３０Ｌ〜３０Ｎの各々の撮影時刻の間隔よりも長い間隔で探索画像３０Ｌ〜３０Ｎを動画像として表示する。すなわち、表示制御部２３０は、探索画像３０Ｌ〜３０Ｎをスロー再生する。これにより、オペレータは、探索処理が失敗した原因を正確に確認できるようになる。

他の局面において、時系列に表示される画像は、静止画像として撮影時刻の順に並べて表示される。図５には、静止画像として並べて表示される探索画像３１Ｌ〜３１Ｎが示されている。静止画像としての探索画像３１Ｌは、動画像としての探索画像３０Ｌに対応する。静止画像としての探索画像３１Ｍは、動画像としての探索画像３０Ｍに対応する。静止画像としての探索画像３１Ｎは、動画像としての探索画像３０Ｎに対応する。このように、探索画像３１Ｌ〜３１Ｎが静止画像として並べて表示されることで、後述する基準領域の再設定の操作性が向上する。

さらに他の局面において、表示制御部２３０は、探索画像３０Ｌ〜３０Ｎおよび探索画像３１Ｌ〜３１Ｎの少なくとも一方の表示時において画質を変える。たとえば、画質は、コントラスト強調、エッジ強調、彩度強調などの画像処理によって変えられる。このように画質が変えられることによって、オペレータが追跡対象を視認しやすくなり、基準領域の再設定の操作性が向上する。

（探索失敗時の画面例２）
図６を参照して、追跡対象の探索失敗時にディスプレイ１２に表示される画面の変形例について説明する。図６は、追跡対象の探索失敗時にディスプレイ１２に表示される画面の変形例を表わす図である。

本変形例においては、表示制御部２３０は、追跡対象の探索失敗時に動画として繰り返して探索画像３０Ｌ〜３０Ｎを表示する際に、探索結果である類似領域３２Ｌ〜３２Ｎを拡大した拡大画像３３Ｌ〜３３Ｎを、探索画像３０Ｌ〜３０Ｎの表示に合わせて時系列に表示する。より具体的には、表示制御部２３０は、探索画像３０Ｌを表示しているときには、探索画像３０Ｌ内に類似領域３２Ｌを表示するとともに、類似領域３２Ｌの拡大画像３３Ｌを表示する。表示制御部２３０は、探索画像３０Ｍを表示しているときには、探索画像３０Ｍ内に類似領域３２Ｍを表示するとともに、類似領域３２Ｍの拡大画像３３Ｍを表示する。表示制御部２３０は、探索画像３０Ｎを表示しているときには、探索画像３０Ｎ内に類似領域３２Ｎを表示するとともに、類似領域３２Ｎの拡大画像３３Ｎを表示する。拡大画像３３Ｌ〜３３Ｎが繰り返して表示されることにより、オペレータは、探索処理が失敗した原因をさらに詳細に確認できるようになる。

［基準領域の再設定画面］
（基準領域の再設定画面１）
図７を参照して、追跡対象の探索失敗時に基準領域を再設定する方法について説明する。図７は、基準領域の再設定画面の一例を表わす図である。

図７には、探索失敗時に表示される一連の探索画像３１Ｌ〜３１Ｎが表示領域３１に示されている。オペレータは、戻るボタン４１をポインタ３６で選択することにより、探索画像３１Ｌ〜３１Ｎよりも撮影時刻が古い探索画像を表示領域３１に表示させることができる。また、オペレータは、進むボタン４２をポインタ３６で選択することにより、探索画像３１Ｌ〜３１Ｎよりも撮影時刻が新しい探索画像を表示領域３１に表示させることができる。

オペレータは、表示領域３１に表示されている探索画像３１Ｌ〜３１Ｎから１枚の画像を選択する。画像処理装置１００Ａは、探索画像３１Ｌ〜３１Ｎから１枚の画像を選択する操作を受け付けると、選択された画像をディスプレイ１２に表示する。図７には、探索画像３１Ｎが選択され、探索画像３１Ｎを拡大した探索画像３０Ｎが表示されている例が示されている。

画像処理装置１００Ａは、表示されている探索画像３０Ｎに対して基準領域の再設定を受け付ける。基準領域の再設定の方法は任意である。たとえば、図７に示されるように、画像処理装置１００Ａは、探索画像３０Ｎ内に表示されている類似領域４５をポインタ３６で指定できるように構成され、指定した類似領域４５を移動できるように構成される。画像処理装置１００Ａは、類似領域４５の移動先である領域４６を新たな基準領域として受け付ける。他にも、画像処理装置１００Ａは、探索画像３０Ｎ上の任意の領域を新たな基準領域としてポインタで囲えるように構成されてもよい。

好ましくは、画像処理装置１００Ａは、新たな基準領域の設定を実施可能な状態になってから一定時間の間に新たな基準領域の実施が実施された場合は、当該新たな基準領域を基準とした探索処理を続行する。新たな基準領域の設定に基づいて探索処理が開始されことで、オペレータは、追跡処理を再開するための指示を入力する必要がなくなる。そのため、画像処理装置１００Ａの操作性が改善される。また、画像処理装置１００Ａは、新たな基準領域の設定を実施可能な状態になってから一定時間の間に、新たな基準領域の設定が実施されなかった場合（たとえば、オペレータが表示されている探索画像３０Ｎに対して基準領域として再設定する領域を見つけることができなかった場合など）は、探索処理を終了する。その結果、オペレータは、追跡処理の終了指示を入力する必要がなくなるため、画像処理装置１００Ａの操作性が改善される。

（基準領域の再設定画面２）
図８を参照して、基準領域の再設定画面の変形例について説明する。図８は、基準領域の再設定画面の変形例を表わす図である。

図８に示されるように、本変形例では、探索画像３０Ｑにおいて再設定された基準領域３８Ｑの拡大画像３９Ｑが表示される。これにより、オペレータは、新たな基準領域を正確に設定および確認できるようになる。その結果、画像処理装置１００Ａの追跡処理の精度が向上する。なお、拡大画像３９Ｑは、オペレータが基準領域３８Ｑを再設定する度に更新される。

（基準領域の再設定画面３）
図９を参照して、基準領域の再設定画面のさらに他の変形例について説明する。図９は、基準領域の再設定画面の変形例を表わす図である。

図９に示されるように、本変形例においては、探索画像が表示領域３３に表示される代わりに、過去に設定された基準領域３７Ｒ〜３７Ｕが表示領域３３に履歴として表示される。オペレータは、基準領域３７Ｒ〜３７Ｕのいずれかをポインタ３６で選択することで過去に用いられた基準領域を新たな基準領域として再度設定することができる。図９には、基準領域３７Ｕが選択されている例が示されている。基準領域３７Ｕが選択されると、画像処理装置１００Ａは、基準領域３７Ｕを含む探索画像３０Ｕをディスプレイ１２に表示し、選択された基準領域３７Ｕに対応する基準領域３２Ｕを探索画像３０Ｕ内に表示する。

このように、オペレータは、履歴としての基準領域３７Ｒ〜３７Ｕのいずれかを新たな基準領域として再度設定できる。これにより、オペレータは、基準領域の設定を誤った場合や探索結果が思わしくない場合などに、過去に設定した基準領域に設定を容易に戻すことが可能になる。

（基準領域の再設定画面４）
以下、基準領域の再設定画面のさらに他の変形例について説明する。たとえば、カメラがトイレなどの出入口に設置されている場合には、出入口を通過した追跡対象は、同じ場所から再度現れることがある。このような場合に対応するために、画像処理装置１００Ａは、追跡対象の探索処理が失敗した後に、探索画像に写っている人物を順次検出し、検出した人物を再設定画面に表示する。画像処理装置１００Ａは、表示された人物の中から特定の人物を選択できるように構成され、選択された人物を新たな基準領域として設定する。これにより、画像処理装置１００Ａは、出入口に再度現れた人物を続けて追跡できるようになる。

［追跡結果の表示画面］
図１０を参照して、追跡対象の追跡処理が正常に終了したときにおける表示制御部２３０（図２参照）の表示制御について説明する。図１０は、追跡結果の表示画面の一例を表わす図である。

画像処理装置１００Ａは、探索画像のそれぞれについて実行される探索処理が正常に終了したとき、すなわち、追跡処理が正常に終了したときに、追跡結果をディスプレイ１２に表示する。追跡結果は、探索画像ごとに出力される上述の探索結果を統合して最終的に画像処理装置１００Ａによって出力される結果である。たとえば、画像処理装置１００Ａは、探索結果の中で最新のものを追跡結果として出力する。あるいは、画像処理装置１００Ａは、オペレータによって指定された時刻に対応する探索結果を追跡結果として出力する。

図１０には、ディスプレイ１２に追跡結果４８が示されている例が示されている。追跡結果４８は、追跡対象が写っているカメラの情報と、追跡対象が存在していた場所とを示している。オペレータは、追跡結果４８を確認することにより、追跡対象が存在している場所などを容易に把握することができ、迷子や徘徊する老人を容易に見つけることができる。

なお、追跡結果は、店の係員などに伝えられてもよい。より具体的には、係員は、タブレット端末などの携帯端末を保持し、追跡結果は、画像処理装置１００Ａからタブレット端末に送信される。このとき、好ましくは、画像処理装置１００Ａは、追跡結果に示される場所に一番近い位置に存在するタブレット端末に追跡結果を送信する。これにより、係員は、追跡対象を現場でいち早く見つけることができる。

［制御構造］
図１１を参照して、第１の実施の形態に従う画像処理装置１００Ａの制御構造について説明する。図１１は、画像処理装置１００Ａが実行する処理を表わすフローチャートである。図１１の処理は、画像処理装置１００ＡのＣＰＵ２（図２参照）がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。

ステップＳ１１０において、ＣＰＵ２は、上述の記憶装置１０（図２参照）に格納されている複数の画像３０（図２参照）のうちからオペレータによって選択された画像を入力画像としてディスプレイ１２に表示する。ステップＳ１１２において、ＣＰＵ２は、上述の第１受付部２１０（図２参照）として、表示されている入力画像において追跡の対象となる基準領域の設定を受け付ける。

ステップＳ１１４において、ＣＰＵ２は、探索部２２０として、記憶装置１０に格納されている複数の画像３０のうち撮影時刻が入力画像と時系列にある画像を探索画像として、当該探索画像内において基準領域と類似する領域を探索する。より具体的には、ＣＰＵ２は、探索画像内において基準領域との画像情報の類似度が相対的に高くなる類似領域を探索する。

ステップＳ１２０において、ＣＰＵ２は、算出された類似度が予め定められた所定値以上であるか否かを判断する。ＣＰＵ２は、類似度が所定値以上であると判断した場合（ステップＳ１２０においてＹＥＳ）、制御をステップＳ１２２に切り替える。そうでない場合には（ステップＳ１２０においてＮＯ）、ＣＰＵ２は、制御をステップＳ１３０に切り替える。

ステップＳ１２２において、ＣＰＵ２は、上述の表示制御部２３０（図２参照）として、基準領域の探索結果をディスプレイ１２に表示する。探索結果は、探索画像内における基準領域と類似する領域（すなわち、類似領域）、探索画像の撮影時刻などを含む。ステップＳ１２２において、ＣＰＵ２は、複数の画像３０から、探索処理が終了した探索画像と撮影時刻が隣接する次の探索画像を取得し、当該探索画像を次の探索対象とする。ＣＰＵ２は、ステップＳ１１４，Ｓ１２０，Ｓ１２２，Ｓ１２４の探索処理を繰り返すことで、追跡対象の追跡処理を実現する。

ステップＳ１３０において、ＣＰＵ２は、表示制御部２３０として、基準領域との類似度が予め定められた所定値を下回った探索画像の撮影時刻を含む期間に撮影された画像を時系列にディスプレイ１２に表示する。すなわち、ＣＰＵ２は、基準領域の探索が失敗した探索画像と撮影時刻が連続する一連の画像を時系列にディスプレイ１２に表示する。

ステップＳ１４０において、ＣＰＵ２は、上述の第２受付部２４０（図２参照）として、ステップＳ１３０で表示される探索画像内において、追跡の対象となる新たな基準領域の設定を受け付けたか否かを判断する。たとえば、ＣＰＵ２は、新たな基準領域がオペレータによって設定された後に確定ボタン（図示しない）の押下を検出したことに基づいて、新たな基準領域の設定を受け付けたと判断する。ＣＰＵ２は、新たな基準領域の設定を受け付けたと判断した場合（ステップＳ１４０においてＹＥＳ）、制御をステップＳ１４２に切り替える。そうでない場合には（ステップＳ１４０においてＮＯ）、ＣＰＵ２は、本実施の形態に従う画像処理を終了する。ステップＳ１４２において、ＣＰＵ２は、新たに設定された基準領域を新たなテンプレートとして設定する。

［画像処理装置１００Ａのハードウェア構成］
図１２を参照して、第１の実施の形態に従う画像処理装置１００Ａのハードウェア構成の一例について説明する。図１２は、画像処理装置１００Ａの主要なハードウェア構成を表わすブロック図である。

図１２に示されるように、画像処理装置１００Ａは、ＲＯＭ（Read Only Memory）１と、ＣＰＵ２と、ＲＡＭ（Random Access Memory）３と、ネットワークＩ／Ｆ（インタフェース）４と、カメラＩ／Ｆ（インタフェース）５と、ディスプレイＩ／Ｆ（インタフェース）６と、記憶装置１０とを含む。

ＲＯＭ１は、オペレーティングシステム（ＯＳ：Operating System）、画像処理装置１００Ａで実行される制御プログラムなどを格納する。ＣＰＵ２は、オペレーティングシステムや画像処理装置１００Ａの制御プログラムなどの各種プログラムを実行することで、画像処理装置１００Ａの動作を制御する。ＲＡＭ３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。

ネットワークＩ／Ｆ４は、アンテナ４Ａを介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、サーバ、その他の通信機能を有する装置などを含む。画像処理装置１００Ａは、アンテナ４Ａを介して、本実施の形態に従う各種の処理を実現するための画像処理プログラム２８をダウンロードできるように構成されてもよい。

カメラＩ／Ｆ５は、たとえば、画像処理装置１００Ａとカメラ１１とを接続するための端子である。ＣＰＵ２は、カメラＩ／Ｆ５を介してカメラ１１とデータ通信を行なう。カメラ１１、たとえば、監視カメラなどの動体を撮影することが可能な撮像装置である。カメラ１１は、被写体を撮像して生成した画像を撮影時刻とともにＲＯＭ１、ＲＡＭ３、記憶装置１０などにカメラＩ／Ｆ５を介して順次転送する。また、カメラＩ／Ｆ５は、ＣＰＵ２が発生した内部コマンドに従って、カメラ１１に対して撮像指令を与える。なお、カメラ１１および画像処理装置１００Ａは、一体として構成されてもよいし、図１２に示されるように別個に構成されてもよい。

ディスプレイＩ／Ｆ６は、たとえば、画像処理装置１００Ａとディスプレイ１２とを接続するための端子である。ディスプレイ１２は、たとえば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、またはその他の表示機器などを含む。また、ディスプレイ１２は、タッチセンサ（図示しない）と組み合わされてタッチパネルとして構成されてもよい。これにより、オペレータは、基準領域の設定や、基準領域の再設定などの操作をタッチパネル上で行なうことが可能になる。

記憶装置１０は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一例として、記憶装置１０は、テンプレート２２と、画像情報２４と、カメラ情報２６と、本実施の形態に従う各種の処理を実現するための画像処理プログラム２８とを保持する。

テンプレート２２は、オペレータによって入力画像に対して設定された基準領域の画素値および特徴量の少なくとも一方を含む。テンプレート２２は、オペレータによって基準領域が設定される度に更新（追加、削除など）される。

図１３は、画像情報２４の内容を示した図である。画像情報２４は、カメラの識別情報と、当該カメラから得られた画像と、当該画像の撮影時刻とを含む。カメラの識別情報、当該カメラから得られた画像、および当該画像の撮影時刻は、互いに対応付けられている。

カメラ情報２６は、本実施の形態においては必須の構成ではない。カメラ情報２６は、後述する第３の実施の形態に従う画像処理装置１００Ｃによって利用されるデータである。カメラ情報２６の詳細については後述する「第３の実施の形態」において説明する。

画像処理プログラム２８は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う画像処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理装置１００Ａの趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム２８によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、画像処理装置１００Ａとサーバとが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。さらに、少なくとも１つのサーバが本実施の形態に従う画像処理を実現する、所謂クラウドサービスの形態で画像処理装置１００Ａが構成されてもよい。

［小括］
以上のようにして、本実施の形態に従う画像処理装置１００Ａは、探索処理が失敗した探索画像と撮影時刻が連続する一連の画像を表示し、表示した画像上で新たな基準領域の設定を受け付ける。これにより、画像処理装置１００Ａは、追跡対象の探索が失敗したときでも、追跡対象の探索を継続することができ。また、オペレータは、表示された画像上で新たな基準領域を設定できるので、新たに基準領域を設定するための画像を探す手間を省くことができる。

＜第２の実施の形態＞
［画像処理装置１００Ｂの概要］
第２の実施の形態に従う画像処理装置１００Ｂは、オペレータによって入力された時刻に基づいて、基準領域を設定するための入力画像を検索する点で第１の実施の形態に従う画像処理装置１００Ａと異なる。オペレータは、迷子の子供と一緒にいた大体の時刻を親から聞きだし、その時刻を画像処理装置１００Ｂに入力することにより、子供が写っている画像を入力画像として検索することができる。

なお、画像処理装置１００Ｂのハードウェア構成などその他の点については第１の実施の形態に従う画像処理装置１００Ａと同じであるので、以下ではそれらの説明は繰り返さない。

［画像処理装置１００Ｂの機能構成］
図１４を参照して、第２の実施の形態に従う画像処理装置１００Ｂの機能について説明する。図１４は、画像処理装置１００Ｂの機能構成を表わすブロック図である。図１４に示されるように、画像処理装置１００Ｂは、ＣＰＵ２と、記憶装置１０とを含む。ＣＰＵ２は、その機能構成として、時刻受付部２０２と、検索部２０４と、第１受付部２１０と、探索部２２０と、表示制御部２３０と、第２受付部２４０とを含む。第１受付部２１０および検索部２０４以外の機能構成については、図２で説明した通りであるので説明を繰り返さない。

時刻受付部２０２は、時刻の入力を受け付ける。時刻受付部２０２は、たとえば、オペレータによって時刻入力画面に入力された時刻を受け付ける。時刻受付部２０２は、受け付けた時刻を検索部２０４に出力する。

検索部２０４は、複数の画像３０の中から、検索部２０４によって出力された時刻と撮影時刻が最も近い画像を入力画像として検索する。他の局面において、検索部２０４は、複数の画像３０の中から、検索部２０４によって出力された時刻と撮影時刻が近い複数の画像を検索し、画像処理装置１００Ｂは、検索された複数の画像のうちから１枚をオペレータが選択できるように構成されてもよい。

［画像処理装置１００Ｂの制御構造］
図１５を参照して、第２の実施の形態に従う画像処理装置１００Ｂの制御構造について説明する。図１５は、画像処理装置１００Ｂが実行する処理を表わすフローチャートである。図１５の処理は、画像処理装置１００ＢのＣＰＵ２（図１２参照）がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。なお、図１５のステップＳ１１１以外の処理は、図１１に示される処理と同じであるので説明を繰り返さない。

ステップＳ１１１において、ＣＰＵ２は、上述の検索部２０４（図１４参照）として、オペレータによって入力された時刻に基づいて、撮影時刻が最も近い画像を入力画像として検索する。ＣＰＵ２は、検索した入力画像をディスプレイ１２（図１２参照）に表示する。

［小括］
以上のようにして、本実施の形態に従う画像処理装置１００Ｂは、オペレータによって入力された時刻に基づいて、基準領域を設定するための入力画像を検索する。これにより、オペレータは、入力画像を容易に検索できるようになる。

＜第３の実施の形態＞
［概要］
第３の実施の形態に従う画像処理装置１００Ｃは、カメラの配置関係に基づいて、画像を探索する順番を決定する点で第１の実施の形態に従う画像処理装置１００Ａと異なる。人物があるカメラに写っている場合には、その直後には、当該カメラの隣接するカメラに写っている可能性が高い。そのため、画像処理装置１００Ｃは、隣接するカメラの順に追跡対象の探索処理を実行する。

なお、画像処理装置１００Ｃのハードウェア構成などその他の点については第１の実施の形態に従う画像処理装置１００Ａと同じであるので、以下ではそれらの説明は繰り返さない。

［画像処理装置１００Ｃの制御構造］
図１６および図１７を参照して、第３の実施の形態に従う画像処理装置１００Ｃの制御構造について説明する。図１６は、画像処理装置１００Ｃが実行する処理を表わすフローチャートである。図１６の処理は、画像処理装置１００ＣのＣＰＵ２（図１２参照）がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。なお、図１６のステップＳ１５０，Ｓ１６０，Ｓ１６２以外の処理は、図１１および図１５に示される処理と同じであるので説明を繰り返さない。

ステップＳ１５０において、ＣＰＵ２は、新たな基準領域の設定を受付可能な状態になってから一定時間が経過したか否かを判断する。ＣＰＵ２は、一定時間が経過したと判断した場合（ステップＳ１５０においてＹＥＳ）、制御をステップＳ１６０に切り替える。そうでない場合には（ステップＳ１５０においてＮＯ）、ＣＰＵ２は、ステップＳ１４０の処理を再び実行する。

ステップＳ１６０において、ＣＰＵ２は、追跡処理の対象となるカメラが他にあるか否かを判断する。ＣＰＵ２は、追跡処理の対象となるカメラが他にあると判断した場合（ステップＳ１６０においてＹＥＳ）、制御をステップＳ１６２に切り替える。そうでない場合には（ステップＳ１６０においてＮＯ）、ＣＰＵ２は、本実施の形態に従う画像処理を終了する。

ここで、図１７を参照して、ＣＰＵ２が追跡処理の対象となるカメラが他にあるか否かを判断する方法について説明する。図１７は、上述のカメラ情報２６（図１２参照）の内容を表わす図である。

図１７に示されるように、カメラ情報２６は、カメラの識別情報と、当該カメラに隣接するカメラの情報とを含む。カメラの識別情報と、隣接するカメラの情報とは、互いに対応付けられている。隣接するカメラの情報は、オペレータによって予め登録されている。図１７の例では、「カメラＡ」は、「カメラＢ」と隣接している。「カメラＢ」は、「カメラＡ」および「カメラＣ」と隣接している。

たとえば、現在追跡処理の対象となっているカメラが「カメラＡ」である場合には、ＣＰＵ２は、カメラ情報２６を参照して、「カメラＡ」に隣接する「カメラＢ」を次の追跡処理の対象となるカメラの候補とする（破線６０参照）。このとき、ＣＰＵ２は、「カメラＢ」から得られた画像に対して探索処理を未だ行なっていない場合には、追跡処理の対象となるカメラが他にあると判断する（図１６のステップＳ１６０におけるＹＥＳ）。ＣＰＵ２は、「カメラＢ」から得られた画像に対して探索処理を既に行なっている場合には、追跡処理の対象となるカメラが他にないと判断する（図１６のステップＳ１６０におけるＮＯ）。

再び図１６を参照して、ＣＰＵ２は、追跡処理の対象となるカメラが他にあると判断した場合（図１６のステップＳ１６０におけるＹＥＳ）、制御をステップＳ１６２に切り替える。ステップＳ１６２において、ＣＰＵ２は、追跡対象のカメラを隣接カメラである「カメラＢ」に変更する。これにより、ＣＰＵ２は、引き続き「カメラＢ」から得られた画像を探索対象の画像とし、探索処理を続行する。以下、同様に、ＣＰＵ２は、順次隣接するカメラに探索処理を継続させるか、いずれかのカメラにおいて探索処理を終了する。

なお、隣接カメラが複数ある場合には、ＣＰＵ２は、追跡対象が移動した方向に応じて追跡処理の対象となるカメラを決定してもよい。より具体的には、ＣＰＵ２は、追跡対象の探索したことに基づいて、一連の探索画像から追跡対象の移動方向を検出し、現在のカメラから当該移動方向に存在するカメラを次の追跡処理の対象のカメラとして決定する。あるいは、ＣＰＵ２は、隣接する複数のカメラについて、追跡処理を行なってもよい。

［小括］
以上のようにして、本実施の形態に従う画像処理装置１００Ｃは、隣接するカメラの順に追跡対象の探索処理を実行する。これにより、追跡対象が写っている画像を探索できる可能性が高くなり、画像処理装置１００Ｃは、追跡対象を早期に探索することが可能になる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１ ＲＯＭ、２ ＣＰＵ、３ ＲＡＭ、４ ネットワークＩ／Ｆ、４Ａ アンテナ、５ カメラＩ／Ｆ、６ ディスプレイＩ／Ｆ、１０ 記憶装置、１１ カメラ、１２ ディスプレイ、２２ テンプレート、２４ 画像情報、２６ カメラ情報、２８ 画像処理プログラム、３０ 画像、３０Ａ 入力画像、３０Ｂ〜３０Ｊ，３０Ｌ〜３０Ｎ，３０Ｑ，３１Ｌ〜３１Ｎ 探索画像、３０Ｋ 静止画像、３１，３３ 表示領域、３２Ｌ〜３２Ｎ，３７Ｈ〜３７Ｊ，４５ 類似領域、３３Ｌ〜３３Ｎ，３９Ｑ 拡大画像、３２Ｕ，３４Ａ，３４Ｇ，３７Ｒ，３７Ｕ，３８Ｑ 基準領域、３５ 人物、３６ ポインタ、３８ 柱、３８Ｈ〜３８Ｊ 撮影時刻、４１，４２ ボタン、４６ 領域、４８ 追跡結果、６０ 破線、１００Ａ〜１００Ｃ 画像処理装置、２０２ 時刻受付部、２０４ 検索部、２１０ 第１受付部、２２０ 探索部、２３０ 表示制御部、２４０ 第２受付部。

Claims (12)

1. 表示部と、
   複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するための記憶部と、
   前記複数の画像の一部の画像を入力画像として前記表示部に表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるための第１受付部と、
   前記複数の画像のうち撮影時刻が前記入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において前記基準領域と類似する領域を探索するための探索部と、
   前記探索部によって順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に前記表示部に表示するための表示制御部と、
   前記表示制御部によって時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるための第２受付部とを備える、画像処理装置。
2. 前記表示制御部によって時系列に表示される画像は、撮影時刻の順に並べて表示される静止画像と、撮影時刻の順に順次表示される動画像との少なくとも一方を含む、請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記動画像を前記表示部に繰り返して表示する、請求項２に記載の画像処理装置。
4. 前記表示制御部は、各画像の撮影時刻の間隔よりも長い間隔で前記動画像を前記表示部に表示する、請求項２または３に記載の画像処理装置。
5. 前記探索部による探索処理は、探索画像の撮影時刻を遡る順番に実行される、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記表示制御部は、前記探索部によって順次出力される探索結果の確からしさが前記予め定められた条件を満たしている間は、当該探索結果を前記表示部に順次表示し、
   前記探索結果は、前記探索画像内における前記基準領域と類似する領域と、当該探索画像の撮影時刻との少なくとも一方を含む、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記表示制御部は、前記探索部によって順次出力される探索結果の確からしさの度合いに応じて、前記基準領域と類似する領域の表示方法を変える、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記画像処理装置は、
   時刻の入力を受け付けるための時刻受付部と、
   前記複数の画像の中から前記時刻と撮影時刻が最も近い画像を前記入力画像として検索するための検索部とをさらに備える、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記画像処理装置は、
   前記新たな基準領域の設定を実施可能な状態になってから一定時間の間に前記新たな基準領域の設定が実施された場合は、当該新たな基準領域を基準とした前記探索部による探索処理を続行し、
   前記新たな基準領域の設定を実施可能な状態になってから前記一定時間の間に、前記新たな基準領域の設定が実施されなかった場合は、前記探索部による探索処理を終了する、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記記憶部は、複数のカメラで撮影された複数の画像をそれぞれ記憶し、
    前記画像処理装置は、前記複数のカメラの内の１つのカメラで撮影された画像において、新たな基準領域の設定を実施可能な状態になってから前記一定時間の間に、前記新たな基準領域の設定が実施されなかった場合は、前記１つのカメラと隣接するカメラで撮影された画像において前記探索部による探索処理を継続する、請求項９に記載の画像処理装置。
11. 複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、
    前記複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、
    前記複数の画像のうち撮影時刻が前記入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において前記基準領域と類似する領域を探索するステップと、
    前記探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、
    前記表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを備える、画像処理方法。
12. コンピュータに実行される画像処理プログラムであって、
    前記画像処理プログラムは、前記コンピュータに、
    複数の画像と、当該複数の画像のそれぞれの撮影時刻とを格納するステップと、
    前記複数の画像の一部の画像を入力画像として表示しつつ、当該入力画像内において追跡の対象となる基準領域の設定を受け付けるステップと、
    前記複数の画像のうち撮影時刻が前記入力画像と時系列にある画像を探索画像として、当該探索画像の時系列の順に、当該探索画像内において前記基準領域と類似する領域を探索するステップと、
    前記探索するステップで順次出力される探索結果の確からしさが予め定められた条件を満たさなくなったときに、当該条件を満たさなくなった探索画像の撮影時刻を含む期間に撮影された画像を時系列に表示するステップと、
    前記表示するステップで時系列に表示される画像内において、追跡の対象となる新たな基準領域の設定を受け付けるステップとを実行させる、画像処理プログラム。