JPWO2015025705A1 - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

Abstract

本発明は、あらかじめ検索対象のオブジェクトを含むか否かの情報がなくても、検索対象のオブジェクトを含まないフレームの再生をスキップする映像処理装置である。映像処理装置は、蓄積された映像中の、選定されたフレームを再生する映像再生部と、再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出部と、オブジェクト検出部が検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定部と、オブジェクト検出部が検出した検索対象のオブジェクトを解析するオブジェクト解析部と、を備える。

Description

本発明は、映像中から対象とするオブジェクトを検索する技術に関する。

上記技術分野において、特許文献１には、撮像動画から符号化ストリームＣＳを生成する場合に各フレームに特定のオブジェクトを含むか否かを示す追尾情報を付加し、符号化ストリームＣＳを再生する場合に特定のオブジェクトを含まないフレームをスキップする技術が開示されている。

特開２００９−２４６９３５号公報

しかしながら、上記文献に記載の技術では、あらかじめ追尾情報を付加しておくことで再生時に特定のオブジェクトを含まないフレームをスキップする。したがって、あらかじめ追尾情報が付加されていない映像については、再生しないかぎり特定のオブジェクトを含まないと判定できないので、再生をスキップすることができなかった。

本発明の目的は、上述の課題を解決し、あらかじめ検索対象のオブジェクトを含むか否かの情報がなくても、検索対象のオブジェクトを含まないフレームの再生をスキップする技術を提供することにある。

上記目的を達成するため、本発明に係る映像処理装置は、
蓄積された映像中の、選定されたフレームを再生する映像再生手段と、
前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクト検出手段が前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定手段と、
前記オブジェクト検出手段が検出した前記検索対象のオブジェクトを解析するオブジェクト解析手段と、
を備える。

上記目的を達成するため、本発明に係る映像処理方法は、
蓄積された映像中の、選定されたフレームを再生する映像再生ステップと、
前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定ステップと、
前記オブジェクト検出ステップにおいて検出した前記検索対象のオブジェクトを解析するオブジェクト解析ステップと、
を含む。

上記目的を達成するため、本発明に係る映像処理プログラムは、
蓄積された映像中の、選定されたフレームを再生する映像再生ステップと、
前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定ステップと、
前記オブジェクト検出ステップにおいて検出した前記検索対象のオブジェクトを解析するオブジェクト解析ステップと、
をコンピュータに実行させる。

本発明によれば、あらかじめ検索対象のオブジェクトを含むか否かの情報がなくても、検索対象のオブジェクトを含まないフレームの再生をスキップすることができる。

本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る映像処理装置の処理概要を示す図である。 本発明の第２実施形態に係る映像処理装置を含む映像処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る映像処理装置の機能構成を示すブロック図である。 本発明の第２実施形態に係る映像処理装置の映像蓄積ＤＢの構成を示す図である。 本発明の第２実施形態に係る映像処理装置の人物特徴量ＤＢの構成を示す図である。 本発明の第２実施形態に係る人物検出部の機能構成を示すブロック図である。 本発明の第２実施形態に係る人物解析部の機能構成を示すブロック図である。 本発明の第２実施形態に係る再生フレーム選定部の機能構成を示すブロック図である。 本発明の第２実施形態に係る再生位置選定部が使用する再生位置選定テーブルの構成を示す図である。 本発明の第２実施形態に係る再生間隔設定部が使用する再生間隔設定テーブルの構成を示す図である。 本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る映像再生・解析処理の手順を示すフローチャートである。 本発明の第３実施形態に係る映像処理装置の処理概要を示す図である。 本発明の第４実施形態に係る再生位置選定部が使用する再生位置予測テーブルの構成を示す図である。 本発明の第５実施形態に係る映像処理装置の処理概要を示す図である。 本発明の第５実施形態に係る映像処理装置の機能構成を示すブロック図である。 本発明の第５実施形態に係る映像処理装置の車両特徴量ＤＢの構成を示す図である。 本発明の第５実施形態に係る再生フレーム選定部の機能構成を示すブロック図である。 本発明の第５実施形態に係る再生位置選定部が使用する再生位置選定テーブルの構成を示す図である。 本発明の第５実施形態に係る再生間隔設定部が使用する再生間隔設定テーブルの構成を示す図である。 本発明の第６実施形態に係る映像処理装置の処理概要を示す図である。 本発明の第６実施形態に係る映像処理装置の機能構成を示すブロック図である。 本発明の第６実施形態に係る人物検出部の機能構成を示すブロック図である。 本発明の第６実施形態に係る再生フレーム選定部の機能構成を示すブロック図である。 本発明の第６実施形態に係る再生間隔設定部が使用する再生間隔設定テーブルの構成を示す図である。 本発明の第６実施形態の変形例に係る再生間隔設定部が使用する再生間隔設定テーブルの構成を示す図である。 本発明の第７実施形態に係る映像処理装置の処理概要を示す図である。 本発明の第７実施形態に係る映像処理装置の機能構成を示すブロック図である。 本発明の第７実施形態に係る再生フレーム選定部の機能構成を示すブロック図である。 本発明の第７実施形態に係る再生間隔設定部が使用する再生間隔設定テーブルの構成を示す図である。 本発明の第８実施形態に係る映像処理装置の処理概要を示す図である。 本発明の第８実施形態に係る映像処理装置の機能構成を示すブロック図である。 本発明の第８実施形態に係る再生フレーム選定部の機能構成を示すブロック図である。 本発明の第８実施形態に係る再生フレーム選定部が使用する再生フレーム選定テーブルの構成を示す図である。 本発明の第９実施形態に係る再生間隔設定部が使用する再生間隔設定テーブルの構成を示す図である。

以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

以下、本実施形態で使用する「検索対象のオブジェクト」は、映像中に映っている人物や車両を含む。また、「検索対象のオブジェクト」は、人物が持っている物や着ている服や付けている装飾品も含むし、車両に搭載されている物や装着されている部品も含む。また、「検索対象のオブジェクト」は、人物以外の動物や車両以外の移動物を含む。さらに、「検索対象のオブジェクト」は、移動物に限定されず静止物も含む。すなわち、映像中からオペレータが検索を望む、あるいは監視対象となる全ての対象物が含まれてよい。

［第１実施形態］
本発明の第１実施形態としての映像処理装置１００について、図１を用いて説明する。映像処理装置１００は、映像中から対象とするオブジェクトを検索する装置である。

図１に示すように、映像処理装置１００は、映像再生部１０１と、オブジェクト検出部１０２と、再生フレーム選定部１０３と、オブジェクト解析部１０４と、を含む。映像再生部１０１は、蓄積された映像中の、選定されたフレームを再生する。ここで再生とは、圧縮された映像データを復号してフレームに戻すまでの処理のことを指し、復号したフレームを表示する処理までは含まない。オブジェクト検出部１０２は、再生されたフレームから検索対象のオブジェクトを検出する。例えば、検索対象が人物である場合には、オブジェクトとして人物を検出し、検索対象が車である場合には、オブジェクトとして車を検出する。それ以外にも、オブジェクトは、移動することが可能で検索対象となりえるものであれば、どのようなものでもよい。そして、検出結果に基づいて、次に再生するフレームを決定し、映像再生部１０１に選定されたフレームの情報を入力する。再生フレーム選定部１０３は、オブジェクト検出部１０２が検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する。オブジェクト解析部１０４は、オブジェクト検出部１０２が検出した検索対象のオブジェクトを解析する。

本実施形態によれば、あらかじめ検索対象のオブジェクトを含むか否かの情報がなくても、検索対象のオブジェクトを含まないフレームの再生をスキップすることができる。

［第２実施形態］
次に、本発明の第２実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、再生された映像中に、検索対象のオブジェクトを検出しない間、オブジェクトがフレーム中を通過する第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定して再生する。一方、検索対象のオブジェクトを検出すると、第１時間間隔より短い、オブジェクトの解析に必要とする第２時間間隔で次の再生フレームを選定して再生し、検索対象のオブジェクトを解析する。その場合に、検索対象のオブジェクトを検出した時点では、第１時間間隔の時間間隔だけ戻ったフレームを次の再生フレームとして選定する。

《映像処理装置の処理概要》
図２は、本実施形態に係る映像処理装置２００の処理概要を示す図である。

図２には、蓄積された映像から、人物を検出して解析するための再生画像２０１〜２０５が順に示されている。以下では、検索対象のオブジェクトが人物の場合について述べるが、人物以外のオブジェクトに対しても同様に適用可能である。なお、再生画像２０１〜２０５は、表示画面ではなく、説明のため映像処理装置２００内に展開された状態を示すものである。

映像処理装置２００は、映像を再生して人物を検出する場合、人物２３１が検出されるまでは、再生画像２０１と、再生画像２０２と、再生画像２０３とを、比較的長いＴ1秒の再生間隔でスキップしながら生成する（参照番号２１０で示す）。これは、Ｔ1秒の間に、人物がフレーム内に現われ、フレーム外に消え、見落とす確率が低いと予測できるためである。ここで、Ｔ1秒は、人物の速度やフレーム内を通過する時間などから設定される時間間隔である。例えば、人物がフレーム内に映っている領域を通過するのにかかる最低時間をＴ1秒に設定すればよい。あるいは、人物がフレーム内に移っている領域を通過するのにかかる時間の分布から定まる統計量をT1秒に設定してもよい。例えば、統計量として、αパーセンタイル値をT1に設定してもよい。ここで、αの値を0に近い値に設定すれば、効率は下がるが見落としを非常に少なく設定できる。逆にαの値を大きな値とすると、ある程度の見落としは許容したうえで、効率を重視する設定とすることができる。

映像処理装置２００は、再生画像２０３において人物２３１を検出すると、本実施形態においては、Ｔ1秒前のフレームに戻って再生画像２０４を生成する。その後、フレームから人物が消えるまでの間、再生間隔をＴ1秒よりかなり短いＴ2秒で再生して人物の解析を実行する（参照番号２２０で示す）。これは、再生画像２０３中に人物２３１を検出したので、Ｔ1秒前のフレーム以降の途中で人物２３１がフレーム内に現われたと予測できるためである。また、Ｔ2秒は、人物の速度や人物を解析するための時間などから、確実に人物解析が可能なように設定される時間間隔である。

このように、人物が再生画像内に居るか居ないか不明である、あるいは、居ない確率の高い部分は、再生画像２０１〜２０３のように、比較的長いＴ1秒の再生間隔でスキップしながら再生処理をする。そのため、Ｔ1秒間のフレームは再生処理および人物検出処理をしないため、全てのフレームを再生して人物検出と人物解析とを行なう従来の処理と比較して、再生処理および検出処理に費やされる処理負荷が軽減され、映像処理装置２００の映像処理速度を飛躍的に高めることができる。

《映像処理システムの構成》
図３は、本実施形態に係る映像処理装置２００を含む映像処理システム３００の構成を示すブロック図である。

映像処理システム３００は、監視用のカメラ３１０と、映像送信部３２０と、ネットワーク３３０と、本実施形態の映像処理装置２００と、を有する。映像送信部３２０は、カメラ３１０が撮像した映像を、ネットワーク３３０を介して映像処理装置２００に送信する。なお、映像送信部３２０は、カメラ３１０と一体でもよい。本実施形態の映像処理装置２００は、図２で示したように、カメラ３１０からの映像から検索対象であるオブジェクト（本例では、人物）を検出して、さらに検出したオブジェクトを解析して追跡する。

《映像処理装置の機能構成》
図４Ａは、本実施形態に係る映像処理装置２００の機能構成を示すブロック図である。

映像処理装置２００は、映像再生部４０１と、人物検出部４０２と、再生フレーム選定部４０３と、映像蓄積データベース（以下、ＤＢ）４０４と、人物解析部４０５と、人物特徴量ＤＢ４０６と、を備える。映像再生部４０１は、映像蓄積ＤＢ４０４に蓄積された映像から、再生フレーム選定部４０３が選定したフレームを再生して、人物検出部４０２および人物解析部４０５に送る。人物検出部４０２は、映像再生部４０１が再生したフレームから、人物特徴量ＤＢ４０６に格納された人物検出用の特徴量を用いて、再生画像から抽出された特徴量が人物のものに該当するかを判定し、人物を検出する。

再生フレーム選定部４０３は、人物検出部４０２が再生フレームから人物を検出しない間はＴ1秒間隔でスキップしながら再生フレームを選定する。そして、再生フレーム選定部４０３は、人物検出部４０２が再生フレームから人物を検出した場合は、それ以降、人物がフレームから消えるまでの間、Ｔ2秒（＜＜Ｔ1秒）間隔で再生フレームを選定する。

映像蓄積ＤＢ４０４は、図３のカメラ３１０で撮像され、人物を検出して解析するため収集された映像を、検索可能に蓄積する。人物解析部４０５は、人物検出部４０２が人物を検出したフレームについて、人物の同定に必要な特徴量を抽出する。そして、抽出した特徴量を解析結果として出力する。出力された特徴量は、その後の検索に利用できるように、人物特徴量ＤＢに格納する。なお、人物特徴量ＤＢ４０６に格納された人物同定用の特徴量と、再生画像から抽出された対応する特徴量をマッチングして、その場で人物を同定するようにしてもよい。この場合、同定した結果を解析結果として出力する。

人物特徴量ＤＢ４０６は、人物検出部４０２が人物の検出に使用する人物検出用ＤＢ４１０を格納する。さらに、人物特徴量ＤＢ４０６は、人物解析部４０５が特徴量マッチングに使用する人物解析用ＤＢ４２０を有し、人物画像から抽出した特徴量を格納してもよい。なお、人物検出用ＤＢ４１０は、人物を特定する特徴量ではなく、他のオブジェクトから人物であることを識別するのに用いる特徴量を格納する。一方、人物解析用ＤＢ４２０は、人物を特定するための特徴量を格納する。

なお、図４Ａでは、人物検出部４０２が人物であるか否かの検出を行なったが、人物解析用ＤＢ４２０を使用して、人物の服装や携帯物なども考慮した人物検出を行なうと、服装の違うあるいは携帯物を持たない人物は解析から削除できるので、解析処理時間を短縮できる。

（映像蓄積ＤＢ）
図４Ｂは、本実施形態に係る映像処理装置２００の映像蓄積ＤＢ４０４の構成を示す図である。映像蓄積ＤＢ４０４は、人物を検出して解析するため収集された映像を、検索可能に蓄積する。なお、映像蓄積ＤＢ４０４の構成は、図４Ｂに限定されない。

映像蓄積ＤＢ４０４は、映像ＩＤ４４１に対応付けて、カメラＩＤや設置位置を含む撮像場所４４２と、撮像日時４４３と、圧縮および暗号化された映像をポイントする映像蓄積ポインタ４４４と、を格納する。

（人物特徴量ＤＢ）
図４Ｃは、本実施形態に係る映像処理装置２００の人物特徴量ＤＢ４０６の構成を示す図である。人物特徴量ＤＢ４０６は、人物検出および人物解析においてマッチングに使用される特徴量を格納する。そして、人物特徴量ＤＢ４０６は、人物検出部４０２が人物の検出に使用する人物検出用ＤＢ４１０と、人物解析部４０５が特徴量マッチングに使用する人物解析用ＤＢ４２０と、を有する。なお、人物特徴量ＤＢ４０６の構成は、図４Ｃに限定されない。

人物検出用ＤＢ４１０は、再生フレームから人物を検出するために、例えば、異なる特徴を持つ人物種類４１１に対応付けて、人物検出に重要な頭部特徴量４１２、輪郭特徴量４１３、手／足特徴量４１４、などを格納する。これらの特徴量は、人物を検出するために画像から抽出する特徴量そのものでなくてもよく、検出に用いる検出器を学習させて得られた人物モデルを記述するパラメータ類であってもよい。例えば、頭部の検出にニューラルネットワークを用いる場合には、学習用の画像をニューラルネットワークに入力して学習させ、その結果得られるニューラルネットワークの各ノードの重み情報を頭部特徴量４１２として格納するようにしてもよい。あるいは、画像から特徴量（例えばＨＯＧ特徴量）を抽出してＳＶＭ（サポートベクトルマシン）識別器により頭部を検出する場合には、学習用の画像から抽出したＨＯＧ特徴量を用いてＳＶＭ識別器を学習させ、得られたサポートベクトル、および付随するパラメータ情報を頭部特徴量４１２として格納してもよい。なお、このように、男性、女性、子供といった人物種類ごとに分けて特徴量を記録していなくてもよい。

人物解析用ＤＢ４２０は、再生フレームから検索対象の人物を特定するために、例えば、検索対象の人物ＩＤ４２１と、かかる人物の顔や服装や携帯物などの詳細なマッチング対象４２２に関して、それぞれの特徴量４２３を格納する。

（人物検出部）
図５は、本実施形態に係る人物検出部４０２の機能構成を示すブロック図である。

人物検出部４０２は、人物検出用特徴量抽出部５１１と人物検出用特徴量判別部５１２とを備える。人物検出用特徴量抽出部５１１は、映像再生部４０１が再生した映像から人物検出用の特徴量を抽出する。人物検出用特徴量判別部５１２は、人物検出用特徴量抽出部５１１が抽出した特徴量が入力され、人物検出処理を行う。人物検出用特徴量判別部５１２は、あらかじめ学習データによって学習して得られた人物検出用ＤＢ４１０の人物検出用特徴量を用いて、映像中から抽出された特徴量が人物の特徴量か否かを判別する。上述のように、人物検出用特徴量判別部５１２が人物の部位を検出するように学習されている場合には、個別の人物部位に対応する検出器で、まず個別の部位の検出を行い、次に、部位ごとの検出結果を統合して、人物が検出されたかどうかを判定する。例えば、人物の部位のどれか１つでも検出されたら人物が検出されたと判定してもよいし、検出されやすい部位、あるいは信頼度が高い部位に重みを付けるようにし、各部位の検出結果を重みづけして統合し、人物が検出されたかどうかを判定してもよい。もし、人物が映像中に検出されれば、人物検出用特徴量判別部５１２は、人物検出信号を出力する。

（人物解析部）
図６は、本実施形態に係る人物解析部４０５の機能構成を示すブロック図である。

人物解析部４０５は、人物同定用特徴量抽出部６１１を備え、さらに人物解析マッチング部６１２を備えてもよい。人物同定用特徴量抽出部６１１は、映像再生部４０１が再生した映像から人物同定用の特徴量を抽出する。人物同定用特徴量抽出部６１１のみを有する場合には、人物同定用の特徴量を人物解析結果として出力する。一方、人物解析マッチング部６１２も存在する場合には、人物解析マッチング部６１２は、人物解析用ＤＢ４２０からの人物同定用特徴量と、人物同定用特徴量抽出部６１１が抽出した顔や服装などの特徴量とをマッチングして、マッチする特徴量を持つ人物を映像中に見付ければ、検索する特定人物が居るという情報を人物解析結果として出力する。なお、人物解析部４０５は、さらに見付けた特定人物を多数の映像から追跡する処理を行なってもよい。本実施形態においては、かかる追跡処理の説明は省略する。

（再生フレーム選定部）
図７Ａは、本実施形態に係る再生フレーム選定部４０３の機能構成を示すブロック図である。

再生フレーム選定部４０３は、フレーム選定部７０１と、再生位置選定部７０２と、再生間隔設定部７０３と、を備える。フレーム選定部７０１は、映像蓄積ＤＢ４０４から読み出された映像から、再生位置選定部７０２が選定したフレーム位置から、再生間隔設定部７０３が設定した再生間隔でフレームを選定して、映像再生部４０１に送る。

再生位置選定部７０２は、人物検出部４０２からの人物検出信号を受信すると、再生位置を戻すための位置を選定する。本実施形態においては、人物を検出しない今までの再生間隔であったＴ1秒戻った位置を選定する。

再生間隔設定部７０３は、人物検出部４０２からの人物検出信号を受信する前は、フレームを所定間隔でスキップさせるように、フレーム選定部７０１に第１の再生間隔を設定する。そして、再生間隔設定部７０３は、人物検出部４０２からの人物検出信号を受信した後は、人物検出信号がなくなるまでの間、フレームを人物解析可能な間隔で再生できるように、フレーム選定部７０１に第２の再生間隔を設定する。本例では、第１の再生間隔をＴ1秒とし、第２の再生間隔をＴ2秒とする。

（再生位置選定テーブル）
図７Ｂは、本実施形態に係る再生位置選定部７０２が使用する再生位置選定テーブル７０２ａの構成を示す図である。

再生位置選定テーブル７０２ａは、人物検出部４０２からの人物検出信号７２１に対応付けて、再生位置７２２を記憶する。本例では、人物検出部４０２が人物を検出して、人物検出信号７２１がＯＦＦ（無）からＯＮ（有）に変化すると、Ｔ1秒前の位置から再生を行なうことが記憶される。

（再生間隔設定テーブル）
図７Ｃは、本実施形態に係る再生間隔設定部７０３が使用する再生間隔設定テーブル７０３ａの構成を示す図である。

再生間隔設定テーブル７０３ａは、人物検出部４０２からの人物検出信号７３１に対応付けて、再生間隔７３２を記憶する。本例では、人物検出部４０２が人物を検出して、人物検出信号７３１がＯＦＦ（無）の間はＴ1秒間隔で再生し、ＯＮ（有）の間は、Ｔ1秒より短いＴ2秒の間隔で再生を行なうことが記憶される。

《映像処理装置のハードウェア構成》
図８は、本実施形態に係る映像処理装置２００のハードウェア構成を示すブロック図である。

図８で、ＣＰＵ８１０は演算制御用のプロセッサであり、ＣＰＵ８１０がＲＡＭ８４０を使用しながらストレージ８５０に格納されたプログラムおよびモジュールを実行することで、図４Ａに示された映像処理装置２００の各機能構成部の機能が実現される。ＲＯＭ８２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。また、通信制御部８３０は、ネットワークを介して外部装置と通信する。なお、ＣＰＵ８１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵを含んでもよい。

ＲＡＭ８４０は、ＣＰＵ８１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。入力映像８４１は、映像蓄積ＤＢ４０４に蓄積する映像あるいは映像蓄積ＤＢ４０４からオブジェクト（本例では人物）を検索するための読み出された映像である。再生画像８４２は、選定されたフレームの画像データである。人物検出結果８４３は、再生画像８４２から人物が検出されたか否かを示すデータである。再生間隔８４４は、次の再生フレームまでの時間間隔を示すデータである。人物解析結果８４５は、人物が検出された再生画像８４２から人物を解析した結果を示すデータである。入出力データ８４６は、入出力インタフェース８６０を介して入出力される入出力データを示す。送受信データ８４７は、通信制御部８３０を介して送受信される送受信データを示す。

ストレージ８５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。映像蓄積ＤＢ４０４は、各カメラ３１０から収集された映像を蓄積するデータベースである。人物特徴量ＤＢ４０６は、検出して同定する人物の特徴量を格納するデータベースである。再生位置選定テーブル７０２ａは、フレーム内に人物を検出した時に再生を開始するフレーム位置を選定するためのテーブルである。再生間隔設定テーブル７０３ａは、フレーム内に人物を検出しない場合と、フレーム内に人物を検出した場合とにおいて、再生するフレームの間隔を選定するためのテーブルである。なお、各テーブルはＲＡＭ８４０に確保されてもよい。

ストレージ８５０には、以下のプログラムが格納される。映像処理装置制御プログラム８５１は、本映像処理装置２００の全体を制御する制御プログラムである。映像再生モジュール８５２は、映像蓄積ＤＢ４０４に蓄積された映像の再生フレームを制御しながら再生するモジュールである。人物検出モジュール８５３は、再生フレームから人物を検出するモジュールである。人物解析モジュール８５４は、人物を検出した再生グレームに基づいて人物を解析するモジュールである。

入出力インタフェース８６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース８６０には、表示部８６１、キーボード、タッチパネル、ポインティンデバイスなどの操作部８６２が接続される。

なお、図８のＲＡＭ８４０やストレージ８５０には、映像処理装置２００が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

《映像処理装置の処理手順》
図９は、本実施形態に係る映像処理装置２００の処理手順を示すフローチャートである。このフローチャートは、図８のＣＰＵ８１０がＲＡＭ８４０やストレージ８５０を使用して実行し、図４Ａの機能構成部を実行する。

映像処理装置２００は、ステップＳ９１１において、カメラ３１０などからの映像受信か否かを判定する。また、映像処理装置２００は、ステップＳ９２１において、映像再生・解析の指示か否かを判定する。映像受信でも映像再生・解析の指示でも無ければ、映像処理装置２００は、ステップＳ９３３において、他の処理を実行する。

ステップＳ９１１において映像受信であれば、映像処理装置２００は、ステップＳ９１３において、受信した映像を検索可能に映像蓄積ＤＢ４０４に蓄積する。

ステップＳ９２１において映像再生・解析の指示であれば、映像処理装置２００は、ステップＳ９２３において、映像再生・解析処理を実行する。

（映像再生・解析処理）
図１０は、本実施形態に係る映像再生・解析処理（Ｓ９２３）の手順を示すフローチャートである。

映像処理装置２００は、ステップＳ１００１において、再生間隔を比較的長いＴ1秒に設定する。映像処理装置２００は、ステップＳ１００３において、対象の映像を映像蓄積ＤＢ４０４から読み出して、Ｔ1秒間隔でスキップしながら再生する。そして、映像処理装置２００は、ステップＳ１００５において、再生フレームから人物を検出し、検出したか否かを判定する。人物を検出しない場合は、映像処理装置２００は、ステップＳ１００７において、再生の終了か否かを判定する。再生終了でなければステップＳ１００３に戻って、Ｔ1秒間隔でスキップしながら再生を継続する。

ステップＳ１００５において人物を検出したと判定した場合、映像処理装置２００は、ステップＳ１００９において、映像の再生間隔を人物解析に必要な比較的短いＴ2秒（＜＜Ｔ1）に設定する。映像処理装置２００は、ステップＳ１０１１において、対象の映像を映像蓄積ＤＢ４０４から読み出して、Ｔ2秒間隔で再生する。そして、映像処理装置２００は、ステップＳ１０１３において、再生フレームから人物を検出し、検出したか否かを判定する。人物を検出しない場合は人物がフレームを通過してフレームから外れたと判断して、ステップＳ１００１に戻って、再生間隔をＴ1秒に戻して再生をする。

ステップＳ１０１３において人物を検出すると、映像処理装置２００は、ステップＳ１０１５において、再生映像の人物を解析する。映像処理装置２００は、ステップＳ１０１７において、再生の終了か否かを判定する。再生終了でなければステップＳ１０１１に戻って、Ｔ2秒間隔での再生と解析とを継続する。

本実施形態によれば、検索対象のオブジェクトである人物を検出しない間、オブジェクトがフレーム中を通過する比較的長い第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定して再生する。したがって、検索対象のオブジェクトの無いフレームを再生せず、かつ検出処理も実行しないので、処理の負荷が低減されて処理速度が速くなる。

［第３実施形態］
次に、本発明の第３実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態と比べると、検索対象のオブジェクトを検出した時点で、第１時間間隔の半分の時間間隔だけ戻ったフレームを次の再生フレームとして選定する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、第１時間間隔の半分の時間間隔だけ戻るように次の再生フレームを選定するが、これに限定されず、次の再生フレームが検索対象のオブジェクトを含む可能性を高くする時間間隔が選定されればよい。

《映像処理装置の処理概要》
図１１Ａは、本実施形態に係る映像処理装置１１００の処理概要を示す図である。なお、図１１Ａにおいて、図２と同様の要素には同じ参照番号を付して、説明を省略する。

本実施形態において、映像処理装置１１００は、再生画像２０３において人物２３１を検出すると、Ｔ1／２秒前のフレームに戻って再生画像を生成する。その後、フレームから人物が消えるまでの間、再生間隔をＴ1秒よりかなり短いＴ2秒で再生して人物の解析を実行する（参照番号１１２０で示す）。これは、Ｔ1秒前のフレーム以降の途中で人物２３１がフレーム内に現われたと予測できるが、Ｔ1秒を、フレームを人物が通過する時間などから算出した場合に、Ｔ1秒前からの幾つかのフレームには人物が含まれない可能性が高い。本実施形態においては、処理負荷および処理速度からＴ1／２秒前へ戻ることで、十分に人物解析が可能であると判断する。

なお、本実施形態では、Ｔ1／２秒前へ戻るとしたが、Ｔ1／３秒あるいは（Ｔ1×２）
／３秒前であってもよい。戻る時間に限定はなく、処理速度と解析精度とを考慮して決定すればよい。また、Ｔ1／２秒前へ戻って再生したフレームに人物が検出された場合は、さらにＴ1／４秒前へ戻るなどの制御をしてもよい。

本実施形態によれば、第１時間間隔だけ戻る場合に発生する検索対象のオブジェクトを含まないフレームの無駄な再生を減少させることにより、さらに処理の負荷が低減されて処理速度が速くなる。

［第４実施形態］
次に、本発明の第４実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態および第３実施形態と比べると、戻るべき時間間隔を予測して次の再生フレームを選定する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作についてはその詳しい説明を省略する。なお、本実施形態においては、戻るべき時間間隔を、オブジェクトを検出した位置情報やオブジェクトの向き情報とから予測するが、これに限定されず、次の再生フレームが検索対象のオブジェクトを含む可能性を高くする時間間隔が予測されればよい。

（再生位置予測テーブル）
図１１Ｂは、本実施形態に係る再生位置選定部が使用する再生位置予測テーブル１１０２ａの構成を示す図である。再生位置予測テーブル１１０２ａは、第２実施形態の再生位置選定部７０２が使用する再生位置選定テーブル７０２ａに置き換えられて、再生位置選定部７０２が再生位置を予測するために使用される。

再生位置予測テーブル１１０２ａは、人物検出部４０２からの人物検出信号１１２１に対応付けて、映像フレーム内の人物検出位置１１２２と、検出人物の向き１１２３とを記憶する。そして、再生位置予測テーブル１１０２ａは、人物検出位置１１２２と人物の向き１１２３とから予測される、映像フレーム内に人物が入ってからの経過時間１１２４と、予測した経過時間１１２４に基づく再生位置１１２５を記憶する。本例では、人物検出部４０２が人物を検出して、人物検出信号１１２１がＯＦＦ（無）からＯＮ（有）に変化すると、検出位置Ｐ１（ｘ,ｙ）と向きαとから経過時間Ｔf＝ｆ（Ｐ１,α）を予測し、Ｔf秒前の位置から再生を行なうことが記憶される。

すなわち、本実施形態においては、映像処理装置２００の人物検出部４０２では、オブジェクトを検出するとともに、検出した位置情報やオブジェクトの向き情報も取得する。ここで、位置情報は、通常、検出の際、一緒に取得することができる。一方、オブジェクトの向き情報は、例えば、オブジェクトの向き別に学習した検出器を用いることで取得できる。すなわち、検出スコアが最も高くなる検出器に対応する向きから、オブジェクトの向きを知ることができる。そして、検出位置情報や人物の向き情報を、人物検出信号に含めて再生フレーム選定部４０３へ出力する。

再生フレーム選定部４０３の再生位置選定部７０２では、再生位置予測テーブル１１０２ａを使用して、人物検出信号に含まれる人物の位置や向きの情報から、フレームに映っている領域内にその人物が入ってからどの程度時間が経過したかを推定する。人物の位置情報のみを用いる場合であれば、例えば、フレームに映っている領域の中央付近で人物が検出されれば、フレーム内の領域の移動にかかる時間の半分程度が経過していると推測できる。このように、人物の検出位置に応じて戻る時間を定めてテーブルとして持っておけば、このテーブルを参照することで、戻る時間を求めることができる。さらに、人物の向き情報も利用できる場合には、より詳細な予測が可能になる。人物の向き情報から、その人物がどちらに移動しているかを知ることができるため、移動方向と位置情報を組みあわせることで、その人物がフレームに映っている領域内に入ってからどの程度の時間が経過したかを予測することができる。例えば、フレームの端の領域で人物が検出された場合でも、それがフレーム内に入ってすぐなのか、あるいは、フレーム外に出ていく直前なのかを、移動方向から知ることができる。これに応じて、その人物がフレーム内に入ってから経過した時間を予測し、戻る時間を決定する。この場合も人物の戻る時間を向きと位置ごとに定めてテーブルとして持っておけば、このテーブルを参照することで、戻る時間を求めることができる。

本実施形態によれば、第１時間間隔だけ戻る場合に発生する、検索対象のオブジェクトを含まないフレームの無駄な再生を減少させることにより、さらに処理の負荷が低減されて処理速度が速くなる。

［第５実施形態］
次に、本発明の第５実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第４実施形態と比べると、検索対象のオブジェクトが車両である点で異なる。その他の構成および動作は、第２実施形態乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

《映像処理装置の処理概要》
図１２は、本実施形態に係る映像処理装置１２００の処理概要を示す図である。

図１２には、蓄積された映像から、車両を検出して解析するための再生画像１２０１〜１２０５が順に示されている。なお、再生画像１２０１〜１２０５は、表示画面ではなく、説明のため映像処理装置１２００内に展開された状態を示すものである。

映像処理装置１２００は、映像を再生して車両を検出する場合、車両１２３１が検出されるまでは、再生画像１２０１と、再生画像１２０２と、再生画像１２０３とを、比較的長いＴ3秒の再生間隔でスキップしながら生成する（参照番号１２１０で示す）。これは、Ｔ3秒の間に突然、車両がフレーム内に現われる確率が低いと予測できるためである。ここで、Ｔ3秒は、車両の速度やフレーム内を通過する時間などから設定される時間間隔である。例えば、車両がフレーム内に映っている領域を通過するのにかかる最低時間をＴ3秒に設定すればよい。あるいは、車両がフレーム内に移っている領域を通過するのにかかる時間の分布から定まる統計量をT3秒に設定してもよい。統計量としては、例えば、αパーセンタイル値を用いることができる。

映像処理装置１２００は、再生画像１２０３において車両１２３１を検出すると、本実施形態においては、Ｔ3秒前のフレームに戻って再生画像１２０４を生成する。その後、フレームから車両が消えるまでの間、再生間隔をＴ3秒よりかなり短いＴ4秒で再生して車両の解析を実行する（参照番号１２２０で示す）。これは、再生画像１２０３中に車両１２３１を検出したので、Ｔ3秒前のフレーム以降の途中で車両１２３１がフレーム内に現われたと予測できるためである。また、Ｔ4秒は、車両の速度や車両を解析するための時間などから、確実に車両解析が可能なように設定される時間間隔である。

このように、車両が再生画像内に居るか居ないか不明である、あるいは、居ない確率の高い部分は、再生画像１２０１〜１２０３のように、比較的長いＴ3秒の再生間隔でスキップしながら再生処理をする。そのため、Ｔ3秒間のフレームは再生処理をしないため、全てのフレームを再生して車両検出と車両解析とを行なう従来の処理と比較して、再生処理および検出処理に費やされる処理負荷が軽減し、映像処理装置１２００の映像処理速度を飛躍的に高めることができる。

《映像処理装置の機能構成》
図１３Ａは、本実施形態に係る映像処理装置１２００の機能構成を示すブロック図である。なお、図１３Ａにおいて、図４Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

映像処理装置１２００は、映像再生部４０１と、車両検出部１３０２と、再生フレーム選定部１３０３と、映像蓄積ＤＢ４０４と、車両解析部１３０５と、車両特徴量ＤＢ１３０６と、を備える。映像再生部４０１は、映像蓄積ＤＢ４０４に蓄積された映像から、再生フレーム選定部１３０３が選定したフレームを再生して、車両検出部１３０２および車両解析部１３０５に送る。車両検出部１３０２は、映像再生部４０１が再生したフレームから、車両特徴量ＤＢ１３０６に格納された車両検出用の特徴量を用いて、再生画像から抽出された特徴量が車両のものに該当するかを判定し、車両を検出する。

再生フレーム選定部１３０３は、車両検出部１３０２が再生フレームから車両を検出しない間はＴ3秒間隔でスキップしながら再生フレームを選定する。そして、再生フレーム選定部１３０３は、車両検出部１３０２が再生フレームから車両を検出した場合は、それ以降、車両がフレームから消えるまでの間、Ｔ4秒（＜＜Ｔ3秒）間隔で再生フレームを選定する。

車両解析部１３０５は、車両検出部１３０２が車両を検出したフレームについて、車両の同定に必要な特徴量を抽出する。そして、抽出した特徴量を車両解析結果として出力する。なお、車両特徴量ＤＢ１３０６に格納された車両解析用の特徴量と、再生画像から抽出された対応する特徴量をマッチングして、車両を同定するようにしてもよい。この場合、同定した結果を車両解析結果として出力する。

車両特徴量ＤＢ１３０６は、車両検出部１３０２が車両の検出に使用する車両検出用ＤＢ１３１０を格納する。さらに、車両解析部１３０５が特徴量マッチングに使用する車両解析用ＤＢ１３２０を有し、車両画像から抽出した特徴量を格納してもよい。なお、車両検出用ＤＢ１３１０は、車両を特定する特徴量ではなく、他のオブジェクトから車両であることを識別するのに用いる特徴量を格納する。一方、車両解析用ＤＢ１３２０は、車両を特定するための特徴量を格納する。

（車両特徴量ＤＢ）
図１３Ｂは、本実施形態に係る映像処理装置１２００の車両特徴量ＤＢ１３０６の構成を示す図である。車両特徴量ＤＢ１３０６は、車両検出および車両解析においてマッチングに使用される特徴量を格納する。そして、車両特徴量ＤＢ１３０６は、車両検出部１３０２が車両の検出に使用する車両検出用ＤＢ１３１０と、車両解析部１３０５が特徴量マッチングに使用する車両解析用ＤＢ１３２０と、を有する。なお、車両特徴量ＤＢ１３０６の構成は、図１３Ｂに限定されない。

車両検出用ＤＢ１３１０は、再生フレームから車両を検出するために、例えば、異なる特徴を持つ車両種類１３１１に対応付けて、車両検出に重要な輪郭特徴量１３１２、色特徴量１３１３、形状特徴量１３１４、などを格納する。これらの特徴量は、車両を検出するために画像から抽出する特徴量そのものでなくてもよい点は、人物検出の場合と同様である。

車両検出用ＤＢ１３１０は、再生フレームから検索対象の車両を特定するために、例えば、検索対象の車両ＩＤ１３２１と、かかる車両のナンバープレートやデザインや取付物（積載物）などの詳細なマッチング対象１３２２に関して、それぞれの特徴量１３２３を格納する。

（再生フレーム選定部）
図１４Ａは、本実施形態に係る再生フレーム選定部１３０３の機能構成を示すブロック図である。

再生フレーム選定部１３０３は、フレーム選定部１４０１と、再生位置選定部１４０２と、再生間隔設定部１４０３と、を備える。フレーム選定部１４０１は、映像蓄積ＤＢ４０４から読み出された映像から、再生位置選定部１４０２が選定したフレーム位置から、再生間隔設定部１４０３が設定した再生間隔でフレームを選定して、映像再生部４０１に送る。

再生位置選定部１４０２は、車両検出部１３０２からの車両検出信号を受信すると、再生位置を戻すための位置を選定する。本実施形態においては、車両を検出しない今までの再生間隔であったＴ3秒戻った位置を選定する。

再生間隔設定部１４０３は、車両検出部１３０２からの車両検出信号を受信する前は、フレームを所定間隔でスキップさせるように、フレーム選定部１４０１に第１の再生間隔を設定する。そして、再生間隔設定部１４０３は、車両検出部１３０２からの車両検出信号を受信した後は、車両検出信号がなくなるまでの間、フレームを車両解析可能な間隔で再生できるように、フレーム選定部１４０１に第２の再生間隔を設定する。本例では、第１の再生間隔をＴ3秒とし、第２の再生間隔をＴ４秒とする。

（再生位置選定テーブル）
図１４Ｂは、本実施形態に係る再生位置選定部１４０２が使用する再生位置選定テーブル１４０２ａの構成を示す図である。

再生位置選定テーブル１４０２ａは、車両検出部１３０２からの車両検出信号１４２１に対応付けて、再生位置１４２２を記憶する。本例では、車両検出部１３０２が車両を検出して、車両検出信号１４２１がＯＦＦ（無）からＯＮ（有）に変化すると、Ｔ3秒前の位置から再生を行なうことが記憶される。

（再生間隔設定テーブル）
図１４Ｃは、本実施形態に係る再生間隔設定部１４０３が使用する再生間隔設定テーブル１４０３ａの構成を示す図である。

再生間隔設定テーブル１４０３ａは、車両検出部１３０２からの車両検出信号１４３１に対応付けて、再生間隔１４３２を記憶する。本例では、車両検出部１３０２が車両を検出して、車両検出信号１４３１がＯＦＦ（無）の間はＴ3秒間隔で再生し、ＯＮ（有）の間は、Ｔ3秒より短いＴ4秒の間隔で再生を行なうことが記憶される。

本実施形態によれば、検索対象のオブジェクトである車両を検出しない間、オブジェクトがフレーム中を通過する比較的長い第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定して再生する。したがって、検索対象のオブジェクトの無いフレームを再生せず、かつ検出処理を実行しないので、処理の負荷が低減されて処理速度が速くなる。

［第６実施形態］
次に、本発明の第６実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第５実施形態と比べると、検索対象のオブジェクトを含み再生した映像を解析する第２時間間隔を、オブジェクトの大きさや撮像部からオブジェクトまでの距離に対応して変更する点で異なる。その他の構成および動作は、第２実施形態〜第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、検索対象のオブジェクトが人物を例に説明するが、車両など他のオブジェクト検索にも適用され、同様の効果を奏する。

《映像処理装置の処理概要》
図１５は、本実施形態に係る映像処理装置１５００の処理概要を示す図である。なお、図１５において、図２と同様の要素には同じ参照番号を付して、説明を省略する。

本実施形態において、映像処理装置１５００は、再生画像２０３において人物２３１を検出すると、Ｔ1秒前のフレームに戻って再生画像を生成した後の再生間隔を変更させる。

Ｔ1秒前のフレームに戻った最初の内は、幾分長いＴ21秒の間隔で再生する。それ以降、Ｔ21→Ｔ22→Ｔ23→Ｔ24→と再生間隔は次第に短くなり、かかる再生間隔で再生して人物の解析を実行する（参照番号１５２０で示す）。これは、Ｔ1秒前のフレーム付近では、人物を検出する可能性は比較的低い上に、人物の画像が小さいので人物解析で得られる情報も少ない。したがって、Ｔ1秒前のフレーム付近では、再生間隔は幾分長いＴ21秒とする。人物がフレームに登場してから大きくなるに従って、再生間隔を次第に短くして人物解析の正確性を高める。

なお、本実施形態では、再生間隔を次第に短くしたが、段階的に短くしてもよい。また、Ｔ1秒前へ戻るとしたが、第３実施形態のように、Ｔ1／２秒、Ｔ1／３秒あるいは（Ｔ1×２）／３秒前であってもよく、戻る時間に限定はない。

《映像処理装置の機能構成》
図１６は、本実施形態に係る映像処理装置１５００の機能構成を示すブロック図である。なお、図１６において、図４Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

映像処理装置１５００は、映像再生部４０１と、人物検出部１５０２と、再生フレーム選定部１５０３と、映像蓄積ＤＢ４０４と、人物解析部４０５と、人物特徴量ＤＢ４０６と、を備える。映像再生部４０１は、映像蓄積ＤＢ４０４に蓄積された映像から、再生フレーム選定部１５０３が選定したフレームを再生して、人物検出部１５０２および人物解析部４０５に送る。人物検出部１５０２は、映像再生部４０１が再生したフレームから、人物特徴量ＤＢ４０６に格納された人物検出用の特徴量を用いて、再生画像から抽出された特徴量が車両のものに該当するかどうかを判定して、人物を検出する。人物検出部１５０２は、検出した人物のサイズや撮像部からの距離を算出して、再生フレーム選定部１５０３に送る。撮像部からの距離は、カメラパラメータを用いて画面上での検出位置から算出することができる。あるいは、撮像部からの距離を画面の各位置に対してあらかじめ算出しておいて、テーブルとして保持しておき、このテーブルを参照することによって求めることもできる。

再生フレーム選定部１５０３は、人物検出部１５０２が再生フレームから人物を検出しない間はＴ1秒間隔でスキップしながら再生フレームを選定する。そして、再生フレーム選定部１５０３は、人物検出部１５０２が再生フレームから人物を検出すると、検出した人物のサイズや撮像部からの距離を取得する。そして、それ以降、再生フレーム選定部１５０３は、人物がフレームから消えるまでの間、検出した人物のサイズや撮像部からの距離の情報を参照して、Ｔ21〜Ｔ24秒（＜＜Ｔ1秒）と間隔を短くしながら再生フレームを選定する。

なお、人物検出部１５０２による人物のサイズや撮像部からの距離は、人物検出部１５０２で算出しても、人物特徴量ＤＢ４０６に人物のサイズや撮像部からの距離に対応する特徴量を格納しておいてもよい。

（人物検出部）
図１７は、本実施形態に係る人物検出部１５０２の機能構成を示すブロック図である。なお、図１７において、図５と同様の機能構成部には同じ参照番号を付して、説明を省略する。

人物検出部１５０２は、人物検出用特徴量抽出部５１１と人物検出用特徴量判別部１７１２とを備える。人物検出用特徴量判別部１７１２は、人物検出用ＤＢ４１０からの人物検出用特徴量を用いて、人物検出用特徴量抽出部５１１が抽出した特徴量を判別して、もし、人物が映像中に検出されれば、人物検出信号と、人物サイズまたは撮像部からの距離とを出力する。

（再生フレーム選定部）
図１８Ａは、本実施形態に係る再生フレーム選定部１５０３の機能構成を示すブロック図である。図１８Ａにおいて、図７Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

再生フレーム選定部１５０３は、フレーム選定部７０１と、再生位置選定部７０２と、再生間隔設定部１８０３と、を備える。

再生間隔設定部１８０３は、人物検出部１５０２からの人物検出信号を受信する前は、フレームを所定間隔でスキップさせるように、フレーム選定部７０１に第１の再生間隔を設定する。そして、再生間隔設定部１８０３は、人物検出部１５０２からの人物検出信号を受信した後は、人物検出信号がなくなるまでの間、検出した人物サイズや撮像部からの距離に対応して、フレーム選定部７０１に第２の順次に短くなる再生間隔を設定する。本例では、第１の再生間隔をＴ1秒とし、第２の再生間隔をＴ21〜T24秒とする。

（再生間隔設定テーブル）
図１８Ｂは、本実施形態に係る再生間隔設定部１８０３が使用する再生間隔設定テーブル１８０３ａの構成を示す図である。

再生間隔設定テーブル１８０３ａは、人物検出部１５０２からの人物検出信号１８３１と、人物検出部１５０２からの人物サイズまたは撮像部からの距離１８３２に対応付けて、再生間隔１８３３を記憶する。本例では、人物検出部１５０２が人物を検出して、人物検出信号１８３１がＯＦＦ（無）の間はＴ1秒間隔で再生する。そして、人物検出信号１８３１がＯＮ（有）の間は、検出された人物サイズＳ1〜Ｓ３に対応して、Ｔ1秒より短いＴ21〜Ｔ23秒の間隔に変更して再生を行なうことが記憶される。

本実施形態によれば、検索対象のオブジェクトを解析する情報が多いほど、すなわち、オブジェクトが大きいあるいは近いほど、フレームの再生間隔を狭くする。したがって、検索対象のオブジェクトについての情報量を増やしながら、情報量の少ないフレームの再生および検出処理をスキップすることで、さらに処理の負荷が低減されて処理速度が速くなる。

《本実施形態の変形例》
本実施形態ではオブジェクトの大きさや撮像部からオブジェクトまでの距離に対応して再生間隔を変更したが、さらにオブジェクトの移動速度も用いて再生間隔を調節してもよい。オブジェクトが検出された後、検出されたフレーム間でオブジェクトの追跡処理を行ってオブジェクト間の対応付けを行うと、検出フレーム間でオブジェクトがどれだけ移動したかを求めることができる。これにより得られるオブジェクトの移動量をフレーム再生間隔で割ることによって、オブジェクトの移動速度を算出する。そして、算出された移動速度に応じて、再生間隔を調整する。例えば、オブジェクトの移動速度が遅い場合には、その移動速度に応じて、再生間隔を通常の場合よりも長く設定する。

（再生間隔設定テーブル）
図１８Ｃは、本実施形態の変形例に係る再生間隔設定部１８０３が使用する再生間隔設定テーブル１８０３ｂの構成を示す図である。再生間隔設定テーブル１８０３ｂは、再生間隔設定部１８０３において、オブジェクトの移動量と再生間隔とからオブジェクトの移動速度を算出して、移動速度に対応して再生間隔を調整するために使用される。

再生間隔設定テーブル１８０３ｂは、人物検出部１５０２からの人物検出信号１８４１と、人物検出部１５０２からの人物の移動量および再生間隔から算出された人物の移動速度１８４２に対応付けて、再生間隔１８４３を記憶する。本例では、人物検出部１５０２が人物を検出して、人物検出信号１８４１がＯＦＦ（無）の間はＴ1秒間隔で再生する。そして、人物検出信号１８４１がＯＮ（有）の間は、検出された人物の移動速度Ｖ1〜Ｖ３に対応して、Ｔ1秒より短いＴ31〜Ｔ33秒の間隔を変更して再生を行なうことが記憶される。

本実施形態によれば、検索対象のオブジェクトの移動速度が速いほど、フレームの再生間隔を狭くする。したがって、検索対象のオブジェクトについて、移動速度が速い場合は十分な情報量を得ながら、一方で移動速度が遅い場合は重複する情報を減らすことによって、情報量の少ないフレームの再生および検出処理をスキップすると共に、オブジェクトについての必要な情報を得ることができる。

［第７実施形態］
次に、本発明の第７実施形態に係る映像処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第６実施形態と比べると、撮像状況や映像内容を考慮して、具体的には映像の場所または撮像する時間帯に対応して、フレーム再生をスキップする時間間隔を調整する点で異なる。その他の構成および動作は、第２実施形態〜第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、検索対象のオブジェクトが人物を例に説明するが、車両など他のオブジェクト検索にも適用され、同様の効果を奏する。

《映像処理装置の処理概要》
図１９は、本実施形態に係る映像処理装置１９００の処理概要を示す図である。なお、図１９において、図２と同様の要素には同じ参照番号を付して、説明を省略する。

図１９において、上段は、夜間における映像の再生間隔を示す図である。下段は、昼間における映像の再生間隔を示す図である。ここで、昼間は図２と同様な映像再生解析をするものとする。

図１９のように、夜間には人物がフレーム内に登場する回数あるいは確率は低下すると予測できるので、夜間のスキップ間隔Ｔ12秒は、昼間のスキップ間隔Ｔ1秒よりも長くする。なお、図１９には、昼間と夜間とのスキップ間隔の変更を図示したが、撮像する場所や環境により、それぞれの特色もあり、それに合わせたスキップ間隔の変更が可能である。

《映像処理装置の機能構成》
図２０は、本実施形態に係る映像処理装置１９００の機能構成を示すブロック図である。なお、図２０において、図４Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

映像処理装置１９００は、映像再生部４０１と、人物検出部４０２と、再生フレーム選定部２００３と、映像蓄積ＤＢ４０４と、人物解析部４０５と、人物特徴量ＤＢ４０６と、人物通行量記憶部２００７と、を備える。映像再生部４０１は、映像蓄積ＤＢ４０４に蓄積された映像から、再生フレーム選定部２００３が選定したフレームを再生して、人物検出部４０２および人物解析部４０５に送る。

人物通行量記憶部２００７は、映像の場所や環境に対応して人物通行量を記憶する。なお、人物通行量記憶部２００７は、映像に基づいて人物通行量を算出して随時調整してもよい。

再生フレーム選定部２００３は、人物検出部４０２が再生フレームから人物を検出しない間は、昼間のように人通りが多ければＴ1秒間隔でスキップしながら再生フレームを選定する。一方、再生フレーム選定部２００３は、夜間などの人通りの少ない場合は、Ｔ1秒より長いＴ12秒間隔でスキップしながら再生フレームを選定する。そして、再生フレーム選定部２００３は、人物検出部４０２が再生フレームから人物を検出した場合は、それ以降、昼間であっても夜間であっても、人物がフレームから消えるまでの間、Ｔ2秒（＜＜Ｔ1秒）と間隔を短くしながら再生フレームを選定する。

（再生フレーム選定部）
図２１Ａは、本実施形態に係る再生フレーム選定部２００３の機能構成を示すブロック図である。図２１Ａにおいて、図７Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

再生フレーム選定部１５０３は、フレーム選定部７０１と、再生位置選定部７０２と、再生間隔設定部２１０３と、を備える。

再生間隔設定部２１０３は、人物検出部４０２からの人物検出信号を受信する前は、場所や時間帯や環境などの人物通行量に対応して、フレームを所定間隔でスキップさせるように、フレーム選定部７０１に第１の再生間隔を設定する。そして、再生間隔設定部２１０３は、人物検出部４０２からの人物検出信号を受信した後は、人物検出信号がなくなるまでの間、フレーム選定部７０１に第２の再生間隔を設定する。本例では、第１の再生間隔を人物通行量（例えば時間帯による）Ｔ11秒〜Ｔ13秒とし、第２の再生間隔をＴ2秒とする。

（再生間隔設定テーブル）
図２１Ｂは、本実施形態に係る再生間隔設定部２１０３が使用する再生間隔設定テーブル２１０３ａの構成を示す図である。

再生間隔設定テーブル２１０３ａは、人物検出部４０２からの人物検出信号２１３１と、人物通行量記憶部２００７からの人物通行量２１３２に対応付けて、再生間隔２１３３を記憶する。本例では、人物検出部４０２が人物を検出して、人物検出信号２１３１がＯＦＦ（無）の間は、人物通行量２１３２に対応してＴ11秒〜Ｔ31秒間隔で再生する。そして、ＯＮ（有）の間は、Ｔ11秒〜Ｔ31秒より短いＴ2秒の間隔で再生を行なうことが記憶される。

本実施形態によれば、検索対象のオブジェクトが少ない状況を判断して、フレーム再生をスキップする第１時間間隔をより長く調整することにより、さらに無駄な映像再生および検出処理を無くし、処理の負荷が低減されて処理速度が速くなる。

［第８実施形態］
次に、本発明の第８実施形態に係る映像処理装置について説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第７実施形態と比べると、他の撮像部の映像中に検索対象のオブジェクトが現われた情報を共有する。そして、オブジェクトが映像中に現われる時刻を推定して、その時刻までスキップした後のフレームを次の再生フレームとして選定する点で異なる。その他の構成および動作は、第２実施形態〜第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、検索対象のオブジェクトが人物を例に説明するが、車両など他のオブジェクト検索にも適用され、同様の効果を奏する。

《映像処理装置の処理概要》
図２２は、本実施形態に係る映像処理装置２２００の処理概要を示す図である。

図２２には、複数の撮像部２２０１および２２０２から収集して蓄積された映像から、人物を検出して解析するための再生画像２２１１〜２２１４と再生画像２２２１〜２２２４とが順に示されている。なお、再生画像２２１１〜２２２４は、表示画面ではなく、説明のため映像処理装置２２００内に展開された状態を示すものである。また、複数の撮像部２２０１および２２０２とは、互いに連続して人物を検出する位置に配置されているものとする。しかしながら、複数の撮像部２２０１および２２０２との関係はこのような近隣位置に限定されない。例えば、ビル内の別階の監視カメラの映像などの関係にも対応する。さらに、飛行機の搭乗ターミナルと、行き先の到着ターミナルとの監視カメラなどにも適応できる。

映像処理装置２２００は、再生画像２２１１と２２１２において、撮像部２２０１からの映像中に人物を検出しているため、Ｔ2秒間隔で再生して人物解析を行なっている。そして、人物２２０３が撮像部２２０１のフレームから消えた後に、撮像部２２０２のフレームに登場することが予測されている。それで、撮像部２２０２が撮像した映像において、再生画像２２２２以前には当該人物は居ないと判断する。

したがって、映像処理装置２２００は、撮像部２２０２の撮像した映像からの人物の検出および解析を、再生画像２２２２までスキップする。そして、映像処理装置２２００は、再生画像２２２２以降は、短い再生間隔で再生および解析を行なうことになる。なお、図２２は人物２２０３に注目する制御であり、他の人物についてはそれぞれに同様な処理がされることになる。

このように、人物が再生画像内に居ない確率の高い部分は、他の映像の人物検出結果あるいは解析結果を受けてから、再生画像２２２２まで再生をスキップする。そのため、人物が登場すると予測される再生画面まで再生をスキップできるので、全てのフレームを再生して人物検出と人物解析とを行なう従来の処理と比較して、再生処理および検出処理に費やされる処理負荷が軽減し、映像処理装置２２００の映像処理速度を飛躍的に高めることができる。

《映像処理装置の機能構成》
図２３は、本実施形態に係る映像処理装置２２００の機能構成を示すブロック図である。なお、図２３において、図４Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

映像処理装置２２００は、映像再生部４０１と、人物検出部４０２と、再生フレーム選定部２３０３と、映像蓄積ＤＢ４０４と、人物解析部４０５と、を備える。映像再生部４０１は、映像蓄積ＤＢ４０４に蓄積された映像から、再生フレーム選定部２３０３が選定したフレームを再生して、人物検出部４０２および人物解析部４０５に送る。

再生フレーム選定部２３０３は、人物検出部４０２が再生フレームから人物を検出しない間は、Ｔ1秒間隔でスキップしながら再生フレームを選定する。一方、再生フレーム選定部２３０３は、人物検出部４０２が再生フレームから人物を検出すると、Ｔ1秒より短いＴ21秒間隔でスキップしながら再生フレームを選定する。

さらに、再生フレーム選定部２３０３は、他の映像中の人物検出結果を保持して、関連する映像の再生フレームの選定に利用する。すなわち、映像間の関係は映像蓄積ＤＢ４０４に蓄積された映像の撮像場所や撮像時間などから明瞭であり、１つの映像のフレーム内をどの方向に通過した人物がどの映像にいつ頃現われるかも予測可能である。したがって、人物検出結果の履歴を蓄積しておくことで、予測した人物登場時点まで再生をスキップすることができる。

なお、本実施形態においては、再生フレーム選定部２３０３内に人物検出結果を保持する例を示すが、映像処理装置２２００に再生フレーム選定部２３０３とは別個に人物検出結果ＤＢを設けてもよい。

（再生フレーム選定部）
図２４Ａは、本実施形態に係る再生フレーム選定部２３０３の機能構成を示すブロック図である。なお、図２４Ａにおいて、図７Ａと同様の機能構成部には同じ参照番号を付して、説明を省略する。

再生フレーム選定部２３０３は、フレーム選定部７０１と、再生位置選定部７０２と、再生間隔設定部２４０３と、人物検出時刻記憶部２４０５と、を備える。フレーム選定部７０１は、映像蓄積ＤＢ４０４から読み出された映像から、再生位置選定部７０２が選定したフレーム位置から、再生間隔設定部２４０３が設定した再生間隔でフレームを選定して、映像再生部４０１に送る。

再生間隔設定部２４０３は、人物検出部４０２からの人物検出信号を受信する前は、フレームを所定間隔でスキップさせるように、フレーム選定部７０１に第１の再生間隔を設定する。そして、再生間隔設定部７０３は、人物検出部４０２からの人物検出信号を受信した後は、人物検出信号がなくなるまでの間、フレームを人物解析可能な間隔で再生できるように、フレーム選定部７０１に第２の再生間隔を設定する。本例では、第１の再生間隔をＴ1秒とし、第２の再生間隔をＴ2秒とする。

しかしながら、本実施形態において、再生間隔設定部２４０３は、人物検出時刻記憶部２４０５からの他の映像における人物検出を参照にして、第１の再生間隔の設定を停止して、人物登場予測時刻まで映像の再生をスキップさせる。

人物検出時刻記憶部２４０５は、人物検出部４０２からの人物検出信号を映像ＩＤや場所および時刻と共に記憶する。そして、同じ人物が登場する映像を見付けてその登場時刻を予測して、その間、再生間隔設定部２４０３の再生間隔設定を停止させる。

なお、図２４Ａにおいては、人物検出時刻記憶部２４０５が再生間隔設定部２４０３を制御して、人物登場予測時刻まで映像の再生をスキップさせたが、フレーム選定部７０１や再生位置選定部７０２などを制御するように構成してもよい。

（再生フレーム選定テーブル）
図２４Ｂは、本実施形態に係る再生フレーム選定部２３０３が使用する再生フレーム選定テーブル２３０３ａの構成を示す図である。

再生フレーム選定テーブル２３０３ａは、映像ＩＤ２４４１に対応付けて、撮像場所２４４２と撮像日時２４４３とを記憶する。そして、それぞれの映像は、人物検出部４０２が人物を検出した毎の人物検出時刻２４４４と人物移動方向２４４５とを記憶する。そして、それぞれの映像は、他の映像の人物検出情報に基づいて予測される、人物検出推定時刻２４４６を記憶する。人物検出推定時刻２４４６は複数であってもよい。

なお、隣接する撮像部の映像関係であれば、人物特定の必要性は低い。しかし、撮像部が離れている場合は、さらに人物特定情報（特徴量）を記憶する必要がある、また、図２４Ｂには、再生フレーム選定部２３０３全体が使用するテーブルとして示したが、これらを分離して、再生フレーム選定部２３０３を構成する機能構成部が個別に有してもよい。

本実施形態によれば、他の撮像部が撮像した映像を参照することにより、検索対象のオブジェクトが当該フレームに入る時刻を予測できるので、不必要なフレーム再生および検出処理を減少させ、かつ、オブジェクトを補足する確率を高めることができる。

［第９実施形態］
次に、本発明の第８実施形態に係る映像処理装置につい説明する。本実施形態に係る映像処理装置は、上記第２実施形態乃至第８実施形態と比べると、さらに、不必要なフレーム再生および検出処理を減少させ、かつ、オブジェクトを補足する確率を高めるために、過去の調整による検索結果をフィードバックする点で異なる。特に、本実施形態においては、第１時間間隔を適切に調整する例を示す。しかしながら、これに限定されずに、再生位置選定を学習してもよい。その他の構成および動作は、第２実施形態〜第８実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、検索対象のオブジェクトが人物を例に説明するが、車両など他のオブジェクト検索にも適用され、同様の効果を奏する。

（再生間隔設定テーブル）
図２５は、本実施形態に係る再生間隔設定部が使用する再生間隔設定テーブル２５００の構成を示す図である。

本実施形態の再生間隔設定テーブル２５００は、映像ＩＤ２５０１に対応付けて、撮像場所２５０２を記憶する。そして、それぞれの映像は、設定した再生間隔２５０３に対応付けて、その再生間隔２５０３による人物検出率２５０４と、人物検出失敗数２５０５とを記憶する。ここで、人物検出率２５０４は、人物を検出したフレーム数を再生した全フレームで除算した数値である。また、人物検出失敗数２５０５は、人物がフレーム中に登場したにもかかわらず人物検出できなかった回数である。本実施形態の再生間隔設定部は、人物検出率２５０４と人物検出失敗数２５０５とを参照して、適切な再生間隔を選定して設定する。

なお、上記人物検出率２５０４や人物検出失敗数２５０５は、再生間隔を選定するための一例であり、これに限定されない。

本実施形態によれば、再生間隔や再生位置を、状況変化にも応じてより適切に調整することができる。

［他の実施形態］
なお、上記実施形態においては、オブジェクト検出とオブジェクト解析とを分離して、オブジェクト検出は他のオブジェクトとの識別に限定して説明したが、検索対象のオブジェクトに関する概要情報が既にある場合には、オブジェクト検出時にオブジェクトの属性も検出すると、オブジェクト解析処理の負荷低減および処理時間短縮となる。例えば、人物の服装の色や模様、あるいは携帯物なども考慮した人物検出を行なうと、服装の違うあるいは携帯物を持たない人物は解析から削除できるので、解析処理時間を短縮できる。

例えば、検索対象となる人物が白い服を着ているという情報がある場合には、服の色に関する特徴量を抽出して検出された人物が白い服を着ているかどうかを判定する。そして、白い服を着ている可能性がある場合に、人物検出信号を出力する。なお、人物が検索対象かどうかを調べるための特徴量は、人物同定に使う特徴量と必ずしも同じでなくてもよい。検索対象であるかどうかを判定するのに十分な特徴量のみでよく、簡易な特徴量でもよい。例えば、上述の例の場合には、大雑把に着衣が白かどうかを判定できる程度の特徴量でよい。また、車両のデザインの色や模様、あるいは取付物なども考慮した車両検出を行なうと、デザインの違うあるいは取付物を持たない車両は解析から削除できるので、解析処理時間を短縮できる。

また、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する映像処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

［実施形態の他の表現］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
蓄積された映像中の、選定されたフレームを再生する映像再生手段と、
前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクト検出手段が前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定手段と、
前記オブジェクト検出手段が検出した前記検索対象のオブジェクトを解析するオブジェクト解析手段と、
を備える映像処理装置。
（付記２）
前記再生フレーム選定手段は、
前記オブジェクト検出手段が前記検索対象のオブジェクトを検出してない場合、前記オブジェクトがフレーム中を通過する第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定し、
前記オブジェクト検出手段が前記検索対象のオブジェクトを検出した場合、前記第１時間間隔より短い、前記オブジェクトの解析に必要とする第２時間間隔で次の再生フレームを選定する、付記１に記載の映像処理装置。
（付記３）
前記再生フレーム選定手段は、前記オブジェクト検出手段が前記検索対象のオブジェクトを検出した時点では、前記第１時間間隔もしくは前記第１時間間隔の半分の時間間隔だけ戻ったフレームを次の再生フレームとして選定する、付記２に記載の映像処理装置。
（付記４）
前記再生フレーム選定手段は、前記オブジェクト検出手段が前記検索対象のオブジェクトを検出した時点では、前記検出したオブジェクトのフレーム内の位置と前記検出したオブジェクトの向きとから前記フレームにオブジェクトが現われてからの経過時間を予測して、前記経過時間だけ戻ったフレームを次の再生フレームとして選定する、付記２に記載の映像処理装置。
（付記５）
前記再生フレーム選定手段は、
前記オブジェクトのサイズを取得する取得手段を有し、
前記オブジェクトのサイズに対応して前記第２時間間隔を変更して、次の再生フレームを選定する付記２乃至４のいずれか１項に記載の映像処理装置。
（付記６）
前記再生フレーム選定手段は、
前記オブジェクトの移動速度を算出する算出手段を有し、
前記オブジェクトの移動速度に対応して前記第２時間間隔を変更して、次の再生フレームを選定する付記２乃至５のいずれか１項に記載の映像処理装置。
（付記７）
前記再生フレーム選定手段は、前記第１時間間隔を前記オブジェクトがフレーム内に映っている領域を通過するのにかかる時間の分布の統計量に基づいて算出する付記２乃至６のいずれか１項に記載の映像処理装置。
（付記８）
前記再生フレーム選定手段は、前記映像の場所または前記映像を撮像する時間帯に対応して前記第１時間間隔を調整する付記７に記載の映像処理装置。
（付記９）
前記再生フレーム選定手段は、検出された前記オブジェクトに対応して前記第１時間間隔を調整する付記７または８に記載の映像処理装置。
（付記１０）
前記再生フレーム選定手段は、他の位置で撮像された第１映像中に前記オブジェクトが検出された場合に、該オブジェクトが第２映像中に現われる時刻を推定して、前記時刻までスキップした後のフレームを次の再生フレームとして選定する付記７乃至９のいずれか１項に記載の映像処理装置。
（付記１１）
前記オブジェクトは人物または車両を含む付記１乃至１０のいずれか１項に記載の映像処理装置。
（付記１２）
蓄積された映像中の、選定されたフレームを再生する映像再生ステップと、
前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定ステップと、
前記オブジェクト検出ステップにおいて検出した前記検索対象のオブジェクトを解析するオブジェクト解析ステップと、
を含む映像処理方法。
（付記１３）
前記再生フレーム選定ステップにおいては、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出してない場合、前記オブジェクトがフレーム中を通過する第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定し、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出した場合、前記第１時間間隔より短い、前記オブジェクトの解析に必要とする第２時間間隔で次の再生フレームを選定する、付記１２に記載の映像処理方法。
（付記１４）
前記再生フレーム選定ステップにおいては、前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出した時点では、前記第１時間間隔もしくは前記第１時間間隔の半分の時間間隔だけ戻ったフレームを次の再生フレームとして選定する、付記１３に記載の映像処理方法。
（付記１５）
前記再生フレーム選定ステップにおいては、前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出した時点では、前記検出したオブジェクトのフレーム内の位置と前記検出したオブジェクトの向きとから前記フレームにオブジェクトが現われてからの経過時間を予測して、前記経過時間だけ戻ったフレームを次の再生フレームとして選定する、付記１３に記載の映像処理方法。
（付記１６）
前記再生フレーム選定ステップは、
前記オブジェクトのサイズを取得する取得ステップを有し、
前記オブジェクトのサイズに対応して前記第２時間間隔を変更して、次の再生フレームを選定する付記１３乃至１５のいずれか１項に記載の映像処理方法。
（付記１７）
前記再生フレーム選定ステップは、
前記オブジェクトの移動速度を算出する算出ステップを有し、
前記オブジェクトの移動速度に対応して前記第２時間間隔を変更して、次の再生フレームを選定する付記１３乃至１６のいずれか１項に記載の映像処理方法。
（付記１８）
前記再生フレーム選定ステップにおいては、前記第１時間間隔を前記オブジェクトがフレーム内に映っている領域を通過するのにかかる時間の分布の統計量に基づいて算出する付記１３乃至１７のいずれか１項に記載の映像処理方法。
（付記１９）
前記再生フレーム選定ステップにおいては、前記映像の場所または前記映像を撮像する時間帯に対応して前記第１時間間隔を調整する付記１８に記載の映像処理方法。
（付記２０）
前記再生フレーム選定ステップにおいては、検出された前記オブジェクトに対応して前記第１時間間隔を調整する付記１８または１９に記載の映像処理方法。
（付記２１）
前記再生フレーム選定ステップにおいては、他の位置で撮像された第１映像中に前記オブジェクトが検出された場合に、該オブジェクトが第２映像中に現われる時刻を推定して、前記時刻までスキップした後のフレームを次の再生フレームとして選定する付記１８乃至２０のいずれか１項に記載の映像処理方法。
（付記２２）
前記オブジェクトは人物または車両を含む付記１２乃至２１のいずれか１項に記載の映像処理方法。
（付記２３）
蓄積された映像中の、選定されたフレームを再生する映像再生ステップと、
前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定ステップと、
前記オブジェクト検出ステップにおいて検出した前記検索対象のオブジェクトを解析するオブジェクト解析ステップと、
をコンピュータに実行させる映像処理プログラム。
（付記２４）
前記再生フレーム選定ステップにおいては、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出してない場合、前記オブジェクトがフレーム中を通過する第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定し、
前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出した場合、前記第１時間間隔より短い、前記オブジェクトの解析に必要とする第２時間間隔で次の再生フレームを選定する、付記２３に記載の映像処理プログラム。
（付記２５）
前記再生フレーム選定ステップにおいては、前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出した時点では、前記第１時間間隔もしくは前記第１時間間隔の半分の時間間隔だけ戻ったフレームを次の再生フレームとして選定する、付記２４に記載の映像処理プログラム。
（付記２６）
前記再生フレーム選定ステップにおいては、前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出した時点では、前記検出したオブジェクトのフレーム内の位置と前記検出したオブジェクトの向きとから前記フレームにオブジェクトが現われてからの経過時間を予測して、前記経過時間だけ戻ったフレームを次の再生フレームとして選定する、付記２４に記載の映像処理プログラム。
（付記２７）
前記再生フレーム選定ステップは、
前記オブジェクトのサイズを取得する取得ステップを有し、
前記オブジェクトのサイズに対応して前記第２時間間隔を変更して、次の再生フレームを選定する付記２４乃至２６のいずれか１項に記載の映像処理プログラム。
（付記２８）
前記再生フレーム選定ステップは、
前記オブジェクトの移動速度を算出する算出ステップを有し、
前記オブジェクトの移動速度に対応して前記第２時間間隔を変更して、次の再生フレームを選定する付記２４乃至２７のいずれか１項に記載の映像処理プログラム。
（付記２９）
前記再生フレーム選定ステップにおいては、前記第１時間間隔を前記オブジェクトがフレーム内に映っている領域を通過するのにかかる時間の分布の統計量に基づいて算出する付記２４乃至２８のいずれか１項に記載の映像処理プログラム。
（付記３０）
前記再生フレーム選定ステップにおいては、前記映像の場所または前記映像を撮像する時間帯に対応して前記第１時間間隔を調整する付記２９に記載の映像処理プログラム。
（付記３１）
前記再生フレーム選定ステップにおいては、検出された前記オブジェクトに対応して前記第１時間間隔を調整する付記２９または３０に記載の映像処理プログラム。
（付記３２）
前記再生フレーム選定ステップにおいては、他の位置で撮像された第１映像中に前記オブジェクトが検出された場合に、該オブジェクトが第２映像中に現われる時刻を推定して、前記時刻までスキップした後のフレームを次の再生フレームとして選定する付記２９乃至３１のいずれか１項に記載の映像処理プログラム。
（付記３３）
前記オブジェクトは人物または車両を含む付記２３乃至３２のいずれか１項に記載の映像処理プログラム。

この出願は、２０１３年８月２３日に出願された日本国特許出願 特願２０１３−１７３１６６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (13)

1. 蓄積された映像中の、選定されたフレームを再生する映像再生手段と、
   前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出手段と、
   前記オブジェクト検出手段が前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定手段と、
   前記オブジェクト検出手段が検出した前記検索対象のオブジェクトを解析するオブジェクト解析手段と、
   を備える映像処理装置。
2. 前記再生フレーム選定手段は、
   前記オブジェクト検出手段が前記検索対象のオブジェクトを検出してない場合、前記オブジェクトがフレーム中を通過する第１時間間隔だけスキップした後のフレームを次の再生フレームとして選定し、
   前記オブジェクト検出手段が前記検索対象のオブジェクトを検出した場合、前記第１時間間隔より短い、前記オブジェクトの解析に必要とする第２時間間隔で次の再生フレームを選定する、請求項１に記載の映像処理装置。
3. 前記再生フレーム選定手段は、前記オブジェクト検出手段が前記検索対象のオブジェクトを検出した時点では、前記第１時間間隔もしくは前記第１時間間隔の半分の時間間隔だけ戻ったフレームを次の再生フレームとして選定する、請求項２に記載の映像処理装置。
4. 前記再生フレーム選定手段は、前記オブジェクト検出手段が前記検索対象のオブジェクトを検出した時点では、前記検出したオブジェクトのフレーム内の位置と前記検出したオブジェクトの向きとから前記フレームにオブジェクトが現われてからの経過時間を予測して、前記経過時間だけ戻ったフレームを次の再生フレームとして選定する、請求項２に記載の映像処理装置。
5. 前記再生フレーム選定手段は、
   前記オブジェクトのサイズを取得する取得手段を有し、
   前記オブジェクトのサイズに対応して前記第２時間間隔を変更して、次の再生フレームを選定する請求項２乃至４のいずれか１項に記載の映像処理装置。
6. 前記再生フレーム選定手段は、
   前記オブジェクトの移動速度を算出する算出手段を有し、
   前記オブジェクトの移動速度に対応して前記第２時間間隔を変更して、次の再生フレームを選定する請求項２乃至５のいずれか１項に記載の映像処理装置。
7. 前記再生フレーム選定手段は、前記第１時間間隔を前記オブジェクトがフレーム内に映っている領域を通過するのにかかる時間の分布の統計量に基づいて算出する請求項２乃至６のいずれか１項に記載の映像処理装置。
8. 前記再生フレーム選定手段は、前記映像の場所または前記映像を撮像する時間帯に対応して前記第１時間間隔を調整する請求項７に記載の映像処理装置。
9. 前記再生フレーム選定手段は、検出された前記オブジェクトに対応して前記第１時間間隔を調整する請求項７または８に記載の映像処理装置。
10. 前記再生フレーム選定手段は、他の位置で撮像された第１映像中に前記オブジェクトが検出された場合に、該オブジェクトが第２映像中に現われる時刻を推定して、前記時刻までスキップした後のフレームを次の再生フレームとして選定する請求項７乃至９のいずれか１項に記載の映像処理装置。
11. 前記オブジェクトは人物または車両を含む請求項１乃至１０のいずれか１項に記載の映像処理装置。
12. 蓄積された映像中の、選定されたフレームを再生する映像再生ステップと、
    前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出ステップと、
    前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定ステップと、
    前記オブジェクト検出ステップにおいて検出した前記検索対象のオブジェクトを解析するオブジェクト解析ステップと、
    を含む映像処理方法。
13. 蓄積された映像中の、選定されたフレームを再生する映像再生ステップと、
    前記再生されたフレームから検索対象のオブジェクトを検出するオブジェクト検出ステップと、
    前記オブジェクト検出ステップにおいて前記検索対象のオブジェクトを検出したか否かに対応して、次に再生するフレームを選定する再生フレーム選定ステップと、
    前記オブジェクト検出ステップにおいて検出した前記検索対象のオブジェクトを解析するオブジェクト解析ステップと、
    をコンピュータに実行させる映像処理プログラム。

Images