JP4912028B2

JP4912028B2 - 逐次学習式非定常映像検出装置，逐次学習式非定常映像検出方法及びその方法を実装したプログラム

Info

Publication number: JP4912028B2
Application number: JP2006127357A
Authority: JP
Inventors: 恭子数藤; 佳織若林; 貴之安野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-05-01
Filing date: 2006-05-01
Publication date: 2012-04-04
Anticipated expiration: 2026-05-01
Also published as: JP2007299250A

Description

本発明は、画像監視システムにおける非定常映像検出に関するものである。

現在、画像に基づいて放置物などの異常を検出する移動監視ロボットシステムが知られてきている。この移動監視ロボットは、固定カメラによる画像監視システムと異なり、小数のカメラで広い領域を監視できる（例えば、非特許文献１参照）。

しかし、移動監視ロボットシステムでは、取得した画像間に位置ずれが生じるため、異常検出（即ち、非定常映像検出）手法を採用した装置を搭載する必要がある。

非定常映像検出手法は、映像から定常または非定常を識別する技術（以下、非定常映像検出技術と称する）であって、辞書を固定的に備え、予め学習を行うものであった。

なお、非定常検出技術に関連する技術として、１クラスＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（サポートベクターマシン））（例えば、非特許文献２参照）、映像からの類似シーン検索の分野で用いられている圧縮手法（例えば、非特許文献３参照）、が知られている。
横井、「画像に基づく監視ロボットのための異常検出手法」、信学技報ＰＲＭＵ２００４−１４４、２００４（平成１６年）、ｐｐ．６１−６５。麻生英樹，津田宏治，村田昇、「パターン認識と学習の統計学」、岩波書店、平成１５年４月、ｐｐ．１２６−１２７。野田，目加田，井手，村瀬、「特徴次元圧縮による長時間映像中における同一区間映像の高速検出法」、ＦＩＴ２００４、２００４（平成１６年）、Ｎｏ．Ｉ−０３９。

上述のような非定常映像検出技術において、短時間の映像を検出対象とする場合に、辞書が固定でも問題がない。しかし、長時間の映像を対象とする場合で、さらに、環境条件が変化していくような映像から非定常映像検出を行う場合、固定の識別軸では時間の経過と共に識別精度が低下する恐れがあった。

このような識別精度の低下を防止するためには、入力映像を学習データに加え再学習を行う必要がある。しかし、リアルタイムで非定常映像検出を動作させるためには次のような問題があった。

蓄積映像に対してオフライン処理を行う場合には、一定の入力フレーム（即ち、動画像中のフレーム画像）ごとに再学習を行って辞書を更新できる。しかし、リアルタイム処理の場合には高速処理を要求されるため、辞書更新中でも次々入力されるデータに対して識別結果を出力する仕組みが必要である。

蓄積映像に対してオフライン処理を行う場合には、映像カット（映像を構成するフレームの集まり；以後、単にカットという）に定常と非定常のラベル付けをあらかじめ行っておくことができる。しかし、リアルタイム処理の場合には高速処理を要求されるため、辞書更新のために人手によってラベル付けを行うことは現実的でなく、教師なし学習が適している。この教師なし学習を非定常検出に適応する場合、辞書更新前後の連続した入力に対し識別判定パラメータが急激に変わることは望ましくない。そこで、入力データ集合に重なりをもたせて学習する仕組みが必要である。

本発明は、前記課題に基づいてなされたものであって、辞書更新中でも次々入力されるデータに対して識別結果を出力する仕組み、入力データ集合に重なりをもたせて学習する仕組みを備えた逐次学習式非定常映像検出装置，逐次学習式非定常映像検出方法及びその方法を実装したプログラムを提供することにある。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出装置であって、映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力手段と、その入力された映像から特定の時間単位に含まれるフレームをカットと見做して取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成手段と、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習手段と、該学習手段が学習した変換パラメータを記憶する辞書手段と、その辞書手段に記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定手段と、その判定された結果を出力する非定常性出力手段と、を含むことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記特徴ベクトル生成手段が、取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成手段と、その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成手段と、を含み、前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、を制御する制御手段を含む、ことを特徴とする。

請求項３記載の発明は、請求項２記載の発明において、前記制御手段は、カットを特定する情報と、学習すべき時空間特徴ベクトルの枚数と、を外部から入力する外部インタフェース手段、を含むことを特徴とする。

請求項４記載の発明は、請求項２または３に記載の発明において、前記時空間特徴ベクトル生成手段が、前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮手段によって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮手段によってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、ことを特徴とする。

請求項５記載の発明は、連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出方法であって、映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力ステップと、その入力された映像から特定の時間単位に含まれるフレームを取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成ステップと、その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習ステップと、該学習ステップで学習した変換パラメータを辞書手段に記憶させる辞書ステップと、その辞書ステップで記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定ステップと、その判定された結果を出力する非定常性出力ステップとを含むことを特徴とする。

請求項６記載の発明は、請求項５に記載の発明において、前記特徴ベクトル生成ステップが、取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成ステップと、その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成ステップと、を含み、前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、を制御する制御ステップを含む、ことを特徴とする。

請求項７記載の発明は、請求項６に記載の発明において、前記制御ステップは、カットを特定する情報と、学習すべき時空間特徴ベクトルの枚数と、が外部から入力されるステップ、を含むことを特徴とする。

請求項８記載の発明は、請求項６または７に記載の発明において、前記時空間特徴ベクトル生成ステップが、前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮ステップによって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮ステップによってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、ことを特徴とする。

請求項９記載の発明は、プログラムであって、請求項５乃至８のいずれかに記載の逐次学習式非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。

前記請求項１，５の発明によれば、連続して入力された映像（逐次入力された映像）に対する特徴量を抽出できる。その抽出された特徴量を統計的に学習し、全体の分布から外れている特徴量に対応するカットを検出できる。

前記請求項２，６の発明によれば、フレーム特徴ベクトルと時空間特徴ベクトルを取得できる。

前記請求項３，７の発明によれば、カットを特定する情報を取得できる。学習すべき時空間特徴ベクトルの枚数を取得できる。

前記請求項４，８の発明によれば、次元圧縮された時空間特徴ベクトルを取得できる。

前記請求項９の発明によれば、請求項５乃至８のいずれかに記載の逐次学習式非定常映像検出方法をコンピュータプログラムとして取得できる。

以上示したように請求項１，５の発明によれば、連続して入力された映像からリアルタイムに非定常なカットを検出できる。

請求項２，６の発明によれば、時空間特徴ベクトルに基づいて統計的な学習を行うことができる。

請求項３，７の発明によれば、カットを特定できる。限定された数の時空間特徴ベクトルに関して学習できる。

請求項４，８の発明によれば、次元圧縮された時空間特徴ベクトルを学習に使用できるため、処理速度を向上できる。

請求項９の発明によれば、逐次学習式非定常映像検出方法を実装したコンピュータプログラムを実行できる。

これらを以って監視装置分野に貢献できる。

以下、本発明の実施形態を図面等に基づいて詳細に説明する。

本実施形態では、映像における一定量の最新のカットを学習することによって、非定常映像識別のための辞書を逐次更新する。なお、辞書とは、非定常の度合い（即ち、非定常度）を算出する演算式のパラメータ（即ち、変換式の係数、または、変換パラメータ）が格納されるものである。例えば、識別対象の特徴ベクトルをｘとし、その特徴ベクトルｘに関する非定常度を算出する変換式を二次多項式Ｑ（ｘ）＝ａｘ²＋ｂｘ＋ｃとすると、辞書は、ａ，ｂ，ｃの値を格納したものである。

また、画像から特徴ベクトルを生成する特徴ベクトル生成部と学習部は順次に辞書を使用する。即ち、学習部は辞書を更新し、非定常性判定部では書き換えられた最新の辞書を使って識別を行う。

さらに、常に最新の画像の入力時刻から起算して一定時間過去の時刻までの固定長のフレーム（画像）数を切り出したものを１つのカットとみなし、カット間における変化が少ないカット（例えば、時間的に少しずつ重なるようなカット）を切り出して多数のカットを生成し、一定量の最新のカットを学習する。即ち、時間的に少しずつ重なるようにカットを切り出して、カットに重なりをもたせることで連続した入力に対して急激に識別パラメータが変化することがないようにできる。

なお、本実施形態において、学習部における学習とは、入力された特徴ベクトルの統計的な分布に基き識別に最適な識別空間にサンプルを写像するための変換パラメータを求めることを指し、その変換パラメータを記憶したデータベースを辞書と呼ぶことにする。

［第１実施形態］
第１実施形態における逐次学習式非定常映像検出装置の構成を図１に基づいて説明する。なお、第１実施形態は、以降の実施形態の基本形態となるものである。

第１実施形態における逐次学習式非定常映像検出装置は、映像入力部１０１，特徴ベクトル生成部１０２，学習部１０３，非定常性判定部１０４，非定常性出力部１０５から構成される。

映像入力部１０１には、多数の連続したフレーム（以下、連続フレームと称する）を含む映像（例えば、長時間の監視映像など）が入力される。

特徴ベクトル生成部１０２は、映像入力部１０１によって逐次に入力された連続フレームから、特定の時間範囲（例えば、最新のフレームが入力された時刻から特定の時間分遡った時刻まで）に含まれるフレーム（即ち、カット）を抜き出し、そのカットに対して特徴（即ち、特徴ベクトル）抽出処理を行う。なお、カットの抜き出しは、最新のフレームが入力された度に行っても良い。

学習部１０３は、特徴ベクトル生成部１０２において生成された特徴ベクトルに基づいて、識別空間を生成する。

非定常性判定部１０４は、特徴ベクトル生成部１０２で生成された特徴ベクトルを統計的に学習し、学習部１０３で生成された識別空間全体の分布から外れている特徴量に対応するカットを検出する（例えば、識別軸を用いて識別して検出する）。

非定常性出力部１０５は、非定常性判定部１０４において判定された識別結果を出力する。

［第２実施形態］
第２実施形態における逐次学習式非定常映像検出装置の構成を図２に基づいて説明する。

第２実施形態における逐次学習式非定常映像検出装置は、映像入力部２０１，制御部２０２，特徴ベクトル生成部２０３，学習部２０４，非定常性判定部２０５，非定常性出力部２０６から構成される。

映像入力部２０１は、連続フレームを含む映像情報蓄積する映像蓄積部２０１１を備え、その映像蓄積部２０１１から所望の連続フレームを含む映像情報を取得する。なお、映像蓄積部２０１１は、一般的なデータベースシステムや外部記憶装置（例えば、ハードディスク）を含んで実現されていても良い。

特徴ベクトル生成部２０３は、フレームから特徴を生成するフレーム特徴生成部２０３１と時空間情報から特徴ベクトルを生成する部（以後、時空間特徴ベクトル生成部と称する）２０３２を備え、映像入力部２０１から入力された連続フレームに対して特徴抽出処理を行なう。

フレーム特徴生成部２０３１における特徴抽出（特徴生成）方法を以下に説明する。

まず、各フレームに対してフレームごとの特徴抽出を行う。例えば、抽出される特徴は、例えば、動領域やオプティカルフローなどが挙げられる。なお、以下の説明では、動領域の場合を例として説明する。

フレーム特徴生成部２０３１で、背景更新を行いながら背景差分により動領域を抽出し、動領域に「１」、背景領域に「０」を割り当てた二値画像を生成する。例えば、元の入力映像の各フレームのサイズをｘ×ｙ（縦ｘ画素、横ｙ画素）とすると、二値画像のサイズもｘ×ｙである。このフレームのサイズを要素数ｘ×ｙのベクトル（即ち、フレーム特徴ベクトル）と見做してフレーム特徴生成部２０３１から出力する。

フレーム特徴生成部２０３１におけるフレーム特徴ベクトル生成処理を以下に説明する。

まず、１つのカットを構成する複数枚のフレームに対し、そのフレーム毎に変化検出処理を行う。なお、変化検出処理は、変化検出単位（例えば、１枚のフレームに含まれる特定の小領域または画素）毎に行なうものとする。変化検出単位（例えば、特定の小領域毎、画素毎）の選択、変化検出単位として小領域を選択した場合における特定の小領域の大きさは予め設定しておくものとする。その特定の小領域の大きさは、すべてのフレーム、すべてのカットに共通のものとする。

そして、変化検出処理の結果、各フレームの各画素に対応し、その画素の時間的な変化の有無を数値と見做した画像（即ち、フレーム特徴ベクトル）が生成される。

例えば、各フレームに背景差分を施し、変化画像を生成する。なお、変化画像とは、即ち、差分の絶対値が一定の閾値を超えた点を「１」、越えない点を「０」と見做した二値画像、差分の絶対値を正規化した多値画像である。

時空間特徴ベクトル生成部２０３２は、要素数ｘ×ｙの１次元ベクトルを、特定の時刻から連続して固定長（例えば、ｎ枚のフレーム数から構成されたカット）分並べたものをｘ×ｙ×ｎ次元の時空間特徴ベクトルとして出力する。

非定常性判定部２０５は、ｎ枚のフレーム数に相当する映像を一つのカットと見做し、各カットに対して非定常性の判定を行う。

学習部２０４は、上述の時空間特徴ベクトルをＮ本学習して識別空間を構成する。なお、学習に関して統計的学習手法を用いる場合に、Ｎの値は制御部２０２で決定し、Ｎはｘ×ｙ×ｎに対して充分大きい値であることが望ましい。

制御部２０２は、上述の学習に関するタイミングを制御する。制御部２０２は、Ｎが一定数以上を超えて（即ち、一定数以上の時空間特徴ベクトルが生成されて）から学習を開始することと、特徴ベクトル生成部２０３の処理と学習とを適当な時間間隔をおいた順序動作で行うことを可能にする。

非定常性出力部２０６は、上記図１中の非定常性出力部１０５と同じ動作を行うため、説明を省略する。

［第３実施形態］
第３実施形態における逐次学習式非定常映像検出装置の構成を図３に基づいて説明する。

制御部３０２は、ユーザからの入力をとりこむ外部インタフェース（例えば、キーボード装置，ポインティング装置，ディスプレイ装置など）３０２１を備えた制御部である。即ち、カットを特定する情報（例えば、時間範囲），学習を行なう時間の範囲（例えば、学習する時空間特徴ベクトルの枚数Ｎ）などをアプリケーションに応じてユーザが指定することができる。

例えば、屋外を監視する映像において、その野外環境が１日の昼と夜とで著しく変化する場合、時間範囲を指定し、昼用の学習データと夜用に別の学習データを備えることによって、安定した識別を行っていた。また、オフィスを監視する映像において、人の出入りの様子が昼休みの時間帯のみ通常と異なる場合にも、その時間帯のデータを別に学習することによって、安定した識別を行っていた。なお、その時間帯のデータに対する学習データは、１時間ごと、または、半日ごとに更新してもよい。

即ち、時系列において重ならないように切り出したカット間における変化が少ない場合、それらのカットに対して映像逐次学習を行っても良いことになる。

以上のように、時間帯ごとの変化が既知の場合に、外部インタフェース３０２１から制御部３０２へ学習タイミング（例えば、時刻など）を入力できる。

また、学習タイミングを入力する場合、ユーザが蓄積された映像を見て判断できるように、映像入力部３０１１は映像蓄積部（図示省略）を備え、制御部３０２は映像入力部３０１１へ特定の時刻の映像の呼び出して、その特定の時刻の映像を受け取ることができる。

また、制御部３０２は、特徴ベクトル生成部３０３から抽出される時空間特徴ベクトルの時間方向の長さ（即ち、１つのカットと見做す時間の長さ）を指定する手段（例えば、キーボード装置）を備えているものとする。

非定常性判定部３０５は、カット間における変化が少ないカット（例えば、時間的にずらしながら、固定長分のフレーム数から構成されるカットを生成し、そのずらされて生成されたカット）に対して非定常性の判定を行う。実際に、映像中の１カットにおけるフレーム数は不特定である。そのため、１カットを自動的に認識することは困難であるから、ずらされる固定長のフレーム分のカットに対して非定常性の判定を行う。

なお、特徴ベクトル生成部３０３は上記特徴ベクトル生成部２０３、非定常性判定部３０５は上記非定常性判定部２０５、非定常性出力部３０６は上記非定常性出力部２０６、学習部３０４は上記学習部２０４とそれぞれ同じであるため、詳細な説明は省略する。

上記学習部３０４（２０４）の動作を図４に基づいて説明する。

学習部３０４は、特徴ベクトル生成部３０３で生成された特徴ベクトルを学習して識別空間を生成する。

この識別空間の生成には、教師なし学習手法（例えば、１クラスＳＶＭ（（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（サポートベクターマシン））（非特許文献２参照））を用いる。１クラスＳＶＭは、図４のように、もとの特徴空間における特徴ベクトルＶ１が高次元特徴空間に写像ｍされるときに、もとの特徴空間におけるはずれ点が原点付近Ｈに写像されることを利用して、はずれ点検出を行なう方法である。即ち、識別軸上に写像された特徴ベクトルＶ２の原点からの距離が非定常度と見做される。

［第４実施形態］
上記逐次学習式非定常映像検出装置に備えられた特徴ベクトル生成部の他の例について、図５に基づいて説明する。

以下に、特徴ベクトル生成部６０１の動作について説明する。図５中の特徴ベクトル生成部６０１は、フレーム特徴生成部５０１１，特徴ベクトル圧縮部５０１２，時空間特徴ベクトル生成部５０１３から構成される。

フレーム特徴生成部５０１１は、生成されたフレーム特徴ベクトル（図５Ｂ中では、画像サイズはＸ×Ｙ、フレーム数はＴ１の特徴ベクトル）Ｖ１１を生成するものである。

時空間特徴ベクトル生成部５０１３は、特徴ベクトル圧縮部５０１２を用いて、フレーム特徴ベクトルＶ１１を以下のように次元圧縮し、次元圧縮された時空間特徴ベクトルを出力する。

なお、特徴ベクトルに対する次元圧縮は、映像からの類似シーン検索の分野で用いられている圧縮手法（非特許文献３参照）と同様に、主成分分析を用いた段階的な圧縮を行う。

例えば、すべてのカットに対応する時空間特徴ベクトルＦ（ｋ）（ｋ＝１，．．．，Ｋ、Ｋはカットの数）の主成分分析を行なう。さらに、予め定めた寄与率を超える次数までの主軸に投影した係数を用いてＦ（ｋ）の次元数を削減する（即ち、統計的処理を施す）ことによって圧縮を行う。なお、時空間特徴ベクトルとは、元となる映像の複数フレームの情報を含む特徴ベクトルである。

第４実施形態における次元圧縮では、まず、次数Ｘ×Ｙ（ＸにＹを乗じた次数）の特徴ベクトル（即ち、図５Ｂ中の特徴ベクトルＶ１１）に対して主成分分析（ＰＣＡ（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ））した結果の主成分の上位ｐ１個を用いて、ｐ１個の数値の並び（即ち、ｐ１次の特徴ベクトル）に圧縮する（ステップ１；即ち、図５Ｂ中の符号ＰＣＡ１）。

次に、ｐ１次の特徴ベクトルをＴ１個並べて、ｐ１×Ｔ１次の特徴ベクトル（即ち、図５Ｂ中の特徴ベクトルＶ１２）を形成する（ステップ２）。

上述のように、１フレーム目からＴ１フレーム目の情報を有するｐ１×Ｔ１次の１つの特徴ベクトルを生成する。同様に、２フレーム目から（Ｔ１＋１）フレーム目の情報を有するｐ１×Ｔ１次の特徴ベクトルが生成する。

以上のステップ１から２をもう一段階繰り返す（ステップ３）。

次に、次数ｐ１×Ｔ１の特徴ベクトルを主成分分析した結果の上位ｐ２個を用いて、ｐ２個の数値の並び（即ち、ｐ２次の特徴ベクトル）に圧縮する（ステップ４；即ち、図５Ｂ中の符号ＰＣＡ２）。

次に、ｐ２次の特徴ベクトルをＴ２個並べてｐ２×Ｔ２次の特徴ベクトル（即ち、図５Ｂ中の特徴ベクトルＶ１３）を形成する（ステップ５）。即ち、ｐ３はｐ２×Ｔ２となる。

そして、最終的に、次元圧縮された時空間特徴ベクトルＶ１４を出力する（ステップ６）。

本実施の逐次学習式非定常映像検出装置に関する逐次学習式非定常映像検出方法を図６乃至図８に基づいて説明する。なお、特徴ベクトルリスト管理部６０２と辞書部６０３は、特徴ベクトル生成部と非定常性判定部、学習部からアクセスできるように接続されている（あるいは、共有されている）ものとする。また、辞書部６０３が管理する辞書は、学習部によって、新しいリストが学習される度に辞書部６０３を介し更新されていくものとする。

図６に基づいて特徴ベクトル生成部と非定常性判定部に関する処理手順を説明する。

まず、特徴ベクトル生成部がｔ番目のカットを読み込む（Ｓ６０１）。例えば、映像入力部を介して映像蓄積部からカットを読み込む。

ステップＳ６０２では、特徴ベクトル生成部が、読み込まれたｔ番目のカットから時空間特徴ベクトル（以下、単に特徴ベクトルという）Ｆ^(t)を作成する。例えば、図７において、入力映像８０１に新しいフレーム（例えば、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）ファイル）Ｊ１が加わるに伴って、カットが切り出されて特徴ベクトルＦ^(t)の列８０２に特徴ベクトル（例えば、特徴ベクトルが含まれるファイル；即ち、特徴ベクトルファイル）Ｖｆ１が増加していく。なお、特徴ベクトルは、例えば、データ管理手段（コンピュータに実装されたデータベースなど）によって管理されているものとする。

次に、特徴ベクトル生成部が、新しい特徴ベクトルを生成する度に、最新のリストを追加して特徴ベクトルリスト管理部６０２によって管理される特徴ベクトルリストＬを更新する（Ｓ６０３）。

次に、特徴ベクトルリスト管理部６０２から特徴ベクトルリストＬ^(t)を読み込む（Ｓ６０４）。

次に、特徴ベクトルリストＬ^(t)に基づいて辞書部６０３の辞書Ｄ^(t-1)から辞書Ｄ^(t)を作成する（Ｓ６０５）。

ステップＳ６０３からＳ６０５に関して、例えば、図７に基づいて説明すると次の通りである。図７中の特徴ベクトルリスト管理部８０３において、現在の特徴ベクトルリストＬ^(t-1)に含まれる最も古い特徴ベクトル（例えば、図７中の符号Ｖｏｌｄ）を捨て、ｔ番目のカットから生成された最新の特徴ベクトル（例えば、図７中の符号Ｖｎｅｗ）を加えた特徴ベクトルリストＬ^(t)を生成する（即ち、ＦＩＦＯ（ＦｉｒｓｔｉｎＦｉｒｓｔＯｕｔ）形態あるいはキュー形態で処理を施して特徴ベクトルリストＬ^(t)を生成する）。そして、生成された特徴ベクトルリストＬ^(t)に基づいて、辞書部８０４の辞書Ｄを更新する（即ち、辞書Ｄに学習させる）。

次に、非定常性判定部が、辞書部６０３によって管理される辞書Ｄ^(t-1)を読み込む（Ｓ６０６）。

次に、非定常性判定部が、特徴ベクトルＦ^(t)に対して辞書部６０３の辞書Ｄ^(t-1)を用いて非定常判定処理を行う（Ｓ６０７）。

そして、映像が終了したか否かを判定する（Ｓ６０８）。映像が終了した場合は、終了処理Ｓ６０９を実行する。映像が終了していない場合は、ステップＳ６０１に戻る。

次に、特徴ベクトルリストの更新（Ｓ６０３）と辞書の更新（Ｓ６０５）に関して、図８に基づいて、さらに詳しく説明する。

なお、特徴ベクトルリストの更新タイミングと辞書の更新タイミングは、入力映像のフレームが加わってカットが切り出される度に行っても良いし、ある程度の時間のまとまりごとに行なってもよい。図８中では、時間のまとまりを半日と設定し説明する。その時間のまとまりを任意の長さ（例えば、数時間，数日など）に設定できることは述べるまでもない。また、特徴ベクトルリストの更新タイミングと辞書の更新タイミングは、制御部か、特徴ベクトル生成部と学習部内で時刻を監視して行っても良い。

図８において、例えば、午前に入力映像９０１の新しいフレームが加わってカットが切り出されて特徴ベクトルＦ^(t)の列９０２に特徴ベクトルが１つ増えると、特徴ベクトルリスト管理部９０３は、現在の午前の特徴ベクトルリストＬ_am ^(t-1）から最も古い特徴ベクトルを捨て、最新の特徴ベクトルを加えた特徴ベクトルリストＬ_am ^(t)を生成する。

午後に入力映像９０１の新しいフレームが加わってカットが切り出されて特徴ベクトルＦ^(t)の列９０２に特徴ベクトルが１つ増えると、特徴ベクトルリスト管理部９０３は、現在の午後の特徴ベクトルリストＬ_pm ^(t-1)の最も古い特徴ベクトルを捨て、最新の特徴ベクトルを加えた特徴ベクトルリストＬ_pm ^(t)を生成する。

これらの特徴ベクトルリストについて、それぞれの辞書部８０４の辞書Ｄ_am ^(t)、辞書Ｄ_pm ^(t)が作成される。即ち、特徴ベクトルリストＬ_am ^(t)に基づいて識別空間を生成し、その識別空間を辞書部８０４の辞書Ｄに保管することによって、辞書Ｄ_am ^(t-1)から辞書Ｄ_am ^(t)を作成したものと見做す。

特徴ベクトルリストＬ_pm ^(t)に基づいて識別空間を生成し、その識別空間を辞書部８０４の辞書Ｄに保管することによって、辞書Ｄ_pm ^(t-1)から辞書Ｄ_pm ^(t)を作成したものと見做す。

以上の逐次学習式非定常映像検出装置に関する方法をコンピュータプログラムとして記述し、コンピュータに実行させることによって、逐次学習式非定常映像検出装置を実現できる。

また、以上の逐次学習式非定常映像検出装置に関する方法を記述したコンピュータプログラムを、逐次学習式非定常映像検出装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。

以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

例えば、本実施形態において、特徴ベクトル，特徴ベクトルリスト，辞書は、高速に処理される必要があるため、高速かつ大容量なバッファ装置に記憶されても良い。

第１実施形態における逐次学習式非定常映像検出装置の構成図。第２実施形態における逐次学習式非定常映像検出装置の構成図。第３実施形態における逐次学習式非定常映像検出装置の構成図。第４実施形態における像逐次学習装置に備えられた学習部の動作概念図。本実施形態における逐次学習式非定常映像検出装置に備えられた特徴ベクトル生成部の構成図及び動作概念図。本実施形態における逐次学習式非定常映像検出装置に関する逐次学習式非定常映像検出方法を示すフローチャート。本実施形態における特徴ベクトルリスト管理部及び辞書部の動作概念図。本実施形態における特徴ベクトルリスト管理部及び辞書部の動作の一例を示す図。

符号の説明

１０１，２０１，３０１１…映像入力部
１０２，２０３，３０２，６０１…特徴ベクトル生成部
１０３，２０４，３０４…学習部
１０４，２０５，３０５…非定常性判定部
１０５，２０６，３０６…非定常性出力部
２０１１…映像蓄積部
２０３１，５０１１…フレーム特徴生成部
２０３２，５０１３…時空間特徴ベクトル生成部
３０２１…外部インタフェース
５０１２…特徴ベクトル圧縮部
６０２，８０３，９０３…特徴ベクトルリスト管理部
６０３，８０４，９０４…辞書部
８０１，９０１…入力映像
８０２，９０２…特徴ベクトル
ＰＣＡ１，ＰＣＡ２…次元圧縮処理
Ｖ１…特徴ベクトル
Ｖ１’…射影された特徴ベクトル
Ｖ２…高次元特徴空間に写像されたベクトル
ｍ…写像
Ｈ…原点付近
Ｖ１１…フレーム特徴ベクトル
Ｖ１２，Ｖ１３，Ｖ１４…時空間特徴ベクトル
Ｔ１，Ｔ２…フレーム数
ｐ１，ｐ２，ｐ３…圧縮された特徴ベクトルの次数
Ｖｆ１…特徴ベクトルファイル
Ｖｎｅｗ…生成された最新の特徴ベクトル
Ｖｏｌｄ…特徴ベクトルリストに含まれる最も古い特徴ベクトル
Ｊ１…ＪＰＥＧファイル
Ｌ^(t-1)，Ｌ_am ^(t-1)，Ｌ_pm ^(t-1)…更新前の特徴ベクトルリスト
Ｌ^(t)，Ｌ_am ^(t)，Ｌ_pm ^(t)…更新後の特徴ベクトルリスト
Ｄ^(t-1)，Ｄ_am ^(t-1)，Ｄ_pm ^(t-1)…更新前の辞書
Ｄ^(t)，Ｄ_am ^(t)，Ｄ_pm ^(t)…更新後の辞書
Ｆ_am ^(t)，Ｆ_pm ^(t)，Ｆ_am ^(t-1)，Ｆ_pm ^(t-1)…特徴ベクトル

Claims

連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出装置であって、
映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力手段と、
その入力された映像から特定の時間単位に含まれるフレームをカットと見做して取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成手段と、
その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習手段と、
該学習手段が学習した変換パラメータを記憶する辞書手段と、
その辞書手段に記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定手段と、
その判定された結果を出力する非定常性出力手段と、
を含むことを特徴とする逐次学習式非定常映像検出装置。
前記特徴ベクトル生成手段が、
取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成手段と、
その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成手段と、
を含み、
前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、
を制御する制御手段を含む、
ことを特徴とする請求項１に記載の逐次学習式非定常映像検出装置。
前記制御手段は、
カットを特定する情報と、
学習すべき時空間特徴ベクトルの枚数と、
を外部から入力する外部インタフェース手段、
を含むことを特徴とする請求項２に記載の逐次学習式非定常映像検出装置。
前記時空間特徴ベクトル生成手段が、
前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮手段によって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、
その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮手段によってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、
ことを特徴とする請求項２または３に記載の逐次学習式非定常映像検出装置。
連続して入力された映像から非定常なカットを検出する逐次学習式非定常映像検出方法であって、
映像蓄積手段から時系列に連続したフレームから構成された映像を入力する映像入力ステップと、
その入力された映像から特定の時間単位に含まれるフレームを取得し、その取得されたフレームから特徴量を抽出し、その特徴量に基づいて特徴ベクトルを生成する特徴ベクトル生成ステップと、
その生成された特徴ベクトルから特定の時間範囲に対応する特徴ベクトルを選択し、その特徴ベクトルの統計的な分布に基き、識別に最適な識別空間に写像するための変換パラメータを求める学習ステップと、
該学習ステップで学習した変換パラメータを辞書手段に記憶させる辞書ステップと、
その辞書ステップで記憶された変換パラメータを読み出し、前記生成された特徴ベクトルを識別空間に写像し非定常性を判定する非定常性判定ステップと、
その判定された結果を出力する非定常性出力ステップと、
を含むことを特徴とする逐次学習式非定常映像検出方法。
前記特徴ベクトル生成ステップが、
取得した各フレームから特徴抽出して得られたベクトルをフレーム特徴ベクトルと見做して生成するフレーム特徴生成ステップと、
その生成されたフレーム特徴ベクトルを特定の時間範囲分並べたものを時空間特徴ベクトルと見做し生成する時空間特徴ベクトル生成ステップと、
を含み、
前記特徴ベクトル生成手段に含まれる特徴ベクトルを生成する時間範囲と、前記非定常性判定手段において非定常性を判定する特徴ベクトルの時間範囲と、
を制御する制御ステップを含む、
ことを特徴とする請求項５に記載の逐次学習式非定常映像検出方法。
前記制御ステップは、
カットを特定する情報と、
学習すべき時空間特徴ベクトルの枚数と、
が外部から入力されるステップ、
を含むことを特徴とする請求項６に記載の逐次学習式非定常映像検出方法。
前記時空間特徴ベクトル生成ステップが、
前記生成されたフレーム特徴ベクトルを特徴ベクトル圧縮ステップによって次元圧縮し、その次元圧縮されたフレーム特徴ベクトルを時空間特徴ベクトルと見做し、
その生成された時空間特徴ベクトルを時間方向に並べた後、その時空間特徴ベクトルを特徴ベクトル圧縮ステップによってもう一度次元圧縮し、圧縮された時空間特徴ベクトルを生成する、
ことを特徴とする請求項６または７に記載の逐次学習式非定常映像検出方法。
請求項５乃至８のいずれかに記載の逐次学習式非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする逐次学習式非定常映像検出プログラム。