JPWO2013094115A1 - 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム - Google Patents

Abstract

特別な装置を必要とせずに、複数のカメラ間で時刻の同期をとることができる時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラムを提供する。映像を取得する複数の映像取得手段１００−１〜１００−Ｎと、複数の映像取得手段に対応して設けられ、複数の映像取得手段１００−１〜１００−Ｎで取得した映像を分析して視覚イベントを検知し、視覚イベントが発生した時刻情報を含む視覚イベント検知情報を生成する複数の視覚イベント検知手段１０１−１〜１０１−Ｎと、複数の視覚イベント検知手段１０１−１〜１０１−Ｎが生成した視覚イベント検知情報を統合し、複数の映像取得手段１００−１〜１００−Ｎが取得した各映像の時刻間の同期をとる時刻同期情報を生成する視覚イベント統合手段１０２とを備える。

Description

本発明は、複数の映像を同期させるための時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラムに関する。

複数のカメラで同一の対象を撮影した場合に、各カメラで撮影した映像間の時刻の同期が取れない場合がある。撮像タイミングの同期が取れていない複数のカメラで撮影した映像間の同期をとる方法として、強度変調の施された照明装置を用いて、照明光の変調タイミングを基準として、カメラの撮像タイミングを同期させる方法がある（例えば、特許文献１参照。）。特許文献１に記載されている方法は、強度変調が施された照明光を照射し、カメラで照明光による輝度変化を読み取ることによって、照明装置とカメラ（撮像素子）との動作の時刻のずれを算出する。そして、算出した時刻のずれに基づいて、カメラ（撮像素子）のフレーム時間を調整して、時刻のずれを低減する。

図１０は、同期装置の構成の一例を示す説明図である。図１０に示す同期装置は、特許文献１に記載されている方法を適用した装置である。図１０に示すように、同期装置は、時間関数生成手段１と、撮影手段２と、特徴量算出手段３と、時間相関算出手段４と、照明手段５とを含む。

撮影手段２は、被写体８の映像を撮影し、特徴量算出手段３へ撮影した映像を出力する。特徴量算出手段３は、撮影手段２から出力される映像を入力し、特徴量時間関数ｂ（ｔ）を時間相関算出手段４へ出力する。時間相関算出手段４は、時間関数生成手段１から出力される時間関数ａ（ｔ）と特徴量算出手段３から出力される特徴量時間関数ｂ（ｔ）とを比較し、時刻同期情報を生成して出力する。

次に、図１０に示す同期装置の動作を説明する。

まず、時間関数生成手段１は、フレームごとに定められた値をとる時間関数ａ（ｔ）を出力する。具体的には、フレームごとに正負の値がかわるデューティ比が１：１の矩形波形状の関数が用いられる。時間関数ａ（ｔ）は、照明手段５と時間相関算出手段４へ出力される。

照明手段５は、入力される時間関数ａ（ｔ）の値に応じて光の強度に強弱をつけて被写体８を照らす。

撮影手段２は、照明手段５の光が照射された被写体８を撮影し、被写体の映像を取得し、特徴量算出手段３へ出力する。特徴量算出手段３では、被写体の映像からフレーム内の輝度値の総和を特徴量として算出し、算出した特徴量の時間変化を表す関数である特徴量時間関数ｂ（ｔ）を算出する。算出された特徴量時間関数ｂ（ｔ）は、時間相関算出手段４へ出力される。

時間相関算出手段４は、時間関数ａ（ｔ）と特徴量時間関数ｂ（ｔ）との時間相関を、以下の式（１）によって算出する。

式（１）の時間相関値ｑは、時間関数ａ（ｔ）と特徴量時間関数ｂ（ｔ）の位相差によって変化する。つまり、時間相関値ｑは、照明手段５と撮影手段２との動作の時刻のずれに対応する値である。従って、時間相関値ｑから時刻の同期情報を得ることができる。

特開２０１０−１３５９２６号広報

特許文献１に記載された装置は、複数カメラで撮影した映像間の同期をとるために、変調させた照明を当てる必要がある。また、同期をとった後、しばらく時間が経過すると、映像間の時刻にずれが生じ、同期がとれなくなる可能性がある。従って、映像間の時刻のずれを防ぐためには、定期的に変調させた照明を照射する必要があり、コストが高くなる。

本発明は、特別な装置を必要とせずに、複数のカメラ間で時刻の同期をとることができる時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラムを提供することを目的とする。

本発明による時刻同期情報算出装置は、映像を取得する複数の映像取得手段と、前記複数の映像取得手段に対応して設けられ、前記複数の映像取得手段が取得した映像を分析して視覚イベントを検知し、前記視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成する複数の視覚イベント検知手段と、前記複数の視覚イベント検知手段が生成した視覚イベント検知情報を統合し、前記複数の映像取得手段が取得した各映像の時刻間の同期をとるための時刻同期情報を生成する視覚イベント統合手段とを備えたことを特徴とする。

本発明による時刻同期情報算出方法は、複数の映像を入力し、入力した前記複数の映像を分析して視覚イベントを検知し、前記視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成し、生成した前記視覚イベント検知情報を統合し、前記複数の映像の時刻間の同期をとるための時刻同期情報を生成することを特徴とする。

本発明による時刻同期情報算出プログラムは、コンピュータに、複数の映像を入力する処理と、入力した前記複数の映像を分析して視覚イベントを検知し、前記視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成する視覚イベント検知処理と、生成した前記視覚イベント検知情報を統合し、前記複数の映像の時刻間の同期をとるための時刻同期情報を生成する視覚イベント統合処理とを実行させることを特徴とする。

本発明によれば、撮影中に自然と生じる視覚イベントを検知することによって、特別な装置を必要とせずに、複数のカメラ間で時刻の同期をとることができる。

本発明による時刻同期情報算出装置の構成を示すブロック図である。 視覚イベント生起の尤度関数ｆ_ｉ（ｔ）を求める様子を示す説明図である。 視覚イベント統合手段の動作を示すフローチャートである 視覚イベント検知手段の構成の一例を示すブロック図である。 明るさ変化検知手段の構成の一例を示すブロック図である。 人物姿勢変化・動作検知手段の構成の一例を示すブロック図である。 人物姿勢変化・動作検知手段の他の構成例を示すブロック図である。 特定物体状態変化検知手段の構成の一例を示すブロック図である。 特定状態変化検知手段の構成の一例を示すブロック図である。 同期装置の構成の一例を示す説明図である。

実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。

図１は、本発明による時刻同期情報算出装置の構成を示すブロック図である。図１に示すように、時刻同期情報算出装置は、映像取得手段１００−１〜１００−Ｎと、視覚イベント検知手段１０１−１〜１０１−Ｎと、視覚イベント統合手段１０２とを備える。

映像取得手段１００−１〜１００−Ｎは、カメラ等の映像取得が可能なデバイスである。映像取得手段１００−１〜１００−Ｎは、それぞれ、取得した映像を視覚イベント検知手段１０１−１〜１０１−Ｎへ出力する。

なお、映像取得手段１００−１〜１００−Ｎは、カメラ等が撮影した映像を記録媒体から読み取るデバイスであってもよい。例えば、カメラによって撮影された映像がビデオテープに録画されている場合には、そのビデオテープを読み取る装置を映像取得手段としてもよい。

視覚イベント検知手段１０１−１〜１０１−Ｎは、映像取得手段１００−１〜１００−Ｎから映像を入力する。視覚イベント検知手段１０１−１〜１０１−Ｎは、それぞれ、視覚イベント検知情報を生成し、生成した視覚イベント検知情報を視覚イベント統合手段１０２へ出力する。

視覚イベント統合手段１０２は、視覚イベント検知手段１０１−１〜１０１−Ｎから視覚イベント検知情報を入力する。視覚イベント統合手段１０２は、時刻同期情報を生成し、出力する。

なお、視覚イベント検知手段１０１−１〜１０１−Ｎおよび視覚イベント統合手段１０２は、時刻同期情報算出装置が備えるＣＰＵによって、実現される。例えば、コンピュータのＣＰＵが、時刻同期情報算出プログラムを読み込み、そのプログラムに従って、視覚イベント検知手段１０１−１〜１０１−Ｎおよび視覚イベント統合手段１０２として動作してもよい。時刻同期情報算出プログラムは、コンピュータが読み取り可能な記録媒体に記憶されていてもよい。また、視覚イベント検知手段１０１−１〜１０１−Ｎおよび視覚イベント統合手段１０２がそれぞれ別々のハードウェアで実現されていてもよい。

次に、時刻同期情報算出装置の動作について説明する。

まず、映像取得手段１００−１〜１００−Ｎは、映像を取得する。本実施形態では、映像取得手段１００−１〜１００−Ｎは、ほぼ同一のエリアを撮影可能であって、同一の視覚イベントが検知できる位置に配置されているものとする。

なお、視覚イベントは、すべての映像取得手段で取得した映像から検知できる視覚イベントに限らず、映像取得手段のうちのいくつかのみで取得した映像から検知できる視覚イベントであってもよい。

視覚イベントは、映像情報から視覚的に検知可能なイベントである。視覚イベントは、例えば、画面全体あるいは一部領域の明るさの変化、または、人がしゃがむ、倒れる、走る、特定の位置を通過するなどの人の姿勢や状態の変化や動作、または、自動扉やショーケースの扉などの特定の物の状態の変化、または、物の落下や破損などの特定事象の発生などである。

映像取得手段１００−１〜１００−Ｎは、取得した映像を、視覚イベント検知手段１０１−１〜１０１−Ｎへそれぞれ出力する。

視覚イベント検知手段１０１−１〜１０１−Ｎは、入力した映像からフレーム画像を生成し、生成したフレーム画像から視覚イベントを検知する。視覚イベントの検知方法の詳細については後述する。ここで、入力した映像がアナログ映像である場合は、視覚イベント検知手段１０１−１〜１０１−Ｎは、映像をキャプチャする方法を用いてキャプチャすることによって、フレーム画像を生成する。入力した映像がＨ．２６４、Ｍｏｔｉｏｎ ＪＰＥＧ、ＭＰＥＧ−２などで符号化されたデジタル映像である場合は、視覚イベント検知手段１０１−１〜１０１−Ｎは、それぞれ対応する復号方式によってその映像を復号し、フレーム画像を生成する。

なお、視覚イベント検知手段１０１−１〜１０１−Ｎは、視覚イベントの種類によっては、映像を完全に復号しなくても検知可能な場合がある。その場合には、視覚イベント検知手段１０１−１〜１０１−Ｎは、必要最小限の復号を行い、特徴量を抽出し、視覚イベントを検知すればよい。例えば、明るさの変化は、後述するように、各フレームの画素値の平均値間の差分を求めれば検知可能である。従って、視覚イベント検知手段１０１−１〜１０１−Ｎは、Ｈ．２６４やＭＰＥＧ−２／４の各ブロックの直流成分のみを抽出し、抽出した直流成分の平均を取ることによって、各フレームの平均値を算出するようにしてもよい。

また、視覚イベント検知手段１０１−１〜１０１−Ｎは、上述のすべての視覚イベントを検知できる必要はなく、そのうちの少なくとも１つが検知できるようになっていればよい。

視覚イベント検知手段１０１−１〜１０１−Ｎは、検知した結果を、視覚イベント検知情報としてそれぞれ視覚イベント統合手段１０２へ出力する。

視覚イベント検知情報は、検知したイベントの種別を表す情報（以下、イベント種別情報という。）と、そのイベントの発生を検知した時刻情報（以下、イベント検知時刻情報という。）とを含む。イベントの種別は、例えば、明るさの変化や人物の状態の変化である。時刻情報は、視覚イベント検知手段１０１−１〜１０１−Ｎに入力された映像に付随する時刻情報である。例えば、視覚イベント検知手段１０１−１が出力する視覚イベント検知情報に含まれるイベント検知時刻情報は、視覚イベント検知手段１０１−１に入力された映像に付随する時刻情報に基づいて生成される。視覚イベント検知情報は、イベント検知の信頼度を表す情報を含んでいてもよい。

視覚イベント統合手段１０２は、各視覚イベント検知手段から入力された視覚イベント検知情報に基づいて、各映像取得手段が取得した映像に付随する時刻間のずれを検知し、映像間の時刻同期をとるのに必要な情報、つまり、時刻同期情報を生成する。

ここで、視覚イベント統合手段１０２が時刻同期情報を生成する動作について説明する。

まず、視覚イベント統合手段１０２は、各視覚イベント検知情報から、各視覚イベント生起の尤度関数を求める。図２は、視覚イベント生起の尤度関数ｆ_ｉ（ｔ）を求める様子を示す説明図である。ここで、尤度関数は、ある時刻ｔに視覚イベントが生じた尤度（確からしさ）を表す関数である。例えば、イベント種別ｊに対する尤度関数は式（２）のように算出できる。

ここで、ｔ_{ｉ，ｊ，ｋ}は、視覚イベント検知情報ｉに含まれるイベント種別ｊのｋ番目の検知時刻を示す。Ｋ_ｊは、イベント種別ｊのイベントが生起した回数を示す。ｇ_ｊ（ｔ）は、イベント種別ｊに対する時間方向尤度分布関数である。時間方向尤度分布関数ｇ_ｊ（ｔ）は、予め、時刻同期情報算出装置が備える記憶部（図示せず）に格納される。

一般に、時刻ｔでイベントが検知されたとしても、その検知時刻には、多少の誤差が含まれる場合がある。そのため、イベント生起の時刻の真値はその前後に多少ずれる可能性がある。ｇ_ｊ（ｔ）は、イベント生起の時刻の真値がどの程度前後にずれ得るかをモデル化した関数である。

通常、イベント生起の時刻の真値がどの程度ずれるかは、イベントの種別によって変わる。例えば、明るさの変化であれば、そのずれは小さいが、人物動作の場合には、動作判別時刻にばらつきが生じるため、そのずれが少し大きくなる。従って、イベントの種別ごとにｇ_ｊ（ｔ）を設定するようにしてもよい。

また、夜間・昼間などの時間に関する条件や天候の条件、照明条件など、他の要因によっても変化し得る場合には、それらに応じて、ｇ_ｊ（ｔ）を設定するようにしてもよい。

次に、視覚イベント統合手段１０２は、各視覚イベント検知情報から算出したイベント生起の尤度関数をもとに、各映像取得手段が出力する映像間の時刻同期情報を算出する。各映像時刻間の時間軸の伸縮が問題にならない程度の時間内で時刻同期をとる場合は、各映像の時刻のシフト量（オフセット）のみを補正すればよい。この場合、以下の式（３）に示すＦ（β_１〜β_Ｎ）を最大化するβ_１〜β_Ｎが求められる。

ただし、視覚イベントの種類によっては、映像１から映像Ｎのすべてで検知できるものの他に、特定の映像のみで検知可能なものがある。例えば、扉の状態変化のイベントは、扉が映っている映像のみに限定される。この場合には、扉の状態変化を検知できない映像を除いて、式（３）における尤度関数の積、つまり、式（４）の計算が行われる。この計算は、もともと扉の状態変化のイベントを検知できない映像に対して、式（２）の尤度関数が常に１であるとみなして計算することと等価である。

また、式（３）では、β_１〜β_Ｎの定数シフトに対する自由度が残る。すなわち、β_１〜β_Ｎのすべてに一定のシフト量を与えた場合であっても、Ｆ（β_１，…，β_Ｎ）の値は同じになる。従って、β_１〜β_Ｎのうちのどれか１つを固定して、他の値を求めるようにする。例えば、β_１＝０として、他の値を求めるようにする。

各映像時刻間の時間軸の伸縮まで考慮する場合は、その時間軸の伸縮をモデル化し、上述と同様の処理を行う。例えば、時間軸の伸縮が線形であると仮定できる場合には、視覚イベント統合手段１０２は、時間軸の線形な変化を組み込んで同様の処理を行う。すなわち、視覚イベント統合手段１０２は、以下の式（５）を最大化するα_１〜α_Ｎ、β_１〜β_Ｎを求める。

式（５）においても、αのスケール倍、βの定数シフトに対する自由度が残るため、例えばα_１＝１、β_１＝０として、他の値を求めるようにすればよい。時間軸の伸縮が線形モデルで表される場合には、このようにして時刻同期情報を算出することができる。ここで、α_ｉｔ＋β_ｉの部分に、より一般的な関数を用いることで、より複雑なモデルを用いる場合であっても同様に時刻情報を算出することができる。

また、視覚イベント検知情報が信頼度情報を含む場合は、その情報を重みとして反映させ、上述の処理を行う。例えば、イベント検知情報ｉの中に含まれる、時刻ｔ_{ｉ，ｊ，ｋ}、イベント種別ｊの検知の信頼度がρ_{ｉ，ｊ，ｋ}の場合、ρ_{ｉ，ｊ，ｋ}に相当する重みをイベント検知情報ｉのｇ_ｊ（ｔ−ｔ_{ｉ，ｊ，ｋ}）に乗じた値を用いて、イベント生起の尤度関数を求めるようにすればよい。

なお、Ｆ（β_１，…，β_Ｎ）またはＦ（α_１，…，α_Ｎ，β_１，…，β_Ｎ）を最大化する同期情報を求める際に、視覚イベント検知情報全体について計算を行わずに、いくつかのグループごとに上述の計算を行い、最後に全体で統合するようにしてもよい。例えば、扉が開くといったイベントは、扉が映っている映像に限って捉えることができる。従って、扉が映っている映像から生成された視覚イベント検知情報をグループ化することができる。このように、捉えることが可能な視覚イベントに応じて視覚イベント検知情報をグループ化する。そして、各グループ内で時刻同期情報を求めた後、グループ間で共通に捉えることが可能な視覚イベント、例えば、明るさの変化などの検知結果を用いてグループ間で時刻同期情報を合わせるようにしてもよい。

図３は、視覚イベント統合手段１０２の動作を示すフローチャートである。

視覚イベント統合手段１０２は、検知対象の視覚イベントに対して、イベント種別ごとに順番にイベント生起の尤度関数を算出する（ステップＳ１〜Ｓ３、Ｓ５）。

具体的には、まず、視覚イベント統合手段１０２は、最初のイベント種別を選択する（ステップＳ１）。次に、視覚イベント統合手段１０２は、選択したイベント種別について、上述の方法によって、イベント生起の尤度関数を算出する（ステップＳ２）。

視覚イベント統合手段１０２は、ステップＳ１において選択したイベント種別が、最後のイベント種別かどうかを判定する（ステップＳ３）。ここで、視覚イベント統合手段１０２は、最後のイベント種別でないときは（ステップＳ３のＮ）、次のイベント種別を選択し（ステップＳ５）、ステップＳ２の処理に戻る。最後のイベント種別のときは（ステップＳ３のＹ）、ステップＳ４の処理に進む。

視覚イベント統合手段１０２は、ステップＳ２において算出したイベント生起の尤度関数を用いて、式（３）のＦ（β_１，…，β_Ｎ）や式（５）のＦ（α_１，…，α_Ｎ，β_１，…，β_Ｎ）を最大化するα_ｉ（ｉ＝１〜Ｎ）やβ_ｉ（ｉ＝１〜Ｎ）を求め、時刻同期情報を算出する（ステップＳ４）。

以上に説明したように、本実施形態では、撮影中に自然と生じる様々な視覚イベントを検知し、それらの時刻をイベント種別ごとに、イベント生起の尤度を考慮して統合する。これにより、複数の映像間における時刻同期に必要な情報を生成することができる。

また、複数の映像を入力する映像入力装置に対して、映像とともに時刻同期情報算出装置が生成する時刻同期情報を入力することにより、複数の映像間について時刻同期をとることができる。従って、最初にカメラ間の時刻を合わせたときから各カメラの時刻がずれてしまった場合でも、時刻同期情報算出装置が生成する時刻同期情報を使用することにより、カメラ間で時刻を合わせ直すことなく、各カメラが撮影した映像間の時刻を同期させることができる。例えば、複数の監視カメラで撮影した映像間で時刻がずれていたとしても、映像間の同期をとることができる。

これにより、複数カメラで撮影した映像を連携させて人物や物体の位置を抽出することができる。このようにして抽出される位置情報は、例えば、人物の特定領域への侵入検知の用途に用いることができる。また、抽出した時系列の位置情報からなる人物動線を分析することにより、マーケティングや店舗レイアウトに関する情報を取得するシステムやサービスにも利用できる。また、工場や物流倉庫等において、作業員の動線を抽出して作業効率を分析するシステムやサービスにも利用することができる。

なお、本実施形態では、カメラで撮影した映像からリアルタイムに時刻同期情報を抽出する場合について説明したが、撮り貯めた複数のカメラからの映像をオフラインで処理して、時刻同期情報を抽出するようにしてもよい。

また、本実施形態では、視覚イベントを常に検知する場合について説明したが、時刻のずれが小さいことが予め分かっている場合には、間欠的に検出するようにしてもよい。すなわち、一度同期が取れたならば、しばらくは、視覚イベントの検知を行わず、一定時間経過してから再度同期をとるようにしてもよい。このように間欠的に実行することで、常に動作させる場合に比べ、時刻同期情報を抽出するのに要する電力を抑えることができる。

なお、オフラインで映像間の同期をとる場合には、映像を一定時間読み飛ばしてから、再度同期をとるようにすればよい。同期の処理を飛ばした映像区間については、前後の時刻同期情報から補間により求めることができる。

また、本実施形態では、視覚イベント検知手段１０１−１〜１０１−Ｎが検知した視覚イベントをもとに、複数のカメラ間で時刻の同期をとることを可能とする時刻同期情報を生成している。従って、特許文献１に記載されている装置のように、変調させた光を照射する照明装置など、特別な装置を用いる必要がなく、コストを低減させることができる。

以下に、視覚イベント検知手段１０１−１〜１０１−Ｎの詳細を説明する。

まず、視覚イベント検知手段の構成を説明する。

図４は、視覚イベント検知手段の構成の一例を示すブロック図である。図４に示すように、視覚イベント検知手段は、事象検知手段である、明るさ変化検知手段２０１と、人物姿勢変化・動作検知手段２０２と、特定物体状態変化検知手段２０３と、特定状態変化検知手段２０４とを含む。さらに、視覚イベント検知手段は、視覚イベント検知情報統合手段２１０を含む。

明るさ変化検知手段２０１は、映像を入力し、入力した映像をもとに明るさ変化検知情報を生成する。明るさ変化検知手段２０１は、生成した明るさ変化検知情報を視覚イベント検知情報統合手段２１０へ出力する。

人物姿勢変化・動作検知手段２０２は、映像を入力し、入力した映像をもとに人物姿勢変化・動作検知情報を生成する。人物姿勢変化・動作検知手段２０２は、生成した人物姿勢変化・動作検知情報を視覚イベント検知情報統合手段２１０へ出力する。

特定物体状態変化検知手段２０３は、映像を入力し、入力した映像をもとに特定物体状態変化検知情報を生成する。特定物体状態変化検知手段２０３は、生成した特定物体状態変化検知情報を視覚イベント検知情報統合手段２１０へ出力する。

特定状態変化検知手段２０４は、映像を入力し、入力した映像をもとに特定状態変化検知情報を生成する。特定状態変化検知手段２０４は、生成した特定状態変化検知情報を視覚イベント検知情報統合手段２１０へ出力する。

視覚イベント検知情報統合手段２１０は、入力した明るさ変化検知情報、人物姿勢変化・動作検知情報、特定物体状態変化検知情報および特定状態変化検知情報を統合し、視覚イベント検知情報を生成する。視覚イベント検知情報統合手段２１０は、生成した視覚イベント検知情報を出力する。

次に、明るさ変化検知手段２０１、人物姿勢変化・動作検知手段２０２、特定物体状態変化検知手段２０３、特定状態変化検知手段２０４および視覚イベント検知情報統合手段２１０の概要を説明する。

明るさ変化検知手段２０１は、入力した映像から画面全体、あるいは一部の領域の明るさを検知する。明るさの変化を生じさせる要因としては、室内の場合であれば、照明のＯＮ／ＯＦＦが挙げられる。この場合、画面全体の明るさが変化するため、明るさ変化検知手段２０１は、その変化を検知して出力する。

なお、特定のエリアの照明がＯＮ／ＯＦＦされる場合には、明るさ変化検知手段２０１は、そのエリアが映っている映像領域のみをもとにして、明るさの変化を検知してもよい。また、明るさ変化検知手段２０１は、ブラインドの開け閉めによる明るさの変化を検知してもよい。また、明るさ変化検知手段２０１は、雷や雲間から差し込む日差しなど、天候による明るさの変化を検知するようにしてもよい。

明るさ変化検知手段２０１は、明るさの変化を検知した結果を、明るさ変化検知情報として視覚イベント検知情報統合手段２１０へ出力する。明るさ変化検知情報は、明るさの変化が検知された時刻を含んだ情報である。なお、検知結果の信頼度に関する情報が明るさ変化検知情報とともに取得できる場合には、明るさ変化検知手段２０１は、この情報を明るさ変化検知情報に含めてもよい。また、局所的な明るさの変化、全体的な明るさの変化というように、明るさの変化の仕方が異なり、特定の映像のみで検知可能であるなど、検出結果に違いが生じ得る場合には、明るさ変化検知手段２０１は、これらを分類し、区別するためのイベント種別情報を、明るさ変化検知情報に含めるようにしてもよい。

人物姿勢変化・動作検知手段２０２は、入力した映像から人物領域を抽出し、人の姿勢や状態・動作の変化を検知する。検知対象となる姿勢や状態の変化としては、立っている状態からしゃがむ（座る）、しゃがんでいる（座っている）状態から立ち上がる、物を持ち上げるために屈む、何かに躓いて倒れるといった姿勢または状態の変化が挙げられる。なお、人物姿勢変化・動作検知手段２０２は、お辞儀をしたり、手を挙げたり、伸びをしたり、振り向いたりすることによって生じる姿勢の変化を検知してもよい。検知対象となる動作としては、一定の位置を通過する、物を手に取る、電話をかける、帽子をかぶる、歩き出すなど、様々なものが挙げられる。

なお、お辞儀などのように、姿勢の変化としても、動作としても捉えることが可能なものは、どちらに分類して処理を行ってもよい。

人物姿勢変化・動作検知手段２０２は、人の姿勢や状態の変化、動作を検知した結果を、人物姿勢変化・動作検知情報として視覚イベント検知情報統合手段２１０へ出力する。人物姿勢変化・動作検知情報は、人の姿勢や状態の変化、動作が検知された時刻と、検知した姿勢・状態の変化、動作を区別するイベント種別情報とを含む情報である。なお、検知結果の信頼度に関する情報が人物姿勢変化・動作検知情報とともに取得できる場合には、人物姿勢変化・動作検知手段２０２は、この情報を人物姿勢変化・動作検知情報に含めるようにしてもよい。

特定物体状態変化検知手段２０３は、入力した映像から特定の物の領域を抽出し、その特定物の状態の変化を検知する。検知対象となる特定物とその状態変化としては、扉（自動扉）の開閉、冷蔵・冷凍棚の扉の開閉、ディスプレイに映る映像切り替え、からくり時計などの定期的に状態が変化する物体の状態変化などが挙げられる。入力した映像が道路の監視映像である場合には、特定物体状態変化検知手段２０３は、信号機の変化を検知してもよい。この検知の詳細については後述する。

特定物体状態変化検知手段２０３は、特定の物の状態の変化を検知した結果を、特定物体状態変化検知情報として視覚イベント検知情報統合手段２１０へ出力する。特定物体状態変化検知情報は、特定の物の状態の変化が検知された時刻と、検知した特定の物の状態の変化を区別するイベント種別情報とを含む情報である。なお、検知結果の信頼度に関する情報が特定物体状態変化検知情報とともに取得できる場合には、特定物体状態変化検知手段２０３は、この情報を特定物体状態変化検知情報に含めるようにしてもよい。

特定状態変化検知手段２０４は、入力した映像から特定事象の発生を検知する。検知対象となる特定事象としては、物の落下や衝突、破損などが挙げられる。入力した映像が道路の監視映像である場合には、特定状態変化検知手段２０４は、信号の切り替わりによる車の流れの変化などを検知してもよい。

特定状態変化検知手段２０４は、特定の状態変化や特定事象の発生を検知した結果を、特定状態変化検知情報として視覚イベント検知情報統合手段２１０へ出力する。特定状態変化検知情報は、特定の状態変化や特定事象の発生が検知された時刻と、検知した特定の状態変化や特定事象を区別するイベント種別情報とを含む情報である。なお、検知結果の信頼度に関する情報が特定状態変化検知情報とともに取得できる場合には、特定状態変化検知手段２０４は、この情報を特定状態変化検知情報に含めてもよい。

視覚イベント検知情報統合手段２１０は、明るさ変化検知情報、人物姿勢変化・動作検知情報、特定物体状態変化検知情報および特定状態変化検知情報を統合し、視覚イベント検知情報を出力する。なお、視覚イベント検知情報統合手段２１０が行う統合は、各情報を多重化するレベルの統合でよい。視覚イベント検知情報統合手段２１０は、各情報を、時間順にソートして、視覚イベント検知情報へ格納するようにしてもよいし、一定時間ごとに、イベント種別単位でまとめて格納するようにしてもよい。

なお、視覚イベント検知手段１０１−１〜１０１−Ｎは、明るさ変化検知手段２０１、人物姿勢変化・動作検知手段２０２、特定物体状態変化検知手段２０３および特定状態変化検知手段２０４のすべてを含んでいなくてもよい。例えば、視覚イベント検知手段が、明るさ変化検知手段２０１および人物姿勢変化・動作検知手段２０２のみを含む場合には、視覚イベント検知情報統合手段２１０は、明るさ変化検知手段２０１および人物姿勢変化・動作検知手段２０２の出力結果のみを視覚イベント検知情報統合手段２１０で統合し、出力する。

次に、明るさ変化検知手段２０１、人物姿勢変化・動作検知手段２０２、特定物体状態変化検知手段２０３および特定状態変化検知手段２０４の構成および視覚イベント検知動作の詳細を説明する。

まず、明るさ変化検知手段２０１の構成を説明する。

図５は、明るさ変化検知手段２０１の構成の一例を示すブロック図である。図５に示すように、明るさ変化検知手段２０１は、フレーム間画素値差分算出手段３００と、画素値差分判別手段３０１とを含む。

フレーム間画素値差分算出手段３００は、入力した映像をもとに、フレーム間画素値差分情報を生成する。

画素値差分判別手段３０１は、生成されたフレーム間画素値差分情報から明るさ変化検知情報を生成する。

次に、明るさ変化検知手段２０１の動作を説明する。

フレーム間画素値差分算出手段３００は、映像を入力し、入力した映像のフレーム間の画素値差分を算出する。

なお、フレーム間画素値差分算出手段３００は、連続したフレーム間で差分を取るようにしてもよいし、数フレーム間をあけてフレーム間差分を算出するようにしてもよい。

また、フレーム間画素値差分算出手段３００は、画素ごとにフレーム間の画素値の差分を求めてもよいし、フレームを複数の領域に分割し、領域ごとに画素値の統計量（平均、合計、メディアン、最頻値など）間の差分を求めるようにしてもよい。なお、差分を求める画素や領域は画面全体であってもよいし、画面中の一部の領域のみであってもよい。また、フレーム間画素値差分算出手段３００は、フレーム全体で算出した画素値の統計量間の差分を求めるようにしてもよい。

フレーム間画素値差分算出手段３００は、算出結果をフレーム間画素値差分情報として画素値差分判別手段３０１へ出力する。

画素値差分判別手段３０１は、入力したフレーム間画素値差分情報をもとに、明るさ変化が起こったかどうかを判定する。

例えば、フレーム間画素値差分情報が画素ごとの差分情報である場合は、画素値差分判別手段３０１は、フレーム間画素値差分情報から取得した差分値、または、差分値から算出した絶対値の合計、平均、メディアンもしくは最頻値などの統計量が、所定の閾値を超えているかどうかによって明るさの変化が起こったかどうかを判定する。

なお、画素値差分判別手段３０１は、統計量を算出するときに用いる差分値に、画像全体のものを用いてもよいし、画像中の特定の領域のみの差分値を求めるようにしてもよい。例えば、鏡面反射等によって、全体的な明るさの変化がなくても頻繁に画素値が変化する領域がある場合には、画素値差分判別手段３０１は、この領域を除いた領域の画素値を対象として、統計量を算出すればよい。また、雷やブラインドの開け閉め、日差しの変化によって生じる明るさの変動を検出する際には、画素値差分判別手段３０１は、窓やブラインドに近い領域で、これらに起因する明るさの変動が起こった場合に画素値が変化しやすい領域のみについて、上述の統計量を算出し、明るさ変動の有無を判定するようにしてもよい。

フレーム間画素値差分情報が領域ごとの差分情報である場合は、画素値差分判別手段３０１は、同様に、領域ごとの差分値の統計量を算出し、算出した統計量が所定の閾値を超えているかどうかによって明るさの変化の有無を判定すればよい。

フレーム間画素値差分情報がフレーム全体の統計量の場合は、画素値差分判別手段３０１は、この統計量が所定の閾値を超えているかどうかによって明るさの変化の有無を判定すればよい。

画素値差分判別手段３０１は、明るさの変化を検知した場合には、検知した時刻情報を明るさ変化検知情報として、視覚イベント検知情報統合手段２１０に出力する。画素値差分判別手段３０１は、明るさ変動の有無の判定に用いた統計量がどの程度閾値を上回っているかを表す指標を、信頼度情報として明るさ変化検知情報に含めてもよい。

次に、人物姿勢変化・動作検知手段２０２の構成を説明する。

図６は、人物姿勢変化・動作検知手段２０２の構成の一例を示すブロック図である。図６に示すように、人物姿勢変化・動作検知手段２０２は、人物領域抽出手段３２０と、人物姿勢判別手段３２１と、人物姿勢変化・動作判別手段３２２とを含む。

人物領域抽出手段３２０は、入力した映像をもとに、人物領域情報を生成する。

人物姿勢判別手段３２１は、生成された人物領域情報を用いて人物姿勢情報を生成する。

人物姿勢変化・動作判別手段３２２は、生成された人物姿勢情報を用いて人物姿勢変化・動作検知情報を生成する。

次に、人物姿勢変化・動作検知手段２０２の動作を説明する。

人物領域抽出手段３２０は、映像を入力する。人物領域抽出手段３２０は、入力した映像から人物領域を抽出する。人物領域を抽出する処理は、様々な方法を用いて実現することができる。

人物領域抽出手段３２０は、例えば、入力した画像から静止している領域を抽出して背景画像を構築し、この画像との差分を算出して動物体を検出することにより、人物を抽出する方法を用いてもよい。この場合、動物体に人物以外のものが含まれないと仮定できる場合は、人物領域抽出手段３２０は、その動物体を人物領域とみなしてもよい。動物体に人物以外のものが含まれる場合は、人物領域抽出手段３２０は、得られた個々の動物体領域に対して人物かどうかの判定を行い、人物領域を抽出する。この判定は、人物領域の特徴を学習した識別器を用いて行うことができる。

また、人物領域抽出手段３２０は、入力される画像と背景画像との差分をとらずに、画像中から直接人物領域を抽出する方法を用いてもよい。例えば、頭部領域や顔、上半身などの人体の特徴を学習した識別器を用いて人物領域の一部を検出し、その検出結果から人物領域を求める方法がある。その場合、人物領域抽出手段３２０は、頭部や顔を検知した領域から下方に一定の領域を人物領域として取得する。そして、人物領域抽出手段３２０は、取得した人物領域を表す情報を人物領域情報として生成する。人物領域情報は、例えば、人物領域を囲む矩形の左上と右下の点の座標である。

人物領域情報は、背景差分によって求まる領域のシルエットを表す情報であってもよい。その場合は、ＭＰＥＧ−４のビデオ符号化で標準化されている領域形状の記述方式や、ＭＰＥＧ−７で標準化されている領域形状の記述方式を用いて人物領域情報を表すようにしてもよい。人物領域抽出手段３２０は、取得した人物領域情報を、人物姿勢判別手段３２１へ出力する。

人物姿勢判別手段３２１は、入力した人物領域情報をもとに、人物領域に含まれる人物の特定の姿勢を判別する。人物姿勢判別手段３２１は、例えば、特定の人物姿勢を学習した識別器を用いて、人物の特定の姿勢を判別する。例えば、座っている姿勢の判定をする場合には、人物姿勢判別手段３２１は、予め人物姿勢として座った人の特徴を学習した識別器を用いて、人物領域に含まれる人物が座っているか否かを判別する。判別する姿勢が複数ある場合には、人物姿勢判別手段３２１は、個々の姿勢の特徴を学習した識別器を用いて判定するようにすればよい。

人物姿勢判別手段３２１は、人物の特定の姿勢の判別を人物領域情報に含まれる各人物領域に対して行い、判定結果を人物姿勢情報として生成する。人物姿勢判別手段３２１は、生成した人物姿勢情報を人物姿勢変化・動作判別手段３２２へ出力する。

人物姿勢変化・動作判別手段３２２は、人物姿勢情報に含まれる個々の人物の姿勢が、特定の変化を示したかどうかを判定する。例えば、立っている状態から座っている状態に変化した場合には、人物姿勢変化・動作判別手段３２２は、その変化した時刻を示す情報を、人物姿勢変化・動作検知情報として視覚イベント検知情報統合手段２１０に出力する。この際、人物姿勢変化・動作判別手段３２２は、変化の検知の信頼度情報を同時に取得できる場合には、取得した信頼度情報を人物姿勢変化・動作検知情報に含めてもよい。

次に、人物姿勢変化・動作検知手段の他の構成例を説明する。

図７は、人物姿勢変化・動作検知手段の他の構成例を示すブロック図である。図７に示すように、人物姿勢変化・動作検知手段２１２は、人物領域抽出手段３２０と、特定動作判別手段３３１とを含む。

特定動作判別手段３３１は、人物領域抽出手段３２０が入力した人物領域情報を用いて人物姿勢変化・動作検知情報を生成する。

次に、人物姿勢変化・動作検知手段２１２の動作を説明する。

人物領域抽出手段３２０は、映像を入力する。人物領域抽出手段３２０は、入力した映像から取得した人物領域情報を特定動作判別手段３３１へ出力する。

特定動作判別手段３３１は、入力した人物領域情報をもとに、人物領域に含まれる人物の特定動作を判別する。特定動作判別手段３３１は、例えば、人物の特定の動作の特徴を学習した識別器を用いて、人物の特定動作を判別する。例えば、手を挙げる動作を判定する場合には、特定動作判別手段３３１は、手を挙げる映像区間の特徴を学習した識別器を用いて判別する。識別器は、画像そのものから手を挙げる動作の特徴を抽出して判別する機能を備えていてもよいし、人間の形状を表すモデルを当てはめ、当てはめたモデルの各部位の相対関係の時間変化から、手を挙げる動作を判別する機能を備えていてもよい。

なお、特定動作判別手段３３１が判別する特定動作は、手を挙げる動作に限らず、他の動作であってもよい。また、「特定の位置（例えば、床等に引いた基準線）を越える」、「歩き出す」のように、人物の位置の変化のみから判別可能な特定動作については、特定動作判別手段３３１は、人物の位置の変化から判別するようにしてもよい。例えば、自動扉のところを通過したかどうかを判別する場合には、特定動作判別手段３３１は、足元位置や頭部位置などの体の特定の部位が通過したかどうかを判定すればよい。

特定動作判別手段３３１は、特定動作が検知された場合には、その検知した時刻を示す情報を人物姿勢変化・動作検知情報として、視覚イベント検知情報統合手段２１０に出力する。この際、特定動作判別手段３３１は、動作の検知の信頼度情報を同時に取得できる場合には、取得した信頼度情報を人物姿勢変化・動作検知情報に含めてもよい。

次に、特定物体状態変化検知手段２０３の構成を説明する。

図８は、特定物体状態変化検知手段２０３の構成の一例を示すブロック図である。図８に示すように、特定物体状態変化検知手段２０３は、特定物体領域抽出手段３４１と、特定物体状態変化判別手段３４２とを含む。

特定物体領域抽出手段３４１は、入力した映像をもとに、特定物体領域情報を生成する。

特定物体状態変化判別手段３４２は、生成された特定物体領域情報を用いて特定物体状態変化検知情報を生成する。

次に、特定物体状態変化検知手段２０３の動作を説明する。

特定物体領域抽出手段３４１は、映像を入力する。特定物体領域抽出手段３４１は、入力した映像から特定の物体領域を検出する。例えば、特定物体が扉や自動扉の場合には、特定物体領域抽出手段３４１は、その領域を検知する。

特定物体領域抽出手段３４１は、特定物体の領域（以下、特定物体領域という。）の検知を行う。特定物体領域抽出手段３４１は、例えば、特定物体の特徴を学習した識別器を用いて、特定物体領域の検知を行う。特定物体領域抽出手段３４１は、検知した領域を表す情報を、特定物体領域情報として特定物体状態変化判別手段３４２へ出力する。特定物体領域情報は、人物領域情報と同様の記述方式で表すことができる。なお、特定物体が常時画面内の固定の位置にある場合には、ユーザが、その位置を示す情報を、予め特定物体領域情報に格納するようにしてもよい。

特定物体状態変化判別手段３４２は、入力した特定物体領域情報が示す特定物体領域内の特定物体の状態の変化を判別する。特定物体状態変化判別手段３４２は、例えば、特定物体の状態変化の特徴を学習した識別器を用いて、特定物体の状態の変化を判別する。特定物体状態変化判別手段３４２は、例えば、扉や自動扉の開閉の判別する場合には、扉が閉まっている状態、開いている状態を学習した識別器を用いて、扉や自動扉の開閉を判別する。

なお、特定物体状態変化判別手段３４２は、識別器を用いずに、扉の縁領域を抽出し、抽出した領域の動きを解析して、扉の開閉を判定するようにしてもよい。具体的には、特定物体状態変化判別手段３４２は、扉の縁領域が、扉が閉まっている状態に存在する位置から移動し始めたことを検知したときに、扉が開いたと判定する。

また、特定物体がディスプレイのように、特定部分の画素値を変化させる状態変化を伴う場合には、特定物体状態変化判別手段３４２は、その特定部分の画素値情報を抽出し、これが特定の映像のものと一致するかどうかを判定して、状態変化を検知してもよい。

また、特定物体状態変化判別手段３４２は、定期的にブラックフレームや特定の色のフレームが表示される場合には、それらを検知するようにしてもよい。

また、特定物体状態変化判別手段３４２が、単にショットの切り変わり目を状態変化として検知するようにしてもよい。例えば、特定物体が信号機の場合には、特定物体状態変化判別手段３４２は、特定部分（信号部分）の画素値の変化を検知するようにすればよい。

また、特定物体がからくり時計のように、通常止まっている部分が定期的に動き出す状態変化を伴う場合には、特定物体状態変化判別手段３４２は、その動く部分の動きを検出し、状態変化を検知してもよい。ここで、動きの検知には、フレーム間差分やオプティカルフローによる検出のほか、既存の様々な方式を用いることができる。

特定物体状態変化判別手段３４２は、特定物体の特定の状態変化を検知した場合には、その検知した時刻を示す情報を、特定物体状態変化検知情報として視覚イベント検知情報統合手段２１０に出力する。この際、特定物体状態変化判別手段３４２は、状態変化の検知の信頼度情報を同時に取得できる場合には、取得した信頼度情報を特定物体状態変化検知情報に含めてもよい。

次に、特定状態変化検知手段２０４の構成を説明する。

図９は、特定状態変化検知手段２０４の構成の一例を示すブロック図である。図９に示すように、特定状態変化検知手段２０４は、動物体領域抽出手段３６０と、特定状態変化判別手段３６１とを含む。

動物体領域抽出手段３６０は、入力した映像をもとに、動物体領域情報を生成する。

特定状態変化判別手段３６１は、生成された動物体領域情報を用いて特定状態変化検知情報を生成する。

次に、特定状態変化検知手段２０４の動作について説明する。

動物体領域抽出手段３６０は、映像を入力する。動物体領域抽出手段３６０は、入力した映像から動物体領域を抽出する。動物体領域抽出手段３６０は、抽出した動物体領域を表す動物体領域情報を、特定状態変化判別手段３６１へ出力する。抽出処理には、上述の背景差分に基づく方式を用いてもよいし、既存の動物体領域を抽出する様々な方法を用いてもよい。動物体領域情報は、上述の人物領域情報の場合と同様の記述方式で表すことができる。

特定状態変化判別手段３６１は、入力した動物体領域情報が示す動物体領域に含まれる動物体の特定の状態変化を検知する。

例えば、特定の状態変化が物の落下である場合には、特定状態変化判別手段３６１は、動物体の中で落下しているものがないかどうかを検知する。具体的には、特定状態変化判別手段３６１は、個々の動物体の動きを解析し、鉛直下方向に移動している動物体を検知することによって、その動物体が落下したか否かを判定する。動物体の動きの検知には、オプティカルフローに基づく方式など、既存の様々な方式を用いることができる。

また、特定の状態変化が物同士の衝突である場合には、特定状態変化判別手段３６１は、複数の動物体領域の衝突を検知する。特定状態変化判別手段３６１は、離れている複数の動物体領域が近づいて、最終的に同じ位置で結合する状態を検知すればよい。特定状態変化判別手段３６１は、動物体領域の結合を検知するために、動物体領域をフレーム間で追跡し、位置を算出する。動物体領域の追跡には、既存の様々な追跡方式を用いることができる。

また、映像が道路の監視映像である場合には、特定状態変化判別手段３６１は、車が止まっている状態から動き出したことを検知してもよい。この場合、特定状態変化判別手段３６１は、動物体領域の動きを解析することによって、車が動き出したことを検出することができる。

特定状態変化判別手段３６１は、特定の状態変化を検知した場合には、その検知した時刻を示す情報を特定状態変化検知情報として出力する。この際、特定状態変化判別手段３６１は、状態変化の検知の信頼度情報を同時に取得できる場合には、取得した信頼度情報を特定状態変化検知情報に含めてもよい。

この出願は、２０１１年１２月１９日に出願された日本特許出願２０１１−２７７１５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 時間関数生成手段
２ 撮影手段
３ 特徴量算出手段
４ 時間相関算出手段
５ 照明手段
８ 被写体
１００−１〜１００−Ｎ 映像取得手段
１０１−１〜１０１−Ｎ 視覚イベント検知手段
１０２ 視覚イベント統合手段
２０１ 明るさ変化検知手段
２０２、２１２ 人物姿勢変化・動作検知手段
２０３ 特定物体状態変化検知手段
２０４ 特定状態変化検知手段
２１０ 視覚イベント検知情報統合手段
３００ フレーム間画素値差分算出手段
３０１ 画素値差分判別手段
３２０ 人物領域抽出手段
３２１ 人物姿勢判別手段
３２２ 人物姿勢変化・動作判別手段
３３１ 特定動作判別手段
３４１ 特定物体領域抽出手段
３４２ 特定物体状態変化判別手段
３６０ 動物体領域抽出手段
３６１ 特定状態変化判別手段

Claims (10)

1. 映像を取得する複数の映像取得手段と、
   前記複数の映像取得手段に対応して設けられ、前記複数の映像取得手段が取得した映像を分析して視覚イベントを検知し、前記視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成する複数の視覚イベント検知手段と、
   前記複数の視覚イベント検知手段が生成した視覚イベント検知情報を統合し、前記複数の映像取得手段が取得した各映像の時刻間の同期をとるための時刻同期情報を生成する視覚イベント統合手段とを備えた
   ことを特徴とする時刻同期情報算出装置。
2. 視覚イベント統合手段は、
   複数の視覚イベント検知手段がそれぞれ入力した視覚イベント検知情報をもとに、検知された視覚イベントが生じた尤度を時間の関数として表すイベント生起の尤度関数を求め、
   各視覚イベント検知情報に対応するイベント生起の尤度関数を時間軸方向に補正した値が最大となる時間軸方向の補正量を算出し、算出した補正量を含む時刻同期情報を生成する
   請求項１に記載の時刻同期情報算出装置。
3. 視覚イベント統合手段は、
   検知時刻の尤度を反映した関数をイベント種別ごとに記憶し、
   各視覚イベントの検知時刻と、前記関数とをもとに、イベント生起の尤度関数を生成する
   請求項２に記載の時刻同期情報算出装置。
4. 視覚イベント統合手段は、
   視覚イベント検知情報から視覚イベントの検知の信頼度を取得し、
   検知時刻の尤度を反映した関数に、前記視覚イベントの検知の信頼度を乗じ、
   各視覚イベントの検知時刻と、前記視覚イベントの検知の信頼度を乗じた前記関数とをもとに、イベント生起の尤度関数を生成する
   請求項３に記載の時刻同期情報算出装置。
5. 視覚イベント検知手段は
   視覚イベントを検知する１つまたは複数の事象検知手段と、
   前記事象検知手段の検知結果を統合し、統合した前記検知結果を視覚イベント検知情報として出力する視覚イベント検知結果統合手段とを含む
   請求項１から請求項４のうちのいずれか１項に記載の時刻同期情報算出装置。
6. 事象検知手段が、
   入力される映像から明るさの変化を視覚イベントとして検知する明るさ変化検知手段、入力される映像中の人物の姿勢の変化または動作を視覚イベントとして検知する人物姿勢変化・動作検知手段、入力される映像から特定の物体の状態変化を視覚イベントとして検知する特定物体状態変化検知手段および入力される映像から特定の状態や事象の発生を視覚イベントとして検知する特定状態変化検知手段のうちのいずれかである
   請求項５に記載の時刻同期情報算出装置。
7. 複数の映像を入力し、
   入力した前記複数の映像を分析して視覚イベントを検知し、
   前記視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成し、
   生成した前記視覚イベント検知情報を統合し、前記複数の映像の時刻間の同期をとるための時刻同期情報を生成する
   ことを特徴とする時刻同期情報算出方法。
8. 視覚イベント検知情報をもとに、検知された視覚イベントが生じた尤度を時間の関数として表すイベント生起の尤度関数を求め、
   各視覚イベント検知情報に対応するイベント生起の尤度関数を時間軸方向に補正した値が最大となる時間軸方向の補正量を算出し、算出した補正量を含む時刻同期情報を生成する
   請求項７に記載の時刻同期情報算出方法。
9. コンピュータに、
   複数の映像を入力する処理と、
   入力した前記複数の映像を分析して視覚イベントを検知し、前記視覚イベントの検知時刻を示す情報を含む視覚イベント検知情報を生成する視覚イベント検知処理と、
   生成した前記視覚イベント検知情報を統合し、前記複数の映像の時刻間の同期をとるための時刻同期情報を生成する視覚イベント統合処理とを実行させる
   ための時刻同期情報算出プログラム。
10. コンピュータに、
    視覚イベント統合処理で、
    入力した視覚イベント検知情報をもとに、検知された視覚イベントが生じた尤度を時間の関数として表すイベント生起の尤度関数を求める処理と、
    各視覚イベント検知情報に対応するイベント生起の尤度関数を時間軸方向に補正した値が最大となる時間軸方向の補正量を算出し、算出した補正量を含む時刻同期情報を生成する処理とを実行させる
    請求項９に記載の時刻同期情報算出プログラム。

Images