JP4496992B2 - 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 - Google Patents

Description

本発明は、動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体に係り、特に、映像構造化技術において映像の代表画像を生成するための動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体に関する。

第１の従来の技術として、編集やカメラのオン・オフによって生じる映像の変化点（カット点）を検出し、その画像をユーザに提示する映像概覧生成技術がある（例えば、非特許文献１参照）。

第２の従来の技術として、検出すべき物体を事前に学習しておき、その物体の色特徴量を記憶し、その特徴量と映像中の該特徴量とをマッチングすることにより、特定の物体が存在する画像領域を検出する技術がある。この技術は、領域がわかるので物体の大きさ、位置を算出することが可能である（例えば、特許文献１参照）。また、この他にも事前に記憶された色特徴、形状特徴の類似特徴を映像中から探し出し、注目する物体として提示する技術は種々存在する。
谷口、外村、浜田「映像ショット切換え検出方法とその映像アクセスインタフェースへの応用」電子情報通信学会論文誌、D-II Vol.J79-D-II No.4. pp.538-546 Apr. 1996 特開平１０−２４７２４６号公報

しかしながら、上記従来の技術には以下のような問題点がある。

第１の従来技術に関する課題として、
（ａ）テレビ番組等の映像では、カット点画像は一つの映像に対し、非常に多くなり、見難くなる。また、個人撮影映像などカット点のほとんどない映像に対しては有効でない。

（ｂ）また、カット点画像に映像内容として有意なものが写っていないことがある。

また、第２の従来技術に関する課題として、
（ｃ）ユーザの指定した、あるいは、事前に記憶されている特定の物体しか検出することができない。

（ｄ）物体の色特徴量や形状特徴は撮影時の物体の動きによって見た目上の変化が起こり易くそれらの特徴量では検出できなくなることがある。また、見た目上の変化に対応するためには多数のテンプレートを用意する必要があり、それらを総当り的に比較する計算コストは比較的高い。

本発明は、上記の点に鑑みなされたもので、被写体の種類に関わらず、動物体が大きく写っている動物体アップフレームの映像時刻を精度よく検出でき、映像概覧提供及び映像ダイジェストに利用可能なインデックスを提供することが可能な、動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、映像が記憶されている映像記憶手段から動物体が比較的大きく写っている映像フレーム画像（動物体アップフレーム画像）を検出する動物体アップフレーム検出装置における、動物体アップフレーム検出方法において、
映像記憶手段から読み込まれた複数のフレーム画像を用いて動きベクトルを算出し、メモリに格納する動きベクトル算出手順（ステップ１）と、
メモリから動きベクトルを取得して、カメラワークパラメータを算出してパラメータ記憶手段に格納するカメラワークパラメータ算出手順（ステップ２）と、
パラメータ記憶手段からカメラワークパラメータを取得して、該カメラワークパラメータの時間変化量が閾値以上か否かにより、該カメラワークパラメータが異常か否かを判定するカメラワークパラメータ異常判定手順（ステップ３）と、
カメラワークパラメータ異常判定手順（ステップ３）において、カメラワークパラメータが異常でないと判定された場合に、
パラメータ記憶手段から前記カメラワークパラメータを取得し、動きベクトル算出手順（ステップ１）において動きベクトルを算出する際に用いたフレーム画像の単位のうち、その画像単位の動きベクトルとカメラワークパラメータとのずれが閾値以上のフレーム画像の単位の数を計算し、その画像単位の数の割合あるいは重み付き和の値に基づいて動物体アップフレームを検出し、該動物体アップフレームの映像時刻をアップフレーム記憶手段に格納する動物体アップフレーム判定手順（ステップ４）を行う。

上記の請求項１では、動きベクトルを算出し、それがカメラワークモデルに則しているかどうかを判定することで、カメラワークモデルに則さない動きをしている動物体が大きく写っているかどうか判定することができる。すなわち、カメラワークモデルを例えば、平行移動モデルとしたとき、動物体の映像上の動きは、その動きモデルに則していないことが多い。特に、動物体が大きく写っている場合は、その物体上に現れる動きは物体の奥行き方向の大きさの影響を受けやすくなり、カメラワークモデルに則さない動きとなる。本発明はこれを動きベクトルのばらつき度合等で検出することで動物体アップフレーム検出を行うことができる。
また、カメラワークモデルに則するかどうかの判定を、カメラワークモデルを表すカメラワークパラメータを算出し、その異常を判定することでカメラワークモデルに則さないことを判定することにより、動物体アップフレームを検出できる。
また、カメラワークモデルに則しており、上記の手法によりカメラワークパラメータが算出できた場合には、動きベクトルを算出する画像単位の動きを検出し、算出されたカメラワークパラメータとのずれを算出し、そのずれが大きな画像単位の数の割合が大きいか判定することで動物体アップフレームを検出できる。なぜなら、ずれの大きな画像単位は動物体の一部となっている画像単位と考えられるから、その画面に占める割合でアップかどうか検出可能だからである。その画面に占める割合を各画像単位の重みとして付与し、その総和で量ってもよいし、その数で量ってもよい。

また、本発明（請求項２）は、動きベクトル算出手順（ステップ１）の前に、映像記憶手段から読み込まれたフレーム画像のカット点を検出する処理を行い、該カット点が検出されなかった場合には、該動きベクトル算出手順の処理に移行するカット点検出手順を更に行う。

上記の請求項２では、カット点においてもカメラワークモデルに則さない動きベクトルが発生し、カット点において動物体アップショットが誤検出されることを解決するため、既存手法によりカット点検出を行い、カット点前後では動物体アップフレームの検出を行わないことで、誤検出を抑え、動物体アップフレームの検出精度を向上させることが可能となる。

本発明（請求項３）は、映像が記憶されている映像記憶手段から動物体が比較的大きく写っている映像フレーム画像（動物体アップフレーム画像）を検出する動物体アップフレーム検出プログラムであって、
複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、上記の請求項１または２記載の動物体アップフレーム検出方法を実現するための処理を実行させるプログラムである。

本発明（請求項４）は、映像が記憶されている映像記憶手段から動物体が比較的大きく写っている映像フレーム画像（動物体アップフレーム画像）を検出する動物体アップフレーム検出プログラムを格納した記憶媒体であって、
複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、上記の請求項１または２記載の動物体アップフレーム検出方法を実現するための処理を実行させるプログラムを格納した記憶媒体である。

本発明（請求項５）は、映像が記憶されている映像記憶手段から動物体がアップで写っている映像区間（動物体アップショット）を検出する動物体アップショット検出装置における、動物体アップショット検出方法において、
請求項１または２記載の動物体アップフレーム検出方法の手順に、さらに、検出された動物体アップフレームを時系列に記憶手段に蓄積し、時間的まとまりを算出する映像区間算出手順を追加する。

上記の請求項５では、検出された動物体アップフレームを映像区間にまとめることにより、動物体が大きく写っている映像区間を作成することができ、ダイジェスト的な映像区間閲覧のためのインデックスを利用者に提供することもできる。

本発明（請求項６）は、映像が記憶されている映像記憶手段から動物体がアップで写っているフレーム、あるいは、映像区間（動物体アップショット）を検出する動物体アップフレームあるいは、ショット検出装置における、動物体アップフレームあるいは、ショット検出方法において、
請求項１または２記載の動物体アップフレーム検出方法の手順、または、請求項５記載の動物体アップショット検出方法の手順に、動きベクトル算出手順に利用する複数フレーム選択を、その算出される動きを用いて行う映像入力更新手順を追加する。

上記の請求項６では、アップフレームを検出する処理フレーム間隔を、動物体の大きさや画像の対応の良さなどの指標を用いて可変にすることで、アップフレーム検出精度の向上及び処理速度の向上が見込める。

本発明（請求項７）は、映像が記憶されている映像記憶手段から動物体がアップで写っている映像区間（動物体アップショット）を検出する動物体アップショット検出プログラムであって、
複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、請求項５または６記載の動物体アップショット検出方法を実現させるための処理を実行させるプログラムである。

本発明（請求項８）は、映像が記憶されている映像記憶手段から動物体がアップで写っている映像区間（動物体アップショット）を検出する動物体アップショット検出プログラムを格納した記憶媒体であって、
複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、請求項５または６記載の動物体アップショット検出方法を実現させるための処理を実行させるプログラムを格納した記憶媒体である。

上記のように、本発明では、映像中の動いている物体（動物体）が、見る者が注目する重要な物体であると考え、動物体が比較的大きく写っている映像フレーム（動物体アップフレーム画像）の映像時刻（または、映像区間）を自動検出し、当該映像時刻に基づいて映像を取得し、利用者へ一覧提示することを可能にするものである。

本発明では、ショット全てを提示するのではなく、動物体アップフレームが検出されたショット（動物体アップショット）に限定し、１ショットに対して１枚程度の動物体アップフレーム画像を提示することで、提示するフレーム画像を減らすことができる。

また、カット点のほとんどない映像の場合であっても、検出される動物体アップフレームの時間間隔等により、それらを区間にまとめて、その区間単位で任意の１枚の代表映像を提示することができる。

これらにより、前述の問題（ａ）が解消される。

また、映像に動物体があることを動きにより検出するので、その検出フレーム内に動物体が存在していることが保証される。これにより、前述の問題（ｂ）が解決される。

また、動き情報により物体を特定しない動物体アップフレーム検出を行うことにより、前述の問題（ｃ）が解決される。

さらに、動き情報を用いて動物体アップフレーム画像を検出することで、動物体の見た目の形状変化や色変化に頑強に動物体アップフレームを検出することができるので、前述の問題（ｄ）が解決される。

本発明によれば、被写体の種類に関わらず、動いている物体が大きく写っている動物体アップフレームの映像時刻を精度よく検出することができる。

また、動物体アップフレームを映像区間としてまとめて、インデックスとして利用することが可能である。つまり、映像概覧提供、及び、映像の飛ばし見る際に利用可能なインデックスの提供が可能になる。

他にも特定の物体を比較的計算コストの高い物体検出・認識などの既存技術にて検出・認識を行うための前処理として、本発明の動物体アップフレーム検出を行い、その検出された動物体アップフレームにのみ検出・認識を行うことにより、被写体の特定のための計算時間を削減する利用方法も可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図２は、本発明の一実施の形態における装置構成図である。

同図に示す検出装置は、映像記憶部１０、映像入力部２０、カット点検出部３０、動きベクトル算出部４０、カメラワークモデル適合判定部５０、映像区間算出部６０、パラメータ記憶リスト７０、アップフレーム時刻記憶リスト８０から構成される。

上記の映像記憶部１０、パラメータ記憶リスト７０、アップフレーム時刻記憶リスト８０は、ディスク装置等の記憶媒体に格納されているものとする。

カメラワークモデル適合判定部５０は、カメラワークパラメータ算出部５１、カメラワークパラメータ異常判定部５２、動物体アップフレーム判定部５３から構成される。

映像入力部２０は、映像記憶部１０から映像データを読み出し、指定した時刻のフレーム画像を出力する。オペレータから入力装置（図示せず）を介して時刻情報（映像時刻）が入力されると、その映像時刻に対応するフレーム画像を映像記憶部１０から取得することができる。また、映像入力部２０は、現在の参照フレーム時刻を次の処理対象フレーム時刻として指定し、次の参照フレームの時刻を指定して、映像記憶部１０から映像データを処理対象フレーム画像（１枚）、参照フレーム画像（複数枚可）として読み出す。

カット点検出部３０は、映像入力部２０から複数の時刻のフレーム画像とその時刻情報が入力されると、その中に含まれるカット点を検出し、カット点が存在する映像時刻をメモリ（図示せず）に出力する。カット点が存在しない場合は負の時刻を出力するなど、実際に存在しない時刻を出力する。動作の詳細については第２の実施の形態において説明する。

動きベクトル算出部４０は、映像入力部２０から複数の時刻のフレーム画像が入力されると、既定の２つのフレーム画像間の動きベクトルを算出し、カメラワークモデル適合判定部５０で利用されるまで当該動きベクトルをメモリに保持する。動作の詳細については第１の実施の形態において説明する。

カメラワークモデル適合判定部５０は、カメラワークパラメータを算出するカメラワークパラメータ算出部５１、算出されたカメラワークパラメータが異常かどうかを判定するカメラワークパラメータ異常判定部５２、カメラワークパラメータが正常である場合に更に動物体アップフレームかどうかを判定する動物体アップフレーム判定部５３を有する。

カメラワークパラメータ算出部５１は、動きベクトル算出部４０で算出された動きベクトルからカメラワークパラメータを算出し、パラメータ記憶リスト７０に格納する。動作の詳細については第１の実施の形態で説明する。

カメラワークパラメータ異常判定部５２は、カメラワークパラメータ算出部５１で算出されたカメラワークパラメータと、パラメータ記憶部７０から算出されているカメラワークパラメータを取得して、所定のカメラワークモデルに則しているかを判定する。動作の詳細については第１の実施の形態で説明する。

動物体アップフレーム判定部５３は、カメラワークパラメータ異常判定部５２においてカメラワークモデルに則していると判定されたカメラワークパラメータについて、動物体アップフレームかどうかを判定し、動物体アップフレームが検出された場合に、その映像時刻等を出力する。動作の詳細については第３の実施の形態で説明する。

映像区間算出部６０は、動物体アップフレーム判定部５３から動物体アップフレームの時刻が入力されると、映像区間にまとめてその区間の始点・終点の時刻を出力する。当該映像区間算出部６０の出力は、算出された動物体アップフレーム時刻や区間である。

以下に、上記の構成における種々の動作を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における動作のフローチャートである。

ステップ１０１） 初期フレーム入力手順：
本ステップは、映像入力部２０において実行される手順であり、映像記憶部１０に記憶されている処理対象の画像から当該映像から処理開始位置のフレーム画像（処理対象フレーム画像）と、その後の、動きを参照するためのフレーム画像（参照フレーム画像）とを読み込む。このとき、フレーム画像は時系列順に読み込むものとする。処理対象フレーム画像の初期位置は、映像初期フレームなど任意に決定可能である。また、参照フレーム画像の選び方は処理対象フレームから一定フレーム後のフレーム画像などとする。

ステップ１０２） 動きベクトル算出手順：
本ステップは、動きベクトル算出部４０において実行される手順であり、初期フレーム入力手順あるいは、後述する映像入力更新手順において、入力または更新された処理対象フレーム画像と参照フレーム画像を入力し、画像の局所的非類似度を用いて、その間の動きベクトルを算出してメモリに出力する。動きベクトルの参照方法としては、既存技術のブロックマッチングや、「Jianbo Shi, et al, “Good Features to Track”,IEEE CVPR94, pp.593-600, 1994」（以下、文献1と記す）に記載されている特徴点追跡技術など種々の技術を利用することができる。

１つの動きベクトルを算出する画像の単位を、以下では単に画像単位と略記する。例えば、ブロックマッチングでの画像単位は画像ブロックを指し、また、特徴点追跡における画像単位は特徴点である。ここでは、例として上記の文献１に記載されている特徴点追跡技術を用いた動きベクトル算出手順を利用するものとする。

また、各動きベクトル算出技術において、画像単位同士の非類似度が一定以上である場合には、消失した画像単位として動きベクトルを算出しない。

ステップ１０３） カメラワークモデル適合判定手順：
当該カメラワークモデル適合判定手順は、カメラワークモデル適合判定部５０において、ステップ１０２で算出され、メモリに格納されている動きベクトルを取得して、動きベクトルが所定のカメラワークモデルに則しているかを判定する手順である。例えば、カメラワークモデルを平行移動と定義したときは、ステップ１０２で算出された動きベクトルの分散値が大きな時をカメラワークに則さない場合であると判定することができる。

また、カメラワークモデルを２次元射影変換モデルなどとし、動きベクトルを用いてカメラワークパラメータを算出し、その値が異常な値かどうかで、カメラワークモデルに則しているかどうかを判定することもできる。

ここでは、例として後者の例を採用して詳細に説明する。

以下、動きベクトルからカメラワークパラメータを算出するカメラワークパラメータ算出手順と、算出されたカメラワークパラメータからその値の異常を検出するカメラワークパラメータ異常判定手順とを順に説明する。

ステップ１０３−１）カメラワークパラメータ算出手順は、カメラワークパラメータ算出部５１において実行される手順であり、ステップ１０２の動きベクトル算出手順において算出された動きベクトルを入力し、カメラワークモデルに当てはめてカメラワークパラメータを算出し、出力する。ここで用いるカメラワークモデルの例として式（１）のようなモデルを利用する。２次元射影変換行列などカメラワークモデルとして利用できるほかの行列を用いても勿論よい。このモデルにおけるカメラワークパラメータは（ａ１，ａ２，ａ３，ａ４）の４つの値のセット（パラメータセット）である。カメラワークパラメータ算出の手法は、文献１に記載の手法が利用可能である。例えば、動き算出にブロックマッチングを用いた場合は、画像単位である画像ブロックの中心座標を特徴と見なすことで、特徴点追跡におけるカメラワークパラメータ算出を利用することができる。すなわち、算出された動きベクトルとその代表点座標を足し合わせて対応点を算出することで点対応を算出すれば、後は、特徴点追跡による手法である「譲田他、「移動ビデオカメラ画像からの運動物体の抽出」、情報処理学会、研究報告、2004-CVIM-143 Mar. 2004」（以下、文献２と記す）の２フレーム間の軌跡を利用した手法により、特徴点をモデルに当てはまる点（背景点）とそれ以外の点に分類し、背景点の動きを利用することで、式（１）のカメラワークパラメータの算出を実行できる。また、他の方法として特徴点の軌跡を用いて式（１）の方程式を解く任意の手法で各カメラワークパラメータを算出することが可能である。

（但し、ｘ，ｙの原点は画像中心座標とする。）
ステップ１０３−２） カメラワークパラメータ異常判定手順：
カメラワークパラメータ異常判定手順は、カメラワークパラメータ異常判定部５３において実行される手順であり、上記で算出されたカメラワークパラメータを入力してその値を検証し、そのカメラワークパラメータが異常かどうかを判定することでカメラワークモデルに則している動きベクトルであるかどうかを判定する手順である。ここで、カメラワークモデルに則していないと判定される場合は、以下の２つの場合である。

（1）上記カメラワークパラメータ算出手順において、カメラワークパラメータが算出できなかった場合。

この場合は、算出されている動きベクトルの全てがカメラワークモデルに則していなかったと判定でき、画像全体としてカメラワークモデルに則していないといえる。

（２）算出されたパラメータセットの時間変化量が閾値以上の場合。

つまり、一つ前で算出されパラメータ記憶リスト７０に格納されているパラメータセットと現算出のパラメータセットとの各成分の差分絶対値のいずれかが閾値以上の場合である。ここで用いる閾値はパラメータの各成分それぞれに対して設定する。但し、一つ前のカメラワークパラメータが算出されておらず、パラメータ記憶リスト７０に格納されていない場合は、現算出のパラメータセットの各成分の値がそれぞれ一定範囲にあるかどうかを判定し、どれか一つでも外れている場合は、カメラワークモデルに則していないと判定する。この場合では、算出されたカメラワークパラメータの値が異常であることを検知して、カメラワークモデルに則さないことを検出している。

ステップ１０４） カメラワークパラメータ異常判定部５２において、カメラワークモデルに則さないと判定された場合には、ステップ１０５に移行し、そうでない場合には、ステップ１０６に移行する。

ステップ１０５） カメラワークモデルに則さないと判断された場合であり、現処理対象フレームの映像時刻をアップフレーム時刻記憶リスト８０に記憶し、あるいは、現処理対象フレーム（あるいは参照フレーム）の映像時刻を出力して映像終了条件へ移行する。

ステップ１０６） 映像終了条件を判定する際に、次に読み込む参照フレーム時刻が最終フレームの時刻を越えているかどうか判定し、越えている場合は処理を終了し、越えていない場合は映像入力更新手順（ステップ１０７）に移行する。終了の際の出力は、動物体のアップフレームの映像時刻の数列である。次の参照フレーム画像の選択方法は、初期フレーム入力手順（ステップ１０１）と同じく、処理対象フレームから一定間隔おいたフレーム画像などとする。

ステップ１０７） 映像入力更新手順：
当該映像入力更新手順は、映像入力部２０によって行われる手順であり、現在の参照フレーム時刻を次の処理対象フレーム時刻として指定し、また次の参照フレームの時刻を映像入力部２０へ出力し、それぞれの画像を入力することで、処理対象フレーム画像及び参照フレーム画像を更新する。

［第２の実施の形態］
図４は、本発明の第２の実施の形態における動作のフローチャートである。

同図において、前述の図３の処理と同一部分については同一のステップ番号を付し、その説明を省略する。

本実施の形態では、前述の第１の実施の形態の処理に、カット点検出手順とその判定による場合分けの手順を追加したものであり、その他の処理は、第１の実施の形態と同様の処理手順である。

ステップ２０１） カット点検出手順：
当該カット点検出手順は、カット点検出部３０において実行される手順であり、既存のカット点検出技術を用いて処理対象フレームと参照フレームの間のカット点（編集やカメラのオン・オフによる映像の不連続点）の有無を検出し、その真偽値をメモリ等の記憶手段に出力する。

カット点検出技術としては、「谷口、外村、浜田「映像ショット切換え検出方法とその映像アクセスインタフェースへの応用」電子情報通信学会論文誌、D-II Vol.J79-D-II No.4. pp.538-546 Apr. 1996」の技術など種々の技術が利用可能である。

また、カット時刻の検出の他の例として、事前にカット点検出処理を映像全体（あるいは映像の一部）について行い、カット点の時刻を算出してメモリ（図示せず）に格納しておき、入力することがあげられる。これは、カット検出が原理的にこのループに組み込むことが不可能な場合（前述の文献１）、事前に人手で入力したカット点情報などが利用可能なときに行うことができる。この場合、処理対象フレームの時刻と参照フレームの時刻の間にカット時刻が存在する場合をカットがあるものと判定する。

なお、カット点検出技術が映像クロスフェードなどの時間的なエフェクトのかかったカットを区間（カット区間）として検出可能なときや、カット点検出の精度にある程度誤差が見込まれる時は、上記の「カット時刻が処理対象フレーム時刻と参照フレーム時刻の間に存在する」、という条件を、処理対象フレーム時刻と参照フレーム時刻との間の区間とカット区間と、あるいは誤差幅とに重なりが存在するという、条件に変更して同様の条件処理を行う。

ステップ２０２） カット点があると判定された場合は、ステップ１０６に移行し、終了条件を判定し、それ以外はステップ１０２の動きベクトル算出手順に移行する。

［第３の実施の形態］
図５は、本発明の第３の実施の形態における動作のフローチャートである。同図において、図３、図４と同一処理について同一のステップ番号を付し、その説明は省略する。

同図に示す動作は、第２の実施の形態のカメラワークパラメータ異常判定手順の後に、動物体アップフレーム判定手順を加え、その後の分岐条件を動物体アップフレームの検出有無に変更したものである。以下では、変更された処理手順についてのみ説明する。

ステップ１０３−３） 動物体アップフレーム判定手順：
当該動物体アップフレーム判定手順は、動物体アップフレーム判定部５３において実行される手順である。カメラワークパラメータ異常判定部５２における判定結果を入力し、その入力がパラメータ値の異常を示している場合は、動物体アップフレームが検出されたと出力し、条件判定手順に移行する。入力が正常判定の場合には、動物体アップフレーム判定部５３において以下の判定を行う。

算出された動きベクトルと、パラメータセットから算出できる動きベクトルとの差が大きな画像単位（ブロックあるいは特徴点など）数が全体に占める割合が閾値以上であるかどうかを判定する。以下に詳細に説明する。

パラメータセットから算出される動きベクトル（ｕ_ｐ，ｖ_ｐ）は、式（１）のカメラワークモデルを用いている場合には式（２）のように算出することができる。

但し、式（２）内の（ｘ，ｙ）は、動きベクトルの算出単位（画像単位）の座標である。この座標は、例えばブロックマッチングの場合は画像ブロックの中心座標、また、特徴点追跡の場合は特徴点の座標である。

上記の動きベクトル算出手順（ステップ１０２）にて算出された動きベクトル（ｕ_ｐ，ｖ_ｐ）との差のベクトルを算出し、そのベクトル長の二乗値が一定値以上である座標数を計算し、その座標数を全体の座標数で割った値が閾値以上の場合に動物体アップフレームが検出されたとする。それ以外の場合には、動物体アップフレーム未検出と判定する。

また、他の検出方法として、動きの検出に特徴点を用いている場合、上記同様、各特徴点の動きベクトルとパラメータセットから算出される動きベクトルの差が大きな特徴点と小さなものとに分け、差が大きな特徴点各々について、例えば、そこから最も近くに存在する他の特徴点までの距離をその特徴点の重みとし、その総和を閾値処理することでアップ検出を行う方法がある。これは、各特徴点が担う領域の大きさを考慮したものである。

なお、動きベクトル算出方法として特徴点追跡手法を用いた場合は、特徴点追跡により算出された対応点の座標値と、式（１）から求まる代表点のカメラワークによる移動先座標との間のベクトルの長さを用いても同様の処理を行うことができる。

この条件は、カメラワークモデルに則さない場合への追加条件であり、カメラワークが正常に判定された場合に、画像内で大きな物体が存在しているかどうかを判定するための条件である。

ステップ３０１） 動物体アップフレームが検出された場合は、ステップ１０５に移行して映像時刻をアップフレーム時刻記憶リスト８０に記憶し、検出されなかった場合はステップ１０６に移行して、そのまま映像終了条件の判定を行う。

［第４の実施の形態］
図６は、本発明の第４の実施の形態における動作のフローチャートである。同図において、図３、図４、図５と同一処理について同一のステップ番号を付し、その説明は省略する。

同図に示す動作は、第３の実施の形態における動作に映像区間算出手順を付加した処理手順であり、カット点がある場合、動物体アップフレームの映像時刻を記憶したそれぞれ後の処理が映像区間算出手順となる。ここでは、追加された映像区間算出手順のみについて説明する。

ステップ４０１） 映像区間算出手順：
当該映像区間算出手順は、映像区間差出部６０において行われる手順であり、アップフレーム時刻記憶リスト８０に記憶されている検出された動物体アップフレームの時刻を映像区間としてまとめるための処理である。この処理方法としては以下の２つの例を挙げる。

（１）ステップ２０２の「カットあり」から分岐した際に、アップフレーム記憶リスト８０に記憶されている動物体アップフレーム時刻の最小値と最大値との組を一つの映像区間として出力し、個々の動物体アップフレーム時刻をアップフレーム時刻記憶リスト８０から消去する。

こうすることで各カットにおいて動物体アップフレーム時刻を映像区間にまとめて出力することができる。

（２） アップフレーム時刻記憶リスト８０へ映像時刻を記憶する際に、始点と終点が同じ映像区間として記憶することにする。前回アップフレーム時刻記憶リスト８０に記憶された映像区間がある場合はそれを参照し、その終端との時間差が閾値以内の場合に、その映像区間の終端を現在記憶された映像時刻に更新する。閾値以上の場合は一つの映像時刻を始点と終点が同時刻の映像区間として記憶する。また、ステップ２０２の「カットあり」から分岐してこの処理手順に到達した場合（ステップ２０２、Ｙｅｓ）は、現在アップフレーム時刻記憶リスト８０に記憶されている映像区間を出力し、当該アップフレーム時刻記憶リスト８０から消去する。また、前記時間差の閾値処理をフレーム画像の類似度の閾値処理としてもよい。ある一定以上の類似度の場合、上記の終端更新を行うとする。

こうすることで一定範囲内かつ、同一カット内の映像区間として動物体がアップで写っている区間を検出することができる。

上記のようにして算出された動物体がアップで写っている映像区間を動物体アップショットと表す。カット点検出手順（ステップ２０1）においてカットが検出されたときに、動物体アップショットが新たに検出されたかどうか調べ、検出されている場合は、その映像区間で一枚のフレーム画像を任意に選び、その映像区間の時刻を出力する。

［第５の実施の形態］
図７は、本発明の第５の実施の形態における動作のフローチャートである。

同図では、動物体アップ検出の方法を示しており、図６との違いは、初期フレーム入力手順、カット点検出手順、動きベクトル算出手順、及び映像入力更新手順である。

それぞれ複数のフレーム間に対応する処理に変更されている。

ステップ５０１） 初期複数フレーム入力手順：
当該初期複数フレーム入力手順では、映像入力部２０が、参照フレームを所定のフレーム間隔で一定の枚数（Ｆ枚）を取得する。

ステップ５０２） 複数フレーム間カット点検出手順：
当該複数フレーム間カット点検出手順では、カット点検出部３０において、複数の参照フレーム各々に対して、処理対象フレーム画像との間にカット点があるかどうかを前述と同様の方法で判定する。その判定の結果、Ｆ枚の参照フレーム画像の中にｆ_ａ番目（ｆ_ａ：Ｆ以下の自然数の定数）の参照フレームで初めてカット点が検出された場合に、そのフレームを選択された参照フレームとして次の処理対象フレームとなるようにセットして、カットが検出されたと判定する方法がある。また、次処理する参照フレームとのフレーム間隔を初期の入力手段における間隔にリセットする。

ステップ５０３） カット点がある場合にはステップ４０１に移行し、ない場合にはステップ５０４に移行する。

ステップ５０４） 複数フレーム間動きベクトル算出手順：
当該複数フレーム間動きベクトル算出手順では、動きベクトル算出部４０において、一つの処理フレームに対し、複数の参照フレームそれぞれについて２フレーム間の動きベクトル算出を行い、算出結果を用いて参照フレームを決定する。２フレーム間の動きベクトル算出手順は動きベクトル算出手順（ステップ１０２）と同様である。これをＦ枚の参照フレームに対して行うと、動きベクトルはＦ枚分算出される。これらＦ枚の動きベクトルを利用してそのうちの１枚のフレーム画像を選択し、採用する参照フレーム画像とする。選択方法は、例えば、動きの算出の際の非類似度が高い、あるいは、他の方法で算出不可能な画像単位（例えば、消失した特徴点）の数が最小（あるいは一定値以下）となっている参照フレームのうち、フレーム間隔が最大のフレーム画像とする方法などが例として考えられる。ここで採用されたフレーム間隔をｆ_ｓｅｌとして映像入力部２０へ出力し、映像入力複数フレーム更新手順（ステップ５０５）で利用する。

ステップ５０５） 映像入力複数フレーム更新手順：
当該映像入力複数フレーム更新手順では、上記で算出された参照フレームを次回の処理フレームにセットする。また、フレーム間隔ｆ_ｓｅｌを用いて映像記憶部１０から次回の参照フレームを最大Ｆ枚読み込む。

参照フレームの決定方法は、例えば、処理対象フレームと参照フレームとのフレーム間隔の最大値をＦ_Ｍａｘ（＞Ｆ）としたときに、０＜ｆ＜ｆ_ｓｅｌの範囲において等間隔にｍｉｎ｛（ｆ_ｓｅｌ−１）／２，Ｆ／２｝枚（小数点以下切捨て）、ｆ_ｓｅｌ≦ｆ≦Ｆ_Ｍａｘの範囲において等間隔にｍｉｎ｛（Ｆ_Ｍａｘ−ｆ_ｓｅｌ＋１）／２，Ｆ／２｝枚（小数点以下切捨て）、それぞれ参照フレームを選択し、読み込むとする。例えば、Ｆ_Max＝１０，ｆ_sel＝９，Ｆ＝４のときは選択される参照フレームの間隔は、３（８×１／３），５（８×２／３），１０（（９＋１０）／２であり（以上は四捨五入）、またＦ_Ｍａｘ＝１０、ｆ_ｓｅｌ＝７、Ｆ＝２のときは選択される参照フレームの間隔は３（６／２），９（７＋１０）／２）である。また、このフレーム間隔の更新方法に限らず、任意の算術演算を用いて複数の参照フレームの選択を行ってもよい。

上記のようにフレーム間隔を変化させることで、動きの大きな映像区間ではフレーム間隔を狭くしてカメラパラメータの誤算出を抑えることができる。また、動きの少ない映像区間では、フレーム間隔を大きくすることにより全体の処理速度の向上につながる。

また、動きの少ない映像区間でフレーム間隔を広げることで、広い時間間隔での動物体の動きを用いて動物体アップフレームの検出を行うことができる。すなわち、動きが少ない場合でも動物体アップフレームを検出することが可能になる。

上記の図３〜図７に示すフローチャートの動作をプログラムとして構築し、動物体アップフレーム検出装置、動物体アップショット検出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムを動物体アップフレーム検出装置、動物体アップショット検出装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールして実行する、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像構造化技術における映像の代表画像を生成するための技術に適用可能である。

本発明の原理を説明するための図である。 本発明の一実施の形態における装置構成図である。 本発明の第１の実施の形態における動作のフローチャートである。 本発明の第２の実施の形態における動作のフローチャートである。 本発明の第３の実施の形態における動作のフローチャートである。 本発明の第４の実施の形態における動作のフローチャートである。 本発明の第５の実施の形態における動作のフローチャートである。

符号の説明

１０ 映像記憶部
２０ 映像入力部
３０ カット点検出部
４０ 動きベクトル算出部
５０ カメラワークモデル適合判定部
５１ カメラワークパラメータ算出部
５２ カメラワークパラメータ異常判定部
５３ 動物体アップフレーム判定部
６０ 映像区間算出部
７０ パラメータ記憶リスト
８０ アップフレーム時刻記憶リスト

Claims (8)

1. 映像が記憶されている映像記憶手段から動物体が比較的大きく写っている映像フレーム画像（動物体アップフレーム画像）を検出する動物体アップフレーム検出装置における、動物体アップフレーム検出方法において、
   前記映像記憶手段から読み込まれた複数のフレーム画像を用いて動きベクトルを算出し、メモリに格納する動きベクトル算出手順と、
   前記メモリから前記動きベクトルを取得して、カメラワークパラメータを算出してパラメータ記憶手段に格納するカメラワークパラメータ算出手順と、
   前記パラメータ記憶手段から前記カメラワークパラメータを取得して、該カメラワークパラメータの時間変化量が閾値以上か否かにより、該カメラワークパラメータが異常か否かを判定するカメラワークパラメータ異常判定手順と、
   前記カメラワークパラメータ異常判定手順において、カメラワークパラメータが異常でないと判定された場合に、
   前記パラメータ記憶手段から前記カメラワークパラメータを取得し、前記動きベクトル算出手順において動きベクトルを算出する際に用いたフレーム画像の単位のうち、その画像単位の動きベクトルと前記カメラワークパラメータとのずれが閾値以上のフレーム画像の単位の数を計算し、その画像単位の数の割合あるいは重み付き和の値に基づいて動物体アップフレームを検出し、該動物体アップフレームの映像時刻をアップフレーム記憶手段に格納する動物体アップフレーム判定手順を行う
   ことを特徴とする動物体アップフレーム検出方法。
2. 前記動きベクトル算出手順の前に、前記映像記憶手段から読み込まれたフレーム画像のカット点を検出する処理を行い、該カット点が検出されなかった場合には、該動きベクトル算出手順の処理に移行するカット点検出手順を更に行う請求項１記載の動物体アップフレーム検出方法。
3. 映像が記憶されている映像記憶手段から動物体が比較的大きく写っている映像フレーム画像（動物体アップフレーム画像）を検出する動物体アップフレーム検出プログラムであって、
   複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、
   前記請求項１または２記載の動物体アップフレーム検出方法を実現するための処理を実行させることを特徴とする動物体アップフレーム検出プログラム。
4. 映像が記憶されている映像記憶手段から動物体が比較的大きく写っている映像フレーム画像（動物体アップフレーム画像）を検出する動物体アップフレーム検出プログラムを格納した記憶媒体であって、
   複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、
   前記請求項１または２記載の動物体アップフレーム検出方法を実現するための処理を実行させるプログラムを格納したことを特徴とする動物体アップフレーム検出プログラムを格納した記憶媒体。
5. 映像が記憶されている映像記憶手段から動物体がアップで写っている映像区間（動物体アップショット）を検出する動物体アップショット検出装置における、動物体アップショット検出方法において、
   前記請求項１または２記載の前記動物体アップフレーム検出方法の手順に、さらに、検出された動物体アップフレームを時系列に記憶手段に蓄積し、時間的まとまりを算出する映像区間算出手順を追加したことを特徴とする動物体アップショット検出方法。
6. 映像が記憶されている映像記憶手段から動物体がアップで写っているフレーム、あるいは、映像区間（動物体アップショット）を検出する動物体アップフレーム、あるいは、ショット検出装置における、動物体アップフレームあるいは、ショット検出方法において、
   前記請求項１または２記載の前記動物体アップフレーム検出方法の手順、または、前記請求項５記載の動物体アップショット検出方法の手順に、前記動きベクトル算出手順に利用する複数フレーム選択を、その算出される動きを用いて行う映像入力更新手順を追加したことを特徴とする動物体アップフレームあるいはショット検出方法。
7. 映像が記憶されている映像記憶手段から動物体がアップで写っている映像区間（動物体アップショット）を検出する動物体アップショット検出プログラムであって、
   複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、
   前記請求項５または６記載の動物体アップショット検出方法を実現させるための処理を実行させることを特徴とする動物体アップショット検出プログラム。
8. 映像が記憶されている映像記憶手段から動物体がアップで写っている映像区間（動物体アップショット）を検出する動物体アップショット検出プログラムを格納した記憶媒体であって、
   複数のメモリ、アップフレーム時刻記憶手段及びパラメータ記憶手段を有するコンピュータに、
   前記請求項５または６記載の動物体アップショット検出方法を実現させるための処理を実行させるプログラムを格納したことを特徴とする動物体アップショット検出プログラムを格納した記憶媒体。

Images