JP4640001B2 - 映像処理方法及び装置及びプログラム及びプログラムを格納した記憶媒体 - Google Patents

Description

本発明は、映像処理方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、映像構造化技術において映像区間を分類するための映像処理方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。

カメラワークを用いて重要なシーンを判定する手法が従来から研究されている。被写体を追尾しているような場面が重要であるとして検出する技術が提案されている（例えば、特許文献１参照）。

その方法として、上記の特許文献１では、被写体を追尾するためにカメラを動かしたシーンと、別の被写体に視線を移すためにカメラを動かしたシーンと判別するために、カメラワーク推定した後に、そのカメラワークを用いて画像を位置合わせし、フレーム間差分をとり、その画像の低相関な画素の集中度を用いて被写体を検出し、低相関画素の分散値、最大連結領域を動物体とみなしてその特徴を利用している。なお、当該特許文献１における「シーン」という単語は、例えば、パンニングのカメラワーク動作が継続している映像時間範囲のようなカメラワークの動作が連続して行われている映像区間を指している（以下、当該技術を第１の従来技術と記す）。以下、本明細書では、このようなある１分類に当てはまる一連の映像時間範囲を「映像区間」あるいは単に「区間」と表現する。映像区間は、映像時刻の始点と終点により定義される。

また、シーンの代表画像の選択方法として、画面の中央部と周辺部で検出できる動き量に着目し、その動きの大小を用いてカメラ移動シーン（中央部に追従して撮影している被写体があり。即ち中央部の動きは小さく周辺部の動きは大きい）と物体移動シーン（カメラワークなし、動物体ありの場合。全体の動きが大きい）、静止画シーン（画面全体が止まっている）の3つの分類を行い、この３分類に従って代表画像の選択方法を変更している（例えば、特許文献２参照）（以下、当該技術を第２の従来技術と記す）。なお、当該文献では、「シーン」という単語を、カメラの切り換えや編集による動画像の不連続（以下ではカット、あるいは単にカット点と記す）を含まない映像単位と定義している。本明細書では、以下では、その単位を「ショット」と表現する。「ショット」はカット点に挟まれた映像区間であり、定義付けは映像区間と同様に映像時刻の始点と終点である。

また、カメラワークの可視化手法としてパノラマ表示を用いて、その動きの大きさ、向きをベクトルで表示するなどして行っている。また、その動きをパン・チルト・ズームなどに分類し、可視化方法を変更する。また、動く被写体（動物体）に追従（フォロー）する時の可視化方法について、パノラマ化して被写体を展開する方法がある（例えば、特許文献３参照）（以下、当該技術を第３の従来技術と記す）。
特開平８−１９１４１１号公報「シーン判別方法および代表画像記録・表示装置」 特開平９−２３３４２２号公報「動画像処理システムにおける動画像情報検出装置」 特許３３２５８２３号公報「映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記憶媒体」

上記の第１の従来技術により追尾していると判定される区間は動物体が存在する区間にはなるが、必ずしもその物体を追尾している区間とはならない問題がある。

即ち、
（１）被写体を追尾している場合であっても、カメラワークの位置合わせ後の残差が安定した位置に存在しない場合もあるし、
（２）逆に追尾でない区間でも一定位置に残差が生じる可能性はある。

（１）の問題は、例えば、個人が撮影する映像では個人の撮影技術は高いとは言えず、走っている人を追尾して撮影する際に画面内で被写体の位置が大きく揺れることは普通に起こりうる。さらに、画素の最大の連結領域を利用した場合だと、画素の連結は不安定であり、見え方が変化した場合などに連結が出ることが多々ある。その場合、重心位置は容易に大きく移動し、追尾している場面を検出できない場合がある。

また、（２）の問題は、例えば、カメラを動かしながら大勢の動いている人を撮っている場合には、常に中央部分に残差が生じることになり、追尾していないにも関わらず上記の方法では、追尾区間と判定されることになる。また、一般に、被写体がカメラの画面に大きく写って動いているような場面では、正確なカメラワークを推定するは難しく、フレーム間の位置合わせに失敗するため、この技術では誤検出が生じる。

また、上記第２の従来技術の問題点は、カメラワークを検知するために周辺部の動き全体を利用しているが、周辺部の総体的な動きが必ずしもカメラワークを反映しているとは限らない。また、動物体が画像中央部にあるとも限らず、追尾ショットの分類が正確にできないことが考えられうる。これらは上記の第１の従来技術の問題点（１）（２）と同様である。

また、更に、映像をシーンカットで分割した単位（ショット）に対して３つの分類を行っているが、映像の一ショット内にはそれらの３分類が混在することもあり、映像の適切な分類とはならないことがある。

また、上記第３の従来技術では、カメラワークをパン・チルト・ズームに分類し、カメラワーク全体を１枚の画像として可視化できる利点があるが、当該技術では、動物体の動作をパノラマ上に軌跡として可視化する技術と普通のパノラマかとの使い分けがされておらず、映像内のどのカメラワーク区間にそれらの技術を適用すべきか、その判定方法が明示されていない。映像内のカメラワーク区間全部に対してパノラマ化すると、映像内に動物体が存在する時には、パノラマ表示上で動物体が崩れて表示されるなどの不具合が生じるため、動物体の有無によりパノラマ化の方法を変更する必要がある。

本発明は、上記の点に鑑みなされたもので、可視化を行う前に映像区間を動きにより適切に分類し、可視化方法を変更するための映像処理装置及び方法及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、映像区間を分類するための映像処理方法において、
入力されたフレーム間で画像特徴量の対応関係から動きベクトルを算出する動きベクトル算出手順（ステップ１）と、
動きベクトルからカメラワークパラメータを算出するカメラワークパラメータ算出手順（ステップ２）と、
カメラワークパラメータと、動きベクトルを算出した画像の単位領域（以下、単位領域と記す）の重心座標と、該動きベクトルとを用いて各単位領域を分類する単位領域分類手順（ステップ３）と、
単位領域の分類を用いて各フレームを分類する映像フレーム分類手順（ステップ４）と、
算出されたフレーム画像の分類を時系列に記憶手段に蓄積し、映像区間の分類を算出する映像区間分類手順（ステップ５）と、を行う。

また、本発明（請求項２）は、映像フレーム分類手順（ステップ４）において、
各単位領域に付与された分類の数、あるいは各単位領域に付与された各分類の重みの総和、あるいは平均値を用いて、映像フレームの動物体の有無、映像フレームのカメラワークの有無、また動物体・カメラワークが存在する場合に、当該物体がフォローされているかの分類を行う。

また、本発明（請求項３）は、カメラワークパラメータ算出手順（ステップ２）の後に、
算出パラメータによるアップフレームを判定するアップフレーム判定手順を行い、
また、映像フレーム分類手順（ステップ４）において、
動物体アップフレームの検出処理を行い、動物体アップフレームが検出された場合に、算出されたカメラワークを採用しない。

また、本発明（請求項４）は、単位領域分類手順（ステップ３）において、
画面上で極端に停止している単位領域を固着している点として検出し、フォローされている単位領域と見做さない。

図２は、本発明の原理構成図である。

本発明（請求項５）は、映像区間を分類するための映像処理装置であって、
入力されたフレーム間で画像特徴量の対応関係から動きベクトルを算出する動きベクトル算出手段１０３と、
動きベクトルからカメラワークパラメータを算出するカメラワークパラメータ算出手段１０４と、
カメラワークパラメータと、動きベクトルを算出した画像の単位領域（以下、単位領域と記す）の重心座標と、該動きベクトルとを用いて各単位領域を分類する単位領域分類手段１０６と、
単位領域の分類を用いて各フレームを分類する映像フレーム分類手段１０７と、
算出されたフレーム画像の分類を時系列に記憶手段に蓄積し、映像区間の分類を算出する映像区間分類手段１０８と、を有する。

また、本発明（請求項６）は、映像フレーム分類手段１０７において、
各単位領域に付与された分類の数、あるいは各単位領域に付与された各分類の重みの総和を用いて、映像フレームの動物体の有無、映像フレームのカメラワークの有無、また動物体・カメラワークが存在する場合に、当該物体がフォローされているかの分類を行う手段を含む。

また、本発明（請求項７）は、カメラワークパラメータ算出手段１０４の後段に、
算出パラメータによるアップフレームを判定するアップフレーム判定手段を設け、
また、映像フレーム分類手段１０７は、
動物体アップフレームの検出処理を行い、動物体アップフレームが検出された場合に、算出されたカメラワークを採用しない手段を含む。

また、本発明（請求項８）は、単位領域分類手段１０６において、
画面上で極端に停止している単位領域を固着している点として検出し、フォローされている単位領域と見做さない手段を含む。

本発明（請求項９）は、映像区間を分類するための映像処理プログラムであって、
コンピュータを、
請求項５乃至８のいずれか記載の映像処理装置の手段として機能させるプログラムである。

本発明（請求項１０）は、映像区間を分類するための映像処理プログラムを格納した記憶媒体であって、
コンピュータを、
請求項５乃至８のいずれか記載の映像処理装置の手段として機能させるプログラムを格納した記憶媒体である。

上記のように、カメラワーク算出手順（手段）においてカメラワークを推定し、単位領域分類手順（手段）において、推定されたカメラワークと単位領域の動きの差異により被写体の動きを表す単位領域とカメラワークの動きを表す単位領域とに分類し、映像フレーム分類手順（手段）において前者の単位領域の画面に占める割合により動物体の有無を判定する。映像フレーム分類手順（手段）ではさらにカメラワークと動物体の動きの相関を用いて、その動物体の動きがカメラの動きと同方向の動きかどうかでカメラがその動物体（被写体）を追って撮影しているフォローかどうかを判定する。フレーム間の残差のみでフォローを検出するのではなく、単位領域の動きを用いて動きの方向の一致を考慮することで適切にフォローを検出することが可能になる。また、最大連結領域を物体と見做すのではなく、単位領域が画面に占める割合を重みとして各単位領域に付与し、その動物体上の単位領域重みの総和を用いることで、連結領域より安定に動物体のフォローを検出することが可能となる。最後に映像区間分類手順（手段）において、各分類の時間継続性を考慮した映像区間分類を行うことで、突発的な誤分類を排除することができる。上記により、第１の従来の技術の問題を解決することができる。

また、単位領域分類手順（手段）においてカメラワークの動きと異なる動きを単位領域毎に検出し、上記と同様に、それらの動きの相関を利用する。また、動物体が大きく写り、カメラワークの算出が不可能である場合は、その大きく写っていることを別の技術で検出し、検出された場合には被写体を追尾しているかどうかの判定をしないことでフォローの過剰検出を避けられる。例えば、文献「鳥井陽介、紺谷精一、森本正志、“動きを用いた動物体アップショット検出”信学会総合大会、D-１2-22, 2005」（以下、文献１と記す）では、動物体が大きく写っている映像シーンを重要なシーンとして検出するために、そのシーンを判定するための技術であるが、この手法を利用して「動物体が大きく写っている」という重要な場面を検出し、重要なシーンを取り逃がさないようにすると同時に、上記のカメラワークの誤推定による追跡シーンの誤検出を防ぐことができる。これは、アップフレーム検出手順（手段）における処理である。これにより、第１の従来技術の問題を解決することができる。

さらに、本発明では、画面内を単純に分割するのではなく、カメラワーク推定を利用して動きの違いを考慮した動物体と背景の分離を行うことで、中央部に動物体がない場合でも対応可能である。また、ショット単位で分類を行うのではなく、カメラワークの存在有無及び動物体の存在有無を動物体上・背景上に分類された動きベクトル算出の単位領域それぞれの重み付き和により判定し、それらの判定が切り替わる時点で映像を分割し、その単位で映像を分類する。この分類について図４に記載する。これによりショット内で動きによる分類分けが混在している時でも、ショットにより細かい粒度の映像区間で分類することが可能になる。これにより、第２の従来技術の問題を解決することができる。

また、本発明では、上記の第２の従来技術の問題解決の方法と同様に、映像中の動物体及び、カメラワークを検出することで映像区間を分類し、動物体とカメラワークの有無の組み合わせを用いてどの映像区間をパノラマ化し、どの映像区間に動物体軌跡を表示すべきかを判定できるようにする。即ち、動物体が無く、カメラワークがある場合には、単純にその映像区間のパノラマ化をすれば綺麗なパノラマ画像を生成できるし、動物体もカメラワークもある場合には動物体を考慮した背景のみのパノラマを作成し、その上に動物体軌跡などを表示する必要がある、などと判定できる。これにより、第３の従来技術の問題を解決することができる。

本発明によれば、映像区間を動物体の有無、カメラワークの有無の組み合わせにより場合分けでき、そのことで映像区間の適切な処理を使い分けることができる。

フォローを検出する方法として、動きベクトルを算出する単位領域の動きとカメラワークの動きとの相関が高いことを利用することで、より精度の高いフォローの検出を行うことができる。

さらに、動物体アップショット検出技術を利用し、検出された映像区間でカメラワークが正常に算出されにくいことを考慮し、カメラワーク検出を行わないことでカメラワーク誤検出を抑え、違う観点による重要な映像区間を検出し、効果的な提示を行うことができる。

以下、図面と共に本発明の実施の形態を説明する。

・装置構成：
図３は、本発明の一実施の形態における映像処理装置の構成を示す。

同図に示す映像処理装置は、映像入力部１０１、カット点検出部１０２、動きベクトル算出部１０３、カメラワークパラメータ算出部１０４、動物体アップフレーム判定部１０５、特徴点分類部１０６、映像フレーム分類部１０７、映像区間算出・分類部１０８、出力部１０９から構成される。

さらに、映像記憶部１０１、カット点時刻記憶リスト１２２、時系列特徴点記憶リスト１２３、パラメータ記憶リスト１２４、時系列フレーム分類記憶リスト１２５、アップフレーム時刻記憶リスト１２６、映像区間分類リスト１２７を有する。これらは、ハードディスクやメモリ等の記憶手段に格納されるものとする。

映像入力部１０１は、映像記憶部１２１に格納されている映像データを読み込むことにより入力し、指定した時刻のフレーム画像を出力する。具体的には、時刻情報を映像入力部１０１に任意の入力手段により渡して、その映像時刻に対応するフレーム画像を映像記憶部１２１から取得する。動作の詳細については、図５の映像処理ループにおいて後述する。また、以下ではフレーム画像とそのフレーム番号（映像時刻）とは常に組で入出力を行う。

カット点検出部１０２は、複数時刻のフレーム画像とそれぞれの時刻情報が映像入力部１０１から入力されると、その中に含まれるカット点を検出し、その時刻にカット点が存在する場合に映像時刻（カット点時刻）を出力する。検出された時刻は、カット点時刻記憶リスト１２２に記憶する。カット点検出技術は、例えば、「Jianbo Shi, et al, “Good Features to Track”, IEEE CVPR94, pp.593-600,１994」（以下、文献２と記す）に記載の方法などの既存技術を用いる、もしくは、事前に人手で入力しておくなどとする。動作の詳細については、図５の映像処理ループにおいて後述する。

動きベクトル算出部１０３は、複数時刻のフレーム画像が映像入力部１０１から入力されると、２つのフレーム画像間の動きベクトルを算出し、出力する。動きベクトルの算出方法としては、既存技術のブロックマッチングや、第２の従来技術（特開平９−２３３４２２号公報）に記載の特徴点追跡技術など種々の技術を利用することができる。動きベクトル算出の単位領域としては、例えば、ブロックマッチングでは画像ブロックを指し、また、特徴点追跡では特徴点である。今回は、例として特徴点追跡技術を利用するものとする。特徴点追跡技術を利用するのは、特徴点において算出される動きは他の手法に比べ映像内容をよく反映した動きになるからである。以下の例では、特徴点を利用した方法について述べ、単位領域の記載は特徴点とするが、その他の場合、例えば、輝度分散値の一定以上である画像ブロックの中心座標（重心）を特徴点と見做す、などとして同様の処理手順を行うことができるのは明らかである。出力は、時系列特徴点記憶リスト１２３に記憶する。動きベクトル算出部１０３の詳細については、後述する。

カメラワークパラメータ算出部１０４は、動きベクトル算出部１０３にて算出された動きベクトルを時系列特徴点記憶リスト１２３から読み出して入力し、それからカメラワークパラメータを算出する。ここでは、例として、文献１記載のカメラワークパラメータ算出方法を利用する。出力は、カメラワークパラメータのセットであり、パラメータ記憶リスト１２４に記憶する。詳細については後述する。

動物体アップフレーム判定部１０５は、カメラワークパラメータ算出部１０４から算出されたカメラワークパラメータをパラメータ記憶リスト１２４から読み出して入力する、あるいは、直接カメラワークパラメータ算出部１０４から入力し、処理対象フレームが動物体の大きく写っているフレーム画像（動物体アップフレーム）かどうか判定し、動物体アップフレームが検出された場合にその映像時刻を出力する。判定方法は、上記の文献１に準ずる。また、検出された映像時刻をアップフレーム時刻記憶リスト１２６に記録する。詳細は後述する。

特徴点分類部（単位領域分類手段に対応）１０６は、各特徴点で算出された動きベクトルと推定されたカメラワーク動きとの相関を用いて各特徴点を背景点と動点、フォローされている物体上の点（フォロー点）の３種類に分類する。入力は特徴点座標とそれぞれの対応点座標を時系列特徴点記憶リスト１２３より、及びカメラワークパラメータをパラメータ記憶リスト１２４よりそれぞれ入力し、出力は、各特徴点の分類を示す値を時系列特徴点記憶リスト１２３に記憶されている処理対象フレーム画像上の対応する特徴点に対し記憶する。詳細については後述する。

映像フレーム分類部１０７は、特徴点分類部１０６の判定結果を用いてその映像時刻のフレーム画像に対して、図４に則した分類を行う。入力は、各特徴点座標とその分類結果、及びカメラワークパラメータである。出力は処理対象フレームのフレーム番号とその分類（３種類）を示す値を時系列フレーム分類記憶リスト１２５に記憶する。詳細については後述する。

映像区間算出・分類部１０８は、動物体が比較的大きく写っている区間（動物体アップ区間）、カメラワークが継続している区間（カメラワーク区間）、そして、動物体が存在している区間（動物体存在区間）の３つの区間を算出する。また、カメラワーク区間の中でも動物体をフォローしている区間をフォロー区間として算出する。その算出された区間を図４の分類規則を用いて各ラベルを映像区間に付与する。入力としては動物体アップフレーム時刻列をアップフレーム時刻記憶リスト１２６及び時系列フレーム分類記憶リスト１２５より、カメラワークパラメータをパラメータ記憶リスト１２４より、特徴点座標とその分類を時系列特徴点記憶リスト１２３より、それぞれ入力し、出力は各種映像区間の始点・終点の時刻とその分類番号を逐次映像区間分類リスト１２７に記憶していく。詳細は後述する。

出力部１０９は、カット点時刻記憶リスト１２２よりカット点情報を、映像区間分類リスト１２７より各種映像区間の種類とその始点・終点時刻情報を各種出力装置（ファイルに記憶、ディスプレイに表示など）に出力する。

・映像処理手順：
次に、上記の構成における動作を説明する。

図５は、本発明の一実施の形態における基本的な動作のフローチャートであり、図３で示した装置の映像入力部１０１とカット点検出部１０２の動作を説明している。

初期フレーム入力手順（ステップ１００）では、映像入力部１０１において実行される手順であり、処理対象の映像から処理開始位置のフレーム画像（処理対象フレーム画像）と、その後の、参照するためのフレーム画像（参照フレーム画像）と読み込む処理手順である。それらを時系列順にフレーム画像として読み込む。処理対象フレーム画像の初期位置は画像の初期フレームなど任意に決定可能である。また、参照フレームの選び方は処理対象フレームから一定フレーム後のフレーム画像などとする。

カット点検出手順（ステップ２００）は、カット点検出部１０２において実行される手順であり、読み込まれた複数のフレーム画像の中にカット点が含まれるかどうかを検出する処理である。これは、上記の文献２に記載の技術などの既存技術で実行可能である。カット点が検出された時には、そのフレーム番号（ショットの先頭を表す番号）をカット点時刻記憶リスト１２２に記憶する。また、カット点が検出されたときには全ての記憶リストをクリアする。なお、事前に手入力したカット点時刻情報が存在する場合には、文献２のカット点検出技術の代わりとして、時刻情報を初期フレーム入力手順などでカット点時刻記憶リスト１２２に読み込み、このカット点検出手順を現処理対象フレームのフレーム番号と参照フレームのフレーム番号の間にカット点のフレーム番号が含まれているか否かでカット点の有無を判定することで、上記のカット検出技術の代替として利用することも可能である。

映像処理手順（ステップ３００）は、入力された処理対象フレームと参照フレームとを用いて処理を行う。詳細については図６を用いて後述する。

映像の終了条件を判定する条件分岐では、次に読み込む参照フレーム時刻が最終フレームの時刻を越えているかどうか判定し、越えている場合は処理を終了し、越えていない場合は映像入力更新手順（ステップ５００）へ移行する。終了の際の出力は算出された映像区間とその分類ラベルである。次の参照フレーム画像の選択方法は、初期フレーム入力手順と同じく、処理対象フレームから一定間隔おいたフレーム画像などとする。

映像入力更新手順（ステップ５００）は、映像入力部１０１によって行われる手順であり、現在の参照フレーム時刻を次の処理対象フレーム時刻として指定し、また、次の参照フレームの時刻を映像入力部１０１へ出力し、それぞれの画像を入力することで、処理対象フレーム画像及び参照フレーム画像を更新する。

［映像処理手順］
次に、上記の映像処理手順（ステップ３００）について詳細に説明する。

図６は、本発明の一実施の形態における映像処理手順のフローチャートである。

動きベクトル算出手順（ステップ３１０）は、動きベクトル算出部１０３において実行される手順であり、処理対象フレーム画像と参照フレーム画像を入力し、その間の動きベクトルを算出して出力する処理手順である。ここでは、例として、文献２に記載されている特徴点追跡技術を用いた動きベクトル算出手順を利用する。算出された特徴点座標と対応点座標の組は時系列特徴点記憶リスト１２３に記憶する。時系列特徴点記憶リスト１２３は、フレーム番号毎に１つ存在し、処理対象フレーム画像のフレーム番号及び参照フレーム画像のフレーム番号それぞれに対応したリストに記憶する。

カメラワークパラメータ算出手順（ステップ３２０）は、カメラワークパラメータ算出部１０４において実行される手順であり、上記動きベクトル算出手順（ステップ３１０）において算出された動きベクトルを入力し、カメラワークモデルに当てはめてカメラワークパラメータを算出し、出力する手順である。ここで用いるカメラワークモデルの例として

のような中心投影モデルを利用する。数式１の式中の座標系ｐ＝（ｘ，ｙ，１）は、画像中心を原点とする同次座標系であり、ｐは処理対象フレーム画像における特徴点、ｐ’は参照フレーム画像上で特徴点ｐに対応する点（対応点）である。２次元射影変換行列などカメラワークモデルとして利用できる他の行列を用いても勿論よい。このモデルにおけるカメラワークパラメータは（ａ_１，ａ_２，ａ_３，ａ_４）の４つの値のセット（パラメータセット）である。カメラワークパラメータ算出の手法は、文献１の記載されている技術が利用可能である。文献１によれば、上記の数式１のカメラワークモデルの場合、３つの点対応を用いて２つのパラメータセットを算出し、その差分値を求めて採用すべきパラメータセットかどうかを判定できる。なお、このときの動きベクトルＶは（直交座標系で）
ｐ−ｐ’＝（ｘ’−ｘ，ｙ’−ｙ）
である。なお、算出されたカメラワークパラメータセットは、パラメータ記憶リスト１２４にフレーム番号と共に記憶する。

算出パラメータによるアップフレーム判定手順（ステップ３３０）は、動物体アップフレーム判定部１０５において実行される手順であり、文献１に記載の方法で行うものとする。即ち、上記でカメラワークパラメータが算出不能である場合、あるいは算出されたカメラワークパラメータを入力してその値を検証し、そのカメラワークパラメータが異常かどうかを判定することでカメラワークモデルに則していない動きベクトルであるかどうかを判定する手順である。ここでカメラワークモデルに則していないと判定される場合は、以下の２つの場合である。

（１）上記カメラワークパラメータ算出手順（ステップ３２０）において、カメラワークパラメータが算出できなかった場合、この場合は算出されている動きベクトルの全てがカメラワークモデルに則していなかったと判定でき、画像全体としてカメラワークモデルに則していないと言える。なお、算出された動きベクトル個数が少なすぎてカメラワークが算出不能になっている場合はアップと判定しない。即ち、ここでは、カメラワークパラメータが算出不能、かつ動きベクトルが一定数異常算出されている場合を動物体アップフレームとして検出する。

（２）算出されたパラメータセットの時間変化量が閾値以上の場合。つまり、一つ前で算出されたパラメータセットと現算出のパラメータセットとの各成分の差分絶対値のいずれかが閾値以上の場合である。ここで用いる閾値はパラメータの各成分それぞれに対して設定する。但し、ひとつ前のカメラワークパラメータが算出されていない場合は、現算出のパラメータセットの各成分の値がそれぞれ一定範囲にあるかどうか判定し、どれか一つでも外れている場合は、カメラワークモデルに則していないと判定する。この場合では、算出されたカメラワークパラメータの値が異常であることを検知し、カメラワークモデルに則さないことを検出している。

上記の（１）（２）の２つの条件によってアップフレームと判定された場合は、現処理対象フレームの映像時刻をアップフレーム時刻記憶リスト１２６に記憶し、現処理対象フレーム（あるいは参照フレーム）の映像時刻を出力して映像区間算出・分類手順（ステップ３８０）へ、それ以外の場合は記憶せずに特徴点分類手順（ステップ３５０）へ、それぞれ移行する。なお、アップフレームが上記の（２）によって検出された場合には、パラメータ記憶リスト１２４の該当するレコードを消去してもよい。

特徴点分類手順（ステップ３５０）では、算出されたカメラワークパラメータをパラメータ記憶リスト１２４より、特徴点座標を時系列特徴点記憶リスト１２３よりそれぞれ読み込み、各特徴点の動きとカメラワークとの一致度を計算し、特徴点を背景点と動物体点に分類する。また、その動物体点のうち、カメラワークとの相対的な動きとカメラワークの動きとの類似度を計算し、さらに動物体点をフォロー点とそれ以外の点（動点と表す）に分類する。また、フォロー点の中でも例外的に動かない点（例えばテロップ上の点）について判別することも行う。出力は各特徴点座標とそれに対する分類ラベル（に対応した数値）であり、時系列特徴点記憶リスト１２３に記憶する。この手順の詳細は図７を用いて後述する。

映像フレーム分類手順（ステップ３７０）では、特徴点分類手順でそれぞれ分類された特徴点の数から、あるいは各特徴点が持つ各分類に対する重みの総和をとることで、その時刻の処理対象フレームに対し、図４に従った分類を行う。入力は各特徴点の座標とその分類ラベルを時系列特徴点記憶リスト１２３より、出力はその処理フレームの分類ラベルを時系列フレーム分類記憶リスト１２５に記憶する。この手順の詳細は後述する。

［特徴点分類処理］
次に、図６の特徴点分類手順（ステップ３５０）の処理について詳細に説明する。

図７は、本発明の一実施の形態における特徴点分類手順のフローチャートである。

特徴点ＩＤのｎを初期化する（ステップ３５１）。

特徴点ＩＤがｎの特徴点（以下、特徴点ｎと表す）のカメラワークの動きとの差異△Ｄ（ｎ）を計算する（ステップ３５１）。計算方法を以下に示す。

時系列特徴点記憶リスト１２３から読み出した動きベクトルと、パラメータ記憶リスト１２４から読み出したパラメータセットから算出できる動きベクトルとの差が大きな画像単位（ブロックあるいは特徴点など）数が全体に占める割合が閾値以上であるかどうかを判定する。以下に詳細に説明する。

カメラワークパラメータセットからカメラワークが無い場合の動物体の動きベクトルＶ’（ｎ）を算出できる。動きベクトルＶ’（ｎ）を数式（１）のモデルより、

のように算出できる。但し、数式（２）内の（ｘ，ｙ）は数式（１）内と同様、画像中心を原点とした座標系であり、特徴点ｎの座標を表す。△Ｄ（ｎ）＝│Ｖ’│とする。即ち、特徴点ｎがカメラワーク以外の動いた物体上の特徴点がどうかを、この△Ｄ（ｎ）を指標に判定する。

即ち、閾値をＤ_ｔｈとしたとき△Ｄ（ｎ）＞Ｄ_ｔｈである時（ステップ３５３、Ｙｅｓ）には動物体点と判定し、それ以外の場合（ステップ３５３、Ｎｏ）は背景点と見做す。

特徴点ｎが背景点の場合は、特徴点の状態を記憶する変数Sｔａｔ(ｎ)に例えば、１を記憶して（ステップ３５４）終了判定条件に移行する。動物体点の場合はフォローの点かどうかを判定するステップ（ステップ３６１）に移行する。

特徴点ｎがフォローされている物体上の点であるかの判定には、見た目以上の動きの大きさ△Ｆ（ｎ）＝│ｐ’−ｐ│を利用する。即ちＦ_ｔｈを閾値として△Ｆ（ｎ）＜Ｆ_ｔｈであるかどうかを判定する。△Ｆ（ｎ）＜Ｆ_ｔｈである場合（ステップ３５６、Ｙｅｓ）は、テロップなどの画面に固着したものかどうかを判定する手順へ移行する。それ以外の場合（ステップ３５６、Ｎｏ）はＳｔａｔ（ｎ）に動点を表す数（例えば２）を記憶して（ステップ３５７）終了判定条件（ステップ３６１）へ移行する。なお、△Ｆ（ｎ）＝Ｖ’（ｎ）−（ａ_ａ／ａ_１，ａ_４／ａ_１）としてもよい。

画面に固着した点かどうかの判定には閾値Ｆ_ｔｈより小さな値であるＦ’_ｔｈを用いてフォロー判定と同様の手順で行う。即ち、△Ｆ（ｎ）＜Ｆ’_ｔｈである場合（ステップ３５８、Ｙｅｓ）はＳｔａｔ（ｎ）に固着した物体上の点を表す数（例えば４）を記憶する（ステップ３６０）。また、条件に当てはまらない場合（ステップ３５８、Ｎｏ）は、Ｓｔａｔ（ｎ）にフォローされた物体上の点を表す数（例えば３）を記憶する（ステップ３５９）。どちらの場合も終了判定条件（ステップ３６１）へ移行する。

終了判定条件（ステップ３６１）では、全ての特徴点１〜Ｎに対して処理を行ったかどうかを判定する。全ての特徴点について処理が終了した場合（ステップ３６１、Ｙｅｓ）は特徴点分類手順全体を終了する。出力は各特徴点ＩＤとその特徴点に対する分類値であり、時系列特徴点記憶リスト１２３に記憶する。それ以外の場合は（ステップ３６１、Ｎｏ）、ｎをインクリメントして（ステップ３６２）、△Ｄ（ｎ）の計算（ステップ３５２）からやり直す。

［映像フレーム分類・映像区間算出・分類処理］
以下では、映像フレーム分類手順（ステップ３７０）、及び、映像区間算出・分類手順（ステップ３８０）の動作を詳細に説明する。

図８は、本発明の一実施の形態における映像フレーム分類手順及び映像区間算出・分類手順のフローチャートである。

特徴点分類によるフレーム分類信頼度算出手順（ステップ３７１）では、時系列特徴点記憶リストに記憶してある特徴点の分類を読み込み、フレームの分類を行う。付与する分類は図４に示したように、（１）動物体アップショットか否か、（２）動物体の有無、（３）カメラワークの有無、（４）動物体とカメラワークがある場合にはフォローか否か、の４つの基準を順に判定する。判定方法として以下に２つの例を挙げる。

第１の例としては特徴点の個数を数えて、その閾値処理によりフレームの分類を行うことが挙げられる。即ち、特徴点分類手順（ステップ３５０）により付与された各分類の数を数え、以下の条件を順に判定していく。なお、下記に示した分類ラベルはその分類固有の数値であり、時系列フレーム分類記憶リスト１２５へ記憶する。

（１）背景点個数を全特徴点数で割った値が一定値以下かどうか判定する。これにより動物体アップフレームを判定する。これは、文献１に記載の方法であり、この場合は“動物体があり”の分類を付与する。また、動物体アップフレームのときには安定したカメラワークが算出されないことが多いためカメラワークについての判定を行わないことにしてもよい。カメラワークについて判定しない場合はフォローの判定も行わず、このステップを終了する。カメラワークについて判定する場合は、（３）の判定から行う。

（２）動点とフォロー点の合計個数が一定数以上であるか判定する。この条件が満たされた場合はこのフレームに動物体があるという分類ラベルを振る。

（３）ショット内の一定時間前までのカメラワークパラメータをパラメータ記憶リストから読み出し、パラメータそれぞれについてそれらの平均値あるいは中央値を算出し、パラメータそれぞれに設定した閾値により閾値処理をする。パラメータ（ａ_１，ａ_２，ａ_３，ａ_４）の意味はそれぞれズーム、回転、パン、チルトであり、閾値以上であったパラメータがあれば、それに対応したカメラワークが検出されたとして分類する。回転以外のカメラワークが検出された場合には（４）の処理を行う。それ以外の場合はこのステップを終了する。

（４）フォロー点のショット内累積個数が一定数以上であり、かつ現フレームにおいてフォロー点個数が一定数以上であるか判定する。この条件が満たされた場合はこのフレームにフォローされている動物体があるという分類ラベルを振る。以下ではフォローフレームと呼ぶ。

第２の例としては、各特徴点に動きベクトルと周辺の特徴点との距離を用いて重み付けをし、その重みの各種別の合計値を用いてフレームの分類あるいはその分類の信頼度を算出することが挙げられる。各点の重みの付与方法を以下に述べる。

ある特徴点ｎの近傍にある特徴点Ｋ個について以下に示すｗ_ｋ（ｎ）を算出する。

ｗ_ｋ（ｎ）のｋについての総和

を各特徴点ｎにおいて計算し、それを各点の重みとして時系列特徴点記憶リストに記憶する。その後以下の条件により各分類に対する重みを計算する。なお、下記に示した重みは各分類においてそれぞれ算出し、それら全てを時系列フレーム分類記憶リストへ記憶する。なお、点の重みとして数式（４）の値をＫで割って平均値とした値を採用してもよい。

（ア） 動点とフォロー点全体の処理対象フレームにおける重みの平均値Ｗｍを算出する。これを現フレームにおける動物体の存在する指標とする。

（イ）ショット内の一定時間前までのカメラワークパラメータをパラメータ記憶リスト１２４から読み出し、パラメータそれぞれについてそれらの平均値あるいは中央値を算出し、パラメータそれぞれに設定した閾値により閾値処理をする。パラメータ（ａ_１，ａ_２，ａ_３，ａ_４）の意味は、それぞれズーム、回転、パン、チルトであり、閾値以上であったパラメータがあれば、それに対応したカメラワークが検出されたとして分類する。

（ウ）フォロー点全体の重みの平均値Ｗｆを算出する。

過去の履歴が充分あるか判定するステップ（ステップ３８１）では、時系列フレーム分類記憶リスト１２５を参照し、過去に算出したフレーム分類が一定個数Ｔ、あるいは一定時間前の値があるかどうかを判定する。一定個数Ｔ以上、あるいは一定時間前のフレーム分類の値が存在したときは映像区間算出・分類手順（ステップ３８０）に移行する。それ以外の場合は処理せずにこの処理を終了する。なお、動物体アップフレームの個数をカウントする場合にはアップフレーム時刻記憶リスト１２６も参照し、時系列フレーム分類リストのＴ個の時刻の範囲にアップフレーム時刻記憶リスト１２６中の値が存在する場合には、アップフレームとしてカウントし、時系列フレーム分類リスト１２５からはＴ−Ｔ’
（Ｔ’はアップフレーム時刻記憶リスト１２６中で上記に該当する要素の個数）だけ利用し、Ｔ’個のアップフレームのフレーム番号をアップフレーム時刻記憶リスト１２６より入力することも可能である。また、フレーム分類として信頼度を算出していた場合は、アップフレーム記憶リストにおける信頼度はある一定値として時系列フレーム分類記憶リスト１２５に追加してもよい。

映像区間算出手順（ステップ３８２）では、現フレームの各分類あるいはその重みを用いて、現映像区間の分類を判定するステップである。以下、二通りの判定方法を例として記す。

（ａ）動物体アップフレーム、動物体、カメラワークの各分類に対して、フレームに付与した分類が過去Ｔ個の値のうち、Ｔａ（≦Ｔ）個以上が現フレームの分類と同じ場合はその分類が、例えば、Ｔ／２個目の映像時刻に対し決定したものとする。なお、フレーム分類において決定されていない分類については前時間で判定された分類をそのまま付与するものとする。また、動物体アップフレーム以外で動物体とカメラワークが共にあると判定され、かつフォローである分類が過去Ｔ個の内Ｔｂ（≦Ｔ）個存在する場合は、例えば、Ｔ／２個目の映像時刻に対しフォローであると決定したものと見做す。以上決定した分類とその時刻を次のステップへ受け渡す。

（ｂ）各分類が重みとして付与されている場合の判定方法について述べる。動物体アップ区間かどうかはＷｍが顕著に大きいかどうかで判定する。即ち、動物体アップ区間の開始が検出されていない場合は、設定した閾値ＷｕよりＷｍが大きくなった場合を検出し、動物体アップ区間の開始を検出する。また、動物体アップ区間の開始が検出されている場合は、過去Ｔ個の重みＷｍの平均値あるいは中間値を算出し、それが一定値以上であるかどうかを判定する。一定値以上の場合に動物体アップ区間が継続していると判定する。カメラワークの判定については動物体アップ区間でないときだけ判定することにしてもよい。動物体の有無の判定はＷｕより小さな閾値設定で動物体アップ区間と同様に判定することにしてもよい。判定方法は（ａ）と同様である。フォローの判定はカメラワークと動物体が共にある場合のみ判定する。重みＷｆを利用し、動物体アップ区間と同様の判定方法を用いてフォローの有無を判定する。上記分類判定時刻は現フレーム時刻などとする。以上決定した分類とその時刻を次のステップに受け渡す。

区間種類の変更があるか判定するステップ（ステップ３８３）では、前回の判定において算出された各分類と今回の判定で算出された分類に変化があったか、あるいはカット点時刻記憶リスト１２２を参照して現フレームにカット点が含まれているか判定する。変化がある、あるいはカット点がある場合は映像区間設定手順（ステップ３８４）に移行する。それ以外の場合は処理を終了する。

映像区間設定手順（ステップ３８４）では、前までの分類の映像区間が終了した場合は、その分類に対する終点として前ステップから受け渡された映像時刻を映像区間分類リスト１２７の該当する分類の終了時刻に記録する。また、カット点が検出されていない場合は同時に新たな映像区間の始点として前ステップから受け渡された映像時刻とその分類を映像区間分類リスト１２７に追加記録する。カット点が検出された場合は、映像区間分類リスト１２７の中で現在開始時刻が設定され、終了時刻の設定されていない映像区間の終了時刻に現フレーム番号を書き込む。映像区間算出手順（ステップ３８２）として（ｂ）の手順をとったときには、新規に各分類の区間が検出された場合やその分類が継続しているかどうかの判定で継続していないと判定された場合に、上記と同様にして映像時刻とその分類を設定・記録する。上記で設定された各種分類とその開始時刻、また前回までの分類の終了時刻を出力して処理を終了する。なお、各映像区間のうち、カメラワーク区間、動物体存在区間は互いに独立な区間であり、それぞれの分類の区間が同時に付与される区間があってもよい。

次に、検出された各映像の分類とその利用方法の例について図９を用いて説明する。

上記の手順により動物体、カメラワークの有無及び動物体アップ区間、フォロー区間を図９のように各分類の有無の切り替わりにより区間分けを行う。これにより図４に記載の分類を行うことができる。この分類により映像を提示する方法を効果的に変更することができる。即ち、図９の例（１）では動物体が無く、カメラワークがある場合で、単純なパノラマ化をすることで映像区間を一覧できるパノラマ画像を生成することができる。これは、第３の従来技術に記載されているような既存技術を利用できる。（２）の例では、動物体もカメラワークも存在する場合で、この場合は動物体と背景の既存の物体抽出技術で分類した後に背景のみをパノラマかすると綺麗なパノラマと物体の軌跡を表示することが可能であり、映像の一覧性が向上する。（２）’も同様であるが、その物体はフォローされているため、この映像区間は撮影者の注目した物体が移っていると判断でき、（２）に比べ重要度が高いと判断できる。即ち、例えば（２）はユーザに提示せず（２）’だけを提示することで確認すべき映像内容を絞り込むことが可能である。なお、（２）’に示したようにフォロー区間のカメラワーク区間に対する少しのズレは許容してカメラワーク区間全体をフォロー区間と見做してもよい。例えば、この処理は全ての区間を算出した後に行う。

また、（３）は動物体が大きく写っている区間であり、撮影者がその物体に注目したと考えられる。それゆえの映像区間の中から数枚のフレーム画像をサムネイルとして利用者に提示することでカメラワークの動きからだけではない重要な映像部分を提示することができる。また、必要に応じてアップ区間に何が移っているかを、例えば、アップ区間の前後のフレーム画像に対し従来技術のオブジェクト認識を利用して認識し、必要な物体のみを取り出してもよい。こうすることのメリットとしてはオブジェクト認識を全てのフレームでする必要がなくなることと、大きく物体が写っているためその特徴が取りやすく、精度が向上する見込みがあることである。

なお、上記のカット点時刻記憶リスト、時系列特徴点記憶リスト、パラメータ記憶リスト、アップフレーム時刻記憶リスト、時系列フレーム分類記憶リスト、映像区間分類リスト等を格納する記憶手段を有するコンピュータを、映像処理装置として機能させるプログラムを構築し、映像処理装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムを、ハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像処理におけるシーン判定技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における映像処理装置の構成図である。 本発明の一実施の形態における映像区間分類：カメラワークと被写体の動きを用いた場合分けを示す図である。 本発明の一実施の形態における基本的な動作のフローチャートである。 本発明の一実施の形態における映像処理手順のフローチャートである。 本発明の一実施の形態における特徴点分類手順の詳細なフローチャートである。 本発明の一実施の形態における映像フレーム分類手順及び映像区間算出・分類手順のフローチャートである。 本発明の一実施の形態における映像フレーム分類手順及び映像区間算出・分類手順を説明するための図である。

符号の説明

１０１ 映像入力部
１０２ カット点検出部
１０３ 動きベクトル算出手段、動きベクトル算出部
１０４ カメラワークパラメータ算出手段、カメラワークパラメータ算出部
１０５ 動物体アップフレーム判定部
１０６ 単位領域分類手段、特徴点分類部
１０７ 映像フレーム分類手段、映像フレーム分類部
１０８ 映像区間分類手段、映像区間算出・分類部
１０９ 出力部
１２１ 映像記憶部
１２２ カット点時刻記憶リスト
１２３ 時系列特徴点記憶リスト
１２４ パラメータ記憶リスト
１２５ 時系列フレーム分類記憶リスト
１２６ アップフレーム時刻記憶リスト
１２７ 記憶手段、映像区間分類リスト

Claims (10)

1. 映像区間を分類するための映像処理方法において、
   入力された映像フレーム間で画像特徴量の対応関係から動きベクトルを算出する動きベクトル算出手順と、
   前記動きベクトルからカメラワークパラメータを算出するカメラワークパラメータ算出手順と、
   前記カメラワークパラメータと、前記動きベクトルを算出した画像の単位領域（以下、単位領域と記す）の重心座標と、該動きベクトルとを用いて各単位領域を分類する単位領域分類手順と、
   前記単位領域の分類を用いて各映像フレームを分類する映像フレーム分類手順と、
   算出された映像フレームの分類を時系列に記憶手段に蓄積し、映像区間の分類を算出する映像区間分類手順と、
   を行うことを特徴とする映像処理方法。
2. 前記映像フレーム分類手順において、
   各単位領域に付与された分類の数、あるいは各単位領域に付与された各分類の重みの総和を用いて、映像フレームの動物体の有無、映像フレームのカメラワークの有無、また、動物体・カメラワークが存在する場合に、当該物体がフォローされているかの分類を行う、請求項１記載の映像処理方法。
3. 前記カメラワークパラメータ算出手順の後に、
   算出パラメータによるアップフレームを判定するアップフレーム判定手順を行い、
   また、前記映像フレーム分類手順において、
   動物体アップフレームの検出処理を行い、動物体アップフレームが検出された場合に、算出されたカメラワークを採用しない、
   請求項１記載の映像処理方法。
4. 前記単位領域分類手順において、
   画面上で極端に停止している単位領域を固着している点として検出し、フォローされている単位領域と見做さない、請求項１記載の映像処理方法。
5. 映像区間を分類するための映像処理装置であって、
   入力された映像フレーム間で画像特徴量の対応関係から動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトルからカメラワークパラメータを算出するカメラワークパラメータ算出手段と、
   前記カメラワークパラメータと、前記動きベクトルを算出した画像の単位領域（以下、単位領域と記す）の重心座標と、該動きベクトルとを用いて各単位領域を分類する単位領域分類手段と、
   前記単位領域の分類を用いて各映像フレームを分類する映像フレーム分類手段と、
   算出された映像フレームの分類を時系列に記憶手段に蓄積し、映像区間の分類を算出する映像区間分類手段と、
   を有することを特徴とする映像処理装置。
6. 前記映像フレーム分類手段は、
   各単位領域に付与された分類の数、あるいは各単位領域に付与された各分類の重みの総和、あるいは平均値を用いて、映像フレームの動物体の有無、映像フレームのカメラワークの有無、また動物体・カメラワークが存在する場合に、当該物体がフォローされているかの分類を行う手段を含む、請求項５記載の映像処理装置。
7. 前記カメラワークパラメータ算出手段の後段に、
   算出パラメータによるアップフレームを判定するアップフレーム判定手段を設け、
   また、前記映像フレーム分類手段は、
   動物体アップフレームの検出処理を行い、動物体アップフレームが検出された場合に、算出されたカメラワークを採用しない手段を含む、
   請求項５記載の映像処理装置。
8. 前記単位領域分類手段は、
   画面上で極端に停止している単位領域を固着している点として検出し、フォローされている単位領域と見做さない手段を含む、請求項５記載の映像処理装置。
9. 映像区間を分類するための映像処理プログラムであって、
   コンピュータを、
   請求項５乃至８のいずれか記載の映像処理装置の手段として機能させることを特徴とする映像処理プログラム。
10. 映像区間を分類するための映像処理プログラムを格納した記憶媒体であって、
    コンピュータを、
    請求項５乃至８のいずれか記載の映像処理装置の手段として機能させるプログラムを格納したことを特徴とする映像処理プログラムを格納した記憶媒体。

Images