JP3832706B2 - 動画像の特徴画面抽出装置およびその記憶媒体 - Google Patents
動画像の特徴画面抽出装置およびその記憶媒体 Download PDFInfo
- Publication number
- JP3832706B2 JP3832706B2 JP2000065259A JP2000065259A JP3832706B2 JP 3832706 B2 JP3832706 B2 JP 3832706B2 JP 2000065259 A JP2000065259 A JP 2000065259A JP 2000065259 A JP2000065259 A JP 2000065259A JP 3832706 B2 JP3832706 B2 JP 3832706B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- screen
- section
- vector
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動画像の特徴画面抽出装置およびその記憶媒体に関し、特に、デジタル動画像信号の特徴画面抽出装置および特徴画面抽出のプログラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】
動画像信号から特徴画面を抽出する従来装置の一例を図２３に示す。図２３において、制御部１０８からの制御信号ａにより、動画像データは動画像メモリ１０４から１画面ずつ順次取り出され、特徴ベクトル抽出部１００に入力される。特徴ベクトル抽出部１００では、入力画面の特徴ベクトルＩＶが抽出される。該特徴ベクトルとしては輝度のヒストグラムなどを利用することができる。抽出された入力画面の特徴ベクトルＩＶは、変化度測定部１０１に入力されると共に、入力ベクトルメモリ１０５に蓄積される。
【０００３】
入力画面の特徴ベクトルＩＶは、変化度測定部１０１にて、参照ベクトルメモリ１０６に蓄積されている参照画面の特徴ベクトルＲＶと比較され、参照画面からの変化度値Ｄが測定される。この変化度値Ｄは、例えば、入力画面の特徴ベクトルＩＶと参照画面の特徴ベクトルＲＶの絶対差分和などで求めることができる。
【０００４】
次に、該変化度値Ｄは特徴区間決定部１０２に入力される。該特徴区間決定部１０２は、変化度値Ｄが予め定められた閾値Ｔより大きいか否かの判断をする。この判断が終わると、該判断の結果を示す信号ｂが参照ベクトル更新部１０７および制御部１０８に伝えられる。
【０００５】
該特徴区間決定部１０２において、前記変化度値Ｄが前記閾値Ｔより大きいと判断された場合には、同一特徴区間を終了させ、同一特徴区間情報ｃを特徴画面抽出部１０３に出力する。特徴画面抽出部１０３は、同一特徴区間情報ｃから同一特徴区間内における先頭の画面の画面番号を求め、該画面番号ｄを特徴画面として出力する。これと同時に、参照ベクトル更新部１０７は参照ベクトルを更新する。参照ベクトルの更新方法としては、最後に入力された画面の特徴ベクトルを入力ベクトルメモリ１０５から取り出すことにより更新することができる。この更新された参照ベクトルは参照ベクトルメモリ１０６に蓄積される。次に、画像メモリ１０４から次の画像データが読み出され、該入力画像データの特徴ベクトルと更新された参照ベクトルを用いて、前記したのと同じ動作が行われ、次の同一特徴区間が決定される。
【０００６】
一方、前記変化度測定部１０１で測定された変化度値Ｄが閾値Ｔ以下の場合は、制御部１０８からの制御信号ａにより、画像メモリ１０４から次の画像データが読み出され、これを特徴ベクトル抽出部１００に入力させて、前記と同様の変化度測定処理を行う。
【０００７】
なお、画像メモリ１０４から読み出される動画像データが第１画面の場合は、入力ベクトルメモリ１０５に蓄積された入力画面の特徴ベクトルＩＶを参照ベクトルメモリ１０６に参照ベクトルとして入力させ、第１画面に関する処理を終了させる。その後は、制御部１０８からの制御により、画像メモリ１０４から次の画像データを特徴ベクトル抽出部１００に入力させて、次の変化度測定処理を行う。
【０００８】
【発明が解決しようとする課題】
前記した従来方法では、変化度値Ｄが高い画面が現れた時点で同一特徴区間が終了するが、常に区間の最初の画面と入力画面を比較しているため、同一特徴区間の決定は先頭画面の特性に大きく左右されることになる。
【０００９】
また、固定した閾値で特徴区間を決定するため、大きな動きがあるシーンでは特徴区間数および特徴画面数は多くなり、逆に動きの少ないシーンでは特徴区間数および特徴画面数は少なくなる。このため、目標の特徴画面数でシーンを分割することは困難になる。
【００１０】
さらに、特徴画面は同一特徴区間の先頭の画面を用いることが多いが、例えばパンするシーンでは先頭画面よりも中ほどの画面が意味的に重要なことが多い。しかし、従来装置では、該意味的に重要な画面を特徴画面とすることができない。さらに、各特徴画面間の関係がわからないため、特徴区間を階層的に表示することができない。
【００１１】
本発明の目的は、前記した従来技術の問題点を解決し、任意のレベルで特徴区間を決定でき、先頭画面の特性に左右されずに同一特徴区間を決定でき、または同一特徴区間の特性に最も適した特徴画面を抽出できる動画像データの特徴画面抽出装置およびそのプログラムを記憶した記憶装置を提供することにある。
【００１２】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、力画面の特徴ベクトルと参照ベクトルとの変化度値Ｄを測定する変化度測定部と、該変化度測定部で測定された変化度値Ｄと第１の閾値ＴＫ0 とを比較して、同一特徴区間を決定する特徴区間決定部と、該特徴区間決定部で決定された同一特徴区間数ＮＫ0 と、目標の同一特徴区間数ＮＫＴとの特性関係から、第２の閾値ＴＫＴ1 を決定する閾値決定部とを具備し、該閾値決定部で決定された第２の閾値ＴＫＴ1 を前記特徴区間決定部で用い、前記変化度測定部で測定された変化度値Ｄと第２の閾値ＴＫＴ 1 とを比較することにより、該特徴区間決定部は前記目標の同一特徴区間数に基づく同一特徴区間を決定するようにした点に第１の特徴がある。この特徴によれば、目標のレベルで同一特徴区間を決定することができるようになる。
【００１３】
また、本発明は、閾値決定部は、前記特徴区間決定部で決定された同一特徴区間数ＮＫと目標の同一特徴区間数ＮＫＴとから閾値ＴＫＴを決定する処理を繰返し行い、該処理により得られた閾値を前記特徴区間決定部で用いることにより、ｎ階層（ｎは２以上の整数）の同一特徴区間を決定するようにした点に第２の特徴がある。この特徴によれば、同一特徴区間内の特徴ベクトルを再帰的に用いて階層的な同一特徴区間を求めることが可能になる。
【００１４】
また、本発明は、前記特徴区間決定部で決定された同一特徴区間の代表特徴ベクトルを抽出する手段を具備し、前記変化度測定部は、該代表特徴ベクトルと参照ベクトルとから変化度値を求めるようにした点に第３の特徴がある。この特徴によれば、先頭画面の特性に左右されずに同一特徴区間を決定できるようになる。 また、本発明は、前記特徴画面抽出部によって抽出される特徴画面は、同一特徴区間の先頭画面、同一特徴区間内の共通特徴ベクトルとの距離が最も小さい画面、および特徴画面を含む時間的に連続な複数画面のいずれかである点に第４の特徴がある。この特徴によれば、同一特徴区間の特性に最も適した特徴画面を抽出できるようになる。
【００１５】
また、本発明は、動画像の各画面の特徴ベクトルを抽出する機能と、該特徴ベクトルと参照画面の特徴ベクトルとの変化度値Ｄを測定する機能と、該変化度値Ｄと閾値とを比較して同一特徴区間を決定する機能と、該同一特徴区間から特徴画面を抽出する機能と、前記同一特徴区間を決定するための閾値を、目標とする同一特徴区間数に応じた値に変更する機能とからなる、コンピュータを実行させるためのプログラムを記録したコンピュータ読取り可能な記憶媒体を提供する点に第５の特徴がある。
【００１６】
また、本発明は、ショット区間の動画像を蓄積するショット内画像蓄積部と、前記第１、第２の特徴でのべた構成で求められた同一特徴区間画面を用いてショット内特徴ベクトルを求めるショット内特徴ベクトル抽出部と、該ショット内特徴ベクトルの共通特徴ベクトルに最も近い画面をショット代表画面とするショット内特徴画面映像抽出部とを具備した点に第６の特徴があり、また、ファイルの動画像を蓄積するファイル内画像蓄積部と、該第６の特徴で求められたショット代表画面を用いてファイル内特徴ベクトルを求めるファイル内特徴ベクトル抽出部と、該ファイル内特徴ベクトルの共通特徴ベクトルに最も近い画面をファイル代表画面とするファイル内特徴画面映像抽出部とを具備した点に第７の特徴がある。
【００１８】
前記第６、７の特徴によれば、映像ファイルの内容を階層的に記述することができ、必要とするレベルで、情報の内容を容易に検索することが可能となる。
【００１９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図、図２はその動作を説明するフローチャートである。この実施形態は、動画像データから、目標とする個数の同一特徴区間を抽出できるようにした点に特徴がある。
【００２０】
図１において、制御部１０８からの制御信号ａにより動画像データが動画像メモリ１０４から１画面ずつ順次取り出され、該取り出された画面は特徴ベクトル抽出部１００に入力される。特徴ベクトル抽出部１００は、該動画像データから入力画面の特徴ベクトルＩＶを順次抽出する。該特徴ベクトルとしては、輝度のヒストグラムなどを利用することができる。次に、入力画面の特徴ベクトルＩＶは変化度測定部１０１に送られ、また入力ベクトルメモリ１０５に送られて蓄積される。
【００２１】
変化度測定部１０１に送られた入力画面の特徴ベクトルＩＶは、参照ベクトルメモリ１０６に蓄積されている参照画面の特徴ベクトルＲＶと比較され、変化度値Ｄが測定される。例えば、変化度値Ｄは、図２２の（１）式や（２）式のように入力画面の特徴ベクトルＩＶ(i) と参照画面の特徴ベクトルＲＶ(i) の絶対差分和や絶対差分二乗和などで求めることができる。
【００２２】
ここで、Ｍはベクトルの次数である。特徴ベクトルとしては、輝度画素データ、ＹＵＶ画素データ、サブサンプリングした画素データ、小領域内の平均輝度データ、輝度ヒストグラム、ＹＵＶヒストグラム、ＲＧＢヒストグラムや、輝度、ＲＧＢ、ＹＵＶ画面平均などを用いることができる。
【００２３】
変化度値Ｄは特徴区間決定部１０２に入力され、予め定められた閾値ＴＫ0 と比較される。該比較の結果を示す信号ｂは、参照ベクトル更新部１０７と制御部１０８に送られる。該変化度値Ｄが該閾値ＴＫ0 より大きいと判断された場合には、特徴区間決定部１０２は同一特徴区間を終了させ、また参照ベクトル更新部１０７は参照ベクトルを更新する。また、同一特徴区間数カウンタ２１はカウントアップする。参照ベクトルの更新方法の一例としては、最後に入力された画面の特徴ベクトルを入力ベクトルメモリ１０５から取り出し、参照ベクトルとして参照ベクトルメモリ１０６に蓄積する。
【００２４】
上記のようにして、１個の同一特徴区間が決定されると、画像メモリ１０４は制御部１０８からの制御信号ａにより、引き続き、動画像データを１画面ずつ読み出す。そして、前記と同様の動作が行われ、更新された参照ベクトルを用いて、次の同一特徴区間を決定する。
【００２５】
一方、前記変化度値Ｄが閾値ＴＫ0 以下の場合は、特徴区間決定部１０２から、変化度値Ｄと閾値ＴＫ0 との比較結果を示す信号ｂが制御部１０８に送られる。そうすると、制御部１０８は、制御信号ａにより、画像メモリ１０４からの次の画像データを読み出させ、次の１画面の特徴ベクトルＩＶと前記参照ベクトルＲＶとの変化度値Ｄを測定する処理を行う。以下、前記と同様の動作が繰り返される。
【００２６】
また、第１画面の場合は、入力ベクトルメモリ１０５に蓄積された入力画面の特徴ベクトルＩＶを参照ベクトルメモリ１０６に参照ベクトルとして入力させ、第１画面に関する処理を終了させる。次いで、制御部１０８からの制御により、画像メモリ１０４から次の画像データを読出して特徴ベクトル抽出部１００に入力させて、次の変化度値Ｄを測定する処理を行う。
【００２７】
これらの処理をショット内の画面がすべて入力されるまで繰り返した後で、同一特徴区間数ＮＫ0 を同一特徴区間数カウンタ２１から閾値決定部２２に入力させる。閾値決定部２２では、１ショット内の同一特徴区間数ＮＫ0 と、制御部１０８から指示された目標の同一特徴区間数ＮＫＴから同一特徴区間数特性を用いて、目標の同一特徴区間数ＮＫＴを得るための閾値ＴＫＴを決定する。
【００２８】
同一特徴区間数特性は、例えば図３のような特性図を用いることができる。図３の横軸は閾値（＝ＴＫ）を示し、縦軸は同一特徴区間数（＝ＮＫＴ）を示す。例えば、閾値ＴＫ0 ＝５００における同一特徴区関数ＮＫ0 ＝８で、目標の同一特徴区間数ＮＫＴ＝２の場合には、目標の閾値ＴＫＴ＝１０００に設定すればよい。また、特性図から、多項式近似曲線を特性関数として求め、特性関数から数値計算することも可能である。
【００２９】
なお、このような特性図は、いくつかのテスト画像を用いて閾値ＴＫ0 を変化させたときの同一特徴区間数ＮＫ１の変化を調査し、グラフ化することにより求めることができる。また複数テスト画像が類似した特性を有する場合はそれらの特性曲線を平均化などの統計処理を行って特性の信頼性を高めることができる。
【００３０】
次に、新しく決定した閾値ＴＫＴを特徴区間決定部１０２に入力させる。次に、既に入力ベクトルメモリ１０５に記憶されているショット内の入力ベクトルを第１画面から取り出して、参照ベクトルメモリ１０６にセットする。次に、第２画面の入力ベクトルＶを入力ベクトルメモリ１０５から取り出して、変化度測定部１０１に入力させる。また参照ベクトルメモリ１０６から参照ベクトルＲＶを取り出して変化度測定部１０１に入力させて、入力ベクトルＶと参照ベクトルＲＶの変化度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴよりも大きい場合は同一特徴区間を終了させ、参照ベクトルを更新させる。
【００３１】
さらに、同一特徴区間のタイムコードを特徴画面抽出部１０３に入力させる。特徴画面抽出部１０３では同一特徴区間内の特徴画面を抽出する。例えば、同一特徴区間内における先頭の画面の画面番号を特徴画面として出力することができる。また、変形例として、先頭の画面から連続する画面の番号を特徴映像として出力することもできる。この場合、画面数としては、固定した画面数や同一特徴区間の長さに応じた比率で画面数を決定してもよい。
【００３２】
一方、変化度値Ｄが閾値ＴＫＴ以下の場合は、次の画面の特徴ベクトルＶを入力ベクトルメモリ１０５から取り出して、変化度値Ｄの測定を行う。
【００３３】
以上の処理を、ショット内の画面全てについて行う。図２のフローチャートは、本実施形態の前記した動作を示したものであるが、詳細な説明は省略する。この処理により、図４に示されているように、１ショットの動画像データを、目標とする個数（図示の場合４個）の同一特徴区間に分けることができるようになる。
【００３４】
次に、本発明の第２の実施形態について、図１、図５を参照して説明する。前記第１の実施形態では、参照ベクトル更新部１０７における参照ベクトルの更新は、更新前に入力されたベクトルのうち最後に入力されたベクトルを参照ベクトルとするように更新している。したがって、変化度値Ｄを測定する場合、常に同一特徴区間内で最初の画面の入力ベクトルと現在入力されているベクトルを比較することになる。例えば、図５(a) では、同一特徴区間１では入力画面１の特徴ベクトルを参照ベクトルＲＶ１として、ＲＶ１と第２画面以降の画面の入力ベクトルを比較して特徴区間を決定している。この場合、同一特徴区間内における最初の画面の特性に変化度測定が大きく依存する。
【００３５】
これに対して、該第２の実施形態は、図５(b) に示されているように、参照ベクトルの特性を画面入力の度に更新して参照ベクトルの特性変動を抑えるようにした点に特徴がある。この場合、新たな画面が入力される度に参照ベクトルが更新されるため、同一特徴区間の特徴を表した参照ベクトルを得ることができる。参照ベクトルの更新方法としては、これまで入力されてきた特徴ベクトルＩＶk(i)の平均やメディアン等の共通特徴ベクトルを用いることができる。
【００３６】
特徴ベクトルの平均ベクトルＲＶc(i)は、例えば図２２の（３）式から求めることができる。
ここで、Ｃはこれまで入力された画面のうち同一特徴区間内の画面数を示す。
【００３７】
また、特徴ベクトルのメディアンベクトルＲＶc(i)は、例えば下記の（４）式から求めることができる。
ＲＶc(i)＝Median｛ＩＶk(i)，ｋ＝０，１，…，Ｃ−１｝ …（４）
【００３８】
また、同一区間内に存在する画面を画素単位で平均した画面平均に対する上記の特徴ベクトルを参照ベクトルとすることもできる。
【００３９】
次に、本発明の第３の実施形態について説明する。前記第１の実施形態では特徴画面抽出部１０３において同一特徴区間内における先頭の画面の画面番号、または先頭の画面から連続する画面の番号を特徴画面として出力している。しかしながら、同一特徴特徴画面がカメラパンのシーンの場合には、必ずしも最初の画面がその同一特徴区間を代表する画面とはいえず、区間内における共通の特徴を有する画面を代表画面とすることが望ましい。区間内の共通の特徴ベクトルをＣＶとすると、代表画面Ｒは、下記の（５）式のように、ＣＶとＩＶの距離を最小にする画面Ｒとして求めることができる。
Ｒ＝arg[Min{Dist( ＣＶ(i) ，ＩＶR(i))}] …（５）
【００４０】
ここで、ＣＶとＩＶの距離Distの測定については、（１）（２）式のようにベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、共通特徴ベクトルＣＶとしては、図２２の（６）式のような同一特徴区間内の平均ベクトルや、下記の（７）式のようなメディアンベクトルを用いることができる。
ＣＶ(i) ＝Median｛ＩＶk(i)，ｋ＝０，１，…，ＴＣ−１｝ …（７）
ここで、ＴＣは同一特徴区間全体の画面数を示す。
【００４１】
本実施形態の変形例として、代表画面を、連続する複数の画面とすることも可能である。この場合、代表画面Ｒを含むＲＶフレームを代表映像とすることができる。ＲＶの値は、同一特徴区間長に依存しない固定値でも、同一特徴区間長に比例した値でもかまわない。また、代表映像における代表画面Ｒの位置は、代表映像の中心に位置しなくてもよい。
【００４２】
次に、本発明の第４実施形態について、図６を参照して説明する。前記第１の実施形態では、図３の同一特徴区間数特性図を用いて目標の特徴画面数に対する閾値を閾値決定部２２において決定し、新しく決定した閾値ＴＫＴを用いて特徴区間決定部１０２で特徴区間の決定を行っている。
【００４３】
これに対して、本実施形態は、同一特徴区間数特性図を再帰的に用いて階層的に特徴区間を決定するようにした点に特徴がある。
【００４４】
この実施形態では、まず、第１の実施形態と同様に、ショット内のすべての画面に対して閾値ＴＫ0 で変化度を測定して、同一特徴区間数ＮＫ0 を求める。この際、参照ベクトルの更新については、前記第２の実施形態の手法を用いることが可能である。次に、第１階層の同一特徴区間数ＮＫＴ1 を設定し、図６の特徴区間数特性からＴＫ0 に対してＮＫ0 を示す曲線１を用いてＮＫＴ1 に対する閾値ＴＫＴ1 を求める。第１階層では閾値ＴＫＴ1 を用いてショット内のすべての画面に対して変化度を測定して第１階層の同一特徴区間数ＮＫ1 を求め、各同一特徴区間の特徴画面を抽出する。この際、前記第１の実施形態や、第３の実施形態の手法を用いて特徴画面抽出することが可能である。
【００４５】
次に、第２階層の同一特徴区間数ＮＫＴ2 を設定し、図６の特徴区間数特性からＴＫＴ1 に対してＮＫ1 を示す曲線２を用いてＮＫＴ2 に対する閾値ＴＫＴ2を求める。第２階層では閾値ＴＫＴ2 を用いてショット内の変化度を測定して第２階層の同一特徴区間数ＮＫ2 を求め、各同一特徴区間の特徴画面を抽出する。この処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面を抽出する。なお、前記曲線１、２、…は、トレーニング画像を用いて求められた、予め求められている特性曲線である。
【００４６】
この実施形態によれば、ショット内の同一特徴区間数を階層的に決定することができるようになる。
【００４７】
次に、本発明の第５実施形態について、図７と図８を用いて説明する。なお、図７の図１と同一の符号は、同一または同等物を示し、詳細な動作説明を省略する。
【００４８】
前記第４の実施形態では、各階層についてショット内のすべての画面の特徴ベクトルを用いて同一特徴区間を求めているが、第５の実施形態は、各階層で求められた同一特徴区間の情報、例えば代表特徴ベクトルを用いて、次の階層の同一特徴区間を求めるようにした点に特徴がある。構成的には、入力ベクトルメモリ１０５と参照ベクトルメモリ１０６との間に、入力ベクトル更新部７０を設けた点に特徴があるので、主に該入力ベクトル更新部７０の動作について、詳しく説明する。
【００４９】
図１で説明したのと同様の動作により、閾値ＴＫ0 を用いて同一特徴区間を求める処理を、ショット内の画面がすべて画像メモリ１０４から入力されるまで繰り返した後で、同一特徴区間数カウンタ２１でカウントした同一特徴区間数ＮＫ0 を閾値決定部２２に入力させる。閾値決定部２２では、同一特徴区間数ＮＫ0と第１階層における目標の同一特徴区間数ＮＫＴ１から、図３または図６の同一特徴区間数特性を用いて目標の閾値ＴＫＴ１を決定する。
【００５０】
次に、閾値決定部２２で新しく決定された閾値ＴＫＴ１は特徴区間決定部１０２に入力される。制御部１０８は入力ベクトル更新部７０に指示を出して、第１特徴区間に存在する画面の入力ベクトルを入力ベクトルメモリ１０５から取り出させる。入力ベクトル更新部７０は、受けとった入力ベクトルで参照ベクトルを更新し、参照ベクトルメモリ１０６にセットする。次に、第２特徴区間に存在する画面の入力ベクトルを入力ベクトルメモリ１０５から取り出して入力ベクトル更新部７０で更新し、変化度測定部１０１に入力させる。
【００５１】
入力ベクトル更新部７０では、下記の方法１〜４のいずれかを用いて、入力ベクトルを更新し、これを同一特徴区間の代表特徴ベクトルとすることができる。方法１ 同一特徴区間の先頭画面の入力特徴ベクトルを代表特徴ベクトルとして用いる。
方法２ 同一特徴区間内の画面の入力特徴ベクトル平均ベクトルを代表特徴ベクトルとして用いる。
方法３ 同一特徴区間内の画面の入力特徴ベクトルのメディアンベクトルを代表特徴ベクトルとして用いる。
方法４ 同一特徴区間内の画面の入力ベクトルの平均ベクトルに最も距離の小さい入力ベクトルを有する画面の入力ベクトルを代表特徴ベクトルとして用いる。なお、距離の測定には、前記（１）式や（２）式のようにベクトル間の絶対差分和や絶対差分二乗和を用いることができる。
【００５２】
次に、参照ベクトルメモリ１０６から参照ベクトルＲＶを取り出して変化度測定部１０１に入力させて、第２特徴区間に存在する画面の代表特徴ベクトルと参照ベクトルの変化度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴ1 よりも大きい場合は同一特徴区間を終了させ、参照ベクトルを更新させる。さらに同一特徴区間のタイムコードを特徴画面抽出部１０３に入力させる。特徴画面抽出部１０３では同一区間内の特徴画面を抽出する。例えば同一特徴区間内における先頭の画面の画面番号を特徴画面として出力することができる。
【００５３】
逆に、変化度値Ｄが閾値ＴＫＴ以下の場合は、次の同一特徴区間の画面の代表特徴ベクトルを入力ベクトルメモリ１０５から取り出して、変化度測定を行う。
【００５４】
これらの処理をすべての同一特徴区間について行い、第１階層の特徴区間を決定する。この際、実施形態１や実施形態３の手法を用いて、各特徴区間における特徴画面抽出をすることが可能である。
【００５５】
次に、第２階層の同一特徴区間数ＮＫＴ2 を設定し、特徴区間数特性からＮＫＴ2 に対する閾値ＴＫＴ2 を求める。なお、閾値の求め方としては第１の実施形態や第４の実施形態に記載された方法を用いることができる。
【００５６】
第２階層では閾値ＴＫＴ2 を用いて、第１階層で求めた各特徴区間における代表特徴ベクトルの参照ベクトルに対する変化度値を測定する。そして、第２階層の同一特徴区間数ＮＫ２を求め、各同一特徴区間の特徴画面を抽出する。この処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面を抽出する。
【００５７】
前記第１〜５実施形態で説明した動画像の特徴画面抽出機能は、ソフトウェア（プログラム）で実現でき、該ソフトウェアは、光ディスク、フロッピディスク、ハードディスクなどの過般型記憶媒体に記憶することができる。また、コンピュータなどのハードディスクなどのメモリ中に予め入れておいても、また該コンピュータが接続されたネットワークから該コンピュータのハードディスクなどのメモリ中に取り込むようにしてもよい。また、ネットワークのように、データを一時的に記憶保持するような伝送媒体であってもよい。
【００５８】
図２１は、前記過般型記憶媒体あるいはハードディスクなどの記憶媒体に記憶されたプログラムを読み取って、前記動画像の特徴画面抽出機能を実行するコンピュータのハード構成を示すブロック図である。該コンピュータ２００は、前記図１、図７に示した、特徴ベクトル抽出部１００、変化度測定部１０１、特徴区間決定部１０２、特徴画面抽出部１０３、同一特徴区間数カウンタ２１、閾値決定部２２、および参照ベクトル更新部１０７の機能のプログラムが記憶された記憶媒体２１０と、該記憶媒体２１０に記憶されたプログラムを実行するＣＰＵ２１１と、各種のデータを記憶するＲＯＭ２１２と、画像、入力ベクトル、参照ベクトル、演算パラメータ等を記憶するＲＡＭ２１３と、キーボード、マウスなどの入力装置２１４と、ディスプレー、プリンタなどの出力装置２１５と、ネットワークなどと接続される入出力インタフェース２１６等から構成されている。
【００５９】
ＣＰＵ２１１は、記憶媒体２１０に記憶されている前記動画像の特徴画面抽出機能プログラムを実行することにより、前記第１〜５実施形態で説明した動画像の特徴画面抽出処理を実行する。
【００６０】
図８は、前記した処理を分かりやすく図示したもので、閾値ＴＫ0 を用いて同一特徴区間を求める処理をショット内の画面のすべてに対して行うことにより、ＮＫ0 個の同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ0 −１）が得られたとすると、その後、前記のようにして、第１階層における目標の閾値ＴＫＴ１を決定する。そして、該閾値ＴＫＴ１を用いて、前記同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ0 −１）から、それらの代表特徴ベクトルを用いて、第１階層の同一特徴区間Ｋ１（０），Ｋ１（１），…，Ｋ１（ＮＫ1 −１）を抽出する。次に、第２階層における目標の閾値ＴＫＴ２を決定し、該閾値ＴＫＴ２を用いて、前記第２階層の同一特徴区間Ｋ２（０），Ｋ２（１），…，Ｋ２（ＮＫ2 −１）を抽出する。以下、同様の処理をして、第ｎ階層における目標の閾値ＴＫＴn を決定し、該閾値ＴＫＴn を用いて、第ｎ階層の同一特徴区間Ｋｎ（０），Ｋｎ（１），…，Ｋｎ（ＮＫn −１）を抽出する。
【００６１】
次に、本発明の第６実施形態について説明する。前記第１〜５の実施形態では同一特徴区間の検出方法について述べた。この第６の実施形態は、ショットとファイル全体の代表画面、代表映像の決定方法に特徴がある。図９は、本実施形態の動作を示すフローチャートである。まず、動画像を入力し（ステップＳ１）、入力された動画像についてカット点が検出される。カット点の検出方法としては「動画像のカット画面検出方法」（特開平７−５９１０８号公報）などを利用することができる。これによりカット点とカット点間を示すショット区間を検出することができる（ステップＳ２）。次に、各ショット区間の動画像について、第１〜第５の実施形態で述べた同一特徴区間検出を用いて各ショット内における同一特徴区間を検出すると共に、同一特徴区間を代表する代表画面や代表映像を決定する（ステップＳ３）。
【００６２】
次に、ショット内の代表画面や代表映像を決定する（ステップＳ４）。図１０はショット内の代表画面、代表映像を決定する方法を示すブロック図である。ショット内の画像はショット内画像メモリ８０１から取り出され、ショット内特徴ベクトル抽出部８００に入力される。ショット内特徴ベクトルとしては第１の実施形態と同様に、画面内の輝度ヒストグラムなどを用いることができる。ショット内特徴ベクトルＳＩＶはショット内特徴ベクトルメモリ８０２に蓄積されると共に、ショット内特徴画面・映像抽出部８０３に入力される。ショット内特徴画面・映像抽出部８０３では、共通特徴ベクトルＳＣＶを用いて、ショット内の代表画面・映像が決定される。
【００６３】
すなわち、ショット内の代表画面ＳＲはＳＣＶとＳＩＶの距離を最小にする画面として求めることができる。ここで、ＳＣＶとＳＩＶの距離の測定についてはベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、ショット内共通特徴ベクトルＳＣＶについては、ショット内の平均ベクトルやメディアンベクトルを用いることができる。ショット内の代表映像としては、代表画面ＳＲを含むＳＲＶフレームを代表映像とすることができる。ＳＲＶの値はショット長に依存しない固定値でも、ショット長に比例した値でもかまわない。また、代表映像における代表画面ＳＲの位置は代表映像の中心に位置しなくてもよい。さらにショット内の同一特徴区間情報を用いて、ショット代表画面が存在する同一特徴画面区間すべてを代表映像としてもよい。
【００６４】
本実施形態の変形例としては、前に求めた同一特徴区間における代表画面を用いてショット代表画面を決定することができる。この場合、ショット内画像メモリ８０１にはショット内のすべての画像を用いる代わりに、各同一特徴区間の代表画面のみを用いる。これにより特徴ベクトルの抽出処理や特徴画面・映像抽出に必要な処理量を大幅に削減することができる。さらに特徴ベクトルとして、同一特徴区間検出で用いた特徴ベクトルと同一のベクトルを用いることにより、ショット内特徴ベクトル抽出処理を省略することができる。
【００６５】
別の変形例としては、既に求められている各同一特徴区間における共通ベクトルＣＶを各同一特徴区間の特徴ベクトルとして用いて、上で述べた方法を用いてショット内共通特徴ベクトルＳＣＶを求めることができる。この場合、各同一特徴画面における共通ベクトルをショット内特徴ベクトルとして用いることにより、前記変形例と同様にショット内特徴ベクトル抽出処理が不要になり、全体の処理量を削減することができる。
【００６６】
また、別の変形例の代表画面・代表映像の決定方法として、各同一特徴区間で最も長い区間を有する同一特徴区間の代表画面・代表映像を用いることも可能である。
【００６７】
次に、ファイル全体の代表画面や代表映像を決定する（ステップＳ５）。図１１は映像ファイル内の代表画面、代表映像を決定する方法を示したものである。映像ファイル内の画像はファイル内画像メモリ９０１から取り出され、ファイル内特徴ベクトル抽出部９００に入力される。ファイル内特徴ベクトルとしては、第１の実施形態と同様に、画面内の輝度ヒストグラムなどを用いることができる。ファイル内特徴ベクトルＦＩＶはファイル内特徴ベクトルメモリ９０２に蓄積されると共に、ファイル内特徴画面・映像抽出部９０３に入力される。ファイル内特徴画面・映像抽出部９０３では、ファイル内の共通特徴ベクトルＦＣＶを用いて、ファイル内の代表画面・映像ＦＲが決定される。
【００６８】
ファイル内の代表画面ＦＲはＦＣＶとＦＩＶの距離を最小にする画面として求めることができる。ここで、ＦＣＶとＦＩＶの距離の測定についてはベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、ファイル内共通特徴ベクトルＦＣＶについてはファイル内画面の特徴ベクトルの平均ベクトルやメディアンベクトルを用いることができる。ファイル内の代表映像としては、代表画面ＦＲを含むＦＲＶフレームを代表映像とすることができる。また、ショット情報を用いて、ファイル代表画面を含むショットすべてを代表映像としてもよい。また、ショット内の同一特徴区間情報を用いて、ファイル代表画面が存在する同一特徴画面区間すべてを代表映像としてもよい。
【００６９】
変形例としては，前に求めた各ショット区間における代表画面を用いてファイル代表画面を決定することができる。この場合、ファイル内画像メモリ９０１にはファイル内のすべての画像を用いる代わりに，各ショットの代表画面のみを用いる。これにより特徴ベクトルの抽出処理や特徴画面・映像抽出に必要な処理量を大幅に削減することができる。さらに特徴ベクトルとして、ショット内代表画面検出で用いた特徴ベクトルと同一のベクトルを用いることにより、ファイル内特徴ベクトル抽出処理を省略することができる。
【００７０】
別の変形例としては，ショット代表画面検出で用いたショット内の共通特徴ベクトルＳＣＶを用いてファイル代表画面を求めることができる。この場合、各ショットにおける共通特徴ベクトルをファイル内特徴ベクトルとして用いることにより，前記変形例と同様にファイル内特徴ベクトル抽出処理が不要になり、全体の処理量を削減することができる。
【００７１】
また別の変形例としては，代表画面・代表映像の決定方法として各ショットで最も長いショット長を有するショットの代表画面・代表映像を用いることも可能である。
【００７２】
次に、本発明の第７実施形態について説明する。前記第１〜５の実施形態では同一特徴区間の検出方法について述べた。これらの検出処理を各映像ファイルに対して毎回行う代わりに、各映像ファイルにおける特徴区間情報ファイルを作成し、これを例えば図２１の記憶媒体２１０に格納して使用することにより、映像ファイルの同一特徴区間に対する検索効率を高めることが可能である。
【００７３】
図１２は特徴情報ファイルの１構成例を示したものである。特徴情報ファイルはファイルヘッダの後にショット情報＃１、ショット情報＃２、…のように各ショット情報で構成される。
【００７４】
さらに、各ショット情報はショットヘッダの後に同一特徴区間情報＃１、同一特徴区間情報＃２、…の順で構成される。また、各同一特徴区間情報は同一特徴区間ヘッダと同一特徴区間詳細情報で構成される。
【００７５】
前記ファイルヘッダの構成例を、図１３に示す。ファイルヘッダはファイルヘッダスタートコードの後に、ファイル属性情報、ショット数、ショット情報アドレス＃１、ショット情報アドレス＃２、…の順に構成される。ファイルヘッダスタートコードはファイルヘッダ情報を示す開始コードで、他のスタートコードと区別できるようなユニークなコードを用いる。ファイル属性情報には、映像ファイルの属性情報について記述する。
【００７６】
ファイル属性情報には、映像ファイルの符号化形式、映像タイトル、映像サブタイトル、著作権情報、再生時間長、ファイル代表画面、ファイル代表映像など映像ファイルに関する属性情報などを含めることができる。このうち映像ファイル代表画面については、前の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述する。記述方法としては、代表画面のタイムコードや画像データを用いることができる。後者の場合、ＪＰＥＧなどの静止画像圧縮方式で圧縮された画像データを用いることができる。また、画像サイズを元の動画像ファイルよりも小さくすることにより、属性情報のファイルサイズを削減することができる。また、映像全体を代表する動画像については、代表する動画像の開始と終了タイムコードを用いて動画像の位置を指定したり、動画像データを用いることができる。後者の場合、ＭＰＥＧ−４などの動画像圧縮方式で圧縮された動画像データを用いることができる。また画像サイズを元の動画像ファイルより小さくすることにより属性情報のファイルサイズを削減することができる。
【００７７】
ショット数は映像ファイルに含まれるショットの数ＮＳを記述する。ショット情報アドレスでは、各ショット情報が格納されている位置を示すアドレスを記述する。このアドレス情報はショットの数ＮＳに等しい個数作成される。このアドレス情報を用いることにより、各ショット情報をランダムに検索してショット内容の閲覧などに用いることができる。
【００７８】
図１２のショットヘッダの構成例を、図１４に示す。ショットヘッダはショットヘッダスタートコードの後に、ショット属性情報、同一特徴区間数、同一特徴区間情報アドレス＃１、同一特徴区間情報情報アドレス＃２、…の順に構成される。ショットヘッダスタートコードはショットヘッダ情報を示す開始コードで、ファイルヘッダスタートコードなど他のスタートコードと区別できるようなユニークなコードを用いる。ショット属性情報には、ショットの属性情報について記述する。属性情報にはショット番号、ショットタイトル、ショットサブタイトル、ショット開始時刻、ショット終了時刻、ショット長、ショット代表画面・映像に関する属性情報などを含めることができる。このうちショット代表画面については第６の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述することができる。記述方法としては、先のファイル代表画面の場合と同様な方法を用いることができる。
【００７９】
同一特徴区間数はショットに含まれる同一特徴区間数ＮＫを記述する。同一特徴区間情報アドレスには、各同一特徴区間情報が格納されている位置を示すアドレスを記述する。このアドレス情報は同一特徴区間の数ＮＫに等しい個数作成される。このアドレス情報を用いることにより、各同一特徴区間情報をランダムに検索して、同一特徴区間の内容の閲覧などに用いることができる。
【００８０】
図１２の同一特徴区間情報ヘッダの構成例を、図１５に示す。同一特徴区間情報ヘッダは、同一特徴区間情報ヘッダスタートコードと同一特徴区間属性情報で構成される。同一特徴区間情報ヘッダスタートコードは、同一特徴区間ショットヘッダ情報を示す開始コードでファイルヘッダスタートコードなど他の種類のコードと区別できるようなユニークなコードを用いる。同一特徴区間属性情報には、同一特徴区間の属性情報について記述する。属性情報には、同一特徴区間番号、同一特徴区間階層番号、同一特徴区間開始時刻、同一特徴区間終了時刻、同一特徴区間長など、同一特徴区間に関する属性情報などを含めることができる。同一特徴区間階層番号は記述された同一特徴区間の階層を表すため、要求される階層レベルに応じて同一特徴区間を検索することが可能である。
【００８１】
図１２の同一特徴区間詳細情報には、各同一特徴区間の詳細情報が記述される。詳細情報としては、同一特徴区間代表画面・映像時刻や同一特徴区間代表画面・映像データなどを含めることが可能である。またこれらの代表画面や代表映像については第６の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述することができる。
【００８２】
次に、本発明の第８の実施形態について説明する。
【００８３】
第７の実施形態では各ショットごとに、ショット内の同一特徴区間の記述方法について述べた。この場合、各ショットを階層的に検索する場合、各ショットの情報を順に読み込むことで詳細な内容を把握することができる。本実施形態は、１つの映像ファイルを階層ごとに記述するようにした点に特徴がある。なお、この実施形態の記述方法で得られたファイルを、例えば図２１の記憶媒体２１０に格納して使用することにより、検索効率を高めることができるようになる。
【００８４】
図１６は第８の実施形態の構成例を示したものである。ファイルは第１階層から第ｎ階層までの情報で構成される。第１階層には最も高いレベルの情報を記述する。記述例を図１７に示す。図１７は第１階層をファイル全体の情報としたもので、ファイルヘッダで構成される。ファイルヘッダの内容としてはファイルヘッダスタートコードの後にファイル属性情報が続く。ファイルヘッダスタートコードやファイル属性情報については、第７の実施形態と同様な情報を記述することができる。
【００８５】
第２階層情報の構成例を図１８に示す。第２階層情報には各ショット情報を記述し、ショットヘッダの後に、ショット情報＃１，…，ショット情報＃Nsを続けて記述する。なお、Ｎs はショット数を示す。ショットヘッダはショットヘッダスタートコードのあとにショット数、ショット情報アドレス＃１，…，ショット情報アドレス＃Ｎs で構成される。ショットヘッダスタートコードは第７の実施形態と同様なコードを用いることができる。また、ショット情報アドレスでは各ショット情報が格納されている位置を示すアドレスを記述する。このアドレス情報を用いることにより、各ショット情報をランダムに検索してショット内容の閲覧などに用いることができる。
【００８６】
各ショット情報は、ショットスタートコードとショット属性情報で構成される。ショットスタートコードは各ショット情報の開始点を示すコードでショットヘッダスタートコードと同様にユニークなコードを用いることによって他のスタートコードと識別する。また、ショット属性情報については、第７実施形態のショット属性情報と同様な情報を記述することができる。なお、本実施形態では、第７実施形態とは異なり、ショット情報には同一特徴区間に関する情報は記述されておらず、ショット全体の内容を示す記述のみが行われる。
【００８７】
次に、第３階層情報の記述例を図１９に示す。第３階層情報では各ショット内の同一特徴区間について記述し、第３階層同一特徴区間ヘッダのあとに第３特徴区間情報＃１から第３特徴区間情報＃Ｎk3までが続く。なお、Ｎk3は第３階層におけるファイル全体の同一特徴区関数を示す。第３階層同一特徴区間ヘッダは、第３階層特徴区間ヘッダスタートコードの後に、第３階層同一特徴区間数、第３階層同一特徴区間情報アドレス＃１から第３階層同一特徴区間情報アドレス＃Ｎｋ３までが続く。第３階層同一特徴区間ヘッダスタートコードは、第３階層情報の開始点を示すコードでユニークなコードを用いることによって他のスタートコードと識別する。
【００８８】
第３階層同一特徴区間情報は、第３階層同一特徴区間スタートコードと、それに続く第３階層同一特徴区間属性情報からなる。第３階層同一特徴区間スタートコードは、第３階層同一特徴区間の開始点を示すコードでユニークなコードを用いることによって他のスタートコードと識別する。また第３階層同一特徴区間属性情報には、同一特徴区間の属性情報について記述する。属性情報には、第７実施形態の同一特徴区間属性情報と同様な情報を記述することができる。これにより、第２階層情報についてさらに詳細の情報を第３階層情報から得ることが可能になる。
【００８９】
同様な方法を用いて、第ｎ階層情報を構成した例を図２０に示す。第ｎ階層情報は第ｎ−１階層の情報をさらに詳細に記述するための情報で、例えば第１の実施形態や第４の実施形態で述べた階層的な同一特徴区関数について、ｎ−１階層に比べてさらに同一特徴区関数を多くした場合の記述を第ｎ階層で行う。例えば第ｎ−１階層でＮＫn-1 個の同一特徴区間数を記述して、第ｎ階層ではさらに詳細のＮＫn 個（＞ＮＫn-1 ）の同一特徴区関数について記述する。これによりｎが大きくなるに従い、より詳しい内容について情報を得ることが可能になる。
【００９０】
このような方法により、第７実施形態と比べると、階層ごとに映像内容が記述されているため、必要とするレベルで検索ができ、検索効率を高めることが可能になる。
【００９１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、入力画面の特徴ベクトルと逐次更新された参照ベクトルとを比較して同一特徴区間を決定し、同一特徴区間数と閾値の特性曲線から目標の同一特徴区関数に対する閾値を決定し、決定された閾値を用いて目標の同一特徴区間を求めるようにしたので、任意のレベルで特徴区間を決定できるようになる。
【００９２】
また、本発明によれば、同一特徴区間内の特徴ベクトルを再帰的に用いて、同一特徴区間を階層的に求めるようにしたので、ｎ階層（ｎは２以上の整数）の同一特徴区間を合理的に、かつ容易に求めることができるようになる。
【００９３】
また、本発明によれば、特徴区間決定部で決定された同一特徴区間の代表特徴ベクトルと参照ベクトルとから変化度値を求めるようにしたので、先頭画面の特性に左右されずに同一特徴区間を決定できるようになる。
【００９４】
また、本発明によれば、特徴画面抽出部によって抽出される特徴画面を、同一特徴区間の先頭画面、同一特徴区間内の共通特徴ベクトルとの距離が最も小さい画面、および特徴画面を含む時間的に連続な複数画面のいずれかであるようにしたので、同一特徴区間の特性に最も適した特徴画面を抽出できるようになる。
【００９５】
また、本発明によれば、動画像の各画面の特徴ベクトルを抽出する機能と、該特徴ベクトルと参照画面の特徴ベクトルとの変化度値Ｄを測定する機能と、該変化度値Ｄと閾値とを比較して同一特徴区間を決定する機能と、該同一特徴区間から特徴画面を抽出する機能と、前記同一特徴区間を決定するための閾値を、目標とする同一特徴区間数に応じた値に変更する機能とからなるプログラムを、コンピュータ読取り可能な記憶媒体に格納して、提供できるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 本実施形態の動作を示すフローチャートである。
【図３】 同一特徴区間数特性の一例を示す特性図である。
【図４】 本実施形態により抽出される特徴画面の一例を示す図である。
【図５】 本発明の第２実施形態の同一特徴区間決定方法の具体例を示す説明図である。
【図６】 本発明の第４実施形態に使用される同一特徴区間数特性の他の例を示す特性図である。
【図７】 本発明の第５実施形態の構成を示すブロック図である。
【図８】 該第５実施形態の各階層の同一特徴区間決定方法を示す説明図である。
【図９】 本発明の第６実施形態の動作の概要を示すフローチャートである。
【図１０】 第６実施形態の概略の構成を示すブロック図である。
【図１１】 第６実施形態の変形例の概略の構成を示すブロック図である。
【図１２】 本発明の第７実施形態の特徴情報ファイルの一構成例を示す図である。
【図１３】 ファイルヘッダの構成例を示す図である。
【図１４】 ショットヘッダの構成例を示す図である。
【図１５】 同一特徴区間ヘッダの構成例を示す図である。
【図１６】 本発明の第８実施形態の階層情報の一構成例を示す図である。
【図１７】 第一階層の構成例を示す図である。
【図１８】 第二階層の構成例を示す図である。
【図１９】 第三階層の構成例を示す図である。
【図２０】 第ｎ階層の構成例を示す図である。
【図２１】 記録媒体に記録された本発明によるプログラムを実行するコンピュータの構成を示すブロック図である。
【図２２】 数式を表す図である。
【図２３】 従来の動画像データ特徴画面抽出装置の構成を示すブロック図である。
【符号の説明】
２１…同一特徴区間数カウンタ、２２…閾値決定部、７０…入力ベクトル更新部、１００…特徴ベクトル抽出部、１０１…変化度測定部、１０２…特徴区間決定部、１０３…特徴画面抽出部、１０４…画像メモリ、１０５…入力ベクトルメモリ、１０６…参照ベクトルメモリ、１０７…参照ベクトル更新部、１０８…制御部、８００…ショット内特徴ベクトル抽出部、８０１…ショット内画像メモリ、８０２…ショット内特徴ベクトルメモリ、８０３…ショット内特徴画面映像抽出部、９００…ファイル内特徴ベクトル抽出部、９０１…ファイル内画像メモリ、９０２…ファイル内特徴ベクトルメモリ、９０３…ファイル内特徴画面映像抽出部。
【発明の属する技術分野】
本発明は動画像の特徴画面抽出装置およびその記憶媒体に関し、特に、デジタル動画像信号の特徴画面抽出装置および特徴画面抽出のプログラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】
動画像信号から特徴画面を抽出する従来装置の一例を図２３に示す。図２３において、制御部１０８からの制御信号ａにより、動画像データは動画像メモリ１０４から１画面ずつ順次取り出され、特徴ベクトル抽出部１００に入力される。特徴ベクトル抽出部１００では、入力画面の特徴ベクトルＩＶが抽出される。該特徴ベクトルとしては輝度のヒストグラムなどを利用することができる。抽出された入力画面の特徴ベクトルＩＶは、変化度測定部１０１に入力されると共に、入力ベクトルメモリ１０５に蓄積される。
【０００３】
入力画面の特徴ベクトルＩＶは、変化度測定部１０１にて、参照ベクトルメモリ１０６に蓄積されている参照画面の特徴ベクトルＲＶと比較され、参照画面からの変化度値Ｄが測定される。この変化度値Ｄは、例えば、入力画面の特徴ベクトルＩＶと参照画面の特徴ベクトルＲＶの絶対差分和などで求めることができる。
【０００４】
次に、該変化度値Ｄは特徴区間決定部１０２に入力される。該特徴区間決定部１０２は、変化度値Ｄが予め定められた閾値Ｔより大きいか否かの判断をする。この判断が終わると、該判断の結果を示す信号ｂが参照ベクトル更新部１０７および制御部１０８に伝えられる。
【０００５】
該特徴区間決定部１０２において、前記変化度値Ｄが前記閾値Ｔより大きいと判断された場合には、同一特徴区間を終了させ、同一特徴区間情報ｃを特徴画面抽出部１０３に出力する。特徴画面抽出部１０３は、同一特徴区間情報ｃから同一特徴区間内における先頭の画面の画面番号を求め、該画面番号ｄを特徴画面として出力する。これと同時に、参照ベクトル更新部１０７は参照ベクトルを更新する。参照ベクトルの更新方法としては、最後に入力された画面の特徴ベクトルを入力ベクトルメモリ１０５から取り出すことにより更新することができる。この更新された参照ベクトルは参照ベクトルメモリ１０６に蓄積される。次に、画像メモリ１０４から次の画像データが読み出され、該入力画像データの特徴ベクトルと更新された参照ベクトルを用いて、前記したのと同じ動作が行われ、次の同一特徴区間が決定される。
【０００６】
一方、前記変化度測定部１０１で測定された変化度値Ｄが閾値Ｔ以下の場合は、制御部１０８からの制御信号ａにより、画像メモリ１０４から次の画像データが読み出され、これを特徴ベクトル抽出部１００に入力させて、前記と同様の変化度測定処理を行う。
【０００７】
なお、画像メモリ１０４から読み出される動画像データが第１画面の場合は、入力ベクトルメモリ１０５に蓄積された入力画面の特徴ベクトルＩＶを参照ベクトルメモリ１０６に参照ベクトルとして入力させ、第１画面に関する処理を終了させる。その後は、制御部１０８からの制御により、画像メモリ１０４から次の画像データを特徴ベクトル抽出部１００に入力させて、次の変化度測定処理を行う。
【０００８】
【発明が解決しようとする課題】
前記した従来方法では、変化度値Ｄが高い画面が現れた時点で同一特徴区間が終了するが、常に区間の最初の画面と入力画面を比較しているため、同一特徴区間の決定は先頭画面の特性に大きく左右されることになる。
【０００９】
また、固定した閾値で特徴区間を決定するため、大きな動きがあるシーンでは特徴区間数および特徴画面数は多くなり、逆に動きの少ないシーンでは特徴区間数および特徴画面数は少なくなる。このため、目標の特徴画面数でシーンを分割することは困難になる。
【００１０】
さらに、特徴画面は同一特徴区間の先頭の画面を用いることが多いが、例えばパンするシーンでは先頭画面よりも中ほどの画面が意味的に重要なことが多い。しかし、従来装置では、該意味的に重要な画面を特徴画面とすることができない。さらに、各特徴画面間の関係がわからないため、特徴区間を階層的に表示することができない。
【００１１】
本発明の目的は、前記した従来技術の問題点を解決し、任意のレベルで特徴区間を決定でき、先頭画面の特性に左右されずに同一特徴区間を決定でき、または同一特徴区間の特性に最も適した特徴画面を抽出できる動画像データの特徴画面抽出装置およびそのプログラムを記憶した記憶装置を提供することにある。
【００１２】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、力画面の特徴ベクトルと参照ベクトルとの変化度値Ｄを測定する変化度測定部と、該変化度測定部で測定された変化度値Ｄと第１の閾値ＴＫ0 とを比較して、同一特徴区間を決定する特徴区間決定部と、該特徴区間決定部で決定された同一特徴区間数ＮＫ0 と、目標の同一特徴区間数ＮＫＴとの特性関係から、第２の閾値ＴＫＴ1 を決定する閾値決定部とを具備し、該閾値決定部で決定された第２の閾値ＴＫＴ1 を前記特徴区間決定部で用い、前記変化度測定部で測定された変化度値Ｄと第２の閾値ＴＫＴ 1 とを比較することにより、該特徴区間決定部は前記目標の同一特徴区間数に基づく同一特徴区間を決定するようにした点に第１の特徴がある。この特徴によれば、目標のレベルで同一特徴区間を決定することができるようになる。
【００１３】
また、本発明は、閾値決定部は、前記特徴区間決定部で決定された同一特徴区間数ＮＫと目標の同一特徴区間数ＮＫＴとから閾値ＴＫＴを決定する処理を繰返し行い、該処理により得られた閾値を前記特徴区間決定部で用いることにより、ｎ階層（ｎは２以上の整数）の同一特徴区間を決定するようにした点に第２の特徴がある。この特徴によれば、同一特徴区間内の特徴ベクトルを再帰的に用いて階層的な同一特徴区間を求めることが可能になる。
【００１４】
また、本発明は、前記特徴区間決定部で決定された同一特徴区間の代表特徴ベクトルを抽出する手段を具備し、前記変化度測定部は、該代表特徴ベクトルと参照ベクトルとから変化度値を求めるようにした点に第３の特徴がある。この特徴によれば、先頭画面の特性に左右されずに同一特徴区間を決定できるようになる。 また、本発明は、前記特徴画面抽出部によって抽出される特徴画面は、同一特徴区間の先頭画面、同一特徴区間内の共通特徴ベクトルとの距離が最も小さい画面、および特徴画面を含む時間的に連続な複数画面のいずれかである点に第４の特徴がある。この特徴によれば、同一特徴区間の特性に最も適した特徴画面を抽出できるようになる。
【００１５】
また、本発明は、動画像の各画面の特徴ベクトルを抽出する機能と、該特徴ベクトルと参照画面の特徴ベクトルとの変化度値Ｄを測定する機能と、該変化度値Ｄと閾値とを比較して同一特徴区間を決定する機能と、該同一特徴区間から特徴画面を抽出する機能と、前記同一特徴区間を決定するための閾値を、目標とする同一特徴区間数に応じた値に変更する機能とからなる、コンピュータを実行させるためのプログラムを記録したコンピュータ読取り可能な記憶媒体を提供する点に第５の特徴がある。
【００１６】
また、本発明は、ショット区間の動画像を蓄積するショット内画像蓄積部と、前記第１、第２の特徴でのべた構成で求められた同一特徴区間画面を用いてショット内特徴ベクトルを求めるショット内特徴ベクトル抽出部と、該ショット内特徴ベクトルの共通特徴ベクトルに最も近い画面をショット代表画面とするショット内特徴画面映像抽出部とを具備した点に第６の特徴があり、また、ファイルの動画像を蓄積するファイル内画像蓄積部と、該第６の特徴で求められたショット代表画面を用いてファイル内特徴ベクトルを求めるファイル内特徴ベクトル抽出部と、該ファイル内特徴ベクトルの共通特徴ベクトルに最も近い画面をファイル代表画面とするファイル内特徴画面映像抽出部とを具備した点に第７の特徴がある。
【００１８】
前記第６、７の特徴によれば、映像ファイルの内容を階層的に記述することができ、必要とするレベルで、情報の内容を容易に検索することが可能となる。
【００１９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図、図２はその動作を説明するフローチャートである。この実施形態は、動画像データから、目標とする個数の同一特徴区間を抽出できるようにした点に特徴がある。
【００２０】
図１において、制御部１０８からの制御信号ａにより動画像データが動画像メモリ１０４から１画面ずつ順次取り出され、該取り出された画面は特徴ベクトル抽出部１００に入力される。特徴ベクトル抽出部１００は、該動画像データから入力画面の特徴ベクトルＩＶを順次抽出する。該特徴ベクトルとしては、輝度のヒストグラムなどを利用することができる。次に、入力画面の特徴ベクトルＩＶは変化度測定部１０１に送られ、また入力ベクトルメモリ１０５に送られて蓄積される。
【００２１】
変化度測定部１０１に送られた入力画面の特徴ベクトルＩＶは、参照ベクトルメモリ１０６に蓄積されている参照画面の特徴ベクトルＲＶと比較され、変化度値Ｄが測定される。例えば、変化度値Ｄは、図２２の（１）式や（２）式のように入力画面の特徴ベクトルＩＶ(i) と参照画面の特徴ベクトルＲＶ(i) の絶対差分和や絶対差分二乗和などで求めることができる。
【００２２】
ここで、Ｍはベクトルの次数である。特徴ベクトルとしては、輝度画素データ、ＹＵＶ画素データ、サブサンプリングした画素データ、小領域内の平均輝度データ、輝度ヒストグラム、ＹＵＶヒストグラム、ＲＧＢヒストグラムや、輝度、ＲＧＢ、ＹＵＶ画面平均などを用いることができる。
【００２３】
変化度値Ｄは特徴区間決定部１０２に入力され、予め定められた閾値ＴＫ0 と比較される。該比較の結果を示す信号ｂは、参照ベクトル更新部１０７と制御部１０８に送られる。該変化度値Ｄが該閾値ＴＫ0 より大きいと判断された場合には、特徴区間決定部１０２は同一特徴区間を終了させ、また参照ベクトル更新部１０７は参照ベクトルを更新する。また、同一特徴区間数カウンタ２１はカウントアップする。参照ベクトルの更新方法の一例としては、最後に入力された画面の特徴ベクトルを入力ベクトルメモリ１０５から取り出し、参照ベクトルとして参照ベクトルメモリ１０６に蓄積する。
【００２４】
上記のようにして、１個の同一特徴区間が決定されると、画像メモリ１０４は制御部１０８からの制御信号ａにより、引き続き、動画像データを１画面ずつ読み出す。そして、前記と同様の動作が行われ、更新された参照ベクトルを用いて、次の同一特徴区間を決定する。
【００２５】
一方、前記変化度値Ｄが閾値ＴＫ0 以下の場合は、特徴区間決定部１０２から、変化度値Ｄと閾値ＴＫ0 との比較結果を示す信号ｂが制御部１０８に送られる。そうすると、制御部１０８は、制御信号ａにより、画像メモリ１０４からの次の画像データを読み出させ、次の１画面の特徴ベクトルＩＶと前記参照ベクトルＲＶとの変化度値Ｄを測定する処理を行う。以下、前記と同様の動作が繰り返される。
【００２６】
また、第１画面の場合は、入力ベクトルメモリ１０５に蓄積された入力画面の特徴ベクトルＩＶを参照ベクトルメモリ１０６に参照ベクトルとして入力させ、第１画面に関する処理を終了させる。次いで、制御部１０８からの制御により、画像メモリ１０４から次の画像データを読出して特徴ベクトル抽出部１００に入力させて、次の変化度値Ｄを測定する処理を行う。
【００２７】
これらの処理をショット内の画面がすべて入力されるまで繰り返した後で、同一特徴区間数ＮＫ0 を同一特徴区間数カウンタ２１から閾値決定部２２に入力させる。閾値決定部２２では、１ショット内の同一特徴区間数ＮＫ0 と、制御部１０８から指示された目標の同一特徴区間数ＮＫＴから同一特徴区間数特性を用いて、目標の同一特徴区間数ＮＫＴを得るための閾値ＴＫＴを決定する。
【００２８】
同一特徴区間数特性は、例えば図３のような特性図を用いることができる。図３の横軸は閾値（＝ＴＫ）を示し、縦軸は同一特徴区間数（＝ＮＫＴ）を示す。例えば、閾値ＴＫ0 ＝５００における同一特徴区関数ＮＫ0 ＝８で、目標の同一特徴区間数ＮＫＴ＝２の場合には、目標の閾値ＴＫＴ＝１０００に設定すればよい。また、特性図から、多項式近似曲線を特性関数として求め、特性関数から数値計算することも可能である。
【００２９】
なお、このような特性図は、いくつかのテスト画像を用いて閾値ＴＫ0 を変化させたときの同一特徴区間数ＮＫ１の変化を調査し、グラフ化することにより求めることができる。また複数テスト画像が類似した特性を有する場合はそれらの特性曲線を平均化などの統計処理を行って特性の信頼性を高めることができる。
【００３０】
次に、新しく決定した閾値ＴＫＴを特徴区間決定部１０２に入力させる。次に、既に入力ベクトルメモリ１０５に記憶されているショット内の入力ベクトルを第１画面から取り出して、参照ベクトルメモリ１０６にセットする。次に、第２画面の入力ベクトルＶを入力ベクトルメモリ１０５から取り出して、変化度測定部１０１に入力させる。また参照ベクトルメモリ１０６から参照ベクトルＲＶを取り出して変化度測定部１０１に入力させて、入力ベクトルＶと参照ベクトルＲＶの変化度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴよりも大きい場合は同一特徴区間を終了させ、参照ベクトルを更新させる。
【００３１】
さらに、同一特徴区間のタイムコードを特徴画面抽出部１０３に入力させる。特徴画面抽出部１０３では同一特徴区間内の特徴画面を抽出する。例えば、同一特徴区間内における先頭の画面の画面番号を特徴画面として出力することができる。また、変形例として、先頭の画面から連続する画面の番号を特徴映像として出力することもできる。この場合、画面数としては、固定した画面数や同一特徴区間の長さに応じた比率で画面数を決定してもよい。
【００３２】
一方、変化度値Ｄが閾値ＴＫＴ以下の場合は、次の画面の特徴ベクトルＶを入力ベクトルメモリ１０５から取り出して、変化度値Ｄの測定を行う。
【００３３】
以上の処理を、ショット内の画面全てについて行う。図２のフローチャートは、本実施形態の前記した動作を示したものであるが、詳細な説明は省略する。この処理により、図４に示されているように、１ショットの動画像データを、目標とする個数（図示の場合４個）の同一特徴区間に分けることができるようになる。
【００３４】
次に、本発明の第２の実施形態について、図１、図５を参照して説明する。前記第１の実施形態では、参照ベクトル更新部１０７における参照ベクトルの更新は、更新前に入力されたベクトルのうち最後に入力されたベクトルを参照ベクトルとするように更新している。したがって、変化度値Ｄを測定する場合、常に同一特徴区間内で最初の画面の入力ベクトルと現在入力されているベクトルを比較することになる。例えば、図５(a) では、同一特徴区間１では入力画面１の特徴ベクトルを参照ベクトルＲＶ１として、ＲＶ１と第２画面以降の画面の入力ベクトルを比較して特徴区間を決定している。この場合、同一特徴区間内における最初の画面の特性に変化度測定が大きく依存する。
【００３５】
これに対して、該第２の実施形態は、図５(b) に示されているように、参照ベクトルの特性を画面入力の度に更新して参照ベクトルの特性変動を抑えるようにした点に特徴がある。この場合、新たな画面が入力される度に参照ベクトルが更新されるため、同一特徴区間の特徴を表した参照ベクトルを得ることができる。参照ベクトルの更新方法としては、これまで入力されてきた特徴ベクトルＩＶk(i)の平均やメディアン等の共通特徴ベクトルを用いることができる。
【００３６】
特徴ベクトルの平均ベクトルＲＶc(i)は、例えば図２２の（３）式から求めることができる。
ここで、Ｃはこれまで入力された画面のうち同一特徴区間内の画面数を示す。
【００３７】
また、特徴ベクトルのメディアンベクトルＲＶc(i)は、例えば下記の（４）式から求めることができる。
ＲＶc(i)＝Median｛ＩＶk(i)，ｋ＝０，１，…，Ｃ−１｝ …（４）
【００３８】
また、同一区間内に存在する画面を画素単位で平均した画面平均に対する上記の特徴ベクトルを参照ベクトルとすることもできる。
【００３９】
次に、本発明の第３の実施形態について説明する。前記第１の実施形態では特徴画面抽出部１０３において同一特徴区間内における先頭の画面の画面番号、または先頭の画面から連続する画面の番号を特徴画面として出力している。しかしながら、同一特徴特徴画面がカメラパンのシーンの場合には、必ずしも最初の画面がその同一特徴区間を代表する画面とはいえず、区間内における共通の特徴を有する画面を代表画面とすることが望ましい。区間内の共通の特徴ベクトルをＣＶとすると、代表画面Ｒは、下記の（５）式のように、ＣＶとＩＶの距離を最小にする画面Ｒとして求めることができる。
Ｒ＝arg[Min{Dist( ＣＶ(i) ，ＩＶR(i))}] …（５）
【００４０】
ここで、ＣＶとＩＶの距離Distの測定については、（１）（２）式のようにベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、共通特徴ベクトルＣＶとしては、図２２の（６）式のような同一特徴区間内の平均ベクトルや、下記の（７）式のようなメディアンベクトルを用いることができる。
ＣＶ(i) ＝Median｛ＩＶk(i)，ｋ＝０，１，…，ＴＣ−１｝ …（７）
ここで、ＴＣは同一特徴区間全体の画面数を示す。
【００４１】
本実施形態の変形例として、代表画面を、連続する複数の画面とすることも可能である。この場合、代表画面Ｒを含むＲＶフレームを代表映像とすることができる。ＲＶの値は、同一特徴区間長に依存しない固定値でも、同一特徴区間長に比例した値でもかまわない。また、代表映像における代表画面Ｒの位置は、代表映像の中心に位置しなくてもよい。
【００４２】
次に、本発明の第４実施形態について、図６を参照して説明する。前記第１の実施形態では、図３の同一特徴区間数特性図を用いて目標の特徴画面数に対する閾値を閾値決定部２２において決定し、新しく決定した閾値ＴＫＴを用いて特徴区間決定部１０２で特徴区間の決定を行っている。
【００４３】
これに対して、本実施形態は、同一特徴区間数特性図を再帰的に用いて階層的に特徴区間を決定するようにした点に特徴がある。
【００４４】
この実施形態では、まず、第１の実施形態と同様に、ショット内のすべての画面に対して閾値ＴＫ0 で変化度を測定して、同一特徴区間数ＮＫ0 を求める。この際、参照ベクトルの更新については、前記第２の実施形態の手法を用いることが可能である。次に、第１階層の同一特徴区間数ＮＫＴ1 を設定し、図６の特徴区間数特性からＴＫ0 に対してＮＫ0 を示す曲線１を用いてＮＫＴ1 に対する閾値ＴＫＴ1 を求める。第１階層では閾値ＴＫＴ1 を用いてショット内のすべての画面に対して変化度を測定して第１階層の同一特徴区間数ＮＫ1 を求め、各同一特徴区間の特徴画面を抽出する。この際、前記第１の実施形態や、第３の実施形態の手法を用いて特徴画面抽出することが可能である。
【００４５】
次に、第２階層の同一特徴区間数ＮＫＴ2 を設定し、図６の特徴区間数特性からＴＫＴ1 に対してＮＫ1 を示す曲線２を用いてＮＫＴ2 に対する閾値ＴＫＴ2を求める。第２階層では閾値ＴＫＴ2 を用いてショット内の変化度を測定して第２階層の同一特徴区間数ＮＫ2 を求め、各同一特徴区間の特徴画面を抽出する。この処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面を抽出する。なお、前記曲線１、２、…は、トレーニング画像を用いて求められた、予め求められている特性曲線である。
【００４６】
この実施形態によれば、ショット内の同一特徴区間数を階層的に決定することができるようになる。
【００４７】
次に、本発明の第５実施形態について、図７と図８を用いて説明する。なお、図７の図１と同一の符号は、同一または同等物を示し、詳細な動作説明を省略する。
【００４８】
前記第４の実施形態では、各階層についてショット内のすべての画面の特徴ベクトルを用いて同一特徴区間を求めているが、第５の実施形態は、各階層で求められた同一特徴区間の情報、例えば代表特徴ベクトルを用いて、次の階層の同一特徴区間を求めるようにした点に特徴がある。構成的には、入力ベクトルメモリ１０５と参照ベクトルメモリ１０６との間に、入力ベクトル更新部７０を設けた点に特徴があるので、主に該入力ベクトル更新部７０の動作について、詳しく説明する。
【００４９】
図１で説明したのと同様の動作により、閾値ＴＫ0 を用いて同一特徴区間を求める処理を、ショット内の画面がすべて画像メモリ１０４から入力されるまで繰り返した後で、同一特徴区間数カウンタ２１でカウントした同一特徴区間数ＮＫ0 を閾値決定部２２に入力させる。閾値決定部２２では、同一特徴区間数ＮＫ0と第１階層における目標の同一特徴区間数ＮＫＴ１から、図３または図６の同一特徴区間数特性を用いて目標の閾値ＴＫＴ１を決定する。
【００５０】
次に、閾値決定部２２で新しく決定された閾値ＴＫＴ１は特徴区間決定部１０２に入力される。制御部１０８は入力ベクトル更新部７０に指示を出して、第１特徴区間に存在する画面の入力ベクトルを入力ベクトルメモリ１０５から取り出させる。入力ベクトル更新部７０は、受けとった入力ベクトルで参照ベクトルを更新し、参照ベクトルメモリ１０６にセットする。次に、第２特徴区間に存在する画面の入力ベクトルを入力ベクトルメモリ１０５から取り出して入力ベクトル更新部７０で更新し、変化度測定部１０１に入力させる。
【００５１】
入力ベクトル更新部７０では、下記の方法１〜４のいずれかを用いて、入力ベクトルを更新し、これを同一特徴区間の代表特徴ベクトルとすることができる。方法１ 同一特徴区間の先頭画面の入力特徴ベクトルを代表特徴ベクトルとして用いる。
方法２ 同一特徴区間内の画面の入力特徴ベクトル平均ベクトルを代表特徴ベクトルとして用いる。
方法３ 同一特徴区間内の画面の入力特徴ベクトルのメディアンベクトルを代表特徴ベクトルとして用いる。
方法４ 同一特徴区間内の画面の入力ベクトルの平均ベクトルに最も距離の小さい入力ベクトルを有する画面の入力ベクトルを代表特徴ベクトルとして用いる。なお、距離の測定には、前記（１）式や（２）式のようにベクトル間の絶対差分和や絶対差分二乗和を用いることができる。
【００５２】
次に、参照ベクトルメモリ１０６から参照ベクトルＲＶを取り出して変化度測定部１０１に入力させて、第２特徴区間に存在する画面の代表特徴ベクトルと参照ベクトルの変化度値Ｄを測定する。変化度値Ｄが新しい閾値ＴＫＴ1 よりも大きい場合は同一特徴区間を終了させ、参照ベクトルを更新させる。さらに同一特徴区間のタイムコードを特徴画面抽出部１０３に入力させる。特徴画面抽出部１０３では同一区間内の特徴画面を抽出する。例えば同一特徴区間内における先頭の画面の画面番号を特徴画面として出力することができる。
【００５３】
逆に、変化度値Ｄが閾値ＴＫＴ以下の場合は、次の同一特徴区間の画面の代表特徴ベクトルを入力ベクトルメモリ１０５から取り出して、変化度測定を行う。
【００５４】
これらの処理をすべての同一特徴区間について行い、第１階層の特徴区間を決定する。この際、実施形態１や実施形態３の手法を用いて、各特徴区間における特徴画面抽出をすることが可能である。
【００５５】
次に、第２階層の同一特徴区間数ＮＫＴ2 を設定し、特徴区間数特性からＮＫＴ2 に対する閾値ＴＫＴ2 を求める。なお、閾値の求め方としては第１の実施形態や第４の実施形態に記載された方法を用いることができる。
【００５６】
第２階層では閾値ＴＫＴ2 を用いて、第１階層で求めた各特徴区間における代表特徴ベクトルの参照ベクトルに対する変化度値を測定する。そして、第２階層の同一特徴区間数ＮＫ２を求め、各同一特徴区間の特徴画面を抽出する。この処理を第ｎ階層まで繰り返して、第ｎ階層の特徴画面を抽出する。
【００５７】
前記第１〜５実施形態で説明した動画像の特徴画面抽出機能は、ソフトウェア（プログラム）で実現でき、該ソフトウェアは、光ディスク、フロッピディスク、ハードディスクなどの過般型記憶媒体に記憶することができる。また、コンピュータなどのハードディスクなどのメモリ中に予め入れておいても、また該コンピュータが接続されたネットワークから該コンピュータのハードディスクなどのメモリ中に取り込むようにしてもよい。また、ネットワークのように、データを一時的に記憶保持するような伝送媒体であってもよい。
【００５８】
図２１は、前記過般型記憶媒体あるいはハードディスクなどの記憶媒体に記憶されたプログラムを読み取って、前記動画像の特徴画面抽出機能を実行するコンピュータのハード構成を示すブロック図である。該コンピュータ２００は、前記図１、図７に示した、特徴ベクトル抽出部１００、変化度測定部１０１、特徴区間決定部１０２、特徴画面抽出部１０３、同一特徴区間数カウンタ２１、閾値決定部２２、および参照ベクトル更新部１０７の機能のプログラムが記憶された記憶媒体２１０と、該記憶媒体２１０に記憶されたプログラムを実行するＣＰＵ２１１と、各種のデータを記憶するＲＯＭ２１２と、画像、入力ベクトル、参照ベクトル、演算パラメータ等を記憶するＲＡＭ２１３と、キーボード、マウスなどの入力装置２１４と、ディスプレー、プリンタなどの出力装置２１５と、ネットワークなどと接続される入出力インタフェース２１６等から構成されている。
【００５９】
ＣＰＵ２１１は、記憶媒体２１０に記憶されている前記動画像の特徴画面抽出機能プログラムを実行することにより、前記第１〜５実施形態で説明した動画像の特徴画面抽出処理を実行する。
【００６０】
図８は、前記した処理を分かりやすく図示したもので、閾値ＴＫ0 を用いて同一特徴区間を求める処理をショット内の画面のすべてに対して行うことにより、ＮＫ0 個の同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ0 −１）が得られたとすると、その後、前記のようにして、第１階層における目標の閾値ＴＫＴ１を決定する。そして、該閾値ＴＫＴ１を用いて、前記同一特徴区間Ｋ０（０），Ｋ０（１），…，Ｋ０（ＮＫ0 −１）から、それらの代表特徴ベクトルを用いて、第１階層の同一特徴区間Ｋ１（０），Ｋ１（１），…，Ｋ１（ＮＫ1 −１）を抽出する。次に、第２階層における目標の閾値ＴＫＴ２を決定し、該閾値ＴＫＴ２を用いて、前記第２階層の同一特徴区間Ｋ２（０），Ｋ２（１），…，Ｋ２（ＮＫ2 −１）を抽出する。以下、同様の処理をして、第ｎ階層における目標の閾値ＴＫＴn を決定し、該閾値ＴＫＴn を用いて、第ｎ階層の同一特徴区間Ｋｎ（０），Ｋｎ（１），…，Ｋｎ（ＮＫn −１）を抽出する。
【００６１】
次に、本発明の第６実施形態について説明する。前記第１〜５の実施形態では同一特徴区間の検出方法について述べた。この第６の実施形態は、ショットとファイル全体の代表画面、代表映像の決定方法に特徴がある。図９は、本実施形態の動作を示すフローチャートである。まず、動画像を入力し（ステップＳ１）、入力された動画像についてカット点が検出される。カット点の検出方法としては「動画像のカット画面検出方法」（特開平７−５９１０８号公報）などを利用することができる。これによりカット点とカット点間を示すショット区間を検出することができる（ステップＳ２）。次に、各ショット区間の動画像について、第１〜第５の実施形態で述べた同一特徴区間検出を用いて各ショット内における同一特徴区間を検出すると共に、同一特徴区間を代表する代表画面や代表映像を決定する（ステップＳ３）。
【００６２】
次に、ショット内の代表画面や代表映像を決定する（ステップＳ４）。図１０はショット内の代表画面、代表映像を決定する方法を示すブロック図である。ショット内の画像はショット内画像メモリ８０１から取り出され、ショット内特徴ベクトル抽出部８００に入力される。ショット内特徴ベクトルとしては第１の実施形態と同様に、画面内の輝度ヒストグラムなどを用いることができる。ショット内特徴ベクトルＳＩＶはショット内特徴ベクトルメモリ８０２に蓄積されると共に、ショット内特徴画面・映像抽出部８０３に入力される。ショット内特徴画面・映像抽出部８０３では、共通特徴ベクトルＳＣＶを用いて、ショット内の代表画面・映像が決定される。
【００６３】
すなわち、ショット内の代表画面ＳＲはＳＣＶとＳＩＶの距離を最小にする画面として求めることができる。ここで、ＳＣＶとＳＩＶの距離の測定についてはベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、ショット内共通特徴ベクトルＳＣＶについては、ショット内の平均ベクトルやメディアンベクトルを用いることができる。ショット内の代表映像としては、代表画面ＳＲを含むＳＲＶフレームを代表映像とすることができる。ＳＲＶの値はショット長に依存しない固定値でも、ショット長に比例した値でもかまわない。また、代表映像における代表画面ＳＲの位置は代表映像の中心に位置しなくてもよい。さらにショット内の同一特徴区間情報を用いて、ショット代表画面が存在する同一特徴画面区間すべてを代表映像としてもよい。
【００６４】
本実施形態の変形例としては、前に求めた同一特徴区間における代表画面を用いてショット代表画面を決定することができる。この場合、ショット内画像メモリ８０１にはショット内のすべての画像を用いる代わりに、各同一特徴区間の代表画面のみを用いる。これにより特徴ベクトルの抽出処理や特徴画面・映像抽出に必要な処理量を大幅に削減することができる。さらに特徴ベクトルとして、同一特徴区間検出で用いた特徴ベクトルと同一のベクトルを用いることにより、ショット内特徴ベクトル抽出処理を省略することができる。
【００６５】
別の変形例としては、既に求められている各同一特徴区間における共通ベクトルＣＶを各同一特徴区間の特徴ベクトルとして用いて、上で述べた方法を用いてショット内共通特徴ベクトルＳＣＶを求めることができる。この場合、各同一特徴画面における共通ベクトルをショット内特徴ベクトルとして用いることにより、前記変形例と同様にショット内特徴ベクトル抽出処理が不要になり、全体の処理量を削減することができる。
【００６６】
また、別の変形例の代表画面・代表映像の決定方法として、各同一特徴区間で最も長い区間を有する同一特徴区間の代表画面・代表映像を用いることも可能である。
【００６７】
次に、ファイル全体の代表画面や代表映像を決定する（ステップＳ５）。図１１は映像ファイル内の代表画面、代表映像を決定する方法を示したものである。映像ファイル内の画像はファイル内画像メモリ９０１から取り出され、ファイル内特徴ベクトル抽出部９００に入力される。ファイル内特徴ベクトルとしては、第１の実施形態と同様に、画面内の輝度ヒストグラムなどを用いることができる。ファイル内特徴ベクトルＦＩＶはファイル内特徴ベクトルメモリ９０２に蓄積されると共に、ファイル内特徴画面・映像抽出部９０３に入力される。ファイル内特徴画面・映像抽出部９０３では、ファイル内の共通特徴ベクトルＦＣＶを用いて、ファイル内の代表画面・映像ＦＲが決定される。
【００６８】
ファイル内の代表画面ＦＲはＦＣＶとＦＩＶの距離を最小にする画面として求めることができる。ここで、ＦＣＶとＦＩＶの距離の測定についてはベクトル間の絶対差分和や絶対差分二乗和などを用いることができる。また、ファイル内共通特徴ベクトルＦＣＶについてはファイル内画面の特徴ベクトルの平均ベクトルやメディアンベクトルを用いることができる。ファイル内の代表映像としては、代表画面ＦＲを含むＦＲＶフレームを代表映像とすることができる。また、ショット情報を用いて、ファイル代表画面を含むショットすべてを代表映像としてもよい。また、ショット内の同一特徴区間情報を用いて、ファイル代表画面が存在する同一特徴画面区間すべてを代表映像としてもよい。
【００６９】
変形例としては，前に求めた各ショット区間における代表画面を用いてファイル代表画面を決定することができる。この場合、ファイル内画像メモリ９０１にはファイル内のすべての画像を用いる代わりに，各ショットの代表画面のみを用いる。これにより特徴ベクトルの抽出処理や特徴画面・映像抽出に必要な処理量を大幅に削減することができる。さらに特徴ベクトルとして、ショット内代表画面検出で用いた特徴ベクトルと同一のベクトルを用いることにより、ファイル内特徴ベクトル抽出処理を省略することができる。
【００７０】
別の変形例としては，ショット代表画面検出で用いたショット内の共通特徴ベクトルＳＣＶを用いてファイル代表画面を求めることができる。この場合、各ショットにおける共通特徴ベクトルをファイル内特徴ベクトルとして用いることにより，前記変形例と同様にファイル内特徴ベクトル抽出処理が不要になり、全体の処理量を削減することができる。
【００７１】
また別の変形例としては，代表画面・代表映像の決定方法として各ショットで最も長いショット長を有するショットの代表画面・代表映像を用いることも可能である。
【００７２】
次に、本発明の第７実施形態について説明する。前記第１〜５の実施形態では同一特徴区間の検出方法について述べた。これらの検出処理を各映像ファイルに対して毎回行う代わりに、各映像ファイルにおける特徴区間情報ファイルを作成し、これを例えば図２１の記憶媒体２１０に格納して使用することにより、映像ファイルの同一特徴区間に対する検索効率を高めることが可能である。
【００７３】
図１２は特徴情報ファイルの１構成例を示したものである。特徴情報ファイルはファイルヘッダの後にショット情報＃１、ショット情報＃２、…のように各ショット情報で構成される。
【００７４】
さらに、各ショット情報はショットヘッダの後に同一特徴区間情報＃１、同一特徴区間情報＃２、…の順で構成される。また、各同一特徴区間情報は同一特徴区間ヘッダと同一特徴区間詳細情報で構成される。
【００７５】
前記ファイルヘッダの構成例を、図１３に示す。ファイルヘッダはファイルヘッダスタートコードの後に、ファイル属性情報、ショット数、ショット情報アドレス＃１、ショット情報アドレス＃２、…の順に構成される。ファイルヘッダスタートコードはファイルヘッダ情報を示す開始コードで、他のスタートコードと区別できるようなユニークなコードを用いる。ファイル属性情報には、映像ファイルの属性情報について記述する。
【００７６】
ファイル属性情報には、映像ファイルの符号化形式、映像タイトル、映像サブタイトル、著作権情報、再生時間長、ファイル代表画面、ファイル代表映像など映像ファイルに関する属性情報などを含めることができる。このうち映像ファイル代表画面については、前の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述する。記述方法としては、代表画面のタイムコードや画像データを用いることができる。後者の場合、ＪＰＥＧなどの静止画像圧縮方式で圧縮された画像データを用いることができる。また、画像サイズを元の動画像ファイルよりも小さくすることにより、属性情報のファイルサイズを削減することができる。また、映像全体を代表する動画像については、代表する動画像の開始と終了タイムコードを用いて動画像の位置を指定したり、動画像データを用いることができる。後者の場合、ＭＰＥＧ−４などの動画像圧縮方式で圧縮された動画像データを用いることができる。また画像サイズを元の動画像ファイルより小さくすることにより属性情報のファイルサイズを削減することができる。
【００７７】
ショット数は映像ファイルに含まれるショットの数ＮＳを記述する。ショット情報アドレスでは、各ショット情報が格納されている位置を示すアドレスを記述する。このアドレス情報はショットの数ＮＳに等しい個数作成される。このアドレス情報を用いることにより、各ショット情報をランダムに検索してショット内容の閲覧などに用いることができる。
【００７８】
図１２のショットヘッダの構成例を、図１４に示す。ショットヘッダはショットヘッダスタートコードの後に、ショット属性情報、同一特徴区間数、同一特徴区間情報アドレス＃１、同一特徴区間情報情報アドレス＃２、…の順に構成される。ショットヘッダスタートコードはショットヘッダ情報を示す開始コードで、ファイルヘッダスタートコードなど他のスタートコードと区別できるようなユニークなコードを用いる。ショット属性情報には、ショットの属性情報について記述する。属性情報にはショット番号、ショットタイトル、ショットサブタイトル、ショット開始時刻、ショット終了時刻、ショット長、ショット代表画面・映像に関する属性情報などを含めることができる。このうちショット代表画面については第６の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述することができる。記述方法としては、先のファイル代表画面の場合と同様な方法を用いることができる。
【００７９】
同一特徴区間数はショットに含まれる同一特徴区間数ＮＫを記述する。同一特徴区間情報アドレスには、各同一特徴区間情報が格納されている位置を示すアドレスを記述する。このアドレス情報は同一特徴区間の数ＮＫに等しい個数作成される。このアドレス情報を用いることにより、各同一特徴区間情報をランダムに検索して、同一特徴区間の内容の閲覧などに用いることができる。
【００８０】
図１２の同一特徴区間情報ヘッダの構成例を、図１５に示す。同一特徴区間情報ヘッダは、同一特徴区間情報ヘッダスタートコードと同一特徴区間属性情報で構成される。同一特徴区間情報ヘッダスタートコードは、同一特徴区間ショットヘッダ情報を示す開始コードでファイルヘッダスタートコードなど他の種類のコードと区別できるようなユニークなコードを用いる。同一特徴区間属性情報には、同一特徴区間の属性情報について記述する。属性情報には、同一特徴区間番号、同一特徴区間階層番号、同一特徴区間開始時刻、同一特徴区間終了時刻、同一特徴区間長など、同一特徴区間に関する属性情報などを含めることができる。同一特徴区間階層番号は記述された同一特徴区間の階層を表すため、要求される階層レベルに応じて同一特徴区間を検索することが可能である。
【００８１】
図１２の同一特徴区間詳細情報には、各同一特徴区間の詳細情報が記述される。詳細情報としては、同一特徴区間代表画面・映像時刻や同一特徴区間代表画面・映像データなどを含めることが可能である。またこれらの代表画面や代表映像については第６の実施形態で述べた方法を用いて決定した画面や映像に関する情報を記述することができる。
【００８２】
次に、本発明の第８の実施形態について説明する。
【００８３】
第７の実施形態では各ショットごとに、ショット内の同一特徴区間の記述方法について述べた。この場合、各ショットを階層的に検索する場合、各ショットの情報を順に読み込むことで詳細な内容を把握することができる。本実施形態は、１つの映像ファイルを階層ごとに記述するようにした点に特徴がある。なお、この実施形態の記述方法で得られたファイルを、例えば図２１の記憶媒体２１０に格納して使用することにより、検索効率を高めることができるようになる。
【００８４】
図１６は第８の実施形態の構成例を示したものである。ファイルは第１階層から第ｎ階層までの情報で構成される。第１階層には最も高いレベルの情報を記述する。記述例を図１７に示す。図１７は第１階層をファイル全体の情報としたもので、ファイルヘッダで構成される。ファイルヘッダの内容としてはファイルヘッダスタートコードの後にファイル属性情報が続く。ファイルヘッダスタートコードやファイル属性情報については、第７の実施形態と同様な情報を記述することができる。
【００８５】
第２階層情報の構成例を図１８に示す。第２階層情報には各ショット情報を記述し、ショットヘッダの後に、ショット情報＃１，…，ショット情報＃Nsを続けて記述する。なお、Ｎs はショット数を示す。ショットヘッダはショットヘッダスタートコードのあとにショット数、ショット情報アドレス＃１，…，ショット情報アドレス＃Ｎs で構成される。ショットヘッダスタートコードは第７の実施形態と同様なコードを用いることができる。また、ショット情報アドレスでは各ショット情報が格納されている位置を示すアドレスを記述する。このアドレス情報を用いることにより、各ショット情報をランダムに検索してショット内容の閲覧などに用いることができる。
【００８６】
各ショット情報は、ショットスタートコードとショット属性情報で構成される。ショットスタートコードは各ショット情報の開始点を示すコードでショットヘッダスタートコードと同様にユニークなコードを用いることによって他のスタートコードと識別する。また、ショット属性情報については、第７実施形態のショット属性情報と同様な情報を記述することができる。なお、本実施形態では、第７実施形態とは異なり、ショット情報には同一特徴区間に関する情報は記述されておらず、ショット全体の内容を示す記述のみが行われる。
【００８７】
次に、第３階層情報の記述例を図１９に示す。第３階層情報では各ショット内の同一特徴区間について記述し、第３階層同一特徴区間ヘッダのあとに第３特徴区間情報＃１から第３特徴区間情報＃Ｎk3までが続く。なお、Ｎk3は第３階層におけるファイル全体の同一特徴区関数を示す。第３階層同一特徴区間ヘッダは、第３階層特徴区間ヘッダスタートコードの後に、第３階層同一特徴区間数、第３階層同一特徴区間情報アドレス＃１から第３階層同一特徴区間情報アドレス＃Ｎｋ３までが続く。第３階層同一特徴区間ヘッダスタートコードは、第３階層情報の開始点を示すコードでユニークなコードを用いることによって他のスタートコードと識別する。
【００８８】
第３階層同一特徴区間情報は、第３階層同一特徴区間スタートコードと、それに続く第３階層同一特徴区間属性情報からなる。第３階層同一特徴区間スタートコードは、第３階層同一特徴区間の開始点を示すコードでユニークなコードを用いることによって他のスタートコードと識別する。また第３階層同一特徴区間属性情報には、同一特徴区間の属性情報について記述する。属性情報には、第７実施形態の同一特徴区間属性情報と同様な情報を記述することができる。これにより、第２階層情報についてさらに詳細の情報を第３階層情報から得ることが可能になる。
【００８９】
同様な方法を用いて、第ｎ階層情報を構成した例を図２０に示す。第ｎ階層情報は第ｎ−１階層の情報をさらに詳細に記述するための情報で、例えば第１の実施形態や第４の実施形態で述べた階層的な同一特徴区関数について、ｎ−１階層に比べてさらに同一特徴区関数を多くした場合の記述を第ｎ階層で行う。例えば第ｎ−１階層でＮＫn-1 個の同一特徴区間数を記述して、第ｎ階層ではさらに詳細のＮＫn 個（＞ＮＫn-1 ）の同一特徴区関数について記述する。これによりｎが大きくなるに従い、より詳しい内容について情報を得ることが可能になる。
【００９０】
このような方法により、第７実施形態と比べると、階層ごとに映像内容が記述されているため、必要とするレベルで検索ができ、検索効率を高めることが可能になる。
【００９１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、入力画面の特徴ベクトルと逐次更新された参照ベクトルとを比較して同一特徴区間を決定し、同一特徴区間数と閾値の特性曲線から目標の同一特徴区関数に対する閾値を決定し、決定された閾値を用いて目標の同一特徴区間を求めるようにしたので、任意のレベルで特徴区間を決定できるようになる。
【００９２】
また、本発明によれば、同一特徴区間内の特徴ベクトルを再帰的に用いて、同一特徴区間を階層的に求めるようにしたので、ｎ階層（ｎは２以上の整数）の同一特徴区間を合理的に、かつ容易に求めることができるようになる。
【００９３】
また、本発明によれば、特徴区間決定部で決定された同一特徴区間の代表特徴ベクトルと参照ベクトルとから変化度値を求めるようにしたので、先頭画面の特性に左右されずに同一特徴区間を決定できるようになる。
【００９４】
また、本発明によれば、特徴画面抽出部によって抽出される特徴画面を、同一特徴区間の先頭画面、同一特徴区間内の共通特徴ベクトルとの距離が最も小さい画面、および特徴画面を含む時間的に連続な複数画面のいずれかであるようにしたので、同一特徴区間の特性に最も適した特徴画面を抽出できるようになる。
【００９５】
また、本発明によれば、動画像の各画面の特徴ベクトルを抽出する機能と、該特徴ベクトルと参照画面の特徴ベクトルとの変化度値Ｄを測定する機能と、該変化度値Ｄと閾値とを比較して同一特徴区間を決定する機能と、該同一特徴区間から特徴画面を抽出する機能と、前記同一特徴区間を決定するための閾値を、目標とする同一特徴区間数に応じた値に変更する機能とからなるプログラムを、コンピュータ読取り可能な記憶媒体に格納して、提供できるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 本実施形態の動作を示すフローチャートである。
【図３】 同一特徴区間数特性の一例を示す特性図である。
【図４】 本実施形態により抽出される特徴画面の一例を示す図である。
【図５】 本発明の第２実施形態の同一特徴区間決定方法の具体例を示す説明図である。
【図６】 本発明の第４実施形態に使用される同一特徴区間数特性の他の例を示す特性図である。
【図７】 本発明の第５実施形態の構成を示すブロック図である。
【図８】 該第５実施形態の各階層の同一特徴区間決定方法を示す説明図である。
【図９】 本発明の第６実施形態の動作の概要を示すフローチャートである。
【図１０】 第６実施形態の概略の構成を示すブロック図である。
【図１１】 第６実施形態の変形例の概略の構成を示すブロック図である。
【図１２】 本発明の第７実施形態の特徴情報ファイルの一構成例を示す図である。
【図１３】 ファイルヘッダの構成例を示す図である。
【図１４】 ショットヘッダの構成例を示す図である。
【図１５】 同一特徴区間ヘッダの構成例を示す図である。
【図１６】 本発明の第８実施形態の階層情報の一構成例を示す図である。
【図１７】 第一階層の構成例を示す図である。
【図１８】 第二階層の構成例を示す図である。
【図１９】 第三階層の構成例を示す図である。
【図２０】 第ｎ階層の構成例を示す図である。
【図２１】 記録媒体に記録された本発明によるプログラムを実行するコンピュータの構成を示すブロック図である。
【図２２】 数式を表す図である。
【図２３】 従来の動画像データ特徴画面抽出装置の構成を示すブロック図である。
【符号の説明】
２１…同一特徴区間数カウンタ、２２…閾値決定部、７０…入力ベクトル更新部、１００…特徴ベクトル抽出部、１０１…変化度測定部、１０２…特徴区間決定部、１０３…特徴画面抽出部、１０４…画像メモリ、１０５…入力ベクトルメモリ、１０６…参照ベクトルメモリ、１０７…参照ベクトル更新部、１０８…制御部、８００…ショット内特徴ベクトル抽出部、８０１…ショット内画像メモリ、８０２…ショット内特徴ベクトルメモリ、８０３…ショット内特徴画面映像抽出部、９００…ファイル内特徴ベクトル抽出部、９０１…ファイル内画像メモリ、９０２…ファイル内特徴ベクトルメモリ、９０３…ファイル内特徴画面映像抽出部。
Claims (14)
- 入力画面の特徴ベクトルと参照ベクトルとの変化度値Ｄを測定する変化度測定部と、
該変化度測定部で測定された変化度値Ｄと第１の閾値ＴＫ0とを比較して、同一特徴区間を決定する特徴区間決定部と、
該特徴区間決定部で決定された同一特徴区間数ＮＫ0 と、目標の同一特徴区間数ＮＫＴとの特性関係から、第２の閾値ＴＫＴ1 を決定する閾値決定部とを具備し、
該閾値決定部で決定された第２の閾値ＴＫＴ1 を前記特徴区間決定部で用い、前記変化度測定部で測定された変化度値Ｄと第２の閾値ＴＫＴ 1 とを比較することにより、該特徴区間決定部は前記目標の同一特徴区間数に基づく同一特徴区間を決定することを特徴とする動画像の特徴画面抽出装置。 - 請求項１に記載の動画像の特徴画面抽出装置において、
前記閾値決定部は、前記特徴区間決定部で決定された同一特徴区間数ＮＫと目標の同一特徴区間数ＮＫＴとから閾値ＴＫＴを決定する処理を繰返し行い、該処理により得られた閾値を前記特徴区間決定部で用いることにより、ｎ階層（ｎは２以上の整数）の同一特徴区間を決定することを特徴とする動画像の特徴画面抽出装置。 - 請求項１または２に記載の動画像の特徴画面抽出装置において、
前記特徴区間決定部で決定された同一特徴区間の代表特徴ベクトルを抽出する手段を具備し、
前記変化度測定部は、該代表特徴ベクトルと参照ベクトルとから変化度値を求めることを特徴とする動画像の特徴画面抽出装置。 - 請求項１ないし３のいずれかに記載の動画像の特徴画面抽出装置おいて、
前記変化度測定部は、入力画面の特徴ベクトルと参照画面の特徴ベクトルとの間の距離を測定し、同一特徴区間は閾値より小さい範囲として決定されることを特徴とする動画像の特徴画面抽出装置。 - 請求項１ないし４に記載の動画像の特徴画面抽出装置において、
前記特徴ベクトルは、画面内の輝度、色成分のヒストグラム、および画面内画素平均値のいずれかを用いることを特徴とする動画像の特徴画面抽出装置。 - 請求項１ないし５のいずれかに記載の動画像の特徴画面抽出装置において、
前記特徴区間決定部は、閾値と特徴画面数の特性曲線から、次の閾値ＴＫＴを決定することを特徴とする動画像の特徴画面抽出装置。 - 請求項１ないし６のいずれかに記載の動画像の特徴画面抽出装置において、
前記参照ベクトルは、同一特徴区間内の先頭の画面のベクトル、同一特徴区間内の共通特徴ベクトル、および同一特徴区間内の画面平均のベクトルのいずれかを用いることを特徴とする動画像の特徴画面抽出装置。 - 請求項１ないし６のいずれかに記載の動画像の特徴画面抽出装置において、
さらに、前記特徴区間決定部で決定された同一特徴区間の特徴画面を抽出する特徴画面抽出部を具備し、
前記特徴画面抽出部によって抽出される特徴画面は、同一特徴区間の先頭画面、同一特徴区間内の共通特徴ベクトルとの距離が最も小さい画面、および特徴画面を含む時間的に連続な複数画面のいずれかであることを特徴とする動画像の特徴画面抽出装置。 - ショット区間の動画像を蓄積するショット内画像蓄積部と、
請求項１または２で求められた同一特徴区間画面を用いてショット内特徴ベクトルを求めるショット内特徴ベクトル抽出部と、
該ショット内特徴ベクトルの共通特徴ベクトルに最も近い画面をショット代表画面とするショット内特徴画面映像抽出部とを具備したことを特徴とする動画像の特徴画面抽出装置。 - 請求項９で求められたショット代表画面を含む同一特徴区間をショット代表映像とすることを特徴とする動画像の特徴画面抽出装置。
- ファイルの動画像を蓄積するファイル内画像蓄積部と、
請求項９で求められたショット代表画面を用いてファイル内特徴ベクトルを求めるファイル内特徴ベクトル抽出部と、
該ファイル内特徴ベクトルの共通特徴ベクトルに最も近い画面をファイル代表画面とするファイル内特徴画面映像抽出部とを具備したことを特徴とする動画像の特徴画面抽出装置。 - 請求項１１で求められたファイル代表画面を含むショット区間をファイル代表映像とすることを特徴とする動画像の特徴画面抽出装置。
- 請求項８、９、または１１に記載の動画像の特徴画面抽出装置において、
前記共通特徴ベクトルは、同一特徴区間内の入力ベクトルの平均値、またはメディアンベクトルを用いることを特徴とする動画像の特徴画面抽出装置。 - 動画像の各画面の特徴ベクトルを抽出する機能と、
該特徴ベクトルと参照画面の特徴ベクトルとの変化度値Ｄを算出する機能と、 該変化度値Ｄと第１の閾値ＴＫ 0 とを比較して同一特徴区間数ＮＫ 0 を決定する機能と、
前記同一特徴区間数ＮＫ 0 と、目標の同一特徴区間数ＮＫＴとの特性関係から、第２の閾値ＴＫＴ1 を決定する機能と、
前記第１の閾値ＴＫ 0 を前記第２の閾値ＴＫＴ 1 に変更し、前記変化度値Ｄと第２の閾値ＴＫＴ 1 とを比較する機能と、
該比較により得られた同一特徴区間から特徴画面を抽出する機能とからなる、
コンピュータを実行させるためのプログラムを記録したコンピュータ読取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000065259A JP3832706B2 (ja) | 2000-03-09 | 2000-03-09 | 動画像の特徴画面抽出装置およびその記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000065259A JP3832706B2 (ja) | 2000-03-09 | 2000-03-09 | 動画像の特徴画面抽出装置およびその記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006160928A Division JP2006325223A (ja) | 2006-06-09 | 2006-06-09 | 動画像の特徴情報記述方法および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001256245A JP2001256245A (ja) | 2001-09-21 |
| JP3832706B2 true JP3832706B2 (ja) | 2006-10-11 |
Family
ID=18584822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000065259A Expired - Fee Related JP3832706B2 (ja) | 2000-03-09 | 2000-03-09 | 動画像の特徴画面抽出装置およびその記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3832706B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5213797B2 (ja) * | 2009-06-03 | 2013-06-19 | 日本電信電話株式会社 | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
| JP4999015B2 (ja) * | 2009-08-27 | 2012-08-15 | 株式会社Ｋｄｄｉ研究所 | 動画像データの分類装置 |
-
2000
- 2000-03-09 JP JP2000065259A patent/JP3832706B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001256245A (ja) | 2001-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6157744A (en) | Method and apparatus for detecting a point of change in a moving image | |
| JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
| KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
| US6389168B2 (en) | Object-based parsing and indexing of compressed video streams | |
| CN108182421B (zh) | 视频分割方法和装置 | |
| EP1081960A1 (en) | Signal processing method and video/voice processing device | |
| JP2006510072A (ja) | 一様なカラーセグメントを検出するための方法及びシステム | |
| KR100547370B1 (ko) | 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템 | |
| KR20030026529A (ko) | 키프레임 기반 비디오 요약 시스템 | |
| CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| CN101543075A (zh) | 视频序列中渐变的检测 | |
| CN107430780A (zh) | 用于基于视频内容特性的输出创建的方法 | |
| JP5008484B2 (ja) | 映像処理方法 | |
| JP2005303566A (ja) | ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置 | |
| JP4555690B2 (ja) | 軌跡付加映像生成装置及び軌跡付加映像生成プログラム | |
| JP3832706B2 (ja) | 動画像の特徴画面抽出装置およびその記憶媒体 | |
| KR100249826B1 (ko) | 디지털 동영상 데이터 자동분할장치 및 그 방법 | |
| JP2006039753A (ja) | 画像処理装置、画像処理方法 | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| CN111726620A (zh) | 一种监控视频背景帧的编码方法、装置、电子设备及介质 | |
| JP2006325223A (ja) | 動画像の特徴情報記述方法および記憶媒体 | |
| EP1979909A2 (en) | Image analysis | |
| JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
| US20070061727A1 (en) | Adaptive key frame extraction from video data | |
| JP3558886B2 (ja) | 映像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060412 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060713 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150728 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |