JP3358692B2 - 映像ブロック分類方法及び装置 - Google Patents
映像ブロック分類方法及び装置Info
- Publication number
- JP3358692B2 JP3358692B2 JP19741695A JP19741695A JP3358692B2 JP 3358692 B2 JP3358692 B2 JP 3358692B2 JP 19741695 A JP19741695 A JP 19741695A JP 19741695 A JP19741695 A JP 19741695A JP 3358692 B2 JP3358692 B2 JP 3358692B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- video
- histogram
- similarity
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、映像データの処理
に関し、特に、映像を構成する画像データ列を分類して
ブロックやシーン単位に構造化する方法及び装置に関す
る。
に関し、特に、映像を構成する画像データ列を分類して
ブロックやシーン単位に構造化する方法及び装置に関す
る。
【０００２】
【従来の技術】映像データは一般にデータ量が膨大であ
るが、その内容を知るためには、映像を時間順に全て見
ていくしかなかった。時間的に連続する画像データの集
合が映像であると考えると、映像を構成する各画像デー
タがある尺度に基づいてそれぞれ分類されていれば、映
像の概略を把握したり、いわゆる飛ばし見をしたりする
のに有用であり、短時間で映像の内容を理解するのに非
常に役立つのではないかと期待される。以下、映像の分
類とは、映像に内在する階層的な構造要素を検出し、同
一の分類に属する構造要素を束ねることによって、時間
軸に関して映像を複数のブロックに分割することを意味
する。同一の分類に属する構造要素を束ねることに着目
すれば、映像の構造化ともいうことができる。
るが、その内容を知るためには、映像を時間順に全て見
ていくしかなかった。時間的に連続する画像データの集
合が映像であると考えると、映像を構成する各画像デー
タがある尺度に基づいてそれぞれ分類されていれば、映
像の概略を把握したり、いわゆる飛ばし見をしたりする
のに有用であり、短時間で映像の内容を理解するのに非
常に役立つのではないかと期待される。以下、映像の分
類とは、映像に内在する階層的な構造要素を検出し、同
一の分類に属する構造要素を束ねることによって、時間
軸に関して映像を複数のブロックに分割することを意味
する。同一の分類に属する構造要素を束ねることに着目
すれば、映像の構造化ともいうことができる。
【０００３】一般に映像は、「フレーム」、「テイ
ク」、「ショット」、「シーン」、「ストーリ」という
単位で階層的に分類される。この階層的分類には、ハー
ドウェアでの物理的なレベル（下位レベル）から、人間
の創造的作業による意味的なレベル（上位レベル）まで
の全てを含んでいる。
ク」、「ショット」、「シーン」、「ストーリ」という
単位で階層的に分類される。この階層的分類には、ハー
ドウェアでの物理的なレベル（下位レベル）から、人間
の創造的作業による意味的なレベル（上位レベル）まで
の全てを含んでいる。
【０００４】「フレーム」は、映像を撮影するときのフ
ィルムの１コマ１コマに対応する物理的な単位であり、
「テイク」は、フレームの集合であって同一カメラで撮
影された時間的に連続な映像区間を示す単位であり、こ
れには、撮影時のカメラのオン（０Ｎ）／オフ（０Ｆ
Ｆ）が反映される。
ィルムの１コマ１コマに対応する物理的な単位であり、
「テイク」は、フレームの集合であって同一カメラで撮
影された時間的に連続な映像区間を示す単位であり、こ
れには、撮影時のカメラのオン（０Ｎ）／オフ（０Ｆ
Ｆ）が反映される。
【０００５】「ショット」は、テイクと同様に同一カメ
ラで撮影された映像区間を示す単位であるが、映像の編
集時にテイクの中から選び出された映像区間をいい、テ
イクよりもより人間の意図が反映された意味的な単位で
ある。さらに、編集作業によりショットが組み合わされ
ると、映像の「ストーリ」となる。すなわち、テイクは
映像素材の単位であり、ショットは映像作品の構成単位
である。
ラで撮影された映像区間を示す単位であるが、映像の編
集時にテイクの中から選び出された映像区間をいい、テ
イクよりもより人間の意図が反映された意味的な単位で
ある。さらに、編集作業によりショットが組み合わされ
ると、映像の「ストーリ」となる。すなわち、テイクは
映像素材の単位であり、ショットは映像作品の構成単位
である。
【０００６】一方、「シーン」とは、映像作品におい
て、意味的に同一の場面とみなせるショットの集合を指
し、映像作品を幾つかのブロックにわける際の単位とな
る。シーンの分類には人間の創造的な作業を多く必要と
し、さまざまな解釈によっていろいろに分類される。例
として、登場人物が一致していれば、同一シーンとする
解釈もあるだろうし、時問的にどれだけ離れていても、
映像を撮影した舞台や場所が一致していれば、同一シー
ンとする場合もある。しかしここでは、作品の内容把握
を助けるために行うためにシーンの分類を行うという視
点にたち、シーンに以下の条件を設ける。 条件１：シーンは、似たような画像特性をもつショット
の集合である（以下、特徴類似条件という）。 条件２：シーンは、時間的に隣接し連続したショットの
集合である（以下、時間的連続条件という）。
て、意味的に同一の場面とみなせるショットの集合を指
し、映像作品を幾つかのブロックにわける際の単位とな
る。シーンの分類には人間の創造的な作業を多く必要と
し、さまざまな解釈によっていろいろに分類される。例
として、登場人物が一致していれば、同一シーンとする
解釈もあるだろうし、時問的にどれだけ離れていても、
映像を撮影した舞台や場所が一致していれば、同一シー
ンとする場合もある。しかしここでは、作品の内容把握
を助けるために行うためにシーンの分類を行うという視
点にたち、シーンに以下の条件を設ける。 条件１：シーンは、似たような画像特性をもつショット
の集合である（以下、特徴類似条件という）。 条件２：シーンは、時間的に隣接し連続したショットの
集合である（以下、時間的連続条件という）。
【０００７】以上の条件を満たすシーンの最も端的な例
は、同一被写体を、複数の異なるカメラで異なる視点か
ら撮影した映像から、それらの切り替えの連続によって
作成された映像である。すなわち、類似し、かつ、連続
な複数のショットによって一つのシーンを構成している
例である。一方で、例えばニュース番組映像によく見ら
れるスタジオと現場の中継の映像が交互に存在するよう
な映像は、それぞれ、スタジオの場面同士は類似し、現
場の中継同士も類似しているが、スタジオと現場中継映
像の間の類似性は低いので、同一のシーンであるとはし
ない。類似した映像が連続的に構成されているわけでは
ないので、このような場合は、スタジオシーンＡ、現場
シーンＡ、スタジオシーンＢ、現場シーンＢ、スタジオ
シーンＣ、現場シーンＣ、…というように、それぞれ全
く別個のシーンが連続に続いているとみなす。
は、同一被写体を、複数の異なるカメラで異なる視点か
ら撮影した映像から、それらの切り替えの連続によって
作成された映像である。すなわち、類似し、かつ、連続
な複数のショットによって一つのシーンを構成している
例である。一方で、例えばニュース番組映像によく見ら
れるスタジオと現場の中継の映像が交互に存在するよう
な映像は、それぞれ、スタジオの場面同士は類似し、現
場の中継同士も類似しているが、スタジオと現場中継映
像の間の類似性は低いので、同一のシーンであるとはし
ない。類似した映像が連続的に構成されているわけでは
ないので、このような場合は、スタジオシーンＡ、現場
シーンＡ、スタジオシーンＢ、現場シーンＢ、スタジオ
シーンＣ、現場シーンＣ、…というように、それぞれ全
く別個のシーンが連続に続いているとみなす。
【０００８】理想的な分類を行うにはストーリなどまで
を考慮なければならないが、現状ではこの作業は人手に
よってしか行うことができず、作業量が膨大となって、
特別の場合を除いて非現実的なものとなる。したがっ
て、画像データの分類に関し、なんらかの自動化が求め
られている。
を考慮なければならないが、現状ではこの作業は人手に
よってしか行うことができず、作業量が膨大となって、
特別の場合を除いて非現実的なものとなる。したがっ
て、画像データの分類に関し、なんらかの自動化が求め
られている。
【０００９】上述した映像の分類単位に基づきユーザが
利用しやすいように画像データを分類して映像を構造化
することを目的とした従来技術がいくつか存在する。
利用しやすいように画像データを分類して映像を構造化
することを目的とした従来技術がいくつか存在する。
【００１０】例えば、連続する画像フレームのフレーム
間での対応する位置(ｘ,ｙ)の輝度の差分の総和から、
連続するフレームにおける変化率を計算して映像のカッ
ト点の切り替わりを検出する「映像カット点検出方法」
等があげられる。これはショット単位の分類技術として
とらえられる。
間での対応する位置(ｘ,ｙ)の輝度の差分の総和から、
連続するフレームにおける変化率を計算して映像のカッ
ト点の切り替わりを検出する「映像カット点検出方法」
等があげられる。これはショット単位の分類技術として
とらえられる。
【００１１】シーン単位の分類を目的とした技術として
は、(1)同一のシーンは似た色情報からなるという立場
から、画像データ列の色情報を特徴空間ヘ変換し、特徴
空間上でクラスタリングし、映像の分類を行う「映像特
徴処理方法」（特開平６−２５１１４７号）や、(2)一
般に映像作品においては画像とともに映像データを構成
する要素である音情報がショット単位でなくシーン単位
にかつ意味的な作業によって付加されていることを利用
して、この音情報によってシーンを分類する「音情報を
用いたビデオ・ブラウジング・インタフェース」（テレ
ビジョン学会技術報告, Vol.19, No.7, 1995/12）や、
(3)ショットごとの代表画面を求め、代表画像間での輝
度のモーメント不変量と色情報とを基に類似度を算出
し、類似性の高い代表画面及びショットを表示し、低い
ものを表示しないインタフェースを作成し、結果的にユ
ーザに対して類似した代表画面を表示することによって
映像をブロックに分ける「Content-based Browsing of
Video Sequences」（ACM, Multimedia 94, P.97-）等が
存在する。
は、(1)同一のシーンは似た色情報からなるという立場
から、画像データ列の色情報を特徴空間ヘ変換し、特徴
空間上でクラスタリングし、映像の分類を行う「映像特
徴処理方法」（特開平６−２５１１４７号）や、(2)一
般に映像作品においては画像とともに映像データを構成
する要素である音情報がショット単位でなくシーン単位
にかつ意味的な作業によって付加されていることを利用
して、この音情報によってシーンを分類する「音情報を
用いたビデオ・ブラウジング・インタフェース」（テレ
ビジョン学会技術報告, Vol.19, No.7, 1995/12）や、
(3)ショットごとの代表画面を求め、代表画像間での輝
度のモーメント不変量と色情報とを基に類似度を算出
し、類似性の高い代表画面及びショットを表示し、低い
ものを表示しないインタフェースを作成し、結果的にユ
ーザに対して類似した代表画面を表示することによって
映像をブロックに分ける「Content-based Browsing of
Video Sequences」（ACM, Multimedia 94, P.97-）等が
存在する。
【００１２】
【発明が解決しようする課題】映像の内容の把握を目的
として、映像を分類する場合には、意味を反映するブロ
ックすなわちシーン単位に分類されることが望ましい。
として、映像を分類する場合には、意味を反映するブロ
ックすなわちシーン単位に分類されることが望ましい。
【００１３】上述した従来の技術のうち、「映像カット
点検出方法」は、映像におけるカット点の検出を目的と
し、ショット単位での分類を可能にしている。しかし、
例えば２時間の映像作品は一般に数千にも及ぶショット
から構成されており、ショット単位では、映像の内容把
握のためには細分化されすぎてしまうという問題点が生
じる。したがって、ショット単位ではなくシーン単位に
分類する技術が必要となる。
点検出方法」は、映像におけるカット点の検出を目的と
し、ショット単位での分類を可能にしている。しかし、
例えば２時間の映像作品は一般に数千にも及ぶショット
から構成されており、ショット単位では、映像の内容把
握のためには細分化されすぎてしまうという問題点が生
じる。したがって、ショット単位ではなくシーン単位に
分類する技術が必要となる。
【００１４】一方、「映像カット点検出方法」を除いた
他の従来技術は、ショット単位の分類では細分化されす
ぎる点を解決すべく、より意味的な単位に分類を行うこ
とを目的としたものである。このうち、「映像特徴処理
方法」では、同一のシーンは類似した色情報によって構
成されているという仮定に基づき、色情報を基づく特徴
空間を使用して、類似した色の組み合わせをもつ画像の
分類を行っている。この「映像特徴処理方法」は、上述
の特徴類似条件（条件１）を満たしているが、時間的に
連続であるという時間的連続条件（条件２）を考慮して
いない。したがって、この方法によれば、類似する画像
群を抽出して、時間的に不連続でかつ類似した画像を１
つのブロックとして検出してしまうことがある。すなわ
ち、上述のニュース番組映像の例を用いて説明すれば、
時間的に不連続なスタジオでの映像をそれぞれ個別のシ
ーンとして分類することなく、一つの類似したブロック
とみなしてしまう。結局、この方法では、時間的に連続
なシーンを安定に抽出することができない。
他の従来技術は、ショット単位の分類では細分化されす
ぎる点を解決すべく、より意味的な単位に分類を行うこ
とを目的としたものである。このうち、「映像特徴処理
方法」では、同一のシーンは類似した色情報によって構
成されているという仮定に基づき、色情報を基づく特徴
空間を使用して、類似した色の組み合わせをもつ画像の
分類を行っている。この「映像特徴処理方法」は、上述
の特徴類似条件（条件１）を満たしているが、時間的に
連続であるという時間的連続条件（条件２）を考慮して
いない。したがって、この方法によれば、類似する画像
群を抽出して、時間的に不連続でかつ類似した画像を１
つのブロックとして検出してしまうことがある。すなわ
ち、上述のニュース番組映像の例を用いて説明すれば、
時間的に不連続なスタジオでの映像をそれぞれ個別のシ
ーンとして分類することなく、一つの類似したブロック
とみなしてしまう。結局、この方法では、時間的に連続
なシーンを安定に抽出することができない。
【００１５】「音表現を用いたビデオ・ブラウジング・
インタフェース」は、ＢＧＭ等の音情報を利用すること
によって、細分化されたショットを一連の時間的に連続
な同一シーンに併合することができ、上述の時間的連続
条件を満たす分類を行うことができる。しかしながら、
シーンをまたがって同じＢＧＭが連続している場合やシ
ーンの途中から音情報が挿入された場合、さらには音情
報が全く存在しないような映像作品等のように、シーン
と音情報が必ずしも対応していない場合には、安定して
映像をシーンに分類することができないという問題点が
ある。さらに、特徴類似条件を満たさないという問題点
がある。
インタフェース」は、ＢＧＭ等の音情報を利用すること
によって、細分化されたショットを一連の時間的に連続
な同一シーンに併合することができ、上述の時間的連続
条件を満たす分類を行うことができる。しかしながら、
シーンをまたがって同じＢＧＭが連続している場合やシ
ーンの途中から音情報が挿入された場合、さらには音情
報が全く存在しないような映像作品等のように、シーン
と音情報が必ずしも対応していない場合には、安定して
映像をシーンに分類することができないという問題点が
ある。さらに、特徴類似条件を満たさないという問題点
がある。
【００１６】「Content-based Browsing of Video Sequ
ences」では、予めショット単位に分類を行い、ショッ
トごとに代表画像を選び出し、これらの代表画像同士の
モーメント不変量の比較と色情報の比較との両方を利用
して類似度を判定している。形状と色による類似度を用
いることによって、代表画面を選択した際に類似する代
表画面のみを表示することにより、注視している画像に
類似し関連する情報の簡単な表示、検索を実現してい
る。したがって、「映像特徴処理方法」と同様に特徴類
似条件は満たすが、時間的連続条件は満たさない。
ences」では、予めショット単位に分類を行い、ショッ
トごとに代表画像を選び出し、これらの代表画像同士の
モーメント不変量の比較と色情報の比較との両方を利用
して類似度を判定している。形状と色による類似度を用
いることによって、代表画面を選択した際に類似する代
表画面のみを表示することにより、注視している画像に
類似し関連する情報の簡単な表示、検索を実現してい
る。したがって、「映像特徴処理方法」と同様に特徴類
似条件は満たすが、時間的連続条件は満たさない。
【００１７】映像の内容把握を的確に行えるような分類
を実行するためには、上述の特徴類似条件と時間的連続
条件の両方を満たすシーン分類を実行しなければならな
いが、以上述べた従来の技術にはこれら２条件を同時に
満足するものはない。
を実行するためには、上述の特徴類似条件と時間的連続
条件の両方を満たすシーン分類を実行しなければならな
いが、以上述べた従来の技術にはこれら２条件を同時に
満足するものはない。
【００１８】本発明の目的は、映像をショット単位に細
分することなく、かつ時間的な順序性を損なうことな
く、類似したショットの集合に映像を分類すること、す
なわち、特徴類似条件と時間的連続条件とを同時に満た
し、映像の分類を安定して行うことができる映像ブロッ
ク分類方法及び装置を提供することにある。
分することなく、かつ時間的な順序性を損なうことな
く、類似したショットの集合に映像を分類すること、す
なわち、特徴類似条件と時間的連続条件とを同時に満た
し、映像の分類を安定して行うことができる映像ブロッ
ク分類方法及び装置を提供することにある。
【００１９】
【課題を解決するための手段】本発明の映像ブロック分
類方法及び装置は、特徴類似条件と時間的連続条件とを
満たしつつ映像を分類するために、以下の構成を有す
る。
類方法及び装置は、特徴類似条件と時間的連続条件とを
満たしつつ映像を分類するために、以下の構成を有す
る。
【００２０】すなわち本発明の映像ブロック分類方法
は、画像データ列で構成された映像を時間軸に関して複
数の映像ブロックに分類する映像ブロック分類方法であ
って、予め多数のブロックに分類された映像を入力する
映像入力工程と、各ブロックの画像データ列から当該ブ
ロックの特徴量を算出する特徴量算出工程と、特徴量に
基づいて隣接するブロック間の類似度を算出する類似度
算出工程と、算出された類似度の中で最大の類似度を示
した隣接するブロックを１つのブロックに併合するブロ
ック併合工程と、を有し、各ブロックの特徴量が、当該
ブロックに含まれるフレームから色、色相、彩度、明度
のいずれかあるいはこれらの組み合わせからなる情報を
抽出して得たヒストグラムであり、当該ブロックに含ま
れるフレーム数が２以上の場合には、当該ブロックに含
まれるフレームの全ヒストグラムについてのヒストグラ
ム論理積演算を行って得たヒストグラムとして表わさ
れ、特徴量算出工程、類似度算出工程及びブロック併合
工程を反復して実行することにより、分類された複数の
映像ブロックを得る。
は、画像データ列で構成された映像を時間軸に関して複
数の映像ブロックに分類する映像ブロック分類方法であ
って、予め多数のブロックに分類された映像を入力する
映像入力工程と、各ブロックの画像データ列から当該ブ
ロックの特徴量を算出する特徴量算出工程と、特徴量に
基づいて隣接するブロック間の類似度を算出する類似度
算出工程と、算出された類似度の中で最大の類似度を示
した隣接するブロックを１つのブロックに併合するブロ
ック併合工程と、を有し、各ブロックの特徴量が、当該
ブロックに含まれるフレームから色、色相、彩度、明度
のいずれかあるいはこれらの組み合わせからなる情報を
抽出して得たヒストグラムであり、当該ブロックに含ま
れるフレーム数が２以上の場合には、当該ブロックに含
まれるフレームの全ヒストグラムについてのヒストグラ
ム論理積演算を行って得たヒストグラムとして表わさ
れ、特徴量算出工程、類似度算出工程及びブロック併合
工程を反復して実行することにより、分類された複数の
映像ブロックを得る。
【００２１】本発明の映像ブロック分類方法において、
映像入力工程に、フレーム単位で入力した映像をブロッ
クの１種であるショットに分類する工程を含ませてもよ
い。類似度は、隣接するブロックのヒストグラムに対す
るヒストグラム累積論理積に基づいて定めることが好ま
しい。さらに、ブロック併合工程における隣接するブロ
ックの併合に際し、当該隣接するブロックのヒストグラ
ムに対してヒストグラム論理積演算を行い、演算の結果
得られたヒストグラムを併合後のブロックの特徴量とす
ることが好ましい。
映像入力工程に、フレーム単位で入力した映像をブロッ
クの１種であるショットに分類する工程を含ませてもよ
い。類似度は、隣接するブロックのヒストグラムに対す
るヒストグラム累積論理積に基づいて定めることが好ま
しい。さらに、ブロック併合工程における隣接するブロ
ックの併合に際し、当該隣接するブロックのヒストグラ
ムに対してヒストグラム論理積演算を行い、演算の結果
得られたヒストグラムを併合後のブロックの特徴量とす
ることが好ましい。
【００２２】本発明の映像ブロック分類装置は、画像デ
ータ列で構成された映像を複数の映像ブロックに分類す
る映像ブロック分類装置であって、入力された画像デー
タ列を保存する画像データ列メモリと、画像データ列メ
モリからフレームのデータを読み出し、フレームごとの
フレーム特徴量を算出する画像情報変換部と、画像デー
タ列メモリからフレームを読出し、ショット単位に分類
するショット単位分類部と、フレーム特徴量に基づいて
各ショットの特徴量を算出するショット特徴量算出部
と、１または複数のショットで構成されるブロックに対
し、ブロックに対する特徴量を利用して隣接するブロッ
ク間の類似度を算出し、算出された類似度の中で最大の
類似度を示した隣接するブロックを１つのブロックに併
合することによって複数のショットで構成されるブロッ
クを生成し、類似度の算出とブロックの併合とを繰返し
実行する類似度評価及び画像分類処理部と、を有し、フ
レーム特徴量及びブロックの特徴量がそれぞれヒストグ
ラムで表わされ、ショットごとにフレーム特徴量のヒス
トグラム論理積を算出することで各ショットの特徴量が
算出され、隣接するブロックのヒストグラムのヒストグ
ラム累積論理積に基づいて類似度が算出され、類似度評
価及び画像分類処理部が、隣接するブロックの併合に際
して当該隣接するブロックのヒストグラムに対してヒス
トグラム論理積演算を行い演算の結果得られたヒストグ
ラムを併合後のブロックの特徴量とする。
ータ列で構成された映像を複数の映像ブロックに分類す
る映像ブロック分類装置であって、入力された画像デー
タ列を保存する画像データ列メモリと、画像データ列メ
モリからフレームのデータを読み出し、フレームごとの
フレーム特徴量を算出する画像情報変換部と、画像デー
タ列メモリからフレームを読出し、ショット単位に分類
するショット単位分類部と、フレーム特徴量に基づいて
各ショットの特徴量を算出するショット特徴量算出部
と、１または複数のショットで構成されるブロックに対
し、ブロックに対する特徴量を利用して隣接するブロッ
ク間の類似度を算出し、算出された類似度の中で最大の
類似度を示した隣接するブロックを１つのブロックに併
合することによって複数のショットで構成されるブロッ
クを生成し、類似度の算出とブロックの併合とを繰返し
実行する類似度評価及び画像分類処理部と、を有し、フ
レーム特徴量及びブロックの特徴量がそれぞれヒストグ
ラムで表わされ、ショットごとにフレーム特徴量のヒス
トグラム論理積を算出することで各ショットの特徴量が
算出され、隣接するブロックのヒストグラムのヒストグ
ラム累積論理積に基づいて類似度が算出され、類似度評
価及び画像分類処理部が、隣接するブロックの併合に際
して当該隣接するブロックのヒストグラムに対してヒス
トグラム論理積演算を行い演算の結果得られたヒストグ
ラムを併合後のブロックの特徴量とする。
【００２３】
【００２４】結局、本発明の映像ブロック分類方法及び
装置では、類似する特徴量、典型的には類似する色情報
をもった隣接する画像ブロックを、類似度の高いものか
ら併合するという処理を反復している。このため、特徴
類似条件と時間的連続条件というシーンの条件を満た
し、類似した画像の集合でかつ時間的に連続な画像ブロ
ックの抽出が可能である。また、分類された映像ブロッ
クをさまざまな形でユーザに表示・提供し、ユーザから
の入力を受け取るインタフェースを充実することによっ
て、ユーザによる映像内容の把握を助けることが可能に
なる。
装置では、類似する特徴量、典型的には類似する色情報
をもった隣接する画像ブロックを、類似度の高いものか
ら併合するという処理を反復している。このため、特徴
類似条件と時間的連続条件というシーンの条件を満た
し、類似した画像の集合でかつ時間的に連続な画像ブロ
ックの抽出が可能である。また、分類された映像ブロッ
クをさまざまな形でユーザに表示・提供し、ユーザから
の入力を受け取るインタフェースを充実することによっ
て、ユーザによる映像内容の把握を助けることが可能に
なる。
【００２５】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明することにより、本発明をさらに詳しく説
明する。
の形態を説明することにより、本発明をさらに詳しく説
明する。
【００２６】この実施の形態では、ショット単位などで
多数のブロックに分割された映像について、各ブロック
ごとにそのブロックの映像の特徴を表わすヒストグラム
を求め、ヒストグラムに基づき時間的に隣接する２ブロ
ック間の類似度を算出し、類似度が最大となった隣接す
る２ブロックを１つのブロックに併合する。この処理を
繰り返すことによって、ブロック数が漸減する。十分に
分類が行われたかの判定を行い、その結果、十分に分類
が行われたときにもとの映像がシーンに分類される。
多数のブロックに分割された映像について、各ブロック
ごとにそのブロックの映像の特徴を表わすヒストグラム
を求め、ヒストグラムに基づき時間的に隣接する２ブロ
ック間の類似度を算出し、類似度が最大となった隣接す
る２ブロックを１つのブロックに併合する。この処理を
繰り返すことによって、ブロック数が漸減する。十分に
分類が行われたかの判定を行い、その結果、十分に分類
が行われたときにもとの映像がシーンに分類される。
【００２７】ヒストグラムは、例えば、画像データか
ら、色、色相、彩度、明度などの特徴量を抽出してこの
特徴量を成分順に配置したものである。画像データにお
ける色や明度などの空間分布を直交変換して得た周波数
分布をそのままヒストグラムとしてもよい。そしてブロ
ックの映像を表わすヒストグラムは、そのブロックに属
する各フレームのヒストグラムを得た上で、全フレーム
のヒストグラムについてのヒストグラム論理積を計算す
ることによって得られる。ヒストグラム論理積の演算
は、後述する説明から明らかになるように、ヒストグラ
ムにおける各成分ごとに、論理積の対象となるヒストグ
ラムにおけるその成分の値の最小値を求め、各成分ごと
の最小値を並べてヒストグラムを生成することによって
実行される。したがって、ブロックの併合に際しては、
併合対象のブロックのヒストグラムを対象としてヒスト
グラム論理積の演算を行ってヒストグラムを求めること
により、併合後のブロックのヒストグラムを得ることが
できる。また、隣接ブロック間の類似度としては、隣接
ブロックのヒストグラムのヒストグラム論理積の演算を
行って得たヒストグラムの面積、すなわち後述するヒス
トグラム累積論理積を使用する。
ら、色、色相、彩度、明度などの特徴量を抽出してこの
特徴量を成分順に配置したものである。画像データにお
ける色や明度などの空間分布を直交変換して得た周波数
分布をそのままヒストグラムとしてもよい。そしてブロ
ックの映像を表わすヒストグラムは、そのブロックに属
する各フレームのヒストグラムを得た上で、全フレーム
のヒストグラムについてのヒストグラム論理積を計算す
ることによって得られる。ヒストグラム論理積の演算
は、後述する説明から明らかになるように、ヒストグラ
ムにおける各成分ごとに、論理積の対象となるヒストグ
ラムにおけるその成分の値の最小値を求め、各成分ごと
の最小値を並べてヒストグラムを生成することによって
実行される。したがって、ブロックの併合に際しては、
併合対象のブロックのヒストグラムを対象としてヒスト
グラム論理積の演算を行ってヒストグラムを求めること
により、併合後のブロックのヒストグラムを得ることが
できる。また、隣接ブロック間の類似度としては、隣接
ブロックのヒストグラムのヒストグラム論理積の演算を
行って得たヒストグラムの面積、すなわち後述するヒス
トグラム累積論理積を使用する。
【００２８】図１は、本発明の実施の一形態の映像ブロ
ック分類装置の構成を示すブロック図である。この映像
ブロック分類装置は、入力画像データ列１０をシーンに
分類し、シーンに分類された映像１６として映像シーン
表示部１７に表示するものであり、ユーザインタフェー
ス部１８を介して入力するユーザからの要求によって、
分類の度合（最終的に分類されるシーンの数など）を調
節できるようになっている。
ック分類装置の構成を示すブロック図である。この映像
ブロック分類装置は、入力画像データ列１０をシーンに
分類し、シーンに分類された映像１６として映像シーン
表示部１７に表示するものであり、ユーザインタフェー
ス部１８を介して入力するユーザからの要求によって、
分類の度合（最終的に分類されるシーンの数など）を調
節できるようになっている。
【００２９】入力画像データ列１０における画像のサン
プルレート、画像のデータフォーマット、画像サイズは
任意である。例えば、入力画像データ列１０は、ＮＴＳ
Ｃ標準映像信号を３０フレーム／秒でサンプリングした
ものであってもよいし、それよりも粗いサンプリングレ
ートでサンプリングしたものであってもよい。また、入
力画像データ列１０は、ＮＴＳＣのようなアナログ信号
であってもデジタル信号であってもよく、ビデオカメラ
などから直接入力されるデータであってもハードディス
クやＣＤ−ＲＯＭ等の蓄積装置に保存されている画像フ
ァイルであってもよい。図１に示した例では、入力画像
データ列１０はｔ＋１枚のフレームＩ0,Ｉ1,…,Ｉtで構
成されるＮＴＳＣ映像信号である。
プルレート、画像のデータフォーマット、画像サイズは
任意である。例えば、入力画像データ列１０は、ＮＴＳ
Ｃ標準映像信号を３０フレーム／秒でサンプリングした
ものであってもよいし、それよりも粗いサンプリングレ
ートでサンプリングしたものであってもよい。また、入
力画像データ列１０は、ＮＴＳＣのようなアナログ信号
であってもデジタル信号であってもよく、ビデオカメラ
などから直接入力されるデータであってもハードディス
クやＣＤ−ＲＯＭ等の蓄積装置に保存されている画像フ
ァイルであってもよい。図１に示した例では、入力画像
データ列１０はｔ＋１枚のフレームＩ0,Ｉ1,…,Ｉtで構
成されるＮＴＳＣ映像信号である。
【００３０】入力画像データ列１０をフレーム単位で格
納する画像データ列メモリ１１が設けられている。画像
データ列メモリ１１は、単純に入力画像データ列を格納
しておくだけでなく、ある程度まで加工されたデータを
保存していても構わないし、ショットや撮影者の名前、
撮影時の場所等の付加情報や、本実施の形態での以下に
述べる処理の結果得られる情報などを、同時に格納して
もよい。ここでは、画像データ列メモリ１１には入力画
像データ列の原信号を保存するものとする。
納する画像データ列メモリ１１が設けられている。画像
データ列メモリ１１は、単純に入力画像データ列を格納
しておくだけでなく、ある程度まで加工されたデータを
保存していても構わないし、ショットや撮影者の名前、
撮影時の場所等の付加情報や、本実施の形態での以下に
述べる処理の結果得られる情報などを、同時に格納して
もよい。ここでは、画像データ列メモリ１１には入力画
像データ列の原信号を保存するものとする。
【００３１】画像データ列メモリ１１から読み出された
入力画像データ列が入力するショット単位分類部１２及
び画像情報変換部１３が設けられている。ショット単位
分類部１２は、ショット単位分類処理を実行して、各フ
レームＩ0,Ｉ1,…,Ｉtのデータに基づき入力画像データ
をｎ＋１個（ただしｎ＜ｔ）のショットＳ0,Ｉ1,…,Ｓn
に分類するものである。ショット単位分類処理は、映像
信号に予め付加されるショット情報を利用しても構わな
いし、既存のカット点検出技術を利用してショットに分
類しても構わない。また、人間が予めショットに分類し
ておいてもよい。本実施の形態では、既存のカット点検
出技術によってショット単位に分類する。なお、連続す
る１あるいは複数のフレームで構成するものを一般的に
ブロックというから、ショットもそしてシーンもそれぞ
れブロックの１種である。
入力画像データ列が入力するショット単位分類部１２及
び画像情報変換部１３が設けられている。ショット単位
分類部１２は、ショット単位分類処理を実行して、各フ
レームＩ0,Ｉ1,…,Ｉtのデータに基づき入力画像データ
をｎ＋１個（ただしｎ＜ｔ）のショットＳ0,Ｉ1,…,Ｓn
に分類するものである。ショット単位分類処理は、映像
信号に予め付加されるショット情報を利用しても構わな
いし、既存のカット点検出技術を利用してショットに分
類しても構わない。また、人間が予めショットに分類し
ておいてもよい。本実施の形態では、既存のカット点検
出技術によってショット単位に分類する。なお、連続す
る１あるいは複数のフレームで構成するものを一般的に
ブロックというから、ショットもそしてシーンもそれぞ
れブロックの１種である。
【００３２】画像情報変換部１３は、各フレームの画像
情報を、色、色相、彩度、明度等の情報に変換し、フレ
ーム特徴量Ｈ0,Ｈ1,…,Ｈtを生成するものである。フレ
ーム特徴量は、色、色相、彩度、明度等の情報に基づく
ヒストグラムとして表わされている。色、色相、彩度、
明度等の情報以外の他の情報に変換しても構わない。こ
こでは、画像フレームＩ0,Ｉ1,…,Ｉtの全てをそれぞれ
ＲＧＢ情報に変換し、ＲＧＢヒストグラムとしてフレー
ム特徴量Ｈ0,Ｈ1,…,Ｈtを出力している。
情報を、色、色相、彩度、明度等の情報に変換し、フレ
ーム特徴量Ｈ0,Ｈ1,…,Ｈtを生成するものである。フレ
ーム特徴量は、色、色相、彩度、明度等の情報に基づく
ヒストグラムとして表わされている。色、色相、彩度、
明度等の情報以外の他の情報に変換しても構わない。こ
こでは、画像フレームＩ0,Ｉ1,…,Ｉtの全てをそれぞれ
ＲＧＢ情報に変換し、ＲＧＢヒストグラムとしてフレー
ム特徴量Ｈ0,Ｈ1,…,Ｈtを出力している。
【００３３】そして、ショット特徴量算出部１４が設け
られ、ショット特徴量算出部１４は、ショット単位分類
部１２で分類されたショットＳ0,Ｓ1,…,Ｓnの情報と画
像情報変換部１３で得られたフレーム特徴量Ｈ0,Ｈ1,
…,Ｈtとに基づいて、ショットＳ0,Ｓ1,…,Ｓnごとにそ
のショット内の全フレームのヒストグラム論理積を演算
して各ショットごとの特徴量すなわちショット特徴量Ｓ
Ｈ0,ＳＨ1,…,ＳＨnを算出する。算出されたショット特
徴量ＳＨ0,ＳＨ1,…,ＳＨnは、類似度評価及び画像分類
処理部１５に入力する。類似度評価及び画像分類処理部
１５は、それぞれヒストグラムとして表わされるブロッ
クの特徴量（ブロックの特徴量には、ショット特徴量Ｓ
Ｈ0,ＳＨ1,…,ＳＨnや、ショットを併合したブロックの
特徴量が含まれる）を基に、ヒストグラム累積論理積か
ら、隣接するブロック（ここでのブロックにはショット
も含まれる）の類似度を計算して評価し、類似度が最大
の隣接する組み合わせを併合して新たなブロックを構成
するものである。類似度評価及び画像分類処理部１５
は、ブロックないしショットの併合によって新たなブロ
ックを生成する際、併合されたブロックないしショット
の各特徴量のヒストグラム論理積に基づき、併合後のブ
ロックの特徴量（ヒストグラム）を算出する。実際に
は、ユーザインタフェース１８部からの指示に応じて、
類似度評価及び画像分類処理部１５はこの評価、併合、
特徴量算出という処理を反復して実行し、シーンに分類
された映像１６を映像シーン表示部１７に出力する。な
お、ユーザは、映像シーン表示部１７に表示されるシー
ンに分類された映像１６に対し、時間方向により詳細に
シーンを表示したいなどの要求をユーザインタフェース
部１８から入力することによって、その要求を映像に反
映させることが可能である。
られ、ショット特徴量算出部１４は、ショット単位分類
部１２で分類されたショットＳ0,Ｓ1,…,Ｓnの情報と画
像情報変換部１３で得られたフレーム特徴量Ｈ0,Ｈ1,
…,Ｈtとに基づいて、ショットＳ0,Ｓ1,…,Ｓnごとにそ
のショット内の全フレームのヒストグラム論理積を演算
して各ショットごとの特徴量すなわちショット特徴量Ｓ
Ｈ0,ＳＨ1,…,ＳＨnを算出する。算出されたショット特
徴量ＳＨ0,ＳＨ1,…,ＳＨnは、類似度評価及び画像分類
処理部１５に入力する。類似度評価及び画像分類処理部
１５は、それぞれヒストグラムとして表わされるブロッ
クの特徴量（ブロックの特徴量には、ショット特徴量Ｓ
Ｈ0,ＳＨ1,…,ＳＨnや、ショットを併合したブロックの
特徴量が含まれる）を基に、ヒストグラム累積論理積か
ら、隣接するブロック（ここでのブロックにはショット
も含まれる）の類似度を計算して評価し、類似度が最大
の隣接する組み合わせを併合して新たなブロックを構成
するものである。類似度評価及び画像分類処理部１５
は、ブロックないしショットの併合によって新たなブロ
ックを生成する際、併合されたブロックないしショット
の各特徴量のヒストグラム論理積に基づき、併合後のブ
ロックの特徴量（ヒストグラム）を算出する。実際に
は、ユーザインタフェース１８部からの指示に応じて、
類似度評価及び画像分類処理部１５はこの評価、併合、
特徴量算出という処理を反復して実行し、シーンに分類
された映像１６を映像シーン表示部１７に出力する。な
お、ユーザは、映像シーン表示部１７に表示されるシー
ンに分類された映像１６に対し、時間方向により詳細に
シーンを表示したいなどの要求をユーザインタフェース
部１８から入力することによって、その要求を映像に反
映させることが可能である。
【００３４】ショット単位分類部１２、画像情報変換部
１３、ショット特徴量算出部１４及び類似度評価及び画
像分類処理部１５は、演算能力をもつＣＰＵを利用した
ソフトウェアによって処理を実現してもよいし、複数の
ＣＰＵとソフトウェアの組み合わせによって実現しても
良いし、一部を専用のハードウェアによって実現しても
良いし、全部を専用のハードウェアを用いて実現しても
よい。ここでは、演算能力をもつＣＰＵを利用したソフ
トウェアによって処理を実現している。
１３、ショット特徴量算出部１４及び類似度評価及び画
像分類処理部１５は、演算能力をもつＣＰＵを利用した
ソフトウェアによって処理を実現してもよいし、複数の
ＣＰＵとソフトウェアの組み合わせによって実現しても
良いし、一部を専用のハードウェアによって実現しても
良いし、全部を専用のハードウェアを用いて実現しても
よい。ここでは、演算能力をもつＣＰＵを利用したソフ
トウェアによって処理を実現している。
【００３５】次に、ショット特徴量の算出について、図
２を用いて説明する。画像処理変換部１３では、各フレ
ームのデータから色データ（ＲＧＢデータ）の入力が行
われ（ステップ１０１）、フレームごとにフレーム特徴
量のヒストグラムＨ0,Ｈ1,…,Ｈtが生成し（ステップ１
０２）、ショット特徴量算出部１４に入力する。一方、
それぞれのショットＳ0,Ｓ1,…,Ｓnにはどのフレームが
属するかの情報も、ショット単位分類部１２からショッ
ト特徴量算出部１４に入力している。そこでショット特
徴量算出部１４は、ショットＳ0,Ｓ1,…,Ｓnごとにその
ショットに含まれるフレーム特徴量（ヒストグラム）の
ヒストグラム論理積を算出し（ステップ１０３）、ヒス
トグラム論理積の演算で得られたヒストグラムをショッ
トごとにそのショット特徴量ＳＨ0,ＳＨ1,…,ＳＨnとし
て出力する（ステップ１０４）。
２を用いて説明する。画像処理変換部１３では、各フレ
ームのデータから色データ（ＲＧＢデータ）の入力が行
われ（ステップ１０１）、フレームごとにフレーム特徴
量のヒストグラムＨ0,Ｈ1,…,Ｈtが生成し（ステップ１
０２）、ショット特徴量算出部１４に入力する。一方、
それぞれのショットＳ0,Ｓ1,…,Ｓnにはどのフレームが
属するかの情報も、ショット単位分類部１２からショッ
ト特徴量算出部１４に入力している。そこでショット特
徴量算出部１４は、ショットＳ0,Ｓ1,…,Ｓnごとにその
ショットに含まれるフレーム特徴量（ヒストグラム）の
ヒストグラム論理積を算出し（ステップ１０３）、ヒス
トグラム論理積の演算で得られたヒストグラムをショッ
トごとにそのショット特徴量ＳＨ0,ＳＨ1,…,ＳＨnとし
て出力する（ステップ１０４）。
【００３６】ここで、ヒストグラム論理積の演算の詳細
について具体的に説明する。上述したようにヒストグラ
ム論理積の演算は、ショット特徴量の算出のみならず、
類似度の算出や併合されたブロックの特徴量の算出など
に使用されるものである。
について具体的に説明する。上述したようにヒストグラ
ム論理積の演算は、ショット特徴量の算出のみならず、
類似度の算出や併合されたブロックの特徴量の算出など
に使用されるものである。
【００３７】まず、Ｈ_１，Ｈ_２，Ｈ_３，…を各ヒス
トグラムとし、Ｈ_１(ｊ)，Ｈ_２(ｊ)，Ｈ_３(ｊ),…を
成分ｊにおける各ヒストグラムＨ_１，Ｈ_２，Ｈ_３，
…の値とする。また、ヒストグラム論理積の計算の結果
得られるヒストグラムをＨ_ｎｅｗとし、この新たなヒ
ストグラムＨ_ｎｅｗでの成分ｊに対する値をＨ_ｎｅｗ
(ｊ)とする。
トグラムとし、Ｈ_１(ｊ)，Ｈ_２(ｊ)，Ｈ_３(ｊ),…を
成分ｊにおける各ヒストグラムＨ_１，Ｈ_２，Ｈ_３，
…の値とする。また、ヒストグラム論理積の計算の結果
得られるヒストグラムをＨ_ｎｅｗとし、この新たなヒ
ストグラムＨ_ｎｅｗでの成分ｊに対する値をＨ_ｎｅｗ
(ｊ)とする。
【００３８】各ヒストグラムの成分ｊが０からｍまで存
在し、かつ、ヒストグラム論理積を算出するためのヒス
トグラムが１からｋまで存在するとき、ヒストグラム論
理積の演算は、
在し、かつ、ヒストグラム論理積を算出するためのヒス
トグラムが１からｋまで存在するとき、ヒストグラム論
理積の演算は、
【００３９】
【数１】Ｈ_ｎｅｗ(ｊ)＝ｍｉｎ｛Ｈ_１(ｊ)，Ｈ_２
(ｊ)，…，Ｈ_ｋ(ｊ)｝ （ただし０≦ｊ≦ｍ）で表わされる。
(ｊ)，…，Ｈ_ｋ(ｊ)｝ （ただし０≦ｊ≦ｍ）で表わされる。
【００４０】図３は、図示(a),(b)に示されるように隣
接する２つのブロック（ブロックＡ,Ｂ）に対応するヒ
ストグラムが与えられたときに、どのようにこれら２つ
のブロックＡ,Ｂ間のヒストグラム論理積が計算される
のかを図解したものである。図示(c)はブロックＡ,Ｂ間
のヒストグラム論理積を示している。すなわち、特徴成
分ごとに、各ブロックでの値のうち低い方の値がヒスト
グラム論理積演算の結果のヒストグラムに採用されてい
る。例えば、成分Ｋについては、図示実線矢印で示すよ
うに、ブロックＢの方が値が小さいので、ヒストグラム
論理積における成分Ｋの値はブロックＢの値と等しくな
る。同様に、成分Ｌについては、ブロックＡの方の値が
採用されている。
接する２つのブロック（ブロックＡ,Ｂ）に対応するヒ
ストグラムが与えられたときに、どのようにこれら２つ
のブロックＡ,Ｂ間のヒストグラム論理積が計算される
のかを図解したものである。図示(c)はブロックＡ,Ｂ間
のヒストグラム論理積を示している。すなわち、特徴成
分ごとに、各ブロックでの値のうち低い方の値がヒスト
グラム論理積演算の結果のヒストグラムに採用されてい
る。例えば、成分Ｋについては、図示実線矢印で示すよ
うに、ブロックＢの方が値が小さいので、ヒストグラム
論理積における成分Ｋの値はブロックＢの値と等しくな
る。同様に、成分Ｌについては、ブロックＡの方の値が
採用されている。
【００４１】次に、類似度評価及び画像分類処理部１５
での処理について、図４を用いて説明する。類似度評価
及び画像分類処理部１５の処理は、簡単に言えば、ショ
ットを含むブロックを併合する処理であり、その併合の
過程において隣接する画像ブロックの特徴量同士を比較
して類似度を算出し、その類似度に基づいて映像を小さ
なブロックから大きなブロックヘと併合し、最終的には
映像を例えばシーンに対応するブロックに分類する処理
である。
での処理について、図４を用いて説明する。類似度評価
及び画像分類処理部１５の処理は、簡単に言えば、ショ
ットを含むブロックを併合する処理であり、その併合の
過程において隣接する画像ブロックの特徴量同士を比較
して類似度を算出し、その類似度に基づいて映像を小さ
なブロックから大きなブロックヘと併合し、最終的には
映像を例えばシーンに対応するブロックに分類する処理
である。
【００４２】類似度評価及び画像分類処理部１５での併
合処理の初期段階では、各ブロックはそれぞれ１つのシ
ョットで構成されているはずである。そこでまず、ショ
ット特徴量算出部１４から各ショットＳ0,Ｓ1,…,Ｓnの
ショット特徴量ＳＨ0,ＳＨ1,…,ＳＨnを入力してこれら
をここでの処理対象のブロックとする（ステップ１１
１）。次に、ヒストグラム累積論理積に基づいて、隣接
する２つのブロック間の類似度を算出する（ステップ１
１２）。隣接する２つのブロック（ショットも含む）の
特徴量を示すヒストグラムをそれぞれＨ_１，Ｈ_２と
し、ヒストグラムＨ_１，Ｈ_２での成分ｊの値をそれぞ
れＨ_１(ｊ),Ｈ_２(ｊ)とする。また、ヒストグラム累
積論理積（すなわち類似度）をＶとする。ヒストグラム
の成分ｊが０からｍまでであるとすると、ヒストグラム
累積論理積Ｖは、
合処理の初期段階では、各ブロックはそれぞれ１つのシ
ョットで構成されているはずである。そこでまず、ショ
ット特徴量算出部１４から各ショットＳ0,Ｓ1,…,Ｓnの
ショット特徴量ＳＨ0,ＳＨ1,…,ＳＨnを入力してこれら
をここでの処理対象のブロックとする（ステップ１１
１）。次に、ヒストグラム累積論理積に基づいて、隣接
する２つのブロック間の類似度を算出する（ステップ１
１２）。隣接する２つのブロック（ショットも含む）の
特徴量を示すヒストグラムをそれぞれＨ_１，Ｈ_２と
し、ヒストグラムＨ_１，Ｈ_２での成分ｊの値をそれぞ
れＨ_１(ｊ),Ｈ_２(ｊ)とする。また、ヒストグラム累
積論理積（すなわち類似度）をＶとする。ヒストグラム
の成分ｊが０からｍまでであるとすると、ヒストグラム
累積論理積Ｖは、
【００４３】
【数２】 （ただし０≦ｊ≦ｍ）で表わされる。
【００４４】図５は、図示(a),(b)に示されるように隣
接する２つのブロック（ブロックＡ,Ｂ）に対応するヒ
ストグラムが与えられたときに、どのようにこれら２つ
のブロックＡ,Ｂ間のヒストグラム累積論理積が計算さ
れるのかを図解したものである。ヒストグラム論理積の
演算と同様に、成分ごとにヒストグラムでの値を比較
し、低い方の値をその成分における値とし、さらにその
累積を求めている。すなわち、ヒストグラム累積論理積
Ｖは、両者間のヒストグラム論理積を示す図示(c)にお
ける斜線部の面積である。各成分の累積和によって面積
を得ているため、ここではヒストグラム累積論理積と呼
んでいるのである。
接する２つのブロック（ブロックＡ,Ｂ）に対応するヒ
ストグラムが与えられたときに、どのようにこれら２つ
のブロックＡ,Ｂ間のヒストグラム累積論理積が計算さ
れるのかを図解したものである。ヒストグラム論理積の
演算と同様に、成分ごとにヒストグラムでの値を比較
し、低い方の値をその成分における値とし、さらにその
累積を求めている。すなわち、ヒストグラム累積論理積
Ｖは、両者間のヒストグラム論理積を示す図示(c)にお
ける斜線部の面積である。各成分の累積和によって面積
を得ているため、ここではヒストグラム累積論理積と呼
んでいるのである。
【００４５】隣接する２ブロック間のヒストグラム論理
積の面積の大きい場合、すなわちヒストグラム累積論理
積が大きい場合には、隣接する２つのブロック間で同じ
成分に対する値がそれぞれ大きいことが反映されてお
り、特徴量における各成分レベルで画像が類似している
ということができる。したがって、ヒストグラム累積論
理積によって、隣接する画像ブロックの類似度の評価を
行うことができるのである。
積の面積の大きい場合、すなわちヒストグラム累積論理
積が大きい場合には、隣接する２つのブロック間で同じ
成分に対する値がそれぞれ大きいことが反映されてお
り、特徴量における各成分レベルで画像が類似している
ということができる。したがって、ヒストグラム累積論
理積によって、隣接する画像ブロックの類似度の評価を
行うことができるのである。
【００４６】上述したようにヒストグラム累積論理積に
基づく類似度は、値が大きいほど隣接する２つのブロッ
ク間での隣接の度合が高いことを示している。そこで、
隣接するブロック間で求めた類似度の中で最大の類似度
を探索し、この最大の類似度を示した隣接する２ブロッ
クを１つのブロックに併合する（ステップ１１３）。そ
して、併合によって新たに生成した画像ブロックの特徴
量を算出する（ステップ１１４）。ここでは併合前の２
ブロックのヒストグラム論理積を併合後のブロックの特
徴量とする。その後、映像の分類が十分に進行したかど
うかを判定し（ステップ１１５）、十分に分類された場
合にはシーンに分類された映像を１６を映像シーン表示
部１７に出力して処理を終了し、十分でない場合には、
ステップ１１２に戻り、併合されたブロックを対象とし
て隣接ブロック間の類似度の算出を実行する。なお、併
合されていないブロック間の類似度は変化しないから、
２回目以降にステップ１１２を実行する場合には、直前
に併合されて生成したブロックとこのブロックに隣接す
るブロックとの類似度のみを算出すればよい。
基づく類似度は、値が大きいほど隣接する２つのブロッ
ク間での隣接の度合が高いことを示している。そこで、
隣接するブロック間で求めた類似度の中で最大の類似度
を探索し、この最大の類似度を示した隣接する２ブロッ
クを１つのブロックに併合する（ステップ１１３）。そ
して、併合によって新たに生成した画像ブロックの特徴
量を算出する（ステップ１１４）。ここでは併合前の２
ブロックのヒストグラム論理積を併合後のブロックの特
徴量とする。その後、映像の分類が十分に進行したかど
うかを判定し（ステップ１１５）、十分に分類された場
合にはシーンに分類された映像を１６を映像シーン表示
部１７に出力して処理を終了し、十分でない場合には、
ステップ１１２に戻り、併合されたブロックを対象とし
て隣接ブロック間の類似度の算出を実行する。なお、併
合されていないブロック間の類似度は変化しないから、
２回目以降にステップ１１２を実行する場合には、直前
に併合されて生成したブロックとこのブロックに隣接す
るブロックとの類似度のみを算出すればよい。
【００４７】分類が十分に行うかどうかの判定は、ブロ
ック間での類似度を参考にして行うことができる。この
実施の形態では、ブロックの特徴量であるヒストグラム
の算出を、そのブロックを構成するより小さなブロック
の特徴量であるヒストグラム同士の論理積によって算出
している。そのため、併合が繰り返された後に得られる
ブロックは、多数のフレームないしショットによって構
成されるが、一方でその特徴量であるヒストグラムの値
は小さいものとなる。したがって、巨大なブロック同士
の類似度を示すヒストグラム同士の論理積の値は、双方
のヒストグラムの値がきわめて小さなものであるため、
非常に小さい値でしかない。このことを用いて、ヒスト
グラム累積論理積の値が０のときを全く類似していない
状態、すなわち映像が十分に分類された状態とし、ヒス
トグラム累積論理積の値が０でないものが存在する場合
は、分類が十分に行われていない状態であって分類処理
を継続すべき場合であるとすることができる。また、こ
の実施の形態は、単純な反復作業のみによって実現され
ているため、シーンの分類レベルをさまざまな形で調節
することが可能である。例えば、ユーザインタフェース
部１８を介してユーザから入力する要求にしたがって分
類レベルを変化させ、最終的に分類されるブロックの個
数を変化させることが可能であり、ユーザからの入力情
報を基に分類が十分に行われたかどうかを判断すること
もできる。
ック間での類似度を参考にして行うことができる。この
実施の形態では、ブロックの特徴量であるヒストグラム
の算出を、そのブロックを構成するより小さなブロック
の特徴量であるヒストグラム同士の論理積によって算出
している。そのため、併合が繰り返された後に得られる
ブロックは、多数のフレームないしショットによって構
成されるが、一方でその特徴量であるヒストグラムの値
は小さいものとなる。したがって、巨大なブロック同士
の類似度を示すヒストグラム同士の論理積の値は、双方
のヒストグラムの値がきわめて小さなものであるため、
非常に小さい値でしかない。このことを用いて、ヒスト
グラム累積論理積の値が０のときを全く類似していない
状態、すなわち映像が十分に分類された状態とし、ヒス
トグラム累積論理積の値が０でないものが存在する場合
は、分類が十分に行われていない状態であって分類処理
を継続すべき場合であるとすることができる。また、こ
の実施の形態は、単純な反復作業のみによって実現され
ているため、シーンの分類レベルをさまざまな形で調節
することが可能である。例えば、ユーザインタフェース
部１８を介してユーザから入力する要求にしたがって分
類レベルを変化させ、最終的に分類されるブロックの個
数を変化させることが可能であり、ユーザからの入力情
報を基に分類が十分に行われたかどうかを判断すること
もできる。
【００４８】以下、図６を用いて、この実施の形態にお
いてショットが併合されてより大きなブロックに分類さ
れていく過程をより詳細に説明する。
いてショットが併合されてより大きなブロックに分類さ
れていく過程をより詳細に説明する。
【００４９】(a)は、ショット単位分類部１２によって
分類された５つのショットＡ〜Ｅを示している。これら
のショットＡ〜Ｅから、ユーザにとって好適な分類単位
であるシーン単位の分類を進める。ショット特徴量算出
部１４によって算出されたショットＡ〜Ｅごとのショッ
ト特徴量（ヒストグラム）が(b)に示されている。ショ
ットに含まれる各フレームのヒストグラム（特徴量）か
ら、ヒストグラム論理積を計算することによって、ショ
ット特徴量が得られている。
分類された５つのショットＡ〜Ｅを示している。これら
のショットＡ〜Ｅから、ユーザにとって好適な分類単位
であるシーン単位の分類を進める。ショット特徴量算出
部１４によって算出されたショットＡ〜Ｅごとのショッ
ト特徴量（ヒストグラム）が(b)に示されている。ショ
ットに含まれる各フレームのヒストグラム（特徴量）か
ら、ヒストグラム論理積を計算することによって、ショ
ット特徴量が得られている。
【００５０】(c)は、隣接するショット間のヒストグラ
ム論理積を示すことによって、隣接するショット間の類
似度を算出する過程を示している。図において記号
ム論理積を示すことによって、隣接するショット間の類
似度を算出する過程を示している。図において記号
【００５１】
【外１】 は、ヒストグラム論理積の演算を示している。実際の類
似度の評価では、ヒストグラム論理積の面積、すなわち
ヒストグラム累積論理積を用いている。類似度の評価の
結果、ショットＤとショットＥとの組み合わせが最大の
類似度を示したので、(d)に示すように、ショットＤと
ショットＥを併合してＤＥという併合ブロックを得る。
似度の評価では、ヒストグラム論理積の面積、すなわち
ヒストグラム累積論理積を用いている。類似度の評価の
結果、ショットＤとショットＥとの組み合わせが最大の
類似度を示したので、(d)に示すように、ショットＤと
ショットＥを併合してＤＥという併合ブロックを得る。
【００５２】この実施の形態では、十分に映像がシーン
に分類されるまで処理を行うので、併合ブロックＤＥを
含むショット群に対してさらに処理を実行する。この時
点での各ショット及び併合ブロックに対する特徴量が
(e)に示されている。そして、(f)に示すように、隣接す
るショットないしブロックの類似度をヒストグラム累積
論理積によって計算する。実際には
に分類されるまで処理を行うので、併合ブロックＤＥを
含むショット群に対してさらに処理を実行する。この時
点での各ショット及び併合ブロックに対する特徴量が
(e)に示されている。そして、(f)に示すように、隣接す
るショットないしブロックの類似度をヒストグラム累積
論理積によって計算する。実際には
【００５３】
【数３】 は前回の計算値をそのまま使用し、
【００５４】
【数４】 のみを新たに計算する。その結果、ショットＣとブロッ
クＤＥとの類似度が最大となったので、(g)に示すよう
に併合ブロックＣＤＥを生成する。以下同様の処理を繰
返し、例えば完全にシーンに分類されるまで、特徴量算
出、類似度算出、併合ブロック決定という処理を繰り返
し行っていけばよい。
クＤＥとの類似度が最大となったので、(g)に示すよう
に併合ブロックＣＤＥを生成する。以下同様の処理を繰
返し、例えば完全にシーンに分類されるまで、特徴量算
出、類似度算出、併合ブロック決定という処理を繰り返
し行っていけばよい。
【００５５】以上、本発明の実施の形態について説明し
たが、ここでは、類似度の評価において１回の評価で１
回の併合しか行われない。したがって、例えば、ユーザ
インタフェース部１８を介して、より詳細に映像ブロッ
クを見たい、ついては、「映像をｎ個数に分類したもの
が欲しい」といった要求があった場合には、この要求に
対して瞬時に対応することが可能である。すなわち、図
６の例においては、(a)の５つのショットＡ〜Ｅからな
る映像を４個に分類して見たいという要求があった場
合、シーンを求める際に４個のブロックの状態になって
いる図示(d)の状態、すなわちＡ，Ｂ，ＣＤＥのように
分類された映像ブロックを提示すれば良い。
たが、ここでは、類似度の評価において１回の評価で１
回の併合しか行われない。したがって、例えば、ユーザ
インタフェース部１８を介して、より詳細に映像ブロッ
クを見たい、ついては、「映像をｎ個数に分類したもの
が欲しい」といった要求があった場合には、この要求に
対して瞬時に対応することが可能である。すなわち、図
６の例においては、(a)の５つのショットＡ〜Ｅからな
る映像を４個に分類して見たいという要求があった場
合、シーンを求める際に４個のブロックの状態になって
いる図示(d)の状態、すなわちＡ，Ｂ，ＣＤＥのように
分類された映像ブロックを提示すれば良い。
【００５６】なお、上述の実施の形態では、ヒストグラ
ム累積論理積に基づいて類似度を算出し、最大の類似度
の隣接ブロックを併合していくという例を説明したが、
類似度の評価と併合ルールには他にさまざまな方法が考
えられる。また、初期状態のブロックがショットである
場合を説明したが、１ショットないし１テイク内の映像
を分類するような場合には、初期状態でのブロックをフ
レームとして、上述の処理を行うことも可能である。
ム累積論理積に基づいて類似度を算出し、最大の類似度
の隣接ブロックを併合していくという例を説明したが、
類似度の評価と併合ルールには他にさまざまな方法が考
えられる。また、初期状態のブロックがショットである
場合を説明したが、１ショットないし１テイク内の映像
を分類するような場合には、初期状態でのブロックをフ
レームとして、上述の処理を行うことも可能である。
【００５７】また本発明の応用として、データベースの
ブラウジングインタフェースや、映像コンテキストの制
作など様々な映像処理と、ユーザインタフェースヘの応
用なども挙げられる。
ブラウジングインタフェースや、映像コンテキストの制
作など様々な映像処理と、ユーザインタフェースヘの応
用なども挙げられる。
【００５８】
【発明の効果】以上説明ように本発明は、ショットやブ
ロック単位に分類された映像を、隣接するショットある
いは画像ブロック間で類似度を算出し、評価し、併合を
行うという処理を繰り返し行うことにより、類似してい
てかつ時間的に連続な画像ブロックを集中して集めるこ
とが可能となり、特徴類似条件と時間的連続条件を満た
す映像分類が実現できるという効果がある。したがっ
て、複数の細分化されたショット単位に分類された映像
をシーン単位に分類することが可能になる。
ロック単位に分類された映像を、隣接するショットある
いは画像ブロック間で類似度を算出し、評価し、併合を
行うという処理を繰り返し行うことにより、類似してい
てかつ時間的に連続な画像ブロックを集中して集めるこ
とが可能となり、特徴類似条件と時間的連続条件を満た
す映像分類が実現できるという効果がある。したがっ
て、複数の細分化されたショット単位に分類された映像
をシーン単位に分類することが可能になる。
【００５９】さらに、本発明は単純な反復処理によって
映像の分類を実現しているため、分類のレベルを多様に
調節することが可能であり、シームレスにシーンに分類
された映像を提供できる。
映像の分類を実現しているため、分類のレベルを多様に
調節することが可能であり、シームレスにシーンに分類
された映像を提供できる。
【図１】本発明の実施の一形態の映像ブロック分類装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】ショット特徴量の算出の処理を説明するフロー
チャートである。
チャートである。
【図３】ヒストグラム論理積の算出方法を示す模式図で
ある。
ある。
【図４】類似度評価及び画像分類処理部での処理を説明
するフローチャートである。
するフローチャートである。
【図５】ヒストグラム累積論理積の算出方法を示す模式
図である。
図である。
【図６】ショットがブロックとしてまとめられていく過
程を示す模式図である。
程を示す模式図である。
１０ 入力画像データ列 １１ 画像データ列メモリ １２ ショット単位分類部 １３ 画像情報変換部 １４ ショット特徴量算出部 １５ 類似度評価及び画像分類処理部 １６ シーンに分類された映像 １７ 映像シーン表示部 １８ ユーザインタフェース部 １０１〜１０４,１１１〜１１６ ステップ Ａ〜Ｅ ショット Ｈ0,Ｈ1,…,Ｈt フレーム特徴量 Ｉ0,Ｉ1,…,Ｉt フレーム Ｓ0,Ｓ1,…,Ｓn ショット ＳＨ0,ＳＨ1,…,ＳＨn ショット特徴量
───────────────────────────────────────────────────── フロントページの続き (72)発明者 谷口 行信 東京都千代田区内幸町一丁目１番６号 日本電信電話株式会社内 (56)参考文献 特開 平７−111630（ＪＰ，Ａ) 特開 平５−282379（ＪＰ，Ａ) 特開 平６−36026（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 H04N 5/91 - 5/956 H04N 7/18
Claims (5)
- 【請求項１】 画像データ列で構成された映像を時間軸
に関して複数の映像ブロックに分類する映像ブロック分
類方法であって、 予め多数のブロックに分類された映像を入力する映像入
力工程と、 各ブロックの画像データ列から当該ブロックの特徴量を
算出する特徴量算出工程と、 特徴量に基づいて隣接するブロック間の類似度を算出す
る類似度算出工程と、 算出された類似度の中で最大の類似度を示した隣接する
ブロックを１つのブロックに併合するブロック併合工程
と、を有し、各ブロックの特徴量が、当該ブロックに含まれるフレー
ムから色、色相、彩度、明度のいずれかあるいはこれら
の組み合わせからなる情報を抽出して得たヒストグラム
であり、当該ブロックに含まれるフレーム数が２以上の
場合には、当該ブロックに含まれるフレームの全ヒスト
グラムについてのヒストグラム論理積演算を行って得た
ヒストグラムとして表わされ、 特徴量算出工程、類似度算出工程及びブロック併合工程
を反復して実行することにより、分類された複数の映像
ブロックを得る映像ブロック分類方法。 - 【請求項２】 映像入力工程が、フレーム単位で入力し
た映像をブロックの１種であるショットに分類する工程
を含む、請求項１に記載の映像ブロック分類方法。 - 【請求項３】 類似度が、隣接するブロックのヒストグ
ラムに対するヒストグラム累積論理積に基づいて定めら
れる、請求項１または２に記載の映像ブロック分類方
法。 - 【請求項４】 ブロック併合工程における隣接するブロ
ックの併合に際し、当該隣接するブロックのヒストグラ
ムに対してヒストグラム論理積演算を行い、演算の結果
得られたヒストグラムを併合後のブロックの特徴量とす
る請求項１乃至３のいずれか１項に記載の映像ブロック
分類方法。 - 【請求項５】 画像データ列で構成された映像を複数の
映像ブロックに分類する映像ブロック分類装置であっ
て、 入力された画像データ列を保存する画像データ列メモリ
と、 画像データ列メモリからフレームのデータを読み出し、
フレームごとのフレーム特徴量を算出する画像情報変換
部と、 画像データ列メモリからフレームを読出し、ショット単
位に分類するショット単位分類部と、 フレーム特徴量に基づいて各ショットの特徴量を算出す
るショット特徴量算出部と、 １または複数のショットで構成されるブロックに対し、
ブロックに対する特徴量を利用して隣接するブロック間
の類似度を算出し、算出された類似度の中で最大の類似
度を示した隣接するブロックを１つのブロックに併合す
ることによって複数のショットで構成されるブロックを
生成し、類似度の算出とブロックの併合とを繰返し実行
する類似度評価及び画像分類処理部と、を有し、 フレーム特徴量及びブロックの特徴量がそれぞれヒスト
グラムで表わされ、ショットごとにフレーム特徴量のヒ
ストグラム論理積を算出することで各ショットの特徴量
が算出され、隣接するブロックのヒストグラムのヒスト
グラム累積論理積に基づいて類似度が算出され、類似度
評価及び画像分類処理部が、隣接するブロックの併合に
際して当該隣接するブロックのヒストグラムに対してヒ
ストグラム論理積演算を行い演算の結果得られたヒスト
グラムを併合後のブロックの特徴量とする、 映像ブロッ
ク分類装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19741695A JP3358692B2 (ja) | 1995-08-02 | 1995-08-02 | 映像ブロック分類方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19741695A JP3358692B2 (ja) | 1995-08-02 | 1995-08-02 | 映像ブロック分類方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0944639A JPH0944639A (ja) | 1997-02-14 |
| JP3358692B2 true JP3358692B2 (ja) | 2002-12-24 |
Family
ID=16374161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19741695A Expired - Fee Related JP3358692B2 (ja) | 1995-08-02 | 1995-08-02 | 映像ブロック分類方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3358692B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633611B2 (en) | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US7680340B2 (en) * | 2003-11-13 | 2010-03-16 | Eastman Kodak Company | Method of using temporal context for image classification |
| JP5060224B2 (ja) * | 2007-09-12 | 2012-10-31 | 株式会社東芝 | 信号処理装置及びその方法 |
| US9177209B2 (en) * | 2007-12-17 | 2015-11-03 | Sinoeast Concept Limited | Temporal segment based extraction and robust matching of video fingerprints |
| JP5254900B2 (ja) * | 2009-07-30 | 2013-08-07 | 日本電信電話株式会社 | 映像再構成方法、映像再構成装置および映像再構成プログラム |
| JP5997966B2 (ja) * | 2012-08-03 | 2016-09-28 | 日本放送協会 | 画像処理装置、及びプログラム |
| JP6254771B2 (ja) * | 2013-05-16 | 2017-12-27 | 日本放送協会 | 画像処理装置及び画像処理プログラム |
| CN112464814A (zh) * | 2020-11-27 | 2021-03-09 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05282379A (ja) * | 1992-02-06 | 1993-10-29 | Internatl Business Mach Corp <Ibm> | 動画像の管理方法及び管理装置 |
| JPH0636026A (ja) * | 1992-07-13 | 1994-02-10 | Toshiba Corp | 動画像処理装置 |
| JPH07111630A (ja) * | 1993-10-14 | 1995-04-25 | Matsushita Electric Ind Co Ltd | 動画像編集装置及びカット統合方法 |
-
1995
- 1995-08-02 JP JP19741695A patent/JP3358692B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0944639A (ja) | 1997-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6259817B1 (en) | Method of compressing a plurality of video images for efficiently storing, displaying and searching the plurality of video images | |
| Yeung et al. | Video browsing using clustering and scene transitions on compressed sequences | |
| US8316301B2 (en) | Apparatus, medium, and method segmenting video sequences based on topic | |
| Arman et al. | Image processing on compressed data for large video databases | |
| JP3568117B2 (ja) | ビデオ画像の分割、分類、および要約のための方法およびシステム | |
| Rui et al. | Constructing table-of-content for videos | |
| US5821945A (en) | Method and apparatus for video browsing based on content and structure | |
| US5708767A (en) | Method and apparatus for video browsing based on content and structure | |
| US7421455B2 (en) | Video search and services | |
| US7131059B2 (en) | Scalably presenting a collection of media objects | |
| JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
| EP1081960B1 (en) | Signal processing method and video/voice processing device | |
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| US20120027295A1 (en) | Key frames extraction for video content analysis | |
| WO1997010564A9 (en) | A method of compressing a plurality of video images | |
| EP2426917A1 (en) | Display control device, display control method, and program | |
| JP2000311180A (ja) | 特徴セット選択方法、ビデオ画像クラス統計モデルの生成方法、ビデオフレームの分類及びセグメント化方法、ビデオフレームの類似性決定方法、およびコンピュータ可読媒体、並びにコンピュータシステム | |
| Kasturi et al. | An evaluation of color histogram based methods in video indexing | |
| JP2002125178A (ja) | メディア・セグメント化システムおよび関連する方法 | |
| JP2000322450A (ja) | ビデオの類似性探索方法、ビデオブラウザ内にビデオを提示する方法、ウェブベースのインタフェース内にビデオを提示する方法、及びコンピュータ読取り可能記録媒体、並びにコンピュータシステム | |
| JP5537285B2 (ja) | 要約映像生成装置及び要約映像生成プログラム | |
| JP3358692B2 (ja) | 映像ブロック分類方法及び装置 | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
| EP1402463A1 (en) | Automatic natural content detection in video information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071011 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081011 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091011 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101011 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101011 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111011 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111011 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121011 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121011 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131011 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |