JPH09294277A - 予測符号化画像データ管理方法及び装置 - Google Patents
予測符号化画像データ管理方法及び装置Info
- Publication number
- JPH09294277A JPH09294277A JP10650796A JP10650796A JPH09294277A JP H09294277 A JPH09294277 A JP H09294277A JP 10650796 A JP10650796 A JP 10650796A JP 10650796 A JP10650796 A JP 10650796A JP H09294277 A JPH09294277 A JP H09294277A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- feature vector
- unit
- calculated
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 一般性を有しコンテントを反映した特徴量に
よる深い階層構造に自動的しかも高速に映像を構造化
し、多彩なアクセススタイルを持つユーザインタフェー
ス構築を可能とする予測符号化画像管理方法及び装置を
提供する。 【解決手段】 画像データ列メモリ部１０１に保存され
た予測符号化画像データを読み出し、階層分離部１０２
でそのデータ構造が持つ階層に応じて階層に分離する。
次に、分離された階層から画像データの持つ物理的特
徴、すなわち一般性を有しコンテントを反映した特徴
を、画像特徴抽出部１０３にて抽出する。次に、これら
の物理的特徴から各々の画像を特徴付ける特徴ベクトル
を特徴ベクトル生成部１０４にて生成する。次に、その
特徴ベクトル間での距離を算出して特徴ベクトルを、分
割・統合部１０５にて分割・統合して映像を深い階層構
造で自動的に構造化し、特徴ベクトル管理部１０６にて
蓄積、管理する。
よる深い階層構造に自動的しかも高速に映像を構造化
し、多彩なアクセススタイルを持つユーザインタフェー
ス構築を可能とする予測符号化画像管理方法及び装置を
提供する。 【解決手段】 画像データ列メモリ部１０１に保存され
た予測符号化画像データを読み出し、階層分離部１０２
でそのデータ構造が持つ階層に応じて階層に分離する。
次に、分離された階層から画像データの持つ物理的特
徴、すなわち一般性を有しコンテントを反映した特徴
を、画像特徴抽出部１０３にて抽出する。次に、これら
の物理的特徴から各々の画像を特徴付ける特徴ベクトル
を特徴ベクトル生成部１０４にて生成する。次に、その
特徴ベクトル間での距離を算出して特徴ベクトルを、分
割・統合部１０５にて分割・統合して映像を深い階層構
造で自動的に構造化し、特徴ベクトル管理部１０６にて
蓄積、管理する。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオを蓄積、管
理する技術に関するものであり、特にビデオの管理方法
および装置に関する。
理する技術に関するものであり、特にビデオの管理方法
および装置に関する。
【０００２】
【従来の技術】コンピュータの高性能化、ハードディス
クの大容量化とこれらの低価格化に伴い、コンピュータ
の一般家庭への普及が進んでいる。画像符号化の分野で
もＨ２６１、ＭＰＥＧ１の標準化の勧告に始まりＭＰＥ
Ｇ２の標準化も勧告の段階である。高性能コンピュー
タ、大容量ハードディスクの普及、圧縮技術の確立によ
り映像のデジタル化が身近なものとなってきている。ま
た、コンピュータがネットワークに接続され、デジタル
映像の流通が可能となるインフラが整備されつつある。
このような時代背景のもと、映像の蓄積、流通、鑑賞の
スタイルも変革することへの要請が強くなってきた。従
来の映像に対してユーザは与えられるままに見るだけで
あったが、このような時代においてユーザは、自分なり
の見方、例えば、好きな場面だけを見る、要約してみ
る。この場面は子どもに見せたくない等、映像に対して
多彩なアクセス方法への要求が潜在的に存在する。当然
このようなアクセスに関する要求に答えるためには、映
像それ自身のデジタル表現、管理方法等背後に隠れた技
術が新しいユーザインタフェースに加えて必要である。
クの大容量化とこれらの低価格化に伴い、コンピュータ
の一般家庭への普及が進んでいる。画像符号化の分野で
もＨ２６１、ＭＰＥＧ１の標準化の勧告に始まりＭＰＥ
Ｇ２の標準化も勧告の段階である。高性能コンピュー
タ、大容量ハードディスクの普及、圧縮技術の確立によ
り映像のデジタル化が身近なものとなってきている。ま
た、コンピュータがネットワークに接続され、デジタル
映像の流通が可能となるインフラが整備されつつある。
このような時代背景のもと、映像の蓄積、流通、鑑賞の
スタイルも変革することへの要請が強くなってきた。従
来の映像に対してユーザは与えられるままに見るだけで
あったが、このような時代においてユーザは、自分なり
の見方、例えば、好きな場面だけを見る、要約してみ
る。この場面は子どもに見せたくない等、映像に対して
多彩なアクセス方法への要求が潜在的に存在する。当然
このようなアクセスに関する要求に答えるためには、映
像それ自身のデジタル表現、管理方法等背後に隠れた技
術が新しいユーザインタフェースに加えて必要である。
【０００３】この必要性から従来、幾つかの報告がなさ
れてきた。従来の報告は、映像の構造化を目指したもの
であり、構造化された映像をユーザにとって扱い易いよ
うに表現するユーザインタフェースの構築を目指したも
のである。
れてきた。従来の報告は、映像の構造化を目指したもの
であり、構造化された映像をユーザにとって扱い易いよ
うに表現するユーザインタフェースの構築を目指したも
のである。
【０００４】映像の構造化を目指した報告として、柴田
〔“映像の内容記述モデルとその映像構造化への応
用”、信学論、Ｖｏｌ．７８−Ｄ−ＩＩ、Ｎｏ．５，ｐ
ｐ．７５４−７６４（１９９５）〕は、放送用の映像を
対象にスクリプタが付けたアノテーションを人手で入力
し、映像に特徴量を付加することを提案し、便宜的に特
徴量空間をユークリット空間と考え、その中で距離を定
義して類似度を計算することでショットのクラスタリン
グを行っている。ショットをクラスタリングすることで
階層構造を定義し、映像の構造化を行っている。
〔“映像の内容記述モデルとその映像構造化への応
用”、信学論、Ｖｏｌ．７８−Ｄ−ＩＩ、Ｎｏ．５，ｐ
ｐ．７５４−７６４（１９９５）〕は、放送用の映像を
対象にスクリプタが付けたアノテーションを人手で入力
し、映像に特徴量を付加することを提案し、便宜的に特
徴量空間をユークリット空間と考え、その中で距離を定
義して類似度を計算することでショットのクラスタリン
グを行っている。ショットをクラスタリングすることで
階層構造を定義し、映像の構造化を行っている。
【０００５】また、上田他〔“ＩＭＰＡＣＴ：Ａｎ Ｉ
ｎｔｅｒａｃｔｉｖｅ Ｎａｔｕｒａｌ−Ｍｏｔｉｏｎ
−Ｐｉｃｔｕｒｅ Ｄｅｄｉｃａｔｅｄ Ｍｕｌｔｉｍ
ｅｄｉａ Ａｕｔｈｏｒｉｎｇ Ｓｙｓｔｅｍ”、Ｐｒ
ｏｃｅｅｄｉｎｇ ｏｆ ＣＨＩ’９１、ｐｐ．３４３
−３５０（１９９１）〕は、映像を計算機で自動処理し
得られる物理的特徴を抽出し、抽出された特徴を場合に
よっては内容知識と照合すると共に特徴あるいは知識を
映像ヘインデクシング、構造化を行っている。
ｎｔｅｒａｃｔｉｖｅ Ｎａｔｕｒａｌ−Ｍｏｔｉｏｎ
−Ｐｉｃｔｕｒｅ Ｄｅｄｉｃａｔｅｄ Ｍｕｌｔｉｍ
ｅｄｉａ Ａｕｔｈｏｒｉｎｇ Ｓｙｓｔｅｍ”、Ｐｒ
ｏｃｅｅｄｉｎｇ ｏｆ ＣＨＩ’９１、ｐｐ．３４３
−３５０（１９９１）〕は、映像を計算機で自動処理し
得られる物理的特徴を抽出し、抽出された特徴を場合に
よっては内容知識と照合すると共に特徴あるいは知識を
映像ヘインデクシング、構造化を行っている。
【０００６】映像への新しいユーザインタフェースとし
て、Ｍ．Ｍｉｌｌ他の〔“Ａ Ｍａｇｎｉｆｉｅｒ Ｔ
ｏｏｌ ｆｏｒ Ｖｉｄｅｏ Ｄａｔａ”、Ｐｒｏｃｅ
ｅｄｉｎｇ ｏｆ ＣＨＩ’９２、ｐｐ．９３−９８
（１９９２）〕は、映像のフレームを時間解像度レベル
に応じて空間に配置し、粗い時間解像度から細かい時間
解像度へと時間への新しいアクセススタイルを可能にし
た報告をしている。
て、Ｍ．Ｍｉｌｌ他の〔“Ａ Ｍａｇｎｉｆｉｅｒ Ｔ
ｏｏｌ ｆｏｒ Ｖｉｄｅｏ Ｄａｔａ”、Ｐｒｏｃｅ
ｅｄｉｎｇ ｏｆ ＣＨＩ’９２、ｐｐ．９３−９８
（１９９２）〕は、映像のフレームを時間解像度レベル
に応じて空間に配置し、粗い時間解像度から細かい時間
解像度へと時間への新しいアクセススタイルを可能にし
た報告をしている。
【０００７】また、今まで圧縮されていない映像を扱
い、上記報告等の高度な映像ハンドリングを目指した研
究がなされてきたが、近年、画像符号データから複号せ
ずに計算コストの軽減を目的としてカット点、カメラ操
作等の情報を抽出する技術が報告されている〔“カット
点検出装置”、特開平７−２８４０１７号〕。
い、上記報告等の高度な映像ハンドリングを目指した研
究がなされてきたが、近年、画像符号データから複号せ
ずに計算コストの軽減を目的としてカット点、カメラ操
作等の情報を抽出する技術が報告されている〔“カット
点検出装置”、特開平７−２８４０１７号〕。
【０００８】
【発明が解決しようとする課題】しかしながら、上記従
来の技術における報告等では、解決していない課題が存
在する。
来の技術における報告等では、解決していない課題が存
在する。
【０００９】柴田の報告では、放送局の映像を対象と
し、映像の使われ方等の制限を付け仮定し、人手を介し
て、映像に意味的な特徴量を付加することを行い構造化
している。今後ますます増大するであろう一般家庭等の
映像を与えた場合、柴田の仮定は成り立たず、人手を介
して特徴量を付けることもナンセンスである。まず、課
題として、自動化による一般性のある特徴量の付加と構
造化の実現が課題である。
し、映像の使われ方等の制限を付け仮定し、人手を介し
て、映像に意味的な特徴量を付加することを行い構造化
している。今後ますます増大するであろう一般家庭等の
映像を与えた場合、柴田の仮定は成り立たず、人手を介
して特徴量を付けることもナンセンスである。まず、課
題として、自動化による一般性のある特徴量の付加と構
造化の実現が課題である。
【００１０】上田他の報告では、映像の持つ特徴として
物理的な特徴量を自動抽出し構造化することを提案して
いるが、上田他の報告で目指す構造化は、放送、映画、
フィルムの業界で用いられてきた映像の構造を基とする
ものである。ここで、業界で用いられてきた映像の構造
に関してＧ．Ｄａｖｅｎｐｏｒｔ他〔“Ｃｉｎｅｍａｔ
ｃ Ｐｒｉｍｉｔｉｖｅｓ ｆｏｒ ｍｕｌｔｉｍｅｄ
ｉａ”、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ
ｓ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ、Ｖｏｌ．１１、Ｎ
ｏ．４、ｐｐ６７−７５（１９９１）〕が報告してい
る。映像の最小単位をショットとし、複数のショットか
らなる映像をシーンと考え、複数のシーンからストーリ
ーは構成されるという考えである。深く映像の意味に立
ち入らないでこの概念で構造化を行おうとすると階層が
たかだか数階層であり、多彩なアクセスを可能にする構
造を実現していないことが問題である。
物理的な特徴量を自動抽出し構造化することを提案して
いるが、上田他の報告で目指す構造化は、放送、映画、
フィルムの業界で用いられてきた映像の構造を基とする
ものである。ここで、業界で用いられてきた映像の構造
に関してＧ．Ｄａｖｅｎｐｏｒｔ他〔“Ｃｉｎｅｍａｔ
ｃ Ｐｒｉｍｉｔｉｖｅｓ ｆｏｒ ｍｕｌｔｉｍｅｄ
ｉａ”、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ
ｓ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ、Ｖｏｌ．１１、Ｎ
ｏ．４、ｐｐ６７−７５（１９９１）〕が報告してい
る。映像の最小単位をショットとし、複数のショットか
らなる映像をシーンと考え、複数のシーンからストーリ
ーは構成されるという考えである。深く映像の意味に立
ち入らないでこの概念で構造化を行おうとすると階層が
たかだか数階層であり、多彩なアクセスを可能にする構
造を実現していないことが問題である。
【００１１】また、Ｍ．Ｍｉｌｌ他の報告では、映像の
時間解像度に着目し、時間の連続による映像の階層構造
を利用してユーザインタフェースを構築している。深さ
のある連続な階層を実現しているが、物理的な特徴（時
間解像度）のみを用いた構造化であるために映像のコン
テントについて何も考慮されておらず、映像のコンテン
トに対して直感的にアクセスする事は困難である。
時間解像度に着目し、時間の連続による映像の階層構造
を利用してユーザインタフェースを構築している。深さ
のある連続な階層を実現しているが、物理的な特徴（時
間解像度）のみを用いた構造化であるために映像のコン
テントについて何も考慮されておらず、映像のコンテン
トに対して直感的にアクセスする事は困難である。
【００１２】また、近年報告されている符号化データか
らのインデクシングに関する報告は、基本的に上田等の
報告で目指す構造化であり、上記した問題を解決するも
のではない、ただ、計算コスト軽減に関しては、有効な
アプローチである。
らのインデクシングに関する報告は、基本的に上田等の
報告で目指す構造化であり、上記した問題を解決するも
のではない、ただ、計算コスト軽減に関しては、有効な
アプローチである。
【００１３】上記で述べたように今後の社会的要請に応
じて映像をデジタル化し、管理、アクセスする場合、映
像の構造化処理の自動化及び高速化、一般性を有しコン
テントを反映した特徴量による深い階層をもつ構造化、
及び多彩なユーザの目的に適うユーザインタフェース技
術の必要性がある。
じて映像をデジタル化し、管理、アクセスする場合、映
像の構造化処理の自動化及び高速化、一般性を有しコン
テントを反映した特徴量による深い階層をもつ構造化、
及び多彩なユーザの目的に適うユーザインタフェース技
術の必要性がある。
【００１４】従来報告されている映像の管理およびアク
セスに関する報告は、上記の必要性に答えるものではな
い。すなわち上記従来の技術には問題がある。
セスに関する報告は、上記の必要性に答えるものではな
い。すなわち上記従来の技術には問題がある。
【００１５】本発明の目的は、映像を一般性を有しコン
テントを反映した特徴量による深い階層構造に自動的し
かも高速に構造化する技術と、多彩なユーザの目的に適
う多彩なアクセススタイルを持つユーザインタフェース
構築を可能とする予測符号化画像データ管理方法及び装
置を提供することにある。
テントを反映した特徴量による深い階層構造に自動的し
かも高速に構造化する技術と、多彩なユーザの目的に適
う多彩なアクセススタイルを持つユーザインタフェース
構築を可能とする予測符号化画像データ管理方法及び装
置を提供することにある。
【００１６】
【課題を解決するための手段】上記の目的を達成するた
め、本発明の予測符号化画像データ管理装置は、予測符
号化画像データを蓄積管理する装置であって、予測符号
化画像データを読み込み、データ列を保存する画像デー
タ列メモリ部と、該画像データ列メモリ部からデータ列
を読み出しデータ構造が持つ階層に応じて階層に分離す
る階層分離部と、該分離された階層から画像データの持
つ物理的な特徴を抽出する特徴抽出部と、該抽出された
物理的特徴から各々の画像を特徴付ける特徴ベクトルを
生成する特徴ベクトル生成部と、該特徴ベクトル間での
距離を算出し特徴ベクトルを分割・統合する分割・統合
部と、該分割・統合した特徴ベクトルを管理する特徴ベ
クトル管理部とを備えることを特徴とすること、前記階
層分離部では、予測符号化画像データをシーケンス層、
ＧＯＰ層、ピクチャ層、スライス層、マクロブロック
層、ブロック層に分離すること、前記特徴抽出部は、ブ
ロック層から各ブロックの輝度の直流成分を算出する直
流成分算出部と、輝度の交流成分を算出する交流成分算
出部と、マクロブロック層から各ブロックの色差の直流
成分を算出する直流成分算出部と、色差の交流成分を算
出する交流成分算出部と、動きベクトルを算出する動き
ベクトル算出部と、ブロック毎に該算出された直流成分
からヒストグラムを作成するブロックヒストグラム作成
部と、ブロック毎に該算出された交流成分からテクスチ
ャ特徴量を算出するブロックテクスチャ特徴量算出部と
を新たに備えること、前記特徴ベクトル生成部は、前記
動きベクトル算出部で算出された動き情報と共に、算出
された複数のブロックの物理的特徴を該ブロックの発生
順位を考慮して配置する物理的特徴配置部を新たに備え
ること、前記分割・統合部は、該特徴ベクトルの類似度
を算出する際の条件を与える類似距離条件部と、該条件
に基づいて該特徴ベクトルの類似度を測定し、類似距離
行列の算出を行う類似距離行列算出部と、距離が最小な
クラスタ対を決定し、最小距離クラスタ対を結合する最
小距離結合部と、予め与えたクラスタの個数と結合され
たクラスタの個数とを比較・判断する結合対判断部とを
新たに備えること、前記特徴ベクトル管理部は、クラス
タリングされた特徴ベクトルを代表する代表特徴ベクト
ルを算出する代表特徴ベクトル算出部と、該代表特徴ベ
クトルに符号を付与する符号化部と、代表特徴ベクトル
と符号との対応を表わす表を作成する符号帳作成部とを
新たに備えることを特徴とする。
め、本発明の予測符号化画像データ管理装置は、予測符
号化画像データを蓄積管理する装置であって、予測符号
化画像データを読み込み、データ列を保存する画像デー
タ列メモリ部と、該画像データ列メモリ部からデータ列
を読み出しデータ構造が持つ階層に応じて階層に分離す
る階層分離部と、該分離された階層から画像データの持
つ物理的な特徴を抽出する特徴抽出部と、該抽出された
物理的特徴から各々の画像を特徴付ける特徴ベクトルを
生成する特徴ベクトル生成部と、該特徴ベクトル間での
距離を算出し特徴ベクトルを分割・統合する分割・統合
部と、該分割・統合した特徴ベクトルを管理する特徴ベ
クトル管理部とを備えることを特徴とすること、前記階
層分離部では、予測符号化画像データをシーケンス層、
ＧＯＰ層、ピクチャ層、スライス層、マクロブロック
層、ブロック層に分離すること、前記特徴抽出部は、ブ
ロック層から各ブロックの輝度の直流成分を算出する直
流成分算出部と、輝度の交流成分を算出する交流成分算
出部と、マクロブロック層から各ブロックの色差の直流
成分を算出する直流成分算出部と、色差の交流成分を算
出する交流成分算出部と、動きベクトルを算出する動き
ベクトル算出部と、ブロック毎に該算出された直流成分
からヒストグラムを作成するブロックヒストグラム作成
部と、ブロック毎に該算出された交流成分からテクスチ
ャ特徴量を算出するブロックテクスチャ特徴量算出部と
を新たに備えること、前記特徴ベクトル生成部は、前記
動きベクトル算出部で算出された動き情報と共に、算出
された複数のブロックの物理的特徴を該ブロックの発生
順位を考慮して配置する物理的特徴配置部を新たに備え
ること、前記分割・統合部は、該特徴ベクトルの類似度
を算出する際の条件を与える類似距離条件部と、該条件
に基づいて該特徴ベクトルの類似度を測定し、類似距離
行列の算出を行う類似距離行列算出部と、距離が最小な
クラスタ対を決定し、最小距離クラスタ対を結合する最
小距離結合部と、予め与えたクラスタの個数と結合され
たクラスタの個数とを比較・判断する結合対判断部とを
新たに備えること、前記特徴ベクトル管理部は、クラス
タリングされた特徴ベクトルを代表する代表特徴ベクト
ルを算出する代表特徴ベクトル算出部と、該代表特徴ベ
クトルに符号を付与する符号化部と、代表特徴ベクトル
と符号との対応を表わす表を作成する符号帳作成部とを
新たに備えることを特徴とする。
【００１７】また、上記の目的を達成するため、本発明
の予測符号化画像データ管理方法は、予測符号化画像デ
ータを蓄積管理する方法であって、予測符号化画像デー
タを読み込み、データ列を画像データ列メモリ部に保存
し、該メモリからデータ列を読み出してデータ構造が持
つ階層に応じて各階層に分離し、該分離された階層から
画像データの持つ物理的な特徴を抽出し、該抽出された
物理的特徴から各々の画像を特徴付ける特徴ベクトルを
生成し、該特徴ベクトル間での距離を算出して特徴ベク
トルを分割・統合し、該分割・統合された該特徴ベクト
ルを管理すること、前記データ構造を階層に分離する際
に、予測符号化画像データをシーケンス層、ＧＯＰ層、
ピクチャ層、スライス層、マクロブロック層、ブロック
層に分離すること、前記画像データの持つ物理的な特徴
を抽出する際に、ブロック層から各ブロックの輝度の直
流成分を算出し、輝度の交流成分を算出し、マクロブロ
ック層からは各ブロックの色差の直流成分を算出し、色
差の交流成分を算出して動きベクトルを算出し、ブロッ
ク毎に該算出された直流成分からヒストグラムを作成し
て、ブロック毎に該算出された交流成分からテクスチャ
特徴量を算出すること、前記特徴ベクトルを生成する際
に、前記算出された動きベクトルと共に、算出された複
数のブロックの物理的特徴を該ブロックの発生順位を考
慮して配置すること、前記特徴ベクトルを分割・統合す
る際に、該特徴ベクトルの類似度を算出する際の条件を
与え、該条件に基づいて該特徴ベクトルの類似度を測定
して類似距離行列の算出を行い、距離が最小なクラスタ
対を決定して最小距離クラスタ対を結合し、予め与えた
クラスタの個数と結合されたクラスタの個数とを比較・
判断すること、前記特徴ベクトルを管理する際に、クラ
スタリングされた特徴ベクトルを代表する代表特徴ベク
トルを算出し、該代表特徴ベクトルに符号を付与し、代
表特徴ベクトルと符号との対応を表わす表を作成するこ
とを特徴とする。
の予測符号化画像データ管理方法は、予測符号化画像デ
ータを蓄積管理する方法であって、予測符号化画像デー
タを読み込み、データ列を画像データ列メモリ部に保存
し、該メモリからデータ列を読み出してデータ構造が持
つ階層に応じて各階層に分離し、該分離された階層から
画像データの持つ物理的な特徴を抽出し、該抽出された
物理的特徴から各々の画像を特徴付ける特徴ベクトルを
生成し、該特徴ベクトル間での距離を算出して特徴ベク
トルを分割・統合し、該分割・統合された該特徴ベクト
ルを管理すること、前記データ構造を階層に分離する際
に、予測符号化画像データをシーケンス層、ＧＯＰ層、
ピクチャ層、スライス層、マクロブロック層、ブロック
層に分離すること、前記画像データの持つ物理的な特徴
を抽出する際に、ブロック層から各ブロックの輝度の直
流成分を算出し、輝度の交流成分を算出し、マクロブロ
ック層からは各ブロックの色差の直流成分を算出し、色
差の交流成分を算出して動きベクトルを算出し、ブロッ
ク毎に該算出された直流成分からヒストグラムを作成し
て、ブロック毎に該算出された交流成分からテクスチャ
特徴量を算出すること、前記特徴ベクトルを生成する際
に、前記算出された動きベクトルと共に、算出された複
数のブロックの物理的特徴を該ブロックの発生順位を考
慮して配置すること、前記特徴ベクトルを分割・統合す
る際に、該特徴ベクトルの類似度を算出する際の条件を
与え、該条件に基づいて該特徴ベクトルの類似度を測定
して類似距離行列の算出を行い、距離が最小なクラスタ
対を決定して最小距離クラスタ対を結合し、予め与えた
クラスタの個数と結合されたクラスタの個数とを比較・
判断すること、前記特徴ベクトルを管理する際に、クラ
スタリングされた特徴ベクトルを代表する代表特徴ベク
トルを算出し、該代表特徴ベクトルに符号を付与し、代
表特徴ベクトルと符号との対応を表わす表を作成するこ
とを特徴とする。
【００１８】本発明では、上記のように、予測符号化画
像データを用いて、そのデータ構造が持つ階層に応じて
階層に分離し、分離された階層から画像データの持つ物
理的な特徴、すなわち一般性を有しコンテントを反映し
た特徴を抽出して、各々の画像を特徴付ける特徴ベクト
ルを生成し、その特徴ベクトル間での距離を算出して特
徴ベクトルを分割・統合することによって、自動的でし
かも高速に映像を深い階層構造で構造化し、これを蓄
積、管理することにより、ユーザのそれぞれの多彩な目
的に応じたアクセススタイルのモードを変化させること
が出来るユーザインタフェース構築を可能とし、従来の
アクセススタイルに捕らわれない新しい映像のとの関わ
り合いや効率の良い映像のハンドリングを実現可能とす
る。
像データを用いて、そのデータ構造が持つ階層に応じて
階層に分離し、分離された階層から画像データの持つ物
理的な特徴、すなわち一般性を有しコンテントを反映し
た特徴を抽出して、各々の画像を特徴付ける特徴ベクト
ルを生成し、その特徴ベクトル間での距離を算出して特
徴ベクトルを分割・統合することによって、自動的でし
かも高速に映像を深い階層構造で構造化し、これを蓄
積、管理することにより、ユーザのそれぞれの多彩な目
的に応じたアクセススタイルのモードを変化させること
が出来るユーザインタフェース構築を可能とし、従来の
アクセススタイルに捕らわれない新しい映像のとの関わ
り合いや効率の良い映像のハンドリングを実現可能とす
る。
【００１９】
【発明の実施の形態】以下、本発明の実施形態例を、図
面を参照して詳細に説明する。
面を参照して詳細に説明する。
【００２０】図１に本発明装置の構成図を示す。以下、
構成図に沿って各構成部及び手法を説明する。図１の１
０１の画像データ列メモリ部に予測符号化画像データ列
を蓄積する。蓄積されたデータ列を１０２の階層分離部
でシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、
マクロブロック層、ブロック層に分離する。この層は、
ＭＰＥＧ２の圧縮方式で符号化されたデータの持つ構造
である。厳密に言うと、ＭＰＥＧ方式では、画面内符号
化画像、画面間順方向予測符号化画像、画面間双方向予
測符号化画像といわれる方式を組み合わせている。ここ
では、ＭＰＥＧ方式を予測符号化画像データとして考え
る。
構成図に沿って各構成部及び手法を説明する。図１の１
０１の画像データ列メモリ部に予測符号化画像データ列
を蓄積する。蓄積されたデータ列を１０２の階層分離部
でシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、
マクロブロック層、ブロック層に分離する。この層は、
ＭＰＥＧ２の圧縮方式で符号化されたデータの持つ構造
である。厳密に言うと、ＭＰＥＧ方式では、画面内符号
化画像、画面間順方向予測符号化画像、画面間双方向予
測符号化画像といわれる方式を組み合わせている。ここ
では、ＭＰＥＧ方式を予測符号化画像データとして考え
る。
【００２１】ここで、ＭＰＥＧ方式、特にＭＰＥＧ２方
式で圧縮されたデータの階層構成を図２を用いて説明す
る。一番上の層がシーケンス層であり、２０１のシーケ
ンスヘッダーと、２０２のピクチャー群から構成され
る。次のＧＯＰ層は、２０３のフレーム内符号化画像、
２０４のフレーム間順方向予測符号化画像、２０５の双
方向予測符号化画像から構成される。２０６のピクチャ
ー層は、スライス群であり、スライス層は、２０７のマ
クロブロックから構成される。また、マクロブロック
は、輝度情報の４つのブロック（２０８）と２つの色差
情報に関するブロック（２０９，２１０）の計６つから
構成される。以上説明した各層へデータ列を１０２の階
層分離部において分離する。実質的には、上記の構造情
報のみが分離されることになる。
式で圧縮されたデータの階層構成を図２を用いて説明す
る。一番上の層がシーケンス層であり、２０１のシーケ
ンスヘッダーと、２０２のピクチャー群から構成され
る。次のＧＯＰ層は、２０３のフレーム内符号化画像、
２０４のフレーム間順方向予測符号化画像、２０５の双
方向予測符号化画像から構成される。２０６のピクチャ
ー層は、スライス群であり、スライス層は、２０７のマ
クロブロックから構成される。また、マクロブロック
は、輝度情報の４つのブロック（２０８）と２つの色差
情報に関するブロック（２０９，２１０）の計６つから
構成される。以上説明した各層へデータ列を１０２の階
層分離部において分離する。実質的には、上記の構造情
報のみが分離されることになる。
【００２２】次に１０３の画像特徴抽出部において画像
の特徴量の抽出を行う。以下、図３を参照して説明す
る。まずブロック層の各ブロック（８×８ピクセル）か
ら直流成分（ＤＣ成分）と交流成分（ＡＣ成分）を、直
流成分算出部１０３ａと交流成分算出部１０３ｂで算出
する。ここで、各成分を算出する画像は、２０３のフレ
ーム内符号化画像とする。Ｐ，Ｂは、フレーム間予測さ
れた画像であり、基本的に復号化が伴うため、計算コス
トの軽減から避けることとする。輝度に関しては４つの
ブロック毎（３０１）に１０３ｃのヒストグラム生成部
においてヒストグラム（３０４）を算出する。また、色
差に関しては、各ブロック毎（３０２，３０３）にヒス
トグラム（３０５，３０６）を算出する。これは、輝度
ブロック４に対しての色差ブロックはそれぞれ１である
ことによる。
の特徴量の抽出を行う。以下、図３を参照して説明す
る。まずブロック層の各ブロック（８×８ピクセル）か
ら直流成分（ＤＣ成分）と交流成分（ＡＣ成分）を、直
流成分算出部１０３ａと交流成分算出部１０３ｂで算出
する。ここで、各成分を算出する画像は、２０３のフレ
ーム内符号化画像とする。Ｐ，Ｂは、フレーム間予測さ
れた画像であり、基本的に復号化が伴うため、計算コス
トの軽減から避けることとする。輝度に関しては４つの
ブロック毎（３０１）に１０３ｃのヒストグラム生成部
においてヒストグラム（３０４）を算出する。また、色
差に関しては、各ブロック毎（３０２，３０３）にヒス
トグラム（３０５，３０６）を算出する。これは、輝度
ブロック４に対しての色差ブロックはそれぞれ１である
ことによる。
【００２３】次に、算出されるＡＣ成分からテクスチャ
特徴生成部１０３ｄにおいてテクスチャー特徴を算出す
る。８×８ピクセルのブロックはＤＣＴ変換が施されて
いる。このＤＣＴ計数は、図４の４０１に示した様にジ
グザグスチャンされ表現されている。４０１の１が直流
成分（ＤＣ成分）であり、２〜６４が交流成分（ＡＣ成
分）である。２〜６４で表現されたＤＣＴ計数は、この
ブロックのテクスチャーを良く表現するものであり、本
説明では、この計数列をテクスチャー特徴と考える。
特徴生成部１０３ｄにおいてテクスチャー特徴を算出す
る。８×８ピクセルのブロックはＤＣＴ変換が施されて
いる。このＤＣＴ計数は、図４の４０１に示した様にジ
グザグスチャンされ表現されている。４０１の１が直流
成分（ＤＣ成分）であり、２〜６４が交流成分（ＡＣ成
分）である。２〜６４で表現されたＤＣＴ計数は、この
ブロックのテクスチャーを良く表現するものであり、本
説明では、この計数列をテクスチャー特徴と考える。
【００２４】次に動きベクトルの算出を図５を参照して
説明する。動きベクトルは、動きベクトル算出部１０３
ｅにおいてＰ，Ｂピクチャーから算出する。Ｐは、順方
向予測符号化であり過去のフレーム（５０１）から未来
のフレーム（５０２）を予測する動きベクトルが情報と
して含まれている。また、Ｂは、５０１と５０２のフレ
ーム間に挿入されるフレームであり、５０１のフレーム
からの順方向を予測する動きベクトルと５０２のフレー
ムからの逆方向を予測する動きベクトルが情報として含
まれている。しかしながら、予測誤差が大きい場合、動
きベクトルを用いないで符号化されているブロックが存
在する。本発明では、動きベクトルが存在するブロック
から動きベクトルを算出し、存在しないブロックに対し
ては、存在するブロックで内挿することを行う。内挿方
法として、線形内挿法、メディア内挿法等を用いる。
説明する。動きベクトルは、動きベクトル算出部１０３
ｅにおいてＰ，Ｂピクチャーから算出する。Ｐは、順方
向予測符号化であり過去のフレーム（５０１）から未来
のフレーム（５０２）を予測する動きベクトルが情報と
して含まれている。また、Ｂは、５０１と５０２のフレ
ーム間に挿入されるフレームであり、５０１のフレーム
からの順方向を予測する動きベクトルと５０２のフレー
ムからの逆方向を予測する動きベクトルが情報として含
まれている。しかしながら、予測誤差が大きい場合、動
きベクトルを用いないで符号化されているブロックが存
在する。本発明では、動きベクトルが存在するブロック
から動きベクトルを算出し、存在しないブロックに対し
ては、存在するブロックで内挿することを行う。内挿方
法として、線形内挿法、メディア内挿法等を用いる。
【００２５】次に、図１の１０４の特徴ベクトル生成部
において、１０３の画像特徴抽出部で算出した特徴量か
ら特徴ベクトルの生成を行う。この様子を図６に示す。
において、１０３の画像特徴抽出部で算出した特徴量か
ら特徴ベクトルの生成を行う。この様子を図６に示す。
【００２６】１０３の画像特徴抽出部で算出された特徴
量（ヒストグラム）から特徴ベクトルを構成する要素を
生成する。３０７のヒストグラムを例に生成の様子を説
明する。予め与えた個数（図６（ａ）の場合では４）で
ヒストグラムを分割する（６０１）。分割された範囲で
値の平均値を計算し、その範囲の値とする。それぞれの
範囲で計算された値を図６（ａ）の６０２で示した様に
配置し、ベクトルを作成する。ベクトル６０２をＨＩＳ
Ｔy，ij（ｋ）、ｋ＝０〜３で表す。色相のヒストグラ
ムと同様の方法で、彩度、明度に関してそれぞれベクト
ルを算出する。彩度のベクトルをＨＩＳＴCr，
ij（ｋ）、ｋ＝０〜３、明度のベクトルをＨＩＳＴCb，
ij（ｋ）、ｋ＝０〜３で表す。
量（ヒストグラム）から特徴ベクトルを構成する要素を
生成する。３０７のヒストグラムを例に生成の様子を説
明する。予め与えた個数（図６（ａ）の場合では４）で
ヒストグラムを分割する（６０１）。分割された範囲で
値の平均値を計算し、その範囲の値とする。それぞれの
範囲で計算された値を図６（ａ）の６０２で示した様に
配置し、ベクトルを作成する。ベクトル６０２をＨＩＳ
Ｔy，ij（ｋ）、ｋ＝０〜３で表す。色相のヒストグラ
ムと同様の方法で、彩度、明度に関してそれぞれベクト
ルを算出する。彩度のベクトルをＨＩＳＴCr，
ij（ｋ）、ｋ＝０〜３、明度のベクトルをＨＩＳＴCb，
ij（ｋ）、ｋ＝０〜３で表す。
【００２７】また、図４に示した、テクスチャーに関す
る特徴量についてもベクトル化を行う。４０１の空間周
波数分布を図６（ｂ）の６０３に示す様に分割化を行
う。６０３の場合、４分割である。分割された領域毎に
平均値、又は最大値、分散等の値を算出し、その領域の
値とする。それぞれの値を、図１の物理的特徴統合配置
部１０４ａにおいて、図６（ｂ）の６０４の様に配置し
ベクトルとする。テクスチャーに関するベクトルは、６
０３で示したように８×８ピクセルの４つのブロック毎
に算出する。色差ブロックについては４つのブロックの
各領域の値を並べて配置するが、輝度ブロックでは、１
つの色差ブロックに対応する４つの輝度ブロックの各計
数の平均値を１つのブロックの値としてベクトルを算出
する。算出するベクトルをＦＲＥＱy，ij（ｌ）、ＦＲ
ＥＱCr，ij（ｌ）、ＦＲＥＱCb，ij（ｌ）とそれぞれ表
す。また、動き情報は、各ブロック毎に動き変化量
（ｕ，ｖ）i，jが算出されている。これらのベクトルか
ら特徴ベクトル｛ＨＩＳＴy，ij（ｋ）、ＨＩＳＴCr，
ij（ｋ）、ＨＩＳＴCb，ij（ｋ）、ＦＲＥＱy，
ij（ｌ）、ＦＲＥＱCr，ij（ｌ）、ＦＲＥＱCb，
ij（ｌ）、ｕ，ｖ｝を算出する。
る特徴量についてもベクトル化を行う。４０１の空間周
波数分布を図６（ｂ）の６０３に示す様に分割化を行
う。６０３の場合、４分割である。分割された領域毎に
平均値、又は最大値、分散等の値を算出し、その領域の
値とする。それぞれの値を、図１の物理的特徴統合配置
部１０４ａにおいて、図６（ｂ）の６０４の様に配置し
ベクトルとする。テクスチャーに関するベクトルは、６
０３で示したように８×８ピクセルの４つのブロック毎
に算出する。色差ブロックについては４つのブロックの
各領域の値を並べて配置するが、輝度ブロックでは、１
つの色差ブロックに対応する４つの輝度ブロックの各計
数の平均値を１つのブロックの値としてベクトルを算出
する。算出するベクトルをＦＲＥＱy，ij（ｌ）、ＦＲ
ＥＱCr，ij（ｌ）、ＦＲＥＱCb，ij（ｌ）とそれぞれ表
す。また、動き情報は、各ブロック毎に動き変化量
（ｕ，ｖ）i，jが算出されている。これらのベクトルか
ら特徴ベクトル｛ＨＩＳＴy，ij（ｋ）、ＨＩＳＴCr，
ij（ｋ）、ＨＩＳＴCb，ij（ｋ）、ＦＲＥＱy，
ij（ｌ）、ＦＲＥＱCr，ij（ｌ）、ＦＲＥＱCb，
ij（ｌ）、ｕ，ｖ｝を算出する。
【００２８】次に、図１の１０５の分割・統合部におい
て、特徴ベクトルのクラスタリングを行う。この処理の
流れを図７に示す。図中、７０１〜７０７はステップを
表す。特徴ベクトルクラスタリングの様子を流れに沿っ
て説明する。７０１においてまず、類似距離条件分離部
１０５ａから類似距離の条件を入力する。ここで与える
条件は、画像の類似度算出する際に、類似度に大きく寄
与する特徴を決定する。画像の特徴として、色、テクス
チャ、構図、動き等があるがこれらの類似度算出におけ
る寄与度を７０１で入力する。例えば、色：テクスチ
ャ：構図：動き：時間＝１０：５：３：１：６の様に入
力する。構図に関しては、特徴ベクトルの値によらずそ
の構成が等しいときに構造は等しいとする。例えば、特
徴ベクトル｛３，３，４，４｝と特徴ベクトル｛１０，
１０，１，１｝は構図は等しいが、色等は異なるとす
る。時間は、対象としている画像はビデオのフレームで
あり、時間的にシーケンシャルなものである。時間的に
連続する画像は、それ自身類似している。この拘束条件
をコントロールすることを目的として類似度の時間寄与
度を導入する。時間の寄与度が小さい場合、隣接する画
像フレームの拘束は無く、一枚一枚の静止画像の集まり
として考える。次に、７０２において最終的なクラスタ
の数を入力していく。以下、７０３において、類似距離
行列算出部１０５ｂで類似距離を算出し、７０４におい
て、最小距離結合部１０５ｃで最小距離のクラスタ対を
発見し、７０５において、同じく最小距離結合部１０５
ｃでそれらを融合し、７０６において、再び類似距離行
列算出部１０５ｂで融合後の新しい類似距離を算出す
る。算出後、クラスタ数が、７０２で与えた最終クラス
タ数と一致するかどうかを結合対判断部１０５ｄで判断
し、一致すればクラスタリング処理を完了し、そうでな
ければ、７０４へ戻り処理を繰り返す。
て、特徴ベクトルのクラスタリングを行う。この処理の
流れを図７に示す。図中、７０１〜７０７はステップを
表す。特徴ベクトルクラスタリングの様子を流れに沿っ
て説明する。７０１においてまず、類似距離条件分離部
１０５ａから類似距離の条件を入力する。ここで与える
条件は、画像の類似度算出する際に、類似度に大きく寄
与する特徴を決定する。画像の特徴として、色、テクス
チャ、構図、動き等があるがこれらの類似度算出におけ
る寄与度を７０１で入力する。例えば、色：テクスチ
ャ：構図：動き：時間＝１０：５：３：１：６の様に入
力する。構図に関しては、特徴ベクトルの値によらずそ
の構成が等しいときに構造は等しいとする。例えば、特
徴ベクトル｛３，３，４，４｝と特徴ベクトル｛１０，
１０，１，１｝は構図は等しいが、色等は異なるとす
る。時間は、対象としている画像はビデオのフレームで
あり、時間的にシーケンシャルなものである。時間的に
連続する画像は、それ自身類似している。この拘束条件
をコントロールすることを目的として類似度の時間寄与
度を導入する。時間の寄与度が小さい場合、隣接する画
像フレームの拘束は無く、一枚一枚の静止画像の集まり
として考える。次に、７０２において最終的なクラスタ
の数を入力していく。以下、７０３において、類似距離
行列算出部１０５ｂで類似距離を算出し、７０４におい
て、最小距離結合部１０５ｃで最小距離のクラスタ対を
発見し、７０５において、同じく最小距離結合部１０５
ｃでそれらを融合し、７０６において、再び類似距離行
列算出部１０５ｂで融合後の新しい類似距離を算出す
る。算出後、クラスタ数が、７０２で与えた最終クラス
タ数と一致するかどうかを結合対判断部１０５ｄで判断
し、一致すればクラスタリング処理を完了し、そうでな
ければ、７０４へ戻り処理を繰り返す。
【００２９】以上の一連のクラスタリングの各階段での
類似距離の計算では、最初に全ての特徴ベクトル間の類
似距離を算出しておけば、後のクラスタと特徴ベクトル
間、及びクラスタ間の類似距離は漸化式によって計算で
きる。これをここで説明する。クラスタｉ（特徴ベクト
ル数ｎi）とクラスタｊ（特徴ベクトル数ｎj）を融合し
て新クラスタｋ（特徴ベクトル数ｎk）を作ったとす
る。
類似距離の計算では、最初に全ての特徴ベクトル間の類
似距離を算出しておけば、後のクラスタと特徴ベクトル
間、及びクラスタ間の類似距離は漸化式によって計算で
きる。これをここで説明する。クラスタｉ（特徴ベクト
ル数ｎi）とクラスタｊ（特徴ベクトル数ｎj）を融合し
て新クラスタｋ（特徴ベクトル数ｎk）を作ったとす
る。
【００３０】ｎk＝ｎi＋ｎj、 このときクラスタｋに含まれない特徴ベクトルあるいは
クラスタをｈとして、融合前の各クラスタ間の距離をそ
れぞれｄhi，ｄhj，ｄijとすれば、ｋとｈの距離ｄhkは
次式で与えられる。
クラスタをｈとして、融合前の各クラスタ間の距離をそ
れぞれｄhi，ｄhj，ｄijとすれば、ｋとｈの距離ｄhkは
次式で与えられる。
【００３１】 ｄhk＝αiｄhi＋αjｄhj＋βｄji＋γ｜ｄhi−ｄhj｜、 あるいは、 ｄ2 hk＝αiｄ2 hi＋αjｄ2 hj＋βｄ2 ji＋γ｜ｄ2 hi−ｄ2
hj｜、 ここでαi，αj，β，γは類似距離の定義によって決ま
る定数であり、前記した寄与度から算出するものであ
る。従来報告されている距離も本発明で用いることは可
能である。ここで幾つか従来報告されている距離を説明
する。
hj｜、 ここでαi，αj，β，γは類似距離の定義によって決ま
る定数であり、前記した寄与度から算出するものであ
る。従来報告されている距離も本発明で用いることは可
能である。ここで幾つか従来報告されている距離を説明
する。
【００３２】１）最短距離法 クラスタｋとｈに含まれる最短距離にある特徴ベクトル
間の距離ｄhkと定義する方法がある。
間の距離ｄhkと定義する方法がある。
【００３３】αi＝αj＝１／２，β＝０，γ＝−１／
２，ｄhk＝ｍａｘ［ｄhi，ｄhj］ ２）最長距離法 クラスタｋとｈに含まれる最長距離にある特徴ベクトル
間の距離ｄhkと定義する方法である。
２，ｄhk＝ｍａｘ［ｄhi，ｄhj］ ２）最長距離法 クラスタｋとｈに含まれる最長距離にある特徴ベクトル
間の距離ｄhkと定義する方法である。
【００３４】αi＝αj＝１／２，β＝０，γ＝１／２，
ｄhk＝ｍａｘ［ｄhi，ｄhj］ ３）メディアン法 ｄhkをｄhiとｄhjの中間値に設定する方法である。
ｄhk＝ｍａｘ［ｄhi，ｄhj］ ３）メディアン法 ｄhkをｄhiとｄhjの中間値に設定する方法である。
【００３５】αi＝αj＝１／２，β＝−１／４，γ＝
０，ｄhk＝ｍａｘ［ｄhi，ｄhj］ ４）重心法 クラスタ間の距離をクラスタの重心間距離で定義するも
のである。
０，ｄhk＝ｍａｘ［ｄhi，ｄhj］ ４）重心法 クラスタ間の距離をクラスタの重心間距離で定義するも
のである。
【００３６】αi＝ｎi／ｎk，αj＝ｎj／ｎk，β＝−ｎ
iｎj／ｎ2 k，γ＝０，ｄhk＝ｍａｘ［ｄhi，ｄhj］ ５）群平均法 クラスタ間の距離をその２つのクラスタに含まれる全て
の特徴ベクトル間の距離の２乗平均で定義するものであ
る。
iｎj／ｎ2 k，γ＝０，ｄhk＝ｍａｘ［ｄhi，ｄhj］ ５）群平均法 クラスタ間の距離をその２つのクラスタに含まれる全て
の特徴ベクトル間の距離の２乗平均で定義するものであ
る。
【００３７】αi＝ｎi／ｎk，αj＝ｎj／ｎk，β＝０，
γ＝０，ｄhk＝ｍａｘ［ｄhi，ｄhj］ 上記説明した距離も類似距離として用い、特徴ベクトル
のクラスタリングを上記説明した一連の流れによって行
う。
γ＝０，ｄhk＝ｍａｘ［ｄhi，ｄhj］ 上記説明した距離も類似距離として用い、特徴ベクトル
のクラスタリングを上記説明した一連の流れによって行
う。
【００３８】次に、図１の１０６の特徴ベクトル管理部
において、クラスタリングされた特徴ベクトルの代表特
徴ベクトルを代表特徴ベクトル算出部１０６ａで算出
し、算出された各々の代表特徴ベクトルを構造的に管理
する。クラスタリングされた各クラスタの重心、平均、
最長、最短等を算出し、代表特徴ベクトルとする。代表
特徴ベクトルを管理する構造の作成を図８を用いて説明
する。クラスタリング前を８０１とする。８０１を２つ
にクラスタリング（８０２と８０３）し代表特徴ベクト
ルをＨ0，Ｈ1とする。同様にクラスタリングされたクラ
スタに対して２つに分割し、それぞれ代表特徴ベクトル
を算出する。分割されたクラスタは、図８に示すように
階層構造を有し、それぞれの階層に置いて代表特徴ベク
トルが算出されている。１０６ｂの符号部においてＨ0
等の符号が代表特徴ベクトルに対して付けされ、符号と
代表特徴ベクトルの対応表を符号帳作成部１０６ｃにお
いて作成する。上記の説明は、クラスタを分割する方向
で階層を作成するアプローチであるが、逆にクラスタを
統合する方向で階層を作成するアプローチも可能であ
る。
において、クラスタリングされた特徴ベクトルの代表特
徴ベクトルを代表特徴ベクトル算出部１０６ａで算出
し、算出された各々の代表特徴ベクトルを構造的に管理
する。クラスタリングされた各クラスタの重心、平均、
最長、最短等を算出し、代表特徴ベクトルとする。代表
特徴ベクトルを管理する構造の作成を図８を用いて説明
する。クラスタリング前を８０１とする。８０１を２つ
にクラスタリング（８０２と８０３）し代表特徴ベクト
ルをＨ0，Ｈ1とする。同様にクラスタリングされたクラ
スタに対して２つに分割し、それぞれ代表特徴ベクトル
を算出する。分割されたクラスタは、図８に示すように
階層構造を有し、それぞれの階層に置いて代表特徴ベク
トルが算出されている。１０６ｂの符号部においてＨ0
等の符号が代表特徴ベクトルに対して付けされ、符号と
代表特徴ベクトルの対応表を符号帳作成部１０６ｃにお
いて作成する。上記の説明は、クラスタを分割する方向
で階層を作成するアプローチであるが、逆にクラスタを
統合する方向で階層を作成するアプローチも可能であ
る。
【００３９】次に、本発明の予測符号化画像データ管理
方法の実施形態例を示す。図９は、それを示すフローチ
ャートである。図中、９０１〜９１３はステップを表
す。まず、９０１において、予測符号化画像データを読
み込み、画像データ列メモリ部に保存してあるデータ列
を読み出して入力する。次に、９０２において、データ
構造が持つ階層に応じてデータの階層分離を行う。次
に、９０３において、ブロック層から各ブロックの輝度
の直流成分を算出して、９０４において、ブロック毎に
該算出された直流成分からヒストグラムを作成する。ま
た、９０５において、輝度の交流成分を算出し、マクロ
ブロック層からは各ブロックの色差の直流成分を算出
し、色差の交流成分を算出して動きベクトルを算出す
る。さらに、９０６において、ブロック毎に交流成分を
算出して、９０７において、テクスチャ特徴量を算出す
る。以上で物理的な特徴を抽出する。次に、９０８にお
いて、抽出された該物理的特徴から各々の画像を特徴付
ける特徴ベクトルを生成する。次に、９０９において、
特徴ベクトル間での距離を算出して特徴ベクトルを分割
・統合する。次に、９１０において、前記の分割・統合
された特徴ベクトルを管理する。次に、９１１におい
て、前記で管理された特徴ベクトルに基づいて画像を表
示する。次に、９１２において、終了判断を行い、継続
であれば９１３においてユーザのイベント入力を受け付
けて前記で管理された特徴ベクトルに基づいて、ユーザ
の多様なアクセススタイルでの画像の表示を行う。
方法の実施形態例を示す。図９は、それを示すフローチ
ャートである。図中、９０１〜９１３はステップを表
す。まず、９０１において、予測符号化画像データを読
み込み、画像データ列メモリ部に保存してあるデータ列
を読み出して入力する。次に、９０２において、データ
構造が持つ階層に応じてデータの階層分離を行う。次
に、９０３において、ブロック層から各ブロックの輝度
の直流成分を算出して、９０４において、ブロック毎に
該算出された直流成分からヒストグラムを作成する。ま
た、９０５において、輝度の交流成分を算出し、マクロ
ブロック層からは各ブロックの色差の直流成分を算出
し、色差の交流成分を算出して動きベクトルを算出す
る。さらに、９０６において、ブロック毎に交流成分を
算出して、９０７において、テクスチャ特徴量を算出す
る。以上で物理的な特徴を抽出する。次に、９０８にお
いて、抽出された該物理的特徴から各々の画像を特徴付
ける特徴ベクトルを生成する。次に、９０９において、
特徴ベクトル間での距離を算出して特徴ベクトルを分割
・統合する。次に、９１０において、前記の分割・統合
された特徴ベクトルを管理する。次に、９１１におい
て、前記で管理された特徴ベクトルに基づいて画像を表
示する。次に、９１２において、終了判断を行い、継続
であれば９１３においてユーザのイベント入力を受け付
けて前記で管理された特徴ベクトルに基づいて、ユーザ
の多様なアクセススタイルでの画像の表示を行う。
【００４０】以上、本発明の実施形態例に基づき具体的
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。
【００４１】
【発明の効果】以上の説明のとおり、本発明によれば、
自動的でしかも高速に映像を構造化し、蓄積することが
でき、ユーザのそれぞれの多彩な目的に応じたアクセス
スタイルのモードを変化させることが出来るユーザイン
タフェース構築が可能となり、従来のアクセススタイル
に捕らわれない新しい映像のとの関わり合いや効率の良
い映像のハンドリングが実現可能となる。
自動的でしかも高速に映像を構造化し、蓄積することが
でき、ユーザのそれぞれの多彩な目的に応じたアクセス
スタイルのモードを変化させることが出来るユーザイン
タフェース構築が可能となり、従来のアクセススタイル
に捕らわれない新しい映像のとの関わり合いや効率の良
い映像のハンドリングが実現可能となる。
【図１】本発明の予測符号化画像データ管理システムの
一実施形態例を示す構成図
一実施形態例を示す構成図
【図２】上記実施形態例におけるＭＰＥＧ符号化画像デ
ータの階層構成図
ータの階層構成図
【図３】上記実施形態例におけるＤＣ成分からのヒスト
グラム算出を説明する図
グラム算出を説明する図
【図４】上記実施形態例におけるＡＣ成分からのテクス
チャー特徴算出を説明する図
チャー特徴算出を説明する図
【図５】上記実施形態例における順、双方向予測を説明
する図
する図
【図６】（ａ），（ｂ）は、上記実施形態例における特
徴のベクトル化を説明する図
徴のベクトル化を説明する図
【図７】上記実施形態例における分割・統合部における
処理の流れを示すフローチャート
処理の流れを示すフローチャート
【図８】上記実施形態例における代表特徴ベクトルの階
層構造化の様子を示す図
層構造化の様子を示す図
【図９】本発明の予測符号化画像データ管理方法の一実
施形態例を示すフローチャート
施形態例を示すフローチャート
１０１…画像データ列メモリ部 １０２…階層分離部 １０３…画像特徴抽出部 １０４…特徴ベクトル生成部 １０５…分割・統合部 １０６…特徴ベクトル管理部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｇ０６Ｆ 15/18 ５６０ Ｈ０４Ｎ 7/137 Ｚ (72)発明者 新倉 康巨 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内
Claims (12)
- 【請求項１】 予測符号化画像データを蓄積管理する装
置であって、 予測符号化画像データを読み込み、データ列を保存する
画像データ列メモリ部と、該画像データ列メモリ部から
データ列を読み出しデータ構造が持つ階層に応じて階層
に分離する階層分離部と、該分離された階層から画像デ
ータの持つ物理的な特徴を抽出する特徴抽出部と、該抽
出された物理的特徴から各々の画像を特徴付ける特徴ベ
クトルを生成する特徴ベクトル生成部と、該特徴ベクト
ル間での距離を算出し特徴ベクトルを分割・統合する分
割・統合部と、該分割・統合した特徴ベクトルを管理す
る特徴ベクトル管理部とを備えることを特徴とする予測
符号化画像データ管理装置。 - 【請求項２】 前記階層分離部では、予測符号化画像デ
ータをシーケンス層、ＧＯＰ層、ピクチャ層、スライス
層、マクロブロック層、ブロック層に分離することを特
徴とする請求項１に記載の予測符号化画像データ管理装
置。 - 【請求項３】 前記特徴抽出部は、ブロック層から各ブ
ロックの輝度の直流成分を算出する直流成分算出部と、
輝度の交流成分を算出する交流成分算出部と、マクロブ
ロック層から各ブロックの色差の直流成分を算出する直
流成分算出部と、色差の交流成分を算出する交流成分算
出部と、動きベクトルを算出する動きベクトル算出部
と、ブロック毎に該算出された直流成分からヒストグラ
ムを作成するブロックヒストグラム作成部と、ブロック
毎に該算出された交流成分からテクスチャ特徴量を算出
するブロックテクスチャ特徴量算出部とを新たに備える
ことを特徴とする請求項２に記載の予測符号化画像デー
タ管理装置。 - 【請求項４】 前記特徴ベクトル生成部は、前記動きベ
クトル算出部で算出された動き情報と共に、算出された
複数のブロックの物理的特徴を該ブロックの発生順位を
考慮して配置する物理的特徴配置部を新たに備えること
を特徴とする請求項３に記載の予測符号化画像データ管
理装置。 - 【請求項５】 前記分割・統合部は、該特徴ベクトルの
類似度を算出する際の条件を与える類似距離条件部と、
該条件に基づいて該特徴ベクトルの類似度を測定し、類
似距離行列の算出を行う類似距離行列算出部と、距離が
最小なクラスタ対を決定し、最小距離クラスタ対を結合
する最小距離結合部と、予め与えたクラスタの個数と結
合されたクラスタの個数とを比較・判断する結合対判断
部とを新たに備えることを特徴とする請求項１、請求項
２、請求項３、請求項４のいずれかに記載の予測符号化
画像データ管理装置。 - 【請求項６】 前記特徴ベクトル管理部は、クラスタリ
ングされた特徴ベクトルを代表する代表特徴ベクトルを
算出する代表特徴ベクトル算出部と、該代表特徴ベクト
ルに符号を付与する符号化部と、代表特徴ベクトルと符
号との対応を表わす表を作成する符号帳作成部とを新た
に備えることを特徴とする請求項１、請求項２、請求項
３、請求項４、請求項５のいずれかに記載の予測符号化
画像データ管理装置。 - 【請求項７】 予測符号化画像データを蓄積管理する方
法であって、 予測符号化画像データを読み込み、データ列を画像デー
タ列メモリ部に保存し、該メモリからデータ列を読み出
してデータ構造が持つ階層に応じて各階層に分離し、該
分離された階層から画像データの持つ物理的な特徴を抽
出し、該抽出された物理的特徴から各々の画像を特徴付
ける特徴ベクトルを生成し、該特徴ベクトル間での距離
を算出して特徴ベクトルを分割・統合し、該分割・統合
された該特徴ベクトルを管理することを特徴とする予測
符号化画像データ管理方法。 - 【請求項８】 前記データ構造を階層に分離する際に、
予測符号化画像データをシーケンス層、ＧＯＰ層、ピク
チャ層、スライス層、マクロブロック層、ブロック層に
分離することを特徴とする請求項７に記載の予測符号化
画像データ管理方法。 - 【請求項９】 前記画像データの持つ物理的な特徴を抽
出する際に、ブロック層から各ブロックの輝度の直流成
分を算出し、輝度の交流成分を算出し、マクロブロック
層からは各ブロックの色差の直流成分を算出し、色差の
交流成分を算出して動きベクトルを算出し、ブロック毎
に該算出された直流成分からヒストグラムを作成して、
ブロック毎に該算出された交流成分からテクスチャ特徴
量を算出することを特徴とする請求項８に記載の予測符
号化画像データ管理方法。 - 【請求項１０】 前記特徴ベクトルを生成する際に、前
記算出された動きベクトルと共に、算出された複数のブ
ロックの物理的特徴を該ブロックの発生順位を考慮して
配置することを特徴とする請求項９に記載の予測符号化
画像データ管理方法。 - 【請求項１１】 前記特徴ベクトルを分割・統合する際
に、該特徴ベクトルの類似度を算出する際の条件を与
え、該条件に基づいて該特徴ベクトルの類似度を測定し
て類似距離行列の算出を行い、距離が最小なクラスタ対
を決定して最小距離クラスタ対を結合し、予め与えたク
ラスタの個数と結合されたクラスタの個数とを比較・判
断することを特徴とする請求項７、請求項８、請求項
９、請求項１０のいずれかに記載の予測符号化画像デー
タ管理方法。 - 【請求項１２】 前記特徴ベクトルを管理する際に、ク
ラスタリングされた特徴ベクトルを代表する代表特徴ベ
クトルを算出し、該代表特徴ベクトルに符号を付与し、
代表特徴ベクトルと符号との対応を表わす表を作成する
ことを特徴とする請求項７、請求項８、請求項９、請求
項１０、請求項１１のいずれかに記載の予測符号化画像
データ管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10650796A JP3423834B2 (ja) | 1996-04-26 | 1996-04-26 | 予測符号化画像データ管理方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10650796A JP3423834B2 (ja) | 1996-04-26 | 1996-04-26 | 予測符号化画像データ管理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09294277A true JPH09294277A (ja) | 1997-11-11 |
| JP3423834B2 JP3423834B2 (ja) | 2003-07-07 |
Family
ID=14435350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10650796A Expired - Fee Related JP3423834B2 (ja) | 1996-04-26 | 1996-04-26 | 予測符号化画像データ管理方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3423834B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09293139A (ja) * | 1996-04-26 | 1997-11-11 | Nippon Telegr & Teleph Corp <Ntt> | ビデオ管理方法及び装置 |
| JPH11234670A (ja) * | 1997-11-25 | 1999-08-27 | Fuji Xerox Co Ltd | ビデオセグメント化方法、ビデオセグメント化モデルトレーニング方法、ビデオの状態へのセグメント化装置、及びデータ構造 |
| WO2001024048A1 (en) * | 1999-09-30 | 2001-04-05 | Koninklijke Philips Electronics N.V. | Video tape hierarchical indexing system |
| JP2001333389A (ja) * | 2000-05-17 | 2001-11-30 | Mitsubishi Electric Research Laboratories Inc | ビデオ再生システムおよびビデオ信号処理方法 |
| US7792373B2 (en) | 2004-09-10 | 2010-09-07 | Pioneer Corporation | Image processing apparatus, image processing method, and image processing program |
| JP2011173707A (ja) * | 2010-02-25 | 2011-09-08 | Mitsubishi Electric Corp | 戸開閉検出装置及び戸開閉検出方法 |
| US8139877B2 (en) | 2006-03-09 | 2012-03-20 | Pioneer Corporation | Image processing apparatus, image processing method, and computer-readable recording medium including shot generation |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03252780A (ja) * | 1990-03-02 | 1991-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 特徴量抽出方法 |
| JPH04307668A (ja) * | 1991-04-05 | 1992-10-29 | Nec Corp | 概略画像作成方法および装置 |
| JPH05108730A (ja) * | 1991-08-29 | 1993-04-30 | Internatl Business Mach Corp <Ibm> | 動画像データベースの検索 |
| JPH06153155A (ja) * | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像の拾い見装置 |
| JPH06195396A (ja) * | 1992-09-25 | 1994-07-15 | Nec Corp | 画像の構造情報に基づく画像クラスタリング方法及び装置 |
| JPH06319108A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | シーン変化検出装置 |
| JPH0738842A (ja) * | 1993-06-29 | 1995-02-07 | Toshiba Corp | 動画編集装置 |
| JPH07271987A (ja) * | 1994-03-31 | 1995-10-20 | Sharp Corp | 代表特徴量抽出方法及び代表特徴量抽出装置 |
-
1996
- 1996-04-26 JP JP10650796A patent/JP3423834B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03252780A (ja) * | 1990-03-02 | 1991-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 特徴量抽出方法 |
| JPH04307668A (ja) * | 1991-04-05 | 1992-10-29 | Nec Corp | 概略画像作成方法および装置 |
| JPH05108730A (ja) * | 1991-08-29 | 1993-04-30 | Internatl Business Mach Corp <Ibm> | 動画像データベースの検索 |
| JPH06195396A (ja) * | 1992-09-25 | 1994-07-15 | Nec Corp | 画像の構造情報に基づく画像クラスタリング方法及び装置 |
| JPH06153155A (ja) * | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像の拾い見装置 |
| JPH06319108A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | シーン変化検出装置 |
| JPH0738842A (ja) * | 1993-06-29 | 1995-02-07 | Toshiba Corp | 動画編集装置 |
| JPH07271987A (ja) * | 1994-03-31 | 1995-10-20 | Sharp Corp | 代表特徴量抽出方法及び代表特徴量抽出装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09293139A (ja) * | 1996-04-26 | 1997-11-11 | Nippon Telegr & Teleph Corp <Ntt> | ビデオ管理方法及び装置 |
| JPH11234670A (ja) * | 1997-11-25 | 1999-08-27 | Fuji Xerox Co Ltd | ビデオセグメント化方法、ビデオセグメント化モデルトレーニング方法、ビデオの状態へのセグメント化装置、及びデータ構造 |
| WO2001024048A1 (en) * | 1999-09-30 | 2001-04-05 | Koninklijke Philips Electronics N.V. | Video tape hierarchical indexing system |
| JP2001333389A (ja) * | 2000-05-17 | 2001-11-30 | Mitsubishi Electric Research Laboratories Inc | ビデオ再生システムおよびビデオ信号処理方法 |
| US7792373B2 (en) | 2004-09-10 | 2010-09-07 | Pioneer Corporation | Image processing apparatus, image processing method, and image processing program |
| US8139877B2 (en) | 2006-03-09 | 2012-03-20 | Pioneer Corporation | Image processing apparatus, image processing method, and computer-readable recording medium including shot generation |
| JP2011173707A (ja) * | 2010-02-25 | 2011-09-08 | Mitsubishi Electric Corp | 戸開閉検出装置及び戸開閉検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3423834B2 (ja) | 2003-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6738424B1 (en) | Scene model generation from video for use in video processing | |
| US7302117B2 (en) | Method of image feature coding and method of image search | |
| EP1624675B1 (en) | A system and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding | |
| KR100486047B1 (ko) | 동화상 검색 정보 기록 장치 및 동화상 검색 장치 | |
| Wang et al. | A surveillance video analysis and storage scheme for scalable synopsis browsing | |
| JP4520994B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN104704819A (zh) | 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置 | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| Irani et al. | Mosaic-based video compression | |
| US7020192B1 (en) | Method of retrieving video picture and apparatus therefor | |
| JP3423834B2 (ja) | 予測符号化画像データ管理方法及び装置 | |
| Doulamis et al. | Optimal content-based video decomposition for interactive video navigation | |
| Liu et al. | Hierarchical motion-compensated deep network for video compression | |
| CN100499811C (zh) | 压缩包括交替镜头的视频序列的数字数据的方法 | |
| JP4534106B2 (ja) | 動画像符号化システム及び方法 | |
| WO2001049028A1 (en) | Scene model generation from video for use in video processing | |
| Bashir et al. | Multimedia systems: content-based indexing and retrieval | |
| JP4349542B2 (ja) | 動画像内のテロップ領域検出装置 | |
| Gu | Scene analysis of video sequences in the MPEG domain | |
| Zargari et al. | Compressed domain texture retrieval based on I-frame coding in H. 264 | |
| Lee et al. | Complexity reduction method for High Efficiency Video Coding encoding based on scene-change detection and image texture information | |
| Yi et al. | A motion-based scene tree for compressed video content management | |
| JP2003283966A (ja) | 動画像データ要約情報作成装置、動画像データ記録再生装置、動画像データ要約情報作成方法及び動画像データ記録再生方法 | |
| Tong et al. | Region-of-interest based rate control for low-bit-rate video conferencing | |
| Bhandarkar et al. | Parallel parsing of MPEG video on a shared-memory symmetric multiprocessor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090425 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090425 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100425 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100425 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |