JPH09293139A

JPH09293139A - ビデオ管理方法及び装置

Info

Publication number: JPH09293139A
Application number: JP8106508A
Authority: JP
Inventors: Akito Akutsu; 明人阿久津; Hiroshi Hamada; 洋浜田; Yukinobu Taniguchi; 行信谷口
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-04-26
Filing date: 1996-04-26
Publication date: 1997-11-11

Abstract

(57)【要約】【課題】一般性を有しコンテントを反映した特徴量に
よる深い階層構造に映像を自動的に構造化することがで
き、多彩なユーザの目的に適うユーザインタフェースを
有するビデオ管理方法及び装置を提供する。【解決手段】ビデオ信号入力部１０１から入力されて
画像データ列メモリ部１０２に保存された画像フレーム
を読み出し、その各々の画像の持つ物理的特徴、すなわ
ち一般性を有しコンテントを反映した特徴を、画像特徴
抽出部１０３にて抽出する。次に、これらの物理的特徴
から各々の画像を特徴付ける特徴ベクトルを特徴ベクト
ル生成部１０４にて生成する。次に、その特徴ベクトル
間での距離を算出して特徴ベクトルを分割・統合部１０
５にて分割・統合して、特徴ベクトル管理部１０６にて
管理する。この管理された特徴ベクトルとユーザのイベ
ント入力に基づいて、ビデオを表示するユーザインタフ
ェース部１０７を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオを蓄積、管
理およびアクセスする技術に関するものであり、特にビ
デオの管理およびアクセス方法および装置に関する。

【０００２】

【従来の技術】コンピュータの高性能化、ハードディス
クの大容量化とこれらの低価格化に伴い、コンピュータ
の一般家庭への普及が進んでいる。この普及により映像
のデジタル化が身近なものとなってきている。また、コ
ンピュータがネットワークに接続され、デジタル映像の
流通が可能となるインフラが整備されつつある。このよ
うな時代背景のもと、映像の蓄積、流通、鑑賞のスタイ
ルも変革することへの要請が強くなってきた。従来の映
像に対してユーザは与えられるままに見るだけであった
が、このような時代においてユーザは、自分なりの見
方、例えば、好きな場面だけを見る、要約してみる。こ
の場面は子どもに見せたくない等、映像に対して多彩な
アクセス方法への要求が潜在的に存在する。当然このよ
うなアクセスに関する要求に答えるためには、映像それ
自身のデジタル表現、管理方法等背後に隠れた技術が新
しいユーザインタフェースに加えて必要である。

【０００３】この必要性から従来、幾つかの報告がなさ
れてきた。従来の報告は、映像の構造化を目指したもの
であり、構造化された映像をユーザにとって扱い易いよ
うに表現するユーザインタフェースの構築を目指したも
のである。

【０００４】映像の構造化を目指した報告として、柴田
〔“映像の内容記述モデルとその映像構造化への応
用”、信学論、Ｖｏｌ．７８−Ｄ−ＩＩ、Ｎｏ．５，ｐ
ｐ．７５４−７６４（１９９５）〕は、放送用の映像を
対象にスクリプタが付けたアノテーションを人手で入力
し、映像に特徴量を付加することを提案し、便宜的に特
徴量空間をユークリット空間と考え、その中で距離を定
義して類似度を計算することでショットのクラスタリン
グを行っている。ショットをクラスタリングすることで
階層構造を定義し、映像の構造化を行っている。

【０００５】また、上田他〔“ＩＭＰＡＣＴ：ＡｎＩ
ｎｔｅｒａｃｔｉｖｅＮａｔｕｒａｌ−Ｍｏｔｉｏｎ
−ＰｉｃｔｕｒｅＤｅｄｉｃａｔｅｄＭｕｌｔｉｍ
ｅｄｉａＡｕｔｈｏｒｉｎｇＳｙｓｔｅｍ”、Ｐｒ
ｏｃｅｅｄｉｎｇｏｆＣＨＩ’９１、ｐｐ．３４３
−３５０（１９９１）〕は、映像を計算機で自動処理し
得られる物理的特徴を抽出し、抽出された特徴を場合に
よっては内容知識と照合すると共に特徴あるいは知識を
映像ヘインデクシング、構造化を行っている。

【０００６】映像への新しいユーザインタフェースとし
て、Ｍ．Ｍｉｌｌ他の〔“ＡＭａｇｎｉｆｉｅｒＴ
ｏｏｌｆｏｒＶｉｄｅｏＤａｔａ”、Ｐｒｏｃｅ
ｅｄｉｎｇｏｆＣＨＩ’９２、ｐｐ．９３−９８
（１９９２）〕は、映像のフレームを時間解像度レベル
に応じて空間に配置し、粗い時間解像度から細かい時間
解像度へと時間への新しいアクセススタイルを可能にし
た報告をしている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の技術における報告等では、解決していない課題が存
在する。

【０００８】柴田の報告では、放送局の映像を対象と
し、映像の使われ方等の制限を付け仮定し、人手を介し
て、映像に意味的な特徴量を付加することを行い構造化
している。今後ますます増大するであろう一般家庭等の
映像を与えた場合、柴田の仮定は成り立たず、人手を介
して特徴量を付けることもナンセンスである。まず、課
題として自動化による一般性のある特徴量の付加と構造
化の実現が課題である。

【０００９】上田他の報告では、映像の持つ特徴として
物理的な特徴量を自動抽出し構造化することを提案して
いるが、上田他の目指す構造化は、放送、映画、フィル
ムの業界で用いられてきた映像の構造を基とするもので
ある。ここで、業界で用いられてきた映像の構造に関し
てＧ．Ｄａｖｅｎｐｏｒｔ他〔“ＣｉｎｅｍａｔｃＰｒ
ｉｍｉｔｉｖｅｓｆｏｒｍｕｌｔｉｍｅｄｉａ”、
ＩＥＥＥＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ＆
Ａｐｐｌｉｃａｔｉｏｎｓ、Ｖｏｌ．１１、Ｎｏ．４、
ｐｐ６７−７５（１９９１）〕が報告している。映像の
最小単位をショットとし、複数のショットからなる映像
をシーンと考え、複数のシーンからストーリーは構成さ
れるという考えである。深く映像の意味に立ち入らない
でこの概念で構造化を行おうとすると階層がたかだか数
階層であり、多彩なアクセスを可能にする構造を実現し
ていないことが問題である。

【００１０】また、Ｍ．Ｍｉｌｌ他の報告では、映像の
時間解像度に着目し、時間の連続による映像の階層構造
を利用してユーザインタフェースを構築している。深さ
のある連続な階層を実現しているが、物理的な特徴（時
間解像度）のみを用いた構造化であるために映像のコン
テントについて何も考慮されておらず、映像のコンテン
トに対して直感的にアクセスする事は困難である。

【００１１】上記で述べたように今後の社会的要請に応
じて映像をデジタル化し、管理、アクセスする場合、映
像の構造化処理の自動化、一般性を有しコンテントを反
映した特徴量による深い階層をもつ構造化、及び多彩な
ユーザの目的に適うユーザインタフェース技術の必要性
がある。

【００１２】従来報告されている映像の管理およびアク
セスに関する報告は、上記の必要性に答えるものではな
い。すなわち上記の技術には問題がある。

【００１３】本発明の目的は、映像を一般性を有しコン
テントを反映した特徴量による深い階層構造に自動的に
構造化する技術と、多彩なユーザの目的に適うユーザイ
ンタフェース技術を具備するビデオ管理方法及び装置を
提供することである。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
め、本発明のビデオ管理装置は、ビデオデータを蓄積管
理する装置において、ビデオ信号を計算機に入力するビ
デオ信号入力部と、入力される該ビデオ信号のデータ列
を保存する画像データ列メモリ部と、該メモリ部から画
像フレームを読み出し該画像フレームの各々の画像に対
して物理的特徴を抽出する画像特徴抽出部と、該抽出さ
れた物理的特徴から各々の画像を特徴付ける特徴ベクト
ルを生成する特徴ベクトル生成部と、該特徴ベクトル間
での距離を算出し特徴ベクトルを分割・統合する分割・
統合部と、該分割・統合した該特徴ベクトルを管理する
特徴ベクトル管理部と、該管理された特徴ベクトルとユ
ーザからのイベント入力に基づいてビデオを表示しかつ
ユーザが該イベント入力を行うユーザインタフェース部
とを備えること、前記画像特徴抽出部は、前記メモリ部
から画像フレームを読み出しその画像データ列から含ま
れる動き情報を抽出する動き情報抽出部と、該画像フレ
ームの各々の画像から物理的特徴を算出する際に各々の
画像を空間的に領域分割する領域分割部と、該分割され
た各領域のもつ情報を色相、彩度、明度のいずれか又は
それらの組み合わせからなる情報に変換し、該変換され
た情報から領域全体のヒストグラム、テクスチャ特徴量
のいずれか又はそれらの組み合わせを算出する領域統計
特徴量算出部とを備えること、前記特徴ベクトル生成部
は、前記動き情報抽出部で抽出された動き情報と共に、
前記算出された画像の物理的特徴を該画像領域構成を考
慮して配置する物理的特徴配置部を備えること、前記分
割・統合部は、前記特徴ベクトルの類似度を算出する際
の条件を与える類似距離条件部と、該条件に基づいて該
特徴ベクトルの類似度を測定し類似距離行列の算出を行
う類似距離行列算出部と、距離が最小なクラスタ対を決
定し最小距離クラスタ対を結合する最小距離結合部と、
予め与えたクラスタの個数と結合されたクラスタの個数
とを比較・判断する結合対判断部とを備えること、前記
特徴ベクトル管理部は、クラスタリングされた特徴ベク
トルを代表する代表特徴ベクトルを算出する代表特徴ベ
クトル算出部と、該代表特徴ベクトルに符号を付与する
符号化部と、該代表特徴ベクトルと該符号との対応を表
わす表を作成する符号帳作成部とを備えること、前記ユ
ーザインタフェース部は、ユーザの入力に対して符号帳
内の符号と該入力を照合する符号照合部と、該照合によ
り一致した符号に相当するビデオまたは画像を表示する
表示部とを備えることを特徴とする。

【００１５】また、同じく上記の目的を達成するため、
本発明のビデオ管理方法は、ビデオデータを蓄積管理す
る方法において、ビデオ信号を計算機に入力し、入力さ
れる該ビデオ信号のデータ列を画像データ列メモリ部に
保存し、該メモリ部から画像フレームを読み出して該画
像フレームの各々の画像に対して物理的特徴を抽出し、
該抽出された物理的特徴から各々の画像を特徴付ける特
徴ベクトルを生成し、該特徴ベクトル間での距離を算出
して特徴ベクトルを分割・統合し、該分割・統合した特
徴ベクトルを管理し、該管理された特徴ベクトルとユー
ザからのイベント入力に基づいてビデオの表示を行うこ
と、前記画像の物理的特徴を抽出する際に、前記メモリ
手段から画像フレームを読み出し、その画像データ列か
ら含まれる動き情報を抽出し、各々の画像から物理的特
徴を算出する際には該画像フレームの各々の画像を空間
的に領域分割し各領域のもつ情報を色相、彩度、明度の
いずれか又はそれらの組み合わせからなる情報に変換し
て該変換情報から領域全体のヒストグラム、テクスチャ
特徴量のいずれか又はそれらの組み合わせを算出するこ
と、前記特徴ベクトルを生成する際に、前記抽出された
動き情報と共に、算出された該画像の物理的特徴を該画
像領域構成を考慮して配置すること、前記特徴ベクトル
を分割・統合する際に、該特徴ベクトルの類似度を測定
して類似距離行列の算出を行い、距離が最小なクラスタ
対を決定して最小距離クラスタ対を結合し、予め与えた
クラスタの個数と結合されたクラスタの個数とを比較・
判断すること、前記分割・統合した特徴ベクトルを管理
する際に、クラスタリングされた特徴ベクトルを代表す
る代表特徴ベクトルを算出し、該代表特徴ベクトルに符
号を付与し、代表特徴ベクトルと符号との対応を表わす
表を作成すること、前記管理された特徴ベクトルとユー
ザからのイベント入力に基づいてビデオを表示する際
に、該ユーザの入力に対して前記表内の符号と該入力を
照合し、該照合により一致した符号に相当するビデオま
たは画像を表示することを特徴とする。

【００１６】本発明では、上記のように、入力ビデオ信
号のデータ列を保存する画像データ列メモリ部から画像
フレームを読み出して、その各々の画像の持つ物理的特
徴、すなわち一般性を有しコンテントを反映した特徴を
抽出して、各々の画像を特徴付ける特徴ベクトルを生成
し、その特徴ベクトル間での距離を算出して特徴ベクト
ルを分割・統合することによって、自動的に映像を深い
階層構造に構造化して蓄積、管理し、ユーザがイベント
入力を行い、その入力と前記管理されている特徴ベクト
ルに基づいてビデオを表示することにより、ユーザのそ
れぞれの多彩な目的に応じたアクセススタイルのモード
を変化させることを可能とし、従来のアクセススタイル
に捕らわれない新しい映像のとの関わり合いや効率の良
い映像のハンドリングを実現する。

【００１７】

【発明の実施の形態】以下、本発明の実施形態例を、図
面を参照して詳細に説明する。

【００１８】図１に本発明のビデオ管理装置の一実施形
態例の構成図を示す。以下、この構成図に沿って各構成
部及び手法を説明する。

【００１９】図１の１０１のビデオ信号入力部から入力
されたビデオ信号は、１０２の画像データ列メモリ部に
一時的に蓄積される。次に蓄積されたビデオ信号は、１
０３の画像特徴抽出部において物理的な特徴量が抽出さ
れる。

【００２０】画像特徴抽出部１０３では、まず、画像デ
ータ列メモリ部１０２から取り出された画像に対して、
領域分割部１０３ａにおいて空間的な領域分割を行う。
この様子を図２に示す。分割する数は、予め与えた量と
する。図２の場合、２４分割した例である。

【００２１】次に分割された各ブロックから領域統計量
特徴量算出部１０３ｂで物理的特徴量を算出する。２０
１が分割される画像フレームであり、２０２が分割され
たブロックである。２０１のフレームをＦ（Ｘ，Ｙ）で
表し、２０２のブロックをｓｆ（ｘ，ｙ）_i，_jで表す。
ｉ＝０〜４、ｊ＝０〜６であり、ｉ×ｊ＝２４が分割数
である。それぞれのブロックに対して統計的特徴量を算
出する。この様子を図３に示す。各ブロックを色相
（Ｈ）、彩度（Ｃ）、明度（Ｖ）の情報へ変換する。一
般にＦ（Ｘ，Ｙ）は、ＲＧＢの三次元の信号として値を
持っている。Ｆ（Ｘ，Ｙ）は、Ｆ（Ｘ，Ｙ）_red、Ｆ
（Ｘ，Ｙ）_green、Ｆ（Ｘ，Ｙ）_blueと表せる。同様に
ｓｆ（ｘ，ｙ）_i，_jも、ｓｆ（ｘ，ｙ）_red，_i，_j（３
０１）、ｓｆ（ｘ，ｙ）_green，_i，_j（３０２）、ｓｆ
（ｘ，ｙ）_blue，_i，_j（３０３）と表せる。ＲＧＢから
ＨＣＶへの変換は、宮原他〔“色データ（Ｒ，Ｇ，Ｂ）
←→（Ｈ，Ｃ，Ｖ）数学的変換方法”、テレビジョン学
会誌、Ｖｏｌ．４３，Ｎｏ．１０、ｐｐ．１１２９−１
１３６（１９８９）〕が報告している数学的なマンセル
空間への変換式を用いることで可能である。その他ＲＧ
ＢからＹＩＱ等変換〔“カラーテレビ教科書（上）”、
日本放送協会編、日本放送出版社、１９７７〕が報告さ
れているこれらの変換式を用いることも可能である。変
換後の値をそれぞれｓｆ（ｘ，ｙ）_Hue，_i，_j（３０
４）、ｓｆ（ｘ，ｙ）_Croma，_i，_j（３０５）、ｓｆ
（ｘ，ｙ）_Value，_i，_j（３０６）で表す。このように
して色相（Ｈ）、彩度（Ｃ）、明度（Ｖ）へ変換された
ブロック毎のヒストグラム（３０７）、（３０８）、
（３０９）を算出する。また、テクスチャー特徴量を算
出するために（３０４）、（３０５）、（３０６）に対
して二次元フーリエ変換を施し、図４に示した空間周波
数（４０１）、（４０２）、（４０３）を算出する。

【００２２】以上までの画像の空間的特徴に加えて、動
きに関する特徴量を次に算出する。動きの特徴として、
動き情報抽出部１０３ｃにおいて、隣接する画像から動
きベクトルを算出する。算出方法として、ブロックマッ
チング法〔Ｍ．Ｈｏｔｅｒ．“Ｄｉｆｆｅｒｅｎｔｉａ
ｌｅｓｔｉｍａｔｉｏｎｏｆｔｈｅｇｌｏｂａ
ｌｍｏｔｉｏｎｐａｒａｍｔｅｒｓｚｏｏｍａ
ｎｄｐａｎ”、ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎ
ｇ、Ｖｏｌ．１６、Ｎｏ．３、ｐｐ．２４９−２６５
（１９８９）〕、勾配法等〔Ｄ．Ｈ．Ｂａｌｌａｒｄ
ａｎｄＯ．Ａ．Ｋｉｍｂａｌｌ：“ＲｉｇｉｄＢｏ
ｄｙＭｏｔｉｏｎｆｒｏｍＤｅｐｔｈａｎｄＯ
ｐｔｉｃａｌＦｌｏｗ”、ＣｏｍｐｕｔｅｒＶｉｓ
ｉｏｎ，ＧｒａｐｈｉｃｓａｎｄＩｍａｇｅＰｒ
ｏｃｅｓｓｉｎｇ，Ｖｏｌ．２２、ｐｐ．９５−１１５
（１９８３）〕を用いて、算出することが可能である
（図５）。図５中の５０１と５０２は隣接する画像フレ
ームであり、５０３が算出される動きベクトルである。
前記した領域分割との互換性からブロックマッチング法
を用いて動きベクトルをブロック毎（領域毎）に算出し
た例である。

【００２３】次に、図１の１０４の特徴ベクトル生成部
において、１０３の画像特徴抽出部で算出した特徴量か
ら特徴ベクトルの生成を行う。この様子を図６に示す。
１０３の画像特徴抽出部で算出された特徴量（ヒストグ
ラム）から特徴ベクトルを構成する要素を生成する。３
０７のヒストグラムを例に生成の様子を説明する。予め
与えた個数（図６（ａ）の場合では４）でヒストグラム
を分割する（６０１）。分割された範囲で値の平均値を
計算し、その範囲の値とする。それぞれの範囲で計算さ
れた値を６０２で示した様に物理的特徴統合配置部１０
４ａで配置し、ベクトルを作成する。ベクトル６０２を
ＨＩＳＴ_Hue，_ij（ｋ）、ｋ＝０〜３で表す。色相のヒ
ストグラムと同様の方法で、彩度、明度に関してそれぞ
れベクトルを算出する。彩度のベクトルをＨＩＳＴ
_croma，_ij（ｋ）、ｋ＝０〜３、明度のベクトルをＨＩ
ＳＴ_Value，_ij（ｋ）、ｋ＝０〜３で表す。

【００２４】また、図４に示した、テクスチャーに関す
る特徴量についてもベクトル化を行う。４０１の空間周
波数分布を６０３に示す様に分割化を行う。６０３の場
合、４分割である。分割された領域毎に平均値、又は最
大値、分散等の値を算出し、その領域の値とする。それ
ぞれの値を６０４の様に物理的特徴統合配置部１０４ａ
で配置し、ベクトルとする。テクスチャーに関するベク
トルは、ＦＲＥＱ_Hue，_ij（ｋ，ｌ）、ＦＲＥＱ_croma，
_ij（ｋ，ｌ）、ＦＲＥＱ_value，_ij（ｋ，ｌ）とそれぞ
れ表す。また、動き情報は、各ブロック毎に動き変化量
（ｕ，ｖ）_i，_jが算出されている。

【００２５】これらのベクトルから特徴ベクトル｛ＨＩ
ＳＴ_Hue，_ij（ｋ）、ＨＩＳＴ_croma，_ij（ｋ）、ＨＩＳ
Ｔ_Value，_ij（ｋ）、ＦＲＥＱ_Hue，_ij（ｋ，ｌ）、ＦＲ
ＥＱ_croma，_ij（ｋ，ｌ）、ＦＲＥＱ_value，_ij（ｋ，
ｌ）、ｕ，ｖ｝を算出する。

【００２６】次に、１０５の分割・統合部において、特
徴ベクトルのクラスタリングを行う。この処理の流れを
図７に示す。図中、７０１〜７０７はステップを表す。
特徴ベクトルクラスタリングの様子を流れに沿って説明
する。

【００２７】７０１においてまず、類似距離の条件を、
類似距離条件部１０５ａから入力する。ここで与える条
件は、画像の類似度算出する際、類似度に大きく寄与す
る特徴を決定する。画像の特徴として、色、テクスチ
ャ、構図、動き等があるがこれらの類似度算出における
寄与度を７０１で入力する。例えば、色：テクスチャ：
構図：動き：時間＝１０：５：３：１：６の様に入力す
る。構図に関しては、特徴ベクトルの値によらずその構
成が等しいときに構造は等しいとする。例えば、特徴ベ
クトル｛３，３，４，４｝と特徴ベクトル｛１０，１
０，１，１｝は構図は等しいが、色等は異なるとする。
時間は、対象としている画像はビデオのフレームであ
り、時間的にシーケンシャルなものである。時間的に連
続する画像は、それ自身類似している。この拘束条件を
コントロールすることを目的として類似度の時間寄与度
を導入する。時間の寄与度が小さい場合、隣接する画像
フレームの拘束は無く、一枚一枚の静止画像の集まりと
して考える。

【００２８】次に、７０２において最終的なクラスタの
数を入力していく。以下、７０３において、類似距離行
列算出部１０５ｂで類似距離を算出し、７０４におい
て、最小距離結合部１０５ｃで最小距離のクラスタ対を
発見し、７０５において、同じく最小距離結合部１０５
ｃでそれらを融合し、７０６において、再び類似距離行
列算出部１０５ｂで融合後の新しい類似距離を算出す
る。算出後、クラスタ数が、７０２で与えた最終クラス
タ数と一致するかどうかを結合対判断部１０５ｄで判断
し、一致すればクラスタリング処理を完了し、そうでな
ければ、７０４へ戻り処理を繰り返す。

【００２９】以上の一連のクラスタリングの各階段での
類似距離の計算では、最初に全ての特徴ベクトル間の類
似距離を算出しておけば、後のクラスタと特徴ベクトル
間、及びクラスタ間の類似距離は漸化式によって計算で
きる。これをここで説明する。クラスタｉ（特徴ベクト
ル数ｎ_i）とクラスタｊ（特徴ベクトル数ｎ_j）を融合し
て新クラスタｋ（特徴ベクトル数ｎ_k）を作ったとす
る。

【００３０】ｎ_k＝ｎ_i＋ｎ_j、このときクラスタｋに含まれない特徴ベクトルあるいは
クラスタをｈとして、融合前の各クラスタ間の距離をそ
れぞれｄ_hi，ｄ_hj，ｄ_ijとすれば、ｋとｈの距離ｄ_hkは
次式で与えられる。

【００３１】ｄ_hk＝α_iｄ_hi＋α_jｄ_hj＋βｄ_ji＋γ｜ｄ_hi−ｄ_hj｜、あるいは、ｄ² _hk＝α_iｄ² _hi＋α_jｄ² _hj＋βｄ² _ji＋γ｜ｄ² _hi−ｄ²
_hj｜、ここでα_i，α_j，β，γは類似距離の定義によって決ま
る定数であり、前記した寄与度から算出するものであ
る。従来報告されている距離も本発明で用いることは可
能である。

【００３２】ここで幾つか従来報告されている距離を説
明する。

【００３３】１）最短距離法クラスタｋとｈに含まれる最短距離にある特徴ベクトル
間の距離ｄ_hkと定義する方法がある。

【００３４】α_i＝α_j＝１／２，β＝０，γ＝−１／
２，ｄ_hk＝ｍａｘ［ｄ_hi，ｄ_hj］２）最長距離法クラスタｋとｈに含まれる最長距離にある特徴ベクトル
間の距離ｄ_hkと定義する方法である。

【００３５】α_i＝α_j＝１／２，β＝０，γ＝１／２，
ｄ_hk＝ｍａｘ［ｄ_hi，ｄ_hj］３）メディアン法ｄ_hkをｄ_hiとｄ_hjの中間値に設定する方法である。

【００３６】α_i＝α_j＝１／２，β＝−１／４，γ＝
０，ｄ_hk＝ｍａｘ［ｄ_hi，ｄ_hj］４）重心法クラスタ間の距離をクラスタの重心間距離で定義するも
のである。

【００３７】α_i＝ｎ_i／ｎ_k，α_j＝ｎ_j／ｎ_k，β＝−ｎ
_iｎ_j／ｎ² _k，γ＝０，ｄ_hk＝ｍａｘ［ｄ_hi，ｄ_hj］５）群平均法クラスタ間の距離をその２つのクラスタに含まれる全て
の特徴ベクトル間の距離の２乗平均で定義するものであ
る。

【００３８】α_i＝ｎ_i／ｎ_k，α_j＝ｎ_j／ｎ_k，β＝０，
γ＝０，ｄ_hk＝ｍａｘ［ｄ_hi，ｄ_hj］上記説明した距離も類似距離として用い、特徴ベクトル
のクラスタリングを上記説明した一連の流れによって行
う。

【００３９】次に、図１の１０６の特徴ベクトル管理部
において、クラスタリングされた特徴ベクトルの代表特
徴ベクトルを代表特徴ベクトル算出部１０６ａで算出
し、算出された各々の代表特徴ベクトルを構造的に管理
する。クラスタリングされた各クラスタの重心、平均、
最長、最短等を算出し、代表特徴ベクトルとする。代表
特徴ベクトルを管理する構造の作成を図８を用いて説明
する。クラスタリング前を８０１とする。８０１を２つ
にクラスタリング（８０２と８０３）し、代表特徴ベク
トルをＨ₀，Ｈ₁とする。同様にクラスタリングされたク
ラスタに対して２つに分割し、それぞれ代表特徴ベクト
ルを算出する。分割されたクラスタは、図８に示すよう
に階層構造を有し、それぞれの階層において代表特徴ベ
クトルが算出されている。１０６ｂの符号部においてＨ
₀等の符号が代表特徴ベクトルに対して付けされ、符号
と代表特徴ベクトルの対応表を１０６ｃの符号帳作成部
において作成する。上記の説明は、クラスタを分割する
方向で階層を作成するアプローチであるが、逆にクラス
タを統合する方向で階層を作成するアプローチも可能で
ある。

【００４０】最後に図１の１０７のユーザインタフェー
ス部について説明する。図９にユーザインタフェースの
例（９０１）を示す。ユーザインタフェースは図１の入
力部１０７ａと表示部１０７ｂからなる。入力部１０７
ａでは、まず、９０５から管理・アクセスするファイル
名を入力する。入力として外部ＡＶ機器からの入力も可
能である。また、９０４からクラスタリングする際の寄
与度の入力を行う。ここ入力された値は、分割・統合部
１０５の類似距離行列算出部１０５ｂへ反映される。９
０７から算出された符号帳の保存、読み込みを可能とす
る。符号帳作成もしくは読み込み後、粒度のスクロール
バー９０２からユーザは、それぞれの多彩な目的に応じ
たアクセススタイルのモードを変化させる。ユーザの粒
度の入力に応じて、図１の符号照合部１０７ｃでは、入
力に応じた符号を符号帳から検索し、表示部１０７ｂへ
対応する画像の情報を送る。表示部１０７ｂでは、送ら
れた情報を基づいて３次元等階層的な表示を行う。ま
た、表示された画像９０３に対して、マウス等で選択す
ることにより、９０６のモニタで対応する位置からビデ
オの再生を行うことも可能にしている。これは、表示部
１０７ｂへ送られる情報中に再生位置情報等の様々な情
報が含まれていることから可能にしている。

【００４１】次に、本発明のビデオ管理方法の一実施形
態例を示す。図１０は、それを示すフローチャートであ
る。図中、９０１〜９０９はステップを表す。

【００４２】まず、９０１において、計算機に入力され
保存されているビデオ信号の画像フレームのデータ列を
画像データ列メモリ部から読み出して入力する。次に、
９０２において、該画像フレームの各々の画像に対して
領域分割を行い、物理的特徴を抽出する。また、９０３
においては、画像フレームからそれに含まれる動き情報
を物理的特徴として算出する。次に、９０４において、
これらの物理的特徴から各々の画像を特徴付ける特徴ベ
クトルを生成する。次に、９０５において、該特徴ベク
トル間での距離を算出して特徴ベクトルを分割・統合す
る。次に、９０６において、該分割・統合した特徴ベク
トルを管理する。次に、９０７において、該管理された
特徴ベクトルとユーザからのイベント入力に基づいてビ
デオの表示を行い、９０８において、終了を判断し継続
であれば、９０９において、ユーザのイベント入力を受
けて、同様に９０７におけるビデオの表示を行う。

【００４３】以上、本発明の実施形態例に基づき具体的
に説明したが、本発明は、前記実施形態例に限定される
ものではなく、その要旨を逸脱しない範囲において種々
の変更が可能であることは言うまでもない。

【００４４】

【発明の効果】以上説明したように本発明によれば、自
動的に映像を構造化し、蓄積すること、ユーザのそれぞ
れの多彩な目的に応じたアクセススタイルのモードを変
化させることが可能となり、従来のアクセススタイルに
捕らわれない新しい映像のとの関わり合いや効率の良い
映像のハンドリングが実現できる。

【図面の簡単な説明】

【図１】本発明のビデオ管理装置の一実施形態例を示す
構成図

【図２】上記実施形態例における画像の領域分割の例を
示す図

【図３】（ａ），（ｂ）は上記実施形態例における領域
物理特徴の抽出（色味：ヒストグラム）の様子を説明す
る図

【図４】上記実施形態例における領域物理特徴の抽出
（テクスチャー：空間周波数）の様子を説明する図

【図５】上記実施形態例における領域物理特徴の抽出
（動き情報：動きベクトル）の様子を説明する図

【図６】（ａ），（ｂ）は上記実施形態例における特徴
のベクトル化の様子を説明する図

【図７】上記実施形態例における分割・統合部における
処理の流れを示すフローチャート

【図８】上記実施形態例における代表特徴ベクトルの階
層構造化の様子を説明する図

【図９】上記実施形態例におけるユーザインタフェース
の例を示す図

【図１０】本発明のビデオ管理方法の一実施形態例を示
すフローチャート

【符号の説明】

１０１…ビデオ信号入力部１０２…画像データ列メモリ部１０３…画像特徴抽出部１０４…特徴ベクトル生成部１０５…分割・統合部１０６…特徴ベクトル管理部１０７…ユーザインタフェース部

Claims

【特許請求の範囲】

【請求項１】ビデオデータを蓄積管理する装置におい
て、ビデオ信号を計算機に入力するビデオ信号入力部と、入
力される該ビデオ信号のデータ列を保存する画像データ
列メモリ部と、該メモリ部から画像フレームを読み出し
該画像フレームの各々の画像に対して物理的特徴を抽出
する画像特徴抽出部と、該抽出された物理的特徴から各
々の画像を特徴付ける特徴ベクトルを生成する特徴ベク
トル生成部と、該特徴ベクトル間での距離を算出し特徴
ベクトルを分割・統合する分割・統合部と、該分割・統
合した該特徴ベクトルを管理する特徴ベクトル管理部
と、該管理された特徴ベクトルとユーザからのイベント
入力に基づいてビデオを表示しかつユーザが該イベント
入力を行うユーザインタフェース部とを備えることを特
徴とするビデオ管理装置。
【請求項２】前記画像特徴抽出部は、前記メモリ部か
ら画像フレームを読み出しその画像データ列から含まれ
る動き情報を抽出する動き情報抽出部と、該画像フレー
ムの各々の画像から物理的特徴を算出する際に各々の画
像を空間的に領域分割する領域分割部と、該分割された
各領域のもつ情報を色相、彩度、明度のいずれか又はそ
れらの組み合わせからなる情報に変換し、該変換された
情報から領域全体のヒストグラム、テクスチャ特徴量の
いずれか又はそれらの組み合わせを算出する領域統計特
徴量算出部とを備えることを特徴とする請求項１に記載
のビデオ管理装置。
【請求項３】前記特徴ベクトル生成部は、前記動き情
報抽出部で抽出された動き情報と共に、前記算出された
画像の物理的特徴を該画像領域構成を考慮して配置する
物理的特徴配置部を備えることを特徴とする請求項２に
記載のビデオ管理装置。
【請求項４】前記分割・統合部は、前記特徴ベクトル
の類似度を算出する際の条件を与える類似距離条件部
と、該条件に基づいて該特徴ベクトルの類似度を測定し
類似距離行列の算出を行う類似距離行列算出部と、距離
が最小なクラスタ対を決定し最小距離クラスタ対を結合
する最小距離結合部と、予め与えたクラスタの個数と結
合されたクラスタの個数とを比較・判断する結合対判断
部とを備えることを特徴とする請求項１、請求項２、請
求項３のいずれかに記載のビデオ管理装置。
【請求項５】前記特徴ベクトル管理部は、クラスタリ
ングされた特徴ベクトルを代表する代表特徴ベクトルを
算出する代表特徴ベクトル算出部と、該代表特徴ベクト
ルに符号を付与する符号化部と、該代表特徴ベクトルと
該符号との対応を表わす表を作成する符号帳作成部とを
備えることを特徴とする請求項４に記載のビデオ管理装
置。
【請求項６】前記ユーザインタフェース部は、ユーザ
の入力に対して符号帳内の符号と該入力を照合する符号
照合部と、該照合により一致した符号に相当するビデオ
または画像を表示する表示部とを備えることを特徴とす
る請求項５に記載のビデオ管理装置。
【請求項７】ビデオデータを蓄積管理する方法におい
て、ビデオ信号を計算機に入力し、入力される該ビデオ信号
のデータ列を画像データ列メモリ部に保存し、該メモリ
部から画像フレームを読み出して該画像フレームの各々
の画像に対して物理的特徴を抽出し、該抽出された物理
的特徴から各々の画像を特徴付ける特徴ベクトルを生成
し、該特徴ベクトル間での距離を算出して特徴ベクトル
を分割・統合し、該分割・統合した特徴ベクトルを管理
し、該管理された特徴ベクトルとユーザからのイベント
入力に基づいてビデオの表示を行うことを特徴とするビ
デオ管理方法。
【請求項８】前記画像の物理的特徴を抽出する際に、
前記メモリ手段から画像フレームを読み出し、その画像
データ列から含まれる動き情報を抽出し、各々の画像か
ら物理的特徴を算出する際には該画像フレームの各々の
画像を空間的に領域分割し各領域のもつ情報を色相、彩
度、明度のいずれか又はそれらの組み合わせからなる情
報に変換して該変換情報から領域全体のヒストグラム、
テクスチャ特徴量のいずれか又はそれらの組み合わせを
算出することを特徴とする請求項７に記載のビデオ管理
方法。
【請求項９】前記特徴ベクトルを生成する際に、前記
抽出された動き情報と共に、算出された該画像の物理的
特徴を該画像領域構成を考慮して配置することを特徴と
する請求項８に記載のビデオ管理方法。
【請求項１０】前記特徴ベクトルを分割・統合する際
に、該特徴ベクトルの類似度を測定して類似距離行列の
算出を行い、距離が最小なクラスタ対を決定して最小距
離クラスタ対を結合し、予め与えたクラスタの個数と結
合されたクラスタの個数とを比較・判断することを特徴
とする請求項７、請求項８、請求項９のいずれかに記載
のビデオ管理方法。
【請求項１１】前記分割・統合した特徴ベクトルを管
理する際に、クラスタリングされた特徴ベクトルを代表
する代表特徴ベクトルを算出し、該代表特徴ベクトルに
符号を付与し、代表特徴ベクトルと符号との対応を表わ
す表を作成することを特徴とする請求項７、請求項８、
請求項９、請求項１０のいずれかに記載のビデオ管理方
法。
【請求項１２】前記管理された特徴ベクトルとユーザ
からのイベント入力に基づいてビデオを表示する際に、
該ユーザの入力に対して前記表内の符号と該入力を照合
し、該照合により一致した符号に相当するビデオまたは
画像を表示することを特徴とする請求項７、請求項８、
請求項９、請求項１０、請求項１１のいずれかに記載の
ビデオ管理方法。