JP3208116B2 - 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像インデックス
情報を記録した記録媒体、映像インデックス情報を用い
た映像情報管理方法、音声インデックス情報を記録した
記録媒体および音声インデックス情報を用いた音声情報
管理方法に関し、より詳細には、動画または／および音
声の検索、放送情報へのインデックス付与、映像番組の
編集・作成、映像情報に対する新たな情報サービスの提
供等に利用可能な映像インデックス情報を記録した記録
媒体、映像インデックス情報を用いた映像情報管理方
法、音声インデックス情報を記録した記録媒体および音
声インデックス情報を用いた音声情報管理方法に関す
る。

【０００２】

【従来の技術】近年、コンピュータ関連技術、情報処理
技術の発展や、インターネット、イントラネット、エク
ストラネット等の電子ネットワークの普及に伴って、日
常の生活・業務・サービス等で利用される身の回りのあ
らゆる情報が電子化され、電子情報として伝達された
り、あるいはコンピュータ世界のデータベース等に蓄積
されて、利用・活用されている。

【０００３】したがって、電子情報は、その情報がアナ
ログデータであるか、デジタルデータであるかに関わら
ず、様々な形で利用・活用（例えば、情報の加工・情報
の検索・情報の伝達等）されており、この電子情報その
ものを利用・活用し易い形式・データ構造で扱う技術が
種々提供されている。

【０００４】例えば、電子情報の一つであるテキスト情
報は、その論理的な構造を表現するために、ＳＧＭＬ、
ＨＴＭＬ、ＸＭＬ等の論理構造を表現する構造タグが定
義され、情報を伝達するときに、内容とその論理構造で
表現することができるようになっている。このため、テ
キスト情報を利用・活用する際に、例えば、内部の論理
構造を用いて、効率的な検索・適切な要約文の生成・処
理速度の高速化等を図ることができる。

【０００５】また、電子情報の一つである画像情報に関
しても、静止画や、動画を効率的に蓄積したり、検索し
たりできる画像ファイリング技術が提供されている。

【０００６】さらに、映像を検索するための従来技術と
しては、例えば、特開平９−１８４３２号公報『映像音
声素材管理検索システム』や、特開平９−５０４３６号
公報『映像検索方法』、特開平１０−４０２６０号公報
『映像検索方法』が提供されている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の技術によれば、音声と動画とを有する映像情報に関
しては、映像情報の内部の論理構造を表現する方法が提
供されていないため、他の情報と比較して映像情報の利
用・活用が容易でないという問題点や、映像情報を再現
する際の再現方法に制約があるという問題点があった。
換言すれば、映像情報の操作性・作業性・取扱性の向上
を図れる十分なユーザ・インターフェースの手法が提供
されていないという問題点があった。

【０００８】具体的には、例えば、映像情報の内部情
報に及んだ検索ができないという不具合や、目的のシ
ーンを特定するためには、一度映像情報を全て観ること
によってマークを付ける等の処理を行わないと頭だしが
できないという不具合や、映像情報の要約（ダイジェ
スト）を作成するには専門の機器や技術が必要であると
いう不具合等があった。

【０００９】また、上記映像を検索するための従来の技
術によれば、複数の映像情報（例えば、複数の動画コン
テンツ）の中から所望の映像（シーン）が含まれる映像
情報を検索したり、または１つの映像情報中において所
望の映像が含まれる位置（区間）を特定することが可能
であるものの、以下の不具合が存在するため、一般化し
て全ての映像情報に適用することはできないという問題
点があった。

【００１０】特開平９−１８４３２号公報『映像音声素
材管理検索システム』によれば、放送局や、大量・多量
の映像情報を扱う会社・施設等で使用するシステムが前
提であり、かつ、検索対象となる映像がニュース番組等
のように映像の内容を文字で表現した原稿が存在するも
のに限られるという不具合があった。

【００１１】また、特開平９−５０４３６号公報『映像
検索方法』によれば、各映像情報に対して検索用キーワ
ードが付与されているので、所望の映像情報を示す検索
キーワードを入力することにより、検索キーワードと一
致する検索用キーワードが付与された映像情報を所望の
映像情報として検索することができるものの、検索用キ
ーワードを付与する際に、基本的には対象となる映像情
報全体の内容を考慮して検索用キーワードを付与する必
要があるため、例えば、１つの映像情報に多数のトピッ
クスが存在する場合や、１つの映像情報の時間が長い場
合には、検索用キーワードを選択または決定して付与す
ることが面倒であるという不具合があった。

【００１２】また、特開平１０−４０２６０号公報『映
像検索方法』では、検索対象となる映像情報中にテロッ
プ等の文字情報が含まれることが前提であるため、テロ
ップ等を含まない映像情報には適用できないという不具
合があった。

【００１３】また、同様に上記従来の技術によれば、音
声情報に関しても、音声情報の内部の論理構造を表現す
る方法が提供されていないため、他の情報と比較して音
声情報の利用・活用が容易でないという問題点や、音声
情報を再現する際の再現方法に制約があるという問題点
があった。換言すれば、音声情報の操作性・作業性・取
扱性の向上を図れる十分なユーザ・インターフェースの
手法が提供されていないという問題点があった。

【００１４】本発明は上記に鑑みてなされたものであっ
て、映像情報の内部の論理構造を表現可能なデータ構造
を有する映像インデックス情報を記録した記録媒体を提
供することを第１の目的とする。

【００１５】また、本発明は上記に鑑みてなされたもの
であって、映像情報の内部の論理構造を表現可能なデー
タ構造を有する映像インデックス情報を用いることによ
り、映像検索の利便性の向上を図った映像インデックス
情報を記録した記録媒体を提供することを第２の目的と
する。

【００１６】また、本発明は上記に鑑みてなされたもの
であって、映像情報の内部の論理構造を表現可能とし、
映像情報の利用・活用を容易にし、映像情報の再現方法
の自由度を高め、映像情報の操作性・作業性・取扱性の
向上を図ったユーザ・インターフェースの手法を提供す
ることを第３の目的とする。

【００１７】また、本発明は上記に鑑みてなされたもの
であって、映像情報の再現方法の自由度を高めて、映像
情報を効率的・効果的に利用・活用できるユーザ・イン
ターフェースの手法を提供することを第４の目的とす
る。

【００１８】本発明は上記に鑑みてなされたものであっ
て、音声情報の内部の論理構造を表現可能なデータ構造
を有する音声インデックス情報を記録した記録媒体を提
供することを第５の目的とする。

【００１９】また、本発明は上記に鑑みてなされたもの
であって、音声情報の内部の論理構造を表現可能なデー
タ構造を有する音声インデックス情報を用いることによ
り、音声検索の利便性の向上を図った音声インデックス
情報を記録した記録媒体を提供することを第６の目的と
する。

【００２０】また、本発明は上記に鑑みてなされたもの
であって、音声情報の内部の論理構造を表現可能とし、
音声情報の利用・活用を容易にし、音声情報の再現方法
の自由度を高め、音声情報の操作性・作業性・取扱性の
向上を図ったユーザ・インターフェースの手法を提供す
ることを第７の目的とする。

【００２１】

【課題を解決するための手段】上記第１および第２の目
的を達成するために、請求項１に係る映像インデックス
情報を記録した記録媒体は、映像情報を解析して作成し
た映像インデックス情報を記録したコンピュータ読み取
り可能な記録媒体であって、前記映像インデックス情報
が、前記映像情報中の任意の連続するフレームを１単位
の情報として管理する少なくとも１つのフレーム情報
と、前記映像情報中の任意の範囲に対応した音声を１単
位の情報として管理する少なくとも１つのサウンド情報
と、１単位の情報である前記フレーム情報およびサウン
ド情報を分類して、所望の意味のある集合として管理す
る少なくとも１つのセグメント情報と、前記セグメント
情報を複数まとめて管理するためのパッケージ情報と、
を構造要素オブジェクトとしたツリー構造であり、さら
に前記セグメント情報が、そのセグメント情報が管理す
る前記フレーム情報およびサウンド情報と同一の範囲の
フレームおよび音声を用いて生成された他のセグメント
情報を複数まとめて管理するためのパッケージ情報を管
理し、前記ツリー構造において、１つのセグメント情報
の下位に、前記フレーム情報およびサウンド情報に加え
て前記パッケージ情報を配置したデータ構造であるもの
である。

【００２２】また、請求項２に係る映像インデックス情
報を記録した記録媒体は、請求項１記載の映像インデッ
クス情報を記録した記録媒体において、前記構造要素オ
ブジェクトのうち、少なくとも１種類の構造要素オブジ
ェクトが、その構造要素オブジェクトが直接または間接
的に管理するフレームまたは／および音声の内容を検索
するための検索情報を有するものである。

【００２３】また、請求項３に係る映像インデックス情
報を記録した記録媒体は、請求項１記載の映像インデッ
クス情報を記録した記録媒体において、前記構造要素オ
ブジェクトが、それぞれその構造要素オブジェクトが直
接または間接的に管理するフレームまたは／および音声
の内容を検索するための検索情報を有するものである。

【００２４】また、上記第３の目的を達成するために、
請求項４に係る映像インデックス情報を用いた映像情報
管理方法は、少なくとも複数のフレームを含む映像情報
を解析して、前記映像情報とは別に前記映像情報を管理
するための映像インデックス情報を生成し、生成した映
像インデックス情報を参照することにより前記映像情報
を管理する映像インデックス情報を用いた映像情報管理
方法であって、前記映像インデックス情報が、前記映像
情報中の任意の連続するフレームを１単位の情報として
管理する少なくとも１つのフレーム情報と、前記映像情
報中の任意の範囲に対応した音声を１単位の情報として
管理する少なくとも１つのサウンド情報と、１単位の情
報である前記フレーム情報およびサウンド情報を分類し
て、所望の意味のある集合として管理する少なくとも１
つのセグメント情報と、前記セグメント情報を複数まと
めて管理するためのパッケージ情報と、を構造要素オブ
ジェクトとしたツリー構造であり、さらに前記セグメン
ト情報が、そのセグメント情報が管理する前記フレーム
情報およびサウンド情報と同一の範囲のフレームおよび
音声を用いて生成された他のセグメント情報を複数まと
めて管理するためのパッケージ情報を管理し、前記ツリ
ー構造において、１つのセグメント情報の下位に、前記
フレーム情報およびサウンド情報に加えて前記パッケー
ジ情報を配置し、前記映像インデックス情報のツリー構
造および構造要素オブジェクトを用いて前記映像情報を
管理するものである。

【００２５】また、請求項５に係る映像インデックス情
報を用いた映像情報管理方法は、請求項４記載の映像イ
ンデックス情報を用いた映像情報管理方法において、前
記映像インデックス情報のツリー構造中の特定の構造要
素オブジェクトを指定し、該当する構造要素オブジェク
トのみを可視または／および可聴するものである。

【００２６】また、請求項６に係る映像インデックス情
報を用いた映像情報管理方法は、請求項４または５記載
の映像インデックス情報を用いた映像情報管理方法にお
いて、前記フレーム情報が、ツリー構造中のノードＩ
Ｄ、そのフレーム情報で管理する連続するフレームの範
囲、および前記映像情報における位置を示すポインタを
有しているものである。

【００２７】また、請求項７に係る映像インデックス情
報を用いた映像情報管理方法は、請求項４〜６記載のい
ずれか一つの映像インデックス情報を用いた映像情報管
理方法において、前記サウンド情報が、ツリー構造中の
ノードＩＤ、そのサウンド情報で管理する任意の範囲、
および前記映像情報における位置を示すポインタを有し
ているものである。

【００２８】また、請求項８に係る映像インデックス情
報を用いた映像情報管理方法は、請求項４〜７記載のい
ずれか一つの映像インデックス情報を用いた映像情報管
理方法において、前記セグメント情報が、ツリー構造中
のノードＩＤ、そのセグメント情報で管理するフレーム
情報・サウンド情報・パッケージ情報を特定するための
特定情報、および、そのセグメント情報が属する上位の
パッケージ情報へのポインタを有しているものである。

【００２９】また、請求項９に係る映像インデックス情
報を用いた映像情報管理方法は、請求項４〜８記載のい
ずれか一つの映像インデックス情報を用いた映像情報管
理方法において、前記パッケージ情報が、ツリー構造中
のノードＩＤ、そのパッケージ情報で管理するセグメン
ト情報のリスト、および、そのパッケージ情報が属する
上位のセグメント情報へのポインタを有しているもので
ある。

【００３０】また、請求項１０に係る映像インデックス
情報を用いた映像情報管理方法は、請求項４〜９記載の
いずれか一つの映像インデックス情報を用いた映像情報
管理方法において、さらに前記映像インデックス情報
が、そのツリー構造中に任意の属性オブジェクトを配置
することが可能であり、前記映像インデックス情報中の
全ての構造要素オブジェクトは、前記属性オブジェクト
へのポインタを有し、前記属性オブジェクトおよび前記
属性オブジェクトへのポインタを用いて、任意の構造要
素オブジェクトに対して任意の付加情報を追加すること
が可能であるものである。

【００３１】また、上記第４の目的を達成するために、
請求項１１に係る映像インデックス情報を用いた映像情
報管理方法は、少なくとも複数のフレームを含む映像情
報を解析して、前記映像情報とは別に前記映像情報を管
理するための映像インデックス情報を生成し、生成した
映像インデックス情報を参照することにより前記映像情
報を管理する映像インデックス情報を用いた映像情報管
理方法であって、前記映像インデックス情報が、少なく
とも前記映像情報中の任意の連続するフレームの範囲を
管理するための複数のセグメント情報と、前記複数のセ
グメント情報をどのような順序でたどるかを示すセグメ
ント情報間のリンクリストからなるビュー情報と、を有
し、あらかじめ前記映像情報を構成する前記複数のセグ
メント情報の中から、所望の数のセグメント情報を所望
の順序でたどるリンクリストを複数生成し、各々のリン
クリストに対応する複数のビュー情報を設定し、前記複
数のビュー情報を有する前記映像インデックス情報を用
いて前記映像情報を管理するものである。

【００３２】また、請求項１２に係る映像インデックス
情報を用いた映像情報管理方法は、請求項１１記載の映
像インデックス情報を用いた映像情報管理方法におい
て、前記映像インデックス情報の複数のビュー情報の中
から特定のビュー情報を指定し、指定したビュー情報の
リンクリストを用いて前記映像情報中の一部を可視また
は／および可聴するものである。

【００３３】また、請求項１３に係る映像インデックス
情報を用いた映像情報管理方法は、請求項４〜１２記載
のいずれか一つの映像インデックス情報を用いた映像情
報管理方法において、前記映像インデックス情報を前記
映像情報と分離して保存するものである。

【００３４】また、上記第５および６の目的を達成する
ために、請求項１４に係る音声インデックス情報を記録
した記録媒体は、音声情報を解析して作成した音声イン
デックス情報を記録したコンピュータ読み取り可能な記
録媒体であって、前記音声インデックス情報が、前記音
声情報中の任意の範囲に対応した音声を１単位の情報と
して管理する少なくとも１つのサウンド情報と、１単位
の情報である前記サウンド情報を分類して、所望の意味
のある集合として管理する少なくとも１つのセグメント
情報と、前記セグメント情報を複数まとめて管理するた
めのパッケージ情報と、を構造要素オブジェクトとした
ツリー構造であり、さらに前記セグメント情報が、その
セグメント情報が管理する前記サウンド情報と同一の範
囲の音声を用いて生成された他のセグメント情報を複数
まとめて管理するためのパッケージ情報を管理し、前記
ツリー構造において、１つのセグメント情報の下位に、
前記サウンド情報に加えて前記パッケージ情報を配置し
たものである。

【００３５】また、請求項１５に係る音声インデックス
情報を記録した記録媒体は、請求項１４記載の音声イン
デックス情報を記録した記録媒体において、前記構造要
素オブジェクトのうち、少なくとも１種類の構造要素オ
ブジェクトが、その構造要素オブジェクトが直接または
間接的に管理する音声の内容を検索するための検索情報
を有するものである。

【００３６】また、請求項１６に係る音声インデックス
情報を記録した記録媒体は、請求項１４記載の音声イン
デックス情報を記録した記録媒体において、前記構造要
素オブジェクトが、それぞれその構造要素オブジェクト
が直接または間接的に管理する音声の内容を検索するた
めの検索情報を有するものである。

【００３７】また、上記第７の目的を達成するために、
請求項１７に係る音声インデックス情報を用いた音声情
報管理方法は、音声情報を解析して、前記音声情報とは
別に前記音声情報を管理するための音声インデックス情
報を生成し、生成した音声インデックス情報を参照する
ことにより前記音声情報を管理する音声インデックス情
報を用いた音声情報管理方法であって、前記音声インデ
ックス情報が、前記音声情報中の任意の範囲に対応した
音声を１単位の情報として管理する少なくとも１つのサ
ウンド情報と、１単位の情報である前記サウンド情報を
分類して、所望の意味のある集合として管理する少なく
とも１つのセグメント情報と、前記セグメント情報を複
数まとめて管理するためのパッケージ情報と、を構造要
素オブジェクトとしたツリー構造であり、さらに前記セ
グメント情報が、そのセグメント情報が管理する前記サ
ウンド情報と同一の範囲の音声を用いて生成された他の
セグメント情報を複数まとめて管理するためのパッケー
ジ情報を管理し、前記ツリー構造において、１つのセグ
メント情報の下位に、前記サウンド情報に加えて前記パ
ッケージ情報を配置し、前記音声インデックス情報のツ
リー構造および構造要素オブジェクトを用いて前記音声
情報を管理するものである。

【００３８】また、請求項１８に係る音声インデックス
情報を用いた音声情報管理方法は、請求項１７記載の音
声インデックス情報を用いた音声情報管理方法におい
て、前記音声インデックス情報を前記音声情報と分離し
て保存するものである。

【００３９】

【発明の実施の形態】以下、本発明の映像インデックス
情報を記録した記録媒体、映像インデックス情報を用い
た映像情報管理方法、音声インデックス情報を記録した
記録媒体および音声インデックス情報を用いた音声情報
管理方法について、〔実施の形態１〕〜〔実施の形態
３〕の順で、添付の図面を参照して詳細に説明する。

【００４０】〔実施の形態１〕実施の形態１の映像イン
デックス情報を用いた映像情報管理方法では、映像情報
として、例えば、放送情報、ビデオ情報等のように動画
と音声とを含む情報を対象としており、少なくとも複数
のフレームを含む映像情報を解析して、映像情報とは別
に映像情報を管理するための映像インデックス情報を生
成する。この映像インデックス情報は、基本的に後述す
るフレーム情報、サウンド情報、セグメント情報および
パッケージ情報を構造要素オブジェクトとしたツリー構
造で構成されており、この生成した映像インデックス情
報のツリー構造および構造要素オブジェクトを用いて映
像情報を管理するものである。

【００４１】また、後述するように、ツリー構造中に任
意の属性オブジェクトを配置することが可能であり、こ
の属性オブジェクトを用いて、上記構造要素オブジェク
トに対応させて必要なデータを保持することができる構
成である。なお、この属性オブジェクトとして、各構造
要素オブジェクトが直接または間接的に管理するフレー
ムまたは／音声の内容を検索するための検索情報を設定
することにより、映像インデックス情報によって構造化
された映像情報の詳細な検索を容易に行うことが可能と
なる。

【００４２】以下、実施の形態１の映像インデックス情
報を用いた映像情報管理方法について、 実施の形態１の映像インデックス情報のデータ構造 実施の形態１の映像インデックス情報の生成方法 応用例 の順で詳細に説明する。

【００４３】 実施の形態１の映像インデックス情報
のデータ構造 図１は、映像インデックス情報のデータ構造を示す説明
図である。映像インデックス情報１００は、図示の如
く、複数の構造要素オブジェクトを階層化したツリー構
造で構成されており、この映像インデックス情報１００
そのものを一つのデータ・ファイル（インデックス・フ
ァイル）として取り扱うことができる。したがって、映
像インデックス情報１００は、映像情報と一体で保存す
ることも可能であり、また映像情報と分離して保存する
ことも可能である。

【００４４】映像インデックス情報１００の構造要素オ
ブジェクトは、ツリー情報１０１と、フレーム情報１０
２（１０２Ａ〜１０２Ｆ）と、サウンド情報１０３（１
０３Ａ〜１０３Ｆ）と、セグメント情報１０４（１０４
Ａ〜１０４Ｆ）と、パッケージ情報１０５（１０５Ａ〜
１０５Ｃ）と、から構成される。

【００４５】ツリー情報１０１は、１つの映像インデッ
クス情報１００のツリー構造の最上位に設定される情報
であり、１つの映像情報に関する全ての構造要素オブジ
ェクトがこの下位の層に配置されている。換言すれば、
１つの映像インデックス情報１００の入口を宣言する情
報である。また、このツリー情報１０１の下位には、映
像情報（音声および動画）全体を表す１つのパッケージ
情報１０５Ａが配置されており、このパッケージ情報１
０５Ａの下には映像情報全体を表す１つのセグメント情
報１０４Ａが配置されている。

【００４６】フレーム情報１０２は、映像情報中の任意
の連続するフレームを１単位の情報として管理するため
の情報であり、ツリー構造中のノードＩＤ、そのフレー
ム情報で管理する連続するフレームの範囲、および映像
情報における位置を示すポインタを有している。

【００４７】サウンド情報１０３は、映像情報中の任意
の範囲に対応した音声を１単位の情報として管理するた
めの情報であり、ツリー構造中のノードＩＤ、そのサウ
ンド情報で管理する任意の範囲、および映像情報におけ
る位置を示すポインタを有している。

【００４８】セグメント情報１０４は、１単位の情報で
あるフレーム情報１０２およびサウンド情報１０３を分
類して、所望の意味のある集合として管理するための情
報であると共に、そのセグメント情報１０４が管理する
フレーム情報１０２およびサウンド情報１０３と同一の
範囲のフレームおよび音声を用いて生成された他のセグ
メント情報１０４を複数まとめて管理するためのパッケ
ージ情報１０５を管理するための情報である。なお、セ
グメント情報１０４は、ツリー構造中のノードＩＤ、そ
のセグメント情報１０４で管理するフレーム情報・サウ
ンド情報・パッケージ情報を特定するための特定情報、
および、そのセグメント情報１０４が属する上位のパッ
ケージ情報１０５へのポインタを有している。

【００４９】例えば、図において、セグメント情報１０
４Ａは、フレーム情報１０２Ａ、サウンド情報１０３Ａ
およびパッケージ情報１０５Ｂを管理するための情報で
あり、セグメント情報１０４ＡのノードＩＤと、フレー
ム情報１０２Ａ・サウンド情報１０３Ａ・パッケージ情
報１０５Ｂを特定するための特定情報と、そのセグメン
ト情報１０４Ａが属する上位のパッケージ情報１０５Ａ
へのポインタとを有している。

【００５０】パッケージ情報１０５は、セグメント情報
１０４を複数まとめて管理するための情報であり、ツリ
ー構造中のノードＩＤ、そのパッケージ情報１０５で管
理するセグメント情報１０４のリスト、および、そのパ
ッケージ情報１０５が属する上位のセグメント情報１０
４へのポインタを有している。

【００５１】例えば、図において、パッケージ情報１０
５Ｂは、３つのセグメント情報１０４Ｂ〜１０４Ｄをま
とめて管理するための情報であり、ツリー構造中のノー
ドＩＤ、そのパッケージ情報１０５Ｂで管理するセグメ
ント情報１０４Ｂ〜１０４Ｃのリスト、および、そのパ
ッケージ情報１０５Ｂが属する上位のセグメント情報１
０４Ａへのポインタを有している。

【００５２】なお、上記の如く、映像インデックス情報
１００は、各構造要素オブジェクトからなるツリー構造
において、１つのセグメント情報１０４の下位に、フレ
ーム情報１０２およびサウンド情報１０３に加えてパッ
ケージ情報１０５を配置することができる。

【００５３】さらに映像インデックス情報１００は、そ
のツリー構造中に任意の属性オブジェクトを配置するこ
とが可能である。また、映像インデックス情報１００中
の全ての構造要素オブジェクト（ツリー情報１０１、フ
レーム情報１０２、サウンド情報１０３、セグメント情
報１０４およびパッケージ情報１０５）は、属性オブジ
ェクトへのポインタを有し、属性オブジェクトおよび属
性オブジェクトへのポインタを用いて、任意の構造要素
オブジェクトに対して任意の付加情報を追加することが
可能である。

【００５４】図２は、映像インデックス情報１００のツ
リー構造中に属性オブジェクトを配置した例を示し、図
２では、付加情報の追加を行いたい構造要素オブジェク
ト（ここでは、パッケージ情報１０５Ａ〜１０５Ｃ）の
下層に、属性オブジェクト１０６（属性オブジェクト１
０６Ａ〜１０６Ｃ）を配置し、対応する属性オブジェク
ト１０６へのポインタ１０７をそれぞれの構造要素オブ
ジェクトに設定した例を示している。なお、属性オブジ
ェクト１０６の配置場所は特に限定するものではなく、
例えば、ツリー構造中の特定の場所に属性オブジェクト
１０６のみを集めて配置し、各構造要素オブジェクトか
らポインタ１０７を介して対応する属性オブジェクト１
０６にリンクさせる構成でも良い。

【００５５】 実施の形態１の映像インデックス情報
の生成方法 次に、映像情報を解析して映像インデックス情報１００
を生成する方法について簡単に説明する。

【００５６】映像インデックス情報１００におけるセグ
メント情報１０４は、分割された映像（動画および音
声）のフレーム連続および音声連続の塊を表し、構造化
された映像の１単位の情報として定義できる。１つの長
大な映像情報も、はじめは全体をひと塊とみなすことが
できるので、１つのセグメント情報１０４Ａ（図１参
照）として存在する。セグメント情報１０４Ａ以外の他
のセグメント情報１０４は、親となるセグメント情報１
０４を分割した一部分である。例えば、セグメント情報
１０４Ｂ〜１０４Ｄはそれぞれ親となるセグメント情報
１０４Ａを分割した一部分であり、セグメント情報１０
４Ｅ、１０４Ｆはそれぞれ親となるセグメント情報１０
４Ｃを分割した一部分である。

【００５７】また、親となるセグメント情報１０４（例
えば、セグメント情報１０４Ｃ）を複数に分割した場
合、その分割された一部分であるセグメント情報１０４
（ここでは、１０４Ｅ、１０４Ｆ）同士をまとめて管理
するものがパッケージ情報１０５であるということがで
きる。

【００５８】実施の形態１において、映像情報を解析し
て映像インデックス情報１００を生成する場合、先ず、
映像情報を解析する必要があるが、この映像情報の解析
は、映像情報をどうのような目的で利用・活用するかに
よって様々な解析方法を適用することができる。例え
ば、単純に背景色に注目して映像情報を解析する方法
や、動きに注目して解析する方法、特定のオブジェクト
の存在有無によって解析する方法、単純な時分割によっ
て解析する方法等が考えられる。換言すれば、映像情報
の解析は、当該映像情報をどうのような目的で利用・活
用するかに基づいて作成されたアルゴリズム（目的に応
じたアルゴリズム）を適用して自由に行うことができ、
その解析方法は特に限定されるべきではない。さらに付
け加えれば、特別な解析アルゴリズムによらず、利用者
が直接映像情報を見て、手操作で解析結果を入力する方
法でも良い。

【００５９】例えば、背景色に注目して映像情報を解析
し、この解析結果を用いて映像インデックス情報１００
を生成する方法について説明する。

【００６０】図３（ａ）〜（ｃ）は、ツリーを段階的に
２回セグメント分割した場合の、セグメント情報１０４
とパッケージ情報１０５との関係を示す説明図である。
なお、同図の右側はツリー構造を示し、左側は対応する
映像情報の状態をフレームの連続で示したものである。
ただし、この映像情報の状態は、説明を分かりやすくす
るために映像インデックス情報１００中のフレーム情報
１０２およびサウンド情報１０３を抽象化（イメージ
化）して表したものであり、実際に生の映像情報（オリ
ジナルの映像情報）の状態を示しているものではない。

【００６１】同図（ａ）に示すように、当初は映像情報
が全く構造化されていないので、映像インデックス情報
１００のツリー構造としては、ツリー情報１０１と、１
つのパッケージ情報１０５およびセグメント情報１０４
のみが存在する。すなわち、１つの映像インデックス情
報１００の入口を宣言するツリー情報１０１の下に、映
像情報（音声および動画）全体を表す１つのパッケージ
情報１０５Ａが配置されており、このパッケージ情報１
０５Ａの下には映像情報全体を表す１つのセグメント情
報１０４Ａが配置されている。この状態の映像情報に対
して背景色の変化を検出するアルゴリズムを適用し、矢
印の部分で映像情報（連続するフレーム）を分割し、同
図（ｂ）の状態のツリー構造および映像情報のフレーム
の状態を生成する。

【００６２】同図（ｂ）に右側は、分割によってセグメ
ント情報１０４Ａの下位に３つのセグメント情報１０４
Ｂ〜１０４Ｄが作成され、ツリーが構造化（階層化）さ
れたようすを示している。なお、これらの３つのセグメ
ント情報１０４Ｂ〜１０４Ｄはパッケージ情報１０５Ｂ
によってまとめられ、セグメント情報１０４Ａで管理さ
れることになる。

【００６３】ここで、先程と同じアルゴリズムでパラメ
ータを細かく設定したものを適用して、さらに同図
（ｂ）の左側の矢印で示す部分で映像情報をそれぞれ分
割し、同図（ｃ）の状態のツリー構造および映像情報の
フレームの状態を生成する。

【００６４】同図（ｃ）の右側に示すように、各セグメ
ント情報１０４Ｂ〜１０４Ｄに対して、下位パッケージ
情報１０５Ｃ〜１０５Ｅが作成され、パッケージ情報１
０５Ｃに分割されたセグメント情報１０４Ｅ、１０４Ｆ
が格納され、パッケージ情報１０５Ｄに分割されたセグ
メント情報１０４Ｇ、１０４Ｈが格納され、パッケージ
情報１０５Ｅに分割されたセグメント情報１０４Ｉ、１
０４Ｊが格納される。作成されたツリー構造は、背景の
変化によるシーン抽出（背景色の変化を検出するアルゴ
リズム）によって、下位にいくほど細かく構造化された
ものとなる。

【００６５】なお、各セグメント情報１０４に対応する
フレーム情報１０２およびセグメント情報１０４は、探
査モジュールによって検出され、図１で示したようにツ
リー構造中の対応するセグメント情報１０４の下位に保
持される。

【００６６】また、各セグメント情報１０４およびパッ
ケージ情報１０５を生成する際に、属性オブジェクト１
０６を用いて、利用・活用する目的に応じて所望の情報
を付加情報（例えば，検索情報）として生成し、後で検
索等に利用することもできる。具体的は、属性オブジェ
クト１０６としてテキスト情報を用いて、各構造要素オ
ブジェクトの特徴となるキーワード等を設定し、後にキ
ーワードを用いて検索したり、分類したりすることがで
きる。

【００６７】このようにセグメント情報１０４の分割操
作によって、下位にパッケージ情報１０５を作成した
り、フレーム情報１０２およびサウンド情報１０３を登
録することにより、映像インデックス情報１００の生成
を行うことができる。

【００６８】このようにして生成した映像インデックス
情報１００が、例えば、図１に示すようなツリー構造と
して提供されることになる。以上の説明から明らかなよ
うに映像インデックス情報１００は、文書（テキスト情
報）を章、節、項等で構造化するように、映像をセグメ
ント分割により構造化して表したものであるため、文書
でのタイトルのように、分割したセグメント情報１０４
およびパッケージ情報１０５を用いて、所望のフレーム
情報１０２や、サウンド情報１０３の検索に役立てるこ
とができる。また、ツリー構造中の特定の構造要素オブ
ジェクトを指定し、該当する構造要素オブジェクトのみ
を可視または／および可聴が容易に行える。

【００６９】次に、図４（ａ）〜（ｃ）を参照して、同
一の映像情報に異なるアルゴリズムを適用して解析し、
映像インデックス情報１００を生成した場合、または同
一の映像情報を異なる分割の仕方で分割して、複数のパ
ッケージ情報を生成した場合について説明する。

【００７０】同図（ａ）に示すように、第１のアルゴリ
ズムを適用して、セグメント情報１０４Ａを矢印の部分
で３つのセグメント情報１０４Ｂ〜１０４Ｄに分割し、
パッケージ情報１０５Ｂを生成する。次に、同図（ｂ）
に示すように、第２のアルゴリズムを適用して、セグメ
ント情報１０４Ａを矢印の部分で２つのセグメント情報
１０４Ｅ、１０４Ｆに分割してパッケージ情報１０５Ｃ
を生成すると、映像インデックス情報１００は、同図
（ｃ）に示すように、セグメント情報１０４Ａの下位に
２つのパッケージ情報１０５Ｂ、１０５Ｃが配置された
ツリー構造となる。

【００７１】なお、同図（ａ）と同図（ｂ）の操作は、
連続して行っても良く、同一の時間に異なる場所で異な
る作業として行っても良い。すなわち、映像インデック
ス情報１００がツリー構造であり、さらに実際の映像情
報を加工するものではないため、同一のセグメント情報
１０４に対する操作（換言すれば、該当するセグメント
情報１０４の下位のツリー構造の生成）であっても、異
なる作業者が異なる場所で同一の時間に行う等、何の制
約もなく行うことができる。また、それぞれが生成した
映像インデックス情報１００は、同一の映像情報であれ
ば、一つのツリー情報１０１の下にマージして管理する
ことができる。

【００７２】同図（ｃ）の状態も、２つの異なるアルゴ
リズムを適用して生成した映像インデックス情報１００
を１つのツリー情報１０１の下にマージした状態と認識
することもできる。

【００７３】 応用例 次に、実施の形態１の映像インデックス情報を用いた映
像情報管理方法を具体的に実施した場合の応用例につい
て説明する。

【００７４】（応用例１）図５は、応用例１を示す説明
図である。応用例１としては、映像インデックス情報１
００と実際の映像情報の分離が可能なことを利用して、
テレビ放送等によって映像情報が実際に送信される前
に、センター５０１から映像インデックス情報１００を
インターネットを介して専用の端末装置５０２に配信す
る。あるいは、放送予定番組の番組表を専用に放送する
チャネルを有する場合には、番組表と共に映像インデッ
クス情報を放送しても良い。

【００７５】端末装置５０２側では、映像インデックス
情報１００を用いて録画したい部分のみを選択して、録
画予約を行い。実際に映像情報を放送で受信した際に、
必要な部分のみを録画することができる。あるいは、映
像情報を録画しておき、先に受信した映像インデックス
情報１００を用いて、希望の映像の部分のみを再生して
観ることもできる。

【００７６】（応用例２）図６は、応用例２を示す説明
図である。応用例２は、映像インデックス情報１００を
映像情報の検索ツールに利用した例を示し、複数の映像
情報を記憶した映像情報ライブラリィ６０１と、映像情
報ライブラリィ６０１の各映像情報に対応した複数の映
像インデックス情報を記憶した映像インデックス情報デ
ータベース６０２と、映像インデックス情報を用いた専
用の映像情報検索ツール６０３と、を用いて、例えば、
過去の映像をアーカイブして必要な時に再利用するサー
ビス等がテレビ局等で実際された場合、必要な映像を検
索する場合に、タイトルのみの検索だけでなく、映像情
報の内容で、『〜が登場し、〜と喋った映像』とか、
『このシーンに似ているシーンがある映像』、『この音
楽が使われている映像』といったように映像情報の内容
の情報に及んだ検索を行うことができる。この場合には
予め属性オブジェクト１０６に検索情報としてキーワー
ドを詳細に設定することが望ましいのは勿論である。

【００７７】また、視聴者の趣味を反映した自動録画
で、『クリントンの出ているシーン全て』とか、希望し
た情報のみの収集で『ニュースの株価の情報のみを収録
せよ』とか、希望した情報によるチャンネル変更で『尾
崎のティーショットになったら見せろ』とか、ダイジェ
ストの作成で『この映画を５分程度でブラウズしたい』
等の要望に応えるサービスを提供することも可能とな
る。

【００７８】（応用例３）応用例３は、あらかじめ各映
像情報に対応させて作成した映像インデックス情報を参
照して、複数の映像情報の中から検索条件に一致する所
望の映像情報を検索するものである。

【００７９】図７は、応用例３において用いる映像イン
デックス情報２００のデータ構造を示す説明図である。
なお、図１に示した実施の形態１の映像インデックス情
報１００と共通の構成は同一の符号を付して説明を省略
する。

【００８０】映像インデックス情報２００は、ツリー情
報１０１を最上位（入口）とするツリー構造の構造要素
オブジェクトとして、フレーム情報１０２と、サウンド
情報１０３と、セグメント情報１０４と、パッケージ情
報１０５とを有している。

【００８１】なお、構造要素オブジェクトのうち、セグ
メント情報１０４には、その下位に存在するフレーム情
報１０２およびサウンド情報１０３の内容を検索するた
めの検索情報２０１（２０１Ａ〜２０１Ｆ）が付与され
ている。また、ツリー情報１０１には、映像インデック
ス情報２００と対応する映像情報（ストリーム全体）の
再生時間やフォーマットを示す基本的な情報が含まれて
おり、この情報もまた検索情報として利用される。

【００８２】図８は、応用例３における映像検索処理の
概略フローチャートを示す。なお、システムの構成とし
ては、図６に示したように複数の映像情報を記憶した映
像情報ライブラリィ６０１と、映像情報ライブラリィ６
０１の各映像情報に対応した複数の映像インデックス情
報（ここでは、映像インデックス情報２００）を記憶し
た映像インデックス情報データベース６０２と、映像イ
ンデックス情報を用いた専用の映像情報検索ツール６０
３と、を用いるものとする。

【００８３】先ず、所望の映像の条件である検索条件
と、必要に応じて検索条件を構成する検索項目に対する
重み付けを入力する（Ｓ８０１）。あらかじめ異なる複
数の映像情報から作成された複数の映像インデックス情
報４００を検索して検索条件と一致する検索情報を含む
映像インデックス情報を特定し（Ｓ８０２）、特定した
映像インデックス情報に対応した映像情報のリストを検
索結果として出力する（Ｓ８０３）。

【００８４】次に、上記映像検索処理について、検索条
件および検索結果（リスト）の例を挙げて具体的に説明
する。検索対象となる映像情報（換言すれば、映像イン
デックス情報２００）の数は１つ以上幾つでも良いが、
ここでは説明を簡単にするために、検索対象として２つ
の映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）が存在する
場合を例として説明する。なお、図９は、２つの映像情
報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）に対応する映像イン
デックス情報２００Ａ、２００Ｂを示すものである。

【００８５】映像インデックス情報２００Ａ、２００Ｂ
は、それぞれツリー情報の下に１つのパッケージ情報を
有し、そのパッケージ情報の下に３つのセグメント情報
（および検索情報）が配置され、セグメント情報の下に
フレーム情報およびサウンド情報が配置されたツリー構
造である。

【００８６】Ｍｏｖｉｅ１を構造化した映像インデック
ス情報２００Ａには、以下に示すように、検索情報とし
て、ツリー情報に『再生時間、フォーマット』が付加さ
れ、他の３つのセグメント情報にはそれぞれ『セグメン
トの再生区間（再生時間の範囲）、キーフレームＩＤ
（代表となるフレーム）、登場人物』が付加されてい
る。 Ｍｏｖｉｅ１： Ｔｒｅｅ（ツリー情報中の検索情報） 再生時間： ００：３０：００ フォーマット： ＭＰＥＧ２ Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報） セグメントの再生区間： ００：００：００−００：１５：００ キーフーレームＩＤ： ０ 登場人物： Ａ，Ｂ Ｓｅｇｍｅｎｔ＃２（セグメント情報の検索情報） セグメントの再生区間： ００：１５：００−００：２０：００ キーフーレームＩＤ： ２７０００ 登場人物： Ａ，Ｃ Ｓｅｇｍｅｎｔ＃３（セグメント情報の検索情報） セグメントの再生区間： ００：２０：００−００：３０：００ キーフーレームＩＤ： ３６０００ 登場人物： Ｃ，Ｂ

【００８７】Ｍｏｖｉｅ２を構造化した映像インデック
ス情報２００Ｂには、以下に示すように、検索情報とし
て、ツリー情報に『再生時間、フォーマット』が付加さ
れ、他の３つのセグメント情報にはそれぞれ『セグメン
トの再生区間、キーフレームＩＤ（代表となるフレー
ム）、登場人物』が付加されている。 Ｍｏｖｉｅ２： Ｔｒｅｅ（ツリー情報中の検索情報） 再生時間： ００：１０：００ フォーマット： ＭＰＥＧ１ Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報） セグメントの再生区間： ００：００：００−００：０３：００ キーフーレームＩＤ： ０ 登場人物： Ｄ，Ｅ Ｓｅｇｍｅｎｔ＃２（セグメント情報の検索情報） セグメントの再生区間： ００：０３：００−００：０５：００ キーフーレームＩＤ： ５４００ 登場人物： Ａ，Ｅ Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報） セグメントの再生区間： ００：０５：００−００：１０：００ キーフーレームＩＤ： ９０００ 登場人物： Ｃ，Ｅ

【００８８】ただし、映像インデックス情報２００の検
索情報は上記の項目に限定するものではなく、例えば、
セグメント情報の下位に存在するサウンド情報によって
特定される音声中の曲名・曲調・音声の内容等を設定し
ても良く、フレーム情報によって特定される映像中に存
在する特定の物・色・場所・映像の内容等を設定しても
良いのは勿論である。

【００８９】次に、所望の映像を検索するための検索条
件として、図１０に示すような、それぞれ３つの検索項
目を有する条件１〜条件５の検索条件を与えたものとす
る。なお、これらの検索条件において、再生時間、フォ
ーマット、登場人物の各検索項目の関係は、一般的なブ
ーリアン検索式と同様にＡＮＤ、ＯＲを用いて定義でき
るものとする。

【００９０】例えば、条件１〜条件５において、各検索
項目をそれぞれＡＮＤで検索すると、検索条件は（１）
式のようになり、検索結果のリストは図１１に示すよう
になる。 （再生時間）AND （フォーマット）AND （登場人物） ‥‥‥（１）

【００９１】図１１に示すように、検索結果としては、
条件（検索条件）と、該当する検索条件によって検索さ
れた結果と、検索された結果に与えられた評価値（スコ
ア）と、検索の際の一致内容とが出力される。例えば、
条件１で検索を行うと、Ｍｏｖｉｅ２が検索され、スコ
アが１（一致内容：登場人物の一致が１回）である。ま
た、条件２で検索を行うと、Ｍｏｖｉｅ１とＭｏｖｉｅ
２の２つが検索され、スコアはＭｏｖｉｅ１が２（一致
内容：登場人物の一致が２回）で、Ｍｏｖｉｅ２が１
（一致内容：登場人物の一致が１回）である。条件２で
示すように、該当する映像情報が複数存在する場合は、
スコア（評価値）に基づいてランキング順（ここではス
コアの大きな順に）に出力する。このようにランキング
順に出力することよって、利用者は所望の映像に最も近
い映像をランキングから判断することができる。

【００９２】また、条件１〜条件５において、各検索項
目をそれぞれＯＲで検索すると、検索条件は（２）式の
ようになり、検索結果のリストは図１２に示すようにな
る。 （再生時間）OR（フォーマット）OR（登場人物） ‥‥‥（２）

【００９３】図１２に示すように、検索結果としては、
条件（検索条件）と、該当する検索条件によって検索さ
れた結果と、検索された結果に与えられた評価値（スコ
ア）と、検索の際の一致内容とが出力される。例えば、
条件３で検索を行うと、Ｍｏｖｉｅ１とＭｏｖｉｅ２の
２つが検索され、スコアはＭｏｖｉｅ１が２（一致内
容：登場人物の一致が２回）で、Ｍｏｖｉｅ１が１（一
致内容：再生時間の一致が１回、登場人物の一致が１
回）である。また、条件５で検索を行うと、Ｍｏｖｉｅ
２とＭｏｖｉｅ１の２つが検索され、スコアはＭｏｖｉ
ｅ２が３（一致内容：再生時間の一致が１回、フォーマ
ットの一致が１回、登場人物の一致が１回）で、Ｍｏｖ
ｉｅ１が２（一致内容：登場人物の一致が２回）であ
る。ここでも、該当する映像情報が複数存在する場合
は、スコア（評価値）に基づいてランキング順（ここで
はスコアの大きな順に）に出力する。また、ランキング
順に出力することに加えて、一致内容を出力するので、
利用者は所望の映像に最も近い映像をランキングから判
断できると共に、さらに一致内容に基づいて、最も重要
な検索項目の一致した映像を選択することができる。

【００９４】さらに、応用例３では、条件１〜５の検索
項目に対してそれぞれ独立した重み付けを行うことが可
能である。したがって、重要な検索項目に対して重みを
付けることにより、利用者の意図する所望の映像を検索
し易くすることができる。また、検索結果として出力す
るリスト上の各映像情報には、検索項目の重み付けに基
づいて評価された評価値が付与される。

【００９５】例えば、検索項目の一つである登場人物に
２倍の重みをかけ、条件１〜条件５をそれぞれＡＮＤで
検索すると、検索結果のリストは図１３に示すようにな
る。

【００９６】また、検索項目の一つである登場人物に２
倍の重みをかけ、条件１〜条件５をそれぞれＯＲで検索
すると、検索結果のリストは図１４に示すようになる。

【００９７】検索項目の一つに２倍の重みをかけた図１
３および図１４を、検索項目に重みの差を設けていない
図１１および図１２と比較すると明らかなように、図１
３および図１４では検索結果のリストのスコア（評価
値）の値のバラツキが大きくなり、リスト上での比較検
討が容易になる。換言すれば、利用者が重要と認識して
いる検索項目をスコア上に反映できるので、より所望の
映像を検索し易くなる。

【００９８】具体的には、条件５のスコアのように、図
１２ではＭｏｖｉｅ２、Ｍｏｖｉｅ１の順のランキング
であったものが、図１４では同一のランキングとなり、
利用者の意図がより反映された形となっている。なお、
応用例３では検索対象となる映像情報を２つとしたた
め、ランキングの入れ替わりが分かりにくいが、検索結
果として数十の映像（映像情報）がリスト上にランキン
グされてる場合には、重み付けによるランキングの入れ
替わりが大きく、ランキングの上位に適切な映像が配置
されることになる。

【００９９】また、重みを大きくすることにより、ラン
キングを変化させ、所望の映像をランキングの上位に配
置することもできる。例えば、登場人物に３倍の重みを
かけ、条件１〜条件５をそれぞれＯＲで検索すると、検
索結果のリストは図１５に示すようになる。

【０１００】図１５の条件５のスコアを参照すると、図
１２ではＭｏｖｉｅ２、Ｍｏｖｉｅ１の順のランキング
であったものが、図１４では同一のランキングとなり、
図１５ではＭｏｖｉｅ１、Ｍｏｖｉｅ２の順のランキン
グに入れ替わっているのが分かる。

【０１０１】さらに、応用例３では、映像インデックス
情報のセグメント情報に検索情報を付加してあるため、
検索結果として出力されるリスト上の各映像情報に対し
て、検索条件と一致する検索情報を有するセグメント情
報に基づいて所望の映像の位置を特定した位置情報を付
加して出力することが可能である。

【０１０２】例えば、Ｍｏｖｉｅ２とＭｏｖｉｅ１を検
索対象とし、検索条件『登場人物ＡあるいはＥが出演し
ている映像』で検索を行い、検索結果のリストに位置情
報（検索条件と一致する検索情報を有するセグメント情
報を特定する情報）を付加して出力すると図１６に示す
ようになる。

【０１０３】図１６では、検索条件に対して、Ｍｏｖｉ
ｅ２、Ｍｏｖｉｅ１の順でランキングされており、さら
にＭｏｖｉｅ２の中で検索条件と一致した検索情報を有
するセグメント情報を特定するための情報として位置情
報が、スコア（セグメントスコア）と共にランキングさ
れて出力されている。これによって、利用者は所望の映
像が存在する映像情報（Ｍｏｖｉｅ２）を検索できると
共に、位置情報（Ｓｅｇｍｅｎｔ＃２）から映像情報中
のどの部分に所望の映像が存在するか容易に知ることが
できる。このように映像情報を特定し、さらに詳細な位
置が判別できるのは、映像インデックス情報のデータ構
造によるものである。

【０１０４】前述したように応用例３の映像インデック
ス情報を用いた映像検索方法によれば、映像情報の内部
の論理構造を表現可能なデータ構造を有する映像インデ
ックス情報を用いることにより、映像検索の利便性の向
上を図ると共に、全ての映像情報に適用可能な映像検索
方法を提供することができる。

【０１０５】（応用例４）応用例４は、あらかじめ作成
した映像インデックス情報を参照して、１つの映像情報
の中から検索条件に一致する所望の映像を検索するもの
である。

【０１０６】換言すれば、応用例４では、後述する映像
インデックス情報３００のデータ構造において、所望の
映像の条件である検索条件を入力し、映像インデックス
情報３００を検索して検索条件と一致する検索情報を含
む構造要素オブジェクトを特定し、特定した構造要素オ
ブジェクトのリストを検索結果として出力するものであ
る。

【０１０７】図１７は、応用例４の映像インデックス情
報３００のデータ構造を示す説明図である。なお、図１
に示した実施の形態１の映像インデックス情報１００と
共通の構成は同一の符号を付して説明を省略する。

【０１０８】映像インデックス情報３００は、ツリー情
報１０１を最上位（入口）とするツリー構造の構造要素
オブジェクトとして、フレーム情報１０２と、サウンド
情報１０３と、セグメント情報１０４と、パッケージ情
報１０５とを有しており、さらに、各構造要素オブジェ
クトには、その下位に存在するフレーム情報１０２およ
びサウンド情報１０３の内容を検索するための検索情報
が付与されている。また、ツリー情報１０１には、映像
インデックス情報３００と対応する映像情報（ストリー
ム全体）の再生時間やフォーマットを示す基本的な情報
が含まれており、この情報もまた検索情報として利用さ
れる。

【０１０９】また、応用例４は、検索条件と共に映像イ
ンデックス情報３００のツリー構造中における深さ方向
の階層レベルを検索範囲として入力し、映像インデック
ス情報３００中の検索範囲に存在する構造要素オブジェ
クトの検索情報のみを検索対象として、検索条件と一致
する検索情報を含む構造要素オブジェクトを特定し、特
定した構造要素オブジェクトのリストを検索結果として
出力できるようにしている。

【０１１０】映像インデックス情報３００のツリー構造
中における深さ方向の階層レベルの定義の仕方は、特に
限定するものではないが、例えば、図１８に示すよう
に、映像インデックス情報３００中に階層的に存在する
パッケージ情報１０５を基準として、先ず、最上位のツ
リー情報１０１の階層レベルを『０』とし、ツリー情報
１０１の直下にぶら下がるパッケージ情報１０５Ａと、
パッケージ情報１０５Ａから次のパッケージ情報１０５
Ｂの間に存在する構造要素オブジェクト（セグメント情
報１０４Ａ、フレーム情報１０２Ａ、サウンド情報１０
３Ａ）を階層レベル『１』として、以下同様にパッケー
ジ情報１０５を基準単位として階層レベルを定義しても
良い。なお、この場合、例えば、階層レベル『３』が指
定されると、階層レベル『０』〜『２』までを含むもの
とする。

【０１１１】また、図１９に示すように、構造要素オブ
ジェクトを基準として階層レベルを定義しても良い。

【０１１２】このように階層レベルを定義し、検索する
範囲を階層レベルで指定可能とすることにより、例え
ば、検索対象となる映像情報の映像インデックス情報３
００が膨大であり、詳細に検索情報が設定されている場
合に、階層レベルを指定することで、検索する検索情報
の量（範囲）を減らし、検索時間を短縮して検索するこ
とが可能となる。逆に、より詳細な検索を行いたい場合
には、階層レベルを深くして検索範囲を指定することに
より、映像情報中の個々の映像（一部のシーン）にまで
及んだ検索を行えるようになる。

【０１１３】さらに、映像インデックス情報３００のデ
ータ構造において、階層レベルを指定して検索可能であ
ることから、逆に、映像インデックス情報３００中に検
索情報を設定する場合に、上位の階層レベルで全体の概
略に関する検索情報を設定し、下位になる程、詳細な検
索情報を設定できるので、検索情報の設定が容易となる
と共に、結果的に精度の高い検索情報の設定が可能とな
る。また、映像情報の全体の内容には無関係であるが、
ある映像（特定のシーン）の視覚的特徴や、映像中に登
場する物等を示す情報を、該当する構造要素オブジェク
ト（例えば、フレーム情報１０２）の検索情報に設定し
た場合でも、全体の検索効率や検索精度を低下させるこ
となく、検索を行うことができるようになる。

【０１１４】図２０は、応用例４における映像検索処理
の概略フローチャートを示す。なお、システムの構成と
しては、図６に示したように複数の映像情報を記憶した
映像情報ライブラリィ６０１と、映像情報ライブラリィ
６０１の各映像情報に対応した複数の映像インデックス
情報（ここでは、映像インデックス情報３００）を記憶
した映像インデックス情報データベース６０２と、映像
インデックス情報を用いた専用の映像情報検索ツール６
０３と、を用いるものとする。

【０１１５】先ず、映像検索を行う映像情報を指定し
（Ｓ２００１）、所望の映像の条件である検索条件（必
要に応じて検索条件を構成する検索項目に対する重み付
けする）と、検索範囲として階層レベルを入力する（Ｓ
２００２）。例えば、映像情報として、『アメリカの対
日政策』というタイトルの番組ビデオを指定し、検索条
件として、『クリントン大統領、自動車、円高をキーワ
ードとして、ＯＲ検索で自動車の重みを２倍』を設定
し、検索範囲として階層レベル『３』を指定する。

【０１１６】次に、指定された映像情報と対応する映像
インデックス情報３００を、指定された検索範囲で検索
して、検索条件と一致する検索情報を含む構造要素オブ
ジェクトを特定する（Ｓ２００３）。ここで例えば、検
索条件に一致した検索情報を有する４つの構造要素オブ
ジェクトが存在し、それぞれの検索情報の階層レベルお
よび内容が以下の通りであるものとする。 『階層レベル１：クリントン大統領の発言』 『階層レベル２：円高と貿易摩擦』 『階層レベル３：円安による自動車産業の被害、ク
リントン発言』 『階層レベル３：円高による米国自動車産業の日本
向け輸出不振』 検索範囲として階層レベル３まで指定されているので、
上記〜の４つの構造要素オブジェクトが該当するも
のとして特定されるが、検索範囲が階層レベル２であれ
ばとが検索されず、との２つの構造要素オブジ
ェクトのみが検索されるのは明らかである。

【０１１７】その後、特定した構造要素オブジェクトの
リストを検索結果として出力する（Ｓ２００４）。構造
要素オブジェクトのリストは、図２１に示すように、重
み付けに基づいてランキング順に出力される。したがっ
て、ランキングに基づいて、利用者は最も相応しい映像
（所望の映像）を容易に選択することができる。また、
所望の映像が含まれる構造要素オブジェクトを特定する
ので、構造要素オブジェクトの有する情報から容易に映
像情報中の該当する映像を呼び出して確認することがで
きる。

【０１１８】前述したように応用例４によれば、映像情
報の内部の論理構造を表現可能なデータ構造を有する映
像インデックス情報を用いることにより、映像検索の利
便性の向上を図ると共に、全ての映像情報に適用可能な
映像検索方法を提供することができる。

【０１１９】このように、実施の形態１の映像インデッ
クス情報を用いた映像情報管理方法によれば、ツリー情
報、フレーム情報、サウンド情報、セグメント情報、パ
ッケージ情報を構造要素オブジェクトとしたツリー構造
を有する映像インデックス情報を用いて映像情報を管理
するので、映像情報の内部の論理構造を表現可能とし、
映像情報の利用・活用を容易にし、映像情報の再現方法
の自由度を高め、映像情報の操作性・作業性・取扱性の
向上を図ったユーザ・インターフェースの手法を提供す
ることができる。

【０１２０】また、実施の形態１では、映像インデック
ス情報を記録媒体に記録することにより、映像情報の内
部の論理構造を表現可能なデータ構造を有する映像イン
デックス情報を記録した記録媒体を提供することができ
る。例えば、映像インデックス情報は、ハードディス
ク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ
等のコンピュータで読み取り可能な記録媒体に記録さ
れ、コンピュータによって記録媒体から読み出すことに
よって様々な利用方法を提供することが可能である。ま
た、この映像インデックス情報は記録媒体を介して配布
することもできる。

【０１２１】また、実施の形態１の映像インデックス情
報は、どのような映像情報に対しても、特に制約なく、
自由に作成することができるので、この映像インデック
ス情報を用いることにより、映像検索の利便性の向上を
図ることができると共に、全ての映像情報の検索に適用
できる映像検索方法を提供することが可能となる。

【０１２２】〔実施の形態２〕実施の形態２の映像イン
デックス情報を用いた映像情報管理方法は、少なくとも
映像情報の内部情報が管理されていることを前提とし
て、映像情報中の内部情報をどのようにたどるかを設定
および管理できるようにしたものである。

【０１２３】なお、実施の形態２の映像インデックス情
報を用いた映像情報管理方法も、実施の形態１と同様
に、少なくとも複数のフレームを含む映像情報を解析し
て、映像情報とは別に映像情報を管理するための映像イ
ンデックス情報を生成し、生成した映像インデックス情
報を参照することにより映像情報を管理するものであ
る。

【０１２４】図２２は、実施の形態２の映像インデック
ス情報４００のデータ構造を示す説明図である。なお、
図１に示した実施の形態１の映像インデックス情報１０
０と共通の構成は同一の符号を付して説明を省略する。

【０１２５】映像インデックス情報４００は、少なくと
も映像情報中の任意の連続するフレームの範囲を管理す
るための複数のセグメント情報１０４と、複数のセグメ
ント情報１０４をどのような順序でたどるかを示すセグ
メント情報間のリンクリストからなるビュー情報４０１
（４０１Ａ〜４０１Ｃ）と、を有している。なお、ここ
では、映像インデックス情報４００をツリー構造で示す
が特に限定するものではない。

【０１２６】また、ビュー情報４０１Ａ〜４０１Ｃは、
複数設定されており、あらかじめ映像情報を構成する複
数のセグメント情報１０４の中から、所望の数のセグメ
ント情報１０４を所望の順序でたどるリンクリストを複
数（ここでは、３つ）生成し、各々のリンクリストに対
応するビュー情報４０１Ａ〜４０１Ｃとして設定する。
実施の形態２では、この複数のビュー情報４０１Ａ〜４
０１Ｃを有する映像インデックス情報４００を用いて映
像情報を管理するものである。

【０１２７】なお、映像インデックス情報４００も、実
施の形態１の映像インデックス情報１００と同様に映像
情報と分離して保存することも可能である。

【０１２８】ビュー情報４０１は、１つの映像情報をあ
る視点で表現するために、セグメント情報１０４（また
はパッケージ情報１０５）のたどりかたをリンクリスト
として表現したものである。なお、セグメント情報１０
４だけのリンクリスト、パッケージ情報１０５だけのリ
ンクリスト、混在するリンクリストの何れでも表現可能
であるが、基本的にはセグメント情報１０４のリンクリ
ストと同一のものである。また、ビュー情報４０１の作
成方法については省略するが、専用の作成モジュールに
よって容易に作成可能である。

【０１２９】次に、図２３を参照して、ビュー情報４０
１のリンクリストについて具体的に説明する。ビュー情
報４０１のリンクリストの設定の仕方によって、１つの
ビュー情報４０１で映像情報全体を特定の視点で観たダ
イジェスト（要約）を作成することもでき、または単純
に２つのセグメント情報１０４をつなぐことも自由であ
る。

【０１３０】図において、例えば、映像情報全体をある
目的で分割したパッケージ情報Ｂのセグメント情報をお
おまかにを再生する場合を例として、リンクリストにつ
いて説明する。ここで、このパッケージ情報Ｂは３つの
セグメント情報で構成されており、またパッケージ情報
Ｂの先頭部分のセグメント情報には、下位パッケージ情
報Ｅ、Ｆが存在する。

【０１３１】先ず、パッケージ情報Ｂのみを指定して単
純に再生すると、パッケージ情報Ｂ中の３つのセグメン
ト情報Ｂ１〜Ｂ３がそのまま再生される。ここで、リン
クリストとして（セグメント情報Ｅ１→Ｅ２→Ｂ２→Ｂ
３）を作成すると、図中の（１）に示す順序でセグメン
ト情報が再生される。すなわち、セグメント情報Ｂ１の
うち、セグメント情報Ｆ１に相当する部分が再生されな
いことと同じであり、セグメント情報Ｂ１がおおまかに
再生されたことになる。

【０１３２】このようにビュー情報４０１のリンクリス
トを作成することにより、所望の順序でセグメント情報
を指定することができる。

【０１３３】また、リンクリストを（セグメント情報Ｇ
１→Ｇ２→Ｇ３→Ｃ３→Ｄ１）として作成すると図中の
（２）で示す順序でセグメント情報が再生される。リン
クリストを（セグメント情報Ｇ１→Ｇ２→Ｇ３→Ｃ３→
Ｉ１→Ｉ２）として作成すると図中の（３）で示す順序
でセグメント情報が再生される。

【０１３４】また、セグメント情報そのものを再生する
ことに代えて、各セグメント情報の代表フレーム（例え
ば、各セグメント情報の先頭の所定時間分のフレーム情
報）を再生するようにすると、さらにダイジェスト再生
（要約再生）を顕著にすることができる。具体的には、
セグメント情報そのものをたどることに代えて、セグメ
ント情報中のフレーム情報をたどる場合を想定するとリ
ンクリストの効果が実感し易い。例えば、図中の（１）
の場合、パッケージ情報Ｂは１時間ビデオを２０分ずつ
の３つのセグメント情報Ｂ１〜Ｂ３に分け、セグメント
情報Ｂ１を分けたパッケージ情報Ｅが５分ずつの２つの
セグメント情報Ｅ１、Ｅ２で構成され、パッケージ情報
Ｆが１０分のセグメント情報Ｆ１で構成されている場
合、それぞれのセグメント情報から各１分ずづのフレー
ム情報を再生することで、内容的に１／５、１／５、１
／２０、１／２０の粗さとなり、ダイジェストの意図を
反映することができる。

【０１３５】なお、図２３では、リンクリストは、セグ
メント情報を時系列にたどる例のみを示したが、例え
ば、リンクリストとして（セグメント情報Ｅ２→Ｇ３→
Ｈ２→Ｉ２→Ｄ２）のように飛び飛びにリンクしても良
い。また、時系列を無視して、所望の順序でリンクリス
トを作成しても良い。

【０１３６】また、予め映像情報の内容に応じて、例え
ば、暴力シーンを除いたセグメント情報のみをリンクし
たリンクリストを有するビュー情報や、激写シーンのセ
グメント情報のみをリンクしたリンクリストを有するビ
ュー情報等のように、利用・活用する目的に応じたビュ
ー情報を複数設定しておき、必要に応じて所望のビュー
情報を選択することにより、１つの映像情報（コンテン
ツ）を多目的な立場から観ることが可能となる。

【０１３７】また、マルチメディア放送等において、製
作者側で、映像情報に複数のビュー情報４０１を有する
映像インデックス情報４００を付けて、配布することが
でき、さらに視聴者側では、リンクリストを選択するこ
とにより、１つの映像情報（番組）を自分の嗜好にあっ
た観方で観ることができる。

【０１３８】実施の形態２によれば、リンクリストを有
するビュー情報を用いるため、映像情報の再現方法の自
由度を高めて、映像情報を効率的・効果的に利用・活用
できるユーザ・インターフェースの手法を提供すること
ができる。

【０１３９】このように作成した映像インデックス情報
４００の複数のビュー情報の中から特定のビュー情報を
指定し、指定したビュー情報のリンクリストを用いて映
像情報中の一部を可視または／および可聴することがで
きる。

【０１４０】〔実施の形態３〕実施の形態３の音声イン
デックス情報を用いた音声情報管理方法は、基本的に実
施の形態１の映像インデックス情報を用いた映像情報管
理方法における映像インデックス情報１００からフレー
ム情報１０２を除いたものを音声インデックス情報とし
て定義したものである。なお、対象となる情報が映像情
報から音声情報に変わった点以外は、実施の形態１と共
通であるため、ここでは異なる部分のみを説明する。

【０１４１】音声インデックス情報は、サウンド情報
と、セグメント情報と、パッケージ情報とを構造要素オ
ブジェクトとしたツリー構造である。

【０１４２】また、サウンド情報は、音声情報中の任意
の範囲に対応した音声を１単位の情報として管理するも
のである。セグメント情報は、この１単位の情報である
サウンド情報を分類して、所望の意味のある集合として
管理する。パッケージ情報は、セグメント情報を複数ま
とめて管理する。さらにセグメント情報は、そのセグメ
ント情報が管理するサウンド情報と同一の範囲の音声を
用いて生成された他のセグメント情報を複数まとめて管
理するためのパッケージ情報を管理し、ツリー構造にお
いて、１つのセグメント情報の下位に、サウンド情報に
加えてパッケージ情報を配置し、音声インデックス情報
のツリー構造および構造要素オブジェクトを用いて音声
情報を管理するものである。

【０１４３】この音声インデックス情報は、実施の形態
１と同様に音声情報と分離して保存することができる。

【０１４４】このように音声インデックス情報を構成す
ることにより、音声情報の内部の論理構造を表現可能と
し、音声情報の利用・活用を容易にし、音声情報の再現
方法の自由度を高め、音声情報の操作性・作業性・取扱
性の向上を図ったユーザ・インターフェースの手法を提
供することができる。

【０１４５】以下に実施の形態３の音声インデックス情
報を用いた音声情報管理方法の応用例として、音声イン
デックス情報を用いた音声検索方法を説明する。以下に
説明する音声検索方法においては、基本的に実施の形態
１の応用例３または応用例４で説明した映像インデック
ス情報を用いた映像検索方法における映像インデックス
情報２００、３００からフレーム情報１０２を除いたも
のを音声インデックス情報として定義する。なお、対象
となる情報が映像情報から音声情報に変わった点以外
は、実施の形態１の応用例３または応用例４と共通であ
るため、ここでは異なる部分のみを説明する。

【０１４６】音声インデックス情報は、サウンド情報
と、セグメント情報と、パッケージ情報とを構造要素オ
ブジェクトとしたツリー構造である。

【０１４７】例えば、『鳥の鳴き声』を収録した音声情
報から所望の音声を検索する場合や、複数の音声情報の
中から『鳥の鳴き声』を収録した音声情報を検索する場
合を想定する。検索条件として『カワセミの鳴き声、せ
せらぎの音』を入力し、音声インデックス情報を用いて
音声検索を行うことにより、実施の形態１の応用例３ま
たは応用例４と同様に検索結果（リスト）を出力するこ
とができる。

【０１４８】すなわち、実施の形態３の応用例によれ
ば、音声情報の内部の論理構造を表現可能なデータ構造
を有する音声インデックス情報を用いることにより、音
声検索の利便性の向上を図った音声検索方法を提供する
ことができる。したがって、例えば、音楽ＣＤ等におい
て音声インデックス情報を用いることにより、聞きたい
曲の特定の一部分のみを再生したり、楽しい曲・爽やか
な曲・賑やかな曲等のように音楽の内容に及んだ検索を
行うことも可能となる。

【０１４９】

【発明の効果】以上説明したように、本発明の映像イン
デックス情報を記録した記録媒体（請求項１〜３）は、
映像情報の内部の論理構造を表現可能なデータ構造を有
すると共に、映像検索の利便性の向上を図った映像イン
デックス情報を記録した記録媒体を提供することができ
る。

【０１５０】また、本発明の映像インデックス情報を用
いた映像情報管理方法（請求項４〜１０、１３）は、少
なくとも複数のフレームを含む映像情報を解析して、映
像情報とは別に映像情報を管理するための映像インデッ
クス情報を生成し、生成した映像インデックス情報を参
照することにより映像情報を管理する映像インデックス
情報を用いた映像情報管理方法であって、映像インデッ
クス情報は、映像情報中の任意の連続するフレームを１
単位の情報として管理する少なくとも１つのフレーム情
報と、映像情報中の任意の範囲に対応した音声を１単位
の情報として管理する少なくとも１つのサウンド情報
と、１単位の情報であるフレーム情報およびサウンド情
報を分類して、所望の意味のある集合として管理する少
なくとも１つのセグメント情報と、セグメント情報を複
数まとめて管理するためのパッケージ情報と、を構造要
素オブジェクトとしたツリー構造であり、さらにセグメ
ント情報は、そのセグメント情報が管理するフレーム情
報およびサウンド情報と同一の範囲のフレームおよび音
声を用いて生成された他のセグメント情報を複数まとめ
て管理するためのパッケージ情報を管理し、ツリー構造
において、１つのセグメント情報の下位に、フレーム情
報およびサウンド情報に加えてパッケージ情報を配置
し、映像インデックス情報のツリー構造および構造要素
オブジェクトを用いて映像情報を管理するため、映像情
報の内部の論理構造を表現可能とし、映像情報の利用・
活用を容易にし、映像情報の再現方法の自由度を高め、
映像情報の操作性・作業性・取扱性の向上を図ったユー
ザ・インターフェースの手法を提供することができる。
また、映像情報の内容にまで踏み込んだ検索や、分類等
を行うこともできる。

【０１５１】また、本発明の映像インデックス情報を用
いた映像情報管理方法（請求項１１〜１３）は、少なく
とも複数のフレームを含む映像情報を解析して、映像情
報とは別に映像情報を管理するための映像インデックス
情報を生成し、生成した映像インデックス情報を参照す
ることにより映像情報を管理する映像インデックス情報
を用いた映像情報管理方法であって、映像インデックス
情報は、少なくとも映像情報中の任意の連続するフレー
ムの範囲を管理するための複数のセグメント情報と、複
数のセグメント情報をどのような順序でたどるかを示す
セグメント情報間のリンクリストからなるビュー情報
と、を有し、あらかじめ映像情報を構成する複数のセグ
メント情報の中から、所望の数のセグメント情報を所望
の順序でたどるリンクリストを複数生成し、各々のリン
クリストに対応する複数のビュー情報を設定し、複数の
ビュー情報を有する映像インデックス情報を用いて映像
情報を管理するため、映像情報の再現方法の自由度を高
めて、映像情報を効率的・効果的に利用・活用できるユ
ーザ・インターフェースの手法を提供することができ
る。

【０１５２】また、本発明の音声インデックス情報を記
録した記録媒体（請求項１４〜１６）は、音声情報の内
部の論理構造を表現可能なデータ構造を有すると共に、
音声検索の利便性の向上を図った音声インデックス情報
を記録した記録媒体を提供することができる。

【０１５３】また、本発明の音声インデックス情報を用
いた音声情報管理方法（請求項１７、１８）は、音声情
報を解析して、音声情報とは別に音声情報を管理するた
めの音声インデックス情報を生成し、生成した音声イン
デックス情報を参照することにより音声情報を管理する
音声インデックス情報を用いた音声情報管理方法であっ
て、音声インデックス情報は、音声情報中の任意の範囲
に対応した音声を１単位の情報として管理する少なくと
も１つのサウンド情報と、１単位の情報であるサウンド
情報を分類して、所望の意味のある集合として管理する
少なくとも１つのセグメント情報と、セグメント情報を
複数まとめて管理するためのパッケージ情報と、を構造
要素オブジェクトとしたツリー構造であり、さらにセグ
メント情報は、そのセグメント情報が管理するサウンド
情報と同一の範囲の音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、ツリー構造において、１つのセグメント情報
の下位に、サウンド情報に加えてパッケージ情報を配置
し、音声インデックス情報のツリー構造および構造要素
オブジェクトを用いて音声情報を管理するため、音声情
報の内部の論理構造を表現可能とし、音声情報の利用・
活用を容易にし、音声情報の再現方法の自由度を高め、
音声情報の操作性・作業性・取扱性の向上を図ったユー
ザ・インターフェースの手法を提供することができる。
また、音声情報の内容にまで踏み込んだ検索や、分類等
を行うこともできる。

【図面の簡単な説明】

【図１】実施の形態１の映像インデックス情報を用いた
映像情報管理方法における映像インデックス情報のデー
タ構造を示す説明図である。

【図２】実施の形態１の映像インデックス情報のツリー
構造中に属性オブジェクトを配置した例を示す説明図で
ある。

【図３】実施の形態１において映像インデックス情報を
生成する方法を示す説明図である。

【図４】実施の形態１において、同一の映像情報に異な
るアルゴリズムを適用して解析して映像インデックス情
報を生成した場合、または同一の映像情報を異なる分割
の仕方で分割して複数のパッケージ情報を生成した場合
を示す説明図である。

【図５】実施の形態１の応用例１を示す説明図である。

【図６】実施の形態１の応用例２を示す説明図である。

【図７】実施の形態１の応用例３において用いる映像イ
ンデックス情報のデータ構造を示す説明図である。

【図８】実施の形態１の応用例３における映像検索処理
の概略フローチャートである。

【図９】実施の形態１の応用例３において、検索対象の
例である２つの映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ
２）に対応するそれぞれの映像インデックス情報を示す
説明図である。

【図１０】実施の形態１の応用例３において、検索条件
の例（条件１〜条件５）を示す説明図である。

【図１１】実施の形態１の応用例３において、図１０に
示す各条件中の各検索項目をそれぞれＡＮＤで検索した
場合の検索結果の一例を示す説明図である。

【図１２】実施の形態１の応用例３において、図１０に
示す各条件中の各検索項目をそれぞれＯＲで検索した場
合の検索結果の一例を示す説明図である。

【図１３】実施の形態１の応用例３において、図１０に
示す各条件中の検索項目の一つに２倍の重みをかけ、各
検索項目をそれぞれＡＮＤで検索した場合の検索結果の
一例を示す説明図である。

【図１４】実施の形態１の応用例３において、図１０に
示す各条件中の検索項目の一つに２倍の重みをかけ、各
検索項目をそれぞれＯＲで検索した場合の検索結果の一
例を示す説明図である。

【図１５】実施の形態１の応用例３において、図１０に
示す各条件中の検索項目の一つに３倍の重みをかけ、各
検索項目をそれぞれＯＲで検索した場合の検索結果の一
例を示す説明図である。

【図１６】実施の形態１の応用例３において、検索条件
と一致した検索情報が存在する位置を示す位置情報を含
む検索結果の一例を示す説明図である。

【図１７】実施の形態１の応用例４において用いる映像
インデックス情報のデータ構造を示す説明図である。

【図１８】実施の形態１の応用例４において、映像イン
デックス情報のツリー構造中における深さ方向の階層レ
ベルの定義例を示す説明図である。

【図１９】実施の形態１の応用例４において、映像イン
デックス情報のツリー構造中における深さ方向の階層レ
ベルの定義例を示す説明図である。

【図２０】実施の形態１の応用例４における映像検索処
理の概略フローチャートである。

【図２１】実施の形態１の応用例４において、映像イン
デックス情報中の構造要素オブジェクトを検索した検索
結果の一例を示す説明図である。

【図２２】実施の形態２の映像インデックス情報を用い
た映像情報管理方法における映像インデックス情報のデ
ータ構造を示す説明図である。

【図２３】実施の形態２のビュー情報のリンクリストを
示す説明図である。

【符号の説明】

１００ 映像インデックス情報 １０２ ツリー情報 １０２ フレーム情報 １０３ サウンド情報 １０４ セグメント情報 １０５ パッケージ情報 １０６ 属性オブジェクト ２００ 映像インデックス情報 ２０１ 検索情報 ３００ 映像インデックス情報 ４００ 映像インデックス情報 ４０１ ビュー情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岩崎 雅二郎 東京都大田区中馬込１丁目３番６号 株 式会社リコー内 (56)参考文献 特開 平５−334374（ＪＰ，Ａ) 特開 平５−282379（ＪＰ，Ａ) 特開 平６−187379（ＪＰ，Ａ) 特開 平４−117686（ＪＰ，Ａ) 特開 平５−204990（ＪＰ，Ａ) 特開 平９−50436（ＪＰ，Ａ) 特開 平９−18432（ＪＰ，Ａ) 特開 平８−221432（ＪＰ，Ａ) 特開 平８−163479（ＪＰ，Ａ) 特開 平６−83877（ＪＰ，Ａ) 特開 平10−40260（ＪＰ，Ａ) 特開 平10−111872（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 H04N 5/78 ＪＩＣＳＴファイル（ＪＯＩＳ) (54)【発明の名称】 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、 音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方 法

Claims (18)

(57)【特許請求の範囲】
1. 【請求項１】 映像情報を解析して作成した映像インデ
   ックス情報を記録したコンピュータ読み取り可能な記録
   媒体であって、 前記映像インデックス情報は、前記映像情報中の任意の
   連続するフレームを１単位の情報として管理する少なく
   とも１つのフレーム情報と、前記映像情報中の任意の範
   囲に対応した音声を１単位の情報として管理する少なく
   とも１つのサウンド情報と、１単位の情報である前記フ
   レーム情報およびサウンド情報を分類して、所望の意味
   のある集合として管理する少なくとも１つのセグメント
   情報と、前記セグメント情報を複数まとめて管理するた
   めのパッケージ情報と、を構造要素オブジェクトとした
   ツリー構造であり、 さらに前記セグメント情報は、そのセグメント情報が管
   理する前記フレーム情報およびサウンド情報と同一の範
   囲のフレームおよび音声を用いて生成された他のセグメ
   ント情報を複数まとめて管理するためのパッケージ情報
   を管理し、 前記ツリー構造において、１つのセグメント情報の下位
   に、前記フレーム情報およびサウンド情報に加えて前記
   パッケージ情報を配置したデータ構造であることを特徴
   とする映像インデックス情報を記録した記録媒体。
2. 【請求項２】 前記構造要素オブジェクトのうち、少な
   くとも１種類の構造要素オブジェクトは、その構造要素
   オブジェクトが直接または間接的に管理するフレームま
   たは／および音声の内容を検索するための検索情報を有
   することを特徴とする請求項１記載の映像インデックス
   情報を記録した記録媒体。
3. 【請求項３】 前記構造要素オブジェクトは、それぞれ
   その構造要素オブジェクトが直接または間接的に管理す
   るフレームまたは／および音声の内容を検索するための
   検索情報を有することを特徴とする請求項１記載の映像
   インデックス情報を記録した記録媒体。
4. 【請求項４】 少なくとも複数のフレームを含む映像情
   報を解析して、前記映像情報とは別に前記映像情報を管
   理するための映像インデックス情報を生成し、生成した
   映像インデックス情報を参照することにより前記映像情
   報を管理する映像インデックス情報を用いた映像情報管
   理方法であって、 前記映像インデックス情報は、前記映像情報中の任意の
   連続するフレームを１単位の情報として管理する少なく
   とも１つのフレーム情報と、前記映像情報中の任意の範
   囲に対応した音声を１単位の情報として管理する少なく
   とも１つのサウンド情報と、１単位の情報である前記フ
   レーム情報およびサウンド情報を分類して、所望の意味
   のある集合として管理する少なくとも１つのセグメント
   情報と、前記セグメント情報を複数まとめて管理するた
   めのパッケージ情報と、を構造要素オブジェクトとした
   ツリー構造であり、 さらに前記セグメント情報は、そのセグメント情報が管
   理する前記フレーム情報およびサウンド情報と同一の範
   囲のフレームおよび音声を用いて生成された他のセグメ
   ント情報を複数まとめて管理するためのパッケージ情報
   を管理し、 前記ツリー構造において、１つのセグメント情報の下位
   に、前記フレーム情報およびサウンド情報に加えて前記
   パッケージ情報を配置し、 前記映像インデックス情報のツリー構造および構造要素
   オブジェクトを用いて前記映像情報を管理することを特
   徴とする映像インデックス情報を用いた映像情報管理方
   法。
5. 【請求項５】 前記映像インデックス情報のツリー構造
   中の特定の構造要素オブジェクトを指定し、該当する構
   造要素オブジェクトのみを可視または／および可聴する
   ことを特徴とする請求項４記載の映像インデックス情報
   を用いた映像情報管理方法。
6. 【請求項６】 前記フレーム情報は、ツリー構造中のノ
   ードＩＤ、そのフレーム情報で管理する連続するフレー
   ムの範囲、および前記映像情報における位置を示すポイ
   ンタを有していることを特徴とする請求項４または５記
   載の映像インデックス情報を用いた映像情報管理方法。
7. 【請求項７】 前記サウンド情報は、ツリー構造中のノ
   ードＩＤ、そのサウンド情報で管理する任意の範囲、お
   よび前記映像情報における位置を示すポインタを有して
   いることを特徴とする請求項４〜６記載のいずれか一つ
   の映像インデックス情報を用いた映像情報管理方法。
8. 【請求項８】 前記セグメント情報は、ツリー構造中の
   ノードＩＤ、そのセグメント情報で管理するフレーム情
   報・サウンド情報・パッケージ情報を特定するための特
   定情報、および、そのセグメント情報が属する上位のパ
   ッケージ情報へのポインタを有していることを特徴とす
   る請求項４〜７記載のいずれか一つの映像インデックス
   情報を用いた映像情報管理方法。
9. 【請求項９】 前記パッケージ情報は、ツリー構造中の
   ノードＩＤ、そのパッケージ情報で管理するセグメント
   情報のリスト、および、そのパッケージ情報が属する上
   位のセグメント情報へのポインタを有していることを特
   徴とする請求項４〜８記載のいずれか一つの映像インデ
   ックス情報を用いた映像情報管理方法。
10. 【請求項１０】 さらに前記映像インデックス情報は、
    そのツリー構造中に任意の属性オブジェクトを配置する
    ことが可能であり、前記映像インデックス情報中の全て
    の構造要素オブジェクトは、前記属性オブジェクトへの
    ポインタを有し、前記属性オブジェクトおよび前記属性
    オブジェクトへのポインタを用いて、任意の構造要素オ
    ブジェクトに対して任意の付加情報を追加することが可
    能であることを特徴とする請求項４〜９記載のいずれか
    一つの映像インデックス情報を用いた映像情報管理方
    法。
11. 【請求項１１】 少なくとも複数のフレームを含む映像
    情報を解析して、前記映像情報とは別に前記映像情報を
    管理するための映像インデックス情報を生成し、生成し
    た映像インデックス情報を参照することにより前記映像
    情報を管理する映像インデックス情報を用いた映像情報
    管理方法であって、 前記映像インデックス情報は、少なくとも前記映像情報
    中の任意の連続するフレームの範囲を管理するための複
    数のセグメント情報と、前記複数のセグメント情報をど
    のような順序でたどるかを示すセグメント情報間のリン
    クリストからなるビュー情報と、を有し、 あらかじめ前記映像情報を構成する前記複数のセグメン
    ト情報の中から、所望の数のセグメント情報を所望の順
    序でたどるリンクリストを複数生成し、各々のリンクリ
    ストに対応する複数のビュー情報を設定し、前記複数の
    ビュー情報を有する前記映像インデックス情報を用いて
    前記映像情報を管理することを特徴とする映像インデッ
    クス情報を用いた映像情報管理方法。
12. 【請求項１２】 前記映像インデックス情報の複数のビ
    ュー情報の中から特定のビュー情報を指定し、指定した
    ビュー情報のリンクリストを用いて前記映像情報中の一
    部を可視または／および可聴することを特徴とする請求
    項１１記載の映像インデックス情報を用いた映像情報管
    理方法。
13. 【請求項１３】 前記映像インデックス情報を前記映像
    情報と分離して保存することを特徴とする請求項４〜１
    ２記載のいずれか一つの映像インデックス情報を用いた
    映像情報管理方法。
14. 【請求項１４】 音声情報を解析して作成した音声イン
    デックス情報を記録したコンピュータ読み取り可能な記
    録媒体であって、 前記音声インデックス情報は、前記音声情報中の任意の
    範囲に対応した音声を１単位の情報として管理する少な
    くとも１つのサウンド情報と、１単位の情報である前記
    サウンド情報を分類して、所望の意味のある集合として
    管理する少なくとも１つのセグメント情報と、前記セグ
    メント情報を複数まとめて管理するためのパッケージ情
    報と、を構造要素オブジェクトとしたツリー構造であ
    り、 さらに前記セグメント情報は、そのセグメント情報が管
    理する前記サウンド情報と同一の範囲の音声を用いて生
    成された他のセグメント情報を複数まとめて管理するた
    めのパッケージ情報を管理し、 前記ツリー構造において、１つのセグメント情報の下位
    に、前記サウンド情報に加えて前記パッケージ情報を配
    置したことを特徴とする音声インデックス情報を記録し
    た記録媒体。
15. 【請求項１５】 前記構造要素オブジェクトのうち、少
    なくとも１種類の構造要素オブジェクトは、その構造要
    素オブジェクトが直接または間接的に管理する音声の内
    容を検索するための検索情報を有することを特徴とする
    請求項１４記載の音声インデックス情報を記録した記録
    媒体。
16. 【請求項１６】 前記構造要素オブジェクトは、それぞ
    れその構造要素オブジェクトが直接または間接的に管理
    する音声の内容を検索するための検索情報を有すること
    を特徴とする請求項１４記載の音声インデックス情報を
    記録した記録媒体。
17. 【請求項１７】 音声情報を解析して、前記音声情報と
    は別に前記音声情報を管理するための音声インデックス
    情報を生成し、生成した音声インデックス情報を参照す
    ることにより前記音声情報を管理する音声インデックス
    情報を用いた音声情報管理方法であって、 前記音声インデックス情報は、前記音声情報中の任意の
    範囲に対応した音声を１単位の情報として管理する少な
    くとも１つのサウンド情報と、１単位の情報である前記
    サウンド情報を分類して、所望の意味のある集合として
    管理する少なくとも１つのセグメント情報と、前記セグ
    メント情報を複数まとめて管理するためのパッケージ情
    報と、を構造要素オブジェクトとしたツリー構造であ
    り、 さらに前記セグメント情報は、そのセグメント情報が管
    理する前記サウンド情報と同一の範囲の音声を用いて生
    成された他のセグメント情報を複数まとめて管理するた
    めのパッケージ情報を管理し、 前記ツリー構造において、１つのセグメント情報の下位
    に、前記サウンド情報に加えて前記パッケージ情報を配
    置し、 前記音声インデックス情報のツリー構造および構造要素
    オブジェクトを用いて前記音声情報を管理することを特
    徴とする音声インデックス情報を用いた音声情報管理方
    法。
18. 【請求項１８】 前記音声インデックス情報を前記音声
    情報と分離して保存することを特徴とする請求項１７記
    載の音声インデックス情報を用いた音声情報管理方法。