JP3574606B2 - 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像に関する様々な情報（タイトル、著作権情報、出演者、場所、出来事等）をコンピュータに読み取り可能な形で記述、管理し、効率的に検索・閲覧することを可能にするための映像の階層的管理方法、階層的管理装置並びに階層的管理プログラム記録媒体に関する。
【０００２】
【従来の技術】
（従来技術１）
映像の内容に関する記述をコンピュータで管理するためのデータモデルとして、成層モデル（ｓｔｒａｔｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ）が提案されている（Ｔ． Ｇ． Ａｇｕｉｅｒｒｅ Ｓｍｉｔｈ ａｎｄ Ｇ． Ｄａｖｅｎｐｏｒｔ， ”Ｔｈｅ ｓｔｒａｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ： Ａ ｄｅｓｉｇｎ ｅｎｖｉｒｏｎｍｅｎｔ ｆｏｒ ｒａｎｄｏｍ ａｃｃｅｓｓ ｖｉｄｅｏ，” Ｗｏｒｋｓｈｏｐ ｏｎ Ｎｅｔｗｏｒｋ ａｎｄ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ Ｓｕｐｐｏｒｔ ｆｏｒ Ｄｉｇｉｔａｌ Ａｕｄｉｏ ａｎｄ Ｖｉｄｅｏ， Ｎｏｖ．１９９２）。
【０００３】
当該成層モデルによる映像内容記述の例を図７に示す。時問軸上に、層（ｓｔｒａｔｕｍ）と呼ばれる記述を重ね合わせていくことで、映像内容を記述する。層８０１は、１０〜４０秒の区間に「四季」というタイトルの音楽が挿入されていることを表し、層８０２は、ナレーションが１５〜４５秒の区間に挿入されていることを、層８０３は３５〜４２秒の区間に富士山の映像が入っていることを、層８０４は２５〜４０秒の区間に「日本の四季」という字幕が入っていることをあらわす。このように、重なりや包含を許す層を重ねることで複雑な記述を可能にする点が特徴であった。
【０００４】
成層モデルで記述したデータを用いると、例えば、「“富士山”の写ったシーン」をデータベースから検索することが可能となる。さらに、「富士山が写っているシーン」かつ「音楽の流れているシーン」を検索する（３５〜４０秒の区間が該当する）ことも可能となる。時間情報が得られるので、映像がデジタル化されていればその時刻に素早くアクセスすることができる。
【０００５】
大量の映像を管理する場合、キーワードによる検索だけでなく、カテゴリーに映像を分類し、カテゴリー選択→ビデオタイトル選択→…という具合に段階的に対象を絞っていく階層ブラウジング方式が有効である。従来のシステムではビデオタイトルを選択すると、３０分から１時間もある映像を頭から再生するものがほとんどで、すべてを見る前に飽きて見るのをやめることが多かった。
【０００６】
教育用ビデオ、ドキュメンタリ、研修用ビデオ、ニュースには、本の章節にあたる論理構造が存在する。映像と関連付けて、コンピュータが読み取り可能な形で論理構造が記述されていれば
カテゴリー選択→ビデオタイトル選択→目次を表示し、章または節を選択→映像再生
といった形で、利用者が見たい場面に効率的にアクセスできるようになる。例えば、「日本の歴史」というタイトルのビデオがあれば、その目次が例えば図６に示す如く表示され、利用者が弥生時代に興味があれば、弥生時代の項を指示選択し、縄文時代の説明を飛ばして弥生時代に関する説明だけを見ることができる。
【０００７】
従来技術１の成層モデルは、階層構造を記述できないため上のような階層ブラウジングを実現できなかった。
【０００８】
キーワード検索だけでなく、このような階層的なブラウジングを可能にするには、映像と関連付けて論理構造（上の例で目次にあたる情報）を記述する仕組みが必要になる。
【０００９】
（従来技術２）
映像の論理構造を記述する方法が特開平５−２８２３７９「動画像の管理方法及び管理装置」に開示されている。この方法は論理構造を図８に示すような木データ構造で管理する。まず映像を時間的に重なりの無い区間（Ｃ１，Ｃ２，Ｃ３，…）に分割しそれを葉ノードとする。多くのシステムではショット、すなわちカメラのＯＮ／ＯＦＦ操作をはさまないで連続して撮影された区間に映像を分割しそれを葉ノードとする。従来法は、複数の葉ノードを人手で意味的なまとまりに併合して上位ノードＳ１を作成するという手続きを、ボトムアップに繰り返すことで論理構造を木データ表現する。あるいは、ノードを複数の子ノードに分割するという手続きをトップダウンに繰り返すことで木データ構造を構築する。
【００１０】
映像の論理構造を表現するのに木データ構造を利用すると、以下の二つの問題が生じる。
（１）各ノードが映像区間に対応するため、映像の時間的線形性に起因する制約を満たすように操作者は注意深く操作を行う必要がある。例えば、図８の例でＣ１，Ｃ３をノードＳ１の子ノードに、Ｃ２をノードＳ２の子ノードにするといった時間の入れ替えは禁止される。
（２）「ノードを分割し、子ノードを二つ作る」、「子ノードを併合して親ノードを作る」という操作を繰り返す必要があり、操作者にとって必ずしも直感的とは言えない。例えば図８のようなデータ構造を作成してから、Ｃ４のノードはＳ１の子ノードに移す場合を考えると複雑な手続きを経る必要がある。
【００１１】
つまり、オペレータが論理階層構造を人手で付与する手続きが複雑であるという問題があった。
【００１２】
（従来技術３）
従来技術１の論理構造を表現できないという問題点を解決するために、成層モデルと木データ構造を組み合わせる方法が考えられる。Ｃａｒｒｉｅｒ ら（Ｍａｒｃｏ Ｃａｒｒｉｅｒ， Ｌｅｏｎａｒｄｏ Ｌｉｇｒｅｓｔｉ， Ｇｕｌｒｕｋｈ Ａｈａｎｇｅｒ， ａｎｄ Ｔｈｏｍａｓ Ｄ． Ｃ． Ｌｉｔｔｌｅ： Ａｎ Ａｎｎｏｔａｔｉｏｎ Ｅｎｇｉｎｅ ｆｏｒ Ｓｕｐｐｏｒｔｉｎｇ Ｖｉｄｅｏ Ｄａｔａｂａｓｅ Ｐｏｐｕｌａｔｉｏｎ． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｖｏｌ． ５， ｐｐ． ２３３−２５８， １９９７）の方法は、最終的な出力フォーマットとして、電子的に文書を交換するためのマークアップ（マーク付け）言語であるＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ） を用いているが基本的には、成層モデルと木データ構造との組み合わせと考えることができる。成層モデルとして内容に関する記述を管理し、木データ構造として論理構造に関する記述を管理する。
この方法も、やはり木データ構造に起因する上述の問題点が存在する。
【００１３】
【発明が解決しようとする課題】
本発明は、上記問題点を解決するためになされたものであり、
（１）映像の論理的な階層構造を記述可能とする、
（２）オペレータの直感的な操作により論理構造を付与可能とする、
映像の階層的管理方法、階層的管理装置並びに階層的管理プログラム記録媒体を提供することを目的とする。
【００１４】
【課題を解決するための手段】
請求項１は、コンピュータを用いて映像の内容を階層的に管理する映像の階層的管理方法であって、当該個々の論理単位についての、当該論理単位の複数の階層のレベルに対応するタグ種別と当該論理単位に対応する映像を表示する開始時刻と当該論理単位に対応して存在し得る見出し文字列とを、１つの見出し項目として指定された情報を受信して、見出し項目が順不同に配列された見出し項目リストを作成し、
当該見出し項目リスト内の各見出し項目について、各見出し項目の前記タグ種別にもとづいて、当該見出し項目に割りつけられる階層のレベルを見出しレベルとして取得し、
前記見出し項目リスト内の各見出し項目について、各見出し項目を、前記開始時刻の小さい順にかつ開始時刻が同じであれば見出しレベルの上位のものから順に整列させ、
当該整列された見出し項目について、当該整列された順に夫々の見出し項目について、 最下位の見出しレベルに対応する代表画像は画面の左から右へ、右端に達したら次の行の左端に順次配置し、上位の見出しレベルに対応する見出し文字列は１行を占めるように配置して表示することを特徴とする。開始時刻とともに見出しレベルを指定させ、論理構造に対応する順序に並べ替えて、文章の見出しのように見出しレベルの小さいものは目立つように表示することにより、簡便な論理構造の可視化を可能とする。
【００１５】
請求項２は、見出し項目リストに記録された開始時刻と見出しレベルを参照して、見出し項目をノードとする階層構造に変換し、各見出し項目を階層的に表示することを特徴とする。階層的な構造を構築することで、論理構造を直接的に表現可能とする。
【００１６】
請求項３は、映像の論理構造の終了時刻を更に見出し項目に指定することで、映像の再生開始時刻と終了時刻を利用者が指定できるようにし、映像の部分的再生を可能とする。
【００１８】
請求項４は、時間軸上に代表画像と一対一に対応付けられた帯をタイムライン表示し、タイムライン表示された帯を選択すると、対応する代表画像が選択されて当該代表画像が選択されたことが可視的に表示されることを特徴とする。タイムライン表示により、映像に関連付けられたタグ情報の時間長、相対的位置関係が視覚的に確認できるようになる。
【００１９】
請求項５は、代表画像と関連付けてテキストをはじめとする画像、音声、リンク等の情報を管理することで、映像のキーワード検索、音声変換、ハイパーリンク化、要約等を可能にする。
【００２０】
請求項６は、見出し項目リストが整列された整列済み見出し項目リストをインデクスデータとして、映像データと関連付けて蓄積しておき、見出し項目リストの少なくとも一つを選択させ、論理単位の開始時間から蓄積された映像データを再生することを特徴とする。見出し項目リストを、映像の目次として表示することにより、利用者が映像の論理的構成を理解できるようにし、それぞれの論理単位の開始点から映像を再生できるようにする。
【００２１】
請求項７は、見出し項目リストとともに検索用インデクスを蓄積しておき、利用者が検索キーとして単語、文章、画像、等を与え、該検索キーと一致または類似するインデクスを列挙し、該インデクスと時間的に重なりを持つ見出し項目を見出し項目リストから検索し、目次つきの検索結果を返すことを特徴とする。検索用インデクスを蓄積しておくことにより、キーワード検索等を可能にし、検索結果を利用者に返す前に、目次の情報を付与することで検索結果の理解を容易にする。
【００２２】
【発明の実施の形態】
本発明の実施形態例について図を用いて説明する。
【００２３】
実施形態例１
●装置構成
図３は本発明の一実施例の装置構成である。本発明はコンピュータプログラムを記録した記録媒体を装着し、当該記録媒体の内容を読み込んで実行するようにしても実現可能である。
【００２４】
図３において、主制御部３０５によって、ディスプレイ３０１、キーボード３０２、マウス３０３、スピーカー３０４、ハードディスク装置３０６がバス３０７などを介して制御されている。ハードディスク装置３０６には映像データ３０８とそれに対するインデクスデータ３０９（詳細については後述）とが保存されている。映像データ３０８は、ＭＰＥＧ等のデジタルビデオのフォーマットにより符号化されており、ファイルとしてハードディスクに記録されている。
【００２５】
●インデクスデータ３０９
インデクスデータ３０９の具体的な構成を図４に示す。インデクスデータ３０９はヘッダ部４０１と本体４０２とから構成される。
【００２６】
へッダ部４０１には映像データ全体に関する情報が保存される。例えば、映像タイトル、サブタイトル、映像圧縮形式（画像、音声）、映像長、著作権者（会社名、個人名）、利用条件、分類、キーワード、制作会社、ＩＤ番号等が保存される。
【００２７】
本体４０２は、映像に人手または自動的に付加される情報─“タグ”（識別札）と呼ぶ─を管理する。図４の本体４０２の各行が一つのタグに対応する。それぞれのタグは、属性として、タグ種別４１０、開始時刻４１１、終了時刻４１２、代表画像４１３、テキスト４１４、その他のデータ４１５などをもっている。
【００２８】
タグ種別４１０はタグとして付加された情報の種別を表す。
図示実施例で利用するタグ種別は以下の６種類である。
１）大見出し
２）中見出し
３）小見出し
…これら３種類のタグは映像の論理構造を表すためのものであり、
４）ショット
５）テロップ（編集段階で字幕が挿入された区間）
６）音声（人の声が入った区間）
…これら３種類のタグは映像内容を記述するためのものである。
【００２９】
勿論、これ以外にも映像中に現われる人物、出来事、場所、絶対時間等の情報を表すための夕グを追加することが可能である。
【００３０】
開始時刻４１１、終了時刻４１２の列には、映像ファイルの先頭からの時刻がミリ秒の単位で格納されており、開始時刻と終了時刻とによってタグと映像区間とが対応づけられる。
【００３１】
代表画像４１３の列には、タグと関連づけられた映像区間を代表する一枚の画像を指定する。図４の例では、時刻を表す数字が格納されており、必要に応じて代表画像を映像データ３０８から取得することができるようになっている。もちろん、時刻を格納するのではなく、代表画像を格納したファイル名を格納することもできる。このような形態はインデクスデータ３０９を映像データ３０８と分離して流通させる場合に好適である。また、ここでは各映像区間にそれぞれ一枚の代表画像を登録するようにしているが、複数枚登録できるようにもできる。
【００３２】
テキスト４１４の列には関連するテキストデータが格納される。図４の例では、５０３行ではテキストとしてテロップ（字幕）の文字列が格納されており、５０８行のものは人の声に対応するタグであり、ナレーションとして読み上げられた文章がテキストとして格納されている。もちろん、その他のタグ、例えば、ショットをあらわすタグに人物、物、場所、キーワードなどを登録することも可能であり、インデクスデータ３０９の用途に応じて様々な利用形態が考えられる。
【００３３】
その他４１５には、代表画像、テキストとして記述しきれないデータを格納する領域である。例えば、５０８行ではナレーションを読み上げた人の名前を格納している。字幕の表示位置や、カメラワークのタイプ等、様々なものを格納できる。
【００３４】
インデクスデータ３０９は、オペレーティングシステムの管理するファイルとして保存することもできるし、データベース管理システムによって管理するようにしてもよい。
【００３５】
●インデクス自動作成処理
インデクスデータ３０９を映像処理技術等を用いて自動的に抽出する方法が様々開発されている（Ｐ． Ａｉｇｒａｉｎ， Ｈ−． Ｊ． Ｚｈａｎｇ， Ｄ． Ｐｅｔｋｏｖｉｃ： Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｖｉｓｕａｌ Ｍｅｄｉａ： Ａ Ｓｔａｔｅ−ｏｆ−ｔｈｅ−Ａｒｔ Ｒｅｖｉｅｗ． Ｍｕｌｔｉｍｅｄｉａ Ｔｏｏｌｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｖｏｌ． ３， ｐｐ． １７９−２０２， １９９６）。
【００３６】
上述したタグ種別のうち、「４）ショット」、「５）テロップ」、「６）音声」、は上記文献に記載された方法により自動的に抽出可能である。
【００３７】
「１）大見出し」、「２）中見出し」、「３）小見出し」の見出しに対応するタグは、映像の意味的な内容を理解しないと作成できないため、自動作成処理は現状困難であり、オペレータが一つ一つ手作業で情報を付加している。なお、自動付与可能なタグについても、その結果が１００％正しいとは言えないため、人手で修正する作業が必要になることも多く、そういった場合にも自動付与されたタグを修正するためにユーザインタフェースを用いることができる。
【００３８】
●タグ付与を効率化するユーザインタフェース
本実施形態における、ユーザインタフェースについて図１と図２とを用いて詳細に説明する。本ユーザインタフェースは、人手で映像にタグを付加するためのものであり、操作に応じて内部的にはインデクスデータ３０９が更新されるようになっている。
【００３９】
図１はコンピュータ画面の模式図である。この画面は、タイムライン部１２０、画像一覧部１３０、モニタ１４０からなる。
【００４０】
まず、再生モニタ１４０は映像データ３０８の再生１４１、停止１４２、巻き戻し１４３、早送り１４４等を可能にする。再生ボタン１４１を、マウス３０３で指示することにより、映像再生処理が起動され、ハードディスク装置３０６から映像データ３０８が読み出され、動画像が再生モニタ１４０に順次表示され、音声はスピーカー３０４から連続的に出力される。
【００４１】
タイムライン部１２０はインデクスデータ３０９として格納されているタグ情報をタイムライン上に表示している。縦軸が時間に対応する。タグを開始時刻、終了時刻で区切られる一つの帯として表示する。長い区間に対応するタグは長い帯として表示する。タグ種別毎に、色分けすると同時に、別々の列（大見出し１００、中見出し１１１、小見出し１１２、カット１１３、テロップ１１４、音声１１５）に表示することによって、どの種別のタグであるか一目で分かるように、また重ならないように表示している。再生モニタ１４０で現在再生している時間的位置がわかるようにカーソル１２１（横線）をタイムライン部１２０に表示し、再生モニタ１４０の再生動作と同期してカーソル１２１を上から下に移動させる。また、時間軸（縦軸）のタイムスケール（目盛りの細かさ）を調整できるようにする。
【００４２】
このようにタグをタイムライン上に並べて表示することで、（１）それぞれのタグが関連付けられた区間の時間長が一目で分かる、（２）タグとタグとの時問的な関係、例えば、カットが一定時間毎に入っているとか、テロップと音声の始まりが一致しているといった関係が一目でわかる、（３）カーソル１２１を表示することで映像、特に音声とタグとの時間的な同期関係が把握できる。
【００４３】
画像一覧部１３０には、代表画像をアイコンとして一覧表示して映像内容を視覚的に把握できるようにする。大見出し１Ａは代表画像１０１とテキスト１０２とから構成され図４に示す大見出しのタグ５０１に対応している。代表画像１０１は列４１３から、テキストは列４１４から取得し、画面上に表示する。大見出しは他のアイコンよりも目立つように大きな文字で表示し一行を占めるように配置する。代表画像１１０は図４に示すタグ５０２，５０３，５０４に対応するものである。中見出し１Ｂ、小見出し１Ｃも一行を占めるように配置するが、文字は大見出しよりも小さいフォントを用いて見出しのレベルを判別できるようにする。ショット、テロップ、音声に対応する代表画像１１０は、文章における単語のように左から右ヘ、上から下へ順に配置する。
【００４４】
初期状態では、すべてのタグが画像一覧部１３０にアイコン表示されているが、関心のあるタグのアイコンだけが画面上に現われるようにすることが、操作性を高めるために重要である。関心の無い情報が画面上に表示されていると、重要な情報を見落としたり、重要な情報を探しだすのに時間がかかるからである。図１のインタフェースでは、画面上部にタグ種別に対応する６つのボタン（１５１〜１５６）を用意している。このボタンはオペレータのマウス操作でＯＮ／ＯＦＦの二つの状態が切り替わるようになっており、ボタンがＯＮからＯＦＦの状態になると画面上が当該タグ種別のアイコンが画面上から見えなくなるように再描画を行う。具体的には、ボタン１５１〜１５６は押し下げられた状態（ＯＮ）と通常の状態（ＯＦＦ）の二つの状態のいずれかを持っており、状態変化が生じると以下の処理を実行し、画面再描画を行う：（ｉ）まず、ＯＮの状態にあるボタンを列挙しそのタグ種別のリスト（Ｌ）を得る、（ｉｉ）画面上のすべてのアイコンを消去する、（ｉｉｉ） 図４の表４０２を上から順に見て、タグ種別４０１がリストＬに含まれれば、そのタグに対応するアイコンを画面に表示するようにする。
【００４５】
画像一覧部１３０に表示されたアイコンをオペレータがマウス等で指示すると、対応するタグの開始時刻の画像を再生モニタ１４０に表示し、対応するタグが選択状態になる。タイムライン部１２０と画像一覧部１３０とを並べて表示し、タイムライン上に表示された帯（一つのタグに対応する）をマウスでクリックした場合も、画像一覧部１３０内の対応するアイコンが選択状態になる。さらに、マウスのダブルクリック操作により、再生モニタ１４０で再生が開始されるようにすると操作性が向上する。より具体的には（ｉ）タイムライン上の一本の帯は一つのタグに対応しており、この対応関係を保持するために、帯を表す矩形（右上と左下隅の座標値）とタグ番号（図４の４０２の行番号）との対応表を用意しておき、（ｉｉ）タイムライン上の帯がマウスで選択されると、上記対応表を参照して、タグ番号を取得し、（ｉｉｉ） 画像一覧部１３０でも同様に対応表を用意しており、タグ番号をキーとしてその対応表をひき、対応するアイコンをハイライト表示するなどして選択状態にする。
【００４６】
このように文章の体裁を真似た形で見出しを目立つように配置することで、映像の論理構造をオペレータが直感的に理解できるようになる。代表画像を一覧表示することでオペレータは映像内容を視覚的にすばやく把握できる。代表画像の指示で、すばやく特定のタグを選択できて、操作効率が上がる。
【００４７】
また図２に示すように木構造表示することもできる。大見出し１Ａ’を根とし、その下層に中見出し１Ｂ’を配置し、その下層に小見出し１Ｃ’、最下層にカット、テロップ等に対応するアイコン１１０’を表示する。ここでは詳細情報を表示せずタグ種別を表す記号（Ｃ，Ｔ，…）だけを表示し、画面内に多くの情報を収めて長時間映像の構造が一目で理解できるようにしている。なおアイコン１１０’に表示されている記号Ｔ，Ｃ，Ｃ，Ｃはタグの種別を表しており、Ｔはテロップ，Ｃはカットのタグであることを表す。画面スペースが足りなければ、図１のタイムライン部１２０をオペレータの指示にしたがって階層表示部２００に切り替えることができるようにできる。このような表示をするには、木データ構造を構築する必要があるが、その具体的手続きについては後述の「階層構造を構築する方法」の所で述べる。
【００４８】
（タグ削除）
画像一覧部１３０のアイコンのうち一つまたは複数個を選択状態にし、メニューまたはキー操作で「タグ削除」コマンドを起動する。内部的には、選択状態のアイコンに対応するタグを見つけ、インデクスデータ３０９の表から該当する行を削除する。インデクスデータ３０９が更新されると、その結果、図１の画面から選択状態になっていたアイコンが消去される。アイコンが消去されたことによって、空きスペースができるが再レイアウト処理が起動され空きスペースに他のアイコンが再配置される。より具体的には（ｉ）選択状態になったアイコンからタグ番号を取得し、図４の表４０２からそのタグ番号に対応する行に削除されたことを示すマークをつけ、（ｉｉ）画像一覧部１３０、タイムライン部１２０、階層表示部２００を再描画する。
【００４９】
（タグ追加）
画像一覧部１３０のアイコンを一つ選択するとモニタ上にその時刻の画像が表示される。メニューまたはキー操作により「タグ追加」コマンドを起動する。内部的には、インデクスデータ３０９の表に新規の一行を追加することになる。タグ種別４１０はオペレータに選択させるか、予め指定しておく。開始時刻４１１は現在モニタ上に表示された画像（選択状態にあるアイコンの開始時刻に一致する）に設定される。終了時刻４１２は、タグ種別４１０によって設定方法が異なるが、タグ種別が「カット」であるタグについては、時間的に次のタグの開始時刻を新規タグの終了時刻として設定する。その他のタグについては、ユーザが指定しない限り映像の終わりを終了時刻として仮に設定する。代表画像４１３は開始時刻の画像とする。テキスト４１４は空文字列に初期化する。具体的には、図４の表４０２の最後に一行を追加し、タグ種別、開始時刻、終了時刻を設定し、画面を再描画する。
【００５０】
このように、一覧表示されているアイコンをマウス等で指示するだけで、開始時刻の指定がなされるので、再生モニタ上で早送り、巻き戻し操作を繰り返して微調整を行う手間が省け、省力化が可能である。
【００５１】
（タグ併合）
画像一覧部１３０のアイコンを複数個選択した状態で、メニューまたはキー操作により「タグ併合」コマンドを起動する。内部的には複数のタグを一つにまとめる操作になる。もし、選択されたタグのタグ種別がすべて同じであるかを検査し、一つでも異なる種別のタグがあればオペレータにエラーを通知する。開始時刻４１１、終了時刻４１２は次のように設定する。選択された複数のタグの開始時刻、終了時刻を順に調べ、その最小値、最大値を求め、最小値を開始時刻に、最大値を終了時刻とする。代表画像４１３は、選択されたタグのうち先頭のものの代表画像で代用する。テキスト４１４は、選択されたタグのテキストをつなげたものにする。具体的には、選択されたタグに対応する図４の表４０２の行をすべて削除済みとしてマークし、表４０２の最後に一行を追加して併合後のタグに関する情報を格納する。
【００５２】
（テキスト入力）
画像一覧部１３０のアイコンを一つ選択した状態で、メニューまたはキー操作により「テキスト入力」コマンドを起動する。内部的には選択されたアイコンに対応するタグのテキスト４１４を編集対象とする。コマンドが起動されると、図１２に示すようなウィンドウが新規に表示され、テキスト編集領域１３０１にすでに格納されているテキストが表示される。テキスト編集領域１３０１を通してキーボード３０２を用いてテキスト４１４の内容が編集可能になる。変更は即座に画面上に反映される。図１２に示すように、テキストとして公開用、非公開用といった情報の種類に分けてテキストを入力できるようにすることも、応用によっては効果がある。ボタン１３０３、ボタン１３０４は直前、直後のアイコンに移動するためのアイコンであり、テキストを次々に入力できるようにすることがオペレータの操作効率を上げるために効果的である。また、ボタン１３０５は、映像の再生を指示するためのボタンであり、再生モニタ１４０が前面に現われ、該当する映像区間が再生、あるいは繰り返し再生される。このように、テキスト入力を行いながら、映像を確認できるようにすることが好適である。ボタン１３０６、ボタン１３０７はテキスト入力を完了、またはキャンセルする。
【００５３】
（見出しタグ追加）
見出しタグも上述したタグ追加手続きとほぼ同じである。オペレータは、一つまたは複数のアイコンを選択した状態で、メニューまたはキー操作によって「見出し追加」コマンドを起動する。ここで、見出しレベルを指定する「大見出し」、「中見出し」、「小見出し」の三つから一つを選択し（見出しレベルを指定することに相当する）、見出し文字列を入力することで、見出しタグを新規作成できる。また、見出し文字列の修正は上述した「テキスト入力」コマンドを呼び出すことで可能である。見出しレベルを任意の時点で変更できるようにすることも簡単にできる。
【００５４】
このように、見出し文字列を追加する操作は、ワープロで文章に見出しをつけるのと感覚的に同じでありオペレータにとってなじみやすい。
【００５５】
●階層構造を構築する方法
インデクスデータ３０９は、もともと図４のような表形式であって木データ構造にはなっておらず、図２のような形式で表示するには、階層的な木データ構造に変換する必要がある。
【００５６】
図９はフロー図を示しており、図１１の木データ構造の模式図を用いて変換手続きについて説明する。
【００５７】
（ａ）ステップ１００１： 根だけからなる木データ構造（図１１の１２０１）を作成し、現在着目しているノードを示すポインタｃｎｏｄｅ をｒｏｏｔに設定する。
【００５８】
（ｂ）ステップ１００２： まずインデクスデータ（図４の本体部分４０２）を次の順序で整列させる。整列の順序は、開始時刻（４１１）が小さい順に並べ、開始時刻が同じであれば見出しレベルが小さい順に並べる。見出しレベルは、図１０のタグ種別と見出しレベルの対応表を参照することにより取得する。大見出しは見出しレベル１に対応し、図２に示すような木データ構造において、１段目に配置することを意味している（根ノードを０段目とみなす）。この整列処理は、上述したユーザインタフェースにおいてオペレータが新規タグを追加したり、既存のタグを消去したり、開始時刻を変更したりした場合に部分的な整列処理が実行されるようにし、つねにインデクスデータは整列した状態に保っておくことが望ましい。図４の本体４０２は整列された状態になっており、開始時刻は小さい順に並んでおり、開始時刻が等しい場合（５０１，５０２の場合など）には見出しレベルの小さい順に並んでいることが確認できる。
【００５９】
図５は、図４に示されたデータ構造をタイムライン表示したものである。時間軸を横軸とし、縦軸に見出しレベルを表示しており、一つの帯（５０１，５０２，…）が一つのタグ、すなわち図４の本体４０２の一行に対応している。
【００６０】
タグを以下のような順序で整列させる：原点（時刻０）を通り、時間軸に垂直な直線を考える。その直線を原点から右方向に移動させていき、タグを表す帯とぶつかる順（すなわち、開始時刻の小さい順）に整列させる。ただし、二つ以上の帯が左端でその直線と接する場合には、上から順に（見出しレベルの順）に整列させる。図５の例では、直線は原点で大見出し５０１とカット５０２と同時に接点を持つので、５０１，５０２の順に整列され、続いてテロップ５０３とぶつかるので５０３を並べる。このような手続きを繰り返すことで、すべてのタグが規定の順序に整列される。
【００６１】
なお整列処理の直前に開始時刻を微調整することで整列処理を簡略化できる。見出しレベルをｌｅｖｅｌ （ｌｅｖｅｌ ＝１，２，３；ｌｅｖｅｌ ＝∞の場合はｌｅｖｅｌ ＝４と読み直す）とし、開始時刻 ｓｔａｒｔを次式で微小修正する。
【００６２】
ｓｔａｒｔ＝ｓｔａｒｔ ＋ε^＊ ｌｅｖｅｌ
ただしεは微小な正の数である。実施例では、時間の単位としてミリ秒をとっており、開始時刻（これは映像をどのタイムコードから再生するかを表している）を１ミリ秒前後させても人は気づかない。従ってεを１にとることができる。この微調整により、整数をキーにした整列処理に帰着され、処理が簡略化されるとともに高速化できる。
【００６３】
（ｃ）ステップ１００３： すべてのタグについて以下の処理を実行するが、すべてのタグを処理し終わったら終了する。
（ｄ）ステップ１００４： 見出しレベルを取得し変数ｌｅｖｅｌ に格納する。図４の例では、１行目（５０１）は、タグ種別が、“大見出し”であるので、見出しレベルｌｅｖｅｌ ＝１である。
【００６４】
（ｅ）ステップ１００５： ｌｅｖｅｌ が∞かどうか（つまり、見出しタグか否か）を調べ、もし見出しタグ以外（ｙｅｓ）であれば、ステップ１００６の処理を行い、見出しタグの場合（ｎｏ）にはステップ１００７以降の処理に移る。
（ｆ）ステップ１００６： 単純に現ノードｃｎｏｄｅ の子ノードにタグを追加する。
【００６５】
（ｇ）ステップ１００７： 木データ構造はｒｏｏｔから順にたどり、（ｌｅｖｅｌ −１）段目の最後尾にあたるノードをｃｎｏｄｅ として新たに設定する。
（ｈ）ステップ１００８： ｃｎｏｄｅ の子ノードにタグを追加する。
（ｉ）ステップ１００９： 今追加した子ノードを現ノードｃｎｏｄｅ として記憶する。
【００６６】
図４の例と、図１１の模式図とを使って動作を説明する。まず、木データ構造の初期状態は図１１図示１２０１のようになっており、ｒｏｏｔ以外にはノードが無い状態である。
【００６７】
５０１行目を見ると大見出しのタグ（見出しレベル＝１）があるので、ステップ１００７ではレベル０のノード（つまりｒｏｏｔ）をｃｎｏｄｅ とし、ステップ１００８では大見出しタグ（５０１行）をその子ノードとして追加し、ステップ１００９ではｃｎｏｄｅ をレベル１に追加したノードを指すようにする（図１１図示１２０２）。
【００６８】
次いで５０２〜５０４行を見ると、見出し以外のタグが並んでいるので、図１０の対応表から見出しレベルは∞で、これら三つのタグは現ノードｃｎｏｄｅ の子ノードとして木データ構造に追加され、図１１図示１２０３の状態になる。
【００６９】
５０５行を見ると子見出しのタグ（見出しレベル＝２）があるので、レベル２のノードとして追加され、現ノードｃｎｏｄｅ がそのタグを指すようになり、図１１図示１２０４の状態になる。
【００７０】
５０６〜５０８行は、見出し以外のタグであるからｃｎｏｄｅ の子ノードとして追加される（図１１図示１２０５）。
【００７１】
図４には表示されていないが、次に中見出しタグとして、図２に示す如く「米国の四季」というタグが現われると、図１１図示１２０５中の点線で結ばれているノードが追加されることになる。
【００７２】
なお、以上のような手続きで階層構造を構築すれば、映像の先頭から章節の番号（例えば、大見出しには１，２，３，…、中見出しには１．１，１．２，…）を自動付与することが可能となる。自動付与された章番号は、図１の画像一覧部１３０に示す見出し文字列１０２と一緒に表示することができ、章番号を表示することで論理構造を利用者が把握しやすくなる。
【００７３】
●映像閲覧
図１３はシステム構成図を示し、図１４のフロー図と図１５の画面遷移図とを用いて、映像データベース閲覧の一実施例について述べる。
【００７４】
図１３のシステム構成図は映像データベースの閲覧、検索を可能にするためのものである。ユーザ側のクライアントコンピュータ１４０４はネットワーク１４０３を介して、検索サーバ１４０６、映像サーバ１４０５に接続されている。検索サーバ１４０６は、上述した方法で作成したインデクスデータを複数の映像について蓄積した蓄積装置１４０２と接続されている。映像サーバ１４０５は、ネットワークで配信可能な映像フォーマットに変換された映像データが複数蓄積された蓄積装置１４０１に接続されている。もちろん、映像サーバ、検索サーバは複数あってもよく、検索要求の数に応じて自由に設計できる。
【００７５】
図１４のフロー図と図１５の画面遷移図とを用いて、閲覧手続きについて説明する。
まず、検索サーバ１４０６は、蓄積されている映像データのタイトルー覧をクライアントに送信する（ステップ１５０１）。
【００７６】
クライアント画面上に表示されたビデオタイトルー覧（１６０１）の中から、ユーザが一つのビデオタイトルを選択する（ステップ１５０２）。
【００７７】
検索サーバ１４０６は、利用者が選択したビデオタイトルから、上述した手続きにより目次データを、インデクスデータ１４０２から作成しクライアントに送信する（ステップ１５０３）。
【００７８】
クライアント画面に図１５図示の画面１６０２に示すような目次画面が表示される。ユーザは目次画面１６０２を見て、一つの項目を選択する（ステップ１５０４）。
【００７９】
図１５図示の画面１６０２には各目次項目毎に「ＰＬＡＹ」、「詳細」という２種類のボタンが併記されており、「詳細」ボタンが押下された場合には、ステップ１５０５に移る。
【００８０】
ステップ１５０５は、検索サーバに問い合わせ、該当する目次項目の下位にあるショットを検索し、その代表画像をクライアントに送信し、クライアント画面に図１５図示の画面１６０３に示すような画像一覧を表示する（ステップ１５０５）。
【００８１】
図１５図示の画面１６０３に表示された画像または見出し文字列をユーザが指示すると、映像サーバ１４０５に接続し、指示された代表画像、または見出し文字列からインデクスデータ１４０２に記録されている再生開始時間を取得し、映像データをその位置からクライアントに送出し、クライアント画面（図１５図示の画面１６０４）には受信した映像データが再生される（ステップ１５０６）。
このように、目次を表示することにより、効率的な閲覧が可能になる。
【００８２】
●映像検索
図１６はフロー図を示しており、図１７の画面遷移図を用いて映像検素手続きについて述べる。
【００８３】
まず、利用者がクライアント側でキーワードを入力する（画面１８０１、ステップ１７０１）。なおキーワードとしては、単語あるいは文章あるいは画像のいずれか１つまたは複数個の組合せたものからなるが、その他にも、所望の検索を行うに必要な音声や、映像固有の条件例えば著作権情報、時間表などを用いることができる。
【００８４】
検索サーバはキーワードをクライアントから受け取り、キーワードにマッチするタグをインデクスデータから検索する。具体的には、図４の本体４０２で、テキスト４１４の列を上から順に調べることになる。なお、複数の映像がある場合にはそれぞれの映像について作成されたすべてのインデクスデータを順に調べる（ステップ１７０２）。
【００８５】
時間的に重なりを持つ、見出し項目を列挙する。図５の例で説明すると、「富士山」のキーワードで検索すると、図５に示す「富士山」を示すショットがキーワードにマッチするタグとして見つかる。ステップ１７０３で、そのタグに時間的に重なりを持つ見出し項目を調べると、大見出し「世界の四季」（５０１）、中見出し「日本の四季」（５０５）、小見出し「春」の三つが見つかる（ステップ１７０３）。
【００８６】
検索結果をクライアントに返し、画面１８０２に示すような目次つきの検索結果一覧を表示する（ステップ１７０４）。
【００８７】
目次つきの一覧を表示することで、どのような文脈で検索結果が用いられているかが分かる。
【００８８】
以上の手順をコンピュータによって実行するためのプログラムは、コンピュータが読み取り可能な可搬記録媒体メモリ、半導体メモリ、ハードディスクなど適当な記録媒体に格納することができる。
【００８９】
【発明の効果】
本発明によれば、
（１）映像の論理的な階層構造を記述可能になる、
（２）オペレータの直感的な操作により論理構造を付与可能になる、
などの効果がある。
【００９０】
請求項１の発明は、開始時刻とともに見出しレベルを指定させ、論理構造に対応する順序に並べ替えて、文章の見出しのように見出しレベルの小さいものは目立つように表示することにより、簡便な論理構造の可視化を可能とする効果がある。そして、見出し文字列だけではなく、映像の画像内容を代表画像を用いて一覧表示できる効果があり、これによって映像をいちいち再生して見なくても映像の概略が把握できる効果がある。
【００９１】
請求項２の発明は、階層的な構造を構築することで論理構造を直接的に表現可能とする効果がある。
【００９２】
請求項３の発明は、映像の論理構造の終了時刻を更に見出し項目に指定することで、映像の再生開始時刻と終了時刻を利用者が指定できるようにし映像の部分的再生（終了時刻に達したら自動的に再生を停止する）を可能とし、プレゼンテーションを行う場合などに余計な部分を見せないようにできる効果がある。
【００９４】
請求項４の発明は、映像に関連付けられたタグ情報の時間長、相対的位置関係が視覚的に確認できるようになる効果がある。
【００９５】
請求項５の発明は、代表画像と関連付けてテキストをはじめとする画像、音声、リンク等の情報を管理することで、映像のキーワード検索、音声変換、ハイパーリンク化、要約等が可能となる効果がある。
【００９６】
請求項６の発明は、見出し項目リストをインデクスデータとして映像データと関連付けて蓄積しておき、見出し項目リストを映像の目次として表示することにより、利用者が論理単位の開始時刻からの映像再生を直接的に指示でき、効率的な映像閲覧が可能になる効果がある。
【００９７】
請求項７の発明は、見出し項目リストとともに検索用インデクスを蓄積しておくことで部分映像を検索が可能となり、目次つきの検索結果を返すことで部分映像がどのような文脈で現われたかを利用者が理解しやすくなる効果がある。
【図面の簡単な説明】
【図１】タグ付与を効率化するためのユーザインタフェースの模式図である。
【図２】階層的表示の例である。
【図３】本発明の一実施形態を説明するシステム構成図である。
【図４】インデクスデータのデータ構造を説明するための図である。
【図５】インデクスデータを説明するための図である。
【図６】画面に表示される「目次」の態様を示す図である。
【図７】従来技術（成層モデル）を説明するための図である。
【図８】従来技術（木データ構造）を説明するための図である。
【図９】階層構造を構築する手続きを説明するための図である。
【図１０】タグ種別と見出しレベルの対応表である。
【図１１】階層構造を構築する手続きを説明するための図である。
【図１２】テキスト入力画面である。
【図１３】映像検索システムと映像閲覧システムのシステム構成図である。
【図１４】閲覧手続きを説明するための図である。
【図１５】閲覧時の画面遷移図である。
【図１６】検索手続きを説明するための図である。
【図１７】検索時の画面遷移図である。
【符号の説明】
１００：大見出し
１０１：代表画像
１０２：テキスト
１１１：中見出し
１１２：小見出し
１１３：カット
１１４：テロップ
１１５：音声
１２０：タイムライン部
１２１：カーソル
１３０：画像一覧部
１４０：再生モニタ
３０３：マウス
３０４：スピーカー
３０６：ハードディスク装置
３０８：映像データ
３０９：インデクスデータ

Claims (11)

1. 映像を構成する個々の論理単位の内容を、コンピュータを用いて、表現し管理する映像管理方法において、
   当該個々の論理単位についての、当該論理単位の複数の階層のレベルに対応するタグ種別と当該論理単位に対応する映像を表示する開始時刻と当該論理単位に対応して存在し得る見出し文字列とを、１つの見出し項目として指定された情報を受信して、見出し項目が順不同に配列された見出し項目リストを生成する過程と、
   当該見出し項目リスト内の各見出し項目について、各見出し項目の前記タグ種別にもとづいて、当該見出し項目に割りつけられる階層のレベルを見出しレベルとして取得する過程と、
   前記見出し項目リスト内の各見出し項目について、各見出し項目を、前記開始時刻の小さい順にかつ開始時刻が同じであれば見出しレベルの上位のものから順に整列させる過程と、
   当該整列された見出し項目について、当該整列された順に夫々の見出し項目について、
   最下位の見出しレベルに対応する代表画像は画面の左から右へ、右端に達したら次の行の左端に順次配置し、上位の見出しレベルに対応する見出し文字列は１行を占めるように配置して表示する過程
   を有することを特徴とする映像の階層的管理方法。
2. 請求項１記載の映像の階層的管理方法であって、
   見出し項目リストに記録された開始時刻と見出しレベルを参照して、見出し項目をノードとする階層構造に変換し、各見出し項目を階層的に表示する、
   ことを特徴とする映像の階層的管理方法。
3. 請求項１または２記載の映像の階層的管理方法であって、
   映像の論理構造の終了時刻を更に見出し項目に指定する
   ことを特徴とする映像の階層的管理方法。
4. 請求項１記載の映像の階層的管理方法であって、
   時間軸上に代表画像と一対一に対応付けられた帯をタイムライン表示し、
   タイムライン表示された帯を選択すると、対応する代表画像が選択されて当該代表画像が選択されたことが可視的に表示される
   ことを特徴とする映像の階層的管理方法。
5. 請求項４記載の映像の階層的管理方法であって、
   前記見出し項目に対応する代表画像と関連付けて、当該見出し項目に関係する情報を管理する
   ことを特徴とする映像の階層的管理方法。
6. 請求項１記載の映像の階層的管理方法であって、
   前記見出し項目が整列された整列済み見出し項目リストをインデクスデータとして、映像データと関連付けて蓄積しておき、
   複数の当該整列済み見出し項目リストの少なくとも一つを選択させ、当該選択された整列済み見出し項目リスト内の見出し項目に対応する論理単位について、当該論理単位の開始時間から蓄積された映像データを再生する
   ことを特徴とする映像の階層的管理方法。
7. 請求項１記載の映像の階層的管理方法であって、
   前記整列済み見出し項目リストとともに、検索用インデクスを蓄積しておき、
   利用者が検索キー情報を指示したことを契機として、前記検索キー情報と一致あるいは類似する情報を含むインデクスを列挙するようにし、
   次いで、当該インデクスに対応する見出し項目と、表示のための時期が時間的に重なる見出し項目を、前記複数の整列済み見出し項目リストの中から検索し、
   検索された当該見出し項目の群を、当該見出し項目を含む前記整列済み見出し項目リストにおける目次情報と一緒に表示する
   ことを特徴とする映像の階層的管理方法。
8. 映像を構成する個々の論理単位の内容を、コンピュータを用いて、表現し管理する映像管理装置において、
   当該個々の論理単位についての、当該論理単位の複数の階層のレベルに対応するタグ種別と当該論理単位に対応する映像を表示する開始時刻と当該論理単位に対応して存在し得る見出し文字列とを、１つの見出し項目として指定された情報を受信して、見出し項目が順不同に配列された見出し項目リストと、
   前記論理単位に対応するタグ種別に対応して割りつけられる見出しレベルを記述した対応表と、
   をそなえると共に、
   当該見出し項目リスト内の各見出し項目について、各見出し項目の前記タグ種別にもとづいて、前記対応表を索引して、当該見出し項目に割りつけられる階層のレベルを見出しレベルとして取得する処理手段と、
   前記見出し項目リスト内の各見出し項目について、各見出し項目を、前記開始時刻の小さい順にかつ開始時刻が同じであれば見出しレベルの上位のものから順に整列させる処理手段と、
   当該整列された見出し項目について、当該整列された順に夫々の見出し項目について、 最下位の見出しレベルに対応する代表画像は画面の左から右へ、右端に達したら次の行の左端に順次配置し、上位の見出しレベルに対応する見出し文字列は１行を占めるように配置して表示する処理手段と
   を有することを特徴とする映像の階層的管理装置。
9. 請求項８記載の映像の階層的管理装置であって、
   前記見出し項目が整列された整列済み見出し項目リストをインデクスデータとして、映像データと関連付けて蓄積した蓄積手段と、
   複数の当該整列済み見出し項目リストの少なくとも一つを選択させた際に、当該選択された整列済み見出し項目リスト内の見出し項目に対応する論理単位について、当該論理単位の開始時間から蓄積された映像データを再生する手段と
   を有する
   ことを特徴とする映像の階層的管理装置。
10. 映像を構成する個々の論理単位の内容を、コンピュータを用いて、表現し管理する映像管理方法について、当該映像管理方法を記述したプログラムを記録した記録媒体において、
    当該個々の論理単位についての、当該論理単位の複数の階層のレベルに対応するタグ種別と当該論理単位に対応する映像を表示する開始時刻と当該論理単位に対応して存在し得る見出し文字列とを、１つの見出し項目として指定された情報を受信して、見出し項目が順不同に配列された見出し項目リストを取り込む処理過程と、
    当該見出し項目リスト内の各見出し項目について、各見出し項目の前記タグ種別にもとづいて、当該見出し項目に割りつけられる階層のレベルを見出しレベルとして取得する処理過程と、
    前記見出し項目リスト内の各見出し項目について、各見出し項目を、前記開始時刻の小さい順にかつ開始時刻が同じであれば見出しレベルの上位のものから順に整列させる処理過程と、
    当該整列された見出し項目について、当該整列された順に夫々の見出し項目について、 最下位の見出しレベルに対応する代表画像は画面の左から右へ、右端に達したら次の行の左端に順次配置し、上位の見出しレベルに対応する見出し文字列は１行を占めるように配置して表示する処理過程と
    を順に情報処理手段に実行させるためのプログラムを記録した記録媒体。
11. 請求項１０記載の記録媒体であって、
    前記映像の階層的管理方法を記述したプログラムが、
    前記見出し項目が整列された整列済み見出し項目リストをインデクスデータとして、映像データと関連付けて蓄積した蓄積内容を取込み、
    複数の当該整列済み見出し項目リストの少なくとも一つを選択させ、当該選択された整列済み見出し項目リスト内の見出し項目に対応する論理単位について、当該論理単位の開始時間から蓄積された映像データを再生する処理過程を有する
    ことを特徴とする情報処理手段に実行させるためのプログラムを記録した記録媒体。

Images