JP3985656B2 - 映像索引付加方法及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像索引付加方法及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像データベースシステム、映像索引付けシステム、ディジタル映像編集システム等において、映像のメタデータを作成するために、映像制作時のシナリオに記載されている情報を利用するための映像索引付加方法及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【０００２】
メタデータがあれば、映像の取り扱いが便利になるという利点がある。メタデータの有効な応用の一つは、映像の索引を作り、映像をランダムアクセス可能な媒体で提供することである。映像の索引とは、映像の中の区間の内容を表すメタデータと、当該映像区間の区間情報の組である。
【０００３】
映像区間の区間情報は、映像区間の開始位置と終了位置によって表されたり、開始位置と区間の長さによって表されたりする。または、開始位置だけで表される場合もある。図１３は、映像の索引の例を表している。映像の索引は、映像の区間情報８０３、映像区間の内容を表すメタデータ８０１、８０２、８０４がある。映像の索引があれば、利用者は、映像そのものを見ることなく、索引のメタデータから所望の区間を探し出し、あるいはメタデータを検索し、当該映像区間に即座にアクセスし、鑑賞することができるようになる。また、利用者は、索引から所望の複数の区間を選択し、それらを連続して再生することで、効率よく映像を鑑賞することができるようになる。
【０００４】
映像制作業者や放送事業者等様々な業者は、自社の所有する映像にメタデータを付与することにより、膨大な映像を管理したり、顧客への映像提供サービスに利用する試みを検討しているところである。
【０００５】
映像の索引をより有用にするためには、映像の区間が、ある意味的なシーン単位に区切られていることが望ましい。意味単位に区切られている方が目的の映像区間を探し出すことが容易になるためである。意味を考慮せずに区切るには、様々な単純イベント点（例えば、カメラの切り替わるカット点や、テロップの出現する点、音楽やジングルの鳴っている点、ナレーションや台詞の入る点など）を画像処理や音声処理によって自動的に検出し、区切ることが可能である。しかしながら、映像の画像処理や音声処理は、アルゴリズムによって程度の差はあるが、計算コストの高い処理であり、映像全体を処理していると、処理に長時間を要する。また、映像の内容を理解するという目的のためには、単純イベント点に索引付けしても、数が多過ぎてわかりにくい場合があり、意味的にまとまりのある範囲をまとめて意味的なシーンとし、意味的なシーン毎に索引付けした方が分かりやすい。しかし、意味的なシーンの分割は、人が単純イベント点を見て、意味を吟味しながらまとめるしかなく、人的コストがかかる作業である。
【０００６】
以上に述べたように、映像の索引付けの作成には、計算時間や人的コストがかかることが問題となっている。
【０００７】
通常、映画やテレビ放送番組、コマーシャルフィルムなどの映像作品を制作する場合、企画段階で映像の内容の概要を決め、構成表として表しておく。構成表の記述形式は統一さていないが、概ね、１本の映像作品の中でどのような映像をどのような順番でどれだけの長さで並べるかといった映像の構成や、それらの映像の意味内容（ナレーション、テロップ等）が記述されている。構成表の記述に基づいて、取材計画、撮影計画が立てられ、素材となる映像の撮影が行われ、編集され、作品が制作される。従って、構成表の記述と、完成した映像作品の構成は概ね一致していると考えられる（但し、制作の途中で映像の構成が変更される可能性があるから、完全に一致しない場合もあり得る）。
【０００８】
構成表には、シーン毎におおよその時間が記述されているので、各々のシーンの大凡のその開始点と終了点は予め得られる。
【０００９】
このように、構成表には、映像作品の構成や、意味内容を表す情報が記載されているにも関わらず、構成表は映像制作が終わると捨てられてしまうというのが現状である。
【００１０】
構成表の記述を映像の索引付け役立てるという構想があり、この方法は、予め番組の構成表の内容を装置に入力しておき、番組の放送時に、シーン区切りに合わせてメタデータを作成するものである（例えば、特許文献１参照）。
【００１１】
【特許文献１】
特開平１０−３０８９０９「番組付帯情報作成装置」
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来の構成表の記述を映像の索引付けに用いるという方法は、操作者が実時間で放送される（あるいは再生される）番組をみながらメタデータを付与するため、作業時間は番組の実時間より短くすることはできないし、また、処理の中断ややり直しが困難で、運用には柔軟性がないという問題がある。
【００１３】
本発明は、上記の点に鑑みなされたもので、構成表を利用しながらも、運用に柔軟性を持たせ、映像の索引付けの作業において、映像の画像処理や音声処理に要する時間を短縮し、意味的なシーンに纏めることが可能な映像索引付加方法及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１４】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００１５】
本発明（請求項１）は、中間索引生成手段、イベント点検出手段、開始時間抽出手段を有し、入力された映像データに対し、該映像の制作に使用された構成表の記述に基づいて、該構成表に記述されているシーン毎に索引を付加する映像索引付加装置が行う映像索引付加方法において、
中間索引生成手段が、構成表のシーンの継続時間に所定の変動幅を与え、各シーンに幅付きの継続時間を設定し、幅が付いたシーンの継続時間の積算により各シーンに幅が付いた開始時間を設定した中間索引を生成し（ステップ１）、
イベント点検出手段が、映像データのイベント点を検出し（ステップ２）、
開始時間抽出手段が、検出されたイベント点の中から、イベント点の開始時間が中間索引のシーンの幅付きの開始時間の範囲に含まれるイベント点を抽出し、記憶装置に出力する（ステップ３）。
【００１６】
また、本発明（請求項２）は、中間索引は、シーンに対してイベントの種類とキーを含み、
イベント点検出手段がイベント点を検出する際に、中間索引で示されたイベントの種類とキーとによってイベントを検出する。
【００１７】
また、本発明（請求項３）は、中間索引生成手段が、中間索引のシーン毎の幅付きの開始時間を求める際に、連続する複数のシーン（シーケンス）の最初のシーン開始時間と、最後のシーンの終了点が予め固定されている場合には、
シーケンスの先頭かシーンの継続時間の幅を積算して求めたシーンの開始時間の幅と、シーケンスの末尾からシーンの継続時間の幅を積算して求めた開始時間の幅とから、小さい方の幅を選択して用いる。
【００１９】
本発明（請求項４）は、請求項１乃至３のいずれか１項に記載の映像索引付加方法をコンピュータに実行させるための映像索引付加プログラムである。
【００２０】
本発明（請求項５）は、請求項４に記載の映像索引付加プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２１】
上記のように、本発明は、映像制作の現場で使用される構成表と呼ばれる情報と、映像データとを入力として、映像から採取されるサムネイル・映像の索引像と映像データの対応付けを行うものである。
【００２２】
通常、単純に映像のカット点やテロップ、セリフの出現位置（イベント点）を検出すると、多く検出され、重要なイベント点を見つけにくくなるが、本発明の処理によれば、構成表を用いることにより、もともと制作者の考えていたシーン区切りによって検出数が制限されるので、シーンの区切りを見つけやすくなる。本発明によって作成した映像索引のシーン区切りは、映像の制作者の考えていた構造を反映しており、シーン説明は、映像の制作者の考えていた意図等を反映しており、単純イベント点によって構成した索引よりも分かりやすくなる。
【００２３】
また、本処理を用いれば、シーンの区切りを検出する処理を映像全体に適用せずとも、開始時間が存在するはずの区間にだけ適用すればよいので、処理時間が短縮される。
【００２４】
【発明の実施の形態】
以下、図面と共に本発明の実施の形態を説明する。
【００２５】
図２は、本発明の一実施の形態におけるシステム構成を示す。
【００２６】
同図に示すシステムは、情報処理装置１０１、表示装置１０２、入力装置１０３、記憶装置１０４、ＬＡＮ（ローカルエリアネットワーク）１０５、及びファイルサーバ装置１０６から構成される。
【００２７】
図３は、本発明の一実施の形態におけるデータの流れを示す。
【００２８】
構成表２０１から中間索引２０２が作成される。中間索引２０２については、後述する。映像データ２０３は、完成した映像作品をディジタルデータ化し、ＭＰＥＧ２などの機械可読形式に変換したものである。映像索引付け処理２０４は、映像の索引を作成する。当該処理については、後述する。索引２０５は、映像データ２０３の索引であり、映像索引付け処理２０４の処理結果である。
【００２９】
上記の図２及び図３を用いて処理の概要を説明する。
【００３０】
操作者は、入力装置１０３を用いて、構成表２０１を元に中間索引２０２を情報処理装置１０１に入力し、記憶装置１０３に格納する。完成した映像作品の映像データ２０３はファイルサーバ装置１０６に格納されているものとする。情報処理装置１０１は、ＬＡＮ１０５を介してファイルサーバ装置１０６から、当該映像データ２０３を読み出し、中間索引２０２を利用して映像索引付け処理２０４を実行し、索引２０５を作成し、記憶装置１０３に出力する。
【００３１】
まず、構成表２０１から中間索引２０２を作成する方法を説明する。
【００３２】
当該処理は、本発明の映像索引付け処理の前処理である。
【００３３】
構成表は、通常、ノートに書かれたり、ワードプロセッサで電子的に書かれたりするものであるが、もともと制作者がその内容を理解できれば役割を果たせるのであるからフォーマットが規定されているわけではない。従って、機械で読み込むには適していない。そこで、機械で読み込むのに適した形である中間索引２０２に変換する作業が必要となる。なお、構成表を最初から機械で読みむのに適した形で書いておけば、この作業は省略できる。
【００３４】
図４は、本発明の一実施の形態における構成表の例を示す。横線３０１〜３０５は、意味的なシーンの区切りを表している。文章３０６〜３１０及び３１６〜３２０は、シーンの内容を表している。特に、文章３１９は、次のシーンが始まる前に合図の台詞を発声することを表している。時間３１１〜３１５は、各々のシーンの時間長を表している。また、文章３２０は、このシーンの最初にテロップが入ることを表している。文章３１９、３２０のような内容は、シーンの区切りを検出する際の手掛かりとなる。
【００３５】
図４に示されている内容を、中間索引に変換した例を図５に示す。中間索引は、例えば、テキストファイルの形式やＣＳＶ形式（カンマ区切りの表）や、関係データベースの形などで表される。本実施の形態では、関係データベースの形で中間索引を表すものとする。図５では、意味的なシーンのひとつが、データベースのデータの１行（１組）として表されている。１行のデータは、属性“シーン番号”（シーンＮｏ）、“シーン説明”、“開始時間”、“継続時間”、“ヒント種別”、“ヒントのキー”、を持っている。
【００３６】
属性“シーン番号”は、映像作品のシーンに順に付けられた番号である。属性“シーン説明”は、当該シーンの説明である。
【００３７】
属性“シーン説明”は、本発明の映像の索引付け方法には使用しないが、作成した索引を使用する際に必要となる情報である。
【００３８】
属性“開始時間”は、当該シーンが始まる時間を映像の先頭から経過時間を秒を単位として表したものである。通常、構成表２０１に書かれた時間は、概数であるから、正確には決定できなので、開始時間には幅がある。例えば、開始時間が１０±１であったら、開始時間は９秒から１１秒の間にあることを表している。
【００３９】
属性“継続時間”は、当該シーンが継続する時間長である。通常、構成表２０１に書かれた時間は概数であるから、正確には決定できないので、継続時間には幅がある。例えば、継続時間が１０±１であったら、当該シーンの継続時間は９秒から１１秒の間のいずれかであると見做す。
【００４０】
属性“ヒント種別”は、シーンの開始点を示す映像的な特徴、音声的な特徴がある場合に値が設定される。
【００４１】
属性“ヒントのキー”は、属性“ヒント種別”で示される特徴を更に特定する情報を設定する。
【００４２】
なお、経過時間や継続時間や、本実施の形態では秒で表すが、これに限らず、フレーム数で表してもよいし、時、分、秒を複合して表してもよい。
【００４３】
具体的には、図４に示す構成表２０１の一部を中間索引２０２に変換する場合を例として、中間索引の作成方法を説明する。
【００４４】
中間索引の作成方法としては、図６〜図８のいずれかの方法で作成することが可能である。図６は、中間索引の基本動作（ステップ１０１〜ステップ１０７）を示し、図７は、図６の動作にヒント種別とヒントのキーを設定した動作（ステップ２０１）を加えており、図８は、中間索引のシーンの開始時間の幅を求める動作（ステップ３０１〜ステップ３０３）を加えている。
【００４５】
最初に変数Ｓ（シーン番号）に１を代入し初期化する（ステップ１０１）。
【００４６】
属性“シーン番号”は、そのシーンの通し番号（Ｓ）を設定する（ステップ１０２）。
【００４７】
属性“シーン説明”には、構成表２０１の説明文を、そのまま、または、シーンの内容の説明文として適切になるよう取捨選択、改変して設定する（ステップ１０３）。
【００４８】
属性“継続時間”には、構成表２０１に記述されているシーンの継続時間の概数と、変動の幅を設定する（ステップ１０４）。シーンｎの継続時間をＤｎ±αｎと表す。Ｄｎが、構成表２０１に記載されている概数を、αｎが幅を表す。幅をどの程度とするかは、制作の過程において、シーンの継続時間がどの程度変動するかによるので一概には決められない。制作者が構成表記載の時間をどの程度忠実に守るか、制作者の個性にもよるであろう。出演者の対話などの場合は、予め設定した時間からずれる場合もあるであろう。そのずれの程度も、台本がある場合はずれが少ないであろうが、アドリブの場合、ずれも大きくなるであろう。別途作成したＶＴＲを挿入するような場合は、そのＶＴＲの長さによって略正確に継続時間は決まると考えられる。このような様々な要因を勘案して、幅を定める。または、機械的に、αｎ＝γＤｎのように継続時間Ｄｎに比例するように定めたり、αｎ＝δのように一定値とすることもできる。ここで、γ、δは、予め定めた定数とする。
【００４９】
属性“開始時間”は、それより前のシーンの継続時間を積算して算出する（ステップ１０５）。“開始時間”も“継続時間”と同様に幅を持つ。シーンｎの“開始時間”を、Ｔn ±βn と表すと、ｎ＞１のとき、
【００５０】
【数１】

と表される。なお、Ｔ0 ＝０，β0 ＝０とする。
【００５１】
ところで、数式２のように開始時間の幅を求めると、後のシーンほど幅が大きくなる。しかしながら、映像の長さは定まっているのであるから、最後のシーンの終了時間は定まっているはずである。このことを利用して、幅の増大を抑えることも可能である。そのためには、映像の先頭からシーンの継続時間を積算して求めたシーンの開始時間の幅と、映像の末尾からシーンの継続時間を積算して求めたシーンの開始時間の幅を比較し、小さい方を採用する。具体的には、
【００５２】
【数２】

によって幅βn を求める（ステップ３０１〜ステップ３０３）。ここで、ＭＩＮ（Ｘ，Ｙ）は、Ｘ，Ｙのうち小さいほうの値を採る関数とする．
また、映像によっては、映像中の特定のシーンの開始位置が予め決まっており、固定されている場合がある。例えば、テレビ番組の中の天気予報のコーナや、ＣＭの挿入位置等が固定されている場合などがあり得る。このような場合には、固定開始位置を利用して、さらに開始時間の幅を抑えることができる。そのためには、固定開始位置の間のシーンに対して、数式３〜数式５と同様の計算を行えばよい。具体的には、シーン１、Ｆ1 ，Ｆ2 ，…，Ｆf の開始位置が固定されているとすると（但し、１＜Ｆ1 ＜Ｆ2 ＜…＜Ｆf ＜Ｎとする）、シーンＦi からシーン（Ｆi+1 −１）までの開始位置の幅は、ｉ＜ｆの場合には、
【００５３】
【数３】

によって、幅βn を求める。なお、ｉ＝ｆの場合は、数式７の代わりに数式４を用いて、数式６、数式４、数式８を引いて幅βn を求める。
【００５４】
属性“ヒント種別”は、カット区切りに特に映像的、あるいは、音声的な特徴がある場合に、その特徴の種類を設定する。映像的あるいは音声的な特徴としては、テロップ、ロゴマーク、人物の存在、構図（ロング、バストショットなど）、撮影場所（屋外か屋内かなど）、カメラワーク、台詞、音楽、シングルなど、種々のものがある。例えば、文章３１９によれば、次のシーンの前に「ＶＴＲスタート」という台詞が発声されることがわかる。従って、シーン３の開始位置の手掛かりとして、シーン３のヒント種別に種別“セリフ”、シーン３のヒントキーに、台詞の内容“ＶＴＲスタート”を設定する（ステップ２０１）。ここで、当該台詞のような、シーンの切り替わりを示す特徴が継続している間は、次の開始されるシーンの一部と見做すものとする。また、文章３２０によれば、シーン５の先頭に「本日のニュース」というテロップが挿入されることがわかる。従って、シーン５のヒント種別に、種別“テロップ”、シーン５のヒントのキーにテロップの内容“本日のニュース”を設定する。その他のシーンについては、構成表に特に手掛かりが記載されていないので、ヒント種別及びヒントのキーには何も設定しない。
【００５５】
次に、映像索引付け処理２０４について、基本的な動作を図９に基づいて説明する。以下の説明では、シーンの数をＮで表す。
【００５６】
ステップ４０１） 変数Ｓに１を代入し、初期化する。変数Ｓは、シーン番号を表す。
【００５７】
ステップ４０２） 中間索引２０２からシーンＳの開始時間を取得し、開始時間の概数を変数Ｔに、幅を変数βに格納する。なお、開始時間は、本実施の形態では、映像の先頭から経過時間を秒単位で表し、幅は秒で表す。
【００５８】
ステップ４０３） Ｔからβだけ前の時間Ｔ−βを計算し、変数Ｔmin に代入する。Ｔからβだけ後の時間Ｔ＋βを計算し、変数Ｔmax に格納する。
【００５９】
ステップ４０４） リストＣS ，ＬS ，ＭS を初期化する。各々のリストには、数値の任意個のリストを格納することができるものとする。また、Ｓは、シーン番号を表す添字である。
【００６０】
ステップ４０５） 映像データ２０３に対して、入力画像の先頭から計ってＴmin 秒の位置からＴmax 秒の位置までの部分映像に対して、カット点検出処理を行い、検出されたカット点のリストをＣS に格納する。１カット点は、映像の先頭から、そのカット点の存在する位置までの時間（秒）によって表すことができる。例えば、当該区間内のＫ1 （秒），Ｋ2 （秒），…，ＫM （秒）の位置にカット点が検出されたら、リスト（Ｋ1 ，Ｋ2 ，…，ＫM ）をＣS に格納する。ここで、Ｍは、シーンＳの当該区間中に検出されたカット点の個数とする。カット点検出処理は、例えば、「カット検出装置及びカット検出方法のプログラムを記録した記録媒体」（特開２００２−２１８３７６）に開示されている方法によって行うことができる。
【００６１】
上記の説明では、映像中の位置を映像の先頭から秒数にて表したが、映像中の位置を映像の先頭からのフレーム数で表したり、タイムコードで表したりしてもよい。
ステップ４０６） 変数Ｓに値Ｓ＋１を代入する。
【００６２】
ステップ４０７） 変数Ｓの値とシーン数Ｎを比較し、Ｓ≦Ｎであれば、ステップ４０２に戻り、次のシーンについての処理を行う。そうでなければ、ステップ４０８に移行する。
【００６３】
ステップ４０８） 変数Ｓに１を代入する。
【００６４】
ステップ４０９） 中間索引２０２からシーンＳのシーン説明を取得する。
【００６５】
ステップ４１０） 変数Ｓの値と１を比較し、同じであれば、ステップ４１８に移行する。そうでなければステップ４１１に移行する。
【００６６】
ステップ４１１） シーン番号Ｓを表示装置１０２に出力する。
【００６７】
ステップ４１２） シーンＳのシーン説明を表示装置１０２に出力する。
【００６８】
ステップ４１３） シーンＳのカット点のリストＣS の各々の位置を瞬間の縮小画像を映像データ２０３から作成し、表示装置１０２に位置（映像の先頭からの秒数）と縮小画像を共に出力する。リストＣS が初期状態、すなわち、要素数が０の場合は、出力しなくてもよい。
【００６９】
ステップ４１４） 入力装置１０３からの入力を受け付ける。この入力は、操作者が表示装置１０２に出力されたシーン説明７０２と、縮小画像７０３とを閲覧し、当該シーンに最も相応しいシーン開始点を選択して、最も相応しいシーン開始位置を入力装置１０３から入力したものとする。当該ステップによって、当該シーンの開始位置が一つ選択される。入力の方法は、位置（秒数）を入力する方法でもよいし、表示装置１０２に表示された縮小画像７０３をマウス等の入力装置によって選択し、その代表画像に対応する位置を取得する方法でもよい。
【００７０】
ステップ４１５） シーンＳのシーン番号と、シーン説明と、ステップ４１４で入力された位置と、その位置の縮小画像を、シーンＳの索引として、記憶装置１０４に出力する。
【００７１】
ステップ４１６） 変数Ｓに値Ｓ＋１を代入する。
【００７２】
ステップ４１７） 変数Ｓの値と、シーン数Ｎを比較し、Ｓ≦Ｎであれば、ステップ４０９に戻り、次のシーンについての処理を行う。そうでなければ、処理を終了する。
【００７３】
ステップ４１８） 映像の先頭（位置０秒）の画像の縮小画像を作成し、シーン番号１と、シーン１のシーン説明と、位置０（秒）と、位置０秒の縮小画像をシーン１の索引としてとして、記憶装置１０４に出力し、ステップ４１６に移行する。
【００７４】
次に、図１０、図１１に基づいて詳細に説明する。
【００７５】
ステップ５０１） 変数Ｓに１を代入し、初期化する。変数Ｓは、シーン番号を表す。
【００７６】
ステップ５０２） 中間索引２０２からシーンＳの開始時間を取得し、開始時間の概数を変数Ｔに、幅を変数βに格納する。なお、開始時間は、本実施の形態では、映像の先頭から経過時間を秒単位で表し、幅は秒で表す。
【００７７】
ステップ５０３） Ｔからβだけ前の時間Ｔ−βを計算し、変数Ｔmin に代入する。Ｔからβだけ後の時間Ｔ＋βを計算し、変数Ｔmax に格納する。
【００７８】
ステップ５０４） リストＣS ，ＬS ，ＭS を初期化する。各々のリストには、数値の任意個のリストを格納することができるものとする。また、Ｓは、シーン番号を表す添字である。
【００７９】
ステップ５０５） 映像データ２０３に対して、入力画像の先頭から計ってＴmin 秒の位置からＴmax 秒の位置までの部分映像に対して、カット点検出処理を行い、検出されたカット点のリストをＣS に格納する。１カット点は、映像の先頭から、そのカット点の存在する位置までの時間（秒）によって表すことができる。例えば、当該区間内のＫ1 （秒），Ｋ2 （秒），…，ＫM （秒）の位置にカット点が検出されたら、リスト（Ｋ1 ，Ｋ2 ，…，ＫM ）をＣS に格納する。ここで、Ｍは、シーンＳの当該区間中に検出されたカット点の個数とする。カット点検出処理は、例えば、「カット検出装置及びカット検出方法のプログラムを記録した記録媒体」（特開２００２−２１８３７６）に開示されている方法によって行うことができる。
【００８０】
上記の説明では、映像中の位置を映像の先頭から秒数にて表したが、映像中の位置を映像の先頭からのフレーム数で表したり、タイムコードで表したりしてもよい。
【００８１】
ステップ５０６） 中間索引２０２から、シーンＳのヒント種別を取得し、変数Ｈに格納する。
【００８２】
ステップ５０７） ヒントＨが種別“テロップ”と等しいかを検査し、等しければステップ５０８へ、そうでなければステップ５１０へ移行する。
【００８３】
ステップ５０８） シーンＳのヒントのキーＫを取得する。この場合、ヒント種別が“テロップ”であるので、キーＫは文字列である。
【００８４】
ステップ５０９） 映像データ２０３に対して、入力映像の先頭から計ってＴmin 秒の位置からＴmax までの位置までの部分映像に対してテロップ認識処理を行い、キーＫの文字列と一致するテロップが出現する位置のリストをＬS に格納する。テロップ認識処理は、例えば、「映像中の文字検索方法及び装置」（特開２００２−２７９４３３）に開示されている方法によって行うことができる。その後、ステップ５１３に移行する。
【００８５】
ステップ５１０） ヒントＨが種別“セリフ”と等しいかを検査し、等しければステップ５１１へ移行し、そうでなければステップ５１３に移行する。
【００８６】
ステップ５１１） シーンＳのヒントのキーＫを取得する。この場合、ヒント種別が“セリフ”であるので、キーＫは文字列である。
【００８７】
ステップ５１２） 映像データ２０３に対して、入力映像の先頭から計ってＴmin 秒の位置からＴmax 秒の位置までの部分映像に対して音声認識処理を行い、キーＫの文字列と一致するセリフが出現する位置のリストをＭS に格納する。音声認識処理は、例えば、「映像検索装置及びその方法」（特開２００２−１７５３０４）に開示されている方法によって行うことができる。その後、ステップ５１３に移行する。
【００８８】
ステップ５１３） 変数Ｓに値Ｓ＋１を代入する。
【００８９】
ステップ５１４） 変数Ｓの値とシーン数Ｎを比較し、Ｓ≦Ｎであれば、ステップ５０２に戻り、次のシーンについての処理を行う。そうでなければ、図１１のステップ６０１に移行する。
【００９０】
ステップ６０１） 変数Ｓに１を代入する。
【００９１】
ステップ６０２） 中間索引２０２からシーンＳのシーン説明を取得する。
【００９２】
ステップ６０３） 変数Ｓの値と１を比較し、同じであれば、ステップ６１３に移行する。そうでなければステップ６０４に移行する。
【００９３】
ステップ６０４） シーン番号Ｓを表示装置１０２に出力する。
【００９４】
ステップ６０５） シーンＳのシーン説明を表示装置１０２に出力する。
【００９５】
ステップ６０６） シーンＳのカット点のリストＣS の各々の位置を瞬間の縮小画像を映像データ２０３から作成し、表示装置１０２に位置（映像の先頭からの秒数）と縮小画像を共に出力する。リストＣS が初期状態、すなわち、要素数が０の場合は、出力しなくてもよい。
【００９６】
ステップ６０７） シーンＳのリストＬS の各々の位置の縮小画像を映像データ２０３から作成し、表示装置１０２に位置と代表画像を共に出力する。リストＬS が初期状態、すなわち、要素数が０の場合は出力しなくてもよい。
【００９７】
ステップ６０８） シーンＳのリストＭS の各々の位置の縮小画像を映像データ２０３から作成し、表示装置１０２に位置と代表画像を共に出力する。リストＭS が初期状態、すなわち、要素数が０の場合は出力しなくてもよい。
【００９８】
ステップ６０４から６０８の処理によって表示装置１０２に出力された例を図１２に示す。
【００９９】
表示装置１０２には、ステップ６０４で出力されたシーン番号７０１、ステップ６０５で出力されたシーン説明７０２、ステップ６０６からステップ６０８で出力された縮小画像７０３が１つの画面に表示される。
【０１００】
ステップ６０９） 入力装置１０３からの入力を受け付ける。この入力は、操作者が表示装置１０２に出力されたシーン説明７０２と、縮小画像７０３とを閲覧し、当該シーンに最も相応しいシーン開始点を選択して、最も相応しいシーン開始位置を入力装置１０３から入力したものとする。当該ステップによって、当該シーンの開始位置が一つ選択される。入力の方法は、位置（秒数）を入力する方法でもよいし、表示装置１０２に表示された縮小画像７０３をマウス等の入力装置によって選択し、その代表画像に対応する位置を取得する方法でもよい。
【０１０１】
ステップ６１０） シーンＳのシーン番号と、シーン説明と、ステップ６０９で入力された位置と、その位置の縮小画像を、シーンＳの索引として、記憶装置１０４に出力する。
【０１０２】
ステップ６１１） 変数Ｓに値Ｓ＋１を代入する。
【０１０３】
ステップ６１２） 変数Ｓの値と、シーン数Ｎを比較し、Ｓ≦Ｎであれば、ステップ６０２に戻り、次のシーンについての処理を行う。そうでなければ、処理を終了する。
【０１０４】
ステップ６１３） 映像の先頭（位置０秒）の画像の縮小画像を作成し、シーン番号１と、シーン１のシーン説明と、位置０（秒）と、位置０秒の縮小画像をシーン１の索引として、記憶装置１０４に出力し、ステップ６１１に移行する。処理を終了すると、記憶装置１０４に、映像データ２０３の索引３０５が出力される。
【０１０５】
図１３は、本発明の一実施の形態における作成された索引の例を示す。作成された索引３０５は、シーン番号８０１、シーン説明８０２、開始時間８０３、縮小画像８０４からなる。開始時間８０３は、前述の処理によって確定され、幅は表示していない。
【０１０６】
通常、単純に映像のカット点やテロップ、セリフの出現位置（イベント点）を検出すると、多く検出され、重要なイベント点を見つけにくくなるが、本発明の処理によれば、もともと制作者の考えていたシーン区切りによって検出数が制限されるので、シーンの区切りを見つけやすくなる。本発明によって作成した映像索引のシーン区切りは、映像の制作者の考えていた構造を反映しており、シーン説明は、映像の制作者の考えていた意図等を反映しており、単純イベント点によって構成した索引よりも分かりやすくなる。
本処理を用いれば、シーンの区切りを検出する処理を映像全体に適用せずとも、開始時間が存在するはずの区間にだけ適用すればよいので、処理時間が短縮される。
【０１０７】
なお、本実施の形態では、シーンの区切りとして検出するイベント点の種類をカット点、特定のセリフの出現位置、特定のテロップの出現位置のいずれかとする例を示したが、これに限らず、他のイベント点を利用してもよい。例えば、音楽あるいはジングルの出現位置、人物の有無、人物の人数、ロゴマークの有無などを利用してもよい。
【０１０８】
また、特定の台詞や特定のテロップとせず、任意の台詞、任意のテロップの出現位置をイベント点としてもよい。
【０１０９】
また、本実施の形態では、操作者がシーン区切りを選択する前にすべてのシーンの区切り位置の候補を求めておく例を示したが、他の可能な実施の形態としては、１シーン毎に区切り位置の候補を求め、シーン区切り位置を確定していく形態がある。この形態では、直前のシーンの開始時間が確定されているので、シーン開始時間の幅を短くすることができ、さらに、処理時間を短縮することが可能となる。
【０１１０】
本実施の形態では、ステップ５０５のカット点検出処理をすべてのシーンについて作成しているが、シーンにヒント種別が設定されている場合は、ステップ５０５を省略するような方法としてもよい。
【０１１１】
なお、上記の実施の形態における図６〜図１１のフローチャートに示す動作をプログラムとして構築し、索引付け装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御装置において実行することも可能である。
【０１１２】
また、構築されたプログラムを索引付け装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることも可能である。
【０１１３】
また、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０１１４】
【発明の効果】
上述のように本発明によれば、構成表に基づいて映像の索引を作成することにより、制作者の意図を反映した意味のあるシーンによって索引を作成することができ、わかりやすい索引を作成することができる。
【０１１５】
また、本発明によれば、シーンの区切りを検出処理を映像全体に適用せずとも、開始時間が存在するはずの区間にだけ適用すればよいので、処理時間が短縮される。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の一実施の形態におけるシステム構成図である。
【図３】本発明の一実施の形態におけるデータの流れを示す図である。
【図４】本発明の一実施の形態における構成表の例である。
【図５】本発明の一実施の形態における構成表から中間索引への変換の例である。
【図６】本発明の一実施の形態における中間索引作成処理のフローチャート（その１）である。
【図７】本発明の一実施の形態における中間索引作成処理のフローチャート（その２）である。
【図８】本発明の一実施の形態における中間索引作成処理のフローチャート（その３）である。
【図９】本発明の一実施の形態における映像索引付け処理の基本動作のフローチャートである。
【図１０】本発明の一実施の形態における映像索引付け処理のフローチャート（その１）である。
【図１１】本発明の一実施の形態における映像索引付け処理のフローチャート（その２）である。
【図１２】本発明の一実施の形態における表示装置に表示されたシーン開始点、選択画面の例である。
【図１３】映像索引の例である。
【符号の説明】
１０１ 情報処理装置
１０２ 表示装置
１０３ 入力装置
１０４ 記憶装置
１０５ ＬＡＮ
１０６ ファイルサーバ装置
２０１ 構成表
２０２ 中間索引
２０３ 映像データ
２０４ 映像索引付け処理
２０５ 索引
３０１〜３０５ 意味的なシーンンの区切り
３０６〜３１０，３１６〜３２０ シーンの内容
３１１〜３１５ シーンの時間長
３１９〜３２０ 文章
７０１ シーン番号
７０２ シーン説明
７０３ 縮小画像
８０１ シーン番号
８０２ シーン説明
８０３ 開始時間
８０４ 縮小画像

Claims (5)

1. 中間索引生成手段、イベント点検出手段、開始時間抽出手段を有し、入力された映像データに対し、該映像の制作に使用された構成表の記述に基づいて、該構成表に記述されているシーン毎に索引を付加する映像索引付加装置が行う映像索引付加方法において、
   前記中間索引生成手段が、前記構成表のシーンの継続時間に所定の変動幅を与え、各シーンに幅付きの継続時間を設定し、幅が付いたシーンの継続時間の積算により各シーンに幅が付いた開始時間を設定した中間索引を生成し、記憶装置に格納し、
   前記イベント点検出手段が、前記映像データのイベント点を検出し、
   前記開始時間抽出手段が、前記検出されたイベント点の中から、イベント点の開始時間が前記中間索引のシーンの幅付きの開始時間の範囲に含まれるイベント点を抽出し、記憶装置に出力する
   ことを特徴とする映像索引付加方法。
2. 前記中間索引は、シーンに対してイベントの種類とキーを含み、
   前記イベント点検出手段がイベント点を検出する際に、前記中間索引で示されたイベントの種類とキーとによってイベントを検出する
   請求項１記載の映像索引付加方法。
3. 前記中間索引生成手段が、前記中間索引のシーン毎の幅付きの開始時間を求める際に、連続する複数のシーン（シーケンス）の最初のシーン開始時間と、最後のシーンの終了点が予め固定されている場合には、
   シーケンスの先頭かシーンの継続時間の幅を積算して求めたシーンの開始時間の幅と、シーケンスの末尾からシーンの継続時間の幅を積算して求めた開始時間の幅とから、小さい方の幅を選択して用いる
   請求項１または２記載の映像索引付加方法。
4. 請求項１乃至３のいずれか１項に記載の映像索引付加方法をコンピュータに実行させるための映像索引付加プログラム。
5. 請求項４に記載の映像索引付加プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images