JP3685733B2 - マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム - Google Patents
マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム Download PDFInfo
- Publication number
- JP3685733B2 JP3685733B2 JP2001113009A JP2001113009A JP3685733B2 JP 3685733 B2 JP3685733 B2 JP 3685733B2 JP 2001113009 A JP2001113009 A JP 2001113009A JP 2001113009 A JP2001113009 A JP 2001113009A JP 3685733 B2 JP3685733 B2 JP 3685733B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- text data
- multimedia data
- text
- multimedia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、記録媒体に記録された映画、ドラマ、教育やニュース等の映像および音声を再生する際の再生位置を検索するためのマルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラムに関する。
【０００２】
【従来の技術】
ビデオテープ、ＤＡＴ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ）などの磁気テープや、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＬＤ（Ｌａｓｅｒ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの光ディスク等の記録媒体に記録された映像および音声を再生する際、利用者は見たい場面を再生するには、読み取り装置により早送り操作や巻き戻し操作を行って該当する場面の頭出しをする必要がある。
【０００３】
従来、記録媒体上に記録された映像データを検索する装置として、例えば特開平９−１６７４４２号公報に記載の記録再生装置がある。この記録再生装置は、データ空き領域に予めテキストデータを記録し、この記録されたテキストデータをキーワードとして用いて映像データを検索するように構成したものであり、所望とする映像を高速に頭出しすることが可能である。
【０００４】
【発明が解決しようとする課題】
ところが、この記録再生装置では、取材ジャーナリスト等が撮影現場で映像にコメントを記録するなどして検索用のテキストデータを作成する必要がある。この作業は極めて煩わしいものであり、映像の記録時間が２〜３時間と長いものではさらに労力を要する。したがって、映画やドラマなどの映像をこのような検索用のテキストデータとともに記録して市販する場合、その製造コストも高くなる。
【０００５】
また、従来の方法では、キーワードと一致するテキストデータを検索することによって映像の頭出しを行うが、必ずしも利用者が見たい場面を表すキーワードと一致するテキストデータが準備されているとは限らない。したがって、キーワードを入力しても利用者が意図する場面に頭出しされないことも多い。
【０００６】
そこで、本発明においては、映画、ドラマ、教育やニュース等の映像および音声が記録された記録媒体から利用者の見たい場面を適切に検索可能とするマルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラムを提供する。
【０００７】
【課題を解決するための手段】
本発明のマルチメディアデータ検索装置は、記録媒体に記録され互いに関連付けられた映像データおよび音声データを含むマルチメディアデータの再生位置を検索するマルチメディアデータ検索装置であって、マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割しその分割位置をマルチメディアデータと関連付けて記憶部に格納する手段、検索条件として入力されるテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する手段、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定する再生位置決定手段を備えたものである。
【０００８】
本発明のマルチメディアデータ検索方法は、記録媒体に記録されたマルチメディアデータを読み取るステップ、マルチメディアデータと関連付けられたテキストデータを取得するステップ、テキストデータを話題の単位ごとに分割するステップ、テキストデータの分割位置をマルチメディアデータと関連付けて記憶部に格納するステップ、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定するステップを含むことを特徴とする。
【０００９】
また、本発明のマルチメディアデータ検索プログラムは、記録媒体に記録されたマルチメディアデータを読み取るステップ、マルチメディアデータと関連付けられたテキストデータを取得するステップ、テキストデータを話題の単位ごとに分割するステップ、テキストデータの分割位置をマルチメディアデータと関連付けて記憶部に格納するステップ、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定するステップをコンピュータに実行させるためのものであることを特徴とする。
【００１０】
これらの発明によれば、利用者によって入力された検索条件としてのテキストデータに基づいて、意味的に類似する話題が含まれた部分のマルチメディアデータが検索され、その部分が再生位置として決定される。
【００１１】
ここで、マルチメディアデータと関連付けられたテキストデータは、記録媒体に記録されたマルチメディアデータが映像データおよび音声データに関連付けられたテキストデータを含む場合に記録媒体から読み出したテキストデータ、または、記録媒体から読み出した音声データを変換したテキストデータとすることができる。
【００１２】
記録媒体から読み出した音声データをテキストデータへ変換することによりその映画やドラマ等の字幕や台本等のテキストデータが予め記録媒体に記録されてない場合であっても利用者の見たい場面を適切に検索することができるが、記録媒体にこれらのテキストデータが予め映像データおよび音声データに関連付けて記録されている場合、このテキストデータを処理してマルチメディアデータの再生位置の決定に利用することで、音声データからの変換精度に関わらずより高精度な検索が可能となる。
【００１３】
また、判定した類似度に基づいてマルチメディアデータの再生位置を決定する際、類似度の高いものから順に再生位置の候補として決定することによって、利用者によって入力された検索条件としてのテキストデータに意味的に最も類似する話題が含まれた部分から順に再生位置として決定される。
【００１４】
また、検索条件として入力されるテキストデータは、キーボードなどの文字入力装置により直接入力されたデータまたはマイクなどの音声入力装置により入力された音声をテキスト変換したデータとすることが可能であり、音声入力装置による音声入力ではキーボードから文字を入力する手間を省くことができ、文字入力装置による直接入力ではより高精度な検索が可能となる。
【００１５】
【発明の実施の形態】
図１は本発明の実施の形態におけるマルチメディアデータ検索装置のハードウェア構成図、図２は図１のマルチメディアデータ検索装置の機能ブロック図である。
【００１６】
図１において、本実施形態におけるマルチメディアデータ検索装置は、各部を制御する制御部１、主に制御部１を動作させるプログラムを記憶する主記憶部２、処理中のプログラムや演算中のデータ等を記憶する補助記憶部３、検索条件等を入力するキーボードなどの入力部４、マルチメディアデータに基づいて映像および音声を再生する再生部５、磁気テープや光ディスク等の記録媒体６ａから各種データを読み取る読取部６により構成される。記録媒体６ａに記録されるマルチメディアデータは、主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データなどであり、互いに時間軸に沿って関連付けられたものである。
【００１７】
制御部１は、主記憶部２に記憶したプログラムを読み出し実行することによって、図２に示すテキスト変換手段１１、分割手段１２、類似度判定手段１３および再生位置決定手段１４として機能する。
【００１８】
テキスト変換手段１１は、読取部６によって記録媒体６ａから読み出した音声データを変換してテキストデータを得る。得られたテキストデータは、マルチメディアデータ（映像データ、音声データ）と時間軸に沿って関連付けられたものである。なお、記録媒体６ａに記録されたマルチメディアデータが映像データおよび音声データに関連付けられたテキストデータを予め含む場合、テキスト変換手段１１は音声データからテキストデータへの変換処理を行わないものとする。
【００１９】
分割手段１２は、マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割しその分割位置をマルチメディアデータと関連付けて補助記憶部３に格納する。テキストデータを話題の単位ごとに分割する処理としては、例えばＨｅａｒｓｔ，Ｍ．Ａ．： ＴｅｘｔＴｉｌｉｎｇ：Ｓｅｇｍｅｎｔｉｎｇ Ｔｅｘｔ ｉｎｔｏ Ｍｕｌｔｉ−ｐａｒａｇｒａｐｈ ＳｕｂｔｏｐｉｃＰａｓｓａｇｅｓ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ， Ｖｏｌ．２３， Ｎｏ．１， ｐｐ．３３−６４（１９９７）に記載されたベクトル空間法を用いたテキストセグメンテーション手法などを用いることができる。
【００２０】
図３は分割手段１２によるテキストデータの分割処理を示す説明図である。
図３に示すように、分割手段１２は、まず、マルチメディアデータと関連付けられたテキストデータを形態素解析によって１文ずつ区切り（文１，文２，・・・，文Ｎ）、それぞれの文１〜Ｎの開始時間および終了時間を補助記憶部３へ格納する。そして、それぞれの文から単語を抽出して話題が切り替わる部分をベクトル空間法などに基づくテキストセグメンテーション手法により決定し、話題の単位ごとに各文１〜Ｎを各ブロック１〜ｎへとまとめ、それぞれのブロック１〜ｎの開始時間および終了時間を補助記憶部３へ格納する。これにより、テキストデータは話題の単位ごとに分割されることになる。また、各ブロック１〜ｎの開始時間および終了時間は、テキストデータの話題の単位ごとの分割位置となる。
【００２１】
類似度判定手段１３は、入力部４により検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する。この２つのテキストデータの意味的な類似度を判定する処理としては、例えばベクトル空間法を用いることができる。ベクトル空間法では、ｎ個の異なる単語をｎ次元ベクトルのｎ個の単位元と対応付け、比較する２つのテキストデータにおけるそれぞれの単語の出現分布をベクトルで表現し、得られた２つのベクトルの内積を計算して類似度を求める（長尾真編：「自然言語処理」，ｐｐ．４２１−４２６，岩波書店，１９９６年）。このとき、利用者が検索条件として入力したテキストデータ中の個々の単語の類義語を考慮してこの２つのテキストの類似度を判定することも可能である。例えば、検索条件として入力されたテキストデータ中に「ベースボール」が含まれる場合、これに関連する類義語「野球」、「草野球」等が、分割されたそれぞれのテキストデータ中に出現していれば、それらの類義語を「ベースボール」と一致したとみなすことにより、類似度の判定精度を向上させることができる。
【００２２】
再生位置決定手段１４は、判定した類似度に基づいて補助記憶部に格納した分割位置からマルチメディアデータの再生位置を決定する。類似度は、入力されたテキストデータまたはこのテキストデータに関連する類義語が各ブロック１〜ｎ中に繰り返し多く存在するものほど高くなる。再生位置決定手段１４は、類似度の高いものから順に再生位置の候補として決定する。
【００２３】
図４は上記構成のマルチメディアデータ検索装置によるマルチメディアデータ検索処理を示すフロー図である。
ステップＳ１０１において、制御部１は、読取部６を制御し、記録媒体６ａに記録されたマルチメディアデータ（映像データ、音声データ）を読み取る。ステップＳ１０２では、制御部１は、この読み取った音声データをテキスト変換手段１１によってテキストデータへと変換する。ステップＳ１０３では、制御部１は、この得られたテキストデータを分割手段１２によって話題の単位ごとに分割し、この分割したテキストデータの分割位置をステップＳ１０１において読み取ったマルチメディアデータと関連付けて補助記憶部３に格納する。
【００２４】
ステップＳ１０４では、利用者が入力部４により入力した検索条件としてのテキストデータとステップＳ１０３において話題の単位ごとに分割したそれぞれのテキストデータとを類似度判定手段１３によって比較し、互いの意味的な類似度を判定する。ステップＳ１０５では、ステップＳ１０４において判定した類似度に基づいて再生位置決定手段１４により補助記憶部３に格納した分割位置からマルチメディアデータの再生位置の候補を決定する。ステップＳ１０６では、再生位置決定手段１４は、ステップＳ１０５により決定した再生位置の候補（類似度の高いもの順）の中から利用者によって入力部４により選択されたものを再生位置として決定する。ステップＳ１０７において、再生部５は、ステップＳ１０６において決定された再生位置からマルチメディアデータの再生を行う。
【００２５】
以上のように、本実施形態におけるマルチメディアデータ検索装置では、記録媒体６ａより読み出したマルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割し、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定し、判定した類似度に基づいてテキストデータの分割位置からマルチメディアデータの再生位置を決定することで、利用者によって指定された検索条件に対して意味的に類似する話題が含まれた部分のマルチメディアデータが検索されるため、利用者の見たい場面が適切に再生される。
【００２６】
すなわち、従来の再生装置のように利用者がキーワードを適切に指定し、かつこれと一致するテキストデータが準備されていない限り、利用者が見たい場面を検索できないということがなく、利用者は見たい場面に関連するテキストデータを思いついたままに指定するだけでその意図する場面に頭出しがなされ、利用者は見たい場面を容易に検索することができる。
【００２７】
なお、本実施形態においては、入力部４によって入力されるテキストデータは、キーボードなどの文字入力装置を用いて直接入力されたデータとしているが、マイクなどの音声入力装置により入力された音声をテキスト変換したデータとすることが可能であり、音声入力装置による音声入力ではキーボードから文字を入力する手間を省くことができる。
【００２８】
【発明の効果】
本発明により、以下の効果を奏することができる。
【００２９】
（１）マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割し、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定し、判定した類似度に基づいてテキストデータの分割位置からマルチメディアデータの再生位置を決定することで、利用者によって入力された検索条件としてのテキストデータに基づいて、意味的に類似する話題が含まれた部分のマルチメディアデータが検索され、利用者の見たい場面を適切に再生することが可能となる。
【００３０】
（２）記録媒体から読み出した音声データを変換してテキストデータを取得し、このテキストデータに基づいてマルチメディアデータの検索処理を行うことで、字幕や台本等のテキストデータが予め記録されていない既存の磁気テープや光ディスク等の記録媒体であっても利用者の見たい場面を適切に検索して再生することが可能となる。
【００３１】
（３）記録媒体に字幕や台本等のテキストデータが予め映像データおよび音声データに関連付けて記録されている場合、このテキストデータを処理してマルチメディアデータの再生位置の決定に利用することにより、音声データの変換精度に関わらず、より高精度な検索が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態におけるマルチメディアデータ検索装置のハードウェア構成図である。
【図２】 図１のマルチメディアデータ検索装置の機能ブロック図である。
【図３】 図２に示す分割手段によるテキストデータの分割処理を示す説明図である。
【図４】 本実施形態におけるマルチメディアデータ検索装置によるマルチメディアデータ検索処理を示すフロー図である。
【符号の説明】
１ 制御部
２ 主記憶部
３ 補助記憶部
４ 入力部
５ 再生部
６ 読取部
６ａ 記録媒体
１１ 変換手段
１２ 分割手段
１３ 類似度判定手段
１４ 再生位置決定手段
【発明の属する技術分野】
本発明は、記録媒体に記録された映画、ドラマ、教育やニュース等の映像および音声を再生する際の再生位置を検索するためのマルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラムに関する。
【０００２】
【従来の技術】
ビデオテープ、ＤＡＴ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｔａｐｅ）などの磁気テープや、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＬＤ（Ｌａｓｅｒ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの光ディスク等の記録媒体に記録された映像および音声を再生する際、利用者は見たい場面を再生するには、読み取り装置により早送り操作や巻き戻し操作を行って該当する場面の頭出しをする必要がある。
【０００３】
従来、記録媒体上に記録された映像データを検索する装置として、例えば特開平９−１６７４４２号公報に記載の記録再生装置がある。この記録再生装置は、データ空き領域に予めテキストデータを記録し、この記録されたテキストデータをキーワードとして用いて映像データを検索するように構成したものであり、所望とする映像を高速に頭出しすることが可能である。
【０００４】
【発明が解決しようとする課題】
ところが、この記録再生装置では、取材ジャーナリスト等が撮影現場で映像にコメントを記録するなどして検索用のテキストデータを作成する必要がある。この作業は極めて煩わしいものであり、映像の記録時間が２〜３時間と長いものではさらに労力を要する。したがって、映画やドラマなどの映像をこのような検索用のテキストデータとともに記録して市販する場合、その製造コストも高くなる。
【０００５】
また、従来の方法では、キーワードと一致するテキストデータを検索することによって映像の頭出しを行うが、必ずしも利用者が見たい場面を表すキーワードと一致するテキストデータが準備されているとは限らない。したがって、キーワードを入力しても利用者が意図する場面に頭出しされないことも多い。
【０００６】
そこで、本発明においては、映画、ドラマ、教育やニュース等の映像および音声が記録された記録媒体から利用者の見たい場面を適切に検索可能とするマルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラムを提供する。
【０００７】
【課題を解決するための手段】
本発明のマルチメディアデータ検索装置は、記録媒体に記録され互いに関連付けられた映像データおよび音声データを含むマルチメディアデータの再生位置を検索するマルチメディアデータ検索装置であって、マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割しその分割位置をマルチメディアデータと関連付けて記憶部に格納する手段、検索条件として入力されるテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する手段、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定する再生位置決定手段を備えたものである。
【０００８】
本発明のマルチメディアデータ検索方法は、記録媒体に記録されたマルチメディアデータを読み取るステップ、マルチメディアデータと関連付けられたテキストデータを取得するステップ、テキストデータを話題の単位ごとに分割するステップ、テキストデータの分割位置をマルチメディアデータと関連付けて記憶部に格納するステップ、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定するステップを含むことを特徴とする。
【０００９】
また、本発明のマルチメディアデータ検索プログラムは、記録媒体に記録されたマルチメディアデータを読み取るステップ、マルチメディアデータと関連付けられたテキストデータを取得するステップ、テキストデータを話題の単位ごとに分割するステップ、テキストデータの分割位置をマルチメディアデータと関連付けて記憶部に格納するステップ、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、判定した類似度に基づいて記憶部に格納した分割位置からマルチメディアデータの再生位置を決定するステップをコンピュータに実行させるためのものであることを特徴とする。
【００１０】
これらの発明によれば、利用者によって入力された検索条件としてのテキストデータに基づいて、意味的に類似する話題が含まれた部分のマルチメディアデータが検索され、その部分が再生位置として決定される。
【００１１】
ここで、マルチメディアデータと関連付けられたテキストデータは、記録媒体に記録されたマルチメディアデータが映像データおよび音声データに関連付けられたテキストデータを含む場合に記録媒体から読み出したテキストデータ、または、記録媒体から読み出した音声データを変換したテキストデータとすることができる。
【００１２】
記録媒体から読み出した音声データをテキストデータへ変換することによりその映画やドラマ等の字幕や台本等のテキストデータが予め記録媒体に記録されてない場合であっても利用者の見たい場面を適切に検索することができるが、記録媒体にこれらのテキストデータが予め映像データおよび音声データに関連付けて記録されている場合、このテキストデータを処理してマルチメディアデータの再生位置の決定に利用することで、音声データからの変換精度に関わらずより高精度な検索が可能となる。
【００１３】
また、判定した類似度に基づいてマルチメディアデータの再生位置を決定する際、類似度の高いものから順に再生位置の候補として決定することによって、利用者によって入力された検索条件としてのテキストデータに意味的に最も類似する話題が含まれた部分から順に再生位置として決定される。
【００１４】
また、検索条件として入力されるテキストデータは、キーボードなどの文字入力装置により直接入力されたデータまたはマイクなどの音声入力装置により入力された音声をテキスト変換したデータとすることが可能であり、音声入力装置による音声入力ではキーボードから文字を入力する手間を省くことができ、文字入力装置による直接入力ではより高精度な検索が可能となる。
【００１５】
【発明の実施の形態】
図１は本発明の実施の形態におけるマルチメディアデータ検索装置のハードウェア構成図、図２は図１のマルチメディアデータ検索装置の機能ブロック図である。
【００１６】
図１において、本実施形態におけるマルチメディアデータ検索装置は、各部を制御する制御部１、主に制御部１を動作させるプログラムを記憶する主記憶部２、処理中のプログラムや演算中のデータ等を記憶する補助記憶部３、検索条件等を入力するキーボードなどの入力部４、マルチメディアデータに基づいて映像および音声を再生する再生部５、磁気テープや光ディスク等の記録媒体６ａから各種データを読み取る読取部６により構成される。記録媒体６ａに記録されるマルチメディアデータは、主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データなどであり、互いに時間軸に沿って関連付けられたものである。
【００１７】
制御部１は、主記憶部２に記憶したプログラムを読み出し実行することによって、図２に示すテキスト変換手段１１、分割手段１２、類似度判定手段１３および再生位置決定手段１４として機能する。
【００１８】
テキスト変換手段１１は、読取部６によって記録媒体６ａから読み出した音声データを変換してテキストデータを得る。得られたテキストデータは、マルチメディアデータ（映像データ、音声データ）と時間軸に沿って関連付けられたものである。なお、記録媒体６ａに記録されたマルチメディアデータが映像データおよび音声データに関連付けられたテキストデータを予め含む場合、テキスト変換手段１１は音声データからテキストデータへの変換処理を行わないものとする。
【００１９】
分割手段１２は、マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割しその分割位置をマルチメディアデータと関連付けて補助記憶部３に格納する。テキストデータを話題の単位ごとに分割する処理としては、例えばＨｅａｒｓｔ，Ｍ．Ａ．： ＴｅｘｔＴｉｌｉｎｇ：Ｓｅｇｍｅｎｔｉｎｇ Ｔｅｘｔ ｉｎｔｏ Ｍｕｌｔｉ−ｐａｒａｇｒａｐｈ ＳｕｂｔｏｐｉｃＰａｓｓａｇｅｓ， Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ， Ｖｏｌ．２３， Ｎｏ．１， ｐｐ．３３−６４（１９９７）に記載されたベクトル空間法を用いたテキストセグメンテーション手法などを用いることができる。
【００２０】
図３は分割手段１２によるテキストデータの分割処理を示す説明図である。
図３に示すように、分割手段１２は、まず、マルチメディアデータと関連付けられたテキストデータを形態素解析によって１文ずつ区切り（文１，文２，・・・，文Ｎ）、それぞれの文１〜Ｎの開始時間および終了時間を補助記憶部３へ格納する。そして、それぞれの文から単語を抽出して話題が切り替わる部分をベクトル空間法などに基づくテキストセグメンテーション手法により決定し、話題の単位ごとに各文１〜Ｎを各ブロック１〜ｎへとまとめ、それぞれのブロック１〜ｎの開始時間および終了時間を補助記憶部３へ格納する。これにより、テキストデータは話題の単位ごとに分割されることになる。また、各ブロック１〜ｎの開始時間および終了時間は、テキストデータの話題の単位ごとの分割位置となる。
【００２１】
類似度判定手段１３は、入力部４により検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する。この２つのテキストデータの意味的な類似度を判定する処理としては、例えばベクトル空間法を用いることができる。ベクトル空間法では、ｎ個の異なる単語をｎ次元ベクトルのｎ個の単位元と対応付け、比較する２つのテキストデータにおけるそれぞれの単語の出現分布をベクトルで表現し、得られた２つのベクトルの内積を計算して類似度を求める（長尾真編：「自然言語処理」，ｐｐ．４２１−４２６，岩波書店，１９９６年）。このとき、利用者が検索条件として入力したテキストデータ中の個々の単語の類義語を考慮してこの２つのテキストの類似度を判定することも可能である。例えば、検索条件として入力されたテキストデータ中に「ベースボール」が含まれる場合、これに関連する類義語「野球」、「草野球」等が、分割されたそれぞれのテキストデータ中に出現していれば、それらの類義語を「ベースボール」と一致したとみなすことにより、類似度の判定精度を向上させることができる。
【００２２】
再生位置決定手段１４は、判定した類似度に基づいて補助記憶部に格納した分割位置からマルチメディアデータの再生位置を決定する。類似度は、入力されたテキストデータまたはこのテキストデータに関連する類義語が各ブロック１〜ｎ中に繰り返し多く存在するものほど高くなる。再生位置決定手段１４は、類似度の高いものから順に再生位置の候補として決定する。
【００２３】
図４は上記構成のマルチメディアデータ検索装置によるマルチメディアデータ検索処理を示すフロー図である。
ステップＳ１０１において、制御部１は、読取部６を制御し、記録媒体６ａに記録されたマルチメディアデータ（映像データ、音声データ）を読み取る。ステップＳ１０２では、制御部１は、この読み取った音声データをテキスト変換手段１１によってテキストデータへと変換する。ステップＳ１０３では、制御部１は、この得られたテキストデータを分割手段１２によって話題の単位ごとに分割し、この分割したテキストデータの分割位置をステップＳ１０１において読み取ったマルチメディアデータと関連付けて補助記憶部３に格納する。
【００２４】
ステップＳ１０４では、利用者が入力部４により入力した検索条件としてのテキストデータとステップＳ１０３において話題の単位ごとに分割したそれぞれのテキストデータとを類似度判定手段１３によって比較し、互いの意味的な類似度を判定する。ステップＳ１０５では、ステップＳ１０４において判定した類似度に基づいて再生位置決定手段１４により補助記憶部３に格納した分割位置からマルチメディアデータの再生位置の候補を決定する。ステップＳ１０６では、再生位置決定手段１４は、ステップＳ１０５により決定した再生位置の候補（類似度の高いもの順）の中から利用者によって入力部４により選択されたものを再生位置として決定する。ステップＳ１０７において、再生部５は、ステップＳ１０６において決定された再生位置からマルチメディアデータの再生を行う。
【００２５】
以上のように、本実施形態におけるマルチメディアデータ検索装置では、記録媒体６ａより読み出したマルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割し、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定し、判定した類似度に基づいてテキストデータの分割位置からマルチメディアデータの再生位置を決定することで、利用者によって指定された検索条件に対して意味的に類似する話題が含まれた部分のマルチメディアデータが検索されるため、利用者の見たい場面が適切に再生される。
【００２６】
すなわち、従来の再生装置のように利用者がキーワードを適切に指定し、かつこれと一致するテキストデータが準備されていない限り、利用者が見たい場面を検索できないということがなく、利用者は見たい場面に関連するテキストデータを思いついたままに指定するだけでその意図する場面に頭出しがなされ、利用者は見たい場面を容易に検索することができる。
【００２７】
なお、本実施形態においては、入力部４によって入力されるテキストデータは、キーボードなどの文字入力装置を用いて直接入力されたデータとしているが、マイクなどの音声入力装置により入力された音声をテキスト変換したデータとすることが可能であり、音声入力装置による音声入力ではキーボードから文字を入力する手間を省くことができる。
【００２８】
【発明の効果】
本発明により、以下の効果を奏することができる。
【００２９】
（１）マルチメディアデータと関連付けられたテキストデータを話題の単位ごとに分割し、検索条件として入力されたテキストデータと話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定し、判定した類似度に基づいてテキストデータの分割位置からマルチメディアデータの再生位置を決定することで、利用者によって入力された検索条件としてのテキストデータに基づいて、意味的に類似する話題が含まれた部分のマルチメディアデータが検索され、利用者の見たい場面を適切に再生することが可能となる。
【００３０】
（２）記録媒体から読み出した音声データを変換してテキストデータを取得し、このテキストデータに基づいてマルチメディアデータの検索処理を行うことで、字幕や台本等のテキストデータが予め記録されていない既存の磁気テープや光ディスク等の記録媒体であっても利用者の見たい場面を適切に検索して再生することが可能となる。
【００３１】
（３）記録媒体に字幕や台本等のテキストデータが予め映像データおよび音声データに関連付けて記録されている場合、このテキストデータを処理してマルチメディアデータの再生位置の決定に利用することにより、音声データの変換精度に関わらず、より高精度な検索が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態におけるマルチメディアデータ検索装置のハードウェア構成図である。
【図２】 図１のマルチメディアデータ検索装置の機能ブロック図である。
【図３】 図２に示す分割手段によるテキストデータの分割処理を示す説明図である。
【図４】 本実施形態におけるマルチメディアデータ検索装置によるマルチメディアデータ検索処理を示すフロー図である。
【符号の説明】
１ 制御部
２ 主記憶部
３ 補助記憶部
４ 入力部
５ 再生部
６ 読取部
６ａ 記録媒体
１１ 変換手段
１２ 分割手段
１３ 類似度判定手段
１４ 再生位置決定手段
Claims (5)
- 記録媒体に記録され互いに関連付けられた主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データを含むマルチメディアデータの再生位置を検索するマルチメディアデータ検索装置であって、
前記記録媒体に記録されたマルチメディアデータが前記映像データおよび音声データに関連付けられた字幕や台本等のテキストデータを含む場合に前記記録媒体から読み出した前記テキストデータ、または、前記記録媒体から読み出した音声データを変換したテキストデータであって、前記マルチメディアデータと時間軸に沿って関連付けられた複数の文からなるテキストデータを話題の単位ごとに分割する手段、
このテキストデータの分割位置を前記マルチメディアデータと関連付けて記憶部に格納する手段、
検索条件として入力されるテキストデータと前記話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定する手段、
前記判定した類似度に基づいて前記記憶部に格納したテキストデータの分割位置から前記マルチメディアデータの再生位置を決定する再生位置決定手段
を備えたマルチメディアデータ検索装置。 - 前記再生位置決定手段は、前記類似度の高いものから順に前記再生位置の候補として決定するものである請求項１記載のマルチメディアデータ検索装置。
- 前記検索条件として入力されるテキストデータは、文字入力装置により直接入力されたデータまたは音声入力装置により入力された音声をテキスト変換したデータであることを特徴とする請求項１または２に記載のマルチメディアデータ検索装置。
- 記録媒体に記録され互いに関連付けられた主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データを含むマルチメディアデータを読み取るステップ、
前記記録媒体に記録されたマルチメディアデータが前記映像データおよび音声データに関連付けられた字幕や台本等のテキストデータを含む場合に前記記録媒体から読み出した前記テキストデータ、または、前記記録媒体から読み出した音声データを変換したテキストデータであって、前記マルチメディアデータと時間軸に沿って関連付けられた複数の文からなるテキストデータを取得するステップ、
前記テキストデータを話題の単位ごとに分割するステップ、
前記テキストデータの分割位置を前記マルチメディアデータと関連付けて記憶部に格納するステップ、
検索条件として入力されたテキストデータと前記話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、
前記判定した類似度に基づいて前記記憶部に格納したテキストデータの分割位置から前記マルチメディアデータの再生位置を決定するステップ
を含むマルチメディアデータ検索方法。 - 記録媒体に記録され互いに関連付けられた主に映画、ドラマ、教育やニュース等の映像および音声それぞれの映像データおよび音声データを含むマルチメディアデータを読み取るステップ、
前記記録媒体に記録されたマルチメディアデータが前記映像データおよび音声データに関連付けられた字幕や台本等のテキストデータを含む場合に前記記録媒体から読み出した前記テキストデータ、または、前記記録媒体から読み出した音声データを変換したテキストデータであって、前記マルチメディアデータと時間軸に沿って関連付けられた複数の文からなるテキストデータを取得するステップ、
前記テキストデータを話題の単位ごとに分割するステップ、
前記テキストデータの分割位置を前記マルチメディアデータと関連付けて記憶部に格納するステップ、
検索条件として入力されたテキストデータと前記話題の単位ごとに分割したそれぞれのテキストデータとを比較して互いの意味的な類似度を判定するステップ、
前記判定した類似度に基づいて前記記憶部に格納したテキストデータの分割位置から前記マルチメディアデータの再生位置を決定するステップ
をコンピュータに実行させるマルチメディアデータ検索プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001113009A JP3685733B2 (ja) | 2001-04-11 | 2001-04-11 | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001113009A JP3685733B2 (ja) | 2001-04-11 | 2001-04-11 | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002312370A JP2002312370A (ja) | 2002-10-25 |
| JP3685733B2 true JP3685733B2 (ja) | 2005-08-24 |
Family
ID=18964312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001113009A Expired - Fee Related JP3685733B2 (ja) | 2001-04-11 | 2001-04-11 | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3685733B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4631251B2 (ja) * | 2003-05-06 | 2011-02-16 | 日本電気株式会社 | メディア検索装置およびメディア検索プログラム |
| JP2005227813A (ja) * | 2004-02-10 | 2005-08-25 | Just Syst Corp | 文書検索装置、文書検索方法、および文書検索プログラム |
| JP2006040040A (ja) * | 2004-07-28 | 2006-02-09 | Ntt Communications Kk | 映像検索装置、映像検索方法、及び映像検索プログラム |
| JP2007293602A (ja) * | 2006-04-25 | 2007-11-08 | Nec Corp | 映像検索システム、映像検索方法およびプログラム |
| JP2008108166A (ja) * | 2006-10-27 | 2008-05-08 | Matsushita Electric Ind Co Ltd | 楽曲選択装置、楽曲選択方法 |
| JP5335500B2 (ja) * | 2009-03-18 | 2013-11-06 | 日本放送協会 | コンテンツ検索装置及びコンピュータプログラム |
| TWI700597B (zh) * | 2018-09-07 | 2020-08-01 | 台達電子工業股份有限公司 | 分段方法、分段系統及非暫態電腦可讀取媒體 |
| EP3621021A1 (en) | 2018-09-07 | 2020-03-11 | Delta Electronics, Inc. | Data search method and data search system thereof |
| JP2020098443A (ja) * | 2018-12-18 | 2020-06-25 | Kddi株式会社 | コンテキスト系列同士の同義又は異義を判定するプログラム、装置及び方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3497018B2 (ja) * | 1995-06-21 | 2004-02-16 | 松下電器産業株式会社 | シナリオ編集素材検索装置 |
| JPH0981590A (ja) * | 1995-09-13 | 1997-03-28 | Canon Inc | マルチメディア情報検索装置 |
| JPH1021261A (ja) * | 1996-07-05 | 1998-01-23 | Hitachi Ltd | マルチメディアデータベース検索方法及びシステム |
| JP3597697B2 (ja) * | 1998-03-20 | 2004-12-08 | 富士通株式会社 | 文書要約装置およびその方法 |
| JPH11331761A (ja) * | 1998-05-18 | 1999-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 映像の自動要約方法およびその装置およびその方法を記録した記録媒体 |
| JP3560841B2 (ja) * | 1999-02-19 | 2004-09-02 | 日本電信電話株式会社 | 話題抽出方法、装置、および話題抽出プログラムを記録した記録媒体 |
| JP2001043215A (ja) * | 1999-08-02 | 2001-02-16 | Sony Corp | 文書処理装置、文書処理方法、及び記録媒体 |
-
2001
- 2001-04-11 JP JP2001113009A patent/JP3685733B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002312370A (ja) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100520115B1 (ko) | 플레이리스트 관리 장치 및 방법 | |
| JP4873018B2 (ja) | データ処理装置、データ処理方法、及び、プログラム | |
| KR100922390B1 (ko) | 멀티미디어 프리젠테이션들의 자동 콘텐트 분석 및 표현 | |
| JPH1021261A (ja) | マルチメディアデータベース検索方法及びシステム | |
| US20060008258A1 (en) | Device and method for reproducing compressed information | |
| US8041189B2 (en) | Information processing device and method, program, and recording medium | |
| JP2003330777A (ja) | データファイル再生装置、記録メディア、データファイル記録装置及びデータファイル記録プログラム | |
| JP3685733B2 (ja) | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム | |
| KR20050037970A (ko) | 매체 정보 검색 장치 및 매체 정보 검색 방법 | |
| JP3938096B2 (ja) | インデックス作成装置、インデックス作成方法、および、インデックス作成プログラム | |
| KR20050085530A (ko) | 기록 및 재생시스템, 기록장치, 재생장치, 기록매체, 기록및 재생방법, 기록방법, 재생방법, 프로그램 및 기록매체 | |
| JPH03291752A (ja) | データ検索装置 | |
| JPH0981590A (ja) | マルチメディア情報検索装置 | |
| CN101015012A (zh) | 存储包括元数据的av数据的信息存储介质、从该介质再现av数据的设备以及搜索元数据的方法 | |
| JP2005352330A (ja) | 音声分割記録装置 | |
| JP2003230094A (ja) | チャプター作成装置及びデータ再生装置及びその方法並びにプログラム | |
| JP2006313467A (ja) | コンテンツ検索装置及びコンテンツ検索方法 | |
| JP4435783B2 (ja) | 記録再生システム、記録装置、再生装置、記録媒体、記録再生方法、記録方法、再生方法、プログラム、およびプログラム記録媒体 | |
| JP4386896B2 (ja) | オーディオ再生方法及びオーディオ装置 | |
| WO2014027475A1 (ja) | 記録再生装置、記録再生方法、記録装置及び再生装置 | |
| KR100385977B1 (ko) | 오디오 데이터가 기록된 기록매체, 그 기록/재생 방법, 그기록장치, 및 재생장치 | |
| KR100606516B1 (ko) | 디지털 녹화기에서의 오디오 및 비디오 분리 녹화 및재생장치 및 방법 | |
| JPH11296543A (ja) | 検索方法、検索装置、及び記録媒体 | |
| JPH05334861A (ja) | 音声検索装置 | |
| JP2002324071A (ja) | コンテンツ検索システム、コンテンツ検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041027 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080610 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |