JPH05342263A - ビデオデータ検索支援方法 - Google Patents

Abstract

(57)【要約】 【目的】 ビデオデータの検索支援に好適な話題構造を
自動的に同定し、これを利用者に提示する。 【構成】 ビデオデータにおける音声データを文字列デ
ータに変換するステップＳ１と、この文字列データに対
して、共通の話題が継続する単位で区切られるセグメン
ト、これら各セグメントにおける話題、およびこれら各
セグメント間の入れ子構造を同定するステップＳ２〜Ｓ
７と、前記文字列データに含まれる各話題と、これら各
話題に該当する前記ビデオデータの記録位置とを対応付
けすると共に、前記同定された各セグメントにおける話
題と各セグメント間の入れ子構造とを利用者に表示する
ステップＳ８とを設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば、コンピュー
タシステムによってビデオデータの検索を支援するビデ
オデータ検索支援方法に関するものである。

【０００２】

【従来の技術】従来、ビデオデータの検索を支援する場
合、ビデオデータを話題毎に分割した話題セグメント、
各セグメントでの話題の概要、および各セグメントの包
含関係を示す入れ子関係を人手によって同定し、これら
をスクリプトと呼ぶファイルに記述しておき、これらの
情報（以下、話題構造と称する）を提示することにより
検索支援を行なっている。また、こうした話題構造を装
置を用いて同定する方法は、特願平３−２９６０７８号
（「自動情報提供方法」）に開示されている。

【０００３】

【発明が解決しようとする課題】ところで、上述のよう
に人手によってスクリプトを作成する場合、多大な労力
が必要であり、大量のビデオデータに対するスクリプト
を作成することは極めて困難であった。また、装置を用
いて話題構造を同定する場合、話題の入れ子関係を同定
することができないため、検索を支援するのに好適な話
題構造を利用者に提示することができないという問題が
あった。

【０００４】この発明は、このような背景の下になされ
たもので、ビデオデータの検索支援に好適な話題構造を
自動的に同定し、これを利用者に提示するビデオデータ
検索支援方法を提供することを目的としている。

【０００５】

【課題を解決するための手段】上述した課題を解決する
ために、請求項１記載の発明は、ビデオデータにおける
話し言葉情報に対して、共通の話題が継続する単位で区
切られるセグメント、これら各セグメントにおける話
題、およびこれら各セグメント間の入れ子構造を同定
し、前記話し言葉情報に含まれる各話題と、これら各話
題に該当する前記ビデオデータの記録位置とを対応付け
すると共に、前記同定された各セグメントにおける話題
と各セグメント間の入れ子構造とを利用者に提示するこ
と特徴としている。

【０００６】また、請求項２記載の発明は、請求項１記
載の発明において、話題を表す言葉の候補と話題転換を
表す言葉の候補とをそれぞれメモリ上にテーブルとして
記述しておき、これらテーブルと話し言葉情報を構成す
る発話文とでパターンマッチングを行なうことにより、
該話し言葉情報から話題を表す言葉と話題転換を表す言
葉とを検出することを特徴としている。

【０００７】また、請求項３記載の発明は、請求項１記
載の発明において、対話形式の発話文の型を命令的な目
的を持つ係り型とこれ以外の受け型とに分類し、係り型
を表す言葉の候補と受け型を表す言葉の候補とをメモリ
上にテーブルとして記述しておき、このテーブルと話し
言葉情報を構成する発話文とでパターンマッチングを行
なうことにより、該発話文の型を同定し、話し言葉情報
に対して、関連した話題が展開する発話文の集合を示す
話題ユニットを同定する際、当該発話文の直前の発話文
が係り型である場合、あるいは当該発話文に新たな話題
を表す言葉および新たな話題転換を表す言葉のいずれも
が含まれてない場合、当該発話文が前記直前の発話文と
同一の話題ユニットに属することとし、その他の場合、
当該発話文が新たな話題ユニットに属することとするこ
とにより話題ユニットを同定し、前記話し言葉情報から
話題を表す言葉と話題転換を表す言葉とを検出する際、
話題転換を表す言葉が話題ユニットの先頭の発話文に現
れた場合にのみ、これを実際の話題転換として認定し、
話題を表す言葉が検出された話題ユニットにおいて、該
話題を表す言葉が所定発話数以上継続して現れた場合の
み、実際の話題として認定することを特徴としている。

【０００８】また、請求項４記載の発明は、請求項１記
載の発明において、話題転換を表す言葉の候補を入れ子
開始型、入れ子継続型および入れ子終了型の３種類の言
語表現形式に分類してメモリ上のテーブルに記述してお
き、話題転換として認定された話題転換を表す言葉が前
記言語表現形式のいずれに該当するかによって話題転換
の種類を同定し、話題を表す言葉を格納する内部スタッ
クと、この内部スタックを話題の入れ子構造に従って格
納する話題スタックとを利用して、前記認定された話題
転換を表す言葉が入れ子開始型である場合、話題スタッ
クに新たな要素として内部スタックをプッシュし、前記
認定された話題転換を表す言葉が入れ子終了型である場
合、話題スタックの当該トップにある内部スタックをポ
ップし、また、話題を表す言葉の候補を明示的に話題を
提示する明示話題と、これ以外の非明示話題とに分類し
てメモリ上のテーブルに記述しておき、話題として認定
された話題を表す言葉が前記明示話題と非明示話題のい
ずれに該当するかによって話題の種類を同定し、前記認
定された話題を表す言葉が非明示話題である場合、話題
スタックのトップにある内部スタックに該認定された話
題を表す言葉を格納し、前記認定された話題を表す言葉
が明示話題である場合、内部スタックに格納されている
非明示話題をすべて該内部スタックからポップした後、
該認定された話題を表す言葉を該内部スタックにプッシ
ュすることにより、話題の入れ子構造を同定することを
特徴としている。

【０００９】

【作用】この発明によれば、話題および話題転換の候補
を言い回し等の言語表現によって検出し、この言語表現
を保持するテーブル等の辞書によって発話文の型が係り
型であるか受け型であるかを同定し、この同定された発
話文の型によって関連する話題が継続する発話文の集合
である話題ユニットを同定し、この話題ユニットを用い
ることにより話題および話題転換の候補から適切な話題
および話題転換を認定し、話題スタックおよび内部スタ
ックを用いることにより認定された話題の入れ子構造を
同定する。これにより、ビデオデータにおける話し言葉
情報の話題構造が同定される。さらに、各話題とこれら
話題に該当するビデオデータの記録位置とを対応付けす
ると共に、同定された話題構造を利用者に提示すること
により、利用者は、ビデオデータの内容を概観したり、
興味のある話題に対応する部分だけを選択して再生する
ことが可能になる。

【００１０】

【実施例】以下、図面を参照して、この発明の実施例に
ついて説明する。図１はこの発明の一実施例によるビデ
オデータ検索支援方法を適用したシステムの構成例を示
すブロック図である。この図において、１は音声認識装
置であり、ビデオデータにおける発話（音声データ）を
文字列に変換する。２は形態素解析装置であり、音声認
識装置１により変換された文字列を単語ごとに区切って
単語列とし、各単語の品詞や活用語の活用形等を同定す
る。

【００１１】３は話題転換候補検出装置であり、図３に
示すような辞書に登録された言語表現を前記単語列の中
から検出することにより、話題転換箇所の候補を検出す
る。４は話題候補検出装置であり、話題の大局的構造を
扱うための話題スタックに対して操作を行ない（詳細は
後述する）、話題候補を検出する。５は話題ユニット同
定装置であり、図７に示すように、発話のタイプ等を用
いて、関連する話題が展開する発話文の集合である話題
ユニットを同定する（詳細は後述する）。

【００１２】６は話題・話題転換認定装置であり、図９
に示すように、話題ユニット同定装置５によって同定さ
れた話題ユニットを用いて、話題転換候補検出装置３に
よって検出された話題転換候補と話題候補検出装置４に
よって検出された話題候補とから適切なものを選択する
（詳細は後述する）。

【００１３】７は話題構造表示装置であり、同定された
話題構造をディスプレイＤＳＰに表示する。この話題構
造の表示方法については、後に詳述する。８はレーザデ
ィスク制御装置であり、ＲＳ−２３２Ｃ等を介して接続
されているレーザディスク再生装置９を制御する。この
レーザディスク制御装置８は、発話とビデオデータにお
けるフレーム番号と対応表とを話者交替の単位で持って
おり、これと話題構造認識結果とを用いることにより、
ある話題に関連するビデオ区間を求める。上記対応表
は、予め人手により作成し、入力しておく。これによ
り、レーザディスク制御装置８は、利用者がマウスＭＳ
によって指示する要求に応じ、ビデオデータの一部をレ
ーザディスク再生装置９に接続されるモニタＭＮ上に再
生する。

【００１４】次に、図２に示すフローチャートを参照
し、このビデオデータ検索支援方法の全体の流れについ
て説明する。まず、ステップＳ１において、音声認識装
置１がビデオデータにおける発話を文字列に変換する。
ここで、供給されるビデオデータがテレビの文字放送の
ように既に文字情報が付加されたものであれば、このス
テップＳ１の処理を行なう必要はない。また、人間がキ
ーボード等を用いて文字列を入力するようにしてもよ
い。

【００１５】次に、ステップＳ２では、形態素解析装置
２が、ステップＳ１で変換された文字列を分割して単語
列とし、各単語の品詞や活用語の活用形等を同定する。
そして、ステップＳ３，Ｓ５，Ｓ６において、それぞれ
話題転換候補検出装置３による話題転換候補の検出、話
題候補検出装置４による話題候補の検出、話題ユニット
同定装置５による話題ユニットの同定を行なう。

【００１６】ステップＳ３において、話題転換候補が検
出された場合、ステップＳ４に進み、話題候補検出装置
４が話題の大局的構造を扱うための話題スタックに対し
て操作を行ない、話題候補を検出する。一方、ステップ
Ｓ３において、話題転換候補が検出されない場合、話題
候補検出装置４は何も処理を行わない。

【００１７】次に、ステップＳ７では、話題・話題転換
認定装置６がステップＳ６において同定された話題ユニ
ットを用い、ステップＳ３で検出された話題転換候補と
ステップＳ５で検出された話題候補とから適切なものを
選択する。そして、ステップＳ８では、話題構造表示装
置７が、同定された話題構造を表示すると共に、利用者
からの要求に応じてビデオデータの一部を再生する。

【００１８】以下、図２に示したフローチャートの各ス
テップ毎における処理内容について詳細に説明する。 （１）話題候補の検出方法 図４に示すフローチャートを参照し、明示話題（明示的
に話題を提示する言葉）の同定方法と話題候補の検出方
法について説明する。ここでは、話題の局所的顕在性を
扱うため、内部スタックと呼ぶスタックを用いることと
する。この内部スタックは、後述する大局的話題構造を
扱うための話題スタックの１つの要素に相当する。内部
スタックにおいては、トップに近い話題ほど顕在性が高
いものとし、内部スタックにおける要素の上下関係は、
話題の入れ子構造（包含関係）を意味しないものとす
る。また、１つの内部スタックにおける明示話題は同じ
レベルの話題とし、また非明示話題は明示話題より入れ
子１つ内側にある話題であるとする。

【００１９】まず、ステップＳａ１において、明示的に
話題を導入する言語表現を記述した辞書と発話文との形
態素解析結果のマッチングをとって、話題を検出する。
ここで、図５は明示的に話題を導入する言語表現の例で
ある。ただし、この図において、「（話題）」は検出す
べき話題を示している。

【００２０】次に、ステップＳａ２では、明示話題が検
出が検出されたか否かを判断する。ここで、明示話題が
検出されていれば、この判断結果が「ｙｅｓ」となり、
ステップＳ３に進む。ステップＳ３では、明示話題が代
名詞のような特定の概念を表さない不適切語であるか否
かを判断する。ここで、明示話題が不適切語であれば、
この判断結果が「ｙｅｓ」となり、ステップＳａ４に進
む。また、ステップＳａ１において話題がマッチングし
なかった場合、ステップＳａ２の判断結果が「ｎｏ」と
なり、同様にステップＳａ４に進む。

【００２１】一方、検出された明示話題が不適切語でな
ければ、ステップＳａ３の判断結果が「ｎｏ」となり、
ステップＳａ５に進む。ステップＳａ５では、内部スタ
ックを明示話題がトップとなるなでポップ（スタックか
らの取り出し操作）し、今回検出した明示話題をプッシ
ュ（スタックへの格納操作）する。そして、ステップＳ
ａ１へ戻る。

【００２２】ステップＳａ４では、図６に示すような辞
書と発話文とのマッチングをとり、話題候補を探索す
る。この辞書（図６参照）には、言語表現特定の動詞と
その表層格との組み合わせが記述されている。ここで、
話題候補が見つかった場合、ステップＳａ６の判断結果
が「ｙｅｓ」となり、ステップＳａ７に進む。一方、ス
テップＳａ４において話題候補が見つからなかった場
合、ステップＳａ６の判断結果が「ｎｏ」となり、何も
処理を行わずにステップＳａ１へ戻る。

【００２３】ステップＳａ７では、話題候補が不適切語
であるか否かを判断する。ここで、不適切語でなけれ
ば、ステップＳａ８に進み、図９に示す話題認定処理を
行なう。この話題認定処理については後述する。一方、
話題候補が不適切語であれば、ステップＳａ７の判断結
果が「ｎｏ」となり、何も処理を行わずにステップＳａ
１へ戻る。

【００２４】ステップＳａ８において、話題が認定され
た場合、ステップＳａ９の判断結果が「ｙｅｓ」とな
り、ステップＳａ１０に進む。ステップＳａ１０では、
認定された話題を非明示話題として内部スタックにプッ
シュする。そして、ステップＳａへ戻る。一方、ステッ
プＳａ８において、話題が認定されなければ、ステップ
Ｓａ９の判断結果が「ｎｏ」となり、何も処理を行わず
にステップＳａ１へ戻る。以降、上記動作が繰り返され
ることにより、話題候補が検出される。

【００２５】（２）話題ユニットの同定方法 次に、図７に示すフローチャートを参照し、話題ユニッ
トの同定方法について説明する。同図において、フラグ
Ｆは前回の発話のタイプを保持するための変数であり、
発話が係り型の場合、「１」がセットされ、発話が受け
型の場合、「０」がセットされる。また、このフラグＦ
には初期値として「０」がセットされる。

【００２６】まず、ステップＳｂ１では、フラグＦ＝１
であるか否かを判断する。フラグＦ＝１である場合、こ
の判断結果が「ｙｅｓ」となり、今回の発話が前回の発
話と同じ話題ユニットに含まれるとみなす（ステップＳ
ｂ３）。一方、フラグＦ＝０である場合、この判断結果
が「ｎｏ」となり、ステップＳｂ２に進む。

【００２７】ステップＳｂ２では、発話の中に話題候補
があるか否かを判断する。ここで、話題候補があれば、
この判断結果が「ｙｅｓ」となり、今回の発話が前回の
発話とは異なる新しい話題ユニットに含まれるとみなす
（ステップＳｂ４）。一方、話題候補がなければ、この
判断結果が「ｎｏ」となり、上述したフラグＦ＝１の場
合と同様、今回の発話が前回の発話と同じ話題ユニット
に含まれるとみなす（ステップＳｂ３）。

【００２８】次に、ステップＳｂ５では、図８に示すよ
うな発話タイプ同定用辞書と今回の発話とのマッチング
をとる。そして、ステップＳｂ６では、今回の発話が係
り型発話であるか否かを判断する。ここで、今回の発話
が係り型である場合、この判断結果が「ｙｅｓ」とな
り、ステップＳｂ８に進む。ステップＳｂ８では、フラ
グＦに「１」をセットして終了する。一方、今回の発話
が係り型でない場合、ステップＳｂ６の判断結果が「ｎ
ｏ」となり、ステップＳｂ７に進む。ステップＳｂ７で
は、フラグＦに「０」をセットして終了する。こうし
て、発話文に対し、順次話題ユニットが同定される。

【００２９】（３）話題と話題転換の認定方法 次に、図９に示すフローチャートを参照し、話題と話題
転換の認定方法について説明する。ここでは、話題候補
を保持するため、候補リストという変数を用いる。この
候補リストは、単に話題候補を集合として保持しておく
ためのものであり、スタックとは異なり、要素を入れた
順序と取り出す順序は関係しない。

【００３０】まず、ステップＳｃ１において、今回の発
話が前回の発話と同一の話題ユニットに含まれるか否か
を判断する。ここで、今回の発話が前回の発話と同一の
話題ユニットに含まれない場合、この判断結果が「ｎ
ｏ」となり、ステップＳｃ２に進む。ステップＳｃ２で
は、このときの話題転換候補を実際の話題転換と認定す
る。そして、ステップＳｃ３では、候補リストをクリア
する。

【００３１】一方、今回の発話が前回の発話と同一の話
題ユニットに含まれる場合、ステップＳｃ１の判断結果
が「ｙｅｓ」となり、ステップＳｃ４に進む。ステップ
Ｓｃ４では、このときの話題転換候補を破棄する。そし
て、ステップＳｃ５に進み、今回の発話に含まれるすべ
ての新しい話題候補ｔについて、ｃｏｎｔ(ｔ)＝１とす
る。ここで、ｃｏｎｔ(ｔ)は、話題候補ｔが継続してい
る発話数を表している。次に、ステップＳｃ６では、候
補リスト中のすべての話題候補Ｔについて、ｃｏｎｔ
(Ｔ)の値に「１」を加算する。

【００３２】次に、ステップＳｃ７に進むと、候補リス
ト中に、次式（３−１）を満たす話題候補ｔｏｐｉｃが
存在するか否かを判断する。 ｃｏｎｔ(ｔｏｐｉｃ)＝ｎ ……………………………………（３−１） ここで、ｎは、話題と認定されるために話題候補が継続
しなければならない最小の発話数を表しており、例え
ば、人間を対象とした話題同定の結果から、ｎ＝４が適
当な値として採用される。

【００３３】ここで、上式（３−１）を満たす話題候補
ｔｏｐｉｃが存在する場合、ステップＳｃ７の判断結果
が「ｙｅｓ」となり、ステップＳｃ８に進む。ステップ
Ｓｃ８では、話題候補ｔｏｐｉｃを話題として認定す
る。そして、ステップＳｃ９では、話題候補ｔｏｐｉｃ
を候補リストからは削除する。さらに、ステップＳｃ１
０では、今回の発話に含まれていた新しい話題候補を候
補リストに追加する。

【００３４】一方、上式（３−１）を満たす話題候補ｔ
ｏｐｉｃが存在しない場合、ステップＳｃ７の判断結果
が「ｎｏ」となり、ステップＳｃ１１に進む。ステップ
Ｓｃ１１では、内部スタックが空であるか否かを判断す
る。ここで、内部スタックが空である場合、この判断結
果が「ｙｅｓ」となり、ステップＳｃ１２に進む。ステ
ップＳｃ１２では、この話題候補ｔｏｐｉｃを話題とし
て認定し、処理を終了する。一方、内部スタックが空で
ない場合、ステップＳｃ１１の判断結果が「ｎｏ」とな
り、何も処理を行わず、終了する。

【００３５】（４）話題の入れ子構造の解析方法 次に、図１０に示すフローチャートを参照し、話題の入
れ子構造の解析方法について説明する。ここでは、入れ
子構造を扱うため、話題スタックと呼ぶスタックを用い
る。この話題スタックの各要素は上述した内部スタック
である。また、話題スタックにおける上下関係は話題の
入れ子関係を表しており、話題スタックのトップの要素
が入れ子の最も内側の話題に相当する内部スタックを表
し、ボトムの要素が最も外側の話題に相当する内部スタ
ックを表している。

【００３６】まず、ステップＳｄ１において、話題転換
があるか否かを判断する。ここで、話題転換がない場
合、以下何も処理を行わず、終了する。一方、話題転換
がある場合、ステップＳｄ２に進む。ステップＳｄ２で
は、その話題転換を示す語（以下、クルーワードと称す
る）が入れ子継続型（図３参照）であるか否かを判断す
る。

【００３７】ここで、話題転換を示すクルーワードが入
れ子継続型である場合、ステップＳｄ２の判断結果が
「ｙｅｓ」となり、ステップＳｄ５に進む。ステップＳ
ｄ５では、話題スタックのトップにある内部スタックを
ポップする。そして、次のステップＳｄ６に進む。

【００３８】一方、話題転換を示すクルーワードが入れ
子継続型でない場合、ステップＳｄ２の判断結果が「ｎ
ｏ」となり、ステップＳｄ３に進む。ステップＳｄ３で
は、話題転換を示すクルーワードが入れ子開始型（図３
参照）であるか否かを判断する。ここで、そのクルーワ
ードが入れ子開始型である場合、この判断結果が「ｙｅ
ｓ」となり、ステップＳｄ６に進む。ステップＳｄ６で
は、新しい内部スタックを話題スタックにプッシュし、
処理を終了する。

【００３９】一方、話題転換を示すクルーワードが入れ
子開始型でない場合、この判断結果が「ｎｏ」となり、
ステップＳｄ４に進む。ステップＳｄ４では、その話題
転換を示したクルーワードが入れ子終了型（図３参照）
であるか否かを判断する。ここで、そのクルーワードが
入れ子終了型である場合、この判断結果が「ｙｅｓ」と
なり、ステップＳｄ７に進む。ステップＳｄ７では、話
題スタックのトップにある内部スタックをポップする。
また、このポップを行うことにより話題スタックが空に
なってしまった場合、新しい内部スタックを話題スタッ
クにプッシュする。一方、話題転換を示したクルーワー
ドが入れ子終了型でない場合、ステップＳｄ４の判断結
果が「ｎｏ」となり、処理を終了する。こうして、発話
文における話題の入れ子構造が解析される。

【００４０】（５）話題構造提示方法 次に、図１３および図１４を参照し、話題構造提示方法
について説明する。図１３は話題構造の表示例を示す図
である。この図では、プロ野球に関する対話を例に示し
ている。まず、認定された話題は、時系列順に表示され
るようになっており、図に示すように、話題の入れ子関
係をインデントＩにより示し、話題転換を太線Ｌで示す
ようにしている。

【００４１】利用者は、こうした表示内容を見ることに
より、ビデオデータの内容を概観することができる。ま
た、各話題がどの発話からどの発話まで継続しているか
という話題同定結果を装置内部に保持しておき、さらに
対話における発話とビデオデータにおけるフレーム番号
との対応表を話者交替の単位で予め人手によって作成し
ておく。そして、利用者が興味のある話題をマウスＭＳ
等で選択することにより、ビデオにおいてその話題に関
連する部分だけを再生させる。また、利用者がビデオデ
ータの内容を概観できるようにするため、すべての話題
を表示するのではなく、話題の入れ子数がある値より小
さく、入れ子構造が浅いものだけを表示するようしてい
る。

【００４２】さらに、図１４は認定された話題を用いて
作成した索引の表示例を示す図である。同図において、
索引語としては、話題として認定された名詞句のうち固
有名詞、あるいは普通名詞を採用している。また、表示
形式は、索引語だけでなく、前後の文脈も数文字ずつ表
示したＫＷＩＣ(Key Word In Context)形式としてい
る。また、索引語に関連する部分のビデオデータだけを
再生する技術は、図１３に示したものと同様にして実現
する。

【００４３】（６）対話例を用いた説明 次に、図１１に示す対話を例にとり、この発明による話
題同定方法を詳細に説明する。まず、話題候補が話題と
して認定されるために継続する必要がある発話数の最小
値をｎ＝４とする。また、対話が始まる前の初期状態に
おいて、候補リスト、話題スタックおよび内部スタック
はいずれも空である。

【００４４】さて、発話Ａ−１には、図５に示した明示
話題に付加される明示話題マーカ「について」が存在し
ている。したがって、明示話題「郵便の配達」が即座に
話題として認定され、内部スタックにプッシュされる。
次の発話Ｂ−１には、話題候補も話題転換候補も存在し
ていない。また、発話Ａ−１は、図８によれば受け型発
話に相当するが、発話Ｂ−１に話題候補がないため、図
１２に示すように、２つの発話は同一の話題ユニットＵ
１に含まれることになる。したがって、発話Ｂ−１処理
後の状態は以下のようになる。 話題スタック ＝ ［［郵便の配達］］ 候補リスト ＝ ｛｝

【００４５】ただし、話題スタックの内部の各要素は内
部スタックであり、話題スタックと内部スタックの表記
では、ともに最右の要素がスタックのトップであるとす
る。上記の状態では、話題スタック中に１つの内部スタ
ックがプッシュされており、その内部スタック中には
「郵便の配達」という話題がプッシュされている。

【００４６】次に、発話Ａ−２からＢ−３までを考え
る。図６に示した話題候補のマーカを調べると、発話Ａ
−２では「を」により話題候補「速達」が、発話Ａ−３
では「に」により話題候補「京都」が、発話Ｂ−３では
「を」により話題候補「郵便物」が検出される。また、
図３に示したクルーワードを調べると、発話Ｂ−３にお
いて「次に」という語句が存在するので、これが話題転
換候補として検出される。ここで、図８によれば、発話
Ａ−２およびＢ−３は受け型であり、発話Ｂ−２および
Ａ−３は係り型である。また、発話Ａ−２には話題候補
が存在することから、図１２に示すように、発話Ａ−２
からＢ−３までは話題ユニットＵ１とは異なる新しい話
題ユニットＵ２を形成することが分かる。

【００４７】したがって、話題候補「速達」は４発話以
上にわたって継続することになるので、発話Ｂ−３の時
点で話題として認められる。また、発話Ｂ−３の話題転
換候補は、話題ユニット内であるので棄却される。すな
わち、発話Ｂ−３終了後の状態は下記のようになる。 話題スタック ＝ ［［速達，郵便の配達］］ 候補リスト ＝ ｛｝

【００４８】次に、発話Ａ−４とＢ−４を考えると、図
６に示した話題候補マーカにより発話Ａ−４で話題候補
「ポスト」が検出される。ここで、図８によれば、発話
Ａ−４は係り型、発話Ｂ−４は受け型であり、また発話
Ａ−４には話題候補が存在することから、図１２に示す
ように、発話Ａ−４とＢ−４は新しい発話ユニットＵ３
を形成する。したがって、発話Ａ−４の時点で候補リス
トはリセットされ、新たに「ポスト」が下記のように登
録される。 話題スタック ＝ ［［郵便の配達］］ 候補リスト ＝ ｛ポスト｝

【００４９】次に、発話Ａ−５では、図６に示した話題
候補マーカにより話題候補「定額預金」が検出され、図
３に示した話題転換候補の中のクルーワード「次に」が
検出される。ここで、図８によれば、発話Ａ−５は受け
型であり、また発話Ａ−５には話題候補が存在すること
から、図１２に示すように、発話Ａ−５は新しい発話ユ
ニットＵ４を形成する。したがって、発話Ａ−５の時点
で候補リストはリセットされ、新たに「定額預金」が登
録される。

【００５０】また、話題転換候補が話題ユニットの先頭
にあることから、話題転換として認められる。したがっ
て、話題スタックはクリアされ、クルーワード「次に」
は入れ子継続型であるので、話題スタックのトップにあ
る内部スタックをポップし、新しい空の内部スタックを
プッシュする。 話題スタック ＝ ［［］］ 候補リスト ＝ ｛郵便貯金｝

【００５１】以上の解析により、一貫した話題が継続し
ている話題セグメントが以下のように求められる。話題 開始 〜 終了 郵便の配達 発話Ａ−１〜発話Ｂ−４ 速達 発話Ａ−２〜発話Ｂ−４ 郵便貯金 発話Ａ−５〜発話Ａ−５

【００５２】ここで、非明示話題である「速達」は明示
話題である「郵便の配達」より１段内側の入れ子である
とみなされるので、以下に示す話題セグメントの入れ子
構造が求められることになる。 （「郵便の配達」 A-1 Ｂ−１ （「速達」 Ａ−２ B-2 A-3 B-3 A-4 B-4）） （「郵便貯金」 A-5）

【００５３】このように、この実施例によるビデオデー
タ検索支援方法によれば、利用者は、例えばドキュメン
タリ等のビデオデータを効率的に検索することが可能に
なる。また、特定の検索目的を持たずに、提示された話
題構造を参照しつつ、ビデオデータの情報散策を行うこ
とが可能になる。また、例えば、対話やプレゼンテーシ
ョン等に適用すれば、話題と関連する情報を自動的に検
索し提供できるため、対話やプレゼンテーション等の進
行が促進されると共に、これらの進行中に話題を発展さ
せることも可能になる。また、会議等において参加者が
議論を行なっている場合、参加者に対して話題と関連す
る情報を提供することにより、発想支援を行なうことも
可能である。また、例えば、問い合わせに応じて大規模
なデータベースから情報を迅速に検索し応答する必要の
ある情報案内サービスのようなサービスの支援に適用し
ても効果的である。さらに、個人あるいは小グループを
対象とした情報案内や宣伝にも応用することができる。

【００５４】

【発明の効果】以上説明したように、この発明によれ
ば、ビデオデータにおける話題構造が自動的に同定さ
れ、これがビデオデータの検索のために利用者に提供さ
れるので、利用者は、ビデオデータの内容を概観した
り、興味のある話題に対応する部分だけを選択して再生
することが可能になる。また、人手によって話題構造を
同定し、入力する必要がないため、利用者の負担が軽減
される。

【図面の簡単な説明】

【図１】 この発明の一実施例によるビデオデータ検索
支援方法を適用したシステムの構成例を示すブロック図
である。

【図２】 同実施例によるビデオデータ検索支援方法の
全体の流れを示すフローチャートである。

【図３】 同実施例の話題転換候補を検出するための言
語表現辞書の例を示す図である。

【図４】 同実施例の、明示的話題の同定と話題候補の
検出を行なうための処理を示すフローチャートである。

【図５】 同実施例の明示的話題の同定に用いる語句の
辞書の例を示す図である。

【図６】 同実施例の話題候補検出に用いる辞書の例を
示す図である。

【図７】 同実施例の話題ユニットを同定するための処
理を示すフローチャートである。

【図８】 同実施例の話題ユニットを同定するために用
いる言語表現辞書の例を示す図である。

【図９】 同実施例の話題候補と話題転換候補の認定を
行なうための処理を示すフローチャートである。

【図１０】 同実施例の話題の入れ子構造を同定するた
めの処理を示すフローチャートである。

【図１１】 同実施例の対話例を示す図である。

【図１２】 同実施例の対話例における話題ユニットを
示す図である。

【図１３】 同実施例の話題構造の提示例を示す図であ
る。

【図１４】 同実施例の話題構造を用いて作成した索引
の例を示す図である。

【符号の説明】

１ 音声認識装置 ２ 形態素解析装置 ３ 話題転換候補検出装置 ４ 話題候補検出装置 ５ 話題ユニット同定装置 ６ 話題・話題転換認定装置 ７ 話題構造表示装置 ８ レーザディスク制御装置 ９ レーザディスク再生装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ビデオデータにおける話し言葉情報に対
   して、共通の話題が継続する単位で区切られるセグメン
   ト、これら各セグメントにおける話題、およびこれら各
   セグメント間の入れ子構造を同定し、 前記話し言葉情報に含まれる各話題と、これら各話題に
   該当する前記ビデオデータの記録位置とを対応付けする
   と共に、 前記同定された各セグメントにおける話題と各セグメン
   ト間の入れ子構造とを利用者に提示すること特徴とする
   ビデオデータ検索支援方法。
2. 【請求項２】 話題を表す言葉の候補と話題転換を表す
   言葉の候補とをそれぞれメモリ上にテーブルとして記述
   しておき、これらテーブルと話し言葉情報を構成する発
   話文とでパターンマッチングを行なうことにより、該話
   し言葉情報から話題を表す言葉と話題転換を表す言葉と
   を検出することを特徴とする請求項１記載のビデオデー
   タ検索支援方法。
3. 【請求項３】 対話形式の発話文の型を命令的な目的を
   持つ係り型とこれ以外の受け型とに分類し、係り型を表
   す言葉の候補と受け型を表す言葉の候補とをメモリ上に
   テーブルとして記述しておき、このテーブルと話し言葉
   情報を構成する発話文とでパターンマッチングを行なう
   ことにより、該発話文の型を同定し、 話し言葉情報に対して、関連した話題が展開する発話文
   の集合を示す話題ユニットを同定する際、当該発話文の
   直前の発話文が係り型である場合、あるいは当該発話文
   に新たな話題を表す言葉および新たな話題転換を表す言
   葉のいずれもが含まれてない場合、当該発話文が前記直
   前の発話文と同一の話題ユニットに属することとし、そ
   の他の場合、当該発話文が新たな話題ユニットに属する
   こととすることにより話題ユニットを同定し、 前記話し言葉情報から話題を表す言葉と話題転換を表す
   言葉とを検出する際、話題転換を表す言葉が話題ユニッ
   トの先頭の発話文に現れた場合にのみ、これを実際の話
   題転換として認定し、 話題を表す言葉が検出された話題ユニットにおいて、該
   話題を表す言葉が所定発話数以上継続して現れた場合の
   み、実際の話題として認定することを特徴とする請求項
   １記載のビデオデータ検索支援方法。
4. 【請求項４】 話題転換を表す言葉の候補を入れ子開始
   型、入れ子継続型および入れ子終了型の３種類の言語表
   現形式に分類してメモリ上のテーブルに記述しておき、 話題転換として認定された話題転換を表す言葉が前記言
   語表現形式のいずれに該当するかによって話題転換の種
   類を同定し、 話題を表す言葉を格納する内部スタックと、この内部ス
   タックを話題の入れ子構造に従って格納する話題スタッ
   クとを利用して、 前記認定された話題転換を表す言葉が入れ子開始型であ
   る場合、話題スタックに新たな要素として内部スタック
   をプッシュし、前記認定された話題転換を表す言葉が入
   れ子終了型である場合、話題スタックの当該トップにあ
   る内部スタックをポップし、 また、話題を表す言葉の候補を明示的に話題を提示する
   明示話題と、これ以外の非明示話題とに分類してメモリ
   上のテーブルに記述しておき、 話題として認定された話題を表す言葉が前記明示話題と
   非明示話題のいずれに該当するかによって話題の種類を
   同定し、 前記認定された話題を表す言葉が非明示話題である場
   合、話題スタックのトップにある内部スタックに該認定
   された話題を表す言葉を格納し、 前記認定された話題を表す言葉が明示話題である場合、
   内部スタックに格納されている非明示話題をすべて該内
   部スタックからポップした後、該認定された話題を表す
   言葉を該内部スタックにプッシュすることにより、話題
   の入れ子構造を同定することを特徴とする請求項１記載
   のビデオデータ検索支援方法。