JP3657844B2 - テレビ番組自動検索システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、インターラクテイブ型テレビに関し、詳述すれば、利用者がリクエストを発話することによりテレビチャンネルが選択できるようにするテレビ番組自動検索システムに関する。
【０００２】
【従来の技術】
インターラクテイブ型テレビでは、視聴者と視聴者の所有するテレビ受像器とが双方向通話できるようになっている。この技術の開発はまだ未熟段階ではあるが、デジタル技術ではチャンネル帯域を一層効率的に利用できることから、デジタルテレビが盛んになればインターラクテイブ型テレビが大いに期待できる。つまり、デジタル技術を利用することで、放送局としては著しく大量の番組を、配給網(例えば、ケーブルや衛星)の割当て帯域に詰め込むことができる。
【０００３】
【発明が解決しようとする課題】
このような新しいインターラクテイブ型デジタルテレビ技術を利用すれば視聴者ばかりではなくて、放送局も多大な恩恵にあずかることができるが、斯かる技術には問題はないとは言えない。同時に視聴できるチャンネルが２００か、それ以上もあれば、視聴者のみならず、放送局としても当惑せざるを得なくなるのは明らかである。従来の電子式スクリーン上番組案内では、視聴者が見たい番組を見つけるには適当なものとは言えないようである。インターラクテイブ型デジタルテレビでは、視聴者がデジタルテレビのリソースを大いに利用できるようになれば、高度な対話システムが必要になる。
【０００４】
本発明は、利用者が自然言語で語りかけることにより所望の番組内容を指定することのできる発話型インターラクテイブシステムを提供するのを目的としている。このシステムでは、利用者の発話からキーワードと意味論的内容とを抽出するが、それでも意味が明確でない場合ではその利用者に対して情報を追加するように促すようになっている。
【０００５】
その後、システムは複数チャンネルにおけるクローズドキャプション情報を同時にモニターして、利用者のリクエストに一致する情報を放送しているチャンネルへアクティブなチャンネルチューナ又は補助チューナを切り換えるようになっている。このようなモニターしてもクローズドキャプションが見つからない場合では、システムは代替策として、モニターしているチャンネルのオーディオ信号上の音声認識を行う。チャンネルがこのように切り換えられると、チャンネル上の番組が全画面モード、又は、分割画面モード、或いは、P-in-P(画面中の小画面)モードで表示されるか、又は、後での視聴に備えて記録される。
【０００６】
音声認識システムは、番組内容を説明する音声と、システムに対するメタ命令(meta-command)とを弁別する意味分析器を利用して作用する。システムは、入力発話の意味のみならず、そのキーワードやフレーズを抽出することで、発話された単語がクローズドキャプションのテキスト内容と全く同じでなくても一致する内容を見つけることができる。
【０００７】
【発明の実施の形態】
以後、添付図面を参照しながら本発明の好ましい実施の形態を詳述する。先ず図１において、本発明によるインターラクテイブ型番組検索システムは、テレビ受像器１０又は据置き型筐体(set top box)１２に組み込まれるようになっている。何れにしても、本発明のシステムは、現に視聴されていないチャンネルを一つか、それ以上モニターして、利用者が以前に発話したリクエストに一致する、クローズドキャプションのテキストないし音声チャンネルの音声を検出する。
【０００８】
図１には、アクティブなチューナ１４や複数の補助チューナ１６を含めて、沢山のチューナを図示してある。図示の実施の形態では、補助チューナとしてはｎ個(但し、ｎは０以外の整数)あるものと想定している。しかし、簡単な実施の形態では補助チューナを一個利用するだけでもよい。
【０００９】
アクティブなチャンネルチューナ１４は利用者が設定したチャンネルに同調されており、従って利用者がテレビ受像器１０で現に視聴しているチャンネルに設定されている(従って、このアクティブなチューナを、以後「使用チューナ」と称する)。所望によっては、一個かそれ以上の補助チューナでテレビ受像器１０に番組内容が同時に表示されていてもよい。図１では、補助チューナｎが使用チューナ１４と同時にテレビ受像器１０へ番組内容を供給すべく接続されているものとして示してある。
【００１０】
現在のチューナ技術を用いて使用チューナ１４と補助チューナ１６とが、ＲＦ信号を帯域フィルターに通してそれぞれに対応する周波数帯を選択することにより、所望のチャンネルを選択する。本発明はこの種のチューナを利用しても実現できるが、その他のデジタル式「チャンネル」選択方式を想定しており、この選択方式により、デジタルドメインにおけるビデオデータ列(stream)から所望の番組内容を抽出している。本発明を実現するためには、チャンネル選択の態様はテレビ信号が符号化されて放送される態様に応じて変わる。
【００１１】
番組を放送するのに使われる信号の形式がどのようなものであっても、各補助チューナ１６は異なった番組チャンネルをモニターするように設定されているから、クローズドキャプションテキスト情報と音声信号とがシステムによりモニターされることになる。利用者は、スクリーン上選択メニューか、又は、発話メタ命令の何れかを利用してモニターすべきチャンネルを選択する。
【００１２】
システムには音声認識装置１８が備わっていて、利用者は適当なマイク２０を介してこの音声認識装置１８と通話することができる。マイク２０としては、テレビ受像器又は据置き型筐体に組み込んであってもよいが、本実施の形態では、手許操作型リモコン装置２２に組み込んで、例えば赤外線ないし接続線の如くの適当なリンク網を介してテレビ受像機ないし据置き型筐体と通話できるようにしている。
【００１３】
音声認識装置１８は発話を、システムが認識する可能性の最も大きい候補単語ないし候補フレーズ(又は、候補文字)に対応するテキストに変換する。本実施の形態では、音声認識装置１８から、利用者の各発話内容につき、Ｎ個の最良の候補文を出力するようになっている。認識装置は各文に対して、当該文が発話内容に対応している可能性を表す確実度(probability score)を生成する。最上のＮ個の候補が選ばれて、単語選択器・意味分析器ブロック２６に供給されて処理される。
【００１４】
単語選択器・意味分析器ブロック２６は幾つかの機能を実行する。第１に、ブロック２６は、Ｎ個の最良認識候補の中でどの候補が利用者が実際に意図したものかを解く。第２に、ブロック２６は、利用者の全ての発話の意味論的内容を分析して、個々の単語からでは集めることのできない利用者のリクエストについての追加情報を判定する。第３に、意味分析器は、利用者の入力を分析して、認識エラーを解消すると共に、利用者からの発話入力が番組内容を説明したものか、或いは、システムに動作を行わせる指示を意図したメタ命令かどうかを判定する。
【００１５】
単語選択器・意味分析器は、Ｎ個の最良候補から正しい候補を選択するに当たり、また、意味論的分析を行うに当たり、ローカル兼グローバル解析器(combined local parser and global parser)を利用する。この解析器の構成部品については後述する。単語選択器・意味分析器は、利用者に対して番組内容か、又は、メタ命令を特定する追加情報を出すように促すことで矛盾を解消するダイアログマネジャー２８と協働する。
【００１６】
ダイアログマネジャー２８は、利用者に対して情報の追加を促すに当たってテキストか、又は、音声でそれを行う。テキストによる催促は、ビデオ信号に適宜詰め込んでスクリーン上に表示する英数文字テキストとして生成される。音声による催促は、ダイアログマネジャーに内蔵の音声合成器から供給されるもので、テレビ受像器のスピーカから伝わるように音声信号列に詰め込んでもよい。
【００１７】
所望によっては、単語履歴データ貯蔵装置３０を利用して、以前に解した単語上の矛盾の記録を保存するようにしてもよい。このように保存することで、システムが利用者の視聴癖を「学習」することになって、後で単語認識上に矛盾が発生した場合に単語選択器がそれを速やかに解することができる利点がある。
【００１８】
単語選択器・意味分析器は、チャンネル選択についての利用者のリクエストに隠されている意味を抽出するように構成されていて、該当する同義語を自動的に選択し、また、同義語、つづられた単語、システム命令の内の少なくとも一つを認識してテキスト一致処理を向上させている。従って、単語選択器・意味分析器が利用者はフットボールを観戦したがっていると判断すれば、例えば「タッチダウン」や「キックオフ」、「ＮＦＬ」、「スーパーボウル」などの如くの同義語や関連語を単語選択器の同義語データベース３２から抽出する。
【００１９】
このように抽出した単語は、利用者が最初に発話した単語と共に、テキスト一致処理器３６のダイナミック辞書として利用される単語リストバッファー３４に送られる。テキスト一致処理器３６は補助チューナ１６から、クローズドキャプションテキストデータと音声データの何れか一方、又は両方のデータ列が生放送されてそれぞれのチューナにより選択されることから、当該情報を受信する。音声データが補助チューナから供給されたのであれば、テキスト一致処理器３６は音声認識装置１８の作用を利用して、音声信号列をテキストデータに変換する。
【００２０】
テキスト一致処理器３６は、補助チューナ１６から入力した各テキスト列を単語リストバッファー３４に含まれている単語と比較する。比較の結果一致が検出されると、処理器３６はチャンネル切換器３８に信号を送って、該チャンネル切換器をして、利用者が設定したモードに応じて異なった作用を実行させる。
【００２１】
第１モードでは、使用チャンネルチューナ１４にチャンネル切換器３８から命令が送られ、それにより使用チャンネルチューナ１４が、単語の一致が検出されたチャンネルに直ちに切り替わる。従って、利用者は、以前にリクエストした内容が含まれているチャンネルに直ちに切り換えられることになる。
【００２２】
第２モードでは、チャンネル切換器３８が何れかの補助チューナ(例えばチューナｎ)を、単語一致を実行するチャンネルに切り換える。このモードにあっては、視聴者は使用チャンネルを視聴し続けているが、同時に、検出した他のチャンネルがP-in-P画面又は分割画面に表示される。
【００２３】
第３モードでは、チャンネル切換器３８が、例えばＤＶＤ記録装置の如くの記録装置４０を起動して、単語一致に起動されたチューナ上の番組を記録する。このモードにあっても視聴者は使用チャンネルを視聴し続けているが、同時に、他の選択したチャンネルが記録されているので、当該他のチャンネルを後で視聴することができる。
【００２４】
本発明の単語認識システムの心臓部である音声認識装置は、好ましくは番組内容を説明するのに最もよく使われる単語の文字テンプレートないしサブ単語ユニットと、話者とは独立した単語とを表す一群のスピーチモデル２４が備わっているのが望ましい。しかし、システムに余分の融通をもたせるためにも、モデル訓練処理器４２を設けて、個々の利用者がスピーチモデル辞書に単語を追加できるようにするのが望ましい。この場合、モデル訓練処理器４２には、二つの情報が入力されるようになっている。即ち、（ａ）利用者が辞書に追加したがっている新単語に対応する音声情報と、(ｂ)この新単語の綴りを表すテキスト情報とが入力される。
【００２５】
音声情報は、音声情報が認識装置１８に供給されるのと同じ方法でマイク２０を介して入力される。他方、テキスト情報は、キーボード４４かその他の適当なテキスト入力装置、例えばリモコン装置２２のキーパッド釦を利用したスクリーン上テキスト入力システムなどを介して入力されるようにしてもよい。
【００２６】
このテキスト情報を入力させる別の手段としては、音声認識装置１８を利用してもよい。この場合、話者はマイク２０に向かって新単語を吹き込むと共に、その綴りをも吹き込むことになる。すると、音声認識装置１８は、マイクに吹き込まれた綴りに該当するスピーチモデルを利用して、入力単語を解釈すると共に、その単語を、単語そのものを表している発話との相関を取る。その後、モデル訓練処理器４２が、最初に供給されたスピーチモデルのもとになったのと同一モデルパラメータを利用してスピーチモデルを構成する。
【００２７】
単語選択器・意味分析器２６は、利用者による自然言語での入力が自然なもの(sense)となるようにする重要な機能を行う。単語選択器・意味分析器のこのような機能は、音声認識したテキスト列でキーワードを一つずつ見つけていくのと比べて一層複雑である。分析器は重要なキーワードを抽出するばかりではなくて、これらの単語の文脈も抽出するから、発話による入力の意味論的内容ないし意味が判断できるのである。この単語選択器・意味分析器には、そのために二重解析システムが用いられており、その構成を図２に概略的に示す。
【００２８】
図２において、分析器は、タスクによる複数のフレームないしテンプレートが記憶されているフレームデータ記憶装置５０を保持している。これらのテンプレートのデータ構造を５２を以て概略的に示す。各フレームは複数のスロット５４からなり、各スロット５４には、単語選択器・意味分析器が動作するに伴って抽出したキーワードが置かれる。
【００２９】
ローカル解析器５６は、ＬＲ文法５８に基づいて、音声認識装置１８(図１)から送られたテキスト列６０を解析する。ＬＲ文法により、ローカル解析器が、単語リストバッファー３４(図１)を充実化する単語を選択するのに使われる重要キーワードを含むテキスト列における断片文章(sentence fragments)を検出してラベル付けすることができる。例えば、ローカル解析器５６には、「今晩はフットボール試合を見たい」なる文章からキーワードとなる「フットボール」を抽出するためにＬＲ文法が含まれている。
【００３０】
このＬＲ文法を用いて、ローカル解析器は、上記文章の構文を調べることで当該文章を解読して、当該文章の目標(object)が「フットボール試合」であると判断すると共に、利用者は時間フレームパラメータとして「今晩」を指定していると判断する。
【００３１】
その後、ローカル解析器５６は、キーワードタグ６２のデータ記憶装置にアクセスして、キーワードとフレーズとから意味を抽出する。キーワードタグデータ記憶装置としては、各フレーズないし単語毎にフレームタグとスロットタグ識別子を与えるように構成されていてもよい。「フットボール」なるキーワードには、「スポーツ」のフレームタグと「スポーツ種類」のスロットタグがついている。これらのキーワードタグがあるから、ローカル解析器が、データ記憶装置５２内のどのフレームを利用すべきか、また、識別したフレーズないしキーワードをどのスロット５４に割り当てるべきかを判断することができるのである。
【００３２】
フレームデータ記憶装置５０内の各フレームは目的指向されている(goal-oriented)。即ち、各フレームは異なったメディア内容選択タスクないしシステム動作タスクに対応している。タスクの範囲は利用者の所望に従って変えることができる。消費者向けに適した典型的な実施の形態では、得られる各システム動作命令及び種々の典型的な番組内容リクエストに対応する予め定義付けしたフレーム群がシステムに備わっている。従って、利用者としては、例えば使用チャンネルチューナを介して識別した番組を表示する代わりに当該番組を記録するようにシステムに指示するとか、システムに対してシステム命令を実行するように通話することができるのである。例えば利用者の命令が「明日の晩は『セインフェルド』の再放送を記録したい」であれば、システムが記録モードに設定される。又、この命令はローカル解析器で解析されて、利用者が番組内容として「セインフェルド」の再放送をリクエストしたものと識別される。
【００３３】
同様に、利用者が「『セインフェルド』の再放送を今見たい」と言えば、システムは直ちに「セインフェルド」の放送を行っているチャンネルに切り換えることになる。
【００３４】
場合によっては、ローカル解析器のＬＲ文法では利用者からの入力を矛盾なく解釈することができないようなことがある。これは、文脈から逸れて幾つかの意味を帯びた断片文章をローカル解析器が識別する場合に発生する。例えば、「『セインフェルド』を見たいし、それを記録したい(I want to watch Seinfeld and record it)」との通話が入力された場合、ローカル解析器は、利用者がリクエストした番組は（ａ）「セインフェルド(Seinfeld)」か、(ｂ)「セインフェルドとそれを記録(Seinfeld And Record It)」との何れかであると、どちらも等しく判断してしまう。
【００３５】
前述のような矛盾を解消するには、もう一つの解析器、即ち、グローバル解析器７０をシステムに設ければよい。このグローバル解析器７０も、ローカル解析器から入力を受けるばかりではなくて、テキスト列をモニターする。グローバル解析器７０には、前例の如くの矛盾を解消するのに利用する複数の決定ツリー７２が備わっている。
【００３６】
詳述すれば、グローバル解析器７０には、各意味毎に一つの決定ツリー７２が備わっているのである。各決定ツリーは、出された意味における矛盾点を解消する役目をになっている。各決定ツリーは二値化ツリー構造であって、根ノードと中間ノードに、イエスかノーで答えられるような質問が含まれている。与えられた質問に答えることで、次の下位ノードへと、応答がイエスかノーかに応じて左方か、右方へ分岐する。最終ノードないし葉ノードには、表現された意味の判定が含まれている。システムはこの判定情報を利用して、フレームデータ記憶装置５０から適切なフレームを選択するに当たり、また、キーワードと適切なスロットに割り当てるに当たって矛盾を解消するのである。
【００３７】
ローカル解析器とグローバル解析器とによりフレームデータ記憶装置が埋め尽くされると(populated)、単語選択モジュール７４がデータ記憶装置５０にアクセスして、単語リストバッファー３４に送るキーワードの該当するリストを得る。この選択モジュールは、電子シーソラス７６の作用を利用して同義語ないし付加的単語を生成することで、単語リストバッファーに供給するキーワードリストを充実化するようにしてもよい。
【００３８】
単語リスト選択モジュールは、例えばフレームデータ記憶装置５０から「フットボール」なる単語を抽出して、シーソラス７６から「タッチダウン」とか、「グリーンベイパッカーズ」、「ＮＦＬ」とかの付加的単語を得ている。この点に関する限り、選択される付加的単語は、辞書の意味で(in the dictionary sense)必ずしも同義語をなすものでなくてもよい。むしろ、付加的単語は、利用者指定キーワードの主題に関わる自然言語での発話に屡々見られる付加的単語ないし関連単語をなしていてもよい。
【００３９】
【発明の効果】
ここまでの説明から、本発明の自動検索機構で、沢山の情報チャンネルにアクセスできるテレビシステムにおいてテレビ番組を指定するのが容易になるのは明らかである。
【図面の簡単な説明】
【図１】 本発明の好ましい実施の形態のブロック図。
【図２】 本発明の好ましい実施の形態における単語選択器・意味解析器装置でのデータの流れを示す説明図。
【符号の説明】
１０ テレビ受像器 １２ 据置き型筐体
１４ 使用チャンネルチューナ １６ 補助チューナ
１８ 言語認識装置 ２０ マイク
２２ リモコン装置 ２４ スピーチモジュール
２６ 単語選択器・意味分析器 ２８ ダイアログマネジャー
３０ 単語履歴データ記憶装置 ３２ 同義語データベース
３４ 単語リストバッファー ３６ テキスト一致処理器
３８ チャンネル切換器 ４０ 記録装置
４２ モデル訓練処理器 ５０ フレームデータ記憶装置
５６ ローカル解析器 ５８ ＬＲ文法
６０ テキスト列 ６２ キーワードタグ
７０ グローバル解析器 ７２ 決定ツリー
７４ 単語選択モジュール ７６ シーソラス

Claims (9)

1. 遠隔通信施設からチャンネルごとの複数の情報片を有する入力信号を受けて、表示装置に入力信号から得られた情報を表示するシステムであって、
   利用者から通話リクエストを受けて、該通話リクエストをテキストデータに変換するように動作できる言語認識装置と、
   テキストデータを受けるようになっていて、通話リクエストの意味論的表示である単語リストを生成するように動作できる意味分析器であって、ローカル解析器とグローバル解析器が含まれてなり、
   上記ローカル解析器が、デキストデータ内の断片文章をラベル付けするための文法の集合を有し、かつ、テキストデータ内の複数の単語を解析するとともに、上記単語中の少なくとも一部の単語を複数のキーワードスロットを有するタスクフレーム内に置くように動作することができ、
   上記グローバル解析器が、単語をタスクフレームのキーワードスロット内に置く上での矛盾を解消するための決定ツリーの集合を有し、タスクフレームが通話リクエストの意味論的表示であるものと、
   単語リストを複数の情報片と比較するテキストパターン一致化装置とからなるシステム。
2. 請求項１に記載のものであって、複数のデジタルチューナを設けて、入力信号を情報片に解析することよりなるシステム。
3. 請求項２に記載のものであって、前記言語認識装置は複数のスピーチモデルを有しており、各スピーチモデルはサブ単語ユニットないし文字テンプレートを表していることよりなるシステム。
4. 請求項３に記載のものであって、意味分析器には、同義語、つづられた単語、システム命令の内の少なくとも一つを認識する自然言語分析器を備えてなるシステム。
5. 請求項４に記載のものであって、前記言語認識装置は、複数の考えられるリクエストを提供し、意味分析器と連繋された単語選択器が単語リストにおけるどのリクエストを検索に使用するかを判定することよりなるシステム。
6. 請求項５に記載のものであって、意味分析器には、履歴情報ないし過去の検索が記憶されていると共に、単語リストからどの単語を検索すべきかを判断するに当たって履歴情報を利用することよりなるシステム。
7. 請求項５に記載のものであって、単語選択器がテキストパターン一致化装置に検索用語の同義語を供給することよりなるシステム。
8. 請求項５に記載のものであって、テキストパターン一致化装置が、単語リストを複数のチューナからのデータと比較することよりなるシステム。
9. 請求項１に記載のものであって、単語リストを複数の情報片と比較するテキストパターン一致化装置に応答して入力信号のチャンネルを選択するように動作できるチャンネル選択器を備えているシステム。

Images