JP6223744B2 - 方法、電子機器およびプログラム - Google Patents

Description

本発明の実施形態は、方法、電子機器およびプログラムに関する。

近年では、録画再生機能を備えたテレビや録画再生機器において、複数のチャンネルの全てを定期的に録画する機能を有する機器が普及してきている。このような機能を用いた場合、ユーザは放送番組を後日視聴することが多くなり、録画再生機器において、所望の録画番組の検索機能が重要になってくる。

このため、検索キーのキー入力による煩雑さを回避するために、ユーザがリモートコントローラから検索キーを音声入力して、録画番組の検索を行える録画再生機器が登場してきている。

特開２００５−２４２１８３号公報

しかしながら、音声入力による検索の場合、ユーザの発話の仕方によって録画再生装置は正確に音声入力された検索キーを認識できない場合がある。このため、ユーザに利便性のある音声入力による検索を提供することが望まれている。

実施形態の方法は、電子機器が外部装置を操作するための方法であって、電子機器により、ユーザの音声による、外部装置に対して操作するための入力文を、受け付け、電子機器により、検索キーの種類ごとに登録された予約語を参照し、入力文から、入力文に含まれている文字列のうち予約語に一致する文字列を、検索に有効な第１文字列として抽出し、電子機器により、電子機器のディスプレイ上に、入力文のうち、第１文字列と、第１文字列以外の１以上の第２文字列とを、異なる形態で表示し、電子機器により、ディスプレイ上に、第１文字列と同じ検索キーの種類に分類されて登録され、第１文字列とは異なる第１予約語を、第１文字列を修正するための候補として選択可能に表示し、第１予約語が選択された場合に、電子機器により、第１文字列に替えて第１予約語を含む検索コマンドを生成し外部装置に送信する。

図１は、実施形態１の録画再生システムの構成を示す図である。 図２は、本実施形態にかかる携帯端末のハードウェア構成図である。 図３は、本実施形態にかかる携帯端末およびデジタルテレビの機能的構成を示すブロック図である。 図４は、本実施形態の予約語ＤＢの一例を示す図である。 図５は、本実施形態に構文ルールを用いた入力文から検索コマンドの生成例を示す図である。 図６は、実施形態１のコマンド生成処理の手順を示すフローチャートである。 図７は、実施形態１のコマンド生成処理の手順を示すフローチャートである。 図８は、実施形態１のメニューバーの一例を示す図である。 図９は、実施形態１の音声入力画面の例を示す図である。 図１０は、実施形態１における検索有効文字列を強調表示した入力文の表示画面の例を示す図である。 図１１は、実施形態１において候補語一覧を表示した画面の例を示す図である。 図１２は、検索キー種類「場所」で「過去番組表」を選択して生成された検索コマンドによる検索結果の表示例を示す図である。 図１３は、検索キー種類「場所」で「おすすめ」を選択して生成された検索コマンドによる検索結果の表示例を示す図である。 図１４は、実施形態２のコマンド生成処理の手順を示すフローチャートである。 図１５は、実施形態２において、検索有効文字列の右下に候補数を表示した例を示す図である。 図１６は、実施形態３において、検索有効文字列から誤認識の要因となる部分を削除可能に表示した例を示す図である。 図１７は、実施形態の変形例におけるデジタルテレビ検出時の画面の流れを示す図である。 図１８は、実施形態の変形例における現在番組表の画面の例を示す図である。 図１９は、実施形態の変形例における次番組画面の例を示す図である。 図２０は、実施形態の変形例における機器未登録時の画面例を示す図である。 図２１は、実施形態の変形例における機器接続時の画面例を示す図である。 図２２は、実施形態の変形例におけるデジタルテレビの携帯端末側からのオンオフ操作の例を示す図である。 図２３は、実施形態の変形例における番組詳細情報の画面例を示す図である。 図２４は、実施形態の変形例におけるリモートコントローラ詳細画面の例を示す図である。 図２５は、実施形態の変形例におけるテキスト入力画面の例を示す図である。 図２６は、実施形態の変形例における設定画面の例を示す図である。 図２７は、実施形態の変形例における機器一覧画面の例を示す図である。 図２８は、実施形態の変形例における機器の詳細情報画面の例を示す図である。 図２９は、実施形態の変形例におけるチャンネル表示設定画面の例を示す図である。 図３０は、実施形態の変形例における地域設定画面の例を示す図である。 図３１は、実施形態の変形例におけるアプリケーション情報画面の例を示す図である。

以下、添付図面を参照して本実施形態を詳細に説明する。

（実施形態１）
本実施形態の録画再生システムは、図１に示すように、携帯端末１００とデジタルテレビ２００とが、Ｗｉｆｉ（登録商標）等の無線ネットワークなどで接続される構成となっている。図１に示すように、携帯端末１００とデジタルテレビ２００とは、インターネット上のサービス業者等のサーバ３００や放送局サーバ４００と接続される。また、デジタルテレビ２００は、放送局５００からの放送波を受信する。

本実施形態のデジタルテレビ２００は、デジタル放送の受信用チューナを搭載しており、さらに、放送番組の録画再生機能を備えている。また、本実施形態のデジタルテレビ２００は、インターネット上の各種サイトを検索したり、表示したりすることができるＷｅｂブラウザの機能が搭載されている。さらに、本実施形態のデジタルテレビ２００は、Ｈｙｂｒｉｄｃａｓｔ（登録商標）対応となっており、放送局５００から受信した放送波と、放送局サーバ４００やサーバ３００から放送番組に関するコンテンツやアプリケーションを受信し、アプリケーション等を起動して、放送番組と連動したコンテンツを放送番組上に表示可能となっている。

なお、本実施形態では録画再生装置としてデジタルテレビ２００を例にあげているが、録画再生機能を有していれば、これに限定されるものではない。例えば、放送波を受信するチューナを備え、録画再生機能を備え、映像を処理して外部接続された表示装置に出力するハードディスクレコーダやセットトップボックス等の機器であってもよい。

携帯端末１００は、デジタルテレビ２００に対する操作を行うリモートコントローラとして機能する電子機器であり、例えば、スマートフォン等の携帯電話、タブレット端末、スレート端末等として実現されている。携帯端末１００は、所定のアプリケーションプログラムを実行することによりデジタルテレビ２００に対する操作を行うようになっている。また、本実施形態のデジタルテレビ２００は、Ｈｙｂｒｉｄｃａｓｔ（登録商標）対応となっており、放送局サーバ４００やサーバ３００から放送番組に関するコンテンツやアプリケーションを受信し、アプリケーション等を起動して、デジタルテレビ２００で放送されている放送番組と連動したコンテンツを放送番組上に表示可能となっている。

図２に示すように、携帯端末１００は、表示部１０２、ＣＰＵ（Central Processing Unit）１１６、グラフィクスコントローラ１１８、タッチパネルコントローラ１１９、不揮発性メモリ１２０、ＲＡＭ（Random Access Memory）１２１、通信Ｉ／Ｆ１２３及びセンサ群１０６、音声入力部１２４等を備える。この他、携帯端末１００は、カメラやスピーカなどを備えていても良い。

音声入力部１２４は、マイクロフォン等の音声入力デバイスであり、ユーザからの発話を音声入力する。本実施形態では、音声入力部１２４は、ユーザの音声による、デジタルテレビ２００に対して操作するための自然言語の入力文を受け付ける。

表示部１０２は、ディスプレイ１０２ａとタッチパネル１０２ｂとを組み合わせた、いわゆるタッチスクリーンとして構成される。ディスプレイ１０２ａは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどである。タッチパネル１０２ｂは、ユーザの指やスタイラスペンなどによってタッチされたディスプレイ１０２ａの表示画面上の位置（タッチ位置）を検知する。

不揮発性メモリ１２０は、オペレーションシステムや各種のアプリケーションプログラム、プログラムの実行に必要な各種データなどを記憶する。ＣＰＵ１１６は、携帯端末１００の動作を制御するプロセッサであり、携帯端末１００の各コンポーネントを制御する。ＣＰＵ１１６は、不揮発性メモリ１２０からＲＡＭ１２１にロードされる、オペレーティングシステム、コマンド生成アプリケーションを含む各種アプリケーションプログラムを実行することで、後述する各機能部（図３参照）を実現する。ＲＡＭ１２１は、携帯端末１００のメインメモリとして、ＣＰＵ１１６がプログラムを実行する際の作業領域を提供する。

グラフィクスコントローラ１１８は、表示部１０２のディスプレイ１０２ａを制御する表示コントローラである。タッチパネルコントローラ１１９は、タッチパネル１０２ｂを制御し、ユーザによるタッチ位置を示す座標データをタッチパネル１０２ｂから取得する。

通信Ｉ／Ｆ１２３は、ＣＰＵ１１６による制御のもとで、デジタルテレビ２００等の外部装置との間の無線通信や、インターネット等のネットワークによる通信を実行する。

センサ群１０６は、携帯端末１００に対する外部からの加速度の向きと大きさを検出する加速度センサ、携帯端末１００の方位を検出する方位センサ、携帯端末１００の角速度（回転角度）を検出するジャイロセンサ等である。各センサの検出信号はＣＰＵ１１６に出力される。

携帯端末１００は、ＣＰＵ１１６と不揮発性メモリ１２０に記憶されたプログラム（オペレーティングシステム、コマンド生成アプリケーションプログラム等の各種アプリケーションプログラム）との協働により、図３に示す各部を実現する。

図３は、本実施形態にかかる携帯端末１００およびデジタルテレビ２００の機能的構成を示すブロック図である。本実施形態にかかる携帯端末１００は、図３に示すように、機能的構成として、制御部１３１と、入出力制御部１３２と、音声認識部１３４と、抽出部１３５と、コマンド生成部１３７と、辞書データベース１３６と、予約語データベース１３８と、構文ルール１３９とを備えている。

ここで、図３には、上述した音声入力部１２４、通信Ｉ／Ｆ１２３および表示部１０２も示している。ここで、辞書データベース１３６と、予約語データベース１３８と、構文ルール１３９とは、ハードディスクドライブ装置（ＨＤＤ）やメモリ等の記憶媒体に保存されている。

辞書データベース１３６（以下、「辞書ＤＢ１３６」という。）は、種々の単語が登録されたデータベースであり、音声認識部１３４で音声認識処理を実行する際に参照される。なお、辞書ＤＢ１３６を、携帯端末１００に設ける他、サーバ３００上に辞書ＤＢを設け、サーバ３００側で音声認識を行っても良い。

制御部１３１は、携帯端末１００全体を制御する。音声認識部１３４は、音声入力部１２４で音声入力された自然言語の入力文の音声データに対して、辞書ＤＢ１３６を用いて音声認識処理や形態素解析を行い、音声認識結果として入力文の文字列を出力する。

抽出部１３５は、音声認識部１３４から出力された入力文の文字列を構成する形態素等の文字列から、予約語データベース１３８（以下、「予約語ＤＢ１３８」という。）に登録されている予約語に基づいて、検索キー種類毎に、検索に有効な文字列である検索有効文字列を検索キー種類ごとに抽出する。予約語ＤＢ１３８は、予約語が、検索キー種類別に分類されて登録されたデータベースである。ここで、検索有効文字列は、第１文字列の一例である。また、入力文の文字列のうち、検索有効文字列以外の１以上の文字は、第２文字の一例である。

ここで、検索キー種類とは、検索キーの種類であり、「場所（ターゲット）」、「日付」、「ジャンル」、「キーワード」、「コマンド」等が該当する。予約語ＤＢ１３６には、検索キー種類「場所（ターゲット）」、「日付」、「ジャンル」、「コマンド」等毎に予約語が登録されている。

図４は、本実施形態の予約語ＤＢの一例を示す図である。検索キー種類「場所」は、検索場所を意味する。検索は、場所毎に行われる。検索可能な場所は、「おすすめ」、「過去番組表」、「録画リスト」、「ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）」、「動画サイト」、「インターネット」であり、それぞれの語と、同義の語が、予約語として、予約語ＤＢ１３８の検索キー種類「場所」に登録されている。

ここで、「過去番組表」とは、全てのチャンネルを定期的に録画することで保存された録画データの番組表である。図４に示す予約語「タイムシフト」は「過去番組表」と同義である。「ＥＰＧ」は、番組サーバ等からダウンロードして取得された、これから放送される番組のリストである。「おすすめ」とは、過去番組表の中から、ユーザが指定した所望の条件の番組を取得して表示することであり、このような番組再生の形態を「おすすめプレイ」という。

「録画リスト」は、ユーザが全てのチャンネルを定期的に録画する機能を用いずに、所望の番組を予約等して録画した番組のリストである。また、予約語「ネット」はインターネットと同義である。

抽出部１３５は、音声認識部１３４から出力された入力文を構成する文字列の中で、検索キー種類「場所」の予約語に一致する文字列がある場合に、当該文字列を、「場所」の検索有効文字列として抽出する。

検索キー種類「日付」は、録画された放送番組の日時を示すものであるが、正確な日付だけでなく、昨日、先週等の予約語も日付の検索キー種類に含まれる。抽出部１３５は、音声認識部１３４から出力された入力文を構成する文字列の中で、検索キー種類「日付」の予約語に一致する文字列がある場合に、当該文字列を、「日付」の検索有効文字列として抽出する。より具体的には、抽出部１３５は、入力文に、「日付」の予約語＋助詞がある場合に、助詞の前の語を「日付」の予約語と判断して抽出する。例えば、音声入力された入力文が「昨日の○○」や「明日の○○」、「先週の○○」のような場合に、抽出部１３５は、予約語ＤＢ１３８から、検索キー種類「日付」の予約語として、「昨日」、「明日」、「先週」を抽出して検索有効文字列とする。

尚、検索の場所が「おすすめ」の場合、デジタルテレビ２００の仕様として、日付による検索はサポートしていないため、抽出部１３５は、検索キー種類「日付」の検索有効文字列の抽出は行わず、日付を音声入力された場合には、入出力制御部１３２は、サポートされていない旨のメッセージを表示する。

検索キー種類「ジャンル」は、放送番組の種別を示すものであり、例えば、ニュース、ドラマ等が該当する。抽出部１３５は、音声認識部１３４から出力された入力文を構成する文字列の中で、検索キー種類「ジャンル」の予約語に一致する文字列がある場合に、当該文字列を、「ジャンル」の検索有効文字列として抽出する。

本実施形態では、ジャンルはメインジャンルとサブジャンルとに分類されている。メインジャンルとしては、ニュース・報道、スポーツ、ドラマ、音楽、バラエティ、映画、アニメ、ドキュメンタリー、ワイドショー等が一例としてあげられる。また、サブジャンルとしては、海外ドラマ、野球、サッカー、ゴルフ、相撲・格闘技、クイズ、グルメ・料理、お笑い・コメディ、語学、囲碁・将棋等が一例としてあげられる。

検索キー種類「コマンド」は、動詞であり、検索を意味する「探す」、視聴を意味する「見たい」等の予約語がコマンドの検索キー種類に含まれる。抽出部１３５は、音声認識部１３４から出力された入力文を構成する文字列の中で、検索キー種類「コマンド」の予約語に一致する文字列がある場合に、当該文字列を、「コマンド」の検索有効文字列として抽出する。

検索キー種類「キーワード」は、場所、日付、ジャンル、コマンド以外の検索キー種類で、検索に有効な文字列の検索キー種類であり、具体的な番組名、出演者名等がキーワードの検索キー種類に含まれる。抽出部１３５は、音声入力された入力文から、予約語や除外ワードを取り除き、最後に残った文字列を、検索キー種類「キーワード」の検索有効文字列として判定して抽出する。これにより、デジタルテレビ２００側で保持している番組名や番組詳細情報が検索され、部分一致すれば検索結果に一覧表示される。

具体的には、抽出部１３５は、音声認識部１３４から出力された入力文を構成する文字列のそれぞれに対し、予約語ＤＢ１３８に登録された、キーワード以外の検索キー種類ごとの予約語と比較して、予約語に一致する文字列を検索有効文字列として決定し、一致する予約語の検索キー種類を当該検索有効文字列の検索キー種類と決定する。そして、抽出部１３５は、入力文を構成する文字列の中で、予約語に含まれない、検索に有効な文字列をキーワードの検索キー種類の検索有効文字列として決定する。

なお、予約語ＤＢ１３８に、キーワードの予約語も登録しておき、音声認識部１３４から出力された入力文を構成する文字列の中で、検索キー種類「キーワード」の予約語に一致する文字列がある場合に、当該文字列を、「キーワード」の検索有効文字列として抽出するように抽出部１３５を構成してもよい。

なお、検索キー種類はこれらに限定されるものではなく、例えば、「新番組」などを含め、入力文に「新番組」の検索キー種類の文字列が存在した場合は、デジタルテレビ２００に新番組の属性を有する番組を検索させるように構成してもよい。

また、抽出部１３５は、決定した検索有効文字列ごとに、検索有効文字列に関連する単語を決定する。本実施形態では、抽出部１３５は、決定した検索有効文字列のうち、キーワード以外の検索キー種別の検索有効文字列に関しては、予約語ＤＢ１３８から、検索有効文字列に関連する予約語を抽出する。具体的には、抽出部１３５は、決定された検索有効文字列ごとに、予約語ＤＢから、検索有効文字列が該当する検索キー種類の予約語をすべて抽出して候補語と決定する。

一方、抽出部１３５は、決定した検索有効文字列のうち、キーワードの検索キー種別の検索有効文字列に関しては、検索有効文字列に対して音声認識により候補にあがった単語を候補語として決定する。ここで、候補語とは、、抽出した予約語を、検索有効文字列を修正するための単語である。

抽出部１３５は、予約語ＤＢ１３８の他、構文ルール１３９も参照して、入力文から検索有効文字列を抽出する。ここで、構文ルール１３９は、入力文から検索コマンドを生成するための検索キー種類の組み合わせの規則であり、「場所（ターゲット）、日付、ジャンル、キーワード、コマンド」の全ての検索キー種類の並びの他、これらの一部の組み合わせの並びも含まれる。

図５は、本実施形態に構文ルールを用いた入力文から検索コマンドの生成例を示す図である。図５に示す構文ルールの欄で強調されている検索キー種類の組み合わせが構文ルールを示している。

入出力制御部１３２は、表示部１０２に対する入出力を制御する。すなわち、入出力制御部１３２は、グラフィクスコントローラ１１８を介して表示部１０２のディスプレイ１０２ａに対する表示制御を行うとともに、タッチパネルコントローラ１１９を介して表示部１０２のタッチパネル１０２ｂからのタッチ操作による入力を制御する。

入出力制御部１３２は、表示部１０２のディスプレイ１０２ａに、抽出部１３５で抽出された検索有効文字列を、音声認識された入力文のうち検索有効文字列以外の文字と異なる表示形態とし、かつ検索有効文字列を修正可能な状態で、ユーザの音声に対応する文字列を表示する。具体的には、入出力制御部１３２は、検索有効文字列を、入力文の文字列の中で、ボルドや赤色などの文字色等で強調してディスプレイ１０２ａに表示する。

また、入出力制御部１３２は、検索有効文字列ごとに、抽出部１３５で抽出された一または複数の候補語からなる候補語一覧を、ディスプレイ１０２ａに選択可能に表示する。ユーザは、ディスプレイ１０２ａに表示された検索有効文字列が誤っており、候補語一覧の中の候補語に正しい検索有効文字列が存在する場合には、タッチパネル１０２ｂからタッチ操作により、正しい検索有効文字列としての候補語を選択することができる。この場合、入出力制御部１３２は、誤っている検索有効文字列を、選択された候補語に置換してディスプレイ１０２ａに表示する。

コマンド生成部１３７は、抽出部１３５で抽出された検索有効文字列を含む検索コマンドを生成する。通信Ｉ／Ｆ１２３は、コマンド生成部１３７で生成された検索コマンドを、デジタルテレビ２００に送信する。

また、コマンド生成部１３７は、表示部１０２のタッチパネル１０２ｂに対するユーザのタッチ操作により候補語が選択された場合に、選択された候補語の検索キー種類として表示されている検索有効文字列を、選択された候補語の検索有効文字列に置換して、検索コマンドを生成する。

コマンド生成部１３７は、検索キー種類の場所につき、以下の優先順位で決定して検索コマンドを生成する。

優先順位１
ユーザが音声入力した入力文に明示的に場所が指定されている場合（例えば、「録画リストから○○を見せて」等）、コマンド生成部１３７は、入力文で指定された場所を含めて検索コマンドを生成し、デジタルテレビ２００に指定された場所から検索させる。

優先順位２
入力文に、当日以降の日付が指定された場合や、録画予約のための検索と判断される場合には、コマンド生成部１３７は、ＥＰＧを含めて検索コマンドを生成し、デジタルテレビ２００にＥＰＧから検索させる。

優先順位３
コマンド生成部１３７は、デジタルテレビ２００の現在の状態を今までの操作内容から判断し、あるいはデジタルテレビ２００から通信Ｉ／Ｆ１２３を介して現在の状態を取得し、現在の状態に応じて以下のように検索コマンドを生成する。

デジタルテレビ２００の現在の状態が、おすすめプレイの画面（検索結果画面を含む）の表示中である場合、コマンド生成部１３７は、「おすすめ」を含めて検索コマンドを生成し、デジタルテレビ２００に過去番組表から検索させておすすめプレイの表示形式で表示させる。

デジタルテレビ２００の現在の状態が、過去番組表の画面（検索結果画面を含む）の表示中である場合、コマンド生成部１３７は、「過去番組表」を含めて検索コマンドを生成し、デジタルテレビ２００に過去番組表から検索させて、過去番組表の表示形式で表示させる。

デジタルテレビ２００の現在の状態が、録画リスト画面（検索結果画面を含む）の表示中である場合、コマンド生成部１３７は、「録画リスト」を含めて検索コマンドを生成し、デジタルテレビ２００に録画リストから検索させる。

デジタルテレビ２００の現在の状態が、ＥＰＧの画面（検索結果画面を含む）の表示中である場合、コマンド生成部１３７は、「ＥＰＧ」を含めて検索コマンドを生成し、デジタルテレビ２００にＥＰＧから検索させる。

デジタルテレビ２００の現在の状態が、動画サイトの画面の表示中である場合、コマンド生成部１３７は、「動画サイト」を含めて検索コマンドを生成し、デジタルテレビ２００に動画サイトから検索させる。

デジタルテレビ２００の現在の状態が、インターネットの任意のサイトの画面の表示中である場合、コマンド生成部１３７は、「インターネット」を含めて検索コマンドを生成し、デジタルテレビ２００にインターネットの検索サイトから検索させる。

デジタルテレビ２００の現在の状態が、過去番組のタイトル再生画面の表示中である場合、コマンド生成部１３７は、「過去番組表」を含めて検索コマンドを生成し、デジタルテレビ２００に過去番組表から検索させ過去番組表の表示形式で表示させる。

デジタルテレビ２００の現在の状態が、録画リストのタイトル再生画面の表示中である場合、コマンド生成部１３７は、「録画リスト」を含めて検索コマンドを生成し、デジタルテレビ２００に録画リストから検索させる。

優先順位４
デジタルテレビ２００の現在の状態が上記以外の場合には、コマンド生成部１３７は、デフォルト設定されている場所である「おすすめ」を含めて検索コマンドを生成し、デジタルテレビ２００に過去番組表から検索させて、おすすめプレイの表示形式で表示させる。

優先順位１のように場所が明示的に指定された場合を除き、上記の優先順位で決定された検索場所がユーザの意図通りでない場合もある。このため、検索コマンドが生成された段階で、検索コマンドと場所を示す単語の他の予約語を候補語としてタッチ選択可能にディスプレイ１０２ａに表示するように入出力制御部１３２を構成してもよい。

図３に戻り、デジタルテレビの構成について説明する。デジタルテレビ２００は、図３に示すように、制御部２３１と、表示部２３７と、表示処理部２３２と、通信Ｉ／Ｆ２３３と、コマンド解析部２３４と、検索部２３５と、録画データ２３６とを主に備えている。

制御部２３１は、デジタルテレビ２００の全体を制御する。制御部２３１は、録画再生の機能を実現する。表示部２３７はディスプレイ装置等の表示デバイスである。表示処理部２３２は、表示部２３７に対する表示を制御する。通信Ｉ／Ｆ２３３は、携帯端末１００やインターネット上のサーバ３００、放送局サーバ４００との通信を制御する。コマンド解析部２３４は、通信部Ｉ／Ｆ２３３を介して携帯端末１００から受信した検索コマンドを解析する。検索部２３５は、コマンド解析部２３４による検索コマンドの解析結果に基づいて、検索コマンドが示す内容を検索する。録画データ２３６は、ＨＤＤ等の記憶媒体に保存されている。

次に、以上のように構成された本実施形態の携帯端末１００によるコマンド生成処理について説明する。図６、図７は、実施形態１のコマンド生成処理の手順を示すフローチャートである。

まず、携帯端末１００の入出力制御部１３２は、ディスプレイ１０２ａに表示された画面の下部にメニューバーを表示する。図８は、実施形態１のメニューバーの一例を示す図である。メニューバーには、５個のキー（ボタン）が表示されている。符号８０１のキーは、現在放送されている番組の一覧である現在番組表を起動するためのキーである。符号８０２のキーは、リモートコントローラ詳細画面を起動するためのキーである。符号８０３のキーは音声入力画面を起動するためのキーである。符号８０４は、テキスト入力画面を起動するためのキーである。符号８０５のキーは、Ｈｙｂｒｉｄｃａｓｔ（登録商標）連動機能を起動するためのキーである。

ユーザが図８に示す符号８０３のキーを押下すると、入出力制御部１３２はかかるキー押下を受け付けて、図９（ａ）に示す音声入力画面をディスプレイ１０２ａに表示し、図６、７のフローチャートの処理が実行される。ユーザは、図９（ａ）に示す音声入力画面で、デジタルテレビ２００に対する指示を自然言語で音声入力すると、音声入力部１２４は、かかる音声入力を受け付ける（ステップＳ１１）。

次に、音声認識部１３４は、音声入力部１２３で音声入力された入力文に対して音声認識処理を行い（ステップＳ１２）、入力文の文字列を出力する。入出力制御部１３２は、認識結果を、ディスプレイ１０２ａに図９（ｂ）に示すように表示する。そして、抽出部１３５は、予約語ＤＢ１３８に登録されている検索キー種類ごとの予約語と、入力文を構成する形態素ごとの文字列を比較して、予約語に一致する文字列を検索有効文字列として抽出する（ステップＳ１３）。

次に、入出力制御部１３２は、表示部１０２のディスプレイ１０２ａに、ステップＳ１３で抽出された検索有効文字列をすべて強調表示した入力文を表示する（ステップＳ１４）。図１０は、実施形態１における検索有効文字列を強調表示した入力文の表示画面の例を示す図である。図１０の例では、「昨日」が検索キー種類「日付」、「○○○」が検索キー種類「キーワード」、「ドラマ」が検索キー種類「ジャンル」、「見せて」が検索キー種類「コマンド」に該当する検索有効文字列であり、それぞれが強調表示されている。

そして、図１０の表示画面で、ユーザが表示された検索有効文字列のうち任意の検索有効文字列をタッチ操作で指定すると、入出力制御部１３２は、かかる検索有効文字列のユーザ指定を受付ける（ステップＳ１５：Ｙｅｓ）。

入出力制御部１３２が検索有効文字列のユーザ指定を受付けると、抽出部１３５は、キーワード以外の検索キー種類の検索有効文字列に対して、予約語ＤＢ１３８を参照して、同一の検索キー種類の予約語を抽出する（ステップＳ１６）。また、抽出部１３５は、キーワードである検索キー種類の検索有効文字列については、音声認識部１３４から当該検索有効文字列の認識の際に候補となった単語を取得する（ステップＳ１７）。

そして、入出力制御部１３２は、表示部１０２のディスプレイ１０２ａに、ステップＳ１６で抽出した予約語、ステップＳ１７で取得した単語を、候補語として検索有効文字列の近傍に一覧表示する（ステップＳ１８）。図１１は、実施形態１において候補語一覧を表示した画面の例を示す図である。図１１（ａ）は、検索キー種類「日付」の検索有効文字列「昨日」の候補語一覧、図１１（ｂ）は、検索キー種類「ジャンル」の検索有効文字列「ドラマ」の候補語一覧、図１１（ｃ）は、検索キー種類「キーワード」の検索有効文字列「○○○」の候補語一覧の表示例を示している。

図１１の画面で、ユーザが候補語一覧から所望の候補語を選択した場合、入出力制御部１３２は、かかるユーザ選択を受け付け（ステップＳ１９：Ｙｅｓ）、の検索有効文字列を選択された候補語に変更する（ステップＳ２０）。

なお、ステップＳ１５で、検索有効文字列のユーザ指定を受付けていない場合には（ステップＳ１５：Ｎｏ）、ステップＳ１６からＳ２０までの処理は行われない。また、ステップＳ１９で、ユーザからの候補語一覧からの候補語の選択を受け付けていない場合には（ステップＳ１９：Ｎｏ）、ステップＳ２０の処理は行われない。

そして、図１０または図１１で、ユーザが確定の指示として検索開始ボタンを押下した場合には、入出力制御部１３２は、この「検索開始」のユーザ指示を受付け（ステップＳ２１：Ｙｅｓ）、コマンド生成部１３７が検索有効文字列を含む検索コマンドを生成する（ステップＳ２２）。そして、通信Ｉ／Ｆ１２３は、生成された検索コマンドを、デジタルテレビ２００に送信する（ステップＳ２３）。ステップＳ２１でユーザから確定の指示を受付けていない場合には（ステップＳ２１：Ｎｏ）、ステップＳ１５へ戻る。

デジタルテレビ２００は、通信Ｉ／Ｆ２３３が検索コマンドを受信し、コマンド解析部２３４が検索コマンドを解析して、検索部２３５が検索コマンドに基づく検索を行って、表示処理部２３２が検索結果を表示部２３７に表示する。図１２は、検索キー種類「場所」で「過去番組表」を選択して生成された検索コマンドによる検索結果の表示例を示している。図１３は、検索キー種類「場所」で「おすすめ」を選択して生成された検索コマンドによる検索結果の表示例を示している。

このように本実施形態では、音声入力された入力文のうち、検索に有効な検索有効文字列を強調表示し、かつ他の候補語に変更可能としているので、ユーザの発話の仕方によっては検索キーの認識が困難な場合や、ユーザの勘違いで誤った発話を行った場合でも、ユーザに検索有効文字列を強調して示し、誤りがあれば修正することができる。このため、本実施形態によれば、ユーザに利便性のある音声入力による検索を実現することができる。

（実施形態２）
実施形態２では、携帯端末１００は、検索有効文字列を強調表示する際に、候補語の数も併せて表示している。本実施形態の携帯端末１００のハードウェア構成および機能的構成、デジタルテレビ２００の機能的構成は、実施形態１と同様である。

本実施形態の携帯端末１００の抽出部１３５は、実施形態１と同様の機能を有し、さらに、検索有効文字列ごとに、検索有効文字列に関連する単語の数を候補数としてカウントする。具体的には、抽出部１３５は、検索キー種類がキーワード以外の検索有効文字列については、予約語ＤＢ１３８において当該検索有効文字列の検索キー種類に登録されている予約語の当該検索有効文字列を除外した数を、当該検索有効文字列に関連する単語の数（候補数）としてカウントする。また、抽出部１３５は、検索キー種類がキーワードである検索有効文字列については、音声認識部１３４で当該検索有効文字列を認識する際の候補の数を取得してカウントする。

また、本実施形態の携帯端末１００の入出力制御部１３２は、実施形態１と同様の機能を有し、さらに、抽出部１３５でカウントされた候補数を検索有効文字列の近傍に表示する。

次に、以上のように構成された本実施形態の携帯端末１００によるコマンド生成処理について説明する。図１４は、実施形態２のコマンド生成処理の手順を示すフローチャートである。

ユーザから音声入力の受付けから検索有効文字列の抽出までの処理（ステップＳ１１〜Ｓ１３）は実施形態１と同様に行われる。検索有効文字列が抽出されると、抽出部１３５は、検索有効文字列ごとに、検索有効文字列に関連する単語の数を上述のように候補数としてカウントする（ステップＳ３１）。

そして、入出力制御部１３２は、抽出部１３５でカウントされた候補数を検索有効文字列の近傍に表示する（ステップＳ３２）。図１５は、実施形態２において、検索有効文字列の右下に候補数を表示した例を示している。候補数の表示位置は、図１５の例に限定されるものではなく、検索有効文字列の近傍であればよい。なお、これ以降の処理（ステップＳ１５〜Ｓ２３）については実施形態１と同様に行われる。

このように本実施形態では、検索有効文字列を強調表示する際に、候補語の数も併せて表示しているので、ユーザにより利便性のある音声入力による検索を実現することができる。

（実施形態３）
上記実施形態では、検索キー種類がキーワードの場合でも検索有効文字列として決定された文字列はそのまま強調表示されていた。この実施形態３では、検索キー種類がキーワードの場合の検索有効文字列において、発話により誤認識の要因となる部分を削除可能に表示している。

本実施形態の携帯端末１００のハードウェア構成および機能的構成、デジタルテレビ２００の機能的構成は、実施形態１と同様である。本実施形態の携帯端末１００の抽出部１３５は、実施形態１と同様の機能を有し、さらに、キーワードの検索キー種類として抽出された検索有効文字列のうち、誤認識の要因となる部分を抽出する。具体的には、抽出部１３５は、音声認識部１３４で認識の際に使用した形態素解析の結果を利用して、誤認識の要因となる部分を決定する。ここで、誤認識の要因となる部分とは、例えば、発話の際に混入する、「えー」、「あ」等のように、実質的に検索に必要の無い発話の部分である。

入出力制御部１３２は、キーワードの検索キー種類として抽出された検索有効文字列のうち、誤認識の要因となる部分を、ユーザのタッチ操作等により検索有効文字列から削除可能にディスプレイ１０２ａに表示する。

図１６は、実施形態３において、検索有効文字列から誤認識の要因となる部分を削除可能に表示した例を示す図である。図１６に示す例では、強調表示された検索有効文字列のうち、「えー」、「あっ」の発話が誤認識の要因となる部分である。かかる部分をユーザがタッチ操作で移動することより、入出力制御部１３２はこのタッチ操作を受付けて、検索有効文字列から誤認識の要因となる部分を除去してディスプレイ１０２ａに表示変更する。このため、コマンド生成部１３７は、誤認識の要因となる部分が除去された検索有効文字列が検索コマンドに含まれることになる。

このように本実施形態では、検索キー種類がキーワードの場合の検索有効文字列において、発話により誤認識の要因となる部分を削除可能に表示しているので、音声認識による誤認識の部分を除去して検索コマンドをデジタルテレビ２００に送信することができ、これにより、より正確な検索を実現することができる。

（変形例）
上記実施形態では、携帯端末１００で音声入力された入力文の音声認識を行っていたが、これに限定されるものではない。例えば、携帯端末１００で音声入力された入力文を、外部のサーバ等に送信して、当該外部のサーバで音声認識を行い、携帯端末１００がその音声認識結果として得られた入力文の文字列を、外部のサーバから受信して、検索有効文字列を抽出するように構成してもよい。

また、上記実施形態では、携帯端末１００を例にあげて説明したが、これに限定されるものではない。例えば、リモートコントローラに音声入力をするように構成することができる。この場合には、入力された音声をリモートコントローラからデジタルテレビ２００に送信し、検索有効文字列の決定や強調表示を、デジタルテレビ２００側で行うように構成する。

また、上記実施形態では、検索有効文字列を強調表示しているが、これに限定されるものではない。入力文の他の文字または文字列と表示形態を異なるように表示すれば任意の表示形態を採用することができる。

検索キー種類については、上記実施形態は一例であり、他の例を検索キー種類として使用することができる。

次に、上記実施形態で説明した機能以外の機能について変形例として説明する。図１７は、実施形態の変形例におけるデジタルテレビ２００検出時の画面の流れを示す図である。図１７に示すように、通信Ｉ／Ｆ１２３が同一ネットワーク内にデジタルテレビ２００を検出すると、入出力制御部１３２は、ポップアップ画面で検出された登録するかどうかを機器登録開始ダイアログで表示する。

そして、ユーザがＯＫの指示をした場合、入出力制御部１３２は、同一内で検出した全対象機器を一覧表示し、ユーザに登録したい機器を選択させる。ユーザが機器を選択したら、入出力制御部１３２は、ＰＩＮ認証画面を表示して、接続するデジタルテレビ２００の画面に表示されているＰＩＮコードを入力させることで認証を行う。認証が成功した場合には、登録完了の旨のメッセージが表示される。

なお、一度検出済みのデジタルテレビ２００、機器情報を記録することで、２回目以降の検出ではポップアップ表示されない。ユーザがデジタルテレビ２００を再検索する場合は、オプションメニューより、「テレビを再検索」を選択することで、再検索が実行され、未登録のデジタルテレビ２００が検出された場合に、入出力制御部１３２は、機器登録開始ダイアログを表示する。

上記実施形態では、図８に示すメニューバーで、符号８０３のキーをユーザが押下して音声入力を行う場合について説明したが、他のキーを押下した場合について説明する。図８に示すメニューバーで、符号８０１のキーをユーザが押下すると、入出力制御部１３２は、図１８に示す現在番組表の画面を表示する。この現在番組表は、現時点で放送されている番組の一覧を示すものである。

この現在番組表の画面で、ユーザが右から左へドラッグ操作を行うと、入出力制御部１３２は、図１９に示す次番組画面を画面右側から表示する。そして、ユーザが画面にタッチした指を離すと、入出力制御部１３２は、バウンズバックで次番組の表示を消去して図１８の画面に戻る。

ここで、携帯端末１００に相手機器であるデジタルテレビ２００が一台も登録されていない場合には、図２０に示すように画面上部のアクションバーに機器が登録されていない旨を示すメッセージが表示され、このアクションバーをユーザがタッチ操作すると、入出力制御部１３２は、接続方法の案内を示す画面を表示する。

一方、携帯端末１００にデジタルテレビ２００が登録済みの場合には、アクションバーをタップすると、入出力制御部１３２は、図２１（ａ）に示すように、登録機器一覧がプルダウンメニューで表示し、接続機器を変更することができる。また、図２１（ｂ）に示すように、接続機器を再スキャンする再検索メニューも表示される。

また、図２２に示すように、現在番組表の画面の上部左側に表示されてうる電源キーを押下することで、接続されているデジタルテレビ２００の電源のオンオフを携帯端末１００側から操作することが可能となっている。

さらに、図２３に示すように、ユーザが現在番組表の番組の右側のアイコンをタップすることにより、入出力制御部１３２は、タップされた番組の詳細情報の画面を表示することができる。

図８に示すメニューバーで、符号８０２のキーをユーザが押下すると、入出力制御部１３２は、図２４（ａ）に示すリモートコントローラ詳細画面を表示する。リモートコントローラ詳細画面は、２画面構成となっており、ユーザが上下にスワイプ操作を行うことで、図２４（ａ），（ｂ）に示すように切り替えることが可能となっている。

図８に示すメニューバーで、符号８０４のキーをユーザが押下すると、入出力制御部１３２は、図２５に示すテキスト入力画面を表示する。このテキスト入力画面では、ユーザがキー操作でテキストを入力して表示する他、ユーザが音声入力しな内容が音声認識部１３４によって音声認識されてテキストとして表示される。

次に、携帯端末１００における各種設定について説明する。図２６に示すように、現在番組表の画面の右上のプルダウンメニューからユーザが設定を押下すると、入出力制御部１３２は設定画面を表示する。設定画面で、ユーザが「お使いのテレビの登録」をタッチすると、入出力制御部１３２は、図２７に示す機器一覧画面を表示する。機器一覧画面でユーザが所望の機器（デジタルテレビ２００）をタッチ操作で選択すると、入出力制御部１３２は、図２８に示すように、選択された機器の詳細情報を表示する。

ユーザが機器の詳細情報画面で、「チャンネル設定」をタップすると、入出力制御部１３２は、図２９に示すように、チャンネル表示設定画面を表示する。チャンネル表示設定画面では、番組表画面において表示するチャンネルを相手機器毎に設定することができる。

入出力制御部１３２は、デジタルテレビ２００のチャンネル情報を取得してチャンネル設定画面を表示する。すでにチャンネル設定済みである場合には、デジタルテレビ２００のチャンネルスキップ設定よりも、設定画面で設定した情報が優先される。なお、取得できない放送波がある場合には、該当するボタン（地デジ／ＢＳ／ＣＳ）は表示されない。

設定画面において、ユーザが「地域設定」をタッチ操作で選択すると、入出力制御部１３２は、図３０に示すように、地域選択画面を表示し、かかる地域設定画面でユーザが地域を選択することが可能となる。

設定画面において、ユーザが「アプリケーション情報」をタッチ操作で選択すると、入出力制御部１３２は、図３１に示すように、アプリケーション情報画面を表示し、かかるアプリケーション情報画面でユーザはアプリケーション情報を知ることができる。

本実施形態の携帯端末１００で実行されるコマンド生成プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供される。

本実施形態の携帯端末１００で実行されるコマンド生成プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

また、本実施形態の携帯端末１００で実行されるコマンド生成プログラムは、ＲＯＭ等に予め組み込まれて提供してもよい。

また、本実施形態の携帯端末１００で実行されるコマンド生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の携帯端末１００で実行されるコマンド生成プログラムは、上述した各部（入出力制御部１３２、コマンド生成部１３７、音声認識部１３４、抽出部１３５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからコマンド生成プログラムを読み出して実行することにより上記各部がＲＡＭ上にロードされ、入出力制御部１３２、コマンド生成部１３７、音声認識部１３４、抽出部１３５がＲＡＭ上に生成されるようになっている。

さらに、ここに記述されたシステムの種々のモジュールは、ソフトウェア・アプリケーション、ハードウェアおよび／またはソフトウェア・モジュール、あるいはサーバのような１台以上のコンピュータ上のコンポーネントとしてインプリメントすることができる。種々のモジュールは、別々に説明されているが、それらは同じ根本的なロジックかコードのうちのいくつかあるいはすべてを共有してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 携帯端末
１０２ 表示部
１０２ａ ディスプレイ
１０２ｂ タッチパネル
１２３ 通信Ｉ／Ｆ
１２４ 音声入力部
１３１ 制御部
１３２ 入出力制御部
１３４ 音声認識部
１３５ 抽出部
１３６ 辞書データベース
１３７ コマンド生成部
１３８ 予約語データベース
１３９ 構文ルール
２００ デジタルテレビ
２３１ 制御部
２３２ 表示処理部
２３３ 通信Ｉ／Ｆ
２３４ コマンド解析部
２３５ 検索部
２３６ 録画データ
２３７ 表示部

Claims (10)

1. 電子機器が外部装置を操作するための方法であって、
   前記電子機器により、ユーザの音声による、前記外部装置に対して操作するための入力文を、受け付け、
   前記電子機器により、検索キーの種類ごとに登録された予約語を参照し、前記入力文から、前記入力文に含まれている文字列のうち前記予約語に一致する文字列を、検索に有効な第１文字列として抽出し、
   前記電子機器により、前記電子機器のディスプレイ上に、前記入力文のうち、前記第１文字列と、前記第１文字列以外の１以上の第２文字列とを、異なる形態で表示し、
   前記電子機器により、前記ディスプレイ上に、前記第１文字列と同じ検索キーの種類に分類されて登録され、前記第１文字列とは異なる第１予約語を、前記第１文字列を修正するための候補として選択可能に表示し、
   前記第１予約語が選択された場合に、前記電子機器により、前記第１文字列に替えて前記第１予約語を含む検索コマンドを生成し前記外部装置に送信する、
   ことを含む方法。
2. 前記電子機器により、前記ディスプレイ上であって前記第１文字列の近傍に、前記第１文字列と同じ検索キーの種類に分類されて登録された前記予約語の数を、表示する、
   ことをさらに含む請求項１に記載の方法。
3. 前記電子機器により、前記入力文から、検索キーの種類ごとに登録された前記予約語のいずれにも含まれない検索に有効な文字列を、前記第１文字列として抽出する、
   ことをさらに含む請求項１に記載の方法。
4. 検索キーの種類ごとに予約語が登録された辞書情報を記憶する記憶部と、
   ユーザの音声による、外部装置に対して操作するための入力文を、受け付ける入力部と、
   前記辞書情報を参照して、前記入力文から、前記入力文に含まれている文字列のうち前記予約語に一致する文字列を、検索に有効な第１文字列として抽出する抽出部と、
   前記入力文のうち、前記第１文字列と、前記第１文字列以外の１以上の第２文字列とを、異なる形態で表示し、かつ、前記辞書情報において前記第１文字列と同じ前記検索キーの種類に分類されて登録され、前記第１文字列とは異なる第１予約語を、前記第１文字列を修正するための候補として選択可能に表示する表示部と、
   前記第１文字列を含む検索コマンドを生成する生成部と、
   前記検索コマンドを、前記外部装置に送信する送信部と、
   を備え、
   前記生成部は、前記第１予約語が選択された場合に、前記第１文字列に替えて前記第１予約語を含む前記検索コマンドを生成する、
   電子機器。
5. 前記表示部は、前記第１文字列の近傍に、前記第１文字列と同じ検索キーの種類に分類されて登録された前記予約語の数を表示する、
   請求項４に記載の電子機器。
6. 前記抽出部は、さらに、前記第１文字列のうち、誤認識の要因となる部分を抽出し、
   前記表示部は、前記第１文字列のうち、前記誤認識の要因となる部分を削除可能に表示し、
   前記生成部は、前記誤認識の要因となる部分が削除された前記第１文字列を含む前記検索コマンドを生成する、
   請求項４に記載の電子機器。
7. 前記抽出部は、さらに、前記入力文から、検索キーの種類ごとに登録された前記予約語のいずれにも含まれない検索に有効な文字列を、前記第１文字列として抽出する、
   請求項４に記載の電子機器。
8. ユーザの音声による、外部装置に対して操作するための入力文を、受け付け、
   検索キーの種類ごとに登録された予約語を参照し、前記入力文から、前記入力文に含まれている文字列のうち前記予約語に一致する文字列を、検索に有効な第１文字列として抽出し、
   前記入力文のうち、前記第１文字列と、前記第１文字列以外の１以上の第２文字列とを、異なる形態で表示し、かつ、前記第１文字列と同じ検索キーの種類に分類されて登録され、前記第１文字列とは異なる第１予約語を、前記第１文字列を修正するための候補として選択可能に表示し、
   前記第１予約語が選択された場合に、前記第１文字列に替えて前記第１予約語を含む検索コマンドを生成し前記外部装置に送信する、
   ことをコンピュータに実行させるためのプログラム。
9. 前記第１文字列の近傍に、前記第１文字列と同じ検索キーの種類に分類されて登録された前記予約語の数を表示する、
   ことをさらに前記コンピュータに実行させるための請求項８に記載のプログラム。
10. 前記入力文から、検索キーの種類ごとに登録された前記予約語のいずれにも含まれない検索に有効な文字列を、前記第１文字列として抽出する、
    ことをさらに前記コンピュータに実行させるための請求項８に記載のプログラム。

Images