JP5868927B2 - ディスプレイ装置、音声取得装置およびその音声認識方法 - Google Patents

Description

本発明は、ディスプレイ装置、音声取得装置およびその音声認識方法に係り、さらに詳しくは、ユーザーが発話した音声を認識するディスプレイ装置、音声取得装置およびその音声認識方法に関する。

一般的に、ユーザーが発話した音声を認識する音声認識機能を有する電子機器の使用が漸次増えている。音声認識はＰＣ、移動通信機器だけでなく、デジタルＴＶ、エアコン、ホームシアター等のような多様な電子機器でも積極的に使用されている。

このような音声認識機能を行うためには、ＴＶのようなメイン機器にユーザーが発話した音声が入力されるマイクと入力された音声を認識する音声認識エンジンを設け、音声認識エンジンはマイクで入力された音声をあらかじめ保存された候補命令語と比較して、その結果にしたがって発話された音声を認識することができる。

ところで、従来の音声認識機能を有する電子機器は、ユーザーが発話した音声が入力される手段が固定されているので、携帯電話のような音声入力が可能な多様な入力手段を活用し難い。また、候補命令語が富めば富むほど認識率は高まるが、候補命令語の個数が増加すれば増加するほど比較対象が多くなるので音声認識処理速度が鈍る。また、メイン機器の保存容量が制限的なので、候補命令語を持続的に追加することも難しい短所がある。

従って、本発明の目的は、ユーザーが発話した音声を認識するディスプレイ装置、音声取得装置およびその音声認識方法を提供することを目的とする。

本発明の実施形態によるディスプレイ装置は、映像を表示するディスプレイ部と；複数の外部機器と通信を行う通信部と；ユーザーが発話した音声を認識する音声認識エンジンを含み、音声取得部から音声信号を受信し、前記受信された音声信号を認識するための候補命令語を前記複数の外部機器の中で少なくとも一つから受信するように前記通信部を制御する制御部と；を含む。

前記音声取得部は複数で設けられ、前記制御部は複数の音声取得部の中で少なくとも一つから音声入力が感知されれば、前記音声入力が感知された音声取得部から音声信号を受信することができる。

前記音声取得部は前記ディスプレイ装置に設けられた内蔵マイクと、前記複数の外部機器の中で少なくとも一つに設けられた第１外部マイクと、前記ディスプレイ装置および前記複数の外部機器と分離された第２外部マイクと、の中で少なくとも一つを含むことができる。前記外部機器は少なくとも一つのアプリケーションを含み、前記候補命令語は前記アプリケーションによって管理されることができる。

前記候補命令語を管理し、前記ディスプレイ装置に設けられる内蔵アプリケーションをさらに含むことができる。前記受信された候補命令語を保存する保存部をさらに含み、前記音声認識エンジンは前記受信された候補命令語を利用して音声を認識することができる。

前記制御部は、前記複数の音声取得部の中でいずれか一つに対するウェークアップ キーワードが発話されることが感知されれば、前記感知されたウェークアップキーワードに対応する音声取得部を活性化し、前記活性化された音声取得部から音声信号を受信することができる。前記制御部は、前記複数の音声取得部の中でいずれか一つに設けられた所定のボタンの操作によるトリガー信号が入力されれば、前記入力されたトリガー信号に対応する音声取得部を活性化し、前記活性化された音声取得部から音声信号を受信することができる。前記制御部は前記音声信号に対する音声認識結果および前記音声認識結果による候補命令語を表示するように前記ディスプレイ部を制御することができる。

前記ディスプレイ部は前記候補命令語を管理するアプリケーション情報をさらに表示することができる。

前記音声認識エンジンは前記受信された候補命令語の中で前記受信された音声信号と一致または類似の命令語を決めて前記音声を認識することができる。

一方、本発明の実施形態による音声取得装置は、音声認識機能を有するディスプレイ装置と通信を行う通信部と；ユーザーが発話した音声が入力される音声取得部と；前記入力された音声を電気的な音声信号に変換する音声変換部と；前記変換された音声信号および前記音声信号を認識するための候補命令語を前記ディスプレイ装置に送信するように前記通信部を制御する制御部と；を含む。

少なくとも一つのアプリケーションをさらに含み、前記候補命令語は前記アプリケーションによって管理されることができる。

一方、本発明の実施形態によるディスプレイ装置の音声認識方法は、音声取得部から音声信号を受信する段階と；前記受信された音声信号を認識するための候補命令語を複数の外部機器の中で少なくとも一つから受信する段階と；前記受信された音声信号および候補命令語によりユーザーが発話した音声を認識する段階と；を含む。

複数の音声取得部の中で少なくとも一つから音声入力を感知する段階をさらに含み、前記音声信号を受信する段階は前記音声入力が感知された音声取得部から音声信号を受信することができる。

前記音声取得部は前記ディスプレイ装置に設けられた内蔵マイクと、前記複数の外部機器の中で少なくとも一つに設けられた第１外部マイクと、前記ディスプレイ装置および前記複数の外部機器と分離された第２外部マイクと、の中で少なくとも一つを含むことができる。

前記外部機器は少なくとも一つのアプリケーションを含み、前記候補命令語は前記アプリケーションによって管理されることができる。前記候補命令語を管理し、前記ディスプレイ装置に設けられる内蔵アプリケーションをさらに含むことができる。

前記受信された候補命令語を保存する段階をさらに含み、前記音声を認識する段階は前記受信された候補命令語を利用して音声を認識することができる。

前記音声入力を感知する段階は、前記複数の音声取得部の中でいずれか一つに対するウェークアップキーワードが発話することを感知する段階と；前記感知されたウェークアップキーワードに対応する音声取得部を活性化する段階と；を含むことができる。前記音声入力を感知する段階は、前記複数の音声取得部の中でいずれか一つに設けられた所定のボタンの操作によるトリガー信号が入力されることを感知する段階と；前記入力されたトリガー信号に対応する音声取得部を活性化する段階と；を含むことができる。

前記音声信号に対する音声認識結果および前記音声認識結果による候補命令語を表示する段階をさらに含むことができる。

前記表示する段階は、前記候補命令語を管理するアプリケーション情報をさらに表示することができる。

前記音声を認識する段階は、前記受信された候補命令語の中で前記受信された音声信号と一致または類似の命令語を決めて前記音声を認識することができる。

本発明によれば、メイン機器がユーザーの発話が入力される多様な装備から入力される音声を感知するので、多様な音声取得装備の活用度を高め、これを利用する連系サービスが可能である。

本発明の実施形態による音声認識システムの例示図である。 本発明の一実施形態による音声認識システムの構成を示すブロック図である。 本発明一実施形態により音声認識を行う例を説明する図面である。 図３の音声認識結果が表示される画面の例を示す図面である。 本発明の他の実施形態により音声認識を行う例を説明する図面である。 本発明の実施形態による音声認識システムの音声認識方法を示すフローチャートである。 図６の音声入力を感知する過程をさらに詳しく示すフローチャートである。 図６の音声認識を行う過程をさらに詳しく示すフローチャートである。

以下、添付された図面を参照して本発明の望ましい実施形態に対して詳しく説明する。

図１は本発明の実施形態による音声認識システムの例示図である。図１に示すように、本発明の実施形態による音声認識システムは、メイン機器１００、複数の音声取得装置２０１、…、２０２および複数の外部機器３０１、３０２、…、３０３を含む。メイン機器１００、複数の音声取得装置２０１、２０２および複数の外部機器３０１、３０２、３０３は、相互通信可能に連結される。

メイン機器１００にはユーザーが発話した音声が入力されるマイクのような音声取得部１４０および入力された音声を認識する音声認識エンジン１８１が設けられ、通信部１６０を通じて音声取得装置２０１、２０２および外部機器３０１、３０２、３０３と通信を行う。また、メイン機器１００には一つ以上の内蔵アプリケーション１７１、１７２（Ｎａｔｉｖｅ Ａｐｐｌｉｃａｔｉｏｎ）が設けられて、メイン機器１００が多様な機能（サービス）を行うように駆動される。本実施形態の内蔵アプリケーション１７１、１７２には、遂行機能に対応、すなわち、遂行可能なサービスシナリオに含まれた候補命令語があらかじめ保存され、内蔵アプリケーション１７１、１７２に保存された候補命令語は音声を認識する時に音声認識エンジン１８１に送信されて、音声認識エンジン１８１が音声認識を行うようにする。

音声取得装置２０１、２０２はユーザーが発話した音声が入力されるマイクのような音声取得部を含み、入力された音声に対応する音声信号は音声認識のためにメイン機器１００に送信される。

音声取得装置２０１、２０２は、ユーザーが発話した音声が入力され、これを電気的な音声信号に変換してメイン機器１００に送信する。音声取得装置２０１、２０２は、メイン機器１００と無線通信が可能な外部装置であり、無線通信は無線ラン（ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）通信、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ）、ジグビー（登録商標（Ｚｉｇｂｅｅ））、赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）通信などを含む。

外部機器３０１、３０２、３０３には、一つ以上の外部アプリケーション（Ｄｅｖ．Ａｐｐｌｉｃａｔｉｏｎ）が設けられて、それぞれの外部機器３０１、３０２、３０３が必要とする機能（サービス）を行うことができる。本実施形態の外部アプリケーションには対応する外部機器３０１、３０２、３０３が行う機能に対応する候補命令語があらかじめ保存され、外部アプリケーションに保存された候補命令語は音声認識の時に音声認識エンジン１８１に送信されて、音声認識エンジン１８１が音声認識を行うことができるようにする。

ここで、内蔵アプリケーション１７１、１７２および外部アプリケーションにあらかじめ登録される候補命令語は、該当アプリケーションの機能／動作に関する命令語でありうる。例えば、メイン機器１００がＴＶである場合、ＴＶチャンネルの移動、ボリューム調節などに関する候補命令語が内蔵アプリケーション１７１、１７２の中でいずれか一つに保存され、外部機器３０２がエアコンである場合、温度調節（上げ／下げ）、風の強さ調節（強風／弱風／微風）等に関する候補命令語が外部機器３０２に含まれたアプリケーションに保存されることができる。

本発明は図１の外部機器１３０１のように、外部機器または音声取得装置が音声取得部と外部アプリケーションを全部含むように具現されることができる。この場合、外部機器１３０１に設けられた音声取得部から音声が入力されれば、外部機器１３０１の外部アプリケーションにあらかじめ保存された候補命令語がメイン機器１００の音声認識エンジン１８１に送信されて、音声認識が行われることができる。

本実施形態の音声認識システムは、少なくとも一つの音声取得部を含み、音声取得部から音声入力が感知されれば、音声入力が感知された音声取得部を活性化させて音声ストリーム（ｓｔｒｅａｍ）を受信する。音声取得部が複数で設けられた場合、複数の音声取得部の中で音声入力が感知された音声取得部を活性化させて音声ストリームを受信することができる。ここで、複数の音声取得部は、メイン機器１００に設けられた内蔵マイクと、複数の外部機器３０１、３０２、３０３の中で少なくとも一つに設けられた第１外部マイクと、メイン機器１００および複数の外部機器３０１、３０２、３０３と分離された別途の音声取得装置２０１、２０２に設けられた第２外部マイクと、を含むことができる。

メイン機器１００は複数の音声取得部の中でいずれか一つに対するウェークアップ キーワード（ｗａｋｅｕｐ ｋｅｙｗｏｒｄ）が発話されることが感知されれば、感知されたウェークアップ キーワードに対応する音声取得部を活性化し、活性化された音声取得部から音声信号を受信することができる。また、メイン機器１００は複数の音声取得部の中でいずれか一つに設けられた所定のボタンの操作（イベント発生）によるトリガー信号（ｔｒｉｇｇｅｒ ｓｉｇｎａｌ）が入力されれば、入力されたトリガー信号に対応する音声取得部を活性化し、活性化された音声取得部から音声信号を受信することができる。

本実施形態のメイン機器１００は音声認識モードで動作し、ウェークアップ キーボードやトリガー信号によって何れか一つの音声取得部が活性化されれば、他の音声取得部は非活性化させて音声認識においてエラーが発生することを防止することができる。メイン機器１００は、これによる遠距離または近距離の音声認識モードで動作することができる。また、後述するディスプレイ部１３０に連結された音声取得部を示すＵＩを表示してユーザーの便宜を助けることができるようにする。

また、メイン機器１００は受信された音声信号を認識するための候補命令語を複数の外部機器３０１、３０２、３０３の中で少なくとも一つから受信することができる。受信された候補命令語は音声認識のために音声認識エンジン１８１に送信することができる。

複数の外部機器３０１、３０２、３０３は、少なくとも一つのアプリケーションを含み、候補命令語は対応する各アプリケーションによって管理されることができる。また、メイン機器１００は内蔵アプリケーション１７１、１７２をさらに含み、内蔵アプリケーション１７１、１７２は、対応する候補命令語を管理する。内蔵アプリケーション１７１、１７２により管理される候補命令語は、音声認識のために音声認識エンジン１８１に送信されることができる。

本発明のメイン機器１００は、図２に示すように、ＴＶのようなディスプレイ装置で具現されることができる。

図２は本発明の一実施形態による音声認識システムの構成を示すブロック図である。ディスプレイ装置１００は外部の映像供給源（図示せず）から提供される映像信号を映像で表示可能に既設定された映像処理プロセスにしたがって処理する。

本実施形態のシステムでディスプレイ装置１００は、放送局の送出装備から受信される放送信号／放送情報／放送データに基づく放送映像を処理するＴＶまたはセットトップボックス（ｓｅｔ ｔｏｐ ｂｏｘ）で具現される場合に対して説明する。しかし、本発明の思想がディスプレイ装置１００の具現例示に限られず、ディスプレイ装置１００はＴＶ、セットトップボックス以外にも映像を処理することができる多様な種類の具現例示が適用されることができる。

また、ディスプレイ装置１００は表示可能な映像の種類が放送映像に限られず、例えば、ディスプレイ装置１００は多様な形式の映像供給源（図示せず）から受信される信号／データに基づく動画、停止映像、アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）、ＯＳＤ（ｏｎ−ｓｃｒｅｅｎ ｄｉｓｐｌａｙ）、多様な動作制御のためのＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）等の映像を表示するように処理することができる。

本発明の実施形態によれば、ディスプレイ装置１００はスマートＴＶで具現されることができる。スマートＴＶはリアルタイムで放送信号を受信して表示可能であり、ウェブブラウザー機能を有しているのでリアルタイムで放送信号を表示しながら、インターネットを通じて多様なコンテンツの検索及び消費が可能であり、このために便利なユーザー環境を提供できるＴＶである。また、スマートＴＶは開放型ソフトウェアプラットホームを含んでいてユーザーに両方向サービスを提供することができる。したがって、スマートＴＶは開放型ソフトウェアプラットホームを通じて多様なコンテンツ、例えば所定のサービスを提供するアプリケーションをユーザーに提供することができる。このようなアプリケーションは多様な種類のサービスを提供できる応用プログラムとして、例えば、ＳＮＳ、金融、ニュース、天気、地図、音楽、映画、ゲーム、電子本等のサービスを提供するアプリケーションを含む。

本実施形態のディスプレイ装置１００にはユーザー音声を認識する音声認識エンジン１８１が設けられる。認識された音声に対応するコマンド（Ｃｏｍｍａｎｄ）すなわち、制御命令は対応するアプリケーションに送信されて該当機能による動作を行うようになる。ここで、制御命令に対応するアプリケーションが内蔵アプリケーション１７１、１７２の中で何れか一つである場合、ディスプレイ装置１００は該当アプリケーションによって制御命令による動作を行う。また、制御命令に対応するアプリケーションが外部アプリケーションである場合、該当制御命令は外部アプリケーションが含まれた外部機器３０１、３０２、３０３に送信されて、外部機器３０１、３０２、３０３が該当アプリケーションによって制御命令による動作を行うことができる。

一方、図２ではメイン機器がＴＶのようなディスプレイ装置で具現された場合を示しているが、本発明はこれに限られず、メイン機器は多様な電子装置、例えば、ＰＣ等で具現されることができる。

図２の実施形態では、音声取得装置が複数で備わり、例えば、携帯電話２００と、リモコン（ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ）３００で具現されることを一例として挙げている。ここで、リモコン３００は音声取得装置と外部機器の役割を全部行い、携帯電話２００は音声取得機能を有するスマートフォンでありうる。

リモコン３００はユーザーの操作によって既設定されたコマンド（制御命令）を対応する装置に送信する。本実施形態によるリモコンは、ディスプレイ装置１００または外部機器にコマンドを送信するように既設定可能であり、場合によっては、複数の装置にコマンドを送信する統合リモコンで具現されることができる。また、リモコン３００はＴＶリモコンおよび／またはエアコンリモコンを含むこともできる。

一方、本発明による音声取得装置は、携帯電話２００とリモコン３００だけでなく、携帯用端末装置、マイク送信機などのようにユーザーが発話した音声が入力されることができる多様な装置で具現されることができる。

図２の実施形態では、外部機器が複数で備わり、例えば、リモコン３００とエアコン（ａｉｒ ｃｏｎｄｉｔｉｏｎｅｒ）４００で具現されることを例として挙げている。前述のように、リモコン３００は音声取得装置と外部機器の役割を全部行う。

図２の実施形態では、外部機器がリモコン３００とエアコン４００で具現されることを例えているが、本発明の外部機器はこれに限られず、無線通信が可能な多様な電子機器、例えば、ホームシアター、ラジオ、ＶＣＲ、ＤＶＤ、洗濯機、冷蔵庫、ロボット掃除機などで具現されることができる。また、外部機器にマイクのような音声取得部が設けられれば、音声取得装置の役割を共に行うことができる。

本実施形態の外部機器には機能を行うためのアプリケーション３７２、４７２が備わり、各アプリケーション３７２、４７２には候補命令語があらかじめ保存されて管理され、候補命令語は音声認識のためにディスプレイ装置１００に送信されることができる。

外部機器、すなわち、リモコン３００とエアコン４００は、音声認識結果にしたがってディスプレイ装置１００から受信された制御命令に対応する動作を行う。

以下、図２を参照して、音声認識システムの各構成をさらに詳しく説明する。図２に示すように、ディスプレイ装置１００は、映像信号を受信する映像受信部１１０、映像受信部１１０に受信される映像信号を処理する映像処理部１２０、映像処理部１２０により処理される映像信号を映像で表示するディスプレイ部１３０、ユーザーが発話した音声が入力される第１音声取得部１４０、入力された音声を電気的な音声信号に変換する第１音声変換部１５０、外部装置と通信を行う第１通信部１６０、各種のデータが保存される第１保存部１７０及びディスプレイ装置１００を制御する第１制御部１８０を含む。

映像受信部１１０は、映像信号を受信して映像処理部１２０に送信し、受信する映像信号の規格およびディスプレイ装置１００の具現形態に対応して多様な方式で具現されることができる。例えば、映像受信部１１０は、放送局（図示せず）から送出されるＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）信号を無線で受信したり、コンポジット（ｃｏｍｐｏｓｉｔｅ）ビデオ、コンポネント（ｃｏｍｐｏｎｅｎｔ）ビデオ、スーパービデオ（ｓｕｐｅｒ ｖｉｄｅｏ）、ＳＣＡＲＴ、ＨＤＭＩ（登録商標（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ））規格等による映像信号を有線で受信することができる。映像信号が放送信号である場合、映像受信部１１０は、この放送信号をチャンネル別にチューニングするチューナー（ｔｕｎｅｒ）を含む。

また、映像信号は外部機器から入力可能であり、例えば、映像信号はＰＣ、ＡＶ機器、スマートフォン、スマートパッド等のような外部機器から入力されることができる。また、映像信号はインターネット等のようなネットワークを通じて受信されるデータに基づくことができる。この場合、ディスプレイ装置１００は、第１通信部を通じてネットワーク通信を行ったり、別途のネットワーク通信部をさらに含むことができる。また、映像信号はフラッシュメモリー、ハードディスク等のような非揮発性の第１保存部１７０に保存されたデータに基づくことができる。保存部１７０はディスプレイ装置１００の内部または外部に設けられ、外部に設けられる場合には保存部１７０が連結される連結部（図示せず）をさらに含むことができる。

映像処理部１２０は映像信号に対して既設定された多様な映像処理プロセスを行う。映像処理部１２０はこのようなプロセスを行った映像信号をディスプレイ部１３０に出力することによって、ディスプレイ部１３０に映像が表示されるようにする。

映像処理部１２０が行う映像処理プロセスの種類は限られず、例えば、多様な映像フォーマットに対応するデコーディング（ｄｅｃｏｄｉｎｇ）、ディ−インタレーシング（ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ）、フレームリフレッシュレート（ｆｒａｍｅ ｒｅｆｒｅｓｈ ｒａｔｅ）変換、スケーリング（ｓｃａｌｉｎｇ）、映像画質改善のためのノイズ減少（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）、ディテール強化（ｄｅｔａｉｌ ｅｎｈａｎｃｅｍｅｎｔ）、ライン スキャニング（ｌｉｎｅ ｓｃａｎｎｉｎｇ）等を含むことができる。映像処理部１２０はこのような各プロセスを独自に行うことができる個別的な構成のグループで具現されたり、または色々な機能を統合させたＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−Ｃｈｉｐ）で具現されることができる。

ディスプレイ部１３０は映像処理部１２０によって処理される映像信号に基づいて映像を表示する。ディスプレイ部１３０の具現方式は限られず、例えば、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）等の多様なディスプレイ方式で具現されることができる。

ディスプレイ部１３０はその具現方式にしたがって付加的な構成を追加的に含むことができる。例えば、ディスプレイ部１３０が液晶方式である場合、ディスプレイ部１３０は液晶ディスプレイパネル（図示せず）と、これに光を供給するバックライトユニット（図示せず）と、パネル（図示せず）を駆動させるパネル駆動基板（図示せず）と、を含む。

本発明のディスプレイ部１３０は認識された音声に対する情報として音声認識結果を表示することができる。ここで、音声認識結果は、テキスト、グラフィック、アイコンなどの多様な形態で表示可能であり、テキストは文字と数字を含む。本実施形態のディスプレイ部１３０は、音声認識結果による候補命令語およびアプリケーション情報をさらに表示することができる。これに対しては、後述する図４でさらに詳しく説明する。

ユーザーはディスプレイ部１３０に表示された音声認識結果によって音声が正しく認識されたか確認可能であり、リモコンに設けられたユーザー入力部３９０を操作して表示された候補命令語の中でユーザーが発話した音声に対応する命令語を選択したり、音声認識結果に関する情報を選択して確認することもできる。

第１音声取得部１４０はユーザーが発話した音声が入力されることとして、マイク（ｍｉｃｒｏｐｈｏｎｅ）で具現されることができる。第１音声変換部１５０は第１音声取得部１４０で入力された音声を電気的な音声信号に変換する。変換された音声信号は、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）状態または圧縮された形態のオーディオ波形の形態を有する。ここで、第１音声変換部１５０はユーザーの入力音声をデジタルに変換するＡ／Ｄ変換部で具現されることができる。

一方、第１音声取得部１４０がデジタルマイクである場合、別途のＡ／Ｄ変換を必要としないので、第１音声取得部１４０が第１音声変換部１５０を含むことができる。

第１通信部１６０は音声取得装置および外部機器、すなわち、図２の携帯電話２００、リモコン３００およびエアコン４００と通信を行う。本実施形態による第１通信部１６０は、無線通信が可能であり、無線通信は赤外線通信、ＲＦ、ジグビー、ブルートゥースの中で少なくとも一つを含む。

第１保存部１７０は第１制御部１８０の制御にしたがって限られないデータが保存される。第１保存部１７０はフラッシュメモリー（ｆｌａｓｈ−ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ−ｄｉｓｃ ｄｒｉｖｅ）のような非揮発性保存媒体で具現される。第１保存部１７０は、第１制御部１８０によりアクセスされ、第１制御部１８０によるデータの読取／記録／修正／削除／更新などが行われる。

第１保存部１７０に保存されるデータは、例えば、ディスプレイ装置１００の駆動のための運営体制をはじめとして、この運営体制上で実行可能な多様なアプリケーション、映像データ、付加データなどを含む。

本実施形態の第１保存部１７０にはユーザーが発話した音声を認識するための各種のデータが保存されることができる。例えば、第１保存部１７０は受信された音声信号に対応する音声認識対象情報として、候補命令語（以下、命令語候補群と言う）が含まれた命令語テーブル１７１を保存することができる。命令語テーブル１７１では各アプリケーション別に候補命令語が管理されることができる。

本実施形態の第１保存部１７０にはディスプレイ装置１００の機能を行うための一つ以上のアプリケーション、例えば、第１アプリケーション１７２および第２アプリケーション１７３がさらに保存される。第１アプリケーション１７２および第２アプリケーション１７３は後述する第１制御部１８０の制御により駆動されて、ディスプレイ装置１００の各種の機能を行う。図２ではディスプレイ装置１００に二つのアプリケーション１７２、１７３が内蔵された場合を例えて図示しているが、ディスプレイ装置１００が行う機能が多様なので、本発明のディスプレイ装置１００には三つ以上のアプリケーションが内蔵されることができる。

第１アプリケーション１７２および第２アプリケーション１７３は、遂行機能に対応する候補命令語を各々管理する。第１アプリケーション１７２および第２アプリケーション１７３で管理される候補命令語は必要により命令語テーブル１７１に登録／削除されることができる。

第１および／または第２アプリケーション１７２、１７３の候補命令語が命令語テーブル１７１に登録されれば、音声認識エンジン１８１は命令語テーブル１７１に登録された候補命令語を利用して音声認識を行う。

本実施形態の命令語テーブル１７１に登録／削除可能な候補命令語は、後述するリモコン３００の第３アプリケーション３７２で管理される候補命令語およびエアコン４００の第４アプリケーション４７２で管理されるアプリケーションをさらに含むことができる。

第１制御部１８０はディスプレイ装置１００の多様な構成に対する制御動作を行う。例えば、第１制御部１８０は映像処理部１２０が処理する映像処理プロセスの進行、リモコン３００からのコマンドに対する対応制御動作を行うことによって、ディスプレイ装置１００の全体動作を制御する。

第１制御部１８０は、例えば、ＣＰＵにソフトウェアが結合された形態で具現されることができる。第１制御部１８０はユーザーが発話した音声を認識する音声認識エンジン１８１を含む。音声認識エンジン１８１の音声認識機能は既に知られた音声認識アルゴリズムを利用して行われることができる。例えば、音声認識エンジン１８１は、音声信号の音声特徴のベクターを抽出し、抽出された音声特徴ベクターを第１保存部１７０の命令語テーブル１７１に保存された候補命令語と比較して音声を認識することができる。また、命令語テーブル１７１に保存された候補命令語の中で抽出された音声特徴ベクターと一致する命令語がない場合、類似度が高い命令語で音声認識結果を補正して音声を認識することができる。ここで、類似度が高い候補命令語が複数である場合、第１制御部１８０はディスプレイ部１３０に複数の候補命令語を表示し、ユーザーによって何れか一つが選択されることができる。

本実施形態の音声認識エンジン１８１は、ＣＰＵに常住するエンベデッド音声認識エンジン１８１で具現されることを例えて説明したが、本発明はこれに限定されない。例えば、音声認識エンジン１８１は、ＣＰＵと別個のディスプレイ装置１００内に内蔵された装置、すなわち、マイコン（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ）のような別途のチップで具現されることができる。

一方、本発明は音声認識エンジン１８１がディスプレイ装置１００と物理的に分離されたサーバー（以下、クラウドサーバーとも言う、（図示せず））に設けられた場合を含む。クラウドサーバーは、ディスプレイ装置１００とインターネットのようなネットワークを通じて通信を行う。ここで、ネットワークは有線または無線ネットワークでありうる。このような場合、音声認識エンジン１８１はクラウドサーバーのＣＰＵに常住するエンベデッド音声認識エンジンや、ＣＰＵと別個にクラウドサーバー内に内蔵された装置、すなわち、マイコン（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ）のような別途のチップで具現されることができる。

第１制御部１８０は音声認識エンジン１８１の認識結果に対応する動作を行うことができる。例えば、ディスプレイ装置１００がＴＶである場合に映画やニュースをユーザーが視聴している時、音声認識エンジン１８１が“ボリュームアップ”、“ボリュームダウン”または“声大きく”、“声小さく”等を認識すれば、第１制御部１８０はこれに対応するように映画やニュースの声の大きさ（ボリューム）を調節することができる。

第１制御部１８０は音声認識エンジン１８１の認識結果、認識された音声が、リモコン３００、エアコン４００のような外部機器を制御する音声である場合、認識された音声に対応する制御命令を該当外部機器に送信するように第１通信部１６０を制御することができる。例えば、音声認識エンジン１８１が“温度上げろ”を認識すれば、第１制御部１８０はこれをエアコンに対する音声と認識し、エアコンの温度を上昇させるようにするコマンドをエアコン４００に送信するように第１通信部１６０を制御することができる。

以下、携帯電話２００の具体的な構成に対して説明する。図２に示すように、携帯電話２００は音声取得装置としてユーザーが発話した音声が入力される第２音声取得部２４０、入力された音声を電気的な音声信号に変換する第２音声変換部２５０、外部と通信を行う第２通信部２６０、限定されないデータが保存される第２保存部２７０および携帯電話２００を制御する第２制御部２８０を含む。

第２音声取得部２４０はユーザーが発話した音声が入力されることとして、マイクで具現されることができる。第２音声変換部２５０は第２音声取得部２４０で入力された音声を電気的な音声信号に変換する。変換された音声信号は、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）状態または圧縮された形態のオーディオ波形の形態を有する。ここで、第１音声変換部２５０はユーザーの入力音声をデジタルに変換するＡ／Ｄ変換部で具現されることができる。

一方、第２音声取得部２４０がデジタルマイクである場合、別途のＡ／Ｄ変換を必要としないので、第２音声取得部２４０が第２音声変換部２４０を含むことができる。

第２通信部２６０はディスプレイ装置１００と通信を行う。本実施形態の第２通信部２６０は、有線または無線通信を行い、無線通信はＲＦ、ジグビー、ブルートゥースの中で少なくとも一つを含む。

本実施形態の第２通信部２６０は、第２音声変換部２５０から伝達された音声信号をディスプレイ装置１００に送信する。

第２保存部２７０は第２制御部２８０の制御にしたがって限定されないデータが保存される。第２保存部２７０はフラッシュメモリー（ｆｌａｓｈ−ｍｅｍｏｒｙ）のような非揮発性の保存媒体で具現される。第２保存部２７０は第２制御部２８０によってアクセスされ、第２制御部２８０によるデータの読取／記録／修正／削除／更新などが行われる。

第２保存部２７０に保存されるデータは、例えば、携帯電話２００の駆動のための運営体制をはじめとして、この運営体制上で実行可能な多様なアプリケーション、映像データ、付加データなどを含む。

第２制御部２８０は携帯電話２００の多様な構成に対する制御動作を行う。例えば、第２制御部２８０はユーザーの操作に対応するコマンドを生成し、生成されたコマンドに対応する動作を行ってその結果をディスプレイ部（図示せず）に表示することができる。第２制御部２８０は、例えば、ＭＣＵ（Ｍｉｃｒｏ ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）にソフトウェアが結合された形態で具現されることができる。

本実施形態の第２制御部２８０は第２音声取得部２４０を通じてユーザーが発話した音声が入力されれば、これを電気的な音声信号に変換するように第２音声変換部２５０を制御し、変換された音声信号をディスプレイ装置１００に送信するように第２通信部２６０を制御する。

以下、リモコン３００の具体的な構成に対して説明する。図２に示すように、リモコン３００は、音声取得装置であり同時に外部機器として、ユーザーの操作が入力されるユーザー入力部３３０、ユーザーが発話した音声が入力される第３音声取得部３４０、入力された音声を電気的な音声信号に変換する第３音声変換部３５０、外部と通信を行う第３通信部３６０、限定されないデータが保存される第３保存部３７０およびリモコン３００を制御する第３制御部２８０を含む。

ユーザー入力部３３０はユーザーの操作および入力によって、既設定された多様な制御コマンドまたは限定されない情報を第３制御部３８０に送信する。ユーザー入力部３３０は、リモコン３００の外側に設けられたメニューキー、数字キーなどを含むボタンで具現されることができる。リモコン３００がＴＶリモコンである場合、ユーザー入力部３３０はユーザーのタッチ入力を受信するタッチ感知部および／またはリモコン３００のモーションを感知するモーション感知部をさらに含むことができる。

第３音声取得部３４０はユーザーが発話した音声が入力されることとして、マイクで具現されることができる。第３音声変換部３５０は第３音声取得部３４０で入力された音声を電気的な音声信号に変換する。変換された音声信号はＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）状態または圧縮された形態のオーディオ波形の形態を有する。ここで、第３音声変換部３５０はユーザーの入力音声をデジタルに変換するＡ／Ｄ変換部で具現されることができる。

一方、第３音声取得部３４０がデジタルマイクである場合、別途のＡ／Ｄ変換を必要としないので、第３音声取得部３４０は第３音声変換部３５０を含むことができる。

第３通信部３６０はディスプレイ装置１００と通信を行う。本実施形態の第３通信部３６０は無線通信を行い、無線通信は、赤外線通信、ＲＦ、ジグビー、ブルートゥースの中で少なくとも一つを含む。本実施形態の第３通信部３６０は、第３音声変換部３５０から伝達された音声信号をディスプレイ装置１００に送信し、後述する第３保存部３７０内の第３アプリケーション３７２により管理される候補命令語をディスプレイ装置１００に送信する。

第３保存部３７０は第３制御部３８０の制御にしたがって限定されないデータが保存される。第３保存部３７０はフラッシュメモリー（ｆｌａｓｈ−ｍｅｍｏｒｙ）のような非揮発性保存媒体で具現される。第３保存部３７０は第３制御部３８０によりアクセスされ、第３制御部３８０によるデータの読取／記録／修正／削除／更新などが行われる。第３保存部３７０に保存されるデータは、例えば、リモコン３００の駆動のための運営体制をはじめとして、この運営体制上で実行可能な多様なアプリケーション、映像データ、付加データなどを含む。

本実施形態の第３保存部３７０にはリモコン３００の機能を行うための一つ以上のアプリケーション、例えば、第３アプリケーション３７２がさらに保存される。第３アプリケーション３７２は後述する第３制御部３８０の制御により駆動され、リモコン３００の各種の機能を行う。本発明では第３アプリケーション３７２と後述する第４アプリケーション４７２をディスプレイ装置１００の内蔵アプリケーション１７２、１７３と区別するために外部アプリケーションと言う。

図２ではリモコン３００に一つのアプリケーション３７２が設けられた場合を例えて図示したが、本発明はリモコン３００に二つ以上のアプリケーションが備わる場合も含む。

第３アプリケーション３７２は遂行機能に対応する候補命令語を管理する。第３アプリケーション３７２で管理される候補命令語は必要によりディスプレイ装置１００の命令語テーブル１７１に登録／削除されることができる。

第３制御部３８０はリモコン３００の多様な構成に対する制御動作を行う。例えば、第３制御部２６０はユーザー入力部３３０に対するユーザーの操作に対応するコマンドを生成し、生成されたコマンドをディスプレイ装置１００に送信するように第３通信部３６０を制御することができる。第３制御部３８０は、例えば、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）にソフトウェアが結合された形態で具現されることができる。

本実施形態の第３制御部３８０は、第３音声取得部３４０を通じてユーザーが発話した音声が入力されれば、これを電気的な音声信号に変換するように第３音声変換部３５０を制御し、変換された音声信号をディスプレイ装置１００に送信するように第３通信部３６０を制御する。

第３制御部３８０はディスプレイ装置１００と通信を行い、第３保存部３７０の第３アプリケーション３７２で管理される候補命令語をディスプレイ装置１００に送信することができる。送信された候補命令語はディスプレイ装置１００の命令語テーブル１７１に登録されて、音声認識エンジン１８１の音声認識動作に利用される。また、第３制御部３８０はディスプレイ装置１００から音声認識による制御命令が受信される場合、第３通信部３６０を通じてこれを受信し、受信された制御命令に対応する動作を行うことができる。

以下、エアコン４００の具体的な構成に対して説明する。図２に示すように、エアコン４００は外部機器として、外部と通信を行う第４通信部３４０、限定されないデータが保存される第４保存部４７０およびエアコン４００を制御する第４制御部４８０を含む。第４通信部４６０はディスプレイ装置１００と通信を行う。本実施形態の第４通信部４６０は、無線通信を行い、無線通信はＲＦ、ジグビー、ブルートゥースの中で少なくとも一つを含む。

本実施形態の第４通信部４６０は後述する第４保存部３７０内の第４アプリケーション４７２により管理される候補命令語をディスプレイ装置１００に送信する。

第４保存部４７０は第４制御部４８０の制御にしたがって限定されないデータが保存される。第４保存部４７０はフラッシュメモリー（ｆｌａｓｈ−ｍｅｍｏｒｙ）のような非揮発性の保存媒体で具現される。第４保存部４７０は第４制御部４８０によりアクセスされ、第４制御部４８０によるデータの読取／記録／修正／削除／更新などが行われる。

第４保存部４７０に保存されるデータは、例えば、携帯電話２００の駆動のための運営体制をはじめとして、この運営体制上で実行可能な多様なアプリケーション、付加データなどを含む。本実施形態の第４保存部４７０にはエアコン３００の機能を行うための一つ以上のアプリケーション（外部アプリケーション）、例えば、第４アプリケーション４７２がさらに保存される。第４アプリケーション４７２は後述する第４制御部４８０の制御により駆動されて、エアコン４００の各種の機能を行う。

図２ではエアコン４００に一つのアプリケーション４７２が設けられた場合を例えて図示したが、本発明はエアコン４００に二つ以上のアプリケーションが備わる場合も含む。第４アプリケーション４７２は遂行機能に対応する候補命令語を管理する。第４アプリケーション４７２で管理される候補命令語は必要によりディスプレイ装置１００の命令語テーブル１７１に登録／削除されることができる。

第４制御部４６０はエアコン４００の多様な構成に対する制御動作を行う。例えば、第４制御部２６０はエアコンリモコンに対するユーザーの操作に対応する制御命令を受信し、受信された制御命令による制御動作、例えば、温度調節などを行うことができる。第４制御部４６０は、例えば、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）にソフトウェアが結合された形態で具現されることができる。

本実施形態の第４制御部４６０は、ディスプレイ装置１００と通信を行い、第４保存部４７０の第４アプリケーション４７２で管理される候補命令語をディスプレイ装置１００に送信することができる。送信された候補命令語はディスプレイ装置１００の命令語テーブル１７１に登録されて、音声認識エンジン１８１の音声認識動作に利用される。

また、第４制御部４８０はディスプレイ装置１００から音声認識による制御命令が受信される場合、第４通信部４６０を通じてこれを受信し、受信された制御命令に対応する動作を行うことができる。

図２の実施形態によれば、本発明の音声認識システムのメイン機器としてディスプレイ装置１００の第１制御部１８０は、複数の音声取得部１４０、２４０、３４０の中で少なくとも何れか一つから入力音声が感知されれば、音声入力が感知された音声取得部から音声信号を受信するように第１通信部１４０を制御する。また、第１制御部１８０は受信された音声信号を認識するための候補命令語を第１通信部１４０を通じて複数の外部機器３００、４００の外部アプリケーション３７２、４７２の中で少なくとも一つまたは内蔵アプリケーション１７２、１７３から送信されて、送信された候補命令語は第１保存部１７０の命令語テーブル１７１に登録する。音声認識エンジン１８１は、命令語テーブル１７１に登録された候補命令語と音声信号を比較して、音声認識を行うことになる。

このように本実施形態によるメイン機器としてディスプレイ装置１００は、ユーザーの発話が入力されることができる多様な装備から入力される音声を感知するので、多様な音声取得装備の活用度を高めることができる。また、音声認識のための候補命令語が駆動中であるアプリケーションから送信されて使用されるので、音声認識のための候補命令語を動的に登録／削除可能にすることによって、メイン機器が備える候補命令語が不必要に無限増加されることを防止することができる。

一方、本発明の実施形態によるディスプレイ装置１００は、ディスプレイ装置１００に備わった音声取得部１４０から音声認識が入力され、内部アプリケーション１７１、１７２、１７３と外部アプリケーション３７２、４７２の中で少なくとも一つから候補命令語を受信して、音声認識エンジン１８１で音声認識を行うように具現されることができる。

以下、図３および図４を参照して、本発明の音声認識システムで音声認識を行う一実施形態に対してさらに詳しく説明する。

図３は本発明の一実施形態により音声認識を行う例を説明する図面であり、図４は図３の音声認識結果が表示される画面の例を示す図である。図３に示すように、ディスプレイ装置１００は一つ以上のアプリケーション（内蔵アプリケーションおよび外部アプリケーション含み）から命令語テーブル１７１に保存される候補命令語が登録されることができる。

詳しくは、図３に示すように、第１アプリケーション１７２（内蔵アプリケーション）から命令語テーブル１７１に命令語Ａ、Ｂが伝達され（５０１）、伝達された命令語Ａ、Ｂは、命令語テーブル１７１に保存される（５０２）。音声認識エンジン１８１は命令語テーブル１７１に保存された命令語Ａ、Ｂを候補命令語と登録する（５０４）。

また、第３アプリケーション３７２（外部アプリケーション）から命令語テーブル１７１に命令語Ｃ、Ｄが伝達され（５０５）、伝達された命令語Ｃ、Ｄは、命令語テーブル１７１に登録される（５０７）。音声認識エンジン１８１は命令語テーブル１７１に保存された命令語Ｃ、Ｄを候補命令語と登録する（５０８）。

したがって、音声認識エンジン１８１には第１アプリケーション１７２および第３アプリケーション３７２から伝達されたＡ、Ｂ、Ｃ、Ｄが候補命令語と登録される。

このようにＡ、Ｂ、Ｃ、Ｄが候補命令語と登録された状態で、ディスプレイ装置１００と分離された第２音声取得部２４０でＡが音声入力されることを感知することができる。感知された音声Ａは、第２音声変換部２５０で音声信号に変換されて、第２および第１通信部２６０、１６０を通じて音声認識エンジン１８１に伝達される（５０９）。

音声認識エンジン１８１はＡ音声に対する音声信号を登録された候補命令語Ａ、Ｂ、Ｃ、Ｄと比較して一致または類似の命令語を決定して、Ａ音声を認識する（５１０）。

第１制御部１８０は認識結果をディスプレイ部１３０に送信し（５１１）、ディスプレイ部１３０には図４のような音声認識結果画面が表示されることができる。

図４に示すように、ディスプレイ部１３０には音声認識結果Ａ６０と、音声認識結果による候補命令語Ａ、Ｂ、Ｃ、Ｄ６１、６２、６３、６４を示すＵＩが表示されることができる。また、ディスプレイ部１３０には音声認識結果による命令語Ａを管理するアプリケーション情報（第１アプリケーション）６５を示すＵＩがさらに表示されることができる。

ユーザーは、図４に示すように、画面に表示されるＵＩを通じて、音声認識結果だけでなく候補命令語も確認可能であり、音声認識結果が発話意図と合わない場合、候補命令語の中で何れか一つを選択することができる。また、アプリケーション情報を通じて、音声認識結果に関する装置の情報までも獲得することができる。

第１制御部１８０は、図４に示すように、音声認識結果による制御命令を第１アプリケーション１７２に送信する（５１２）。第１アプリケーション１７２は第１制御部１８０の制御により認識された音声Ａによる制御動作を行う。例えば、音声Ａが“ボリューム ダウン”である場合、ディスプレイ装置１００のボリュームが小さく調節される。

図３および図４に示すように、本発明のディスプレイ装置１００は、既設定された条件により一部のアプリケーションの命令語（例えば、Ａ、Ｂ、Ｃ、Ｄ）を候補語としてあらかじめ登録し、ユーザーの音声発話が感知されれば、あらかじめ登録された候補命令語を利用して音声を認識し、その結果を表示、対応する制御動作を実行することができる。

図３および図４の実施形態では、第１アプリケーション１７２と第３アプリケーション３７２の命令語が候補命令語と登録され、第２音声取得部２４０を通じてユーザー音声が入力される場合を例えて説明したが、本発明は多様な内蔵および外部アプリケーションから命令語が送信されて候補命令語を動的に登録／削除することができるし、多様な音声取得部から音声が入力される場合を全部含むことができる。

以下、図５を参照して、本発明の音声認識システムで音声認識を行う他の実施形態に対してさらに詳しく説明する。図５は本発明の他の実施形態により音声認識を行う例を説明する図面である。図５に示すように、ディスプレイ装置１００と分離された第３音声取得部３４０でＥが音声入力されることを感知することができる。感知された音声Ｅは、第３音声変換部３５０で音声信号に変換されて、第３および第１通信部３６０、１６０を通じて音声認識エンジン１８１に送信される（７０１）。

ディスプレイ装置１００は音声入力が感知された機器に対応する第３アプリケーション３７２から命令語テーブル１７１に保存される候補命令語が登録されることができる。具体的に、図５に示すように、第３アプリケーション３７２から命令語テーブル１７１に命令語Ｅ、Ｆが送信され（７０２）、送信された命令語Ｅ、Ｆは命令語テーブル１７１に保存される（７０３）。音声認識エンジン１８１は命令語テーブル１７１に保存された命令語Ｅ、Ｆを候補命令語と登録する（７０５）。

したがって、音声認識エンジン１８１には第３アプリケーション３７２から伝達されたＥ、Ｆが候補命令語と登録される。

このようにＥ、Ｆが候補命令語と登録された状態で、音声認識エンジン１８１はＥ音声に対する音声信号を登録された候補命令語Ｅ、Ｆと比較し一致または類似の命令語を決定してＥ音声を認識する（７０６）。

第１制御部１８０は認識結果をディスプレイ部１３０に送信し（７０７）、ディスプレイ部１３０には音声認識結果画面が表示されることができる。

第１制御部１８０は音声認識結果による制御命令を第３アプリケーション３７２に送信する（７０８）。第３アプリケーション３７２は第３制御部３８０の制御により認識された音声Ｅによる制御動作を行う。ここで、音声認識結果による制御命令がディスプレイ装置１００を制御する命令である場合、制御命令は第１アプリケーション１７２または第２アプリケーション１７３に送信されることができる。

図５に示すように、本発明のディスプレイ装置１００は、ユーザーの音声発話が感知されれば、音声が入力された機器に対応するアプリケーションの命令語（例えば、Ｅ、Ｆ）を候補命令語と登録し、当該登録された候補命令語を利用して音声を認識し、その結果を表示、対応する制御動作を実行することができる。候補命令語は動的に登録／削除が可能である。

図５の実施形態では、第３音声取得部３４０を通じてユーザー音声が入力され、第３アプリケーション３７２の命令語が候補命令語と登録される場合を例えて説明したが、本発明は多様な音声取得部から音声入力が可能であり、多様な内蔵および外部アプリケーションから命令語が送信されて候補命令語を動的に登録／削除する場合を全部含むことができる。

以下、本実施形態による音声認識システムの音声認識方法に対して図面を参照して説明する。

図６は本発明の実施形態による音声認識システムの音声認識方法を示すフローチャートである。図６に示すように、本発明による音声認識システムは、複数の音声取得部１４０、２４０、３４０の中でいずれか少なくとも一つから音声入力が感知されることができる（Ｓ８１０）。ここで、感知されたユーザー音声は、対応する音声変換部１５０、２５０、３５０で電気的な音声信号に変換される。

第１制御部１８０は段階Ｓ８１０で感知および変換された音声信号を受信する（Ｓ８２０）。ここで、外部の音声取得部２４０、３４０で音声入力が感知された場合、第１通信部１６０を通じて音声信号が受信されることができる。

音声認識エンジン１８１には段階Ｓ８２０で受信された音声信号の音声認識のための候補命令語が登録される（Ｓ８３０）。ここで、登録される候補命令語は命令語テーブル１７１にあらかじめ保存されたり、内蔵または外部アプリケーション１７２、１７３、３７２、４７２から受信されて命令語テーブル１７１に動的に保存されたりすることができる。

音声認識エンジン１８１は段階Ｓ８３０で登録された候補命令語を利用して段階Ｓ８１０でユーザーが発話した音声を認識する（Ｓ８４０）。

第１制御部１８０は段階Ｓ８４０の音声認識結果をディスプレイ部１３０に表示する。ここで、ディスプレイ部１３０には音声信号に対する音声認識結果、音声認識結果による候補命令語、アプリケーション情報などが表示されることができる。

第１制御部１８０は段階Ｓ８４０の音声認識結果による制御命令を生成してこれを行うことができるアプリケーションに送信する（Ｓ８６０）。したがって、生成された制御命令による動作が行われることができる。

図７は図６の音声入力を感知する過程をさらに詳しく示すフローチャートである。図７に示すように、メイン機器のディスプレイ装置１００は音声によるユーザー入力が可能な音声入力モードで動作することができる（Ｓ８１１）。本発明での音声入力モードは、多様な音声取得部１４０、２４０、３４０から音声入力ができるように動作される。

音声入力を感知する方法の中の一つとして、第１制御部１８０は複数の音声取得部１４０、２４０、３４０の中で何れか一つでウェークアップキーワードの発話を感知することができる（Ｓ８１２）。ここで、ウェークアップキーワードは、特定の音声取得部を通じる音声入力を活性化させることとして、あらかじめ設定されることができる。例えば、ディスプレイ装置１００の第１音声取得部１４０は、チャンネル、ボリュームなどのＴＶ制御に関する音声をウェークアップキーワードと設定可能であり、携帯電話２００の第２音声取得部２４０は、通話、連絡先などに関する音声をウェークアップキーワードと設定することができる。

一方、音声入力を感知する他の方法として、第１制御部１８０は複数の音声取得部１４０、２４０、３４０の中で何れか一つから所定のボタン（音声入力ボタン）の操作によるトリガー信号が入力されれば、該当音声取得部から音声入力を感知することができる（Ｓ８１３）。例えば、ユーザーが特定音声取得装置に設けられた音声入力ボタンを操作すれば、該当装置に備わった音声入力部から音声が入力されることが感知される。

第１制御部１８０は、段階Ｓ８１２およびＳ８１３の感知結果により、複数の音声取得部１４０、２４０、３４０の中で音声入力に該当する何れか一つを活性化する（Ｓ８１２）。このように何れか一つの音声取得部を活性化することによって不必要な音声が感知されて混乱を引き起こすことを防止することができる。

また、段階Ｓ８２０で活性化された音声取得部から音声認識エンジン１８１に音声信号が受信されて、音声認識を行うことができる。

図８は図６の音声認識を行う過程をさらに詳しく示すフローチャートである。図８に示すように、図６の段階Ｓ８３０のように、音声認識エンジン１８１は複数のアプリケーション１７２、３７２、４７２の中で一つ以上の所定のアプリケーションから候補命令語を受信および登録することができる。

音声認識エンジン１８１は段階Ｓ８３０で登録された候補命令語と図６の段階Ｓ８２０で受信された音声信号と一致／類似の可否を判断することができる（Ｓ８４１）。

段階Ｓ８４０の判断結果、一致／類似の候補命令語が存在すれば、音声認識エンジン１８１は一致／類似の命令語を決定して音声認識を行い、第１制御部１８０はその結果をディスプレイ部１３０に表示する。

段階Ｓ８４０の判断結果、一致／類似の候補命令語が存在しなければ、音声認識エンジン１８１が段階Ｓ８３０でのアプリケーションと異なるアプリケーションの候補命令語の受信および登録有無を決めることができる（Ｓ８４２）。ここで、第１制御部１８０はユーザーの選択または既入力された設定により他のアプリケーションの候補命令語を受信および登録可能であり、既設定された順序により複数のアプリケーションの候補命令語が漸次的に受信および登録されることができる。また、ディスプレイ装置１００の第１保存部１７０の容量を考慮して、以前に登録された候補命令語は選択的に削除されることができる。

段階Ｓ８４２で登録された候補命令語の中でも一致／類似の候補命令語が存在しない場合、段階Ｓ８４２および段階８４１が漸次的に反復されて、音声認識を行うことができる。

一方、段階Ｓ８４２で他のアプリケーションの候補命令語を受信および登録しないように決定すれば、音声認識エンジン１８１は音声認識を中断し、第１制御部１８０は音声認識失敗をその結果としてディスプレイ部１３０に表示することができる。

このように、本発明の実施形態によれば、メイン機器がユーザーの発話が入力されることができる多様な装備から入力される音声を感知するので、多様な音声取得装備の活用度を高め、これを利用する連係サービスが可能である。

また、音声認識のための候補命令語が複数のアプリケーションから送信されて使用されるので、音声認識のための候補命令語を動的に登録／削除可能にすることによって、メイン機器が備える候補命令語が不必要に増加することを防止して、処理速度の遅延や認識率低下などのような問題に柔軟に対処可能であり、全体的に音声認識システムの効率を高めることができる。

また、音声認識の結果、候補命令語、アプリケーション情報だけでなく、音声認識に活用される多様な音声取得装備および候補命令語提供装備の情報までもユーザーが簡単に認知するようにして、ユーザーの便宜性をさらに高めることができる。

以上、望ましい実施形態を通じて本発明に対して詳しく説明したが、本発明はこれに限定されず、特許請求の範囲内で多様に実施されることができる。

１００ メイン機器、ディスプレイ装置
１１０ 映像受信部
１２０ 映像処理部
１３０ ディスプレイ部
１４０ 第１音声取得部
１５０ 第１音声変換部
１６０ 第１通信部
１７０ 第１保存部
１７１ 命令語テーブル
１７２、１７３ アプリケーション
１８０ 第１制御部
１８１ 音声認識エンジン
２０１、２０２ 音声取得装置
２００ 携帯電話
２４０ 第２音声取得部
２５０ 第２音声変換部
２６０ 第２通信部
２７０ 第２保存部
２８０ 第２制御部
３０１、３０２、３０３ 外部機器
３００ リモコン
３３０ ユーザー入力部
３４０ 第３音声取得部
３５０ 第２音声変換部
３６０ 第３通信部
３７０ 第３保存部
３７１ アプリケーション
３８０ 第３制御部
４００ エアコン
４６０ 第４通信部
４７０ 第４保存部
４７２ アプリケーション
４８０ 第４制御部

Claims (15)

1. ディスプレイ装置において、
   映像を表示するディスプレイ部と；
   複数の外部機器と通信を行う通信部であり、それぞれの外部機器が少なくとも一つのアプリケーションを含む、通信部と；
   ユーザーが発話した音声を認識する音声認識エンジンを含み、音声取得部から音声信号を受信し、複数の外部機器と内蔵アプリケーションのうち少なくとも一つから、候補命令語および複数の外部機器の外部アプリケーションと前記ディスプレイ装置の中に含まれる内蔵アプリケーションのうち少なくとも一つに関する情報を受信するように前記通信部を制御して、受信した前記候補命令語を使用して受信した前記音声信号を認識し、かつ、音声認識の結果を表示するように前記ディスプレイ部を制御する、制御部と；を含み、
   前記制御部は、受信した前記情報を基に前記外部アプリケーションと前記内蔵アプリケーションがコマンドを実行できるか否かの判断に基づいて、複数の外部機器と内蔵アプリケーションのうち少なくとも一つに対して、受信された前記音声信号から前記候補命令語によって認識された音声に対応するコマンドを送信し、
   前記制御部は、ユーザインターフェイスを表示するように前記ディスプレイ部を制御し、前記ユーザインターフェイスは、前記音声認識の結果に応じた前記候補命令語、および、前記音声認識の結果と一致する前記ユーザインターフェイスの中に示される前記候補命令語に対応する前記複数の外部機器のうち少なくとも一つに含まれる前記アプリケーションの少なくとも一つに関する情報、を示す、
   ことを特徴とするディスプレイ装置。
2. 前記音声取得部は複数で設けられ、
   前記制御部は複数の音声取得部の中で少なくとも一つから音声入力が感知されれば、前記音声入力が感知された音声取得部から音声信号を受信することを特徴とする請求項１に記載のディスプレイ装置。
3. 前記音声取得部は前記ディスプレイ装置に設けられた内蔵マイクと、前記複数の外部機器の中で少なくとも一つに設けられた第１外部マイクと、前記ディスプレイ装置および前記複数の外部機器と分離された装置から提供される第２外部マイクと、の中で少なくとも一つを含むことを特徴とする請求項２に記載のディスプレイ装置。
4. 前記外部機器は少なくとも一つのアプリケーションを含み、前記候補命令語は前記アプリケーションによって管理されることを特徴とする請求項１に記載のディスプレイ装置。
5. 前記受信された候補命令語を保存する保存部をさらに含み、
   前記音声認識エンジンは、前記受信された候補命令語を利用して音声を認識し、
   前記候補命令語は、前記保存部の容量に応じて選択的に削除されることによって、動的に登録または削除される、
   ことを特徴とする請求項１に記載のディスプレイ装置。
6. 前記制御部は、
   前記複数の音声取得部の中でいずれか一つに対するウェークアップ キーワードが発話されることが感知されれば、前記感知されたウェークアップ キーワードに対応する音声取得部を活性化し、前記活性化された音声取得部から音声信号を受信することを特徴とする請求項２に記載のディスプレイ装置。
7. 前記制御部は、
   前記複数の音声取得部の中でいずれか一つに設けられた所定のボタンの操作によるトリガー信号が入力されれば、前記入力されたトリガー信号に対応する音声取得部を活性化し、前記活性化された音声取得部から音声信号を受信することを特徴とする請求項２に記載のディスプレイ装置。
8. 前記制御部は前記音声信号に対する音声認識結果および前記音声認識結果による候補命令語を表示するように前記ディスプレイ部を制御することを特徴とする請求項１乃至請求項７の中でいずれか一項に記載のディスプレイ装置。
9. 少なくとも一つのアプリケーションを含む音声取得装置であって、
   音声認識機能を有するディスプレイ装置と通信を行う通信部と；
   ユーザーが発話した音声が入力される音声取得部と；
   前記入力された音声を電気的な音声信号に変換する音声変換部と；
   前記変換された音声信号、候補命令語、および前記少なくとも一つのアプリケーションに関する情報を前記ディスプレイ装置に送信するように前記通信部を制御する制御部であり、前記音声信号を認識し、かつ、前記少なくとも一つのアプリケーションが前記ディスプレイ装置によって送信された音声信号から認識された音声に対応するコマンドを実行できる場合に、前記ディスプレイ装置から前記コマンドを受信する制御部と；
   を含むことを特徴とする音声取得装置。
10. ディスプレイ装置の音声認識方法において、
    音声取得部から音声信号を受信する段階と；
    前記受信された音声信号を認識するために、複数の外部機器と内蔵アプリケーションのうち少なくとも一つから、候補命令語、および、それぞれが少なくとも一つのアプリケーションを含む前記複数の外部機器の外部アプリケーションと前記ディスプレイ装置の中に含まれる内蔵アプリケーションのうち少なくとも一つに関する情報、を受信する段階と；
    前記受信された音声信号および候補命令語によりユーザーが発話した音声を認識する段階と；
    音声認識の結果とユーザインターフェイスを表示する段階であり、前記ユーザインターフェイスは、前記音声認識の結果に応じた前記候補命令語、および、前記音声認識の結果と一致する前記ユーザインターフェイスの中に示される前記候補命令語に対応する前記複数の外部機器のうち少なくとも一つに含まれる前記アプリケーションの少なくとも一つに関する情報、を示す段階と；
    を含み、
    受信した前記情報を基に前記外部アプリケーションと前記内蔵アプリケーションがコマンドを実行できるか否かの判断に基づいて、複数の外部機器と内蔵アプリケーションのうち少なくとも一つに対して、認識されたユーザー音声に対応するコマンドを送信する、
    ことを特徴とするディスプレイ装置の音声認識方法。
11. 複数の音声取得部の中で少なくとも一つから音声入力を感知する段階をさらに含み、
    前記音声信号を受信する段階は、前記音声入力が感知された音声取得部から音声信号を受信することを特徴とする請求項１０に記載のディスプレイ装置の音声認識方法。
12. 前記音声取得部は前記ディスプレイ装置に設けられた内蔵マイクと、前記複数の外部機器の中で少なくとも一つに設けられた第１外部マイクと、前記ディスプレイ装置および前記複数の外部機器と分離された装置から提供される第２外部マイクと、の中で少なくとも一つを含むことを特徴とする請求項１１に記載のディスプレイ装置の音声認識方法。
13. 前記外部機器は少なくとも一つのアプリケーションを含み、前記候補命令語は前記アプリケーションによって管理されることを特徴とする請求項１１に記載のディスプレイ装置の音声認識方法。
14. 前記音声入力を感知する段階は、
    前記複数の音声取得部の中でいずれか一つに対するウェークアップ キーワードが発話することを感知する段階と；
    前記感知されたウェークアップ キーワードに対応する音声取得部を活性化する段階と；
    を含むことを特徴とする請求項１１乃至請求項１３の中でいずれか一項に記載のディスプレイ装置の音声認識方法。
15. 前記音声入力を感知する段階は、
    前記複数の音声取得部の中でいずれか一つに設けられた所定のボタンの操作によるトリガー信号が入力されることを感知する段階と；
    前記入力されたトリガー信号に対応する音声取得部を活性化する段階と；
    を含むことを特徴とする請求項１１乃至請求項１３の中でいずれか一項に記載のディスプレイ装置の音声認識方法。

Images