JP6271935B2 - ディスプレイ装置及びその制御方法 - Google Patents

Description

本開示は、ユーザーにより入力された情報の認識正確度を向上させるためのディスプレイ装置及びその制御方法に関する。

ディスプレイ装置は、視覚的で立体的な映像情報を表示する装置である。

近年、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）の短所とされてきた重さと体積を軽減して設置空間の制約を減らす他、大画面の映像表示、平板化及び高画質化などを含む様々な性能に優れた平板ディスプレイ装置（Ｆｌａｔ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ）が開発されてきている。

平板ディスプレイ装置の代表には、液晶ディスプレイ装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ：ＬＣＤ）、エレクトロルミネセンスディスプレイ装置（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ：ＥＬＤ）、電界放出ディスプレイ装置（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ：ＦＥＤ）、プラズマディスプレイ装置（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）、薄膜トランジスタ液晶ディスプレイ装置（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ−ＬＣＤ：ＴＦＴ−ＬＣＤ）、及びフレキシブルディスプレイ装置などがある。

このようなディスプレイ装置は、ユーザーの便宜性を向上させるための認識技術を有することがある。

その例には、モーション認識技術及び音声認識技術などがある。モーション認識技術は、モーションセンサーなどを用いてユーザーの動きを認識し、認識された動きから、ユーザーの命令する情報を判断する技術であり、音声認識技術は、音声センサーなどを用いてユーザーの音声を認識し、認識された音声から、ユーザーの命令する情報を判断する技術である。

これらの認識技術は、モーションや音声を正確に入力しないと、ユーザーが意図しなかった機能が実行されたり、ユーザー入力自体ができなくなるため、数回反復しなければならず、ユーザーに不便を掛けることがあった。

また、ユーザーが無意識に取るモーションや音声により、ユーザーが意図しなかったにもかかわらず特定の機能が動作してしまうこともあった。

その上、ディスプレイ装置にモーション認識技術を適用するとき、ユーザーが取れるモーションには制限があるにもかかわらず、ユーザーが平素よく取らないモーションや識別力の高いモーションを選択して命令語として設定しなければならず、命令語を設定するためのモーション選択において困難があった。

一側面は、ユーザーの視線を認識してインタラクションモードに進入し、視線の位置をカーソルで表示するディスプレイ装置及びその制御方法を提供する。

他の側面は、ユーザーの視線及びモーション、又はユーザーの視線及び音声を同時に認識して動作及び機能を制御するディスプレイ装置及びその制御方法を提供する。

一側面に係るディスプレイ装置は、ユーザーの視線を認識する認識部と、認識された視線があらかじめ設定された認識領域に位置するか否か判断し、認識された視線があらかじめ設定された認識領域に位置すると、インタラクションモードの進入を制御する制御部と、インタラクションモードに対応する映像を表示する表示部と、を備える。

表示部は、あらかじめ設定された認識領域を表示する。

制御部は、視線が認識されると、あらかじめ設定された領域の表示情報を、視線を認識する前と異なる表示情報で表示する。

表示部は、認識された視線の位置をカーソルで表示する。

認識部は、ユーザーのモーションを認識し、制御部は、認識されたモーションに対応する動作命令を判断し、判断された動作命令に基づいて表示部の駆動を制御する。

認識部は、ユーザーの音声を認識し、制御部は、認識された音声に対応する動作命令を判断し、判断された動作命令に基づいて表示部の駆動を制御する。

制御部は、インタラクションモードに進入すると、ユーザーとのインタラクションのための複数の認識モードの表示を制御し、認識された視線の位置に基づいて複数の認識モードからいずれか一つの認識モードを選択する。

ディスプレイ装置は、ユーザーの映像を収集する映像収集部と、ユーザーの音声を収集するサウンド収集部と、をさらに備え、制御部は、選択されたいずれか一つの認識モードに基づいて映像収集部及びサウンド収集部の活性化を制御する。

認識部は、ユーザーの顔を認識し、制御部は、認識されたユーザーがあらかじめ登録されたユーザーであるか否か判断し、認識されたユーザーがあらかじめ登録されたユーザーであればユーザーの視線認識を制御する。

制御部は、認識されたユーザーが複数であれば、あらかじめ保存された優先順位に基づいて優先順位の最も高いユーザーの視線認識を制御する。

制御部は、認識された視線があらかじめ設定された終了領域に位置するか否か判断し、認識された視線があらかじめ設定された終了領域に位置すると、インタラクションモードが終了するように制御する。

他の側面に係るディスプレイ装置は、ユーザーの視線を認識する第１認識部と、ユーザーの命令を認識する第２認識部と、認識された視線があらかじめ設定された認識領域に位置するか否か判断し、認識された視線があらかじめ設定された認識領域に位置すると、インタラクションモードの進入を制御し、認識された視線及び命令に基づいて複数の機能を選択的に制御する制御部と、インタラクションモードに対応する映像及び選択的に制御される機能に対応する映像を表示する表示部と、を備える。

第２認識部は、ユーザーのモーション及び音声のうち少なくとも一方の信号を認識し、認識された少なくとも一方の信号に対応する動作命令を認識する。

制御部は、あらかじめ設定された領域に視線が位置する状態でモーションが認識されると、認識されたモーションに対応する命令を確認し、確認された命令に対応する機能の実行を制御する。

制御部は、あらかじめ設定された領域に視線が位置する状態で音声が認識されると、認識された音声に対応する命令を確認し、確認された命令に対応する機能の実行を制御する。

複数の機能は、外部放送信号の再生、外部コンテンツの実行、再生モード及び画面調整モードのうち少なくとも一つを含む。

ディスプレイ装置は、外部のリモコンから伝送されたサウンド信号を受信する通信部をさらに備え、第２認識部は、受信したサウンド信号から音声を認識する。

さらに他の側面に係るディスプレイ装置は、外部の放送信号を受信するチューナー部と、放送信号を、映像情報を持つ映像信号とサウンド情報を持つサウンド信号とに分離し、分離された映像信号とサウンド信号をそれぞれ信号処理する信号処理部と、ユーザーの視線を認識する認識部と、認識された視線があらかじめ設定された認識領域に位置するか否か判断し、認識された視線があらかじめ設定された認識領域に位置すると、インタラクションモードの進入を制御する制御部と、信号処理された映像信号及びインタラクションモードに対応する映像を表示する表示部と、信号処理されたサウンド信号を出力するサウンド出力部と、を備える。

表示部は、あらかじめ設定された認識領域、チャンネルボタン及びボリュームボタンを表示し、認識された視線の位置をカーソルで表示する。

制御部は、表示部の領域外部にユーザーの視線が位置すると、インタラクションモードが終了するように制御する。

ディスプレイ装置は、ユーザーの音声及び映像のうち少なくとも一方の情報を収集する収集モジュールをさらに備え、認識部は、収集された音声及び映像のうち少なくとも一方の情報に対応する動作命令を認識し、制御部は、インタラクションモードに進入すると、認識された命令に基づいて複数の機能のうち少なくとも一つの機能を制御する。

さらに他の側面に係るディスプレイ装置の制御方法は、ユーザーの視線を認識し、認識された視線があらかじめ設定された認識領域に位置するか否か判断し、認識された視線があらかじめ設定された認識領域に位置すると、インタラクションモードに進入し、ユーザーとのインタラクションのための複数の認識モードを表示し、表示された複数の認識モードの中から、認識された視線が位置する認識モードを判断し、判断された認識モードを行ってユーザーの命令を認識し、認識された命令に対応する機能を実行する。

ディスプレイ装置の制御方法は、インタラクションモードに進入すると、あらかじめ設定された認識領域を他の表示情報で表示することをさらに含む。

インタラクションモードに進入することは、視線があらかじめ設定された領域を一定時間注視しているか否かを判断することを含む。

判断された認識モードを行ってユーザーの命令を認識することは、判断された認識モードがモーションモードであれば、ユーザーのモーションを認識し、認識されたモーションに対応する命令を判断することを含む。

判断された認識モードを行ってユーザーの命令を認識することは、判断された認識モードが音声モードであれば、ユーザーの音声を認識し、認識された音声に対応する命令を判断することを含む。

ディスプレイ装置の制御方法は、ユーザーの顔を認識し、認識されたユーザーがあらかじめ登録されたユーザーであるか否か判断し、認識されたユーザーがあらかじめ登録されたユーザーであれば、ユーザーの視線を認識することをさらに含む。

ディスプレイ装置の制御方法は、認識された視線があらかじめ設定された終了領域に位置するか否か判断し、認識された視線があらかじめ設定された終了領域に位置すると、インタラクションモードを終了させることをさらに含む。

ディスプレイ装置の制御方法は、あらかじめ設定された領域に視線が位置する状態でモーションが認識されると、認識されたモーションに対応する命令を確認し、確認された命令に対応する機能の実行を制御することをさらに含む。

ディスプレイ装置の制御方法は、あらかじめ設定された領域に視線が位置する状態で音声が認識されると、認識された音声に対応する命令を確認し、確認された命令に対応する機能の実行を制御する。

ディスプレイ装置の制御方法は、外部のリモコンから伝送された音声信号を受信し、受信した音声信号から命令を認識することをさらに含む。

ディスプレイ装置の制御方法は、ユーザーの視線が表示部の領域外部に一定時間以上位置すると、インタラクションモードを終了させることをさらに含む。

ディスプレイ装置の制御方法は、認識された視線の位置をカーソルで表示することをさらに含む。

ディスプレイ装置の制御方法は、認識された視線の位置があらかじめ設定された認識領域の内部と外部を交互に移動すると、インタラクションモードを終了させることをさらに含む。

一側面によれば、ユーザーの視線を追跡してインタラクションモードの進入を行うことによって、インタラクションモードの進入を容易に行うことができ、より直観的にインタラクションを行うことができる。

また、顔認識、音声認識及び視線認識を組み合わせてマルチモーダル（Ｍｕｌｔｉ−Ｍｏｄａｌ）インタラクションモードを行うことによって、より拡張されたインタラクションモードを行うことができ、ユーザーの意図した命令を正確に判断でき、これにより正確な機能を実行でき、ユーザーの便宜性を向上させることができる。

また、ディスプレイ装置に視線の位置をカーソルで表示することによって、ユーザー視線の位置を正確に把握することができる。

また、ユーザーの顔又は瞳孔からユーザーを認識し、認識されたユーザーの特徴を考慮して視線、音声、モーションを認識することによって、認識率を向上させることができる。

一実施例に係るディスプレイ装置の例示図である。 一実施例に係るディスプレイ装置における表示例を示す図である。 一実施例に係るディスプレイ装置における表示例を示す図である。 一実施例に係るディスプレイ装置における表示例を示す図である。 一実施例に係るディスプレイ装置における表示例を示す図である。 一実施例に係るディスプレイ装置における表示例を示す図である。 一実施例に係るディスプレイ装置における表示例を示す図である。 一実施例に係るディスプレイ装置の制御構成図である。 一実施例に係るディスプレイ装置の認識部の詳細構成図である。 一実施例に係るディスプレイ装置に表示されたポップアップメニューの例示図である。 一実施例に係るディスプレイ装置の制御フローチャートである。 一実施例に係るディスプレイ装置の制御フローチャートである。 他の実施例に係るディスプレイ装置の制御構成図である。 他の実施例に係るディスプレイ装置の制御フローチャートである。 他の実施例に係るディスプレイ装置における表示例を示す図である。 さらに他の実施例に係るディスプレイ装置の例示図である。 さらに他の実施例に係るディスプレイ装置の制御構成図である。 さらに他の実施例に係るディスプレイ装置の制御フローチャートである。 さらに他の実施例に係るディスプレイ装置における表示例を示す図である。 さらに他の実施例に係るディスプレイ装置における表示例を示す図である。

以下、添付の図面を参照しつつ本開示の実施例について詳細に説明する。

図１は、一実施例に係るディスプレイ装置の例示図であり、該ディスプレイ装置の構成を、図２乃至図４を参照して説明する。

ディスプレイ装置は、テレビ、モニター及び移動通信端末機の表示装置などのように映像を表示する装置である。図１に示すように、ディスプレイ装置１は、映像をディスプレイする本体１００と、ユーザーの映像情報及び音声情報を収集するための収集モジュール２００と、を備えている。これについてより具体的に説明する。

本体１００は、映像を表示する表示部１１０と、映像が非表示される領域をカバーするベゼル１２０と、を備えている。

表示部１１０は、ユーザーにより要請されたメイン映像を表示する表示領域１１０ａと、インタラクションモード進入を可能にする認識領域１１０ｂと、インタラクションモード終了を可能にする終了領域１１０ｃと、を備えている。

すなわち、認識領域１１０ｂは、インタラクションモードに進入しようとする時、ユーザーが視線を置くべき領域であり、終了領域１１０ｃは、インタラクションモードを終了しようとする時、ユーザーが視線を置くべき領域である。

表示部１１０は、ユーザーが識別できるように、認識領域１１０ｂ及び終了領域１１０ｃを表示領域１１０ａと区別付く表示情報で表示する。

例えば、図２Ａ及び図２Ｂに示すように、表示領域１１０ａに認識領域１１０ｂ及び終了領域１１０ｃを、半透明の色で埋められた図形又は半透明の色で引いた輪郭線で表示してもよく、図２Ｃに示すように、半透明のアイコンで表示してもよい。

このとき、表示部１１０は、認識領域１１０ｂ及び終了領域１１０ｃを第１表示領域１１０ａにオーバーラップして表示する。

また、表示領域１１０ａに表示されるメイン映像をユーザが見ることに差し支えのない大きさの不透明なシンボル（図形、輪郭線、アイコンなど）で認識領域１１０ｂ及び終了領域１１０ｃを表示してもよい。

表示部１１０は、認識領域１１０ｂ及び終了領域１１０ｃを一定の時間間隔で周期的に表示してもよく、駆動初期に認識領域１１０ｂ及び終了領域１１０ｃの位置及びインタラクションモードの利用に関する案内文を表示してもよい。

また、表示部１１０は、インタラクションモードの進入前後を異なるように表示する。すなわち、表示部１１０は、認識領域１１０ｂについてインタラクションモードの進入前と進入後を異なる表示情報で表示する。

例えば、図３Ａに示すように、インタラクションモード進入前では認識領域１１０ｂを空の図形のみで表示し、インタラクションモードに進入すれば認識領域１１０ｂの空の図形中にアイコンを表示してもよく、又は、図３Ｂに示すように、インタラクションモード進入前では認識領域１１０ｂを第１色の図形で表示し、インタラクションモードに進入すれば認識領域１１０ｂを第２色の図形で表示してもよい。

また、表示部１１０は、認識領域１１０ｂのみを表示し、終了領域１１０ｃは表示しない状態に維持し、以降、インタラクションモードに進入すると終了領域１１０ｃを表示状態に切り替えてもよい。

表示部１１０は、インタラクションモード進入後にインタラクションモードが進行中であることをユーザーに知らせるために、インタラクションモード進入による表示情報を維持する。

例えば、認識領域１１０ｂの図形中のアイコン表示を維持したり、認識領域の図形を第２色に維持したりする。

表示部１１０は、インタラクションモードに進入すると、ディスプレイ装置の動作及び機能制御時に用いられる複数の認識モードを表示する。

図４に示すように、ユーザーとディスプレイ装置間のインタラクションのための認識モードを表示する。一例として、表示部１１０は表示領域１１０ａに、モーション認識ボタンａ１、音声認識ボタンａ２及び視線認識ボタンａ３を表示する。この時、表示部１１０はユーザーの視線をカーソルａ４で表示する。

また、表示部１１０は、ユーザーにより要請されたコンテンツの映像を表示し、且つ、ユーザーにより画面調整情報が変更された場合には、変更された画面調整情報に基づいて映像を表示する。

このような表示部１１０は、ディスプレイパネル１１１、拡散板１１２、導光板１１３、バックライトユニット１１４、シャシー１１５を備えている。

ディスプレイパネル１１１は、文字、数字、任意のアイコンなどの映像を表示するパネルである。

表示部１１０は、ディスプレイパネル１１１を外部の衝撃から保護するためのガラス（図示せず）及びフィルター（図示せず）をさらに備えている。ここで、ガラスは、外部衝撃からフィルターが破損することを防止する。

フィルターは、光特性膜、電磁波（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃｅ：ＥＭＩ)遮蔽膜及び紫外線遮蔽膜などを備える。

光特性膜は、ディスプレイパネルに入射する光のうち、赤色（Ｒ）及び緑色（Ｇ）の輝度を下げる一方で青色（Ｂ）の輝度を上げることで光特性を改善させ、電磁波遮蔽膜は、電磁波を遮蔽することでディスプレイパネルに入射する電磁波が外部に放出されることを防止する。

また、赤外線遮蔽膜は、ディスプレイパネルから放射される赤外線を遮蔽することで、リモコンなどが赤外線を用いて信号を正常に伝達できるよう、基準以上の赤外線が外部に放出されることを防止する。

拡散板１１２は、バックライトユニット１１４から発される光を面に沿って拡散させることで、画面全体として色及び明るさが均一に見えるようにする半透明パネルで、バックライトユニット１１４から発された光の輝度などを向上させてディスプレイパネルに供給する。すなわち、拡散板１１２は、バックライトユニット１１４の発光ダイオード（ＬＥＤ）の光を増大させ、全体面の明るさを均一に維持させる。

導光板１１３は、バックライトユニット１１４の光源をディスプレイパネル全体に均一に入射させ、バックライトユニット１１４は、ディスプレイパネル１１１の背面又は側面から光を放出する。

すなわち、ディスプレイパネル１１１は自ら発光しないため、バックライトユニットから放出された光の透過量及び色を調節することによって映像を表示する。

シャシー１１５は、映像表示及びサウンド出力に必要な駆動モジュール１３０が接続されるパネルである。

駆動モジュール１３０の例には、映像表示及びサウンド出力を制御するための各種印刷回路基板、外部機器との接続のためのインターフェース装置、各装置に動作電源を供給する電源装置などがある。

シャシー１１５は放熱及び強度に優れた金属で作られる。

ベゼル１２０は、表示部１１０の映像非表示面をカバーし、表示部１１０の外観を形成する。

ベゼル１２０にはさらに、複数のボタンを有する入力部（図示せず）が配置されていてもよい。すなわち、ディスプレイ装置１は、この入力部から動作命令が入力されてもよい。

本体１００は、表示部１１０の非表示面を保護するためのカバー１２１と、表示部１１０のディスプレイパネル、拡散板、導光板、バックライトユニット、シャシーなどを離隔させた状態で支持する支持部材（図示せず）をさらに備える。ここで、支持部材及びカバー１２１はベゼル１２０と分離可能に結合される。

カバー１２１はベゼル１２０との結合時に収容空間を形成し、この収容空間内にはディスプレイパネル、拡散板、導光板、バックライトユニット及びシャシーなどが配置される。

収集モジュール２００は、本体１００のベゼル１２０の上端に配置されており、ユーザー及びその周辺の映像及びサウンドを収集し、収集された映像及びサウンドを駆動モジュール１３０に伝送する。

収集モジュール２００は、本体１００のベゼル１２０の上端の他、ユーザーの情報を収集し易い如何なる位置に装着されてもよい。

また、収集モジュール２００はディスプレイ装置と個別に備えられてもよい。すなわち、収集モジュール２００は本体１００から分離可能に設けられ、本体１００に設けられたインターフェース装置（図示せず）に連結されることで本体１００に接続してもよい。

収集モジュール２００についてより詳しく説明する。

収集モジュール（ＭＯＩＰ：Ｍｕｌｔｉｍｅｄｉａ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）２００は、ハウジング２１０と、ハウジング２１０に装着された映像収集部２２０であるカメラと、ハウジング２１０に装着されたサウンド収集部２３０である第１マイクロフォンと、カメラ及び第１マイクロフォンの駆動を制御し、カメラ及び第１マイクロフォンで収集された映像信号及びサウンド信号を駆動モジュール１３０に伝達する第１マイコン（図示せず）と、備えている。

ここで、第１マイクロフォンは、複数個のマイクロフォン２３０ａ，２３０ｂで構成されている。

映像収集部２２０であるカメラは、ユーザー及びその周辺の映像を収集し、収集された映像のデータを第１マイコンに伝送する。

サウンド収集部２３０ａ，２３０ｂである第１マイクロフォンは、ユーザーの音声を含む周辺のサウンドを収集し、収集されたサウンドのデータを第１マイコンに伝送する。

第１マイコンは、受信した映像データ及びサウンドデータを駆動モジュール１３０に伝送する。さらに、第１マイコンは、受信した映像データ及びサウンドデータがメモリー（図示せず）に保存されるようにしてもよい。

収集モジュール２００は、イーサネット（登録商標）のような通信部（図示せず）をさらに備えてもよい。このとき、収集モジュール（ＭＯＩＰ）の第１マイコンは、映像信号及びサウンド信号を圧縮し、圧縮されたデータをイーサネット（登録商標）を介して駆動モジュール１３０に伝送する。

なお、収集モジュールのカメラ２２０及び第１マイクロフォン２３０は駆動モジュール１３０に直接接続しており、映像信号及びサウンド信号を駆動モジュールに直接伝送してもよい。

図５は一実施例に係るディスプレイ装置の制御構成図であり、このディスプレイ装置の構成を、図６乃至図７を参照して説明する。

一実施例に係るディスプレイ装置１は、ユーザーの意図により生成されたインタラクション信号及び入力部（図示せず）の信号のうち少なくとも一方に基づいて動作する。

このディスプレイ装置１は、ユーザーの意図した命令を収集する収集モジュールとして映像収集部２２０及びサウンド収集部２３０を備え、動作命令に基づいて動作を制御するための駆動モジュール１３０を備え、動作実行を出力するための出力モジュールとして表示部１１０及びサウンド出力部１４０を備える。

映像収集部２２０は、駆動モジュール１３０と電気的に接続しており、駆動モジュール１３０の命令に応じてユーザーの映像を収集し、収集された映像に関する信号を駆動モジュール１３０に伝送する。サウンド収集部２３０は、駆動モジュール１３０と電気的に接続しており、駆動モジュール１３０の命令に応じてユーザーの音声を収集し、収集された音声に関する信号を駆動モジュール１３０に伝送する。

駆動モジュール１３０は、入力部（図示せず）からの信号に基づいて表示部１１０及びサウンド出力部１４０の少なくとも一方の動作を制御する。

また、駆動モジュール１３０は、映像収集部２２０及びサウンド収集部２３０の少なくとも一方で収集された情報に基づいてインタラクションモードの進入及び終了を制御し、インタラクションモード進入後にインタラクションモードを行って表示部１１０及びサウンド出力部１４０の少なくとも一方の動作を制御する。

このような駆動モジュール１３０は、認識部１３１、データベース部１３２、ネットワークインターフェース部１３３、制御部１３４、保存部１３５、表示駆動部１３６及びサウンド駆動部１３７を備えている。

認識部１３１は、映像収集部２２０及びサウンド収集部２３０の少なくとも一方の収集部で収集された情報の信号を受信し、受信した信号に基づいて、ユーザー認識及びユーザーの意図した動作命令を認識し、認識された動作命令を制御部１３４に伝送する。これを図６を参照して説明する。

図６は、一実施例に係るディスプレイ装置に設けられた認識部の詳細構成図であり、認識部１３１は、インタラクションモードへの進入命令を認識するための第１認識部１３１−１と、機能実行及び動作命令を認識するための第２認識部１３１−２と、を備えている。

第１認識部１３１−１は、顔認識部１３１ａ及び視線認識部１３１ｂを備えている。

顔認識部１３１ａは、映像収集部２２０から伝送されてきた映像から背景領域を除去してユーザーの顔映像を獲得し、獲得されたユーザーの顔映像からエッジ、色情報を用いて顔領域を抽出し、この顔領域から目、鼻、口などの特徴点を抽出することによって顔を認識し、認識された顔とあらかじめ登録された顔映像とを比較し、認識された顔があらかじめ登録されたユーザーの顔であるか否か判断する。

なお、認識部１３１は、顔認識時に顔映像をフィルタリングしてノイズを除去し、顔映像の特徴を分析するのに必要な前処理を行う。

視線認識部１３１ｂは、ユーザーの顔映像から目映像を検出し、検出された目映像から瞳孔の位置を獲得してユーザーの視線の位置を認識する。

第２認識部１３１−２は、モーション認識部１３１ｃ及び音声認識部１３１ｄを備えている。

モーション認識部１３１ｃは、映像収集部２２０から伝送されてきた映像から背景領域を除去してユーザーの身体映像を獲得し、獲得されたユーザーの身体映像からエッジ、色情報を用いてユーザーの顔、腕、手、胴、脚及び足の領域を抽出し、抽出された顔、腕、手、胴、脚、足などから特徴点を抽出してユーザーの取ったモーションを認識し、該認識されたモーションとマッチするモーションを、データベース部１３２に保存されたモーションから検索し、検索されたモーションに対応する動作命令を認識する。

音声認識部１３１ｄは、サウンド収集部２３０から伝送されてきたサウンドからノイズを除去してユーザーの発声した音声を獲得し、ユーザーの発声した音声から特徴ベクトルを抽出し、抽出された特徴ベクトルとデータベース部１３２に保存された各単語の言語モデル又は音素単位の音響モデルとを比較することで候補単語又は候補音素を抽出し、候補単語又は候補音素に基づいて文章を認識し、該認識された文章とマッチする文章を、データベース部１３２に保存された文章から検索し、検索された文章に対応する動作命令を認識する。

なお、音声認識部１３１ｄは候補単語又は候補音素から動作命令を認識してもよい。

また、音声認識部１３１ｄは、音声の特徴的情報を用いてユーザーを認識してもよい。

データベース部１３２は、あらかじめ登録されたユーザーの顔映像、顔映像の特徴点情報及び瞳孔情報を保存し、モーション別動作命令及び音声別動作命令を保存する。ここで、瞳孔情報としては、瞳孔の大きさ、瞳孔の位置及び瞳孔間の距離情報を含み、このような瞳孔情報に基づいてユーザーが認識されてもよい。

なお、データベース部１３２は、ユーザーが複数である場合に、ユーザー別にモーションに対応する動作命令をそれぞれ保存し、且つユーザー別に音声に対応する動作命令をそれぞれ保存してもよい。

ネットワークインターフェース部１３３は、ＩＰアドレスの割り当てを受けてネットワーク通信を行い、ネットワークを介して外部からデータパケットを受信して処理し、データパケットが映像、サウンドなどのマルチメディアデータである場合には保存や再生され得るように制御部に伝送する。

例えば、ネットワークインターフェース部１３３は放送、ゲーム、ＶＯＤ、放送信号などのコンテンツ及びその関連情報を受信する。また、ネットワークインターフェース部１３３はファームウェアのアップデート情報及びアップデートファイルを受信することもある。

なお、ディスプレイ装置は、入力インターフェース部をさらに備えてもよい。このとき、入力インターフェース部は、ＵＳＢのような外部記憶装置やＤＶＤ、ＣＤのような光ディスク装置と接続してマルチメディアデータを受信し、受信したマルチメディアデータを制御部に伝送すればよい。

制御部１３４は、ディスプレイ装置１に電源が印加されたり、入力部（図示せず）のボタン入力によりインタラクションモードが要請されたりする場合に、映像収集部２２０及びサウンド収集部２３０に動作命令を伝送する。

制御部１３４は、認識部１３１で認識されたユーザーの登録有無によってインタラクションモードに進入するか否かを決定し、認識部１３１で認識されたユーザーが複数であれば、複数のユーザーの中から、優先順位の最も高いユーザーを確認し、確認されたユーザーの視線の位置に基づいてインタラクションモードの進入を制御する。

また、制御部１３４は、ユーザーが複数である場合に、認識領域に位置する視線が存在するか否か判断し、認識領域に位置する視線が存在すると、認識領域を注視しているユーザーの視線に基づいてインタラクションモードの進入を制御してもよい。

制御部１３４は、認識部１３１から伝送された視線の位置に基づいてユーザーの注視している位置を判断する。この時、制御部１３４は、ユーザーの視線が認識領域に一定時間以上位置するか否か判断し、ユーザーの視線が認識領域に一定時間以上位置するとインタラクションモードに進入するように制御する。

制御部１３４は、インタラクションモードに進入すると、表示部１１０の認識領域の表示情報をインタラクションモード進入前とは異なる表示情報に変更するように制御する。

制御部１３４は、インタラクションモードに進入すると、インタラクションにより動作命令を入力してもらうための複数の認識モードが表示されるように制御し、この時、認識部１３１から伝送された視線の位置とあらかじめ保存された複数の認識モードボタンの位置とをそれぞれ比較することで、ユーザーの選択しようとする認識モードを判断し、判断された認識モードに基づいて映像収集部２２０及びサウンド収集部２３０の動作がオン／オフになるように制御する。

例えば、制御部１３４は、複数の認識モードのうち音声認識モードが選択された場合に、サウンド収集部２３０の動作をオンにさせ、映像収集部２２０の動作はオフにさせる。複数の認識モードのうち、視線認識モードやモーション認識モードが選択された場合には、サウンド収集部２３０の動作をオフにさせ、映像収集部２２０の動作はオンにさせる。

ここで、動作命令としては、表示やサウンドなどの出力情報の変更及び機能の変更などを含む。

制御部１３４は、認識部１３１から伝送された動作命令に基づいて各駆動部１３６，１３７の駆動を制御する。

制御部１３４は、終了領域に視線が一定時間以上位置するとインタラクションモードを終了させる。

制御部１３４は、終了領域に視線が一定時間以上位置すると、ポップアップメニューが表示されるように制御してもよい。図７に示すように、ポップアップメニューＰ１は、優先順位変更ボタン、ボリューム調整ボタン、画面調整ボタン及び終了ボタンなどを有する。

なお、制御部１３４は、認識モード実行中に認識領域を注視すると、それをユーザーの認識モード変更要求と判断し、複数の認識モードボタンが再表示されるように制御してもよい。

制御部１３４は、ユーザーにより要請されたメイン映像信号の表示及びサウンド信号の出力がなされるように制御し、映像及びサウンドの出力中にインタラクションモードに対応する映像がメイン映像にオーバーラップして表示されるように制御する。

保存部１３５は、あらかじめ登録された複数のユーザーの優先順位を保存し、認識領域と終了領域の位置を保存し、インタラクションモード進入前、インタラクションモード進入、インタラクションモード実行にそれぞれ対応する認識領域の表示情報を保存し、複数の認識モードボタンの位置情報を保存する。

表示駆動部１３６は、制御部１３４の命令に基づいて表示部１１０を駆動させ、サウンド駆動部１３７は、制御部１３４の命令に基づいてサウンド出力部１４０を駆動させる。

出力モジュールである表示部１１０は、駆動モジュール１３０内の制御部１３４の命令に基づいて表示領域に映像を表示し、インタラクションモード実行に対応する映像を表示する。

出力モジュールであるサウンド出力部１４０は、駆動モジュール１３０内の制御部１３４の命令に基づいてサウンドを出力する。ここで、サウンド出力部１４０はディスプレイ装置１から分離可能にしてもよい。

すなわち、サウンド出力部１４０はスピーカーなどであり、ディスプレイ装置１とは個別に設けられ、ユーザーの選択によってディスプレイ装置１に接続されるものであってもよい。

図８Ａ及び図８Ｂは、一実施例に係るディスプレイ装置の制御フローチャートであり、このディスプレイ装置の制御を、図１乃至図７を参照して説明する。

ディスプレイ装置は、ユーザーにより電源が印加されると、映像収集部２２０を動作させて映像を収集する(３０１)。

続いて、ディスプレイ装置は、収集された映像から背景領域を除去してユーザーの映像を獲得し、獲得された映像からエッジ情報及び色情報を用いて顔領域を抽出し、この顔領域から目、鼻、口などの特徴点を抽出して顔を認識する（３０２）。

続いて、ディスプレイ装置は、認識された顔の数に基づいて、認識されたユーザーの数を確認し（３０３）、確認されたユーザーの数が複数であるか否か判断する（３０４）。

この時、確認されたユーザーの数が単数であれば、認識された顔とあらかじめ登録されたユーザーの顔映像とを比較し、認識された顔のユーザーがあらかじめ登録されたユーザーであるか否か判断し（３０５）、認識された顔のユーザーがあらかじめ登録されたユーザーでないと、インタラクションモードの実行が不可能であることを表示部１１０を用いて表示し（３０６）、認識された顔のユーザーがあらかじめ登録されたユーザーであると、認識された顔の瞳孔を認識して視線を追跡する（３１０）。

一方、ディスプレイ装置は、認識されたユーザーの数が複数であれば、認識された複数の顔とあらかじめ登録されたユーザーの顔映像をそれぞれ比較し、認識された複数のユーザーの中からあらかじめ登録されたユーザーを確認し、あらかじめ登録されたユーザーとして判断されたユーザーの数を確認し（３０７）、確認された数が複数であるか否か判断する（３０８）。

ディスプレイ装置は、あらかじめ登録されたユーザーとして複数のユーザーが認識されたと判断されると、認識された複数のユーザーの中から、優先順位の最も高いユーザーを判断し（３０９）、判断されたユーザーの瞳孔を認識して視線を追跡する（３１０）。

次に、ディスプレイ装置は、認識された視線が認識領域に位置するか否か判断し（３１１）、認識された視線が認識領域に位置していると判断されると、認識された視線が認識領域をあらかじめ設定された一定時間以上注視しているか否か判断する。

続いて、ディスプレイ装置は、認識された視線が認識領域をあらかじめ設定された一定時間以上注視していると判断されると、インタラクションモードに進入し（３１２）、インタラクションモードに進入することをユーザーが認識できるように、表示部１１０内の認識領域の表示情報を変更して表示する（３１３）。

例えば、図３に示すように、認識領域１１０ｂ内にアイコンを表示したり、認識領域１１０ｂの色を変更したりする。

次に、ディスプレイ装置は、動作命令を入力してもらうための複数の認識モードを表示し、ユーザーの視線の位置を確認した後（３１４）、確認された視線の位置に基づいて、ユーザーにより選択された認識モードを判断する（３１５）。

すなわち、ディスプレイ装置は、複数の認識モードボタンの位置の中から、確認された視線の位置とマッチする位置を判断することによって、ユーザーにより選択された認識モードを判断する。

この時、ディスプレイ装置は、ユーザーが視線の位置を確認できるように、表示部にユーザーの視線の位置をカーソルで実時間表示する。

次に、ディスプレイ装置は、判断された認識モードを実行し（３１６）、認識モード実行による認識結果に基づいて動作命令を認識し、認識された動作命令に基づいて各駆動部を動作させる（３１７）。

各認識モードの選択によって動作命令を認識する構成についてより具体的に説明すると、下記の通りである。

（１）ディスプレイ装置は、ユーザーによりモーション認識が選択された場合に、映像収集部の動作を維持させ、映像収集部で収集された映像から背景領域を除去してユーザーの身体映像を獲得し、獲得されたユーザーの身体映像からエッジ、色情報を用いてユーザーの顔、腕、手、胴、脚及び足の領域を抽出し、抽出された顔、腕、手、胴、脚、足などから特徴点を抽出することで、ユーザーの取ったモーションを認識し、該認識されたモーションとマッチするモーションをデータベース部１３２に保存されたモーションから検索し、検索されたモーションに対応する動作命令を認識する。

次に、ディスプレイ装置は、認識された動作命令に基づいて各駆動部１３６，１３７を駆動させることによって、ユーザーの要求したコンテンツの映像が表示部１１０に表示されるようにし、且つユーザーの要求したコンテンツのサウンドがサウンド出力部１４０から出力されるようにする。

（２）ディスプレイ装置は、ユーザーにより音声認識が選択された場合に、サウンド収集部を動作させ、サウンド収集部２３０で収集されたサウンドからノイズを除去してユーザーの発声した音声を獲得し、ユーザーの発声した音声から特徴ベクトルを抽出し、抽出された特徴ベクトルとデータベース部１３２に保存された各単語の言語モデル又は音素単位の音響モデルとを比較することで候補単語又は候補音素を抽出し、候補単語又は候補音素に基づいて文章を認識し、該認識された文章とマッチする文章を、データベース部１３２に保存された文章から検索し、検索された文章に対応する動作命令を認識する。

次に、ディスプレイ装置は、認識された動作命令に基づいて各駆動部１３６，１３７を駆動させることによって、ユーザーの要求したコンテンツの映像が表示部１１０に表示されるようにし、且つユーザーの要求したコンテンツのサウンドがサウンド出力部１４０から出力されるようにする。

（３）ディスプレイ装置は、ユーザーにより視線認識が選択された場合に、映像収集部の動作を維持させ、表示部１１０にポップアップメニューを表示し、映像収集部２２０で収集された映像を用いてユーザーの顔及び瞳孔を認識し、認識された瞳孔に基づいて視線を追跡し、追跡された視線の位置を確認することによって、ポップアップメニューのうちユーザーにより選択されたメニューに対応する動作を行う。

ここで、ポップアップメニューは複数のメニューを有し、各メニューは動作命令ボタンを有する。

すなわち、ディスプレイ装置は、ポップアップメニューにおける複数の動作命令ボタンの位置の中から、ユーザーの視線の位置とマッチする位置のボタンを確認し、確認されたボタンに対応する動作を行う。

例えば、図７に示すように、優先順位変更ボタン、ボリューム調整ボタン、画面調整ボタン及び終了ボタンを有しているポップアップメニューＰ１が表示された場合に、視線の位置がボリューム調整ボタンであれば、表示部１１０にボリューム調整のためのアップ／ダウンボタンを表示する。この時、ユーザーの視線がボリュームアップボタン上に位置するとボリュームをアップさせ、ボリュームダウンボタン上に位置するとボリュームをダウンさせる。

なお、視線認識を用いたメニューの選択は、目の瞬き、視線がボタンに位置する時間、又はその他ユーザーの目による動きに基づいて判断すればよい。

ディスプレイ装置は、ネットワークインターフェース部１３３又は入力インターフェース部を介して受信したコンテンツなどを表示部に表示させる。この時、ディスプレイ装置は、ユーザーにより要請されたメイン映像信号の表示及びサウンド信号の出力がなされるように制御し、且つ映像及びサウンド出力中に、インタラクションモードによる映像がメイン映像にオーバーラップして表示されるように制御する。

次に、ディスプレイ装置は、表示部１１０の終了領域に視線が一定時間以上位置するとインタラクションモードを終了し、以降、ユーザーの視線が認識領域に再び位置すると、ユーザーが認識モード変更を要求するものと判断し、複数の認識モードボタンを再表示する。

また、ディスプレイ装置は、表示部１１０の外部に視線が一定時間以上位置するとインタラクションモードを終了させてもよい。

図９は、他の実施例に係るディスプレイ装置の構成図であり、この実施例において、ディスプレイ装置１は、ユーザーの命令を入力してもらうための収集モジュールとして映像収集部２２０及びサウンド収集部２３０を備え、動作命令に基づいて動作を制御するための駆動モジュール１５０を備え、動作実行を出力するための出力モジュールとして表示部１１０及びサウンド出力部１４０を備えている。

ここで、映像収集部２２０、サウンド収集部２３０、表示部１１０及びサウンド出力部１４０は、上記の一実施例におけると同一であり、その説明を省略する。

駆動モジュール１５０は、認識部１５１、データベース部１５２、ネットワークインターフェース部１５３、制御部１５４、保存部１５５、表示駆動部１５６及びサウンド駆動部１５７を備えている。

認識部１５１は、映像収集部２２０及びサウンド収集部２３０の少なくとも一方で収集された情報の信号を受信し、受信した信号に基づいてユーザー認識及びユーザーの意図した動作命令を認識し、認識された動作命令を制御部１５４に伝送する。

認識部１５１は、モーションを取ったユーザーと認識領域を注視しているユーザーとが同一のユーザーであるか判断し、同一のユーザーと判断されると、視線が認識領域に位置する状態で認識されたモーションに対応する動作命令を認識する。

また、認識部１５１は、音声を発声したユーザーと認識領域を注視しているユーザーとが同一のユーザーであるか判断し、同一のユーザーと判断されると、視線が認識領域に位置する状態で認識された音声に対応する動作命令を認識する。

このような認識部１５１は、ユーザーの顔及び視線を認識するための第１認識部と、機能実行及びユーザーの動作命令を認識するための第２認識部と、を備え、第１認識部及び第２認識部は、一実施例の第１認識部１３１−１及び第２認識部１３１−２と同一であり、その説明を省略する。

データベース部１５２は、ユーザーの顔映像と瞳孔情報とをマッチングさせて保存し、且つユーザーの音声情報と瞳孔情報とをマッチングさせて保存する。

その他のデータベース部１５２の構成及びネットワークインターフェース部１５３の構成は、上記の一実施例におけるデータベース部１３２及びネットワークインターフェース部１３３と同一であり、その説明を省略する。

制御部１５４は、ディスプレイ装置１に電源が印加されたり、入力部（図示せず）のボタン入力によりインタラクションモードが要請されたりする場合に、映像収集部２２０及びサウンド収集部２３０に動作命令を伝送する。

制御部１５４は、認識部１５１で認識されたユーザーの登録有無によってインタラクションモードに進入するか否かを決定し、認識部１５１で認識されたユーザーが複数であれば、複数のユーザーの中から、優先順位の最も高いユーザーを確認し、確認されたユーザーの視線の位置に基づいてインタラクションモードの進入を制御する。

制御部１５４は、ユーザーの視線が認識領域に一定時間以上位置するか否か判断し、ユーザーの視線が認識領域に一定時間以上位置すると、インタラクションモードに進入するように制御する。

制御部１５４は、インタラクションモードに進入すると、ユーザーに命令を入力してもらうための複数の認識モードが表示されるように制御し、この時、認識部１５１で伝送された視線の位置とあらかじめ保存された複数の認識モードボタンの位置とをそれぞれ比較することでユーザーの選択しようとする認識モードを判断し、判断された認識モードに基づいて映像収集部２２０及びサウンド収集部２３０の動作をオン／オフになるように制御する。

ここで、複数の認識モードは、モーション認識及び音声認識を含む。

制御部１５４は、モーション認識が選択されると、視線認識及びモーション認識を組み合わせた第１マルチモーダルモード（Ｍｕｌｔｉ−Ｍｏｄａｌ Ｍｏｄｅ）に対応する動作命令を受信し、音声認識が選択されると、視線認識及び音声認識を組み合わせた第２マルチモーダルモードに対応する動作命令を受信する。

制御部１５４は動作命令に基づいて各駆動部１５６，１５７の駆動を制御する。

制御部１５４は、終了領域に視線が一定時間以上位置するとインタラクションモードが終了するように制御する。

制御部１５４は、ユーザーにより要請されたメイン映像信号の表示及びサウンド信号の出力がなされるように制御する。

保存部１５５は、あらかじめ登録された複数ユーザーの優先順位を保存し、認識領域と終了領域の位置を保存し、インタラクションモード進入前、インタラクションモード進入、インタラクションモード実行にそれぞれ対応する認識領域の表示情報を保存し、複数の認識モードボタンの位置情報を保存する。

表示駆動部１５６及びサウンド駆動部１５７は、上記の一実施例における表示駆動部及びサウンド駆動部と同一であり、その説明を省略する。

図１０は、他の実施例に係るディスプレイ装置の制御フローチャートであり、このディスプレイ装置の制御を、図９及び図１１を参照して説明する。

ディスプレイ装置は、ユーザーにより電源が印加されると、映像収集部２２０を動作させて映像を収集し、収集された映像に基づいて顔を認識し、認識された顔に基づいて、認識されたユーザーの数を確認する。

次に、ディスプレイ装置は、確認されたユーザーの数が複数であるか否か判断し、認識された複数のユーザーの中から、あらかじめ登録されたユーザーを判断し、認識された複数のユーザーのうち、あらかじめ登録されたユーザーの数が複数であるか否か判断する。

次に、ディスプレイ装置は、認識された複数のユーザーのうち、あらかじめ登録されたユーザーの数が複数であれば、認識された複数のユーザーの中から、優先順位の最も高いユーザーを判断し、判断されたユーザーの瞳孔を認識して視線を認識する。

続いて、ディスプレイ装置は、認識された視線が認識領域に位置するか否か判断し、認識された視線が認識領域に位置していると判断されると、認識された視線が認識領域をあらかじめ設定された一定時間以上注視しているか否か判断し、この時、認識された視線が認識領域をあらかじめ設定された一定時間以上注視していると判断されると、インタラクションモードに進入し（４０１）、インタラクションモードに進入されることをユーザーが認識できるように、表示部１１０内の認識領域の表示情報を変更して表示する（４０２）。

以上の過程は上記の一実施例におけると同一である。

次に、ディスプレイ装置は、動作命令を入力してもらうための複数の認識モードを表示し、ユーザーの視線の位置を確認した後（４０３）、確認された視線の位置に基づいてユーザーにより選択された認識モードを判断する（４０４）。

すなわち、ディスプレイ装置は、複数の認識モードボタンの位置の中から、確認された視線の位置とマッチする位置を判断することによって、ユーザーにより選択された認識モードを判断する。

この時、ディスプレイ装置は、ユーザーが視線の位置を確認できるように、表示部１１０にユーザーの視線の位置をカーソルで実時間表示する。

次に、ディスプレイ装置は、判断された認識モード及び視線認識モードを組み合わせたマルチモーダルモードを実行し（４０５）、マルチモーダルモード実行による認識結果に基づいて動作命令を認識し、認識された動作命令に基づいて各駆動部を動作させる（４０６）。

この時、ディスプレイ装置は、モーション認識及び視線認識モードを組み合わせた第１マルチモーダルモードを行う前に、モーションを取るユーザーと認識領域を注視するユーザーとが同一人であるか否か判断し、同一人として判断されると、第１マルチモーダルモードに基づいてインタラクションモードを行い、同一人でないと判断されると、インタラクションモードの実行が不可能であることを表示するように構成されてもよい。

また、ディスプレイ装置は、音声認識及び視線認識モードを組み合わせた第２マルチモーダルモードを行う前に、音声を発声したユーザーと認識領域を注視するユーザーとが同一人であるか否か判断し、同一人として判断されると、第２マルチモーダルモードに基づいてインタラクションモードを行い、同一人でないと判断されれると、インタラクションモードの実行が不可能であることを表示するように構成されてもよい。

マルチモーダルモードによって動作命令を認識する構成をより具体的に説明すると、下記の通りである。

（１）ディスプレイ装置は、ユーザーによりモーション認識が選択された場合に、モーション認識モード及び視線認識モードを組み合わせた第１マルチモーダルモードを行う。この時、映像収集部２２０の動作を維持させ、認識領域に視線が位置するか否か判断し、認識領域に視線が位置していると判断されると、認識領域に視線が位置している状態でユーザーの取ったモーションを認識し、認識されたモーションに対応する動作命令を認識する。

すなわち、映像収集部２２０で収集された映像から背景領域を除去してユーザーの身体映像を獲得し、獲得されたユーザーの身体映像からエッジ、色情報を用いてユーザーの顔、腕、手、胴、脚及び足の領域を抽出し、抽出された顔、腕、手、胴、脚、足などから特徴点を抽出してユーザーの取ったモーションを認識し、認識されたモーションとマッチするモーションを、データベース部１５２に保存されたモーションから検索し、検索されたモーションに対応する動作命令を認識する。

次に、ディスプレイ装置は、認識された動作命令に基づいて各駆動部１５６，１５７を駆動させることによって、ユーザーの要求したコンテンツの映像をが表示部１１０に表示されるようにし、且つユーザーの要求したコンテンツのサウンドがサウンド出力部１４０から出力されるようにする。

その例を、図１１を参照して説明する。

図１１に示すように、ディスプレイ装置は、表示部の表示領域１１０ａに複数の機能を表示した状態で第１マルチモーダルモードが実行中であれば、映像収集部を用いてユーザーの視線及びモーションを認識する。

ユーザーが認識領域１１０ｂを注視し、同時に一本の指を伸ばしたモーションを取ったとすれば、ディスプレイ装置は、認識領域に位置する視線を認識すると同時に、一本の指を伸ばしたモーションを認識し、一本の指を伸ばしたモーションに対応する動作命令を認識する。

このとき、一本の指を伸ばしたモーションに対応する動作命令が「検索」であれば、ネットワークインターフェース部を介してインターネットに接続し、検索を可能にする。

（２）ディスプレイ装置は、ユーザーにより音声認識が選択された場合に、音声認識モード及び視線認識モードを組み合わせた第２マルチモーダルモードを行う。この時、サウンド収集部２３０を動作させ、認識領域に視線が位置するか否かを判断し、認識領域に視線が位置していると判断されると、認識領域に視線が位置している状態でユーザーの発声した音声を認識し、認識された音声に対応する動作命令を認識する。

すなわち、サウンド収集部２３０を動作させ、サウンド収集部２３０で収集されたサウンドからノイズを除去してユーザーの発声した音声を獲得し、ユーザーの発声した音声から特徴ベクトルを抽出し、抽出された特徴ベクトルとデータベース部１５２に保存された各単語の言語モデル又は音素単位の音響モデルとを比較することで候補単語又は候補音素を抽出し、候補単語又は候補音素に基づいて文章を認識し、該認識された文章とマッチする文章を、データベース部１５２に保存された文章から検索し、検索された文章に対応する動作命令を認識する。

続いて、ディスプレイ装置は、認識された動作命令に基づいて各駆動部１５６，１５７を駆動させることによって、ユーザーの要求したコンテンツの映像が表示部１１０に表示されるようにし、且つユーザーの要求したコンテンツのサウンドがサウンド出力部１４０から出力されるようにする。

その例を、図１１を参照して説明する。

図１１に示すように、ディスプレイ装置は、表示部の表示領域１１０ａに複数の機能を表示した状態で第２マルチモーダルモードが実行中であれば、映像収集部及びサウンド収集部を用いてユーザーの視線及び音声を認識する。

ユーザーが認識領域１１０ｂを注視し、同時に「サン」を発声したとすれば、ディスプレイ装置は、認識領域に位置する視線を認識すると同時に、音声「サン」を認識し、音声「サン」に対応する動作命令を認識する。

このとき、音声「サン」に対応する動作命令が「映画」であれば、ネットワークインターフェース部を介してダウンロードした映画や、別個の記憶装置に記憶された映画を再生したり、映画に関する下位目録を表示したりする。

ディスプレイ装置は、表示部にメイン映像表示中にインタラクションモードが実行されると、インタラクションモードに対応する映像をメイン映像にオーバーラップして表示する。

次に、ディスプレイ装置は、表示部１１０の終了領域に視線が一定時間以上位置すると、インタラクションモードを終了し、以降、ユーザーの視線が認識領域に再び位置すると、ユーザーのインタラクションモードの進入を再び行い、これを表示部に再び表示する。

図１２は、さらに他の実施例に係るディスプレイ装置の例示図である。さらに他の実施例に係るディスプレイ装置としてテレビを取り上げて説明する。

さらに他の実施例に係るディスプレイ装置であるテレビは、映像をディスプレイする本体１００、本体１００の下端に装着されて本体１００を下側で支持するスタンド１６０、及びユーザーに命令を入力してもらうためのリモコン１７０を備えている。

ここで、スタンド１６０は、分離可能に本体１００に結合されている。また、ディスプレイ装置であるテレビは、ブラケットなどをさらに備え、このブラケットを介して本体１００が壁に据え付けられるように構成されてもよい。このとき、スタンドは省かれてもよい。

本体１００は、映像を表示する表示部１１０と、映像が非表示される領域をカバーするベゼル１２０と、を備えている。このような本体１００の構成は上記の一実施例と同一であり、その説明を省略する。

本体１００は、テレビの動作命令を入力してもらうための、複数のボタンを持つ入力部（図示せず）をさらに備えてもよい。

収集モジュール２００は、本体１００のベゼル１２０の上側に配置されており、ユーザー及びその周辺の映像及びサウンドを獲得し、獲得された映像及びサウンドを駆動モジュールに伝送する。

収集モジュール２００は、本体１００のベゼル１２０の上端の他、ユーザーの情報を収集しやすい如何なる位置に装着されてもよい。

また、収集モジュール２００はテレビと個別に備えられてもよい。すなわち、収集モジュール２００は本体１００から分離可能に設けられ、本体１００に設けられたインターフェース装置（図示せず）に連結されることで本体１００に接続してもよい。

このような収集モジュール２００は、上記の一実施例と同一であり、その説明を省略する。

リモコン１７０は、ユーザーの便宜のために、テレビを遠隔で制御するための装置である。

テレビを遠隔調整するリモコンは、多数の機能選択ボタン、数字ボタン、電源オン／オフボタン、チャンネル切替ボタン及びボリューム調節ボタンなどを含む複数のボタン１７１と、ユーザーの音声信号を収集する第２マイクロフォン１７２と、複数のボタン１７１の信号及び音声信号を取り込んで動作信号を生成する第２マイコン（図示せず）と、第２マイコンで生成された動作信号を送信する通信部１７３と、第２マイクロフォン、複数のボタン、マイコン及び通信部に駆動電源を供給するバッテリーと、を備えている。

ここで、第２サウンド収集部１７２は常に動作状態を維持する。

このようなリモコン１７０は、テレビを視聴するユーザーの操作に対応して、チャンネル切替信号をテレビに伝送したり、ボリューム調節信号などの動作信号をテレビに伝送したりする。これにより、ユーザーはテレビの各種機能を便利に調整することができる。

なお、放送視聴及びインターネット可能なディスプレイ装置を制御するためのリモコンは、放送視聴を制御するためのボタンの他にも、インターネット機能を選択及び制御するための複数のボタンを有する。

図１３は、さらに他の実施例に係るディスプレイ装置であるテレビの制御構成図である。

さらに他の実施例に係るディスプレイ装置であるテレビは、ユーザーの命令を収集して生成されたインタラクション情報、本体１００に設けられた入力部（図示せず）からの信号、又はリモコン１７０からの信号に基づいて動作する。

このテレビは、ユーザーの命令を収集する収集モジュールとして映像収集部２２０及びサウンド収集部２３０を備え、ユーザーの命令に基づいて動作を制御するための駆動モジュール１８０を備え、動作実行を出力するための出力モジュールとして表示部１１０及びサウンド出力部１４０を備えている。

ここで、駆動モジュール１８０は、入力部（図示せず）からの信号又はリモコン１７０からの信号に基づいて、表示部１１０及びサウンド出力部１４０の少なくとも一方の動作を制御する。

すなわち、駆動モジュール１８０は、映像収集部２２０及びサウンド収集部２３０の少なくとも一方の収集部で収集された情報に基づいて、インタラクションモードの進入及び終了を制御し、インタラクションモード進入後にインタラクションモードを行い、表示部１１０及びサウンド出力部１４０の少なくとも一方の動作を制御する。

このようなテレビの駆動モジュール１８０は、放送部１８１、インターフェース部１８２、認識部１８３、データベース部１８４、受信部１８５、制御部１８６、保存部１８７及び駆動部１８８を備えている。

放送部１８１は、チューナー部１８１ａ及び信号処理部１８１ｂを備えている。

チューナー部１８１ａは、制御部１８６のチューニング制御信号に応じて対応の周波数帯域を持つ放送信号を放送局又は衛星から有線又は無線で受信してチューニングする。

信号処理部１８１ｂは、放送信号を、映像データを持つ映像信号と、サウンドデータを持つサウンド信号と、付加データを持つ付加信号とに分離し、分離された映像データの信号及びサウンドデータの信号をそれぞれ信号処理し、付加データをＧＵＩ生成部（図示せず）に伝送する。ここで、付加データはＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）を含む。

信号処理部１８１ｂは、ネットワークインターフェース部１８２ｂから伝送された信号を、映像データを持つ映像信号と、サウンドデータを持つサウンド信号とに分離し、分離された映像信号及びサウンド信号をそれぞれ信号処理してもよい。

インターフェース部１８２は、入力インターフェース部１８２ａ及びネットワークインターフェース部１８２ｂを備えている。

入力インターフェース部１８２ａは、収集モジュール２００が接続され、収集モジュール２００で収集された映像信号及びサウンド信号を受信して認識部１８３に伝送する。

ネットワークインターフェース部１８２ｂは、ＩＰアドレスの割り当てを受けてネットワーク通信を行い、ネットワークを介して外部から伝送されたデータパケットを受信して処理し、データパケットが映像、サウンドなどのマルチメディアデータである場合には保存や再生され得るように制御部１８６に伝送する。

認識部１８３は、ユーザーの顔及び瞳孔を認識した後、認識された瞳孔の情報に基づいてユーザーの視線を認識し、ユーザーの命令を認識する。

認識部１８３は、受信部１８５から伝送されたサウンド信号からユーザーの音声を認識し、認識された音声に対応する動作命令を認識する。

その他の認識部１８３の構成は、上記の一実施例と同一であり、その説明を省略する。

データベース部１８４は、上記の一実施例と同一であり、その説明を省略する。

受信部１８５は、リモコン１７０に設けられた複数のボタン１７１のうちいずれかのボタン信号、及びリモコン１７０に設けられた第２サウンド収集部１７２のサウンド信号を受信する。

受信部１８５は、受信したリモコンのボタン信号及びサウンド信号を認識部１８３及び制御部１８３に伝送する。

制御部１８６は、信号処理部１８１ｂで信号処理された映像データが表示部１１０に表示されるように制御し、信号処理されたサウンドがサウンド出力部１４０から出力されるように制御する。

制御部１８６は、リモコン１７０から伝達されるボタン信号に基づいてユーザー命令を判断し、判断されたユーザー命令に応じて表示部１１０の駆動を制御し、リモコン１７０からインターネット機能実行要請信号を受信すると、ネットワークインターフェース部を制御しインターネット接続されるようにし、認識領域にユーザーの視線が位置すると、収集モジュールの駆動を制御してインタラクションモードが実行されるようにする。

インタラクションモード進入、インタラクションモード実行を制御する制御部１８６の構成は、上記の一実施例と同一であり、その説明を省略する。

保存部１８７は、上記の一実施例と同一であり、その説明を省略する。

駆動部１８８は、表示駆動部１８８ａ及びサウンド駆動部１８８ｂを備えている。ここで、表示駆動部１８８ａ及びサウンド駆動部１８８ｂは上記の一実施例と同一であり、その説明を省略する。

図１４は、さらに他の実施例に係るディスプレイ装置であるテレビの制御フローチャートである。

まず、テレビは、電源が印加されると、映像収集部２２０を動作させて映像を収集し、収集された映像に基づいて顔を認識し、認識された顔に基づいてユーザーの瞳孔を認識し、瞳孔の位置に対応する視線を認識する（５０１）。

次いで、テレビは、認識された視線が認識領域に位置するか否か判断し（５０２）、認識された視線が認識領域に位置していると判断されると、認識された視線が認識領域をあらかじめ設定された一定時間以上注視しているか否か判断し（５０３）、この時、認識された視線が認識領域をあらかじめ設定された一定時間以上注視していると判断されると、インタラクションモードに進入し（５０４）、図１０の動作４０２と同様、インタラクションモードに進入することをユーザーが認識できるように、表示部１１０内の認識領域の表示情報を変更して表示する。

以上の過程は、上記の一実施例と同一である。

次に、テレビは、動作命令を入力してもらうための複数の認識モードを表示し（５０５）、ユーザーの視線の位置を確認した後、確認された視線の位置に基づいて、ユーザーにより選択された認識モードを判断する（５０６）。

すなわち、テレビは、複数の認識モードボタンの位置の中から、確認された視線の位置とマッチする位置を判断することによって、ユーザーの選択した認識モードを判断する。

この時、テレビは、ユーザーが視線の位置を確認できるように、表示部１１０にユーザーの視線の位置をカーソルで実時間表示する。

続いて、テレビは、判断された認識モードを実行し（５０７）、認識モード実行による認識結果に基づいて動作命令を認識し、認識された動作命令に基づいて各駆動部を動作させる（５０８）。

各認識モードの選択によって動作命令を認識する構成についてより具体的に説明する。

（１）テレビは、ユーザーによりモーション認識が選択された場合に、ユーザーの取ったモーションを認識し、データベース部１８４に保存されたモーションの中から、認識されたモーションとマッチするモーションを検索し、検索されたモーションに対応する動作命令を認識する。

続いて、テレビは、認識された動作命令に基づいて駆動部１８８を駆動させることによって、ユーザーの要求した放送又はコンテンツの映像が表示部１１０に表示されるようにし、且つユーザーの要求した放送又はコンテンツのサウンドがサウンド出力部１４０から出力されるようにする。

（２）テレビは、ユーザーにより音声認識が選択された場合に、第１サウンド収集部２３０を動作させ、第１サウンド収集部２３０又は第２サウンド収集部１７２で収集されたサウンド内の音声による文章を認識し、認識された文章とマッチする文章を、データベース部１８４に保存された文章から検索し、検索された文章に対応する動作命令を認識する。

次いで、テレビは、認識された動作命令に基づいて駆動部１８８を駆動させることによって、ユーザーの要求した放送又はコンテンツの映像が表示部１１０に表示されるようにし、且つユーザーの要求した放送又はコンテンツのサウンドがサウンド出力部１４０から出力されるようにする。

（３）テレビは、ユーザーにより視線認識が選択された場合に、映像収集部の動作を維持させ、表示部１１０にポップアップメニューを表示し、映像収集部２２０で収集された映像を用いてユーザーの顔及び瞳孔を認識し、認識された瞳孔に基づいて視線を追跡し、追跡された視線の位置を確認することによって、ポップアップメニューのうち、ユーザーにより選択されたメニューに対応する動作を行う。

ここで、ポップアップメニューは複数のメニューを有し、各メニューは、動作命令ボタンを有する。

すなわち、テレビは、ポップアップメニュー内の複数の動作命令ボタンの位置の中から、ユーザーの視線の位置とマッチする位置を有するボタンを確認し、確認されたボタンに対応する動作を行う。これを、図１５及び図１６を参照して説明する。

図１５に示すように、表示部１１０に、機能変更ボタン、チャンネル／ボリューム調整ボタン、認識モード変更ボタン、画面調整ボタン及び終了ボタンを有しているポップアップメニューＰ２が表示された場合に、各ボタンの位置の中から、視線の位置とマッチする位置を有するボタンを判断する。ここで、機能としては、放送機能、インターネット機能、外部機器との通信機能などを含む。

視線の位置がチャンネル／ボリューム調整ボタンの位置であれば、図１６に示すように、表示部１１０に、ボリューム調整のためのボリュームアップ／ダウンボタンａ５、チャンネル調整のためのチャンネルアップ／ダウンボタンａ６、及び視線の位置を表すカーソルａ４を表示する。

続いて、テレビは、ユーザーの視線の位置とボリュームアップ／ダウンボタンａ５又はチャンネルアップ／ダウンボタンａ６の位置とを比較し、チャンネル又はボリュームをアップさせたりダウンさせたりする。

なお、視線認識を用いたボタンの選択は、目の瞬き、又は視線がボタンに位置する時間に基づいて判断すればよい。

この時、テレビは、表示部に表示されるメイン映像に視線認識のためのボタンをオーバーラップして表示する。

次に、テレビは、表示部１１０の終了領域に視線が一定時間以上位置するとインタラクションモードを終了し、以降、ユーザーの視線が認識領域に再び位置すると、をユーザーの認識モード変更要求と判断し、複数の認識モードボタンを再表示する。

さらに、テレビは、表示部１１０の外部に視線が一定時間以上位置するとインタラクションモードを終了させてもよい。

１００ 本体
１１０ 表示部
１２０ ベゼル
１３０，１５０，１８０ 駆動モジュール
２００ 収集モジュール

Claims (13)

1. ユーザーの映像を収集する映像収集部と、
   前記ユーザーの音声を収集するサウンド収集部と、
   前記映像に基づいて前記ユーザーの視線を認識する認識部と、
   前記認識された視線があらかじめ設定された認識領域に位置するか否か判断し、前記認識された視線が前記あらかじめ設定された認識領域に位置すると、インタラクションモードの進入を制御する制御部と、
   前記インタラクションモードに対応する映像を表示する表示部と、
   を備え、
   前記制御部は、前記インタラクションモードに進入すると、前記ユーザーとのインタラクションのための複数の認識モードの選択肢を前記表示部に表示するよう制御し、前記認識された視線の位置に基づいて前記複数の認識モードの選択肢のいずれか一つに対応する認識モードを選択し、前記選択された認識モードに基づいて前記映像収集部又は前記サウンド収集部のいずれか一方を活性化するよう制御し、前記選択した認識モードによる前記ユーザーの動作命令を判断し、該判断された動作命令に基づいて前記表示部の動作を制御し、
   前記複数の認識モードは、モーション認識モード、音声認識モード、視線認識モードを含む、ディスプレイ装置。
2. 前記表示部は、前記あらかじめ設定された認識領域を表示する、請求項１に記載のディスプレイ装置。
3. 前記制御部は、前記視線が認識されると、前記あらかじめ設定された領域の表示情報を、前記視線を認識する前と異なる表示情報で表示する、請求項２に記載のディスプレイ装置。
4. 前記表示部は、前記認識された視線の位置をカーソルで表示する、請求項１に記載のディスプレイ装置。
5. 前記認識部は、前記モーション認識モードが選択されると、前記映像に基づいて前記ユーザーのモーションを認識し、
   前記制御部は、前記認識されたモーションに対応する動作命令を判断し、該判断された動作命令に基づいて前記表示部の駆動を制御する、請求項１に記載のディスプレイ装置。
6. 前記認識部は、前記音声認識モードが選択されると、前記ユーザーの音声を認識し、
   前記制御部は、前記認識された音声に対応する動作命令を判断し、該判断された動作命令に基づいて前記表示部の駆動を制御する、請求項１に記載のディスプレイ装置。
7. 前記認識部は、前記ユーザーの顔を認識し、
   前記制御部は、前記認識されたユーザーがあらかじめ登録されたユーザーであるか否か判断し、前記認識されたユーザーがあらかじめ登録されたユーザーであれば、前記ユーザーの視線認識を制御し、前記認識されたユーザーが複数であれば、あらかじめ保存された優先順位に基づいて優先順位の最も高いユーザーの視線認識を制御する、請求項１に記載のディスプレイ装置。
8. 前記制御部は、
   前記認識された視線があらかじめ設定された終了領域に位置するか否か判断し、
   前記認識された視線が前記あらかじめ設定された終了領域に位置すると、インタラクションモードが終了するように制御する、請求項１に記載のディスプレイ装置。
9. 前記認識部は、
   前記映像に基づいてユーザーの視線を認識する第１認識部と、前記ユーザーのモーション又は音声のうち少なくとも一方の信号を認識し、認識された少なくとも一方の信号に対応する前記ユーザーの動作命令を認識する第２認識部と、を備え、
   前記制御部は、
   前記あらかじめ設定された領域に視線が位置する状態でモーションが認識されると、該認識されたモーションに対応する動作命令を確認し、確認された動作命令に対応する機能の実行を制御し、及び／又は
   前記あらかじめ設定された領域に視線が位置する状態で音声が認識されると、該認識された音声に対応する動作命令を確認し、確認された動作命令に対応する機能の実行を制御する、請求項１に記載のディスプレイ装置。
10. 外部のリモコンから伝送されたサウンド信号を受信する通信部をさらに備え、
    前記第２認識部は、前記受信したサウンド信号から音声を認識する、請求項９に記載のディスプレイ装置。
11. 外部の放送信号を受信するチューナー部と、
    前記放送信号を、映像情報を持つ映像信号とサウンド情報を持つサウンド信号とに分離し、分離された映像信号とサウンド信号をそれぞれ信号処理する信号処理部と、
    をさらに備え、
    前記表示部は、前記あらかじめ設定された認識領域、チャンネルボタン及びボリュームボタンを表示し、前記認識された視線の位置をカーソルで表示し、
    前記制御部は、前記表示部の領域外部に前記ユーザーの視線が位置すると、前記インタラクションモードが終了するように制御する、請求項１に記載のディスプレイ装置。
12. ユーザーの視線を認識し、
    前記認識された視線があらかじめ設定された認識領域に位置するか否か判断し、
    前記認識された視線が前記あらかじめ設定された認識領域に一定時間位置すると、インタラクションモードに進入し、
    前記インタラクションモードに進入すると、前記ユーザーとのインタラクションのための複数の認識モードの選択肢を表示し、
    前記表示された複数の認識モードの選択肢の中から、前記認識された視線が位置する選択肢に対応する認識モードを判断し、
    前記判断された認識モードに基づいて映像収集部又はサウンド収集部のいずれか一方を活性化するよう制御し、
    前記判断された認識モードによる前記ユーザーの動作命令を認識し、
    前記認識された動作命令に対応する機能を実行し、
    前記複数の認識モードは、モーション認識モード、音声認識モード、視線認識モードを含む、ディスプレイ装置の制御方法。
13. 前記インタラクションモードに進入すると、前記あらかじめ設定された認識領域を他の表示情報で表示することをさらに含む、請求項１２に記載のディスプレイ装置の制御方法。