JP5260643B2 - ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 - Google Patents

Description

本発明は、複数人により操作される大画面ディスプレイ向けのユーザインターフェース装置に関する。

ディスプレイの大画面化・薄型化に伴い、ＴＶを単に番組や映画などを視聴するために利用するだけでなく、複数の情報の同時利用、大量の情報の一覧、実物大の臨場感を利用したコミュニケーション、常に情報を提示する掲示板、壁紙や額縁のような室内装飾、といった新しい利用方法への可能性が広がりつつある。

また、家庭内ネットワークの立ち上がりとともに、ネットワークを介して各機器で検知されたユーザの操作履歴や状態を共有し、総合的にユーザのコンテキスト・状況をセンシングすることも現実味を帯びてきている。

このような状況下で、従来の番組や映画を視聴するだけでなく、上記のような新しい利用方法を実現するためには、より複雑な機能を簡単に利用できるようにする必要がある。このため、直感的に行える新しい操作方式、及びユーザセンシング情報に基づきユーザの状況や意図を汲み先回りすることで、ユーザの明示的な操作量・負担を軽減する自律動作方式の実現が必要となる。また、リビングルームなどの家族の共有空間に設置されるＴＶの特徴を活かしつつ、受身的に視聴するのみでない使い方に対応するために、複数人による操作を前提とした入力方式、操作体系を採用することが望まれる。

従来のリモコンに代わる新しい操作方式として、ユーザはリモコンなどの機器を保持することなく、また特殊な装置を装着することなく、手振りや身振りで手軽にユーザの意図する情報を入力できる入力装置が開発されている。この種の装置では、高い操作性を実現するために、操作に対する適切なフィードバックをユーザに与えることが重要である。

このようなフィードバックを提示する装置として、例えば、下記の特許文献１には、画像処理対象の物体が画像処理可能な適正範囲にあるか否かを判定する手段と、物体が適正範囲にないと判定された場合、所定の視覚的情報および聴覚的情報の少なくとも一方を提示する手段とを備えるユーザインターフェース装置が開示されている。この装置は、例えば、適正範囲から遠方にはずれている場合、カーソルを小さく及び／または薄く表示し、近傍にずれている場合、カーソルを大きく表示し、左方にはずれている場合、カーソルの左方の端を歪ませて表示する。

特許第３８１９０９６号公報

上記の従来の技術は、物体検出のための受光装置は固定的に設置されるため、ユーザの手などを正常に検出可能な範囲が限定されることを課題として設定し、ユーザと受光装置との位置関係に応じてジェスチャ入力の適正範囲からのずれをフィードバックする。これに対して、物体検出のための受光装置を複数配置することにより検出可能な範囲を拡大させるという方法もある。ディスプレイの大画面化やカメラの普及などにより、物体検出のための受光装置を複数配置することは現実的となっており、ユーザの操作範囲を十分に確保することは可能である。

さらに、上記の従来の技術は、画面の前に複数のユーザがいる場合に、ユーザ間の位置関係を考慮してフィードバックを与えることはない。しかし、例えば、所定のジェスチャによりメニューを画面上に表示させる場合、複数のユーザが近づきすぎた位置で、メニューを出す所定のジェスチャを同時に行った場合、メニューが一部重なって表示されてしまうなどの不具合が生じうる。また、画面上で複数のユーザが各々のワークスペースに対して視聴、操作をしている場合、自身のワークスペースに熱中しすぎて、周囲のユーザのワークスペースに不用意に侵入してしまったりすることが起こりうる。

本発明は、前記従来の課題を解決するもので、ユーザインターフェース装置で複数の処理が平行して実行されている場合に、一方の処理が他方の処理に干渉するのを防止するインターフェース装置を提供することを目的とする。

本発明の一形態に係るユーザインターフェース装置は、アプリケーションプログラムを制御するインターフェースとなる作業領域を、ユーザに提供する。具体的には、前記ユーザに割り当てられた第１の作業領域、及び前記第１の作業領域と異なる第２の作業領域を表示する表示部と、前記ユーザの位置を検出する検出部と、前記第１の作業領域を通じて前記ユーザに制御される前記アプリケーションプログラムの種類に応じて、前記ユーザと前記第２の作業領域との間の適正距離を算出する算出部と、前記検出部によって検出された前記ユーザの位置と前記第２の作業領域との距離が、前記算出部によって算出された前記適正距離より短くなったことを前記ユーザに通知する通知部とを備える。

上記構成によれば、第１の作業領域で作業中のユーザが、隣接する第２の作業領域に誤って侵入してしまうのを未然に防止することができる。その結果、隣り合って作業しているユーザ同士が常に適正距離を保った状態で作業することができる。ただし、本発明は、ユーザインターフェース装置を複数のユーザで共用している場合に限定されない。例えば、ユーザが利用できないシステム領域を第２の作業領域としてもよい。

さらに、前記検出部は、前記ユーザが前記アプリケーションプログラムを制御するために行うジェスチャを検出する。前記表示部は、前記検出部によって検出された前記ジェスチャの位置に対応する位置に、前記ジェスチャの妥当性をユーザに伝えるためのフィードバック表示を表示する。そして、前記通知部は、前記フィードバック表示の表示態様を変化させることによって、前記ユーザの位置と前記第２の作業領域との距離が前記適正距離より短くなったことを前記ユーザに通知してもよい。

具体的には、前記通知部は、前記ユーザの位置が前記第２の作業領域に近付く程、前記フィードバック表示を小さく及び／又は薄く表示してもよい。これにより、適正距離を保っているか否かを、ユーザにリアルタイムに通知することができる。なお、本明細書中の「ユーザの位置」とは、例えば、ユーザの重心位置であってもよいし、ジェスチャの位置（ジェスチャをしている手の位置）であってもよい。どちらの場合であっても、検出部によって検出することが可能である。

また、前記第１の作業領域は、前記ユーザの動きに追従して前記表示部内を移動するウインドウであってもよい。そして、前記通知部は、前記ユーザが前記第２の作業領域に近付く程、前記ウインドウの追従度を低下させてもよい。これによっても、適正距離を保っているか否かを、ユーザにリアルタイムに通知することができる。

さらに、前記算出部は、前記ユーザの身体的特徴に応じて前記適正距離を算出してもよい。例えば、前記算出部は、前記ユーザの身長が高いほど、又は前記ユーザの腕の長さが長いほど、前記適正距離を長くしてもよい。または、前記算出部は、前記ユーザの利き手が前記第２の作業領域に近い側に位置する場合に、遠い側に位置する場合より前記適正距離を長くしてもよい。

さらに、前記算出部は、前記第１の作業領域を通じて前記ユーザに制御されるアプリケーションプログラムと、前記第２の作業領域を通じて他のユーザに制御されるアプリケーションプログラムとの類似度又は関連度が高いほど、前記適正距離を短くしてもよい。

さらに、前記算出部は、前記第１の作業領域で作業する前記ユーザと、前記第２の作業領域で作業する他のユーザとの関係に基づいて、前記適正距離を算出してもよい。例えば、前記算出部は、前記ユーザが前記他のユーザよりも社会的に上位である場合に、社会的に下位である場合よりも前記適正距離を短くしてもよい。

さらに、前記検出部は、前記ユーザ及び前記他のユーザの発する音声を検出する。そして、前記算出部は、前記検出部によって検出された発話量から前記ユーザ及び前記他のユーザの関係を推定してもよい。

例えば、前記通知部は、音声により通知してもよい。または、前記通知部は、照明により通知してもよい。さらには、前記通知部は、前記ユーザが保持する携帯機器を通じて通知してもよい。

本発明の一形態に係るユーザインターフェース方法は、ユーザに割り当てられた第１の作業領域、及び前記第１の作業領域と異なる第２の作業領域を表示する表示部を用いて、前記第１の作業領域を通じて前記ユーザにアプリケーションプログラムを制御させる。具体的には、前記ユーザの位置を検出する検出ステップと、前記第１の作業領域を通じて前記ユーザに制御される前記アプリケーションプログラムの種類に応じて、前記ユーザと前記第２の作業領域との間の適正距離を算出する算出ステップと、前記検出ステップで検出された前記ユーザの位置と前記第２の作業領域との距離が、前記算出ステップで算出された前記適正距離より短くなったことを前記ユーザに通知する通知ステップとを含む。

本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、上記記載のユーザインターフェース方法を、コンピュータに実行させるプログラムを記録している。なお、本発明は、ユーザインターフェース装置として実現できるだけでなく、ユーザインターフェース装置の機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

本発明のユーザインターフェース装置によれば、ユーザが第２の作業領域に近付き過ぎていることを通知するので、第１の作業領域で作業中のユーザが、隣接する第２の作業領域に誤って侵入してしまうのを未然に防止することができる。

図１Ａは、本発明の一実施形態におけるユーザインターフェース装置の外観と関連機器とのインターフェースの一例を説明する図である。 図１Ｂは、本発明の一実施形態におけるユーザインターフェース装置の構成を示す機能ブロック図である。 図２Ａは、本発明の一実施形態におけるユーザインターフェース装置の設置例を説明する図である。 図２Ｂは、本発明の一実施形態におけるユーザインターフェース装置の他の設置例を説明する図である。 図２Ｃは、本発明の一実施形態におけるユーザインターフェース装置の他の設置例を説明する図である。 図３は、本発明の一実施形態におけるユーザインターフェース装置の構成を示す機能ブロック図である。 図４Ａは、本発明の一実施形態におけるユーザ情報データベースを説明する図である。 図４Ｂは、ユーザ情報データベースに含まれる基本属性情報の例を示す図である。 図４Ｃは、ユーザ情報データベースに含まれる身体特徴情報の例を示す図である。 図４Ｄは、ユーザ情報データベースに含まれる人間関係情報の例を示す図である。 図５Ａは、本発明の一実施形態におけるユーザ位置の検出方法の概略を説明する図である。 図５Ｂは、ユーザ位置の検出方法の一例であるステレオ視の原理を説明する図である。 図６Ａは、本発明の一実施形態におけるユーザインターフェース装置において、ユーザが表示部に平行に移動した場合の動作例を説明する図である。 図６Ｂは、本発明の一実施形態におけるユーザインターフェース装置において、ユーザと表示部との距離が変化した場合の動作例を説明する図である。 図６Ｃは、本発明の一実施形態におけるユーザインターフェース装置において、ユーザの身体的特徴に応じた動作例を説明する図である。 図７Ａは、本発明の一実施形態におけるフリーハンドジェスチャの検出方法の概略を説明する図である。 図７Ｂは、本発明の一実施形態におけるフリーハンドジェスチャの検出処理の手順を示す図である。 図８は、本発明の一実施形態におけるユーザインターフェース装置の処理の概略を示すフローチャートである。 図９は、本発明の一実施形態におけるユーザインターフェース装置のフィードバックの一例を説明する図である。 図１０Ａは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１０Ｂは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１０Ｃは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１１Ａは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１１Ｂは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１１Ｃは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１２Ａは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１２Ｂは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１３Ａは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１３Ｂは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１３Ｃは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１４Ａは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１４Ｂは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。 図１４Ｃは、本発明の一実施形態におけるユーザインターフェース装置の動作例を説明する図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

１ 概要
本発明のユーザインターフェース装置は、例えば、映像表示部を複数の作業領域に分割して、複数のユーザが各々に割り当てられた作業領域を通じてアプリケーションプログラム（以下「アプリケーション」という）の制御を行う装置である。

２ 構成
図１Ａは、本発明のユーザインターフェース装置の外観と関連機器とのインターフェースの一例を説明する図である。ユーザインターフェース装置は、１以上のユーザ検出カメラなどを含む。ユーザ検出カメラにより撮影された画像情報の解析により検出されるユーザの位置及び動きにより映像表示部上の表示を制御する。

ジェスチャ入力リモコンを保持したユーザの手の動きや同リモコン上に配置されたボタンの押下といったユーザのリモコン操作に基づき、映像表示部上の表示を制御してもよい。

また、ユーザインターフェース装置は、静電式のタッチパッドを備えたタッチテーブルの入力を受け付けるようにしてもよい。これにより、ユーザは、さらに多様な入力方式をユーザの状況やアプリケーションの種類に応じて使い分けることができる。

また、ユーザインターフェース装置は、その他の家電機器、例えば、デジタルスチルカメラ、デジタルカムコーダなどと無線、ルータ／ハブなどを介してネットワーク接続されている。

図１Ａでは示していないが、ユーザインターフェース装置における複数のスピーカーは、映像表示部の上端と下端、左端と右端というように離れて配置されてもよい。

次に、図１Ｂを参照して、本発明の一実施の形態に係るユーザインターフェース装置１の構成を詳細に説明する。図１Ｂは、ユーザインターフェース装置１のブロック図である。

まず、ユーザインターフェース装置１は、表示部２と、検出部３と、算出部４と、通知部５とを備える。なお、表示部２は図１Ａに示される映像表示部に、検出部３は図１Ａに示されるユーザ検出カメラに対応していてもよい。

このユーザインターフェース装置１は、アプリケーションを制御するインターフェースとなる作業領域を表示部２上に表示する。この作業領域は、ユーザ各々に割り当てられており、ユーザは、作業領域を通じてアプリケーションを制御することができる。典型的な使用形態としては、表示部２上に第１及び第２の作業領域が互いに隣り合って位置しており、第１のユーザが第１の作業領域を通じて、第２のユーザが第２の作業領域を通じて、それぞれアプリケーションを制御するようなシチュエーションが考えられる。

作業領域を通じて制御されるアプリケーションは特に限定されないが、例えば、表示部２上に絵を描く「お絵描きアプリケーション」、表示部２上に映像データを表示させる「再生アプリケーション」、及び実行するアプリケーションを選択するための「メニュー画面」等が考えられる。

また、これらのアプリケーションは、表示部２の前で所定のジェスチャをすることによって、制御（操作）することができる。例えば、掌を表示部２に向けて所定時間静止させることで、「メニュー画面」を表示させる。または、「お絵描きアプリケーション」を実行中に、人差し指を立てた状態で手を動かすと、手の動きに沿って表示部２に線が描かれる等が考えられる。さらに、「再生アプリケーション」は、例えば、映像を表示するウインドウを、ユーザに追従して移動させる「Ｓｔａｙ−ｗｉｔｈ−Ｍｅ ＴＶ」であってもよい。

表示部２は、例えば、大型の表示パネルである。表示パネルとしては、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等、既存のあらゆる表示パネルを採用することができる。この表示部２は、複数のユーザそれぞれに割り当てられる複数の作業領域に区分されている。

表示部２は、検出部３によって検出されたジェスチャの位置に対応する位置に、ジェスチャの妥当性をユーザに伝えるためのフィードバック表示を表示させてもよい。例えば、表示部２上のユーザの手に対応する位置に手形を表示し、この手形の濃淡、又はサイズによってジェスチャの妥当性をフィードバックしてもよい。

ここで、「ジェスチャの妥当性」とは、手の形が所定のルールに合致しているか否か等であってもよいが、本発明では、主に、ジェスチャが適切な位置で行われているか否かをフィードバックする態様を説明する。より具体的には、上述の第１及び第２のユーザが互いに隣り合ってアプリケーションを操作している場合において、第１のユーザが第２の作業領域に近付きすぎるのを防止する方法について説明する。

検出部３は、表示部２の前に位置するユーザの位置を検出する。さらには、表示部２の前に位置するユーザを識別したり、各ユーザのジェスチャを検出したり、各ユーザの発話量を検出したりしてもよい。この検出部３は、例えば、ユーザ検出カメラ等の撮影部と、撮影部で撮影された画像を解析して、ユーザの位置等を検出する解析部とで構成される。

算出部４は、第１のユーザと第２の作業領域との間の適正距離を算出する。この適正距離は、例えば、第１の作業領域を通じて第１のユーザに制御されているアプリケーションの種類に基づいて算出される。さらには、第１のユーザの身体的特徴、第１及び第２の作業領域それぞれを通じて制御されているアプリケーションの類似度や関連度、第１及び第２のユーザの人間関係（主従関係）等を考慮して、適正距離を算出してもよい。

算出部４は、第１の作業領域で実行されるアプリケーションの種類に応じて、第１のユーザと第２の作業領域との間の適正距離を算出する。例えば、「メニュー画面」や「再生アプリケーション」を実行する場合は、当該画面の幅に基づいて適正距離を算出すればよい。また、算出部４は、第１の作業領域を通じて制御されるアプリケーションと、第２の作業領域を通じて制御されるアプリケーションとの類似度又は関連度が高いほど、適正距離を短くしてもよい。

また、算出部４は、ユーザの身体的特徴に応じて適正距離を算出してもよい。例えば、「お絵描きアプリケーション」を実行する場合には、第１のユーザの腕の長さを適正距離とすればよい。その他、ユーザの身長が高いほど、又は腕の長さが長いほど、適正距離を長くすることが考えられる。または、ユーザの利き手が第２の作業領域に近い側に位置する場合に、遠い側に位置する場合より適正距離を長くすることも考えられる。

さらに、算出部４は、第１の作業領域で作業する第１のユーザと、第２の作業領域で作業する第２のユーザとの関係に基づいて、適正距離を算出してもよい。例えば、第１のユーザが第２のユーザよりも社会的に上位である場合に、社会的に下位である場合よりも適正距離を短くすることが考えられる。このとき、例えば、検出部３によって検出された発話量から第１のユーザ及び第２のユーザの関係を推定してもよい。

通知部５は、検出部３で検出されたユーザと、当該ユーザに割り当てられた作業領域に隣接する作業領域との距離が、適正距離より短くなったことを当該ユーザに通知する。なお、通知する方法は特に限定されないが、表示部２の表示によって通知する方法、音声により通知する方法、照明により通知する方法、及びユーザが保持する携帯機器を通じて通知する方法等、あらゆる通知方法を採用することができる。

一形態として、通知部５は、フィードバック表示の表示態様を変化させることによって、ユーザの位置と隣の作業領域との距離が適正距離より短くなったことをユーザに通知してもよい。例えば、適正距離より遠い場合は手形を濃く（若しくは、大きく）表示し、適正距離より近い場合は手形を薄く（若しくは、小さく）表示すればよい。

また、他の形態として、「Ｓｔａｙ−ｗｉｔｈ−Ｍｅ ＴＶ」を実行している場合、通知部５は、ウインドウの追従度を変化させることによって、ユーザの位置と適正距離との関係を通知してもよい。例えば、ユーザと隣の作業領域との距離が適正距離より遠い場合は追従度を最大とし、適正距離より近い場合には追従度を順次低下させればよい。

図２Ａ〜図２Ｃは、本発明のユーザインターフェース装置の設置の一例を説明する図である。ユーザ検出カメラは、図２Ａに示されるように、映像表示部の周囲に設置されたものだけでなく、図２Ｂに示されるように、映像表示部が設置されている空間の壁や天井に設置されてもよい。さらには、映像表示部の周囲に設置されたものと壁や天井に設置されたものとを併用してもよい。また、図２Ｃに示されるように、床圧力センサを床に敷設すれば、ユーザ検出カメラの画像を解析せずとも前記床圧力センサの出力からユーザの位置を精度良く検出することができる。

図３は、本発明の好ましい実施形態におけるユーザインターフェース装置１０の構成例を示す図である。

ユーザインターフェース装置１０は、ユーザ検出カメラ１１と、ユーザ識別部２１と、ユーザ位置検出部２２と、ユーザ動作検出部２３と、適正位置算出部２４と、表示制御部２５と、映像表示部３１とを備える。

なお、この実施形態では、ユーザ検出カメラ１１、ユーザ識別部２１、ユーザ位置検出部２２、及びユーザ動作検出部２３で、図１Ｂに示される検出部３を構成する。また、適正位置算出部２４は図１Ｂに示される算出部４に、表示制御部２５は図１Ｂに示される通知部５に、映像表示部３１は図１Ｂに示される表示部２にそれぞれ対応する。

図４Ａ〜図４Ｄは、ユーザ情報ＤＢ（データベース）のデータ構成の概略を説明する図である。

図３には示されていないが、ユーザインターフェース装置１０は、基本属性情報、身体特徴情報、および人間関係情報などを格納するユーザ情報ＤＢを備えるとよい。基本属性情報は、例えば、図４Ｂに示されるように、氏名、性別、年齢、続柄などである。この基本属性情報は、例えば、ユーザ識別部２１が、映像表示部３１の前に位置するユーザを識別する際に参照してもよい。

また、ユーザ情報ＤＢに格納される身体特徴情報は、図４Ｃに示されるように、立位での身長と目の高さ、座位での身長と目の高さ、利き手、利き目、視力、聴力など、ユーザの姿勢別の身体形状、および視聴能力などを含む。この身体特徴情報は、例えば、適正位置算出部２４が、適正位置を算出する際の参考情報として参照してもよい。

さらに、ユーザ情報ＤＢに格納される人間関係情報は、例えば、図４Ｄに示されるように、該データベースに登録済みのユーザ間の親密度を０．０〜１．０で格納している。この人間関係情報は、例えば、適正位置算出部２４が、適正位置を算出する際の参考情報として参照してもよい。具体的には、この親密度に基づいて、各ユーザに対応する画面上のワークスペースあるいはウインドウの主従関係を規定したり、フィードバックを制御することができる。

ユーザ検出カメラ１１は、映像表示部３１の周囲に設置されたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサである。ユーザ検出カメラ１１は、映像表示部３１の前方に存在するユーザを撮影する。

２．１ ユーザ識別部
ユーザ識別部２１は、例えば、ユーザ検出カメラ１１の画像から顔領域の抽出を行う。そして、あらかじめ登録された顔画像と抽出した顔画像との照合を行うことで、ユーザを特定するユーザ識別情報を出力する。

２．２ ユーザ位置検出部
ユーザ位置検出部２２は、例えば、ユーザ検出カメラ１１で撮影した複数の映像からユーザ領域の抽出を行う。そして、複数の映像におけるユーザ領域の対応関係からステレオ視の原理により、ユーザと映像表示部３１との相対位置を算出する。

図５Ａ及び図５Ｂは、本発明の一実施形態におけるユーザ位置検出部２２におけるステレオ視の原理に基づくユーザ位置算出方法を説明する図である。

図５Ａに示すように、２台１組のユーザ検出カメラ１１を、間隔Ｂをおいて映像表示部３１の画面に対して平行に設置する。ユーザ位置検出部２２は、それぞれのユーザ検出カメラ１１で撮影された画像内の対応するユーザ領域の位置のずれを基に、ユーザと映像表示部３１の画面との距離Ｄを算出する。

各ユーザ検出カメラ１１で撮影された画像内のユーザが写っている領域の抽出は、例えば、あらかじめユーザのいない状態でそれぞれのユーザ検出カメラ１１で撮影した画像を保存しておき、ユーザが現れたときの画像との差分を求めることにより実現できる。また、顔画像検出及び顔画像の照合によりユーザの顔領域を求め、この顔領域をユーザ領域とすることもできる。

図５Ｂは、二つの画像上の対応するユーザ領域を基に、ユーザとユーザ検出カメラ１１の設置面（映像表示部３１の画面）との距離Ｄを求めるステレオ視の原理を示したものである。２台のユーザ検出カメラ１１で撮影された画像それぞれで対応するユーザ領域を位置測定対象とすると、その像は二つの画像上に図５Ｂに示すように投影される。対応する像の画像上のずれをＺとすると、ユーザ検出カメラ１１の焦点距離ｆとユーザ検出カメラ１１の光軸間の距離Ｂとから、ユーザと映像表示部３１との距離Ｄは、Ｄ＝ｆ×Ｂ／Ｚで求められる。また、映像表示部３１の画面に平行な方向のユーザ位置については、画像中のユーザ領域の位置と上記の距離Ｄとを基に求めることができる。ユーザ位置検出部２２は、このようにして求めた映像表示部３１に対するユーザの相対的な位置を出力する。

このユーザ位置情報に基づいて、例えば、当該ユーザに提示すべき情報の映像表示部３１の画面上の表示位置を決定することで、図６Ａ及び図６Ｂに示すように、ユーザが動いても常にユーザから見やすい位置にワークスペース、ウインドウ、情報を提示し続けることが可能である。これは、ユーザについてくるＴＶ（Ｓｔａｙ−ｗｉｔｈ−Ｍｅ ＴＶ）といえる。

例えば、図６Ａに示すように、ユーザが映像表示部３１の前方で移動すれば、ユーザの位置に近い画面上の位置に情報を表示するようにすることができる。また、図６Ｂに示すように、ユーザが映像表示部３１に対して近づく、または遠ざかる場合は、情報の表示サイズを縮小または拡大し、ユーザにとって見やすい大きさで表示することができる。さらに、図６Ｃに示すように、各ユーザの顔の高さ位置に応じて、見やすい高さに情報を表示するようにすることができる。

なお、ユーザ検出カメラ１１として、光波測距（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）の原理により距離情報を出力する距離画像センサを用いてもよい。ユーザ位置検出部２２は、距離画像センサを得ることにより容易に映像表示部３１に対するユーザの相対位置を算出することができる。

また、図２Ｃに示すように、空間に床圧力センサが設置されていれば、ユーザ位置検出部２２は、ユーザ検出カメラ１１の情報を入力とせずとも、床圧力センサの出力値を入力として、映像表示部３１に対するユーザの相対位置を算出することができる。

２．３ ユーザ動作検出部
ユーザ動作検出部２３は、ユーザの手領域を抽出した後、手の位置と手の形状とがあらかじめ規定されたどの形状に合致するか照合して、例えば「グー」「パー」「右選択」「左選択」などの手形状情報を出力する。

図７Ａ及び図７Ｂは、本発明の一実施形態におけるユーザ動作検出部２３における手位置及び手形状の検出方法を示したものである。

ユーザ動作検出部２３は、図７Ａに示すように、ユーザ検出カメラ１１で撮影された画像から、まずは人物位置を検出し、人物位置の周辺で手位置及び手形状の検出を行う。手位置及び手形状の推定の方法としては、例えば、以下の方法を用いることで推定できる。以下、図７Ｂを用いて説明する。

まず、オフライン処理として、ユーザ動作検出部２３は、検出したい手の学習画像を大量に用意する（Ｓ５０１）。学習画像における照明環境、向きなどの条件は、実際に検出する環境になるべく沿った条件のものを揃えるのが望ましい。次に、Ｓ５０１で用意した学習画像から、主成分分析を用いて手の主成分を構成する固有空間を作成する（Ｓ５０２）。また、検出したい手のサンプルとして手のテンプレート画像を用意する。テンプレート画像は、用意した手の平均画像でもよいし、グー、パーなど、いくつかの手の画像を用意してもよい。作成した固有空間への射影行列および、手のテンプレート画像を手テンプレートデータベースに格納する（Ｓ５０３）。

次に、実際の検出を行うオンライン処理について説明する。

まず、ユーザ検出カメラ１１が、映像表示部３１の前方に存在するユーザを撮影する(Ｓ５０４)。ユーザ動作検出部２３は、ユーザ検出カメラ１１で撮影された画像から顔領域の検出を行う(Ｓ５０５)。

ユーザ動作検出部２３は、Ｓ５０５で顔領域が検出されると、その領域の周辺で手の検出を行う。顔領域の周辺において、用意した手のテンプレートに類似した領域を、手テンプレートデータベースに格納した手のテンプレート画像を用いて走査する（Ｓ５０６）。顔の周辺領域の決定は、顔位置を基準としてあらかじめ設定したサイズの範囲でもよい。または、ユーザ検出カメラ１１を２つ用いたステレオ視の原理により、顔の周辺領域で顔と奥行き距離が近い領域を走査して探索範囲を削減してもよい。

マッチングを行うための類似度の計算としては、ここではまず切り出した手の候補領域画像と、手のテンプレート画像とをあらかじめ用意した固有空間への射影行列を使って固有空間に射影する。そして、固有空間上での両者の距離を比較する手法を行う。手の主成分を表す空間上で距離を比較することで、背景などノイズの影響を低減した検出が可能である。探索領域内で、あらかじめ定めた閾値を満たし、かつ最も手テンプレートに近い距離が得られた領域を手の位置とする。また最も距離が近い手テンプレートの形状（例えばグー、パー等）を手の形状とする（Ｓ５０７）。

一方、探索領域内で閾値を満たす領域が無い場合には、手を出していないものとして検出を終了する。

この例では、手位置及び手形状の検出にテンプレートマッチングの手法を用いたが、その他の手法、例えば、ブースティング（Ｂｏｏｓｔｉｎｇ）などの手法を用いてもよい。

本発明のユーザインターフェース装置１０に適用されるアプリケーションは、例えば、当該ユーザに複数の選択肢と各選択肢に対応した手位置及び手形状とを予め対応付けておく。そして、ユーザ動作検出部２３によって検出されたユーザの手位置及び手形状の変化に応じて、対応する選択肢が選ばれたことを判断することができる。

２．４ 適正位置算出部
適正位置算出部２４は、ユーザ識別部２１が出力するユーザ識別情報、ユーザ位置検出部２２が出力するユーザ位置、ユーザ動作検出部２３が出力する手位置及び手形状情報を入力情報として、ユーザの周囲のユーザもしくは周囲のワークスペースとの適正距離を算出し、ユーザの適正位置を規定する。

２．５ 表示制御部
表示制御部２５は、適正位置算出部２４で規定されたユーザの適正位置に基づいて、映像表示部３１に表示されるアプリケーションを制御する。具体的な制御の方法については、下記の「３ 動作」で説明する。

３ 動作
図８は、本発明の一実施形態におけるユーザインターフェース装置１０の処理の概略を示すフローチャートである。

まず、ユーザ識別部２１は、ユーザ検出カメラ１１によって撮影された画像からユーザの顔を検出する。そして、あらかじめ登録されたユーザ情報ＤＢに格納される身体特徴情報との照合により、ユーザ識別を行う（Ｓ６０１）。次に、識別された各ユーザに対して、ユーザ位置検出部２２はユーザ位置情報を、ユーザ動作検出部２３は手位置及び手形状情報をそれぞれ算出する（Ｓ６０２）。

ユーザインターフェース装置１０を操作するユーザが２人以上識別された場合（Ｓ６０３のＹＥＳ）、適正位置算出部２４は、ユーザの適正位置を算出する（Ｓ６０４）。そして、表示制御部２５は、適正位置算出部２４によって算出された適正位置に基づいて、映像表示部３１に表示されるアプリケーションを制御する（Ｓ６０５）。

次に、ユーザインターフェース装置１０の動作について、図９〜図１４Ｃを用いて３つのユースケースを説明する。３つのケースは、ケース１：ジェスチャ入力によるメニュー画面の操作（図９〜図１１Ｃ）、ケース２：ジェスチャ入力によるお絵描きアプリケーション（図１２Ａ及び図１２Ｂ）、ケース３：ユーザ位置入力による「Ｓｔａｙ−ｗｉｔｈ−Ｍｅ ＴＶ」（図１３Ａ〜図１４Ｃ）である。

図９は、ユーザインターフェース装置１０のユーザの手によるジェスチャのフィードバックの例を説明する図である。この例では、表示制御部２５が、ユーザの手の位置の適正位置からのずれに応じて、画面上の手の表示（「フィードバック表示」という）を変化させてフィードバックすることで、ユーザにその旨を通知する。

図９の上段に示すように、適正位置からのずれが大きい位置ほど手のフィードバック表示を薄くするとよい。または、図９の中段に示すように、適正位置からのずれが大きい位置ほど手のフィードバック表示の大きさを小さくしてもよい。また、図９の下段に示すように、適正位置からのずれが大きい位置ほど手のフィードバック表示を振動的にしてもよい。

なお、図９に示される例では、適正位置の右側に他人に割り当てられた作業領域が存在することを前提としている。そして、この例では、適正位置より左側（隣接する作業領域から遠ざかる方向）に移動しても、適正位置からのずれを０と考えてフィードバック表示の表示態様を変更しない。一方、適正位置より右側（隣接する作業領域に近付く方向）に移動した場合は、その移動量に応じてフィードバック表示の表示態様を変更している。但し、上記の例に限ることなく、適正位置より左側に移動した場合に、フィードバック表示をより大きく（若しくは、より濃く）表示するようにしてもよい。

（ケース１：ジェスチャ入力によるメニュー操作）
図１０Ａ〜図１１Ｃは、ケース１のユーザインターフェース装置１０の動作例を説明する図である。なお、以下の説明では、２人のユーザＡ、Ｂがそれぞれに割り当てられた作業領域を通じてアプリケーションを制御している場合において、ユーザＡに対して、ユーザＢに割り当てられた作業領域に近付きすぎたことを通知する処理を説明する。一方、ユーザＢに対する通知はユーザＡの場合と共通するので、説明は省略する。

このケースでは、映像表示部３１に２つの作業領域（図１０Ａ及び図１０Ｂの破線枠で示される領域）が含まれている。そして、一方の作業領域がユーザＡに、他方の作業領域がユーザＢに割り当てられている。そして、ユーザＡとユーザＢとは、所定の時間、手を画面に向ける（かざす）ジェスチャを行うことにより、割り当てられた作業領域内に各々のメニュー画面を表示しようとしている場面である。

図１０Ａ〜図１０Ｃは、ユーザが手を画面に向ける（かざす）ジェスチャを行うと、手のフィードバック表示を提示した上で、所定時間経過すると各ユーザのメニュー画面を表示する例である。また、図１１Ａ〜図１１Ｃは、ユーザが手を画面に向ける（かざす）ジェスチャを行うと、手のフィードバック表示を提示せずに、所定時間経過すると各ユーザのメニュー画面を表示する例である。

まず、適正位置算出部２４は、ユーザＡの適正距離ｓを、ユーザＡのメニュー画面の幅の半分（ａ／２）に設定する。このように適正距離ｓを定めた上でアプリケーションを制御することで、ユーザＡのメニュー画面とユーザＢのメニュー画面とが重なり合うことを防ぐことができる。適正距離ｓは、さらにマージンを加えた値にしてもよい。

ユーザ位置検出部２２は、ユーザ検出カメラ１１で撮影された画像に基づいて、ユーザＡと、ユーザＢに割り当てられた作業領域との間の現実の距離ｉを算出する。この距離ｉは、ユーザＡの重心位置と、ユーザＢに割り当てられた作業領域の左端との距離である。

図１０Ａでは、ユーザ位置検出部２２で算出された距離ｉが適正距離ｓよりも小さい。そこで、表示制御部２５は、ユーザＡの手のフィードバック表示を薄くし、ユーザＡに対して、適正距離ｓを越えて隣接する作業領域に近付いていることを通知する。ここでは、ユーザＢには通常のフィードバック表示をしているが、ユーザＢに対するフィードバック表示も通常より薄く表示してもよい。

ユーザＡは、フィードバック表示を見て、図１０Ｂに示すように、適正距離だけユーザＢに割り当てられた作業領域から離れるように移動することができる。そして、図１０Ｃに示すように、ユーザＡがユーザＢに割り当てられた作業領域から適正距離以上離れた位置で、ユーザＡ、Ｂ各々のメニュー画面が表示される。このとき、ユーザＡ、Ｂのメニュー画面が重ならずに表示される。

なお、ここでは、ユーザＢに割り当てられた作業領域の左端の位置から適正距離ｓだけ離れた適正位置を基準として、当該適正位置から（ユーザＢの作業領域に近付く方向に）離れるにつれて手のフィードバック表示を薄くしているが、薄くする代わりに、表示を小さくする、表示を振動させるなどしてもよい。また、これらの処理を組み合わせてもよい。

図１１Ａでは、図１０Ａと同様に、ユーザＡとユーザＢに割り当てられた作業領域との間の現実の距離ｉが適正距離ｓよりも小さい状態で、両ユーザが手を画面に向ける（かざす）ジェスチャを行ってメニュー画面を表示しようとしている。図１１Ｂでは、ユーザＢに割り当てられた作業領域の左端の位置を基準に、適正距離ｓだけ離れた位置を中心にユーザＡのメニュー画面を表示する。

すなわち、ユーザＡにとっては自身の体の正面から少し左側の位置にメニュー画面が現れることになる。そうすると、ユーザＡは、ユーザＢに割り当てられた作業領域に近付きすぎていることに気付いて、図１１Ｃに示すように、メニュー画面の正面に立つように左側に移動することができる。この場合も、ユーザＡのメニュー画面とユーザＢのメニュー画面とが重なり合うことなく表示される。

（ケース２：ジェスチャ入力によるお絵かきアプリケーション）
図１２Ａ及び図１２Ｂは、ケース２のユーザインターフェース装置１０の動作例を説明する図である。なお、以下の説明では、２人のユーザＡ、Ｂがそれぞれに割り当てられた作業領域を通じてアプリケーションを制御している場合において、ユーザＡに対して、ユーザＢに割り当てられた作業領域に近付きすぎたことを通知する処理を説明する。一方、ユーザＢに対する通知はユーザＡの場合と共通するので、説明は省略する。

このケースは、ユーザＡが、手の動きにあわせて表示部２上に描画するお絵かきアプリケーションを実行中であり、その隣接する位置でユーザＢが放送コンテンツ（ニュース番組）を視聴中である場面である。

まず、距離ｉは、ユーザＡの重心位置からユーザＢに割り当てられた作業領域（視聴している表示領域）の左端までの距離とするとよい。この場合は、手の動きにあわせて画面上に描画するお絵かきアプリケーションであるので、適正距離ｓは、ユーザＡの腕の長さにするとよい。また、ユーザＡとユーザＢとは、異なるアプリケーションを実行しているので、同種のアプリケーションを実行している場合より、マージンを大きくしてもよい。

図１２Ａでは、ユーザＢの視聴している表示領域の左端からのユーザＡの重心位置までの距離ｉが適正距離ｓ以上であるので、表示制御部２５は、手のフィードバック表示を通常の表示形態で提示する。そして、図１２Ｂでは、距離ｉが適正距離ｓ未満となっているので、表示制御部２５は、距離ｉと適正距離ｓとの差の大きさに応じて、手のフィードバック表示を小さく提示している。このフィードバック表示の変化により、ユーザＡは、ユーザＢの作業領域に接近しすぎていることを知ることができ、不用意にユーザＢの作業領域に侵入せずにすむ。

（ケース３：ユーザ位置入力によるＳｔａｙ−ｗｉｔｈ−Ｍｅ ＴＶ）
図１３Ａ〜図１４Ｃは、ケース３のユーザインターフェース装置１０の動作例を説明する図である。なお、以下の説明では、２人のユーザＡ、Ｂがそれぞれに割り当てられた作業領域を通じてアプリケーションを制御している場合において、ユーザＡに対して、ユーザＢに割り当てられた作業領域に近付きすぎたことを通知する処理を説明する。

このケースは、ユーザＡとユーザＢとが、各ユーザのワークスペースまたはウインドウが、ユーザが移動するのに追従してついてくる「Ｓｔａｙ−ｗｉｔｈ−Ｍｅ ＴＶ」と呼ばれる機能を利用中の場面である。図１３Ａ〜図１３Ｃは、ユーザＡとユーザＢとが同一の方向に移動中である場合であり、図１４Ａ〜図１４Ｃは、ユーザＡとユーザＢとが互いに向き合う方向に移動中である場合である。

図１３Ａ〜図１３Ｃの場合は、適正位置算出部２４は、ユーザＡのウインドウの幅（ａ）に所定のマージンを加えて、適正距離ｓを算出すればよい。

図１３Ａ及び図１３Ｂでは、ユーザＡとユーザＢに割り当てられた作業領域との間の距離ｉが適正距離ｓよりも大きいため、通常の追従度でウインドウがユーザＡの移動に追従する。しかし、図１３Ｃでは、ユーザＡとユーザＢに割り当てられた作業領域との間の距離ｉが適正距離ｓ未満となっているため、ユーザＡがユーザＡの適正位置を越えて、ユーザＢの作業領域に近づいているといえる。そのため、表示制御部２５は、ユーザＡのウインドウの追従度を低くし、ユーザＡに適正位置を越えていることを通知する。ユーザＡにとっては、徐々にウインドウが自身の真横の位置から後方よりになることにより、この状況を知ることができる。また、ユーザによっては、ウインドウが自身の真横の位置から後方よりになると、自身の移動の速度を下げる場合もあると考えられる。

図１３Ａと図１３Ｂと図１３ＣとでユーザＡの位置とユーザＡのウインドウの左端との距離を比較すると、図１３Ａと図１３Ｂに示す場合に比べて、図１３Ｃに示す場合のウインドウの追従度が低くなっていることがわかる。

なお、図１３Ａ〜図１３Ｃでは、ユーザＡに着目して説明しているため、ユーザＢのウインドウの追従度は、図１３Ａと図１３Ｂと図１３Ｃとでほぼ同一となっている。しかしながら、図１３Ｃにおいて、ユーザＢのウインドウの追従度を高めて（すなわち、ウインドウがユーザＢを追い越して）、ユーザＢに後ろから人が近づいていることを暗示させることもできる。そのような提示をすることで、ユーザＢが移動の速度を上げる可能性もある。

図１４Ａ〜図１４Ｃの場合は、適正位置算出部２４は、ユーザＡのウインドウの幅（ａ）に所定のマージンを加えて、適正距離ｓを算出すればよい。このときのマージンは、図１３Ａ〜図１３Ｃに示す場合より大きく設定するのが望ましい。これは、図１３Ａ〜図１３Ｃの場合に比べて、図１４Ａ〜図１４Ｃの場合の方が、互いの存在が気になることを考慮したためである。

図１４Ａと図１４Ｂとでは、ユーザＡとユーザＢに割り当てられた作業領域との間の距離ｉが適正距離ｓよりも大きいため、通常の追従度でウインドウがユーザＡの移動に追従する。しかし、図１４Ｃでは、ユーザＡとユーザＢに割り当てられた作業領域との間の距離ｉが適正距離ｓ未満となっているため、ユーザＡがユーザＡの適正位置を越えて、ユーザＢに近づいているといえる。そのため、表示制御部２５は、ユーザＡのウインドウの追従度を低くし、ユーザＡに適正位置を越えていることを通知する。ユーザＡにとっては、徐々にウインドウが自身の真横の位置から後方よりになることにより、状況を知ることができる。また、ユーザによっては、ウインドウが自身の真横の位置から後方よりになると、自身の移動の速度を下げる場合もあると考えられる。

かかる構成によれば、各ユーザの操作が周囲のユーザの操作の邪魔にならないように、少なくとも複数のユーザの位置関係に基づいてユーザの適正位置を規定し、適正位置に基づいて映像表示部３１に表示されるアプリケーションを制御する。これにより、各ユーザの操作が周囲のユーザの操作の邪魔にならないようになる。また、各ユーザの操作が周囲のユーザに邪魔になる可能性がある場合に、その旨がフィードバック提示されるので、ユーザがその旨を認識することができる。

なお、本実施の形態において、ジェスチャはフリーハンドジェスチャを想定し、ユーザ検出カメラ１１の画像からユーザの手位置及び手形状を画像解析により検出しているが、ユーザの一部または全員が図１Ａに示すような静電式のタッチパッドを備えたタッチテーブル上でのジェスチャを行ってもよく、本願発明はそのようなユースケースでも勿論有効である。さらに、ユーザの一部または全員が図１Ａに示すようなジェスチャ入力リモコンを用いてジェスチャを行った場合にも、本願発明は勿論有効である。

なお、上記の３つのユースケースにおいては、２人のユーザＡ、Ｂが隣り合った状態で作業をしている例を示したが、これに限ることなく、本発明は１人のユーザが当該ユーザインターフェース装置１０を使用している場合にも適用できる。例えば、ユーザが第１の作業領域を通じてアプリケーションを制御しており、第１の作業領域に隣接する第２の作業領域はシステムが使用する領域である場合に、ユーザがシステム領域に侵入するのを有効に防止することができる。

４ 変形例
以下、変形例について説明する。

４．１ 適正位置の規定方法
適正位置算出部は、以下の点を考慮して、適正位置を規定してもよい。

（身体的特徴）
適正位置算出部２４は、ユーザの身体的特徴に基づいて、適正位置を規定してもよい。例えば、ユーザの身長あるいは腕の長さを考慮し、隣り合うユーザが腕を互いの方向に伸ばしても腕が交錯しないように適正位置を規定することができる。また、ユーザが左利きか右利きのいずれであるかであるかを考慮して適正位置を規定することで、よりユーザの身体的特徴に即した適正位置の規定が実現できる。これらのユーザの身体的特徴の情報は、ユーザ情報ＤＢからデータを取得することができる。また、ユーザの身長は、ユーザ検出カメラの画像を解析することからも算出できる。

（社会的関係）
適正位置は、隣接して位置するユーザ間の関係性に基づいて規定してもよい。ユーザ間の関係性は年齢もしくは親子、上司／部下など社会的関係であることとしてもよい。ユーザ間の関係性は発話量から推定される会話の主従関係であることとしてもよい。

また、図４Ｄに示すように、ユーザ情報ＤＢに登録済みのユーザ間の親密度に基づいて、適正位置を規定してもよい。

４．２ フィードバック提示の方法
上記実施の形態では、画面上の表示を制御することにユーザにフィードバックを提示するものとして説明した。本発明のユーザインターフェース装置１０は、以下の方法により、フィードバックを提示するように設定してもよい。

（音）
ユーザの位置と適正位置とのずれの大きさに応じて、ユーザインターフェース装置１０のスピーカー（図示省略）から音を出力し、フィードバックを提示してもよい。

（照明）
ユーザの位置と適正位置とのずれの大きさに応じて、ユーザインターフェース装置１０が設置されている空間の照明の照度または色などを変化させることとしてもよい。

（携帯機器）
ユーザが所持する携帯機器とユーザインターフェース装置１０とがネットワーク接続されている場合において、携帯機器を通じてユーザにフィードバックを提示してもよい。例えば、ユーザの位置と適正位置とのずれの大きさに応じて、携帯機器のバイブレータの大きさを大きくするなどしてもよい。

なお、上記の音によるフィードバック、照明によるフィードバック、携帯機器によるフィードバックは、それらを組み合わせて実行してもよい。

＜補足＞
以上のように本発明にかかるユーザインターフェース装置について実施の形態に基づいて説明したが、以下のように変形することもでき、本発明は上述の実施の形態で示したユーザインターフェース装置に限られないことは勿論である。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。

（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明にかかるユーザインターフェース装置は、複数のユーザがユーザインターフェース装置に対して操作する場合に、各ユーザの操作が周囲のユーザの操作の邪魔にならないように表示制御を行うので、複数人による操作される大画面ディスプレイ、例えば大画面テレビや屋外電子広告（デジタル・サイネージ）等に適用するものとして有用である。

１，１０ ユーザインターフェース装置
２ 表示部
３ 検出部
４ 算出部
５ 通知部
１１ ユーザ検出カメラ
２１ ユーザ識別部
２２ ユーザ位置検出部
２３ ユーザ動作検出部
２４ 適正位置算出部
２５ 表示制御部
３１ 映像表示部

Claims (16)

1. アプリケーションプログラムを制御するインターフェースとなる作業領域を、ユーザに提供するユーザインターフェース装置であって、
   前記ユーザに割り当てられた第１の作業領域、及び前記第１の作業領域と異なる第２の作業領域を表示する表示部と、
   前記ユーザの位置を検出する検出部と、
   前記第１の作業領域を通じて前記ユーザに制御される前記アプリケーションプログラムの種類に応じて、前記ユーザと前記第２の作業領域との間の適正距離を算出する算出部と、
   前記検出部によって検出された前記ユーザの位置と前記第２の作業領域との距離が、前記算出部によって算出された前記適正距離より短くなったことを前記ユーザに通知する通知部とを備える
   ユーザインターフェース装置。
2. 前記検出部は、さらに、前記ユーザが前記アプリケーションプログラムを制御するために行うジェスチャを検出し、
   前記表示部は、前記検出部によって検出された前記ジェスチャの位置に対応する位置に、前記ジェスチャの妥当性をユーザに伝えるためのフィードバック表示を表示し、
   前記通知部は、前記フィードバック表示の表示態様を変化させることによって、前記ユーザの位置と前記第２の作業領域との距離が前記適正距離より短くなったことを前記ユーザに通知する
   請求項１に記載のユーザインターフェース装置。
3. 前記通知部は、前記ユーザの位置が前記第２の作業領域に近付く程、前記フィードバック表示を小さく及び／又は薄く表示する
   請求項２に記載のユーザインターフェース装置。
4. 前記第１の作業領域は、前記ユーザの動きに追従して前記表示部内を移動するウインドウであって、
   前記通知部は、前記ユーザが前記第２の作業領域に近付く程、前記ウインドウの追従度を低下させる
   請求項１に記載のユーザインターフェース装置。
5. 前記算出部は、さらに、前記ユーザの身体的特徴に応じて前記適正距離を算出する
   請求項１に記載のユーザインターフェース装置。
6. 前記算出部は、前記ユーザの身長が高いほど、又は前記ユーザの腕の長さが長いほど、前記適正距離を長くする
   請求項５に記載のユーザインターフェース装置。
7. 前記算出部は、前記ユーザの利き手が前記第２の作業領域に近い側に位置する場合に、遠い側に位置する場合より前記適正距離を長くする
   請求項５に記載のユーザインターフェース装置。
8. 前記算出部は、さらに、前記第１の作業領域を通じて前記ユーザに制御されるアプリケーションプログラムと、前記第２の作業領域を通じて他のユーザに制御されるアプリケーションプログラムとの類似度又は関連度が高いほど、前記適正距離を短くする
   請求項１に記載のユーザインターフェース装置。
9. 前記算出部は、さらに、前記第１の作業領域で作業する前記ユーザと、前記第２の作業領域で作業する他のユーザとの関係に基づいて、前記適正距離を算出する
   請求項１に記載のユーザインターフェース装置。
10. 前記算出部は、前記ユーザが前記他のユーザよりも社会的に上位である場合に、社会的に下位である場合よりも前記適正距離を短くする
    請求項９に記載のユーザインターフェース装置。
11. 前記検出部は、さらに、前記ユーザ及び前記他のユーザの発する音声を検出し、
    前記算出部は、前記検出部によって検出された発話量から前記ユーザ及び前記他のユーザの関係を推定する
    請求項９に記載のユーザインターフェース装置。
12. 前記通知部は、音声により通知する
    請求項１に記載のユーザインターフェース装置。
13. 前記通知部は、照明により通知する
    請求項１に記載のユーザインターフェース装置。
14. 前記通知部は、前記ユーザが保持する携帯機器を通じて通知する
    請求項１に記載のユーザインターフェース装置。
15. ユーザに割り当てられた第１の作業領域、及び前記第１の作業領域と異なる第２の作業領域を表示する表示部を用いて、前記第１の作業領域を通じて前記ユーザにアプリケーションプログラムを制御させるユーザインターフェース方法であって、
    前記ユーザの位置を検出する検出ステップと、
    前記第１の作業領域を通じて前記ユーザに制御される前記アプリケーションプログラムの種類に応じて、前記ユーザと前記第２の作業領域との間の適正距離を算出する算出ステップと、
    前記検出ステップで検出された前記ユーザの位置と前記第２の作業領域との距離が、前記算出ステップで算出された前記適正距離より短くなったことを前記ユーザに通知する通知ステップとを含む
    ユーザインターフェース方法。
16. 請求項１５に記載のユーザインターフェース方法を、コンピュータに実行させるプログラムを記録した
    コンピュータ読み取り可能な記録媒体。

Images