JP5028676B2 - グラフィカルユーザーインターフェースの操作／制御装置 - Google Patents

Description

本発明はグラフィカルユーザーインターフェース（graphical user interface、GUI）の操作／制御装置に関し、特に、ユーザーの体の様々な動きを感知することで、ユーザーに自分の体の動きによりグラフィカルユーザーインターフェースを操作／制御させる操作制御装置に関する。

まず、グラフィカルユーザーインターフェース（graphical user interface）はグラフィックスを基礎としたユーザーインターフェースであり、一定な図形と操作方式を利用して、例えば、ウィンドウズ、メニューとカーソルを組み合わせて、ユーザーとコンピュータシステム間のインタラクションの根拠とする。このように、コマンド入力が下手なユーザーもコンピュータシステムへ入力することができる。そして、ユーザーに一般的なファンクションの了解と検索に寄与し、且つユーザーに同様な方式により速やかに他のプログラム又はファンクションの操作を熟知させることができる。

１９８０年代の後半から、グラフィカルユーザーインターフェースの応用は既に成熟するようになって来ている。様々な電子用品に、例えばデスクトップコンピュータ、ノートパソコン、移動通信(mobile communication)装置、パーソナルデジタルアシスタント、衛星ナビゲーションシステム装置等に見られており、ユーザーに便利で使いやすい且つ迅速な操作方式を提供している。しかし、ユーザーはグラフィカルユーザーインターフェースを利用してコンピュータシステムを操作する場合、またはコンピュータシステムとインタラクションを行う場合、やはりキーボード、マウス、タッチパネルまたは他の操作／制御装置と協同して入力しなければならず、グラフィカルユーザーインターフェースの発展を制限するだけでなく、シナリオ式の操作環境を提供することもできない。

現有のユーザーの身体動作を感知して操作／制御するグラフィカルユーザーインターフェースでは、ユーザーはやはり特定の入力装置、例えば、コントローラ或いはリモコン等を着用するか、その装置を使用する必要がある。そのゆえ、ユーザーの特定の動作を精確に反応することができなくなり、コンピュータシステムまたはコンピュータゲームの表示画面上の特定のカーソルがユーザーの身体動作に対する応答が鋭敏でなく、または遅延してしまうことがある。

これにより、本発明人は、前記の欠点を鑑みて、鋭意研究を重ね、そして学理の運用を配合した結果、設計が合理で上記の問題を効果的に改善できる本発明を完成した。

本発明の目的は、グラフィカルユーザーインターフェース（graphical user interface、GUI）の操作／制御装置を提供する旨であり、ユーザーの身体動作を感知することによって、それに対応したグラフィカルユーザーインターフェースを操作することである。

上記目的を達成するために、本発明によるグラフィカルユーザーインターフェースの操作／制御装置は、イメージセンサーユニットとグラフィカルユーザーインターフェースとを備える。前記イメージセンサーは、赤外線発光装置と、イメージ取り込み装置と、演算制御モジュールとを備える。前記赤外線発光装置はユーザに向けて赤外線を発射するためのものである。前記イメージ取り込み装置はユーザから反射された赤外線を含んだ光線を通過させて光学的に画像形成してなることで赤外線画像を受信し、さらに該赤外線画像をデジタル化してからデジタル画像信号を出力する。前記演算制御モジュールはイメージ取り込み装置に接続し、前記デジタル画像信号を受信し該ユーザ画像が平面参照座標における時間軸に対する変化を認識することで、ユーザの様々な身体動作に応じて操作／制御信号を生成する。前記グラフィカルユーザーインターフェースは画面に表示され、且つ前記イメージセンサーユニットに接続することによって、操作／制御信号を受信しそれに応じて特定の出力反応を表示する。

本発明は以下のような顕著な効果を有する：
一、本発明によるイメージセンサーユニットは精確にユーザーの身体画像を認識でき、好ましい高感度を有している。

二、イメージセンサーユニットは更にユーザーの身体画像に対して焦点深度(depth of field)を算出する処理を行い、ユーザーの身体寸法或いは前後に移動する情報を得ることによって、ユーザーは十分に自己の身体動作を利用してグラフィカルユーザーインターフェースを操作／制御することができる。

三、ユーザーは別途の入力装置、例えば、キーボード、マウス、タッチパネル、ジョイスティック(joystick)等の装置を利用する必要がなく、既に自然にグラフィカルユーザーインターフェースに現れたシナリオに溶け込んで、自己の身体動作を利用して操作することができる。

四、本発明は各種のグラフィカルユーザーインターフェースの操作を十分に提供することができる。たとえグラフィカルユーザーインターフェースは平面画像式でまたは三次元のシナリオ式で現れても、豊かな仮想現実（virtual reality）の効果を達成することができる。

本発明の特徴及び技術内容を更に了解させるために、下記の本発明に関る詳細な説明及び図面を参照できる。しかし、添付した図面は参照と説明するために使用されるのみで、本発明を制限するものではない。

図１及び図２は、それぞれ本発明によるグラフィカルユーザーインターフェース（graphical user interface、GUI）の操作／制御装置の実施例の構造ブロック図及び使用状態図である。本発明によるグラフィカルユーザーインターフェースは、イメージセンサーユニット１とグラフィカルユーザーインターフェース２とを含み、前記グラフィカルユーザーインターフェース２は前記イメージセンサーユニット１と接続し、且つスクリーン２０に表示されるものである。

イメージセンサーユニット１は、赤外線発光装置１１、イメージ取り込み装置１２及び演算制御モジュール１３を含む。赤外線発光装置１１はユーザーに向けて赤外線を発射するためのものであり、複数の赤外線発光ユニット１１１を備え、例えば波長が７５０〜１３００ｎｍm間の赤外線を発射できる発光ダイオード(light-emitting diode)である。本実施例において好ましい赤外線波長は約８５０ｎｍである。図２のように、該赤外線発光装置１１はイメージ取り込み装置１２の外側に配置している。該赤外線発光ユニット１１が当該イメージ取り込み装置１２を取り囲む。本実施例において、当該赤外線発光ユニット１１は環状に配列されているが、本発明はこの例に制限することなく、矩形、または特定の曲線のように配列することによって、ユーザーに向けて均一に赤外線を発射することもできる。該赤外線発光装置１１は表示スクリーン２０の上側に配置してもよく、そのグラフィカルユーザーインターフェース２を操作しているユーザーに向けて均一に赤外線を発射する。

該イメージ取り込み装置１２は、赤外線濾波モジュール１２１及びイメージセンサーモジュール１２２を含む。該赤外線濾波モジュール１２１はカラーフィルタを含み、これは赤外線波長以外の光線を濾過して、赤外線のみを通過させるためのものである。該イメージ取り込み装置１２は、該赤外線濾波モジュール１２１によりユーザーから反射した赤外線を含んだ光線を通過させ、光学的に画像形成してなることで赤外線画像を受信する。該イメージセンサーモジュール１２２は該赤外線画像を受信して該赤外線画像におけるユーザーの画像と背景画像間のコントラストを高め、更に該赤外線画像をデジタル化してからデジタル画像信号を出力する。該デジタル画像信号はユーザー画像及び背景画像を含む。本実施例において、該ユーザー画像と背景画像間のコントラストを高めるには、ユーザー画像の輝度を背景画像の輝度よりも高くし、またはユーザー画像の輝度を背景画像の輝度よりも低くするように設定することができる。又は、事前に追加情報(additional information)を提供することができる。例えば、一つの画像基本値(basic value)を設定し、該デジタル画像信号を局所化(localize)させる。局所化したデジタル画像信号における変化率(variation)が基本値より高い場合にはユーザー画像（前景）と設定し、そうでない場合には背景画像と設定する。このようにして、ユーザー画像を取り込み、ロックさせて、背景画像を除去することによって、更にユーザーの身体動作を認識(recognition)できる。

ユーザーと環境背景(environment background)は、該イメージ取り込み装置１２に対する距離が異なっているので、違った焦点深度を有している。そこで、該演算制御モジュール１３を該イメージ取り込み装置１２と接続し、該デジタル画像信号を受信し、該デジタル画像信号におけるユーザー画像の焦点深度を算出することによって、該環境背景画像を該デジタル画像信号から除去した追加情報を提供する。そして、ユーザー画像のみをロックすることで追跡し、更にロックされたユーザー画像以外の該ユーザー画像と同じ焦点深度の画像をフィルタリングして、そして、ロックされたユーザー画像を平面参照座標に定義して演算処理することによって、該ユーザー画像がその平面参照座標で時間軸に対する変化を認識し、ユーザーのさまざまな体の動きに応して操作／制御信号を生成する。図２のように、二つのイメージ取り込みモジュール１２を該演算制御モジュール１３と接続した場合、該演算制御モジュール１３は更に異なったイメージ取り込み装置１２からのデジタル画像信号を受信することができ、ユーザー画像の焦点深度の比較と算出処理を行われ、ユーザー身体の輪郭の立体寸法という情報を更に容易に得ることで、ユーザーの肢体は重なった状態であるかどうかを精確に区別させることができ、並びにユーザーを該イメージセンサーユニット１、又は該スクリーン２０前後の移動又は加速度に対して認識することができる。

グラフィカルユーザーインターフェース２は、該演算制御モジュール１３から生成した操作／制御信号を受信し、該操作／制御信号に応じて特定の出力反応を表示する。その中、該スクリーン２０は、平面型表示装置(Flat Panel Display)であってもよく、又はプロジェクタ(projector)によって画面に投映することで表示さらてもよい。図３のように、該グラフィカルユーザーインターフェース２は二次元の平面画像式の操作インターフェースで表される。例えば、ウィンドウズ（windows）、アイコン（icons）、フレーム（frame）、メニュー（menu）及びポインタ（pointer）２１等のオブジェクトを含むユーザーインタフェースである。その中に、該ポインタ２１はユーザーの特定の身体動作に応じて特定の反応をすることができ、例えば、上、下、左、右の移動、選定、オープン(open)等の動作をする。

その他の実施例において、図４のように、該グラフィカルユーザーインターフェース２は二次元の平面画像式だけでなく、仮想現実（virtual reality）であるシナリオ式の操作環境として現れることができる。該グラフィカルユーザーインターフェース２のオブジェクトは三次元（3-dimension）の立体画像形式で表示でき、ユーザーの体の全身又は特定部位を代表する画像ポインタ２２を含む。ユーザーの身体動作に応じて、ポインタとしての機能を遂げる。例えば、該画像ポインタ２２は、ユーザーの身体の移動、又は四肢の動きに応じて、その移動または動く動作に対応して表示される。特にユーザーが該イメージセンサーユニット１または該スクリーン２０に対して前後に移動し、又は、特に肢体を前後に移動する場合、例えば、手のひらを前方に叩くことや、パンチ（punch）すること等である、該グラフィカルユーザーインターフェース２においてユーザーの体に応じた画像ポインタ２２は既に受信された該イメージセンサーユニット１から生成された操作／制御信号によって特定の出力反応、例えば選定、クリック、オープン等を表示できる。

上記の実施例において、該グラフィカルユーザーインターフェース２は、各種の特定のシナリオ、例えば、居間、会議、宴会等が現れることができる。図５のように、更にパソコンまたはインタネートサーバーによって複数のイメージセンサーユニット１を接続して複数のユーザーを対応することができる。複数のユーザーは該グラフィカルユーザーインターフェース２における対応したそれぞれのユーザーの画像ポインタ２２によってインタラクションを行うことができ、ユーザーにとって臨場感(be personally on the scene)の溢れる感じが強まり、より豊かな仮想現実の効果を達成できる。

以上を纏めれば、本発明は下記の好ましい効果を有する。

一、本発明によるイメージセンサーユニット１は優れた背景画像の濾過効果を有していし、精確にユーザーの身体画像を認識でき、好ましい高感度を有する。

二、該イメージセンサーユニット１は、更にユーザー身体画像の焦点深度に対して算出処理し、ユーザーの身体の寸法又は前後に移動した場合の情報を得ることで、ユーザーは自己の身体動作を十分に利用して該グラフィカルユーザーインターフェースを操作／制御する。

三、ユーザーは別途の入力装置、例えばキーボード、マウス、タッチパネル、ジョイスティック(joystick)等のような装置の助けが必要なく、自然に該グラフィカルユーザーインターフェースで現れたシナリオに溶け込め、自己の身体動作によって操作することができる。

四、本発明は各種のグラフィカルユーザーインターフェースの操作を十分に提供することができ、たとえ該グラフィカルユーザーインターフェースは平面画像式で、または立体的シナリオ式で現れたとしても、より豊かな仮想現実効果も達成することができる。

上記の内容は本発明の好ましい実施例のみであり、これによって本発明の請求の範囲を制限するものではなく、本発明の明細書及び図面の内容を運用してなされた同等効果の技術変更は、いずれも本発明の権利保護範囲に包含されるもので、ここに併せて説明する。

本発明によるグラフィカルユーザーインターフェースの操作／制御装置の実施例の構造ブロック図である。 本発明によるグラフィカルユーザーインターフェースの操作／制御装置の実施例の使用状態図である。 本発明のある実施形態によるグラフィカルユーザーインターフェースの操作インターフェースを表す図である。 本発明のある実施形態による仮想現実であるシナリオ式の操作環境を示す図である。 本発明のある実施形態によるパソコンまたはインタネートサーバーによって複数のイメージセンサーユニットを接続して複数のユーザーを対応させたシステムの図である。

符号の説明

１ イメージセンサーユニット
１１ 赤外線発光装置
１１１ 赤外線発光ユニット
１２ イメージ取り込み装置
１２１ 赤外線濾波モジュール
１２２ イメージセンサーモジュール
１３ 演算制御モジュール
２ グラフィカルユーザーインターフェース
２１ ポインタ
２２ アイコンポインタ

Claims (5)

1. イメージセンサーユニットとグラフィカルユーザーインターフェースとを備えるグラフィカルユーザーインターフェースの操作／制御装置において、
   前記イメージセンサーは、赤外線発光装置と、イメージ取り込み装置と、演算制御モジュールとを備え、
   前記赤外線発光装置はユーザーに向けて赤外線を発射するためのもので、
   前記イメージ取り込み装置はユーザーから反射された赤外線を含んだ光線を通過させて光学的に画像形成してなることで赤外線画像を受信し、さらに該赤外線画像をデジタル化してから、ユーザー画像及び環境背景画像を含むデジタル画像信号を出力し、
   前記演算制御モジュールは、前記イメージ取り込み装置に接続され、
   前記イメージ取り込み装置から出力された前記デジタル画像信号を受信し、前記ユーザー画像の焦点深度に基づいて前記デジタル画像信号から前記環境背景信号を除去することにより前記ユーザ情報のみにロックしたうえで、該ロックされたユーザー画像以外の同様に該ユーザー画像の焦点深度と一致する画像を濾過することによって、前記ユーザー画像の変化を特定し、
   前記ユーザー画像は、前記ユーザーを表す前記光学的画像であり、
   前記変化は、前記ユーザーの動きに対応する平面参照座標における時間軸に基づいて特定されることで、ユーザーの様々な身体動作に応じて操作／制御信号を生成し；
   画面に表示され且つ前記イメージセンサーユニットに接続されたグラフィカルユーザーインターフェースは、操作／制御信号を受信しそれに応じて特定の出力反応を表示する
   ことを特徴とするグラフィカルユーザーインターフェースの操作／制御装置。
2. 前記演算制御モジュールは該イメージ取り込み装置から出力されたデジタル画像信号を受信した後、デジタル画像信号におけるユーザー画像の焦点深度を算出し、背景画像をデジタル画像信号から除去された追加情報を提供することで、ユーザー画像にのみロックし、更にそのロックされたユーザー画像を平面参照座標に定義させ、演算処理を行うことを特徴とする請求項１に記載のグラフィカルユーザーインターフェースの操作／制御装置。
3. 前記グラフィカルユーザーインターフェースは、グラフィカルユーザーインターフェースに用いるオブジェクトを三次元の立体画像形式で表示することを特徴とする請求項１に記載のグラフィカルユーザーインターフェースの操作／制御装置。
4. 複数のイメージ取り込み装置をさらに有し、前記演算制御モジュールは前記複数のイメージ取り込み装置に接続され、前記複数のイメージ取り込み装置から複数のデジタル画像信号を受信し、前記複数のデジタル画像信号におけるユーザー画像の焦点深度の差異及び変化を比較することによってユーザー身体の特定部位の位置または空間上の寸法情報を算出し、そしてユーザーの肢体が重なった状態であるか否かを区別することと、ユーザー身体の距離、移動、加速度または回転等の動作を区別することによって、ユーザーの身体動作に対応する操作／制御信号を生成することを特徴とする請求項１に記載のグラフィカルユーザーインターフェースの操作／制御装置。
5. 前記イメージセンサーユニットは、インターネットを介し、異なるイメージセンサユニットと互いに接続され、
   前記グラフィカルユーザーインターフェースは、前記インターネットを介して接続される複数のイメージセンサーユニットにそれぞれ対応するユーザーの身体の全身または特定部位を代表する画像ポインタを含み、前記画像ポインタは前記各ユーザーの身体動作にそれぞれ対応し、ポインタとしての機能を遂げることを特徴とする請求項１に記載のグラフィカルユーザーインターフェースの操作／制御装置。

Images