JP7504839B2 - ユーザインターフェースシステム - Google Patents

Description

本発明は、空中操作を検出して映像を表示するユーザインターフェースシステムに関する。

近年、コンピュータなどで作成した画像を拡張現実情報（ＡＲ(Augmented Reality)情報）として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置などに表示する技術が種々提案されている。

たとえば、コンピュータが作成したキーボードの画像をＡＲ情報として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置に表示し、ユーザが、その表示された仮想のキーボードに手を伸ばして操作することを可能にした空中操作の技術がある（たとえば、特許文献１、２参照）。

特開平０７－０７８０５５号公報 特開２００９－１４６３３３号公報

特許文献１、２に記載の空中操作の技術では、コンピュータが作成したキーボードの画像を表示するために、ヘッドマウントディスプレイ装置が必要であるが、ベッドで寝ている傷病者等の身体が不自由なユーザには、ヘッドマウントディスプレイ装置を一人で装着するのが困難であったり、煩わしく感じたりする等の問題があった。

本発明は、ユーザの利便性を高めることができるユーザインターフェースシステムを提供することを目的とする。

請求項１に記載の発明のユーザインターフェースシステムは、ユーザの映像を撮像する撮像手段と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を表示部に表示する表示手段とを備えることを特徴とする。

請求項２に記載の発明のユーザインターフェースシステムは、請求項１に記載のユーザインターフェースシステムであって、前記空中操作検出手段によって検出された前記操作に従って、所定の機器の制御を行う機器制御手段を更に備えることを特徴とする。

請求項３に記載の発明のユーザインターフェースシステムは、前記表示手段が表示する映像の少なくとも一部として、前記ユーザにより閲覧可能な操作画面の画像を用い、前記空中操作検出手段は、前記ユーザが、前記表示部から離れた空中で、前記操作画面に対応して行った操作を検出することを特徴とする。

ユーザインターフェースシステムは、前記表示手段が表示する映像の少なくとも一部として、前記ユーザにより閲覧可能な操作画面の画像を用い、前記空中操作検出手段は、前記ユーザが、前記表示部から離れた空中で、前記操作画面に対応して行った操作を検出し、前記操作画面の画像には、前記ユーザによる徐々に押されるような操作を再現する操作再現装置を有し、前記ユーザが圧力センサを有するボタンを操作する場合は、前記操作再現装置によって、徐々に強く押されるような操作、及び強い押しから、徐々に弱くなる操作を再現できることを特徴とする。

本発明におけるユーザインターフェースシステムによって、ユーザの利便性を高めることができるようになった。

本発明の第１の実施形態にかかるユーザインターフェースシステムの側面図である。 本発明の第１の実施形態にかかるユーザインターフェースシステムの全体構成を示すブロック図である。 本発明の第１の実施形態にかかるユーザインターフェースシステムの動作を示すフローチャートである。 本発明の第１の実施形態にかかるユーザインターフェースシステムの映像処理を示す説明図である。 本発明の第２の実施形態にかかるユーザインターフェースシステムの映像処理を示す説明図である。

＜本発明の第１の実施形態＞
以下、本発明の第１の実施形態にかかるユーザインターフェースシステムを、図面に基づいて説明する。

＜ユーザインターフェースシステムの構成＞ まず、本発明の第１の実施形態にかかるユーザインターフェースシステムの構成について説明する。 図１は、第１の実施形態にかかるユーザインターフェースシステムの側面図である。 図２は、本発明の第１の実施形態にかかるユーザインターフェースシステムの全体構成を示すブロック図である。

図１において、本発明の第１の実施形態にかかるユーザインターフェースシステム１は、病院１１の病室１２内のベッド１３で寝ている傷病者１４により閲覧可能な操作画面の映像をカーテン１５に表示するプロジェクタ２と、ベッド１３で寝ている傷病者１４の上半身を撮像するビデオカメラ３と、無線ＬＡＮ４と、病院１１の管理室１７に設置されたサーバ５とを備える。

プロジェクタ２及びビデオカメラ３は、病室１２の天井１８に取り付けられている。 カーテン１３は、傷病者１４のプライバシーを守る為の物であり、傷病者１４の足側に所定距離を置いて配置されている。

尚、プロジェクタ２は、表示する面（カーテン１３）からの距離を手入力等の設定で保持する、あるいは、当該距離を計算するなどの処理が最初に必要になります。また、プロジェクタ２は、表示する面やプロジェクションする候補面（カーテン１３、壁、モニタ）までの距離や部屋形状、空間形状も把握あるいは、設定しておく必要があります。

ビデオカメラ３は、傷病者１４の手６２（図４（ａ）参照）からの距離を設定で保持する、あるいは、計算するなどの処理が最初に必要になります。また、ビデオカメラ３は、予め、人（傷病者１４）の位置や手の握りこぶしの中心の点なども設定しておいてもよい。

無線ＬＡＮ４は、無線ＬＡＮ親機４１と配線を備える。無線ＬＡＮ親機４１は、病室１２の壁１６に取り付けられ、配線を介して管理室１７のサーバ５に接続されている。無線ＬＡＮ４は、プロジェクタ２及びビデオカメラ３と無線通信を行う。

図２に示すように、サーバ５には、キーボード５５、マウス５６、ディスプレイ装置５７、無線ＬＡＮ４、及び各種デバイス６が接続される。

各種デバイス６は、病室１２内のインターフォン、病室１２内の照明のスイッチ、管理室１７に設置された呼び出しベル等の機器である。

サーバ５は、制御部５１、記憶部５２、インターフェース５３、及び通信部５４を備えている。

記憶部５２は、ユーザインターフェースシステム１のブログラムや操作画面の映像、プロジェクタ２が撮像した映像のビデオデータ、プロジェクタ２が撮像した映像に対する判定結果等を記憶する。

制御部５１は、インターフェース５３を介してキーボード５５、マウス５６及びディスプレイ装置５７に接続され、キーボード５５及びマウス５６を用いた関係者の操作により各種設定が行われ、当該各種設定に基づく表示をディスプレイ装置５７に行う。

また、制御部５１は、通信部５４及び無線ＬＡＮ４を介してプロジェクタ２及びビデオカメラ３に接続され、ビデオカメラ３からの入力信号等に基づく判定処理や信号出力をプロジェクタ２に行う。

＜ユーザインターフェースシステムの作用＞
図３は、本発明の第１の実施形態にかかるユーザインターフェースシステムの動作を示すフローチャートである。
図４は、本発明の第１の実施形態にかかるユーザインターフェースシステムの映像処理を示す説明図である。

図３において、ユーザインターフェースシステム１のセッティングを行うと、まず、プロジェクタ２は、表示する面（カーテン１３）からの距離や部屋形状を設定で保持する、あるいは、距離や部屋形状を計算するなどの処理を行い、ビデオカメラ３は、傷病者１４の手６２（図４（ａ）参照）からの距離を設定で保持する、あるいは、計算するなどの処理を行う。

この後、ビデオカメラ３は、ステップＳ１において、ベッド１３で寝ている傷病者１４の上半身を撮像して、図４（ａ）に示す映像６１のビデオデータをサーバ５に送信する。

これにより、サーバ５は、ステップＳ２において、ビデオカメラ３からの映像６１のビデオデータを受信する。

次に、サーバ５は、ステップＳ３において、受信したビデオデータに対して画像解析を行い、図４（ａ）に示す映像６１における傷病者１４の手６２が人差し指６３を立てた状態にある否か判別し、傷病者１４の手６２が人差し指６３を立てた状態にある場合、ステップＳ４において、ユーザにより閲覧可能な操作画面の映像として、図４（ｂ）に示す映像７１のビデオデータを生成する。

尚、前述では、手６２が人差し指６３を立てた状態にある場合とあるが、他の方法、例えば、手の握りを検出し、後述の操作処理を実行する場合もありえる。

次に、サーバ５は、ステップＳ４で生成したビデオデータを、ステップＳ５において、プロジェクタ２に送信する。

次に、プロジェクタ２は、ステップＳ６において、サーバ５からのビデオデータを受信し、ステップＳ７において、ビデオデータによる映像をカーテン１５（図１参照）に投射表示する。 この場合に、カーテン１５に投射表示される映像は、図４（ｂ）に示す映像７１となる。

図４（ｂ）に示す映像７１は、操作画面の映像であり、ビデオカメラ３が撮像したベッド１３で寝ている傷病者１４の上半身の映像を左右反転させ、当該左右反転させた映像７２に、消灯用操作ボタンの画像７３、点灯用操作ボタンの画像７４、呼び出し用ボタンの画像７５、インターフォン用ボタンの画像７６、キャンセルボタンの画像７７、ＯＫボタンの画像７８を重ねて表示している。

尚、図４（ｂ）に示す映像７１では、傷病者１４の上半身の映像を左右反転させた映像７２を表示しているが、基本的に、人が操作する画面、つまり操作者本人を映さなくすることも可能である。

操作者本人を映さなくする場合、図４（ｂ）の映像７２には、操作者本人の姿はなく、カーテン上にボタンの画像７３～７８が表示されていて、カーテン上をレーザーポインタの赤い点のようなもの（輝点であればなんでもよい）が、操作者の指や握りの棒の先の動きと同じ動きが表現される。

次に、プロジェクタ２は、ステップＳ８において、ベッド１３で寝ている傷病者１４の上半身を続けて撮像して、ビデオデータをサーバ５に送信する。

これにより、サーバ５は、ステップＳ９において、ビデオカメラ３からの傷病者１４の上半身の新規映像のビデオデータを受信する。

次に、サーバ５は、ステップＳ１０において、受信したビデオデータに対して画像解析を行い、ビデオデータに示す新規映像における傷病者１４の手の人差し指の先端の座標ｘ1、ｙ1を算出し、前記座標ｘ1、ｙ1に基づいて、カーテン１５に投射表示された各ボタンの画像７３～７８に対応して、カーテン１５から離れた空中で傷病者１４が行った操作である空中操作を検出する。 次に、サーバ５は、ステップＳ１１において、ステップＳ１０で検出された前記空中操作に従って、仮想操作画面の映像のビデオデータを生成する。

次に、サーバ５は、ステップＳ１１において生成したビデオデータを、ステップＳ１２において、プロジェクタ２に送信する。

次に、プロジェクタ２は、ステップＳ１４において、サーバ５からのビデオデータを受信し、ステップＳ１４において、ビデオデータによる仮想操作画面の映像をカーテン１５に投射表示する。

この場合に、カーテン１５に投射表示される仮想操作画面の映像は、ステップＳ８でビデオカメラ３が撮像した傷病者１４の上半身の映像を左右反転させ、当該左右反転させた映像に、消灯用操作ボタンの画像７３、点灯用操作ボタンの画像７４、呼び出し用ボタンの画像７５、インターフォン用ボタンの画像７６、キャンセルボタンの画像７７、ＯＫボタンの画像７８を重ねて表示するとともに、各ボタンの画像７３～７８の内、ステップＳ１０において検出された空中操作に対応するボタンの画像に対して発光等のエフェクト処理を行う。

この後、サーバ５は、ステップＳ１５において、検出された空中操作に従って、病室１２内のインターフォン、照明のスイッチ、管理室１７に設置された呼び出しベル等の各種デバイス８の制御を行う。

このようなユーザインターフェースシステム１の動作を具体例に説明すると、例えば、傷病者１４が図４（ｂ）の映像７１を見て、人差し指６３を消灯用操作ボタンの画像７３に合わせると、消灯用操作ボタンの画像７３が点灯し、ベッド１３の照明が消灯する。

傷病者１４が人差し指６３を点灯用操作ボタンの画像７４に合わせると、点灯用操作ボタンの画像７４が点灯し、ベッド１３の照明が点灯する。

傷病者１４が人差し指６３を呼び出し用ボタンの画像７５に合わせると、呼び出し用ボタンの画像７５が点灯し、管理室１７に設置された呼び出しベルが鳴り、看護師が傷病者１４の元に向かう。

傷病者１４が人差し指６３をインターフォン用ボタンの画像７６に合わせると、インターフォン用ボタンの画像７６が点灯し、この後、人差し指６３をＯＫボタンの画像７８に合わせると、病室１２と管理室１７のインターフォンが繋がる。

傷病者１４が人差し指６３をキャンセルボタンの画像７７に合わせると、前回の操作が無効になり、操作前の状態に戻る。

以下、このような本発明の第１の実施形態の構成及び作用を纏めて説明すると、ユーザインターフェースシステム１は、ユーザ（傷病者１４）の映像を撮像する撮像手段（ビデオカメラ３）と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段（サーバ５の空中操作検出に関わる回路及びソフトウエア）と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を表示部（カーテン１５）に表示する表示手段（プロジェクタ２）とを備える。

また、ユーザインターフェースシステム１は、前記空中操作検出手段によって検出された前記操作に従って、所定の機器（各種デバイス６）の制御を行う機器制御手段（サーバ５の機器制御に関わる回路及びソフトウエア）を更に備える。

また、ユーザインターフェースシステム１は、前記表示手段が表示する映像の少なくとも一部として、前記ユーザにより閲覧可能な操作画面（図４（ｂ）に示す映像７１）を用い、前記空中操作検出手段は、前記ユーザが、前記表示部から離れた空中で、前記操作画面に対応して行った操作を検出する。

第１の実施形態のユーザインターフェースシステム１によれば、ユーザが、ヘッドマウントディスプレイ装置等の機器を装着することなく、空中で操作を行うことで、内容を変更した映像を表示部（カーテン１５）に表示したり、所定の機器（各種デバイス６）の制御を行ったりすることができるので、ユーザの利便性を高めることができる。

尚、図１乃至図４に示した第１の実施形態では、ユーザとして傷病者１４に対応させたが、傷病者以外のユーザ（例えばベッドで寝ているだけのユーザ、机に座っているだけのユーザ）に対応させてもよい。

また、図１乃至図４に示した第１の実施形態では、表示手段としてプロジェクタ２を用い、表示部としてカーテン１５を用いたが、表示部として壁を用いる、表示手段として液晶モニタを用い、表示部として液晶モニタの画面を用いる等、各種適用可能である。

さらに、手を観察するビデオカメラ３は、１台でなくてもよく、精度を上げるために、２台、３台等、複数台用いるようにしてもよい。

さらに、所定の機器としては、上述した各種デバイス６以外の物、例えば、空調機器、目覚まし時計等、各種適用可能である。

＜本発明の第２の実施形態＞
以下、本発明の第２の実施形態にかかるユーザインターフェースシステムを、図面に基づいて説明する。

図５は、本発明の第２の実施形態にかかるユーザインターフェースシステムの画像処理を示す説明図である。尚、図５に示していないユーザインターフェースシステムの構成要素は、図１乃至図４を代用して説明する。

＜ユーザインターフェースシステムの構成＞ 第２の実施形態にかかるユーザインターフェースシステムにおいて、第１の実施形態と異なるのは、サーバ５（図１及び図２参照）は、ビデオカメラ３（図１及び図２参照）から受信したビデオデータに対して画像解析を行い、映像６１（図４（ａ）参照）における傷病者１４の手６２の方向や手６２がどの程度握られた状態が判別し、仮想操作画面として、手６２の方向や手６２の握り程度に応じて、手６２が握る光の棒の映像を手６２に合成して、傷病者１４の上半身の映像を左右反転させ、当該左右反転させた映像に、操作ボタンの画像７３～７８（図４（ｂ）参照）を重ねて、プロジェクタ２（図１及び図２参照）からカーテン１５（図１参照）に表示させる。

＜ユーザインターフェースシステムの作用＞ 図５（ａ）に示すように、現実の傷病者１４が手６２の指の間に大きな空洞６４を形成した場合、仮想操作画面の手６２が握る光の棒の映像として、大型の光の棒６５の映像を用いる。

大型の光の棒６５の先端６５ａは、操作ポイントとなっており、その位置及びその周囲に点の画像６５ｂが表示される。

図５（ｂ）に示すように、現実の傷病者１４が手６２の指の間に中程度の空洞６６を形成した場合、仮想操作画面の手６２が握る光の棒の映像として、中型の光の棒６７を用いる。

中型の光の棒６７の先端６７ａは、操作ポイントとなっており、その位置及びその周囲に点の画像６７ｂが表示される。

傷病者１４が光の棒６７の先端６７ａを点灯用操作ボタンの画像７４に合わせると、点灯用操作ボタンの画像７４が点灯し、ベッド１３の照明が点灯する。

尚、前述したように、点灯用操作ボタンの画像７４に合わせると、ベッド１３の照明が点灯する構成でもよいが、実用化を想定すると、設定された秒数、微妙に動いていても、そのボタン上のエリアに入っている秒数が設定された秒数以上、載っていることがわかれば押下されたと判断されるように構成してもよい。そのため、点灯用操作ボタンを押さなくても、輝点がそのボタン上にあれば、実行されるように構成してもよい。

更に詳しく説明すると、サーバ５（図１及び図２参照）は、手６２の方向として、ビデオカメラ３（図１及び図２参照）から受信したビデオデータから傷病者１４の手６２と人差し指の先端Ｘ１，Ｙ１と握りや手の中心Ｘ２，Ｙ２を自動で計算し、その二つの点Ｘ２，Ｙ２からＸ１，Ｙ１へ結ぶ線を仮想の棒(の中心)とし、図５（ａ）の光の棒６５や図５（ｂ）の光の棒６７とする。

手６２の握りの場合も握りの形より図５の光の棒６５、６７を想定する場合もあるが、図５の光の棒６５、６７を仮想に作りだすために、手６２の握りの上部あたりにＸ３，Ｙ３、手の握りの下部あたりにＸ４，Ｙ４を自動で計算、設定する場合もある。

手６２の握りの形は、図５に示した方法が通常であるが、手の握りを逆にしかできない、つまり、小指側を上にした状態での操作しかできない場合は、仮想の光の棒は、手の握りの後ろから光の棒が伸びる場合もある。その場合は、Ｘ３，Ｙ３からＸ４，Ｙ４に伸びていき、そのままカーテン１５の接触面に到達する形になります。

このような構成加えて、デモンストレーションや操作をガイドするために、カーテン１５の面の手の位置に点線（エッジ画像（：画像処理技術の一つのエッジ検出（抽出）された画像のこと）でもよい）での手６２の形（どのようにすれば、どう動くかを見せてあげる）をプロジェクタ２（図１参照）で表示するなど（あるいは手６２を撮影しているビデオカメラ３の映像も見せて、もちろん、実際の映像ではなく点線（エッジ画像でもよい）で手の位置などを表示）をわざと見せて、初めて使用する人などに理解し易くすることもできる。さらに、光の棒というイメージだけでなく炎の棒のようなイメージを重ねることも操作をガイドしやすくなる。例えば、炎の棒だと考えて、デモンストレーションすると壁を燃やしながら、壁を貫通するような表示を点線の手６２の形とともにプロジェクタ２で表示するとわかりやい。また、原理や仕組みを伝えることも可能になる。

さらに、ビデオカメラ３が上半身を映している場合（人感センサ等で観察してもよい）、腕をある形にしたときや、あまりやらない操作を合図に、操作開始の意味を持たせてもよい。このような例として、例えば、肘をまげてＶの形にする例、いくつかの形を設定された順番でやった時や、右手の親指と人差し指を輪にして他の指を３本はたてると、この本発明のユーザインターフェースの動作が始まり、手の観察が開始、あるいは終了される例、右手の人差し指と中指をクロスさせると終了とか、開始の意味を持たせる例等が考えられる。

設定された手順で小指や中指を立てたり、何番目の指をある順番に立てたりした場合、終了とか、開始の意味を持たせるようにしてもよい。 このような簡易な合図や操作が本発明のユーザインターフェースを開始させるようにしてもよい。

さらに、左や右の壁に人差し指や握りによって作り出される仮想の棒（本発明のユーザインターフェース）を向けると、その面に設定されているボタン群が現れる。また、その面の方向のボタンでなくても設定したボタン群が現れてもよい。指を立てての操作や空洞をつくっての握りの形をしての操作中に親指を立ててから下すことでクリック、連続してクリックした場合はダブルクリックの操作としてもよい。そのとき、指を立てての操作や空洞をつくっての握りの形は変形していても、操作中であると認識できる場合は、崩れた形でも処理をそのまま続けて行うようにしてもよい。

図５（ｃ）に示すように、現実の傷病者１４が手６２の指の間に空洞を形成しない状態に移行した場合、仮想操作画面の仮想操作画面の手６２が握る光の棒を消す。

例えば、傷病者１４が光の棒６５、６７の先端６５ａ、６７ａをインターフォン用ボタンの画像７６に合わせると、インターフォン用ボタンの画像７６が点灯し、この後、操作ポイント６４ａ、６５ａをＯＫボタンの画像７８に合わせると、病室１２と管理室１７のインターフォンが繋がる。

尚、前述したように、ＯＫボタンの画像７８に合わせると、病室１２と管理室１７のインターフォンが繋がり、その時には、そのボタン上に輝点（６５ｂ、６７ｂ）が載ってから、自動でＯＫボタンが押下される構成としてもよいが、実用化を想定すると、設定された秒数、微妙に動いていても、そのボタン上のエリアに入っている秒数が設定された秒数以上、載っていることがわかれば押下されたと判断されるように構成してもよい。

このように、直接、ＯＫ、消灯、点灯、人を呼んでボタンを押さなくても、設定された秒数以上、輝点がそのボタン上にあれば、実行されるように構成してもよい。

関連して、数秒設定された秒数ではなく、例えば握りの筒を小さくする、つまり、握りを絞る、あるいは、突く動作で押下されるという形も考えられる。

このように、傷病者１４は、手６２の握り方で、操作ボタンの画像７３～７８の操作ポイントを調節できる。

また、ボタンによる動作を開始する前に、手６２があった場所や、ある設定された時間の間動かないと観察装置（ビデオカメラ３、及びサーバ５の空中操作検出に関わる回路及びソフトウエア）で判定されたときの場所や、あるいは、動作中に、ある程度動かないことが観察装置で判定されたときの場所に、手６２の中心位置を一旦おく、あるいは手６２の中心位置を置きその中心から球の半径と設定された半径で球を計算作成し、その中心位置や球体の中心位置からそこから本発明のユーザインターフェース（光の棒６５、６７）の輝点表示面（輝点（６５ｂ、６７ｂ）の表示面）に向かって、前に突き出すと設定された以上前に突き出された場合には、クリック、それよりもさらに突き出された状態で、上下左右に動かすと、ドラックした状態での上下左右としてもよい。ドラック状態の解除については、ドラックの基準より、元の手６２の中心位置、あるいは球体の中心位置に近づくとドラックの終了としてもよい。クリックもクリックの基準より、元の手６２の中心位置、あるいは球体の中心位置に近づくとクリックの終了としてもよい。

さらに、観察装置が傷病者１４の顔の位置を捉えて手６２が多段階の設定された距離の中に入ってきて、手６２がより顔に近づくと輝点のスピードがその多段階の設定された距離に応じてゆっくり、正確な動きにしてもよい。この場合、手６２が顔の前にかぶってもよい。

さらに、傷病者１４の頭の中心と指先を結んだ線や、頭の中心と仮想棒のある位置を結んだ直線の延長先を輝点にしてもよい。頭の中心の点は、そこからある方向にどのくらいの距離離れていると補足するための設定をしてもよい。また、人（傷病者１４）の振動を細かくとらえないように、ある程度の揺れは、誤差、ノイズとして輝点の動きに反映しなくてもよい。

さらに、傷病者１４は、輝点の動きを安定させるために、自分の脚に手６２を載せてもよいし、机に手６２を載せて安定させてもよい。

また、カーテン１５の先にインターフェースがある場合は、別の階層のインターフェース群が表示される。

例えば、自分（傷病者１４）の真上の壁に向かって、光の棒６５、６７によるインターフェースを向けた時は、ナースコールボタン、自分の読書灯やテレビジョン受像機のスイッチ等が、第２層の面として現れる。

また、部屋の入り口の方向に光の棒６５、６７によるインターフェースを向けると、空調、エアコン、部屋のセーリングライトのスイッチ群等が、第３層の面として現れる。

さらに、第２の実施形態では、別の部屋のスイッチ群を表示する事も可能である。webブラウザのタブをイメージして、例えば５層をタブで表示することも可能である。

さらに、第２の実施形態では、各層が、光の棒６５，６７のさす先（壁面の上、東、北面などやカーテンの東面、西面など、第１モニタ面、第２モニタ面、第２モニタ面など）が変化するとその方向に応じて、第１層～第５層がそれぞれ現れるＩ／Ｆにしてもよい。

さらに、第２の実施形態では、通常はタブの様な表示を行わず、管理者等が操作する場合に、特別な設定を持つようにしても良い。例えば、病院が小さければ、出入り口で各部屋のカメラによる状況、空調、セーリングライトのスイッチのオンオフが分かるようにし、これらオンオフ、調整も可能にすることで、操作の手間を無くすことができる。また、モニタ等も減らす事ができる。病院が大きければ各階フロアのナースセンターで同様の特別な設定を持つようにしても良い。

従って、第２の実施形態のユーザインターフェースシステムによれば、第１の実施形態と同様の効果が得られるとともに、操作ボタンの画像７３～７８の操作ポイントを調節できるので、より利便性が高まる。

尚、図５に示した第２の実施形態では、ビデオカメラ３（図１及び図２参照）から受信したビデオデータに対して画像解析を行い、手の空洞を計算することで、映像６１（図４（ａ）参照）における傷病者１４の手６２がどの程度握られた状態が判別したが、手の空洞を計算するだけでなく、横や縦などから、手の面積や体積が大きくなったなど、基本の面積や体積の変化を観察し、基準値を超えると指定の動作になるように構成してもよい。

また複数のビデオカメラ３を用い、計算の高速化のため、動作スピードが遅くなったり、大きさの変化
が少なくなったりした場合は、複数のビデオカメラ３を一つに、面積やエッジ形状だけの計算を行わせるようにしてもよい。但し、ビデオカメラ３の一つに、面積やエッジ形状だけの計算を行わせるようにする場合の設定は、誤差を+-３平方センチや３立法センチなど、人の動作時の震えや動作時の形状認識の誤差を性別、生年月日、身長、体重、体脂肪率、腕の太さ、手の大きさ、指の太さなどに基づいて自動的に設定されるようにするか、任意に設定する。

図１乃至図４に示した第１の実施形態の指がさす方向、さす点、図５に示した第２の実施形態の光の棒のさす方向、点ついても同様であり、傷病者１４の手６２の面形状で決めてもよい。

さらに、第２の実施形態において、手６２の誤差の考えかたも同様であり、動きをあまり、再現しすぎると、光の棒の先の点が揺れることになるので、動きをあまり、再現しすぎるのは好ましくない。従って、ある速度以上は検出しない、ある周波数以上の動きは検出しない等、ノイズ対策を行うことも考えられる。また、手６２の軌跡の補間処理を行うことも考えられる。

インターフェース（光の棒６５、６７）の先の点の画像６５ｂ、６７ｂの太さは、手６２の動きに応じて、絞る、つまり、太さを細くする事が可能で、これは、スイッチを押す動作としてもよい。

インターフェース（光の棒６５、６７）を突き出した操作後、そのまま突いた位置から投影面:仮想棒の接触面（カーテンや壁、モニタ）と平行に、その面からの距離を変えずに保ちながら（この場合、ある程度の誤差は許容する、その誤差は設定でもつ等）、動かすと、マウスでいうドラックしているのと同じ効果を発揮している処理（動いた軌跡は、処理としては、その軌跡を押さえられながら、なぞられるような状態、強さは、設定としてもよいし、突く動作の距離を測れれば、それをそのまま押さえる強さ（接触面への深さを測ってもよい、このように考えると通常の接触面は、仮想の棒の先端が触れているというイメージになる、そのように考えた方がいい場合がある。）の程度に反映する、とすることも可能である。先述したように、ある程度のノイズ、誤差の処理は行う。）を行うことも可能である。

ここで、マウスのドラックと同じ効果を発揮している処理の場合には、操作画面をめくることも可能となる。

さらに、インターフェース（光の棒６５、６７）を太くする動作や、前に突き出す動作で、スイッチを押す動作としてもよい。マウスのクリックと同様に、連続でやればダブルクリックとしてもよい。

インターフェース（光の棒６５、６７）と接触面（カーテンや壁、モニタ）に表示される光点の動作スピードは、調整が必要であり、人間が操作する時に入ってくる振動を抑えてできるだけ制御する計算が必要と思われる。そのために、入力動作のある周波数以上の動きはとらえないようにするや、小さな動作はとらえない、つまり、ある一定距離以下の動作は動作としてとらえず、光点の動きとしないなどの対策も行う。例えば、人の手の振動をその動作をとらえているカメラで補正してもよいし、つまり、とらえている物体の動きだけを抽出し、手自体の振動は除く処理を施す。あるいは、手が振動しないように補助具を手に付けることも必要に応じて行う。手のギブスの様なものや、手を載せる台を用意してもよい。

さらに、同じ形のインターフェースに対しての処理を変更してもよい。例えば、光の棒６５、６７を表示中に、指２本を立てて（手を握り中の人差し指や中指を立てる、チョキを出しているような形になっている）のクリックは、マウスでいう右クリックに相当させてもよい。手の形状によって、いろいろなモードに設定可能としてもよい。

尚、第２の実施形態も第１の実施形態と同様に、様々に変更可能であり、例えば、表示部としてカーテンだけではなく、壁や液晶モニタ画面等も各種適用可能である。

また、第１及び第２の実施形態において、傷病者１４の顔や、目線の方向を想定し、プロジェクタ２の投影先やボタンを表示する画面は人が見ていると思われる方向のみの表示とする場合もある。つまり、通常、プロジェクタ２の投影先やボタンを表示する画面は、指が指し示す先や光の棒が突き刺さっているカーテンや壁、モニタ（例えば、表示手段として液晶モニタ）等ですが、それを無視して、見ている方向にそのプロジェクションを行う形も適用可能である。これは、顔の向きと体の方向が極端に違う傷病者１４がいる場合に好適である。

さらに、第１の実施形態では、図４に示すように指を最初に１本立てて操作するイメージであるが、デフォルトを２本の指として、３つの指を立てての操作の場合は、第２の実施形態の図５（ａ）のように光の棒を太く、１本を立てての操作の場合は、第２の実施形態の図５（ｂ）のように光の棒を細くするなどもできる。また、この仕組みを太さの調整ではなく、突く動作時の前に押し出す量（プロジェクタ２による表示面からの深さとも考えられる）を表すと考えてもよい。つまり、デフォルトの２本の指での操作から、本数の差分を突く動作時の前に押し出す量（深さ）としてもよい。また、光の棒を炎の棒だと考えるとその棒の出力や温度を変化させた処理と考えてもよい。

また、第１及び第２の実施形態において、操作ボタンに指や光の棒をドラックした時の形に意味を持たせることもできる。例えば、ドラックしながら、円（△や×などどんな形でもよい、設定すればよい）を描くと、今の部屋のエアコンのスイッチをつけるや、照明のスイッチをけすなど、いろいろな動作を設定することも可能である。

さらに、第１及び第２の実施形態において、ドラックの動作時の強さ、突く動作時の前に押し出す量（プロジェクタ２による表示面からの深さとも考えられる）が足りないと、次の部屋に壁を貫通することができない、壁の表面が傷つくだけなど、物理的な壁の性質や炎の棒の性質（もちろん、弱い壁という設定でもよいし、通常は壁を想定しない）を表現することも可能である。例えば、光の棒を想定し、別の部屋までその光が貫通するための突く動作時の前に押し出す量（値）を決めておき、その値を超えると隣の部屋へ光の棒が届く。また、押し出す量が少ないと届かない、壁に傷がつくイメージの量も決めてもよい。

この強さは、操作面のボタンなどを操作するときにその強さを再現できる場合は、再現してもよい。

圧力センサをもっているボタンなどを操作する場合は、徐々にそれが押されるような操作再現装置によって、徐々に（ドラック時の軌跡の中で）強くや、（ドラック時の軌跡の中で）強い押しから、徐々に弱く等も再現できるようになる。

具体的なイメージとしては、ある程度大きいボタンの真ん中から、左に指をなぞるようなイメージも再現できる。

纏めて説明すると、操作画面の画像には、前記ユーザによる徐々に押されるような操作を再現する操作再現装置を有し、前記ユーザが圧力センサを有するボタンを操作する場合は、前記操作再現装置によって、徐々に強く押されるような操作、及び強い押しから、徐々に弱くなる操作を再現できる。

さらに、第１及び第２の実施形態において、隣り合ったボタンを連続でつけていったり、照度の調整バーの様なものを適切な力で押さえつけながら、左右、上下などの調整バーの形状によって操作していったりすることが可能になる。応用するとその場合は、壁を彫っているイメージなどになり、深さのある絵や文字を壁に描くことも可能になる。これらの情報は、プロジェクタ２による表示に反映させる。もちろん、物理的に、ロボットによって壁に再現してもよい。これらの情報は、ビルの壁のメンテナンスなどにも使える。

これらの情報を設定と組み合わせて応用すると、仮想で隣の部屋の壁を壊すと、隣の部屋のボタン類を表示し、操作可能にする。また、壁を壊す操作を行うことによって、部屋の壁という条件ではなく、ビル全体のエアコン類だけの操作面（階層）や、照明のスイッチ類のみの操作面（階層）を表示して操作可能にしてもよい。

他の例として、突く動作時の前に押し出す量（プロジェクタ２による表示面からの深さとも考えられる）によって、ある階（例えば５Ｆなど）のボタン類を見せる、押し出す量がある範囲より違う範囲にはいった場合には、ある階（例えば４Ｆなど）のボタン類が操作可能になるようにしてもよい。

さらに、第１及び第２の実施形態において、操作ボタンに指や光の棒をある箇所に向けて、ドラックしながら、円など（エリアが指定できれば、閉鎖空間が指定できればよい）を描くとすると、その円、言い換えればそのビルの円筒に含まれるボタン類が別部屋などの考えは無視して、すべてが操作面に並ぶような形も考えられる。この形は、メンテナンスの故障のチェックや探索などに役立つと考えられる。例えば、その方向にある部屋の設備ボタン類だけでなく、機器類、冷蔵庫やテレビなどのボタン類などの動作状況が見えると、ビルや部屋設備だけでなく、個々の機器類（冷蔵庫やテレビなど）の動作もチェックでき、効率的に故障個所の断定に使える可能性がある。ここでは、冷蔵庫やテレビなども含めたが、もちろん、通常の操作でも冷蔵庫やテレビなども操作対象だと考えられる。また、メンテナンス者がそのビルなどに到着した場合には、このような提案の人間が理解できるＩ／Ｆの方が効率的、効果的だと思われる。

さらに、第１及び第２の実施形態において、メンテナンスのために、各部屋に、カメラや各ボタン（冷蔵庫やテレビなどの各ボタンも含む）を配置し、各設備、各機器の状況などの情報を得るために通信し、その内容を分類し、例えば、エアコンのスイッチ（リモコン情報）のみなど同分類スイッチだけを集め、部屋の考えはなくして、操作面にならべる。（もちろん、操作面に効率的に並べられるならば、２種類でも３種類でもよい）操作面を一つのタブ（階層）にしてもよい。そのとき、スイッチ類の状態を示すために、実際には蛍スイッチでなくてもそのように表示してもよい。また、エアコンなどの複雑な機器の稼働状況などを、例えば、各々の関連のあるエアコンのスイッチの隣、あるいは、それ自体を操作面にならべて表示してもよい。そうするとエアコンの稼働状況などは、もちろん、各部屋にあるカメラやスイッチに内蔵されている、あるいは形態に制限は持たないが情報収集装置（温度や電気使用量なども監視している）として動作している装置からの情報を、その関連あるスイッチと並べるなどし、稼働状況などが一目瞭然とする。もちろん、関連情報をまとめることによって、メンテナンスや実際の現在の状況がその場に行かなくてもわかり、適切な調整も効率よく行える。

さらに、第１及び第２の実施形態において、正確にボタンをとらえるために、通常より大きいボタンを表示してもよい。

ボタンの大きさ、拡大率、縮小率は、ユーザインターフェースシステムの構成要素（例えばサーバ５）の設定で保持してもよいし、光の棒の太さと連動してもよいし、操作する人の状況（年齢、眼鏡の有無、眼鏡の度数、つまりレンズの矯正強度を数値化したものなどを実際に入力してもらい設定でもつ）や、ボタンや光の棒と壁の接触面の状況（人からの壁までの距離やその環境の暗さ、表示面の明るさなどを設定で入力してもよい）を自動判定して設定するように構成してもよい。

さらに、第１及び第２の実施形態において、操作の目印となる輝点（ポインタ）や操作者の指の先や仮想で握っている光の棒の先の点（計算上、カーテンと指の先の接触点）は、操作者にとっては邪魔になるときもあるので、透明度をもった輝点としておき、必要に応じて、透明にすることができる。

透明の輝点の場合には、どこを自分が操作しているかがわかりにくいので、その場合は、ボタンなどが点灯、点滅して、透明の輝点が現在、ボタンの上にあるよ、というようなことを示す。

あるいは、プロジェクタの表示枠端（縦枠（左右の一方の枠線でもよいし、両方でもよい）、横枠の端（上下の一方の枠線でもよいし、両方でもよい）、の位置）やモニタの端（縦枠、横枠の端の位置）に短い線があり、横枠の端の線から仮想で伸びる線と縦枠の端の線からの仮想で伸びる線が交わっているところに輝点があることを操作者にわかるように見せる仕組みも構成可能である。

（Ａ）輝点（ポインタ）の付近のエリアに目線が向かっている時や、顔の向きが表示面（ポインタ）を見ている状態を検出すると、通常より動く量が減り、ポインタの動作がゆっくりしか動かない、つまり細かい動作が可能になる。

（Ｂ）また、ポインタの動きは握りを絞るなどした場合も、ゆっくりになり、繊細な、細かい動きが可能になるようにしてもよい。つまり通常のモードで同じ距離、指や光の棒を仮想的に持つ手を動かした場合でも、ポインタは通常より少ない距離しか移動しない。このような制御をしてもよい。

ここで、ノイズ（生体の小刻みな揺れ）は、ポインタの揺れなどにつながり操作が難しくなるので、できるだけ除去した方がよいが、上記（Ａ）、（Ｂ）の場合では、細かい動きに合わせて、通常より大きな量であった場合や周波数が高い場合、ノイズとして切り捨てられる。つまり、通常より、より大きくゆっくり動く、周波数が低いという状態でなければ、その動作情報はノイズとして、削除される。

また、生体情報、例えば体の揺れや心拍などを観測することによって、観測した体の揺れを計算にいれ、指や光の棒を仮想的に持つ手の主な動作とは違う細かな振動（ノイズ）として除去を行ってもよい。

さらに、第１及び第２の実施形態において、傷病者１４の手６２を観察する撮像手段として、一般用のビデオカメラ３に限らず、暗くても大丈夫なように暗視カメラ、サーモカメラ、赤外線カメラなどを使って、手６２の動作をとらえてもよい。

さらに、第１の実施形態において、実際には、人差し指を立てる代わりに木の棒や、手の握りで作る空洞の代わりに筒を表現できる金属管や、プラスチックの棒（暗い場所での操作を考えると発光する棒）などを持っても同じような操作が可能となるように補足の処理や計算を行ってもよいし、設定を行ってもよい。もちろん、カメラの撮影時に手だけに光をあててもよい。

従って、本発明の、システム、手段、方法、などは、本発明の要旨を変更しない範囲で、様々に変更可能である。

例えば、ユーザ（傷病者１４）の映像を撮像する撮像手段（ビデオカメラ３）として、天井に限らず、机の上に設置する等、各種適用可能である。また、文字入力時に、一つずつひらがな表などを表示して、選んでいる時、文字や単語の次候補は直線に並ぶ上下、左右、斜めなど、操作しやすい方向に次候補が並び、候補を選びやすくし、入力を助ける。円などを特定すると候補が、縦リストや横リストとして出て来る。

例えば、２つ以上のシステムを１つにすることも可能であるし、逆に、１つのシステムを２つ以上の別のシステムから構成して接続することも可能である。

また、上記第１及び第２の実施形態は、あくまでも、現在のところの最良の形態またはそれに近い形態の一つにすぎない。

本発明のユーザインターフェースシステムは、医療施設や宿泊施設を運営する事業者や法人、個人住宅等において効果的に利用できる。

１ ：ユーザインターフェースシステム
２ ：プロジェクタ３ ：ビデオカメラ４ ：無線ＬＡＮ５ ：サーバ１１ ：病院１２ ：病室１３ ：ベッド１４ ：傷病者１５ ：カーテン１６ ：壁１７ ：管理室５１ ：制御部５２ ：記憶部５３ ：インターフェース５４ ：通信部５５ ：キーボード５６ ：マウス５７ ：ディスプレイ装置

Claims (3)

1. ユーザの映像を撮像する撮像手段と、
   前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段と、
   前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を表示部に表示する表示手段と、
   を備え、
   前記表示手段は、ユーザの手に仮想の棒を表示し、
   前記空中操作検出手段は、前記ユーザが前記仮想の棒での操作を検出し、
   前記棒の大きさが指の間の空洞の大きさに応じて変化する
   ことを特徴とするユーザインターフェースシステム。
2. 前記空中操作検出手段によって検出された前記操作に従って、所定の機器の制御を行う機器制御手段を更に備えることを特徴とする請求項１に記載のユーザインターフェースシステム。
3. 前記表示手段が表示する映像の少なくとも一部として、前記ユーザにより閲覧可能な操作画面の画像を用い、
   前記空中操作検出手段は、前記ユーザが、前記表示部から離れた空中で、前記操作画面に対応して行った操作を検出することを特徴とする請求項１または２に記載のユーザインターフェースシステム。

Images