JP3834766B2 - マンマシーン・インターフェース・システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、マンマシーン・インターフェースに関し、特に、コンピュータの利用に既存の操作を意識させず、ユーザの快適性を重視し、計測器などをユーザの身体に取り付けることでユーザの自由度を低下させることのないインターフェースに関する。
【０００２】
【技術的背景】
コンピュータは我々の生活に深く浸透し、その利用形態もさまざまである。以前では考えられなかったような非常に小型のコンピュータを携帯したり、周囲の環境に埋め込まれ一見してそれと解らないような場所での利用も行なわれている。将来的にはウェアラブル・パソコンやＰＤＡのような人に取り付ける形態と、机や壁、部屋などユーザの周囲の環境に融合した形態の２つの流れにそって発展してゆくと考えられる。
このような流れの中で、マンマシーン・インターフェースについて考えると、現在のＧＵＩ等に代表されるインターフェースは、ユーザをインターフェースに縛り付け、本来行ないたい作業とは別にインターフェースにも気を配らなければならなかった。そこで次世代のインターフェースではユーザの行ないたい作業に対してより直接的でより自然な操作を行なうことのできるインターフェースが求められている。
【０００３】
そこで、コンピュータを用いた情報の検索や利用において、ユーザのインターフェースによる負担の軽減のため、実世界でのユーザの作業や操作をコンピュータが支援し、キーボードやマウスのみによる従来型のインターフェースよりも快適に利用できる次世代のインターフェースとして、実世界指向、状況認識によるインターフェースに期待が寄せられている。
実世界指向ユーザ・インターフェースは、実世界のユーザの状況を常にコンピュータが認識し、ユーザの意図を汲み取ってコンピュータが作業を支援する。これにより、既存のコンピュータの操作を感じさせない透明なインターフェースの実現を目指している。この実世界指向インターフェースを机上での作業に応用し、机型実世界指向インターフェースの一例として、“机”に統合された実世界指向インターフェース（Enhanced Desk）の開発が進められている。机上での作業とコンピュータでの作業の融合に注目した例として、Digital Desk（例えば、小池「Bit別冊 ビジュアルインターフェース−ポストGUIを目指して−」共立出版、2.1章、 pp.24-44等参照）がよく知られている。Digital Deskでは机上に投影されたコンピュータ画面を指先などで操作するものである。ユーザは机上に投影されたイラストを切り取ってコピーしたり、机上に投影された電卓で計算をすることができる。
【０００４】
机上での紙書類に着目し、紙書類と電子情報の統合利用を試みている例もある（M.Kobayashi and H.Koike: Enhanced Desk、 Integrating Paper Documents and Digital Documents; Proceedings of 1998 Asia Pacific Computer Human Interaction、 pp.167-174 (1998)参照）。この例では、紙書類と電子情報の対応づけのためにあらかじめ紙書類に付与したバーコードを用いているが、バーコードがある程度以上の大きさで観察されることが必要なため、大型のバーコードを用いなければならなかった。またユーザの手領域を認識するために肌色抽出を行なっていたが、机上に肌色に近い物体があると誤認識されたり、ユーザの手の上に映像が投影されると、手領域抽出がうまくいかないといった問題点があった。ユーザの指先位置の認識についても常に特定の手の向きを仮定し、指先は１点とするなどの制約が多く、また認識精度の不十分さが大きな問題であった。そして一連の処理をソフトウエアで行なっているため実時間処理が不可能であった。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、ユーザの周囲の環境に融合したインターフェースとして、“机”に統合された情報インターフェース・システムの実現である。
オフィスなどでは、机上でＰＣを使った作業を行ない、また同時に紙書類を使った作業を行なうことが多い。これらの机上での作業をコンピュータに机上を観察させることによって、統合的に扱うことのできる情報インターフェース・システムの提供を行なう。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明は、指先の画像を用いるマンマシーン・インターフェース・システムであって、指先の画像を得る赤外線カメラと、前記赤外線カメラによる画像を入力して、処理する処理システムとを有しており、前記処理システムは、画像から手領域を、体温を利用し一定閾値で２値化して抽出し、抽出した手領域から、円形のパターンとのパターン・マッチングにより指先を特定し、特定した指先の机上の座標を求めることを特徴とするマンマシーン・インターフェース・システムである。円形のパターンを用いることにより、指先の認識精度を高め、しかも高速に認識処理を行うことができる。
【０００７】
さらに、前記求めた指先が１つであるときは、指差し動作であると認識することができ、この指差し動作で、マウス等で行うポインティング操作を行うことができる。さらに、撮影位置の制御ができるカメラを備えるとともに、前記指差し動作を行うことで、その指先の机上の座標に、前記カメラの撮影位置を合わせる制御を行うことができる。これにより、前記カメラで撮影した画像を取り込み、取り込んだ画像から、バーコードを抽出して、バーコード認識処理を行うこともできる。さらに、音声入力手段を備えるとともに、前記音声入力手段による音声を入力し、音声認識処理を行うことにより、音声によるコマンド等を入力することができる。さらに、プロジェクタを備え、前記プロジェクタにより、コンピュータ画面を机上に投影することにより、コンピュータ画面とのインタラクティブな処理も行うことができる。上述の処理を行わせるプログラムを格納した記録媒体も本発明である。
【０００８】
【発明の実施の形態】
本発明のマンマシーン・インターフェース・システムは、以下の特徴を有しているものである。
（１）赤外線カメラを利用して、ユーザの皮膚領域からの放射光を測定することにより、ユーザの手領域を安定に抽出する。
（２）正規化相関等に基づいた、テンプレート・マッチングの利用により、ユーザの指先の高速追跡を実現する。
（３）机上の小さなバーコードの認識を行なうため、ズーム機能付パンチルト・カメラを用いてユーザの指先周辺を拡大追跡する。
（４）処理の高速化のため、画像処理ハードウエアの利用と分散処理の適用を行う。
以下に、これらの特徴を中心として、本発明の実施形態を、図面を参照して、詳細に説明する。
【０００９】
図１は、本発明の実施形態であるエンハンスト・ディスク（Enhanced Desk）の外観図である。図１に示すように、通常の机１０の上方にプロジェクタ３０を取り付け、コンピュータ（図示せず）の画面を鏡４４で反射させ、机上に画面１２を投影する。机上を観察するカメラは２台設置した。１台は赤外線カメラ５０であり、机１０左側から上を向けて設置し、表面反射鏡４２ごしに机上の撮影を行なう。もう１台のズーム機能付パンチルト・カメラ２０は、机の右上方に設置し、机上の一部分を拡大して撮影することができる。また、図示していないが、スピーカとマイクも設置されており、音声等の入出力の機能も持っている。
【００１０】
図２は、実施形態におけるシステム構成図を示している。図２において、コンピュータ・システム６０で生成された投影画像が、プロジェクタ３０により表面反射鏡４４を介して、机１０上に投影される。また、机１０上の画像を撮像しているパンチルト・カメラ２０の姿勢等は、コンピュータ・システム６０により制御されている。パンチルト・カメラ２０で撮像された画像も、コンピュータ・システム６０内に取り込まれて処理される。赤外線カメラ５０で撮像された机上の画像も、コンピュータ・システム６０に取り込まれて処理される。
本発明のエンハンスト・ディスクでの主な処理の流れを以下に示す。
▲１▼ ユーザの手領域を、赤外線カメラ５０の画像より抽出する。
▲２▼ 抽出された手領域からユーザの指先点を検出する。
▲３▼ カメラ画像上の指先点の位置座標から、キャリブレーションによりあらかじめ求めておいた射影変換パラメータを用いて、机上の位置座標に変換を行なう。
▲４▼ 机上の指先位置情報をもとに机上に投影したオブジェクトや情報とインタラクションをとる。
これらの処理について、以下詳細に説明する。
【００１１】
＜手領域の抽出＞
手領域の抽出には、背景差分やカラー・カメラによる肌色抽出が一般的に用いられている。しかし、これらの手法では、背景の状態によっては手領域を抽出することが困難な場合が多い。特に本システムで想定される作業環境では、机上に紙書類や書籍などを開くことが考えられ、プロジェクタにより電子情報を投影するために、ユーザの手領域の色が一定ではないなどの問題点がある。そこで、本システムでは、手領域を安定に抽出するために赤外線カメラ５０を利用した。机上を観察している赤外線カメラの画像から、人の体温をもとに手領域を切り出すことができる。
赤外線カメラを利用して、人の体温の近傍（３０℃〜３４℃）を撮影することにより、机上の手の様子を例えばＮＴＳＣの２５６階調の映像として得ることができる。この映像を一定の閾値で２値化処理し手領域を抽出する。図３に、赤外線カメラからの画像をもとに、手領域の抽出処理を説明する。図３（ａ）は、赤外線カメラ５０からの画像である。コンピュータ・システム６０で取り込む際の解像度は２５６×２２０画素である。そして、この画像から、人の体温の近傍（３０℃〜３４℃）の画像を抽出する。これを示したのが図３（ｂ）であり、手領域の部分を抽出して２値化したものである。図３（ｂ）に示すように、この手法により、背景や照明の変化に影響されず手領域だけを安定に抽出することができる。
赤外線カメラは、例えばニコン・サーマルビション（ＬＡＩＲＤ３Ａ）を使用することができる。このカメラは、有効画素数７６８×４６５画素、フィールドタイム１／６０秒で−２０℃〜５０℃までの範囲を撮影することができる。
【００１２】
＜指先位置の認識＞
指先位置の検出は、ユーザの手は机上にあり、カメラとユーザの手の距離はほぼ一定で見かけ上の大きさが極端に変わらないことから、一定の大きさのテンプレートで指先位置を検出することができる。指先位置の認識は一般に、指先形状の輪郭が円に近いことに基づき、円形テンプレートを用いて、手領域周辺で正規化相関に基づくパターン・マッチングを行なうことで検出する。ユーザの手は机上にあり、見かけ上の大きさが極端に変わらないことから、パターン・マッチング処理の対象を手領域の一定範囲内のみに限定し、処理の高速化を図っている。
この指先位置の認識を図４を用いて説明する。
パターン・マッチング処理は、例えば手領域を切り出して２値化した２５６×２２０画素の画像（図３（ｂ）参照）に対して、図４（ａ）に示す１５×１５画素の大きさのテンプレートを用いて、相関値を用いて一致検出を行う。
パターン・マッチング処理の後、あまりにも近接した場所で多くの相関値の高い点が見つかった場合、そのうちの一番相関値の高い点を残し、残りを指先候補点から除外する。これによりいくつかの指先候補点が得られるので、それらのうち指先点以外の誤認識された点を除外する。この処理は、図４（ｂ）に示すように、テンプレートの周囲８点（矩形の４頂点及び各辺の二等分点）に対応するピクセルを調べ、指先点かどうかを判定する。この処理により指先がテンプレートを突き抜けていたり（図４（ｂ）のＥＲＲＯＲ）、テンプレートの周囲に指らしきピクセルが何もない場合なども指先点候補から除外する。
最終的に、図４（ｃ）に示すように、指先候補点を相関値の高い順に５つまで採用しユーザの指先点とする。
本システムにおける指先検出処理の実施例としては、日立画像処理ボードＩＰ５０１０を用いて行なっている。ＩＰ５０１０は白黒濃淡画像で４０画面分のメモリをもった画像処理ボードであり、メモリ上に保存した画像間で２値化や差分といった画像処理を、ハードウエアで高速に行なうことのできるボードである。ＯＳはＷｉｎｄｏｗｓＮＴ（登録商標、以下同じ）およびＬｉｎｕｘに対応しており、多くの画像処理関数がライブラリとして用意されている。本実施例では、ネットワークとの親和性を鑑み、ＯＳにＬｉｎｕｘを利用した。
【００１３】
＜カメラ画像座標と机上平面座標の補正＞
赤外線画像中で検出された位置が机上でどの位置に対応するかを知るため、赤外線カメラ画像座標と机上平面座標の補正を行なう。ここでは、赤外線カメラ画像座標と机上平面座標の対応点をいくつか定義し、その関係を元に赤外線カメラ画像座標(x、y)と机上平面座標(x'、y')の間の対応を式(1)のように射影変換を用いて表現する。
【数１】

対応点を求めるために、赤外線カメラ対応点の測定を説明する図５を用いて説明する。
机１０に対して、机上平面の座標系を設定する。このために、机上の目標点の位置にキャリブレーション板７０を作成し、これを机上に置くことで机上座標系を設定する。手領域を切り出す赤外線カメラでは、温度差が画像として出力されるため、図５に示すように、このキャリブレーション板の対応点に小型電球７２を埋め込み、点灯した電球を赤外線カメラで撮影して対応点を計測する。
対応点の組を計測後、その関係をもとに射影変換パラメータ（c₁〜c₈）を決定する。このパラメータを用いて変換を行なうことによって画像のゆがみや、位置のずれなどを補正することができる。
この射影変換パラメータを得るためには最低４組の対応点があればよいが、本システムでは、安定に解を求めるため、図５に示すように対応点（小型電球）を９組用意した。この９組に対して、上記の連立方程式を特異値分解法を用いて解くことで、変換のパラメータを求めた。
本システムでは、処理軽減のため机上の座標系とプロジェクタで机上に投影した画像の座標系を同一とし、机上平面座標の値とプロジェクタ投影画像の画素の位置座標を等しくしている。これにより、机上平面上の指先位置にプロジェクタの画像を投影するには、単に机上平面座標上での座標値にオブジェクトを描画した画像を投影すればよく、処理の軽減を図ることができる。
【００１４】
＜指先周辺の注視によるバーコード認識＞
本システムでは、画像処理を行なって認識したユーザの指先が１つだった場合、ユーザが指差し動作をしていると判定することもできる。このことにより、例えば人差し指だけで指すことにより、指差し動作であると認識して、この指先の座標を得ることにより、マウス等のポインティングの代わりに用いることができる。
この指差し動作をしている指先の周辺が注目している領域であるとみなすこともできる。この応用であるパンチルト・カメラ２０で、１本の指先の注目領域を追跡する処理を、以下に説明する。
【００１５】
（指先追跡処理の流れ）
パンチルト・カメラ２０における指先追跡の処理の流れを以下に示す。
▲１▼ 机上平面とパンチルト駆動平面の２平面間で対応点を計測し、射影変換パラメータを算出しておく。
▲２▼ 画像処理によって赤外線カメラ画像上の指先点の位置を計測する。
▲３▼ 赤外線カメラ画像上の指先点の位置を射影変換により机上平面上の座標に変換する。
▲４▼ 机上の指先点の位置をパンチルト駆動平面に射影変換を用いて変換する。
▲５▼ パンチルト駆動平面上の座標をカメラにVISCAコードで送出し、カメラをユーザの指先点に向かせる。
▲６▼ 指先点に向いたカメラの画像を処理する。
【００１６】
（射影変換パラメータの算出）
本システムでは、机上の指先位置が、カメラ２０のパンチルト駆動平面上でどの座標位置にあるかがわかればよい。この処理は、パンチルト・カメラ２０が現在、駆動平面上でどの座標値をとっているかを知ることができるので、これを利用して行う。先に、カメラ画像座標と机上座標の補正を行なったことを説明したが、指先追跡においても同様の手法を用いて、カメラ２０による座標補正を行なっている。
そのためにまず、今までの処理で指先の机上座標はわかっているので、その机上位置に対応したパンチルト・カメラ２０の駆動平面上の位置を算出する。対応点は４組以上計測する。この計測は、机上の対応点をパンチルトカメラが中心に捕らえるように位置を調節し、その時点でのパンチルト駆動平面上の座標値を対応点として測定する。この対応点をもとに先の射影変換を用いて、机上座標からパンチルト駆動平面上の座標に変換するパラメータを求める。
指先追跡のためのカメラ２０は、座標を指定することでその方向にカメラを向けることができる機能を有している。この機能を利用して、ユーザの指先を追跡させている。
実施例として、指先追跡のための追跡カメラ２０は例えば、垂直方向-7794〜7794、水平方向-15570〜15570の大きさのパンチルト駆動平面をもっているSony EVI-G20パンチルトカメラを使用し、ＰＣのシリアルポートからVISCAコマンドをカメラに送信することによって、カメラのパンチルト制御を行なっている。
【００１７】
（指先追跡処理）
さて、指先追跡処理を説明する。赤外線カメラ５０からの画像を上述の画像処理によって、机１０上の指先点の位置を計測する。赤外線カメラ画像上の指先点の位置を射影変換により机上平面上の座標に変換するとともに、１本の指先のみであることを認識する。
求めた机上の指先点の位置を、上述のパラメータにより、カメラ２０のパンチルト駆動平面に射影変換を用いて変換する。パンチルト駆動平面上の座標をカメラにVISCAコードで送出し、カメラ２０をユーザの指先点に向かせる。これにより、指先点を向いたカメラ２０の画像を取り込むことができる。
【００１８】
（バーコードの認識）
以下に、このカメラ２０の映像を用いて、指先の拡大追跡を行ない、バーコード等の小さい物体の認識を行なっている例を、図６を用いて説明する。 図６は、指先の拡大追跡を行ない、バーコード認識を行っている様子を示す。
現実物体（紙書類、書籍等）に、バーコードを取り付けることにより認識を行ない、電子情報とのリンクを作成することができる。バーコードには二次元マトリックス・コードを利用した。この二次元バーコードはコードの種類だけでなく、コードのある位置や、向きなどもコードから得ることができるので、物体のコードが貼付されている位置を記憶していれば、コードから物体の姿勢を計算することができる。
図６（ａ）に、2次元バーコードの例を示す。この様なバーコードは、パンチルト・カメラ２０で撮影した画像の中に存在すれば認識される。認識するためにはカメラ画像中である程度の大きさが必要であるが、パンチルト・カメラ２０が拡大した映像を撮影しているので、机上においた書類に貼り付けたバーコードでも、約1.5×1.5cmの大きさのものまで認識することが可能である。机上ではユーザの指差し動作によって、バーコードが指差されれば、そのコードを認識し、それに対応したインタラクションを起こすことができる。
図６（ｂ）に、このバーコードに対する、指先の拡大追跡を行なった様子を示す。図６（ｂ）は、カメラ２０の画像を２値化した画像を示している。まず、赤外線カメラ５０からの画像上の指先点の位置を画像処理によって計測する。これにより、１本の指で指していること、およびその指先点の位置座標をえることができる。次に、赤外線カメラ画像上の指先点の位置を射影変換により机上平面上の座標に変換する。得られた机上の指先点の位置を、パンチルト駆動平面に射影変換を用いて変換して、得られたパンチルト駆動平面上の座標をカメラ２０にVISCAコードで送出し、カメラ２０をユーザの指先点に向かせる。そして、指先点を向いたカメラ２０の画像（図６（ｂ））を処理して、バーコード画像を認識して、バーコードの読み取り処理を行う。
バーコードの認識処理は実施例として、例えば、ビデオ映像をＳＧＩ社のシステムであるＯ２のビデオ入力端子から320×240画素の大きさで取り込み、２値化等の処理を行ない、バーコード認識ライブラリを用いて認識を行なうことができる。画像入力はＳＧＩ社のビデオ・ライブラリを使用している。また、バーコード認識処理はソフトウエアで行なっており、１０〜１５ｆ／ｓ程度の速度で実行が可能である。
【００１９】
＜音声認識＞
本システムには、ユーザとのインタラクションの補助的役割として音声認識を使用している。ここではユーザの指差し動作やオブジェクトの移動や回転といった操作モードの変更を行なうためのキーワードを認識させるためにのみ利用している。
音声認識はIBM ViaVoiceの音声認識エンジンを使用して行なっている。本システムでは、あらかじめ登録してある単語をユーザが発声したときに何らかのインタラクションを起こすために、音声認識プロセスはメッセージ・サーバに対して、認識した単語の種類をメッセージとして常に送っている。サーバに送られたメッセージは、情報提示プロセスが受け取り、その単語に対応したインタラクションを机上で起こすことが可能である。
【００２０】
＜分散処理＞
本システムでは大きく分けて、指先検出およびパンチルト・カメラによる指先追跡処理、２次元バーコード認識処理、音声認識処理、情報提示処理の４つの処理を行なっている。本システムではそれぞれの処理を、高速化のため複数のマシンで分散処理を行なっている。図７に分散処理の概略図を示す。
指先検出及びパンチルト・カメラ２０による指先追跡処理は、例えば、Pentium（登録商標、以下同じ）II 450MHzのパソコン６４にLinuxと画像処理ボードIP5010を導入したマシンを使用して行なっている。このプロセスにより、机上のユーザの指先数および位置を計測し、指先の机上座標位置をメッセージ・サーバ６８に送出している。また、パンチルト・カメラ２０の視線方向をユーザの机上での指先位置になるようにカメラ２０を制御している。
２次元バーコード認識処理では、パンチルト・カメラ２０の画像をＳＧＩ Ｏ２システム６６のビデオ入力に取り込み、ソフトウエア処理によって２次元バーコードの認識を行なっている。認識結果は常にメッセージ・サーバ６８に送出される。
音声認識は、例えば、PentiumII 330MHzのパソコン６２にWindowsNTとViaVoiceを導入して処理を行なっている。ユーザがマイクに向かって話した音声をすべて認識させ、そのうちあらかじめ登録してある単語を認識した場合に、特定のメッセージをメッセージ・サーバ６８に送出している。
最後に、常にメッセージ・サーバ６８に貯えられている情報を取り出し、それに対応するインタラクションや画像を作成する情報表示プロセスがある。これはいわばアプリケーション・プロセスであり、ＳＧＩ Ｏ２システム６６で処理を行なっている。
各々の処理間の通信を行うメッセージ・サーバ６８には、タプル空間通信システムTS System/s、通称Lindaを用いている。このシステム６８はネットワーク上でタプル・スペースと呼ばれる空間を共有し、その空間を介して任意の文字列をセットとしたタプルと呼ばれるメッセージをやり取りすることによって、通信を実現している。非同期通信であるため、個々のプロセスが完全に独立して動作することができ、また新しいプロセスの追加や変更が容易であるという利点がある。
本システムでは、指先を毎秒20フレーム以上の実用的な速度で、安定して検出することができた。
【００２１】
＜アプリケーション例＞
（簡易文字認識）
机上でのユーザの指差し動作を追跡することを利用して、ユーザが指で書いた文字を認識することができる。例えば、プロジェクタ３０から机上に投影されたマス目に対して指で数字を書き入れると、その数字を認識して、書いた数字を机上にプロジェクタ３０により表示することができる。ユーザの指先に単純なポインティング以外の意味を持たせるために利用できる。
（その他の応用）
その他の応用として、ユーザの指先の位置情報だけでなく、５本の指先の軌跡を利用したジェスチャ認識等も可能である。カメラによる拡大撮影が可能になったことから、紙面の小さい文字も認識できると思われるため、文字認識を利用し、紙書類と電子情報の統合的な利用のための機能を付加するができる。また、本システムを遠隔協調作業への応用として、遠隔地の２つの机上を共有することによる机上平面を媒介としたコミュニケーション環境の構築もできる。
本発明は、上述の分散コンピュータ・システムばかりではなく、複数のシステムから構成されるクライアント・サーバ・システムやスタンド・アローンのシステムに適用してもよい。
本発明に関するプログラムを格納した記憶媒体から、プログラムをシステムで読み出して実行することにより、本発明の構成を実現することができる。この記録媒体には、フロッピー（登録商標）・ディスク、ＣＤ−ＲＯＭ、磁気テープ、ＲＯＭカセット等がある。
【００２２】
【発明の効果】
上述のように、本発明を用いると、机上での電子情報と現実物体を統合的に扱うことのできる机「Enhanced Desk」実現のために必要であるインターフェースが実現できる。
また、カメラで指先を拡大追跡しているため、例えば、小型のバーコードの認識が可能となり、机上の物体に不自然に大きなバーコードをつける必要がなくなった。
ユーザは、本発明のインターフェースを用いることにより、例えば机上に投影された３Ｄオブジェクトを指先で回転させながら移動したり、書籍に添付したバーコードを指差すことで関連するホームページを表示させるなど、従来のマウスやキーボードよりも、直感的で現実と密接にリンクしたインタラクションを電子情報との間で行なうことができる。
【図面の簡単な説明】
【図１】エンハンスト・ディスクの外観図である。
【図２】本発明のシステム構成図である。
【図３】手領域の抽出を示す図である。
【図４】指先認識を説明する図である。
【図５】対応点の測定を説明する図である。
【図６】指先の拡大追跡を説明する図である。
【図７】分散処理を説明する図である。
【符号の説明】
１０ 机
１２ 画面
２０ ズーム機能付パンチルト・カメラ
３０ プロジェクタ
４２ 表面反射鏡
４４ 表面反射鏡
５０ 赤外線カメラ
６０ コンピュータ・システム
６２ パソコン
６４ パソコン
６６ ＳＧＩ Ｏ２・システム
６８ メッセージ・サーバ
７０ キャリブレーション板
７２ 小型電球

Claims (7)

1. 机上の指先の画像を用いるマンマシーン・インターフェース・システムであって、
   机上の画像を得る赤外線カメラと、
   前記赤外線カメラによる画像を入力して、処理する処理システムとを有しており、
   前記処理システムは、
   画像から手領域を、体温を利用し一定閾値で２値化して抽出し、
   抽出した手領域から、円形のパターンとのパターン・マッチングにより指先を特定し、
   特定した指先の机上の座標を求める
   ことを特徴とするマンマシーン・インターフェース・システム。
2. 請求項１に記載のマンマシーン・インターフェース・システムにおいて、
   前記処理システムは、さらに、求めた指先が１つであるときは、指差し動作であると認識する処理を含むことを特徴とするマンマシーン・インターフェース・システム。
3. 請求項２記載のマンマシーン・インターフェース・システムにおいて、
   さらに、撮影位置の制御ができるカメラを備えるとともに、前記処理システムは、前記指差し動作であると認識されたとき、その指先の机上の座標に、前記カメラの撮影位置を合わせる制御を行うことを特徴とするマンマシーン・インターフェース・システム。
4. 前記請求項３記載のマンマシーン・インターフェース・システムにおいて、前記処理システムは、前記カメラで撮影した画像を取り込み、取り込んだ画像から、バーコードを抽出して、バーコード認識処理を行うことを特徴とするマンマシーン・インターフェース・システム。
5. 前記請求項１〜４のいずれかに記載のマンマシーン・インターフェース・システムにおいて、
   さらに、音声入力手段を備えるとともに、前記処理システムは、前記音声入力手段から音声を入力し、音声認識処理を行うことを特徴とするマンマシーン・インターフェース・システム。
6. 請求項１〜５のいずれかに記載のマンマシーン・インターフェース・システムにおいて、
   さらに、プロジェクタを備え、前記プロジェクタにより、コンピュータ画面を机上に投影することを特徴とするマンマシーン・インターフェース・システム。
7. 請求項１〜６のいずれかに記載のマンマシーン・インターフェース・システムで行われる処理をコンピュータ・システムに行わせるプログラムを格納した記録媒体。

Images