JPS63223819A - グラフィック物体を操作する方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、光学的手段を用いて、複数の光遮断物体の位
置、空間的方向及び／又は速度を検出する方法及びこれ
に関連する装置に関し、コンピュータ端末ディスプレイ
モニターに用いたとき特に有利になるようにしたもので
ある。

（従来技術の説明） コンピュータに関しては、特定のグラフィック物体に注
意を向ける際、従来のキーボード入力に変えて該物体を
指すようにした種々の装置が知られている０例えば、ラ
イトベンや所謂「マウス」等がコンピュータのビデオモ
ニターに表示された物体を指す手段として知られている
。更に又、限られたメニューの中から特定のものを指し
て選択を行なえることも知られている。

１つの物体で複数のビームを遮断し、該物体を表示する
ことも既に行なわれている。これについては、例えば米
国特許第３６７３３２７号及び第４５１７５５９号を参
照することが出来る。更に又、広範囲に分散した光ビー
ムを遮ぎることによりセンサー配列の集合を部分的に遮
断することも知られている。これについては、米国特許
第４２４７７６７号を参照することが出来る。

更に、複数の電荷結合素子（ＣＣＤ　）を用いて１個の
物体のｘ−ｙ軸座標系の位置を決めることも知られてい
る。これについては、エレクトロニックデザイン、１９
８０年９月２７日、１３９−１４３（ａ）及び４３　（
ｂ）に記載された、「分解能が高い光タッチパネルのＣ
ＣＤＪを参照することが出来る。

このように従来からいろんな技術が開示されているが、
複数の物体の位置及び空間方向並びに該物体の速度を正
確に表示出来るようにした装置の出現が真に望まれてい
る。

（発明が解決しようとする課題） 本発明は前述した要請に合致するものである。

本発明の方法及び装置は、複数のグラフィック物体の位
置、空間方向及び速度を決めるための正確な手段を明ら
かにするものである。

本発明は、フレーム部の中に導かれる多数の物体の位置
、角度又は方向及び速度を速やかに且つ効率よく決定す
る周辺走査装置を提供することを目的としている。

本発明は、前述の目的を達成し、グラフィック物体の操
作、例えば翻訳、回転、スケール化（ｓｅａｌｉｎｇ）
等を効率よく行なえる方法及び装置を提供することを更
に目的としている。

本発明は、グラフィック物体又はその構成要素の位置及
び方向を操作し、グラフィック物体の合成及び分解（組
立て及び分解）を行なえる方法及び装置を提供すること
を更番こ目的としている。

本発明は、検知した物体の位置、方向及び速度を、経済
的且つ簡単にリアルタイムで決定出来るシステムを提供
することを更に目的としている。

（課題を解決するための手段） 本発明を用いるには、ビデオモニターを設け、該モニタ
ーに隣接してフレームを設け、フレーム内の空間を照明
出来るようにし、複数の光センサーをフレームの内部に
略向かうようにしておけば良い。

本発明の方法は、複数の光遮断物体を用いてセンサーに
達する光の一部を遮断し、センサーの個々の要素上に衝
突する光の位置及び強度に応答して、そのセンサーから
信号を発するようにしている。光遮断物体を用いてビデ
オモニター上のグラフィック物体を分離したり、選択し
たり、微細にしたり、操作することが出来る。

望ましい装置はビデオモニターの前方に設けられたフレ
ームと、均一な照明を行なう照明手段と、少なくとも照
明の一部を受ける複数のダイナミックＲＡＭセンサーを
有している。

本発明の方法及び装置は、ビデオモニターを用いること
なく、音楽、その他の聴覚出力を発生させるようなその
他の目的にも用いることが出来る。

本発明のこれ等及びその他目的は添付の図面に基づく以
下の本発明の説明からより完全に理解されるであろう。

（望ましい実施例の説明） ここで用いられる「グラフィック物体」という用語は、
原文どおりの１つ又は２つ以上の要素、コンピュータビ
デオモニター等に表示されたグラフィック要素又はその
結合を意味するものである。

ここで用いられる「光遮断物体」という用語は、少なく
とも光の一部を遮断する１つ又はそれ以上の不透明物体
を意味し、もしこの物体がなければ光は光センサーに突
き当たることになるであろう物体を意味する。この語句
には、指、足、細長い物体、例えば棒、鉛筆、ブラシ等
この目的に適合するその他物品が含まれるが、これらに
限定されるものではない。

ここで用いられる用語「フレーム」又は「フレーム部材
」は、１つ又はそれ以上の光源と、フレームサイズに拘
わらず少なくとも光の一部を受ける複数のセンサーを備
えた装置を意味する。当該語句には、例えば長方形、正
方形、円形等の形状からなる連続的に閉じたフレームや
、従来の意味に於けるフレームの形状ではなく所望の位
置にて所定の光源と幾つかのセンサーを有する不連続構
造のフレームが含まれるが、これらに限定されるもので
はない。

第１図に略長方形のフレーム部材を示している。

フレーム部材にはハウジングを設けてもよく、該ハウジ
ングは例えば金属又はその他適当なプラスチック樹脂に
て作られる。フレーム部材は、コンピュータのビデオモ
ニターの前方に、該モニターに接近させて設けるのが望
ましい０図示のフレーム部材は画像表示部（４）を有し
ており、必要に応じて段差部（オフセット領域）（６）
が設けられている。光源は、光源エキサイタ−（１０）
によって励起されるネオン管が有利であり、光源ディフ
ューザのセクション（１２）　（１４）　（１６）　（
１８）の中に配置される。

必要に応じて、適当な光源フィルターを設けることによ
り、光の強度を所定範囲内に維持出来る。

光源フィルターは、フレーム内部の開口全体への照明を
略一様にする役割を果たす。

図示の実施例では、望ましい光センサーの一群は、フレ
ームのコーナ部に設けられ、角度方向が調節可能にプリ
ント回路基板に取り付けられている。各光センサーには
、光集束用のレンズを適当なハウジング内に設けるのが
望ましく、これによってフレーム内部から受けた光をセ
ンサーセルの上に正確に焦点を合わすことが出来る。セ
ンサー装置（２０）にはレンズ系（２２）が連繋され、
センサー装置（２４）にはレンズ系（２６）が連繋され
、センサー装置（２８）にはレンズ系（３０）が連繋さ
れ、センサー装置（３４）にはレンズ系（３６）が連繋
されている。

本発明の系を最大限有効に利用出来るようにするため、
センサー装！　（２０）　（２４）　（２８）　（３４
）はダイナミックＲＡＭチップを用いることが望ましい
６例えば、６４にのＲＡＭは、各々が３２７６８個のセ
ル（１２８Ｘ２５６）からなる２つの独立した長方形の
アレイ（ａｒｒａｙｓ）から構成される０本発明におい
て求められるｚ軸の位置情報を提供するため、レフティ
リニアアレイをリニアアレイと区別して用いることが望
ましい。レフティリニアアレイの行（ｒｏｗｓ）間隔を
より広くし、これに対応して濃密な光源を供することに
より、Ｚ軸の位置と角度の測定能力を向上させることが
出来る。センサーはシルエット画を得るカメラとして作
用する。この種のセンサーに於ける各々のセルは、セン
サーに当たる光が充分に強くて所定の強度（ｉｎｔｅｎ
ｓｉｔｙ）である場合、出力はＯとなり、強度がそのよ
うなレベルに達しない場合、出力は１となる。本発明に
使用される適当なソリッドステートセンサーとして、ミ
クロンテクノロジー　インコーホレーテッド（アメリカ
合衆国　アイダホ州　ボイス）社が商標名ｒＩＳ３２オ
プチックＲＡＭＪで販売するものが挙げられる。

本発明では、望ましい光センサーとしてダイナミック　
ランダム−アクセスメモリーを用いている。この種のセ
ンサーが、電荷結合素子のようなその他ソリッドステー
ト光センサーよりも優れている点は、これ等のセンサー
が視野の任意の点の対して数マイクロ秒にて簡単にアク
セスすることができ、グレースケール（ｇｒａｙ−ｓｃ
ａｌｅ）の情報を送らなくてもよいことにある。これに
よって、輪郭（エツジ）の検出を容易に行なうことが出
来るから、インターフェースの形成が容易でしかも費用
は安価である。

本発明で使用する望ましいセンサーは、レフティリニア
アレイのセルを有しており、Ｘ軸、Ｘ軸及びＺ軸のフレ
ームワークに於ける物体の位置を決定出来るようにして
いる。モニターされているスクリーン領域の中に物体が
存在することを初期決定するには、センサー要素の中の
リニアアレイだけを用いればよい。例えば、指の角度の
ように方向に関する決定を行なうにはセンサーセルの中
の２つ又はそれ以上のりニアアレイがモニターされる。

次に２軸が使用される。

第１図を参照すると、ディスプレイ画像領域（４）の中
にグラフィック物体がコンピュータによって表示される
。オフセット領域（６）は必ずしも必要ではないが、光
遮断物体によるゼスチャーの意味の説明が幾つかの説明
的な視覚表示の形態にて使用者にフィードバックされ、
その視覚表示が使用者の手でふさがれることなく使用者
に見えるようにすることが望ましい場合、オフセット領
域を設けることは有利であり望ましい、オフセット領域
（６）はこの目的のために用いられる０例えば、グラフ
ィック物体を移動させる場合、使用者の手の右から２イ
ンチの部分がオフセット領域にディスプレイされ、その
手が使用者の物体視野を遮断しないであろう。もし使用
者が物体をスクリーンの左端部に移動させたい場合、左
側に２インチのオフセット領域を設けることによって、
手は画面の左端部を越えた位置で検知されるため、使用
者はその手によって視野を妨げられることはない。

説明の都合上、フレーム＜２）と、コントローラと、光
源と、ディフューザーとセンサーを組み合せたものを商
標名「センサーフレーム」又は「センサーフレームデバ
イス」と称するものとする。

第２図は本発明で用いられるセンサーチップを示してい
る。チップは、サイズが等しいセンサーセルからなる２
つのアレイ（３７）　（３８）を一定の間隔をあけて設
けたものである。センサーとしてダイナミックＲＡＭチ
ップを用いることが望ましいが、例えば電荷結合素子（
ＣＣＤ）のように、分離したセンサーのアレイを用いて
光を検出できるものであれば任意のデバイスを用いるこ
とが出来る。

ダイナミックランダムアクセスメモリー（ＤＲＡＭ）チ
ップの場合、ビットに対応するセルは「ＩＪ又は「Ｏ」
として称される２つの状態の中の１つの状態にある。

ＤＲＡＭチップのサイズは多様であるが、最も一般的に
は多くのセル又はビットを含んでおり、これは２つのパ
ワーである。センサーフレームデバイスに使われる望ま
しいＤＲＡＭチップは「６４　Ｋ　　Ｄ　ＲＡ　Ｍ　Ｓ
　Ｊであり、これは６５５３６のビットを含んでおり、
２つの長方形（第２図参照）として配列され、各長方形
は３２７６８個のビット又はセルを含んでいる。セルは
スペクトラムの「近赤外線」の領域にある光を感知する
。各３２にビットの長方形は１２８行（ｒｏｗｓ）　Ｘ
　２５６列（Ｃ０１Ｕ躊ｎ）に配列される。

必要に応じて、より大きなく又はより小さな）ＤＲＡＭ
Ｓを容易に用いることが出来る。各ＤＲＡＭはデータ（
１又は０）をセルの中に書き込むための１本の入力ライ
ン（例えばワイヤー）と、データをセルから読み取るた
めの１本の出力ラインを有している。セルの読取り又は
書込みの選択はＤＲＡＭに「アドレスＪ（６４Ｋ　　Ｄ
ＲＡＭの場合ビット数は１６）することによって行なわ
れる。実際には、殆んどの６４Ｋ　　ＤＲＡＭＳはアド
レスの読取りを行なうための「アドレスライン」は８本
しかないが、８本のアドレスラインだけでＤ　ＲＡＭに
１６ビツトのアドレスを行なう方法は、「マルチプレク
シング」と呼ばれ、当該分野の専門家であれば周知のこ
とである。

ＤＲＡＭに一旦アドレスされると１又は０が書き込まれ
るか、或は先に記憶された値（１又はＯの何れか１つ）
が読み出される。

センサーフレームデバイスの場合、走査される視野の位
置に対応したＤＲＡＭセルの中に複数の「１」が書き込
まれる。ＤＲＡＭのセルは指又はその他の遮断物体によ
ってブロックされる部分を除いて光にさらされる０個々
のセルは部分的に掻く小さなキャパシターから構成され
、該キャパシターによって「１」に対応する電荷が保持
される。「ＩＪが書き込まれた全てのセルは最終的に電
荷を失うが、赤外線光近傍にさらされたセルは遥かに速
く電荷を喪失して「０」になる０強度が適当な光源を用
いて露光時間を極めて注意深く選択することにより指に
ブロックされたセルは「１」を含み、ブロックされてい
ないセルは露光後「０」を含むことになる。

本発明では、固定された連続的光源を用いて光の模様（
通常は必ずしも長方形とは限らない）を形成し、これを
チップの上に焦点を結ばせる。第３図は、強度が均一な
長方形の光源からの光がレンズ系（図示せず）によって
センサーフレームに使用されているセンサーチップの１
つに焦点を合わせた状態を示している。チップの白色棒
部（３９）は、長方形の光源からの光が当たる部分を示
している。

人間の指（４０）のような１つ又は２つ以上の物体が光
源（４１）とレンズ／センサー装置（４２）との間に置
かれると、物体は光源から発せられる光を部分的に遮断
する。物体の影によって、シルエット又は光遮断物体の
形状の輪郭がセンサーの上に形成される。第４図はこの
現象を示している。

カメラのように物体から反射される光を用いて像を形成
することにより、光源を不要にすることは望ましいと考
えられるが、この方法は幾つかの理由によって望ましく
はない、先ず第１に、反射された光の強さは２つのファ
クターに依存しており、これ等のファクターは感知され
た物体の反射率（ｒｅｆ　Ｉｅｃｔｉｖｉｔｙ）及び室
内光の強度をコントロールすることは極めて難しいため
である。更に又、強度が非常に高い光を用いて物体を照
明するときでさえも、反射された光の強さ及び得られる
像のコントラストは、ここに記載する光遮断方法を用い
て得られる場合よりもかなり小さくなる。このため、露
光時間を長くせねばならなくなり、リアルタイムの実施
やアンビギティ−の分解（ｄｉｓａｍｂｉｇｕａｔｉｏ
ｎ）を行なうことが実験室環境の外では極めて困難なも
のとなる。

光学的な構造には制約があるため、各センサーからの９
０度視野を感知することは一般的には実用的でないし、
更に又感知された物体に非常に近い位置にあるセンサー
からの情報を用いることも実際的ではない、このため、
位置を演算（ｃａｌｃｕｌａｔｅ）するとき、本発明で
は物体と略反対側のフレームの端部にあるセンサーだけ
の情報を用いる。

例えば、長方形のセンサーフレームデバイスの縦横比を
縦よりも横を長くした場合、フレームの右半分の物体の
位置を演算するのに左上と左下のセンサーが用いられ、
フレームの左半分の物体の位置を演算するのに右上及び
右下のセンサーが用いられる。第５図乃至第７図は後者
の場合を示しており、フレーム内のハツチングした領域
は各センサー（４３）　（４４）によって走査された領
域を示している。

遮断物体の位置の決定は、隣り合うセンサーを一対にし
、（いつもそうとは限らないが通常は長方形フレームの
短辺側の２つのセンサー）、次にセンサー（ベースライ
ン距離）と、物体の視中心（ｖｉｓｕａｌ　ｃｅｎｔｅ
ｒ）を通る各センサーからのラインとによって形成され
た内部角度間の既装置の距離を用いて行なわれる。この
「角度−側辺−角度（ａｒＢｙｌｅ−ｓｉｄｅ−ａｎｇ
ｌｅ）」の情報を用いて物体のＸ位置及びｙ位置の演算
を行なうことが出来る。

第８図及び第９図はこの処理方法を詳細に示している。

第８図では、センサー（４３）が実際に感知するのは光
遮断物体（４６）の左エツジ（４４）及び右エツジ（４
５）だけである、センサーフレームデバイスのコントロ
ーラは、ベースライン（４７）（位置決めするために対
にした２つのセンサー間のフレームの側部）と感知した
物体（４６）の左右エツジとの角度を示す数値を記憶す
る。２つの数値が記憶され、第１の数値はベースライン
と物体の左エツジとの角度に対応し、他方の数値はベー
スラインと物体の右エツジとの角度に対応している。こ
の左右エツジ対は、各センサーが感知した物体毎にコン
トローラによって記憶される。これ等の数値を含むコン
トローラの内部テーブル（ｉｎｔｅｒｎａｌ　ｔａｂｌ
ｅ）はレイリスト（ｒａｙｌｉｓｔ＞と呼ばれる。左エ
ツジ角度／右エツジ角度の各対はレイリストの中のエン
トリー、即ちインプットデータであり、「レイ（ｒａｙ
）　Ｊと呼ばれる。

物体の左エツジ角度と右エツジ角度を平均した角度がそ
の物体の視中心（４８）を通る線の角度を表わす（第８
図及び第９図参照）、隣り合う２つのセンサーと物体の
視中心を結ぶ線の角度は物体の位置を演算するのに用い
られる。

第９図に角度Ａと角度Ｂを示している。角度Ａはベース
ライン（４７）とライン（４９）との間に形成される角
度を示し、ライン（４９）は左上センサーと物体の視中
心を結ぶ線である。角度Ｂはベースラインとライン（５
０）との間に形成される角度を示し、ライン（５０）は
左下センサーと、物体の視中心（４８）を結ぶ線である
。角度Ａ、Ｂ及びベースライン（４７）の長さを「角度
−側辺−角度」の三角関数の公式の中に当てはめること
により、物体の視中心のＸ位置及びｙ位置を容易に得る
ことが出来る。

本発明の目的の１つは、多数の光遮断物体の位置、角度
及び速度をリアルタイムで検出することにある。例えば
、車や楽器を、リアルタイムでコントロールできる程の
十分な速さで複雑なゼスチャーを豊富に分類できる安価
な手段を提供することが要望される。

ゼスチャーを光学的、即ち視覚をベースにして認識する
のに原理が異なる２つのアプローチがある。これ等は「
透視走査（ｐｅｒｓｐｅｃｔｉｖｅ　５ｃａｎ）」方法
及び「周辺走査（ｐｅｒｉｐｈｅｒａｌ　５ｃａｎ）」
方法に分類される。透視走査方法はビデオカメラを使用
者の手の上又は下のどちらかに置くものである。この方
法の利点は手の全体を一度に見ることが出来る点にある
。この方法の不利な点は、ここに記載した方法と較べ、
走査速度が遅くハードウェアの費用がかなり高く付くと
いう点にある。

センサーフレームデバイスは周辺走査方式のセンシング
デバイスである。これは本来的に透視走査デバイスより
も走査速度は速いが、潜在的に２つの問題を有している
。潜在的な問題の１つは遮断性（ｏｃｃｌｕｓｉｏｎ）
である。周辺走査デバイスの場合、使用者の指は互いに
ブロックし合い、トラッキングが困難となる。センサー
フレームデバイスの構造の場合、遮断（ブロック）した
指のエツジの動きの履歴を維持することによって当該指
を追跡することが可能となる。第２の潜在的な問題はア
ンビギティ−（ａｍｂｉｇｕｉｔｙ）である、異なる２
つの指の位置形状を一対のセンサー上に同じパターンを
作り出すことが可能になる。これに別名を付け（ａｌｉ
ａｓｉｎｓ）、ここでは「パターンアンビギティ−」と
いうものとする、この問題は、「テンボラルディスアン
ビュギュレイション（ｔｅｍｐｏｒｑｌ　ｄｉｓａｍｂ
ｉｇｕａｔｉｏｎ）」と言われる方法を用いて解決する
ことが出来る。これについて簡単に述べると、時間分解
能が非常に高いため、速やかに走査することにより２つ
若しくはそれ以上の指の形状を選択して、どの櫓が最初
に視野の中に入ったかということ、即ちどの指が真のも
のであるかを知ることが出来る。

第１０図は２本の指（８１）（８２）が右側にあるセン
サー対（２Ｂ＞　（３４）の視野の中に入った状態を示
している。指とセンサーとの間には、光源をさえぎる指
のシルエットによって「レイ」が生じている。センサー
フレームデバイスの視野を走査する毎に、これ等レイの
リスト（レイリストといわれる）が各センサー毎に集め
られる。レイは４つの領域Ａ、ＢＪＣ，Ｄにてオーバー
ラツプしている。同じレイのオーバーラツプパターンは
、指を縦方向（第１０図の（８１）（８２）で示す指の
位置）に並べるか、或は横方向（第１１図の（８３）　
（８４）で示す指の位置）に並べるかによって作り出す
ことが出来る。この結果、２つのパターンの内、真のパ
ターンのアンビギティ−が得られる。このパターンのア
ンビギティ−は多くの手段によって分解することが出来
る。これ等の手段として、テンポラル　ディスアンビギ
ュレイションが挙げられるが、これに限定するものでは
ない、これは、との、指が最初に到達したかを追加のセ
ンサーを用いて追跡し続けるもので、使用者の指のサイ
ズのような使用者の生理学的及び／又はツールに関する
知識をベースにして遮断解除（ｃｌｉｓｏｅｃｌｕｓｉ
ｏｎ）される。

例えばグラフィック物体を９０度回転させる系を用いる
場合、使用者はグラフィック物体が含まれるビデオモニ
ターの近傍に２本の指を位置決めする０次に指を一体に
して回転させる。系は初期位置、方向及び回転角度を決
定し、コンピュータによってグラフィック物体は所望の
方向に９０度円弧状に回転させられる。

系の他の使用例では、指をモニタースクリーン上のグラ
フィック物体に指すことにより、指の２軸に対する角度
を決めることが出来る。これは、特定のグラフィック物
体を移動させるようにコンピュータに指令するもので、
Ｚ軸に関する指角度によって移動させるべき方向が決め
られる。指を取り除くとグラフィック物体の移動停止の
指令が与えられるように作用させることが出来る。

第１２ａ図乃至第１２ｃ図は多数の指（この実施例では
２本）をどのように用いて表示された物体を選択し、該
物体の操作を行なうかについての説明図である。第１２
ａ図に於て、フレームは正方形（５０）、三角形（５１
）、円（５２）である、第１２ｂ図に示す様に、使用者
の指（５３）（５４）を用いて長方形（５５）の対角線
の両コーナ部を決定する。指（５３〉（５４）によって
長方形のサイズと位置が決められる。

長方形（５５）の内側に完全に含まれる一切の物体が操
作され、長方形（５５）の中に完全に含まれない任意の
物体は操作されない０例えば、第１２ｂ図において正方
形（５０）と三角形（５１）は選択されるが、円（５２
）は選択されない。第１２ｃ図では３つの物体は全て長
方形り５６）の中にあるから、全部が選択される。

第１３図は２本の指をどのように用いることにより、ビ
デオモニターに表示されたコントロールパネルのノブを
回転させることが出来るかについて示している。（ａ）
は戻り止め（ｄｅｔｅｎｔ）位置が５つあるノブ（５６
）を示しており、夫々、３．４．５の位置を指している
。（ｂ）において、指（５７）　（５８）を時計方向に
回転させたとき、センサーフレームデバイスはそれ等の
位置の情報をパネルコントロールプログラムに送る。ノ
ブ（５６）はこれに応答して、指（５７）　（５８）の
対応する位置まで回転する０列（ｂ）のシーケンスはノ
ブの上と下に置かれた指（５７）（５８）を示している
が、正確に位置決めする必要性はない。もし、一方の指
（５７）がノブ（５６）の中心上にあり、他方の指（５
８）がノブの周辺部にあるとき（例えば（ｃ）を９照）
、同じ効果を順番に得ることが出来る。このようにセン
サーフレームデバイスを用いたときの真に重要な点は、
指をノブの近傍に置きノブを所望の戻り止め位置に回転
させるのに十分な角度だけ指を回転させることにある。

第１４ａ図及び第１４ｂ図は、多くの指のゼスチャーを
どのように用いることにより、オシロスコープ、論理ア
ナライザー、波形関数ゼネレータ等の複雑な器具をコン
トロール出来るかを示している。

これらの図面に於て、２本の指（５９）　（６０）は波
形関数ゼネレータによって作られる方形波（６１）の周
波数と振幅をコントロールするのに用いられる。

第１４ａ図において、使用者が指（５９）　（６０）を
夫々表示された波形の上ピークと下ピークの近傍に載せ
た状態を示している。第１４ｂ図は指（５９）（６０）
間の距離を離したときに起こる状態を示している。

形成された波形の振幅は指（５９）　（６０）の移動量
に比例して変化（この場合は大きくなる）して波形（６
１’）が作り出される。

第１５ａ図及び第１５ｂ図は同様の方法が周波数のスケ
ール化（ｓｃａｌｉＢ）に用いられることを示している
。使用者は２本の指（６２）　（６３）を横方向に向け
て置き、互いに接近するように移動させて、形成した波
形（６４）（６４’　）の周期を少なくさせる（従って
周波数は増加する）。

これ等の図はセンサーフレームデバイスを「コントロー
ルパネル」に用いた実施例を示しているが、これ等のゼ
スチャーをその他の用途、より複雑な用途に適用出来る
ことは理解されるであろう。

第１６図に本発明のセンサーとして使用するのに望まし
い光学系及び動的ＲＡＭセンサー配列の１つの形態を示
している。フレーム内部から送られる平行な光線（ｒａ
ｙｓ）は矢印「Ｌ」で示すように入射する。一定の間隔
をあけて設けた一対の焦点レンズ（５２）　（５４）に
よって入射光は（５６）の位置で集束し、フレームの中
に存在する遮断物体の像がセンサーアレイ（６０）の上
に結ばれる。この実施例に於ては前部の第ルンズは焦点
長さ３７８インチの両凹レンズ、第２のレンズ（５４）
は焦点長さ１７４インチの両凸レンズである。

第１７図は本発明の「独立（ｓｔａｎｄ　−ａｌｏｎｅ
）」の実施例を示している。ホストコンピュータ（６０
）はケーブル（６６）によってコントローラ（６４）に
接続される。ＤＣ電源及び光源同期要素（７０）はケー
ブル（７１）によってコントローラ（６４）に接続され
る。高電圧のＡＣ電源（７３）は高電圧ケーブル（７４
）によってフレーム光源に接続される。コントローラ（
６４）はケーブル（７８）によってフレームセンサー装
置（２０）　（２４）　（２８）　（３４）に接続され
る。高電圧供給源（７３）が光源を励起することによっ
て作動状態となる。必要に応じて、コントローラ（６４
）をホストコンピュータ（６０）のハウジング内の位置
要素として設けることも出来る。

人間の指のような物体によって光源の像を遮断すると、
遮断物体のエツジに対応したエツジを有する影が、セン
サーに形成された像の中に現れる。

なお、ここで用いられる用語「レイ（ｒａｙ）　Ｊは遮
断物体によって形成される影のことを言うものとする。

物体が移動すると、レイはそれに対応して移動する。

本発明の一実施例ではホストコンピュータ（６０〉は遮
断物体のｘ、　ｙ及びＺ軸座標を決定する「物体の追跡
」機能と、各センサーのレイの履歴（ｈｉｓｔｏｒｙ）
を維持する「レイの追跡」機能を有している。しかし乍
ら、望ましい実施例では、コントローラ（６４）によっ
てこれ等の機能が実行される。

コントローラクロ４）によってレイリストが作られる。

レイリストは最新に露光されたセンサーに見られるレイ
のリストである。レイリストは、レイ及び物体をトラッ
クするソフトウェアへの入力として、コントローラ（６
４）からホストコンピュータ（６０）に送られる。この
送信は、例えば約３０−３５ミリ秒毎に行なうことが出
来る。レイリストはセンサーを走査することによってコ
ントローラ（６４）の中に形成される。ホストコンピュ
ータ（６０）によって各センサーのレイリストを維持す
る。「レイ経路（ｒａｙｐａｔｈｓ）　Ｊには、所定の
センサーの所定物体に対するレイリストから抜き出した
最後のｎ個のサンプルを含んでおり、ここでｎは用途に
応じて変化するものである。各センサーのレイ経路に関
連づけられたリストは、経路リスト（ｐａｔｈ　ｆｉｘ
ｔ）と呼ばれる。「単純なレイ経路」は、センサーへの
光線が、例えば指のような物体によって全く遮断されて
いないときのものである。ｒクラスター（ｃｌｕｓｔｅ
ｒ）　Ｊは、二重に関連づけられたレイ経路のサブリス
トであり、一部又は全部を遮断した物体について１つの
センサーから見た状態を現わしたレイの経路がサブリス
トの中に入れられている。レイリストが順次得られ、各
レイリスト毎に得られる情報を先のレイリストのものと
比較することによって、物体の位置、方向及び速度の変
化を決定することが出来る。この情報を用いてビデオモ
ニターのグラフィック物体を変更することが出来る。

本発明の方法及び装置に必要な機能を実行するためのソ
フトウェアを提供するのに種々の手段を用いることが出
来る。以下の説明では、出願人が本発明の装置及び方法
を実施するのに最良の形態であると考えられるものを示
す。

第１８図は、センサーフレームデバイスから物体のリス
トを得るのに用いられるアプリケーションファンクショ
ンのフローチャートを示している。

センサーフレームの読取り機能（８０）の初めに、（８
２）にてセンサーフレームが新たなデータを持っている
かどうかが判断される。もし新たなデータを持っている
場合、レイリスト獲得機能部（８４）を呼び出すことに
よって、コントローラ（６４）を通じて更新されたレイ
リストが得られる０次に、物体の追跡機能部（８６〉が
呼び出される。もし、物体の追跡機能部（８８）によっ
て戻されたリストの中に物体が見出だされると、物体表
示機能部（９０）を用いることにより、ユーザプログラ
ムによってビデオ端子上に物体がディスプレイされる。

もし物体が見ｆ寸からない場合、機能は（９２）に戻さ
れる。

第１９図は物体をトラッキングするのに使用される物体
追跡機能部のフローチャートを示している。この機能は
別に４つの機能を用いており、新たな物体を確認し、既
知の物体の移動を追跡する作用を行なう。

物体追跡機能（１００）の初めに、［レイインデックス
（ｒａｙ　１ｎｄｉｃｅｓ）Ｊが増加（１０２）される
、これによって、更新されたレイの情報が全て円形のバ
ッファの中に書き込まれ、レイの先のサンプルに間する
情報が、不要になるまで保持させることが出来る。

例えば、過去のレイ情報を用いて現在のレイの位置と先
の位置との違いを調べることによって速度を得ることが
出来る。

小さすぎるか、又は大き過ぎるために有用でないレイは
、レイのフィルター機能（１０４）によって取り除かれ
る０例えば、人間の指を物体として用いる場合、人間の
指を表わすには狭過ぎるレイを取り除いておけば追跡速
度や信頼性を更に高めることが出来る。フィルターのパ
ラメータは一般的にはアブリゲーションに応じて決めら
れるもので、ユーザープログラムによって変更させるこ
とが出来る。

レイ追跡機能（１０６）によって以前に知られた物体に
関連するレイの動きを追跡し、レイリスＩ・の中に過去
に存在したレイとマツチ、即ち整合しないレイが見出だ
されると新たなレイ経路が作り出される。これによって
、レイの位置が更新され、新旧のレイの重なりをチェッ
クし、レイの併合（ｍｅｒｇｉＢ）と分割（ｓｐｌｉｔ
ｔｉｎｇ）が行なわれる。これは一方の物体が他方の物
体の後ろを通過するときに起こる。

センサーの多対に対する両レイ結合機能（１０８）は、
２つのレイ経路が共に時間的に接近して作り出されなけ
ればならなかったという制限の下で、センサー対の各セ
ンサーの新たなレイ経路を見出だそうとするものである
。両レイ結合機能（１０８）が十分短い期間内に作り出
された一対のレイ経路を見つけると、それらは、同一物
体によって生じたものと仮定され、物体データ構造を作
り出してその新たな物体を表す。２つのレイ経路は次に
新たな物体に結合され、該物体は結合したレイ経路がな
くなるまで存在する。（１１０）では、物体が存在しな
い場合、物体追跡機能は呼び出し機能（１１４）に戻さ
れる。

存在物体の更新機能（１１２）は幾つかの役割を果たす
。指の塊、即ちクラスター（ｃｌｕｓｔｅｒ）が検出さ
れると、この機能によって物体の大きさが指１本の大き
さよりも大きいかどうか調べられる。この機能は更に又
、レイ追跡機能（１０４）によって先に更新されたレイ
経路の中の最新の情報に基づいて物体の現在位置をプロ
ットする。この機能は更に又、先に物体と結合しなかっ
たレイ経路を探し、それらを存在する物体に結合させよ
うとする。更に又、この存在物体更新機能（１１２）は
、各々が物理的に同一な物体を表わすセンサーの多対か
ら物体構造を検出するとき、２つの物体構造を１つに結
合しようとする。これは両物体のｘｙ平面の絶対位置が
十分に接近している時にだけ成功する。

コントローラ（６４）（第１７図参照）によってセンサ
ーが形成した視野を走査させてレイリストを得るときの
望ましい態様を示すフローチャートを第２０図に示して
いる。第２１図に於て、スナップショット機能（１３０
）は、光源（ネオン管又は蛍光管で６０Ｈｚにてフラッ
シュのオン・オフが行なわれるものが望ましい）が所定
の明るさに達するまで待機する（１３２）　、これは、
センサーの書込み／走査サイクルを、光源の電力源とし
て使用される６０１１ｚの周波数に同期化させることに
よって行なわれる。同期化回路（１５０）（１５１）（
第１８図）が断たれると、露光準備状態であることを示
す。

（１３４）にて、複数の「１」を適当なセンサーセルに
書き込みを行ない「１」レベルにした後、スナップショ
ットのルーチンによってセマ（Ｓｅ＋ｍａ）分析機能（
１３８）に信号（１３６）が送られる。セマ分析機能（
１３８）によって先の露光結果の処理がスタートする。

スナップショット機能（１３０）はセンサーセルが露光
（１４６）されるのを待っている間、セマ分析機能（１
３８）が先の露光（１４０）の結果を処理することが出
来、レイ送信機能（１４２）を呼び出すことが出来る。

レイ送信機能（１４２）は第２１図のホストインターフ
ェースコントローラ（１５２）によってホストコンピュ
ータ（６０）にレイリストを送る。このようにして、コ
ントローラのレベルで処理する低レベルの像と並行して
露光が行なわれる。センサーの露光が完了すると、スナ
ップショットはタイマーが切れで第２１図のクロック／
カウンター（１５１）から第２１図のコントロールマイ
クロプロセッサ−（１５３）へ再びスケジューリング＜
１４６）が行なわれる。次に、像の割込み（ｉｎｔｅｒ
ｒｕｐｔｉｏｎ）（１４８）をリセットし、スキャナー
機能（１５０）を呼び出して先に「１」が書き込まれた
センサーセルが読み出される。光源に露光されたセルは
ゼロとなり、感知される物体によって遮断されたセルは
電荷をそのまま維持しているから、「１」として読み出
される。

スキャナー機能（１５０）は大変能率よく実行され、ソ
フトウェア−とハードウェアーの組合せを用いることに
より、高速で露光出来る。センサーセルの読取りは、ル
ープによらずに、未展開の読取り命令シーケンスによっ
て各セルに対し１回行なうのが望ましい。各々の読取り
命令によって、全てのセンサーの同じセルが並行して読
み取られる。

読取り命令によって読み取られたデータの状態をテスト
する命令はない。テスト及び条件付き分岐命令を省略す
ることによって、これら命令を実施する場合に較べ、約
３倍速く走査することが出来る。

第２１図において、スキャナー機能（１５０）がセンサ
ーからのデータを読み取る前に、コントロールレジスタ
ー（１５６）の最低オーダーのＮビットに対し、全て「
０」の書込みが行なわれる。ここでＮはセンサーフレー
ムデバイスに用いられるセンサーの数である。センサー
の読取りが引き続き行なわれると、センサーからの入力
データはＮビットのデータバッファ（１５７）に現われ
、そのデータはコンパレータ（１５５）によって、コン
トロールレジスター（１５６）に先に記憶されたデータ
と比較される。もし新たに読み取られたデータ（１５）
）が先のデータ（１５６）とマツチしない場合、像側込
みラッチ（１５４）がセットされ、コントローラマイク
ロプロセッサ−（１５３）への割込みが行なわれる。マ
イクロプロセッサ−（１５３）はクロック／カウンター
（１５１）、ホストインターフェースコントローラ（１
５２）、ＲＯＭ　／　ＲＡ　Ｍ　（１４８）及び光源同
期回路（１５８）と協同して作用する。

これが起こると、像の割込みを取り扱うルーチンを用い
、パターンが変わったセンサーセルの列（カラム）アド
レスを演算するため割り込みしたアドレスの読取り命令
が出される。新たに読み取られたＮビットのパターンは
、先にコントロールレジスター（１５６）の中に記憶さ
れたパターンと比較され、各ビットが異なっている場合
、読み取ったセンサーのカラム数が、入力が変化したセ
ンサーのレイリストの端部として記憶される０次に、新
たなＮビットパターンはコントロールレジスター（１５
８）の最も低いＮビットの中に記憶され、割込み取扱い
手段はスキャナーのルーチンのコントロールに戻る。こ
のルーチンは、別のパターン変化によって割込みが行な
われるまで、又はセンサー（１５０）のカラムの全ての
セルの読取りが終わるまで続けられる。

第２２図はレイ追跡機能のフローチャートを示している
。レイ追跡（１６０）の初めに、センサー数は０にセッ
トされ、第１のレイ経路はこのセンサー　（１６４）に
フェッチ（ｆｅｔｃｈ）される、レイ経路（１６６）が
ない場合、センサー数は大きくなる。もし全てのセンサ
ーをチェックして経路リスト（１７０）に空白のものが
ない渇き、オルファン（Ｏｒｐｈａｎｓ）発見機能（１
７２）が呼び出され、既に存在するレイと整合すること
が出来なかった全てのレイが見つけ出される（このよう
にして新たなレイが発見される）。

オルファン発見機能が呼び出された後、レイ追跡機能は
リターンする（１７４）　、レイ経路のリストに空白が
ない各センサーに対しては、レイ追跡機能がレイ経路リ
ストを２回トラバースする。第１回目のバス（１７８乃
至１８２）にて、レイ整合（ｍａｔｃｈ）機能（１７８
）が呼び出される。この機能は先に記録したレイの位置
を利用し、先に記録したレイの速度情報を用いてレイの
現在位置を推定する。マツチしない場合、レイはマーク
されてレリースされる（１９０）。数回走査を行なって
も経路が依然としてマツチしない場合、レリースされる
。もしそれが物体に結合された最後の経路の場合、その
物体はレリースされる（１９０）　、もし、経路リスト
（１８２）にそれ以上の経路はなく、整合しない経路が
ある場”　（１８４）、より速い速度（１９２）でレイ
と整合させる試みが行なわれる。レイ経路リストの第１
回目のトラバースにてクラスターに出くわすと、リスト
の２回目のパスが実行される（１９６乃至２０４）、ク
ラスターの存在が確認されるレイ経路には、１つのセン
サーから見える遮断物体のクラスターを現わしたレイ経
路を２重にリンクしたサブリストが含まれている。クラ
スター更新機能（２００）が呼び出されてこのサブリス
トをトラバースし、クラスター内のレイの位置が演算さ
れる。この演算はクラスターの現在位置の左右両エツジ
と、クラスター内のレイ経路のエツジ−物体結合アトリ
ビュート（ａｔｔｒｉｂｕｔｅｓ）に基づいて行なわれ
る。クラスターのサイズが局所極小を越えていることが
見出だされると、逆転チェック機能（２０２）の作用に
よって、クラスター内の各レイ経路の左−右エツジを結
合アトリビュートを逆転させる。エツジと物体を結合す
るアトリビュートについては後で説明を行なう。

レイ整合機能（１７８）は、更に、２つの特別な条件の
内、１つの条件に達したかどうかを調べる。

先ず第１に、現在のレイ経路のサンプルが新たなレイリ
ストの中で少なくとも２つ以上のレイがオーバーラツプ
する場合、レイのクラスターは分割される。レイ経路の
クラスターは２つの部分に分したことになる。レイ経路
のクラスターを２つの部分に分割するとき、分割位置は
レイ経路のクラスターの中に新たに発見されたギャップ
の位置に応じて整合される。第２に、新たなレイリスト
の中のレイが所定のセンサーの２つ以上のレイ経路とオ
ーバーラツプする場合、２つの物体（又は物体のクラス
ター）は併合されたことになる。隣り会う２つのレイ経
路は同じクラスターに併合され、レイ経路の「エツジ結
合」と「物体結合」アトリビュートが記録される。

センサーフレームデバイスのセンサーはフレーム光源の
像をセンサーチップの上に結ばせる。人間の指のような
物体が光源の像をさえぎる場合、結ばれた像に影が現わ
れる。影のエツジは遮断物体のエツジに対応している。

ここで用いられる「レイ」は物体を遮断することによっ
て投げかけられる影を意味するもので、物体が移動する
とそのレイもそれに対応して移動する。

第２３図はセンサーフレームデバイスの視野の中にある
２つの物体（２０７）　（２０８）によって作られた２
つのレイが形成する角度の説明図である。この図は端末
のビデオディスプレイを見る位置から見た図である。第
２３図はセンサーに感知されたレイを示している。第２
４図は２つのセンサーが感知したレイを示しており、他
方のセンサーは右下のコーナ部に設けられている。レイ
は２ケ所ではなく４ケ所で交錯するため、例えば第２５
図に示すように、同じパターンのレイを２種類以上の配
列によって作ることができることを示している。

第２６図に於て、破線（２０９）は左下のセンサーの視
野の輪郭を示している。センサーフレームデバイスの短
い方のエツジの各々に沿うセンサーの多対は、画像領域
の反対側半分にある物体を見ている。従って、図示の場
合、下部の２つのセンサーは画像領域の上半分を見てお
り、上部の２つのセンサーは画像領域の下半分を見てい
ることになるのである。

説明の都合上、第２３１１Ｊ乃至第２７図は感知された
物体を表現するため、全体図表現法（ｏｖｅｒｖｉｅｗ
　ｎｏｔａｔｉｏｎ）を用いて順番に示している。

全体図表示法を用いて２つ以上のセンサーから見た物体
を表現することができるけれども１１つのセンサーだけ
から見える１つ又は２つ以上の物体の像を表現する表示
方法がより単純である。このより簡潔な表示方法を、こ
こではレイ変化（ｒａｙ−ｔｒａｎｓｉｔｉｏｎ）表示
法又はＲＴＮと称するものとし、第２８図に示す、可動
のフィルム片のフレームを用いて動作の幻影（ｉ　ｌ　
ｆｕｓｉｏｎ）を与える場合、Ｒ，ＴＮを用いることに
より指位置のシーケンスをより簡単に表現することが出
来る。ＲＴＮでは、各フレームが所定の時間においζ１
つのセンサーから見えた物体の位置を示す。第２８図は
隣り合う２つのフレームを示しており、２つの瞬間時刻
における指の「スナップショット」を示している。指は
ブラケット状の物体として表わされる。使用者は、セン
サーがフレームの左側から離れて置かれ、フレームの平
面内にあるものと見なすことが出来る。

この場合、フレーム上部により近いところで見られる物
体はセンサーから見た像の左側部により接近しており、
フレームの下部により近い物体はセンサー像の右側によ
り接近している。

第２８図の時刻１と時刻２に於けるＲＴＮの像は第２６
図及び第２７図に示す位置（２０７’　）、（２０８′
）及び（２０７”　）及び（２０８”）に夫々対応して
いる。

第２９図及び第３０図に２つの表現法における遮断物体
く物体２）を示す、ここでＲＴＮ表現法の場合、使用者
が、もしセンサーがフレームの平面内のＲＴＮフレーム
の左側にあると考える場合、物体２は物体３の背後にあ
ることになる。

尚ここで、望ましい実施例に於けるセンサーフレームデ
バイスはグレースケールの像を作らないことを思い起こ
すことは重要である。全ては黒色又は白色である。これ
は、第３１図に示すように２つの物体が一緒に移動する
場合、物体の内側エツジは見えなくなり、より大きな一
つの物体という印象が残されることを意味する。このエ
ツジは見えなくなっても２つの物体を区別し続けること
が望ましいことは勿論であり、第３２図のＲＴＮ表示法
では「時刻２」にて物体１と物体２の間のエツジを表示
し続けている。同様にして、遮断エツジの情報がセンサ
ーフレーム追跡アルゴリズムによって維持される。第３
３図及び第３４図は２つの物体の併合をを逆転、即ち分
割を示している。

これらの表示法を用いてセンサーフレームデバイスから
見える物体の空間位置間係を描く場合、レイと物体の追
跡が本発明の中で行なわれることを描くことになる。

センサーフレームデバイスの場合、ソフトウェア−のＷ
Ｉ（ｌａｙｅｒ）は、Ｘ軸及びｙ軸位置、並びに物体の
２軸回りの角度をリターンするが、これは「物体追跡」
層であって、物体追跡機能の中に含まれている。

物体追跡層の下にはレイ追跡層があり、レイ追跡機能の
中に設けられて各センサーのレイの履歴を維持し、一方
の物体が他方の物体の背後に移動したときレイを併合し
、一方の物体が背後がら出て来たときレイを分割する。

データ構造は、２つの物体追跡レベルに共通している。

これらには次のようなものがある。■レイリスト。レイ
リストはセンサー毎に維持するもので、センサーの内、
最新露光時に見られるレイのりスト（及びそのエツジ）
を維持する。これはセンサースキャナーによって作られ
る最も低いレベルの「生の」データである。■レイ経路
及び経路リスト。レイ経路と経路リストは、各センサー
毎に維持するもので、レイ経路と呼ばれるノードのリン
クされたリストが維持される。各レイ経路は、所定物体
のレイリストから抜き出した最後のｎ個のレイリストサ
ンプルを含んでおり、ｎはアブリゲーションに依存して
いる。各センナのために保持さ、れるレイ経路のリンク
されたリストは経路リストと呼ばれる。経路リストへの
エントリーは単純なレイ経路又はクラスターでよい。単
純なレイ経路は１つのセンサーが物体（例えば指）によ
って全く遮ぎられていない場合である。クラスターはレ
イ経路を２重にリンクさせたサブリストを有するレイ経
路である。サブリストの各エントリーは、１つのセンサ
ーが物体によって部分的又は全部が遮断された場合のレ
イ経路である。■物体。物体の構造は物体追跡アルゴリ
ズムによって見出だされた各々の物理的物体に対応して
いる。センサーの視野の中に物体がある場合（視野が遮
断されるかどうかとは関係なく）、内部物体構造はレイ
経路へのモンゼロポインター（ｎｏｎ−ｎｕｌｌ　ｐｏ
ｉｎｔｅｒ）を含む。

これらデータ構造の目的及び使用を明瞭にするため幾つ
かの実施例を示す。

第３５図は光を遮断した指の連続的な「スナップショッ
ト」を４つ示している。この場合、左センサーからは、
指２が指１の背後を通過するように見える。感知した物
体を表わす各ＲＴＮフレームの下には、センサーレベル
にて物体の動きを追跡し続けるために用いられるレイ経
路のリストを構造的に表示している。

２つの指がフレーム２の中で「併合（ｍｅｒｇｅ）」す
ると、併合されたレイに対する現在のレイ経路リストは
１のレベルまで押し下げられ、クラスターされたレイ経
路を表わす新たなノードがトップレベルにて挿入される
。指２がフレーム４の指１の背後から表われると、トッ
プレベルのクラスターノードに対応する単一のレイが再
び２つに分割される。フレーム２に加えられるクラスタ
ーのノードは次に処分され、２つの元のレイ経路ノード
がトップレベルに表れる。もし２つの指が併合してしま
い、もう１つのレイが遮断されると、そのレイ経路は遮
断されたレイ経路のリストの中で２つの予め存在したレ
イ経路とリンクさせられる。

更に、指又はその他物体は、前述の実施例の如く最初に
登場したものが光を遮断させないようにするとは限らな
い、多くの場合アプリケーションに応じて、クラスター
の中に多くの指の存在が「推定（ｉｎｆｅｒｒｅｄ）　
Ｊされなければならない。

第３６図の上部に３つの指の全体図表示法によるダイヤ
グラムを示している。左センサー（センサー１）は３つ
の全ての指をはっきりと見ている！（）１３１Ｂｙｅ’
）！十丑ｔｆｓ　ｋｐ　’ｙ　廿／　Ｊｑ　’７廿ｎ　
）／７１　四点からは１つのレイの中に共にクラスター
されている。

各センサーの視野は約６０度にしか過ぎないなめ、破線
を用いて全体図の中に視野の領域を線で描き、各領域の
中で物体を感知することの出来るセンサーの数を示すこ
とにする１例えば、全体図の中央部の菱形領域にある「
４Ｓ」はその領域では４つのセンサーが物体を見ること
が出来ることを示している。同じように、この実施例で
示す３つの物体が存在する領域の「２Ｓ」は２つのセン
サー、即ち下部対だけが３つの物体を見るることができ
ることをを示している。

第３８図は内部センサーフレームデバイスのデータ構造
の中におけるレイリスト、レイ経路、経路リスト及び物
体の関係を示す図である。

物体（ここでは物体は指２を表わしている）は第３８図
の左上コーナ部に示されている。物体構造には、とりわ
け指２と整合するレイの履歴を含んだレイ経路へのポイ
ンターを含んでいる。これは、指２を見ることの出来る
各センサーに対して行なわれる。従って、指２について
はセンサー２と３から見えないため、物体はセンサー２
と３（フレームの上部）のポインターは含んでいない。

この内部データ構造図に於て、小さな長方形枠の中に記
載されたレイの数はセンサーフレームの光センサーが感
知した「生のレイ」の１つｔ表わしている。生のレイを
集めたものがレイリストと呼ばれる。実施例では、レイ
リストは左センサーに対して３つの生のレイを含み、右
のセンサーに対しては２つの生のレイを含んでいる。各
センサーのために維持されたレイリストはセンサーフレ
ームのデータ構造図中では最も低いレベルのものとして
表わされる。視野のスナップショット毎に各センサーの
新たなレイリストが作られる。レイリストの中の各レイ
を用いて１つ又は２つ以上のレイ経路の状態が更新され
、これはデータ構造図の中で、円によって表わしている
。

新たなレイリストを利用出来るようになるとく例えば約
３３ミリ秒毎）、存在物体に結合したレイ経路が各々の
新たなレイと比較され、オーバーラツプしているかどう
か調べられる。データ構造図に於て、右センサーのレイ
リストの生のレイ０からレイ経路１及び２に屈曲した矢
印は、レイ経路が両方とも生のレイとマツチし、遮断物
体が存在していること又は１つのレイの中に多くの物体
の「クラスタリング」が存在することを示す、屈曲した
矢印だけがマツチングしたことを表わす、これらは生の
レイリストからレイ経路へのポインターがあることを意
味しない。

レイ経路のクラスターは、レイ経路が部分的（場合によ
っては完全に）遮断された後、使用者がレイの位置を推
定することの出来るアトリビュートを有している。

第３９図は１つのセンサーから見える３つの物体の連続
する４つの状態を示している。第１のフレームでは、時
刻０のとき、３つのどの物体によっても遮断されていな
い。第２のフレームの時刻Ｔ１では、物体１と２が共に
移動したことを示す。

第３のフレームでは、物体３は物体１と２の背後に移動
している。第４のフレームでは、物体３は物体１と２の
左側後部から表われ始めるが、その右エツジは遮断され
たままである。

一方では、物体１と２の関係及び物体２と３の関係の違
いについて検討が行なわれる。違いを表わすため、第３
９図に示すレイ経路のデータ構造表示法に幾つかの新し
い表示法を加える必要がある。フレーム２では、物体１
と２が共に移動したとき、このセンサーに対してそれら
のレイ経路がクラスターレイ経路ノードの中に挿入され
、データ構造図の中ではＣを円で囲んで表わしている。

２つの部分的遮断物体（１：クラスタ・−ノードに結合
した２重リンクのリストの中にある。データ構造図の中
の各遮断されたレイ経路ノードの下に２つの文字（ｌｅ
ｔｔｅｒｓ）がある、左の文字はレイ経路のエツジ結合
アトリビュートと呼ばれる。このアトリビュートによっ
て未だ、可視状態にあるクラスターの２つのエツジに関
するレイの遮断エツジの角度位置を、使用者が推定出来
る。クラスター〇は常にレイ（実際は影）を表わしてお
り、該レイの中に１つ又は２つ以上の他のレイが併合さ
れる。

従って、クラスターがセンサーの視野の端部をオーバー
ランしたときでも、常に２つの可視端部を有している。

エツジ結合アトリビュートは、（ａ）未結合（ｕｎａｔ
ｔａｃｈｅｄ）、（ｂ）左、（ｃ）右、（ｄ）挿入（ｉ
ｎｔｅｒｐｏｌａｔｅｄ）及び（ｅ）速度の１つを有す
ることが出来る。これら状君の意味は次のとおりである
。「未結合」は遮断されていないレイの初期状態である
。「左」はレイ経路がクラスターの左エツジと一致して
動（ことを意味する。クラスターの左エツジによるどの
ような移動の場合も、左−エツジが結合したレイ経路に
よって行なわれる。「右」は、レイ経路がクラスターの
右エツジと一致して移動することを意味する。クラスタ
ーの右エツジによってどのように移動する場合でも、右
−エツジが結合したレイ経路によって行なわれる。「挿
入」は、レイ経路の角度位置がクラスターの右エツジと
左エツジの間に挿入されることを意味する。このモード
は物体の結合を説明するときに更に詳しく説明する。「
速度」はレイ経路が全て遮断されてエツジに結合されて
いないこと、即ち情報はこのセンサーの視点から入手出
来ないことを意味する。この場合、速度が一様に連続的
な運動（過去の速度は知られている）にて位置訂正のた
めのデータを他のセンサーから得ることが出来るまで続
けられるものと仮定することにより、使用者はレイ経路
の位置を推定出来る。

第３９図はレイ経路が遮断されたとき、各レイ経路のエ
ツジ結合アトリビュートはどのように起こるかを示して
いる０時刻Ｔｌ（フレーム２）にて、物体１と２が併合
され、センサーはレイ経路１の左側部とレイ経路２の右
側部からなるクラスターを見ることが出来る。従って、
レイ経路１と２に対する時刻Ｔ１のデータ構造図におけ
るエツジ結合アトリビュートは夫々ＬとＲである。エツ
ジ結合アトリビュートは左側のレイ経路ノードの下に示
した文字である。

クラスターされたレイ経路の各ノードの下の右の文字は
物体結合アトリビュートと呼ばれる。このアトリビュー
トによって１つ又は２つ以上の他のセンサーからの情報
を用いて、隣り合う２つのレイ経路によって表わされる
２つの物体が結合されるべきにｙ平面の中で実際に十分
接近しているかどうか、或は共に移動するかどうかを、
使用者が知ることが出来る。この情報は非常に重要であ
る。

なぜなら、例えば２本の指が正常に結合されていること
を使用者が知った場合、ある条件の下でその位置を推定
するのに利用出来るからであり、これは１本又は２本以
上の指が全部のセンサーに対して全て遮断されるように
なったときも同様である。

これが第３９図の時刻Ｔ２で起こった内容である。レイ
経路２によって表現される物体は全て遮断されてしまう
、クラスターの左側又は右側の何れか一方からは見られ
ない、にも拘わらずその位置を決定出来るのは、それが
物体３ではなく物体１に対して結合されることを知るこ
とが出来るからである。

エツジと物体を結合するアトリビュートは、（、）未結
合、（ｂ）左物体、（ｃ）右物体及び（ｄ）青物体の５
つの状態の１つを持つことが出来る。これら状態の意味
は次のとおりである。ｒ未結合」は、レイ経路に表わさ
れた物体が他のどんな物体にも結合されていないことを
意味する。「左物体」は、レイ経路によって表わされた
物体が左のすぐ隣りのレイ経路に表わされた物体に結合
することを意味する。「右物体」は、レイ経路に表わさ
れた物体が右のすぐ隣りのレイ経路に表わされた物体に
結合されることを意味する。「青物体」は、レイ経路に
表わされた物体が、左のすぐ隣りのレイ経路に表わされ
た物体と右のすぐ隣りのレイ経路に表わされた物体の両
方に結合されることを意味する。それは隣り合う両者に
結合される。

レイ経路ノードのエツジ−物体結合アトリビュートにつ
いて説明すると、第３９図のフレームを通じて進行する
ノードのアトリビュートは「マークｍａｒｋｅｄ）　Ｊ
される０時刻Ｔ１にて、レイ経路１はクラスターの左エ
ツジに結合され、経路２は右エツジに結合される。これ
は、その物体レベルにて経路１と２がｘｙ平面内で互い
に非常に接近していることが発見されたため、経路１の
物体結合はＲにセットされ、右の経路即ち経路２によっ
て表わされた物体に結合されることを示す、同じように
して、経路２の物体結合はＬにセットされ、左の経路、
即ち経路１に表わされた物体に結合されることを示す。

これを経路１と２が「結合された（ａｔｔａｃｈｅｄ）
　Ｊということが出来る。

時刻Ｔ２にて、物体３は物体１と２の後を右から移動す
ることによってクラスターの中に巻き込まれる。他のセ
ンサーから、物体２に接近していないことを知ることが
出来る。更に又、経路２の右エツジはここで遮断される
。しかし乍ら、経路１に結合されて経路３には結合され
ていないから、エツジ結合はし、即ち左に変化する。こ
れは、使用者からはこのセンサーから経路２を最早見る
ことが出来ないけれども、結合された経路１に関するそ
の位置を推定出来、これによってクラスターの左エツジ
に関する位置を推定出来ることを意味する。

時刻Ｔ２にて、経路３のエツジ結合はＲ（右）にセット
されるが、そのエツジ結合アトリビュートはＵ、即ち未
結合にセットされる。

時刻Ｔ３では、経路３は経路１と経路２の後を通過し、
左に再び現われる。クラスターの左側に再登場すること
により、その速度は完全に遮断されるようになった後も
その速度が相対的に一定に維持されるかどうか予測し検
出することが出来る。

これらの実施例は、遮断物体の位置を推定する際におけ
るエツジ及び物体結合アトリビュートの役割を説明する
ために示したものである。エツジと物体を結合するアト
リビュートを理解することにより、使用者はレイ整合機
能（１）８）（第２２図）の理解をより高めることが出
来る。

第４０図はレベル整合機能（２２０）を示している。

この機能が呼び出されるとき、生のレイリストが空白（
２２２）であるときリターンする（２２４）、現在のレ
イ経路が新しいもの（２２６）でない場合、初期の位置
と速度（２２８）の情報によって現在のレイ経路の位置
を推定出来る。

第４０図の動作（２３０乃至２６４）はレイ経路の現在
の推定位置と、現在のセンサーの現在のレイリストの中
の生の各レイとの間におけるオーバーラツプ部分を見付
けようとするループである（生のレイは各レイ経路の更
新された位置情報を表わす。）（２３０）では、生のレ
イは各々が順番に次のように行なわれる。■レイが小さ
過ぎるか又は大き過ぎる場合、リジェクトする（２３４
）。■現在のレイ経路と比較し、オーバーラツプしてい
るかどうか調べる（２３８）。■もしオーバーラツプ部
分があり、現在のレイ経路も又先の生のレイとオーバー
ラツプしたとき（２５０）、次にレイは分割し、そして
レイ経路がクラスターである場合、レイ分割機能（２５
２）によってクラスターを２つに分離させなければなら
ない、■もしく２５６）にて現在の生のレイ（レイリス
ト中）も又このセンサーの先のレイ経路に整きした場き
、現在及び先のレイ経路は併合され、もし現在と先のレ
イ経路が同じ物体に結合されない場合２つの分離した物
体は現在のセンサー（２５８）　（２６０）の視点から
併合され、レイ経路併合機能（２６２）が呼び出される
。■現在のレイ経路と現在の生のレイ（２３８）との間
にオーバーラツプがない場合、次の生のレイがフェッチ
される。最後の生のレイのチェックが完了すると（２６
４）、レイ整合機能がリターンする（２６６）　。

第４１図乃至第４３図においてレイの併合中、エツジと
物体結合アトリビュートをセットするレイ経路併合機能
によって、レイ追跡機能は遮断されたレイの位置を推定
し、それ故遮断物体及び部分的遮断物体の位置を推定出
来る。レイ追跡機能はその全体の中に含まれており、遮
断物体を追跡するセンサーフレームの効果を決定する上
で重要である。

併合したレイ経路は論理的に独立した２つの部分に分割
することが出来る。第１の部分は、第４１図の（２９０
）の部分から（３１０）の部分（３１０は含まない）ま
でであって、２つのレイ経路又はレイ経路クラスターの
各々のデータ構造を１つのクラスターに合併させる機構
についてのみ関するものであり、当該分野の専門家であ
れば容易に理解出来る。

（３１０）の部分から第４２ａ図、第４２ｂ図及び第４
３図の（３５４）　（３８８）及び（４０８）の部分に
夫々至る併合されたレイ経路の第２の部分は、レイとエ
ツジ結合アルゴリズムを含んでおり、該アルゴリズムは
センサーフレームデバイスのような周辺走査式の多物体
走査デバイスの操作に用いられる。

併きすべきレイ経路がにｙ平面（３１０）の中で共に接
近した物体のレイ経路である場合、一方の物体は左のレ
イ経路の物体が以前は未結合（３２０）であったかどう
かを決定する。もし結合していた場合、一方の物体は右
経路の物体が以前に未結合（３７６）であったかどうか
を決定する。もし結きされていた場合、両物体は両方向
（３７８）に結きされるべきである。もし右の経路の物
体が未結きであったとき、左の経路の物体に結合され、
左の経路の物体は両方向（３８０）に結合される。もし
右の経路が遮断されると（３８２）、右の経路と左の経
路は両方ともエツジ結合アトリビュートを有し「左エツ
ジに結きＪ（３８４）にセットされる。さもなければ、
右の経路は遮断されていないため、エツジ結合は「右エ
ツジへ結合」にセットされ、左経路のエツジ結合は「挿
入Ｊ　（３８６）にセットされる。

もしく３２０）において左のレイ経路の物体が以前には
結合されていないことが判ると、右のレイ経路の物体は
結きされていなかった（３２４）かどうかを決定する。

もし結合していた場合、次に右の経路の物体は両方向で
結合され、左経路の物体は右経路の物体（３５０）に結
合される。もし左経路が遮断されていない（３５１）場
合、エツジ結合は「左エツジに結合」にセットされ、右
経路のエツジ結合は［挿入Ｊ　（３５３）にセットされ
る。左経路が遮断される場合、両経路のエツジ結合は、
「右結合Ｊ　（３５２）にセットされる。

もしく３２４）で、右のレイ経路の物体がまだ結合され
ておらず、次に両方のレイ経路の物体が以前にも結合さ
れていなかった場合、左の物体は反対に右の物体と結合
する（３３０）、次に左の経路が以前に遮断されていな
かったかどうかを判断する（３３２）。もしそうなら、
左の経路のエツジ結合は「左エツジに結合Ｊ（３３４）
にセットされる。ここで右の経路は遮断されたかどうか
判断する（３６０）　。

もし遮断されていた場合、エツジ結合は「左エツジに結
合」にセットされ、もしそうでなければ「右エツジに結
合」にセットされる。（３３２）において左経路が遮断
されたことが判断されると、右の経路もまた遮断されて
いるかどうか判断する（３６６）　。

もし遮断されている場合、左右のレイ経路のエツジ結合
は、両レイ経路とも完全に遮断され、互い以外のなにも
のに対しても結合されていないから（３７０）、「速度
」にセットされる。もし右の経路が遮断されていない場
合、両経路のエツジ結合は「右エツジに結合」にセット
される。

（３１０）において、左右のレイ経路によって表わされ
た物体がｘｙ平面内で共に接近していなかったことが判
明すると、左経路は既に結合されているかどうか判断す
る（４００）　、もし既に結合されている場合、そのエ
ツジ結合は「左エツジに結合Ｊ（４０２）にセットされ
る。もし結合されていない場合、左経路はクラスター（
４１６）の中にあるかどうか判断される。もしクラスタ
ーの中にある場合、左経路のエツジ結合は、「速度」に
セットされる。これは左経路は完全に遮断されて結合さ
れていないからである（４２０）。もしクラスターの中
にない場合、エツジ結合は「左エツジに結合Ｊ　（４２
２）にセットされる。

次に右のレイ経路は既に結合されているかどうかが判断
される（４０４）。もし結合されている場合、右経路の
エツジ結合は「右エツジに結合Ｊ　（４０６）にセント
される。もし結合されていない場合、右経路はクラスタ
ー（４１０）の中にあるかどうか判断される。もしクラ
スターの中にある場合、エツジ結きは「速度」にセット
される。これは、右経路が完全に遮断されて結合されて
いないからである（４１２）。もしクラスターの中にな
い場合、そのエツジ結合は「右エツジに結合Ｊ　（４１
４）にセットされる１１能は（４０８）にリターンする
。

センサーは光を受けたセンサーアレイの個々のセルに対
応した電気信号を発し、適当なコントローラ（第２１図
）がその信号を特定の位置、及び必要に応じて光遮断物
体の速度に関連づけてその遮断物に基づいたあるグラフ
ィック物体を分難することが出来る。速度は物体の位置
変化と時間を比較することによって決定される。

本発明の方法及び装置は、ビデオモニター、隣接フレー
ム、フレーム内部にほぼ面し少なくともフレームが形成
した空間の一部を照明する複数の光センサーを提供する
ことを含むものである。光の一部がセンサーのセルに達
するのを妨げるため、複数の光遮断物体が用いられる。

光遮断物体のフレームに関する三次元位置に対応するセ
ルから信号が発せられる。

外部の物質がフレームの中に入り込むのを防ぐため、使
用しないときはフレームの上に適当な保護ダストカバー
を設けることも出来る。このようなフレームについては
図示していない。

ここでは、フレーノーの中に多数の指を用いる場合につ
いて説明したが、本発明はこれに限定されるものでなく
、足、相棒その他の物理的な物体又はその組み合せを用
いても有効であることは理解されるであろう。

本発明の開示は単一のフレームを用いた実施例について
行なったが、必要に応じて複数のフレームを隣り合う領
域の中に用いてもよいことは理解されるであろう。

ここでは主としてグラフィック物体の変更について説明
したが、コンピュータに関連する多様な用途、一般的に
は音楽のキーボード、ＣＡＤシステム及び産業設備の安
全装置等に関連する種々の用途に用いられることは当該
分野の専門家であれば明らかであろう。

本発明の望ましい実施例に於て、センサーによる視野の
走査は、例えば約３０乃至６０回／秒のオーダで速やか
に実行することが出来る。

説明の都合上、フレームは略長方形のものを示したが、
本発明はそのような形のものに限定されるものでないこ
とは理解されるべきである。フレームは閉じた形状又は
略閉じた形状のものが望ましく、フレームには適当な数
のセンサーが設けられ、センサーの最少個数は４つが望
ましく　（特別な状況においては２つのセンサーを用い
るけれども）且つ最大個数には制限なく、照明は略均−
に行なうことが望ましい。フレームは四角又は円形の他
、照明領域及び関連センサーが光遮断物体の位置及び／
又は形状を有効に決定出来る限り、任意の形状とするこ
とが出来、必要に応じて速度の決定が可能であることは
理解されるであろう。

説明を明瞭にするため、ここではフレーム位置をビデオ
モニターに隣接して配置したが、必ずしもこのように位
置決めする必要性はない、更に、必要に応じてフレーム
はビデオモニターなしで用いることが出来る。

本発明の詳細な説明したが当該分野の専門家であれば更
に多くの追加の用途も考えられるであろう。例えば、セ
ンサーの出力をオルガンに作用させることにより、この
装置を用いてデジタル音楽オルガンを演奏することが出
来る。更に又、システムは音声を発するコンピュータ装
置とも適合性がある。このように本発明のシステムの用
途は多様性に富んでいる。

当該分野の専門家であれば、本発明の方法及び装置に関
し、いろんな端末用途アブリゲーションのあることは理
解されるであろう、基本的な用途は、コンピュータベー
スのワークステーションに於けるゼスチャー検知デバイ
スである０本発明は産業的な処理及び産業環境に於ける
安全装置に用いることが出来る６本発明の装置は又、例
えば、身体障害者のロボット装置及びシステムに用いる
ことも出来る。

このように、本発明は周辺走査手段によって複数の光遮
断物体の位置と速度を決定することによりグラフィック
物体の有効な選択及び走査を行なうための方法及び装置
を提供するものである。これは、ビデオモニター、照明
源を有するフレーム、所定位置に設けられた光センサー
及び該センサーから発せられた信号の処理手段を用いる
ことにより達成される。

本発明の具体的な実施例は例示的に示したものであって
、当該分野の専門家であればその詳細に関する種々の変
更は特許請求の範囲に規定された発明から逸脱すること
なくなせるであろう。

【図面の簡単な説明】

第１図は本発明の１実施例を示す図である。 第２図は本発明に使用可能なセンサーチップの１実施例
を示す図である。 第３図は第２図のセンサーチップに於て光源の焦点をチ
ップの上に合わしたときの状態を示す説明図である。 第４図は手が部分的に光を遮断し、その結果センサーチ
ップの上に得られたパターンを示す説明図である。 第５図は第１のセンサーの視野を示す説明図である。 第６図は第２のセンサーの視野を示す説明図である。 第７図は第５図及び第６図の両センサーの視野を示す説
明図である。 第８図はセンサー測定時のシルエットを示す説明図であ
る。 第９図は一対のセンサーと感知された物体との間の幾何
学的な位置関係を示す説明図である。 第１０図は２つの光遮断物体が存在する場合のフレーム
の１実施例の説明図である。 第１１図は光遮断物体が第１０図とは異なる状態にある
ときの説明図である。 第１２ａ乃至第１２ｃ図は指を用いてグラフィック物体
の選択を行なう方法を示す説明図である。 第１３図は指を用いて操作する方法を示す説明図である
。 第１４ａ図及び第１４１Ｊ図は装置の多指コントロール
を示す説明図である。 第１５ａ図及び第１５ｂ図はスケール化に於ける多指の
使用説明図である。 第１６図はレンズ／光センサー結合装置の１実施例の断
面図である。 第１７図は本発明の１実施例の一部の説明図である。 第１８図はフレームの読取りを行なうのに用いられるユ
ーザー機能のフローチャート図である。 第１９図及び第２０図は本発明に使用可能なソフトウェ
ア−のフローチャート図である。 第２１図は本発明のコントローラの１形態のブロック図
である。 第２２図は本発明に使用可能なソフトウェア−の一部の
フローチャート図である。 第２３図乃至第３９図は例えば指のような光遮断物体と
光線との関係並びに関連する表示システムを示す略図で
ある。 第４０図乃至第４３図は本発明に使用可能なソフトウェ
ア−の部分のフローチャート図である。 （第４１図、第４２ａ図、第４２ｂ図及び第４３図は整
合文字Ａ乃至Ｅを有する部分によって組み合わされるべ
きである。） （２）・・・フレーム部材　　（４）・・・画像表示部
（１０）・・・光源エキサイタ− （１２）　（１４）　（１６）　（１８）・・・光ディ
フューザ（２０）　（２４）　（７，８）　（３４）・
・・センサー装置（２２）　（２６）　（３０）　（３
６）・・・レンズ系（４０）・・・指　　　　　　（４
１）・・・光　源ＦＩＧ、　ＩＩ ＦＩＧ、　＋２（ｌ　　　　ＦＩＧ、　１２ｂ　　　　
　ＦＩＧ、　１２ＣＦ／Ｇ、　／３ ＦＩＧ、　１７ ＦＩＧ、＋８ 日Ｇ、　＋９ ＦＩＧ、２０ ＦＩＧ、２１ ＦＩＧ、２２ 日６．２９ ＦＩＧ　３０ ＩＧ３１ Ｔｉｍｅ　ｌ　　　　Ｔｉｍｅ　２ ＩＧ３２ Ｔｉｍｅ　Ｉ　　　　−−Ｖ−二Ｔｉｍｅ２ＦＩ６３３ ＦＩＧ、　３４ ＦＩＧ、　３８ ＦＩＧ、　３９ 日Ｇ、４０ Ｆｌ（’；　４２ｈ

Claims (12)

【特許請求の範囲】
1. （１）複数の光センサーをフレームの内側に略向くよう
   に配設し、 少なくともフレームによって形成される空間に投光し、
   複数の光遮断物体を用いて、光の一部が少なくとも光セ
   ンサーの中の幾つかの要素へ達することを妨げ、 光遮断物体のフレームに関連した位置に対応するセンサ
   ーから信号を出力する工程から構成されるグラフィック
   物体を操作する方法。
2. （２）光遮断物体の位置変化に関する情報を形成するた
   め、センサー信号を周期的に結合し、 光遮断物体に対し１回目の検出によって得られた第１位
   置に対応するセンサー信号の第１の組を記憶し、 次に第１の組のセンサー信号を、２回目の検出によって
   得られたセンサー信号の第２の組と比較して、光遮断物
   体の位置変化を判断する工程を含んでいる特許請求の範
   囲第１項に記載の方法。
3. （３）グラフィック物体のエッジ部と視中心の、位置と
   相対的な運動を比較し、 該比較を用いてグラフィック物体の位置、方向及び運動
   の履歴を維持し、 該履歴を用いて、グラフィック物体のアンビギティーの
   組合せを分解し、又は他のグラフィック物体によって少
   なくとも部分的に遮断された物体を追跡する 工程を含んでいる特許請求の範囲第２項に記載の方法。
4. （４）複数組のセンサー信号を、別の時刻に得た各々の
   信号と比較し、 複数組のセンサー信号を用いて光遮断物体の位置変化を
   判断する 工程を含んでいる特許請求の範囲第２項に記載の方法。
5. （５）人体の一部を光遮断物体として用いている特許請
   求の範囲第２項に記載の方法。
6. （６）ビデオモニターを設け、 フレームを、閉じたフレームとし、 フレームをビデオモニターの近傍に配置し、フレームの
   内側を略一様に照明し、センサーとしてダイナミックＲ
   ＡＭを用いる 工程を含んでいる特許請求の範囲第２項に記載の方法。
7. （７）少なくとも１つのグラフィック物体を選んで操作
   するために光遮断物体を用いる特許請求の範囲第５項に
   記載の方法。
8. （８）少なくとも部分的に光遮断物体を受けるフレーム
   手段と、 フレーム手段の近傍の領域を少なくとも部分的に照明す
   る光源手段と、 フレーム手段と連繋して少なくとも照明の一部を受けて
   応答信号を発するセンサー手段と、センサー信号を用い
   て光遮断物体の位置を決定する信号処理手段、 を含んでいるグラフィック物体を操作する装置。
9. （９）フレーム手段に接近してビデオモニターを配置し
   、該フレーム手段はビデオモニターの前方に設けられ、
   モニターの少なくとも一部がフレームを通して見られる
   ようにしている特許請求の範囲第８項に記載の装置。
10. （１０）信号処理手段は、第１回目の際に得たセンサー
    信号の第１の組をその後に得た信号の第２の組と比較す
    ることにより、光遮断物体の位置変化を判断できるよう
    にしている特許請求の範囲第８項に記載の装置
11. （１１）センサー手段は複数のダイナミックＲＡＭセン
    サーを有し、 信号処理手段は光遮断物体の位置変化を判断するため、
    複数組のセンサー信号を記憶して比較する手段を有し、 信号処理手段は、センサーから受けた情報に応答してグ
    ラフィック物体を操作する手段を有している 特許請求の範囲第８項に記載の装置。
12. （１２）フレーム手段は略長方形であり、ダイナミック
    ＲＡＭセンサーはフレームの略コーナ部に設けられてい
    る特許請求の範囲第１１項に記載の装置。