JP4347452B2

JP4347452B2 - スクリーンポインタ位置制御装置

Info

Publication number: JP4347452B2
Application number: JP11703599A
Authority: JP
Inventors: ガリー・ビー・ゴードン; ドナルド・イー・モーリス
Original assignee: アバゴ・テクノロジーズ・イーシービーユー・アイピー（シンガポール）プライベート・リミテッド
Priority date: 1998-04-30
Filing date: 1999-04-23
Publication date: 2009-10-21
Anticipated expiration: 2019-04-23
Also published as: CN1153121C; US6057540A; JPH11345076A; CN1233791A; TW403932B

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータシステム等のスクリーンポインタの位置を制御する技術に係り、特に、対象物の移動を光学的に検出し、該検出によって移動するスクリーンポインタの位置を制御するスクリーンポインタ位置制御装置に関する。
【０００２】
【従来の技術】
コンピュータおよびそのディスプレイと共に用いられる、手動のポインティングデバイスは、ほぼ一般化された。あらゆるデバイスの中で最も一般的なものは、マウスパッドと共に使用される従来の（機械式）マウスである。マウスの底面には、中央に穴が設けられており、その穴には、表面がゴム製である鋼製のボールの下側部分が突出している。一般に、マウスパッドは、適当な生地で覆われたクローズドセル（closed cell）の気泡ゴムパッドである。低摩擦パッドは生地の上が滑らかであるが、マウスが有するゴムボールは上滑りせず、マウスの移動に伴って転がる。マウスの内部にはローラまたはホイールがあり、ボールとその赤道（equator）で接触し、その回転をマウスの動きに直交する成分を表す電気信号に変換する。これらの電気信号はコンピュータに供給され、ソフトウエアがその信号に応答してマウスの動きに従ってポインタ（カーソル）の表示位置をΔｘおよびΔｙだけ変化させる。ユーザは必要に応じてマウスを移動させ、表示されたポインタを所望の位置に動かす。スクリーンポイント上のポインタが必要な対象または位置に来たときに、ユーザが、マウスの１つまたは複数のボタンの１つをマウスを保持している手の指で押すことによって作動する。この作動は、ある動作を行う命令としての役割を果たし、その動作はコンピュータ内のソフトウエアによって定義されている。
【０００３】
不運なことに、上述した通常のマウスは、多くの欠点に陥りやすい。これら欠点としては、マウスボールの劣化またはその表面の損傷、マウスパッドの表面の劣化または損傷、および接触ローラの回転容易性の低下（例えば、（ａ）ほこりや糸くずの蓄積による場合、（ｂ）摩損による場合、または（ｃ）（ａ）および（ｂ）の両方による場合）がある。これらの欠点は全てマウスが必要に応じた動作を安定して行うことができないか、または完全に行うことができない要因となる。
【０００４】
これらのトラブルの根源的な原因は、従来からのマウスが、その構成および動作において大部分が機械式であり、機械的力がどのように開発され変形されたかについて、かなり微妙に妥協しているということである。
【０００５】
何年にもわたって、数多くの光学的技術がコンピュータマウスについて提案されてきたが、今日までも、機械式マウスが未だ最も広く使用されているポインティングデバイスである。かなりの程度まで受け入れられそうな近年の光学的技術の開発について、Gordon氏、Knee氏、Badyal氏およびHartlove氏により１９９８年３月３０日に出願され、ヒューレットパッカード社に譲渡された「SEEING EYE MOUSE FOR A COMPUTER SYSTEM」という名称の米国特許出願第０９／０５２，０４６号に記載されている。この出願は、上述の引用した特許に記載された技術を用いて、任意の表面上を探査（navigate）する光学式マウスについて開示している。そこで開示されている装置は、製造の観点から見て実行可能であり、比較的安価であって、信頼性のある非機械式マウスであり、ユーザにとっては、本質的には従来のマウスと動作的には同等なものである。この新しい種類の光学式マウスは、普通の「感触（feel）」を有し、予期しない動きは起こらない。それは特別である無しに関わらず、マウスパッドとの協調には依らず、ほとんどあらゆる任意の面上を探査することができる。単一の画像処理集積回路を用いて、任意の面を横切る回路（暗に、マウス自体）の移動を追跡する。
【０００６】
【発明が解決しようとする課題】
しかしながら、それは未だマウスであり、マウスがその上を動くためにある種の面が必要である。ラップトップコンピュータおよびいくつかの雑然とした労働環境は、従来の機械式または光学式のものにかかわらず、マウスにとって良い使用環境ではない。例えば、ラップトップコンピュータのメーカは、マウスではないマウスのようなポインティングデバイスを提供してきた。例えば、旋回するジョイスティック、貼り付け式のトラックボールおよびポップアウトパンタグラフがある。あるラップトップは、キーの間にポップアップする小さいスティックを有し、指先でそれに与える力に応じてスクリーンポインタを制御する。該スティックはキーボード上の「Ｊ」キーの隣に配置されているため、手をキーボード上のホームポジションに置いたままにしておけるという利点がある。トラックボールおよびパンタグラフは、細かすぎるかまたは機械的に精密であり、力を検出するスティックは、ある空間的な位置（手／マウスの組合わせ）を他の位置（スクリーンポインタ位置）に変換するものではないため、かなりの慣れが必要である。代わりに、これらは静止した圧力に応じてスクリーンポインタを移動させる。よく設計され適当に実行されたある試験によれば、空間的な位置をポインタ位置となるように変換することによって動作する（すなわち、実際の動きを伴う）スクリーンポインタ制御の実例によれば、より高速かつ正確であり、そのためより使い易いということが示されている。
【０００７】
本発明は、上記事情に鑑みてなされたもので、摩滅する、固まる、または完全に曲がるあるいは壊れるような実際のマウスまたは他の移動可能な付属物無しに、任意の面上の追跡を可能とするマジックアイマウス（seeing eye mouse)の光学式メカニズムが、位置変換型スクリーンポインタ制御を可能とするよう適用可能であり、また、そのような光学式メカニズムによって、手をキーボード上のホームポジションに置いたまま、スクリーンポインタの位置を自在に制御可能なスクリーンポインタ位置制御技術を提供することを目的とする。
【０００８】
【課題を解決するための手段】
マウスレス、光学式および位置変換型スクリーンポインタ制御の問題を解決する方法は、ユーザの指の１つ（親指または他の指）の表面の木目（例えば、「指紋」）の一部を画像処理することである。指の動きによって画像の動きが生成され、この画像の動きは動き検出器によって検出されて、スクリーンポインタの対応する動きに変換される。指は、ロッドレンズ（rod lens）の端部に配置され、そのロッドレンズは、キーの間、すなわち、「Ｈ」、「Ｊ」、「Ｙ」および「Ｕ」キーの接合点に隣接した位置で上方に伸びるか、または、キーボードの中央で受け座の前端から水平に外側へ伸びている。前者の配置では、右手の人差し指と共に動作し、後者の配置では、いずれか一方の親指と共に動作する。画像が動き検出器の内部で「移動する」と、その部分は視界から消え、指の隣接する部分からの他の画像パターンに置換えられる。十分に変化した画像は、それ自身が変化する新たな現画像として保持される。参照フレーム（先の画像）と現フレーム（現在の画像）との間の比較により、画像の動きの量および方向が検出される。これら検出された量および方向は、マウスボールの回転に対応しており、コンピュータのソフトウエアに送信され処理される。ここではマウスが無いため、標準のマウスに備えられたボタンまたはスイッチの代りとなるものを設けなければならない。本発明では、そのボタンまたはスイッチを、キーボード上の追加キーとして再現することができる。特に、それらはスペースキーを短縮することによって空いた位置に配置することができる。これらのキーは、マウスドライバと通信するがキーボードドライバとは通信しない。
【０００９】
【発明の実施の形態】
図１は、プラスチック等により作成された透明スタッド３の表面５を加圧する人間の指７の動きを追跡するのに適した動き検出装置１を示す簡略化した側面図である。光源２はＬＥＤ等からなり、表面５を照らすためにレンズ４によって集められ焦点合わせされる光を発光する。表面５は、平坦であるか、または好ましくはわずかな湾曲を有している。湾曲によって、後述する動き検出器９に対して焦点が合う表面５の領域の大きさを大きくすることができる。表面５は、例えば、透明スタッド３の端部に塗られたガラスまたは他の耐摩耗性コーティングである。表面５は、直径が約３／１６インチから１／４インチであり、透明スタッド３の長さは、約３／８インチから３／４インチである。透明スタッド３を示す他の語として、「ロッドレンズ」を使用する。
【００１０】
指７の先端６が表面５を加圧すると、皮膚の隆起および他の微小な肌理の特徴が、その表面の一部であるかのように、表面の面内に見ることができるようになる。レンズ８は、それら特徴からの光を、動き検出器９の一部である光検出器のアレイ上に焦点合わせする。動き検出器９は、自動的に適切な画像を取得して追跡する。画像を追跡している時、マウスからの信号の代りに、使用されることになる増分（Ｘ，Ｙ）信号を生成する。
【００１１】
指先６を数１０００分の１インチでも表面５から離すと、画像の焦点がぼけて、追跡ができなくなる。この状態は、動き検出器９内で検出され、増分（Ｘ，Ｙ）信号の生成が終了する。これによって、スクリーンポインタが現在占めている位置で変化しない状態となり、これは、マウスのユーザがマウスから手を放した時と全く同じ状態である。続いて指先６を表面５上に戻すと、動き検出器９は画像が取得されたことを認識し、リセットが実行されたかのようにその取得を処理する。すなわち、新たな取得に続く新たな動きがあるまで、増分座標（Ｘ，Ｙ）は値（０，０）のままである。これによって、スクリーンポインタは、指７の動きによって故意に動かされる時までその位置が変わらず、マウスのユーザがマウスを動かさずにそのマウス上に手を戻したことに正確に対応する。
【００１２】
不透明バリヤ１０は、ＬＥＤ２からの迷光が動き検出器９に到達するのを防止する。
【００１３】
上述した技術は、明らかに動き検出器９の特性に依っている。厳密に、または実質的に、引用した特許に記載されている画像処理および探査の装置と同じ技術を使用する。そこで述べられている特定の動作設定では、画像処理され追跡される微細な特徴（例えば、紙繊維）のサイズが小さいため、画像はセンサに到達する前にある程度拡大していることが望ましかった。ここでは、指先６の特徴は実際には比較的かなり大きいため、拡大は不要である。
【００１４】
画像処理および探査のメカニズムについては、引用した特許に記載されているが、読手のために、以下にそのメカニズムに用いられる技術の簡単な概観について説明する。
【００１５】
ＬＥＤ２は、ＩＲＬＥＤであってもよく、レンズ（４）に向けて発光して、探査のために画像処理される作業面（６）の一部である領域（５）に放射する。比較的不透明な材料の理想的な入射角は、５度から２０度の範囲内のすれすれの（grazing）照明である。透明スタッド３の長さによっては実用的ではない本設定では、たとえ実用的であったとしても、皮膚の透明性によりその利点は制限される。結局、斜めの照明が無いにも関わらず、追跡は非常に良好に行われる。
【００１６】
照明された領域（６）の画像は、集積回路（９）のパッケージ（図示せず）内の光学ウインドウ（透明スタッド３自体）を通して、光検出器のアレイ上に投影される。これは、レンズ８があることによって行われる。光検出器は、側面に例えば１２個から２４個の検出器を有する正方形のアレイからなり、各検出器は、光電領域が４５×４５ミクロンであって中心間が６０ミクロンである光検出器である。フォトトランジスタはコンデンサを充電し、その電圧は続いてデジタル化され、メモリに格納される。指先６の照明の一般的なレベルは、光検出器の出力レベルを認識し、ＬＥＤ２から発せられる光の輝度を調整することによって制御することができる。これは、連続制御またはパルス幅変調あるいはそれらの組合わせのいずれでも良い。
【００１７】
好ましい光学探査は、人間の視覚はそうするよう信じられているが、表面５に見ることができる種々の特定の光学的な特徴を画素アレイとして直接画像化することによって、光学的に動きを検出する。表面５に加圧された特徴が表れた作業面から反射するＩＲ光は、光検出器の適当なアレイ（例えば、１６×１６または２４×２４）に焦点合わせされる。ＬＥＤは、性能のある側面（例えば、作業面の反射係数に関連する光検出器のダイナミックレンジ）を最大化するためにサーボ駆動される不変または可変の照明量で、連続的にオンとなっている。あるいは、光検出器に結合された充電メカニズムは、（電流分岐スイッチにより）「閉鎖され」、ＬＥＤは、光の平均量をサーボ駆動することにより照射を制御するよう、パルスによってオン／オフされるようにしても良い。また、ＬＥＤをオフとすることにより電力を節約する。これは、電池によって動作する環境においては重要である。個々の光検出器の応答は、適切な解像度（例えば、６または８ビット）にデジタル化され、フレームとしてメモリのアレイ内の対応する位置に格納される。
【００１８】
好ましくは、光検出器上に投影される画像のサイズは、画像として取込まれる元の特徴とほとんど同じ大きさである。光検出器のサイズおよびその間隔は、画像の特徴毎に１つまたはいくつかの隣接する光検出器があるようなサイズになっている。このため、個々の光検出器によって表される画素サイズは、作業面上の典型的な空間の特徴のサイズより一般的に小さいサイズの作業面上の空間的な領域に対応しており、その特徴は、指先６の皮膚の渦状紋の隆起である。光検出器のアレイ全体のサイズは、好ましくは、いくつかの特徴を有する画像を受信するために十分な大きさである。このように、空間的に特徴のある画像は、指先６の移動に合わせて画素情報の変換されたパターンを生成する。アレイ内の光検出器の数およびそれらの内容がデジタル化され取得されるフレームの割合は共に作用して、指先６が表面５上をどのくらい速く動くことができ、さらにどのくらい速く追跡することができるかに影響を与える。追跡は、新たに取得したサンプルフレームを以前に取得した参照フレームと比較して、動きの方向および量を確実にすることにより行われる。
【００１９】
行われる方法の１つは、フレームの１つの内容全体を、１画素オフセットトライアルシフトによって可能な８方向（１オーバ、１オーバおよび１ダウン、１ダウン、１アップ、１アップおよび１オーバ、他の方向へ１オーバ等）のそれぞれを、連続的に１画素の距離（光検出器に対応する）だけシフトすることである。それは、結局は８つのトライアルということになるが、全く動かないかもしれないことを考慮する必要があるため、９番目のトライアル「ヌルシフト（null shift）」もまた必要である。各トライアルシフトの後、互いにオーバラップするフレームの部分は、画素単位で減じて、結果の差分は（好ましくは２乗した後に）合計して、オーバラップの領域内における相似（相関）の測度を形成する。当然、より大きいトライアルシフトも可能である（例えば、２オーバおよび１ダウン）が、ある点において、それに伴う複雑さがその利点を台無しにするため、単純に、小さいトライアルシフトで十分に高いフレームの割合を有することが好ましい。最小の差分（最大の相関）を有するトライアルシフトは、２つのフレーム間の動きを示すものとして得ることができる。すなわち、それによって、そのままの動き情報を見積もり、または蓄積して、適切な細分性のディスプレイポインタの動き情報（ΔＸおよびΔＹ）を情報交換の適切な割合で提供することができる。
【００２０】
引用した特許に記載された（およびマウスレスポインタ制御メカニズムによって使用される）実際のアルゴリズムは、上述したアルゴリズムの洗練された非常に複雑なバージョンである。例えば、光検出器は１６×１６アレイであった。ある時間ｔ₀に光検出器の出力が現れた時に、その出力をデジタル化した値を格納することにより、初めに参照フレームを得る。その後のある時間ｔ₁において、サンプルフレームを得て、デジタル化した値の他のセットを格納する。「前回の場所」を表す参照フレームのバージョンに対して、９つの比較フレーム（ヌル、１オーバ、１オーバおよび１アップ等）の新たな集まりを相関させることが望ましい。比較フレームは、サンプルフレームの一時的にシフトしたものである。なお、シフトした時、比較フレームはもはや参照フレームに厳密にはオーバラップしなくなる。１つのエッジまたは２つの隣接するエッジは、以前のように一致しなくなる。一致していないエッジに沿った画素位置は、対応する相関（すなわち、特定のシフトについて）には寄与せず、他の全てが寄与する。それら他の画素は多くの画素であり、雑音比に対する非常に良好な信号を生じさせる。「最近傍」の動作（すなわち、ヌル、１オーバ、１アップ／ダウンおよびそれらの組合わせに限定される）について、相関によって９つの「相関値」が生成されるが、それらは、空間的な対応を有する全ての画素位置、すなわち、他のフレームの画素位置と対になるあるフレームの画素位置（但し、一致していないエッジはそのような対にならない）について２乗した差分を合計することによって得られる。
【００２１】
どのようにシフトが行われるかおよびどのように相関値が得られるかについて、簡単な説明を示すことが恐らく適切であろう。シフトは、アレイの列または行の全てを一度に出力することができるメモリ用アドレスオフセットを使用することによって実行される。専用の演算回路が、シフトがなされる参照フレームを含むメモリアレイ、およびサンプルフレームを含むメモリアレイに接続されている。特定のトライアルシフト（最近傍または近傍の集まり）についての相関値は、非常に迅速に形成される。最良の機械的な相似は、配置が恐らくランダムであることを除けば、チェッカー盤のように配置された明および暗のパターンの透明な（参照）フィルムをイメージすることである。同じ一般的なパターンを有する第２の（サンプル）フィルムは、ネガティブなイメージ（暗と明とが入れ替わっている）であることを除いて、第１のフィルム上に重ねられているものとする。ここで、その組合せは整列して、光に対して保持されている。参照フィルムがサンプルフィルムに対して動かされると、その組合せを通して入射する光の量は、その画像が一致する程度に従って変化する。最小の光を通す配置が、最良の相関である。参照フィルムのネガティブな画像パターンが、サンプルフィルムの画像から置換えられた１つまたは２つの正方形である場合、その配置は、最小の光がその置換に一致する光であることを表している。最小の光を通す配置がどの配置であるかを示す。すなわち、マウスレススクリーンポインタ制御について、最良の相関を有する配置を認識し、指先がそれだけ動いたと言える。要するに、それは、ここで述べている画像相関および追跡の技術を達成するよう配置された光検出器、メモリおよび演算回路を有する集積回路（ＩＣ）内で発生することである。
【００２２】
所定の参照フレームが、連続したサンプルフレームと共に再利用されることが望ましい。同時に、光検出器における新たな画像（次のサンプルフレーム）から発生する（ｔ_i、ｔ_i＋１等における集まりについて）９つ（または２５つ）の相関値の新たな集まりの各々に満足し得る相関が、含まれていなければならない。比較フレームのいくつかの連続した集まりは、通常ｔ₀で得られる（１６×１６）参照フレームから取得することができる。これを可能にするのは、最近の動き（先の測定以来分かっている速度および時間間隔と同等である）について、方向および置換データを保持することである。これによって、参照フレームの画素の集まりを（永久に）いかにシフトさせるかを「予測」することができ、それによって、次のサンプルフレームについて相関すべき「最近傍」を予測することができる。この予測に適応するシフトは、参照フレームのいくつかを捨て（または除去し）、参照フレームのサイズを縮小し、相関の統計的な質を低下させる。シフトし縮小された参照フレームのエッジが元の参照フレームの中心に近づき始めると、それは、新たな参照フレームを取出す時である。このような動作方法は、「予測」と呼ばれ、拡張された「近傍」（ヌル、２オーバ／１アップ、１オーバ／２アップ、１オーバ／１アップ、２オーバ、１オーバ、…）アルゴリズムについての比較フレームと共に用いることができる。予測の利点は、内部の相関手続きを合理化する（データの２つの任意に関連する１６×１６アレイを比較しない）ことと、参照フレームを取得するための時間の割合を縮減することによって、追跡処理をスピードアップすることである。
【００２３】
動き検出器９は、指先６がポインタのスクリーン上の位置を妨げることなく、表面５から物理的に移動することを可能にすることで、コンピュータに対する動き信号の生成を一時停止する「ホールド」機能を有することが望ましい。これは、オペレータが物理的に自分の指をさらに動かす余地が無くなったが、スクリーンポインタをさらに移動させる必要がある場合に必要である。例えば、延長された右方向のはみ出しについて、オペレータによって実行される通常のマウス操作は、単純に、作業面の右側でマウスを引き上げ、左側で下に降ろし、右側へさらに動かすというものである。この設定で必要なことは、指を上げ、戻し、表面５上に再度置くという操作中に動作指示信号が疑似的な動きの影響を受けないようにする方法であり、そのため、スクリーン上のポインタは予測された危険ではない（non-obnoxious）方法で動く。「ホールド」機能は、画像の画素の全てまたは大部分が「暗くなった」（以下に説明するように、実際にはそれより多少複雑である）ということを認識することによって、自動的に実行される。
【００２４】
当然、照射しているＬＥＤからのＩＲ光は、光検出器に以前と同じ量はもはや到達しない。すなわち、反射面は非常に遠くなるか、または単純に見えなくなる。しかしながら、指先６が除かれ、結果として表面５が強く光が照射される環境にさらされると、光検出器の出力はどのようなレベルにでもなり得る。重要なのは、それらは一様かまたはおよそ一様であるということである。それらが一様になる主な理由は、もはや焦点を結ぶ画像が無いということである。すなわち、画像の特徴は全てぼやけて、光検出器の集まり全体にわたって分散する。そのため、光検出器は一様にある平均的なレベルになる。これは、焦点を結ぶ画像がある場合と明確に異なっている。焦点を結ぶ場合、フレーム（１オーバ、１オーバおよび１ダウン等）間の相関は、明確な現象を示す。
【００２５】
追跡されている空間的な特徴が、レンズシステムを通して光検出器に正確に写像され、指先の動きが、厳密にその量によって、該特徴が検出器から検出器へ移動するのに必要な方向に急に動いた（jerky）とする。ここでは、簡単にするために、特徴は１つしかなく、その画像は光検出器のサイズであるものとする。したがって、１つ以外の光検出器は全てほとんど同じレベルにあり、そのレベルでない１つの光検出器は、その特徴によって相当異なるレベルにある。これらの非常に理想的な状態では、相関が非常に良く作用することが明らかである。（最近傍アルゴリズム用の９つのトライアルを使用し（全く動きが無い可能性のあることを思い出し）、システム内の８つの「大きい」差分と１つの小さい差分（他のかなり平坦な表面におけるシンクホール（sink hole）））（注：明敏な読者であれば、この考案された例における「大きい」差分は、実際には１画素に対応するかまたは１画素から生じ、恐らく「大きい」と呼ばれるに値しない（以前のシフトされたフィルムの相似を思い出すべきである）ことに気づくであろう。この例でフィルムが横切る光は、特徴の１画素についてだけである。比較的より多様な画素の集まりを有するより普通の画像は、差分を本当に「大きい」差分となる程度まで増やす。）
【００２６】
ここで、このような非常に理想的な状態は、普通の場合ではない。追跡される空間的な特徴の画像は、光検出器のサイズより大きいかまたは小さく、指先６の動きは、それらの画像が一度に複数の検出器に向けられるような経路に従って、連続的であることがより通常である。検出器の内のいくつかは、空間的な画像のみを受光する。すなわち、いくつかの検出器は、明と暗との両方のアナログ加算を実行する。その結果、少なくともシンクホールの「広がり」（それに関連する光検出器の数に関連して）が発生し、シンクホールの深さに対応して減少する可能性が非常に高い。この状況は、重いボールが、ぴんと張られている（taut）が非常に伸縮性のある膜の上を転がっているのをイメージすることにより想像することができる。この膜は、それが関連する離散的な整数の直交座標システムを有している。ボールの転がりにより、整数の座標位置において膜はどれくらい広がるか。まず、ボールは直径が非常に小さいが非常に重いものと想像し、次にボールは直径が大きいが同じ重さであるであるものと想像する。相似（analogy）は厳密ではないが、上述した「シンクホール」の概念を説明する役割は果たす。一般的な場合、鋭く画定されたシンクホールを有する概して平坦な表面は、広い凹面または鉢状面になる。
【００２７】
ここで、あらゆる相関値によって作成されたまたは示された表面を「相関面」と呼ぶ。
【００２８】
２つの点を明らかにするために、これを全て述べる。まず、指先６の移動に従って相関面上の凹面がシフトする形状により、光検出器の単純なサイズ／スペーシングより細かい細分性（granularity）に対する補間が可能になる。これは、動き検出器９がそれを可能にし、そのままにすることができるということと共に示される。補間の全詳細は、引用した特許に述べられている。補間についてのさらなる説明は、必要であるとは思われない。次に、これは先のパラグラフの説明に関する本当の理由であるが、指先６が表面５上にない時に、相関面の凹面が無くなり、相関についての概して等しい値（すなわち、「平坦な」相関面）に取って代わられるということが分かる。このようなことが起こる時、かなりの自信を持って指先６が表面５上に無いということができ、適切な凹面（「鉢状面」）が再度現れる後まで保持された特徴を自動的に呼出すことができる。
【００２９】
ここで、動き検出器９の特徴および内部動作についての余談を終わる。次に、「マウスレス」とするためにそれをどのように使用するかについての説明を始める。
【００３０】
図２は、ラップトップコンピュータ（但し、必ずしもそうである必要はない）用コンピュータの動き検出装置を備えたキーボードの一部上面を示す斜視図である。なお、透明スタッド３は、従来からのクワーティ（ＱＷＥＲＴＹ）キーボードの「Ｈ」、「Ｊ」、「Ｙ」および「Ｕ」キーの隣接した角部に近接して配置されている。他のキーキャップレイアウトを使用した場合、それは、右手の人差し指のホームポジションから左および上方の経路に沿って配置される。左手について等しい権利を主張するひねくれた人がいる場合、それは、左の人差し指のホームポジションから右および上方に向かって（「Ｆ」、「Ｒ」、「Ｔ」および「Ｇ」キーの隣接した角部に）配置することができる。最後に、上方向には特別なマジックがあるわけではない。すなわち、下方向でも良いが、その場合、指が曲がって指の爪が邪魔になる可能性がある。（上方に伸ばすと指がまっすぐになり、それによって指の爪が邪魔にならないところに動く。）また、隣接した指（最も長い指、すなわちいわゆる中指）より人差し指を選ぶべきであるという偏見を持つべきではない。しかしながら、全体的にみて、これらの間の最良な選択は恐らく図に示すようなものである。なお、透明スタッド３に隣接するキーキャップの通常の形状は、変えることが望ましい。
【００３１】
概念としては、ユーザは、その指先を表面５上に配置し、その後、指を動かしてスクリーンポインタを動かす。ユーザは、本当に大きなスクリーンに対して１回または２回指を持ち上げ、引き返し（retrace）、再び配置しなければならない可能性がある。それは非常に早くかつ自然に発生するが、マウスで強打するのに比較して非常に小さい動きで発生し、そのため好ましくない動きとはならない。
【００３２】
ここで、スクリーンポインタをスクリーン上の所望の位置を指すようにすることは、マウスが提供する機能のほんの一部である。従来の「クリック」および「ダブルクリック」に相当する方法もまた必要である。また、一般的な従来のマウスに備えられた２つのボタン（＃１および＃２）も保持しなければならない。
【００３３】
このため、これを達成する方法として、従来からのスペースキーを短くし、各端部に得られる空間に新たなキーを加える。通常、スペースキーは親指で押され、親指はスペースキーの中央を指すようになっている。従来のスペースキーは、無駄に長い。図において、従来のスペースキーは、３つのキーに分割されている。すなわち、短くなったスペースキー１３（例えば、７つ分の「キー」の長さに代わり、約２つ分または３つ分の「キー」の長さである）と、ここでは存在しないマウス上のマウスボタンの機能を実行する２つの新たな補助キー１４，１５とである。親指を手の平に向けて僅かに捻じ曲げることにより、親指はキー１４（マウスボタン＃１）またはキー１５（マウスボタン＃２）を押下する位置に移動する。
【００３４】
いくつかの変形例が可能である。重要なことが１つのボタンマウス（button mouse）である場合、動き検出器から得られる「何か（指先）が見える」ことを示す信号を容易に配置する（arrange）ことができ、そのような信号がある場合、「スペース」用のキーコードをある実行中のアプリケーションに転送する代りに、従来のスペースキーの駆動状態をマウスボタンの駆動状態とすることができる。あるいは、指が表面５をしっかりと押圧する時にマウスボタンを押下する機能を実行する感圧スイッチまたはトランスジューサに透明スタッド３を取付けることもできる。
【００３５】
関心が持たれる変形例としては、３′，５′，１６の破線に示すように、透明スタッド３′をキーボードの受け座の前端の垂直部分に水平に配置する。参照数字１６は、代替の透明パッド３′が突き出してその表面５′を露出させる受け座（図示せず）の孔を示す。使用時は、いずれかの親指が下がって表面５′を覆う。その親指の動きによって、スクリーンポインタが動く。マウスボタン＃１（１４）および＃２（１５）は、人差し指をわずかに捻じ曲げて、適当なキーに向かって押下することにより駆動される。
【００３６】
動作時、画像は、連続する画像がアレイの１／４幅または光センサの１６×１６アレイの４画素を超えない距離分異なるために、十分な量だけ取得される必要がある。実験によれば、５０ｍｍ／秒の指の速度は非現実的ではない。１：１に画像を取得することにより、これは、８００画素／秒のアレイにおける速度に対応する。４画素／サイクルを超えて移動しないという条件を満たすために、１秒間に２００回の割合で測定する必要である。この割合は非常に実用的であり、この割合の数倍でで動作することが望ましい。
【００３７】
表面５を横切る指の１つの強打についての適当な動きの量は、およそ１０ｍｍである。１つの強打によってスクリーンポインタがスクリーン全体を横切ることが望ましい。６０ミクロンピッチを有するアレイについて、これは、そのアレイにおける１６６画素の変換に対応している。これを、１０００以上の画素を有するスクリーンに写像することは、恐らく使用可能ではあるが、現在の標準では制御の程度がかなり粗雑になる。これは、アレイの画素レベルにおいて１／８画素に補間することによって容易に調整され、引用した特許によって、それをどのように行うかが述べられている。前記補間の程度は１６×１６アレイおよび５×５比較フレームを用いても、非常に可能性がある。
【００３８】
以下に本発明の実施の形態を要約する。
１．コンピュータシステム等のためのスクリーンポインタの位置を制御するスクリーンポインタ位置制御装置（１）において、
人間の指先（６）が置かれる画像取込面（５）が一端に備えられ、光が入射し、前記指先で反射し、入射した方向とは概して反対の方向に出射する端末（４，８）が他端に備えられたロッドレンズ（３）と、
前記ロッドレンズの前記他端に近接して配置され、前記ロッドレンズの前記他端に対して光を発する光源（２）と、
前記ロッドレンズの前記他端に近接して配置され、前記指先で反射した光を受光し、前記画像取込面を横切って前記指先の直交する軸における動きを示す信号を生成する動き検出器である動き変換器（９）と、
を備えたスクリーンポインタ位置制御装置。
【００３９】
２．前記ロッドレンズ（３）は、キーボードのキー（１２）の間の人差し指に近接した位置に配置され、前記画像取込面が前記キーの上端のわずかに上方にある上記１記載のスクリーンポインタ位置制御装置。
【００４０】
３．前記ロッドレンズの前記画像取込面は、キーボードの受け座の孔（１６）を突き抜けて伸びており、前記孔は、人差し指が前記キーボードのホームキー上に配置されている時に人間の親指の先端によって覆われ、前記キーボードの中央の前面位置にある上記１記載のスクリーンポインタ位置制御装置。
【００４１】
４．スペースキー（１３）が、およそ標準キーの２個から３個分の長さであり、その両端に、押された時にマウスのボタンが押されたように動作する追加キー（１４，１５）が近接しているキーボードをさらに具備する上記１記載のスクリーンポインタ位置制御装置。
【００４２】
５．コンピュータシステム等のためのスクリーンポインタの位置を制御するスクリーンポインタ位置制御方法において、
人間の手の付属肢（６）を、ロッドレンズ（３）の一端の画像取込面（５）に配置するステップと、
前記ロッドレンズの他端（４）に光を導くステップと、
前記付属肢を反射した光を、前記ロッドレンズの前記他端に近接する光検出器（９）のアレイに集束させるステップと、
前記光検出器の出力値をデジタル化し、該デジタル結果をメモリに格納するステップと、
前記メモリ内のデジタル化した値を処理して、前記付属肢による前記画像取込面を横切る直交軸方向の動きを示す動き信号を生成するステップと、
前記動き信号に従ってスクリーンポインタの位置を調整するステップと、
を有するスクリーンポインタ位置制御方法。
【００４３】
【発明の効果】
以上に詳述したように、本発明のスクリーンポインタ位置制御装置は、人間の指先が置かれる画像取込面が一端に備えられ、光が入射し、指先で反射し、入射した方向とは概して反対の方向に出射する端末が他端に備えられたロッドレンズと、ロッドレンズの他端に近接して配置され、ロッドレンズの他端に対して光を発する光源と、ロッドレンズの他端に近接して配置され、指先で反射した光を受光し、画像取込面を横切って指先の直交する軸における動きを示す信号を生成する動き検出器である動き変換器と、を備えたことにより、指を移動してスクリーンポインタの位置を自在に制御できるとともに、その制御について、手をキーボード上のホームポジションに置いたままで実行できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動き検出装置を示す簡略化した側面図である。
【図２】本発明の一実施形態に係る動き検出装置を備えたキーボードの一部上面を示す斜視図である。
【符号の説明】
１動き検出装置
２ＬＥＤ
３透明スタッド（ロッドレンズ）
４，８レンズ
９動き検出器
１３スペースキー
１４，１５補助キー

Claims

コンピュータシステムのスクリーンポインタの位置を制御する装置であって、
人間の指先を接触させるために外部に露出された画像取込面を一端に備え、該画像取込面に対して人間の指先の部分が配置され、光が入射する他端を更に備え、その光が前記人間の指先の部分によりその部分の画像として反射され、入射した方向とは概ね反対の方向に出射するように構成された、ロッドレンズと、
前記ロッドレンズの他端に近接して配置され、前記ロッドレンズの他端に入射する光を放射し、前記画像取込面に対して配置された前記指先の部分の全体を照らすように構成された、光源と、
前記ロッドレンズの他端に近接して配置され、反射された前記画像を受け取り、その画像の一部から、参照アレイと、最近傍アレイである前記参照アレイをシフトさせたものとを含む画素表現を作成し、各アレイはメモリに記憶された複数ビットのデジタル値を含み、参照アレイ及び最近傍隣接アレイと、新たに取得したサンプルアレイとの間の相関をとることにより、前記画像取込面における直交する２つの軸方向における前記指先の動きを示す信号を生成するように構成された、動き変換器と
からなる装置。
前記ロッドレンズはキーボードのキーの間に人差し指に近接した位置に配置され、前記画像取込面が、前記キーの上端よりも僅かに上にくるように配置される、請求項１に記載の装置。
前記ロッドレンズの前記画像取込面はキーボードの受け座の孔を通して延び、人差し指がキーボードのホームキーの上に置かれているときに、前記キーボードの中央正面位置にある前記孔は人の親指によって覆われる、請求項１に記載の装置。
スペースキーが標準キーのおよそ２個から３個分の長さであり、その直ぐ両脇に、押されたときにマウスのボタンのボタンが押されたように動作する追加のキーを有する、キーボードを更に含む、請求項１に記載の装置。
コンピュータシステムのスクリーンポインタの位置を制御する方法であって、
ロッドレンズの一端にある画像取込面に対して人間の指先を配置するステップと、
前記ロッドレンズの他端に光を導き、前記画像取込面に対して配置された人間の指先の全体を照明するステップと、
前記人間の指先から反射された画像を前記ロッドレンズの他端に近接する光検出器のアレイに集束させるステップと、
前記光検出器の出力値を複数のビットにデジタル化し、該複数のデジタル生成物を参照アレイとしてメモリに記憶するステップと、
前記参照アレイを記憶した後、前記光検出器の出力値を複数のビットにデジタル化し、該複数ビットのデジタル生成物をサンプルアレイとしてメモリに記憶するステップと、
前記サンプルアレイと前記参照アレイと間の相関を求め、更に、前記サンプルアレイと前記参照アレイを最近傍シフトさせたものとの相関を求め、前記画像取込面上における直交する２つの軸方向における前記人間の指先の動きを示す動き信号を生成するステップと、
前記動き信号に従って前記スクリーンポインタの位置を調整するステップと
からなる方法。
前記相関アレイにより、前記画像中の空間的特徴のサイズよりも小さい動きの大きさを補間することができる、請求項１に記載の装置。
コンピュータシステムのスクリーンポインタの位置を制御する装置であって、
人間の指先を接触させるために外部に露出された画像取込面を一端に備え、該画像取込面に対して人間の指先の部分が配置され、光が入射する他端を更に備え、その光が前記人間の指先の部分によりその部分の画像として反射され、入射した方向とは概ね反対の方向に出射するように構成されたロッドレンズであって、キーボードのキー間に人差し指に近接した位置に配置され、前記画像取込面が、前記キーの上端よりも僅かに上にくるように配置される、ロッドレンズと、
前記ロッドレンズの他端に近接して配置され、前記ロッドレンズの他端に入射する光を放射する光源と、
前記ロッドレンズの他端に近接して配置され、指先で反射され、前記ロッドレンズの他端から出射する光を受け取り、前記画像取込面における直交する２つの軸方向における前記指先の動きを示す信号を生成する、動き変換器と、
からなる装置。
コンピュータのスクリーンポインタの位置を制御する装置であって、
人間の指先を接触させるために外部に露出された画像取込面を一端に備え、該画像取込面に対して人間の指先が配置され、光が入射する他端を更に備え、その光が前記人間の指先の部分によりその部分の画像として反射され、入射した方向とは概ね反対の方向に出射するように構成されたロッドレンズであって、前記ロッドレンズの前記画像取込面がキーボードの受け座の孔を通して延び、人差し指がキーボードのホームキーの上に置かれているときに、前記キーボードの中央正面位置にある前記が人の親指によって覆われる、ロッドレンズと、
前記ロッドレンズの他端に近接して配置され、前記ロッドレンズの他端に入射する光を放射する光源と、
前記ロッドレンズの他端に近接して配置され、指先で反射され、前記ロッドレンズの他端から出射する光を受け取り、前記画像取込面における直交する２つの軸方向における前記指先の動きを示す信号を生成する、動き変換器と、
からなる装置。
コンピュータシステムのスクリーンポインタの位置を制御する装置であって、
人間の指先を接触させるために外部に露出された画像取込面を一端に備え、該画像取込面に対して人間の指先が配置され、光が入射する他端を更に備え、その光が前記人間の指先によりその部分の画像として反射され、入射した方向とは概ね反対の方向に出射するように構成された、ロッドレンズと、
前記ロッドレンズの他端に近接して配置され、前記ロッドレンズの他端に入射する光を放射する光源と、
前記ロッドレンズの他端に近接して配置され、指先で反射され、前記ロッドレンズの他端から出射する光を受け取り、前記画像取込面における直交する２つの軸方向における前記指先の動きを示す信号を生成する、動き変換器と、
スペースキーが標準キーのおよそ２個から３個分の長さであり、その直ぐ両脇に、押されたときにマウスのボタンのボタンが押されたように動作する追加のキーを有する、キーボードと
からなる装置。