JP3529510B2 - 情報入力装置および情報入力装置の制御方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子機器などを操
作するための情報入力装置に関し、またこの情報入力装
置の制御方法に関する。

【０００２】

【従来の技術】従来、パーソナルコンピュータなどに対
する、文字情報以外の情報入力にはマウスなどのポイン
ティングデバイスが多く用いられている。ポインティン
グデバイスは、コンピュータに位置情報を簡単に入力す
るための装置で、様々な形態の装置がある。最もポピュ
ラーなのがマウスである。これは、装置の中に、自由な
方向に回転できるように支持された球が入っていて、マ
ウスを机上に置くと球の１点が机に接するようになって
いる。マウスを前後左右に動かすことによって、中の球
がマウス本体に対して回転し、その回転量を２つの方向
で機械的もしくは光学的に検出し、コンピュータに送っ
ている。コンピュータ側では、送られてきた移動量の情
報から、画面上のカーソルを動かす方向と距離を決定
し、カーソルを再表示させる。

【０００３】マウス以外にも、タッチパッド、トラック
ボール、小型ジョイスティック、タッチパネル、ペンデ
バイスなどさまざまなポインティングデバイスが、電子
機器の入力装置として、実現されている。

【０００４】

【発明が解決しようとする課題】マウスは簡便に位置情
報を入力することができるが、いくつかの欠点を持って
いる。まず、マウスを操作するためには机上のようなあ
る程度の広さを持った平らな面が必要である。従って、
平らな面を確保できないような場所、状態での使用は難
しい。

【０００５】例えば、携帯パソコンを会社や自宅から持
ち出して、屋外で使用しようとするときは、マウスを操
作できる平面があるところを探さなくては快適に使用す
ることができない。

【０００６】例えば、電車や車の中で座っていて、膝の
上にパソコンを置き使用するのには不便である。また、
単に社内、自宅内で持ち歩くときでも、マウスごと移動
させるのは面倒である。また、机の上で使うときでも、
ごちゃごちゃと書類が散乱していれば、まず机の上を整
理する必要がある。

【０００７】現在はマウス以外のポインティングデバイ
スを搭載した携帯パソコンも増えている。マウスの替わ
りにトラックボールやタッチパッド、小型のジョイステ
ィックなどを利用する。トラックボールは、ボールを指
で動かし、その回転方向・量をカーソル移動方向・量に
変換し入力する。タッチパッドは様々な方式があるが、
指先でパッドに触ることで、その位置を検出できるよう
になっている。通常は、パッドをなでるように指を動か
すと、その移動方向・量をカーソル移動方向・量に変換
して入力する。

【０００８】小型のジョイスティックは、キーボードの
「Ｇ」と「Ｈ」と「Ｂ」の間の隙間に小型のレバー状の
ものがついており、これを任意方向に傾けると、その傾
き方向と大きさをカーソル移動方向・量に変換して入力
する、方法を採るものが製品化されている。

【０００９】マウス、トラックボール、タッチパッド、
小型ジョイスティックなどによるポインティングは、基
本的に、 （１）現在のカーソル位置の把握 （２）カーソルの移動目標位置の決定 （３）移動方向・量の確認 （４）移動方向・量の入力 というプロセスに従って行われる。ここで（１）（２）
の順序は逆のこともありうる。また、（３）（４）のプ
ロセスは１回だけで終了するものではなく、カーソル移
動中も、常に移動方向・量の修正を続けている。

【００１０】ここで、操作者の手の動きに注目してみる
と、マウスと、それ以外のポインティングデバイスの間
では違いがある。マウスを用いてポインティングする場
合は、マウスの位置と、カーソルの位置はほぼ対応づい
ている。もっとも、マウスをいったん持ち上げて、移動
させればその時点でマウス位置とカーソル位置の関係は
変わるし、カーソルの速度を加速させる機能の付いたマ
ウスドライバを用いた場合も、マウス位置とカーソル位
置の関係は完全には対応しない。しかし、短い操作単位
で考えれば、マウスの位置と、カーソルの位置はほぼ対
応づいていると言っていい。つまり、カーソルを動かす
ときにカーソルの動きと同じようにマウスを持っている
手を動かせばよい。

【００１１】これに比べて、トラックボール、タッチパ
ッド、小型ジョイスティックの場合は、カーソルの動き
と手の動きは対応づいていない。トラックボールは、ボ
ールの回転方向・量をカーソル移動方向・量に対応づけ
ているが、ある程度以上の距離をカーソル移動する場合
は、ボールを何回か回すことになる。つまり手の動きは
往復運動をする。タッチパネルも同様である。小型ジョ
イスティックの場合は、レバーの傾き方向・量をカーソ
ル移動方向・量に対応づけるため、カーソルの動きと手
の動きは似ていない。つまり、カーソルが等速で動いて
いるとき、手は静止しているし、カーソル位置を微調整
するときは、レバーを小刻みに動かすことになる。

【００１２】これらの違いは、上記（３）（４）のプロ
セスの繰り返しにおいて現れる。（３）（４）の繰り返
しでは、まず大まかなカーソル移動を行い、次第に細か
な移動を制御するという順序をたどることが多い。大ま
かなカーソル移動において、マウスを使う場合は、マウ
スの移動量とカーソルの移動量の比をだいたいの感覚で
掴んでおけば、かなり高速に行うことができる。それに
比べて、トラックボールやタッチパッドの場合は、移動
距離が大きい場合は、ボールを何度か回す、あるいはパ
ッドを何度かなぞる、という動作をしなくてはならな
い。また小型ジョイスティックの場合は、レバーを傾け
て、カーソルを動かしながら、カーソルの動きを監視
し、目標に近づいたら、レバーの傾きをゆるめるという
動作をしなくてはならない。細かな移動を制御する場
合、マウスを使用するときは、カーソルを動かしたい方
向に動かしたいだけ、マウスを動かせばよい。タッチパ
ッドの場合も同様であるが、指とパッドの摩擦であまり
細かい移動をスムーズに行うことは難しい。また細かい
移動をスムーズにするために、指とパッドが軽く触れる
ように操作すると、時として指がパッドから離れてしま
い、クリック入力を誤ってしてしまうこともある。また
小型ジョイスティックの場合は、細かく移動する度に、
レバーをちょっと倒してすぐ戻す、という動作を繰り返
さなくてはならず、時間がかかってしまう。概して、操
作性はマウスの方が優れているが携帯性に劣るし、携帯
性に勝るタッチパッド、トラックボール、小型ジョイス
ティックは操作性に劣る、と言うことができる。

【００１３】またマウスを用いずにポインティングする
ために、透明タッチパネルを使うこともできる。指で押
したときにその位置を検出できる透明タッチパネルを、
ディスプレイ上に重ねれば、直接画面上の任意の点を指
示できる環境が実現できる。これは前記（１）〜（４）
のプロセスのほとんどを省略でき、 （１）ポインティングしたい位置を確認する （２）その場所を指でタッチする というシンプルなプロセスで実現できる。しかし、問題
点も多い。まず指で直接画面を押すので、押すときには
画面のその部分、および周辺が見にくくなる。また、そ
のために指の大きさより細かい精度でのポインティング
は原理的に難しい。さらに直接触るので、画面が汚れや
すいという問題もある。ドラッグをするために画面の上
を指でなぞるというのは汚れの面でも、指先の摩擦の感
触の面でも抵抗がある。ドラッグに関しては、１回のタ
ッチでアイコンなどを拾い、２回目のタッチで別の場所
へドロップすることもできるが、指がタッチパネルに触
れていないときはその位置を検出できないので、アイコ
ンを引きずって見せるという、視覚的な効果は出せな
い。実際、銀行のＡＴＭの操作パネルなど、大きなボタ
ンを押すものによく用いられ、一部のワープロに採用さ
れている以外は、携帯パソコンなどへの搭載はあまりな
されていない。

【００１４】タッチパネルではペンデバイスと併用する
ものもあり、パーソナルな電子機器への入力方法として
はこちらの方がポピュラーである。これはペンコンピュ
ータやＰＤＡ（パーソナル・デジタル・アシスタント）
の入力インタフェースとして、数多く商品化している。
ペンを併用すると、指でタッチするのとは異なり、細か
いポインティングも可能であるし、画面が汚れることも
なく、ドラッグなどの作業も快適に行える。さらに、手
書き文字などの入力が好適に行えるという特徴も持って
いる。しかし、これはペンを手に持たなくてはならな
い、という欠点がある。ペンだけで全ての操作が行える
ようなＰＤＡには良いが、携帯パソコンのようにキーボ
ードを併用する場合は、いちいち画面をポインティング
するためにペンを持つというのは面倒である。またＰＤ
Ａなどにおいても、文字入力をするならともかく、画面
の操作だけで終わるような、情報検索のような作業をす
るのにもいちいちペンを取り出さなくてはならないのは
操作上の負担になる。また、ペンはなくなる可能性があ
り、またなくならないように線でつながったペンは使い
づらい。

【００１５】全く別のアプローチとして、画像処理によ
って手の形、位置を認識し、入力手段とする方法も試み
られている。これが実現すれば、画面を指差すだけでポ
インティングが可能なので、カーソルの動きと指の動き
はマウス程度に対応し、タッチパッド、トラックボー
ル、小型ジョイスティックなどに比べて、操作しやす
い。加えて、マウスのように平面を必要としないので、
どこでも操作することができる。またタッチパネルのよ
うに画面を汚すこともなく、ペンデバイスのようなもの
をいちいち手に取る必要もない。処理が簡単なものとし
て、色マーカーを付けた手を撮像し、マーカー部分を検
出する方法が考えられるが、この方法は動作測定・分析
装置などの特定用途で製品化されることが多い。携帯パ
ソコンのポインティング手段として応用できなくはない
が、画像処理ハードウエアが高価である、マーカーと同
じ色が服などにあると誤動作する、マーカーを付けるの
が面倒などといった問題点があり、適しているとは考え
にくい。何も付けない裸の手の画像から手の形状や指先
の位置を認識して、ポインティングに利用するシステム
は、研究レベルではいくつか試作されている。しかしこ
れらは、手の画像を背景から容易に切り出せるような環
境でしか適切に動作させることができず、複雑でかつ動
きのある背景の下で手の形を切り出すのは非常に難し
い。

【００１６】以上述べたように、現在実現されているポ
インティング技術はどれも一長一短であり、特に携帯パ
ソコンなどを屋外に持ち出して自由に使用したいとき、
それに適したポインティング手段が十分あるとは言いが
たい。本発明において、携帯パソコンに使用して、その
自由度を十分発揮できるようなポインティング方法及び
装置を実現する。

【００１７】

【課題を解決するための手段】本発明は、 変調光を出
力するための発光手段と、前記発光手段によって出力さ
れた変調光であって物体に反射した前記変調光を受ける
ための受光素子を配列してなる受光手段と、前記受光手
段の各受光素子で受けた変調光の成分を取り出すための
変調光成分取得手段と、前記変調光の成分に応じて前記
各受光素子が前記物体を捉える領域の大きさごとに反射
受光量を求める反射受光量取得手段と、前記反射受光量
を画素値とした前記物体の反射受光画像を生成する反射
受光画像生成手段と、前記反射受光画像の各ラインごと
に画素値をスキャンすることによって、棒状物体の部分
画像を検出する棒状物体検出手段と、前記棒状物体の部
分画像を構成する一番左上の画素（１，１）から一番右
下の画素（ｎ，ｎ）までの画像のうち、（１，ｋ）から
（ｎ，ｋ）までの画素値に定数を乗じて修正した（１，
１）から（ｎ，ｋ）までの画素値の合計が、所定の閾値
を満たすような該定数とｋを求めることにより、（１，
１）から（ｎ，ｋ）までの画像を切り出す棒状物体先端
切り出し手段と、前記棒状物体先端切り出し手段により
切り出された画像の画素値もとに、（１，１）から
（ｎ，ｋ）までの画素の重心を前記棒状物体の重心とし
て求める重心検出手段とを有することを特徴とする情報
入力装置である。

【００１８】また、変調光を出力するための発光手段
と、この発光手段によって出力された変調光であって物
体に反射した前記変調光を受けるための受光手段と、こ
の受光手段で受けた変調光の成分を取り出すための手段
と、この手段で取り出した変調光の成分から反射受光量
を求めるための手段と、この手段で求めた反射受光量を
画素値とした前記物体の反射受光画像を生成する手段
と、この手段で生成された反射受光画像から棒状物体の
部分画像を検出する棒状物体検出手段と、この手段で検
出された部分画像から棒状物体の先端を切り出す棒状物
体先端切り出し手段と、この棒状物体先端切り出し手段
によって切り出された画像をもとに、前記棒状物体の重
心として求める重心検出手段とを有する情報入力装置の
処理方法であって、前記棒状物体検出手段は、反射受光
画像の各ラインごとに画素値をスキャンすることによっ
て、棒状物体の部分画像を検出し、前記棒状物体先端切
り出し手段は、棒状物体の部分画像を構成する一番左上
の画素（１，１）から一番右下の画素（ｎ，ｎ）までの
画像のうち、（１，ｋ）から（ｎ，ｋ）までの画素値に
定数を乗じて修正した（１，１）から（ｎ，ｋ）までの
画素値の合計が、所定の閾値を満たすような該定数とｋ
を求めることにより、（１，１）から（ｎ，ｋ）までの
画像を切り出し、前記重心検出手段は、切り出された画
像をもとに、（１，１）から（ｎ，ｋ）までの画素の重
心を前記棒状物体の重心として求めることを特徴とする
情報入力装置の制御方法である。

【００１９】

【００２０】

【００２１】このように、本発明では、装置を付けない
裸の手指で、画面を指さし、動かすことで、電子機器の
操作ができる環境を提供する。例えば、携帯パソコンを
使用しているときには、キーボードから手を少し浮かせ
て画面を指さし、動かすことで、画面内のカーソルを制
御できる。また、指を指文字のように決められた動きに
従って動かすことでコマンドを発生させることもでき
る。

【００２２】しかし、ＣＣＤエリアイメージセンサなど
で撮像した手の画像を認識する、といった手法は取らな
い。本発明では、この環境を実現するために、発光部と
受光部を組み合わせる。すなわち、操作者の手に光を当
て、手指からの反射光を受光部で受ける。この受光部は
複数用意しておき、例えばアレイ状に並べておく。受光
部の前方には受光レンズ系があり、これにより各受光部
は指向性を持ち、ある方向のある範囲からの光を受け
る。ある受光部は手からの反射光を受け、ある受光部は
その指向性のある方向に手がなかったため反射光を受け
ない。

【００２３】また、各々の受光部の指向性のある方向に
ある手指の距離や、そこが手指の端なのか真ん中なの
か、などによって、その受光量が異なる。この系での受
光量は、光を反射する物体の距離の４乗に反比例するの
で、手の後ろに体があるような場合でも、手からの反射
か、体からの反射かは、その受光量によって十分弁別で
きる。従って、これらの受光部からの出力は、手指の位
置や形を反映している。従って、これらの出力を処理す
ることによって指先の位置を求め、ポインティング情報
として利用することができる。

【００２４】しかし、受光部には発光部の手指による反
射光だけでなく、太陽や電灯などの光も入射してくる。
これらの影響を排し、受光部からの光だけを取り出さな
くては正確な情報は得られない。そのために、発光部は
変調光を出力する。受光部あるいはそれ以降のアナログ
処理部において、その変調成分だけを取り出すことで、
正確に手指からの反射光だけを取り出すことができる。

【００２５】このようにして取り出した出力は、各々の
受光量を画素値とすれば、画像のように扱うことができ
る。従って、画像処理によって、その出力を処理し、指
先の情報を得ることができる。しかしこの画像はＣＣＤ
エリアイメージセンサなどで撮像した画像とは違い、近
くにある手の形状だけを表し、後ろの方にある背景は画
像には現れない。操作するときは指を１本伸ばしている
と仮定すると、画像の中から、ほぼ上方に向かって伸び
ている、細長い部分を取り出し、その先端部などの特徴
点を取り出せばそれが指先であると判断することができ
る。これは、粗い画像でしかないが、指先が（画素の大
きさに比べて）微少に動いたことが、各画素の画素値の
微少な変化に反映されるので、これらを反映する特徴量
を用いれば、画素数以上のポインティングが可能にな
る。

【００２６】また、マウスのボタンに対応する機能も様
々な方法で実現できる。上述の画像の処理によりカーソ
ル位置が求められたとき、そのカーソルの静止状態を検
出するようにしておき、カーソルが一定時間静止したと
きにクリックが行われたようにすることができる。ま
た、指の受光センサからの距離に反映した特徴量を計算
し、その変化を見ることで、「押す」（近づいて、遠ざ
かる）という動作を検出することができる。従って、
「押す」という動作をクリック動作に関連づけることも
できる。さらに、他にボタンを用意しておきこれをマウ
スのボタンと同様に利用することもできる。この場合は
右手でカーソルを動かし、左手でボタンを押すというよ
うに両手で操作できる環境では便利である。

【００２７】以上のようにして、裸の手指を画面に向け
て指さすだけで、ポインティングできる環境が実現でき
る。またその指先の動きを追跡することで、ジェスチャ
ーによるコマンド入力も実現できる。さらに、画像処理
をさらに工夫すれば、指先位置だけでなく手の形や向
き、距離などの情報も得ることができ、さらに複雑な情
報を入力することも可能である。

【００２８】

【発明の実施の形態】これより本発明について、実施例
を用いて詳細に説明する。図１は本発明の実施例の全体
構成を表している。使用者は発光部の光が当たって受光
部に返っていくような位置に手を差し出し、その指先を
動かすことで、２次元情報を入力できる。操作のイメー
ジを図２に示す。ここでは、使用者はブック型などの小
型パソコンを使用している。使用者は、キーボードを操
作している手を、キーボードよりやや情報に持ち上げ
（図では分かりづらいが、画面に触れてはいない）、指
先を動かすことによって、画面内のカーソルの動きを制
御することができる。この図ではカーソルが左上のメニ
ュー上にあり、このメニューが反転表示されている。本
体とディスプレイのつなぎ目あたり、キーボードのすこ
し上にある２つの丸い物体はレンズであり、それぞれの
奥に後述する発光部、受光部が配置されている。

【００２９】図１に戻って、その詳細を説明する。全体
の構成は大まかに分けて、発光部１１９と発光駆動回路
１１８、受光素子アレイ１０１、アナログスイッチ１０
２、アナログ信号処理部１０３、Ａ／Ｄ変換器１０９、
デジタル信号処理部１１０、およびそれらを制御する制
御部１１７から成る。

【００３０】各構成要素について詳しく説明する。ま
ず、ＬＥＤなどの発光部１１９が発光して操作者の手１
２２を照らす。この発光部は発光駆動回路１１８によっ
て変調発光される。この変調光を図３の３０１に示す。
変調光は操作者の手１２２に反射して、その一部が受光
光学系１２０を経て、受光部に捉えられる。ここでは受
光部はフォトダイオードをアレイ状に並べた受光素子ア
レイ１０１を用いる。この受光素子アレイからの複数の
出力をアナログスイッチ１０２で選択してアナログ信号
処理部１０３に導く。アナログ信号処理部１０３はＩ／
Ｖ変換アンプ１０４、プリアンプ１０５、バンドパスフ
ィルタ１０６、絶対値回路１０７、積分器１０８で構成
される。フォトダイオードは光により電流を発生させる
ため、まず電流−電圧（Ｉ／Ｖ）変換を行い、プリアン
プ１０５でもう１段増幅する。受光素子アレイ１０１に
はＬＥＤの手による反射光だけでなく、太陽光や白熱
灯、蛍光灯のような電灯の光などが入射し、これはノイ
ズとなる。バンドパスフィルタ１０６はこれらのノイズ
成分を遮断し、変調光成分だけを通過させる。バンドパ
スフィルタ１０６の出力を絶対値回路１０７、積分器１
０８を通過させることにより、手によって反射した変調
光の強さに応じた信号１２３を取り出すことができる。

【００３１】ここで、アナログ信号処理部１０３の各部
での信号を図３に表す。まず、発光部からは、ある周波
数のパルス光がある時間間隔をおいて、繰り返し出力さ
れる。アナログ信号処理部１０３の入力部においては、
太陽光のような定常的な外光、蛍光灯のような周期的な
外光の成分がノイズとして乗っているので３０２のよう
になっている。バンドパスフィルタ１０６を通過させる
と、ノイズは除かれ、変調されたパルス成分だけが取り
出され、３０３のようになる。これを絶対値回路に通し
た波形が３０４、積分器の出力が３０５である。受光量
の大きさが変われば、３０３の波形の振幅が変わるの
で、３０５における積分後の信号レベルが変わる。従っ
て、変調されたパルス光の反射光の大きさだけが忠実に
取り出せる。

【００３２】この図ではある周波数のパルスを複数発光
して一つの受光部の出力を得ているが、Ｓ／Ｎの性能を
許容できるならば、代わりに短パルスを用いても良い。
この変調光の強さに応じた信号をＡ／Ｄ変換器１０９で
デジタルデータに変換する。アナログスイッチ１０２の
切り替えが一巡し、全ての受光部からの出力をＡ／Ｄ変
換し終わったところで、１フレーム分のデータができあ
がる。以下の説明において、一つの受光素子に対して、
その出力がアナログ処理されて（ノイズ成分を除去され
て）、Ａ／Ｄ変換された後の値を、その受光部の反射受
光量と呼ぶことにする。

【００３３】ここで受光部の数はそれ程多くなくても良
い。同じ受光センサアレイであるＣＣＤなどは数十万画
素程度のフォトダイオードを集積化しているが、ここで
はそれほどの数は必要としない。それよりも、各々の受
光部で反射受光量を正確に捉えられることが大事であ
る。本発明の受光系の目的は、対象物を正確に撮像する
ことにあるのではなく、指先の位置を検出するのに十分
な情報を捉えることにある。本実施例では２０×２６に
受光部を並べている。１つの受光部当たり、操作空間内
で約１０ｍｍ四方の範囲からの光を捉える。従って、全
部で２００ｍｍ×２６０ｍｍの空間をカバーする。操作
者はこの空間内に指先が入るようにして動かすことによ
って、カーソルを動かすことができる。図４は、この受
光素子アレイが捉える領域の一部とそこにある操作者の
手を表したものである。マスの１つが、１つの受光素子
が捉える領域である。１０ｍｍという数字は、指の幅を
超えないできるだけ大きな値であり、任意の受光部に対
し、適当な指の位置で、その捉える領域が指先で占めら
れるようできる。図４ではマス４０３がこれに相当す
る。この条件が満たされないと、後述するように、指の
動きに伴ってカーソルがスムーズに動かない。そして反
射受光量は、その捉える領域を手指がどのくらい占めて
いるか、またその距離、によって決まる。

【００３４】従って、捉える領域を手指が全て占めてい
れば、反射受光量は大きいし、半分程度占めていれば反
射受光量はその半分になることになる。マス４０３に対
応する受光素子の反射受光量は大きく、マス４０４に対
応する受光素子の反射受光量は４０３の半分程度とな
る。図５は図４の各マスに対応する反射受光量を垂直軸
にとって表したものである。各受光部の反射受光量を画
素値とすれば、これは粗い濃淡画像になるが、これを以
下で反射受光画像と呼ぶことにする。

【００３５】次にこのデータを処理して指先を求めるの
がデジタル処理部１１０である。通常の操作状態では、
操作者の手は指示する指（一般的には人差し指）を上に
伸ばした形になっており、その上方には変調光を反射す
る物体は存在しない。厳密には、操作者の頭などが変調
光を反射しているわけであるが、前述したとおり、反射
受光量は距離の４乗に反比例するので、手までの距離の
４倍の距離に頭があっても、その反射受光量は２５６分
の１になってしまい、影響はほとんどない。手の距離の
２倍だったとしても、１６分の１になり、あるしきい値
を設ければ十分に取り除ける。

【００３６】図６に示すように、反射受光画像６０６を
上部から水平にスキャンしていくと、あるところまでは
画素値が０に近い画素ばかりであるが（６０１〜６０
２）、あるところまで来ると、ごく一部だけに大きな画
素値が現れる。そのような水平ラインがいくつか続き、
しかも大きな画素値が現れる画素の横方向の位置がほぼ
同じであれば（６０３〜６０５）、細長い物体が縦に存
在していると分かる。つまり伸ばした指が存在していれ
ば、それを検出することができる。次にその指先部分か
らポインティングに利用する特徴点を抽出する。

【００３７】一般的には指の先端を使うのが良いと思わ
れがちであるが、ここでは１画素の大きさが大きく、反
射受光画像の指先付近は、図７のようになっているの
で、単純に指先が存在している座標７０１を使うとポイ
ンティングの精度は画素の数と同じになってしまう（こ
こでは、２０×２６ポイント）。ちなみにこの図に現れ
ている格子は、そのひとマスからの反射光が１つの受光
部に入射することを表している。ここでは実際の画素の
数よりはるかに細かい精度で指先の位置を検出する。

【００３８】本実施例では、指先端ではなくて、図のＸ
印７０２の位置を画素以上の分解能で求め、これを特徴
点としてポインティングに用いる。これは指先の一部分
の（像の）重心である。この重心を粗い反射受光画像か
らどのように抽出するかを説明する。

【００３９】デジタル信号処理部１１０は棒状物体検出
部１１１、棒状物体先端切り出し部１１２および重心検
出部１１３から成る。棒状物体検出部１１１では、縦方
向に伸びた棒状の物体、すなわち操作者の手の中で上方
に伸びた指（通常は人差し指）を検出する。次に、棒状
物体先端切り出し部１１２では、縦方向に伸びた棒状の
物体（人差し指）の上部先端を切り出し、後の重心検出
部１１３でその切り出した部分の重心を求める。この
時、画素単位で切り出してしまうと、画素が粗いため切
り出し部分の画素値合計が大きく変動してしまい、検出
された重心の精度が悪くなる。従って、棒状物体先端切
り出し部１１２では、切り出し部分の画素値合計がある
条件を満足するように一部画素値を修正しながら切り出
す。

【００４０】さらに各部について詳しく説明する。ま
ず、棒状物体検出部１１１について述べる。ここでは、
使用者が操作をするために指を出したとき、指示する指
（通常は人差し指）が、反射受光画像の上方向に伸びて
いる、と仮定している。従って、この仮定に合わない形
状で手を出すと（例えば、グーで差すなど）正常に検出
できない恐れはある。

【００４１】まず、反射受光画像６０６を、上方から水
平方向にスキャンしていく。指先が、反射受光画像の上
端になければ、通常は上の方は、１ライン全ての画素が
ほぼ０に近い画素値を持つ（６０１〜６０２）。水平方
向の１ラインの中で、部分的に画素値が大きくなるとこ
ろがあった場合（６０３）、そのその位置と、そのライ
ンを覚えておく。これを数ライン繰り返し（６０４、６
０５）、部分的に画素値が大きくなるところが数ライン
の中で一致すれば、そこに縦方向に伸びた棒状の物体
（例えば、人差し指）があると判定できる。そして、伸
ばした指がありそうな所を、大きめに囲う。この部分画
像について、さらに以下の処理を行う。

【００４２】ここからは、棒状物体先端切り出し部１１
２での処理である。図８の８０１がもともとの反射受光
画像であり、８０２は棒状物体検出部１１１で、この中
に指先があると判定された部分画像である。一番左上の
画素値をＰ（１，１）とし右上をＰ（ｎ，１）、左下を
Ｐ（１，ｎ）、右下をＰ（ｎ，ｎ）とする。ここで、あ
るしきい値ＴＨを設定しておき、

【００４３】

【数１】 となるような、ｋ、ａを求める。次にａを用いて、Ｐ
（１，ｋ）〜Ｐ（ｎ，ｋ）の画素値を修正する。つま
り、古い画素値をＰ’（１，ｋ）〜Ｐ’（ｎ，ｋ）とし
たとき、

【００４４】

【数２】 とする。この修正されたＰ（１，ｋ）〜Ｐ（ｎ，ｋ）を
含む、Ｐ（１，１）〜Ｐ（ｎ，ｋ）が切り出された部分
８０３となる。８０３の上部２行は８０２の上部２行と
同じであり、８０３の最下行は８０２の３行目のそれぞ
れの画素値にａを乗じて修正されている。次に重心検出
部において、切り出されたＰ（１，１）〜Ｐ（ｎ，ｋ）
を使って、重心（ｘｘ，ｙｙ）は次の式を満たすように
決定される。

【００４５】

【数３】

【００４６】

【数４】

【００４７】ここで求められた（ｘｘ，ｙｙ）は、図４
の絵の中の伸ばした指のうち上方からある長さだけ切り
取ったもの（切り取る長さがしきい値ＴＨと関連する）
の像の重心とほぼ一致する。ここでは通常のＴＶ画像に
比べて画素が粗いため、切り取る長さを一定に保つため
に、上記のような修正が必要になる。ここでは、各画素
の値Ｐ（ｘ，ｙ）が精度良く求まれば求まるほど、（ｘ
ｘ，ｙｙ）の値も精度良く求められる。

【００４８】ここで、Ｐ（１，ｋ）〜Ｐ（ｎ，ｋ）の値
を上のように修正した理由を述べる。もし、Ｐ（１，
ｋ）〜Ｐ（ｎ，ｋ）の値を修正しないで、（ｘｘ，ｙ
ｙ）を計算したらどうなるかを図９を用いて考えてみ
る。今、仮に水平ラインで一部だけ大きい画素値が現れ
るところから、３画素分下がったところまで（斜線部
分）計算に用いるとすると、指が（ａ）から（ｂ）のよ
うに移動したとき、指の位置変化に比べて、（ｘｘ，ｙ
ｙ）の位置の変化が大きくなってしまう。逆に図１０
（ａ）と（ｂ）は指の位置変化に比べて（ｘｘ，ｙｙ）
の位置の変化が小さくなってしまう。

【００４９】つまり、実際の指の位置と計算された（ｘ
ｘ，ｙｙ）の値に、線形性がなくなってしまう。従っ
て、上述のように、まず重心を計算するときの全画素の
画素値の合計が一定になるように補正をしてから重心の
計算をしなくてはならない。

【００５０】前述したが、任意の受光部に対し、適当な
指の位置で、その捉える領域が指先で占められるような
条件を満たさなくてはならない理由についてここで述べ
る。もし、画素の捕らえる領域の幅が、指の幅より小さ
くなってしまうと、図１１のように、ある範囲において
は指を動かしているにも関わらず、（ｘｘ，ｙｙ）は動
かない、という状況が発生してしまう。そうすると、上
述したのと同様に、実際の指の位置と（ｘｘ，ｙｙ）の
値に線形性がなくなってしまう。

【００５１】以上で求められた座標（ｘｘ，ｙｙ）を使
って、画面のカーソルを制御する。（ｘｘ，ｙｙ）と画
面内のカーソル位置を対応づけておけば、指を差し出し
たときその場所に対応した場所にカーソルが表示され
る。また指を動かせばカーソルも動く。指を引っ込めれ
ば、カーソルは消える。ただこれだけでは、マウスのボ
タンに対応するものがない。マウスのボタンを押す（ク
リックする）代わりにここでは、カーソルを静止させ
る。すなわち、重心点静止状態検出部１１４が重心点の
動き（カーソル位置に対応している）を監視しており、
ある一定時間での移動距離がしきい値以下だった場合、
カーソルが静止状態であったと判定し、クリック信号１
２３を出力する。プルダウンメニューの中から１つを選
択する作業を考えてみる。まず指を差し出すことでカー
ソルが現れるので、まず操作者は指を動かして、カーソ
ルをメニューの項目の所へ動かす。カーソルをメニュー
項目の上に移動させて一定時間静止させると、プルダウ
ンメニューが現れる。ここでさらに指を下方に動かす
と、メニューを反転させながらカーソルが動く。希望の
メニューの所でまたカーソルを静止させると、そのメニ
ューコマンドが起動される。マウスなどを用いるときは
マウスを操作していないときは常にカーソルは静止して
いるため、この方法では誤操作が多いように一見思える
かもしれない。

【００５２】しかし、本実施例においては、指を差し出
してないときはカーソルは現れていないし、指を出すと
きはある目的を持っているため（あのメニューを選択し
よう、など）、目標の場所にカーソルが到達する前にカ
ーソルが静止することはあまりない。従って、本実施例
においては、カーソルを静止させることでクリック動作
を代用することは自然である。

【００５３】次に、デジタル信号処理部における処理の
流れを図１８〜２０に示したフローチャートを用いて説
明する。ここでは、上で述べたよりもやや細かい工夫が
施されているところもあるが、それらも含めて以下で説
明する。このフローチャートをそのままプログラムにす
れば、デジタル信号処理部をソフトウエアで実現するこ
とができる。もちろん、ハードウエアで構成することも
可能であるし、ソフトウエア、ハードウエア両方で構成
されることもあり得る。

【００５４】図１９は棒状物体検出部の処理を表してい
る。ここでは既に述べたように、反射受光画像を水平方
向にスキャンしながら、部分的に画素値が大きくなると
ころを見つけ、これが複数ラインで、近い位置に現れる
と、棒状物体があると判断する。この部分的に画素値が
大きくなるところ（以下で部分画素列と呼ぶ）、および
部分画素列の複数の集まりで、まだ棒状物体とは判断さ
れてはいないが棒状物体になる可能性のあるものを棒状
物体候補と呼ぶ。水平方向にスキャンしていくと、棒状
物体候補が見つかり、スキャンが進むにつれその中から
棒状物体が検出される。

【００５５】まず、この棒状物体候補の情報を格納して
おく構造体を複数用意する（１９０１）。ここでは構造
体名はｉｎｆｏＳｔｉｃｋ［ｎ］とする（［ｎ］がつい
ているのは複数あるから）。複数用意するのは、棒状物
体候補は必ずしも１つではなく複数現れる可能性もある
からである。この構造体は５つのメンバーを持ち、その
うち２つは配列である。図２１の２１０２にも示すよう
に、メンバーは、 ｙｓｔａｒｔ：棒状物体が始まったラインのｙ座標、 ｘｓｔａｒｔ［ｉ］：棒状物体候補の上からｉライン目
（最上段は０ライン）の部分画素列の始まりのｘ座標、 ｘｅｎｄ［ｉ］：棒状物体候補の上からｉライン目（最
上段は０ライン）の部分画素列の終わりのｘ座標、 ｌｅｎｇｔｈ：棒状物体候補の縦方向の長さ（部分画素
列の数）、 ｓｔａｔｕｓ：現在の状態（ＳＴＩＣＫ、ＮＯＳＴＩＣ
Ｋ、ＥＸＴＥＮＤＥＤの３つの値を取る。詳細は後
述。）、をそれぞれ表す。始まりのｘ座標、終わりのｘ
座標は、複数のラインにそれぞれあるので、これらは配
列となっている。

【００５６】以下で処理を説明していくが、わかりやす
いように図２１を併用しながら述べる。２１０１は反射
受光画像を表しており、各画素の色の濃さは画素値の大
きさを表している。また上部と左部の数字はそれぞれｘ
座標、ｙ座標を示している。２１０２には前述の構造体
の概要を表す。右側の２１０３〜２１０５は処理の途中
での構造体の内容である。

【００５７】水平ラインをスキャンしていき、条件を満
たす（ここでは、画素値がｓ以上の画素が、ｃ個以上連
続しない）部分画素列が見つかると（１９０２）、これ
までの棒状物体候補に統合するか（１９０７）、新規に
棒状物体候補にする（１９０６）。１番始めに見つかっ
た部分画素列は必ず新規棒状物体候補になる。例えば、
図２１では、ｙ＝３のラインをスキャンしているとき
に、始めて部分画素列が見つかり、これを新規棒状物体
候補として登録する（２１０３）。

【００５８】このラインのｙ座標、すなわち３をｉｎｆ
ｏＳｔｉｃｋ［０］．ｙｓｔａｒｔに入れる。部分画素
列の長さは１なので、ｉｎｆｏＳｔｉｃｋ［０］．ｘｓ
ｔａｒｔ［０］、ｉｎｆｏＳｔｉｃｋ［０］．ｘｅｎｄ
［０］ともに６を代入する。

【００５９】新規なので、ｉｎｆｏＳｔｉｃｋ［０］．
ｌｅｎｇｔｈは１とし、ｉｎｆｏＳｔｉｃｋ［０］．ｓ
ｔａｔｕｓにはＥＸＴＥＮＤＥＤを格納する（新規登録
でもＥＸＴＥＮＤＥＤを使う。理由は後述）。

【００６０】ｙ＝４のラインのスキャンで見つかった部
分画素列は今度は、既にある棒状物体候補とつながる。
つながるかどうかの判断は、棒状物体候補の最後のライ
ンの部分画素列と新たな部分画素列のｘ方向の位置関係
で決める。

【００６１】この場合はｉｎｆｏＳｔｉｃｋ［０］．ｘ
ｓｔａｒｔ［０］＝６，ｉｎｆｏＳｔｉｃｋ［０］．ｘ
ｅｎｄ［０］＝６である。新たな部分画素列のｘ座標は
５〜７なので、これらはつながっていると判断する。そ
の結果、新たな部分画素列につながっていると判断され
た棒状物体候補の情報を更新する（２１０４）。

【００６２】新たな部分画素列の（ｘ方向の）位置を下
式で代入し、ｉｎｆｏＳｔｉｃｋ［０］．ｘｓｔａｒｔ
［１］＝５，ｉｎｆｏＳｔｉｃｋ［０］．ｘｅｎｄ
［１］＝７。

【００６３】棒状物体候補の長さを１増やす。 ｉｎｆｏＳｔｉｃｋ［０］．ｌｅｎｇｔｈ＝２ さらに、ｙ＝５のラインで見つかった部分画素列を先の
棒状物体候補にさらにつなげると、２１０５のようにな
る。ここでｄを３とすると、１９０８の条件式が成り立
ち、棒状物体が決定され、次の処理へ移る（１９０
９）。この条件が満たされるまで繰り返され、条件が満
たされる前に１画面分のスキャンが終了してしまった
ら、棒状物体は検出できなかったことになる。

【００６４】上の説明では、ｉｎｆｏＳｔｉｃｋ
［ｎ］．ｓｔａｔｕｓの使い方の説明が不十分なので、
次にこれについて説明する。これは、ＳＴＩＣＫ、ＮＯ
ＳＴＩＣＫ、ＥＸＴＥＮＤＥＤの３つの値を取りうる。

【００６５】ＮＯＳＴＩＣＫは、その構造体が棒状物体
候補でないことを表す（つまり、一番はじめは全ての構
造体のｓｔａｔｕｓメンバーはＮＯＳＴＩＣＫになって
いる）。ＳＴＩＣＫはその構造体が棒状物体候補である
ことを表す。

【００６６】ＥＸＴＥＮＤＥＤの場合も棒状物体候補で
あるがこの値の用い方は少し異なる。新たな水平ライン
のスキャンを始めるとき、全ての棒状物体候補はＳＴＩ
ＣＫを持つ。１ラインのスキャンの中で新たに見つけら
れた部分画素列とつながった棒状物体候補はＥＸＴＥＮ
ＤＥＤに変わる。１ラインのスキャンが終了したとき、
まだＳＴＩＣＫになったままの棒状物体候補は、そのラ
イン上のどの部分画素列ともつながっていないことにな
り、棒状物体候補でなくなったと考える。

【００６７】従って、１ラインのスキャンが終わると、
ＳＴＩＣＫになったままの棒状物体候補はＮＯＳＴＩＣ
Ｋに変え、ＥＸＴＥＮＤＥＤを持つ棒状物体候補だけに
再びＳＴＩＣＫを与える。この処理により図２２の２２
０１のように、浮いた部分画素列（ノイズである場合も
考えられる）は、いったんは棒状物体候補としてｉｎｆ
ｏＳｔｉｃｋ［０］に登録されるが（２２０３）、画素
列がとぎれた時点で棒状物体候補から外される（２２０
４、実際には１９０３の処理で削除される）。

【００６８】本来の指先部分はｉｎｆｏＳｔｉｃｋ
［１］で登録されている。棒状物体候補から外すために
ｓｔａｔｕｓをＮＯＳＴＩＣＫに変えているだけであ
る。これで次のスキャン時の１９０５での判断時には、
ＳＴＩＣＫを持つ構造体だけを見るので、ＮＯＳＴＩＣ
Ｋになった構造体は無視される。またこのように一度使
われた構造体も、ＮＯＳＴＩＣＫになれば、再び新規棒
状物体の登録に用いることができメモリを節約できる。

【００６９】このような処理を行うことでノイズから受
ける影響を少なくすることができる。１９０５において
は、ＳＴＩＣＫを持つ構造体に対してだけ、つながるか
どうかの判断を行う。また、新規棒状物体候補を登録す
るときにはＮＯＳＴＩＣＫを持つ構造体を探し、そこに
新しい情報を格納する。

【００７０】図２０は棒状物体先端切り出し部、および
重心検出部の処理を表す。図１９の１９０８での条件が
満たされると、図２０の２００１に処理が移る。２００
２では、棒状物体の先端を切り出すためのパラメータＴ
Ｈを求めている。このしきい値は固定でも良いが、２０
０１のように棒状物体の先端部の大きさや画素値によっ
て決めても良い。ここで挙げた式を用いると、指の太さ
が違ったり、距離が違ったりして、画素値が変動して
も、切り出した先端部の縦横方向の長さの差がそれ程大
きくならない。棒の太さ（１ラインの画素値合計。０ラ
イン目は先端なので太さを表さないことが多いので計算
から除く）と１画素の最大値との比を求めて、ＴＨ（切
り出し部分の全画素値合計）と最大画素値の比がこれの
２乗になるようにしている。これ以外の計算方法でＴＨ
を求めることも可能である。

【００７１】２００３では、２００２で求められたＴＨ
を用いて、式１で述べたａ、ｋを求める。式１では矩形
領域で計算しているが、ここでは、各ラインの部分画素
列だけを用いて計算している。これにより、矩形内の棒
状物体と関係のないところにノイズがあるような場合の
影響を小さくできる（例えば図２３のように指が斜め方
向を向いているとき、２３０１のようなノイズの影響を
受けない）。２００３で求めたａをｋライン目の各画素
値に乗ずる。２００２から２００４までの処理が棒状物
体先端切り出し部である。ａ、ｋと修正された画素値を
用いて、２００５において重心を計算する。基本的に
は、ｋライン目までの部分画素列の中の、各画素値とｘ
座標の積を全て足してＴＨ（これは各画素値の合計に等
しい）で割ったものが重心のｘ座標であり、各画素値と
ｙ座標の積を全て足してＴＨ（これは各画素値の合計に
等しい）で割ったものが重心のｙ座標である。ここで
は、ｘｓｕｍ［ｉ］が分かっているので、これにｙ座標
（ｉｎｆｏＳｔｉｃｋ［ｎ］．ｙｓｔａｒｔ＋ｉ）を掛
けたものの積をＴＨで割って重心のｙ座標を求めている
（もちろん、ｘｓｕｍ［ｋ］は修正された画素値で再計
算される）。ｘｐｓｕｍ［ｉ］はｉライン目の部分画素
列の各画素値とそのｘ座標の積を全て足したものであ
り、２００５に示した式で重心のｘ座標が求められる。

【００７２】以上述べた、実施例により、ノートパソコ
ン、ＰＤＡなど携帯型情報機器により好適な入力環境、
すなわち指を差し出して動かすだけでカーソル制御を行
える環境を実現することができた。

【００７３】次に、この実施例を基本とした、いくつか
の別の実施例について説明する。ここで、さらに低コス
ト化、小型化のための実施例を述べる。ここでは受光セ
ンサとアナログスイッチ、アナログ信号処理部、Ａ／Ｄ
変換部が集積されて１チップ化されている。

【００７４】このＩＣの概要を図１２に示す。ここでは
フォトダイオード１２０１とＭＯＳスイッチ１２０２で
１画素分を構成し、縦横に配列する。縦に並んだ画素の
ＭＯＳ出力をまとめ、縦１列分の出力をさらに後段のＭ
ＯＳスイッチ１２０３を介してまとめて後段のアナログ
信号処理回路１２０６に導いている。

【００７５】そして、後段のＭＯＳスイッチ１２０３を
Ｘ駆動回路１２０４で制御し、各画素のＭＯＳスイッチ
のゲートは横１列で共通化し、これらをＹ駆動回路１２
０５で制御している。つまり、Ｘ駆動回路１２０４が制
御する制御線のうち１本だけをＯＮにし、Ｙ駆動回路１
２０５が制御する制御線のうち１本だけをＯＮにすれ
ば、ただ１つのフォトダイオードの出力が後段のアナロ
グ処理回路１２０６に導かれる。

【００７６】アナログ信号処理回路１２０６はＩ／Ｖ変
換アンプ１２０７、プリアンプ１２０８、バンドパスフ
ィルタ１２０９、絶対値回路１２１０、積分回路１２１
１からなっており、これらの働きは前述の実施例とほぼ
同じである。Ａ／Ｄ変換部１２１２で変換されたデジタ
ルデータが出力端子１２１４より出力される。制御部１
２１３は外部からの制御信号１２１５をもとに、Ｘ駆動
回路１２０４、Ｙ駆動回路１２０５の制御、Ａ／Ｄ変換
器１２１２のタイミング制御、積分回路１２１１のリセ
ット（放電）動作制御などを行う。

【００７７】このようにセンサ部を集積化することによ
り、装置全体を小型化することができるだけでなく、対
ノイズ性能を向上させることができる。このＩＣを用い
れば、あとはデジタル信号処理を行うＩＣ（ＣＰＵ、Ｄ
ＳＰ、専用ＬＳＩなど）と組み合わせ、全体でも数個の
ＩＣで本入力装置を構成することができる。また、デジ
タル信号処理を、本入力装置を組み込む携帯パソコン
（あるいはＰＤＡなど）のＣＰＵに行わせることにすれ
ば、センサＩＣとインタフェース用のＩＣのみで本入力
装置を構成することもでき、さらに低コスト化、小型化
できる。

【００７８】また別のセンサＩＣの例として図１３のよ
うなものもある。これはアナログ信号処理回路を複数持
ち、受光素子アレイを分けて同時に処理している。アレ
イ型に並んだ受光素子を左右２つに分け、それぞれにア
ナログ信号処理回路を設けている。アナログ信号処理部
は図１２と同様に、Ｉ／Ｖ変換アンプ、プリアンプ、バ
ンドパスフィルタ、絶対値回路、積分器から成ってい
る。またＸ駆動回路１３０１から出ているゲート信号は
１本につき、２つに分けた受光素子アレイのそれぞれの
１つずつの後段ＭＯＳスイッチを同時に制御する。

【００７９】つまり、Ｘ駆動回路１３０１、Ｙ駆動回路
１３０２それぞれが１本づつの制御線をＯＮにすれば、
左半分にある１つの受光素子の出力が第１のアナログ信
号処理回路１３０４に導かれ、右半分にある１つの受光
素子の出力が第２のアナログ信号処理回路１３０３に導
かれる。

【００８０】この２つのアナログ信号処理回路が所定の
出力を出したとき、それぞれの出力をサンプルホールド
回路１３０５、１３０６でラッチし、これをマルチプレ
クサ１３０７に入力し、時分割でＡ／Ｄ変換する。

【００８１】制御部１３０９は図１２で説明したほか
に、サンプルホールド回路１３０５、１３０６、マルチ
プレクサ１３０７のコントロールも行う。このようにア
ナログ信号処理回路を複数持ち、並列処理させることの
一番の効果は省電力化である。１回の発光で２つの受光
素子出力を処理できるため、発光回数が半分になる。こ
れは発光に必要な電力を半分に減らせることを意味して
いる。

【００８２】図１３では、２分割した例を述べたが、も
ちろんいくつに分割して並行処理させてもかまわない
し、それだけ発光電流を節約できる。このようなフォト
ダイオードをアレイ状にした受光センサとしては、似た
ようなものに、ＣＣＤエリアイメージセンサがある。受
光するだけであれば、広く普及しているＣＣＤエリアイ
メージセンサを用いることもできるが、これはある一定
時間チャージした電荷を３０分の１秒毎に順番に取り出
す構造をしており、本実施例のように変調された光を捉
える場合、その変調成分を取り出すことはできない。そ
れに、前述したように伸ばした指の位置を求めるという
だけの目的であれば、ＣＣＤエリアイメージセンサのよ
うに多くのフォトダイオードを集積化する必要もなく、
またＣＣＤエリアイメージセンサほど高速動作を要求さ
れないので省電力化でも有利である。

【００８３】次に、デジタル信号処理が異なる例を説明
する。先の実施例では指先の画像から、その先端部分を
切り出し、その重心を求めただけであった。重心は指の
左右上下方向の移動に伴い変化する特徴量であるが、こ
こでは、さらに奥行き方向の動き（受光系に近づく／遠
ざかる）を反映した特徴量を捕らえる。これまでの実施
例では、２次元情報を入力するのみであったが、奥行き
方向の情報を捉えることができれば、２次元情報＋αあ
るいは３次元情報を入力することができる。

【００８４】例えば、奥行き方向の動きを監視してお
き、ボタンを押すように、少し近づいて少し戻るという
奥行き方向の動きを検出した場合に、マウスのクリック
に対応する信号を発生させることができる。これによ
り、指でカーソルを動かし、「押す」動作をすること
で、メニューを選択をさせたりすることができる。

【００８５】また、厳密に指までの距離を入力すること
はできないが、相対的に「近づいた」「遠ざかった」と
いう検出はできるので、表示でのフィードバックと組み
合わせれば３次元位置情報を入力することができる。

【００８６】受光量は反射物体までの距離の４乗に反比
例することは前述した。従って、指が奥行き方向に動く
と、指からの反射光を受光している受光素子の受光量が
増減する。また１つの受光素子の出力だけでなく、指の
占める画素の数も増える。この様子を図１４に示す。
（ａ）→（ｂ）のように指が近づいてくると、手指の形
の反射受光画像全体に対する相対的な大きさが大きくな
る。

【００８７】従って、３行目の水平１ライン１４０１に
ついて１．１画素程度の範囲を指が占めていたのに対
し、（ｂ）では１．５画素程度の範囲を指が占めており
（１４０２）、３行目１ラインの画素値合計が大きくな
っていることが分かる。また占める範囲が広がるだけで
なく、指の距離が近くなるので、捉える領域全てを指が
占めている１４０３、１４０４のような画素も、（ｂ）
の方がその画素値は大きくなっている。前述のように受
光量は反射物体までの距離の４乗に反比例するので、例
えば距離が１０ｃｍから９ｃｍに近くなったとすると、
画素値はほぼ１．５倍になっている。

【００８８】この図から、水平１ラインでの画素値合計
の大きさが、指までの距離を反映していることが分か
る。この実施例でのデジタル信号処理部（図１５全体）
は、棒状物体検出部１５０１、水平１ライン総画素値検
出部１５０２、棒状物体先端切り出しパラメータ演算部
１５０３、棒状物体先端切り出し部１５０４、重心検出
部１５０５から成る。まず、反射受光画像１５０６が入
力されると、棒状物体検出部１５０１が指先を検出す
る。これは図１の棒状物体検出部１１１と働きは同じで
ある。次に棒状物体検出部１５０１で検出された部分画
像１５０７の各水平ラインの画素値合計を演算する。

【００８９】棒状物体先端切り出しパラメータ演算部１
５０３では、この画素値合計から、棒状物体先端切り出
し部１５０４で用いるしきい値ＴＨを計算する。棒状物
体先端切り出し部では、棒状物体先端切り出しパラメー
タ演算部で計算されたＴＨを受け取り（１５０８）、図
１のそれと同様に、先端部を切り出す。重心検出部１５
０５もその働きは図１のそれと同じである。そしてこの
重心データ１５０９と切り出しパラメータ１５１０の両
方が特徴量として出力される。

【００９０】このデジタル信号処理部の効果は距離に対
応した信号が得られるだけではない。ＴＨが一定だと、
指が近いほど、すなわち水平１ラインの総画素値が大き
くなると切り出された部分の垂直方向の１ラインあたり
の画素値合計は小さくなる。ポインティングの精度を高
く保つためには、切り出された部分の１ラインあたりの
画素値合計が縦でも横でも同じ程度が望ましい。

【００９１】従って、水平１ラインあたりの画素値合計
から、垂直１ラインあたりの総画素値も同程度になるよ
うにＴＨを決める方が望ましい。また先に述べた、マウ
スのクリックとしての動作だけを行わせるのであれば、
棒状物体先端切り出しパラメータ演算部１５０３の後に
図示しないクリック動作検出部を設け、これが切り出し
パラメータを監視しており、「押す」動作を検出したと
きにクリック信号を出力するようにすればよい。

【００９２】「押す」だけでなく、様々な指先のジェス
チャーをコマンドとして利用することも効果的である。
図１７に示す実施例では操作者の指の動きを認識して入
力情報として利用する者である。例えばあるアイコンの
上にカーソルを移動させて、チェックマークの形「＃」
に指を動かすと、そのアイコンに関連づけられたコマン
ドが起動する、または、円を描くとその中のオブジェク
トが選択される、といった具合に利用することができ
る。

【００９３】センサ部１７０１は図１の受光素子アレイ
１０１とアナログスイッチ１０２に相当する。アナログ
信号処理部１７０２、Ａ／Ｄ変換器１７０３、デジタル
信号処理部１７０４は図１のそれと働きは同じであり、
重心データ１７０５を出力する。発光部もあるがここで
は図示しない。重心点動き検出部１７０６は重心点の動
きを監視しており、あらかじめ登録された動きが合った
場合にそれに対応する信号１７０７を出力する。

【００９４】次に、重心データとボタンの状態とを関連
づけて、入力情報とする実施例について説明する。例え
ば、指を動かしてカーソルをあるメニューの上に動かし
たところで、ボタンを押すとメニューが選択される、ま
たは、あるアイコンの上でボタンを押したまま、さらに
指を動かすとアイコンを移動できるなど、マウスのボタ
ンの同じように用いてクリックやドラッグなどの操作が
できるようになる。

【００９５】この実施例の構成は図１６に示される。セ
ンサ部１６０１は図１の受光素子アレイ１０１とアナロ
グスイッチ１０２に相当する。アナログ信号処理部１６
０２、Ａ／Ｄ変換器１６０３、デジタル信号処理部１６
０４は図１のそれと働きは同じであり、重心データ１６
０５を出力する。発光部もあるがここでは図示しない。
ボタン１６０６は操作者の画面を差している手と反対の
手で押しやすい所に配置されており、ボタン状態検出部
１６０７が押されたかどうか、押され続けているかどう
か、といったボタンの状態を検出し、その状態を表す信
号１６０８を出力する。図示しないコンピュータ側では
これら両者の出力を参考にして、カーソルを動かした
り、アイコンを起動したり、ドラッグしたりする。これ
により、指を静止させたり、「押す」動作をさせるより
は、高速にクリック操作などをすることができる。ま
た、操作したという確実な実感を操作者に与えることも
できる。

【００９６】これは、両手が自由に使えるような場合に
有効である。腕時計型のＰＤＡを左腕に装着して右手で
カーソル操作したり、小型のＰＤＡを左手に持って右手
でカーソル操作するような場合は、片手でクリック操作
ができる方が望ましい。また、ブックパソコンのような
場合、このボタンをキーボードのキーで代用することも
できる。

【００９７】例えば、スペースバーを使った場合、通常
はスペースの入力として働くようにしておき、指を差し
てカーソル表示させているときにスペースキーが押され
た場合は、クリック、ドラッグとして働くようにする。

【００９８】また、少し違う使い方になるが、ボタンを
押したときにだけこの情報入力装置が動作するようにす
ることもできる。すなわち、カーソル操作をしたいとき
はボタンを押しながら指を差して動かすことになる。こ
うすることにより、カーソル操作する意志がないのに操
作領域に指が入ってしまい誤動作するのを防ぐことがで
きる。また、そのため操作領域をキーボードのホームポ
ジションのごく近いところに設定し、最小限の手の動き
で操作領域に手が入るようにすることもできる。またボ
タンが押されたときだけ、発光部が発光するので、消費
電力を節約することもできる。

【００９９】最後に、２つ、この入力装置を備えた携帯
情報機器のイメージを載せる。図１８は片手で持てるＰ
ＤＡである。本入力装置は外側には発光、受光できるだ
けの窓があればよいので、スペースを有効に使える。こ
こでは、１８０１が発光部、受光部の窓である。窓の前
で指１８０３を動かせば、画面内のカーソル１８０４の
位置を制御できる。窓がこれだけ小さいので、残りのス
ペースを大きな表示部１８０２として使える。

【０１００】図２４は、本入力装置が付いた腕時計型の
ＰＤＡである。やはり指２４０１の動きでカーソル２４
０２を制御することができる。２４０３、２４０４が発
光部、受光部の窓である。これだけ本体が小さいともは
やペンを格納するスペースさえなく、本入力装置による
入力の好適さは言うまでもないことである。また、目と
表示装置の間からずらしたところに操作空間を配せば、
指によって表示が見にくくなるということもない。

【０１０１】

【発明の効果】本発明により、マウスのように操作する
ための平面を必要としないポインティング環境を実現で
きる。また、マウスのように指の動きとカーソルの動き
が一致するため、トラックボールやタッチパッドや小型
ジョイスティックよりも素早く、正確にポインティング
することができる。またこれらに不向きなジェスチャー
入力も実現できる。

【０１０２】また、タッチパネルを指で押す方式のよう
に、画面が汚れることもなく、ペンデバイスのように、
いちいち手に装置を持つ必要もない。これらの特徴を総
合すると、携帯パソコンを操作するに当たり、既存のポ
インティング装置よりも快適な操作環境を実現すること
ができる。

【０１０３】またＰＤＡのようなさらに小型の電子機器
に対する操作もより手軽に行えるようになる。さらにペ
ンを収納するスペースもなく、指で触るには画面が小さ
すぎるような、腕時計ほどの小型のＰＤＡを考えた場
合、本発明は既存のポインティングデバイスに比べはる
かに快適な環境を提供しうる。

【０１０４】また本発明の受光部は指先の位置を求める
のに必要最小限の受光アレイで実現している。従って、
ＣＣＤのように高い集積度で受光アレイを作る必要がな
く、低コストで生産することができる。

【図面の簡単な説明】

【図１】 本発明の構成を表す図である。

【図２】 本発明の情報入力装置を搭載した携帯型パソ
コンを操作しているイメージ図である。

【図３】 アナログ信号処理部の各部での信号を表す図
である。

【図４】 受光素子アレイが捉える領域の一部と操作者
の手の関係を表す図である。

【図５】 反射受光画像をその画素値を垂直軸に取り表
したグラフを表す図である。

【図６】 反射受光画像の水平ラインをスキャンした様
子を表す図である。

【図７】 本発明で検出する特徴量を説明する図であ
る。

【図８】 反射受光画像と、指先が含まれる部分画像
と、切り出された先端部画像を示す図である。

【図９】 棒状物体先端切り出し部がなかったときに、
指先の動きと重心の動きに線形性がなくなる例の図であ
る。

【図１０】 棒状物体先端切り出し部がなかったとき
に、指先の動きと重心の動きに線形性がなくなる例の図
である。

【図１１】 １画素の捉える範囲が大きすぎる場合に、
指先の動きと重心の動きの線形例がなくなる例の図であ
る。

【図１２】 受光素子アレイ、アナログスイッチ、アナ
ログ信号処理部、Ａ／Ｄ変換部を集積したＩＣの構成を
表す図である。

【図１３】 アナログ信号処理を並列に行う、センサ部
ＩＣを示す図である。

【図１４】 指までの距離が変わったときの受光画像の
変化を説明する図である。

【図１５】 指までの距離の変化を捉えるための、デジ
タル信号処理部の図である。

【図１６】 重心点とボタン状態を関連づける情報入力
装置の構成の一部の図である。

【図１７】 指の動きをコマンドに変換できる情報入力
装置の構成の一部の図である。

【図１８】 本入力装置を搭載した小型ＰＤＡの外観を
表す図である。

【図１９】 棒状物体検出部の処理を表す図である。

【図２０】 棒状物体先端切り出し部および重心検出部
の処理を表す図である。

【図２１】 棒状物体候補を格納する構造体の図であ
る。

【図２２】 反射受光画像にノイズが乗っている場合の
棒状物体候補の変遷の様子を表す図である。

【図２３】 棒状物体の先端近くにノイズが乗っている
場合にその影響を除くことができることを説明する図で
ある。

【図２４】本入力装置を搭載した腕時計型のＰＤＡの外
観を表す図である。

【符号の説明】

１０１ 受光素子アレイ １０２ アナログスイッチ １０３ アナログ信号処理部 １０４ Ｉ／Ｖ変換アンプ １０５ プリアンプ １０６ バンドパスフィルタ １０７ 絶対値回路 １０８ 積分器 １０９ Ａ／Ｄ変換器 １１０ デジタル信号処理部 １１１ 棒状物体検出部 １１２ 棒状物体先端切り出し部 １１３ 重心検出部 １１４ 重心点静止状態検出部 １１７ 制御部 １１８ 発光駆動回路 １１９ 発光部 １２０１ フォトダイオード １２０２ 前段ＭＯＳスイッチ １２０３ 後段ＭＯＳスイッチ １２０４ Ｘ駆動回路 １２０５ Ｙ駆動回路 １３０７ マルチプレクサ １５０２ 水平１ライン総画素演算部 １５０３ 棒状物体先端切り出しパラメータ演算部 １６０６ ボタン １６０７ ボタン状態検出部 １７０６ 重心点動き検出部 ２１０２ 棒状物体候補を格納しておく構造体 ２１０３〜２１０５ 棒状物体候補を格納する構造体の
値の変化の例

フロントページの続き (56)参考文献 特開 平７−200143（ＪＰ，Ａ) 特開 平７−146770（ＪＰ，Ａ) 特開 昭56−130608（ＪＰ，Ａ) 特開 昭63−233312（ＪＰ，Ａ) 特開 平６−83523（ＪＰ，Ａ) 特開 昭61−199178（ＪＰ，Ａ) 特開 平７−146752（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/00,3/03 - 3/037 G06T 1/00,11/60 - 13/00 G06T 15/70,17/40 - 17/50 G01C 3/00 - 3/32

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 変調光を出力するための発光手段と、前記 発光手段によって出力された変調光であって物体に
   反射した前記変調光を受けるための受光素子を配列して
   なる受光手段と、前記 受光手段の各受光素子で受けた変調光の成分を取り
   出すための変調光成分取得手段と、前記 変調光の成分に応じて前記各受光素子が前記物体を
   捉える領域の大きさごとに反射受光量を求める反射受光
   量取得手段と、前記 反射受光量を画素値とした前記物体の反射受光画像
   を生成する反射受光画像生成手段と、前記反射受光画像の各ラインごとに画素値をスキャンす
   ることによって、棒状物体の部分画像を検出する棒状物
   体検出手段と、 前記棒状物体の部分画像を構成する一番左上の画素
   （１，１）から一番右下の画素（ｎ，ｎ）までの画像の
   うち、（１，ｋ）から（ｎ，ｋ）までの画素値に定数を
   乗じて修正した（１，１）から（ｎ，ｋ）までの画素値
   の合計が、所定の閾値を満たすような該定数とｋを求め
   ることにより、（１，１）から（ｎ，ｋ）までの画像を
   切り出す棒状物体先端切り出し手段と、 前記棒状物体先端切り出し手段により切り出された画像
   の画素値もとに、（１，１）から（ｎ，ｋ）までの画素
   の重心を前記棒状物体の重心として求める重心検出手段
   とを有することを特徴とする情報入力装置。
2. 【請求項２】 変調光を出力するための発光手段と、 この発光手段によって出力された変調光であって物体に
   反射した前記変調光を受けるための受光手段と、 この受光手段で受けた変調光の成分を取り出すための手
   段と、 この手段で取り出した変調光の成分から反射受光量を求
   めるための手段と、 この手段で求めた反射受光量を画素値とした前記物体の
   反射受光画像を生成する手段と、この手段で生成された反射受光画像から棒状物体の部分
   画像を検出する棒状物体検出手段と、 この手段で検出された部分画像から棒状物体の先端を切
   り出す棒状物体先端切り出し手段と、 この棒状物体先端切り出し手段 によって切り出された画
   像をもとに、前記棒状物体の重心として求める重心検出
   手段とを有する情報入力装置の処理方法であって、前記棒状物体検出手段は、反射受光画像の各ラインごと
   に画素値をスキャンすることによって、棒状物体の部分
   画像を検出し、 前記棒状物体先端切り出し手段は、棒状物体の部分画像
   を構成する一番左上の画素（１，１）から一番右下の画
   素（ｎ，ｎ）までの画像のうち、（１，ｋ）から（ｎ，
   ｋ）までの画素値に定数を乗じて修正した（１，１）か
   ら（ｎ，ｋ）までの画素値の合計が、所定の閾値を満た
   すような該定数とｋを求めることにより、（１，１）か
   ら（ｎ，ｋ）までの画像を切り出し、 前記重心検出手段は、切り出された画像をもとに、
   （１，１）から（ｎ，ｋ）までの画素の重心を前記棒状
   物体の重心として求めることを特徴とする情報入力装置
   の制御方法。