JPH11305895A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 パソコンなどに代表される情報機器の入力に
使用されているキーボードは小型化に限界があり、さら
に耐久性の面でも問題があった。 【解決手段】 キーボードの代りにイメージセンサで、
指の位置を認識し、入力したいキーを読みとって入力す
る情報処理装置であって、情報機器本体（２）と、前記
情報機器本体と電気的に連結された前記情報機器本体に
入力された情報を含む所定の情報を表示する情報表示部
分（１）と、前記情報機器本体に情報を入力するために
使用される入力キーボードのキー配置が表示されている
プレート（３）と、前記プレートに対して入力操作をす
る操作者の指先を撮像するイメージセンサ（５）と、前
記イメージセンサからの画像情報に基づき操作者の指先
の位置を認識する認識装置とを有することを特徴とする
情報処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理装置に関す
るものであり、特にパソコンや携帯電話のようなキーボ
ードを有する装置の情報処理装置に係る。

【０００２】

【従来の技術】近年、情報装置、特にノートパソコンな
どのＰＤＡ（personal digital assistant）機器のニー
ズが高まってきている。これらＰＤＡ機器の高性能化の
ため、処理速度および処理量の向上や記憶容量の増大な
どと共に、入力装置の小型化や軽量化が課題として挙げ
られている。

【０００３】以下に従来の技術を携帯型のパソコンを例
に図１３から図１６を用いて説明する。従来の携帯型の
パソコンは通常図１３に示すように、ディスプレイ（表
示部）１０１として、液晶ディスプレイ又はプラズマデ
ィスプレイが用いられている。１０２はキーボード（入
力装置）で、１０３はパソコン本体、１０４はディスプ
レイ１０１とパソコン本体１０３との連結部分である。

【０００４】図１４は図１３の携帯型パソコンを使用せ
ずに例えば運搬するときの状態を示した側面図である。
キーボード部分１０２との連結部分１０４を折り曲げ
て、ディスプレイ１０１とキーボード部分１０２を対向
させることで、パソコンをコンパクトに折り畳むことが
できる。この場合、キーボード部２は折り畳んだ際に、
少なくともキーボードの厚さ、又はキーボードの厚さと
キーボード操作時のキーボードの上下方向の移動距離を
合計した厚さを専有する必要がある。

【０００５】通常キーボードの厚さとしては、機械的強
度を持たせるため、少なくとも２〜３ｍｍを必要とし、
またその移動距離も誤入力をさけるため、同程度の２〜
３ｍｍを必要とする。同様なことは図１６に示す携帯電
話についても必要で、携帯電話本体側１０８とキーボー
ド１０７からなる携帯電話の場合、双方を折り畳んだ際
には通常図１４に示す携帯型パソコンのキーボード１０
２と同様な厚さを必要とする。このため携帯用とはいえ
厚さが増し収納に不便を与えていた。

【０００６】また、両者に用いられているキーボード１
０２、１０７は、キーボードのキーを機械的に上下に移
動することにより各キーに対応する電気接点をオン・オ
フさせている。このため、他の問題点として、長時間使
用時にキーボードの電気接点の信頼性が低下し、キーの
押圧時にオンしなくなったり、逆に非押圧時にオフしな
くなる場合などが生ずる。かかる不具合が発生した際に
は、現実に不具合のキーのみならず他のキーも不具合発
生の可能性があるため、装置のキーボード全体を取り替
えざるをえず、修理費が高価となるという問題があっ
た。

【０００７】また、図１３の携帯型パソコンのディスプ
レイ１０１とキーボード１０２の連結部分１０４、及び
図１５の携帯電話の連結部分１０９，１１０は、本体と
キーボード間又は送受信部とキーボード間で電気信号を
伝送するための配線部分（図示せず）が必要であり、こ
の配線部分は連結部分の開閉による頻繁な動きに耐える
ような柔軟性と機械的強度を備える必要がありそのため
に通常の配線に比べ高価になっていた。

【０００８】また、キーボードの誤動作を避けるため
に、強い押圧力でキーを押さないと作動しないようにし
た場合には、連続して極めて長時間キー操作をした場合
などに操作者に健康上の問題を引き起こす可能性もあ
る。また、キーボードは上述したように、キーボード直
下に電気的接点部分があり、キーボード上に誤って例え
ばコーヒー等の液体をこぼした場合などに、接触不良等
の問題を引き起こすことが知られている。さらに、キー
ボードは凹凸があるため、清掃しにくく長時間使用して
いると、キーボードの表示が見えにくくなるという問題
もあった。

【０００９】また、従来の携帯パソコンを小型化しよう
とすると、キーボードのキー自体の幅を小さくする必要
があり、操作性が悪くなる他に、誤入力が多くなるとい
う問題もあった。

【００１０】

【発明が解決しようとする課題】近年ノートパソコンな
どの携帯用ＰＤＡ機器のニーズが高まってきており入力
装置の小型化や入力情報量の増大などが要求されてい
る。これら携帯用機器のキーボードの厚さは機械的強度
を維持するため少なくとも２〜３ｍｍは必要があり、ま
たキーの上下移動距離も誤入力をさけるため同程度の大
きさが必要で、折畳んだ際に装置の厚さが増しこれら装
置の小型化を妨げる要因になっていた。

【００１１】また、キーを機械的に上下動することによ
り電気接触をオン・オフさせるので、長時間使用すると
キーボードの信頼性が低下し接触不良の問題が生じてい
た。また、キーボード直下に電気的接点部分があるため
キーボード上に誤って例えばコーヒー等の液体をこぼす
と接触不良の問題を引起こすことが知られている。さら
に、キーボードは凹凸があるため清掃し難く長時間使用
しているとキーボードの表示が見え難くなるという問題
もあった。その上、従来の携帯パソコン用キーボードを
小型化しようとするとキーボードのキー自体の幅を小さ
くする必要があり操作性が悪化し誤入力が多くなるとい
う問題もあった。

【００１２】本発明の目的は上記の問題に鑑み、キーボ
ードの機械可動部分と電気接点部をなくすことにより信
頼性の向上を図り、さらにキーボード部の厚さを低減す
ることにより省スペース化を可能にし、操作者の指の動
きを光学的に検知する情報入力方法により単位時間に取
り込める情報量を飛躍的に向上させ、そしてキーボード
と本体の連結部の電気配線をなくした情報処理装置を提
供することである。

【００１３】

【課題を解決するための手段】本発明による情報処理装
置は、情報機器本体と、前記情報機器本体と電気的に連
結された前記情報機器本体に入力された情報を含む所定
の情報を表示する情報表示部分と、前記情報機器本体に
情報を入力するのために使用されていると想定される入
力キーボードのキー配置が表示されているプレートと、
前記プレートに対して入力操作をする操作者の指先を撮
像するイメージセンサと、前記イメージセンサからの画
像情報に基づき操作者の指先の位置を認識する認識装置
とを有する情報処理装置である。

【００１４】さらに、前記イメージセンサがＣＣＤセン
サ又はＭＯＳ型エリアセンサであることを特徴とする情
報処理装置であり、また、前記イメージセンサが前記情
報機器本体又は前記情報表示部分に複数個配置されるこ
とを特徴とする情報処理装置であり、また、前記操作者
の指先の位置を検知する認識装置はマトリクス座標によ
り操作者の指の位置を認識することを特徴とする情報処
理装置であり、また、前記操作者の指先の位置を検知す
る認識装置は操作者の指先の位置を検知することにより
に認識を行うことを特徴とする情報処理装置であり、ま
た、前記操作者の指先の位置を検知する認識装置は操作
者の指先の移動速度を検知することによりに認識を行う
ことを特徴とする記載の情報処理装置である。

【００１５】さらに、本発明による情報処理装置は、電
話のキー入力に対応する操作者の指先の動きを検知する
少なくとも１つのイメージセンサと、前記イメージセン
サからの画像情報に基づき、操作者の指先の位置および
動きを認識して該指先の位置が特定する数値または記号
を認識する手段とを有する電話器である。

【００１６】

【発明の実施の形態】本発明は以下の実施の形態を図面
をもって説明するが、本発明はここで説明する実施の形
態に限定されるものではない。下記実施の形態は多様に
変化することができる。

【００１７】本発明の実施の形態を以下に図１から図１
２を用いて説明する。図１は、本発明による携帯用パソ
コンの構成を説明する図である。本実施の形態のパソコ
ンは図１に示すように、表示部分１、パソコン本体部分
２、キーボードの絵が表示されているプレート３、前記
キーボードの絵が表示されているプレート３と表示部分
１との連結部分４、イメージセンサ５、及び支柱６より
構成されている。

【００１８】ここでいうイメージセンサ５はプレート３
または操作者の指先を撮像するための光学系を含むセン
サである。イメージセンサ５としては、特に限定はしな
いが例えばＣＣＤセンサやＣＭＯＳのようなＭＯＳ型エ
リアセンサを用いることができる。

【００１９】図２は、本実施の形態の携帯型パソコンの
折り畳んだ状態を示す断面図であり、図３は、本実施の
形態によるパソコンの入力動作を示す図である。図２お
よび図３に示すように、本発明の動作方法は、プレート
３上で入力操作する人の手７の指先をイメージセンサ５
にて撮像し、本体内のパターン認識手段（図示せず）に
より画像認識するものである。即ち、イメージセンサ５
はパソコン本体と連結されており、イメージセンサ５の
撮像した画像情報に基づき、パソコン本体内のパターン
認識部（図示せず）にて操作者が押そうとしたキーの情
報を得るものである。イメージセンサ５からの画像情報
に従って処理されたキー入力情報が、表示部１に表示さ
れると共に、パソコン本体内の所定の記録部に記録さ
れ、必要に応じて演算処理される。なお、パターン認識
手段としては目標の形状および位置や目標の移動速度等
を認識し得る通常のパターン認識手段を用いることがで
き、その構成により本発明が限定されるものではない。

【００２０】図４を用いて、プレート３上で入力操作お
よびパターン認識方法についての詳細を説明する。図４
に示すように、パソコンを操作する人の右手７ａおよび
左手７ｂの指先がプレート３上に位置している。望まし
くはプレート３には通常のキーボードと同様なキー配置
を表示するの絵が描かれている。図４は簡単に説明する
ため、縦軸、横軸とも、番号がふられていてるマトリク
ス座標になっているが、実際にもかかる配置を採用する
ことが可能である。

【００２１】図４の入力操作においては、プレート３上
に実際に操作者の指先が所望のキーパターに触れるか押
すような状態にする。イメージセンサ５はこの指先を撮
影する。図５は、操作者の右手７ａ、及び右手の指を示
す。図６は撮像後の操作者の右手の指をパターン認識
し、その指先の位置をＡからＥにて示している。

【００２２】操作者が通常のキーボードに対応したプレ
ート３上のある箇所（従来のキーが配置されている位
置）を押そうとしたときに、その指先の動きは図７に示
すようになる。図７には、操作者がプレート３上の仮想
的なキーを押そうとした際の指の動きの状態を示してお
り、指先の移動の前後を波線と実践で示している。この
ときの移動距離ｄは、指先の移動の前後の高さに相当す
る。

【００２３】図８は、指先の移動速度ｖの時間変化ｔを
示し、プレート３の仮想キーを押そうとした瞬間の
（Ａ）のから、プレート３（図７参照）に指が触れた瞬
間（Ｂ）までの変化を示している。

【００２４】図９は、上記の際の移動速度ｖの変化量δ
の時間変化ｔを表している。即ち，図８の微分波形であ
る。図１２は、右手の中指でキーを押そうとした際の、
各指の動きについての、移動速度ｖと移動速度変化δを
示した表で、各指の動きを概念的に表現したものであ
る。キーを押そうとした指先は、移動距離ｄも長く、移
動速度変化δも大きい。このように各指の運動の差の認
識を行うことで、操作者が押そうとした指が特定でき
る。

【００２５】次に、前記操作者が押そうとした指で、ど
のキーを押そうとしたかは、特定した指先がどの升目
（図４参照）を指しているかをキーボードに対応したプ
レート３内の位置から判別することができる。

【００２６】例えば図４に示すようなプレート３の座標
（ｎ、ｍ）を撮像し記録しておくことにより、操作者が
押そうとした指先の位置から、操作者が押そうとしてい
るキーの位置がわかる。以上の動作を繰り返すことによ
って、従来のキーボードを用いなくとも光学的に従来の
キーボードと同様な情報を入力できる。操作者の指先の
位置を検知するのにマトリクス座標に基づき位置の認識
を行おうとするものである。

【００２７】図１０は、本発明の携帯電話への実施の形
態を示す。スピーカ１８、マイク１９、イメージセンサ
１０及び本体１１より構成されている。キーボード部分
は不必要で搭載されていない。イメージセンサで手の動
きを追えばよく、例えば指先で数字を書くなどの方法に
よりダイヤルができる。電話のキー入力に対応する操作
者の指先の動きを検知する少なくとも１つのイメージセ
ンサ２０と、イメージセンサ１０からの画像情報に基づ
き、本体１１に配置された操作者の指先の位置および動
きを認識して該指先の位置が特定する数値または記号を
認識する手段（図示せず）とを有する電話器であり、特
に限定はしないが携帯電話に好適に利用し得るものであ
る。

【００２８】図１１に本発明の別の実施の形態を示す。
従来の携帯型パソコンは、キーボードと本体と表示部が
一体になっていたため、机上で作業をする際に大きなス
ペースを占めていた。本発明によれば、キーボードが不
要になり、単にキーの配置が分かる、例えば紙でできた
プレート３があればよい。従って、例えば図１１に示す
ように、通常の透明なデスクマットの下に、プレート３
を挟んでおくだけでよい。また、キー配列を憶えてしま
えば、プレートは必要なくなる。即ち、入力操作をする
操作者の指先を撮像するイメージセンサからの画像情報
に基づき操作者の指先の位置を認識することにより、指
先の位置が特定する入力信号を認識する手段を有するこ
とにより情報を入力することが可能となる。また、本体
及びディスプレイ部は、例えば机のしきりや壁等に組み
込んでおけばよく、イメージセンサは机上のプレート３
が撮像できるようになっていれば良い。

【００２９】このように、机上のパソコンの占めるスペ
ースは不要となる。また、イメージセンサ５とパソコン
との間に切り替えスイッチを設けておけば、複数のパソ
コンを、本発明の光学的なキーボードシステムで操作す
ることができる。

【００３０】本発明では、ディスプレイの画面の一部に
キーボードのイメージを合わせて表示することにより、
指先の位置を検出した結果をディスプレイに表示する事
ができ、従来の様にキーボードとディスプレイを交互に
見る必要がなくなる。

【００３１】パソコンの操作において、キーボード上の
指先の動きと、マウスを操作する動きは別であるため、
上記システムにおいて、キーボード入力と、マウス入力
を合せておこなうこともでき、さらに、その他マルチメ
ディアに対応した画像入力等も可能となる。

【００３２】以上、本発明を用いることにより、従来の
キーボードが不要となり、机上においてはスペースの節
約、携帯機器においては、小型軽量にすることができ、
かつ、キーボードと本体との接点がなくなるため、コス
ト削減、故障の減少、メンテナンスが不要につながる。
また、長時間使用時での人間の体にかかる負担を軽減す
ることができ健康上の問題を防止することができる。

【００３３】なお、本発明において、イメージセンサは
１つである必要はなく、複数の同機能または、違う機能
をもったセンサーと組み合わせて、複数個のイメージセ
ンサからの情報を処理し、様々な機能を付加することも
できるし、精度を向上させることもできる。さらに、本
発明は、携帯用機器に限定されるわけではなく、情報入
力を必要とする機器すべてに応用できるものである。

【００３４】

【発明の効果】以上説明したように、本発明を用いるこ
とにより、従来技術では、キーボードの厚さまたは、キ
ーボードの厚さプラスキーの移動距離の合計、数ｍｍ程
度を折り畳んだ際のスペースが不要なり、コンパクトと
になり、机上であればスペースの節約、携帯機器であれ
ば、小型軽量化に有利になる。

【００３５】また、従来方式のキーボードのように、機
械的にキーボードのキーを移動させて電気接点をオンま
たはオフさせることがないので、故障個所がなくなり、
高信頼性のパソコンや携帯電話などの情報入力機器を提
供できる。また、キーボードと本体との接点部分も削減
でき、電気的配線を通す必要がなくなることから、連結
部分の構造を簡略化でき、コスト面で有利になり、故障
も少なくすることができる。

【００３６】また、キーボードをキーの配列が書いた紙
などに置き換えることが可能となり、場所をとらずコス
ト面でも有利になる。さらにキー配列を憶えてしまえ
ば、キー配列の紙さえも不要になる。

【００３７】機械的な圧力をかけ認識させる従来型のキ
ーボードとは違い、力を入れる必要はなく、長時間の使
用で問題であった体への負担を低減することができる。
突起物のキーが配列された従来のキーボードとは違い、
平面の紙のようなもので良いため、清掃が非常に簡略化
できる。また、キー配列をマスターすればキープレート
さえ必要なくなることになる。

【００３８】従来の情報機器において、情報機器自体を
小型化させようとすると、キーサイズが小さくなるな
ど、その操作性が失われていたが、操作者にあった使い
やすいサイズのキーボードを、イメージセンサの光学系
の倍率を変えることにより、提供することも可能とな
る。

【図面の簡単な説明】

【図１】本発明の実施形態に係る携帯型パソコンの構成
を示した斜視図。

【図２】本発明の実施形態に係る携帯型パソコンの構成
を示した断面図。

【図３】本発明の実施形態に係る携帯型パソコンの構成
を示した側面図。

【図４】本発明の実施形態に係る携帯型パソコンの動作
を説明した斜視図。

【図５】本発明の実施形態に係る情報入力機器の入力を
説明するための図。

【図６】本発明の実施形態に係る情報入力機器の入力を
説明するための図。

【図７】本発明の実施形態に係る情報入力機器の入力を
説明するための図。

【図８】本発明の実施形態に係る情報入力機器の入力を
説明するための図。

【図９】本発明の実施形態に係る情報入力機器の入力を
説明するための図。

【図１０】本発明の実施形態に係る携帯電話を説明する
ための斜視図。

【図１１】本発明の実施形態に係るパソコンの応用例を
説明するための側面図。

【図１２】本発明の実施形態に係る、右手中指でキーを
押そうとした際の、各指の動きを移動速度ｖと移動速度
変化δで、概念的に表現した図。

【図１３】従来の技術のおける携帯型パソコンを示す斜
視図。

【図１４】従来技術のおける携帯型パソコンを持ち運ぶ
ときの形状を示した側面図。

【図１５】従来の技術のおける携帯電話を示す斜視図。

【図１６】従来の技術のおける携帯電話を折り畳んだ状
態を示す側面図。

【符号の説明】

１、１０１…表示部分 ２、２１，１０３、１０８…本体 ３、１０２、１０７…キーボード部分 ４、１０４、１０９、１１０…連結部分 ５、１０…イメージセンサ ６…支柱 ７、７ａ、７ｂ…操作者の手 ８、１０５…スピーカ部 ９、１０６…マイク部 （Ａ）…操作者がプレートを押そうとした瞬間の指先の
移動速度における時間 （Ｂ）…操作者がプレートに、指が触れた瞬間の指先の
移動速度における時間 Ａ、Ｂ、Ｃ、Ｄ、Ｅ…操作者の手の指

Claims (7)

【特許請求の範囲】
1. 【請求項１】情報機器本体と、 前記情報機器本体と電気的に連結された前記情報機器本
   体に入力された情報を含む所定の情報を表示する情報表
   示部分と、 前記情報機器本体に情報を入力するのために使用されて
   いると想定される入力キーボードのキー配置が表示され
   ているプレートと、 前記プレートに対して入力操作をする操作者の指先を撮
   像するイメージセンサと、 前記イメージセンサからの画像情報に基づき操作者の指
   先の位置を認識する認識装置と、 を有することを特徴とする情報処理装置。
2. 【請求項２】前記イメージセンサがＣＣＤセンサ又はＭ
   ＯＳ型エリアセンサであることを特徴とする請求項１記
   載の情報処理装置。
3. 【請求項３】前記イメージセンサが前記情報機器本体又
   は前記情報表示部分に複数個配置されることを特徴とす
   る請求項１または請求項２記載の情報処理装置。
4. 【請求項４】前記操作者の指先の位置を検知する認識装
   置は、マトリクス座標に基づき操作者の指の位置を認識
   することを特徴とする請求項１から請求項３までのいず
   れか１項に記載の情報処理装置。
5. 【請求項５】前記操作者の指先の位置を検知する認識装
   置は、操作者の指先の移動速度を検知することによりに
   認識を行うことを特徴とする請求項１から請求項３まで
   のいずれか１項に記載の情報処理装置。
6. 【請求項６】前記操作者の指先の位置を検知する認識装
   置からの操作者の指先の位置の情報を入力操作を行った
   結果を表示する表示装置上にあわせて表示することを特
   徴とする請求項１から請求項５までのいずれか１項に記
   載の情報処理装置。
7. 【請求項７】電話のキー入力に対応する操作者の指先の
   動きを検知する少なくとも１つのイメージセンサと、 前記イメージセンサからの画像情報に基づき、操作者の
   指先の位置および動きを認識して該指先の位置が特定す
   る数値または記号を認識する手段とを有する情報入力装
   置。