JP3804212B2

JP3804212B2 - 情報入力装置

Info

Publication number: JP3804212B2
Application number: JP25390497A
Authority: JP
Inventors: 康昭高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-09-18
Filing date: 1997-09-18
Publication date: 2006-08-02
Anticipated expiration: 2017-09-18
Also published as: JPH1195895A

Description

【０００１】
【発明の属する技術分野】
本発明は、パーソナルコンピュータなどの情報機器に対して手動により情報を入力するための情報入力装置に関する。
【０００２】
【従来の技術】
従来、いわゆるパーソナルコンピュータやリモートコントローラのように、複数の入力キーを備え、この入力キーに対する押圧操作によって情報信号の入力操作がなされるように構成された電子機器が提案されている。
【０００３】
このような電子機器において、複数の入力キーが設けられた部分は、情報入力装置として構成されている。すなわち、この情報入力装置は、操作者の手指によりいずれの入力キーが押圧操作されたかを検出して、押圧操作された入力キーに応じた操作信号を生成して、電子機器本体部内の制御回路に送る。この制御回路は、情報入力装置より送られた操作信号に応じた動作も信号処理を実行する。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような電子機器においては、動作や機能が複雑、多様になるにしたがい、情報入力装置を介して入力されるべき情報の種類も多くなる。すると、情報入力装置においては、入力キーの数が増加し、また、入力キー数の増加に伴う装置構成の大型化が招来される。すなわち、１個の入力キーの大きさは、人間の手指によって押圧操作されるものである以上は、最低限必要な大きさというものがあり、この限度よりも小さくすることはできない。したがって、入力キー数が増加すれば装置構成が大型化するのである。
【０００５】
例えば、ノート型のパーソナルコンピュータ（いわゆるノートパソコン）などにおいては、全体の構成を小型化しようとしても、キーボード部の大きさがネックとなり、小型化には限界がある。
【０００６】
また、キーボード部が汎用品である場合には、電子機器の使用者の個々の手の大きさに対して最適化することはできない。さらに、キーボード部が汎用品である場合には、このキーボード部における各入力キーの配列を変更することができない。
【０００７】
そこで、本発明は、上述の実情に鑑みて提案されるものであって、入力キーが極度に小型化されることによる入力操作の困難性が招来されることなく、多数の入力キーを有しながら装置構成の全体の小型化を図ることができ、さらに、使用者の個々の手の大きさに対する最適化や入力キーの配列を変更が容易に行えるようになされた情報入力装置を提供しようとするものである。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明に係る情報入力装置は、少なくとも入力キー部を含む操作部を示す映像を外方側に向けて少なくも２方向から投影する映像投射手段と、この映像投射手段により外在する面上に投影された操作部を示す映像において入力キー部を押圧する操作がなされたことを検出する画像認識手段と、この画像認識手段による検出を操作部における入力キー部に対する操作として認識する画像処理手段とを備え、上記画像処理手段は、上記画像認識手段により検出された三次元的情報、キーボードデータ、及び、キー隠れパターンデータから情報入力操作の判定処理を行うことを特徴とするものである。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
【００１０】
本発明に係る情報入力装置は、少なくとも入力キー部を含む操作部を示す映像を外方側に向けて少なくも２方向から投影する映像投射手段となる映像投射装置と、この映像投射装置により外在する面上に投影された操作部を示す映像において入力キー部を押圧する操作がなされたことを検出する画像認識手段となる画像認識装置と、この画像認識装置により検出された三次元的情報、キーボードデータ、及び、キー隠れパターンデータから情報入力操作の判定処理を行う画像処理装置を備えることによって、情報入力操作を可能とするものである。
【００１１】
この情報入力装置は、例えば、図１に示すように、パーソナルコンピュータにおいて使用することができる。このパーソナルコンピュータにおいては、ディスプレイ画面４の両側部分の上方部分に、画像投射装置１の一対の投射部１ａ，１ｂが設けられている。また、このパーソナルコンピュータのディスプレイ画面４の両側部分の上方部分には、各投射部１ａ，１ｂに近接して、画像認識装置２の一対の撮像部２ａ，２ｂが設けられている。
【００１２】
各投射部１ａ，１ｂは、それぞれ、画像投射装置１を構成する液晶表示板、すなわち、ＬＣＤにより表示される画像を拡大して外方側に向けて投射するものである。これら投射部１ａ，１ｂからは、入力キー部を含む操作部を示す映像５が、ディスプレイ画面４の前方側の床面上や机上などに投射される。一方の投射部１ａより投射される映像と他方の投射部１ｂより投射される映像とは、互いに重ね合わされる。映像５として投射された操作部における入力キー部は、それぞれが一の文字、数字や記号、あるいは、一の機能に対応付けられたものである。
【００１３】
各撮像部２ａ，２ｂは、それぞれ、固体撮像素子、すなわち、ＣＣＤの如き撮像素子を有して構成され、各投射部１ａ，１ｂにより投射される映像５を撮像して画像信号に変換する。
【００１４】
この情報入力装置においては、図２に示すように、画像投射装置１のＬＣＤは、キーボードデータブロック６に記憶された操作部の形状についてのデータに基づき、表示コントロールブロック７に制御されることにより、表示部を示す画像を表示する。そして、画像認識装置２における撮像により得られた画像信号は、画像処理装置３に送られる。
【００１５】
この画像処理装置３においては、画像信号は、キー位置の特定ブロック８、指位置割り出しブロック９及び指の動き検出ブロック１１に送られる。キー位置の特定ブロック８は、送られた画像信号に基づき、映像５における入力キー部の位置を特定する。指位置割り出しブロック９は、映像５上に操作者の指１５が置かれた場合に、この指１５の位置を割り出す。この指１５の位置の割り出しは、キー隠れパターンデータブロック１０により供給されるキー隠れパターンデータを用いて行う。そして、指の動き検出ブロック１１は、映像５上に置かれた操作者の指１５の動きを検出する。
【００１６】
指の動き検出ブロック１１が指１５の動きを検出すると、この検出結果は、入力判定ブロック１２に送られる。この入力判定ブロック１２は、検出された指１５の動きが映像５上において入力キー部を操作する動きであると判定したときには、信号処理装置、すなわち、ＣＰＵ１３に入力キー部が操作されたことを示す信号を送るとともに、スピーカ１４を介して、入力キー部が操作されたことを示すクリック音を発する。
【００１７】
また、画像認識装置２において得られた画像信号は、表示コントロールブロック７にも送られている。
【００１８】
このように構成された情報入力装置は、図３に示すように、情報入力操作の判定処理を行う。すなわち、ステップｓｔ１において、各投射部１ａ，１ｂより、ディスプレイ画面４の前方の平らな面上に、操作部の映像５を投射する。すなわち、キーボードデータブロック６よりのキーボードデータに基づく映像５の投影を行う。この映像５の投影は、映像５が操作者の手によって隠されることを考慮して、完全に隠されてしまうことがないように、２箇所以上の投射部１ａ，１ｂより行っている。
【００１９】
次に、この情報入力装置は、映像５の投影についての初期化処理を行う。すなわち、図４に示すように、一方の投射部１ａより投射された映像と他方の投射部１ｂより投射された映像とが完全に重ならないと、映像５において入力キー部などの位置を正確に表示することができない。また、映像５は、投影された面上において、正確に合焦している必要がある。そこで、映像５を各撮像部２ａ，２ｂにより読取り、この読取り結果に基づいて、表示コントロールブロック７により投影状態を調節する。
【００２０】
また、図５に示すように、各撮像部２ａ，２ｂによる映像５の読取り結果とキーボードデータとを比較することにより、キー位置の特定ブロック８において、該映像５における各入力キー部の位置を割り出す。
【００２１】
そして、ステップｓｔ２においては、映像５上の指１５の位置及び動きを各撮像部２ａ，２ｂで読取り、３次元処理により解析して、映像５上における入力キー部に対する入力操作の有無を判定する。指１５の位置の割り出しは、図６に示すように、映像５上における入力キー部の隠れ方のパターンに基づき、キー隠れパターンデータブロック１０により供給されるキー隠れパターンデータを用いて行う。映像５上の指１５の動きの検出は、図７に示すように、エッジ検出などにより指１５を判別し、図７中矢印Ａで示す指１５の上から下への動き、すなわち、映像５が投影されている面に対する指１５の接触を検出する。
【００２２】
ステップｓｔ３においては、指１５の動きが検出されたときに、入力キー部に対する入力操作、すなわち、押下操作がなされたとの判定を行う。この判定と同時に、スピーカ１４を介して、入力操作がなされたことを示すクリック音を発して、入力操作が完了されたことを操作者が認識できるようにする。
【００２３】
このとき、信号処理装置１３は、入力操作がなされた入力キー部がいずれであるかに応じた所定の処理を行い、例えば、パーソナルコンピュータに対して、入力操作がなされた入力キー部に応じた操作信号を送る。
【００２４】
この情報入力装置においては、指１５による入力操作がなされる操作部は、映像５として投影されたものであるので、各投射部１ａ，１ｂにおける焦点距離の調節などにより、大きさを任意に変えることができる。また、この情報入力装置においては、キーボードデータブロック６に記憶されたキーボードデータを変えることにより、映像５における入力キー部の数や配列を自由に変えることができる。
【００２５】
さらに、この情報入力装置においては、キーボードデータブロック６に記憶されたキーボードデータを変えることにより、映像５として投影される操作部を、図８に示すように、いわゆるメニュー選択をするための操作部とすることもできる。メニュー選択をするための操作部においては、入力キー部１６ａ，１６ｂは、一の文字や記号に対応されたものではなく、特定の動作や設定などに対応したものとして使用される。
【００２６】
また、この情報入力装置においては、キーボードデータブロック６に記憶されたキーボードデータを変えることにより、映像５として投影される操作部を、図９に示すように、音楽演奏用の鍵盤とすることもできる。この場合においては、パーソナルコンピュータに対して、押下操作された鍵１７に応じた音程の音を発するなどの動作をさせることができる。
【００２７】
そして、この情報入力装置においては、キーボードデータブロック６に記憶されたキーボードデータを変えることにより、映像５として投影される操作部を、図１０に示すように、ペン１８を使って入力操作を行う操作部とすることもできる。この場合においては、映像５上におけるペン１８の位置及び動きに応じた情報入力操作を行うことができる。この場合において、映像５としては、種々の文字に対応されたいわゆる文字パレットやメニュー選択パレットを表示することができる。
【００２８】
【発明の効果】
上述のように、本発明に係る情報入力装置においては、映像投射手段により投影される操作部を示す映像上において、入力キー部に対して操作をすることによって、情報入力を行うことができる。
【００２９】
したがって、この情報入力装置を用いれば、特に、いわゆるＰＤＡ（パーソナルデジタルアシスタント）の如き小型の情報処理装置などにおいて、情報入力を行うための操作部による小型化に対する制約がなくなり、装置構成の一層の小型化を図ることができる。そして、この情報入力装置を用いれば、情報処理装置などの電子機器の装置構成を小型化しても、情報入力の操作がし難くなることがない。
【００３０】
さらに、この情報入力装置においては、操作部の形状や入力キー部の数や配列を容易に変更することができ、操作者個々人の手の大きさに対する最適化や、適用される電子機器の種類に対する最適化を容易に行うことができる。
【００３１】
また、この情報入力装置は、ディスクプレーヤ、ビデオレコーダやテレビジョン装置など、入力キー部を用いた情報入力操作が必要な種々の電子機器に対して応用が可能であり、該入力キー部を備える操作部を物理的に配置することが不要であるので、これら電子機器の小型化を可能とする。
【００３２】
すなわち、本発明は、入力キーが極度に小型化されることによる入力操作の困難性が招来されることなく、多数の入力キーを有しながら装置構成の全体の小型化を図ることができ、さらに、使用者の個々の手の大きさに対する最適化や入力キーの配列を変更が容易に行えるようになされた情報入力装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明に係る情報入力装置を備えて構成されたパーソナルコンピュータの構成を示す斜視図である。
【図２】上記情報入力装置の構成を示すブロック図である。
【図３】上記情報入力装置の動作を示す流れ図である。
【図４】上記情報入力装置において２方向から投影された操作部の映像を示す斜視図である。
【図５】上記情報入力装置におけるキーボード位置データと投影された操作部の映像との関係を示す斜視図である。
【図６】上記情報入力装置において投影された操作部の映像上に指が置かれた状態を示す斜視図である。
【図７】上記情報入力装置の構成を示す図である。
【図８】上記情報入力装置においてメニュー選択画面として投影された操作部の映像を示す斜視図である。
【図９】上記情報入力装置において音楽演奏用鍵盤として投影された操作部の映像を示す斜視図である。
【図１０】上記情報入力装置においてペン入力用操作部として投影された操作部の映像を示す斜視図である。
【符号の説明】
１映像投射装置、１ａ，１ｂ投射部、２画像認識装置、２ａ，２ｂ撮像部、３画像処理装置、５映像、１５指

Claims

少なくとも入力キー部を含む操作部を示す映像を外方側に向けて少なくも２方向から投影する映像投射手段と、
上記映像投射手段により外在する面上に投影された操作部を示す映像において入力キー部を押圧する操作がなされたことを検出する画像認識手段と、
上記画像認識手段による検出を上記操作部における入力キー部に対する操作として認識する画像処理手段とを備え、
上記画像処理手段は、上記画像認識手段により検出された三次元的情報、キーボードデータ、及び、キー隠れパターンデータから情報入力操作の判定処理を行うことを特徴とする情報入力装置。