JP4157577B2 - 座標入力装置 - Google Patents

Description

本発明は、コンピュータの操作を行なうために用いるマウスやタッチパネル、ペン入力装置等の入力装置に関し、特に、表示画面と机の上面の両方でポインティング操作が行なえる座標入力装置に関する。

従来の技術として特開平１１−３１７０に開示される光デジタイザがある。これは表示画面の上方左右に位置し、表示画面に沿った面を側方から撮像する二つのラインカメラの撮像信号を処理して、指やペン等のポインティング位置を検出するものである。表示画面の周囲にはカメラに不必要な外光が入らないように周囲枠が備えられている。

このような技術を机の上で使用するパーソナルコンピュータの表示装置に適用すると、タッチパネルのように表示画面を指やペンでポインティング操作することができるのでより直感的な操作が可能になる。

特開平１１−３１７０号公報

しかしながら、表示画面は机上面に対して垂直に設置されるのが通常であるので、ペンを使用して文字や絵を入力するなど長時間の手書き入力を行なう場合、表示画面上にペンを触れて入力するのは作業性が悪く操作者の疲労を増大させてしまうという問題があった。

また、表示画面上でタッチ入力を行なう際、表示画面に近い所に指やペンを持ってゆくと実際に画面に触れていなくても入力されてしまうという問題があった。これはある幅を持つ周囲枠に視野を持つカメラの像に、指やペンが入ったとたんにタッチ入力があったと検出するからである。

本発明はこのような操作性の問題を解決するために、コンピュータに接続された、机の上に位置する表示装置の表示画面を見ながらコンピュータの操作を、指やペン等の指示具の操作によって行なう為の座標入力装置において、指やペン等の指示具の指示位置の座標検出範囲は、表示画面の表示面のみならず、机の上面のある定められた机上座標検出領域面の少なくとも両方を含むものであり、表示画面の延長面の近傍であって表示画面の上方左右にそれぞれ位置し、表示画面の任意の場所に接する物体の側面と机上座標検出領域面の両方が視野に入るように設置され、視野に入る像を撮像する二つのカメラと、二つのカメラから出力される画像信号を元に、座標検出範囲内で指示する指やペン等の指示具の指示座標値を計算し、コンピュータのプログラムに入力する制御回路と、を備えるようにした。

また、表示面にタッチしないのにタッチ検出が行われてしまうという、タッチ検出の問題を解決するために、表示画面の周囲で上方の辺を除く３辺に、反射率の高い部材と反射率の低い部材を接して備え、それらの部材の境界線が前記二つのカメラの視野に入るように設置した周囲反射枠を備え、該境界線を指やペン等の指示具が横切った時に表示面へのタッチ入力があったと判断するタッチ検出手段を前記制御回路の中に備えるようにした。

さらに、ペン等の指示具は、その先端部に再帰反射部材を備え、二つのカメラにはそれぞれ、カメラの結像レンズの近傍に座標検出範囲を照らす照明手段を備え、照明手段が発する光線が再帰反射部材に当って反射する反射光を、前記カメラが受光するようにするのが好ましい。また、指示具は、感圧センサを有しても良い。

また、このような座標入力装置に、二つのカメラと一体化構造となるようにコンピュータの表示画面を備えることもできる。

いずれの場合においても、制御回路はコンピュータ本体とは独立したユニットとして座標値を計算し、計算された座標値をコンピュータに入力するように構成することもできるし、コンピュータにカメラの画像信号を直接入力できるようにして、コンピュータ上で動作するドライバソフトとコンピュータを用いて制御回路を構成することもできる。

指やペン等が表示画面にタッチされた場合、表示画面上方左右の二つのカメラが画面に接する指やペン等の像を側方から撮像し、この撮像画像信号を制御回路で処理することにより、カメラ間を結ぶ基線に対して、カメラとタッチ位置を結ぶ直線との角度が二つのカメラ毎に求まるので、制御回路は、この値を使用して三角測量計算を行なって座標値を求め、タッチ位置の表示画面上の座標値をコンピュータ上で動作しているプログラムに渡すように作用する。

また、指やペン等が机の上のある定められた検出領域上に置かれた場合、二つのカメラの撮像画像信号から制御回路が処理を行なって、指やペンの先端の座標値を求めてコンピュータ上で動作しているプログラムにその値を渡すように作用する。

上記手段によれば、操作者は、ある応用プログラムを起動した時に、指やペン等で画面に直接タッチして操作を行なっても、机の上のある定められた領域にタッチして操作を行なってもよいので、メニュー選択などは画面上に直接タッチし、手書き文字認識等を行なう際には机の上でペン操作を行なうようにすることで、疲労を少なくしてスムーズかつ快適な操作ができるという作用が得られる。

以下、本発明の実施の形態を図示例と共に説明する。図１は、本発明の座標入力装置の好適な実施例を示す図である。コンピュータに接続された表示装置１が机１０の上に置かれている。表示装置１の表示画面６は机１０の上面に対してほぼ垂直に設定されている。表示装置１には、表示画面６の上方左右二個所にカメラ２が組み込まれている。カメラ２の部分を拡大した図である図２において、カメラ２は結像レンズ２１とエリアイメージセンサ２２から構成される。結像レンズ２１は画角が約９０度の広角レンズである。そして二つのカメラの視野の中心軸は表示画面に沿って平行に表示画面の対角へ向かっている。また、結像レンズ２１の隣に赤外光を放つ赤外発光ダイオード２３が備えられており、表示画面６の周囲や机１０の上を照らしている。

表示装置１には図１に示すように周囲反射枠５が表示画面６をとりまく３辺に設けられている。この周囲反射枠５は図３に示すように、表示画面６に近い方に幅の狭い再帰反射テープ５１が取り付けられており、再帰反射テープ５１に接して無反射の黒色テープ５２が取り付けられている。再帰反射テープは光が来た方向に忠実に光を反射する部材であり、車のヘッドライトに照らされた標識の反射光を効率よく運転手の方向に向けるので、交通標識等によく利用され、入手は容易である。

また机１０の上には、表示画面６の真下から手前に向かって机上座標検出領域７がある。この領域を示すマーク等を机１０の上に貼って明示することもできるが、とくに無くてもよい。

各々のカメラ２に写る像を図４に示す。図４（ａ）は表示画面６を指８でタッチした場合、図４（ｂ）は表示画面６をペン４でタッチした場合、図４（ｃ）はペン４が机上座標検出領域７に接する場合の像である。

図５に本実施例で使用するペン４の詳細を示す。ペン先部材４３はペンボディ４１の先端から顔を出し、ペンボディ４１の内部で感圧センサ４２に接続されており、感圧センサ４２の出力信号はケーブルを通して制御回路３に接続されている。また、ペンボディ４１の先端に近い部分に再帰反射テープ４４が巻かれている。

まず最初に指８で表示画面６をタッチした場合の動作を説明する。指８で表示画面６をタッチした場合にカメラに写る像は図４（ａ）である。カメラ２の視野の中心が表示画面すれすれの面の側面になるように設置されているので、それより内側の撮像領域９９は使用していない。また、指の像９３の後ろには白黒のコントラストが鮮やかな周囲反射枠５の像が写っている。周囲反射枠５の内側すなわち表示画面６に近い位置には再帰反射テープ５１が設けられており、カメラ２に近いところに備えられた赤外発光ダイオード２３の光を効率よく反射して強い白信号として撮像される。従って指の像９３は再帰反射テープの像９１の影となって撮像される。

二つのカメラ２の撮像信号は図１で示すように制御回路３に接続されており、この制御回路３で周囲反射枠５の白と黒の境界線、すなわち再帰反射テープの像９１と黒色テープの像９２との境界線の像を検出して、この境界線の像から若干白側に寄ったところの水平画素列を取り出す（図７のＳ７１）。図６（ａ）にこの画素列の信号を示す。この画素列には指８と表示画面６が接した場所に関する情報が含まれているので、制御回路３は、図７に示すように、左右のカメラ画像の遮断画素位置から各カメラに対する角度を求め（Ｓ７３）、各々の角度から三角測量計算により指がタッチした座標値を求め、その座標値をコンピュータへ送出する（Ｓ７４）。

次に、ペン４が表示画面６をタッチした場合の制御回路３の動作を説明する。ペン４が表示画面６をタッチした場合には図４（ｂ）の像がカメラに写る。指とは違ってペン先端には再帰反射テープ４４が巻かれており、反射光は強いので強い白信号として撮像されるので、周囲反射枠の再帰反射テープの像９１とは区別がつかない。しかし周囲反射枠の無反射部分である黒色テープの像９２とは識別が容易であるので、今度は前述の境界線から若干黒側の水平画素列を取り出す（図８のＳ８１）。図６（ｂ）にこの画素列の信号を示す。この画素列にはペン４と表示画面６が接した場所に関する情報が含まれているので、制御回路３は、図８に示すように、左右のカメラ画像のピーク画素位置から各カメラに対する角度を求め（Ｓ８３）、各々の角度から三角測量計算によりペン４がタッチした座標値を求め、その座標値をコンピュータへ送出する（Ｓ８４）。

次に、ペン４が机上座標検出領域７に接した場合の動作を説明する。このときカメラに写る像は、図４（ｃ）のようになる。各々のカメラ２には机上座標検出領域全体９６が写っており、この領域内に入るペン先の像９５が示されている。カメラ２はペン先４４に対して上方斜めから撮像しているので、通常のペンの使用においては、ペン先４４はペンを持つ手の影になることはない。

制御回路３は、図９に示す手順ように、最初に画像全体のなかで最も検出レベルの高い画素を求める（Ｓ９２）。ペン先に設けられている再帰反射テープ４４がカメラ２の赤外発光ダイオード２３に照らされて最も強い反射光をカメラ２に返すので、この画素がペン先の位置である。制御回路３は二つのカメラ２のうちどちらか一方の撮像信号のなかで最も検出レベルの高い画素の場所情報を用いて、所定の画素−座標変換テーブルによりペン先の座標値を求め（Ｓ９３）、その座標値をコンピュータへ送出する。

ペン４が机上座標検出領域７にタッチしたことの検出は、ペン先部材４３に接続された感圧センサ４２の出力信号が制御回路３に接続されているので、制御回路３はこの信号の状態によってペンのタッチを容易に知ることができる。

なお、本発明の座標入力装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、本実施例では表示画面６が机１０の上面に対して垂直に位置しているが、机上座標検出領域７の座標値に対して簡単なキャリブレーションを行なうことによって、ある程度の傾きをもたせることができるのは勿論である。また、本実施例に限らず、カメラ２を表示装置１と独立した筐体に収めて、任意の表示装置の上に載せることができるようなアタッチメント装置として実現できることも勿論である。ペン４のタッチ検出信号はケーブルを使用せずに、無線送信手段をペン内部に備え、制御回路に無線受信手段を備えることによりケーブルを取り除けることも勿論である。

以上、説明したように本発明の座標入力装置によれば、表示画面の上方左右に設置されるカメラの視野を表示画面に沿った面の側方のみならず、机の上の一部領域まで広げることにより、机の上での指やペン等の指示座標の検出ができるようになって、机上でのポインティング操作も併せて可能となり、ペンや指で操作するコンピュータの操作性が著しく向上するという効果がある。

表示画面の周囲で上方の辺を除く３辺に、反射率の高い部材と反射率の低い部材を表示画面の近傍に接して備え、それらの部材の境界線が二つのカメラの視野に入るように設置した周囲反射枠を備えて、その境界線を基準として用いることでタッチ入力を表示画面に近いところで安定して検出できるという効果がある。

また、表示画面の周囲で上方の辺を除く３辺に、反射率の高い部材と反射率の低い部材を接して備え、それらの部材の境界線が前記二つのカメラの視野に入るように設置した周囲反射枠を備えることにより、反射率の高いペンと反射率の低い指とが両方とも表示画面上のポインティングに使用できるようになるという効果がある。

ペン等の指示具の先端部に再帰反射部材を備え、カメラの結像レンズの近傍に座標検出領域全体を照らす照明手段を備え、照明手段が発する光線が再帰反射部材に当って反射する反射光を、カメラが受光するようにすることによって、ペン等の指示具を複雑な画像処理を行なうことなく、最も強い輝度の画素を捜すだけで認識できるようになり、安価で信頼性の高い入力装置を実現できるという効果がある。

このような座標入力装置に表示画面を組み込むことにより、設置が容易でコンパクトな座標入力装置または表示装置を実現できるという効果がある。

本発明による座標入力装置の斜視図である。 本発明による座標入力装置に使用するカメラの拡大平面図である。 本発明による座標入力装置に使用する周囲反射枠の拡大斜視図である。 左右のカメラにより撮像された撮像画像の図であり、図４（ａ）は指が表示画面にタッチした場合の撮像画像を示す図であり、図４（ｂ）はペンが表示画面にタッチした場合の撮像画像を示す図であり、図４（ｃ）はペンが机上座標検出領域にタッチした場合の撮像画像を示す図である。 本発明による座標入力装置に使用するペンの拡大透過図である。 カメラが撮像した撮像画像の一部である水平画素列の信号強度を説明する図であり、図６（ａ）は指が表示画面にタッチしたときの周囲反射枠の境界線の像の近傍の再帰反射テープの像の水平画素列の信号強度を説明する図であり、図６（ｂ）はペンが表示画面にタッチしたときの周囲反射枠の境界線の像の近傍の黒色テープの像の水平画素列の信号強度を説明する図である。 指が表示画面にタッチしたときの制御回路の座標検出手順を説明する手順の図である。 ペンが表示画面にタッチしたときの制御回路の座標検出手順を説明する手順の図である。 ペンが机上座標検出領域にタッチしたときの制御回路の座標検出手順を説明する手順の図である。

符号の説明

１ 表示装置
２ カメラ
３ 制御回路
４ ペン
５ 周囲反射枠
６ 表示画面
７ 机上座標検出領域
８ 指
１０ 机
２１ 結像レンズ
２２ エリアイメージセンサ
２３ 赤外発光ダイオード
４１ ペンボディ
４２ 感圧センサ
４３ ペン先部材
４４ ペン先端、再帰反射テープ
５１ 再帰反射テープ
５２ 黒色テープ
９１ 再帰反射テープの像
９２ 黒色テープの像
９３ 指の像
９４ ペンの像
９５ ペン先端の再帰反射テープの像
９６ 机上座標検出領域の像
９９ 内側の撮像領域

Claims (3)

1. 指や、その先端部に再帰反射部材を有するペン等の指示具により指示された座標を入力する座標入力装置であって、該座標入力装置は、
   表示装置の表示画面の延長面の近傍に設置され、前記表示画面の周辺の３辺に沿って設けられ前記表示画面に近い内側の再帰反射テープと前記表示画面から遠い外側の無反射テープとがそれぞれ長手方向に平行に設けられてなる周囲枠を視野に含む一対のカメラと、
   前記カメラの結像レンズの近傍に設けられ、前記周囲枠に向かって光を照射する照射手段と、
   前記指示具の指示位置座標を、前記一対のカメラから出力される画像信号を基に算出する制御手段であって、該制御手段は、前記周囲枠の前記再帰反射テープと前記無反射テープの間の境界線を基準に、その境界線の前記再帰反射テープと前記無反射テープのどちらかの近傍で前記指示具の指示位置座標を算出する制御手段と、
   を具備することを特徴とする座標入力装置。
2. 請求項１に記載の座標入力装置において、前記照射手段は発光ダイオードからなることを特徴とする座標入力装置。
3. 請求項１に記載の座標入力装置において、前記一対のカメラは、前記表示画面と一体化構造であることを特徴とする座標入力装置。