JP3867226B2

JP3867226B2 - 複数の指示部位で操作可能なタッチパネルシステム

Info

Publication number: JP3867226B2
Application number: JP2000036317A
Authority: JP
Inventors: 康史関澤
Original assignee: Xiroku Inc
Current assignee: Xiroku Inc
Priority date: 2000-02-15
Filing date: 2000-02-15
Publication date: 2007-01-10
Anticipated expiration: 2020-02-15
Also published as: JP2001228971A

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータ等の情報処理装置へ指示体を用いて入力を行うことが可能なタッチパネルを用いたシステムに関し、特に、指示体として複数の指等により種々の入力操作が可能なタッチパネルシステムに関する。
【０００２】
【従来の技術】
従来から、指や指示具を用いてコンピュータ等の情報処理装置へ入力指示を行う装置として、タッチパネルと呼ばれる入力装置があり、これは比較的簡単な選択操作を行うための入力装置として広く普及している。これらのタッチパネルの指示位置座標検出手段としては、透明導電シートによるマトリクス電極方式や、縦横に並べた光ビームの遮断を検出する方式等がある。通常、タッチパネルは、比較的荒い位置座標しか検出できないものが多いが、光を用いて高精度に指の指示位置を検出できる方式として、特開昭６２−５４２８号公報に開示されたものがある。この方式は、表示画面の両側枠に再帰性反射部材を配置し、角的に走査した光線が再帰性反射部材へ入射し、入射光と同じ方向に反射して戻ってきた光を検出し、指またはペンによって光線を遮断されるタイミングから、指またはペン等の存在角度を求め、求めた角度から三角測量の原理によって位置座標検出するものである。この方式によれば、一定の検出精度を得つつ、指や任意のペン等の指示位置を検出することができる。
【０００３】
また、指示位置だけでなく、指示体の大きさをも光学的に検出し、その大きさに応じて所定の動作を行うことができる方式として、特開平１１−８５３７７号公報に開示されたものがある。これは、指示体の指示位置を検出すると同時に、指示体の半径（大きさ）を算出し、この指示体の大きさに応じて例えば線の太さを変えて描画動作を行うようにしたものである。
【０００４】
このようなタッチパネルとコンピュータ等とをインタフェース手段で接続する場合、コンピュータで動作しているオペレーティングシステムとインタフェース手段とタッチパネルとを制御するソフトウェアとして、一般的にデバイスドライバと呼ばれるモジュールが用いられる。デバイスドライバは、オペレーティングシステムが定義するマウスポインタのイベント操作、キーイベント操作、表示関係の操作等のＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍＩｎｔｅｒｆａｃｅ）を利用して、インタフェース手段を介して入力されるタッチパネルの指示位置情報等、所定の操作による情報に対応してコンピュータが所定の動作を行うように処理するものである。
【０００５】
デバイスドライバの機能について、マン・マシン・インタフェースとして従来から知られているマウスを例に説明すると、マウスを移動させ、左ボタンのクリック（ボタンの押下）をしたとき、マウスのインタフェースに対応したデバイスドライバは、マウスから得られる移動量を元に、オペレーティングシステムにより表示画面上に現在表示されているマウスポインタの座標値から移動後の座標値を算出し、その座標値と共に左ボタンのクリックに対応するマウスポインタのイベントを所定のＡＰＩをコールすることで、オペレーティングシステムにマウスポインタの操作を行わせる。
【０００６】
代表的なマウスの操作には、左クリック操作、右クリック操作、中ボタンクリック操作、回転状のホイールによるスクロール操作などがあげられる。また、左クリックを連続して２度押すことによるダブルクリック操作などもある。このダブルクリック操作としては、一般的にコンピュータで表示されているアイコンと呼ばれるオブジェクトにマウスポインタを合わせ、ダブルクリック操作を行うことによって、アイコンに対応しているアプリケーションを起動する等の動作をオペレーティングシステムに対して発生させるものである。尚、ダブルクリック操作においては、２度クリックするときのクリックの間にマウスポインタの座標が動かないようにマウスを操作することが通例である。
【０００７】
マウスの操作は、オペレーティングシステム等がグラフィカルユーザインタフェース（ＧＵＩ）を持つ環境である場合に特に有効であり、各々の情報を表示する矩形状の通常ウィンドウと呼ばれるオブジェクトを、選択、最小化、最大化、表示化、非表示化等するのを感覚的に行うことができる。更に、アイコン等をドラッグ・アンド・ドロップ操作することでアイコンの表示位置を移動したりファイルのコピー・ペーストを行うときにもマウスが利用される。デバイスドライバは、これらの操作に対応した所定の動作をコンピュータに行わせるためのものであり、デバイスドライバと入力装置の組合せにより様々な入力操作を可能とする。
【０００８】
上述のマウスと同様の操作を行うためのマン・マシン・インタフェースとして、パッド式のものやタッチパネルを用いたものが存在する。この場合、指等で直接入力面をタッチすることにより、左クリック操作、ドラッグ・アンド・ドロップ操作を行う。又、タッチパネル式の入力装置の場合、タッチパネルが表示装置の表示画面の上に重ねて設置されると、画面に直接タッチすることで操作できるようになるため、マウス等と比べてより直感的に操作可能であり、このような表示装置と入力装置が一体となった情報処理装置は銀行のＡＴＭや駅の券売機等で広く実用化されている。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のタッチパネルでは、アイコンをタッチするなどの行為を指で行おうとすると、アイコンが小さい場合はアイコンが指に隠れてしまい、実際にアイコンをタッチしたか判断がしにくい。また前記アイコンが隣接して置かれていると、意図したアイコンとは別のアイコンをタッチしてしまうこともある。更に、ドラッグ・アンド・ドロップ操作によりファイル等を移動する場合等は、移動先、例えばフォルダが小さいので目的のところへファイルをドロップしづらいこともあり、実際の操作は難しいものであった。
【００１０】
また、コンピュータに対してタッチパネルを用いて指で操作を行う場合、爪の先端でクリックする分にはあまり問題とならないが、指の腹でタッチする場合、タッチ面に軽くタッチしてしっかり押下するまでの間に座標点が動いてしまうことから、クリック操作なのかドラッグ操作なのか判別できない問題がある。この問題はダブルクリック操作の場合により顕著に表れ、１度目のタッチによる座標点と２度目のタッチによる座標点のずれが大きい為に、ダブルクリック操作と判断できないことがあった。
【００１１】
更に、通常のマウス操作において頻繁に用いられる右クリック操作やスクロール操作等は指だけでは実現できず、その場合には別にマウスを接続しておいてマウスで操作を行うか、この操作に割り当てられた特殊なボタンを押しながら指でタッチするというような操作が必要となるので、操作が煩雑であり直感的な操作ができなかった。従って、タッチパネル一体型表示装置は、銀行のＡＴＭ端末等、一定の操作しか行わない特定の用途に限った環境で利用されることが多かった。
【００１２】
本発明は、斯かる実情に鑑み、タッチパネルの入力検出面にタッチされる指や位置指示具の数（指なら本数）をカウントし、複数の指が同時に又は順にタッチされた場合にはその指と指の間の距離、太さ、更にはそれらの過渡的な変化量に対応して、マウスポインタの操作、キー入力操作、表示関係の操作等を行うようにし、より直感的な操作が可能なタッチパネルシステムを提供しようとするものである。
【００１３】
【課題を解決するための手段】
上述した本発明の目的を達成するために、情報処理装置と、該情報処理装置に接続され、複数の指示部位を有する指示体によるタッチ動作を前記情報処理装置へ伝えるためのタッチパネルとを有するタッチパネルシステムであって、該タッチパネルシステムは、前記タッチパネルの入力検出面に同時に又は順にタッチされる指示部位の数をカウントするカウント手段と、該カウント手段によりカウントされる指示部位の数に応じて前記情報処理装置が所定の動作を行うようにする制御手段とを具備することを特徴とする複数の指示部位で操作可能なタッチパネルシステムを提供する。
【００１４】
また、本発明は、複数の指示部位を有する指示体によるタッチ動作を情報処理装置へ伝えるためのタッチパネルであって、該タッチパネルは、前記指示部位を入力するための入力検出面と、該入力検出面にタッチされる指示部位の数をカウントするカウント手段と、該カウント手段によりカウントされる指示部位の数に応じて所定の動作を行うようにする制御手段とを具備することを特徴とする複数の指示部位で操作可能なタッチパネルを提供する。
【００１５】
更に、本発明は、タッチパネルと表示装置とが接続された情報処理装置において、該情報処理装置は、前記タッチパネルの入力検出面に複数の指示部位が同時又は順にタッチされる場合、タッチされた指示部位の数に応じて前記情報処理装置が所定の動作を行うようにする制御手段を有することを特徴とする情報処理装置を提供する。
【００１６】
カウント手段は、カウントされる指示部位が複数ある場合に、該複数の指示部位が隣接しているときは１つの指示部位がタッチされたものとして指示部位の数をカウントする。
【００１７】
タッチパネルは、タッチパネルの入力検出面にタッチされる指示部位の指示位置を検出する位置検出手段を備え、前記タッチパネルは更に、前記カウント手段によりカウントされる指示部位が複数ある場合に、前記位置検出手段により検出される該複数の指示部位のうち最外端にある２個所の指示部位の指示位置の間の距離を算出する距離算出手段を有し、前記制御手段は更に、前記距離算出手段により算出される指示位置の間の距離に応じて前記情報処理装置が所定の動作を行うようにする。
【００１８】
また、タッチパネルは更に、前記指示部位の太さを検出する太さ検出手段を有し、該太さ検出手段は、前記カウント手段によりカウントされる指示部位が複数ある場合に、前記位置検出手段により検出される該複数の指示部位のうち最外端にある２個所の指示部位の太さを包含した一連の太さとして検出し、前記制御手段は更に、前記太さ検出手段により検出される指示部位の太さに応じて前記情報処理装置が所定の動作を行うようにする。
【００１９】
カウント手段によりカウントされる指示部位が複数ある場合に、前記位置検出手段により検出される該複数の指示部位のうち最外端にある２個所の指示部位の間の中心位置を、指示部位の指示位置として、或いは、最初若しくは最後にタッチされる指示位置を、指示部位の指示位置として前記情報処理装置が所定の動作を行うようにする。
【００２０】
制御手段は、前記位置検出手段により検出される前記タッチパネルの入力検出面にタッチされる指示部位の指示位置から一定の距離を置いた位置を指示位置として前記情報処理装置が所定の動作を行うようにする。
【００２１】
制御手段は更に、距離算出手段により算出される指示位置の間の距離の過渡的な変化に応じて前記情報処理装置が所定の動作を行うようにする。
【００２２】
また、制御手段は更に、太さ検出手段により検出される指示部位の太さの過渡的な変化に応じて前記情報処理装置が所定の動作を行うようにする。
【００２３】
情報処理装置の所定の動作とは、指示部位の指示位置を最初にタッチした位置に静止しておく動作を含む。
【００２４】
指示部位の数、指示位置の間の距離、指示位置の間の距離の過渡的な変化、指示部位の太さ、又は指示部位の太さの過渡的な変化、に応じて行う前記情報処理装置の所定の動作を、いつでも任意に指定する動作設定手段を有する。
【００２５】
複数の指が同時に又は順にタッチされた場合にはその指と指の間の距離、太さ、更にはそれらの過渡的な変化量を検出し、これに応じてマウスポインタの操作、キー入力操作、表示関係の操作等を行うようにしたので、複数の指示部位で所望の操作が可能なタッチパネルを提供することができる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。図１は、本発明のタッチパネルシステムの概略を示すブロック図である。タッチパネルシステムは、大きく分けて位置入力装置１と情報処理装置２と表示装置７から構成される。位置入力装置であるタッチパネル１は、ＲＳ−２３２ＣやＵＳＢなどのＩ／Ｏインタフェースを介して通信手段３を用いて情報処理装置、例えばパーソナルコンピュータ２に接続される。タッチパネル１へのタッチ操作等に伴う情報は逐次パーソナルコンピュータ２に入力される。パーソナルコンピュータ２では、オペレーティングシステム４として例えばマイクロソフトのＷｉｎｄｏｗｓが稼動しており、これにはマウスポインタ８等を操作するためのＡＰＩ６が定義されている。また、オペレーティングシステム上で種々のデバイスを稼動・制御するためのプログラムであるデバイスドライバが、オペレーティングシステム４が起動する際にあらかじめ自動的に常駐している。デバイスドライバ５は、タッチパネル１に対応するデバイスドライバであって、タッチパネル１の入力検出面上に置かれる指等の位置指示具の指示位置座標等の情報が、タッチパネル１からデバイスドライバ５に受け渡される。デバイスドライバ５は、送られてきた情報を正しいマウスポインタの座標値に変換し、ＡＰＩ６をコールして表示装置７の表示画面上のマウスポインタ８を所定の位置へ移動させる。タッチパネル１上で指を動かせば、表示装置７の表示画面上のマウスポインタ８はそれに伴ってタッチパネル１で指示した位置に移動する。ここで、タッチパネルが表示装置の表示画面に重ねて設けられた入力装置一体型表示装置の場合には、実際にタッチした指示位置と表示されるマウスポインタの表示位置とを一致させるキャリブレーション処理等を施すのが通例である。
【００２７】
図２に、本発明に用いられる光遮断方式の光学式座標検出方式のタッチパネルの概略図を示す。尚、ここでは本発明に最も適した光学式座標検出装置を詳説するが、本発明はこれに限定されず、複数の指が入力されたときに指示位置が検出可能なタッチパネルであれば容易に適用可能である。例えば精度をあまり必要としないのであれば、感圧抵抗被膜型タッチパネルであっても構わない。
【００２８】
光学ユニット９から発せられた光が、再帰反射部材１１で再帰反射し、同じ光路を逆に辿って光学ユニット９に返ってくる。その光路の一部を指等の指示体１２が遮ると、その遮った方向を各光学ユニットで検出することができ、これにより指示体１２の指示位置を検出することができる。具体的には、図２に示すように、光を照射すると共に反射光を検出するように構成された光学ユニット９が、タッチパネルの入力検出面１０の上部の左右２個所に設けられている。また、入力検出面１０の左右と下の三方には再帰反射特性を有する再帰反射部材１１が設けてある。ここで、再帰反射特性とは、そこに入射した光が入射した方向へまっすぐに戻ってくるような反射の特性をいう。典型的な再帰反射部材は、小さな透明ビーズを多数埋め込んだ再帰反射シートとして入手可能である。特に最近は、かなり浅い角度で進入した光をも忠実にもと来た方向に返す再帰反射特性の優れたものが存在する。入力検出面１０上に光を遮るものが何も置かれていない時には、光学ユニット９から、入力検出面１０上を通過して再帰反射部材１１に入射した光は、逆の光路を通って光学ユニット９に戻ってくる。入力検出面に指１２などが置かれた時には、光の光路の一部が遮られて、光学ユニット９に帰らなくなる。この影の方角を光学ユニット９内部のＣＣＤセンサ等の１次元ＣＣＤにより検出することで、光を遮ったもののある方向を検出することができる。すなわち指１２が存在する方向が、二つの異なる光学ユニット９，９によって検出できれば、よく知られた三角測量の原理により指１２の正確な指示位置座標を算出できる。
【００２９】
図３は、光学ユニット９の一般的な構成例を示す図である。点光源１３から出た光は、シリンドリカルレンズ１４により扇形に広がる平面上の光束に変換され、ハーフミラー１５により９０度の角度で反射され、入力検出面１０上を横断して再帰反射部材１１へ投光される。再帰反射部材１１へ入射された光は、入射した方向へまっすぐに戻る方向に反射し、入力検出面１０上を再び横断してハーフミラー１５を透過して集光レンズ１６により集光されて例えば１次元受光素子（１次元ＣＣＤ）１７へ入射される。この１次元受光素子１７により指の影の方角を検出する。尚、光学ユニットは図示の装置に限定されず、他の装置、例えば光源を、扇形に配置された複数の発光ダイオードで構成してもよく、またハーフミラーの代わりにスリット付の反射鏡（トンネルミラー）を用いたものなどでも構わず、指示体の位置が検出できるものであれば如何なる装置でも用いることができる。
【００３０】
図４は、本発明の光学ユニット９の動作を説明するための構成ブロック図である。光学ユニット９の１次元ＣＣＤ１７からの信号は増幅器（アンプ）２１により、適当に増幅された後、Ａ／Ｄコンバータ２３によって、デジタル量に変換されてＣＰＵ２４に入力される。また、ＣＣＤ駆動回路２２はＣＣＤの駆動に必要なクロック信号などのタイミング信号をＣＣＤ１７に供給する。光学ユニット９の点光源１３はＣＰＵ２４から、トランジスタなどで構成される駆動回路１８を通じて制御される。また、ＣＰＵ２４はインタフェース装置２５、例えばＲＳ−２３２Ｃ、ＵＳＢ等を介して、パーソナルコンピュータ等の情報処理装置に接続される。
【００３１】
図５は、上述の光学ユニット９における１次元ＣＣＤ１７で受光した光量を簡略的に示した図である。尚、１次元ＣＣＤの画素が細かい程、また画素数が多い程、座標値の分解能が上がるが、説明上、図示したものは相当の画素を間引かれた状態を示している。図５（ａ），（ｂ）に、２つの光学ユニット９内の各々の１次元ＣＣＤで捕らえた光量２７を示す。指や指示棒等、光を遮蔽するものが入力検出面に置かれると、光学ユニット９からの光が遮断された位置に、２８，２９，３０のような光量が０となる領域が生ずる。尚、実際には外乱光などが入るため、完全に光量が０とはならない場合がある。また、指に遮られていない部分の反射光の光量が一定として示しているが、実際には外乱光の影響である程度の誤差が生ずる。しかし、便宜上光量は０とし、反射光の光量は一定として説明する。
【００３２】
左右の光学ユニット９において、それぞれ光量が０の位置を検出し、この領域を中心に近傍の画素の光量を含めて補間計算を行うことにより、指のタッチされた正確な位置座標点を計算することができる。
【００３３】
本発明では、指示位置座標の計算の他に、１次元ＣＣＤで受光した光量から以下の２種類の情報を得る。一つは、各々の光学ユニットの１次元ＣＣＤにおいて、光量が０の領域がある個所の数をカウントし光量が０の領域が複数あった場合にその間の距離を計算した距離情報である。もう一つは、光量が０の領域の幅、つまり指示体の太さの情報であり、光量が０の領域が複数あった場合には、それらをまとめて１つの指示体としてその太さを計算した太さ情報である。以下に、制御を行うデバイスドライバによる各情報の取得プロセスについて詳説する。
【００３４】
まず、光量が０の領域が複数ある場合のその間の距離の算出方法を説明する。図６は、光学ユニット９から得られる光量２７を簡略的に示した図であり、入力検出面に２つの位置指示具が存在する場合の図である。尚、説明上、片側の光学ユニットから得られる光量のみを示す。入力検出面に２本の指示具が入力されると、図示の通り、それに対応した部分に光量が０の領域が２個所（３２，３３）できることが分かる。このように、光量が０の領域が２個所存在する場合、その間の距離を計算するために、まず光量が０の領域３２，３３のそれぞれの領域の中心座標点を補間計算等の座標計算方法によって求める。尚、このときの座標計算は厳密に行わなくてもよい。このそれぞれの領域の中心座標点が求まれば、その各中心座標点間の距離３４を算出することが可能となる。更に、距離３４が求まれば各中心座標点の間の中心点を算出することもできる。
【００３５】
図７は、入力検出面に３つの位置指示具が存在する場合の１次元ＣＣＤで受光した光量２７の簡略図である。図から、光量が０の領域が３個所（３５，３６，３７）あることが分かる。この状態で距離情報を得るには、まず３個所の光量が０の領域のうち、最外端にある２個所の光量が０の領域の中心点座標を座標計算方法によって求める。そして、その中心点間の距離３８を算出し、これを３つの位置指示具が存在する場合の距離情報とする。即ち、間にある光量が０の領域は無視し、最外端にある領域間の距離を検出する。尚、更に複数の位置指示具が存在する場合も同様に算出する。
【００３６】
ここで、２つの１次元ＣＣＤはそれぞれ入力検出面の両角端に設けられており、それぞれの方向から位置指示具を撮像しているため、各光学ユニットにおいて算出された、光量が０の領域間の距離は異なるのが通例である。従って、単純に計算するとすれば、２つの１次元ＣＣＤそれぞれで得られた光量が０の領域間の距離に対して平均を取る方法や、どちらか大きい方を選ぶ方法がある。より正確に計算するならば、それぞれの位置指示具の指示位置座標を算出し、その座標情報から位置指示具間の距離を算出することも勿論可能である。
【００３７】
また、光量が０の領域の数をカウントするのに、少なくとも１つの１次元ＣＣＤに向かって直線上に複数の指示具を入力検出面にタッチした場合、この１次元ＣＣＤからは光量が０の領域は１つしかカウントできない。しかし、もう一方の１次元ＣＣＤでは、複数の指示具に対応する光量が０の領域が複数検出できる。従って、光量が０の領域の数をカウントする場合は、各１次元ＣＣＤからのカウント数のうち、数が多いほうを採用することで、入力された位置指示具の正確な数をカウントすることができる。ここで、指示位置が１次元ＣＣＤの設置されている上部側に近づく程、撮像画角が狭くなるため位置指示具の数をカウントするのが難しくなるので、１次元ＣＣＤは入力検出面からある程度離れた上部の位置に設置されることが望ましい。
【００３８】
次に、指示体の太さの算出方法を説明する。図８は、光学ユニット９から得られる光量２７を簡略的に示した図である。入力検出面に位置指示具が入力されると、それに対応した部分に光量が０の領域が生ずる。この光量が０の領域の幅３９を、位置指示具の太さとして検出する。このときの指示体の指示位置座標は、幅３９の真中の中心位置の座標とする。
【００３９】
図９は、光量が０の領域が複数ある場合の指示体の太さの算出方法を説明するための図であり、入力検出面に２つの位置指示具が存在する場合の１次元ＣＣＤで受光した光量２７の簡略図である。図示のように、２つの指示体に対応した光量が０の領域が２個所ある場合、光量が０の領域の端から端をとり、その幅４０を位置指示具の太さとして検出する。このときの指示体の指示位置座標は、例えば幅４０の真中の中心位置の座標とする。
【００４０】
図１０は、入力検出面に３つの位置指示具が存在する場合の１次元ＣＣＤで受光した光量２７の簡略図である。この場合も同様に、光量が０の領域の最外端同士の端から端をとり、その幅４１を位置指示具の太さとして検出する。即ち、間にある光量が０の領域は無視し、最外端にある領域間の幅を検出する。尚、更に複数の位置指示具が存在する場合も同様に算出する。このときの指示体の指示位置座標も、例えば幅４１の真中の中心位置の座標とする。
【００４１】
次に、複数の位置指示具がタッチパネルの入力検出面にタッチされた場合における、光量が０の領域間の幅、即ち検知される指示具の太さの過渡的変化に関して説明する。図１１，図１２は、指示体の太さの過渡的変化を表すグラフであり、縦軸は指示体の太さを、横軸は時間をそれぞれ示す。図１１は、タッチパネルの入力検出面に２本の指を揃えて同時にタッチし（Ｔ１）、そのまま１つの指をスライドさせて動かしたときの算出される太さの過渡的な変化を示す。２本の指を揃えてタッチした場合の光量が０の領域間の幅、即ち指示体の太さは、幅４５内に収まる。この幅をあらかじめ認知して決定しておけば、この段階で２本の指を揃えて同時にタッチしたことを認識することができる。次に２本の指のうちの一方の指をスライド移動させると（Ｔ２）、指示体の太さが徐々に増えていく。このときの過渡的な変化量は、一定の時間４８の間に増えた太さ４７である。次に、スライド移動させた指の限界に来た時点では、距離４６以上になる。ここで距離４６を越えれば２本の指をＶ字形にタッチしていると認識することができる。
【００４２】
図１２を用いて、２本の指で順にタッチパネルの入力検出面をタッチした場合の過渡的変化について説明する。１本の指でタッチした後（Ｔ１）、２本目の指を離れた場所にタッチした時（Ｔ２）の過渡的な変化量は、一定の時間４８の間に増えた太さ４９である。ここで、指をスライドさせた場合と、指を離してタッチした場合との過渡的変化の判断においては、変化量４９が所定の変化量以上であれば指が１本から２本となったと判断し、変化量が所定の変化量以下であれば指をスライドさせたと判断する。図１２に示す過渡的変化では、一定の時間４８の間に増えた太さ４９が所定の変化量を越えていると判断し、２本の指を順に離れた場所にタッチしたものと認識する。
【００４３】
また、人差し指と中指によるタッチを考えた場合、２本の指の間の幅の上限は自ずと決まってくるので、この幅を越えた幅の変化量が現れた場合は、例えば両手による入力等と判断する。
【００４４】
更に、位置指示具に対応する光量が０の領域の距離の過渡的変化においても、上述と同様の処理で判断可能である。即ち、過渡的な変化量が所定の変化量以上であれば指が１本から２本に順にタッチされたと判断し、変化量が所定の変化量以下であれば指をスライドさせたと判断することができる。これらの距離及び太さ情報を総合的に判断し、複数の指示体による種々の操作が検出可能となる。
【００４５】
次に、図１３から図１９を用いて、上述のような各情報を得て情報処理装置の制御を行うデバイスドライバを用いた本発明のタッチパネルシステムの具体的な操作例を以下に説明する。尚、表示装置と入力装置が一体となったタッチパネルシステムにおける操作例について説明するが、本発明はこれに限定されず、タッチパッド等の入力装置単体を情報処理装置に接続するものにも勿論適応可能である。
【００４６】
図１３（ａ）は、Ｗｉｎｄｏｗｓ等のＧＵＩ環境におけるアイコン等のボタンを操作する場合の最も基本的な動作であるボタンのクリック動作を示す。指５０で、表示画面上に表示されたアイコン５１をタッチすると、表示画面に重ねて設けられたタッチパネルがその指示位置座標を検知し、その指示位置座標に対応した位置にあるアイコン５１が左クリックされたと判断し、ＡＰＩをコールしてマウスポインタを操作する。これらの動作は従来と同様である。
【００４７】
ここで、クリックすべきボタンが指よりも小さい場合、更にはボタンが連続して縦横に隣接して表示されているような場合には、指５０によるクリックでは実際にボタンをクリックできたか、或いはどのボタンをクリックしたかが直感的に分かりにくい。しかし、本発明によれば、複数の指での操作が可能であるため、このような場合でも良好な操作性を保持できる。例えば、ボタンが指よりも小さい場合、図１３（ｂ）に示すように２本の指、即ち、人差し指と中指で小さいボタン５２を挟むことで、左クリックされたと判断してマウスポインタを操作すれば、指でボタンを隠すことがなくなりより直感的な操作が可能となる。
【００４８】
また、図１３（ｂ）に示すような２本の指で挟む操作をダブルクリックされたと判断するようにすることも可能である。通常、ダブルクリックは同じ場所を２度連続してタッチする操作をいうが、指での操作の場合、２度目のタッチの場所と１度目のタッチの場所とをほぼ同じ場所にすることが難しかった。本発明によれば、図１３（ｂ）のようにボタン５２を挟むように２本の指で同時にタッチする操作を、ダブルクリック動作に対応させておけば、デバイスドライバは所定のＡＰＩをコールしてマウスポインタを操作することが可能となる。この場合、タッチパネルの光学ユニットでは光量が０の領域が２個所あるので、デバイスドライバはその領域間の距離、及びその領域間の中心点座標を判断し、マウスポインタを制御することになる。ここで、２本の指の間の中心点座標の位置にボタン５２が存在することになるので、小さいボタンも指で隠すことなく、また１度のタッチでダブルクリックとすることが可能となるため、操作も直感的でより容易となる。
【００４９】
図１４に、２本指による他の操作方法を示す。図１４（ａ）は、２本の指を揃えてタッチしたときの図であり、図１４（ｂ）は、そのまま一方の指をスライドさせて動かしたときの図である。図１４（ａ）の状態においては、デバイスドライバは左クリック操作としてマウスポインタを制御する。次に図１４（ｂ）のように一方の指をスライドさせたときには例えばダブルクリック操作としてマウスポインタを制御する。具体的には、一方の指をスライドさせた場合、光量が０の領域が１個所から２個所に増えるので、デバイスドライバは、領域間の距離の過渡的な変化量から、２本の指の一方の指をスライド操作したと判断し、更に領域間の距離が所定の距離以上になった時点でダブルクリック操作としてＡＰＩをコールしてマウスポインタを制御する。
【００５０】
ここで、指示位置座標は、最初にタッチした位置に静止しておくことが望ましい。図１４を用いて指示位置座標について説明する。まず人差し指でアイコン５２をタッチした場合、デバイスドライバが検知する光量が０の領域は１個所であり、その中心を指示位置座標としておく。次に、人差し指はそのままの状態で中指を人差し指に揃えてタッチする（図１４（ａ））。このとき、光量が０の領域の太さが、或いは領域間の距離の過渡的変化から、指を揃えてタッチしたと判断し、この場合は指示位置座標は人差し指のタッチした場所、即ちアイコン５２の位置のまま固定しておく。その後、図１４（ｂ）に示すように、中指をスライドさせると、光量が０の領域の太さの変化が、或いは領域間の距離の変化が緩やかに増加するため、その過渡的な変化量から指をスライドさせたと判断する。このとき、座標点はアイコンの位置のまま固定しておき、ダブルクリック操作としてＡＰＩをコールしてマウスポインタを操作する。こうすることで、アイコンに対しては同じ場所でダブルクリックしたことになる。又、対応する操作によっては、スライドさせた指の位置に応じて指示位置座標を移動させること勿論可能である。更に、指をスライドさせるのではなく、はじくような動作であっても構わず、過渡的変化量が分かる動作であれば種々の動作が可能である。又、指示位置座標を静止しておくのは、最初にタッチした位置ではなく、最後にタッチした位置で静止しておくことも勿論可能である。即ち、人差し指をアイコンの近傍をタッチし、次に中指でアイコンをタッチするという動作でも構わない。
【００５１】
更に、従来のタッチパネルシステムでは指だけの操作では不可能であった右クリック操作も、本発明によるタッチパネルシステムでは容易に実現可能となる。例えば、人差し指でタッチした後、その指に添える形で中指をタッチしたときに右クリック操作としてＡＰＩをコールしてマウスポインタを操作することが可能となる。即ち、光量が０の領域の太さが所定以上の過渡的な変化量で増加したという情報を基に、指が１本から２本に増えたと判断できので、それに対応してデバイスドライバが右クリック操作と判断することができる。
【００５２】
ところで、タッチパネルでよく問題として挙げられるのは、指でタッチするときに掌を入力検出面内に置くことができないという所謂お手つき問題がある。これは、先に入力検出面にタッチしてしまった掌の場所を指示位置座標と誤認してしまい、その後にタッチした指を検出できないために生ずる問題である。場合によっては、予期しない場所にマウスポインタが移動してしまうことも有り得る。本発明では、入力された指の本数をカウントし、複数本入力されればその指間の距離、太さ、更には距離又は太さの過渡的な変化量をも検知することでマウスポインタを操作するため、お手つき問題も解消することが可能である。即ち、光量が０の領域が所定の数、領域間の距離が所定の距離、所定の太さ、又は所定の過渡的な変化量の範囲となった場合に、マウスポインタを任意に操作可能である。従って、所定以上の太さのものは例えば掌と判断できるため、マウスポインタの移動の静止、クリック操作のキャンセル等、誤動作等を抑止することが可能となる。尚、一旦マウスポインタの移動等の要求が始まった後それを解除するキャンセル操作等のタイミングとしては、光量が０の領域の数が減少した場合や、領域間の距離や太さが所定の範囲になった場合などのタイミングとすることが可能である。
【００５３】
図１５に、本発明のタッチパネルシステムの更に別の操作方法を示す。本発明によるタッチパネルシステムでは、タッチされた指の本数をカウントすることが可能であるため、例えば３本の指で同時にタッチした場合に所定の動作をコンピュータに対して行わせることも可能である。図１５の例は、３本の指で同時にタッチパネルにタッチした場合に、例えば特定の動作をアプリケーションに対して行えるような操作パッド５７を画面上に表示するものである。例えば、操作パッドにはアプリケーションの起動・終了、ウィンドウサイズの変更、移動、最大化、最小化、表示、非表示等の操作ボタン５８を設けておく。尚、操作パッドに設けるボタンとしては、ショートカットキーと呼ばれる特定のキー入力により行うことができる操作用ボタン等も考えられる。これらは勿論操作者が任意に設定できるようにしておくことが望ましい。各アイコンをタッチすることでデバイスドライバは所定のＡＰＩをコールしてアイコンに対応した動作をアプリケーションに対して行う。即ち、操作パッド５７が表示された後、１本の指で目的の操作ボタン５８をタッチすると、各々の操作をアクティブなアプリケーションに対して作用させる。尚、その後自動的に操作パッド５７を非表示にすることで、他のウィンドウ等の表示の邪魔をすることなく操作可能となる。
【００５４】
次に、図１６を用いて本発明のタッチパネルにおけるアイコンのドラッグ・アンド・ドロップ操作を説明する。図１６（ａ）に示すように、例えばまず人差し指でアイコン５９をタッチし、次に中指を、人差し指から少し離れた場所にタッチする。そして図１６（ｂ）に示すように、中指を人差し指と揃えるように寄せ、人差し指と中指でアイコン５９を挟むようにする。このとき、光量が０の領域は、始めは２個所にあったがその領域間の距離はゆっくりとした過渡的な変化量で減っていき１個所になる。この情報を基に、デバイスドライバはアイコンを挟んだと判断し、左クリックを押したままの状態としてＡＰＩをコールしてマウスポインタを操作する。次に図１６（ｃ）に示すように、２本の指を揃えた状態で入力検出面にタッチしたまま移動させると、ドラッグ操作と判断してアイコン５９をドラッグさせる。そして図１６（ｄ）に示すように、所望の位置で中指を入力検出面から離すことでドロップ操作と判断する。ドロップ操作は、これ以外に図１６（ａ）に示すように人差し指と中指を再度離す操作としてもよい。この場合はより直感的なドロップ操作が可能となる。更に、単に２本の指を所望の位置でタッチパネルから離す操作としてもよい。
【００５５】
尚、アイコンを挟む操作をした場合、図１７に示すように、アイコンを指でタッチした位置から少し離れた位置にずらして表示すれば、指でアイコンが隠れないためドロップさせる位置を決める等の操作を確実に行うことができるようになる。この場合、指でタッチした位置ではなく、ずらして表示されたアイコンの中心を指示位置座標とすることが操作上望ましい。
【００５６】
図１８は、指以外で操作する場合に用いることができる複数の位置指示部位を有する指示具の一例である。図示のものは最もシンプルなピンセット型の位置指示具６２であり、その先端には入力検出面へのタッチ部位６３が２個所に設けられている。ピンセット構造であるので、図１８（ａ）に示すように、通常はタッチ部位６３が各々離れた状態にあるが、両側から力を加えることによりタッチ部位６３をそれぞれ近づけることができる。図１８（ｂ）は、この指示具を用いてアイコン６４を挟む操作を行った状態を示す図である。この指示具によりアイコンを挟んだり離したりすることで上述のようなドラッグ・アンド・ドロップ操作等が可能となる。このような指示具を用いることで、指では操作が難しいようなより細かい操作を行うことが可能となる。
【００５７】
これまでに示してきたタッチに対するマウスポインタ等の制御等においては、各種装置、各ユーザ、各種アプリケーション等によりそれぞれ制御内容が変わってくることが容易に考えられる。そのため、カウントされた光量が０の領域の数、領域間の距離・太さの情報、これらの過渡的な変化量等に対応した操作をいつでも自由に選択・変更が可能となっていることが望ましい。例えば、各操作に対応する指の動きをユーザがあらかじめデバイスドライバに与えておくことが望ましい。これにより、様々な指の操作を様々なマウスポインタの動きに対応させることが可能となるだけでなく、各ユーザの癖等がデバイスドライバに正確に伝わり、誤作動も防止することできる。これらは各アプリケーション毎に設定することも勿論可能であり、その場合はアプリケーションがアクティブになるのと同時に設定変更をデバイスドライバで行えば、ユーザは設定切り換え操作を意識せずにアプリケーションを操作することができる。
【００５８】
本発明によるタッチパネルでは、光量が０の領域の数、領域間の距離・太さを検知できるため、例えば図１９に示すように、両手の掌でタッチパネルをタッチした場合に仮想キーボード６７を画面上に表示することも可能である。即ち、幅の広い光量が０の領域が２個所あり、且つその領域間の距離が所定距離以上であれば仮想キーボードを表示するようにすることができる。ここで、タッチされた掌の間の距離に応じて仮想キーボード６７の大きさを決めれば、手を大きく動かさなくても使用できるような所望の大きさのキーボードとすることが可能となる。図１９では、掌の一部７０が２個所タッチされているが、これは２本の指を所定の間隔以上離してタッチした場合にキーボードを表示するようにしてもよい。また、仮想キーボード以外にも種々のオブジェクトを表示可能であり、その場合もタッチ個所７０の距離に応じたサイズのオブジェクトを表示すればよい。
【００５９】
尚、本発明の複数の指示部位で操作可能なタッチパネルシステムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、タッチパネルは光遮断方式の光学式座標検出方式のものを例示したが、複数の指が入力されたことを検出できればこれに限定されず、例えば感圧抵抗被膜型タッチパネルであってもよい。
【００６０】
また、指の操作に対応するマウスポインタの動きも上述の例には限定されず、種々変更可能であり、例えば３本の指、或いは４本の指等、所望の指の本数による操作であっても構わない。
【００６１】
また、指示体は指以外に指示棒等、複数同時に又は順に入力検出面をタッチできるものであれば、本発明のタッチパネルシステムに適用可能である。
【００６２】
更に、コンピュータ等の情報処理装置がデバイスドライバを有する例について説明したが、本発明はこれに限定されず、例えばタッチパネル自体がそのファームウェアとしてデバイスドライバを格納しているものであってもよい。
【００６３】
【発明の効果】
以上、説明したように本発明のタッチパネルシステムによれば、入力される位置指示具の数をカウントし、複数の場合はその距離・太さ、更には過渡的変化量に応じて、所定の動作を行うようにすることができるため、指示体として複数の指により種々の入力操作が可能なタッチパネルシステムが実現でき、より直感的な操作が可能となる。
【図面の簡単な説明】
【図１】図１は、本発明のタッチパネルシステムを示すブロック図である。
【図２】図２は、本発明に用いられる光遮断方式の光学式座標検出方式のタッチパネルの略式平面図である。
【図３】図３は、本発明に用いられる光学ユニットの一例を示す図である。
【図４】図４は、本発明に用いられる光学ユニットの構成ブロック図である。
【図５】図５は、本発明に用いられる光学ユニットにおける１次元ＣＣＤで受光した光量を示す図である。
【図６】図６は、光量が０の領域間の距離を説明するために用いられる図であり、指示体が２本入力された場合に１次元ＣＣＤが受光した光量を示す図である。
【図７】図７は、光量が０の領域間の距離を説明するために用いられる図であり、指示体が３本入力された場合に１次元ＣＣＤが受光した光量を示す図である。
【図８】図８は、光量が０の領域の太さを説明するために用いられる図であり、本発明に用いられる光学ユニットにおける１次元ＣＣＤで受光した光量を示す図である。
【図９】図９は、光量が０の領域の太さを説明するために用いられる図であり、指示体が２本入力された場合に１次元ＣＣＤが受光した光量を示す図である。
【図１０】図１０は、光量が０の領域の太さを説明するために用いられる図であり、指示体が３本入力された場合に１次元ＣＣＤが受光した光量を示す図である。
【図１１】図１１は、光量が０の領域間の距離の過渡的変化を表すグラフであり、指をに２本揃えて入力し、その後一方の指をスライドさせたときの領域間の距離の過渡的変化を示す。
【図１２】図１２は、光量が０の領域間の距離の過渡的変化を表すグラフであり、指を２本離して入力したときの領域間の距離の過渡的変化を示す。
【図１３】図１３は、２本の指でアイコンをクリックする動作を示す図である。
【図１４】図１４は、２本の指でアイコンをダブルクリックする動作を示す図である。
【図１５】図１５は、３本の指で同時にタッチパネルにタッチした場合に、操作パッドを画面上に表示する様子を示す図である。
【図１６】図１６は、本発明のタッチパネルシステムにおけるドラッグ・アンド・ドロップ動作を示す図である。
【図１７】図１７は、アイコンを指でタッチした位置から少し離れた位置にずらして表示する様子を示す図である。
【図１８】図１８は、指以外で操作する場合に用いることができる指示具の一例を示す図である。
【図１９】図１９は、両手の掌でタッチパネルをタッチした場合に仮想キーボードを画面上に表示する様子を示す図である。
【符号の説明】
１タッチパネル
２情報処理装置
３通信手段
４オペレーティングシステム
５デバイスドライバ
６ＡＰＩ
７表示装置
８マウスポインタ
９光学ユニット
１０入力検出面
１１再帰反射部材
１２指示体
１３点光源
１４シリンドリカルレンズ
１５ハーフミラー
１６集光レンズ
１７カメラ
１８駆動回路
２２駆動回路
２３コンバータ
２５インタフェース装置

Claims

情報処理装置と、該情報処理装置に接続され、複数の指示部位を有する指示体による入力検出面へのタッチ動作を前記情報処理装置へ伝えるための、前記入力検出面にタッチされる指示部位の指示位置を検出する位置検出手段を備えたタッチパネルとを有するタッチパネルシステムであって、該タッチパネルシステムは、
前記タッチパネルの入力検出面に同時に又は順にタッチされる指示部位の数をカウントするカウント手段と、
前記位置検出手段により検出される複数の指示部位のうち最外端にある２個所の指示部位の指示位置の間の距離を算出する距離算出手段と、
前記カウント手段によりカウントされる指示部位の数に加えて、前記距離算出手段により算出される指示位置の間の距離又は該距離の過渡的な変化に応じて前記情報処理装置が所定の動作を行うようにする制御手段と、
を具備することを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、前記カウント手段は、該複数の指示部位が隣接しているときは１つの指示部位がタッチされたものとして指示部位の数をカウントすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、前記制御手段は、前記位置検出手段により検出される複数の指示部位のうち最外端にある２個所の指示部位の間の中心位置を、指示部位の指示位置として前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、前記制御手段は、前記位置検出手段により検出される複数の指示部位の指示位置のうち最初若しくは最後にタッチされる指示位置を、指示部位の指示位置として前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、前記制御手段は、前記位置検出手段により検出される前記タッチパネルの入力検出面にタッチされる指示部位の指示位置から一定の距離を置いた位置を指示位置として前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、前記情報処理装置の所定の動作とは、指示部位の指示位置を最初にタッチした位置に静止しておく動作を含むことを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、指示部位の数、指示位置の間の距離、指示位置の間の距離の過渡的な変化に応じて行う前記情報処理装置の所定の動作を、いつでも任意に指定する動作設定手段を有することを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載のタッチパネルシステムであって、前記制御手段は、表示装置に表示されるオブジェクトに対し、前記タッチパネルの入力検出面にタッチされた複数の指示部位が、該オブジェクトを挟むようにタッチされ、又は１本ずつ順にタッチされるのに応じて前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載の情報処理装置であって、前記制御手段は、前記入力検出面に対し、少なくとも２本の指示部位がタッチされ、該２本の指示部位がタッチされたまま指示部位を近づけたときに前記情報処理装置が前記オブジェクトに対するドラッグ動作を行うようにし、遠ざけたときに前記情報処理装置が前記オブジェクトに対するドロップ動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１に記載の情報処理装置であって、前記制御手段は、両腕の手の一部、又は少なくとも２本の指が一定の距離を置いてタッチされたとき、前記情報処理装置がその距離に応じたサイズのオブジェクトを表示装置に表示するようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
情報処理装置と、該情報処理装置に接続され、複数の指示部位を有する指示体による入力検出面へのタッチ動作を前記情報処理装置へ伝えるための、前記入力検出面にタッチされる指示部位の指示位置を検出する位置検出手段を備えたタッチパネルとを有するタッチパネルシステムであって、該タッチパネルシステムは、
前記タッチパネルの入力検出面に同時に又は順にタッチされる指示部位の数をカウントするカウント手段と、
前記位置検出手段により検出される複数の指示部位のうち最外端にある２個所の指示部位の太さを包含した一連の太さとして、指示部位の太さ検出する太さ検出手段と、
前記カウント手段によりカウントされる指示部位の数に加えて、前記太さ検出手段により検出される指示部位の太さ又は太さの過渡的な変化に応じて前記情報処理装置が所定の動作を行うようにする制御手段と、
を具備することを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、前記カウント手段は、該複数の指示部位が隣接しているときは１つの指示部位がタッチされたものとして指示部位の数をカウントすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、前記制御手段は、前記位置検出手段により検出される複数の指示部位のうち最外端にある２個所の指示部位の間の中心位置を、指示部位の指示位置として前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、前記制御手段は、前記位置検出手段により検出される複数の指示部位の指示位置のうち最初若しくは最後にタッチされる指示位置を、指示部位の指示位置として前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、前記制御手段は、前記位置検出手段により検出される前記タッチパネルの入力検出面にタッチされる指示部位の指示位置から一定の距離を置いた位置を指示位置として前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、前記情報処理装置の所定の動作とは、指示部位の指示位置を最初にタッチした位置に静止しておく動作を含むことを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、指示部位の数、指示部位の太さ、指示部位の太さの過渡的な変化に応じて行う前記情報処理装置の所定の動作を、いつでも任意に指定する動作設定手段を有することを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載のタッチパネルシステムであって、前記制御手段は、表示装置に表示されるオブジェクトに対し、前記タッチパネルの入力検出面にタッチされた複数の指示部位が、該オブジェクトを挟むようにタッチされ、又は１本ずつ順にタッチされるのに応じて前記情報処理装置が所定の動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載の情報処理装置であって、前記制御手段は、前記入力検出面に対し、少なくとも２本の指示部位がタッチされ、該２本の指示部位がタッチされたまま指示部位を近づけたときに前記情報処理装置が前記オブジェクトに対するドラッグ動作を行うようにし、遠ざけたときに前記情報処理装置が前記オブジェクトに対するドロップ動作を行うようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。
請求項１１に記載の情報処理装置であって、前記制御手段は、両腕の手の一部、又は少なくとも２本の指が一定の距離を置いてタッチされたとき、前記情報処理装置が検出した指示部位の太さに応じたサイズのオブジェクトを表示装置に表示するようにすることを特徴とする複数の指示部位で操作可能なタッチパネルシステム。