JP5798903B2

JP5798903B2 - 情報入力システムとそのプログラム

Info

Publication number: JP5798903B2
Application number: JP2011272220A
Authority: JP
Inventors: 片岡　泰之; 泰之片岡; 良輔青木; 小林　透; 透小林; 渡部　智樹; 智樹渡部
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-12-13
Filing date: 2011-12-13
Publication date: 2015-10-21
Anticipated expiration: 2031-12-13
Also published as: JP2013125311A

Description

この発明は、多軸の操作情報を入力するための情報入力システムとそのプログラムに関する。

近年、テレビジョン装置を用いた映像コンテンツの表示分野において、３次元的に映像を視覚化させる技術が広く普及し始めている。平面ディスプレイを三次元的に視覚化させる技術は、テレビジョン装置を用いた映像コンテンツに限らず、タブレット型端末やゲーム機、パーソナル・コンピュータを用いたブラウジングやＧＵＩ（Graphical User Interface）にも応用されており、今後さらに普及することが期待される。

ところで、このような平面ディスプレイ上における映像コンテンツの操作を可能にする入力インタフェースとしては、マルチタッチインタフェースを持ったタブレット型端末や、トラックパッドが多く提案されている。しかし、それらの多くは平面ディスプレイ上における２次元（ｘ，ｙ）方向の位置座標と平面に対し垂直な軸を中心とする回転の計３自由度しか検出することができず、操作入力の自由度を十分に利用できていない。

そこで、三次元空間で位置と姿勢を表現するのに必要な６自由度を直感的に操作できるようにするため、上記３自由度に加えて他の３自由度を測定できるようにした技術が提案されている。例えば、非特許文献１に記載された技術は、指の爪先にカメラを装着し、指先をタッチパッドに押しつけたときの指先の透過光量と重心位置を上記カメラにより観測し、その観測データをもとに指の姿勢や押し込み量を算出するものとなっている。

「タッチパネルにおける爪上の透過光を利用した押下力と接触角度推定デバイス」、渡部陽一他、ヒューマンインターフェースシンポジウム２０１１、2537D、p749-p754

ところが、非特許文献１に記載された技術には次のような解決すべき課題があった。
(1) ユーザは指の爪先にカメラを装着しなければならず、しかもカメラとしては爪先が撮影できるような外部カメラを必要としていた。このため、スマートホンやタブレット型端末を使用するシーンを想定すると操作性に難点がある。
(2) 指先の光透過量は、指先の太さ等のユーザの特性に依存しやすい。そのため、ユーザごとに検出値の校正（キャリブレーション）を必要とするため、ユーザにとっては利便性が低い。
(3) 測定データの核となる指先角度と光量の関係を示す実験データでは、値の分散が大きく、ユーザが直感的に使用できるだけの精度を出すのが難しい。
(4) 指先でタッチパネルを押したときの押し込み量や姿勢の変化量は検出できても、実際にものが回転することを感じることはできない。

この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザの操作性及び利便性を損なうことなく、かつ高精度に位置と姿勢による多軸の操作データを入力できるようにした情報入力システムとそのプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の観点は、弾性変形可能な球状体からなる３個以上の接触子を有するオブジェクトと、このオブジェクトの接触子により押圧操作が行われたときにその接触位置及び接触圧を検出することが可能な検出シートを備えたタッチパネル型の入力検出装置とを具備する。そして、入力検出装置により、上記検出シートにより検出された上記タッチパネルに対する上記各接触子の接触位置をもとに、上記オブジェクト或いはタッチパネル上に定義された三次元座標系において、上記オブジェクトのｘ軸及びｙ軸の座標値と、ｚ軸を中心とする回転角をそれぞれ算出すると共に、上記検出シートにより検出された各接触子の接触圧をもとに、上記タッチパネルに対する上記各接触子の弾性変形による接触面積を算出し、当該算出された接触面積をもとに、上記三次元座標系における上記オブジェクトのｘ軸を中心とする回転角及びｙ軸を中心とする回転角を、上記三次元座標系における幾何学的解析により算出し、かつ上記算出された各接触子の接触面積の平均と分散を解析して、上記三次元座標系におけるｚ軸方向の変位を算出するようにしたものである。

したがって、この発明の第１の観点によれば、二次元平面上におけるｘ，ｙ方向の並進操作及びｚ軸を中心とする回転操作に加え、オブジェクトの姿勢を表すｘ軸を中心とする回転操作とｙ軸を中心とする回転操作、及びｚ軸方向の並進操作を含めた、計６つの自由度の操作を検出することが可能となる。

またこの発明の第２の観点は、弾性変形可能な球状体からなる２個の接触子を有するオブジェクトと、このオブジェクトの接触子により押圧操作が行われたときにその接触位置及び接触圧を検出することが可能な検出シートを備えたタッチパネル型の入力検出装置とを具備する。そして、入力検出装置により、上記検出シートにより検出された上記タッチパネルに対する上記各接触子の接触位置をもとに、上記オブジェクト或いはタッチパネル上に定義された三次元座標系において、上記オブジェクトのｘ軸及びｙ軸の座標値と、ｚ軸を中心とする回転角をそれぞれ算出すると共に、上記検出シートにより検出された各接触子の接触圧をもとに、上記タッチパネルに対する上記各接触子の弾性変形による接触面積を算出し、当該算出された接触面積をもとに、上記三次元座標系における上記オブジェクトのｘ軸を中心とする回転角及びｙ軸を中心とする回転角のいずれか一方を、上記三次元座標系における幾何学的解析により算出し、かつ上記算出された各接触子の接触面積の平均と分散を解析して、上記三次元座標系におけるｚ軸方向の変位を算出するようにしたものである。

したがって、この発明の第２の観点によれば、二次元平面上におけるｘ，ｙ方向の並進操作及びｚ軸を中心とする回転操作に加え、オブジェクトの姿勢を表すｘ軸を中心とする回転操作とｙ軸を中心とする回転操作のうちのいずれか一方と、ｚ軸方向の並進操作を含めた、計５つの自由度の操作を検出することが可能となる。

すなわちこの発明によれば、ユーザの操作性及び利便性を損なうことなく、かつ高精度に位置と姿勢による多軸の操作データを入力できるようにした情報入力システムとそのプログラムを提供することができる。

この発明の一実施形態に係る情報入力システムの外観を示す斜視図。図１に示した情報入力システムの情報端末の機能構成を示すブロック図。図１に示した情報入力システムのオブジェクトの動きと当該動きにより入力される操作情報との関係を示す図。図２に示した情報端末による全体の処理手順と処理内容を示すフローチャート。図４に示した処理手順のうち接触面積認識処理の処理手順と処理内容を示すフローチャート。図４に示した処理手順のうち接触点認識処理の処理手順と処理内容を示すフローチャート。図５に示した接触面積認識処理の一例を説明するための図。図５に示した接触面積認識処理の他の例を説明するための図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１はこの発明の一実施形態に係る情報入力システムの外観を示す斜視図である。
この実施形態に係る情報入力システムは、入力検出装置としての機能を有する情報端末１と、この情報端末１に操作データを入力するための操作器として用いるオブジェクト２とから構成される。

情報端末１は、例えばスマートホンやタブレット型端末からなり、端末本体の一方の面に表示デバイス１１を配置し、さらにこの表示デバイス上に入力デバイス１２を重ねて配置したものとなっている。表示デバイス１１は例えば有機ＥＬ（Electro Luminescence）デバイス又は液晶デバイスを用いたフラット表示パネルからなる。

入力デバイス１２は、上記表示デバイス１１上に透明な検出シートを重ねて配置した、いわゆるマルチタッチパネル方式の入力デバイスであり、検出シートには抵抗膜シートを用いている。抵抗膜シートは、シート上の複数の位置に触れたとき、その各接触部位の抵抗値の変化を利用して当該各接触部位の位置座標と接触面積をそれぞれ検出する機能を有する。

オブジェクト２は、正方形をなす板状の枠部材２１の４つの角部にそれぞれ接触子２２１〜２２４を取付けたものとなっている。接触子２２１〜２２４は、シリコンゴム又は樹脂により形成された弾性変形可能な球状体からなる。なお、枠部材２１の形状は正方形に限らず長方形、三角形又はリング状であってもよい。また、接触子は４個の場合のほか、３個の場合も考えられる。

図２は、情報端末１の機能構成を示すブロック図である。
情報端末１は、上記した表示デバイス１１及び入力デバイス１２に加えて、表示インタフェース（表示Ｉ／Ｆ）１３と、入力インタフェース（入力Ｉ／Ｆ）１４と、制御ユニット１５と、カメラ１６と、検出データ記憶部１７と、画像データ記憶部１８を備えている。

カメラ１６は、情報端末１に対し信号ケーブルを介して接続され、被対象物の撮像画像データを上記信号ケーブルを介して制御ユニット１５へ出力する。画像データ部１８は、記憶媒体として例えばＮＡＮＤ型フラッシュメモリを用いたもので、上記カメラ１６により撮像された画像データや、図示しない通信ユニットによりＷｅｂ等からダウンロードした画像データを記憶するために使用される。

入力Ｉ／Ｆ１４は、入力デバイス１２から抵抗膜シートの抵抗値の検出信号を取り込み、この検出信号をディジタル値に変換して制御ユニット１５へ出力する機能を有する。検出データ記憶部１７は、上記入力デバイス１２により検出された抵抗値検出データを記憶するために使用される。

制御ユニット１５はＣＰＵ（Central Processing Unit）を有し、この実施形態を実施するために必要な制御機能として、操作データ取得制御部１５１と、接地面積認識部１５２と、接地点認識部１５３と、表示制御部１５４と、カメラ制御部１５５を備えている。これらの機能は何れもアプリケーション・プログラムを上記ＣＰＵに実行させることにより実現される。

操作データ取得制御部１５１は、上記入力デバイス１２の抵抗膜シートにより検出された抵抗値のディジタル信号を一定の周期で上記入力Ｉ／Ｆ１４から操作検出データとして取り込み、この取り込んだ操作検出データを検出データ記憶部１７に記憶させる処理を行う。

接地面積認識部１５２は、上記検出データ記憶部１８から抵抗値検出データを読込み、この検出データをもとに入力デバイス１２のタッチパネルに対する接触子２２１〜２２４の接触面積を算出し、この算出された接触面積からオブジェクト２の姿勢を表すロール角φ及びピッチ角θと、押し込み量ｚを算出する機能を有する。

接地点認識部１５３は、上記検出データ記憶部１７から抵抗値の検出データを読込み、この検出データをもとに入力デバイス１２のタッチパネルに対する接触子２２１〜２２４の接触位置を表すｘ，ｙ座標と、姿勢を表すヨー角ψを算出する機能を有する。

表示制御部１５４は、カメラ１６により撮像された画像データ、又は画像データ記憶部１８に記憶された画像データを、表示Ｉ／Ｆ１３へ出力する機能を有する。
カメラ制御部１５５は、上記接地面積認識部１５２により算出されたｚ座標、ロール角及びピッチ角と、上記接地点認識部１５３により算出されたｘ，ｙ座標及びヨー角をもとにカメラ制御信号を生成する。そして、このカメラ制御信号をカメラ１６に与えることで、物体に対するカメラ１６の撮像位置と姿勢を制御する処理を行う。
表示Ｉ／Ｆ１３は、ビデオメモリを有し、上記制御ユニット１５から出力された映像データ等の表示データをビデオメモリ上に展開して表示デバイス１１に表示させる機能を有する。

（動作）
次に、以上のように構成されたシステムによる操作データの入力処理動作を説明する。図４は情報端末１による操作入力処理の手順と処理内容を示すフローチャートである。
ここでは、例えばカメラ１６により撮像された物体の画像が表示デバイス１１に表示されている状態で、オブジェクト２を情報端末１の入力デバイス１２上で操作することによりその位置と姿勢に応じて上記カメラ１６の撮像位置と姿勢をリアルタイムに制御し、これにより上記表示されている物体の画像を様々な視点で見ることができるようにする場合を例にとって説明を行う。

上記画像データの位置及び姿勢を制御するために、ユーザが入力しようとする操作データの種類は、図３（ａ）〜（ｆ）に示すように、ｘ方向の並進（移動量ｘ）と、ｙ方向の並進（移動量ｙ）と、ｚ方向の並進（移動量ｚ）と、ｘ軸周りの回転（ロール角φ）と、ｙ軸周りの回転（ピッチ角θ）と、ｚ軸周りの回転（ヨー角ψ）とからなる６種類である。すなわち、この実施形態ではオブジェクト２による６軸の自由度の操作を検出してこれを操作データとして入力する。

（１）操作データの受信・記憶処理
情報端末１では、制御ユニット１５が一定の周期で操作データの取り込みタイミングを監視している。この状態で取り込みタイミングになると、ステップＳ１により操作データ取得制御部１５１が、入力デバイス１２の抵抗膜シートにより検出された抵抗値のディジタル信号を入力Ｉ／Ｆ１４から操作検出データとして取り込む。そして、ステップＳ２により、上記取り込んだ操作検出データをその取り込み時刻を表す情報と共に検出データ記憶部１８に記憶させる。

（２）接地面積の認識処理
上記検出データ記憶部１８に操作検出データが記憶されるごとに、制御ユニット１５はステップＳ３において接地面積認識部１５２を起動し、この接地面積認識部１５２の制御の下で、先ず上記検出データ記憶部１８から操作検出データを読込む。そして、この読込んだ操作検出データをもとに、入力デバイス１２のタッチパネルに対する接触子２２１〜２２４の接触面積を算出し、さらにこの算出された接触面積からオブジェクト２の姿勢を表すロール角φ及びピッチ角θと、押し込み量ｚを算出する処理を実行する。

この接地面積認識部１５２による処理の具体例を以下に述べる。図５はその処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップＳ３１において、検出データ記憶部１８から、入力デバイス１２のタッチパネル上におけるオブジェクト２の各接触子２２１〜２２４の接触抵抗を表すデータを、接触面積Ｓ₁ ，Ｓ₂ ，…，Ｓ_n （ｎ≧３）を表すデータとして読込む。この実施形態では、接触子２２１〜２２４が４個であるため、上記ｎはｎ＝４となる。

次にステップＳ３２において、オブジェクトの重心位置（あるいは中心位置）に固定されたオブジェクト座標系、或いは入力デバイス１２のタッチパネル上に定義される座標系において幾何学的解析を行うために、仮想的な接触面積を算出する。ここでは、仮想的な接触面積としてオブジェクト座標系或いはタッチパネル座標系のｘ軸上に２つ（Ｓ_b ，Ｓ_d ）、ｙ軸上に２つ（Ｓ_a ，Ｓ_c ）定義し、幾何学的な関係からこれらを算出する。図７に４つの接触子２２１〜２２４を用いた場合の算出処理のイメージ図を示す。

続いてステップＳ３３において、上記算出された仮想的な接触面積Ｓ_a ，Ｓ_b ，Ｓ_c ，Ｓ_d から接触子２２１〜２２４の変形量を逆算し、仮想的な接触点におけるｚ軸方向の変位量ｚ_a ，ｚ_b ，ｚ_c ，ｚ_d を求める。そして、ステップＳ３４において、上記算出された変位ｚ_a ，ｚ_c をもとにｘ軸周りの回転角（ロール角φ）を算出する。またステップＳ３５において、上記算出された変位ｚ_b ，ｚ_d をもとにｙ軸周りの回転角（ピッチ角θ）を算出する。

さらに、上記接触子２２１〜２２４の接触点の重心位置におけるｚ軸方向の変位量を算出する。このｚ軸方向の変位量に関しても、上記仮想的な接触面積Ｓ_a ，Ｓ_b ，Ｓ_c ，Ｓ_d を求めた場合と同様に、先ず幾何学的な関係からオブジェクト座標系のｘ軸及びｙ軸上に仮想的な重心位置を定義して、当該重心位置における接触面積Ｓ_cgを算出する。そして、この算出された仮想的な重心位置における接触面積Ｓ_cgをもとに、ｚ軸方向の変位量を算出する。

具体的には、ステップＳ３６において各接触子２２１〜２２４の接地面積Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄ 或いはｚ軸方向の変位量ｚ_a ，ｚ_b ，ｚ_c ，ｚ_d の分散を閾値γと比較する。そして、この比較の結果分散が閾値γよりも小さければｚ軸方向へ変位したと判断し、ステップＳ３７において上記算出された仮想的な接触面積Ｓ_a ，Ｓ_b ，Ｓ_c ，Ｓ_d の平均を算出し、この平均値からｚ軸方向の変位量、つまり入力タッチパネルに対するオブジェクトの押し込み量を算出する。これに対し分散が閾値γ以上の場合には、ｚ軸方向へ変位していないと判断してそのまま処理を終了する。

以上の各処理により算出されたｘ軸周りの回転角（ロール角φ）、ｙ軸周りの回転角（ピッチ角θ）及びｚ軸方向の押し込み量の各データは、表示制御部１５４又はカメラ制御部１５５に与えられる。

（３）接地点の認識処理
制御ユニット１５は、次にステップＳ４において接地点認識部１５３を起動し、この接地点認識部１５３の制御の下で、上記検出データ記憶部１７から操作検出データを読み込み、この読込んだ操作検出データをもとに入力デバイス１２のタッチパネルに対する接触子２２１〜２２４の接触位置を表すｘ，ｙ座標と、姿勢を表すヨー角ψを算出する。

この接地点認識部１５３による処理の一例を以下に述べる。図６はその処理手順と処理内容の概要を示すフローチャートである。
すなわち、先ず検出データ記憶部１８から、入力デバイス１２のタッチパネル上におけるオブジェクト２の各接触子２２１〜２２４の接触抵抗の検出データを読込む。そして、先ずステップＳ４１において、この読込んだ接触抵抗の検出データをもとに頂点の数を検出すると共にこの検出された頂点間の辺の長さを算出する。そして、この検出された頂点の数と算出された辺の長さを、予め記憶してあるオブジェクト２の接触子２２１〜２２４の数と接触子間の長さデータと照合し、これにより上記接触操作がオブジェクト２によるものか否かを判定する。

そしてこの判定の結果、上記接触操作がオブジェクト２によるものであれば、次にステップＳ４２において上記検出された各頂点の入力タッチパネル上におけるｘ，ｙ座標を算出すると共に、これらの頂点のｚ軸周りの回転角であるヨー角ψを算出する。この算出されたｘ，ｙ座標とヨー角ψの各データは、表示制御部１５４又はカメラ制御部１５５に与えられる。

（４）カメラ制御
上記接地面積及び接地点の認識処理が終了すると制御ユニット１５は、次にステップＳ５によりカメラ制御部１５５を起動し、このカメラ制御部１５５の制御の下で以下のようにカメラの位置及び撮像姿勢を制御する。
すなわち、上記接地面積認識部１５２により算出されたｘ軸周りの回転角（ロール角φ）、ｙ軸周りの回転角（ピッチ角θ）及びｚ軸方向の押し込み量の各データと、上記接地点認識部１５３により算出されたｘ，ｙ座標とヨー角ψの各データをもとに、カメラの位置及び撮像姿勢の制御量に変換する。この変換処理は、例えば予め上記各データ値とカメラ制御量との対応関係を表す情報をメモリに記憶しておき、このメモリから上記各データに対応する制御量を読み出すことにより実現できる。なお、その他に、上記対応関係を表す計算式を用いてその都度計算するようにしてもよい。

そして、上記変換後のカメラ制御量のデータをもとにカメラ制御信号を生成し、このカメラ制御信号をカメラ１６に与える。この結果カメラ１６の撮像位置と姿勢が制御される。なお、カメラ１６の位置は例えばカメラを指示する三次元テーブルを駆動制御することにより行われ、またカメラ１６の撮像姿勢はパン、チルト角をそれぞれ制御することにより行われる。

かくして、カメラの撮像位置及び撮像姿勢はオブジェクト２の６自由度の操作に応じてリアルタイムに制御され、これによりカメラ１６により撮像中の物体を様々な視点で見ることが可能となる。

（５）表示画像の制御
またこの実施形態では、カメラ１６の撮像位置及び姿勢の制御の他、物体の三次元画像の表示状態を制御することもできる。この場合制御ユニット１５は、表示制御部１５４の制御の下で、上記接地面積認識部１５２により算出されたｘ軸周りの回転角（ロール角φ）、ｙ軸周りの回転角（ピッチ角θ）及びｚ軸方向の押し込み量の各データと、上記接地点認識部１５３により算出されたｘ，ｙ座標とヨー角ψの各データをもとに、表示中の物体の三次元画像の表示位置座標と姿勢を表す回転量を変化させる。

但し、その際に問題となるのは、姿勢角が有限の値しかとれないことである。そこで、姿勢角が円筒座標系であることに注目し、姿勢角度の最大値が９０度に対応するように定数倍する。このようにすれば、実質的にすべての姿勢の操作が可能となる。ｚ軸方向の変位量に関しても同様に、物体が表示デバイス１１において表現される３次元画像の領域内において、初期位置とオブジェクトを操作していないときの操作量とを対応させ、想定されるｚ軸方向の最大値とオブジェクトに最大の負荷をかけたときの操作量とを対応させる。このようにすることで、オブジェクト２の弾性変形量とｚ軸方向の位置とを１対１に対応させることが可能となる。

（実施形態の効果）
以上詳述したようにこの実施形態では、弾性変形可能な４個の接触子２２１〜２２４を持つオブジェクト２を用意し、このオブジェクト２の接触子２２１〜２２４を入力デバイス１２のタッチパネル上において操作したときのオブジェクト２の位置と姿勢を、接地面積認識部１５２及び接地点認識部１５３により接触子２２１〜２２４の接触面積から６つの自由度に分けて計算する。そして、この計算されたオブジェクト２の位置と姿勢をもとに、カメラ１６の撮像位置と姿勢、又は表示中の三次元画像の表示位置と姿勢を可変制御するようにしている。

したがって、オブジェクト２による操作を６つの自由度に分けて検出することができ、これによりカメラ１６の撮像位置と姿勢、又は表示中の三次元画像の表示位置と姿勢を可変制御することができる。すなわち、１個のオブジェクト２の操作により対象物の位置及び姿勢の６軸操作が可能となる。

［その他の実施形態］
前記実施形態では、弾性変形可能な４個の接触子２２１〜２２４を持つオブジェクト２を用いて６自由度の操作を実現する場合について述べたが、弾性変形可能な３個の接触子を持つオブジェクトを用いてもよい。
この場合には、接地面積認識部において、３個の接触子により検出された接触面積Ｓ₁ ，Ｓ₂ ，Ｓ₃をもとに、例えば図８に示すように仮想的な接触面積Ｓ_a ，Ｓ_b ，Ｓ_c ，Ｓ_d を算出する。そして、この算出された仮想的な接触面積Ｓ_a ，Ｓ_b ，Ｓ_c ，Ｓ_d から仮想的な接触点におけるｚ軸方向の変位量ｚ_a ，ｚ_b ，ｚ_c ，ｚ_d を求める。さらに、この算出された変位量ｚ_a ，ｚ_c をもとに回転角（ロール角φ）を算出すると共に、上記算出された変位ｚ_b ，ｚ_d をもとに回転角（ピッチ角θ）を算出する。

さらに、上記仮想的な接触点におけるｚ軸方向の変位量ｚa ，ｚb ，ｚc ，ｚd をもとにオブジェクト座標系のｘ軸及びｙ軸上に仮想的な重心位置を定義して、当該重心位置における接触面積を算出する。そして、この算出された仮想的な重心位置における接触面積をもとに、ｚ軸方向の変位量を算出する。
なお、ｘ，ｙ座標と、姿勢を表すヨー角ψについては、３個の接触子により検出された接触位置座標をもとに算出することができる。

また、弾性変形可能な２個の接触子を持つオブジェクトを用いてもよい。この場合も前述した４個の接触子を有する場合及び３個の接触子を有する場合と基本的に同様の接地面積認識処理及び接地点認識処理により位置及び姿勢の操作量を算出することが可能である。但し、２個の接触子を使用する場合には、ロール角φとピッチ角θのいずれか一方のみを算出可能であり、したがって５つの自由度の操作を実現する情報入力システムを提供できる。

さらに、入力検出装置としては、スマートホンやタブレット型端末以外に、マウスパッドのようなものであってもよい。この場合は、マウスパッドによりオブジェクトの接触子の位置座標及び接触圧を検出し、その検出データをＵＳＢ（Universal Serial Bus）等を用いた信号ケーブルや無線インタフェース、赤外線インタフェースを利用してパーソナル・コンピュータ等の情報端末に転送することにより実現できる。すなわち、入力検出装置は、情報端末にその一部として設けられるように構成しても、また単独で構成してもよい。

また、この発明の情報入力システムは、前記実施形態で述べたカメラ１６の撮像位置と姿勢の制御や表示画像の表示位置と姿勢の制御以外に、飛行機（飛行ロボット）の遠隔操縦インタフェースや、三次元ＣＡＤ（Computer-Aided Design）のアプリケーション、三次元ブラウジング用のマウス入力インタフェース三次元地図データの操作インタフェースとして利用可能である。

さらに、この発明に関連する技術として次のようなものが考えられる。すなわち、前記実施形態ではオブジェクトの接触子の位置座標及び接触圧を情報端末側で検出するようにした。これに対しオブジェクト側に、接触子の２次元方向への移動と回転を検出する機能と、接触子を情報端末のディスプレイ等に押しつけたときの枠体に対する接触子の圧力を検出する機能を設け、これらの検出機能により得られた検出データを無線インタフェースを使用して情報端末側へ伝送するようにしてもよい。

接触子の２次元方向への移動と回転を検出する機能としては、例えば加速度センサやジャイロセンサを利用することができ、また枠体に対する接触子の圧力を検出する機能としては、例えば枠体に抵抗膜シートを介在して接触子を取着する方式や、接触子を中空のゴムボールのような弾性体により構成し、この弾性体の空気圧を計測する方式を使用可能である。さらに、無線インタフェースとしては、Bluetooth（登録商標）や無線ＬＡＮ（Local Area Network）、無線タグで使用される無線インタフェース等の近距離無線データ通信規格を採用したインタフェースを利用できる。

このようにオブジェクト側に位置及び接触圧の検出機能を設けることで、オブジェクトは情報端末のタッチパネル上で操作する必要がなく、机上等でも操作することが可能となり、操作性の向上が期待できる。また、情報端末のタッチパネルは抵抗膜シート等の感圧シートを使用する必要がなくなり、静電容量式のシート等のその他のシートを用いることが可能となる。すなわち、情報端末は無線インタフェースさえ備えていればよく、種類やその構成に制約がなくなり、如何なるタイプの情報端末に対しても操作データを入力することが可能となる。

さらに、接触子としてはそれ自体が弾性変形するものである必要はなく、例えば固形物であってもよい。この場合には、入力検出装置のタッチパネルに圧力を検出するシートを使用し、固形物の押しつけ力をこの感圧シートで検出することにより実現できる。
その他、接触子の数やこの接触子が取着される支持部材の形状、情報端末の種類とその構成、接触子により指示された位置座標及び接触圧の検出処理の手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…情報端末、２…操作器、１１…表示デバイス、１２…入力デバイス、１３…表示インタフェース（表示Ｉ／Ｆ）、１４…入力インタフェース（入力Ｉ／Ｆ）、１５…制御ユニット、１６…カメラ、１７…検出データ記憶部、２１…支持板、２２１〜２２４…弾性体、１５１…操作データ取得制御部、１５２…接触面積認識部、１５３…接触点認識部、１５４…表示制御部、１５５…カメラ制御部。

Claims

弾性変形可能な球状体からなる３個以上の接触子を有するオブジェクトと、
前記オブジェクトの各接触子により押圧操作が行われたときにその接触位置及び接触圧を検出することが可能な検出シートを備えたタッチパネル型の入力検出装置と
を具備し、
前記入力検出装置は、
前記検出シートにより検出された前記タッチパネルに対する前記各接触子の接触位置をもとに、前記オブジェクト或いはタッチパネル上に定義されたｘ，ｙ，ｚの各軸により表される三次元座標系において、前記オブジェクトのｘ軸及びｙ軸の座標値と、ｚ軸を中心とする回転角をそれぞれ算出する手段と、
前記検出シートにより検出された各接触子の接触圧をもとに、前記タッチパネルに対する前記各接触子の弾性変形による接触面積を算出し、当該算出された接触面積をもとに、前記三次元座標系における前記オブジェクトのｘ軸を中心とする回転角及びｙ軸を中心とする回転角を、前記三次元座標系における幾何学的解析により算出する手段と、
前記算出された各接触子の接触面積の平均と分散を解析して、前記三次元座標系におけるｚ軸方向の変位を算出する手段と
を備えることを特徴とする情報入力システム。
弾性変形可能な球状体からなる２個の接触子を有するオブジェクトと、
前記オブジェクトの接触子により押圧操作が行われたときにその接触位置及び接触圧を検出することが可能な検出シートを備えたタッチパネル型の入力検出装置と
を具備し、
前記入力検出装置は、
前記検出シートにより検出された前記タッチパネルに対する前記各接触子の接触位置をもとに、前記オブジェクト或いはタッチパネル上に定義されたｘ，ｙ，ｚの各軸により表される三次元座標系において、前記オブジェクトのｘ軸及びｙ軸の座標値と、ｚ軸を中心とする回転角をそれぞれ算出する手段と、
前記検出シートにより検出された各接触子の接触圧をもとに、前記タッチパネルに対する前記各接触子の弾性変形による接触面積を算出し、当該算出された接触面積をもとに、前記三次元座標系における前記オブジェクトのｘ軸を中心とする回転角及びｙ軸を中心とする回転角のうちのいずれか一方を、前記三次元座標系における幾何学的解析により算出する手段と、
前記算出された各接触子の接触面積の平均と分散を解析して、前記三次元座標系におけるｚ軸方向の変位を算出する手段と
を備えることを特徴とする情報入力システム。
請求項１又は請求項２記載の情報入力システムの入力検出装置が備える各手段の処理を、当該入力検出装置が備えるコンピュータに実行させるプログラム。