JP5439410B2 - 操作情報入力システム - Google Patents

Description

本発明は、物理デバイスとタッチスクリーンを用いてコンピュータに操作情報を入力する操作情報入力システムに関する。

従来のシステムは、ユーザが利用するポインティングデバイスは位置検出のためにコイルとマイコン制御された電子回路を用い、方向検出のためにダイアルとダイアルの角度を検出する電子回路を用いる（例えば、非特許文献１、２参照）。この結果、位置と方向は検出できるが、デバイスの形状に対する制限が強く、例えば小型な円筒のような形状を作成できない。さらに、電子回路を用いているため、容易に作成することができず、したがってポインティングデバイスが壊れたときに復元しにくい。特に児童が壊れたポインティングデバイスを復元することは困難である。加えて、電子回路を用いると、電池残量の確認及電池交換などの手間が生じる。

一方、ポインティングデバイスをカメラで認識する手法が考えられるが、カメラを持ち歩くことや、カメラを設置する場所を準備することが必要となり手間がかかる。また、画像処理技術は処理に時間がかかるため遅延などが発生し、カメラで認識する手法によるポインティングデバイスは低価格でリアルタイムなインタフェースを実現するためには向いていない。

Kobayashi, K., Hirano, M., Narita, A. and Ishii, H. A Tangible Interface for IP Network Simulation. In Proc. CHI 2003, ACM Press (2003), 800-801. Patten, J., Ishii, H, Hines, J. Pangaro, G., Sensetable: A wireless Object Tracking Platform for Tangible User Interfaces, in Proceedings of Conference on Human Factors in Computing Systems (CHI ‘01), ACM Press, 252-260, 2001

通信インフラの充実やスマートフォンやスレート型端末の普及によってインターネットや教材アプリの利用により既存情報の取得は容易に行われるようになった。この反面、現状はものづくり体験や科学的な観察行為の体験が少なくなってきている。特に小学生等の児童がこの種の体験を受ける機会が少なくなっていることは問題である。
また、スマートフォンやスレート型端末でのタッチ操作は便利であるが、操作できる内容は制限される問題もある。

タッチスクリーンに物理デバイスを付加してアプリケーションの拡張を行う試みがなされているが、物理デバイスに情報機器デバイスを用いるために導入コストが高く、技術に未熟な者（例えば児童）が物理デバイスをつくることは容易でない。その結果、物理デバイスを壊した場合の復元が難しいため製品を購入することが多くなり、ものづくり体験が減少してしまう。

本発明は、上記の事情に鑑みてなされたもので、タッチスクリーンを利用する操作を容易に拡張することができるポインティングデバイスを備える操作情報入力システムを提供することを目的とする。

上述の課題を解決するため、本発明の操作情報入力システムは、複数のビット部と非ビット部とを表面に含むデバイスと、ビット部のうちの複数のビット部の位置を同時に検出するタッチスクリーンと、第１の計算処理部とを具備する。そして、この第１の計算処理部により、前記タッチスクリーンが検出した複数のビット部の位置座標をそれぞれ検出して、当該複数のビット部間の距離を計算し、この計算された各距離のうちの最短距離を形成しかつ最長距離を形成するビット部を第１ビット部とすると共に、前記最短距離を形成する２つのビット部のうち前記第１ビット部を除いたビット部を第２ビット部とし、当該第１ビット部の位置座標と第２ビット部の位置座標とを結んだ直線と、前記タッチスクリーン上に定義される二次元座標系の一方の軸とのなす角度を、前記デバイスの方向として計算することを特徴とする。

本発明によれば、タッチスクリーンを利用する操作を容易に拡張することができる。

実施形態の操作情報入力システムの外観図。 図１のＮｏｎ−ＩＴデバイスの一例を示す図。 図２Ａ以外のＮｏｎ−ＩＴデバイスの例を示す図。 実施形態の操作情報入力システムによってあるアプリケーションを実行する場合を示す図。 図３Ａとは異なるアプリケーションを実行する場合を示す図。 図１のタッチスクリーンデバイスの一例を示すブロック図。 図４のＮｏｎ−ＩＴデバイス情報蓄積部が蓄積している情報を示す図。 図２Ａのデバイスでのビットパターンを説明するための図。 ビットパターン情報の等価性を示す図。 実施形態の操作情報入力システムの処理の一例を示すフローチャート。 図４の接地デバイス及び接地面検出処理部の処理の一例を示すフローチャート。 図４の接地デバイス方向計算処理部の処理の一例を示すフローチャート。 デバイスの方向について説明するための図。

以下、図面を参照しながら本発明の実施形態に係る操作情報入力システムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。

まず本発明の操作情報入力システムの概略を説明する。
タッチスクリーンが取り付けられたスマートフォンや電子書籍のためのスレート型端末が普及しつつある。一方で、児童の教育現場に電子化教材の検討が進んでいる。これらによって利用者は既知の情報をインターネットやダウンロードした教材を通じて容易に得ることができる。しかしながら、ものづくりや科学的な観察行為を体験する機会が少ないもしくは興味が失われてしまう可能性がある。この問題を解決するために本発明は、電子化教材を拡張し、ものづくりや科学的な観察行為を児童に体験させるポインティングデバイスである非情報機器デバイス（Ｎｏｎ−ＩＴデバイス：Ｎｏｎ−ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｄｅｖｉｃｅ）と、静電容量型タッチスクリーンとを用いた操作情報入力システムに関するものである。

本発明で使用されるＮｏｎ−ＩＴデバイスは、静電部（以後、ビット部とも呼ぶ）と非静電部とを含む面を１以上有し、日常売られているアルミ箔や紙など手軽に安価に購入できる材料で作ることができる。このＮｏｎ−ＩＴデバイスは、情報機器デバイスと異なり電子回路が搭載されていない特徴を持つので、たとえ児童がデバイスを壊しても簡単に復元できる。Ｎｏｎ−ＩＴデバイスは、例えば木材、発泡スチロール、及びアルミホイルから作られる。加えて電子回路を駆動する電池（バッテリー）も搭載されないため、電池残量の確認及び電池交換の手間がなくなる。詳細は後に図３Ａ及び図３Ｂを参照して説明する。

本発明で使用されるＮｏｎ−ＩＴデバイスは、静電部の数と各静電部の位置座標の関係性（以後、ビットパターンと呼ぶ）を用いて、ユーザの観察対象の選択、マクロもしくはミクロな視点に切り替えての観察、観察対象の情報を持ち運ぶ作業を行える機能を備えるものである。詳細は後に図３Ａ及び図３Ｂを参照して説明する。ビットパターンは、タッチスクリーンが認識することのできるビット部のパターンであるので、ビット部は静電部に限らず、タッチスクリーンが認識することができる領域をビット部として与えることができればよい。例えばＮｏｎ−ＩＴデバイスがビット部として突起部を有していて、この突起部が圧力をスクリーンにかけ、スクリーンが圧力を感知するものである場合には、圧力をかける領域のパターンがビットパターンとなる。

また、異なる形状で異なるビットパターンを有するＮｏｎ−ＩＴデバイスを用意すれば、このデバイスを変更するだけで容易に操作命令を変更することができる。さらに、形状は自由度がマウス等より格段に大きいので、形状によって操作内容が連想されるようにすることで、操作が直観的になり初めて使用する人にも使いやすくなる。このＮｏｎ−ＩＴデバイスは握って操作するので、細やかな操作を実現することができる。

本発明の操作情報入力システムはタッチスクリーンに接地したＮｏｎ−ＩＴデバイスのビットパターンを検出することによって、例えば以下（１−１）から（１−６）の機能を有する。Ｎｏｎ−ＩＴデバイスの種類によっては、これらの機能のうちのいくつかだけを有している場合もある。
（１−１）タッチスクリーンに接地したＮｏｎ−ＩＴデバイスの接地デバイス及び接地面をビットパターンから検出する機能
（１−２）タッチスクリーンに接地したＮｏｎ−ＩＴデバイスの接地位置を検出する機能
（１−３）タッチスクリーンに接地したＮｏｎ−ＩＴデバイスの方向を検出する機能
（１−４）タッチスクリーンに接地した筒型のＮｏｎ−ＩＴデバイスの穴の空いている領域を検出する機能
（１−５）（１−４）の穴の空いている領域に別の画像を表示する機能
（１−６）タッチスクリーンに接地したＮｏｎ−ＩＴデバイスの接地面のビットパターンに情報を付加する機能
これらの機能を有する操作情報入力システムを用いることで、例えば観察道具を作成するプロセスから科学的な観察行為までを児童が手軽に体験できる。

次に、本実施形態の操作情報入力システムについて図１を参照して説明する。
本実施形態の操作情報入力システムは、タッチスクリーン１０３を備えたデバイス（タッチスクリーンデバイス）１０１と、Ｎｏｎ−ＩＴデバイス１０２を含む。
タッチスクリーンデバイス１０１は、静電容量型のタッチスクリーン１０３を備えている。タッチスクリーンデバイス１０１は、複数の静電気を帯びた点の位置を同時に検出可能であるタッチスクリーン１０３を含む。タッチスクリーン１０３は、Ｎｏｎ−ＩＴデバイス１０２が載っているタッチスクリーンデバイス１０１の表面の一部である。タッチスクリーンデバイス１０１の処理の詳細については後に図４を参照して説明する。なお、圧力をかける領域のパターンがビットパターンとなる場合には、タッチスクリーン１０３は圧力を感知する機能を有しているものを使用する。

Ｎｏｎ−ＩＴデバイス１０２は、電子回路を有さず、静電部と非静電部とを含む表面を１つ以上有している。静電部は静電気を帯びた領域を有する。領域は多くの形状が可能であるが、例えば点状、矩形状である。静電部は導体であればよく、例えばアルミホイルで作成される。静電部がタッチスクリーンデバイス１０１に接地すると、その接地位置に指をタッチしたのと同様な効果を奏する。逆に非静電部がタッチスクリーンデバイス１０１に接地しても、タッチスクリーンデバイス１０１に何も接地していないような効果がある。非静電部は誘電体であればよく、例えば木材、発泡スチロールがある。またＮｏｎ−ＩＴデバイス１０２は、内部がくり抜かれている形状を有している。詳細には、多面体の各面に穴が空いていて各面に空いている穴が繋がって一つの穴を形成しているような形状を有している。本発明では、Ｎｏｎ−ＩＴデバイス１０２をユーザが持って操作できるので、タッチスクリーンに触れて操作するのを嫌がるユーザにとって望ましい。このＮｏｎ−ＩＴデバイス１０２はマウスの代わりにもなる。

次に、Ｎｏｎ−ＩＴデバイス１０２の一例について図２Ａを参照して説明する。
Ｎｏｎ−ＩＴデバイス１０２の形状は、図２Ａ（Ａ）に示すように、各面が中空になっていて各面は中空で繋がっている６面体である。各面の穴以外の部分（以下、単に面と呼ぶ）に、静電部２０１を複数箇所設け、静電部２０１が設けられていない面部分を非静電部２０２とする。それぞれの静電部２０１は、タッチスクリーン１０３に接地した場合に、タッチスクリーンデバイス１０１が接地したことを認識できる程度以上の大きさを有している。また各面にある複数の静電部２０１の位置で決まる位置パターンは、全ての面で異なっている。

Ｎｏｎ−ＩＴデバイスの形状は、図２Ａ以外にも幾つも考えられる。例えば図２Ｂに示したＮｏｎ−ＩＴデバイスであるデバイス２１１からデバイス２１５のようなものがある。デバイス２１１は６面体であるが、Ｎｏｎ−ＩＴデバイス１０２と異なり中空でない。デバイス２１２は四角形の枠状であり、上面と下面の２面にそれぞれ静電部になる突起があるパターンで配置されている。この突起がタッチパネルに図２Ｂに示したように接地することにより、タッチスクリーンデバイス１０１がビットパターンを認識しこのパターンに応じた動作を行う。デバイス２１３は、デバイス２１１の変形であり、ビットパターンがデバイス２１１とは異なる。デバイス２１４は、Ｎｏｎ−ＩＴデバイス１０２に類似しているが、各面が円筒形状に中空になっている点が主に異なる。デバイス２１５は、円筒形状であり、円筒の上面と下面、もしくはどちらかの面をタッチパネルに接地して使用する。デバイス２１５は、例えば図２Ｂの右に示したようにタッチパネルに接地して使用する。

ここで本発明の操作情報入力システムを利用して、一例として星座を観測するアプリケーションを実行する場合について図３Ａを参照して説明する。
Ｎｏｎ−ＩＴデバイス１０２は、図２Ａに示される６面体Ｎｏｎ−ＩＴデバイスを使用する。
このアプリケーションでは、以下の（２−１）から（２−６）までの６つの操作によってアプリケーションは異なる応答を出力する。
（２−１）Ｎｏｎ−ＩＴデバイスの接地面を変更する。
（２−２）Ｎｏｎ−ＩＴデバイスをスライドする。
（２−３）Ｎｏｎ−ＩＴデバイスを接地して時計回り／反時計回りをする。
（２−４）Ｎｏｎ−ＩＴデバイスの枠の中を上からのぞき見て観察する。
（２−５）枠の中を指でタッチする。
（２−６）枠の外を指でタッチする。

６つの接地面とタッチスクリーン１０３に表示する画像とは一対一対応しており、（２−１）の操作をすると表示画像を変更できる。例えば、図２Ａ（Ｂ）の面１がタッチスクリーン１０３に接地した場合は春の星座の画像が切り替えられ、同様に面２であれば夏の星座の画像、面３であれば秋の星座、そして面４であれば冬の星座に切り替えられる（図３Ａ（Ａ）のＰｈａｓｅ１）。
（２−２）の操作によって、観察対象の星座のある周辺の座標をＮｏｎ−ＩＴデバイスの枠で囲む（図３Ａ（Ｂ）のＰｈａｓｅ２）。この枠は、Ｎｏｎ−ＩＴデバイス１０２の内部のくり抜かれている空間を利用して画像を表示する際の画面の枠である。
（２−３）の操作によって、デバイスの位置座標と方向から枠の座標位置を検出し、加えてデバイスを時計回りまたは反時計回りに回転させた角度に応じて枠内の画像を拡大または縮小する（図３Ａ（Ｃ）のＰｈａｓｅ３）。例えば、時計回りに回転させれば枠内の画像が拡大され、反時計回りに回転させれば枠内の画像が縮小される。
（２−４）の操作によって、ユーザは観察対象の星座を観察できる（図３Ａ（Ｄ）のＰｈａｓｅ４）。
（２−５）の操作によって、枠内の画像のデータをコピーしデータベースに蓄積できる。このとき、接地面のビットパターンと枠内の画像データは一対一対応している。
（２−６）の操作によって、接地面のビットパターンに対応した画像データをタッチスクリーン１０３に出力できる。

このように、ユーザは観察する世界を選択し、観察する対象を選択し、拡大縮小しながら枠内をのぞき見ることで科学的な観察行為を体験できる。さらに、観察対象の画像を切り取り持ち運ぶこともでき、他のタッチスクリーンデバイスに出力できる。

上記のうちの（２−５）及び（２−６）の操作について図３Ｂを参照して説明する。ここでは図２Ｂに示したデバイス２１５を使用して画像データをコピーすることを説明する。
まず、枠の中を指でタッチすることにより、デバイス２１５のビットパターンと情報を対応付けてネットワーク上のデータベースに保存する。次に、デバイス２１５をコピーしたい相手のタッチスクリーンデバイス１０１に持って行き、デバイス２１５をこのスクリーンデバイスのタッチスクリーンに接地し、枠の外をタッチすることで先ほどコピーした画像を相手のタッチスクリーンデバイス１０１にコピーすることができる。

次に、タッチスクリーンデバイス１０１について図４を参照して説明する。
本発明に含まれるタッチスクリーンデバイス１０１は、図１に示すタッチスクリーン１０３の他に、接地点検知処理装置４００、データベース１ ４１０、データベース２ ４１５、リアルタイム処理発生装置４２０、接地点情報処理装置４３０、及び表示画面処理装置４４０を含む。
接地点検知処理装置４００は、接地点位置座標取得処理部４０１、及び接地点数処理部４０２を含む。
接地点位置座標取得処理部４０１は、Ｎｏｎ−ＩＴデバイス１０２の静電部２０１の接地点を検出し取得し、静電部２０１の位置座標を接地点情報蓄積部４１１に蓄積する。タッチスクリーンが圧力を感知する方式である場合には、接地点位置座標取得処理部４０１は、Ｎｏｎ−ＩＴデバイスの圧力をかける領域の接地点を検出し取得し、この領域の位置座標を接地点情報蓄積部４１１に蓄積する。
接地点数処理部４０２は、接地点情報蓄積部４１１に蓄積されている接地点の位置座標と取得時刻に基づいて、接地点の数を判断して処理内容を判断する。また、接地点数処理部４０２は、枠座標計算処理部４３４で計算された枠の座標に基づいて、ある接地点がこの枠内であるかどうかを検出する。

データベース１ ４１０は、接地点情報蓄積部４１１、Ｎｏｎ−ＩＴデバイス情報蓄積部４１２、画像情報蓄積部４１３、及び接地デバイス中心座標及び方向蓄積部４１４を含む。
接地点情報蓄積部４１１は、接地点位置座標取得処理部４０１が取得した接地点の情報を蓄積する。情報を蓄積する際は、接地点の位置座標と取得時刻とを記憶する。
Ｎｏｎ−ＩＴデバイス情報蓄積部４１２は、Ｎｏｎ−ＩＴデバイスの種類と、接地面とその面での全ての静電部の位置（静電部の配置パターン；ビットパターン）と、静電部間の距離比と、Ｏｒｉｇｉｎ Ｐｏｓｉｔｉｏｎに対する中心座標の距離及び向きと、を対応付けて記憶している。Ｎｏｎ−ＩＴデバイスの種類が異なるとアプリケーションも異なるように設定することができる。ビットパターンが異なれば異なる操作を行うことができる。またＮｏｎ−ＩＴデバイスが異なれば異なるアプリケーションに対応するので、異なる操作を行うことができる。
画像情報蓄積部４１３は、タッチスクリーン１０３に表示する画像を蓄積する。
接地デバイス中心座標及び方向蓄積部４１４は、接地点情報処理装置４３０で得られた接地したＮｏｎ−ＩＴデバイス１０２の中心座標及び向きを蓄積する。接地点情報処理装置４３０は、リアルタイム処理発生装置４２０が発行するイベントにしたがって通常ある一定の時間間隔で中心座標及び向きを検出し、検出したこれらの情報を接地デバイス中心座標及び方向蓄積部４１４へと渡す。

データベース２ ４１５は、例えば情報蓄積部４１５である。情報蓄積部４１５は、接地デバイス情報付加処理部４３５にて取得したデータを蓄積する。情報蓄積部４１５は例えば図３Ｂを参照して説明したようにコピーした内容を記憶する。

リアルタイム処理発生装置４２０は、一定時間間隔でタッチスクリーンデバイスの情報処理装置の処理を通知するイベントの発行を行う。

接地点情報処理装置４３０は、接地デバイス及び接地面検出処理部４３１、接地デバイス方向計算処理部４３２、接地デバイス位置座標計算処理部４３３、枠座標計算処理部４３４、接地デバイス情報付加処理部４３５、及び接地デバイス情報送信処理部４３６を含む。
接地デバイス及び接地面検出処理部４３１は、接地デバイス（タッチスクリーン１０３を含む）と接地面検出処理部を示し、タッチスクリーン１０３に接地したＮｏｎ−ＩＴデバイス１０２のデバイスの種類及び接地面を検出する。接地デバイス及び接地面検出処理部４３１は、Ｎｏｎ−ＩＴデバイス１０２の静電部２０１の位置座標の関係性（ビットパターン）から、ユーザが利用しているＮｏｎ−ＩＴデバイス１０２の種類と接地面を一意に検出する。検出方法はここでは従来の周知の方法でよく、特別の手法にこだわらない。
接地デバイス方向計算処理部４３２は、接地したＮｏｎ−ＩＴデバイス１０２の静電部２０１の位置座標からＮｏｎ−ＩＴデバイス１０２の方向を計算により検出する。接地デバイス方向計算処理部４３２の動作の一例の詳細は後に図８を参照して説明する。
接地デバイス位置座標計算処理部４３３は、接地したＮｏｎ−ＩＴデバイス１０２の静電部２０１の位置座標からＮｏｎ−ＩＴデバイス１０２の中心座標を計算により検出する。接地デバイス位置座標計算処理部４３３の動作の一例の詳細は後に図６のステップＳ６０６で説明する。
枠座標計算処理部４３４は、内部がくり抜かれたＮｏｎ−ＩＴデバイス１０２がタッチスクリーン１０３に接地した場合に、くり抜かれている空間を利用して画像を表示する際の画面の枠の座標を計算する。枠座標計算処理部４３４は、例えばデバイス２１５のように円筒型のような中がくりぬかれた非情報機器デバイスを検出した場合に円筒中の画面の画像を異なる画像に変更する。
接地デバイス情報付加処理部４３５は、接地したＮｏｎ−ＩＴデバイスの静電部２０１の位置関係（ビットパターン）に情報を付加（マッピング）し、ネットワーク上のサーバである情報蓄積部４１５に情報を蓄積する。例えば、タッチスクリーンデバイス１０１に接地されたＮｏｎ−ＩＴデバイス１０２に加え、別の物理デバイス（例えば指でも構わない）が新たに接地されたときに、Ｎｏｎ−ＩＴデバイス１０２の静電部２０１のビットパターンに情報を付加する。
接地デバイス情報送信処理部４３６は、接地デバイス情報付加処理部４３５で付加された情報を出力して別のデバイスに渡す。なお、接地デバイス情報付加処理部４３５と接地デバイス情報送信処理部４３６は例えば図３Ｂに示した操作の際に動作する。

表示画面処理装置４４０は、枠内画像拡大・縮小処理部４４１、及び画像更新処理部４４２を含む。
枠内画像拡大・縮小処理部４４１は、接地点情報処理装置４３０で得られた接地したＮｏｎ−ＩＴデバイス１０２の位置、向き及び枠の座標に基づいて枠内の画像を拡大／縮小する。枠内画像拡大・縮小処理部４４１は、拡大縮小ではなく、接地したＮｏｎ−ＩＴデバイス１０２の位置、向き及び枠の座標に基づいて、例えばページめくり、ピント合わせなどの操作を行ってもよい。
画像更新処理部４４２は、接地したＮｏｎ−ＩＴデバイス１０２の位置、向き及び枠の座標を踏まえ、タッチスクリーン１０３に画像を表示する。

ここで、Ｎｏｎ−ＩＴデバイス情報蓄積部４１２が蓄積している情報について図５Ａを参照して説明する。
Ｎｏｎ−ＩＴデバイス情報蓄積部４１２は、図５Ａに示すように、Ｎｏｎ−ＩＴデバイスの種類と、接地面とその面での全ての静電部の位置と、静電部間の距離比と、Ｏｒｉｇｉｎ Ｐｏｓｉｔｉｏｎに対する中心座標の距離及び向きと、を対応付けて記憶している。図５Ａではデバイスの種類は図２ＡのＮｏｎ−ＩＴデバイス１０２のみであるが、ここに図２Ｂに示したデバイス２１１から２１５を含んでいてもよい。
また、図５Ａでは静電部の位置を示しているが、突起部の位置を示してもよい。この場合にはタッチスクリーン１０３は、静電気を帯びた点の位置ではなく、圧力を受けた点の位置を検出する機能を有するものを設置する。この場合、例えばデバイス２１２のような突起部を有するデバイスを使用する。

図５Ａでは静電部間の距離比を蓄積しているがこれと等価な意味を有する角度比を記憶していてもよい。この距離比または角度比により、タッチスクリーンデバイス１０１はビットパターンを認識することができる。

ここでビットパターンについて図５Ａ、図５Ｂ、及び図５Ｃを参照して説明する。
ビットパターンは、Ｎｏｎ−ＩＴデバイス上の面に配置されているビット部の位置の配置関係を示す型である。ビット部は、タッチスクリーンが画面内の位置を認識することができるものであれば、どんな形式で示されてもよい。ビット部は例えば、導体からなる静電部、タッチパネルに圧力をかける圧力部等がある。このビット部のタッチスクリーンでの位置が異なれば、それは異なるビットパターンを示しているとタッチスクリーンデバイス１０１が認識しこれら異なるビットパターンによって異なる操作を実行する。図１及び図２Ａで示したＮｏｎ−ＩＴデバイス１０２の場合には、例えば図５Ａ及び図５Ｂに示した６つのビットパターンがある。この６つのビットパターンのそれぞれに異なる操作内容を対応付けることができる。

図１及び図２Ａで示したＮｏｎ−ＩＴデバイス１０２の場合には、タッチスクリーンデバイス１０１が検出したビット部の集まりが、この６つのビットパターンのうちのどれに対応するかを認識するためには、大まかに言えば、ビット部間の距離の比により認識する場合と、ビット部を結んだ図形のある角度により認識する場合がある。ビット部間の距離の比により認識する場合には、接地点情報蓄積部４１１から３つの位置座標を取得し、この座標によって３点間の距離を算出する。これらの距離のうち最も短い距離で３つの距離を正規化する。図５Ａ及び図５Ｂに示したビットパターンの場合には、距離の比は、図５Ａ及び図５Ｂに示すように３パターンがあるので、距離の比によって、図５Ｂの６つのパターンのうちの上段、中段、下段に示した３種類のうちのどれであるかがわかる。距離の比だけでは、ベースビットパターンであるのか、このパターンの鏡面対称のパターンであるのかが判別できない。そこで、３点のうちのＴｈｉｒｄ ＰｏｉｎｔもしくはＬｏｎｇ Ｈａｎｄと呼ばれるビット部がどこに位置しているかを接地点情報蓄積部４１１から取得することによって、ベースビットパターンであるのか鏡面対称パターンであるのかを判別できる。ここで３つのビット部の定義をする。最も短い距離を形成し、かつ最も長い距離を形成したビット部をＯｒｉｎｇｉｎ Ｐｏｉｎｔ（以後、ＯＰと呼ぶ）とする。最も短い距離を形成する２点の静電部２０１のうちＯＰを除いた点をＳｅｃｏｎｄ Ｐｏｉｎｔ（以後、ＳＰもしくはＳｈｏｒｔ Ｈａｎｄと呼ぶ）とする。最後に残った点をＴｈｉｒｄ Ｐｏｉｎｔ（以後、ＴＰもしくはＬｏｎｇ Ｈａｎｄと呼ぶ）とする。

ビット部を結んだ図形のある角度により認識する場合には、接地点情報蓄積部４１１から取得した３つの位置座標によって３点から形成される三角形の３つの角の角度を計算する。この３つの角度のうちの最大角度を調べることによって、図５Ｂの６つのパターンのうちの上段、中段、下段に示した３種類のうちのどれであるかがわかる。ベースビットパターンであるのか鏡面対称パターンであるのかを判別することは、ビット部間の距離の比により認識する場合と同様である。

以上の説明で理解できるように、図５Ｃに示すように、図５Ａ及び図５Ｂで示したビットパターンは、ビット部間の距離の比とＴＰの位置とで表現することと等価であり、ビット部を結んだ図形のある角度とＴＰの位置とで表現することとも等価である。

次に、本実施形態の操作情報入力システムの処理内容の一例の概要について図６を参照して説明する。本実施形態ではＮｏｎ−ＩＴデバイス１０２は図２Ａのように各面に静電部２０１が３点あるデバイスを利用することを前提とする。
リアルタイム処理発生装置４２０がタッチスクリーンデバイス１０１内に存在するＣＰＵのタイマー処理を用いて例えば３３ｍｓごとにイベントを発生させる（ステップＳ６０１）。イベントが発生すると接地点位置座標取得処理部４０１がタッチスクリーン１０３上の静電分布に基づいてＮｏｎ−ＩＴデバイス１０２の静電部２０１の位置と座標を検知し、接地点情報蓄積部４１１に蓄積する（ステップＳ６０２）。次に接地点数処理部４０２が接地点情報蓄積部４１１から最新時刻に検知された静電部２０１の数を調べ、タッチスクリーン１０３に接地している静電部２０１の数が３の場合と、この数が４の場合で処理を分ける（ステップＳ６０３）。上記のＮｏｎ−ＩＴデバイス１０２を使用している場合にはタッチスクリーン１０３に接地している静電部２０１の数が４になるのは、静電気を帯びている点状のものをタッチスクリーン１０３に接触させた場合、例えば１本の指をタッチスクリーン１０３に接触させた場合である。最初にタッチスクリーン１０３に接地している静電部２０１の数が３の場合の処理について図７を参照して説明する。

図７は接地デバイス及び接地面検出処理部４３１の処理の一例である（ステップＳ６０４）。接地点位置座標取得処理部４０１が検知した３点の静電部２０１の位置座標を接地点情報蓄積部４１１から取得し（ステップＳ７０１）、各静電部２０１の距離を計算する（ステップＳ７０２）。得られた３つの距離の中で最も小さい距離を基準とし、その距離で導出した各距離を割って正規化する（ステップＳ７０３）。一方、Ｎｏｎ−ＩＴデバイス情報蓄積部４１２は、図５Ａに示すように、図５Ｂのようなビットパターン（ビット部の位置関係；ここでは距離の比率）に対応するデバイスとデバイスの面の関係性が蓄積されている。正規化して得られた比率及びＴＰの位置とＮｏｎ−ＩＴデバイス情報蓄積部４１２のデータベースの情報とを照合し、接地デバイス及び接地面を一意に決定する（ステップＳ７０４）。次に接地デバイス方向計算処理部４３２の動作に移る。

接地デバイス方向計算処理部４３２の処理の一例（ステップＳ６０５）について図８を参照して説明する。
接地点情報蓄積部４１１から、検知した３点の静電部２０１の位置座標を取得し、各静電部２０１の間の距離を計算する（ステップＳ７０１、Ｓ７０２）。距離計算をしたときに、最も短い距離を形成し、かつ最も長い距離を形成した静電部２０１をＯＰとする（ステップＳ８０１）。次に最も短い距離を形成する２点の静電部２０１のうちＯＰを除いた点をＳＰとする（ステップＳ８０２）。最後に残った点をＴＰとする（ステップＳ８０３）。ＯＰとＳＰの位置座標を取得する（ステップＳ８０４）。このとき、タッチスクリーン座標系に対するＯＰを基準としたＳＰへの角度をデバイスの方向とする（ステップＳ８０５）。

ここでデバイスの方向について図９を参照して説明する。デバイスの方向は、タッチスクリーン座標系を参照する。タッチスクリーン座標系は、タッチスクリーンの例えば水平方向を水平軸、垂直方向を垂直軸とする座標系である。ＯＰとＳＰとを結んだ直線と、タッチスクリーン座標系の例えば水平軸との成す角度をデバイスの方向とする。

次に、接地デバイス位置座標計算処理部４３３の動作に移る。接地デバイス位置座標計算処理部４３３の処理内容（ステップＳ６０６）について説明する。Ｎｏｎ−ＩＴデバイス情報蓄積部４１２にＯＰに対するデバイスに中心座標への距離と向きが蓄積されている。この距離と向きは例えば、図５Ａの矢印のベクトル情報である。タッチスクリーン座標系から見たＯＰの位置座標から図５Ａの矢印のベクトルを加えることでタッチスクリーン座標系を基準としたデバイスの中心座標が求められる。ここではこの中心座標をデバイスの位置座標としているが、ユーザの意思、アプリケーション等に応じて変更してもよい。次に、枠座標計算処理部４３４の動作に移る。

枠座標計算処理部４３４の処理内容（ステップＳ６０７）について説明する。Ｎｏｎ−ＩＴデバイス１０２の枠の形状及び枠の位置座標もＮｏｎ−ＩＴデバイス情報蓄積部４１２に前もって蓄積されている。デバイスの位置座標（ここでは、上記の中心座標）とデバイスの方向を入力すると枠内の画像を切り取りできる。次に、枠内画像拡大・縮小処理部４４１の動作に移る。

枠内画像拡大・縮小処理部４４１の処理内容（ステップＳ６０８）について説明する。枠座標計算処理部４３４にて検出した枠内画像をオリジナル画像から切り取る。切り取った画像に対して例えば、時計回りの方向の変化に応じて画像を拡大し、反時計回りの方向の変化に応じて画像を縮小する。

次に、画像更新処理部４４２にて、オリジナルの画像を表示し、かつその上に枠内座標にのみ上記の拡大・縮小した画像を表示する（ステップＳ６１１）。これによって例えば図３ＡのＰｈａｓｅ２からＰｈａｓｅ３のような変化を与えることができる。これはあたかも望遠鏡で星を観察している作業と同じことをしている。

次に、ステップＳ６０３でタッチスクリーン１０３に接地している静電部２０１の数が４の場合での処理について説明する。
接地点数処理部４０２が、３点の静電部２０１の座標から４点目が増えたことを接地点情報蓄積部４１１の履歴から検出すると、４点目が枠内に存在するかどうかを調べる。そこで、接地点数処理部４０２が枠内にあることを検知すると、接地デバイス情報付加処理部４３５が枠内の画像を切り取りサーバ上のデータベース（情報蓄積部４１５）に保存する。このとき、保存された情報と接地面の静電部２０１の位置関係は一対一対応として保存される。逆に４点目が枠外である場合は接地デバイス情報送信処理部４３６が接地面の静電部２０１の位置関係に対応する情報を情報蓄積部４１５から取り出し、画面内に表示できる。このとき、別のタッチスクリーンで行うと、図３Ｂを参照して説明したように、Ｎｏｎ−ＩＴデバイスを持ち歩くことによってあたかも切り取った画像を持ち運ぶことと同等のことができる。

以上の実施形態によれば、ユーザが使用するデバイスに特有の配置パターンを有するビット部を有するデバイスをタッチスクリーンに接地することによって、ビットの位置と予め登録されている配置パターンとを照合して、デバイスの種類、タッチスクリーンと接地するデバイスの接地面、デバイスの方向、デバイスの位置座標のうちの少なくとも１つを検出してアプリケーションの操作をすることによって、タッチスクリーンを利用する操作を容易に拡張することができる。

また、本発明のポインティングデバイスは安価で容易に作成することができ、かつ、取り扱いがしやすいので、例えば児童学習用のキットとして利用しやすい。本発明はタッチスクリーンを備えた装置のアプリケーションを通じてものづくりや科学的な観察行為を容易に体験できる。

さらに、本発明は、例えばポインティングデバイスの回転が、デバイスによって拡大縮小、ページめくり、ピント合わせ等の操作に対応させることができ、デバイスを変えるだけで容易に様々な操作命令を変更することができる。指の感触による直観的で細かい操作ができるので、直観的な操作性を実現することが可能になる。ポインティングデバイスは容易に理想的な形状に作成可能なので、形状から操作内容を連想できるものを容易につくることができる。

またさらに、本発明は、ポインティングデバイスをユーザが持って操作できるので、タッチスクリーンに触れて操作するのを嫌がるユーザにとって望ましい。本発明のポインティングデバイスはマウスの代わりにもなるという利点もある。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０１…タッチスクリーンデバイス、１０２、２１１、２１２、２１３、２１４、２１５…Ｎｏｎ−ＩＴデバイス、１０３…タッチスクリーン、２０１…静電部、２０２…非静電部、４００…接地点検知処理装置、４０１…接地点位置座標取得処理部、４０２…接地点数処理部、４１０…データベース１、４１１…接地点情報蓄積部、４１２…デバイス情報蓄積部、４１３…画像情報蓄積部、４１４…方向蓄積部、４１５…データベース２、情報蓄積部、４２０…リアルタイム処理発生装置、４３０…接地点情報処理装置、４３１…接地デバイス及び接地面検出処理部、４３２…接地デバイス方向計算処理部、４３３…接地デバイス位置座標計算処理部、４３４…枠座標計算処理部、４３５…接地デバイス情報付加処理部、４３６…接地デバイス情報送信処理部、４４０…表示画面処理装置、４４１…枠内画像拡大・縮小処理部、４４２…画像更新処理部。

Claims (8)

1. 複数のビット部と非ビット部とを表面に含むデバイスと、
   前記ビット部のうちの複数のビット部の位置を同時に検出するタッチスクリーンと、
   前記タッチスクリーンが検出した複数のビット部の位置座標をそれぞれ検出して、当該複数のビット部間の距離を計算し、この計算された各距離のうちの最短距離を形成しかつ最長距離を形成するビット部を第１ビット部とすると共に、前記最短距離を形成する２つのビット部のうち前記第１ビット部を除いたビット部を第２ビット部とし、当該第１ビット部の位置座標と第２ビット部の位置座標とを結んだ直線と、前記タッチスクリーン上に定義される二次元座標系の一方の軸とのなす角度を、前記デバイスの方向として計算する第１の計算処理部と
   を具備することを特徴とする操作情報入力システム。
2. デバイスの種類と、該デバイスの面と、該面ごとのビット部の配置パターンと、を蓄積している第１のデバイス情報蓄積部と、
   前記タッチスクリーンが検出した複数のビット部の位置座標をそれぞれ検出して、当該複数のビット部間の距離を計算し、この計算された各距離のうちの最短距離を基準として各距離を正規化し、正規化後の各距離の比率と前記蓄積された配置パターンとを照合して前記種類と前記接地面とを検出する第２の計算処理部と
   を、さらに具備することを特徴とする請求項１記載の操作情報入力システム。
3. 前記第１ビット部から前記デバイスの中心までの距離及び向きをデバイスの面ごとに蓄積する第２のデバイス情報蓄積部と、
   前記タッチスクリーンが検出した複数のビット部の位置座標をそれぞれ検出して、前記第１ビット部の位置座標を計算し、当該計算された第１ビット部の位置座標に前記蓄積された距離及び向きを示すベクトルを加えることにより前記デバイスの位置座標を計算する第３の計算処理部と
   を、さらに具備することを特徴とする請求項１に記載の操作情報入力システム。
4. 前記デバイスは中空であり、
   前記中空の枠の形状と、デバイスに対する枠の位置及び方向とを蓄積した第３のデバイス情報蓄積部と、
   前記第３の計算処理部により計算されたデバイスの位置座標と、前記第１の計算処理部により計算されたデバイスの方向によりデバイスの位置を確定し、前記蓄積された枠の形状と位置及び方向により、前記タッチスクリーン上での前記枠の位置と方向を計算する第４の計算処理部と
   を、さらに具備することを特徴とする請求項３に記載の操作情報入力システム。
5. 前記位置と前記方向が計算された枠の中にある表示情報を、前記デバイスの操作に対応して予め登録されている処理に基づいて変化させる第５の計算処理部を、さらに具備することを特徴とする請求項４に記載の操作情報入力システム。
6. 前記ビット部の位置と前記第１のデバイス情報蓄積部に蓄積された配置パターンとを照合した後に、新たなビット部が追加して検出された場合に、該新たなビット部が検出された位置に応じて予め登録されている処理を行う第６の計算処理部を、さらに具備することを特徴とする請求項２に記載の操作情報入力システム。
7. 前記ビット部は静電部であり、前記タッチスクリーンは静電容量型である請求項１から請求項６のいずれか１項に記載の操作情報入力システム。
8. 前記ビット部は突起部であり、前記タッチスクリーンは圧力を感知することを特徴とする請求項１から請求項６のいずれか１項に記載の操作情報入力システム。

Images