JPWO2011145330A1 - 座標決定装置、座標決定方法及び座標決定プログラム - Google Patents

Abstract

ユーザが自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、座標モードの切替を行う座標決定装置を提供するため、本発明に係る座標決定装置（２００）は、座標入力装置（２０１）から座標情報を取得して記録媒体に格納する取得格納部（２０４）と、記憶媒体に格納された複数の座標情報のうち第１及び第２の座標情報によって示される入力時刻間の相関を特定する時間相関特定部（３２０）と、複数の座標情報のうち第３の座標情報及び第２の座標情報によって示される入力座標間の相関を特定する座標相関特定部（３２４）と、座標相関値及び時刻相関値に基づいて座標モードを選択する座標モード選択部（３２６）と、第２の座標情報によって示される入力座標を座標モード選択部（３２６）によって選択された座標モードにしたがった座標に変換する座標変換部（３２８）とを備える。

Description

本発明は、座標決定装置、座標決定方法及び座標決定プログラムに関し、特に座標入力装置から取得した入力情報に基づき、表示装置が有する表示部上でのポインタの座標位置を決定する座標決定装置等に関する。

ディスプレイの大画面化・高性能化に伴い、ＴＶを単に放送番組及び映画を視聴するために利用するだけでなく、インターネット接続による多様な情報閲覧、ネットワークに接続された家庭内機器との連携、写真閲覧やゲームといった各種アプリケーション、といった新しい機能が実現され利用されつつある。

このような状況において、今後も更に開発されると予想される多種多様なアプリケーションや機能を操作するためには、従来の代表的な複数のボタンで構成される入力装置に加えて、より自由度が高く柔軟な入力操作が可能な入力装置の開発が必須である。

ポインティングデバイスは、画面に表示されたポインタやカーソルを制御し、任意の位置及び方向を指定することがでる入力装置で、例えば、タッチパネル、トラックボール、ジョイスティック及びマウスなどである。従来のボタン型に比べて、ＧＵＩの構成に関わらず、メニューやオブジェクトの選択操作が容易なため、近年開発されている携帯電話やＡＶ機器、ゲーム機器に数多く搭載されつつある。

中でも、近年タッチパネルやタッチパッドを入力装置として採用している機器が多く開発されており、直接指やペンでタッチすることで操作できる直感性が特徴である。数多くのコマンド・ジェスチャ操作を使用することができるため、素早く自由度の高いポインティングデバイスとして情報機器に加えて、より多くのユーザが使う家電機器のリモコンにも用いられつつある。

このような従来の座標入力装置に依る表示装置上でのポインタ位置の提示方法及び操作方法は、「座標入力装置と表示装置が一体型となっているか分離型か」という分類軸、及び「ユーザが入力する座標入力装置側の座標系とシステムが表示する表示装置側の座標系が１体１に対応しているか」という分類軸によって、大きく４つに区分できる。

ここで一体型とは「１つのデバイスとしてタッチパネルのように重畳している形状」を指し、分離型とは「パソコンのディスプレイとマウスのような分離している形状」を指している。

以下、ユーザが入力する座標系とシステムが表示する座標系が１体１に対応しているものを絶対座標モードと呼び、それ以外を相対座標モードと便宜的に呼称する。また、両座標モードを相互に切り替えることを座標モード切替と便宜的に呼称する。

（１）一体型で絶対座標モードであるもの
表示装置の表示部（ディスプレイ）と座標入力装置の入力検知部（タッチパネル）が重畳した構成で、直接、表示部上の操作対象物（アイコン等）を触ることでポインティングを行うもの。任天堂社のＮｉｎｔｅｎｄｏＤＳ（登録商標）や、アップル社のｉＰｈｏｎｅ（登録商標）など。

（２）分離型で相対座標モードであるもの
表示装置の表示部と座標入力装置の入力検知部が物理的に重なり合っておらず、座標入力が表示装置に対して間接的になるもの。デスクトップパソコンのマウス、ラップトップパソコンのタッチパッドなど。ラップトップパソコン全体を１つの機器とみなした場合、タッチパッドと表示装置は一体型になっているとも言えるが、本願では、表示部と入力検知部が前例（１）のように物理的に重なり合っていないことから、分離型として扱う。

（３）分離型で絶対座標モードであるもの
タッチパッドやタブレットなどの入力検知部上の座標が、表示部上の座標に１対１で対応付けられているもの。手書き文字入力機器用のタッチパッド、描画ツール用の外付け入力タブレットなど。ワコム社（Ｗａｃｏｍ社）のペン入力型タブレットやタッチタブレット（液晶との一体型ではないもの）など。入力検知部に触れた（入力し始めた）座標点がそのまま表示部上の対応する座標位置に変換されるため、手書き漢字の入力やイラスト描画等に用いられる。

（４）一体型で相対座標モードであるもの
タッチパネルを用いた一部のゲームアプリケーションで、ゲーム中の主人公を操作するために、表示装置の表示部兼座標入力装置の入力検知部の一部を用いる例などがある。このケースに相当するコントロールデバイス・方法は、上記（１）〜（３）に比べ一般的ではない。

このように座標入力装置と表示装置の間には、座標のやり取り（表示コントロール）の方法において大きく「絶対座標モード」と「相対座標モード」の２つが存在する。

代表例として、図１６及び図１７に、「分離型で絶対座標モード」と「分離型で相対座標モード」を用いたポインティング例を示す。なお、入力検知部２１０は例えばタッチパッド等である。また、表示部２３０は例えばＬＣＤ（Liquid Crystal Display）等である。いま、座標モードの説明のため、入力検知部２１０を指でなぞると、そのポインタの軌跡が表示部２３０に表示されるものとする。

図１６は絶対座標モード時の入力検知部２１０での指の軌跡と表示部２３０でのポインタの軌跡の対応を示す図である。

例えば入力検知部２１０上に指を接触させ、軌跡Ａ６１０のようなぞると、表示部２３０上では軌跡表示Ａ６２０が表示される。このとき入力検知部２１０上の接触座標は表示部２３０上の座標に１対１に対応している。

一方、図１７は相対座標モード時の入力検知部２１０での指の軌跡と表示部２３０でのポインタの軌跡の対応を示す図である。

例えば入力検知部２１０上に指を接触させ、順に軌跡Ｂ６３０、軌跡Ｃ６３２、軌跡Ｄ６３４となぞると、表示部２３０では連続した軌跡表示Ｂ６４０、軌跡表示Ｃ６４２及び軌跡表示Ｄ６４４が表示される。ここで、軌跡表示Ｂ６４０、軌跡表示Ｃ６４２及び軌跡表示Ｄ６４４は、それぞれ軌跡Ｂ６３０、軌跡Ｃ６３２及び軌跡Ｄ６３４の入力にそれぞれ対応している。

特開２００１−１１７７１３号公報 特開平１０−３４０１５３号公報 特開平１１−０９５９１２号公報 特開２００６−２０１９１６号公報 特開２００１−２２８９６４号公報

花井幸太郎、角田博保著「接触面積を用いたタッチパッドのためのカーソル移動手法」、情報処理学会インタラクション２００８、電気通信大学情報工学科

しかしながら、従来の座標入力装置では、ユーザにとって自然な動作・操作体系の中で、自動的に座標モード切替をすることが出来ないという課題がある。

実用上、１つの座標入力装置において、座標モードの切替が必要となるケースは、頻繁に発生する。すなわち、１つの座標入力装置において、ユーザからの入力を絶対座標モードとして解釈すべき場合と、相対座標モードとして解釈すべき場合とが存在する。

相対座標モードと絶対座標モードのどちらで操作するかはユーザの好みの問題であるが、ユーザが快適な操作を行うには、座標モードを切り替えるための物理スイッチ等の操作無しに自動的に相対座標モードと絶対座標モードを切り替える必要が有る。しかし、従来技術では、座標モードを自動的に切り替える座標入力装置では実現できていない。

本発明は、こうした従来の課題を解決するもので、ユーザが自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、座標モードの切替を行う座標決定装置を提供することを目的とする。

本発明のある局面に係る座標決定装置は、入力座標に応じた出力座標を決定する座標決定装置であって、前記入力座標及び入力時刻を示す座標情報を順次取得して記録媒体に格納する取得格納部と、前記記録媒体に格納されている複数の座標情報のうち第１及び第２の座標情報によって示される入力時刻間の相関を時刻相関値として特定する時間相関特定部と、前記複数の座標情報のうち第２及び第３の座標情報によって示される入力座標間の相関を座標相関値として特定する座標相関特定部と、前記座標相関値及び前記時刻相関値に基づいて、第一の座標モード及び第二の座標モードのうちの何れか一方を座標モードとして選択する座標モード選択部と、前記第２の座標情報によって示される入力座標を、前記座標モード選択部によって選択された座標モードにしたがった座標に変換することによって、当該座標を前記出力座標として決定する座標変換部とを備え、前記座標変換部は、前記第一の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、当該入力座標に予め定め対応付けられた座標に変換し、前記第二の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、他の入力座標に対して既に決定された出力座標に応じた座標に変換する。

この構成によると、ユーザによる物理スイッチ等の特別な操作無しに、タッチ操作の時刻と、座標位置とに対応する特徴量をそれぞれ算出し、これらを統合してユーザのメンタルモデルを判断することにより、ユーザが自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、座標モードを切り替えることができる。

具体的には、前記座標相関特定部は前記入力座標間の距離を前記座標相関値として特定し、特定した前記座標相関値が事前に定められた特定の閾値未満であるか否かを判定し、前記時間相関特定部は前記入力時刻間の差を前記時刻相関値として特定し、特定した前記時刻相関値が事前に定められた特定の時間未満であるか否かを判定し、前記座標モード選択部は前記座標相関特定部及び前記時間相関特定部によって、前記座標相関値が特定の閾値未満であり、かつ前記時刻相関値が特定の時間未満であると判断された場合、前記第二の座標モードを座標モードとして選択してもよい。

このように判断することで、タッチ操作時の操作時間と、タッチした座標間の距離とを特徴量として、座標入力装置を操作するユーザのメンタルモデルに応じた座標モードを自動的に認識することができる。

好ましくは、前記取得格納部は、入力検知部を有する座標入力装置から座標情報を取得しており、前記第１の座標情報は、ユーザが前記入力検知部から指を離した時刻に対応する座標情報であり、前記第２の座標情報は、前記第１の座標情報が検知された後、ユーザが前記入力検知部に再度指を接触させた時刻に対応する座標情報であるとしてもよい。

このような情報を用いることで、ユーザの操作時刻からユーザにとって使いやすい座標モードを認識できる。

より好ましくは、前記第３の座標情報は、ユーザが前記入力検知部に指を接触させた時刻に対応する座標情報であり、前記第１の座標情報は、前記第３の座標情報が検知された後、ユーザが前記入力検知部から指を離した時刻に対応する座標情報であり、前記第２の座標情報は、前記第１の座標情報が検知された後、ユーザが前記入力検知部に再度指を接触させた時刻に対応する座標情報であるとしてもよい。

このような情報を用いることで、ユーザの操作時刻と座標からユーザにとって使いやすい座標モードを認識できる。

また、前記取得格納部は、さらに、ユーザによる選択操作の完了時刻である選択完了時刻を含む選択完了情報を取得して前記記録媒体に格納し、前記座標モード選択部は前記記録媒体から前記選択完了情報を取得し、前記第１の座標情報によって示される入力時刻が、前記選択完了時刻から事前に定められた特定の猶予時間内であれば、座標モードの選択を行わない若しくは座標モードの変更を行わないとしてもよい。

この処理により、クリックに伴う副次的なリリースで、ユーザの意図しない座標モードの切替を防ぐことができる。

また、前記座標決定装置は、さらに、前記座標入力装置を備えており、前記座標入力装置は、ユーザによる座標入力操作及び選択操作を受け付けて、前記座標情報及び前記選択完了情報を前記取得格納部に送信し、前記入力検知部は、機械的な押し下げ動作を検知可能なクリッカブルタッチパッドであり、ユーザが前記クリッカブルタッチパッドを押し下げた指を離したことに起因して前記クリッカブルタッチパッドの戻し動作が完了する時刻を前記選択完了時刻として特定してもよい。

この構成によると、クリッカブルタッチパッドを備えた座標入力装置において、ユーザによる物理スイッチ等の特別な操作無しに、ユーザが自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、座標モードを切り替えることができる。

また、前記座標モード選択部は、前記第２の座標情報より前に前記取得格納部が取得した複数の座標情報及び選択情報のうち少なくとも１以上に基づいて、ユーザの操作特性を示す操作度合いを算出し、前記算出された操作度合いに基づいて、前記特定の時間、前記特定の閾値及び前記特定の猶予時間のうち少なくとも１つを変更してもよい。

この処理によると、ユーザごとの操作の違いに応じて、個々のユーザによって、より自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、座標モードを切り替えることができる。

具体的には、前記座標モード選択部は、前記複数の座標情報に含まれる一の座標情報ごとに、当該座標情報によって示される入力時刻と、他の座標情報によって示される入力時刻との差を算出し、算出された前記複数の差の平均値の逆数を前記操作度合いとして算出するとしてもよい。

この処理によると、座標入力システムに対するユーザの慣れを操作度合いとして用いることができる。

さらに、前記座標モード選択部は、前記算出された操作度合いが大きいほど、前記特定の時間、前記特定の閾値及び前記特定の猶予時間のうち少なくとも１つを小さくなるように変更するとしてもよい。

この処理によると、座標入力システムに対するユーザの慣れが進むにつれ、ユーザにとって自然な動作の認識を迅速にできるようになる。

また、前記第３の座標情報で示される位置が、前記第１の座標情報で示される位置と一致してもよい。

また、前記第１の座標情報は、ユーザが前記入力検知部に一旦指を触れてから離すまでに入力された一連の座標情報である第１の座標系列に含まれ、前記第２の座標情報は、前記第１の座標系列の入力後、ユーザが再度前記入力検知部に指を触れてから指を離すまでに入力された一連の座標情報である第２の座標系列に含まれ、前記第３の座標情報は、前記第１の座標系列に含まれてもよい。

こうした様々な距離を用いることで、より多様な使用状況において自動的にユーザにとってより使いやすい座標モードを認識し、座標モードを切り替えることができる。

また、前記座標モード選択部は、前記第１の座標情報によって示される入力時刻から事前に定められた特定の時間が経過しておらず、かつ、前記取得格納部が前記第２の座標情報を取得していない場合には、表示部へ特定の画像を表示させてもよい。

この表示によると、ユーザはシステムが自動的に認識する座標モードについて予測することが可能となる。

また、前記座標決定装置は、さらに、前記第１の座標系列が、表示装置に対して特定の計算機処理の開始を指令するジェスチャであるか否かを判定する操作認識部を有し、前記操作認識部が前記第１の座標系列をジェスチャと判定した場合、前記座標モード選択部は、前記座標モードの選択を行わないとしてもよい。

この構成によると、様々なジェスチャを入力できる座標入力装置においても、ユーザが自然な動作を行う中で自動的にユーザにとって使いやすい座標モードを認識し、座標モードを切り替えることができる。

また、前記取得格納部は、さらに、ユーザが前記座標入力装置のどの位置を把持しているのかを示す把持情報を取得して前記記録媒体に格納し、前記座標決定装置は、さらに、前記記録媒体から取得した前記把持情報を用いてユーザによる前記座標入力装置の把持状況を推定する把持推定部を有し、前記座標モード選択部は、前記把持推定部が推定した把持状況に応じて、前記特定の閾値、前記特定の時間及び前記特定の猶予時間のうち少なくとも１つの値を変更するとしてもよい。

この構成によると、より正確に、ユーザにとって使いやすい座標モードを認識し、座標モードを切り替えることができる。

また、前記座標入力装置は、前記入力検知部を少なくとも２以上備え、前記取得格納部は、前記複数の入力検知部のうち第１の入力検知部から取得する座標情報及び第２の入力検知部から取得する座標情報を前記記録媒体に格納するとしてもよい。

この構成によると、２以上の入力検知部を備えた座標入力装置においても、ユーザにとって使いやすい座標モードを認識し、座標モードを切り替えることができる。

また、入力座標に応じた出力座標を決定する座標決定装置であって、座標入力装置から前記入力座標を示す座標情報を順次取得して記録媒体に格納する取得格納部と、表示装置に表示されるアイコンの中心に対応する表示装置上の座標と、前記記録媒体に格納された前記複数の座標情報のうち第２の座標情報によって示される入力座標を絶対座標モードにしたがって変換した出力座標との距離を特定する座標相関特定部と、前記距離に基づいて、絶対座標モード及び相対座標モードのうちの何れか一方を座標モードとして選択する座標モード選択部と、前記第２の座標情報によって示される入力座標を、前記座標モード選択部によって選択された座標モードにしたがった座標に変換することによって、当該座標を前記出力座標として決定する座標変換部とを備え、前記座標変換部は、前記絶対座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、当該入力座標に予め定め対応付けられた座標に変換し、前記相対座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、他の入力座標に対して既に決定された出力座標に応じた座標に変換する座標決定装置としてもよい。

この構成によると、ユーザが画面上の特定の位置に表示されたアイコンをクリックする際に、座標決定装置は自動的に絶対座標モードを選択することができ、ユーザの意図に沿った座標モードを選択することができる。

以上より、本発明によると、ユーザが自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、座標モードの切替を行う座標決定装置を提供できる。

図１は本実施の形態における、座標決定装置を実現する座標入力システムの外観図である。 図２は本実施の形態における、座標決定装置の一例を示す機能ブロック図である。 図３は本実施の形態における、入力検知部におけるユーザの操作の一例を示す模式図である。 図４は本実施の形態における、座標モードの判定に用いる接触座標の一例を示す模式図である。 図５は本実施の形態における、ポインタ表示終了後に取得された入力情報に対する座標モード判定処理を示す状態遷移図である。 図６は本実施の形態における、ポインタ表示終了前に取得された入力情報に対する座標モード判定処理を示す状態遷移図である。 図７は本実施の形態における、座標決定装置の処理を示すフローチャートである。 図８は本実施の形態における、リリースイベント以外のイベント処理の詳細を示すフローチャートである。 図９は本実施の形態における第１の変形例において、操作度合いによる閾値等の変更処理を示すフローチャートである。 図１０は本実施の形態における第２の変形例において、座標モードの判定に用いる距離の一例を示す模式図である。 図１１は本実施の形態における第３の変形例において、座標決定装置の処理を示すフローチャートである。 図１２は本発明の実施の形態における、座標決定装置を実現するコンピュータシステムの一例を示す外観図である。 図１３は本発明の実施の形態における、座標決定装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。 図１４ａは従来例（特許文献１）に開示されている座標切替手段のフローチャートである。 図１４ｂは従来例（特許文献１）に開示されている座標切替手段のフローチャートである。 図１５ａは従来例（特許文献５）に開示されている座標切替手段のフローチャートである。 図１５ｂは従来例（特許文献５）に開示されている座標切替手段のフローチャートである。 図１６は絶対座標モード時の入力検知部上での軌跡と表示装置上での軌跡の対応を示す図である。 図１７は相対座標モード時の入力検知部上での軌跡と表示装置上での軌跡の対応を示す図である。

まず、本願発明と従来技術との差異を明確にするため、座標決定装置において座標モードを切り替えるための従来技術についてより詳細に説明する。

従来、座標モードを切り替えるための技術としては、
・ユーザにＥＳＣキーを押下させるなど、アプリケーションに依存させて絶対座標モードと相対座標モードを切り替えるもの（例えば、特許文献１参照）、
・入力検知部２１０上に備えた物理的な切換えボタン（スイッチ）をユーザに操作させるもの（例えば、特許文献２参照）、
・表示部２３０上でのポインタ位置によって切り替えるもの（例えば、特許文献１及び特許文献３参照）、
・絶対座標モードの入力と相対座標モードの入力にそれぞれ別々の入力検知部２１０を仮定しているもの（例えば、特許文献４参照）、
・タッチパッド上での指の接触面積の大きさによって座標モード切替を行うもの（例えば、非特許文献１参照）、
・タッチパッドへ入力する時間間隔によって座標モード切替を行うもの（例えば、特許文献５参照）などが提案されている。

図１４ａ及び図１４ｂは、特許文献１に記載された従来の座標モード切替処理を示すフローチャートである。

図１４ａに示すように、ステップＳ２で座標入力システムは座標モードを絶対座標モードに設定する。

次にステップＳ４でユーザがタッチパッドに入力した座標を、座標入力システムはステップＳ５で決められたサイズ内で（絶対座標モードに）補正する。

以後、ステップＳ８で座標入力システムがユーザからのＥＳＣキーの入力を検知する限り、座標入力システムは上記の処理を続ける。

また、ステップＳ８で座標入力システムがユーザからのＥＳＣキーの入力を検知しなければ、座標入力システムはステップＳ９で相対座標モードに切り替える。

さらに、図１４ｂに示すように、ステップＳ１４で座標入力システムはマウスカーソル（ポインタ）が所定の領域内に有るか否かを判断する。

マウスカーソル（ポインタ）が領域内にある場合には、ステップＳ１５で座標入力システムは相対座標モードから絶対座標モードに座標モードを切り替える。以後、ステップＳ１９で座標入力システムがＥＳＣキーの入力を検知するまで、座標入力システムは座標モードを絶対座標モードに設定する。

このように、特許文献１における座標モード切替は、座標入力システムがユーザによるＥＳＣキーの入力を検知することで行われている。

また、特許文献５では、タッチパッドへの入力の時間間隔を用いて、「入力モード」を切り替えることが提案されている。

図１５ａ及び図１５ｂは、特許文献５に記載された座標入力システムにおける入力モードの座標モード切替処理を示すフローチャートである。図１５ａのステップＳ４４〜ステップＳ４９では、タッチパッド上へのｎ回の座標入力の平均値を算出し、これを入力座標値として、ステップＳ５０で座標モードを判定している。

この座標モードの判定は、図１５ｂのステップＳ３４で示されるように「タッチパッド上への入力間隔が一定時間内であるかどうか」を基準に行われている。すなわち、一定時間外であればステップＳ３５で「第１モード」と呼ばれる入力モードに切り替わり、一方、一定時間以内であればステップＳ３６で「第２モード又は絶対値モード」に切り替わる。

しかし、特許文献５に開示されている第１モードと第２モードの違いは、ステップＳ５５の「前回座標値有り？」という判断部分の有無だけであり、実際の座標処理では、第１モード及び第２モードともに、ステップＳ５７〜ステップＳ５９の「今回入力座標値の前回入力座標値に対する相対値」を出力している。

すなわち、特許文献５に開示された発明においては、第１モード及び第２モードともに、「入力座標値間の相対値」を出力する、いわゆる相対座標モードとなっている。

さらに特許文献５では、第２モード又は絶対値モードのどちらを用いるべきかを、座標入力システムが判断するための判断基準については開示されていない。すなわち、絶対値モードかどうかは物理的なスイッチ（特許文献５中で「スイッチ５」と記載）による設定でのみ判断が為される旨のみが記載されている（特許文献５では、絶対値モードへの以下のような記載がある。「[００３２]また、スイッチ５は、電源電圧２９によって座標入力パネル１０の絶対値モード及び相対値モードを切り替える。スイッチ５の切り替えにより、ＣＰＵ３は絶対値モードと相対値モードを切り替えて座標値の検出を行う。」）。

以上述べたように、いずれの従来技術においても、アプリケーションによらずユーザの入力意図（すなわち、絶対座標として入力したいのか、又は相対座標として入力したいのかという意図）をユーザの入力動作から推定することで、座標入力装置が使用する座標モードを切り替えることは、発明の課題とされていない。

より具体的に、タッチパッドを例に挙げて説明すると、相対座標モードによる操作では、「タッチパッド上で指を滑らせ、離し、また開始場所近辺に戻り、パッド上に指を滑らせる」といった「同じような動作の繰り返し」が基本となる。

一方、絶対座標モードによる操作では、「タッチパッドから指を離さず目的の場所まで一回で到達する」形が、ユーザがタッチパッドを用いて操作する場合の基本的な（暗黙のうちに行う）メンタルモデルである。

従来はこういったユーザの実際の利用場面に沿ったメンタルモデルに基づいて、座標入力システムが「実際に使い易い」座標モードを選択し、座標モードを切り替える手法が提案されていない。

具体的に、従来技術では、以下の課題を有している。

・ユーザは座標モードを切り替えたいと欲するたびに、特定のボタン、スイッチ、入力検知部等を使用して座標モードの切替操作を行う必要が有る（特許文献１〜２及び特許文献４〜５）。

・ユーザは座標モードを切り替えるために特定の位置へのポインタの移動を強いられ、かつ、その位置にポインタを移動させると強制的に切替が発生するため自由な操作系の切替が不可能である（特許文献１及び３）。

・ユーザは座標モードを切り替えるために指の接触面積をコントロールしながらポインタも操作する、といった（一般的とは言えない）新奇な操作を覚えることを強いられ、かつ、操作面でも困難な動作を強いられる（非特許文献１）。

そのため、ユーザにとって自然な動作・操作体系の中で、自動的に座標モード切替をすることが出来ないといった根源的な課題を有している。

また、物理的なボタン等の設置や複数のインプットデバイスの設置はコストアップの要因となる。仮に画面上に仮想的な切替ボタンを配置しても、都度、スイッチを切り替える必要があるため直感的に操作できず、さらに画面デザイン・デバイスデザインにも制約が加わる。

一方、本発明は、ユーザの入力動作に基づいて、当該入力動作時のユーザのメンタルモデルに応じた座標モードを適切に選択可能な座標決定装置を提供することで、以上の従来の課題を解決することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

図１は、本実施の形態において、本発明に係る座標決定装置２００を用いて実現される座標入力システム９０の外観図である。座標入力システム９０は、表示装置１００と、座標入力装置２０１から構成される。

表示装置１００は、座標入力装置２０１からユーザの入力を受け付け、その入力に対応する処理結果を表示部２３０に表示する装置である。例えば、テレビや映像録画・再生装置等が考えられるが、これらに限られない。

座標入力装置２０１は、有線又は無線で接続された表示装置１００へユーザの操作情報を入力する入力装置である。例えば、テレビや映像録画・再生装置等のリモコン等が考えられるが、これらに限られない。

また、表示装置１００は座標決定装置２００と、表示部２３０とを備える。

座標決定装置２００は、座標入力装置２０１へ入力されたユーザの入力情報を取得し、表示部２３０に表示する処理装置である。

本実施の形態に係る座標決定装置２００は、自動的にユーザにとってより使いやすい座標モードを決定し、決定した座標モードに従って座標入力装置２０１内から取得した入力座標をポインタ座標位置へと変換した後に、表示部２３０へ出力する。

すなわち、ポインタ座標位置は、座標決定装置２００の出力座標である。

表示部２３０は、表示装置１００が備える視覚表示装置である。例えばＬＣＤやＣＲＴ（Cathode Ray Tube）等が考えられるが、これらに限られない。表示部２３０は、座標決定装置２００が出力するポインタ座標位置にポインタ１１０を表示する。

ポインタ１１０は、ＧＵＩ（Graphical User Interface）環境において、捜査対象を示すために表示される小さな図形である。座標入力装置２０１への操作によって、表示部２３０に表示されたポインタ１１０が移動する。例えば、ポインタ１１０は矢印や指等の形をした図形等である。

また、座標入力装置２０１は、入力検知部２１０と、把持検出センサ２１２と、送信部２２０とを備える。

入力検知部２１０は、入力情報を取得するポインティングデバイスである。入力検知部２１０に用いられるデバイスとしては、例えば、タッチパッドやタブレット、トラックボール等が考えられる。

入力検知部２１０が取得する入力情報は、主に座標情報及び選択情報である。

座標情報とは、例えばユーザが入力検知部２１０に指を触れることで入力する、入力座標及びその入力時刻である。すなわち、座標決定装置２００は、座標情報に含まれる入力座標から、出力座標であるポインタ座標位置を決定する。

座標情報に含まれる入力座標は、入力検知部２１０上でユーザが指を触れた位置に対応する。

なお、入力座標とは、例えば２次元又は３次元空間上の点を表す値である。

ユーザは、入力検知部２１０を用いて座標情報を入力することで、例えばポインタ１１０を移動させることができる。

次に選択情報とは、例えばユーザが入力検知部２１０をタップ又はクリック等して入力する選択操作の開始及び終了のいずれかを示す入力情報である。具体的には、選択情報は選択開始時刻を示す選択開始時刻情報及び選択終了を示す選択終了時刻情報のいずれか一方である。

例えば入力検知部２１０がクリッカブルタッチパッドの場合、ユーザによる入力検知部２１０の押し込みが完了した時刻を選択開始時刻情報として、入力検知部２１０は出力する。

また、ユーザが入力検知部２１０から指を離すことで、クリッカブルタッチパッドが有するバネ機構により、入力検知部２１０が元の位置に戻った（クリッカブルタッチパッドの戻し動作が完了した）時刻を選択終了時刻情報として、入力検知部２１０は出力する。

ユーザは、入力検知部２１０を用いて選択情報を入力することで、例えば表示部２３０に表示されたアイコンを選択し、アイコンに関連づけられた処理を実行することができる。

さらに、選択情報と座標情報とを組み合わせることで、例えばドラッグ操作が可能となる。

把持検出センサ２１２は、ユーザが座標入力装置２０１の筐体のどの位置を把持しているかを検出し、把持情報として出力するセンサである。

例えば、ユーザに把持されている箇所に設置された把持検出センサ２１２のみが、把持されている間は把持されていることを示すＯＮ情報を出力することが考えられる。

こうした把持検出センサ２１２を、座標入力装置２０１の筐体の外縁や裏面等に設置することで、座標決定装置２００は、例えばユーザが座標入力装置２０１を左手で把持しているか、右手で把持しているか等を判断するための情報を得る。

把持検出センサ２１２の検出方式としては、抵抗膜式、赤外線式、ＳＡＷ式、静電式等が考えられるが、これに限られない。

送信部２２０は、通信インタフェースである。送信部２２０は、入力検知部２１０が検知した入力情報を座標決定装置２００に送信する。送信部２２０が送信する入力情報は、具体的には、複数の座標情報、選択情報及び把持情報等である。

送信部２２０が用いる通信方式には、無線ＬＡＮや赤外線通信、近距離無線通信等が考えられるが、これらに限られない。

なお、図１には記載されていないが、座標入力装置２０１及び座標決定装置２００は、ＣＰＵ（Central Processing Unit）等の演算装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Ｒａｎｄｏｍ Access Memory）等の記憶装置を備えていてもよい。

以上の構成により、ユーザは座標入力装置２０１が備える入力検知部２１０に対して操作を加えることにより、表示装置１００が備える表示部２３０に表示されるポインタ１１０を、所望の位置に移動させることができる。また、所望のアイコンを選択することができる。

なお、図１における入力検知部２１０としてはタッチパッド及びタッチパネルはもちろんのこと、パソコンのマウス（一般的なスクロールマウスのほか、ロジクール社のエアーマウス（登録商標）ＭＸ Ａｉｒのような空中でのポインティングが可能なマウスなど、任意のマウスを含む）、空中ポインティングデバイス（カメラ式によるＷｉｉ（登録商標）のリモコンなど）及びタブレット型入力デバイスなど一般的に入手可能なデバイスを前提としている。

また、図１では座標入力装置２０１と座標決定装置２００とが分離しているが、座標入力装置２０１と座標決定装置２００とが一体型であってもよい。

図２は本実施の形態における座標入力装置２０１及び表示装置１００の機能構成を示すブロック図である。なお、図１と同じ要素については同じ符号を付け、説明を省略する。

座標決定装置２００は、取得格納部２０４と、検知結果系列記憶部３１４と、把持推定部３１６と、操作認識部３１８と、時間相関特定部３２０と、座標相関特定部３２４と、座標モード選択部３２６と、座標変換部３２８とを備えている。

取得格納部２０４は、座標入力装置２０１から送信される入力情報（座標情報、選択情報、把持情報等）を無線又は有線により順次取得し、検知結果系列記憶部３１４に格納する。

検知結果系列記憶部３１４は、記録媒体であり、例えばＲＡＭ等により実現できる。

把持推定部３１６は、把持検出センサ２１２が出力した把持情報を検知結果系列記憶部３１４から取得する。その後、把持推定部３１６は把持情報から、ユーザの把持状況を推定し、座標モード選択部３２６に出力する。

操作認識部３１８は、検知結果系列記憶部３１４から入力情報（座標情報、選択情報等）を取得し、その入力情報が事前に定められた複数の「イベント」のうちのいずれかにマッチするか否かを認識する。その後、操作認識部３１８は座標モード選択部３２６に認識結果を通知する。

操作認識部３１８が認識するイベントの種類には、例えば「（ポインタの）移動」「リリース」「ジェスチャ（スライド、フリックなど）」「選択」などが考えられる。

このうち、選択イベントとリリースイベントは、一の選択情報から認識可能なイベントである。

一方、移動イベントとジェスチャイベントは、一連の座標情報を取得した後でなければ区別ができない。この場合、操作認識部３１８は、一旦移動イベントとして認識した一連の座標情報を、例えば丸を描くジェスチャだと認識できた後に、ジェスチャイベントとして別途認識することが考えられる。

次に、時間相関特定部３２０は、検知結果系列記憶部３１４から取得した複数の座標情報のうち、第１の座標情報によって示される入力時刻と、第２の座標情報によって示される入力時刻との間の相関を時刻相関値として特定し、座標モード選択部３２６に出力する。

ここで、「相関を時刻相関値として特定する」とは、例えば第１の座標情報が入力された入力時刻と第２の座標情報が入力された入力時刻の差を算出した後、その差と事前に定められた特定の時間を比較することである。

すなわち、時間相関特定部３２０は、２つの入力時刻の差と特定の時間との大小関係を、時刻相関値として座標モード選択部３２６に出力する。

次に、座標相関特定部３２４は、検知結果系列記憶部３１４から取得した複数の座標情報のうち、第３の座標情報によって示される入力座標と、第２の座標情報によって示される入力座標との間の相関を座標相関値として特定し、座標モード選択部３２６に出力する。

ここで、「相関を座標相関値として特定する」とは、例えば第３の座標情報の入力座標と、第２の座標情報の入力座標の距離を算出した後、その距離と、事前に定められた特定の閾値を比較することである。

すなわち、座標相関特定部３２４は、２つの入力座標間の距離と特定の閾値との大小関係を、座標相関値として座標モード選択部３２６に出力する。

座標モード選択部３２６は、座標相関特定部３２４及び時間相関特定部３２０から取得した特定結果に基づき、座標モードを絶対座標モード（すなわち、第一の座標モード）及び相対座標モード（すなわち、第二の座標モード）のいずれか一方に決定する。

例えば、第１の座標情報が入力された時刻と第２の座標情報が入力された時刻との差が、特定の時間以下であり、かつ、第３の座標情報に示される入力座標と第２の座標情報に示される入力座標との距離が特定の閾値以内であれば、座標モード選択部３２６は座標モードを相対座標モードに決定することが考えられる。より詳細な決定方法については、後述する。

座標変換部３２８は、座標モード選択部３２６が決定した座標モードに従って、座標情報によって示される入力座標を、表示部２３０上のポインタ座標位置へと変換し、変換されたポインタ座標位置を表示部２３０へ出力する。

図１７を用いて具体的に説明すると、いまユーザが軌跡Ｂ６３０を入力した後、一旦入力検知部２１０から指を離し、軌跡Ｃ６３２の始端に指を触れたとする。また、座標モード選択部３２６は、座標モードを相対座標モードとして決定したとする。

この場合、座標変換部３２８は、軌跡Ｃ６３２の始端に対応する入力座標を、軌跡表示Ｂ６４０の終端に対応するポインタ座標位置に変換して表示部２３０へ出力する。

すなわち座標変換部３２８は、軌跡Ｃ６３２の始端に対応する入力座標を、他の入力座標に対して既に決定された出力座標である軌跡表示Ｂ６４０の終端に応じた座標に変換する。

また、座標モードが絶対座標モードの場合、座標変換部３２８は、軌跡Ｃ６３２の始端に対応する入力座標を、その入力座標に対して予め定め対応付けられた座標に変換する。座標変換部３２８は、この対応付けを静的な（すなわち、軌跡Ｃ６３２の始端に対応する座標情報以外の座標情報とは無関係に定められる）ルールに従って行う。

なお、本発明にかかる座標決定装置２００は、取得格納部２０４と、時間相関特定部３２０と、座標相関特定部３２４と、座標モード選択部３２６と、座標変換部３２８のみを備える構成であっても、発明の目的を達成できる。

すなわち、検知結果系列記憶部３１４が座標決定装置２００の構成要素として含まれずとも、例えば座標入力装置２０１や、座標決定装置２００以外の表示装置１００が検知結果系列記憶部３１４を備えても、本発明を実施することができる。

また、把持推定部３１６が座標決定装置２００の構成要素として含まれずとも、例えば座標入力装置２０１が把持状態を推定し、その推定結果を座標決定装置２００が取得しても、本発明を実施することができる。また、後述するように、座標モード選択部３２６は把持状況を座標モード選択のための付加的な情報として使用するに過ぎないため、座標モード選択部３２６が把持状況を使用せずとも、本発明を実施することができる。

また、操作認識部３１８が座標決定装置２００の構成要素として含まれずとも、例えば座標入力装置２０１がユーザ操作を認識し、その認識結果を座標決定装置２００が取得しても、本発明を実施することができる。また、例えばポインタ１１０の移動のみを目的としたシステム等、発生するイベントの種類を限定した場合には、ユーザの操作を認識せずとも発生イベントを知ることができる。よって、操作認識部３１８を備えずとも、本発明を実施することができる。

次に、図３〜図６を用いて、座標モード選択部３２６が行う座標モード選択処理の概要を説明する。

図３は、本実施の形態において座標モードの決定に関わる、入力検知部におけるユーザの操作の一例を示す模式図である。

図３に示すように、第１入力状態８１０〜第４入力状態８１６の順に、ユーザは入力検知部２１０を操作する。

第１入力状態８１０では、現在の指の位置８００が接触開始点９０４にある。本発明における第３の座標情報として、例えば接触開始点９０４の入力座標及び入力時刻を用いることが考えられる。

第２入力状態８１２では、ユーザは入力検知部２１０上で指を移動させた後、今まさに入力検知部２１０上の移動終了点９０６から指を離そうとしている。例えば、本発明における第１の座標情報として、指を入力検知部２１０から離す直前の移動終了点９０６の入力座標及び入力時刻を用いることが考えられる。

第３入力状態８１４では、ユーザが指を移動終了点９０６から一旦離し、再度接触開始点９１０に指を置く。本発明における第２の座標情報として、例えば接触開始点９１０の入力座標及び入力時刻を用いることが考えられる。

第４入力状態８１６では、ユーザが入力検知部２１０上で指を移動中の状態であり、現在の指の位置８００が移動点９１２にある。

なお、ユーザが入力検知部２１０上の接触開始点９０４に一旦指を触れてから、移動終了点９０６で指を離すまでに入力される一連の座標情報を第１の座標系列とする。

また、第１の座標系列の入力後、ユーザが再度入力検知部２１０上の接触開始点９１０に指を触れてから移動点９１２を通り、再度指を離すまでに入力される一連の座標情報を第２の座標系列とする。

次に図４は、入力検知部２１０上の座標である、Ｇ＿ｉｔ（ｘ，ｙ）５１０、Ｇ＿ｎ（ｘ，ｙ）５１２及びＧ＿ｃｕｒ（ｘ，ｙ）５２０を示す図である。

Ｇ＿ｉｔ（ｘ，ｙ）５１０は、第１の座標系列の始端である。よって、図３の接触開始点９０４は、Ｇ＿ｉｔ（ｘ，ｙ）５１０である。

Ｇ＿ｎ（ｘ，ｙ）５１２は、第２の座標系列の始端である。よって、図３の接触開始点９１０は、Ｇ＿ｎ（ｘ，ｙ）５１２である。

Ｇ＿ｃｕｒ（ｘ，ｙ）５２０は、現在、入力検知部２１０上に接触している座標である。よって、図３の移動点９１２は、Ｇ＿ｃｕｒ（ｘ，ｙ）５２０である。

座標モード選択部３２６は、これらＧ＿ｉｔ（ｘ，ｙ）５１０、Ｇ＿ｎ（ｘ，ｙ）５１２及びＧ＿ｃｕｒ（ｘ，ｙ）５２０等の入力座標や入力時刻、把持情報等を用いて、座標モードを選択する。

図５は、本実施の形態における、座標モード選択部３２６が行う座標モード判定処理の一例を示す状態遷移図である。

座標モード選択部３２６は、入力検知部２１０から取得した第２の座標系列の始端であるＧ＿ｎ（ｘ，ｙ）５１２を表示部２３０に表示する際の座標モードとして、絶対座標モード１３０及び相対座標モード１３２のいずれか一方を選択する。すなわち、座標モード選択部３２６は、第２座標情報によって示される入力座標をポインタ座標位置として出力するための座標モードを選択する。

ここで説明のため、現在の座標モードが絶対座標モード１３０であるとする。

また、座標情報を入力するユーザが入力検知部２１０から指を離してから、再度入力検知部２１０に指を触れるまでの時間をＷｒとする。

具体的には、ユーザが移動終了点９０６で入力検知部２１０から指を離した後、入力検知部２１０上の接触開始点９１０に再び指を置くまでの時間差がＷｒである。より具体的には、第１の座標情報によって示される入力時刻と第２の座標情報によって示される入力時刻との差をＷｒとする。

このとき、時間相関特定部３２０は、Ｗｒと特定の時間Ｗｄとを比較し、Ｗｒが特定の時間Ｗｄ以上であるか否かを示す、時刻相関値を座標モード選択部３２６に通知する。座標モード選択部３２６は通知を取得し、Ｗｒが特定の時間Ｗｄ以上であれば、座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択する（Ｓ８００）。

また、座標モード選択部３２６は通知を取得し、Ｗｒが特定の時間Ｗｄ未満であれば、座標モード選択部３２６は座標モードとして相対座標モード１３２を選択する（Ｓ８０６）。

一方、現在の座標モードが相対座標モード１３２であるとする。

このときも、時間相関特定部３２０は、Ｗｒと特定の時間Ｗｄとを比較し、Ｗｒが特定の時間Ｗｄ以上であるか否かを示す時刻相関値を、座標モード選択部３２６に通知する。

座標モード選択部３２６は通知を取得し、Ｗｒが特定の時間Ｗｄ以上であれば、座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択する（Ｓ８０２）。

また、座標モード選択部３２６は通知を取得し、Ｗｒが特定の時間Ｗｄ未満であれば、座標モード選択部３２６は座標モードとして相対座標モード１３２を選択する（Ｓ８０４）。

また図６は、本実施の形態における、座標モード選択部３２６が行う座標モード選択処理の他の一例を示す状態遷移図である。

図５と同じく、座標モード選択部３２６は、入力検知部２１０から取得した第２の座標系列の始端であるＧ＿ｎ（ｘ，ｙ）５１２を表示部２３０に表示する際の座標モードを、絶対座標モード１３０及び相対座標モード１３２のいずれか一方として選択する。

説明のため、現在の座標モードが絶対座標モード１３０であるとする。

また、初期接触位置Ｇ＿ｉｔ（ｘ，ｙ）５１０と初期位置Ｇ＿ｎ（ｘ，ｙ）５１２との２点間の距離をＲｍとする。

具体的には、接触開始点９０４と接触開始点９１０との距離がＲｍとなる。より具体的には、第３の座標情報によって示される入力座標と、第２の座標情報によって示される入力座標との距離をＲｍとする。

このとき、座標相関特定部３２４は、Ｒｍを特定の閾値Ｒｒと比較し、Ｒｍが特定の閾値Ｒｒよりも大きいか否かを、座標相関値として座標モード選択部３２６に通知する。座標モード選択部３２６は通知を取得し、Ｒｍが特定の閾値Ｒｒよりも大きければ、座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択する（Ｓ８２０）。

また、座標モード選択部３２６は通知を取得し、座標相関特定部３２４による比較の結果、Ｒｍが特定の閾値Ｒｒ以下であれば、座標モード選択部３２６は座標モードとして相対座標モード１３２を選択する（Ｓ８３６）。

一方、現在の座標モードが相対座標モード１３２であるとする。

このとき、座標相関特定部３２４は、Ｒｍを特定の閾値Ｒｂと比較し、Ｒｍが特定の閾値Ｒｂよりも大きいか否かを、座標相関値として座標モード選択部３２６に通知する。

座標モード選択部３２６は通知を取得し、Ｒｍが特定の閾値Ｒｂよりも大きければ、座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択する（Ｓ８２２）。

また、座標モード選択部３２６は通知を取得し、Ｒｍが特定の閾値Ｒｂ以下であれば、座標モード選択部３２６は座標モードとして相対座標モード１３２を選択する（Ｓ８２４）。

以上が、座標モード選択部３２６が行う処理の概要である。

図７は本実施の形態における、座標決定装置２００の具体的な処理を示すフローチャートである。

なお、説明のため以下では、初期状態が絶対座標モードであるとして説明する。

また、当初、ユーザは入力検知部２１０に指を触れていないとする。

まず、ユーザは座標入力装置２０１を把持し、入力検知部２１０に指を触れたとする。その結果、送信部２２０は、入力検知部２１０及び把持検出センサ２１２が検知した信号を入力情報として取得格納部２０４に送信する。取得格納部２０４は取得した入力情報を検知結果系列記憶部３１４へ格納する。

次に、座標モード選択部３２６は、検知結果系列記憶部３１４から座標情報を取得し、座標情報に含まれる入力座標をＧ＿ｉｔ（ｘ，ｙ）５１０として記憶する（Ｓ２１４）。

なお、現時点でユーザは指を入力検知部２１０上で移動させていないため、Ｇ＿ｉｔ（ｘ，ｙ）５１０とＧ＿ｃｕｒ（ｘ，ｙ）５２０は一致する。

次に、座標変換部３２８は、取得した入力座標であるＧ＿ｃｕｒ（ｘ，ｙ）５２０を現在の座標モードである絶対座標モード１３０に応じたポインタ座標位置に変換し、表示部２３０へ出力する。

その結果、表示部２３０は、ポインタ１１０を表示するために保持するポインタ座標位置を、Ｇ＿ｃｕｒ（ｘ，ｙ）５２０に対応するポインタ座標位置へと更新する（Ｓ２１６）。

こうして、ユーザが指を触れた入力検知部２１０上での入力座標に対応する表示部２３０上のポインタ座標位置にポインタ１１０が表示される。

なお、座標変換部３２８が行う座標の変換処理を関数Ｍで表すと、絶対座標モードでＧ＿ｃｕｒ（ｘ，ｙ）５２０を表示部２３０上のポインタ座標位置Ｐ（Ｘ，Ｙ）に変換する処理は、Ｐ（Ｘ，Ｙ）＝Ｍ（ｘ，ｙ）で示される。すなわち、接触した瞬間の座標情報に含まれる入力座標（ｘ，ｙ）のみによって、座標変換部３２８はポインタ座標位置Ｐ（Ｘ，Ｙ）を決定する。

一方、相対座標モードにおける座標の変換処理は、Ｐ（ｘ，ｙ）＝Ｍ（ｘ，ｙ，Ｘ＿ｐｒｅ，Ｙ＿ｐｒｅ）で示される。すなわち、入力座標（ｘ，ｙ）に加えて、それ以前の入力に対応するポインタ座標位置（Ｘ＿ｐｒｅ，Ｙ＿ｐｒｅ）に依存して、座標変換部３２８は出力するポインタ座標位置（Ｘ，Ｙ）を決定する。

次に操作認識部３１８は、検知結果系列記憶部３１４から、まだ取得していない新しい入力情報の取得を試みる（Ｓ２１８）。

新しい入力情報が取得できない場合、操作認識部３１８は再度の取得を試みる（Ｓ２１８でＮｏ）。

一方、操作認識部３１８が何らかの入力情報を検知結果系列記憶部３１４から取得できた場合、操作認識部３１８は、その入力情報がいずれのイベントとして認識できるかを判定する（Ｓ２１８でＹｅｓ、Ｓ２２０、Ｓ２３１、Ｓ２３２）。

ここで、操作認識部３１８が認識するイベントには、リリースイベント、移動イベント、選択イベント、ジェスチャイベント等がある。

リリースイベントは、ユーザが入力検知部２１０に一旦接触させた指を、入力検知部２１０から離したことを示すイベントである。操作認識部３１８は、隣り合う入力時刻の差が特定の値以上であるか、隣り合う入力座標の距離が特定の値以上であるかを判断することで、リリースイベントの発生を認識できる。

移動イベントは、ユーザが入力検知部２１０上に一旦接触した指を、入力検知部２１０から離さぬまま移動させたことを示すイベントである。操作認識部３１８は、直前の座標情報に含まれる入力時刻から一定時間以内の入力時刻を含み、かつ直前の座標情報に含まれる入力座標から一定距離以内の入力座標を含む座標情報を取得すること等により、移動イベントの発生を認識できる。

選択イベントは、ユーザによる選択操作の完了を意味するイベントである。

操作認識部３１８は検知結果系列記憶部３１４から取得した選択情報が選択完了情報であった場合には、選択イベントの発生を認識する。

選択完了情報とは、選択開始時刻情報及び選択終了時刻情報のいずれか一方である。選択開始時刻情報及び選択終了時刻情報のどちらを選択完了情報とするかは、座標決定装置２００に依存して事前に定められる。

なぜなら、ユーザによる選択操作の完了を、ユーザによる選択が開始された時刻とするか、選択が終了した時刻とするかは、アプリケーションや座標決定装置２００に依存するため、選択開始時刻情報及び選択終了時刻情報のいずれも、選択完了情報となりうるためである。

ジェスチャイベントは、ユーザが入力検知部２１０上をはじくような動作を行い又は円や四角を書くなど特定の入力をすることにより、こうした特定の入力と関連づけられた特定の計算機処理を表示装置１００に開始させるイベントである。

前述の通り、操作認識部３１８は、例えば隣り合う時刻において入力座標が大きく異なることで、移動イベントの発生を認識できる。しかし、操作認識部３１８は、一定期間の連続した入力情報を取得した後でなければ、ジェスチャイベントの発生を認識できない。

まず操作認識部３１８は、検知結果系列記憶部３１４から取得した入力情報がリリースイベントとして認識できるか否かを判定する（Ｓ２２０）。

操作認識部３１８がその入力情報をリリースイベントとして認識できないと判断した場合は（Ｓ２２０でＮｏ）、表示装置１００はイベント種別に応じたイベント処理を行う（Ｓ２１９）。その詳細については、後述する。

一方、操作認識部３１８がその入力情報をリリースイベントとして認識した場合には（Ｓ２２０でＹｅｓ）、座標モード選択部３２６は、リリースイベントとして認識された入力情報である座標情報に含まれる入力時刻（ユーザが座標入力装置２０１から指を離した時刻）を記録する。以後、この時刻をＴｒとする。

次に、操作認識部３１８は、リリースイベントとして認識された入力情報がジェスチャイベントの一部として認識できるか否かを判定する（Ｓ２３１）。すなわち、操作認識部３１８が取得格納部２０４から取得した一連の座標情報が、ジェスチャイベントとして認識できるか否かを操作認識部３１８は判定する。

より具体的には、操作認識部３１８は接触開始点９０４（第３の座標情報によって示される入力座標）から、移動終了点９０６（第１の座標情報によって示される入力座標）までの一連の入力座標である第１の座標系列がジェスチャイベントとして認識できるか否かを判定する（Ｓ２３１）。

なぜなら、フリック動作（指で弾くようなジェスチャ動作）の場合など、指を入力検知部２１０から離したときに、初めてフリック動作として確定し認識できる種類のジェスチャ動作が存在する。したがって、操作認識部３１８は、ユーザが入力検知部２１０から指を離した時点で、ユーザが入力した一連の座標情報がジェスチャイベントであるか否かの判断を行う必要が生じる（Ｓ２３１）。

ここで、操作認識部３１８が、リリースイベントとして認識した座標情報をジェスチャイベントの一部（すなわち、ジェスチャイベントと認識される一連の座標情報の終端）であると判断した場合には（Ｓ２３１でＹｅｓ）、表示装置１００は当該ジェスチャイベントに対応する処理を行う（Ｓ２３０）。

例えばフリック動作の場合、フリックジェスチャの操作方向（横方向にフリックした、若しくは縦方向にフリックした、など）に応じて、表示装置１００が画面表示を変更・制御することなどが行われる。

一方、操作認識部３１８が座標情報をジェスチャイベントの一部としては認識しなかった場合には（Ｓ２３１でＮｏ）、座標モード選択部３２６は時間相関特定部３２０を用いて、リリースイベントの発生時刻Ｔｒから溯って特定の猶予時間（以後、Ｗｔとする）以内に選択イベントが発生していたか否かを判断する（Ｓ２３２）。

すなわち、時間相関特定部３２０は、座標モード選択部３２６が記憶した（後述する図８、Ｓ４１２）選択イベントの発生時刻（選択操作の完了時刻）Ｔｓと、リリースイベントの発生時刻（指が入力検知部２１０から離れた時刻）Ｔｒの差を算出し、この差と特定の猶予時間Ｗｔとを比較して、比較結果を時刻相関値として座標モード選択部３２６へ出力する。

座標モード選択部３２６は、時間相関特定部３２０による比較の結果、ＴｒとＴｓの差が特定の猶予時間Ｗｔ以内の場合は、「今回のリリースイベントは、選択イベントが発生したことによる副次的なイベント発生である」と判断し（Ｓ２３２で、Ｙｅｓ）、選択イベントに従った処理へ移行する（Ｓ２３４）。

すなわち、座標モード選択部３２６は、座標モードの選択を行わない若しくは座標モードの変更を行わない。

例えば、ボタンを押すという選択動作を行ったことに付随するリリースであると、座標モード選択部３２６が判断した場合、表示装置１００は、画面上でボタンが押され終わったことを示す表示処理や、ボタンを押すことでユーザが期待する実質的処理などを行う（Ｓ２３４）。

一方、ＴｒとＴｓの差が特定の猶予時間Ｗｔよりも大きかった場合には（Ｓ２３２でＮｏ）、座標モード選択部３２６は座標モードの選択処理を開始する。

ここで以後の説明のため、リリースイベントが発生してからの経過時間（リリースイベントであると操作認識部３１８が認識した座標情報に含まれる入力時刻からの経過時間）をＷｒとする。

時間相関特定部３２０は、リリースイベントが発生してから現在までに特定の時間Ｗｐが経過していないか、すなわちＷｒ≦Ｗｐを満たすか否かを判定し、その結果を時刻相関値として座標モード選択部３２６へ出力する（Ｓ２４０）。

座標モード選択部３２６が時間相関特定部３２０から時刻相関値を取得した結果、リリースイベントが発生してから特定の時間Ｗｐを経過していない、すなわち、Ｗｒ≦Ｗｐを満たすことが判明した場合は、座標モード選択部３２６は、検知結果系列記憶部３１４から新たな座標情報が取得できるか否かを判定する（Ｓ２４２）。

座標モード選択部３２６が新たな座標情報が取得できない場合には（Ｓ２４２でＮｏ）、座標モード選択部３２６はＷｐが経過していないことを示すポインタ１１０等の画像を表示部２３０へ表示する（Ｓ２４４）。その後、Ｗｒ≦Ｗｐを満たす場合には、座標モード選択部３２６は新たな座標情報の取得判定処理（Ｓ２４２）に戻る（Ｓ２４６からＳ２４０のループ）。

つまり、座標モード選択部３２６の処理は、ポーリング状態（又はコールバック状態）になっており、座標情報が取得されるか、リリースイベントが発生してから特定の時間Ｗｐが経過するまで、表示装置１００に対するポインタ１１０等の画像表示が継続される（Ｓ２４４）。

座標モード選択部３２６は、新たな座標情報を特定の時間Ｗｐ以内に検知結果系列記憶部３１４から取得できなかった場合には、Ｓ２４０からＳ２４６のループ処理を抜けた後、表示部２３０に対するポインタ１１０の表示を終了する（Ｓ２５０）。

ポインタ１１０の表示を終了した後も、座標モード選択部３２６は一定時間、検知結果系列記憶部３１４から新たな座標情報が取得可能か否かを判定する（Ｓ２５１）。

ここで、座標モード選択部３２６が検知結果系列記憶部３１４から新たな座標情報を取得した場合は（Ｓ２５１でＹｅｓ）、座標モード選択部３２６は座標モードの選択処理を行う（Ｓ２５２）。

その結果、座標モード選択部３２６が座標モードとして絶対座標モード１３０を選択した場合は（Ｓ２５２で「絶対」）、座標モードとして絶対座標モード１３０が選択される（Ｓ２５４）。

一方、座標モード選択部３２６が相対座標モード１３２と決定した場合は（Ｓ２５２で「相対」）、座標モードとして相対座標モード１３２が選択される（Ｓ２５６）。

その後、いずれのモードに設定され場合も座標決定装置２００はループ１の最初から処理を再開する（Ｓ２１４）。

なお、座標モード選択部３２６が行う動作モードの選択（Ｓ２５２）は、例えば前述の図５に示した通りに行うことが考えられる。

その際、特定の時間Ｗｄの値を十分に大きく設定することで、ポインタ１１０の表示が終了した後も（Ｓ２５０）、元のポインタ位置を基点とした相対座標モード１３２に移行しやすくなる（Ｓ２５２で「相対」）。逆にＷｄの値を小さくすることで、ポインタ１１０の表示が終了した後は（Ｓ２５０）、絶対座標モード１３０に移行しやすくなる（Ｓ２５２で「絶対」）。Ｗｄの値は、例えば事前に定めた特定の値を使用することができる。

例えば、Ｗｐを２秒間に設定した場合、ユーザが入力検知部２１０から指を離して２秒間は、表示部２３０にポインタ１１０（例えば、指の形状を模した画像）が表示される。このポインタ１１０が表示されている間に再度、入力検知部２１０へ入力した場合には、座標決定装置２００は、その入力をポインタ１１０の位置からの相対座標での入力として処理する。一方、ポインタ１１０の表示が消えてからの入力検知部２１０への入力は、絶対座標での入力として処理する。このように、ポインタの表示状態と座標入力モードとが対応付けられた座標決定装置は、従来技術では開示されていない。また、たとえ相対座標モードとして動作している場合でも、ポインタ１１０の表示が消えた後に入力された入力開始点からは絶対座標での入力として扱うといった、入力検知部２１０と表示部２３０の表示内容との対応関係をユーザの操作時間に基づき変化させる技術、及びその前提となる課題は、従来技術において開示されていない。

次に、座標モード選択部３２６が検知結果系列記憶部３１４から新たな座標情報を取得できなかった場合は（Ｓ２５１でＮｏ）、座標モード選択部３２６は座標モードとして座標決定装置２００の既定値を選択する。例えば相対座標モード１３２が既定値であれば、座標モードとして相対座標モード１３２が選択される（Ｓ２５６）。その後、座標決定装置２００はループ１の最初から処理を再開する（Ｓ２１４）。

以上、座標モード選択部３２６が、座標情報を所定時間Ｗｐ以内に検知結果系列記憶部３１４から取得できなかった場合（Ｓ２５０以降）の、座標モード選択部３２６の処理について述べた。

次に、座標モード選択部３２６が、座標情報を所定時間Ｗｐ以内に検知結果系列記憶部３１４から取得できた場合（Ｓ２４２でＹｅｓ）の、座標モード選択部３２６の処理について説明する。

その場合、座標モード選択部３２６は、取得できた座標情報を用いて、座標モードを選択する（Ｓ２８０）。

なお、座標モード選択部３２６が行う動作モードの選択（Ｓ２８０）は、例えば前述の図６に示した通りに行うことが考えられる。

その結果、座標モード選択部３２６が絶対座標モード１３０を選択した場合には（Ｓ２８０で「絶対」）、座標モードとして絶対座標モード１３０が選択される（Ｓ２８２）。また、座標モード選択部３２６が相対座標モード１３２と決定した場合には（Ｓ２８０で「相対」）、座標モードとして相対座標モード１３２が選択される（Ｓ２８４）。

ここで、座標決定装置２００は以下の処理により、従来は実現できなかった、ユーザが自然な動作を行う中で自動的にユーザにとってより使いやすい座標モードを認識し、自動的に座標モードを切り替える処理を実現している。

すなわち、座標決定装置２００は、時間相関特定部３２０により、リリースイベントの発生時刻と現在時刻との差であるＷｒを時刻相関値として算出し（Ｓ２４０）、その時刻相関値を座標モード選択部３２６に出力している。

ここでＷｒがＷｐ以下のときに座標モード選択部３２６が新たな座標情報を取得すると、座標相関特定部３２４は、Ｇ＿ｉｔ（ｘ，ｙ）５１０とＧ＿ｎ（ｘ，ｙ）５１２の距離Ｒｍを算出し、その距離と特定の閾値であるＲｒ及びＲｂのいずれか一方との比較結果（大小関係）を、座標相関値として座標モード選択部３２６に出力する。

座標モード選択部３２６は、その比較結果に従い、Ｒｍが特定の閾値より大きければ絶対座標モード１３０として、逆に小さければ相対座標モード１３２として、座標モードを自動的に選択している（Ｓ２８０）。

最後に、いずれのモードに設定された場合も、表示装置１００は座標モードに応じた表示座標の更新から処理を再開する（Ｓ２１６）。

なお、座標モード選択部３２６が座標モードとして絶対座標モード１３０を選択した場合には（Ｓ２８２）、座標モード選択部３２６は、Ｇ＿ｃｕｒ（ｘ，ｙ）５２０を新たなＧ＿ｉｔ（ｘ，ｙ）５１０として記憶する（Ｓ２８６）。

図８は、本実施の形態における、リリースイベント以外のイベント処理の詳細を示すフローチャートである。

すなわち、図８に示されるフローチャートは、操作認識部３１８が入力情報をリリースイベントとして認識できないと判断した場合に（Ｓ２２０でＮｏ）、表示装置１００が行うイベント種別に応じた処理（Ｓ２１９）の詳細である。

まず操作認識部３１８が入力情報を移動イベントであると判断した場合（Ｓ４０２でＹｅｓ）、表示装置１００は移動イベントに応じた処理を行う（Ｓ４０４）。具体的には、表示装置１００は、座標モード選択部３２６が記憶するＧ＿ｃｕｒ（ｘ，ｙ）５２０の値を更新する。

その後、座標変換部３２８はＧ＿ｃｕｒ（ｘ，ｙ）５２０を、対応する表示部２３０上のポインタ座標位置に変換する。さらに、表示部２３０はポインタ１１０を描画する（Ｓ２１６）。

また、操作認識部３１８が入力情報をジェスチャイベントであると判断した場合は（Ｓ４０２でＮｏ、かつ、Ｓ４０６でＹｅｓ）、表示装置１００はジェスチャイベントに応じた処理を行う（Ｓ４０８）。

ジェスチャは任意のジェスチャでよいが、例えば「回転」動作である場合は、入力検知部２１０上での「回転」に類似した動作を操作認識部３１８が認識すると、「回転ジェスチャ」としてイベントが認識される。その後、表示装置１００は「回転ジェスチャ」に対応する処理を行う。具体的には、例えば、画面表示をスクロールすること等が考えられる。

また、操作認識部３１８が入力情報を選択イベントであると判断した場合は（Ｓ４０６でＮｏ、かつ、Ｓ４１０でＹｅｓ）、座標モード選択部３２６は、選択完了情報によって示される選択完了時刻（選択開始時刻及び選択終了時刻のいずれか）、選択完了時刻におけるＧ＿ｃｕｒ（ｘ，ｙ）５２０の座標及び必要に応じて選択されたアイコンの種類等を記録する（Ｓ４１２）。

さらに、選択完了情報に伴う処理を表示装置１００は行う（Ｓ４１６）。具体的には、特定のアイコン上でクリッカブルタッチパッドである入力検知部２１０が押しこまれた時に、表示部２３０上でポインタ１１０の位置にあるボタンが凹んだ様子を表示装置１００が描画する処理などが相当する。

以上が、リリースイベント以外のイベントに対する処理（Ｓ２１９）である。

以上述べたように、本実施の形態に係る座標入力装置は、ユーザの操作に応じた動作モードを動的に選択できることとなり、ユーザによる明示的な動作切り替えを必要とせず、シームレスに各々のユーザにとって及び時々の状況によって使い易い動作モードを提供することができる。

なお、本実施の形態において、座標モード選択部３２６によるループ処理（Ｓ２４０〜Ｓ２４６）が最後まで終わった場合に、座標モード選択部３２６は入力を待ち受け（Ｓ２５１）、動作モード判定に移行している（Ｓ２５２）。

だが、ポインタ表示終了（Ｓ２５０）後、座標決定装置２００は処理をループ１の最初に戻してもよい。すなわち、座標決定装置２００が行う処理のうち、ステップＳ２５１、ステップＳ２５２、ステップＳ２５４及びステップＳ２５６を省いてもよい。その場合、座標決定装置２００は、ステップＳ２５０の次にステップＳ２１４を実行する。

なお、本実施の形態において、リリースイベントの発生（Ｓ２２０）から次の接触（入力）までの時間に応じて（Ｓ２４２、Ｓ２５１）、座標モード選択部３２６は選択処理の内容を切り替えている（Ｓ２５２、Ｓ２８０）。

だが、座標モード選択部３２６は、時間に応じて動作モードを切り替えることなく選択処理を行ってもよい（Ｓ２５２）。具体的には、座標決定装置２００が行う処理のうち、ステップＳ２４０，ステップＳ２４２，ステップＳ２４４，ステップＳ２４６，ステップＳ２８０，ステップＳ２８２，ステップＳ２８４、ステップＳ２８６を省いてもよい。その場合、座標決定装置２００はステップＳ２３２で所定条件が成立しない場合（Ｓ２３３２でＮｏ）、次にＳ２５０の処理を行う（Ｓ２４０からＳ２４６のループ処理は必要では無くなる）。

なお、任意のイベント発生時に次の接触（入力）までの時間に応じて座標モード選択部３２６が行う座標モードの選択処理を切り替えたい場合は、ステップＳ２４０より前の処理を省き、ステップＳ２４０以降を任意の入力システムに対して適用することができる。

なお、座標モード選択部３２６による座標モードの選択処理（Ｓ２５２及びＳ２８０）は、上記の限りではない。例えば、機器やデバイス等、座標決定装置２００が知り得る任意のデータに応じて、座標モード選択部３２６は座標モードを選択してもよい。

なお、座標決定装置２００は座標モードの規定値を任意に決定できる。例えば、人為的若しくはこれまでの使用履歴・経緯に基づいて座標決定装置２００が座標モードを動的に決定することや、座標決定装置２００が初期設定値として座標モードをＲＯＭ等から取得してもよい。

なお、操作認識部３１８がどのようなイベントを検出・処理（Ｓ２１８、Ｓ２２０、Ｓ２３１）するかは、システム構成やアプリケーション構成に依存し、必ずしも前述の３つのイベントに限られない。

本実施の形態では、ポインティング機能として「移動」を、一般的な動作認識機能として「ジェスチャ」を、決定等の意図を伝える機能として「選択」を取り上げた。

しかし、座標決定装置２００が処理の対象とする入力情報は、これら３イベントに限られるものでは無く、「一般的に利用可能な入力検知部２１０から取得できる情報、及び一般的に利用可能な認識技術を組み合わせて得られる認識結果情報などによって構成される」イベント全般を含み得るものである。

なお、表示装置１００が行う移動イベント処理（Ｓ４０４）は、内部のポインタ座標の更新だけではなく、一般的にパソコン・組み込み機器等においてポインタの移動時に行われる任意の処理を含む。

例えば、ＧＵＩ部品に対するポインタの当たり判定処理・表示などがあるが、これに限られない。

なお、表示装置１００が行うジェスチャイベント処理（Ｓ４０８）は、回転だけではなく、一般的なジェスチャ認識技術による任意の処理が含まれる。例えば、スライド操作による画面のスクロール処理や、ピンチアウト操作による画面の拡大処理などがあるが、これに限られない。

なお、表示装置１００が行う選択イベント処理（Ｓ４１２）は、一般的な入力検知部２１０による選択操作手法により発生した任意の選択イベントをトリガーとしてもよい。

例えば、入力検知部２１０がタッチパッドである場合に、タッチパッドの下部に入力スイッチ機構を設けることで、タッチパッド全体をクリッカブルタッチパッドとして機能させ、このタッチパッドを物理的なスイッチ（ボタン）のように押すことを、選択操作のトリガーとしてもよい。また、選択操作はこれらに限られない。

なお、表示装置１００が行うジェスチャイベント処理（Ｓ４０８）は、前述のフリック動作に限られず、任意のリリースを伴うジェスチャ操作でよい。

なお、表示装置１００が行う、選択イベントに従った動作（Ｓ２３４）は、ボタン表示例だけに限らず、パソコンや一般的な機器における、一般的な選択イベント中の任意の処理若しくは表示であってもよい。

なお、座標モード選択部３２６による入力待ちのループ２（Ｓ２４０、Ｓ２４２、Ｓ２４４、Ｓ２４６）は、必ずしもループ制御である必要は無く、システムの割り込み処理等、任意のプログラミング手段やシステム構成手段により、同等の機能を実現してもよい。これは、ループ１や、入力待ち（Ｓ２１８、Ｓ２５１）においても同様である。

なお、座標モード選択部３２６が行う、入力待ちのループ制御後のポインタ表示終了処理（Ｓ２５０）は、Ｓ２４６からＳ２４６のループ終了後に即時表示をやめる（消去する）だけではなく、徐々に表示を薄くしたり、点滅させたり、「もうすぐ時間切れになる」ことを示すアニメーション効果やツールチップ、コメントなどを表示してもよい。

なお、入力待ちのループ制御中（Ｓ２４０、Ｓ２４２、Ｓ２４４、Ｓ２４６）に、上記のような徐々に表示を薄くしたり、点滅させたり、「もうすぐ時間切れになる」ことを示すアニメーション効果やツールチップ、コメントなどを、座標モード選択部３２６は表示部２３０へ表示してもよい。さらにまた、時間の経過とともにこれらの表現を変化させることで、ユーザの注意や理解を促してもよい。

なお、座標モード選択部３２６が行う、特定の猶予時間Ｗｔ以内に選択イベントが発生していたか否かについての選択（Ｓ２３２）は、選択イベントに限らず前述の任意のイベントについて判定してもよい。

ただし、座標モード選択部３２６が、操作認識部３１８の検出する前述のイベントと同一のイベント種類を用いる場合は、「特定の猶予時間Ｗｔ以内」の判定基準を、対応する過去のイベント発生からのタイミングとする。具体的には、座標モード選択部３２６がｎ回目のイベント発生を取得した場合に、座標モード選択部３２６は、ｎ−１回目の同種のイベント発生時からの経過時間と特定の猶予時間Ｗｔとを比較する（Ｓ２３２）。

なお、座標モード選択部３２６は、座標相関特定部３２４による比較結果、時間相関特定部３２０による比較結果、把持推定部３１６による把持状況の推定結果及び操作認識部３１８によるユーザ操作の認識結果のうち、少なくとも１つの結果を取得し、その結果に基づいて座標モードを決定してもよい。

（変形例１）
以下、本実施の形態による変形例について説明する。

上記実施の形態では、Ｗｔ、Ｗｐ、Ｗｄ、Ｒｒ及びＲｂをあらかじめ定められた値としていたが、本変形例では、Ｗｔ、Ｗｐ、Ｗｄ、Ｒｒ及びＲｂをユーザの「操作度合い」に応じて動的に変更する。

なお、操作度合いの具体例には、単位時間あたりの操作回数や、座標決定装置２００の操作期間、座標モード毎の使用履歴等が考えられるが、これらに限られない。

図９は、本実施の形態における第１の変形例において、操作度合いによる閾値等の変更処理を示すフローチャートである。

まず、座標モード選択部３２６は、座標モード選択部３２６が過去に決定した各座標モードの使用履歴を取得する（Ｓ２８９）。すなわち、絶対座標モード１３０と相対座標モード１３２の使用履歴を取得する。取得方法としては、例えば座標モード選択部３２６が座標変換部３２８に通知した過去の座標モードをＲＡＭ、ハードディスク又はフラッシュメモリ等に記録しておくことで、後に履歴を取得できる。

座標モード選択部３２６は、あわせて、イベント処理データの履歴を取得する（Ｓ２８９）。例えば、発生した移動イベント、ジェスチャイベント及び選択イベントそれぞれの、種類、発生時刻、終了時刻等が考えられる。

これらは、操作認識部３１８による認識処理の結果を座標モード選択部３２６が取得し、ＲＡＭ、ハードディスク又はフラッシュメモリ等に記録しておくことで、履歴を取得できる。

次に座標モード選択部３２６は、取得した座標モード及びイベント処理データに基づき、操作度合いを算出する（Ｓ２９０）。

例えば、操作認識部３１８が移動イベント、ジェスチャイベント及び選択イベントとして、それぞれ認識した単位時間あたりの回数や、移動イベント、ジェスチャイベント及び選択イベントそれぞれ１回あたりの入力時間の平均値等を座標モード選択部３２６が算出する。

より具体的には、座標モード選択部３２６がユーザの選択完了時刻からリリースイベントの発生時刻までの差を複数算出し、算出された差の平均値の逆数を操作度合いとして算出することが考えられる。

また、操作度合いはこれらに限られず、ユーザの入力検知部２１０への入力操作を特徴付ける他の特徴量であってもよい。

次に、座標モード選択部３２６は、算出された操作度合いに基づいて、特定の猶予時間Ｗｔの値を修正する（Ｓ２９２）。

例えば、算出した操作度合いが以前より大きく、ユーザが座標決定装置２００の操作に慣れてきたと座標モード選択部３２６が判断すれば、Ｗｔをより小さくする。

また、座標モード選択部３２６は、座標決定装置２００による操作期間である操作度合いが大きい場合に、ユーザが現在の座標モードに慣れていると判断し、特定の猶予時間Ｗｔを短く設定してもよい（Ｓ２３２）。

これにより、ユーザにとっては座標モードを変更してほしいのに（Ｓ２３２でＮｏ）、座標モード選択部３２６が座標モードを変更しないと判断する（Ｓ２３２でＹｅｓ）という不具合を改善することができる。

次に、座標モード選択部３２６は、算出した操作度合いに基づいて、特定の時間Ｗｐ及びＷｄの値を修正する（Ｓ２９４及びＳ２９７）。

例えば、座標モード選択部３２６が、単位時間あたりの移動イベントの発生回数が多いため、操作頻度である操作度合いが以前と比較し大きいと判断すれば、Ｗｐ及びＷｄの値をより小さくする。これにより、ユーザにとっては絶対座標モード１３０と認識してほしい場合であっても、相対座標モード１３２と認識されてしまう場合傾向を改善することができる。

最後に、座標モード選択部３２６は、算出した操作度合いに基づいて、特定の閾値Ｒｒ及びＲｂの値を修正する（Ｓ２９９）。

例えば、座標モード選択部３２６が、移動イベントの始端に対応する入力座標がいつも一定範囲内にあるため、接触開始点のばらつきの逆数である操作度合いが以前と比較し大きいと判断すれば、Ｒｒ及びＲｂの値をより小さくする。これにより、ユーザにとっては絶対座標モード１３０と認識してほしい場合であっても、相対座標モード１３２と認識されてしまう場合傾向を改善することができる。

なお、本実施の形態において、操作度合いに基づく、Ｗｔ、Ｗｐ、Ｗｄ、Ｒｒ及びＲｂ等のパラメタの修正方法は、座標入力システム９０の目的によって変えてもよい。

例えば、表示部２３０にキーボードを表示するヴァーチャルキーボードや、シューティングゲームのような状況下では、連続的に選択イベントが多数発生する。

よって、Ｗｔを短く設定する事により、選択操作の完了後からリリースまでのユーザによる意図的な保持操作を短時間で検出しやすくなり、ユーザは素早く入力ができるというメリットがある。

これは、他のＷｐ、Ｗｄ、Ｒｒ及びＲｂ等のパラメタについても、同様である。

例えば、座標モード選択部３２６は座標モードの履歴や現在の決定モードの継続時間や、利用時間の長短をもとに操作度合い決定し、Ｗｄ、Ｒｒ及びＲｂ等のパラメタを変更してもよい。具体的には、現在の座標モードが長い間変更されずに継続している場合ほど、座標モード選択部３２６は、座標モードの変更が発生しにくいように、Ｗｄ、Ｒｒ及びＲｂ等のパラメタを修正することが考えられる。

一方、アプリケーションによっては操作度合いが高いほど、すなわちユーザが座標決定装置２００を用いた入力に慣れているほど、座標モード選択部３２６はパラメタを長くする場合も想定される。

例えば、写真一覧をサムネイル表示する写真閲覧アプリケーションにおいて、１つの写真を選択した後、入力検知部２１０に接触した指を移動させることで、２つ目・３つ目の写真の選択ができるという、アプリケーション特有の操作方法を座標決定装置２００が提供するとする。

この場合、座標決定装置２００に慣れているユーザほど、特有の操作を行いたがると判断し、Ｗｔを長く設定することで、多くの写真を同時に選択しやすくすることがユーザの使いやすさにつながる。

なお座標モード選択部３２６は、操作度合いを複数算出してもよい。

具体的には、時系列として操作度合い情報を保持してもよく、若しくは、各イベントそれぞれで操作度合いを算出してもよい。

また、座標モード選択部３２６は、ユーザ別、使用される時間帯別、曜日別、アプリケーション別、など、システムが知り得る構成要素・情報のうち、複数存在するものに対して個別に若しくは複合的に操作度合いを設定してもよい。この場合、複合的とは、例えば「火曜日のアプリケーションＡにおける操作度合い」や「ユーザＡのアプリケーションＢにおける選択イベントの発生頻度」など、先に挙げた構成要素の組み合わせを意味している。

また、操作度合いによらず、座標モードによって、特定の時間や特定の閾値等を修正してもよい。具体的には、相対座標モード１３２で操作している場合には、特定の時間や特定の閾値等を長く（又は、短く）設定し、絶対座標モード１３０のときは、特定の時間や特定の閾値等を短く（又は、長く）設定してもよい。

また、それぞれの座標モード下における、選択等のイベントの発生時間分布や平均発生時間や最長時間や最短時間に応じて所定時間である、Ｗｔ、Ｗｐ、Ｗｄ等を設定してもよい。

また、座標モード選択部３２６は、Ｗｔ、Ｗｐ、Ｗｄ、Ｒｒ及びＲｂ等のパラメタ毎に異なる操作度合いや修正方法に基づいて、各パラメタの値を修正しもよい。

また、座標モード選択部３２６が算出する操作度合いは、単に「単位時間内の操作回数」だけではなく、「各イベントの発生回数や頻度」や、「イベントが発生したときの座標モードやポインタの位置、位置の分布」等に応じて決定されてもよい。

さらにまた「入力センサの接触位置、位置の分布」や、「過去の利用状況とのマッチングによるユーザ推定などでユーザ固有の操作度合いを設定する」ことや、「所定時間や判定条件を変更する前と後での操作状況の変化」や、「システムが知り得る内部データと、ユーザが前もって若しくは動的に入力可能な情報との任意の組み合わせ」などにより、座標モード選択部３２６は操作度合いを算出してもよい。

この場合、操作度合いを座標モード選択部３２６が算出するために必要な一切の情報、すなわち、入力検知部２１０で検知された座標等及びその時刻、操作認識部３１８により認識されたイベントの種類と発生時刻、座標モード選択部３２６による座標モードの選択結果とその時刻、操作ユーザを識別するＩＤ等と操作日時、等を検知結果系列記憶部３１４が保持してもよい。

また、入力待ちのループ制御（Ｓ２４０、Ｓ２４２、Ｓ２４４、Ｓ２４６）が終了する条件である特定の時間Ｗｐが、座標モード選択部３２６によって修正された場合に、その絶対値（所定時間が短いか長いかなど）や相対値（これまでの条件よりも短くなったか、長くなったかなど）に応じて、ポインタの消去表現を座標モード選択部３２６は変化させてもよい。

さらに、座標モード選択部３２６は、Ｗｐの増減状態そのものをアニメーション効果やツールチップ、コメントなどで表示してもよい。

なお、座標モード選択部３２６は、それぞれの座標モードでの操作習熟度に応じて、Ｗｔ、Ｗｐ、Ｗｄ、Ｒｒ及びＲｂ等のパラメタの修正を行ってもよい。

操作習熟度とは、操作度合いの一種であり、それぞれの座標モードにおけるイベントの発生頻度（選択イベントの数など）やエラー回数、利用時間などに応じて決まる。

また、操作習熟度の高低に応じて座標モードを選択してもよい。

以上、本実施の形態の変形例１によると、ユーザごとに操作の慣れや癖、用途などに対応する「操作度合い」を算出し、これを用いて、座標モード選択部３２６が使用する時間及び距離の閾値等（Ｗｔ、Ｗｐ、Ｗｄ、Ｒｒ及びＲｂ）を変更することができる。

これにより、各ユーザにとっての自然な入力操作に座標決定装置２００はより細かく対応することができ、自動的にユーザにとってより使いやすい座標モードの認識とその切替を実現することができる。

より具体的には、絶対座標モードによる入力操作に慣れているユーザであるとシステムが判定したユーザに対しては、ポインタ１１０の表示時間（前述のＷｐ）を短くして、相対座標モードへ移行しにくくする、又は指を残していても絶対座標モードと判定する、といった処理を行ってもよい。また、一般のキーボード入力におけるタイピングのように、たとえば入力された各点の間の距離が閾値よりも短くても、絶対座標モードと判定してもよい。なお、こうした処理、及びその前提となる課題について従来技術では示されていない。

（変形例２）
以下、本実施の形態による第２の変形例について説明する。

上記実施の形態では、座標モード選択部３２６が座標モードの選択に用いる距離として第３の座標情報によって示される入力座標であるＧ＿ｉｔ（ｘ，ｙ）５１０と、第２の座標情報によって示される入力座標であるＧ＿ｎ（ｘ，ｙ）５１２との間の距離を用いたが、本変形例では座標モード選択部３２６が異なる距離を使用する。

以下、図１０を用いて具体的に説明する。

図１０は、本実施の形態における第２の変形例において、座標モード選択部３２６が座標モードの決定に用いる距離の一例を示す模式図である。

いま、ユーザはタッチパッド形式の入力検知部２１０上の点である接触開始点９０４に指を触れたとする。その後、ユーザは入力検知部２１０から指を離さないまま、指を移動させ、移動終了点９０６で指を離す。

その後、ユーザは再び接触開始点９１０から接触を開始し、入力検知部２１０から指を離さないまま、指を移動点９１２まで移動したとする。

このとき、Ｇ＿ｉｔ（ｘ，ｙ）５１０は接触開始点９０４に相当する。また、Ｇ＿ｎ（ｘ，ｙ）５１２は接触開始点９１０に相当する。また、接触開始点９０４と接触開始点９１０の間の距離を距離Ｄｇｇ７４０とする。

また、接触開始点９０４から移動終了点９０６まで指を移動させたとき、表示部２３０では、それに対応するポインタ１１０が表示接触開始点９４４から表示移動終了点９４６まで表示されるとする。

さらに、接触開始点９１０を絶対座標モード１３０として解釈した場合の表示部２３０上での表示位置を接触開始想定点９５０とする。また、前述の通りユーザが指を移動点９１２まで移動させた場合に、移動点９１２を絶対座標モード１３０として解釈した場合の表示部２３０上での表示位置を想定ポインタ位置９５２とする。

さらにまた、表示部２３０に表示中のアイコンとして、アイコン９２４があり、アイコン９２４の中心座標をアイコン中心９２８とする。

このとき、表示移動終了点９４６と接触開始想定点９５０との距離を距離Ｄｇｐ７２０とする。

また、アイコン中心９２８と接触開始想定点９５０との距離を距離Ｄｇｄ７１０とする。

また、想定ポインタ位置９５２とアイコン中心９２８との距離を距離Ｄｐｄ７３０とする。

これらの距離を任意に組み合わせた条件式用いて、座標モード選択部３２６は座標モードを選択することができる。

一例として、距離Ｄｇｇ７４０が所定の値以上かつ、距離Ｄｇｄ７１０が所定の値以下かつ距離Ｄｇｐ７２０が所定の値以上の場合には、座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択することが考えられる。

また、距離Ｄｇｇ７４０が所定の値以上かつ、距離Ｄｇｄ７１０が所定の値以下かつ、距離Ｄｇｐ７２０が所定の値以上の場合の場合かつ、距離Ｄｐｄ７３０が所定の値以下の場合は、座標モード選択部３２６は座標モードとして相対座標モード１３２を選択することが考えられる。

なお、座標モード選択部３２６がポインタ１１０との距離を比較する画面表示パーツは最も近い画面表示パーツには限られない。座標モード選択部３２６は座標モードの選択の際に、ポインタ１１０と任意のパーツとの距離や、ポインタ１１０と複数パーツとの複数の距離を複合的に用いることができる。

また、座標モード選択部３２６は、ポインタ１１０が画面表示パーツ上に有る（無い）といった情報に応じて座標モードを選択してもよい。

なお、上述の説明では、想定ポインタ位置９５２を絶対座標モード１３０における表示部２３０上でのポインタ１１０の表示位置と定義したが、絶対座標モード１３０又は相対座標モード１３２における実際のポインタ１１０の表示位置と考えてもよい。

なお、表示装置１００は、表示部２３０に表示するポインタ１１０の形状として、一般的なカーソル形状の他、指形状等任意の形状をした画像を表示してもよい。

なお、上述の説明では、距離Ｄｇｄ７１０をアイコン中心９２８と接触開始想定点９５０との間の距離と定義したが、アイコン中心９２８に限らず、画面表示パーツの任意の場所への距離情報を少なくとも１以上用いて求めてもよい。

また、座標モード選択部３２６が使用する距離情報を算出するための画面表示パーツの数は１つに限られない。座標モード選択部３２６は、複数の画面表示パーツとの距離を算出して使用してもよく、さらにその平均値等を使用してもよい。

なお、待機ポインタ表示終了後の座標モード選択部３２６による座標モードの選択（Ｓ２５２）時には、待機ポインタ表示終了前の座標モード選択部３２６による座標モードの決定（Ｓ２８０）で用いている方法を部分的に、又は一部を組み合わせて、又はそのまま用いてもよい。

また、座標モード選択部３２６はＧ＿ｎ（ｘ，ｙ）５１２と画面の表示（ＧＵＩ）との距離に応じて座標モードを選択してもよい。

また、座標モード選択部３２６は現在（若しくは過去）のポインタの画面上での位置（若しくは履歴）に応じて座標モードを選択してもよい。

また、座標モード選択部３２６は、Ｇ＿ｎ（ｘ，ｙ）５１２と、画面の表示（ＧＵＩ）の位置と、Ｇ＿ｃｕｒ（ｘ，ｙ）５２０の３点の相互距離に応じて座標モードを選択してもよい。

さらにまた、先の３つにＧ＿ｉｔ（ｘ，ｙ）５１０を加え、座標モード選択部３２６は４点の相互距離に応じて座標モードを選択してもよい。

なお、座標モード選択部３２６は、Ｇ＿ｉｔ（ｘ，ｙ）５１０だけではなく、第１の座標系列に含まれる任意の座標情報（例えば、第１の座標系列の終端や、始端と終端の途中にある点に対応する座標情報など）を用いて座標モードを選択してもよい。

具体的には、ユーザが相対座標モード１３２でポインタ１１０を操作中に、絶対座標モード１３０であれば特定のＧＵＩパーツ（ボタンなど）に相当する部分の付近をポインタ１１０が通過したとする。このとき、座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択する（Ｓ２８０）ことで当該のＧＵＩパーツ上にポインタが表示できるようにすることができる。

さらに、当該ＧＵＩパーツの位置と画面上のポインタ１１０の位置とが特定の距離以下であれば、他の条件に優先して座標モード選択部３２６は座標モードとして絶対座標モード１３０を選択してもよい。

なお、Ｇ＿ｉｔ（ｘ，ｙ）５１０、Ｇ＿ｎ（ｘ，ｙ）５１２、画面の表示（ＧＵＩ）の位置及び現在のポインタ１１０の表示部２３０上での位置の４つについて、それぞれ相互の距離に応じて、座標モード選択部３２６は座標モードを選択してもよい。

また、相互の距離を複数組み合わせたり、重み付けをしたりすることにより、座標モード選択部３２６は、座標モードを選択してもよい。

なお、図１に示すタッチパッド付リモコン型の座標入力装置２０１のように、座標入力装置２０１は入力検知部２１０（例えばタッチパッド）を複数持っていてもよい。

このとき、取得格納部２０４は、複数の入力検知部２１０からのすべて入力を検知結果系列記憶部３１４に格納する。

なお、入力に用いられる入力検知部２１０（タッチパッド）が変化したことにより、座標モード選択部３２６は座標モードをデフォルト値に戻してもよい。

また、座標モード選択部３２６は、把持推定部３１６の推定結果（例えば、右手・左手・両手などユーザの持ち方）に応じて座標モードを選択してもよい。

例えば、座標モード選択部３２６は、把持推定部３１６が推定した把持状況に応じて、特定の猶予時間Ｗｔ、特定の時間Ｗｐ及びＷｄ、並びに特定の閾値Ｒｒ及びＲｂのうち少なくとも１つの大きさを増加させ、又は減少させてもよい。

より具体的には、図１に示すように、ユーザが右手で座標入力装置２０１を把持し、親指で入力検知部２１０を操作する場合を考える。

このとき、親指を接触させる位置として、入力検知部２１０（タッチパッド）の左側と右側では、左側の方がユーザにとっては楽な操作となる。右手で把持しつつ、入力検知部２１０の右側に親指で触れることは、把持状態として不安定となるためである。

したがって、ユーザが入力検知部２１０の右側をＧ＿ｉｔ（ｘ，ｙ）５１０として触れた場合には、敢えて操作しにくい操作をしている意図として、その点に特別な意味があるものと推定し、絶対座標モードが選択されやすくなるように、特定の猶予時間Ｗｔ、特定の時間Ｗｐ及びＷｄ、並びに特定の閾値Ｒｒ及びＲｂの値を小さくすることが考えられる。

また座標モード選択部３２６は、ユーザの持ち方が変化した場合には座標モードを規定値（絶対座標モード１３０及び相対座標モード１３２のいずれか一方）に戻してもよい。また、座標モード選択部３２６は、座標入力装置２０１から一旦ユーザの手が離れた場合は座標モードを規定値に戻してもよい。

また、座標モード選択部３２６は、ユーザが座標入力装置２０１を両手で持つ時と片手で持つ時とで座標モードの規定値そのものを変更してもよい。

また、座標モード選択部３２６は、ユーザが座標入力装置２０１を右手で持つ時と左手で持つ時とで、座標モードの規定値を変更してもよい。

また、座標モード選択部３２６は、ユーザの利き手に合わせて座標モードの規定値を変更してもよい。

また、これらに限定されず、座標モード選択部３２６は他の方法で座標モードを選択してもよい。

最後に、本実施の形態による第３の変形例について説明する。

上記実施の形態では、座標モードの規定値を変更することができなかった。しかし本変形例では、例えばユーザの好みや使用目的に応じて、座標モードの規定値を変更することができる。

図１１は、本実施の形態における第３の変形例において、座標決定装置２００の処理を示すフローチャートである。

なお、図７と共通のステップについては、同じ符号を付け、説明は省略する。

第３の変形例では、座標決定装置２００は、まず座標モードの既定値を、絶対座標モード１３０及び相対座標モード１３２のいずれか一方に設定する（Ｓ３１０）。

既定値の設定方法としては、例えば座標モード選択部３２６が表示部２３０にＧＵＩ画面を表示し、ユーザが座標入力装置２０１を用いて選択した結果を取得して設定する方法や、座標モード選択部３２６が過去の操作履歴から決定する方法などが考えられる。

その後、操作認識部３１８がリリースイベントを認識した後、座標モード選択部３２６が再度のユーザによる座標情報を取得した場合（Ｓ２４２でＹｅｓ）、座標モード選択部３２６は座標モードの選択処理を行う（Ｓ３５０）。

例えば、図３を参照して、接触開始点９１０の入力時刻が、移動終了点９０６の入力時刻から一定時間以内である場合（Ｓ３５０でＹｅｓ）、相対座標モード１３２に移行する（Ｓ２８４）。

又は、接触開始点９１０の入力座標と接触開始点９０４の入力座標の距離が一定の距離以内である場合（Ｓ３５０でＹｅｓ）、相対座標モード１３２に移行する（Ｓ２８４）。

それ以外の場合は、絶対座標モード１３０に移行する（Ｓ２８２）。

なお、座標モード選択部３２６の行う座標モードの選択処理（Ｓ３５０）は、上記に限られない。

例えば、接触開始点９１０の入力時刻が、移動終了点９０６の入力時刻から一定時間以内であり、かつ、接触開始点９１０の入力座標と接触開始点９０４の入力座標の距離が一定距離以内である場合に、座標モード選択部３２６は座標モードとして相対座標モード１３２を選択し、それ以外の場合は、絶対座標モード１３０を選択してもよい。

さらにまた、座標モード選択部３２６は、上述の他の変形例で使用する決定処理（Ｓ２３２、Ｓ２５２、Ｓ２８０）等を用いて座標モードの選択を行ってもよい。

また、本実施の形態で説明した座標決定装置２００は、コンピュータにより実現することが可能である。図１２を参照して、座標決定装置２００は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置４０及び通信モデム（図示せず）とを含む。

座標決定装置２００が行う各処理を実現するためのプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワーク２６を通じて通信モデムで読み取られる。

図１３は、座標決定装置２００を実現するコンピュータシステムのハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ４４と、ＲＯＭ４６と、ＲＡＭ４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワーク２６を介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ−ＲＯＭ装置４０を相互に接続する。

さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明は、座標決定装置等に適用でき、特に座標入力装置から取得した入力情報に基づき、表示装置が有する表示部上でのポインタの座標位置を決定する座標決定装置等に適用できる。

３２ ディスプレイ
３４ コンピュータ
３６ キーボード
３８ マウス
４０ ＣＤ−ＲＯＭ装置
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５０ ハードディスク
５２ 通信モデム
５４ バス
９０ 座標入力システム
１００ 表示装置
１１０ ポインタ
１３０ 絶対座標モード
１３２ 相対座標モード
２００ 座標決定装置
２０１ 座標入力装置
２０４ 取得格納部
２１０ 入力検知部
２１２ 把持検出センサ
２２０ 送信部
２３０ 表示部
３１４ 検知結果系列記憶部
３１６ 把持推定部
３１８ 操作認識部
３２０ 時間相関特定部
３２４ 座標相関特定部
３２６ 座標モード選択部
３２８ 座標変換部
５１０ Ｇ＿ｉｔ（ｘ，ｙ）
５１２ Ｇ＿ｎ（ｘ，ｙ）
５２０ Ｇ＿ｃｕｒ（ｘ，ｙ）
６１０ 軌跡Ａ
６２０ 軌跡表示Ａ
６３０ 軌跡Ｂ
６３２ 軌跡Ｃ
６３４ 軌跡Ｄ
６４０ 軌跡表示Ｂ
６４２ 軌跡表示Ｃ
６４４ 軌跡表示Ｄ
７１０ 距離Ｄｇｄ
７２０ 距離Ｄｇｐ
７３０ 距離Ｄｐｄ
７４０ 距離Ｄｇｇ
８００ 現在の指の位置
８１０ 第１入力状態
８１２ 第２入力状態
８１４ 第３入力状態
８１６ 第４入力状態
９０４、９１０ 接触開始点
９０６ 移動終了点
９１２ 移動点
９２４ アイコン
９２８ アイコン中心
９４４ 表示接触開始点
９４６ 表示移動終了点
９５０ 接触開始想定点
９５２ 想定ポインタ位置

だが、座標モード選択部３２６は、時間に応じて動作モードを切り替えることなく選択処理を行ってもよい（Ｓ２５２）。具体的には、座標決定装置２００が行う処理のうち、ステップＳ２４０，ステップＳ２４２，ステップＳ２４４，ステップＳ２４６，ステップＳ２８０，ステップＳ２８２，ステップＳ２８４、ステップＳ２８６を省いてもよい。その場合、座標決定装置２００はステップＳ２３２で所定条件が成立しない場合（Ｓ２３２でＮｏ）、次にＳ２５０の処理を行う（Ｓ２４０からＳ２４６のループ処理は必要では無くなる）。

Claims (19)

1. 入力座標に応じた出力座標を決定する座標決定装置であって、
   前記入力座標及び入力時刻を示す座標情報を順次取得して記録媒体に格納する取得格納部と、
   前記記録媒体に格納されている複数の座標情報のうち第１及び第２の座標情報によって示される入力時刻間の相関を時刻相関値として特定する時間相関特定部と、
   前記複数の座標情報のうち第２及び第３の座標情報によって示される入力座標間の相関を座標相関値として特定する座標相関特定部と、
   前記座標相関値及び前記時刻相関値に基づいて、第一の座標モード及び第二の座標モードのうちの何れか一方を座標モードとして選択する座標モード選択部と、
   前記第２の座標情報によって示される入力座標を、前記座標モード選択部によって選択された座標モードにしたがった座標に変換することによって、当該座標を前記出力座標として決定する座標変換部とを備え、
   前記座標変換部は、
   前記第一の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、当該入力座標に予め定め対応付けられた座標に変換し、
   前記第二の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、他の入力座標に対して既に決定された出力座標に応じた座標に変換する
   座標決定装置。
2. 前記座標相関特定部は前記入力座標間の距離を前記座標相関値として特定し、特定した前記座標相関値が事前に定められた特定の閾値未満であるか否かを判定し、
   前記時間相関特定部は前記入力時刻間の差を前記時刻相関値として特定し、特定した前記時刻相関値が事前に定められた特定の時間未満であるか否かを判定し、
   前記座標モード選択部は前記座標相関特定部及び前記時間相関特定部によって、前記座標相関値が特定の閾値未満であり、かつ前記時刻相関値が特定の時間未満であると判断された場合、前記第二の座標モードを座標モードとして選択する
   請求項１に記載の座標決定装置。
3. 前記取得格納部は、入力検知部を有する座標入力装置から座標情報を取得しており、
   前記第１の座標情報は、ユーザが前記入力検知部から指を離した時刻に対応する座標情報であり、
   前記第２の座標情報は、前記第１の座標情報が検知された後、ユーザが前記入力検知部に再度指を接触させた時刻に対応する座標情報である
   請求項２に記載の座標決定装置。
4. 前記第３の座標情報は、ユーザが前記入力検知部に指を接触させた時刻に対応する座標情報であり、
   前記第１の座標情報は、前記第３の座標情報が検知された後、ユーザが前記入力検知部から指を離した時刻に対応する座標情報であり、
   前記第２の座標情報は、前記第１の座標情報が検知された後、ユーザが前記入力検知部に再度指を接触させた時刻に対応する座標情報である
   請求項２に記載の座標決定装置。
5. 前記取得格納部は、さらに、ユーザによる選択操作の完了時刻である選択完了時刻を含む選択完了情報を取得して前記記録媒体に格納し、
   前記座標モード選択部は前記記録媒体から前記選択完了情報を取得し、前記第１の座標情報によって示される入力時刻が、前記選択完了時刻から事前に定められた特定の猶予時間内であれば、座標モードの選択を行わない若しくは座標モードの変更を行わない、
   請求項４に記載の座標決定装置。
6. 前記座標決定装置は、さらに、前記座標入力装置を備えており、
   前記座標入力装置は、ユーザによる座標入力操作及び選択操作を受け付けて、前記座標情報及び前記選択完了情報を前記取得格納部に送信し、
   前記入力検知部は、機械的な押し下げ動作を検知可能なクリッカブルタッチパッドであり、
   ユーザが前記クリッカブルタッチパッドを押し下げた指を離したことに起因して前記クリッカブルタッチパッドの戻し動作が完了する時刻を前記選択完了時刻として特定する
   請求項５に記載の座標決定装置。
7. 前記座標モード選択部は、
   前記第２の座標情報より前に前記取得格納部が取得した複数の座標情報及び選択情報のうち少なくとも１以上に基づいて、ユーザの操作特性を示す操作度合いを算出し、前記算出された操作度合いに基づいて、前記特定の時間、前記特定の閾値及び前記特定の猶予時間のうち少なくとも１つを変更する
   請求項５に記載の座標決定装置。
8. 前記座標モード選択部は、前記複数の座標情報に含まれる一の座標情報ごとに、当該座標情報によって示される入力時刻と、他の座標情報によって示される入力時刻との差を算出し、算出された前記複数の差の平均値の逆数を前記操作度合いとして算出する
   請求項７に記載の座標決定装置。
9. 前記座標モード選択部は、前記算出された操作度合いが大きいほど、前記特定の時間、前記特定の閾値及び前記特定の猶予時間のうち少なくとも１つを小さくなるように変更する
   請求項７又は８に記載の座標決定装置。
10. 前記第３の座標情報で示される位置が、前記第１の座標情報で示される位置と一致する
    請求項１又は２に記載の座標決定装置。
11. 前記第１の座標情報は、ユーザが前記入力検知部に一旦指を触れてから離すまでに入力された一連の座標情報である第１の座標系列に含まれ、
    前記第２の座標情報は、前記第１の座標系列の入力後、ユーザが再度前記入力検知部に指を触れてから指を離すまでに入力された一連の座標情報である第２の座標系列に含まれ、
    前記第３の座標情報は、前記第１の座標系列に含まれる
    請求項１又は２に記載の座標決定装置。
12. 前記座標モード選択部は、前記第１の座標情報によって示される入力時刻から事前に定められた特定の時間が経過しておらず、かつ、前記取得格納部が前記第２の座標情報を取得していない場合には、表示部へ特定の画像を表示させる
    請求項２に記載の座標決定装置。
13. 前記座標決定装置は、さらに、
    前記第１の座標系列が、表示装置に対して特定の計算機処理の開始を指令するジェスチャであるか否かを判定する操作認識部を有し、
    前記操作認識部が前記第１の座標系列をジェスチャと判定した場合、前記座標モード選択部は、前記座標モードの選択を行わない
    請求項１１に記載の座標決定装置。
14. 前記取得格納部は、さらに、ユーザが前記座標入力装置のどの位置を把持しているのかを示す把持情報を取得して前記記録媒体に格納し、
    前記座標決定装置は、さらに、前記記録媒体から取得した前記把持情報を用いてユーザによる前記座標入力装置の把持状況を推定する把持推定部を有し、
    前記座標モード選択部は、前記把持推定部が推定した把持状況に応じて、前記特定の閾値、前記特定の時間及び前記特定の猶予時間のうち少なくとも１つの値を変更する
    請求項３に記載の座標決定装置。
15. 前記座標入力装置は、前記入力検知部を少なくとも２以上備え、
    前記取得格納部は、前記複数の入力検知部のうち第１の入力検知部から取得する座標情報及び第２の入力検知部から取得する座標情報を前記記録媒体に格納する
    請求項１又は２に記載の座標決定装置。
16. 入力座標に応じた出力座標を決定する座標決定方法であって、
    前記入力座標及び入力時刻を示す座標情報を順次取得して記録媒体に格納する取得格納ステップと、
    前記記録媒体に格納されている複数の座標情報のうち第１及び第２の座標情報によって示される入力時刻間の相関を時刻相関値として特定する時刻相関特定ステップと、
    前記複数の座標情報のうち第２及び第３の座標情報によって示される入力座標間の相関を座標相関値として特定する座標相関特定ステップと、
    前記座標相関値及び前記時刻相関値に基づいて、第一の座標モード及び第二の座標モードのうちの何れか一方を座標モードとして選択する座標モード選択ステップと、
    前記第２の座標情報によって示される入力座標を、前記座標モード選択部によって選択された座標モードにしたがった座標に変換することによって、当該座標を前記出力座標として決定する座標変換ステップとを含み、
    前記座標変換ステップは、
    前記第一の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、当該入力座標に予め定め対応付けられた座標に変換し、
    前記第二の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、他の入力座標に対して既に決定された出力座標に応じた座標に変換する
    座標決定方法。
17. 請求項１６に記載の座標決定方法をコンピュータで実行させる
    プログラム。
18. 請求項１７に記載のプログラムを記録した
    コンピュータ読み取り可能な記録媒体。
19. 入力座標に応じた出力座標を決定する集積回路であって、
    前記入力座標及び入力時刻を示す座標情報を順次取得して記録媒体に格納する取得格納部と、
    前記記録媒体に格納されている複数の座標情報のうち第１及び第２の座標情報によって示される入力時刻間の相関を時刻相関値として特定する時間相関特定部と、
    前記複数の座標情報のうち第２及び第３の座標情報によって示される入力座標間の相関を座標相関値として特定する座標相関特定部と、
    前記座標相関値及び前記時刻相関値に基づいて、第一の座標モード及び第二の座標モードのうちの何れか一方を座標モードとして選択する座標モード選択部と、
    前記第２の座標情報によって示される入力座標を、前記座標モード選択部によって選択された座標モードにしたがった座標に変換することによって、当該座標を前記出力座標として決定する座標変換部とを備え、
    前記座標変換部は、
    前記第一の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、当該入力座標に予め定め対応付けられた座標に変換し、
    前記第二の座標モードが選択されたときには、前記第２の座標情報によって示される入力座標を、他の入力座標に対して既に決定された出力座標に応じた座標に変換する
    集積回路。

Images