JP4720719B2 - ポインタ制御装置、ポインタ制御方法及びポインタ制御プログラム - Google Patents

Description

ポインタデバイスによるポインタ表示の制御に関し、例えば携帯端末装置等のポインタデバイスの操作に応じてポインタ表示を制御するポインタ制御装置、ポインタ制御方法及びポインタ制御プログラムに関する。

従来のポインタデバイスと方向キーを搭載する携帯端末装置においては、表示画面上に各種のアイコン等の複数のオブジェクトを表示するとともに、前記ポインタデバイスの操作により当該画面上にポインタを出現、移動させる機能と、ポインタの表示状態における方向キーの操作により所望のオブジェクトを選択するためポインタに代えてカーソルを出現、移動させる機能と、カーソルの表示状態においてもポインタデバイスの操作によりカーソルに代えてポインタを出現、移動させる機能と、を有している。また、従来のポインタ表示の移動速度は一定速度で移動するように構成されており、操作スピードの向上を考慮すると、ポインタデバイスの操作方向とその変位量に応じて、変位量に比例した移動速度で連続的に同方向へ移動する機能を持たせ、ポインタ操作可能範囲内でポインタの移動速度を自由に操作できるようにすることも考えられる。

従来の携帯端末装置は携帯に便利なように小型にしたものが多く、その操作部も小さくなりやすい。ポインタ操作のための入力デバイス及びポインタ制御装置を持つ携帯端末装置においても、そのポインタデバイスの操作部が小さいことにより、ユーザは微妙な調整を行うことができないので、その操作にはかなりの困難性を伴う場合が多い。

それ故に、ポインタによる操作スピードを向上させようとポインタの移動速度を上げても、逆に操作の困難性からポインタの行き過ぎが起こりやすくなる。例えば、ポインタデバイスによる操作スピードを向上させようとポインタ操作の変位量に対する移動速度の比率を上げると細かい操作が困難になってしまったり、逆に細かい操作を可能とするためにポインタ操作の変位量に対する移動速度の比率を下げると遠くへポインタを移動させる際に時間がかかってしまったりする。

また、ポインタデバイスを操作する際、３６０度自由に動かせるという機能により逆にユーザの操作の僅かな誤差を検出してしまい、意図する方向とポインタの移動方向に僅かにずれを生じさせる場合があるため、ユーザはポインタ操作中、ポインタの軌跡に常に注意を払う必要が出てくる。

（目的）
本発明の目的は、以上の課題を解決しようとするものであり、ポインタデバイスによるポインタ操作をすばやく正確に行うことを可能としたポインタ制御装置、ポインタ制御方法及びポインタ制御プログラムを提供することにある。

本発明の他の目的は、ポインタを通常に移動させる機能に加え、ユーザの希望する位置又はその近傍に瞬間的にすばやくポインタを移動させる機能を追加したポインタ制御装置、ポインタ制御方法及びポインタ制御プログラムを提供することにある。

本発明の他の目的は、ユーザの瞬間的なポインタ移動及びその操作に応じたポインタ移動先に対する学習機能をも追加し、ポインタの瞬間的な移動をユーザ固有の操作の特徴にあわせて最適化できるポインタ制御装置、ポインタ制御方法及びポインタ制御プログラムを提供することにある。

本発明の他の目的は、瞬間的なポインタ移動の動作後のポインタ位置の微調整の操作を容易にする機能を追加したポインタ制御装置、ポインタ制御方法及びポインタ制御プログラムを提供することにある。

これを実現するために、本発明では、ポインタデバイスの短時間内のユーザの操作の特徴を検出し、それに基づいて目的位置にポインタを瞬間的に移動させるという手段を設けている。さらに、ポインタの瞬間的に移動させる動作後のユーザの操作等を教師信号として利用し学習することで、特徴的な操作入力の検出や移動先の算出をより正確に実行できるように特徴パラメータの修正を行う手段を設けている。具体的には、ポインタデバイスを搭載している携帯端末装置において、通常行われるポインタ移動の処理に加えて、ユーザの特徴的なポインタ操作の入力を捉えたときにポインタを瞬間的に目的位置まで移動させることと、その入力を特徴的なものと捉えるための条件や移動先の算出に関するパラメータをユーザの操作から学習可能にしたことを特徴とする。これらにより、ユーザによるポインタ操作をすばやく正確に行うことができるようになり、よりスムーズなポインタ操作を可能とする。

本発明のポインタ制御では、表示画面上の表示ポインタを所定速度で移動させる通常のポインタ移動を行うポインタデバイスの操作（「ポインタ通常移動操作」という。）により、ポインタの通常の移動の動作（「ポインタ通常移動動作」という。）の表示処理を行うとともに、表示ポインタを瞬間的に所定距離移動させるための特徴的なポインタデバイスの操作（「ポインタ瞬間移動操作」という。）により、少なくともポインタをすばやく目的の位置に移動させる動作（「ポインタ瞬間移動動作」という。）を含む表示処理を行うものである。例えば好適には、あるポインタ操作が行われると、ポインタ通常移動動作の表示処理が開始されるものの、そのポインタ操作が特徴的であったと判別されるとポインタ瞬間移動操作の表示処理が割り込まれ、ポインタ瞬間移動動作が行われるように構成される。

より具体的には、ユーザからごく短い時間内にポインタデバイスに十分な入力変位の時間変化量を含む一時的な入力操作が与えられたとき（図３、６のＡ５）、その入力はポインタ瞬間移動操作であると判断し、そのときのポインタデバイスの操作方向や変位量、操作時間、またそこから得られる立ち上がり・立ち下がりの角度等の特徴からポインタ操作可能範囲内のユーザの希望する移動先を算出し瞬間的にポインタを移動させることにより（図３、６のＡ８）、操作速度の向上を図る。また、それらのユーザ固有の操作の特徴を、ユーザの操作から学習することにより（図６のＡ１１）、より希望位置に近い場所にポインタを移動させるようにし、ユーザの意図しない動作の軽減を図る。入力が特徴的なものでないと判断した場合は、通常行うポインタ動作の処理を行う（図３、６のＡ７）。なお、これらのポインタ瞬間移動操作かどうかの判断やポインタ瞬間移動動作の移動先の算出に用いるユーザ固有の操作の特徴はパラメータとして保存する（図１、３、５、６参照）。

本発明によれば、ポインタデバイスの短時間操作からポインタの瞬間的な移動を行うので、すばやく目的の位置へポインタを移動させることが可能である。特に従来のポインタ操作の機能を損なうことなく、また、デバイスの追加を必要としないので、ユーザの操作感においてもコスト面においても大きなメリットがある。

また、ユーザ固有の操作の特徴を学習し、ポインタ瞬間移動の判別と移動先の算出をすることにより、より正確な判別結果とユーザの意図する移動先座標にポインタやカーソルを位置させることが可能である。ユーザのポインタ通常移動操作やポインタ瞬間移動動作後から目的位置への移動終了までの操作や、キャンセルキーの操作を学習の教師信号に利用することで、ユーザは特に意識することなく自分の特徴的な操作にあうように瞬間移動の起動と移動先に関してカスタマイズを行うことができる。

更に、ポインタ瞬間移動動作後のポインタ通常移動操作において、ポインタ瞬間移動先がユーザの意図した移動先に十分近いと判別された場合などに、一時的にポインタの移動速度を下げたり、移動方向を８方向等に制限する等の手段を設けることにより、ユーザが目的位置へポインタ位置を補正する際、ポインタ通常移動操作がユーザの意図した移動先への操作とわずかにずれても、ポインタ移動速度が低いことによるポインタの行き過ぎや、移動方向に制限があることによる移動方向のずれを防ぐことができ、これによりユーザのフラストレーションの軽減も望める。

（実施の形態１）
本発明の一実施の形態として携帯端末装置のポインタ制御装置を例とし、そのポインタ表示等の制御機能は、表示画面上に各種のアイコン等の複数のオブジェクトを表示するとともに、前記ポインタデバイスの操作により当該画面上にポインタを出現、移動させる機能と、ポインタの表示状態における方向キーの操作により所望のオブジェクトを選択するためカーソルを出現、移動させる機能と、カーソルの表示状態においてもポインタデバイスの操作によりポインタを出現、移動させる機能等を有する携帯端末装置のポインタ制御装置について以下詳細に説明する。

（構成の説明）
図１は本実施の形態の携帯端末装置の構成を示すブロック図である。ユーザの操作により表示ポインタの位置を特定、制御するためのポインタデバイスで構成されたポインタ入力部１、各種の入力操作を行うためのキーに加えカーソル操作を行う上下左右方向の方向キーを含むキー入力部２、アイコン等の他の表示情報等とともにポインタ及び隣接するオブジェクトに対するカーソル等を表示する表示部４、ポインタデバイス操作の特徴に関連するパラメータを格納する特徴パラメータ保存用メモリ３を備え、ポインタ入力部１とキー入力部２とタイマ部６からの情報を入力し、表示部４のポインタ等の表示の制御信号を演算する演算部５とから構成される。各部の機能は以下のとおりである。

ポインタ入力部１のポインタデバイスは、ユーザの操作に応じたポインタ表示の位置情報を決定する信号（ポインタデバイスの操作情報）として、操作方向ｘ、ｙ軸の情報や変位量、操作時間に応じて、立ち上がり、振幅、持続時間（時間幅）及び立ち下がりの異なるアナログ波形電圧等の信号が出力される。キー入力部２の上下左右の方向キーは、操作された方向キーに応じてオブジェクトに対するカーソル表示（アイコン選択表示等）の移動方向の情報を出力する。タイマ部６はクロック信号等の時間情報を出力する。演算部５はこれら出力情報を入力として処理し、他の表示信号等とともに、ポインタ及びカーソルの位置を制御する制御信号を演算し表示部４に出力して表示を制御する。表示部４は他の表示信号等とともに、ポインタ及びカーソルの位置を制御する制御信号によりポインタ又はカーソルを視覚情報として表示する。特徴パラメータ保存用メモリ３には、ユーザによるポインタデバイスの操作が特徴的な入力か否かを判断する判断基準（条件）に関するパラメータとポインタ瞬間移動動作の移動先を算出するためのパラメータが格納される。

図２はポインタ入力部１を構成するポインタデバイスの操作出力例を示す図である。ポインタデバイスから出力されるアナログ状の波形例を示しており、ユーザがポインタデバイスの操作桿を瞬間的に弾くような操作を行うと、その出力波形は時間幅Ｔが狭く操作強度に応じた異なる操作出力例ａ１、ａ２（時間幅Ｔａ１、Ｔａ２）として出力され、ユーザがポインタデバイスの操作桿の通常の操作を行うと、その出力波形は時間幅の長い操作出力例ｂ１（時間幅Ｗｂ１）として出力される。

本実施の形態では、これらの操作出力がポインタ瞬間移動操作かポインタ通常移動操作かを判別するために、短時間の時間的な閾値Ｔｔｈをパラメータとし、演算部５が操作出力の波形の時間幅（操作時間）Ｔが閾値Ｔｔｈ未満であることを検出した際にポインタ瞬間移動操作と判定し、時間幅Ｔが閾値Ｔｔｈ以上であることを検出した際にポインタ通常移動操作と判定する判定方法が採用される。また、操作出力の時間幅Ｔはクロック信号のカウントにより計測され、例えば入力電圧が開始され始めてからクロック信号をカウントし、該入力電圧が終了したときの計測値を時間幅Ｔとし、Ｔ＜Ｔｔｈならばポインタ瞬間移動操作と判定される。

また、ポインタ瞬間移動操作に対する表示部を制御する瞬間移動量Ｍは、係数αをパラメータとし、操作量の合計Ｓのα倍として算出される。計算式は、Ｓを時間的に変化する入力電圧Ｖの積分とし、Ｓ＝∫Ｖｄｔ（実際は離散系のためΣ）であるから、Ｍ＝α＊Ｓとして算出される。

以上により特徴パラメータ保存用メモリ３には、特徴的な入力であると判断する条件に関するパラメータとして、ポインタデバイスの操作がポインタ瞬間移動操作か又はポインタ通常移動操作かを判定する、ポインタデバイスの操作出力の時間幅Ｔに係る閾値Ｔｔｈと、ポインタ瞬間移動操作に対する移動量に係る係数αが格納される。

演算部５はポインタ入力部１のポインタデバイス及びキー入力部２の方向キーからの操作出力を入力とし、ポインタデバイスの操作出力に関しては特徴パラメータ保存用メモリ３の前記閾値Ｔｔｈを参照して、ポインタ通常移動操作か又はポインタ瞬間移動操作かの判断を行い、該判断結果がポインタ通常移動操作の場合はポインタ通常移動動作の処理を行い、該判断結果がポインタ瞬間移動操作の場合は特徴パラメータ保存用メモリ３の前記係数αを参照してポインタ表示の移動先（ｘ、ｙ情報）を算出し、ポインタ瞬間移動動作の処理を行う。

つまり演算部５は、ユーザによるポインタデバイスの操作に応じて出力されるアナログ状の出力信号の時間幅Ｔと閾値Ｔｔｈとの比較により、その操作がポインタ瞬間移動操作と判断した場合は、ユーザの希望するポインタの移動先の位置を当該出力信号の面積Ｓと係数αによりポインタ瞬間移動動作の移動先（ｘ、ｙ情報）を算出し、ポインタ表示位置を指定する制御信号を表示部４に出力し、また、ポインタ通常移動操作と判定した場合は、アナログ状の出力信号の継続時間中、ポインタ表示の位置を所定速度で移動する制御信号を演算し表示部４に出力する。

また、ポインタ瞬間移動動作においては、移動先のポインタ表示の位置はユーザが希望するオブジェクトからずれることも想定されるが、この場合にはユーザによりポインタデバイスのポインタ通常移動操作が追加的に行われ、最適なポインタの位置にポインタ表示が補正されることになる。

以上のポインタ入力部１の操作に加えて、任意の時点でポインタ入力部１の操作に代えてキー入力部２の方向キーの操作が行われた場合には、演算部５は、例えば直前のポインタ表示の位置又は近傍のオブジェクト等にカーソル表示を行い、当該カーソルを他のオブジェクトの位置へとカーソル移動させる通常行われるカーソル移動の制御出力の演算を行い表示部４に出力しカーソル移動を制御する。

このため演算部５は、図示しない中央制御装置（ＣＰＵ）とＲＡＭ等の記憶部を備えるコンピュータとして構成され、前記記憶部には本実施の形態の機能を実現する処理プログラムを格納し、ＣＰＵは、記憶部の処理プログラムを読み込み、読み込まれた処理プログラムにより制御され、ポインタ入力部１のポインタデバイス及びキー入力部２の方向キーからの操作出力及びタイマ部６からの時間情報を入力し、表示部４を制御する。

以上により本実施の形態では、通常のポインタ操作の処理機能に加え、ユーザの希望する位置又はその近傍に瞬間的にすばやくポインタを移動させる機能を追加され、ポインタデバイスからの簡単な操作によりポインタをユーザの意図する場所又はその近傍まですばやく移動させることが可能となる。

（動作の説明）
次に、本実施の形態のポインタ制御装置の動作を詳細に説明する。
図３は、本実施の形態１のポインタデバイス及び方向キーによるポインタ及びカーソル移動の制御に関するフローチャートを示す図である。ポインタデバイスの入力に対する演算部５のポインタ瞬間移動とポインタ通常移動の制御機能の内容を示している。本動作例では、演算部５はポインタ瞬間移動の動作後か否かを識別するフラグ（ＯＮ／ＯＦＦ）を内部に有しており、ポインタ操作の決定後にフラグをＯＦＦ（初期状態）に設定し、ポインタ瞬間移動の動作前と動作後を切り分け、ポインタ瞬間移動の動作後のポインタの位置の補正動作の識別を可能としている。以下、フラグがＯＦＦとされた初期状態以降の処理フローについて詳細に説明する。

ユーザの入力操作により演算部５にポインタ操作入力または方向キー操作入力が与えられると（ステップＡ１）、演算部５は操作キーの違いにより方向キー操作入力か否か、つまり方向キー操作入力か又はポインタ操作入力かを判断する（ステップＡ２）。ここで、方向キー操作入力であると判断した場合には、演算部５は方向キーの種類（上下左右）に応じて表示部４を制御し、例えば所定のオブジェクトから隣接する他のオブジェクトへと方向キーに応じてカーソルの移動制御を行う（ステップＡ５）。

ステップＡ２において、ポインタ操作入力であると判断された場合には、演算部５はポインタの移動動作の制御を開始するとともに（ステップＡ３）、フラグを参照してＯＮ状態かＯＦＦ状態かを判断する（ステップＡ３）。フラグがＯＮ状態であれば、演算部５は表示部４に対しポインタ通常移動動作の制御をポインタ操作終了まで行うものの（ステップＡ７）、スタート時点からフラグはＯＦＦ状態であったから、演算部５は、ポインタ操作の操作出力の波形の時間幅Ｔをタイマ部６から出力されるクロック信号をカウントすることにより計測し、この計測結果と特徴パラメータ保存用メモリ３の閾値Ｔｔｈとを比較し、当該ポインタ操作入力がポインタ瞬間移動操作か否かを判断する（ステップＡ４）。

ステップＡ５の比較結果が時間幅Ｔ≧Ｔｔｈ（ポインタ通常移動操作）の場合には、演算部５は表示部４に対しポインタ通常移動動作の制御をポインタ操作終了まで行い（ステップＡ７）、また、時間幅Ｔ＜Ｔｔｈ（ポインタ瞬間移動操作）の場合はポインタ通常移動の動作からポインタ瞬間移動動作への割り込み動作に移行し、演算部５は特徴パラメータ保存用メモリ３のポインタ瞬間移動動作の移動先を算出するための移動量の係数αを参照し、該係数αと操作出力の当該波形の積分値Ｓとに基づいて制御用の移動量Ｍ＝α＊Ｓを算出し、表示部４に対しポインタ瞬間移動動作の制御を行い（ステップＡ８）、更にフラグをＯＦＦ状態からＯＮ状態に設定してその後のポインタ操作入力は全てポインタ通常移動操作として扱う記憶情報とする（ステップＡ９）。ステップＡ９においてフラグをＯＮ状態に設定するのは、ポインタ瞬間移動動作直後は、おおよそ希望位置の近くにカーソルが移動していることが期待できることから、その後のポインタ操作が短い時間内でしか行われない可能性が高いことを考慮し、このポインタ操作を誤認識して更に瞬間移動の処理が行なわれることを防ぐ意味もある。

ステップＡ６、Ａ７、Ａ８（Ａ９）の何れかの動作後は、ユーザはカーソル位置又はポインタ位置が希望する位置か否かを表示部４により確認することとなり、演算部５はユーザにより決定キーの操作がされたか否かを判断する（ステップＡ１０）。ポインタ位置又はカーソル位置がユーザの希望する位置に移動している場合は決定キー操作が行われるので、演算部５はフラグをＯＦＦ状態とし、新たなポインタ操作入力または方向キー操作入力を待つことになる。また、ポインタ位置又はカーソル位置がユーザの希望する位置からずれている場合は決定キー操作が行われず、ポインタ位置の補正等のポインタ操作入力または方向キー操作入力のステップＡ１に戻る。

前記後者のポインタ位置の補正等の場合には、ユーザが例えばカーソル操作でカーソルの補正を行ったとすると、演算部５はステップＡ２、Ａ６の処理を行い、また、例えばポインタ通常移動操作でポインタ位置の補正等を行ったとすると、演算部５はステップＡ２、Ａ３を介して、ステップＡ４でフラグのＯＮ状態を認識し、ステップＡ７でポインタ通常移動のみの処理を行う。つまり、ポインタ位置の補正等のフラグのＯＮ状態への移行後の動作では、ユーザのポインタ操作の態様にかかわらず、Ａ１、Ａ２、Ａ６又はＡ１、Ａ２、Ａ３、Ａ４、Ａ７の処理のみが必要回数行われ、その後決定キーが押下されることになる（ステップＡ１０）。

また、初期状態であるフラグのＯＦＦ状態からのポインタ操作入力でステップＡ１、Ａ２、Ａ３、Ａ４を介し、演算部５がステップＡ５で時間幅Ｔ≧Ｔｔｈの操作出力を検出した場合には、ポインタ通常移動操作と判断し、表示部４に対しポインタ通常移動動作の制御を行い（ステップＡ７）、この場合フラグはＯＦＦ状態であるから、その後のユーザのポインタ操作入力は、ポインタ瞬間移動操作のステップＡ８、Ａ９、Ａ１０の処理が行われるまでポインタ通常移動操作やカーソル移動操作の繰り返しが可能である。

以上のような演算部５の処理機能に基づくユーザの操作とポインタの動きの動作例を表示画面上のポインタの動きで説明する。
図４は、本実施の形態のポインタ操作及び該操作によるポインタ移動動作例を示す図である。本例ではポインタ操作可能範囲内にある１１×１１の候補のうち、上から２行目、左から８列目の位置がユーザの目的とするポインタ位置の候補（目的候補）とし、最初にポインタ操作可能範囲の中央にポインタがあり、そこからポインタ瞬間移動動作を利用して目的候補へポインタを移動させる場合の動作例を示している。

図４（ａ）はポインタ通常移動操作によるポインタの移動例であり、ポインタ操作時間に応じてポインタが所定速度で連続的に移動している。図４（ｂ）はポインタデバイスを弾くようにして目的の位置に向かって右上の方向に入力するポインタ瞬間移動操作によるポインタの移動例であり、ポインタ操作の操作出力の波形の面積に応じて移動量は制御可能である。図４（ｃ）、（ｄ）はポインタ瞬間移動操作後のポインタ通常移動操作によるポインタの補正移動の各動作例であり、目的候補へのポインタ瞬間移動量の過不足をポインタ通常移動操作で修正可能である。これは、キー入力部の方向キーの押下によるカーソルの通常移動処理を行うときも同様である。なお、図４（ｂ）〜（ｄ）に示す元のポインタ位置に隣接する表示ポインタはポインタ瞬間移動動作が割り込まれる直前のポインタの通常移動の動作による表示ポインタを示すものである。また、ポインタがユーザの目的候補に移動したことにより、この後、当該ポインタの位置のアイコン等のオブジェクトに関連して、ユーザから決定キー等の入力が与えられることにより、例えば当該機能を起動可能でありポインタ又はカーソルのこの回の操作は終了となる。

（実施の形態２）
以上説明した実施の形態１では、ポインタデバイス操作の特徴に関する固定したパラメータに基づいて、ユーザのポインタデバイス操作によりポインタ瞬間移動及び移動量の制御を行うようにした構成例であるが、このパラメータをユーザの操作に基づく学習により修正可能としてユーザ固有の特徴パラメータとする処理を行ない、当該ユーザに対するポインタ瞬間移動及び移動量を最適化し、一層高精度な動作を実現可能とした実施の形態２について以下説明する。

（構成の説明）
図５は本実施の形態２の携帯端末装置のポインタ制御装置の構成を示すブロック図である。本実施の形態２の基本構成は実施の形態１と同様に、ユーザの操作により表示ポインタの位置を特定、制御するためのポインタデバイスで構成されたポインタ入力部１、各種の入力操作を行うためのキーに加えカーソル操作を行う上下左右方向の方向キー、キャンセルキー等を含むキー入力部２、他の表示情報等とともにポインタ及び隣接するアイコン等のオブジェクトに対するカーソル等を表示する表示部４、ポインタデバイス操作の特徴に関連するパラメータを格納する特徴パラメータ保存用メモリ３を備え、ポインタ入力部１とキー入力部２とタイマ部６からの情報を入力し、表示部４のポインタ等の表示の制御信号を演算する演算部５とから構成され、更に、本実施の形態２では演算部５に、ポインタ操作等の特徴等を学習し前記パラメータを修正する学習機能を実現する学習部７を備え、処理プログラムを格納する記憶部には以下の学習機能をも実現するプログラムが格納されている点に特徴を有する。

本実施の形態２の各部の機能も基本的に実施の形態１と同様であるから共通する機能の説明は省略し、本実施の形態２の特徴的な機能である学習部７を備える演算部５の機能及び動作について以下説明する。

演算部５は学習部４を備えることにより、ポインタ入力部１及びキー入力部２からのポインタ通常移動操作及びポインタ瞬間移動操作を含む各種入力の操作形態とその後の決定キー等の押下による操作終了までの操作内容に基づき、ポインタの移動方向と移動距離の誤差、移動動作（瞬間、通常）の間違いを判断し、各回の操作内容を教師信号に利用して学習を行い、ユーザが意図した動作により近づく方向に特徴パラメータ保存用メモリ５に記録されている特徴パラメータの修正を行う機能を有する。

例えば、右上の方向へポインタ瞬間移動動作が行われた後、さらに右上の方向にポインタ又はカーソルが動かされてから決定キーが押下された場合、ポインタ瞬間移動がユーザの意図したものより移動距離が短かったと判断し、右上の方向へのポインタ瞬間移動の移動量を増加させる方向に特徴パラメータの修正を行う。また、ポインタ瞬間移動動作後に、そのポインタ瞬間移動動作をキャンセルした場合、ユーザはポインタ瞬間移動動作を意図していないにもかかわらずポインタ瞬間移動動作を行ってしまったと判断し、ポインタ瞬間移動操作の判別に関する特徴パラメータに対しポインタ瞬間移動操作と判別しにくくなる方向に特徴パラメータの修正を行う。逆にポインタ通常移動操作が短く同方向に繰り返して入力された場合、ユーザはポインタ瞬間移動動作を意図していたにもかかわらずポインタ瞬間移動動作を行ってしまったと判断し、ポインタ瞬間移動操作の判別に関する特徴パラメータに対しポインタ瞬間移動操作と判別しやすくなる方向に特徴パラメータの修正を行う。

このようにして、ポインタデバイスからの短い操作でポインタをユーザの意図する場所まですばやく移動させることができ、また誤差等があった場合もユーザが意識せずともその後の操作を利用してユーザ固有の操作の特徴を学習し特徴パラメータを修正するので、以降のポインタ瞬間移動操作をより正確に判別し、ユーザに最適な瞬間移動が実現される。

（動作の説明）
図６は、本実施の形態２のポインタデバイス及び方向キーによるポインタ及びカーソル移動の制御に関するフローチャートを示す図である。本実施の形態２のフローチャート上の特徴的な処理は、ステップ１０の決定キー操作後のステップ１２におけるポインタ操作等の結果に基づく特徴パラメータの学習による修正動作にあり、その他のステップＡ１〜Ａ１１の処理は実施の形態１と同様である。

従って、本実施の形態２の動作につては、主に学習部７による演算部５の学習とパラメータの修正動作について以下詳細に説明する。
本実施の形態２の演算部５では、前述のように特徴パラメータ保存用メモリ３の特徴パラメータに基づいてポインタ操作等に応じた表示ポインタの位置の制御を行うとともに、学習部７は前記ポインタ操作及び制御におけるポインタ操作及びキャンセルキーの操作結果毎に、ユーザの操作の特徴を学習し、特徴パラメータ保存用メモリ３から特徴パラメータを読み出し、読み出したパラメータを修正して、再び特徴パラメータ保存用メモリ３に格納する処理を繰り返して学習及び修正を行う。ここで特徴パラメータ保存用メモリ３には、特徴パラメータとして操作量Ｍに関連する操作出力の波形の合計（山の面積）Ｓに関する係数α及び波形の時間幅に関する閾値Ｔｔｈが格納されており、これらはポインタ入力部１及びキー入力部２からのポインタ操作等の結果からそれぞれユーザの意図する瞬間移動の移動量が汲み取れ、移動形態（瞬間、通常）が判断できる数値であるから、学習部７はこれらに関し以下の方法で学習してパラメータを修正する。

１．瞬間移動の移動量（係数α）の学習
（１）ポインタ瞬間移動動作後、そのまま決定キーが押下された場合は、ポインタ操作に対する表示ポインタの瞬間移動位置が正しかったと判断し係数αは修正しない。
（２）ポインタ瞬間移動動作後、その移動方向と逆方向にポインタ（カーソル）を移動させて決定キーが押下された場合は、移動量が多すぎたと判断し係数αを小さくするように修正する。
（３）ポインタ瞬間移動動作後、その移動方向へさらにポインタ（カーソル）を移動させて決定キーが押下された場合は、移動量が少なすぎたと判断し係数αを大きくするように修正する。

ここで扱う係数αとしては、ポインタの操作方向であるｘ軸とｙ軸方向の操作量に応じて波形の面積Ｓ（Ｓｘ、Ｓｙ）に対応してそれぞれの係数αをｘ軸αｘとｙ軸αｙに分けて計算することも可能であり、また、ｘ軸とｙ軸方向に共通の係数αとすることも可能である。係数αをｘ軸αｘとｙ軸αｙに分ける場合の修正方法を具体的な例を挙げて説明すると次のとおりである。

例えば、初期状態等、修正前にパラメータαｘ＝０．１０、αｙ＝０．１０であるとし、ユーザは表示ポインタを、ｘ方向へ１００［ｐｉｘｅｌ］、ｙ方向へ−５０［ｐｉｘｅｌ］移動させようとし、右やや斜め下へポインタデバイスから瞬間的操作を行ったとする。そのときのポインタデバイスから出力された操作量の合計が、ｘ方向に７００［ｍＶ・ｍｓｅｃ］、ｙ方向に−４００［ｍＶ・ｍｓｅｃ］であったとする。

この場合、前記パラメータによる計算すると移動量はｘ方向７０［ｐｉｘｅｌ］、ｙ方向−４０［ｐｉｘｅｌ］にポインタが瞬間移動するが目標の位置より少ない。ユーザはこの不十分な表示ポインタの移動を確認して、その後さらにポインタデバイスを通常移動操作により、ｘ方向のプラス方向へ＋３０［ｐｉｘｅｌ］、ｙ方向のマイナス方向へ＋１０［ｐｉｘｅｌ］（瞬間移動と逆方向に修正を行った場合マイナス値）移動させた後、決定キーを押下したとする。

演算部では決定キーの押下により、瞬間移動後から決定キーが押されるまでの（Δｘ、Δｙ）＝（３０、１０）の入力操作を学習に用いる。ユーザによる修正値として、係数α（αｘ、αｙ）をどの程度学習させるかの値を学習定数ηとし、修正後の係数α’（αｘ’、αｙ’）とし、
Δαｘ＝ηｘ＊Δｘ
αｘ’＝αｘ＋Δαｘ
Δαｙ＝ηｙ＊Δｙ
αｙ’＝αｙ＋Δαｙ
により係数α（αｘ、αｙ）を修正することでユーザのポインタデバイス操作の特徴が学習、修正される。

ここで、ηｘ＝ηｙ＝０．００１として計算してみると、αｘ’＝０．１３、αｙ’＝０．１１となり、次回も同じように操作量の合計がｘ方向に７００［ｍＶ・ｍｓｅｃ］、ｙ方向へ−４００［ｍＶ・ｍｓｅｃ］の瞬間移動が行われた場合、移動量はｘ方向へ９１［ｐｉｘｅｌ］、ｙ方向へ−４４［ｐｉｘｅｌ］と、本来ユーザの意図しているｘ方向へ１００［ｐｉｘｅｌ］、ｙ方向へ−５０［ｐｉｘｅｌ］という目的地に近づきやすくなることが分かる。

なお、本例によれば修正量が多ければ係数αも大きく学習されるが、本実施の形態では以上の例に限られるものではなく、修正があった場合、「上記（１）〜（３）にのっとって、係数αを０．００１ずつ増減させる」などの単純な修正によっても学習動作を実現することも可能である。

２．瞬間移動の判別基準（閾値Ｔｔｈ）の学習
ポインタ通常移動操作が短く同方向に繰り返して入力された場合、ユーザはポインタ瞬間移動動作を意図していたにもかかわらずポインタ通常移動動作が行われたとして、ポインタ瞬間移動操作の判別に関する特徴パラメータの閾値Ｔｔｈを大きくする方向に修正し、ポインタ瞬間移動操作として判別しやすくする（ポインタ操作による学習）。
また逆に、ポインタ瞬間移動動作後に、ユーザがそのポインタ瞬間移動動作をキャンセルキーによりキャンセルした場合、ユーザはポインタ瞬間移動動作を意図していないにもかかわらずポインタ瞬間移動動作が行われたとして、閾値Ｔｔｈを小さくする方向に修正し、ポインタ瞬間移動操作として判別しにくくする（キャンセルキー操作による学習）。

閾値Ｔｔｈの増加又は減少方法は、閾値Ｔｔｈを一定値ずつ増加又は減少させることで実現できる。つまり、決定キーの押下のたびに、各回のポインタ又はキャンセルキーの操作内容に基づき、ポインタ通常移動操作の短い同方向への繰り返し又はキャンセルキーの押下操作に対して、それぞれ閾値Ｔｔｈに一定値を増減させる演算を行う方法が適用できる。

図７は瞬間移動の移動量（係数α）の学習が適用される操作（表示）例を示す図である。最初のポインタ位置（図７（ａ））から瞬間移動を利用したポインタ移動を行った結果、ユーザの候補位置からずれた位置にポインタが移動したとしても（図７（ｂ））、ユーザが再度ポインタ通常移動操作により目的候補にポインタ位置を補正することにより（図７（ｃ））、この補正量が学習され移動量の特徴パラメータが修正されることにより、学習後は適正なポインタ瞬間移動が実現される（図７（ｄ））。具体的には演算部５は、このポインタ操作入力を操作時間によりポインタ瞬間移動操作と判断し、図７（ｂ）に示すようにポインタ瞬間移動動作の処理を行う。ポインタ瞬間移動動作の結果、移動後のポインタの位置は、ユーザの目的候補の一つ下の候補（位置）となっているため、ユーザはさらにポインタデバイスによりポインタの上方向への操作入力が与えられ、これにより演算部５は、ポインタ通常移動動作により図７（ｃ）に示すように上の目的候補へポインタを通常移動させる補正処理を行う。この補正量が学習され移動量の特徴パラメータが修正される。これは、操作キーの上方向キーが押され、カーソルの通常移動処理を行うときも同様である。

図８は瞬間移動の判別基準（閾値Ｔｔｈ）に学習が適用される操作（表示）例を示す図である。図８（ａ）はポインタ通常移動操作が短く同方向に繰り返して入力された場合のポインタ表示例であり、図８（ｂ）、（ｃ）はポインタ瞬間移動動作後に、ユーザがそのポインタ瞬間移動動作をキャンセルキーによりキャンセルした場合のポインタ表示例である。

図８（ａ）に示すように、ポインタ通常移動操作が短く同方向に繰り返して入力され決定キーが押下された場合は、そのような操作ごとに閾値Ｔｔｈを一定値ずつ大きくなるように修正する。また逆に、図８（ｂ）に示すポインタ瞬間移動動作後に、図８（ｃ）に示すようにユーザがキャンセルキーにより演算部５への割り込み動作である瞬間移動の動作をキャンセルした場合は、そのような操作ごとに閾値Ｔｔｈを一定値ずつ小さくなるように修正する。同図の操作をキャンセルキーでキャンセルするのは瞬間移動を意図していないのに演算部が瞬間移動操作と誤認識したとして、学習部で瞬間移動が起こる条件の閾値Ｔｔｈを狭める修正である。つまり、ポインタ通常移動操作が短く同方向に繰り返し入力された場合、ユーザはポインタ瞬間移動動作を意図しているにもかかわらずポインタ通常移動動作を行ってしまったと判断し、ポインタ瞬間移動操作の判別に関する特徴パラメータに対しポインタ瞬間移動操作と判別しやすくなる方向に特徴パラメータの修正を行うものである。逆に、ユーザが瞬間移動を意図していないのに瞬間移動が起こってしまった場合、ユーザはキャンセルキー等でキャンセルすることにより、ポインタ通常移動動作先に戻すことを可能とし、キャンセルキー等でポインタ瞬間移動がキャンセルされた場合、ポインタ瞬間移動操作の判別に関する特徴パラメータに対しポインタ瞬間移動操作と判別しにくくなる方向に特徴パラメータの修正を行うものである。これらにより、ユーザ固有の操作について、ポインタ瞬間移動操作かポインタ通常移動操作かの判別をより正確に行うことができるようになる。ポインタ瞬間移動動作後の操作が行われた場合、又はポインタ通常移動操作を同方向へ繰り返し入力していると判断された場合、学習部はそのときの移動方向と移動距離は、ユーザの意図した位置との誤差であると考え、その操作入力を教師信号として利用し、その誤差が小さくなる方向へ特徴パラメータの修正を行うよう学習処理を行う。

ところで、キャンセルキーの学習だけではＴｔｈは小さくなり続けいずれ瞬間移動は起こらなくなり、逆に瞬間移動が起こりやすくする必要がある。但し、あまり大きすぎるとどんな操作でも瞬間移動となるので上限は必要である。目安としては、画面上に並んだ一般的な大きさと配置の隣り合ったオブジェクトのオブジェクト中央からオブジェクト中央まで通常のポインタ操作で移動するときの最短時間（もしくはその半分）程度が適切である。閾値Ｔｔｈを大きくする条件は、短時間の同一方向の繰り返し入力である「Ｔ≧Ｔｔｈで、Ｔが十分小さい場合」かつ「前回の面積Ｓ（Ｓｘ、Ｓｙ）が今回の値に近い場合」で、閾値Ｔｔｈを一定値ずつ大きくする方法が採用できる。なお、前者については、ある値より小さいかどうかという適当な比較対象が必要で、人間の操作スピードに係り統計的又は人間工学的に一般的な値を求める。しかし、後者がある程度カバーしてくれると考えられるので、前述のＴｔｈの上限より小さい、という程度の比較でもそれほど問題はない。また後者については、前回のＳに対する今回のＳの誤差が１０％以下とすることも可能である。

以上のように本実施の形態２では、ポインタ瞬間移動動作後からユーザによる決定キー等の操作終了を意図した入力が与えられるまでのポインタまたはカーソルの移動を学習部４における学習の教師信号に利用することにより、より目的位置へ近づく方向へ特徴パラメータを修正される。以降同じ条件で入力が与えられたとき、演算部５により一層高精度なポインタ瞬間移動動作の処理が実現される。

（実施の形態３）
以上の実施の形態１、２においては、ポインタ瞬間移動動作の前後を問わず、ポインタ通常移動操作に対し同じ所定速度のポインタ移動を行う例で説明したが、ポインタ瞬間移動動作後はポインタ瞬間移動動作前と表示ポインタの移動条件を異なるように処理を変更することで操作性を改善することが可能である。ポインタ瞬間移動動作後はポインタ瞬間移動先がユーザの意図した移動先に十分近い可能性があるから、その後のポインタ通常移動操作による表示ポインタの動きに制約を与えて、表示ポインタの位置を補正しやすくすることができる。

図９は実施の形態１、２の処理フローチャートに一部変更を加えこのような処理を追加した実施の形態３を示す図である。図３、６に示すフローチャートのステップ７をステップ１３、１４に示すように変更することにより、ポインタ瞬間移動動作後のポインタ通常移動操作に関して、一時的にポインタの移動速度を下げる機能と移動方向を８方向に制限する等の移動方向を制限する機能の何れか又は両方を持たせるように構成している。

更に、ポインタ瞬間移動先がユーザの意図した移動先に十分近い場合にのみステップＡ１３の処理が行われるように、図９のステップＡ４とＡ１３の間にユーザの意図した移動先に十分近いか否かの判別ステップを設け、ユーザの目的候補に十分近い位置と判断される場合に、ポインタの移動に対し移動速度の低減や移動方向の制限を適用するように構成することができる。

例えば図７（ｂ）の例では斜線部がユーザの目的候補に十分近い位置とすることができ、斜線部の候補からのポインタの移動に対し移動速度の低減や移動方向の制限を適用することができる。ここでポインタ瞬間移動先がユーザの意図した移動先に十分近いかどうかの判別には、それまでの学習量や過去の誤差率等を用いることができる。

こうすることで、ポインタ瞬間移動動作の移動先がユーザの意図した移動先とわずかにずれていても、ユーザが目的位置へポインタ位置を補正する際、ポインタ移動速度が低いことによるポインタの行き過ぎを防ぐ効果や、移動方向に制限があることによる移動方向のずれを防ぐ効果が得られる。

（その他の実施の形態）
以上の実施の形態では、ポインタ瞬間移動動作がポインタデバイスの短時間内の操作時間により起動される動作例で説明したが、本発明のポインタ瞬間移動操作としてはポインタデバイスの操作出力について、例えば、波形の立ち上がりや立ち下がり等の短時間内の特徴的な操作を利用するように構成することができ、演算部はこの特徴的な操作をポインタデバイスの操作出力により検出して、ポインタ瞬間移動動作の処理を行うように構成することが可能である。例えばユーザがポインタデバイスを弾くようにして目的の位置の方向に向かって入力操作を行うと、このときのポインタ操作の操作時間は十分短く、操作出力の時間幅は短く、立ち上がり・立ち下がりも急峻となる。図３、６のステップＡ５の判断基準は、ポインタ操作時間とポインタ変位量の立ち上がり・立ち下がり角度等とすることも可能である。この場合演算部は、例えば図２に示す操作の変位量ａ１とａ２は操作時間が十分短く、立ち上がり・立ち下がりが急であることから瞬間移動を意図したものと判断され、ａ３は操作時間が長く、立ち上がり・立ち下がりも遅いため、通常のポインタ操作であると判断する。

また、ポインタデバイスの短時間内の操作条件で十分な操作性を得るため好適な出力形態として、ユーザのポインタデバイスへの物理的操作入力の大きさに応じてアナログ状（段階的出力を含む）の電圧値を得られるものを前提とし、移動量についてはその時間積分（面積）値を用いる例を述べたが、これに代えポインタデバイスの出力に基づく２値信号を利用し、移動量をその操作時間（操作出力の時間幅）で算出するように構成できることは明らかである。

更にポインタデバイスの操作によりポインタ表示が中央から出現する例を示したが、画面の特定位置から移動する等、任意の位置からの移動、起動中又は起動後のアイコン位置から出現する場合にも適用可能である。また、本発明は表示画面上に各種のアイコン等の複数のオブジェクトを表示するとともに、前記ポインタデバイスの操作により当該画面上にポインタを出現、移動させる機能と、ポインタの表示状態における方向キーの操作により当該ポインタ位置又はポインタ位置に最も近い所望のオブジェクトからカーソル表示の出現、移動させる機能と、カーソルの表示状態においてもポインタデバイスの操作により当該カーソル表示位置又はカーソル位置に最も近い位置からポインタを出現、移動させる機能とを有する携帯端末装置にも適用可能である。これらの場合、特徴パラメータは表示ポインタの出現場所ごとに用意し、また、それぞれを学習するように構成することが可能である。

本発明は、ポインタ制御装置として携帯電話機等の携帯端末装置に適用可能であるが、これに限られるものではなく、ＰＣ、ＯＡ機器等に加え各種小型の電子機器、特に携帯機器に適用して好適である。

本実施の形態のポインタ制御装置の構成を示すブロック図である。 ポインタ入力部１を構成するポインタデバイスの操作出力例を示す図である。 本実施の形態１のポインタデバイス及び方向キーによるポインタ及びカーソル移動の制御に関するフローチャートを示す図である。 本実施の形態のポインタ操作及び該操作によるポインタ移動動作例を示す図である。 本実施の形態２のポインタ制御装置の構成を示すブロック図である。 本実施の形態２のポインタデバイス及び方向キーによるポインタ及びカーソル移動の制御に関するフローチャートを示す図である。 瞬間移動の移動量（係数α）の学習が適用される操作（表示）例を示す図である。 瞬間移動の判別基準（閾値Ｔｔｈ）に学習が適用される操作（表示）例を示す図である。 実施の形態１、２の処理フローチャートに一部変更を加えこのような処理を追加した実施の形態３を示す図である。

符号の説明

１ ポインタ入力部
２ キー入力部
３ 特徴パラメータ保存用メモリ
４ 表示部
５ 演算部（ＣＰＵ）
６ タイマ部
７ 学習部

Claims (15)

1. 表示部の表示ポインタの位置を制御するポインタデバイスと、
   前記ポインタデバイスの操作出力を検出して表示ポインタを瞬間的に移動させる瞬間移動動作を行う演算部とを備え
   前記ポインタデバイスは操作時間に応じた時間幅の信号を出力し、
   前記時間幅が所定の閾値を超える場合に、前記時間幅に対応する位置まで所定速度で前記表示ポインタを移動させる通常移動動作を行い、
   前記時間幅が前記閾値以下の場合に表示ポインタを瞬間移動させる割り込み動作を行い、
   前記表示ポインタの瞬間移動の移動量を前記ポインタデバイスの操作出力の積分値に所定の係数を乗算することにより算出することを特徴とするポインタ制御装置。
   
2. 前記演算部は、前記表示ポインタの瞬間移動及び所定の移動量を意図するユーザ固有のポインタデバイスの操作の特徴を学習し、
   前記閾値及び係数を学習結果により修正する学習部とを備えることを特徴とする請求項１に記載のポインタ制御装置。
   
3. 前記学習部は、前記瞬間移動動作後の前記通常移動動作による前記表示ポインタの位置の移動を教師信号として、前記係数を修正することを特徴とする請求項２記載のポインタ制御装置。
   
4. 前記瞬間移動動作をキャンセルするキャンセルキーを備え、
   前記学習部は、前記通常移動動作の繰り返し動作により前記閾値を増大させる修正を行い、
   キャンセルキーによる前記瞬間移動動作のキャンセルにより前記閾値を減少させる修正を行うことを特徴とする請求項２又は３に記載のポインタ制御装置。
   
5. 前記演算部は、前記瞬間移動動作後の前記通常移動動作における表示ポインタの移動速度を前記所定速度未満に減速し及び／又は移動方向を限定することを特徴とする請求項１乃至４に記載のポインタ制御装置。
   
6. 前記ポインタデバイスは、ユーザの操作に応じたアナログ状の信号を出力することを特徴とする請求項１乃至５に記載のポインタ制御装置。
   
7. 複数のオブジェクトにおける表示カーソルの移動を制御する方向キーを備え、
   前記演算部は、前記方向キーの操作により表示ポインタから当該表示ポインタの位置又はその近傍のオブジェクトに対するカーソルへの切替及びカーソル移動動作を行うことを特徴とする請求項１乃至６に記載のポインタ制御装置。
   
8. 表示部の表示ポインタの位置を制御する第１ステップと、
   ポインタデバイスの操作出力を検出して表示ポインタを瞬間的に移動させる瞬間移動動作を行う第２ステップとを備え、
   前記第２ステップは操作時間に応じた時間幅の信号を出力し、
   前記時間幅が所定の閾値を超える場合に、前記時間幅に対応する位置まで所定速度で前記表示ポインタを移動させる通常移動動作を行い、
   前記時間幅が前記閾値以下の場合に表示ポインタを瞬間移動させる割り込み動作を行い、
   前記表示ポインタの瞬間移動の移動量を第１ステップの操作出力の積分値に所定の係数を乗算することにより算出することを特徴とするポインタ制御方法。
   
9. 前記第２ステップは前記表示ポインタの瞬間移動及び所定の移動量を意図するユーザ固有のポインタデバイスの操作の特徴を学習し、
   前記閾値及び係数を学習結果により修正することを特徴とする請求項８に記載のポインタ制御方法。
   
10. 前記第２ステップは前記瞬間移動動作後の前記通常移動動作による表示ポインタの位置の移動を教師信号として、前記係数を修正することを特徴とする請求項９に記載のポインタ制御方法。
    
11. 前記第２ステップは前記通常移動動作の繰り返し動作により前記閾値を増大させる修正を行い、
    前記瞬間移動動作のキャンセルにより前記閾値を減少させる修正を行うことを特徴とする請求項９又は１０に記載のポインタ制御方法。
    
12. 前記第２ステップは前記瞬間移動動作後の前記通常移動動作における表示ポインタの移動速度を前記所定速度未満に減速し及び／又は移動方向を限定することを特徴とする請求項８乃至１１に記載のポインタ制御方法。
    
13. 前記第１ステップは、ユーザの操作に応じたアナログ状の信号を出力することを特徴とする請求項８乃至１２に記載のポインタ制御方法。
    
14. 複数のオブジェクトにおける表示カーソルの移動を制御する第３ステップを備え、
    前記第２ステップは前記方向キーの操作により表示ポインタから当該表示ポインタの位置又はその近傍のオブジェクトに対するカーソルへの切替及び移動動作を行うことを特徴とする請求項８乃至１３に記載のポインタ制御方法。
    
15. 表示部の表示ポインタの位置を制御するポインタデバイスを備えるポインタ制御装置のポインタ制御プログラムにおいて、
    コンピュータに、前記ポインタデバイスの操作出力を検出して表示ポインタを瞬間的に移動させる瞬間移動動作を行う機能と
    操作時間に応じた時間幅の信号を出力する機能と、
    前記時間幅が所定の閾値を超える場合に、前記時間幅に対応する位置まで所定速度で前記表示ポインタを移動させる通常移動動作を行う機能と、
    前記時間幅が前記閾値以下の場合に表示ポインタを瞬間移動させる割り込み動作を行う機能と、
    前記表示ポインタの瞬間移動の移動量を前記ポインタデバイスの操作出力の積分値に所定の係数を乗算することにより算出する機能と、を実現させることを特徴とするポインタ制御プログラム。

Images