JP5524153B2 - タッチ操作式ソフトウェアキーボードの表示システム、表示方法及びプログラム - Google Patents

Description

この発明は画面上にタッチパネルが配された画像表示装置の画面に表示されてタッチ操作されるソフトウェアキーボードの表示システム及び表示方法に関する。

従来のこの種のソフトウェアキーボードは、ハードウェアのキーボードのキー配列を一般に踏襲している。しかしながら、その触覚的手触りの無さゆえに、ユーザがキーボードを見ずにキーを叩くタッチタイピングを困難なものとしていた。

一方、非特許文献１には小型タッチ画面端末に適したソフトウェアキーボードが記載されている。非特許文献１ではソフトウェアキーボードの使い勝手を向上させるため、画面の領域を子音と母音とに分割し、子音キーと母音キーを円弧状に並べることで、親指一本での入力を容易にする工夫が採られている。

高濱健児、郷健太郎，「親指の往復運動に基づく小型タッチ画面端末向けソフトウェアキーボード」，平成２０年度電子情報通信学会東京支部学生会研究発表会

上述した非特許文献１に記載されたソフトウェアキーボードは操作性の向上を目指すものであるが、特殊なキー配列を採用しているため、ユーザの習熟が必要であり、加えて両手で打鍵するタイプのソフトウェアキーボードには適用することができず、つまり一般的なキー配列のソフトウェアキーボードでのタイピングの際のユーザの負担を軽減することはできないといった問題がある。

この発明の目的は一般的なキー配列を有するソフトウェアキーボードでのタイピングの際のユーザの負担を軽減することができるようにし、タッチタイピングを容易に行えるようにしたタッチ操作式ソフトウェアキーボードの表示システム及び表示方法を提供することにある。

請求項１の発明によれば、画面上にタッチパネルが配された画像表示装置の画面に表示されてタッチ操作されるソフトウェアキーボードの表示システムは、打鍵姿勢をとったユーザのタッチパネル上の１０本の指位置を基に、画面に表示するキー配列を設定し、かつ各キーに対して打鍵の認識範囲を設定する初期状態設定部と、キー配列を画面に表示させるべく、画像表示装置にキー配列を出力する表示出力部と、画面に表示された各キーに対するユーザの打鍵座標を蓄積すると共に、蓄積した各キーの打鍵座標の重心を求め、その求めた重心が中心となるように認識範囲を逐次、移動させる再配列部とを備え、ユーザの打鍵が一定時間停止した場合、再配列部は認識範囲の中心に、対応するキーがそれぞれ位置するようにキー配列を再配列し、表示出力部はその再配列されたキー配列を画像表示装置に出力する。

請求項２の発明では請求項１の発明において、キー配列のテンプレート及び標準的な手のモデルを記憶する記憶部を備え、初期状態設定部は記憶部に記憶されているキー配列のテンプレート及び標準的な手のモデルを参照してキー配列の設定を行う。

請求項３の発明では請求項２の発明において、前記再配列されたキー配列は履歴として記憶部に記憶され、初期状態設定部は記憶部を参照して前記履歴があれば、その履歴に基づきキー配列の設定を行う。

請求項４の発明では請求項１の発明において、蓄積した打鍵座標の分散が所定の範囲より大きい、もしくは小さい場合、再配列部は対応するキーの認識範囲の大きさを前記分散の大きさに応じて拡大もしくは縮小する。

請求項５の発明では請求項１の発明において、設定調整部を備え、設定調整部は初期状態設定部で設定されて画面に表示されたキーをドラッグ可能とし、ユーザによりキーがドラッグされた場合、その位置にキーの表示及び認識範囲を移動させる。

請求項６の発明では請求項１の発明において、隣接判定部を備え、隣接判定部は隣接する認識範囲に重なりが生じ、その重なり部分に打鍵座標が位置した場合、その打鍵座標と各認識範囲の中心との距離を求め、距離が短い方の認識範囲に対応するキーが打鍵されたと判定する。

請求項７の発明によれば、画面上にタッチパネルが配された画像表示装置の画面に表示されてタッチ操作されるソフトウェアキーボードの表示方法は、打鍵姿勢をとったユーザのタッチパネル上の１０本の指位置を基に、画面に表示するキー配列を設定し、かつ各キーに対して打鍵の認識範囲を設定する初期状態設定過程と、キー配列を画面に表示させるべく、画像表示装置にキー配列を出力する過程と、画面に表示された各キーに対するユーザの打鍵座標を蓄積すると共に、蓄積した各キーの打鍵座標の重心を求め、その求めた重心が中心となるように認識範囲を逐次、移動させる過程と、ユーザの打鍵が一定時間停止した場合、認識範囲の中心に、対応するキーがそれぞれ位置するように前記キー配列を再配列する過程と、再配列されたキー配列を画像表示装置に出力する過程とを含む。

この発明によれば、ユーザの手の大きさや打鍵特性に合わせてキー配列が自動的にカスタマイズされるため、タイピングの際のユーザの負担を軽減することができ、ユーザはタッチタイピングを容易に行えるものとなる。

この発明によるタッチ操作式ソフトウェアキーボードの表示システムの一実施例の機能構成を示すブロック図。 ユーザがタッチパネル上に打鍵姿勢をとった状態を示す図。 画面表示されたソフトウェアキーボードの概要を示す図。 キーと認識範囲の関係を示す図、（ａ）は初期状態、（ｂ）は打鍵により認識範囲が移動した状態、（ｃ）はキーが再配列された状態。 打鍵情報の蓄積状態を示す表。 認識範囲の重なり部分の打鍵判定を説明するための図。 図１に示したタッチ操作式ソフトウェアキーボードの表示システムの処理手順を示すフローチャート。

以下、この発明の実施形態を図面を参照して実施例により説明する。

図１はこの発明によるタッチ操作式ソフトウェアキーボードの表示システムの一実施例の機能構成を、画像表示装置及び画像表示装置の画面上に配されるタッチパネルと共に示したものである。

表示システム１００はこの例ではキー設定部１０と表示出力部２０と記憶部３０と時間計測部４０とによって構成されており、キー設定部１０は初期状態設定部１１と設定調整部１２と隣接判定部１３と再配列部１４とを備えている。

初期状態設定部１１はユーザが多点同時検出可能なタッチパネル３００に対して打鍵姿勢をとり、図２に示したようにタッチパネル３００上に指を置くことによりタッチパネル３００によって検出された１０本の指位置の座標を基に、画像表示装置２００の画面２００ａに表示するソフトウェアキーボードのキー配列を設定し、かつ各キーに対して打鍵の認識範囲を設定する。図２中、５００は画像表示装置２００及びタッチパネル３００を備えるコンピュータ機器を示す。

認識範囲は画面には表示しない、つまりユーザには示さない内部状態であり、キーが打鍵された際に、そのキーとして入力を受け付ける範囲であって、キーの表示範囲を含み、キーの表示範囲よりも広い範囲とされる。初期状態設定部１１におけるキー配列の設定は記憶部３０に記憶されている情報を参照して行われる。

記憶部３０にはハードウェアのキーボードと同様の一般的なキーボードのキー配列のテンプレートが記憶されている。また、標準的な手のモデルが記憶されている。さらに、後述するように再配列部１４によってキー配列が再配列された場合には、その再配列されたキー配列が履歴として記憶されている。

初期状態設定部１１はキー配列の設定に対し、記憶部３０を参照し、履歴があれば、その履歴に基づきキー配列の設定を行う。

一方、履歴が記憶部３０にない場合は１０本の指位置の座標に、タッチタイピングの際に対応するキーを設定する。即ち、左手の小指から人差し指の位置に順に「Ａ」「Ｓ」「Ｄ」「Ｆ」のキーを設定し、右手の人差し指から小指の位置に順に「Ｊ」「Ｋ」「Ｌ」「＋」のキーを設定する。また、これらタッチタイピングの際に中段に位置するキーに加え、両親指を結ぶ位置に「スペース」キーを設定する。これらの設定は記憶部３０に記憶されているテンプレートを参照して行われる。

初期状態設定部１１は上記のように中段のキー及びスペースキーを設定した後、記憶部３０に記憶されている標準的な手のモデル及びテンプレートを参照して残りのキーの配列を設定する。具体的には、各指の並び順、標準的な長さ、標準的な可動方向及び可動範囲を基に残りのキーを設定する。図３はこのようにして設定されたキー配列が画面２００ａに表示されてなるソフトウェアキーボードの概要を示したものである。

設定調整部１２は初期状態設定部１１で設定されたキー配列が図３に示したように画像表示装置２００の画面２００ａに表示された時点で各キーをドラッグ可能とし、ユーザによりキーがドラッグされた場合、その位置にキーの表示及びそのキーの認識範囲を移動させる。表示されたキー配列が所望するものと異なるとユーザが判断した場合、ユーザは任意のキーをドラッグして所望する位置に移動させることができる。

設定調整部１２は例えば確定キーを設定する。ユーザが画面上の確定キーをタッチ操作することでキー配列が確定し、つまりソフトウェアキーボードが確定する。これにより、通常の入力操作が可能となる。なお、確定キーは専用のものを設定して画面上に表示するようにしてもよく、また既存のキーを確定キーとして指定するようにしてもよい。

再配列部１４は画面に表示された各キーに対するユーザの打鍵座標を蓄積する。そして、蓄積した各キーの打鍵座標の重心を逐次求め、その求めた重心が中心となるように認識範囲を逐次、移動させる。

図４（ａ），（ｂ）はこの様子を「Ｆ」キーを例に示したものであり、図４（ａ）は初期状態のキー５１と認識範囲６１の関係を示す。認識範囲６１はこの例ではキー５１の中心を中心とする円形の範囲とされている。図４（ｂ）は蓄積したキー５１に対する打鍵座標の重心が中心となるように移動された認識範囲６１’を示したものである。図４（ｂ）中、×は打鍵位置７１を示す。

再配列部１４はさらに、蓄積した打鍵座標の分散が予め定めた所定の範囲より大きい、もしくは小さい場合、そのキーの認識範囲の大きさを分散の大きさに応じて拡大もしくは縮小する。

再配列部１４はさらに、ユーザの打鍵が一定時間停止した場合、認識範囲の中心に、対応するキーがそれぞれ位置するようにキーボードのキー配列を再配列する。そして、再配列されたキー配列が画面２００ａに表示される。図４（ｃ）は図４（ｂ）の状態からキーが再配列され、認識範囲６１’の中心に位置されたキー５１’を示す。時間経過は時間計測部４０によって計測される。なお、再配列されたキー配列は履歴として記憶部３０に記憶される。

図５に示した表は再配列部１４によって蓄積される打鍵情報を例示したものであり、打鍵座標（ｘ座標，ｙ座標）と認識結果とユーザによる訂正の有無（正誤）が情報として蓄積される。

表示出力部２０は初期状態設定部１１で設定されたキー配列、再配列部１４で再配列されたキー配列を画面２００ａに表示させるべく、画像表示装置２００にそれらキー配列を出力する。

隣接判定部１４は隣接する認識範囲に重なりが生じ、その重なり部分に打鍵座標が位置した場合、打鍵がどのキーに対してのものであるかを判定する。判定の一手法としては、図６に例示したように打鍵座標７１と各認識範囲６１，６２の中心との距離Ｌ１，Ｌ２を求め、距離が短い方の認識範囲に対応するキーが打鍵されたと判定する。図６では「Ｇ」のキー５２が打鍵されたと判定される。

また、判定の別の手法として、入力が日本語変換の場合には、入力から辞書を読みに行く、もしくは過去の変換から、より妥当性の高い変換結果が得られるキーが打鍵されたと判定する。

図７は上記のような構成・機能を有する表示システム１００の処理手順を示したものであり、以下、処理手順を順に説明する。

表示システム１００は、まず、最初にキーボードが表示されていない画面上のタッチパネルに打鍵姿勢をとって置かれたユーザの１０本の指位置の座標を取得する（ステップＳ１）。

次に、記憶部３０に履歴（再配列部１４によって再配列されたキー配列）があるか否かを確認し（ステップＳ２）、履歴がなければテンプレート及び標準的な手のモデルを基にキー配列を設定する。設定されたキー配列は画面に表示される（ステップＳ３）。一方、履歴がある場合は履歴に基づき、キー配列を設定する。設定されたキー配列は画面に表示される（ステップＳ４）。

次に、ユーザが所望する位置にキーがあるか否かがユーザによって判断され（ステップＳ５）、所望する位置にキーがなければ、ユーザによりキーがドラッグされる（ステップＳ６）。表示システム１００はドラッグされた位置にキーを移動する。キーのドラッグ（位置調整）は必要に応じて複数のキーに対して行われ、ユーザの確定操作により終了する。確定操作があれば（ステップＳ７）、通常の入力操作が可能な状態となる。なお、ステップＳ５で所望する位置にキーがあるとユーザが判断した場合はステップＳ７に進む。

次に、ユーザの入力操作に伴い、各キーに対する打鍵座標を蓄積し（ステップＳ８）、蓄積した各キーの打鍵座標の重心を求めて、その重心が中心となるように認識範囲を移動し、また打鍵座標の分散の程度に応じて認識範囲の大きさを変え、打鍵特性に認識範囲を追随させる（ステップＳ９）。

ユーザの手の動きが止まり、打鍵の停止状態が生じた場合（ステップＳ１０）、表示システム１００は各キーをその認識範囲に対応させて再配列する。再配列されたキー配列は画面に表示され、キー配列が更改される（ステップＳ１１）。表示システム１００はこの際、再配列したキー配列を履歴として記憶部３０に記憶する（ステップＳ１２）。以下、打鍵が再開されれば（ステップＳ１３）、ステップＳ８〜Ｓ１２を繰り返し、実行する。打鍵が再開されなければ、処理は終了する。

なお、ステップＳ２において履歴があるか否かを確認し、履歴があればステップＳ４の処理を実行するものとなっているが、例えばユーザが履歴を記憶した時のユーザと異なる場合は履歴を使用せず、ステップＳ３の処理を実行するのが好ましく、この点で履歴を使用しないように入力設定することができる構成を具備するのが好ましい。

以上説明したように、この実施例によれば、初期状態において打鍵姿勢をとったユーザの指位置に応じて、あるいは使用履歴がある場合はその履歴に応じて、キー配列を設定してキーボードを表示し、同時にユーザには示さない各キーの認識範囲を内部状態として持つものとなっている。認識範囲はユーザの打鍵特性に追随して移動し、また拡大・縮小し、認識範囲の位置に合わせてキー配列が再配列されるものとなっている。

従って、ユーザの手の大きさや打鍵特性に合わせてキー配列が自動的にカスタマイズされるため、タイピングの際のユーザの負担を大幅に軽減することができ、タッチタイピングを容易に行えるものとなる。

なお、キー配列の再配列はユーザの打鍵が一定時間停止した場合に行われるため、ユーザが使用中にキーが動くことによる混乱、不快さを防ぐことができる。

さらに、隣接判定部を持つことで、従来のキーボードであれば誤操作となる状況を回避することができ、例えばユーザが作為的にキーボードを小さくしたい場合にはユーザの動きに合わせてキーボードが再構築されるため、より狭い範囲にキーボードを表示させることができ、これにより画面を幅広く活用することも可能となる。

以上説明したタッチ操作式ソフトウェアキーボードの表示システム及び表示方法はコンピュータとコンピュータにインストールされたプログラムによって実現することができる。コンピュータにインストールされたプログラムはコンピュータのＣＰＵによって解読されてコンピュータを上述した表示システムとして機能させる。

１０ キー設定部 １１ 初期状態設定部
１２ 設定調整部 １３ 隣接判定部
１４ 再配列部 ２０ 表示出力部
３０ 記憶部 ４０ 時間計測部
５１，５１’，５２ キー ６１，６１’，６２ 認識範囲
７１ 打鍵位置 １００ 表示システム
２００ 画像表示装置 ２００ａ 画面
３００ タッチパネル ５００ コンピュータ機器

Claims (8)

1. 画面上にタッチパネルが配された画像表示装置の画面に表示されてタッチ操作されるソフトウェアキーボードの表示システムであって、
   打鍵姿勢をとったユーザの前記タッチパネル上の１０本の指位置を基に、前記画面に表示するキー配列を設定し、かつ各キーに対して打鍵の認識範囲を設定する初期状態設定部と、
   前記キー配列を前記画面に表示させるべく、前記画像表示装置に前記キー配列を出力する表示出力部と、
   前記画面に表示された各キーに対するユーザの打鍵座標を蓄積すると共に、蓄積した各キーの打鍵座標の重心を求め、その求めた重心が中心となるように前記認識範囲を逐次、移動させる再配列部とを備え、
   ユーザの打鍵が一定時間停止した場合、前記再配列部は前記認識範囲の中心に、対応するキーがそれぞれ位置するように前記キー配列を再配列し、前記表示出力部はその再配列されたキー配列を前記画像表示装置に出力することを特徴とするタッチ操作式ソフトウェアキーボードの表示システム。
2. 請求項１記載のタッチ操作式ソフトウェアキーボードの表示システムにおいて、
   キー配列のテンプレート及び標準的な手のモデルを記憶する記憶部を備え、
   前記初期状態設定部は前記記憶部に記憶されているキー配列のテンプレート及び標準的な手のモデルを参照して前記キー配列の設定を行うことを特徴とするタッチ操作式ソフトウェアキーボードの表示システム。
3. 請求項２記載のタッチ操作式ソフトウェアキーボードの表示システムにおいて、
   前記再配列されたキー配列は履歴として前記記憶部に記憶され、
   前記初期状態設定部は前記記憶部を参照して前記履歴があれば、その履歴に基づき前記キー配列の設定を行うことを特徴とするタッチ操作式ソフトウェアキーボードの表示システム。
4. 請求項１記載のタッチ操作式ソフトウェアキーボードの表示システムにおいて、
   前記蓄積した打鍵座標の分散が所定の範囲より大きい、もしくは小さい場合、前記再配列部は対応するキーの前記認識範囲の大きさを前記分散の大きさに応じて拡大もしくは縮小することを特徴とするタッチ操作式ソフトウェアキーボードの表示システム。
5. 請求項１記載のタッチ操作式ソフトウェアキーボードの表示システムにおいて、
   設定調整部を備え、
   前記設定調整部は前記初期状態設定部で設定されて前記画面に表示されたキーをドラッグ可能とし、ユーザによりキーがドラッグされた場合、その位置にキーの表示及び前記認識範囲を移動させることを特徴とするタッチ操作式ソフトウェアキーボードの表示システム。
6. 請求項１記載のタッチ操作式ソフトウェアキーボードの表示システムにおいて、
   隣接判定部を備え、
   前記隣接判定部は隣接する前記認識範囲に重なりが生じ、その重なり部分に打鍵座標が位置した場合、その打鍵座標と各認識範囲の中心との距離を求め、距離が短い方の認識範囲に対応するキーが打鍵されたと判定することを特徴とするタッチ操作式ソフトウェアキーボードの表示システム。
7. 画面上にタッチパネルが配された画像表示装置の画面に表示されてタッチ操作されるソフトウェアキーボードの表示方法であって、
   打鍵姿勢をとったユーザの前記タッチパネル上の１０本の指位置を基に、前記画面に表示するキー配列を設定し、かつ各キーに対して打鍵の認識範囲を設定する初期状態設定過程と、
   前記キー配列を前記画面に表示させるべく、前記画像表示装置に前記キー配列を出力する過程と、
   前記画面に表示された各キーに対するユーザの打鍵座標を蓄積すると共に、蓄積した各キーの打鍵座標の重心を求め、その求めた重心が中心となるように前記認識範囲を逐次、移動させる過程と、
   ユーザの打鍵が一定時間停止した場合、前記認識範囲の中心に、対応するキーがそれぞれ位置するように前記キー配列を再配列する過程と、
   前記再配列されたキー配列を前記画像表示装置に出力する過程とを含むことを特徴とするタッチ操作式ソフトウェアキーボードの表示方法。
8. 請求項１乃至６記載のいずれかのタッチ操作式ソフトウェアキーボードの表示システムとしてコンピュータを機能させるためのプログラム。

Images