JP5186484B2 - 手書き操作を用いた電子デバイスへのデータ入力 - Google Patents

Description

発明の分野

本発明の実施形態は、手書き操作を用いた電子デバイスへのデータ入力に関する。特に、手書き操作を用いた電子デバイスへのデータ入力を訂正できるようにするユーザ・インターフェース、方法、デバイスおよびコンピュータ・プログラムに関する。

発明の背景

電子デバイスは小型化および強化される傾向にあるが、通常、小型の電子デバイスには、ＱＷＥＲＴＹキーボードを完全に収容するスペースがない。したがって、デバイスは通常、別の形態の入力デバイスを使用する。

既知の形態の入力デバイスの１つに、タッチ・センシティブ・ディスプレイがある。通常、ユーザは、表示装置上に手書き文字（character script）を描くことによって文字を入力する。文字の軌跡を標準文字として認識し、認識された標準文字をデバイスのメモリに入力するよう、アルゴリズムが使用される。

文字認識アルゴリズムには全く誤りがない訳ではなく、意図せず誤った文字が入力されることがあり得る。

既に入力されている標準文字を簡単に訂正できるようにすることが望ましいと思われる。

発明の簡単な説明

本発明の一実施形態によれば、電子デバイスへのデータ入力をユーザが手書き操作で行うことを可能とするユーザ・インターフェースが提供される。このユーザ・インターフェースは、ユーザが１つ以上の文字を手書きする手書き領域と、手書きされた文字に関連する標準文字の列を表示する入力領域と、表示された標準文字を選択する選択メカニズムと、選択メカニズムに応答して、選択された標準文字の訂正を支援するデータを表示する表示領域とを含む。

本発明の別の実施形態によれば、電子デバイスへのデータ入力をユーザが手書き操作で行うことを可能とする方法が提供される。この方法は、手書き領域内にユーザにより手書きされた文字を検出することと、入力領域内に、手書きされた文字に関連する標準文字の列を表示することと、表示されている標準文字のユーザ選択を可能にすることと、ユーザ選択に応答して、選択された標準文字をユーザが訂正することを支援するデータを表示することとを含む。

本発明の一実施形態によれば、手書きによってユーザ入力を可能にするデバイスが提供される。このデバイスは、ユーザが１つ以上の文字を手書きする手書き領域と、手書きされた文字に関連する標準文字の列を表示する入力領域と、表示された標準文字のユーザ選択のための選択メカニズムと、選択メカニズムに応答して、選択された標準文字の訂正を支援するデータを表示する表示領域とを含む。

本発明のさらなる実施形態によれば、コンピュータ・プログラム命令を含むコンピュータ・プログラムが提供される。このコンピュータ・プログラム命令は、手書き領域内にユーザにより手書きされた文字の検出を制御し、手書きされた文字に関連する標準文字の列の、入力領域内における表示を制御し、表示されている標準文字のユーザ選択を可能にし、選択済み標準文字のユーザによる訂正を支援するデータの表示を、ユーザ選択に応答して制御する。

以下、本発明をよりよく理解できるよう、単なる一例として添付の図面を参照する。

発明の実施形態の詳細な説明

図は、手書きによってユーザによる電子デバイス２０へのデータ入力を可能にするユーザ・インターフェース２を示す。ユーザ・インターフェース２は、ユーザが１つ以上の手書き文字４２を書くための手書き領域４と、手書きされた文字４２に関連する標準文字の列４８を表示する入力領域６と、表示された標準文字６０を選択するための選択メカニズム２４と、選択メカニズム２４に応答して、選択された標準文字６０の訂正を支援するデータを表示する表示領域２２とを含む。

図１は、電子デバイスへのデータ入力をユーザが手書き操作で行うことを可能とするユーザ・インターフェース２を示す。

ユーザ・インターフェースは、手書き領域４、入力領域６および候補領域８の３つの別々の領域を含む。

手書き領域４は、手書きの手書き文字４２の入力用に設けられている。手書き領域４は、スタイラス５が手書き領域４の上をなぞるときに、その動きを検出するよう構成されている。いくつかの異なる技術が、この種の図形入力に使用され得る。一実施形態では、手書き領域の表面はタッチ・センシティブであり、スタイラスの先端が手書き領域４の表面と接触して移動するとき、スタイラス５の先端の軌跡が検出および記録される。その他の実施形態では、手書き領域４は、スタイラス５の先端の接近を感知できてもよい。この実施形態では、スタイラス５の先端が、手書き領域４に触れなくても軌跡を入力できる。手書き文字は、文字を入力するユーザにより作られる軌跡である。文字は、書き言葉で使用される任意の図である。

説明される実施形態では、手書き領域４は、ユーザにより作られる軌跡の目に見える記録も提供する。手書き領域４の基礎を成す表示装置２２は、ユーザにより軌跡がつくられている最中に、軌跡の画像をリアルタイムで表示するよう使用されるとよい。これは、紙の上にインクで書いたときに提供されるのに似たフィードバックがデータを入力するユーザに提供され、つまり瞬時の視覚フィードバックがあることになり、有利である。

入力領域６は、標準文字の列４８を表示する。標準文字は、選択された入力言語の辞書により定義されているという意味で、標準である。したがって、英語が選択された入力言語であれば、辞書はローマ字、アラビア数字および句読点を含み、列は、これらとスペースとの任意の組み合わせであればよい。

標準文字の列４８の内容は、手書き領域４内に書かれる手書き文字４２によって決まる。手書き文字４２を手書き領域４内に書くと、手書き文字４２の文字認識が実行された後、関連した標準文字が入力領域６内に現れる。

列４８内の標準文字のうちいずれか１つをユーザは選択することができる。説明される実施形態では、入力領域６もタッチ・センシティブであり、列４８内の標準文字は、それが表示されている入力領域６の部分に触れることによって選択することができる。列内の標準文字をユーザが選択すると、それを訂正できる。

候補領域８は、現在の手書き文字、または選択された標準文字に関連する手書き文字に最も近い、ユーザ選択可能な標準文字候補４４を表示する。候補リスト内の候補の順序は、予測される適合性の順になっている。これは、どの標準文字が入力された手書き文字４２に最も近いかのみに基づいてもよい。しかし、標準文字の前後関係、つまり、前にある１つまたは複数の文字は何か、および、単語を形成するためにそれら先行する文字と組み合わせられる可能性が最も高い文字は何かによって決まってもよい。

標準文字候補列４４のうちいずれか１つをユーザが選択することができる。説明される実施形態では、候補領域８もタッチ・センシティブであり、標準文字候補は、それが表示されている候補領域８の部分に触れることによって選択することができる。標準文字候補をユーザが選択すると、入力領域６内の選択済み標準文字６０が、選択された候補文字に置き換えられる。

図２は、ユーザ・インターフェース２を提供するのに適した電子デバイス２０を概略的に示している。デバイス２０は、表示装置２２、ユーザ入力デバイス２４、メモリ２６およびプロセッサ２８を含む。デバイス２０は、任意の適切な電子デバイスであればよい。例えば、セルラ移動電話、デジタル・カメラ、携帯情報端末、音楽プレーヤー、コンピュータなどの携帯デバイスであってもよい。プロセッサ２８がメモリ２６を使用するようにデバイスが描かれているが、他の実施形態では、専用ＡＳＩＣが使用され得る。

プロセッサ２８は、メモリ２６からの読み取りおよびメモリ２６への書き込みを行い、ユーザ入力デバイス２４から入力コマンドを受け取り、制御信号を表示装置２２へ提供するよう接続されている。

表示装置２２は、手書き領域４、入力領域６および候補領域８の３つの別々の領域に分割されている。ユーザ入力デバイス２４は、この例では、表示装置２２を覆うタッチ・センシティブ・スクリーンであり、入力領域６および候補領域８内に表示される文字に触れて選択すること、および手書き領域４内に入力を書くことを可能にする。

メモリ２６は、プロセッサ２８にロードされると電子デバイス２０の動作を制御するコンピュータ・プログラム命令２７を格納している。コンピュータ・プログラム命令２７は、電子デバイスが、図３、４および５に示されている方法を実行できるようにする論理およびルーチンを提供する。

コンピュータ・プログラム命令は、電磁搬送波信号を介して電子デバイス２０に届けられてもよく、コンピュータ・プログラム製品、メモリ・デバイス、または、ＣＤ−ＲＯＭもしくはＤＶＤなどの記録媒体などの物理的実体２９からコピーされてもよい。

電子デバイス２０には、連続手書きモードと、入力訂正モードとの２つの動作モードがある。

モード・インジケータ３は、電子デバイスが連続手書きモードのときに入力領域内に表示されるが、デバイスが入力訂正モードのときなどのその他の場合は表示されない。

連続手書きモード中に電子デバイスへのデータ入力をユーザが手書き操作で行うことを可能とする方法が図３に示されている。

ステップ３０で、コンピュータ・プログラム命令の制御下にあるプロセッサ２８は、手書き領域４での手書き入力を検出する。手書き領域４は通常、所定のサイズおよび位置の複数のセル４０に分割されている。プロセッサ２８は最初に、軌跡入力が開始したセルを特定し、軌跡が作られたセル部分を記録する。

ステップ３２で、軌跡を記録するデータが、メモリ２６に格納されると同時に、表示装置２２内に軌跡の画像を作成するべく使用される。プロセッサ２８は、軌跡の一部が検出された手書き領域４内の各位置にリアルタイムで跡を提供する。したがって、ユーザは、紙の上にインクで書いているかのように、作成中の軌跡の即時の視覚フィードバックを受ける。

ステップ３４で、タイムアウト後、または別のセル内で入力が検出されると、軌跡の終了が検出され、軌跡が終了すると、メモリ２６に格納された、最後につくられた軌跡を表すデータに対して文字認識プロセス３６が実行される。

図４Ａおよび４Ｂに示されているとおり、軌跡４０が手書き文字４２であれば、認識アルゴリズムは、１つ以上の標準文字候補４４を生成する。ステップ３７で、これらの候補文字が、候補領域８内に、左から右へ最も一致の可能性が高い順に示される。ステップ３８で、候補文字４４からの文字が入力領域６に追加される。

最もよく一致する候補、つまり一番左の候補文字が、入力領域６内の文字の列４８内に最後の文字４６として自動的に追加されてもよい。候補文字４４は、入力手書き文字４２_３の文字認識のみを使用して生成および順序付けしてもよく、または、先行する文字と共に一般的な単語を形成し得る文字の可能性が高くなるよう、先行する文字との関連における文字の前後関係も使用されてもよい。

ユーザは、望む場合は、即座に別の候補文字４４を選択することで自動選択を無効にしてもよい。別の候補文字４４が選択されると、選択された候補文字４４が使用されて入力領域６内の文字の列４８の最後の文字４６が置き換えられる。

電子デバイス２０が連続手書きモードのとき、ユーザは、手書き文字４２を左から右へ各セル内に配置しながら、手書き領域４の４つのセルにわたって第１の組の手書き文字４２を書くとよく、次に、何か別の行為を間に入れることなく、手書き領域４の複数セルにわたって第２の組の手書き文字４２を書くとよい。各手書き文字４２が書かれるにつれ、手書き文字４２が認識され、標準文字が入力領域６内の標準文字の列４８に追加される。したがって、ユーザは連続的に書くことができる。

一実施形態によれば、ユーザが第２の組の手書き文字４２を書き始めると、第１の組の手書き文字の手書き文字４２が削除され、第２の組の手書き文字の文字が書かれるにつれ、それらが表示される。ユーザは、いつ第２の組の手書き文字４２を書き始めてもよく、手書き領域４の複数セルの任意のもので開始すればよい。

別の実施形態によれば、第１の組の手書き文字が入力された後、第２の組の手書き文字の手書き文字４２が書かれるときに、第１の組の手書き文字は自動的に再配置される。１つの実装では、第１の組の手書き文字は、書かれたときは４つのセルを占有しているが、４番目の文字が完成すると、手書き文字の組は２セル左へスクロールし、右端の２セルが、第２の組の手書き文字を手書きすることによるスクリプト入力に利用可能となる。４つのセルのうち右端のもので手書き文字が完成すると、手書き領域４内の手書き文字の２セル左へのスクロールがトリガされる。別の実装では、第１の組の手書き文字は、書かれたときは４つのセルを占有するが、４番目の文字が完成すると手書き文字の組の圧縮／押しつぶしが行われ、それらが左端の２セルを占有し、右端の２セルが第２の組の手書き文字を手書きすることによるスクリプト入力に利用可能となる。４つのセルのうち右端のもので手書き文字が完成すると、手書き領域４内の手書き文字４２の圧縮／押しつぶしがトリガされ、右端の２セルが入力に使える状態になる。

図５は、文字の列４８内の標準文字を訂正するプロセスを示す。

ステップ５０で、表示されている標準文字６０をユーザが入力領域６から選択する。ユーザは、最初に標準文字の列４８をスクロールし、次に、スタイラス５を使用して、表示装置２２の当該の文字が写されているところに触れて、訂正したい文字（「誤字」）を選択する。

列４８から標準文字をユーザが選択するのに応答して、プロセッサ２８はメモリ２６にアクセスし、選択された標準文字６０に関連する手書き文字・データを読み出す。入力領域６内の列４８内の文字のうち任意のものは、選択されると、その文字を列４８に入力するようそもそも認識された手書きのスクリプトを示すとよい。

ステップ５２で、プロセッサ２８は、読み出された手書き文字６２を、手書き領域４内に強調された形で表示する。図の例では、選択された標準文字６０に対応する手書き文字６２が黒のフォントである一方、他の手書き文字は灰色のフォントとなっている。選択された標準文字６０を介して間接的に選択された手書き文字６２は、「選択された手書き文字」と呼ばれる。

プロセッサ２８は、候補領域８内に標準文字候補４４も表示する。候補文字は、選択された標準文字６０が自動的に選ばれたときの最初の候補であり、メモリ２６から呼び出されてもよく、または、選択された手書き文字６２から新たに生成されてもよい。生成プロセスは、選択された手書き文字６２の前後関係を考慮に入れてもよい。候補は、選択された手書き文字の前後の文字と共に既知の単語を形成するよう使用される可能性が最も高い文字、ならびに選択された手書き文字の文字との類似性に基づき生成されるとよい。

ユーザは、ステップ５４に示されているように候補文字４４のうち１つを選択することによって、またはステップ５６に示されているように手書き領域４内の手書き文字６２に上書きすることによって、選択済みの文字６０を変更することができる。

ステップ５４で標準文字候補をユーザが選択すると、入力領域６内の選択された標準文字６０が、ユーザ選択された標準文字候補に置き換えられる。

新たな手書き文字が入力されると、図３のステップ３６、３７、３８が実施され、選択済みの候補文字６０が置き換えられる。

先行する段落では、種々の例を参照して本発明の実施形態について説明してきたが、当然のことながら、請求される本発明の範囲から逸脱することなく、与えられた例に対して変更を加えることができる。

以上の明細書では、特に重要と考えられる本発明の特徴に注目があつまるよう努めたが、当然のことながら出願人は、特に重点が置かれたか否かに関わらず、上で言及されている特徴もしくは特徴の組み合わせ、および／または図面内に示されている特徴もしくは特徴の組み合わせの、特許を受けることができるものすべてに関して保護を請求する。

電子デバイスへのデータ入力をユーザが手書き操作で行うことを可能とするユーザ・インターフェースを示す。 図１のユーザ・インターフェースを提供するのに適した電子デバイスを概略的に示す。 連続手書きモード中に電子デバイスへのデータ入力をユーザが手書き操作で行うことを可能とする方法を示す。 図３のステップ３２でのユーザ・インターフェースを示す。 図３のステップ３８でのユーザ・インターフェースを示す。 標準文字の列内の標準文字を訂正するプロセスを示す。

Claims (19)

1. ユーザにより手書き領域内に手書きされた文字を検出することと；
   メモリ内に前記検出した手書き文字を記憶することと；
   前記手書き領域内に手書きされた文字の列に関連する標準文字の列を入力領域内に表示することと；
   前記表示された標準文字の列の中から、いずれかの標準文字をユーザが選択することを可能にすることと；
   前記メモリから前記選択された標準文字に関連する記憶した手書き文字データを呼び出すことと；
   前記選択された標準文字をユーザが訂正することを支援するべく、前記ユーザ選択に応答して、前記呼び出した手書き文字と、前記呼び出した手書き文字と等しい可能性がありユーザ選択可能な複数の標準文字候補とを表示することと；
   前記手書き領域内に訂正文字を書けるようにする手段および前記呼び出した手書き文字と等しい可能性がありユーザ選択可能な複数の標準文字候補の１つを選択できるようにする手段を設けることによって、前記手書き領域内に訂正文字を書くこと、または代替として、前記ユーザ選択可能な複数の標準文字候補から１つを選択可能とすることにより、前記選択された標準文字を訂正することを可能にすることと；
   を含む方法。
2. 前記データは、以前に、前記選択された標準文字に関連して検出されたことのある手書き文字である、請求項１に記載の方法。
3. 前記手書き領域内にあって前記選択された標準文字に対応している前記手書き文字を書き直し、前記書き直された手書き文字に関連する前記標準文字を更新することによって、前記選択された標準文字の置き換えを可能にすることをさらに含む、請求項１または２に記載の方法。
4. 前記手書き領域内に表示され前記選択された標準文字に対応している前記手書き文字を上書きし、前記上書きされた手書き文字に関連する前記標準文字を更新することによって、前記選択された標準文字の置き換えを可能にすることをさらに含む、請求項１または２に記載の方法。
5. ユーザ選択可能な前記複数の標準文字候補は、メモリから呼び出される、請求項１に記載の方法。
6. ユーザ選択可能な前記複数の標準文字候補は、格納されている、前記選択された標準文字に関連した手書き文字の文字認識を少なくとも用いて生成される、請求項１に記載の方法。
7. ユーザ選択可能な標準文字候補のユーザ選択は、前記入力領域内において、前記選択された標準文字を、前記選択された標準文字候補に置き換える、請求項６に記載の方法。
8. 前記手書き領域内で手書き文字が検出されている最中に、ユーザにより手書きされている文字であるかのように、前記手書き文字のリアルタイム表示を提供することをさらに含む、請求項１から７のいずれか１項に記載の方法。
9. 前記手書き領域内の右端のセルに手書き文字を書き終えると、前記手書き領域を自動的にスクロールする、請求項１から８に記載の方法。
10. 連続手書きモードでは、ユーザが、前記手書き領域の少なくとも第１部分において第１の組の手書き文字を手書きし、何か別の行為を間に入れることなく、前記手書き領域の少なくとも第２部分において第２の組の手書き文字を手書きし、前記方法は、前記第１及び第２の組の手書き文字の各手書き文字に対応する標準文字を含む標準文字の列を自動的に作成することを含む、請求項１から９のいずれか１項に記載の方法。
11. 前記第２の組の手書き文字を手書きすることの開始は、前記第１の組の手書き文字の表示を削除し、前記第２の組の手書き文字を手書きしている最中に前記第２の組の手書き文字の表示を開始する、請求項１０に記載の方法。
12. 前記連続手書きモードではアクティブであるがそうでなければ非アクティブであるインジケータを提供することをさらに含む、請求項１０または１１に記載の方法。
13. 前記選択された、訂正のための文字の前後関係に基づいて、前記ユーザ選択可能な文字の候補を生成する、請求項１に記載の方法。
14. コンピュータにより実行されることにより、前記コンピュータに、請求項１から１３のいずれか１項に記載の方法を実行させるように構成される、コンピュータ・プログラム。
15. 請求項１４に記載のコンピュータ・プログラムを格納する記憶媒体。
16. ユーザが１つ以上の文字を手書きするための手書き領域と；
    前記手書き領域に書かれた手書き文字を記憶するメモリと；
    前記手書き領域に手書きされた文字の列に関連する標準文字の列を表示する入力領域と；
    前記表示された標準文字の列の中から、いずれかの標準文字をユーザが選択するための選択メカニズムと；
    前記メモリから前記選択された標準文字に関連する記憶した手書き文字データを呼び出す手段と；
    前記選択された標準文字の訂正を支援するべく、前記選択メカニズムに応答して、前記呼び出した手書き文字と、前記呼び出した前記手書き文字と等しい可能性がありユーザ選択可能な複数の標準文字候補とを表示する表示領域と；
    前記手書き領域内に訂正文字を書けるようにする手段および前記呼び出した手書き文字と等しい可能性がありユーザ選択可能な複数の標準文字候補の１つを選択できるようにする手段を備えることによって、前記手書き領域内に訂正文字を書くこと、または代替として、前記ユーザ選択可能な複数の標準文字候補から１つを選択可能とすることにより、前記選択された標準文字を訂正することを可能にする手段と；
    を備えるデバイス。
17. 手書き文字をユーザが書いている最中に、前記手書き文字の画像が前記表示領域に示される、請求項１６に記載のデバイス。
18. 前記手書き領域内にあって選択された標準文字に対応している前記手書き文字を書き直し、その書き直された手書き文字に関連する前記標準文字を更新することにより、前記選択された標準文字が置き換えられる、請求項１６または１７に記載のデバイス。
19. 前記選択された標準文字に関連する前記手書き文字と等しい可能性がありユーザ選択可能な複数の標準文字候補を表示するように構成される候補領域を有する、請求項１６から１８のいずれかに記載のデバイス。

Images