JP4312429B2 - 手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、手書きによって文字列やジェスチャ等のストロークを入力する手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体に関する。
【０００２】
【従来の技術】
手書きで文字を入力する際に文字列の一部を省略可能な手書き文字入力装置として、以下のようなものがある。
【０００３】
特開平７‐１９１９８６号公報に開示された文章入力装置では、入力したい文字列の途中あるいは続きに省略記号を入力することによって、単語辞書および用例辞書等を検索して省略部を補完した文字列候補を提示するようにしている。また、特開平９‐１２８４８６号公報に開示された手書き文字入力装置では、１文字毎の記入枠に入力された文字を認識する際に、上記記入枠内に漢字を丸で囲んで筆記することによって、上記丸で囲まれた漢字を先頭に持つ熟語が辞書から検索されて候補が提示されるようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の手書き文字入力装置においては以下のような問題がある。
【０００５】
すなわち、上記特開平７‐１９１９８６号公報に開示された文章入力装置においては、補完対象となる文字列内の補完位置は指定できるが、入力中の文字列全てが補完対象となり、補完対象となる文字列を自由に指定できないという問題がある。例えば、文章「簡単に文字列入力」のうち文字列「簡単」は既に入力済みで、残りの文字列「に文字列入力」を入力したい場合に、省略記号「＊」を用いて「に文＊」と省略して入力すると、「に文」を先頭に持つ文字列を単語辞書および用例辞書等から検索することになり、本来意図していた「文」を先頭に持つ文字列候補を提示できないことになる。
【０００６】
また、特開平９‐１２８４８６号公報に開示された手書き文字入力装置においては、丸で囲むことによって補完の対象となる文字を指定できるため、上述の例においては「文」を丸で囲んで筆記すれば「文」で始まる文字列を候補表示することは可能である。ところが、この方法では、丸で囲んだ指定文字を先頭に持つ文字列候補しか表示できないという問題と、先頭１文字しか指定できないため、先頭複数文字を指定した場合に比して補完文字列候補の絞り込みができず、候補数が多くなってしまうという問題がある。
【０００７】
そこで、この発明の目的は、操作者の意図する補完文字列候補を精度よく提示して入力効率を向上できる手書き入力装置および方法、手書き入力プログラム、並びに、プログラム記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、この発明の手書き入力装置は、ストローク入力手段から入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かがジェスチャ判定手段によって判定され、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群が特定される。そして、候補生成手段によって、上記補完対象文字列ストローク群に関する文字列認識手段による認識結果に基づいて補完対象文字列が決定されると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔に基づいて補完位置が決定されて、上記補完対象文字列および補完位置でなる補完情報が求められ、この補完情報を満たす補完文字列候補が生成されるようになっている。
【０００９】
さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００１０】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００１１】
さらに、上記候補生成手段を、上記補完対象文字列に加えて１つ以上の補完位置を決定し、上記補完対象文字列および補完位置でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成される。
【００１２】
また、この発明の手書き入力装置は、表示されている文書中の文字列の補完を指示するジェスチャがジェスチャ入力手段から入力される。そうすると、候補生成手段によって、当該ジェスチャによって特定される上記文書中の文字列情報に基づいて補完対象文字列が決定されると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔に基づいて補完位置が決定されて、上記補完対象文字列および補完位置でなる補完情報が求められ、この補完情報を満たす補完文字列候補が生成されるようになっている。
【００１３】
したがって、上記文書中の文字列を書き換える場合に、書き換え用の文の入力を省略することが可能になる。さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００１４】
さらに、上記候補生成手段を、上記補完対象文字列に加えて１つ以上の補完位置を決定し、上記補完対象文字列および補完位置でなる補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成される。
【００１５】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００１６】
また、１実施例の手書き入力装置では、上記ジェスチャに複数の種類を設け、上記候補生成手段を、上記ジェスチャの種類毎に異なる生成方法によって上記補完文字列候補を生成するようにしている。したがって、上記ジェスチャの各種類に、上記補完文字列候補を生成する際に検索する辞書の種類を割り当てたり、上記補完文字列候補の品詞の種類を割り当てたり、補完位置や補完文字数等を割り当てたりすることが可能になり、操作者の意図する補完文字列候補がより精度よく生成される。
【００１７】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列および上記補完位置に加えて、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔と、手書き文字の標準サイズとに基づいて、上記各間隔に対する補完文字数を決定し、上記補完対象文字列,上記補完位置および上記補完文字数でなる補完情報を求めるようにしている。したがって、生成される補完文字列候補の数がより絞り込まれるので、操作者の意図する補完文字列候補がより精度よく生成される。
【００１８】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記補完対象文字列および上記補完位置に加えて、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔と、文字サイズとに基づいて、上記各間隔に対する補完文字数を決定し、上記補完対象文字列,上記補完位置および上記補完文字数でなる補完情報を求めるようにしている。したがって、生成される補完文字列候補の数がより絞り込まれるので、操作者の意図する補完文字列候補がより精度よく生成される。
【００１９】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列を囲むストロークとしている。したがって、上記ジェスチャで囲まれている文字列で上記補完対象文字列が指示され、上記ストロークにおける上記文字列の前後の空間の長さで上記補完位置および補完文字数が指示される。
【００２０】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列に沿った線状のストロークとしている。したがって、上記ジェスチャに沿った文字列で上記補完対象文字列が指示され、上記ストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２１】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列を囲むストロークと線状のストロークとの組み合わせとしている。したがって、上記ストロークで囲まれている文字列で上記補完対象文字列が指示され、上記線状のストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２２】
また、１実施例の手書き入力装置では、上記ジェスチャを、文字列に沿った折れ線状のストロークとしている。したがって、例えば、開始点から最初の屈曲点までのストロークに沿っている文字列で上記補完対象文字列が指示され、全体のストロークにおける上記文字列の前後の長さで上記補完位置および補完文字数が指示される。
【００２３】
また、１実施例の手書き入力装置では、上記文字列認識手段によって得られた認識結果の第１候補文字列を表示する表示手段と、上記表示された第１候補文字列における全文字列または部分文字列を指定する文字列指定手段とを備え、上記候補生成手段は、上記指定された上記第１候補文字列の文字列と、上記指定された文字列に関する認識結果の第２候補文字列以降の候補文字列のうち少なくとも一つの候補文字列とを、上記補完対象文字列として決定するようになっている。
【００２４】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記候補文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完文字列候補を生成するようにしている。したがって、補完対象文字列が漢字仮名混じりである場合でも補完文字列候補の生成が可能となり、操作者の利便性が向上する。
【００２５】
また、１実施例の手書き入力装置では、上記候補生成手段を、以前に入力された文字列の履歴に含まれる文字列を上記補完文字列候補として生成するようにしている。したがって、操作者が意図する補完文字列候補がより精度よく生成される。
【００２６】
また、１実施例の手書き入力装置では、上記候補生成手段を、上記表示されている文書内に含まれる文字列を上記補完文字列候補として生成するようにしている。したがって、操作者が意図する補完文字列候補がより精度よく生成される。
【００２７】
また、この発明の手書き入力方法は、入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かが判定され、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群が特定される。そして、上記補完対象文字列ストローク群に関する文字列認識結果に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔と、手書き文字の標準サイズとに基づいて、補完位置および補完文字数を決定して、補完対象文字列,補完位置および補完文字数でなる補完情報が求められ、この補完情報を満たすような補完文字列候補が生成されるようになっている。
【００２８】
さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００２９】
さらに、上記補完対象文字列に加えて１つ以上の補完位置を決定し、上記補完対象文字列および補完位置を含む補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成される。
【００３０】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３１】
また、この発明の手書き入力方法は、表示されている文書中の文字列の補完を指示するジェスチャが入力される。そうすると、当該ジェスチャによって特定される上記文書中の文字列情報に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔と、文字サイズとに基づいて、補完位置および補完文字数を決定して、補完対象文字列,補完位置および補完文字数でなる補完情報が求められ、この補完情報を満たす補完文字列候補が生成されるようになっている。
【００３２】
したがって、上記文書中の文字列を書き換える場合に、書き換え用の文の入力を省略することが可能になる。さらに、上記ジェスチャによって複数の文字を補完対象文字列として指示することによって、生成される補完文字列候補の数が大幅に絞り込まれる。
【００３３】
さらに、上記補完対象文字列に加えて１つ以上の補完位置を決定し、上記補完対象文字列および補完位置を含む補完情報を満たす補完文字列候補を生成するようにしている。したがって、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成される。
【００３４】
こうして、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３５】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置のストローク入力手段,ストローク記憶手段,ジェスチャ判定手段,文字列認識手段および候補生成手段として機能させる。したがって、ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成され、操作者が文字列を入力する際の作業効率が大幅に向上される。
【００３６】
また、この発明の手書き入力プログラムは、コンピュータを、上記手書き入力装置の文書記憶手段,表示手段,ジェスチャ入力手段,ジェスチャ記憶手段および候補生成手段として機能させる。したがって、ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在しても、操作者の意図する補完文字列候補が精度よく生成され、操作者が上記文書を編集する際の作業効率が大幅に向上される。
【００３７】
また、この発明のプログラム記録媒体は、上記手書き入力プログラムが記録されている。したがって、コンピュータによって上記手書き入力プログラムを読み出して実行することによって、操作者の意図する補完文字列候補を精度よく提示することが可能になり、操作者の作業効率が大幅に向上される。
【００３８】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。
【００３９】
＜第１実施の形態＞
図１は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部１,記憶部２,ジェスチャ判定部３,文字列認識部４,候補生成部５および表示部６を含んで構成されている。
【００４０】
上記入力部１はタブレット等を含んで構成され、文字列やジェスチャが手書き入力される。そして、入力部１から手書き入力された文字列のストローク情報やジェスチャのストローク情報が記憶部２に記憶される。ジェスチャ判定部３は、記憶部２に記憶されているストローク情報に基づいて、各ストロークがジェスチャであるか否かを判定する。そして、上記ジェスチャ判定部３で判定されたジェスチャの情報は、記憶部２に送出されて記憶される。文字列認識部４は、記憶部２に記憶されているジェスチャ以外のストローク情報に基づいて、当該ストロークを文字列として認識する。候補生成部５は、文字列認識部４による認識結果を参照して、ジェスチャ判定部３で判定されたジェスチャによって指定される文字列の補完文字列候補を生成する。表示部６は、入力部１から入力されたストローク,記憶部２に記憶されたストローク,文字列認識部４による認識結果および候補生成部５で生成された補完文字列候補を表示する。
【００４１】
ここで、上記ストロークとは、入力部１を介して入力された座標情報または点列データまたはベクトル列情報を指し、さらに時間情報,筆記速度情報,筆圧情報等も含んでいても差し支えない。また、上記ジェスチャとは、予め定められた１つ以上のストロークからなる編集用の記号を指す。
【００４２】
尚、上記入力部１および表示部６は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。
【００４３】
図１に示す手書き入力装置のハードウェア構成を図２に示す。この手書き入力装置は、後述する各種処理を実行するプログラムを含む各種プログラムを記憶するプログラムメモリ１１、記憶部２を構成して上記ストローク情報を含む各種情報を記憶するデータメモリ１２、入力部１を構成する入力装置１３、表示部６を構成する表示装置１４、外部のインターネット等の通信ネットワーク１５と本手書き入力装置とを接続する通信Ｉ/Ｆ１６、ＣＤ‐ＲＯＭ(コンパクトディスク・リード・オンリ・メモリ)等の外部記録媒体１７がセットされてこの外部記録媒体１７をアクセスする外部記憶媒体ドライバ１８、プログラムメモリ１１,データメモリ１２,入力装置１３,表示装置１４,通信Ｉ/Ｆ１６および外部記憶媒体ドライバ１８を制御して、手書き入力処理動作等を実行するＣＰＵ(中央演算処理装置)１９を含んで構成されている。
【００４４】
図３は、上記ＣＰＵ１９による制御の下に実行される手書き入力処理動作のフローチャートである。以下、図３に従って、上記手書き入力処理動作について詳細に説明する。
【００４５】
ステップＳ1で、操作者によって上記入力部１が操作されて、手書き文字列のストロークおよびジェスチャのストロークが筆記入力される。ステップＳ2で、表示部６によって、上記入力された手書き文字列のストロークあるいはジェスチャのストロークがリアルタイムに表示される。さらに、記憶部２によって、上記入力された手書き文字列のストローク情報あるいはジェスチャのストローク情報が記憶される。ステップＳ3で、入力部１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ4に進む一方、終了でなければ上記ステップＳ1に戻って次の入力スロトークの処理に移行する。
【００４６】
尚、上記記憶部２に記憶されるストローク情報とは、上述したような座標情報または点列データまたはベクトル列情報等を主に指すが、これらのデータや情報から得られる外接矩形情報や位置・サイズ情報や形状情報等を逐次算出して記憶しておいてもよい。また、上記手書き入力の終了判定方法は、特に限定はしないが、手書き入力後に所定時間が経過しても次の手書き入力が無い場合に入力終了と判定する方法が考えられる。更に、入力部１あるいは別途設けられた入力終了指示部(図示せず)への操作者による指示に基づいて判定する方法や、これらを組み合わせた方法も考えられる。
【００４７】
ステップＳ4で、上記ジェスチャ判定部３によって、記憶部２に記憶されている各ストロークに対するジェスチャ判定が行われる。そして、ジェスチャであると判定された場合には当該ジェスチャによる補完の対象となる補完対象文字列ストローク群が特定され、その特定情報が記憶部２に記憶される。尚、上記ステップＳ4におけるジェスチャ判定部３によるジェスチャ判定処理の詳細については後述する。
【００４８】
ステップＳ5で、上記文字列認識部４によって、上記記憶部２の記憶内容に基づいて、記憶部２にジェスチャが存在するか否かが判別される。その結果、ジェスチャが存在しない場合はステップＳ6に進み、ジェスチャが存在する場合にはステップＳ8に進む。ステップＳ6で、文字列認識部４によって、記憶部２に記憶されているストロークに基づいて文字列認識が行われる。そして、認識結果の文字列が表示部６に送出される。ステップＳ7で、表示部６によって、上記文字列認識の結果得られた文字列が表示される。そうした後、手書き入力処理動作が終了される。
【００４９】
ステップＳ8で、上記文字列認識部４によって、記憶部２に記憶されているストロークのうちの上記ジェスチャであると判定されたストローク以外のストロークに基づいて文字列認識が行われる。尚、文字列認識部４によって実行される文字列認識方法に関しては、様々な方法が知られているが本実施の形態においては特に限定はしない。例えば、特公平４‐１０６７１号公報に開示されている方法等を用いればよい。
【００５０】
ステップＳ9で、上記候補生成部５によって、記憶部２に記憶されている一つのジェスチャに関して、各ストローク情報および補完の対象となる補完対象文字列ストローク群の文字列認識結果が参照されて、補完の対象となる文字列(補完対象文字列)と、この文字列内における補完を行う位置と、各補完位置において補完する文字数条件が決定される。尚、本ステップにおいては、補完の対象となる文字列のみが決定されるようにしてもよい。または、補完の対象となる文字列と、この文字列内の補完を行う位置とが決定されるようにしてもよい。または、補完の対象となる文字列と、補完する文字数条件とが決定されるようにしてもよい。ステップＳ10で、候補生成部５によって、上記ステップＳ9において決定された情報に基づいて補完文字列候補が生成される。尚、上記補完対象文字列,補完位置および補完文字数条件の決定処理と補完文字列候補の生成処理との詳細については後述する。
【００５１】
ステップＳ11で、上記表示部６によって、上記ステップＳ8における文字列認識結果および上記ステップＳ10において生成された補完文字列候補が、表示される。ステップＳ12で、操作者によって入力部１が操作されて、候補選択が行われる。ステップＳ13で、表示部６によって、上記ステップＳ12における候補選択の結果に応じて、補完対象文字列が選択補完文字列候補に置き換えられて表示される。ステップＳ14で、候補生成部５によって、記憶部２に記憶されている全てのジェスチャに対する処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ9に戻って、次のジェスチャに対する処理に移行する。また、終了していれば、手書き入力処理動作を終了する。
【００５２】
次に、図３に示す手書き入力処理動作の上記ステップＳ4においてジェスチャ判定部３によって実行されるジェスチャ判定について詳細に説明する。
【００５３】
先ず、上記ジェスチャとしては図４〜図７に示すようなものがある。尚、図４〜図７においては、識別し易いようにジェスチャのストロークを太く表現している。図４は楕円状のジェスチャであり、図５は直線状のストロークからなるジェスチャであり、図６は楕円と直線とを繋いだ１つのストロークからなるジェスチャであり、図７は楕円と直線とを組み合わせた複数のストロークからなるジェスチャである。その他、図４,図６,図７における楕円状の部分を矩形やその他の閉図形状に変更したものも考えられる。
【００５４】
上記ジェスチャにおいて、図４(a)および図５(a)は、補完対象文字列「シャ」のみを指定するジェスチャである。また、図４(b),図５(b),図６(a)および図７(a)は、指定文字列「シャ」の後を補完するためのジェスチャである。また、図４(c),図５(c),図６(b)および図７(b)は、指定文字列「会社」の前を補完するためのジェスチャである。また、図４(d),図５(d),図６(c)及び図７(c)は、指定文字列「株」の前後を補完するためのジェスチャである。また、図４(e),図５(e),図６(d)及び図７(d)は、指定文字列「シャ」と「会社」との間を補完するためのジェスチャである。また、図４(f),図５(f),図６(e)及び図７(e)は、指定文字列「プ」と「会」との前後および間を補完するためのジェスチャである。
【００５５】
そして、図４(b)〜図４(f)に示す楕円状のジェスチャにおいては、楕円内の空白部の大きさによって補完すべき位置および補完すべき文字数を判定することができる。また、図５(b)〜図５(f),図６及び図７に示すジェスチャにおいては、直線部の位置によって補完すべき位置を、上記直線部の長さによって補完すべき文字数を判定することができる。
【００５６】
尚、図４〜図７においては、文字列が横に配列されている場合(つまり、横書きである場合)を前提としているが、図８に示すように、文字列が縦配列や斜め配列である場合のジェスチャも同様に設定することができる。
【００５７】
以下、図４および図８(a)に示す楕円状のジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定について説明する。図９は、図３に示す手書き入力処理動作における上記ステップＳ4において実行されるジェスチャ判定処理動作のフローチャートである。上記手書き入力処理動作における上記ステップＳ3において手書き入力が終了したと判別されるとジェスチャ判定処理動作がスタートする。
【００５８】
ステップＳ21で、上記記憶部２に記憶されているストローク情報のうち１つのストローク情報が読み出される。ステップＳ22で、読み出されたストローク情報に基づいて、当該ストロークが上記ジェスチャの形状をしているか否かが判別される。その結果、ジェスチャ形状を有する場合にはステップＳ23に進み、そうでない場合にはステップＳ26に進む。ここで、ジェスチャ形状の判定方法については特に限定しないが、既知の技術を使用することが可能である。例えば、辞書パターンとの照合を行うような文字認識技術を利用してもよいし、ストロークの座標情報やストローク内線分のベクトル情報等を利用して判断してもよい。
【００５９】
その際に、楕円状のジェスチャを用いて、例えば図１０に示すような入力があった場合に、これが、記号「丸付き１」の入力を意図したのか、「１」にジェスチャの丸を重ねて補完の指示を意図したのかが判別できないという問題がある。その解決法として、丸の筆記方法により判別する方法が考えられる。一般に、数字の「０」やアルファベットの「Ｏ」や丸付き数字１等の丸を筆記する際には、図１１(a)に示すような丸の上部を基点とした反時計回り、図１１(b)に示すような丸の下部を基点とした時計回りで筆記されることが多い。そこで、図１１(a),図１１(b)に示すような筆順で丸が筆記された場合には、文字または文字の一部であると判定する。一方、図１１(c)に示すような丸の上部を基点とした時計回り、図１１(d)に示すような丸の下部を基点とした反時計回りで筆記された場合には、ジェスチャであると判定する。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６０】
ステップＳ23で、上記ステップＳ22で判定された当該ジェスチャによる補完の対象となる補完対象文字列ストロークが抽出される。その場合における補完対象文字列ストロークの抽出方法については特に限定しないが図１２にその一例を示す。先ず、図１２(a)に示すように楕円状ジェスチャの筆記開始点と筆記終了点とが繋がっていない場合には、図１２(b)に示すように筆記開始点と筆記終了点とを繋いで閉図形とする。または、図１２(c)に示すようにストロークが交差している場合には、図１２(d)に示すように開始点から交差点までの部分および交差点から終了点までの部分を削除して閉図形とする。次に、閉図形内部に存在する閉図形のストロークとは異なる他のストロークを上記補完対象文字列ストロークとして抽出するのである。尚、あるストロークが閉図形内部に在るか否かを判定する方法としては、(１)ストロークの全座標が閉図形内に在るかを判定する。(２)ストロークの開始点,終了点,中間点等の特定の座標が閉図形内に在るかを判定する。(３)閉図形内にあるストローク座標の比率で判定する。(４)閉図形内のストローク部分の長さとストローク全体の長さの比率で判定する。等の方法が挙げられる。
【００６１】
ステップＳ24で、上記ステップＳ23における補完対象文字列ストローク抽出の結果に基づいて、当該ジェスチャに係る補完対象文字列ストロークが存在するか否かが判別される。その結果、存在する場合にはステップＳ25に進み、存在しない場合にはステップＳ26に進む。ステップＳ25で、ジェスチャのストローク情報と上記ステップＳ23において抽出された補完対象文字列ストロークのストローク情報とが当該ジェスチャのジェスチャ情報として記憶部２に記憶される。ステップＳ26で、全ストロークの処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ21に戻って次のストロークの処理に移行する。一方、終了していればジェスチャ判定処理動作を終了して、図３に示す手書き入力処理動作における上記ステップＳ5に進む。
【００６２】
次に、他の例として、図５および図８(b)に示す直線状のジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定について説明する。尚、その場合、図３に示す手書き入力処理動作における上記ステップＳ4において実行されるジェスチャ判定処理動作は、図９に示すフローチャートと同様である。したがって、以下、図９に示すジェスチャ判定処理動作のフローチャートにおける上記ステップＳ22におけるジェスチャ形状の判定方法と、上記ステップＳ23におけるジェスチャの補完対象文字列ストロークの抽出方法について説明する。
【００６３】
上記直線状のジェスチャにおけるジェスチャ形状の判定方法については、楕円状のジェスチャの場合と同様に既知の技術を使用することが可能である。但し、例えば、図１３(a)に示すような入力があった場合には、これが、文字「旦」の入力を意図したのか、「日」にジェスチャの横棒を重ねての補完を意図したのかが判別できないという問題がある。その解決法として、横棒の筆記方法により判別する方法が考えられる。一般的に文字内の横棒は図１３(b)に示すように左から右に筆記される。そこで、左から右に筆記された横棒は文字または文字の一部であると判定する一方、図１３(c)に示すように右から左に筆記した場合にはジェスチャであると判定する。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６４】
同様に、図１４(a)に示すような入力があった場合に、これが、文字「旧」の入力を意図したのか、「日」にジェスチャの縦棒を重ねての補完を意図したのかが判別できないという問題がある。この場合には、文字内の縦棒は図１４(b)に示すように上から下に筆記されるのが一般的であるため、上から下に筆記された縦棒は文字または文字の一部であり、図１４(c)に示すように下から上に筆記された縦棒はジェスチャであると判別するのである。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることができる。
【００６５】
さらに、図１４(a)に示すような入力があった場合には、ストロークの時系列情報を用いて、ジェスチャストローク以降に入力されたストロークは当該ジェスチャによる指定の対象とはしないようにすれば、図１５(a)に示すように、「｜」,「日」の順に入力された場合には文字「旧」であると判別し、図１５(b)に示すように、「日」,「｜」の順に入力された場合には「日」の補完であると判別することができる。こうすることによって、操作者が文字または文字の一部とジェスチャとを書き分けることが可能になるのである。
【００６６】
次に、上記直線状のジェスチャの場合における補完対象文字列ストロークの抽出方法について、図１６に従って説明する。図１６において、太線の部分がジェスチャストロークを示しており、Ａは筆記開始点、Ｂは筆記終了点である。
【００６７】
先ず、上記ジェスチャストロークの筆記開始点Ａと筆記終了点Ｂとを結ぶ線分を１辺とする長方形ＡＢＣＤを求める。その際に、線分ＡＤと線分ＢＣとの長さは、手書き入力される文字の標準的な幅および高さを表す標準文字サイズを用いる。その際における上記標準文字サイズの設定方法としては、予め定めた固定値とする方法や筆記された文字列ストロークに応じて動的に算出する方法がある。
【００６８】
こうして得られた長方形の頂点Ｂ,Ｃと頂点Ｃ,Ｄと頂点Ｄ,Ａとを結ぶ３つの直線と、頂点Ａ,Ｂを結ぶジェスチャストロークとで、閉図形を形成する。尚、上記閉図形として、上記長方形ＡＢＣＤをそのまま用いても差し支えない。そして、あるストロークが当該ジェスチャによる補完の対象であるか否かは、そのストロークが当該閉図形内(斜線部)に含まれるか否かによって判定するのである。その場合、閉図形内部にあるか否かを判定する方法としては、先程の楕円状ジェスチャの説明の際に述べた方法が適用できる。
【００６９】
以上の方法によれば、図１７に示すように複数行に亙って筆記した場合でも、文字「例」の後を補完する直線状のストロークを筆記することによって、補完対象文字列ストロークとして文字「例」の部分を抽出することが可能になるのである。
【００７０】
尚、図６,図７,図８(c)および図８(d)に示すような楕円状の部分と直線状の部分とを含むジェスチャを用いた場合におけるジェスチャ判定部３によるジェスチャ判定処理動作は、上記楕円状の部分に対して上述した楕円状のジェスチャを用いた場合の処理を適用すればよい。
【００７１】
次に、図３に示す手書き入力処理動作における上記ステップＳ9において候補生成部５によって実行される補完対象文字列,補完位置,補完文字数条件の決定、および、ステップＳ10において候補生成部５によって実行される補完文字列候補生成について詳細に説明する。
【００７２】
以下、図１８に示すように、楕円状のジェスチャを用いた場合を例に挙げて説明する。図１８において、実際に筆記入力されたストロークは太線の部分であって、それ以外の部分は説明用に付加したものである。横方向をＸ軸、縦方向をＹ軸としている。尚、図１８は横方向に筆記された場合であるが、縦方向や斜め方向に筆記した場合であっても、文字列筆記方向をＸ軸とし、このＸ軸に垂直な方向をＹ軸とすれば同様に処理することができる。
【００７３】
ここで、上記手書き入力処理動作における上記ステップＳ4のジェスチャ判定処理によって、ストロークst６がジェスチャとして判定され、ストロークst１，st２,st３,st４,st５が補完対象文字列ストロークとして抽出されているものとする。
【００７４】
先ず、上記手書き入力処理動作のステップＳ9において実行される補完対象文字列,補完位置,補完文字数条件の決定処理動作について、図１９に示すフローチャートに従って説明する。上記手書き入力処理動作のステップＳ8において上記ジェスチャであると判定されたストローク以外のストロークに基づいて文字列が認識されると、補完対象文字列,補完位置,補完文字数条件の決定処理動作がスタートする。
【００７５】
ステップＳ31で、上記文字列認識部４から上記補完対象文字列ストローク群の文字列認識結果が取得される。図１８に示す例の場合には、上記ストロークst１,st２,st３による認識結果として文字「シ」が得られ、上記ストロークst４,st５による認識結果として文字「ャ」が得られる。
【００７６】
ステップＳ32で、上記ジェスチャの外接矩形および各文字の外接矩形が求められる。以下、ジェスチャの外接矩形をＲ0および各文字の外接矩形をＲ1〜Ｒn(ｎは認識結果文字数)とする。すなわち、図１８に示す例の場合には、ジェスチャ外接矩形Ｒ0が得られ、文字「シ」および「ャ」の外接矩形Ｒ1,Ｒ2が得られる。
【００７７】
ステップＳ33で、０≦ｉ≦ｎ−１を満たす全ての整数ｉに対して、上記外接矩形Ｒiと外接矩形Ｒ(i+1)とのＸ軸方向間隔ｄiを求め、更に外接矩形Ｒnと外接矩形Ｒ0とのＸ軸方向間隔ｄnを求める。Ｘ軸方向間隔ｄがない場合は０とする。図１８に示す例の場合には、ｄ0,ｄ1,ｄ2が得られる。
【００７８】
ステップＳ34で、上記ステップＳ33において得られた各ｄi(０≦ｉ≦ｎ)に関して、Ｃi＝ｄi/Ｈが算出され、算出された値Ｃiに応じて、ｄiの位置における補完文字数条件が決定される。そうした後、補完対象文字列,補完位置,補完文字数条件の決定処理動作を終了する。ここで、上記Ｈは標準文字サイズであり、上述したように手書き入力される文字の標準的な幅あるいは高さである。
【００７９】
上記補完文字数条件としては、１つの値のみを決定する方法と、文字数の上限値および下限値を決定する方法とがある。１つの値のみを決定する場合には、値Ｃiの切上げ値,切捨て値,四捨五入値の何れか一つをそのまま使用するか、その値に予め定められた値を加算あるいは減算して得られた値を使用するようにすればよい。但し、減算して負の値になる場合は０とする。また、上限値と下限値とを決定する場合には、Ｃiの切上げ値,切捨て値,四捨五入値の何れか一つの値から、予め定めておいた値を加減算して上限値および下限値を決定すればよい。但し、下限値は０以上とする。その場合、上限値および下限値毎に加減算する大きさを変えてもよい。また、値Ｃiが予め定めた所定値以下である場合には強制的に上限値および下限値共に０になるようにしたり、文字列の前後におけるＸ軸方向間隔(ｄ0,ｄn)では上記所定値を大きめに設定することによって文字列前後を補完し難くして、ジェスチャ入力の操作性を上げることも可能である。
【００８０】
更に、例えば、１文字補完の確率は７０％,２文字補完の確率は９０％,３文字補完の確率は６０％と言うように、補完文字数に確からしさを示す確率を付加しても差し支えない。
【００８１】
以上のような補完対象文字列,補完位置,補完文字数条件の決定処理によって、図１８に示す例の場合には、例えば図２０に示すような補完情報が生成されるのである。
【００８２】
尚、以上の説明は、図１８に示すような楕円状のジェスチャを用いた場合を例に挙げて行っている。しかしながら、図５および図８(b)に示すような直線状のジェスチャを用いた場合にも、同様の処理によって補完対象文字列,補完位置,補完文字数条件等の補完情報を生成することができる。図２１は、直線状のジェスチャを用いた場合の筆記例(図２１(a))と、この筆記例から生成される補完情報例(図２１(b))を示す。
【００８３】
次に、上記手書き入力処理動作のステップＳ10において実行される補完文字列候補生成について詳細に説明する。
【００８４】
上述した補完対象文字列,補完位置,補完文字数条件の生成処理によって生成された図２０および図２１に示すような補完情報に基づいて、この条件を満たすような補完文字列候補を生成する。図２２は、図２０に示す補完情報に基づいて生成された補完文字列候補の例を示す。この補完文字列候補の生成は既知の技術によって実現可能である。本実施の形態においては特に限定しないが、(１)一般単語辞書あるいはユーザ辞書を用いて探索を行う方法、(２)単語辞書と単語間の遷移情報辞書とを用いて探索を行う方法、(３)(１),(２)において出現頻度情報をも用いる方法、(４)以前の入力文字列履歴に基づく方法等がよく知られている。尚、(２)の方法を用いれば、長い文字列や文章等を省略して入力しても補完することが可能になる。また、(３)および(４)の方法のように、頻度情報や履歴情報を用いることによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。
【００８５】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。すなわち、複雑な漢字文字列の補完入力をしたい場合でも、読みの平仮名の入力によって補完が可能となり、入力時の労力および時間を軽減することができる。例えば図２３に示すように「か」の入力のみで、読みの先頭が「か」である「株式会社」等をも候補表示することも可能になるのである。
【００８６】
以上のごとく、本実施の形態においては、手書きによって一部を省略した文字列を入力部１に入力し、省略部分を補完した文字列候補を表示部６に表示させるに際して、一部を省略した文字列に補完対象文字列と補完位置と補完文字数とを指定するジェスチャを表すストロークを入力する。そして、ジェスチャ判定部３によって、入力ストロークがジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャによる補完の対象となる補完対象文字列ストローク群を特定する。そして、文字列認識部４によって、ジェスチャであるストローク以外のストロークに基づいて文字列認識を行い、候補生成部５によって、ジェスチャ判定部３で得られたジェスチャストロークおよび補完対象文字列ストロークの位置関係と、文字列認識部４による認識文字列とに基づいて、補完の対象となる補完対象文字列と、この補完対象文字列に関する補完の位置と補完文字数条件とで成る補完情報を生成する。さらに、この補完情報に基づいて辞書等を用いて、上記補完情報の条件を満たすような補完文字列候補を生成して表示部６に表示するようにしている。
【００８７】
したがって、本実施の形態によれば、上述した従来の手書き文字入力装置のごとく、補完対象文字列が補完文字列候補の先頭である場合は勿論のこと、補完文字列候補の中間や最後に存在する場合であっても、操作者が意図する補完文字列候補を精度よく生成することができる。さらに、複数の文字をジェスチャで指示することによって、補完文字列候補の数を大幅に絞り込むことができる。その結果、操作者が意図する補完文字列候補を精度よく提示することができ、手書き入力効率を向上することができるのである。
【００８８】
また、上記ジェスチャとして、上記補完対象文字列を囲む楕円状のストロークや補完対象文字列に沿って引かれた直線状のストロークや両者を併用したストロークを用いている。したがって、楕円内や直線上における空白部の位置や長さによって、的確に補完位置や補完文字数を指定することができるのである。
【００８９】
尚、上述の説明においては、１種類のジェスチャを使用する場合を例に挙げているが、図４〜図７に示すような複数種類のジェスチャを入力可能とし、ジェスチャの種類毎に異なる補完文字列生成方法を適用するようにしてもよい。
【００９０】
具体的には、
(ａ)一般単語辞書やユーザ辞書等の辞書毎にジェスチャを割り当てる
(ｂ)探索する単語の品詞毎にジェスチャを割り当てる
(ｃ)補完位置や補完文字数等の補完条件毎にジェスチャを割り当てる
等が考えられる。その場合、(ａ),(ｂ)の方法では、操作者が補完したい文字列の情報をジェスチャによってＣＰＵ１９に伝えることができ、操作者の意図する補完文字列候補をより精度よく提示することが可能になる。また、(ｃ)の方法では、操作者はジェスチャと文字列との位置関係ではなく、ジェスチャの形状によって補完位置と補完文字数条件とを指定できるようになる。
【００９１】
図２４は、ジェスチャの種類毎に異なる補完文字列生成方法を適用する一例である。図２４(a)および図２４(b)は補完文字列を生成する際に用いる辞書をジェスチャの種類で指定する例であり、図２４(a)に示すジェスチャの場合には一般単語辞書から補完文字列を探索し、図２４(b)に示すジェスチャの場合にはユーザ辞書から補完文字列を探索する。また、図２４(c)および図２４(d)は補完位置をジェスチャの種類で指定する例であり、図２４(c)に示すように一重丸のジェスチャの場合には補完対象文字列「文」の後側を補完し、図２４(d)に示すように二重丸のジェスチャの場合には補完対象文字列「文」の前側を補完する。また、図２４(e)および図２４(f)は補完文字数をジェスチャの種類で指定する例であり、図２４(e)に示すように１本の下線のジェスチャの場合には１文字補完を行い、図２４(f)に示すように３本の下線のジェスチャの場合には３文字補完を行うのである。
【００９２】
さらに、上述の説明においては、上記文字列認識部４による第１候補の認識結果文字列のみを考慮して補完文字列候補を生成する場合を例に挙げている。しかしながら、一般に文字列認識においては複数の認識候補が生成される。そこで、候補生成部５は、それらの複数の認識候補および各々の確信度情報をも用いて補完文字列候補を生成するようにしても差し支えない。
【００９３】
さらに、上述の説明においては、操作者が筆記入力を終了した後に直ぐ補完文字列候補が表示され、操作者はその表示候補から目的とする候補を選択するようにしている。しかしながら、この発明はこれに限定されるものではなく、候補選択を行っている時間がない場合に、筆記入力だけを行って、そのストローク情報を記憶部２に記憶しておく。そして、時間がある場合に補完文字列候補選択を行うようにしてもよい。その場合には、記憶部２を、手書き入力装置の電源がオフされても記憶内容が保持できる構成にする。そして、図３に示す手書き入力処理動作のフローチャートにおいて、筆記入力時にはステップＳ3の入力終了までを行うようにし、操作者が時間のあるときにステップＳ4のジェスチャ判定以降の処理を再開できるようにするための処理再開指示手段を別途設ければよい。
【００９４】
また、上記筆記入力時にはステップＳ4のジェスチャ判定までの処理を行っておき、処理再開時にはステップＳ5のジェスチャの存在判別以降の処理を行うようにしてもよい。また、上記筆記入力時にはステップＳ8の文字列認識までの処理を行っておき、処理再開時にはステップＳ9の補完情報の決定からステップＳ13の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ9の補完情報の決定までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ10の補完文字列候補生成からステップＳ13の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ10の補完文字列候補生成までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ11の補完文字列候補の表示からステップＳ13の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。
【００９５】
これらの手書き入力処理動作を二回に分けて実行する方法によれば、操作者が後で全ストロークデータを表示させた際に、補完を意図した文字列部分の識別が容易であり、ジェスチャの形状やサイズ等によってどのような文字列の補完を意図したのかも判別し易いという効果も得られる。
【００９６】
＜第２実施の形態＞
本実施の形態は、表示されている文書中に、補完対象文字列とこの補完対象文字列中における補完位置および補完文字数条件を指定するジェスチャのストロークを手書きによって入力することによって、上記文書中の補完対象文字列を他の文字列に書き換え編集を行うものに関する。
【００９７】
図２５は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部２１,記憶部２２,ジェスチャ判定部２３,候補生成部２４および表示部２５を含んで構成されている。
【００９８】
上記入力部２１はタブレット等を含んで構成され、手書きによるジェスチャが入力される。そして、入力部２１から手書き入力されたジェスチャのストローク情報が記憶部２２に記憶される。また、記憶部２２には、予め文書情報が記憶されている。ジェスチャ判定部２３は、記憶部２２に記憶されているジェスチャの正誤を判定する。候補生成部２４は、ジェスチャ判定部２３で判定されたジェスチャによって指定された文字列の補完文字列候補を生成する。表示部２５は、入力部２１から入力されたジェスチャ,記憶部２２に記憶された文書やジェスチャおよび候補生成部２４で生成された補完文字列候補を表示する。
【００９９】
尚、上記入力部２１および表示部２５は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。また、本実施の形態においては、ジェスチャによる既存文書への編集に特化しているが、上記第１実施の形態において示したような手書きによる文字列入力手段や、キーボードなどの文字列入力手段をさらに設けた構成も考えられる。
【０１００】
また、図２５に示す手書き入力装置のハードウェア構成は、上記第１実施の形態において図２に示すハードウェア構成と同様である。
【０１０１】
図２６は、上記ＣＰＵによる制御の下に記憶部２２から読み出されて表示部２５に表示された文書に対してジェスチャで文字列補完を行う文字列補完処理動作のフローチャートである。以下、図２６に従って、上記文字列補完処理動作について詳細に説明する。
【０１０２】
ステップＳ41で、操作者によって上記入力部２１が操作されて、表示されている文書中における補完対象文字列の個所にジェスチャのストロークが手書き入力される。ステップＳ42で、表示部２５によって、上記入力されたストロークがリアルタイムに表示される。さらに、記憶部２２によって、上記入力されたストローク情報が記憶される。ステップＳ43で、入力部２１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ44に進む一方、終了でなければ上記ステップＳ41に戻って次の入力スロトークの処理に移行する。
【０１０３】
上記手書き入力の終了判定方法は、上記第１実施の形態における図３のステップS3で用いた方法と同様の方法を用いる。
【０１０４】
ステップＳ44で、上記ジェスチャ判定部２３によって、記憶部２２に記憶されている各ストロークが正しいジェスチャのストロークであるかを判定するジェスチャ判定が行われる。そして、ジェスチャであると判定された場合には文書内における当該ジェスチャによる補完の対象となる文字列(補完対象文字列)が特定され、その特定情報が記憶部２２に記憶される。尚、上記ステップＳ44におけるジェスチャ判定部２３によるジェスチャ判定処理の詳細については後述する。
【０１０５】
ステップＳ45で、上記候補生成部２４によって、上記記憶部２２の記憶内容に基づいて、記憶部２２にジェスチャが存在するか否かが判別される。その結果、ジェスチャが存在しない場合は文字列補完処理動作を終了する。一方、ジェスチャが存在する場合にはステップＳ46に進む。
【０１０６】
ステップＳ46で、上記候補生成部２４によって、記憶部２２に記憶されている一つのジェスチャに関して、各ストローク情報および上記特定された補完対象文字列の情報が参照されて、上記補完対象文字列内における補完を行う位置と、各補完位置において補完する文字数条件とが決定される。尚、本ステップにおいては、本ステップの処理を行わないようにしてもよい。または、補完対象文字列内の補完を行う位置のみが決定されるようにしてもよい。または、補完する文字数条件のみが決定されるようにしてもよい。ステップＳ47で、候補生成部２４によって、上記ステップＳ44で特定された補完対象文字列とステップＳ46において決定された補完位置および補完文字数条件とで成る補完情報に基づいて、補完文字列候補が生成される。尚、上記補完位置および補完文字数条件の決定処理と補完文字列候補の生成処理との詳細については後述する。
【０１０７】
ステップＳ48で、上記表示部２５によって、上記ステップＳ47において生成された補完文字列候補が表示される。ステップＳ49で、操作者によって入力部２１が操作されて、候補選択が行われる。ステップＳ50で、表示部２５によって、上記ステップＳ49における候補選択の結果に応じて、補完対象文字列が選択補完文字列候補に置き換えられて表示される。ステップＳ51で、候補生成部２４によって、記憶部２２に記憶されている全てのジェスチャに対する処理が終了したか否かが判別される。その結果、終了していなければ上記ステップＳ46に戻って、次のジェスチャに対する処理に移行する。また、終了していれば、文字列補完処理動作を終了する。
【０１０８】
次に、図２６に示す文字列補完処理動作の上記ステップＳ44において上記ジェスチャ判定部２３によって実行されるジェスチャ判定について詳細に説明する。
【０１０９】
先ず、上記ジェスチャとしては図２７〜図３０に示すようなものがある。尚、図２７〜図３０においては、識別し易いようにジェスチャのストロークを太く表現している。図２７は楕円状のジェスチャであり、図２８(a)は直線状の１ストロークからなるジェスチャであり、図２８(b)は直線状の複数ストロークからなるジェスチャであり、図２９は折れ線状のジェスチャであり、図３０(a)は楕円と直線とを繋いた１ストロークからなるジェスチャであり、図３０(b)は楕円と直線とを組み合わせた複数ストロークからなるジェスチャである。その他、図２７,図３０における楕円状の部分を矩形やその他の閉図形状に変更したものも考えられる。
【０１１０】
上記ジェスチャにおいて、図２７及び図２８(a)は、上記補完対象文字列である指定文字列「シャープ」を補完するためのジェスチャである。また、図２８(b1),図２９(a),図３０(a1)及び図３０(b1)は、指定文字列「シャープ」の後を補完するためのジェスチャである。また、図２８(b2),図２９(b),図３０(a2)および図３０(b2)は、指定文字列「推進会議」の前を補完するためのジェスチャである。また、図２８(b3),図２９(c),図３０(a3)および図３０(b3)は、指定文字列「大阪」の前後を補完するためのジェスチャである。
【０１１１】
また、図２８(b)に示す直線状ジェスチャにおいては、短い方の直線によって補完対象文字列を判定し、長い方の直線によって補完位置および補完文字数条件を判定することができる。また、図２９に示す折れ線状ジェスチャにおいては、第１屈曲点までの直線部で補完対象文字列を判定し、それ以降の直線部で補完位置および補完文字数条件を判定することができる。また、図３０に示す楕円と直線とでなるジェスチャにおいては、直線部の位置によって補完すべき位置を判定し、直線部の長さによって補完すべき文字数を判定することができる。
【０１１２】
尚、図２７〜図３０においては、文字列が横に配列されている場合(つまり、横書きである場合)を前提としているが、文字列が縦配列や斜め配列である場合のジェスチャも同様に設定することができる。
【０１１３】
以下、上記ジェスチャ判定部２３による図２６に示す文字列補完処理動作における上記ステップＳ44において実行されるジェスチャ判定について説明する。ジェスチャ形状の判定方法については上記第１実施の形態で示した方法と同様である。
【０１１４】
上記ジェスチャによって指定される補完の対象となる文字列である補完対象文字列の特定方法について、図３１(a1)または図３１(b1)に示すように筆記された場合を例に説明する。先ず、文書内の各文字毎に図３１(a2)あるいは図３１(b2)に示すような外接矩形を考える。そして、ジェスチャに基づいて生成された閉図形(図の斜線部)内に含まれる外接矩形の閉図形に対する面積率が予め定められた閾値以上であれば、閉図形内に含まれる外接矩形内の文字列を補完対象文字列として抽出する。この方法以外に、各文字の文字画素を取得し、ジェスチャに基づいて生成された平図形内に含まれる画素の率が予め定められた閾値以上であれば補完対象文字列として抽出する方法も使用できる。尚、図３１(b1)に示す直線状ジェスチャから閉図形を生成する方法は、第１実施の形態における図１６に示す方法と同様の方法を用いることができる。
【０１１５】
続いて、上記候補生成部２４によって、図２６に示す文字列補完処理動作の上記ステップＳ46において実行される補完位置および補完文字数条件で成る補完情報の決定について、図３２(a)に太線で示すように筆記された場合を例に詳細に説明する。図３２(b)は、図３２(a)に対して説明のために記号等を付加したものである。図３２(b)において、ジェスチャの開始点をＡとし、終了点をＢとし、横方向にＸ軸を取り、縦方向にＹ軸を取る。尚、図３２は横方向に文字が並んでいる場合について示しているが、文字が縦方向や斜め方向に並んでいる場合も、文字列方向をＸ軸としこのＸ軸に垂直な方向をＹ軸とすれば同様に処理できる。
【０１１６】
先ず、ジェスチャストロークの開始点Ａからジェスチャストロークの線分を順に辿り、最初の屈曲点を探して点Ｃとする。屈曲点の判定方法としては、線分のベクトルの向きを用いた判定方法等の既知の技術を適用することができる。先に説明したジェスチャ判定処理において、ジェスチャストロークの点Ａから点Ｃまでの部分に基づいて補完対象文字列である「シャープ」を得ることができる。
【０１１７】
次に、上記ジェスチャストロークにおけるＸ軸方向の最小値ｘ1および最大値ｘ2を求める。さらに、補完対象文字列「シャープ」のＸ軸方向の最小値ｘ3および最大値ｘ4を求める。そして、ｄｐ＝ｘ3−ｘ1とｄｎ＝ｘ2−ｘ4とを算出する。但し、ｄｐおよびｄｎが負になる場合には０とする。すなわち、図３２に示す例の場合には、「ｄｐ」は０となる。続いて、得られたｄｐ,ｄｎの値を用いてＣp＝ｄｐ/ＨおよびＣn＝ｄｎ/Ｈを算出する。ここで、Ｈは文字サイズである。こうして得られたＣｐによって、補完対象文字列の前に補完する補完文字数条件が決定される。また、Ｃｎによって、補完対象文字列の後に補完する補完文字数条件が決定される。
【０１１８】
上記補完文字数条件としては、上記第１実施の形態の場合と同様に、１つの値のみを決定する方法と、文字数の上限値および下限値を決定する方法とがある。１つの値のみを決定する場合には、値ＣpおよびＣnの切上げ値,切捨て値,四捨五入値の何れか一つをそのまま使用するか、その値に予め定められた値を加算または減算して得られた値を使用するようにすればよい。但し、減算して負の値になる場合は「０」とする。また、上限値と下限値とを決定する場合には、ＣpおよびＣnの切上げ値,切捨て値,四捨五入値の何れか一つの値から、予め定めておいた値を加減算して上限値および下限値を決定すればよい。但し、下限値は０以上とする。その場合、上限値および下限値毎に加減算する大きさを変えてもよい。また、値ＣpおよびＣnが予め定めた所定値以下である場合には強制的に上限値および下限値共に０になるようにすることも可能である。
【０１１９】
更に、例えば、１文字補完の確率は７０％,２文字補完の確率は９０％,３文字補完の確率は６０％と言うように、補完文字数に確からしさを示す確率を付加しても差し支えない。
【０１２０】
以上のような補完位置及び補完文字数条件の決定処理によって、図３２に示す例の場合には、例えば図３３(a)に示すような補完情報が生成されるのである。
【０１２１】
尚、以上の説明は、図３２に示すような折れ線状のジェスチャを用いた場合を例に挙げて行った。しかしながら、その他のジェスチャを用いた場合にも、同様の処理によって補完位置および補完文字数条件等の補完情報を生成することができる。図３３(b)は、図３０(a3)に示すように筆記された場合における補完情報例を示す。
【０１２２】
次に、上記文字列補完処理動作のステップＳ47において実行される補完文字列候補生成について説明する。補完文字列候補生成処理は上記第１実施の形態の場合と同様であり、既知の技術によって実現可能である。本実施の形態においては特に限定しないが、(１)一般単語辞書あるいはユーザ辞書を用いて探索を行う方法、(２)単語辞書と単語間の遷移情報辞書とを用いて探索を行う方法、(３)(１),(２)において出現頻度情報をも用いる方法、(４)以前の入力文字列履歴に基づく方法等がよく知られている。尚、(２)の方法を用いれば、長い文字列や文章等を省略して入力した場合でも補完することが可能になる。また、(３)及び(４)の方法のように、頻度情報や履歴情報を用いることによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。また、本実施の形態においては、上記表示されている文書内に存在する文字列から探索を行う方法も有効である。
【０１２３】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。
【０１２４】
以上のごとく、本実施の形態においては、表示部２５に表示されている文書の一部を書き換え編集するに際して、表示された文字列に補完位置と補完文字数を指定するジェスチャを表すストロークを入力する。そして、ジェスチャ判定部２３によって、入力ストロークが正しいジェスチャであるか否かを判定し、ジェスチャである場合にはジェスチャによって指定される補完の対象となる文字列(補完対象文字列)を特定する。そして、候補生成部２４によって、ジェスチャ判定部２３で得られたジェスチャストロークに基づいて、上記特定された補完対象文字列に関する補完の位置と補完文字数条件との補完情報を生成する。さらに、辞書等を用いて上記補完情報の条件を満たすような補完文字列候補を生成して表示部２５に表示するようにしている。
【０１２５】
したがって、本実施の形態によれば、文書の一部を書き換える場合に書き換え用の文の入力を省略することができ、編集の労力を大幅に軽減することができるのである。
【０１２６】
その場合に、書き換えの対象文字列を指定するための補完対象文字列が補完文字列候補の先頭に在る場合は勿論のこと、補完文字列候補の中間や最後に存在する場合であっても、操作者が意図する補完文字列候補を精度よく生成することができる。さらに、複数の文字をジェスチャで指示することによって、補完文字列候補の数を大幅に絞り込むことができる。その結果、操作者が意図する補完文字列候補を精度よく提示させることができ、入力効率を向上することができるのである。
【０１２７】
尚、上述の説明においては、１種類のジェスチャを使用する場合を例に挙げているが、上記第１実施の形態において図２４に示したように、ジェスチャの種類毎に異なる補完文字列生成方法を適用するようにしてもよい。
【０１２８】
具体的には、
(ａ)一般単語辞書やユーザ辞書等の辞書毎にジェスチャを割り当てる
(ｂ)探索する単語の品詞毎にジェスチャを割り当てる
(ｃ)補完位置や補完文字数等の補完条件毎にジェスチャを割り当てる
等が考えられる。その場合、(ａ),(ｂ)の方法では、操作者が補完したい文字列の情報をジェスチャによってＣＰＵに伝えることができ、操作者の意図する補完文字列候補をより精度よく提示することが可能になる。また、(ｃ)の方法では、操作者はジェスチャと文字列との位置関係ではなく、ジェスチャの形状によって補完位置と補完文字数条件とを指定できるようになる。
【０１２９】
さらに、上述の説明においては、操作者が筆記入力を終了した後に直ぐ補完文字列候補が表示され、操作者はその表示候補から目的とする候補を選択するようにしている。しかしながら、この発明はこれに限定されるものではなく、候補選択を行っている時間がない場合に、筆記入力だけを行って、そのストローク情報を記憶部２２に記憶しておく。そして、時間がある場合に補完文字列候補選択を行うようにしてもよい。その場合には、記憶部２２を、手書き入力装置の電源がオフされても記憶内容が保持できる構成にする。そして、図２６に示す文字列補完処理動作のフローチャートにおいて、筆記入力時にはステップＳ43の入力終了までを行い、操作者が時間のあるときにステップＳ44のジェスチャ判定以降の処理を再開できるようにするための処理再開指示手段を別途設ければよい。
【０１３０】
また、上記筆記入力時にはステップＳ44のジェスチャ判定までの処理を行っておき、処理再開時にはステップＳ45のジェスチャの存在判別以降の処理を行うようにしてもよい。また、上記筆記入力時にはステップＳ46の補完情報の決定までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ47の補完文字列候補生成からステップＳ50の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。また、筆記入力時にはステップＳ47の補完文字列候補生成までの処理を全ジェスチャに対して行っておき、処理再開時にはステップＳ48の補完文字列候補の表示からステップＳ50の候補選択結果の表示までの処理を全ジェスチャに対して行うようにしてもよい。
【０１３１】
これらの手書き入力処理動作を二回に分けて実行する方法によれば、操作者が後で全ストロークデータを表示させた際に、補完を意図した文字列部分の識別が容易であり、ジェスチャの形状やサイズ等によってどのような文字列の補完を意図したのかも判別し易いという効果も得られる。
【０１３２】
＜第３実施の形態＞
本実施の形態は、手書きによって一部を省略した文字列を入力し、省略部分を補完した文字列候補を、ジェスチャを用いずに表示させるものに関する。
【０１３３】
図３４は、本実施の形態の手書き入力装置における機能的構成を示す機能ブロック図である。この手書き入力装置は簡単なコンピュータ上に構成され、入力部３１,記憶部３２,文字列認識部３３,候補生成部３４および表示部３５を含んで構成されている。
【０１３４】
上記入力部３１はタブレット等を含んで構成され、文字列が手書きで入力される。そして、入力部３１から手書き入力された文字列のストローク情報が記憶部３２に記憶される。文字列認識部３３は、記憶部３２に記憶されたストローク情報に基づいて、当該ストロークを文字列として認識する。候補生成部３４は、文字列認識部３３で認識された文字によって指定された文字列の補完文字列候補を生成する。表示部３５は、入力部３１から入力されたストローク,記憶部３２に記憶されたストローク,文字列認識部３３による認識結果および候補生成部３５で生成された補完文字列候補を表示する。
【０１３５】
ここで、上記ストロークとは、入力部３１を介して入力された座標情報あるいは点列データを指す。尚、入力部３１および表示部３５は、個別に設けても良いし、表示装置上に透明のタブレットを積層配置して成る表示一体型タブレットとして設けても差し支えない。
【０１３６】
また、図３４に示す手書き入力装置のハードウェア構成は、上記第１実施の形態において図２に示すハードウェア構成と同様である。
【０１３７】
以下、上記手書き入力装置における動作について説明する。図３５は、本実施の形態における入力例(図３５(a))および表示例(図３５(b))である。操作者は、「私はシャープの」の入力を意図して、図３５(a)に示すように「私はシの」と「シャープ」の部分を省略して「シ」のみを筆記している。この手書き入力文字列が文字列認識された結果、第１候補として図３５(b)に示すように文字列「私はシの」が得られたとする。その場合に、操作者は、入力部３１より文字「シ」の候補表示指示を行うことによって、図３５(c)に示すように文字「シ」の認識候補と共に、各候補を先頭文字とする補完文字列候補が表示部３５に表示される。そこで、入力部３１より文字「シ」の補完文字列候補「シャープ」を選択することによって、文字「シ」が補完文字列候補「シャープ」に置き換わって表示部３５に表示されるのである。ここで、文字列認識の結果、第１候補として文字列「私は三の」が得られた場合でも、文字「三」の候補表示指示を行うことによって、意図していた補完文字列候補「シャープ」を選択することが可能になるのである。
【０１３８】
図３６は、上記ＣＰＵによる制御の下に実行される第１候補文字列を表示するまでの手書き入力処理動作のフローチャートである。以下、図３６に従って、上記手書き入力処理動作について詳細に説明する。
【０１３９】
ステップＳ61で、操作者によって上記入力部３１が操作されて、手書き文字列のストロークが筆記入力される。ステップＳ62で、表示部３５によって、上記入力された手書き文字列のストロークがリアルタイムに表示される。さらに、記憶部３２によって、上記入力された手書き文字列のストローク情報が記憶される。ステップＳ63で、入力部３１からの情報に基づいて、手書き入力が終了したか否かが判別される。その結果、終了した場合にはステップＳ64に進む一方、終了でなければ上記ステップＳ61に戻って次の入力スロトークの処理に移行する。尚、手書き入力終了の判定方法は上記第１実施の形態の場合と同様である。
【０１４０】
ステップＳ64で、上記文字列認識部３３によって、記憶部３２に記憶されているストローク情報に基づいて文字列認識が行われる。ステップＳ65で、表示部３５によって、上記文字列認識の結果得られた第１候補文字列が表示される。そうした後、手書き入力処理動作を終了する。
【０１４１】
尚、上記手書き入力処理動作における上記ステップＳ64において実行される文字列認識処理を高速化するために、手書き入力中にも文字列認識処理を逐次行っておき、上記ステップＳ64においては最終的な文字列認識結果のみを生成するようにしても差し支えない。
【０１４２】
次に、上述したように、上記手書き入力処理動作によって表示部３５に表示されている第１候補文字列の全体または部分文字列の認識候補の補完文字列候補を生成して表示する補完文字列候補生成処理動作について図３７のフローチャートに従って説明する。上記表示されている第１候補文字列の全文字列または部分文字列が入力部３１によって指示されると、補完文字列候補生成処理動作がスタートする。
【０１４３】
ステップＳ71で、上記候補生成部３４によって、上記文字列認識部３３による認識結果の他候補リストが取得される。ステップＳ72で、候補生成部３４によって、上記取得されたリスト内の夫々の文字列を補完対象文字列として補完文字列候補が生成される。ステップＳ73で、表示部３５によって、図３５(c)に例示するように、認識候補と各認識候補の補完文字列候補とが表示される。そうした後に、補完文字列候補生成処理動作を終了する。
【０１４４】
その際に、上記補完文字列候補生成処理動作のステップＳ72において実行される補完文字列候補の生成には、上記第１,第２実施の形態の場合と同様の方法を適用することができる。
【０１４５】
以上のごとく、本実施の形態においては、手書きによって一部を省略した文字列を入力部３１から入力し、省略部を補完した文字列候補を表示部３５に表示させるに際して、入力された各ストロークを文字列認識部３３によって文字列として認識し、認識結果の第１候補文字列が表示部３５に表示される。そして、入力部３１によって上記第１候補文字列の全体または部分文字列が指定されると、候補生成部３４によって、上記指定された文字列に関する認識候補が取得され、各認識候補を含む補完文字列候補を生成するようにしている。
【０１４６】
すなわち、本実施の形態によれば、文字列認識部３３による認識結果の第１候補文字列が間違っている場合でも、認識間違いの修正と合わせて補完文字列の選択が可能となり、入力の効率向上を図ることができるのである。
【０１４７】
尚、図３５(c)においては、全認識候補の補完文字列候補を一括表示しているが、図３８(a)に示すように、入力部３１を構成するペン４１の先端が存在する何れか１つの認識候補が仮選択され、その仮選択された認識候補の補完文字列候補のみを表示するようにしてもよい。この場合、予め全認識候補の補完文字列候補を生成していてもよいし、何れか１つの認識候補が仮選択された時点で対応する補完文字列候補を生成するようにしてもよい。
【０１４８】
さらに、図３８(b)に示すように、各認識候補の表示領域４２内に補完文字列候補の表示を指示するための領域４３を設けて、操作者がペン(図示せず)でその領域４３を指示した場合に補完文字列候補の表示を行うようにしてもよい。この場合も、予め全認識候補の補完文字列候補を生成していてもよいし、補完文字列候補表示が指示された時点で対応する補完文字列候補を生成するようにしてもよい。
【０１４９】
尚、本実施の形態においても、上記補完文字列候補の生成の際に、以前の入力文字列履歴に基づいて生成することによって、操作者の意図する補完文字列をより精度よく提示することが可能になる。
【０１５０】
また、ワープロ等において用いられる仮名漢字変換または漢字仮名変換を用いて、補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完候補を生成する方法もある。この方法によれば、漢字と仮名が混じった補完対象文字列から漢字文字列の補完や仮名文字列の補完が可能になる。
【０１５１】
＜第４実施の形態＞
本実施の形態は、上記第１〜第３実施の形態において述べた各機能を実現するための手書き入力プログラムあるいは文字列補完プログラムが記録された記録媒体に関するものである。上記プログラムはコンピュータで読み取り可能な記録媒体に格納される。
【０１５２】
この記録媒体は、図２に示す手書き入力装置によって処理を行うために必要なメモリ、例えばプログラムメモリ１１のような自体がプログラムメディアであってもよいし、外部記憶媒体ドライバ１８としてのプログラム読み取り装置に装着されて読み取りが行われるプログラムメディア(磁気テープやＣＤ−ＲＯＭ等)であってもよい。何れの場合においても、上記プログラムメディアに格納されているプログラムは、ＣＰＵ１９によって直接アクセスされて実行される構成であってもよいし、一旦読み出されて図２における所定のプログラム記憶エリア(例えば、プログラムメモリ１１のプログラム記憶エリア)にロードされた後にＣＰＵ１９によって読み出して実行される構成であってもよい。尚、上記ロード用のプログラムは、予め当該装置に格納されているものとする。
【０１５３】
すなわち、上記プログラムメディアとは、装置本体と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フレキシブルディスク,ハードディスク等の磁気ディスクやＣＤ‐ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディスク),ＤＶＤ(ディジタル多用途ディスク)等の光ディスクのディスク系、ＩＣ(集積回路)カード(メモリカードを含む)や光カード等のカード系、マスクＲＯＭ,ＥＰＲＯＭ(紫外線消去型ＲＯＭ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体であればよい。
【０１５４】
また、上記各実施の形態における手書き入力装置は、インターネットを含む通信ネットワーク１５と通信Ｉ/Ｆ１６を介して接続可能な構成を有している。したがって、上記プログラムメディアは、通信ネットワーク１５からのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワーク１５からダウンロードするためのダウンロード用プログラムは、予め当該装置に格納されているものとする。あるいは、別の外部記録媒体から予め当該装置本体にインストールされるものとする。
【０１５５】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１５６】
また、上述した各実施の形態は全ての点において例示であって制限的なものではない。この発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内での全ての変更が含まれることが意図される。
【０１５７】
【発明の効果】
以上より明らかなように、この発明は、入力された各ストロークが入力文字列の補完を指示するためのジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完対象文字列ストローク群を特定し、上記ジェスチャ以外のストロークに基づいて文字列を認識し、上記補完対象文字列ストローク群に関する文字列認識結果に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔に基づいて補完位置を決定して、上記補完対象文字列および補完位置でなる補完情報を求め、この補完情報を満たす補完文字列候補を生成するので、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず中間や最後尾に存在する場合でも、操作者の意図する補完文字列候補を精度よく生成することができる。したがって、文や単語の途中であっても上記補完対象文字列を指定することが可能になる。さらに、上記ジェスチャによって複数の文字を指示することによって、生成される補完文字列候補の数を大幅に絞り込むことができる。
【０１５８】
すなわち、この発明によれば、操作者の意図する補完文字列候補を精度よく提示することが可能になり、手書き入力効率を大幅に向上することができる。
【０１５９】
また、この発明は、表示されている文書中の文字列の補完を指示するジェスチャが入力されると、当該ジェスチャによって特定される上記文書中の文字列情報に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔に基づいて補完位置を決定して、上記補完対象文字列および補完位置でなる補完情報を求め、この補完情報を満たす補完文字列候補を生成するので、上記文書中の文字列を書き換える場合には、書き換え用の文の入力を省略することが可能になる。したがって、上記文書の編集に要する労力を大幅に削減することができるのである。また、その際に、上記ジェスチャによって指示される補完対象文字列が、意図する補完文字列候補中における先頭に限らず最後尾に存在しても、操作者の意図する補完文字列候補を精度よく生成することができる。さらに、上記ジェスチャによって複数の補完対象文字列を指示することによって、生成される補完文字列候補の数を大幅に絞り込むことができる。
【０１６０】
すなわち、この発明によれば、操作者の意図する補完文字列候補を精度よく提示することが可能になり、手書き入力効率を大幅に向上することができる。
【図面の簡単な説明】
【図１】 この発明の手書き入力装置における機能ブロック図である。
【図２】 図１に示す手書き入力装置のハードウェア構成を示す図である。
【図３】 図２におけるＣＰＵによる制御の下に実行される手書き入力処理動作のフローチャートである。
【図４】 楕円状のジェスチャを示す図である。
【図５】 直線状のストロークからなるジェスチャを示す図である。
【図６】 楕円と直線とを繋いだ１ストロークからなるジェスチャを示す図である。
【図７】 楕円と直線とを組み合わせた複数ストロークからなるジェスチャを示す図である。
【図８】 文字列が縦配列や斜め配列である場合のジェスチャを示す図である。
【図９】 図３に示す手書き入力処理動作において実行されるジェスチャ判定処理動作のフローチャートである。
【図１０】 楕円状のジェスチャを用いた入力例を示す図である。
【図１１】 文字または文字の一部である丸とジェスチャである丸との書き分けを説明するための図である。
【図１２】 楕円状ジェスチャから閉図形を抽出するための説明図である。
【図１３】 文字または文字の一部である直線とジェスチャである直線との書き分けを説明するための図である。
【図１４】 文字または文字の一部である直線とジェスチャである直線との図１３とは異なる書き分けを説明するための図である。
【図１５】 文字または文字の一部である直線とジェスチャである直線との図１３および図１４とは異なる書き分けを説明するための図である。
【図１６】 直線状ジェスチャから閉図形を抽出するための説明図である。
【図１７】 複数行に亙って文字列が入力された場合における直線状ストロークの筆記例を示す図である。
【図１８】 楕円状のジェスチャを用いた場合における補完文字列候補生成の説明図である。
【図１９】 図３に示す手書き入力処理動作において実行される補完対象文字列,補完位置,補完文字数条件の決定処理動作のフローチャートである。
【図２０】 補完情報の一例を示す図である。
【図２１】 直線状のジェスチャを用いた場合の筆記例と生成される補完情報例とを示す図である。
【図２２】 図２０に示す補完情報に基づいて生成された補完文字列候補の一例を示す図である。
【図２３】 仮名漢字変換または漢字仮名変換を用いて生成された補完文字列候補の一例を示す図である。
【図２４】 ジェスチャの種類毎に異なる補完文字列生成方法を適用する場合の一例を示す図である。
【図２５】 図１とは異なる手書き入力装置の機能ブロック図である。
【図２６】 図２５に示す手書き入力装置による文字列補完処理動作のフローチャートである。
【図２７】 楕円状のジェスチャを示す図である。
【図２８】 直線状のストロークからなるジェスチャを示す図である。
【図２９】 折れ線状のジェスチャを示す図である。
【図３０】 楕円と直線とでなるジェスチャを示す図である。
【図３１】 補完対象文字列の特定方法の説明図である。
【図３２】 折れ線状のジェスチャを用いた場合における補完位置,補完文字数条件の決定の説明図である。
【図３３】 補完情報の一例を示す図である。
【図３４】 図１および図２５とは異なる手書き入力装置の機能ブロック図である。
【図３５】 図３４に示す手書き入力装置への入力例および表示例を示す図である。
【図３６】 図３４に示す手書き入力装置による第１候補文字列を得るまでの手書き入力処理動作のフローチャートである。
【図３７】 図３４における候補生成部によって実行される補完文字列候補生成処理動作のフローチャートである。
【図３８】 認識候補とその補完文字列候補との表示例を示す図である。
【符号の説明】
１,２１,３１…入力部、
２,２２,３２…記憶部、
３,２３…ジェスチャ判定部、
４,３３…文字列認識部、
５,２４,３４…候補生成部、
６,２５,３５…表示部、
１１…プログラムメモリ、
１２…データメモリ、
１３…入力装置、
１４…表示装置、
１５…通信ネットワーク、
１６…通信Ｉ/Ｆ、
１７…外部記録媒体、
１８…外部記憶媒体ドライバ、
１９…ＣＰＵ。

Claims (18)

1. 手書きによって文字列のストロークと上記文字列の補完を指示するジェスチャのストロークとが入力されるストローク入力手段と、
   上記ストローク入力手段から入力されたストロークの情報を記憶するストローク記憶手段と、
   上記ストローク記憶手段に記憶されている各ストロークが上記ジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完の対象となる補完対象文字列ストローク群を特定するジェスチャ判定手段と、
   上記ストローク記憶手段に記憶されている上記ジェスチャ以外のストロークを文字列として認識する文字列認識手段と、
   上記ジェスチャ判定手段によって判定されたジェスチャ毎に、上記補完対象文字列ストローク群に関する上記文字列認識手段による認識結果に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔に基づいて補完位置を決定して、上記補完対象文字列および補完位置でなる補完情報を求め、この補完情報を満たす補完文字列候補を生成する候補生成手段
   を備えたことを特徴とする手書き入力装置。
2. 文書を記憶する文書記憶手段と、
   上記文書記憶手段に記憶された文書を表示する表示手段と、
   上記表示手段に表示された文書中の文字列に対して、この文字列の補完を指示するジェスチャのストロークが、手書きによって入力されるジェスチャ入力手段と、
   上記ジェスチャ入力手段から入力されたジェスチャのストローク情報を記憶するジェスチャ記憶手段と、
   上記ジェスチャ記憶手段に記憶されたジェスチャ毎に、当該ジェスチャによって特定される上記文書中の文字列の情報に基づいて、補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔に基づいて補完位置を決定して、上記補完対象文字列および補完位置でなる補完情報を求め、この補完情報を満たす補完文字列候補を生成する候補生成手段
   を備えたことを特徴とする手書き入力装置。
3. 請求項１または請求項２に記載の手書き入力装置において、
   上記ジェスチャは複数の種類を有し、
   上記候補生成手段は、上記ジェスチャの種類毎に異なる生成方法によって上記補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
4. 請求項１に記載の手書き入力装置において、
   上記候補生成手段は、上記補完対象文字列および上記補完位置に加えて、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔と、手書き文字の標準サイズとに基づいて、上記各間隔に対する補完文字数を決定し、上記補完対象文字列,上記補完位置および上記補完文字数でなる補完情報を求める
   ようになっていることを特徴とする手書き入力装置。
5. 請求項２に記載の手書き入力装置において、
   上記候補生成手段は、上記補完対象文字列および上記補完位置に加えて、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔と、文字サイズとに基づいて、上記各間隔に対する補完文字数を決定し、上記補完対象文字列,上記補完位置および上記補完文字数でなる補完情報を求める
   ようになっていることを特徴とする手書き入力装置。
6. 請求項１乃至請求項５の何れか一つに記載の手書き入力装置において、
   上記ジェスチャは文字列を囲むストロークであることを特徴とする手書き入力装置。
7. 請求項１乃至請求項５の何れか一つに記載の手書き入力装置において、
   上記ジェスチャは文字列に沿った線状のストロークであることを特徴とする手書き入力装置。
8. 請求項１乃至請求項５の何れか一つに記載の手書き入力装置において、
   上記ジェスチャは文字列を囲むストロークと線状のストロークとの組み合わせであることを特徴とする手書き入力装置。
9. 請求項１乃至請求項５の何れか一つに記載の手書き入力装置において、
   上記ジェスチャは文字列に沿った折れ線状のストロークであることを特徴とする手書き入力装置。
10. 請求項１に記載の手書き入力装置において、
    上記文字列認識手段によって得られた認識結果の第１候補文字列を表示する表示手段と、
    上記表示された第１候補文字列における全文字列または部分文字列を指定する文字列指定手段と
    を備え、
    上記候補生成手段は、上記指定された上記第１候補文字列の文字列と、上記指定された文字列に関する認識結果の第２候補文字列以降の候補文字列のうち少なくとも一つの候補文字列とを、上記補完対象文字列として決定する
    ようになっていることを特徴とする手書き入力装置。
11. 請求項１乃至請求項１０の何れか一つに記載の手書き入力装置において、
    上記候補生成手段は、上記補完対象文字列を仮名漢字変換または漢字仮名変換して得られる文字列も補完対象文字列として補完文字列候補を生成するようになっていることを特徴とする手書き入力装置。
12. 請求項１乃至請求項１０の何れか一つに記載の手書き入力装置において、
    上記候補生成手段は、以前に入力された文字列の履歴に含まれる文字列を上記補完文字列候補として生成することを特徴とする手書き入力装置。
13. 請求項２に記載の手書き入力装置において、
    上記候補生成手段は、上記文書内に含まれる文字列を上記補完文字列候補として生成することを特徴とする手書き入力装置。
14. 手書きによって文字列のストロークと上記文字列の補完を指示するジェスチャのストロークとを入力するステップと、
    上記入力されたストロークの情報を記憶手段に記憶するステップと、
    上記記憶されている各ストロークが上記ジェスチャであるか否かを判定し、ジェスチャである場合には当該ジェスチャに基づいて補完の対象となる補完対象文字列ストローク群を特定するステップと、
    上記記憶されている上記ジェスチャ以外のストロークを文字列として認識するステップと、
    上記ジェスチャであると判定されたジェスチャ毎に、上記補完対象文字列ストローク群に関する文字列認識結果に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔および上記補完対象文字列を構成する各文字の間隔と、手書き文字の標準サイズとに基づいて、補完位置および補完文字数を決定して、上記補完対象文字列,上記補完位置および上記補完文字数でなる補完情報を求め、この補完情報を満たす補完文字列候補を生成するステップ
    を備えたことを特徴とする手書き入力方法。
15. 文書を記憶するステップと、
    上記記憶された文書を表示手段に表示するステップと、
    上記表示された文書中の文字列に対して、この文字列の補完を指示するジェスチャのストロークを手書きによって入力するステップと、
    上記ジェスチャのストローク情報を記憶手段に記憶するステップと、
    上記記憶されたジェスチャ毎に、当該ジェスチャによって特定される上記文書中の文字列の情報に基づいて補完対象文字列を決定すると共に、上記ジェスチャの外接矩形の前後端と上記補完対象文字列との間隔と、文字サイズとに基づいて、補完位置および補完文字数を決定して、上記補完対象文字列,上記補完位置および上記補完文字数でなる補完情報を求め、この補完情報を満たす補完文字列候補を生成するステップ
    を備えたことを特徴とする手書き入力方法。
16. コンピュータを、
    請求項１におけるストローク入力手段,ストローク記憶手段,ジェスチャ判定手段,文字列認識手段および候補生成手段
    として機能させることを特徴とする手書き入力プログラム。
17. コンピュータを、
    請求項２における文書記憶手段,表示手段,ジェスチャ入力手段,ジェスチャ記憶手段および候補生成手段
    として機能させることを特徴とする手書き入力プログラム。
18. 請求項１６あるいは請求項１７に記載の手書き入力プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。

Images