JP5642862B2 - 入力装置および入力方法 - Google Patents

Description

本発明は、タッチパネル搭載の電子機器に対して手書きにて文字入力を行う入力装置および入力方法に関するものである。

手書き文字入力が可能なタッチパネル搭載の電子機器に対して文字入力（オンライン文字入力）を行う場合、利用者はタッチパネル上に表示された手書き文字入力領域内に文字情報を記載し、電子機器が文字認識を行うことにより文字を入力する。文字入力領域は、文字の区切りを判断するために、1つの文字入力領域に1文字記入する方法が主流となっている。
電子機器によっては複数の文字入力領域を同時に表示し、複数の文字を逐次的に入力できるようになっている。また近年の文字認識技術の進歩に伴い、漢字や平仮名、カタカナ、記号や英数字をそれぞれ認識するためのモードを設けずに、全て同じ入力モードで入力された文字情報を認識可能な文字入力方法が登場している。さらに、文字入力中の利用者へのフィードバックとして、入力時の軌跡を筆跡として表示することが一般的である。
このような電子機器において、文字入力領域内に文字を記入している際、利用者が誤った文字を入力したことに気づき、修正するような場合は、文字入力領域とは別に用意されたタッチパネル上の消去ボタンなどを押下することにより、入力中の文字情報をクリアすることができる。

しかし、消去ボタンは文字入力領域とは別の場所に存在するので、消去ボタンによる入力情報の修正は、利用者の手の動く量が多くなり、利用者にとって煩わしい作業となってしまうと同時に、記入しているリズムが崩れてしまい利便性(ユーザビリティ)を著しく低
下させる一因となる。

特許文献１では文字入力の確定後に文字入力領域内でスクラッチアウト動作をすることにより、入力済み文字の消去などを実現することができる。しかしながら、文字情報の入力中に文字情報を消去することに関して、特許文献１には開示されていない。また、特許文献２では、特定のジェスチャ作業（(「×」を記入するなど)を文字入力領域に記載する
ことにより、同様の操作を実現しようとしている。しかし、特許文献２では、文字入力中に文字入力領域に記入された軌跡が、ジェスチャ操作なのが通常の文字情報なのかを検出するための具体的方法について開示がない。例えば、ジェスチャとして「×」を記入しても、記号文字としての「×」の入力なのか、ジェスチャ操作なのか区別がつかない。また、文字入力領域に記載したジェスチャ操作を筆跡と表示してしまう。

特開２００６-２６０５７３号公報 特開平１０−６３４０８号公報

従来の構成では、漢字や平仮名、カタカナ、記号や英数字を全て同じモードで文字情報を入力する場合、文字入力領域に文字情報を記入中に文字情報を消去するなど編集作業を行おうとしても、通常の文字情報とジェスチャ操作を区別できない。さらにジェスチャ操作入力時に筆跡として出力してしまう課題がある。

本発明は、上記課題を解決するもので、手書き文字入力時の入力文字の編集に関する利便性（ユーザビリティ）、特に操作性を向上させた入力装置および入力方法を提供することを目的とする。

本発明の入力装置は、手書きによる文字入力またはジェスチャ入力可能な入力手段と、 前記入力手段に入力された文字情報から文字を認識する文字認識手段と、前記入力手段に入力された入力情報を筆跡として表示する筆跡表示手段と、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するジェスチャ検出手段と、を備え、前記ジェスチャ検出手段がジェスチャ入力を検出した場合に、予め設定された機能を実行する。

本発明の入力装置は、手書きによる文字入力またはジェスチャ入力可能な入力手段と、 前記入力手段に入力された文字情報から文字を認識する文字認識手段と、前記入力手段に入力された入力情報を筆跡として表示する筆跡表示手段と、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するジェスチャ検出手段と、を備え、前記検出されたジェスチャ入力に対応する前記ベクトルの方向が前記入力手段上で略真横方向である場合は予め設定された機能を実行し、前記略真横方向でない場合は前記ベクトルの方向が前記略真横方向からのなす角が所定の範囲内である場合に前記予め設定された機能を実行する。

本発明の入力装置は、手書きによる文字入力またはジェスチャ入力可能な入力手段と、 前記入力手段に入力された文字情報から文字を認識する文字認識手段と、前記入力手段に入力された入力情報を筆跡として表示する筆跡表示手段と、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するジェスチャ検出手段と、を備え、前記検出されたジェスチャ入力に対応する前記ベクトルの方向が前記入力手段上で略真横方向である場合は予め設定された機能を実行し、前記入力ストロークの第一の座標と第二の座標間のベクトルの方向が前記略真横方向でない場合は前記ベクトルの方向が前記略真横方向からのなす角が所定値以上である場合に文字を認識可能である。

本発明の入力装置は、手書きによる文字入力またはジェスチャ入力可能な入力手段と、前記入力手段に入力された文字情報から文字を認識する文字認識手段と、前記入力手段に入力された入力情報を筆跡として表示する筆跡表示手段と、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するジェスチャ検出手段と、を備え、前記検出されたジェスチャ入力に対応する前記ベクトルの方向が前記入力手段上で略真左方向である場合は予め設定された機能を実行し、前記略真左方向でない場合は前記ベクトルの方向が前記略真左方向からのなす角が所定の範囲内である場合に前記予め設定された機能を実行する。

本発明の入力装置は、手書きによる文字入力またはジェスチャ入力可能な入力手段と、 前記入力手段に入力された文字情報から文字を認識する文字認識手段と、前記入力手段に入力された入力情報を筆跡として表示する筆跡表示手段と、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するジェスチャ検出手段と、を備え、前記検出されたジェスチャ入力に対応する前記ベクトルの方向が前記入力手段上で略真左方向である場合は予め設定された機能を実行し、前記入力ストロークの第一の座標と第二の座標間のベクトルの方向が前記略真左方向でない場合は前記ベクトルの方向が前記略真左方向からのなす角が所定値以上である場合に文字を認識可能である。

本発明の入力装置の一態様は、例えば、前記入力手段に入力された情報の各ストロークの第一の座標と第二の座標間のベクトル方向を学習するベクトル学習手段を備え、前記ベクトル学習手段に蓄積されたベクトル方向が、前記ジェスチャ検出手段がジェスチャ検出するためのベクトル方向と、一定の割合以上一致する場合に、前記ジェスチャ検出手段はジェスチャ検出するためのベクトル方向を変更してジェスチャを検出する。

本発明の入力装置の一態様は、例えば、前記ジェスチャ検出手段がジェスチャ入力を検出した場合に、前記筆跡表示手段はジェスチャとして入力された入力情報を筆跡として表示しないか、又は、通常とは異なる筆跡を表示するか、いずれかを行う。

本発明の入力装置の一態様は、例えば、前記ジェスチャ検出手段がジェスチャ入力を検出した場合に、入力中の文字情報に対する消去を行う。

本発明の入力装置の一態様は、例えば、前記筆跡表示手段が、前記ジェスチャ検出手段がジェスチャを検出した場合、ジェスチャ検出手段が算出したベクトルの方向に、筆跡を移動させながら表示する。

本発明の入力方法は、手書きによる文字入力またはジェスチャ入力を入力可能な入力手段に入力された文字情報より文字を認識するステップと、前記入力手段に入力された入力情報を筆跡として表示手段に表示するステップと、前記入力手段へ入力中の情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するステップと、前記ジェスチャ入力を検出した場合に、予め設定された機能を実行するステップと、を備える。

本発明の入力方法は、手書きによる文字入力またはジェスチャ入力を入力可能な入力手段に入力された文字情報より文字を認識するステップと、前記入力手段に入力された入力情報を筆跡として表示手段に表示するステップと、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するステップと、前記検出されたジェスチャ入力に対応する前記ベクトルの方向が前記入力手段上で略真横方向である場合は予め設定された機能を実行し、前記略真横方向でない場合は前記ベクトルの方向が前記略真横方向からのなす角が所定の範囲内である場合に前記予め設定された機能を実行するステップと、を備える。

本発明の入力方法は、手書きによる文字入力またはジェスチャ入力を入力可能な入力手段に入力された文字情報より文字を認識するステップと、前記入力手段に入力された入力情報を筆跡として表示手段に表示するステップと、前記入力手段へ入力中の入力情報のうち、入力ストロークの第一の座標と第二の座標間のベクトルの方向によりジェスチャ入力を検出するステップと、前記検出されたジェスチャ入力に対応する前記ベクトルの方向が前記入力手段上で略真横方向である場合は予め設定された機能を実行し、前記入力ストロークの第一の座標と第二の座標間のベクトルの方向が前記略真横方向でない場合は前記ベクトルの方向が前記略真横方向からのなす角が所定値以上である場合に文字を認識するステップと、を備える。

以上のように、本発明の入力装置および入力方法によれば、漢字や平仮名、記号や英数字を全て同じモードで文字情報を入力する場合、予め設定された機能を行うことができる。例えば、文字入力領域に文字情報を記入中に文字情報を消去する、文字種を変更する、大文字小文字を変更する、入力確定を行う、かな漢字変換を開始するなど、編集作業を行うことができる。また、ジェスチャ操作入力時は筆跡を表示しない、別の筆跡を表示するなど、通常とは異なる筆跡の表示を行うことができる。またさらに学習機能を有することにより、利用者の文字記入特徴に応じてジェスチャ入力の判断方法を切替えることができる。

従って、文字入力時の入力文字の編集に関する利便性（ユーザビリティ）、特に操作性を向上させた入力装置および入力方法を提供することができる。

本発明の実施の形態に係る構成を示すブロック図 本発明の実施の形態に係る動作を示すフロー図 本発明の実施の形態に係る指による文字情報入力手段への文字情報の入例を示す図 本発明の実施の形態に係るベクトル方向によるジェスチャ入力判断例を示す図 本発明の実施の形態に係る入力位置によるジェスチャ入力判断例を示す図 本発明の実施の形態に係るジェスチャ入力時の筆跡消去例を示す図

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態に係るブロック構成を示す。図２は本発明の実施の形態に係る動作を示すフロー図を示す。図３は本発明の実施の形態に係る指による文字情報入力手段への文字情報の入例を示す。図４は本発明の実施の形態に係るベクトル方向によるジェスチャ入力判断例を示す。図５は本発明の実施の形態に係る入力位置によるジェスチャ入力判断例を示す。図６は本発明の実施の形態に係るジェスチャ入力時の筆跡消去例を示す。

文字情報入力手段１０１は利用者が手書きにより文字情報を入力するための手段である。文字情報は、文字入力領域における座標情報であり、各座標の入力された時間情報を含んでいる。筆跡表示手段１０２は文字情報入力手段１０１に入力された文字情報を筆跡として表示する。ジェスチャ検出手段１０３は文字情報入力手段１０１に入力された文字情報からジェスチャを検出する。文字認識手段１０４は文字情報入力手段１０１に入力された文字情報から文字認識を行う。ベクトル学習手段１０５は文字情報入力手段に入力された文字情報のストローク毎のベクトル方向を学習する。

文字情報入力手段１０１はタッチパネルディスプレイなどの利用者が指やスタイラスを用いて電子機器に対して情報を入力するため手段である。利用者は文字情報入力手段１０１に文字情報を入力する。文字情報入力手段１０１は入力された情報に基づきタッチパネルディスプレイ上の座標情報を時系列に取得する（ステップＳ２０１）。また、各座標を取得した時間を保持する。このとき文字情報入力手段１０１は、ペンアップ(ストロークの開始点)とペンダウン(ストロークの終了点)の情報によるストローク情報も含めて座標情報として入力情報を取得する。図３では指により文字情報入力手段１０１に文字情報を入力する場合の例を示している。なお、スタイラスなど指以外の入力手段により文字情報が入力される場合でも同様である。

また文字情報入力手段１０１は、入力された文字情報を逐次的にジェスチャ検出手段１０３に送信する。

ジェスチャ検出手段１０３は、文字情報入力手段１０１から受信した文字情報に基づきジェスチャの検出を行う（ステップＳ２０２）。ジェスチャ検出手段１０３は、入力情報の各ストロークの第一の座標と第二の座標のベクトル方向から、ジェスチャなのか通常の文字入力なのかを検出する。図４では、文字情報入力手段１０１から受信した座標データの一部を記載している。隣接する特定の座標点を第一の座標(Ｘ１,Ｙ１)と第二の座標（Ｘ２、Ｙ２）、第一の座標より第二の座標のタイムスタンプが新しいとし、第一の座標を原点とした第二の座標へのベクトルを算出する。このベクトルの方向が特定の方向であれば、その文字情報はジェスチャであると判断する。
ステップＳ２０２におけるジェスチャ検出の方法について、詳細について説明する。
日本語向けの入力の場合、ジェスチャと判断するベクトルの方向は、第一の座標に対して真左が最適である。これは日本語向けの文字入力では、左方向にストロークを記載する文字が存在しないため、ジェスチャの判断と通常の文字入力との区別には最適である。日本語以外での言語入力時はこの限りではないので、適用する言語によって、このベクトルの方向は適宜変更すればよい。

また、記入時の入力揺れなどの問題により、利用者が第二の座標を第一の座標の真左に正確に入力することは難しい。例えば、真左にジェスチャ入力をした場合でも、入力情報が（Ｘ２´,Ｙ２´）や（Ｘ２´´,Ｙ２´´)の座標となり得る。この問題を解決するため、真左方向に対して角度θの範囲内に第二の座標が存在するのであれば、ジェスチャ入力と判断してもよい。

これらを併せて数式で表記すると、θ= tan-1 (Ｙ２-Ｙ１)/（Ｘ２−Ｘ１）となり、-π/4 < θ < π/4を満たす場合は、ジェスチャとして判断することができる。なお、-π/4、π/4は入力揺れ許容値の一例であり、チューニングなどにより値を変更することもできる。

また、ここでは左方向のストロークをジェスチャと判断しているが、左手により文字を記入するような左利きの利用者は、通常の筆順と異なり、稀に左方向のストロークにより文字を入力する場合がある。例えば、漢数字の「一」を右から左へ記入するなどである。この場合を考慮して、ベクトル学習手段１０５はジェスチャと判断されなかった文字入力情報をジェスチャ検出手段１０３から受け取る。そして、第一の座標と第二の座標のベクトル方向を蓄積し、左方向のベクトルが一定数以上になれば、通常文字の記入時に左方向へストロークを記入する利用者であると判断し、ベクトル学習手段１０５は、ジェスチャ検出手段１０３にその旨を通知する。通知を受けたジェスチャ検出手段１０３は上述のジェスチャ検出するためのθの条件を調整する。つまり、右方向のストロークをジェスチャと判断する。これにより、記入する利用者の特性に応じてジェスチャ検出を行うことができる。なお、ここでは通常の文字記入中の入力情報を学習する実施例を記載しているが、事前に利用者の文字特徴を学習するためのモードを設けて、そのモード内においてベクトル学習手段１０５がベクトル方法を学習し、ジェスチャ検出手段１０３がジェスチャを検出するベクトル方向を決定することも可能である。

またステップＳ２０２におけるジェスチャ検出の別の方法として、文字情報の入力速度によりジェスチャか通常の文字入力かを判断することができる。ジェスチャ検出手段１０３は第一の座標から第二の座標への入力速度を算出し、ある一定の速度以上の入力速度であった場合に、ジェスチャを検出する。これにより、ジェスチャを入力する場合、利用者は文字記入時より素早く入力するだけで、ジェスチャを入力することができる。

さらにステップＳ２０２におけるジェスチャ検出の別の方法として、各ストロークは複数の座標からなるが、この複数の座標のうち、最初に入力された一番目の座標が文字情報入力手段１０１の特定の領域に存在していれば、ジェスチャとして判断することができる。あるストロークの１番目の座標が、文字情報入力手段１０１の右半分の中央近辺の領域に存在していればジェスチャ入力と判断する（図５参照）。
この場合、日本語向けの入力では右半分の中央部からストロークを開始する文字がないため、ジェスチャ入力か、通常の文字入力かの判断ができる。文字情報入力手段１０１のどの位置に１番目の座標が存在していたらジェスチャと判断するかは、入力する言語により変更することもできる。さらにここでは1番目の座標のみの位置を例に取り説明したが、各ストロークの複数の座標のうち、一定数以上の座標が特定の位置に存在した場合にはジェスチャと判断する、などの応用も可能である。

ベクトル方向、記入速度、座標の位置によるジェスチャの判断方法をそれぞれ説明したが、これらの方法を組合せることにより、ジェスチャの判断を行ってもよい。
またさらに、ベクトル方向、記入速度によるジェスチャの判断方法では、あるストロークのできるだけ早い座標（例えば一番目と二番目の座標）を対象に、ジェスチャの判断を行う方が良い。後述する筆跡表示手段１０２においてジェスチャ入力時は筆跡を表示させないことを実現するためである。ジェスチャなのか通常の文字記入なのか判断するまで筆跡を表示することができないため、この判断をできるだけ早く行う方が、筆跡表示のフィードバック遅延を少なくすることができる。

ジェスチャ検出手段１０３がジェスチャでないと判断した場合は、入力文字情報をそのまま筆跡表示手段１０２へ通知し、筆跡表示手段１０２は入力文字情報に従って筆跡を表示する（ステップＳ２０３）。またジェスチャ検出手段１０３は文字認識手段１０４に入力文字情報を通知し、文字認識手段１０４は入力文字情報に従って文字認識を行う（ステップＳ２０４）。

一方、ジェスチャ検出手段１０３がジェスチャを検出した場合、入力中の文字を消去する場合を例にとって説明する。ジェスチャ検出手段１０３は筆跡表示手段１０２、と文字認識手段１０４に対して、ジェスチャが入力されたことをそれぞれ通知する。通知を受けた筆跡表示手段１０２は、現在表示している筆跡を消去する。文字認識手段１０４は、既に入力されている入力文字情報をクリアし、次の文字入力が可能となる。（ステップＳ２０５）
なお、筆跡表示手段１０２が表示している筆跡を消去するとき、ジェスチャ検出手段１０３からベクトル方向を取得し、表示している筆跡をそのベクトルの方向にずらしながら表示し、消去することもでき、利用者のジェスチャ動作とリンクする形で文字を消去できるため直感的な操作となる。図６では「パ」の文字を左方向に消去する例を示している。

ここでは、ジェスチャ検出時の動作として、入力中の文字消去を例に取り説明したが、消去以外に、入力中の文字の文字種の変更、例えば「O」を「Ｏ」に変更する、や半角全角の切替え、大文字小文字の切り替え、といった入力中の文字に対する任意の制御を実施することができる。入力中の文字の確定やカナ漢字変換の実行などの契機とすることもでき、別途用意された確定キーや変換キーを押下することなく、文字情報入力手段１０１中へのジェスチャ入力により制御を行うことができ、利用者の利便性（ユーザビリティ）が向上する。

この構成により、漢字や平仮名、カタカナ、記号や英数字を全て同じモードで文字情報を入力する場合、文字入力領域に文字情報を記入中に文字情報を消去する、文字種を変更する、大文字小文字を変更する、確定を行う、かな漢字変換を開始するなど、編集作業を行うことができる。また、ジェスチャ操作入力時は筆跡を表示しない、別の筆跡を表示するなど、通常とは異なる筆跡の表示を行うことができる。さらに学習機能を有することにより、利用者の文字記入特徴に応じてジェスチャ入力の判断方法を切替えることができる。

従って、手書き文字入力時の入力文字の編集に関する利便性（ユーザビリティ）、特に操作性を向上させた手書き文字入力装置を提供することができる。

本発明にかかる入力装置および入力方法は、手書き文字入力時の利便性（ユーザビリティ）、特に操作性を向上させることができる。

１０１ 文字情報入力手段
１０２ 筆跡表示手段
１０３ ジェスチャ検出手段
１０４ 文字認識手段
１０５ ベクトル学習手段

Claims (2)

1. 手書きによる文字入力またはジェスチャ入力を共通の所定座標領域内に入力可能な入力手段と、
   前記入力手段に入力された文字情報から文字を認識する文字認識手段と、
   前記入力手段に入力された入力情報を筆跡として表示する筆跡表示手段と、
   前記入力手段へ入力中の入力情報のうち、入力ストローク内の最初に入力された座標が前記入力手段の前記所定座標領域内の特定の一部の領域内であった場合にジェスチャ入力を検出することが可能なジェスチャ検出手段と、を備え、
   前記検出されたジェスチャに対応する入力ストロークの第一の座標と第二の座標間のベクトルの方向が前記入力手段上で略真左方向である場合は予め設定された機能を実行し、前記入力ストロークの第一の座標と第二の座標間のベクトルの方向が前記略真左方向でない場合は前記ベクトルの方向が前記略真左方向からのなす角が所定値以上である場合に前記入力ストロークを所定の文字として認識する入力装置であって、
   当該入力装置はさらに、
   前記入力手段に入力された情報の各ストロークの第一の座標と第二の座標間のベクトル方向を学習するベクトル学習手段を備え、
   前記ベクトル学習手段に蓄積されたベクトルの方向が、前記ジェスチャ検出手段がジェスチャ検出するためのベクトルの方向と、一定の割合以上一致する場合に、前記ジェスチャ検出手段はジェスチャ検出するためのベクトルの方向を変更してジェスチャを検出する入力装置。
2. 前記筆跡表示手段は、前記ジェスチャ検出手段がジェスチャ入力を検出した場合、ジェスチャ検出手段が算出したベクトルの方向に、筆跡を移動させながら表示する、請求項１に記載の入力装置。

Images