JP4287250B2 - ジェスチャー処理装置およびジェスチャー処理方法 - Google Patents

Description

本発明は、タブレット等の座標入力装置を介して入力される座標情報を処理するコンピューターや携帯情報端末、ワードプロセッサ等の情報処理装置に用いられるジェスチャ−処理に関する。

タブレット等の座標入力装置から得られる情報処理装置において、ユーザは特殊な形状を持つ筆跡（ジェスチャー）を入力することで、情報処理装置に対する操作を指示することがある。通常、ジェスチャーの形状を文字とは異なる形状に定めることで、文字とジェスチャーの区別ができるようしている。ジェスチャーで操作するために、例えば手書きの丸印の中にジェスチャーを記入し、このジェスチャーを各座標点の方向ベクトルを求めて、この方向ベクトルのパターンからジェスチャーを判定するようなことがなされていた。（例えば、特許文献１を参照）

また、タブレットにより筆記し文字列について文字認識をする際、文字列の一部を省略して筆記した文字列の後に横線をジェスチャー記号として筆記して、入力したい文字列全体が認識される方法もあった。（例えば、特許文献２を参照）

特公平５−８４５４０号公報（第６図） 特開平７−２５４０５０号公報（［００２７］［００２８］、図３）

しかし、上述したタブレット等による入力では、文字と類似した形状のジェスチャーを用いることがある。例えば、図１（ａ）のように改行を意味するジェスチャーを割り当てることがある（矢印が終点部を表す）。また、図１（ｂ）のように省略した文字列の認識を意味するジェスチャーを割り当てることがある。英語の場合、図１（ａ）の形状に類似した文字はないため問題はないのだが、日本語の場合、かぎ括弧“」”と形が類似しているため、形状から改行ジェスチャーなのかかぎ括弧なのかを判別するのは困難になってしまう。図１（ｂ）の場合は、“＿”（下線）、“−”（ハイフン）等と形状が類似してしまう。更に、改行ジェスチャーは、かぎ括弧“」”と類似した形状であるが、出版や印刷時の校正記号に由来する形状であるため、別の形状を充てることはしにくく、仮に別の形状を充てたとしても、ジェスチャーによる操作指示をするユーザの負担が高くなってしまうといった問題がある。

本発明は、上記問題を鑑みてなされたものであり、ジェスチャーと類似した形状を持つ文字が存在するような、判定が困難な形状を持つジェスチャーに対して正確に判定することができるジェスチャー処理装置及びジェスチャー処理方法を提供することを目的とする。

本発明は、上記課題を解決するために、 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段とを具備することを特徴とする。

また、 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークとそれ以外のストロークとの大小関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段と、最新のストロークとそれまでのストロークとの位置関係からそれまでのストロークの中からジェスチャーに対応する操作の対象を選択するジェスチャー対象選択手段とを具備することを特徴とする。

さらに、前記座標抽出手段から出力されるストロークを記憶するストローク記憶手段を具備し、前記ジェスチャー判定部でジェスチャーと判定された場合、前記ストローク記憶手段からジェスチャーに該当するストロークを削除することを特徴とする。

本発明によれば、ジェスチャー判定したいストロークの形状だけではなく、他のストロークとの位置関係あるいは大小関係をジェスチャー判定条件に加えることにより、ストロークの形状だけからは判定するのが困難だった類似する形状を持つ文字とジェスチャーを区別して、正確に筆記による文字入力をすることができる。

以下に本発明の実施形態の詳細について図面を用いて説明する。

図２は、本発明の一実施例の構成を示す図である。図２に示したジェスチャー処理装置は、座標入力部１１、座標抽出部１２、ジェスチャー判定部１３、ジェスチャー処理部１４、ストローク記憶部１５、ジェスチャーＤＢ１６から構成される。このジェスチャー処理装置の動作について、図３に示したフローチャートを用いて説明する。

座標入力部１１から得られる座標は（X(1),Y(1)）、...、（X(a),Y(a)）、（X(a+1),Y(a+1)）、.... （X(b),Y(b)）、（X(b+1),Y(b+1)）、...、（X(i),Y(i)）、... （X(N),Y(N)）という２次元座標の時系列として座標抽出部に出力される。

座標抽出部１２では、座標入力部１１から得られる座標情報を時間的に連続するものを１つのストロークとしてまとめ、１ストロークごとに出力する（Ｓ１１）。
ストローク１：（X(1),Y(1)）、...、（X(a),Y(a)）
ストローク２：（X(a+1),Y(a+1)）、...、（X(b),Y(b)）
...
ストロークｉ；...、（X(i),Y(i)）
...
ストロークＮ：...、（X(N),Y(N)）
となる。
ジェスチャー判定部１３は、図４に示すように形状判定処理１３１、位置判定処理１３２、およびジェスチャー判定処理１３３から構成され、ストローク記憶部１５から最新のストロークＮとそれまでのストローク…,N-2,N-1に関する情報を用いてジェスチャーＤＢ１６内の判定条件に基づいて、ジェスチャーの種類（ジェスチャーではないという判定を含む）を判定して出力する。ジェスチャー判定部１３でジェスチャーと判定されたストロークについては、ストローク記録部から削除される。

形状判定処理１３１の処理は、例えばストロークの各座標点の方向ベクトルを求めて、この方向ベクトルのパターンからジェスチャーを判定する（Ｓ１２）。このとき各ジェスチャーは図５の方向パターンで表記される。方向パターンの数字は、図６の方向、”Ｅ”は終了を意味する。ジェスチャーＤＢ１６内の判定条件に基づいてジェスチャーでないと判定された場合には、次のストロークのについて形状判定処理を行う（Ｓ１７、Ｓ１８）。

図７のようにジェスチャー番号１と判定された場合には、図７中の位置判定条件があるので、位置判定処理を行う。また、ジェスチャー番号２と判定された場合には、図７中の位置判定条件に「必要なし」と書かれているので、形状判定だけで判断されるジェスチャーであり、ジェスチャー判定が終了する（Ｓ１３、Ｓ１４）。通常は、類似した形状の文字が存在しないジェスチャーが「必要なし」となる。

位置判定処理１３２の処理は、一例として、ジェスチャー１では以下の方法で判定を行うことができる。それまでにストローク記録部１５に記憶されたストロークが、1,2,...,n-1,nとする（時間順に並んでいる）。

このとき、ジェスチャー判定したいストロークがｎ、それ以外のストロークが...n-2,n-1となる。ストロークi(i=1,2,..,n)の座標は、
（Ｘ(i,1),Y(i,1)）, （Ｘ(i,2),Y(i,2)）,..., （Ｘ(i,N(i)),Y(i,N(i))）
とする。ただし、N(i)は、ストロークiの座標の点数とする。
さらに、ストローク１からn-1までの座標で、ｘ、ｙ座標が最大になる座標値をそれぞれ
Xmax(1〜n-1), Ymax(1〜n-1)
とする。このときに、ストロークｎの始点 (X(n,1),Y(n,1))と終点(X(n,N(n)),Y(n,Y(n)))が以下を満たすときに、「それまでの筆跡の下側を通る」という条件を満たすと判定する。

X(n,1)> Xmax(1〜n-1)でありY(n,1)< Ymax(1〜n-1)である（始点に関する条件）。
かつ X(n,N(n))< Xmax(1〜n-1)でありY(n,Y(n)))> Ymax(1〜n-1)である（終点に関する条件）。
この判定条件を図にすると図８のようになる。つまり、それまでのストローク１〜ｎ−１の外接四角形の座標値が最大となる座標よりも外側にストロークｎがあると、ジェスチャーと判定される（Ｓ１５、１６）。このように、図７中の形状判定条件と位置判定条件は、わかりやすいように図で表しているが、実際には式で判定を行っている。

ジェスチャー処理部１４は、ジェスチャー判定部１３からのストロークがジェスチャーと判定された場合に、判定されたジェスチャーに対応するコマンドを実行する。ジェスチャー処理部１４では、図７のようにジェスチャー番号１と判定された場合には、それまでの筆跡に対して、文字認識処理を行い、ストローク記憶部の情報をすべて削除する。また、ジェスチャー番号２と判定された場合には、空白記号（“ ”）が出力される。

このように、本実施例によれば、ストロークの形状だけからは判定するのが困難だった類似する形状を持つ文字とジェスチャーを区別でき、ジェスチャーによる操作指示を実行することができる。

本発明の他の実施例について図９〜図１２を用いて説明する。図９は本発明の他の実施例の構成を示す図である。前述した図２で示した同じ構成について同じ番号を付して説明は省略する。図９に示したジェスチャー処理装置は、座標入力部１１、座標抽出部１２、ジェスチャー判定部１３、ストローク記憶部１５、ジェスチャー対象選択部１７から構成される。

例えば、図１（ｂ）に示したストロークを省略した文字列の認識を操作指示するジェスチャー（予測ジェスチャー）とすることがある。図１０（ａ）に示したように文字列をすべて筆記する代わりに、図１０（ｂ）に示すような文字列を入力することで、「コン」に続く文字を予測して「コンピューター」に変換してくれる機能である。ところが筆跡の形状や位置関係だけを見ると文字列「コン＿」と区別することが困難である。そこで、それまでのストロークと最後のストロークの大小関係を用いて区別を行う。ストローク番号１からn-1までのストロークの外接四角形のｙ方向のサイズをDy(1〜n-1)とし、最後のストロークの横幅をDx(n)とする。

この後、上記２つの値を使ってジェスチャーの判定を行う（図１０（ｃ））。
Dy(1〜n-1)×K< Dx(n)
Kはアンダーライン「＿」や横棒「−」を予測ジェスチャーと誤判定しないためのマージンであり、通常は例えば１．５程度に設定する。図１１に示したように、大小判定を行う場合のジェスチャー判定部の構成は、図４の位置判定処理１３２が大小判定処理に置き換わった構成となる。

さらに、予測ジェスチャーの判定条件に位置関係を加えても良い。
例えば、
Xmax(1〜n-1)< X(n,N(n)) かつ(Ymin(1〜n-1)+ Ymax(1〜n-1))/2< Y(n,1)
という位置関係の判定条件を加える。これは、予測ジェスチャー（の始点）がそれまでのストロークよりも右側にあり、かつ下半分にあるという条件を意味する（図１０（ｄ））。

また、ジェスチャー対象選択部１７により書かれた筆跡のうちどの部分について予測を行うか（予測の対象）を予測ジェスチャーで指定することもできる。その場合、以下のように、予測の対象部分となる筆跡の下側を通るように予測ジェスチャーを書くように定める。図１０（ｅ）では、筆跡「とコン」のうち「コン」に続く文字列の予測を意味する。

このときのジェスチャー対象選択部１７の動作を図１２のフローチャートを用いて説明する。図１２のフローチャートに従って、ストローク番号１からn-1のストロークの中から予測の対象を選択する（Ｓ２１）。

まずは、予測対象集合Ωを空にして、予測対象の選択を始める（Ｓ２２）。
ストローク番号iの最大値及び最小値を
Xmin(i),Ymin(i),Xmax(i),Ymax(i)
とする。予測ジェスチャーはストローク番号ｎである。
Xmin(n)≦Xmin(i) かつ
Xmax(i)≦Xmax(n) かつ
Ymax(i)＜Ymin(n)
を満たすストローク番号iを予測対象とする（Ｓ２３）。
予測対象の条件と一致するストロークを予測対象集合Ωに追加（Ｓ２４）して、次のストロークについて予測対象選択をする（Ｓ２５）。予測ジェスチャーのストローク番号の１つ前まで予測対象を選択すると、ジェスチャー対象選択部の処理を終了する（Ｓ２６）。

このように、本発明の他の実施例では、ストロークの形状だけからは判定するのが困難だった類似する形状を持つ文字とジェスチャーを区別し、筆記する文字列全体を筆記することなく省略した予測ジェスチャーを判定することができるので、タブレット等の筆記による文字入力の煩わしさを軽減することができる。

筆記されたジェスチャーを示す図。 本発明の一実施例に係るジェスチャー装置の構成を示すブロック図。 本発明の一実施例に係るジェスチャー装置の動作を示すフローチャート。 ジェスチャー判定部の詳細を示すブロック図。 形状判定処理結果を示す図。 方向パターンの基準を示す図。 ジェスチャーＤＢの内容の一例を示す図。 位置判定処理を説明する図。 本発明の他の実施例に係るジェスチャー装置の構成を示すブロック図。 予測ジェスチャーの判定について説明する図。 ジェスチャー判定部の詳細を示すブロック図。 予測対象選択部の動作を示すフローチャート。

符号の説明

１１・・・座標入力部
１２・・・座標抽出部
１３・・・ジェスチャー判定部
１４・・・ジェスチャー処理部
１５・・・ストローク記憶部
１６・・・ジェスチャーＤＢ
１７・・・ジェスチャー対象選択部
１３１・・・形状判定処理
１３２・・・位置判定処理
１３３・・・ジェスチャー判定処理
１３４・・・大小判定処理

Claims (9)

1. 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段とを具備することを特徴とするジェスチャー処理装置。
2. 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれ以外のストロークとの大小関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段とを具備することを特徴とするジェスチャー処理装置。
3. 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークとそれ以外のストロークとの大小関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段とを具備することを特徴とするジェスチャー処理装置。
4. 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段と、最新のストロークとそれまでのストロークとの位置関係からそれまでのストロークの中からジェスチャーに対応する操作の対象を選択するジェスチャー対象選択手段とを具備することを特徴とするジェスチャー処理装置。
5. 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれ以外のストロークとの大小関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段と、最新のストロークとそれまでのストロークとの位置関係から、それまでのストロークの中からジェスチャーに対応する操作の対象を選択するジェスチャー対象選択手段とを具備することを特徴とするジェスチャー処理装置
6. 入力された座標から座標が連続するストロークを出力する座標抽出手段と、前記座標抽出手段から出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークとそれ以外のストロークとの大小関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うジェスチャー判定手段と、最新のストロークとそれまでのストロークとの位置関係からそれまでのストロークの中からジェスチャーに対応する操作の対象を選択するジェスチャー対象選択手段とを具備することを特徴とするジェスチャー処理装置。
7. 前記座標抽出手段から出力されるストロークを記憶するストローク記憶手段を具備し、前記ジェスチャー判定部でジェスチャーと判定された場合、前記ストローク記憶手段からジェスチャーに該当するストロークを削除することを特徴とする請求項１乃至請求項６記載のジェスチャー処理装置。
8. 入力された座標から座標が連続するストロークを出力するステップと、このステップから出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うステップとを有することを特徴とするジェスチャー処理方法。
9. 入力された座標から座標が連続するストロークを出力するステップと、このステップから出力される複数のストロークに対して、最新のストロークとそれまでのストロークとの位置関係と、最新のストロークとそれ以外のストロークとの大小関係と、最新のストロークの形状とに基づいて、最新のストロークに対してジェスチャーの種類の判定を行うステップと、最新のストロークとそれまでのストロークとの位置関係からそれまでのストロークの中からジェスチャーに対応する操作の対象を選択するステップとを有することを特徴とするジェスチャー処理方法。

Images