JP5855794B1 - 動作入力システム、動作入力方法およびプログラム - Google Patents

Abstract

ユーザが登録を希望する図形を登録することにより不都合が生じることを防ぐこと図形入力装置は、ユーザが入力する図形を示す登録図形データと、当該図形に関連づけられる関連情報とを取得し、前記登録図形データと辞書に登録されている複数の図形データのうちいずれかとの類似度を算出し、前記算出された類似度に基づいて、前記入力された図形と前記いずれかの図形データが示す図形とが類似するか否か判定し、前記入力された図形と前記いずれかの図形データが示す図形とが類似しない場合に、前記登録図形データと前記関連情報とを関連づけて前記辞書に登録する。

Description

本発明は動作入力システム、動作入力方法およびプログラムに関する。

ユーザがタッチパネル等で描く図形やユーザが行うジェスチャ（以下、「動作」という）を認識し、認識された動作により文字や文字列を出力したり、特別な処理を実行する装置がある。その装置は、例えば、文字列を出力する場合で説明すると、ユーザが入力する図形と、予め辞書に格納されている図形の特徴を示す特徴情報とを照合し、入力された図形に最も近い特徴情報に紐付けられた文字列を出力する。

特許文献１には、手書き入力された文字列を認識する手書き文字列認識方式が開示されている。

特開２０１２−９８９０５号公報

例えばユーザがタッチパネル等で１つの図形を描く操作をするだけで複数の文字を含む文字列を入力できるようにしたり、命令を入力できるようにすることが考えられる。この場合、動作を認識する装置は、ユーザに認識を希望する動作を入力させ、その動作と、文字列や命令などとを関連づけて辞書に登録する。

ここで、ユーザが登録を希望する動作に類似する動作がすでに辞書に登録されている場合がある。このような場合に希望される動作をそのまま登録すると、ユーザがその動作や類似する動作を認識させる際に不都合が生じる場合があった。

特に、ユーザごとに、描画の再現力やジェスチャの再現力に差異がある。描画スキルの高い画家などのユーザは、辞書登録に使うような簡単な図形であれば、僅かな違いで実質的に同じ図形を描くことができる。一方、絵心の無いユーザは、辞書登録に使うような簡単な図形であっても、実質的に同じ図形を描くことは困難である。総てのユーザに同一・類似の判定を一律に適用すると、図形の辞書登録の際だけでなく、文字列の出力の際においても、非常に煩雑な操作をユーザに強いるという不都合があった。

本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザが登録を希望する動作を登録することにより不都合が生じることを防ぐことのできる動作入力システム、方法およびプログラムを提供することにある。

上記課題を解決するために、本発明にかかる動作入力システムは、登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理手段と、前記情報処理手段に新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付ける受付手段と、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似するか否かを判断する判断手段と、前記受付手段により受け付けられる前記新動作と前記新情報とを前記情報処理手段に対して登録するため、前記判断手段による判断に応じて異なる処理を実行する登録処理手段と、含む。

また、本発明にかかる動作入力法は、登録情報に関連づけて登録される登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行するステップと、前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付けるステップと、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断するステップと、前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行するステップと、を含む。

また、本発明にかかるプログラムは、登録情報に関連づけて登録されている登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行し、前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付け、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断し、前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する、処理をコンピュータに実行させる。

本発明によれば、ユーザが操作を情報と関連づけて登録すことにより不都合が生じることを防ぐことができる。

本発明の一態様では、前記動作入力装置は、前記判断手段により、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、その旨を前記ユーザに通知する通知手段をさらに含んでもよい。

本発明の一態様では、前記登録手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、該新動作と前記新情報を登録するとともに、前記ユーザ動作に該新動作が類似するか否かの判断する際の判断基準を変更してもよい。

本発明の一態様では、前記登録手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、前記新動作に類似すると判断された前記登録動作に、前記新情報を関連付けて登録してもよい。

本発明の一態様では、前記情報処理手段は、登録情報に関連付けられた処理条件とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報であって前記処理条件を満たす登録情報に応じた情報処理を実行してもよい。

本発明の実施形態にかかる図形認識装置のハードウェア構成の一例を示す図である。 図形認識装置が実現する機能を示すブロック図である。 辞書格納部に格納されるデータの一例を示す図である。 登録指示取得部、特徴抽出部、類似度算出部、類似判定部、登録部、通知部の処理の一例を示すフロー図である。 登録情報入力画面の一例を示す図である。 類似する図形が存在する場合に出力されるメッセージの一例を示す図である。 希望図形が辞書内のいずれかの図形と類似する場合の処理の他の一例を示すフロー図である。 類似する図形が存在する場合に出力されるメッセージの他の一例を示す図である。 認識対象取得部、認識処理部の処理の一例を示すフロー図である。 認識対象となる図形を入力する画面の一例を示す図である。

以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。本実施形態は、ユーザが入力する動作として、図形の描画に着目したものである。本実施形態にかかる図形認識装置は、ユーザに動作としてタッチパネル等で図形を入力させ、その図形を認識する。以下では図形認識装置について説明するが、実際には複数の装置を含むシステムであってもよい。

図形には主に手書きの文字や記号が含まれる。手書きの文字や記号を認識する手法は、いわゆるオンライン手書き文字認識の手法であってもオフライン手書き文字認識の手法であってもよい。オンライン手書き文字認識は、線が描画される順序を含む情報を用いて文字や記号を認識する手法である。オフライン手書き文字認識は、ユーザが描画した画像から文字や記号を認識する手法であり、こちらの手法では線が描画される順序は用いられない。

図１は、図形認識装置のハードウェア構成の一例を示す図である。図形認識装置は、プロセッサ１１、記憶部１２、通信部１３、表示部１４、入力部１５を含む。図形認識装置は、例えばタブレット端末やパーソナルコンピュータである。

プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作する。またプロセッサ１１は通信部１３、表示部１４、入力部１５を制御する。なお、上記プログラムは、インターネット等を介して提供されるものであってもよいし、フラッシュメモリやＤＶＤ−ＲＯＭ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよい。

記憶部１２は、ＲＡＭやフラッシュメモリ等のメモリ素子やハードディスクドライブによって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、各部から入力される情報や演算結果を格納する。

通信部１３は、他の装置と通信する機能を実現するものであり、例えば有線ＬＡＮの集積回路やコネクタ端子などにより構成されている。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。

表示部１４は、液晶パネルなどの表示出力デバイス（表示手段）やそれを制御する回路であり、液晶表示パネルやグラフィックチップなどにより構成される。表示部１４は、プロセッサ１１の制御に基づいて、画像を表示出力デバイスに対して出力する。なお、文書処理装置は必ずしも表示出力デバイスを内蔵していなくてもよく、表示部１４は外部にある表示出力デバイスに画像を表示させてもよい。

入力部１５は、タッチパネルなどの入力デバイスや、キーボードやマウスなどの入力デバイスからのデータを取得するコントローラなどにより構成される。入力部１５は、プロセッサ１１の制御に基づいて、タッチパネルや入力デバイスをユーザが操作することにより入力される動作やデータを取得する。本実施形態では、図形認識装置が表示出力デバイスとタッチパネルとが一体化したタッチパネル付き表示パネルを有している。

図２は、図形認識装置が実現する機能を示すブロック図である。図形認識装置は、機能的に、登録指示取得部５１と、特徴抽出部５２と、類似度算出部５３と、類似判定部５４と、登録部５５と、通知部５６と、認識対象取得部５７と、認識処理部５８とを含む。これらの機能は、プロセッサ１１が記憶部１２に格納されたプログラムを実行し、通信部１３や表示部１４、入力部１５を制御することで実現される。また、登録部５５は、機能的に、辞書登録部６１と、類似基準設定部６２とを含み、認識処理部５８は、機能的に、特徴抽出部６６、図形認識部６７、操作処理部６８、辞書格納部７１を含む。

認識処理部５８は、動作を示す特徴データと、その特徴データに関連付けられる関連情報とが登録される。特徴データは、ここでは文字や記号を含む図形の特徴を示すデータである。また、関連情報は文字列や動作をトリガとして実行する命令である。

認識処理部５８に含まれる辞書格納部７１は、主に記憶部１２により実現される。辞書格納部７１は、認識処理部５８に登録される辞書のデータであって、複数の特徴データと、それぞれ特徴データのいずれかに関連づけられる複数の関連情報とを含む辞書のデータを格納する。

図３は、辞書格納部７１に格納されるデータの一例を示す図である。辞書格納部７１には、例えば、特徴データと、関連情報と、類似範囲とが格納されている。図３に示す特徴データの内容は、描画される線のうち図形の特徴を示す複数の特徴点の情報であり、オンライン手書き認識の場合の例である。類似基準は、図形の認識の際に類似を判定する基準として用いられる情報であり、詳細については後述する。なお、図示しないが、辞書データは特徴データに関連付けて図形の画像データをさらに含んでもよい。

なお、オフライン手書き認識の場合、特徴データは例えば複数の次元を有する特徴ベクトルであってよい。特徴ベクトルは、例えば、図形が分割されたサブ領域の数に４をかけた数の要素を有する。サブ領域が、図形の領域を６４の領域に分割したものであるとすると、特徴ベクトルの次元の数は２５６になる。また、サブ領域ごとにそのサブ領域内に上下方向、左右方向、２種の斜め方向の線があるか否かを示す４つの特徴値が存在し、特徴ベクトルの複数の要素のそれぞれには、その特徴値が配置されている。

次に、図形認識装置にユーザが図形を登録する処理について説明する。図４は、登録指示取得部５１、特徴抽出部５２、類似度算出部５３、類似判定部５４、登録部５５、通知部５６の処理の一例を示すフロー図である。以下では、登録指示取得部５１、特徴抽出部５２、類似度算出部５３、類似判定部５４、登録部５５、通知部５６の機能について、図４に示すフロー図を用いて説明する。

登録指示取得部５１は、主にプロセッサ１１、記憶部１２、表示部１４および入力部１５により実現される。登録指示取得部５１は、登録部５５に新たに登録されるべき、新たな動作とその新たな動作に関連付ける新たな関連情報とを受け付ける。より具体的には、登録指示取得部５１は、ユーザが登録を希望する希望図形であってユーザが入力する希望図形のデータと、希望図形に関連づける関連情報とを取得する（ステップＳ１０１）。登録指示取得部５１は、ユーザが入力部１５のタッチパネル上の領域内でスタイラスや指により描画された図形を示すデータを希望図形のデータとして取得する。希望図形のデータは図形認識の際に取得される図形のデータと同種のものである。希望図形のデータは描画の際のスタイラス等の動きや書き順を示す情報を含んでいてもよいし、単なる図形の画像データを含んでいてもよい。また、登録指示取得部５１は、入力部１５等を介してユーザが入力する文字列情報を取得し、その文字列情報を関連情報として取得する。

図５は、登録指示取得部５１により表示される登録情報入力画面の一例を示す図である。登録情報入力画面には、図形入力領域３１と、文字列入力領域３２と、リセットボタン３３と、キャンセルボタン３４と、登録ボタン３５とが配置される。図形入力領域３１は、ユーザが登録を希望する希望図形を入力するための領域であり、入力された図形が描画される。文字列入力領域３２は、関連情報として、希望図形に関連づける文字列を入力するための領域である。リセットボタン３３は入力された図形を消去するためのボタンである。登録指示取得部５１は、登録ボタン３５が押下されると、図形入力領域３１に入力された希望図形のデータと、文字列入力領域３２により入力された関連情報とを取得する。なお、関連情報は、図形をプログラムに何らかの動作をさせる命令と関連づける情報であってもよい。なお、ユーザは必ずしも毎回関連情報を入力しなくてもよい。例えば、登録指示取得部５１は登録情報入力画面に前回入力された関連情報を表示し、そのまま登録ボタン３５が押下された場合に、その前回入力された関連情報を取得してもよい。

特徴抽出部５２は、主にプロセッサ１１、記憶部１２により実現される。特徴抽出部５２は、希望図形の大きさを正規化し（ステップＳ１０２）、正規化された希望図形のデータから、希望図形の特徴を示す特徴データを抽出する（ステップＳ１０３）。特徴データは、希望図形から順に抽出される特徴点の列であってもよいし、所定の次元の特徴ベクトルであってもよい。特徴抽出部５２が特徴データを抽出する手法は公知であるので詳細の説明は省略する。

類似度算出部５３は、主にプロセッサ１１、記憶部１２により実現される。類似度算出部５３は希望図形の特徴データと辞書に登録されている複数の特徴データの少なくとも一部との類似度を算出することにより（ステップＳ１０４）、希望図形と辞書に登録されている複数の図形のうちいずれかとの類似度を算出する。希望図形の特徴データと辞書に登録されている特徴データとの類似度を算出する手法は、いわゆる隠れマルコフモデル(Hidden Markov Model)であってもよいし、ＤＰマッチングや特徴ベクトル間の距離の計算であってもよい。隠れマルコフモデルを用いる場合、算出される確率が類似度に相当する。

類似判定部５４は、主にプロセッサ１１、記憶部１２により実現される。類似判定部５４は、算出された類似度に基づいて、希望図形と辞書に登録されている図形とが類似するか否か判定する。より具体的には、類似判定部５４は類似度に基づいて、辞書に登録されている特徴データのうち、希望図形に最も似ている図形の特徴データを選択し（ステップＳ１０５）、選択された特徴データと希望図形の特徴データとの類似度に基づいて、選択された図形が希望図形に類似するか否かを判定する（ステップＳ１０６）。類似度の値が大きいほど２つの図形が類似する場合、類似判定部５４はステップＳ１０６において、例えば類似度が予め定められた設定閾値より大きい場合に選択された図形が希望図形に類似すると判定する。

登録部５５は、主にプロセッサ１１、記憶部１２により実現される。登録部５５は、登録指示取得部５１が受け付けた新たな動作と新たな関連情報とを認識処理部５８に対して登録するため、類似判定部５４の判断に応じて異なる処理を実行する。この処理は、その新たな動作が登録されている動作に類似する場合に、登録部５５がユーザにその旨を通知することであってもよいし、その新たな動作が登録されている動作に類似する場合にユーザが入力する動作とその新たな動作とが類似するか否か判断する際の判断基準を変更することであってもよいし、類似すると判断された動作とその新たな情報と関連付けて認識処理部５８に登録することであってもよい。以下では登録部５５の処理の詳細について説明する。

登録部５５に含まれる辞書登録部６１は、主にプロセッサ１１、記憶部１２により実現される。辞書登録部６１は、選択された図形が希望図形に類似しないと判定された場合に（ステップＳ１０７のＹ）、希望図形の特徴データと関連情報とを関連づけて前記辞書に登録する（ステップＳ１０８）。

通知部５６は、主にプロセッサ１１、記憶部１２、表示部１４により実現される。通知部５６は、選択された図形が希望図形に類似すると判定された場合に（ステップＳ１０７のＮ）、希望図形が辞書に登録された図形に類似することをユーザに通知する（ステップＳ１０９）。

図６は、類似図形が存在する場合に通知部５６によりユーザに対して出力されるメッセージの一例を示す図である。通知部５６が表示出力デバイスに出力させるメッセージの画面には、希望図形を表示する領域である入力図形表示領域３７と、希望図形に類似する図形を表示する領域である類似図形表示領域３８と確認ボタン３９とが配置される。

このように、ユーザが登録するために入力した動作（から抽出される特徴データ）と既に登録されている動作（の特徴データ）とが類似すると判定されたか否かにより希望図形や関連情報を登録するための処理を異ならせることにより、ユーザが既に登録された動作に類似する動作を登録することによる問題の発生を抑えることが可能になる。

また、ユーザは、入力された動作が登録されている動作に類似することを確認することにより、他の類似しない動作を登録することが可能となる。特に、希望図形に類似する類似図形が表示されることにより、ユーザは他の図形に類似しない新たな希望図形を考えることが容易になる。

ここで、希望図形が辞書内のいずれかの図形と類似する場合に、必ずしも一律的に希望図形の登録を拒否しなくてもよい。描画スキルの高い画家などのユーザは、辞書登録に使うような簡単な図形であれば、僅かな違いで実質的に同じ図形を描くことができる。このようなユーザは、既存（既登録）の類似基準に基づいて、希望図形が辞書内のいずれかの図形と類似すると判定された場合であっても、個人の描画スキルによって希望図形を再現する選択ができる。もちろん、それ以外のユーザに対しても、図形の登録を拒否しなくてもよい

図７は、希望図形が辞書内のいずれかの図形と類似する場合の処理の他の一例を示すフロー図である。本図は、図４のステップＳ１０９の処理の代わりに実行されてよい。 希望図形が辞書内のいずれかの図形と類似する場合に、図７に示す例では、まず通知部５６は、希望図形を登録するか、類似図形に対して関連情報を関連づけて登録するか、希望図形も関連情報も登録しないかユーザに選択させるメッセージを出力する（ステップＳ１５１）。

図８は、類似図形が存在する場合に通知部５６によりユーザに対して出力されるメッセージの他の一例を示す図である。通知部５６が表示出力デバイスに出力させるメッセージの画面には、希望図形を表示する領域である入力図形表示領域４１と、類似図形を表示する領域である類似図形表示領域４２と、登録ボタン４３と更新ボタン４４と、キャンセルボタン４５とが配置される。登録ボタン４３は、ユーザが、類似図形が存在することを承知した上で希望図形を登録することを指示するためのボタンである。更新ボタン４４は、ユーザが類似図形に登録指示取得部５１が取得した関連情報を関連づけるよう辞書を更新することを指示するためのボタンである。キャンセルボタン４５は辞書に希望図形や関連情報を登録しない場合に押下されるボタンである。

ユーザが登録ボタン４３等を押下することにより登録に関する指示をすると、辞書登録部６１はユーザのその指示を取得する（ステップＳ１５２）。そして、ユーザから取得した指示が類似図形に登録指示取得部５１が取得した関連情報を関連づける指示である場合には（ステップＳ１５３のＹ）、辞書登録部６１は類似図形に関連情報を関連づけて辞書格納部７１に格納する（ステップＳ１５４）。類似図形に関連情報を関連づけることで、新たな希望図形を登録することによる不都合を防ぎつつ、ユーザの図形の入力により関連情報を入力することが可能になる。

ここで、類似図形に複数の関連情報が関連づけられていてもよい。１つの類似図形に関連付けられる複数の関連情報は、登録指示取得部５１が取得した関連情報と、元から類似図形に関連づけられている情報とを含んでよい。元から類似図形に関連付けられている情報は、図形が文字である場合には、その文字を示すコードであってよい。

なお、辞書登録部６１は、ステップＳ１５４の後に希望図形のデータに類似図形に関連づけられた関連情報を関連付けて辞書格納部７１に記憶させてもよい。さらに、類似図形に登録指示取得部５１が取得した関連情報を関連づけてもよい。

一方、辞書登録部６１が類似図形に関連情報を関連づける指示を取得していない場合には（ステップＳ１５３のＮ）、辞書登録部６１は、希望図形を登録する指示を取得したか判定する（ステップＳ１５５）。取得された指示が希望図形を登録する指示でない場合には（ステップＳ１５５のＮ）、何も登録しない指示を取得しているので、図７に示す処理を終了する。一方、希望図形を登録する指示を取得している場合には（ステップＳ１５５のＹ）、辞書登録部６１は希望図形のデータと関連情報とを関連づけて辞書格納部７１に記憶させる（ステップＳ１５６）。

登録部５５に含まれる類似基準設定部６２は、主にプロセッサ１１および記憶部１２により実現される。類似基準設定部６２は、ユーザが登録しようとする新たな動作が既に登録されている動作に類似すると判断され、新たな動作とその新たな動作に類似する新たな関連情報が登録された場合に、認識処理部５８に登録される判断基準であって、ユーザ動作にその新たな動作が類似するか否かを判断する際の判断基準（以下では「類似基準」と記載する）を変更する。より具体的には、類似基準設定部６２は、希望図形と辞書に含まれる図形とが類似すると判定され、かつ辞書に希望図形のデータが登録された場合（ステップＳ１５６の後）に、希望図形と辞書に含まれる図形との類似度に基づいて、ユーザが入力する図形と登録されている図形との類似を判定するための類似基準を調整する（ステップＳ１５７）。この類似基準は例えば類似であるか否かを判定する類似度の閾値であり、認識処理部５８に含まれる図形認識部６７が、入力された図形が辞書に登録した図形か否かを判定する際に用いられる。類似基準はユーザ毎に設定されてもよいし、特徴データごとに設定されてもよい。類似基準は、希望図形と類似図形との類似度が、この２つの図形がより近いことを示すほど、類似の範囲がより狭い範囲になるように設定される。

ユーザが類似する図形があっても希望図形を登録する指示をしている場合には、ユーザが図形を正確に入力する自信がある蓋然性が高い。したがって、希望図形を辞書に登録しても問題が生じる可能性は低い。一方で、ユーザが入力する図形が辞書に登録されている図形に類似すると判定する基準が変わらないと、ユーザに対し不要な候補が表示される恐れがある。ここで、類似基準を変更することにより、その恐れを軽減することができる。

例えば、図３の例では、類似パラメータは特徴データごとに設定されている。類似基準設定部６２はＩＤが１１０１である辞書データに対応する図形が類似図形である場合に、その類似図形について類似パラメータを７０から８０に変更し、例えば図形認識の際に入力される図形が従来よりこの類似図形に類似していないと、この類似図形が入力された図形として認識されないようになる。なお、この類似基準は、類似判定部５４が希望図形と辞書の図形とが類似であるか判定する際に用いられてもよい。

次に、ユーザが入力する図形を図形認識装置が認識する処理について説明する。図９は、認識対象取得部５７、認識処理部５８の処理の一例を示すフロー図である。以下では、認識対象取得部５７、認識処理部５８の機能について、図９の処理フローを用いて説明する。

認識対象取得部５７は、主にプロセッサ１１、記憶部１２、表示部１４、入力部１５により実現される。認識対象取得部５７は、ユーザが入力する図形であって、図形の認識の対象となる入力図形のデータを取得する（ステップＳ２０１）。

認識処理部５８は、主にプロセッサ１１、記憶部１２、表示部１４、入力部１５により実現される。認識処理部５８は、ユーザが図形を入力するユーザ動作に応じて、そのユーザ動作に類似する動作を示す特徴データに関連付けられた関連情報に応じた情報処理を実行する。

認識処理部５８に含まれる特徴抽出部６６は、主にプロセッサ１１、記憶部１２により実現される。特徴抽出部６６は、入力図形のうち認識対象とする領域の大きさを正規化する（ステップＳ２０２）。認識対象とする領域は、例えば入力された図形の領域である。複数の図形（文字列）が入力されている場合には、特徴抽出部６６は文字ごとに認識対象とする領域を切り出してよい。また、特徴抽出部６６は、正規化された入力図形のデータから、入力図形の特徴を示す特徴データを抽出する（ステップＳ２０３）。特徴データを抽出する手法は特徴抽出部５２と同じ手法である。

認識処理部５８に含まれる図形認識部６７は、主にプロセッサ１１、記憶部１２により実現される。図形認識部６７は、入力図形が辞書に登録されたいずれかの図形に類似する場合に、そのいずれかの図形に関連づけられた関連情報を、図形の認識結果として出力する。

より具体的には、図形認識部６７は、抽出された特徴データと辞書格納部７１に格納された（認識処理部５８に対して登録された）複数の図形についての複数の特徴データのそれぞれとの類似度を算出する（ステップＳ２０４）。そして、図形認識部６７は、複数の特徴データについて算出された類似度に基づいて、入力図形に類似する辞書中の図形を選択する（ステップＳ２０６）。ここで、類似する図形を選択する判断する手法としては、類似パラメータが示す類似範囲内にある類似度を有する特徴データのうち、最も高い類似度が算出された特徴データに対応する図形を選択する。なお、図形認識部６７は単に類似パラメータが示す類似範囲内にある類似度を有する特徴データのそれぞれに対応する図形を選択してもよい。この場合、辞書に登録されている１つの特徴データに対して１つの関連情報のみが関連づけられていてよい。

また、図形認識部６７は関連情報に関連付けられた処理条件とユーザの動作とに基づいて、処理条件を満たしかつその動作に類似する登録された動作に関連づけられた関連情報を出力してもよい。より具体的には、図形認識部６７は、類似度と、各特徴データに関連づけて登録された情報とに基づいて、入力図形に類似する辞書中の図形を選択してもよい。例えば、辞書中の特徴データに関連づけられた処理条件を満たし、かつ閾値より高い類似度が算出された特徴データを取得してよい。処理条件は、例えばクリスマスシーズンなどを識別するための開始日および終了日、開始時刻と終了時刻などで表される期間であってもよいし、認識された情報を渡す他のプログラムが何であるかでもよいし、文字コードを出力するか命令を入力するか否かであってもよい。例えば、登録指示取得部５１がユーザから発動条件を取得し、辞書登録部６１がこの発動条件を辞書に登録してよい。

処理条件を用いることにより、例えば木の図形に対して、クリスマスシーズンにはクリスマスの文字を出力させ、夏には森林浴の文字を出力させるといったことが可能になる。

認識処理部５８に含まれる操作処理部６８は、主にプロセッサ１１、記憶部１２、表示部１４により実現される。操作処理部６８は、関連情報に応じた処理を実行する。

より具体的には、操作処理部６８は、選択された図形に１つの関連情報が関連づけられる場合には（ステップＳ２０６のＹ）、その関連情報に応じた処理をする（ステップＳ２０７）。より具体的には、操作処理部６８は関連情報が文字列の場合は表示手段にその文字列を出力し、関連情報が命令の場合には、その命令に応じた処理（例えばアプリケーションプログラムの開始や文字の削除処理）を実行する。一方、選択された図形に複数の関連情報が関連づけられる場合には（ステップＳ２０６のＮ）、操作処理部６８は表示部１４を介して複数の関連情報から１つを選択させる画像をユーザに向けて出力し、入力部１５を介してユーザに関連情報を選択させる（ステップＳ２０８）。そして、操作処理部６８はその選択された関連情報に応じた処理を実行する（ステップＳ２０９）。

図１０は、認識対象となる図形を入力する画面の一例を示す図である。この画面には、図形入力領域８１と、その図形に対応する文字列を表示する領域とが存在する。本図の例では、図形入力領域８１に入力された図形が、図５などに示す画面を介して辞書に登録された図形であると認識され、文字列表示欄８２に関連情報である「Mt.Fujisan」の文字列が出力されている。

１１ プロセッサ、１２ 記憶部、１３ 通信部、１４ 表示部、１５ 入力部、３１，８１ 図形入力領域、３２ 文字列入力領域、３３ リセットボタン、３４ キャンセルボタン、３５ 登録ボタン、３７，４１ 入力図形表示領域、３８，４２ 類似図形表示領域、３９ 確認ボタン、４３ 登録ボタン、４４ 更新ボタン、４５ キャンセルボタン、５１ 登録指示取得部、５２，６６ 特徴抽出部、５３ 類似度算出部、５４ 類似判定部、５５ 登録部、５６ 通知部、５７ 認識対象取得部、５８ 認識処理部、６１辞書登録部、６２ 類似基準設定部、６７ 図形認識部、６８ 操作処理部、７１ 辞書格納部、８２ 文字列表示欄。

Claims (10)

1. 登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理手段と、
   前記情報処理手段に新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付ける受付手段と、
   前記受付手段により受け付けられる前記新動作と、前記情報処理手段に登録されている前記登録動作との類似度を算出する類似度算出手段と、
   前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似するか否かを判断する判断手段と、
   前記受付手段により受け付けられる前記新動作と前記新情報とを前記情報処理手段に対して登録するため、前記判断手段による判断に応じて異なる処理を実行する登録処理手段と、
   を含み、
   前記登録処理手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、該新動作と前記新情報を登録するとともに、前記ユーザ動作に前記登録動作が類似するか否かを判断する際の類似度の閾値を変更し、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似しないと判断される場合に、該新動作と前記新情報を登録し、
   前記情報処理手段は、ユーザ動作と当該情報処理手段に登録されている登録動作との間の類似度が前記閾値より高いか否かに基づいて当該ユーザ動作に類似する前記登録動作を選択する、
   動作入力システム。
2. 登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理手段と、
   前記情報処理手段に新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付ける受付手段と、
   前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似するか否かを判断する判断手段と、
   前記受付手段により受け付けられる前記新動作と前記新情報とを前記情報処理手段に対して登録するため、前記判断手段による判断に応じて異なる処理を実行する登録処理手段と、
   を含み、
   前記登録処理手段は、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、前記新動作に類似すると判断された前記登録動作に、前記新情報を関連付けて登録し、かつ、前記新動作に類似すると判断された前記登録動作に関連づけられた情報を前記新動作に関連づけて登録し、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似しないと判断される場合に、該新動作と前記新情報を登録する、
   動作入力システム。
3. 登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理手段と、
   前記情報処理手段に新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付ける受付手段と、
   前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似するか否かを判断する判断手段と、
   前記受付手段により受け付けられる前記新動作と前記新情報とを前記情報処理手段に対して登録するため、前記判断手段による判断に応じて異なる処理を実行する登録処理手段と、
   を含み、
   前記情報処理手段は、登録情報に関連付けられた処理条件とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報であって前記処理条件を満たす登録情報に応じた情報処理を実行し、
   前記処理条件は、期間、前記登録情報が文字コードの出力を示すか命令の入力を示すか否か、前記処理条件を満たす前記登録情報を渡す他のプログラムが何であるかのうちいずれかの条件を含む、
   動作入力システム。
4. 請求項１から３のいずれかに記載の動作入力システムにおいて、
   前記判断手段により、前記受付手段により受け付けられる前記新動作が、前記情報処理手段に登録されている前記登録動作に類似すると判断される場合に、その旨を前記ユーザに通知する通知手段をさらに含む、
   動作入力システム。
5. 登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理ステップと、
   前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付けるステップと、
   前記受け付けられた新動作と、前記登録されている登録動作との類似度を算出するステップと、
   前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断する判断ステップと、
   前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する登録ステップと、
   を含み、
   前記登録ステップでは、前記受け付けられる新動作が、前記登録されている登録動作に類似すると判断される場合に、該新動作と前記新情報を登録するとともに、前記ユーザ動作に前記登録動作が類似するか否かを判断する際の類似度の閾値を変更し、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似しないと判断される場合に、該新動作と前記新情報を登録し、
   前記情報処理ステップでは、ユーザ動作と前記登録されている登録動作との間の類似度が前記閾値より高いか否かに基づいて当該ユーザ動作に類似する前記登録動作を選択する、
   動作入力方法。
6. 登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理ステップと、
   前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付けるステップと、
   前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断する判断ステップと、
   前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する登録ステップと、
   を含み、
   前記登録ステップでは、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似すると判断される場合に、前記新動作に類似すると判断された前記登録動作に、前記新情報を関連付けて登録し、かつ、前記新動作に類似すると判断された前記登録動作に関連づけられた情報を前記新動作に関連づけて登録し、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似しないと判断される場合に、該新動作と前記新情報を登録する、
   動作入力方法。
7. 登録動作が登録情報に関連づけて登録されており、ユーザ動作に応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する情報処理ステップと、
   前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付けるステップと、
   前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断する判断ステップと、
   前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する登録ステップと、
   を含み、
   前記情報処理ステップでは、登録情報に関連付けられた処理条件とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報であって前記処理条件を満たす登録情報に応じた情報処理を実行し、
   前記処理条件は、期間、前記登録情報が文字コードの出力を示すか命令の入力を示すか否か、前記処理条件を満たす前記登録情報を渡す他のプログラムが何であるかのうちいずれかの条件を含む、
   動作入力方法。
8. 登録情報に関連づけて登録されている登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行し、
   前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付け、
   前記受け付けられた新動作と、前記登録されている登録動作との類似度を算出し、
   前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断し、
   前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する、
   処理をコンピュータに実行させるためのプログラムであって、
   前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する処理では、前記受け付けられる新動作が、前記登録されている登録動作に類似すると判断される場合に、該新動作と前記新情報を登録するとともに、前記ユーザ動作に前記登録動作が類似するか否かを判断する際の類似度の閾値を変更し、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似しないと判断される場合に、該新動作と前記新情報を登録し、
   前記前記登録情報に応じた情報処理を実行する処理では、ユーザの動作と前記登録されている登録動作との間の類似度が前記閾値より高いか否かに基づいて当該ユーザ動作に類似する前記登録動作を選択する、
   プログラム。
9. 登録情報に関連づけて登録されている登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行し、
   前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付け、
   前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断し、
   前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する、
   処理をコンピュータに実行させるためのプログラムであって、
   前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する処理では、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似すると判断される場合に、前記新動作に類似すると判断された前記登録動作に、前記新情報を関連付けて登録し、かつ、前記新動作に類似すると判断された前記登録動作に関連づけられた情報を前記新動作に関連づけて登録し、前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似しないと判断される場合に、該新動作と前記新情報を登録する、
   プログラム。
10. 登録情報に関連づけて登録されている登録動作とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行し、
    前記情報処理を実行するために新たに登録されるべき、新動作と当該新動作に関連づける新情報とを受け付け、
    前記受け付けられる前記新動作が、前記登録されている前記登録動作に類似するか否かを判断し、
    前記受け付けられる前記新動作と前記新情報とを登録するため、前記新動作が前記登録されている前記登録動作に類似するかに応じて異なる処理を実行する、
    処理をコンピュータに実行させるためのプログラムであって、
    前記ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報に応じた情報処理を実行する処理では、登録情報に関連付けられた処理条件とユーザ動作とに応じて、該ユーザ動作に類似する前記登録動作に関連づけられた前記登録情報であって前記処理条件を満たす登録情報に応じた情報処理を実行し、
    前記処理条件は、期間、前記登録情報が文字コードの出力を示すか命令の入力を示すか否か、前記処理条件を満たす前記登録情報を渡す他のプログラムが何であるかのうちいずれかの条件を含む、
    プログラム。

Images