WO2015041004A1

WO2015041004A1 - 認識装置および認識装置の制御方法

Info

Publication number: WO2015041004A1
Application number: PCT/JP2014/072160
Authority: WO
Inventors: 福田　悟
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-09-19
Filing date: 2014-08-25
Publication date: 2015-03-26
Anticipated expiration: 2016-03-19
Also published as: JP2015060470A

Abstract

　本発明の文字認識装置は、操作部が受け付けた手書き文字から当該手書き文字の軌跡を検出すると（Ｓ１０）、検出された軌跡から認識結果を決定し（Ｓ１８）、決定された認識結果を、手書き文字の軌跡に重ねて表示するように表示部を制御する（Ｓ２０）。

Description

認識装置および認識装置の制御方法

　本発明は、手書き入力された文字または図形を認識する技術に関するものである。

　従来から、スタイラスペンやマウス、ユーザの指先などの指示体を用いた手書き入力を受け付け、当該手書き入力の軌跡（筆跡）から、ユーザが書いた（描いた）文字または図形（以下、「文字等」と称する。）を認識する認識装置が知られている。認識装置は、手書き入力された軌跡がどのような文字等に認識されたかを、自装置に備えたＧＵＩ（Graphical User Interface）上に提示する。

　例えば、特許文献１の図１の（ａ）～（ｃ）には、手書き入力の軌跡と、その認識結果である文字等との提示方法が示されている。具体的には、同図の（ａ）には、ＧＵＩ上に所定の提示エリアを設け、該提示エリアに認識結果を提示する方法が示されている。また、同図の（ｂ）には、手書き入力の軌跡を認識結果に置き換えて提示する方法が示されている。そして、同図の（ｃ）には、上記手書き入力の軌跡の近傍のエリアに認識結果を提示する方法が示されている。

日本国公開特許公報「特開２０１０－１０８３７７号公報（公開日：２０１０年５月１３日）」

　しかしながら、特許文献１における図１の（ａ）・（ｃ）の場合、上記認識結果を提示するためのエリアを、上記手書き入力の軌跡を提示するエリアの他に確保する必要がある。また、同文献における図１の（ｂ）の場合、手書き入力の軌跡が認識結果の文字等に置き換わってしまうので、手書き入力した軌跡と、当該軌跡に対応する認識結果とを対比することが困難である。

　本願は、上記問題に鑑みてなされたものであり、その目的は、新たな表示エリアを確保することなく、手書き入力の軌跡と当該入力の認識結果とを容易に対比できる認識装置および認識装置の制御方法を提供することを目的とする。

　上記の課題を解決するために、本発明の一態様に係る認識装置は、受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段と、上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段と、上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御手段とを備えることを特徴とする。

　本発明の一態様によれば、新たな提示エリアを確保することなく、手書き入力の軌跡と当該入力の認識結果とを容易に対比できるという効果を奏する。

本発明の実施形態１に係る文字認識装置が行う処理の流れを示すフローチャートである。上記文字認識装置の要部構成を示すブロック図である。上記文字認識装置が表示する画面の例を示す図である。本発明の実施形態２に係る文字認識装置が表示する画面の例を示す図である。本発明の実施形態３に係る文字認識装置が表示する画面の例を示す図である。

　本発明の実施形態について、図１～図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。

　〔実施形態１〕
　図２は、本発明の第１の実施形態に係る文字認識装置１の要部構成を示すブロック図である。なお、同図では、発明の構成に直接関係のない構成は省略した。

　≪要部構成≫
　本実施形態に係る文字認識装置１（認識装置）は、ユーザの手書き入力を受け付け、当該手書き入力の軌跡を検出し、当該軌跡に対応する（軌跡が示す）文字等を認識する機能を備えた装置である。なお、本実施形態における文字認識装置１は、手書き入力から当該手書き入力の軌跡（筆跡）が示す文字を認識することとするが、文字認識装置１が軌跡から認識可能なものは、文字に限定されない。具体的には、文字認識装置１は、手書き入力の軌跡から、図形などを認識してもよい。なお、本実施形態では、手書き入力された文字（手書き文字）から文字を認識することとする。

　文字認識装置１は図示の通り、制御部１０と、操作部２０（受付部）と、表示部３０と、記憶部４０とを備えている。

　操作部２０は、スタイラスペンやマウス、ユーザの指先などの指示体による手書き入力を受け付けるものである。上記手書き入力の情報は、制御部１０の操作判別部１１へ送信される。なお、操作部２０は、手書き入力の他にも、文字認識装置１に対する種々の操作を受け付ける構成であってよい。表示部３０は、制御部１０の制御に従い画像を表示するものである。表示部３０は、例えば、ＬＣＤ（液晶ディスプレイ）などの表示装置で実現される。なお、本実施形態では、操作部２０と表示部３０とはタッチパネルとして一体に形成されている。しかしながら、本発明においてタッチパネルは必須の構成ではなく、操作部２０は手書き入力を含むユーザの操作を受け付け可能であればよく、表示部３０は画像を表示可能であればよい。

　制御部１０は、文字認識装置１を統括的に制御するものである。制御部１０は、操作判別部１１（軌跡検出手段）と、軌跡取得部１２と、認識部１３（認識手段）と、表示データ生成部１４（表示制御手段）とを含む。また、軌跡取得部１２と認識部１３とを併せて、文字認識装置１の文字認識処理を行う文字認識処理部を形成している。

　操作判別部１１は、操作部２０における操作の種類を判別するものである。具体的には、操作判別部１１は、操作部２０から手書き入力の情報を受信すると、当該情報が示す手書き入力の軌跡を検出する。そして、操作判別部１１は、当該軌跡が手書き文字の入力操作を示すのか、手書き文字の消去操作を示すのかを判別する。当該判別の方法は特に限定しないが、例えば、軌跡の形状や長さ、画面上での位置座標などにより、当該軌跡が示す操作の種類を判別すればよい。判別された操作の種類は、文字認識処理部（軌跡取得部１２および認識部１３）に通知され、手書き入力の軌跡は軌跡取得部１２へ送信される。

　なお、本実施形態において操作判別部１１は、手書き入力において所定の軌跡を入力すると、当該入力を消去操作であると判別することとした。しかしながら、上記消去操作は必ずしも手書き入力である必要はなく、例えば削除ボタンなどを押下した場合に上記消去操作が行われたとしてもよい。

　また、操作判別部１１は、手書き文字の入力または消去操作の終了を判定する。当該判定の方法も特に限定しないが、例えば、操作部２０において所定の期間操作が検出されなかった場合や、操作部２０において、手書き入力以外の予め定められた操作（所定のボタンをタッチするなど）が行われた場合などに、直前の操作（手書き文字の入力または消去操作）を終了させたと判定すればよい。当該判定の結果は軌跡取得部１２へ送信される。

　軌跡取得部１２は、手書き入力の軌跡を取得し保持するものである。操作判別部１１が入力操作を、手書き文字の入力であると判別した場合、軌跡取得部１２は操作判別部１１から手書き文字の軌跡を受信し保持すると共に、表示データ生成部１４へ送信する。また、操作判別部１１にて手書き文字の入力操作が終了したと判定されると、軌跡取得部１２はその時点で保持している手書き文字の軌跡を、認識部１３へ送信する。

　また、操作部２０にて手書き文字の消去操作が行われた場合、軌跡取得部１２は、操作判別部１１から当該消去操作の軌跡を取得し、その時点で保持している手書き文字の軌跡と共に、認識部１３へ送信する。

　認識部１３は、手書き入力された文字等または消去操作を認識するものである。具体的には、認識部１３は、まず、手書き入力（手書き文字の入力または消去操作）の軌跡から、該軌跡の特徴点を抽出する。次に、認識部１３は、手書き文字の軌跡の特徴点から、当該特徴点が示す文字を特定する。また、認識部１３は、消去操作の軌跡の特徴点から、手書き文字の文字列および認識結果の文字列のうち、消去対象となる箇所を特定し、消去するものである。

　より具体的には、操作部２０にて手書き文字の入力操作が行われた場合、認識部１３は、軌跡取得部１２から手書き文字の軌跡を取得し、当該軌跡の特徴点を抽出する。ここで、特徴点とは、文字であれば、各軌跡の形状および長さ、各軌跡における止め、はね、はらいなど、筆跡の各種特徴を意味する。

　さらに、認識部１３は、記憶部４０から認識候補データ４１を読み出し、抽出した特徴点と、認識候補データ４１とを照合することにより、手書き文字の軌跡に対応する文字（文字列）を認識結果として決定する。以降、上記照合により決定された文字または文字列のことを、単に「認識結果」と呼称する。決定された認識結果は、表示データ生成部１４へ送信される。

　操作部２０にて手書き文字の消去操作が行われた場合、軌跡取得部１２は、取得した軌跡（消去操作の軌跡）の特徴点を抽出する。具体的には、軌跡の始点および終点、長さなどを抽出し、当該特徴点から消去対象となる箇所を特定する。そして、認識部１３は、手書き文字の軌跡および認識結果（文字列）から、該当箇所の手書き文字の軌跡および認識結果の文字を消去する。その後、認識部１３は、該当箇所を消去した手書き文字の軌跡および認識結果の文字を、表示データ生成部１４へ送信する。なお、このとき、認識部１３は消去操作の軌跡を表示データ生成部１４に送信してもよい。

　表示データ生成部１４は、手書き文字の軌跡と、認識結果とを保持し、これらのデータから表示部３０に表示させる表示データを作成するものである。表示データ生成部１４は、軌跡取得部１２から手書き文字の軌跡を受信する。また、表示データ生成部１４は、認識部１３から手書き文字の軌跡と、認識結果の文字列とを受信する。

　表示データ生成部１４は、手書き文字の軌跡、または認識結果の文字列の少なくとも１方を受信したとき、すなわち、保持している上記軌跡または上記文字列の情報が更新されたときに、表示データを作成する。表示データ生成部１４はまた、認識部１３から消去操作の軌跡を受信し、これも表示データに含めてもよい。

　ここで、表示データとは、表示部３０の１画面（１フレーム）分の画像データであり、手書き文字の軌跡および当該軌跡の認識結果の少なくとも１方が画像として含まれているデータを示す。表示データ生成部１４は、上述のように自己の保持する情報が軌跡取得部１２または認識部１３により更新される毎に表示データを生成し、表示部３０に送信することにより、表示部３０の表示画面を更新させる。

　本実施形態では、表示データ生成部１４は、手書き入力（手書き文字および消去操作の少なくとも一方）の軌跡と、認識結果（認識部１３が認識した文字または図形の軌跡）とを含む表示データを生成する場合、上記手書き入力の軌跡と、上記認識結果とが重ねて表示されるようにする。換言すると、表示データ生成部１４は、上記手書き入力の軌跡と、上記認識結果とが重なって表示されるように、表示部３０を制御する。

　さらに、表示データ生成部１４は表示部３０を、認識結果１文字と、当該１文字に対応する分の手書き文字の軌跡とを重ねて表示されるように制御することが望ましい。

　記憶部４０は、文字認識装置１にて使用する各種データを記憶するものである。本実施形態では、記憶部４０は、認識候補データ４１を記憶する。認識候補データ４１は、認識部１３が、手書き文字の軌跡（軌跡の特徴点）から認識結果を得る際に用いる、当該認識結果の候補となる文字を示す情報である。認識候補データ４１は、手書き入力の軌跡と当該データとを照合することにより、少なくとも１つの認識結果を得ることができるようなデータであればよく、その形式は特に限定しない。認識候補データ４１の一例としては、認識結果の文字等と、当該認識結果の特徴点とを対応づけた情報などが挙げられる。

　≪画面例≫
　次に、上記構成の文字認識装置１における表示動作の一例を、図３を用いて説明する。図３は、文字認識装置１に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。なお、図３では、４つの入力欄に、１文字ずつ手書き文字を書き込むことにより、文字認識装置１が各手書き文字の認識を行う構成としているが、本発明の表示形態、および手書き入力の認識形態はこれに限定されない。以降の図も同様である。

　図３の（ａ）は、ユーザの指または指示体などにより、タッチパネルの所定の入力欄（操作部２０の入力面）に手書き文字が入力されたときの表示状態を示している。図示の通り、手書き文字が入力されると、当該入力の軌跡（手書きの筆跡）が表示される。手書き文字の入力が続く間（新たに軌跡が入力されている間）、表示状態は随時更新され、入力の軌跡が表示されていく。

　ここで、一定時間手書き文字の入力を行わない、または、所定の終了操作を行うことなどにより、手書き文字の入力が終了すると、文字認識装置１（特に、文字認識処理部）は、それまで入力された手書き文字の軌跡から、当該軌跡に対応する文字列を認識し、認識結果として表示する。図３の（ｂ）は、手書き文字の入力が終了し、認識結果が表示された画面を示している。図示の通り、手書き文字「あかりに」の軌跡と、それに対応する認識結果の文字「あかいに」とが重なった状態で表示される。

　このように、文字認識装置１は、手書き文字の軌跡と、自装置の認識結果とを重ねて表示する。これにより、文字認識装置１は、認識結果を表示するための新たな表示エリアを確保することなく、手書き入力された文字等とその認識結果とを確認させることができる。つまり、文字認識装置１は、ユーザによる手書き入力の軌跡と当該入力の認識結果との対比を容易にすることができる。

　また、文字認識装置１は、「あ」「か」「い」「に」というそれぞれ１文字ずつの認識結果と、各認識結果に対応する部分の、手書き文字の軌跡とを重ねて表示している。これにより、文字認識装置１はユーザに、手書き文字の軌跡のどの部分が、どの文字（認識結果）として認識されたかを示すことができる。したがって、手書き文字の軌跡と、その認識結果との対比をより容易にさせることができる。

　図３の（ｂ）の通り、最初の手書き文字の認識では、手書き文字の誤認識や、ユーザの書き損じ（４つ目の欄に「に」に相当する余分な軌跡を入力した）などにより、意図した認識結果「あかり」が得られなかった。このような場合、文字認識装置１では、ユーザが所定の消去操作を行うことにより、認識結果および対応する軌跡を消去し、再度手書き入力する（認識結果を修正する）ことができる。以下、図３の（ｂ）に続いて、誤認識の箇所を修正した場合の画面例を、図３の（ｃ）～（ｆ）を用いて説明する。なお、以降の説明では、手書き入力において、認識結果の文字が表示されている上から、予め定められた長さ以上の横線を引く操作を行った場合、当該操作を消去操作と判定することとする。

　図３の（ｃ）は、ユーザにより消去操作が行われた場合の表示状態を示している。ユーザにより、認識結果「い」と「に」が表示されている入力欄をまたぐような軌跡ａが入力されると、文字認識装置１は当該消去操作の軌跡を取得し、当該軌跡から、どの文字（認識結果）を消去するかを決定する。図３の（ｃ）の場合、消去対象となるのは、「い」と「に」の２文字である。そして、文字認識装置１は、図３の（ｄ）に示すように、消去対象となる認識結果と、当該認識結果に対応する軌跡とを消去する。

　続いて、再度手書き文字の入力が行われるときの画面例を説明する。図３の（ｅ）～（ｆ）は、消去操作の後、再度手書き文字の入力を行った場合の表示状態を示している。

　ユーザにより手書き文字が再入力されると、当該再入力の軌跡が、消去されていない手書き文字の軌跡、およびその認識結果と共に表示される。具体的には、図３の（ｅ）に示すように、ユーザにより再入力された手書き文字（軌跡ｂ１）が、同図の（ｂ）において表示されていた軌跡および認識結果のうち、同図の（ｃ）～（ｄ）で消去されなかった認識結果「あ」と「か」、およびそれに対応する軌跡と共に表示される。

　そして、上記再入力が終了すると、文字認識装置１は、上記再入力された手書き文字の軌跡ｂ１に対応する文字を認識し、認識結果を表示する。図３の（ｆ）では、上記軌跡ｂ１に対応する認識結果ｂ２は「り」である。このように、文字認識装置１はユーザに手書き文字の入力、消去、再入力を行わせることにより、最終的に正しい認識結果（ユーザが意図した認識結果）「あかり」を提示する。

　このように、文字認識装置１は、手書き文字の軌跡と、自装置の認識結果とを重ねて表示した状態から、ユーザに消去操作を行わせる。このため、ユーザに、どの文字を修正すればよいかを容易に判断させることができる。また、どの手書き文字がどのような文字に誤認識されているのかを提示することができる。

　具体的には、文字認識装置１は、図３の（ｂ）に示す画面を提示することにより、ユーザが、自分が入力した文字を覚えていなくとも、「い」を「り」に書き換えればよいことを容易に判断させることができる。また、図３の（ｂ）の表示状態では、「り」を意図した筆跡が、「い」に誤認識されていることが明らかである。そのため、ユーザに誤認識を回避できるような手書き入力を促す（例えば、「い」と間違われないような筆跡で「り」と再入力させる）ことができる。

　なお、図３の（ｂ）などのように、手書き文字の軌跡と、それに対応する認識結果とを重ねて表示するときは、色、濃淡、大きさ、線の太さなど表示形態を変えて表示することが望ましい。これにより、手書き文字の軌跡と、当該軌跡に対応する認識結果と軌跡との区別を明確にすることができる。さらに、上記手書き文字の軌跡よりも上記認識結果の方が目立つように、上記表示形態を変えて表示することが望ましい。

　図示の例では、手書き文字の軌跡を淡く表示する一方、認識結果を濃く表示している。他にも、例えば手書き文字の軌跡を黒色で、認識結果を赤色で表示することとしてもよいし、手書き文字の軌跡を小さく、認識結果を大きく表示してもよいし、手書き文字の軌跡を細い線で、認識結果を太い線で表示してもよい。さらには、上述したような各種表示形態を組み合わせてもよい。このように、手書き文字の軌跡よりも認識結果の方が目立つように表示形態を変えて表示することにより、ユーザは、上記認識結果を容易に把握することができる。

　また、図３の（ｃ）では、消去操作の軌跡ａを画面上に表示することとしたが、軌跡ａの表示は必須ではない。以降の図でも同様である。

　≪処理の流れ≫
　次に、文字認識装置１における文字認識に係る処理の流れについて、図１を用いて説明する。図１は、文字認識装置１が行う処理の流れを示すフローチャートである。

　ユーザにより、操作部２０の入力面に対し手書き入力が行われると、操作部２０は当該手書き入力を受け付け、当該手書き入力の情報を操作判別部１１へ送信する。操作判別部１１は操作部２０から上記情報を受信すると、当該情報から手書き入力の軌跡を検出する（Ｓ１０、軌跡検出ステップ）。その後、操作判別部１１は、軌跡が示す操作の種類を判別する。操作の種類が手書き文字の入力である場合（Ｓ１２で「手書き文字の入力」）、操作判別部１１は手書き文字の軌跡を軌跡取得部１２へ送信する。軌跡取得部１２は、上記手書き文字の軌跡を取得し（Ｓ１４）、表示データ生成部１４へ送信する。表示データ生成部１４は、受信した上記軌跡を含む表示データを生成し、表示部３０に表示させる（Ｓ１４）。以降、軌跡取得部１２における軌跡の取得、および、表示データ生成部１４における表示データの生成（軌跡の表示の更新）は、手書き文字の入力が終了するまで順次、所定の時間間隔にて行われる。

　操作判別部１１において、手書き文字の入力が終了したと判定されると（Ｓ１６でＹＥＳ）、認識部１３は、軌跡取得部１２から手書き文字の軌跡を取得し、認識部１３へ送信する。また、認識部１３は、手書き文字の軌跡から特徴点を抽出し、当該特徴点と、認識候補データ４１とを照合することにより、認識結果を決定する（Ｓ１８、認識ステップ）。決定した認識結果は、手書き文字の軌跡と共に、表示データ生成部１４へ送信される。

　表示データ生成部１４は、認識部１３から受信した、手書き文字の軌跡およびその認識結果を含む表示データを生成する。ここで、表示データ生成部１４が生成する表示データは、上記認識結果が、上記手書き文字の軌跡に重ねて表示されるような画面のデータである。表示データ生成部１４は、当該表示データを表示部３０へ送信することにより、表示部３０に、認識結果を手書き文字の軌跡に重ねて表示させる。（Ｓ２０、表示制御ステップ）。

　一方、操作判別部１１が判別した操作の種類が消去操作であった場合（Ｓ１２で「消去」）、軌跡取得部１２は操作判別部１１から消去操作の軌跡を取得し（Ｓ２６）、認識部１３へ送信する。認識部１３は、消去操作の軌跡から特徴点を抽出することにより、消去操作の軌跡に対応する認識結果および手書き文字の軌跡の箇所（消去対象となる箇所）を特定し、それぞれのデータから当該箇所を消去する（Ｓ２８）。消去操作を行った後の手書き文字の軌跡、およびその認識結果は表示データ生成部１４へ送信され、表示データ生成部１４により表示データが生成され、表示部３０の表示が更新される。以降、操作判別部１１が、消去操作が終了したと判定する（Ｓ３０でＹＥＳ）まで、Ｓ２６～Ｓ２８の処理を繰り返す。

　〔実施形態２〕
　図４は、本発明の第２実施形態に係る文字認識装置１に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。

　実施形態１に係る文字認識装置１では、消去操作が行われると、当該消去操作の軌跡に対応する認識結果と、手書き文字の軌跡との両方を表示画面から消去することとした（図１のＳ２８、図３の（ｄ））。

　これに対し、本実施形態における文字認識装置は、消去操作の軌跡に対応する認識結果を表示画面から消去する一方、当該消去した認識結果に対応する手書き文字の軌跡は消去せず、引き続き表示している。このような場合における文字認識装置の処理および表示状態について、図４の（ａ）～（ｄ）を用いて説明する。

　図４の（ａ）は、図３の（ｃ）と同様に、ユーザにより消去操作（軌跡ａ）が行われた際の表示状態を示している。このような消去操作が行われた場合、本実施形態に係る文字認識装置は、図４の（ｂ）に示すように、表示画面（表示データ）から上記消去操作の軌跡に対応する認識結果のみを消去し、手書き文字の軌跡は表示したままとする。具体的には、認識部１３は、軌跡取得部１２より消去操作の軌跡を取得すると、認識結果のうち消去操作の軌跡に対応する箇所を消去し、上記箇所が消去された認識結果と、軌跡取得部１２から取得した手書き文字の軌跡とを表示データ生成部１４へ送信し、表示データを作成させればよい。

　そして、図４の（ｃ）に示すように、ユーザにより手書き文字の再入力（軌跡ｂ１）がなされると、文字認識装置は、ユーザにより再入力された手書き文字（軌跡ｂ１）を、前回の（消去操作を行う前の）手書き文字の軌跡の上に重ねて表示する。具体的には、軌跡取得部１２は、前回の手書き文字の軌跡と、再入力された軌跡ｂ１とを共に保持しておき、それらを表示データ生成部１４へ送信し、２つの軌跡を重ねて表示するような表示データを作成させればよい。

　そして、手書き文字の再入力が終了すると、文字認識装置は、上記再入力された手書き文字の軌跡ｂ１に対応する文字を認識し、認識結果を表示すると共に、前回の手書き文字の軌跡の表示を終了する。すなわち、図４の（ｄ）に示すように、軌跡ｂ１と、当該軌跡に対応する認識結果「り」とを重ねて表示すると共に、当該入力欄に表示されていた、消去操作を行う前の手書き文字の軌跡を表示から消去する。具体的には、軌跡取得部１２が、手書き文字の再入力が終了したときに（図１のＳ１６）、保持している手書き文字の軌跡を再入力に係る軌跡のみとなるように更新すればよい。

　上記構成によれば、文字認識装置は、消去操作を行った後も消去された認識結果に対応する手書き入力の軌跡（「い」および「に」に対応する軌跡）を引き続き表示する。換言すると、認識装置は、図４の（ｃ）に示したように、ユーザにより手書き文字の再入力が行われるまで、前回入力した手書き文字の軌跡を表示し続ける。

　そのため、文字認識装置は、ユーザに前回の入力内容を参照させながら再入力を行わせることができ、再入力した文字等が再び誤認識される可能性を減少させることができる。

〔実施形態３〕
　図５は、本発明の第３実施形態に係る文字認識装置１に対し手書き文字の入力、消去、および再入力操作を行った場合の、表示状態を示している。本実施形態に係る文字認識装置は、第２実施形態の文字認識装置１に比べて、ユーザにより手書き文字が上書きされたときに、当該上書きを手書き文字の再入力とし、認識結果を、上書きされた軌跡に対応する認識結果に変更している。

　図５の（ａ）は、認識結果が「い」である３つ目の入力欄にユーザが手書き文字（軌跡ｂ１）を再入力（上書き）した場合の表示状態を示している。再入力が行われると、文字認識装置１は、同図の（ｂ）に示すように、再入力前の手書き文字の軌跡と、当該軌跡に対応する認識結果とを表示画面から消去する。そして、同図の（ｃ）に示すように、３つ目の入力欄に、当該上書きした手書き文字の軌跡ｂ１と、軌跡ｂ１に対応する認識結果ｂ２（「り」）とを表示する。

　上記の構成によれば、ユーザに前回の入力内容および認識結果を参照させながら再入力を行わせることができるので、再入力した文字等が再び誤認識される可能性をさらに減少させることができる。

　〔ソフトウェアによる実現例〕
　文字認識装置１の制御ブロック（特に認識部１３および表示データ生成部１４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

　後者の場合、文字認識装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　〔まとめ〕
　本発明の態様１に係る認識装置（文字認識装置１）は、受付部（操作部２０）が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段（操作判別部１１）と、上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段（認識部１３）と、上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡（認識結果）とを重ねて表示するように表示部（表示部３０）を制御する表示制御手段（表示データ生成部１４）とを備えている。

　上記構成によれば、表示制御手段は、表示部に、手書き入力の軌跡と、当該手書き入力の認識結果である文字等とを重ねて表示させる。これにより、認識装置は、認識結果を表示するための新たな表示エリアを確保することなく、手書き入力された文字等とその認識結果とを確認させることができる。したがって、認識装置は、ユーザによる手書き入力の軌跡と当該入力の認識結果との対比を容易にすることができる。

　なお、上記表示制御手段は、上記認識手段が認識した上記文字または図形の軌跡と、上記軌跡検出手段が検出した上記手書き入力の軌跡のうち、当該文字または図形それぞれに対応する手書き入力の軌跡とを重ねて表示することが望ましい。これにより、認識装置はユーザに、手書き入力の軌跡のどの部分が、どの文字等（認識結果）として認識されたかを示すことができる。したがって、手書き入力の軌跡と、その認識結果との対比をより容易にさせることができる。

　本発明の態様２に係る認識装置は、上記態様１において、上記表示制御手段は、上記受付部が手書き入力の再入力を受け付けた後に、上記再入力前に表示部に表示させていた手書き入力の軌跡の表示を終了させてもよい。

　上記構成によれば、認識装置は、手書き入力の再入力の受け付けが終了した後に、再入力前に表示していた手書き入力の軌跡の表示を終了する。換言すると、再入力中には、当該再入力前に入力した手書き入力の軌跡（前回の手書き入力の軌跡）が表示されている。

　このように、ユーザに前回の入力内容を参照させながら再入力を行わせることができるので、再入力した文字等が再び誤認識される可能性を減少させることができる。

　なお、上記再入力前の手書き入力の軌跡の表示を終了することは、上記再入力の受け付けを終了した時点から、上記再入力の軌跡が認識され、認識された軌跡と上記再入力の軌跡とを重ねて表示する時点までの間に行われればよい。

　本発明の態様３に係る認識装置は、上記態様２において、上記受付部は、上記手書き入力に加え所定の消去操作を受け付け、上記表示制御手段は、上記受付部が上記再入力を受け付ける前に上記消去操作を受け付けると、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させてもよい。

　上記の構成によれば、手書き入力の再入力前に消去操作を行うと、認識された文字等の軌跡の表示が消去されるが、手書き入力の軌跡は表示されたままである。従って、第２態様に係る認識装置の効果を確実に奏することができる。

　本発明の態様４に係る認識装置は、上記態様２において、上記表示制御手段は、上記受付部が上記再入力を受け付けた後に、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させてもよい。

　上記の構成によれば、手書き入力の再入力中には、再入力前に表示していた手書き入力の軌跡および認識結果の軌跡が表示されている。従って、ユーザに前回の入力内容および認識結果を参照させながら再入力を行わせることができるので、再入力した文字等が再び誤認識される可能性をさらに減少させることができる。

　なお、上記再入力前の文字または図形の軌跡の表示を終了することは、上記再入力の受け付けが終了した時点から、上記再入力の軌跡が認識され、認識された文字または図形の軌跡と上記再入力の軌跡とを重ねて表示する時点までの間に終了されればよい。

　本発明の態様５に係る認識装置は、上記態様１から４において、上記表示制御手段は、上記手書き入力の軌跡よりも、上記認識した文字または図形の軌跡の方が目立つように表示部を制御することが好ましい。

　上記構成によれば、認識された文字または図形の軌跡をユーザは容易に把握することができる。なお、上記目立つように表示部を制御するには、上記手書き入力の軌跡と、上記文字または図形の軌跡との表示形態がそれぞれ異なるように、表示部を制御すればよい。上記表示形態の例としては、色、濃淡、大きさ、線の太さなどが挙げられる。

　本発明の態様６に係る認識装置の制御方法は、手書き入力された文字または図形を認識する認識装置の制御方法であって、受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出ステップ（Ｓ１０）と、上記軌跡検出ステップにて検出された軌跡を、文字または図形として認識する認識ステップ（Ｓ１８）と、上記手書き入力の軌跡と、上記認識ステップにて認識された文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御ステップ（Ｓ２０）とを含む。この場合、上記態様１と同様の効果を奏する。

　本発明の各態様に係る認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記認識装置が備える各手段として動作させることにより上記文字認識装置をコンピュータにて実現させる認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

　本発明は、手書き入力された文字または図形などを認識する認識装置に用いられ、特に、タッチパネルを有する認識装置に好適に用いることができる。

　１　文字認識装置（認識装置）、１１　操作判別部（軌跡検出手段）、１２　軌跡取得部、１３　認識部（認識手段）、１４　表示データ生成部（表示制御手段）、２０　操作部（受付部）、３０　表示部、４０　記憶部、４１　認識候補データ

Claims

　受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出手段と、
　上記軌跡検出手段が検出した軌跡を、文字または図形として認識する認識手段と、
　上記手書き入力の軌跡と、上記認識手段が認識した文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御手段とを備えることを特徴とする認識装置。
　上記表示制御手段は、上記受付部が手書き入力の再入力を受け付けた後に、上記再入力前に表示部に表示させていた手書き入力の軌跡の表示を終了させることを特徴とする請求項１に記載の認識装置。
　上記受付部は、上記手書き入力に加え所定の消去操作を受け付け、
　上記表示制御手段は、上記受付部が上記再入力を受け付ける前に上記消去操作を受け付けると、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させることを特徴とする、請求項２に記載の認識装置。
　上記表示制御手段は、上記受付部が上記再入力を受け付けた後に、上記再入力前に表示部に表示させていた、上記認識した文字または図形の軌跡の表示を終了させることを特徴とする、請求項２に記載の認識装置。
　上記表示制御手段は、上記手書き入力の軌跡よりも、上記認識した文字または図形の軌跡の方が目立つように表示部を制御することを特徴とする請求項１から４の何れか１項に記載の認識装置。
　手書き入力された文字または図形を認識する認識装置の制御方法であって、
　受付部が受け付けた手書き入力から当該手書き入力の軌跡を検出する軌跡検出ステップと、
　上記軌跡検出ステップにて検出された軌跡を、文字または図形として認識する認識ステップと、
　上記手書き入力の軌跡と、上記認識ステップにて認識された文字または図形の軌跡とを重ねて表示するように表示部を制御する表示制御ステップとを含む認識装置の制御方法。