〔実施形態1〕
本発明の一実施形態について、図1から図6に基づいて説明すると以下の通りである。
〔文字認識装置1の概略構成〕
まず、本実施形態に係る文字認識装置1(検索装置)の外観について、図2を用いて説明する。図2は、本実施形態に係る文字認識装置1の外観の一例を示すブロック図である。
文字認識装置1は、例えば、単語(文字または文字列)が入力されると、入力した単語の属性情報(例えば、単語の品詞、発音記号、語義、熟語、反意語、同意語、及び用例などの種々の情報)をユーザに提示する電子辞書を想定したものである。文字認識装置1は、図示のように、第1筐体2と第2筐体3とが向き合うように、ヒンジ部Hで折り畳むことができる、いわゆるクラムシェル型である。なお、文字認識装置1が対象とする辞書の種類は、英和/和英辞書、国語/漢字辞典を含む多機能辞書に適用した例であるが、これらの辞書に限られたものではない。
第1筐体2は、液晶パネルとタッチパッドとを備えた第1表示パネル11(第1表示部)を備えている。液晶パネルは、例えば辞書の種類を表示したり、見出し語の訳語および解説などの辞書データを複数行にわたって提示することを可能とするものである。また、タッチパッドは、ユーザが指やペン41などで液晶パネルを押した(触れた)ときに、その押した位置を検知することができるように、液晶パネル表面(外面)上に設けられたものである。これにより、第1表示パネル11は、指やペン41などの位置および動きを検出することができるので、例えば辞書の種類を選択するためのタグやアイコンなどのGUIを表示している場合に当該GUIがペン41で押されると、その押されたタグなどに対応した機能を実行させることを可能にしている。
第2筐体3は、第2表示パネル12(第2表示部)と各種キー13とを備えている。第2表示パネル12は、第1表示パネル11と同様、液晶パネルとタッチパッドを備えた構成であるが、第1表示パネル11に比べその面積が小さい。また、第2表示パネル12は、ペン41などの動きを筆跡として検知し、オンライン手書き文字認識を可能とするための表示がなされている。これにより、文字認識装置1は、ユーザのペン41による第2表示パネル12に対するユーザ操作を筆跡として取得することができる。
なお、本実施形態では、枠無し手書き認識処理が行われるため、第2表示パネル12は、ユーザ操作として入力された筆跡を予め分割するための枠を表示しないものとして説明するが、これに限らず、枠の表示/非表示を切り替える構成であってもよい。
各種キー13は、第1表示パネル11に対する入力やアプリケーション(例えば辞書検索機能)の実行などを行うためのものである。具体的には、各種キー13は、文字入力を行うための英数キー等からなる文字キー、第1表示パネル11に対する表示方法を選択するための表示キー、および、辞書の検索または選択を決定するための検索/決定キーを含むものである。その他、各種キー13は、第1表示パネル11に表示されるカーソルなどを移動させるカーソルキー、次見出しを検索するための次見出しキー、前見出しを検索するための前見出しキーを含むものである。
なお、第1表示パネル11では、液晶パネルが用いられているが、これに限らず、有機EL(Electro Luminescence)パネルなどを用いてもよい。また、第1表示パネル11のタッチパッドとしては、第1表示パネル11の表面を触れたときの電荷量の変化を検知する静電容量方式や、当該表面と、この表面とわずかな間隔で取り付けたフィルムとに導電性の薄膜を貼り、これらの薄膜が接して電気が通ったか否かを検出する表面抵抗膜方式などが挙げられる。さらに、ペン41の位置および動きを検出する部材としては、タッチパッドに限らず、例えばフォトダイオードを備えることで実現される光センサなどが用いられてもよい。なお、ここでは第1表示パネル11を例に説明したが、第2表示パネル12についても同様である。
〔文字認識装置1のより詳細な構成〕
次に、本実施形態に係る文字認識装置1の要部構成について、図1を用いて説明する。図1は、本実施形態に係る文字認識装置1の要部構成の一例を示すブロック図である。
文字認識装置1は、第1表示パネル11と、第1表示パネル11よりも小さく、ユーザ操作として入力された筆跡を予め分割するための枠を表示しない第2表示パネル12と、を備えることにより、第2表示パネル12に対して入力された筆跡を文字として認識するものである。また、文字認識装置1は、辞書データを格納する記憶部23を備えており、認識した文字を用いて当該辞書データ42(図3参照)を検索するものである。文字認識装置1は、図示のように、第1表示パネル11、第2表示パネル12、各種キー13および制御部14を備えており、後述の「別候補ボタンB2」が押されることにより、制御部14が作成した複数の候補パターンを一度に第2表示パネル12に表示させるものである。第1表示パネル11、第2表示パネル12および各種キー13については、上記〔文字認識装置1の概略構成〕に説明したので、ここではその説明を省略する。
制御部14は、第1表示パネル制御部21(第1表示制御手段)、第2表示パネル制御部22、記憶部23および一次記憶部24を備えており、例えば制御プログラムを実行することにより、文字認識装置1を構成する部材を制御するものである。制御部14は、例えば第2表示パネル12に対して入力された筆跡を文字として認識し、第1表示パネル11での辞書検索を実現するものである。制御部14は、文字認識装置1に備えられた記憶部23に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部24に読み出して実行することにより、文字認識装置1や辞書機能などの起動、第1表示パネル11、第2表示パネル12または各種キー13へのユーザ操作に対応した処理、辞書の検索処理、第1および第2表示パネル11、12の制御などの各種処理を実行する。
第1表示パネル制御部21は、第1表示パネル11へのユーザ操作に対応した処理や、第1表示パネル11への表示制御などを行うものである。特に、第1表示パネル制御部21は、後述の候補表示制御部352が第2表示パネル12に表示させた複数の候補パターンのいずれかの候補パターンが示す文字を用いて、後述の記憶部23に格納された辞書データ42を検索し、検索結果を上記第1表示部に表示させるものである。なお、第1表示パネル制御部21が記憶部23に格納された辞書データ42を参照することにより、辞書検索を行うときの処理の流れについては後述する。
同様に、第2表示パネル制御部22は、第2表示パネル12へのユーザ操作に対応した処理や、第2表示パネル12への表示制御などを行うものである。なお、第2表示パネル制御部22の要部構成については後述する。
記憶部23は、第1および第2表示パネル制御部21、22が実行する(1)各部の制御プログラム、(2)OSプログラム、(3)アプリケーションプログラム、および、(4)これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部23は、例えばROM(Read Only Memory)フラッシュメモリなどの不揮発性の記憶装置によって構成されるものである。
また、記憶部23は、訳、例文等の辞書内容を収録した辞書データ42を辞書ごとに格納している。ここで、辞書データ42について図3を用いて説明する。図3は、辞書データ42のデータフォーマットを示す図である。
図示のように、辞書データ42は、収録辞書データ検索用テーブル42a、収録辞書データ格納アドレステーブル42bおよび収録辞書データ42cから構成されている。
収録辞書データ検索用テーブル42aは、各種キー13を用いて、第1表示パネル11に表示された辞書検索文字表示エリアA11(図5の画面11参照)に入力された文字列から収録辞書データ42cを検索するための見出し語の文字列を格納している。また、収録辞書データ格納アドレステーブル42bは、収録辞書データ42cに格納された各辞書データ(語句の意味、訳など)のアドレスを格納しており、上記収録辞書データ検索用テーブル42aの見出し語と対応付けられている。
ここで、辞書検索が行われる際の文字認識装置1における処理について説明する。第1表示パネル制御部21は、辞書検索文字表示エリアA11に文字列の入力(各種キー13による直接入力、または、第2表示パネル12への入力に基づく当該エリアへの入力)があると、収録辞書データ検索用テーブル42aに当該文字列が存在するかを確認する。第1表示パネル制御部21は、収録辞書データ検索用テーブル42a内に当該文字列を確認すると、収録辞書データ格納アドレステーブル42bから当該文字列に対応するアドレスを取得し、収録辞書データ42c内の当該アドレスに対応する辞書データ(「見出しおよび内容」)を取得する。そして、第1表示パネル制御部21は、上記文字列の辞書検索の結果として、収録辞書データ42cから取得した辞書データを、第1表示パネル11(具体的には辞書検索結果表示エリアA12(図5の画面11参照))に表示させる。
また、記憶部23は、後述のモード設定部32が第2表示パネル制御部22の各種モードを設定するための手書き認識設定テーブルT1を格納している。手書き認識設定テーブルT1は、「手書き認識設定1」、「手書き認識設定2」および「手書き認識設定3」の設定内容および設定値がそれぞれ格納している。
「手書き認識設定1」は、第2表示パネル12に表示された手書き入力エリアA3(図5の画面1参照)への文字入力によって「枠無し手書き認識処理」が開始されるためのタイミングを示すもの(認識モード)である。設定値の「自動」は、第2表示パネル12からペン41が離れて所定の時間が経過したときに「枠無し手書き認識処理」が開始される自動認識モードである。一方、設定値の「手動」は、第2表示パネル12に表示されたボタン表示エリアA4(図5の画面1参照)の「認識ボタン」がユーザにより押された(もしくはその後離れた)ときに「枠無し手書き認識処理」が開始される手動認識モードである。ここでは、「自動」にデフォルト設定されており、モード設定部32による設定の切り替えが可能である。
「手書き認識設定2」は、上記自動認識モードが設定されている際に、手書き入力エリアA3からペン41が離れてから「枠無し手書き認識処理」が開始されるまでの時間を示すものであり、ここでは、「2000ms(2秒)」にデフォルト設定されている。
「手書き認識設定3」は、第2表示パネル制御部22が手書き入力エリアA3に対するユーザ操作をどのように処理するかを示すものである。設定値の「筆跡モード」は、第2表示パネル制御部22が手書き入力エリアA3に対するユーザ操作を筆跡として処理することを示すものである。この場合、ユーザは、手書き入力エリアA3に対する文字入力が可能である。一方、設定値の「選択モード」は、第2表示パネル制御部22が手書き入力エリアA3に対するユーザ操作を、候補パターンまたは候補文字の選択操作として処理することを示すものである。この場合、ユーザは、手書き入力エリアA3に表示された候補パターンまたは候補文字の選択を行うことが可能である。ここでは、「筆跡モード」にデフォルト設定されており、モード設定部32による設定の切り替えが可能である。
その他、記憶部23は、選択結果表示エリアA1(図5の画面1参照)などの各エリアおよび各種ボタンが表示される位置を示す座標データ、文字認識部34が照合を行うときに用いる文字データベースなどを格納している。
一次記憶部24は、RAMなどの揮発性の記憶装置によって構成され、第1および第2表示パネル制御部21、22が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用されるものである。一次記憶部24は、操作取得部31が取得するペン41の接触位置(筆跡)、切り出しパターン作成部33が作成した切り出しパターンおよび優先順位、文字認識部34が作成した候補パターンおよび候補文字などを格納している。
次に、図1を用いて、第2表示パネル制御部22の要部構成について説明する。第2表示パネル制御部22は、操作取得部31(操作取得手段)、モード設定部32、切り出しパターン作成部33(パターン作成手段)、文字認識部34(文字認識手段)および表示制御部35を備えている。
操作取得部31は、第2表示パネル12に対するユーザ操作を、第2表示パネル12のタッチパッドから取得し、当該タッチパッドに対するペン41の接触/非接触および接触位置を判断するものである。
モード設定部32は、操作取得部31の判断結果に応じて、手書き認識設定テーブルT1(「手書き認識設定1」または「手書き認識設定3」)の設定の切り替えを行うものである。また、モード設定部32は、手書き入力エリアA3に入力される文字の種別(ひらがな、半角英数など)を示す入力モードの設定の切り替えを行うものである。これは、操作取得部31が、例えば各種キー13のうちの、入力モードの切り替えを行うためのキーが押されたことを検知したときに行われる。
切り出しパターン作成部33は、筆跡表示部351が手書き入力エリアA3への文字入力が完了したと判断した場合に、当該文字入力の結果としての筆跡を示すデータを一次記憶部24から読み出し、当該筆跡に対して文字切り出し処理を行うものである。すなわち、切り出しパターン作成部33は、操作取得部31がユーザ操作を筆跡として取得した場合に、当該筆跡を切り分けた複数の切り出し領域を有する切り出しパターンを複数作成するものである。
また、切り出しパターン作成部33は、作成した切り出しパターンそれぞれの切り出し領域の個数を計数することにより、当該切り出しパターン毎に当該個数の平均値を算出し、当該平均値に近い順に優先順位を決定してもよい。例えば、平均値に近い切り出しパターンの優先順位が最も高くなるように(例えば優先順位が最も高い切り出しパターンに「1(位)」と付ける)決定する。そして、切り出しパターン作成部33は、この優先順位を切り出しパターンと対応付けて一次記憶部24に格納する。
なお、切り出しパターン作成部33は、上記切り出し領域の少ない(もしくは多い)順に優先順位が高くなるように当該優先順位を決定してもよい。また、切り出しパターン作成部33(または文字認識部34)は、取得したユーザ毎の筆跡の癖を学習し、その学習結果に応じて優先順位を決定してもよい。
文字認識部34は、切り出しパターン作成部33が作成した切り出しパターンの切り出し領域それぞれの筆跡に対して文字認識を行うことにより、切り出しパターンそれぞれに対応する候補パターンを作成し、一次記憶部24に格納するものである。このとき、文字認識部34は、切り出し領域それぞれの筆跡に対する文字認識の結果を、候補文字として一次記憶部24に格納するものである。
表示制御部35は、第2表示パネル制御部22の処理に応じて、例えば図5の画面1〜画面11などを表示させるものである。表示制御部35は、筆跡表示部351、候補表示制御部352(表示制御手段)および選択領域切替部353を備えている。
筆跡表示部351は、手書き入力エリアA3に入力される文字の筆跡を、ペン41の動きに追随して表示させるものである。
候補表示制御部352は、文字認識部34が作成した複数の候補パターンを、ユーザが選択可能に第2表示パネル12に表示させるものである。候補表示制御部352は、例えば文字認識部34が作成した複数の候補パターンを優先順位の高い順に並べて手書き入力エリアA3に表示させる。
また、候補表示制御部352は、文字認識部34が候補パターンを作成したときに行った文字認識の結果である候補文字を一次記憶部24から読み出し、手書き入力エリアA3に表示させるものである。すなわち、候補表示制御部352は、操作取得部31がユーザ操作として取得した筆跡を表示させる手書き入力エリアA3(筆跡表示領域)に、文字認識部34が認識した候補文字を表示させるものである。なお、この処理は、候補表示制御部352が手書き入力エリアA3に表示させた複数の候補パターンのうちの1の候補パターンが選択結果表示エリアA1に表示されている状態で、当該1の候補パターンのうちの1文字にペン41が触れたときに行われるものである。
選択領域切替部353は、手書き入力エリアA3に表示された複数の候補パターンのうちの1つにペン41が触れたときに、当該候補パターンを選択状態(例えば当該候補パターンが表示される領域を反転表示とする)にした後、当該選択状態となった候補パターンを選択結果表示エリアA1に表示させるものである。
また、選択領域切替部353は、選択結果表示エリアA1に表示された1の候補パターンのうちの、ペン41が触れた1文字を選択状態(例えば当該文字が表示される領域を反転表示とする)にするものである。
さらに、選択領域切替部353は、手書き入力エリアA3に表示された複数の候補文字のうちの1つにペン41が触れたときに、当該候補文字を選択状態(例えば当該候補文字が表示される領域を反転表示とする)にする。その後、選択領域切替部353は、この手書き入力エリアA3において選択状態とした候補文字を、選択結果表示エリアA1において選択状態とした1文字の代わりに、選択結果表示エリアA1に表示させるものである。
〔文字認識装置1における処理による画面遷移例〕
次に、本実施形態に係る文字認識装置1における処理による画面遷移例について、図5を用いて説明する。図5は、本実施形態に係る文字認識装置1における処理による画面遷移例の一例を示す図である。なお、文字認識装置1における具体的な処理の流れについては後述する。なお、ここでは、文字認識装置1の本体が開かれ、辞書機能が立ち上がっているものとする。
まず、文字認識装置1が起動すると、第2表示パネル12には手書き入力エリアなどが表示される(画面1)。このとき、第2表示パネル12は、文字認識部34が作成した候補パターンのうち、ユーザが選択した1の候補パターンが表示される選択結果表示エリアA1、認識モードなどが表示されるモード表示エリアA2、手書き入力を取得するための手書き入力エリアA3、および、各種ボタンが配置されるボタン表示エリアA4から構成されている。
選択結果表示エリアA1には、当該エリアに表示される候補パターンを確定して、第1表示パネル11の辞書検索文字表示エリアA11(画面11参照)に当該候補パターンを表示させるための「採用ボタンB1(「採用」)」が配置された構成となっている。
モード表示エリアA2には、自動認識モードに設定されている場合には「自」が表示され、手動認識モードに設定されている場合には「手」が表示される。また、モード表示エリアA2には、入力される文字の種別を示す入力モードが表示される。さらに、画面3に示すように、モード表示エリアA2には、手書き入力エリアA3にユーザが文字を入力して文字切り出し処理が実行された後、手書き入力エリアA3に複数の候補パターンを表示させるための「別候補ボタンB2(「別候補」)」が表示される。
手書き入力エリアA3は、手書き入力エリアA3の設定が「筆跡モード」の場合には、ユーザが文字を入力したときにその筆跡を表示させ、当該設定が「選択モード」の場合には、画面3や画面7などに示すように、候補パターンまたは候補文字を表示させるものである。
ボタン表示エリアA4には、例えば、手動認識モードのときに、文字切り出し処理を開始させるための「認識ボタン(「認」)」、手書き入力エリアA3に枠を表示させるか否かを決定するための「枠切替ボタン(「枠」)」、自動/手動認識モードを切り替える「モード切替ボタン(「自」)」、手書き入力エリアA3に入力した文字の書き直しを行うための「書き直しボタン(「直」)」、第2表示パネル12の表示(例えば「枠有り手書き認識処理」時に表示される候補文字)を拡大するための「拡大ボタン(「拡」)」、手書き認識処理用の画面(例えば図5の画面1〜画面10)と、ひらがな50音を入力可能な画面(例えばソフトキーボード)とを切り替えるための「50音表示画面切り替えボタン(「50」)」が配置されている。ペン41が各ボタンを押すと、押したことを示す信号が第2表示パネル12のタッチパッドから第2表示パネル制御部22に送信され、第2表示パネル制御部22は、記憶部23から各ボタンに対応付けられた制御プログラムを読み出して実行することにより、各ボタンの機能が実行する。
なお、「枠有り手書き認識処理」とは、ユーザに1文字ずつ入力させるための枠を第2表示パネル12に予め表示させる場合の文字認識処理のことである。また、「50音表示画面切り替えボタン」は、入力モードが「ひらがな」、すなわち辞書機能が日本語入力を可能としている場合に有効となるものである。
画面1の第2表示パネル12の手書き入力エリアA3に対して、ユーザがペン41を用いて文字を入力すると、手書き入力エリアA3にはその筆跡が表示され(画面2)、モード表示エリアA2に「別候補ボタンB2」が表示される(画面3)。また、画面3では、選択結果表示エリアA1には、第2表示パネル制御部22が最も優先順位の高い候補パターンと決定した候補パターンが表示される。そして、ユーザにより「別候補ボタンB2」が押されると、第2表示パネル制御部22で作成された複数の候補パターンが手書き入力エリアA3に表示される。
手書き入力エリアA3に表示された複数の候補パターンのうち、1の候補パターン(ここでは「unity」)をペン41で触れることにより、当該1の候補パターンが選択状態であることを示す表示に切り替わった後(画面5)、選択結果表示エリアA1に表示される(画面6)。
次に、ユーザが選択結果表示エリアA1に表示された候補パターンの文字(ここでは「t」)が表示されている特定領域をペン41で触れると、当該特定領域(当該文字)が選択状態であることを示す表示に切り替わり、当該特定領域に対応する候補文字が手書き入力エリアA3に表示される(画面7)。
そして、手書き入力エリアA3に表示された複数の候補文字のうち、1の候補文字(ここでは「f」)をペン41で触れると、第2表示パネル制御部22は、当該1の候補文字が選択状態であることを示す表示に切り替える(画面8)。その後、第2表示パネル制御部22は、選択結果表示エリアA1の選択状態にある文字(「t」)を、ユーザにより選択された候補文字(「f」)に変更する(図9)。
ユーザは、手書き入力エリアA3に描いた文字(画面2で表示された筆跡)どおりの文字が選択結果表示エリアA1に表示されたことを確認すると、当該エリアの「採用ボタンB1」に触れる。このとき、第2表示パネル制御部22は、「採用ボタンB1」に接触があったと判断し、当該ボタンが選択状態であることを示す表示に切り替える(画面10)。そして、第2表示パネル制御部22は、ユーザが「採用ボタンB1」からペン41を離したと判断すると、その旨を第1表示パネル制御部21に通知する。
第1表示パネル制御部21は、上記通知を受けると、辞書検索文字表示エリアA11に、「採用ボタンB1」を触れたときに選択結果表示エリアA1に表示されていた文字(ここでは「unify」)を、辞書検索文字表示エリアA11に表示させる(画面11)。このとき、第1表示パネル制御部21は、上記文字での辞書検索を行い、その結果(例えば文字(語句)の意味)を辞書検索結果表示エリアA12に表示させる。また、第2表示パネル制御部22は、第2表示パネル12の表示を画面1の状態に戻して、次の文字入力が行えるようにする。
〔文字認識装置1における処理の流れ〕
次に、本実施形態に係る文字認識装置1における処理の流れについて、図6を用いて説明する。図6は、本実施形態に係る文字認識装置1における処理の流れの一例を示すフローチャートである。なお、「画面1」〜「画面11」の記載は、図5に示す表記に対応するものである。
まず、第2表示パネル制御部22は、第2表示パネル12に表示された手書き入力エリアA3(画面1)においてペン41によるタッチ(ペンタッチ)があったか否かを判定する(ステップS1、以降「ステップ」を省略する)。
具体的には、第2表示パネル12に表示された手書き入力エリアA3にペン41が触れると、第2表示パネル12のタッチパッドは、当該位置にペン41が触れたことを検知し、その検知結果(すなわち、ペン41の接触、および、その触れた位置を検知した結果)を第2表示パネル制御部22の操作取得部31に送信する。操作取得部31は、第2表示パネル12から検知結果を受信することで、ペン41が触れたときの接触位置を取得する。そして、操作取得部31は、この接触位置が手書き入力エリアA3内であるか否かを判定することにより、手書き入力エリアA3にペン41によるタッチがあったか否かを判定する。
操作取得部31は、手書き入力エリアA3にペン41によるタッチがあったと判定すると(S1でYes)、上記接触位置を表示制御部35に送信する。表示制御部35の筆跡表示部351は、上記接触位置を受信すると、例えばその位置の画素が有する色情報を変更した画像を第2表示パネル12に表示させる。そして、ペン41が手書き入力エリアA3を移動するたびに、筆跡表示部351は、操作取得部31から接触位置を受信し、当該接触位置の画素が有する色情報を変更した画像と、当該位置を取得する前に作成した画像とを合成することにより、第2表示パネル12に入力された文字の筆跡を表示させる(画面2)(S2)。すなわち、筆跡表示部351は、ペン41が手書き入力エリアA3に触れている間、操作取得部31が取得する接触位置の画素が有する色情報を変更していくことで、ペン41の動きに追随して筆跡を表示させることができる。なお、筆跡表示部351(または操作取得部31)は、手書き入力エリアA3にペン41を用いて文字入力が行われている間、操作取得部31から受信するペン41の接触位置を順次一次記憶部24に格納しているものとする。
筆跡表示部351は、手書き入力エリアA3に筆跡を表示させると(もしくはその間に)、記憶部23に格納された手書き認識設定テーブルT1の「手書き認識設定1」を参照することにより、当該認識設定1(認識モード)が「自動」および「手動」のいずれに設定されているかを判定する(S3)。
そして、筆跡表示部351は、S3にて「自動」に設定されていると判定した場合には、ペン41が手書き入力エリアA3から離れたか否かを確認し、離れた場合には、当該離れたときからの経過時間が、所定の時間(記憶部23に格納された手書き認識設定テーブルT1の「手書き認識設定2」の設定値)を超えたか否かを判定する(S4)。すなわち、筆跡表示部351は、第2表示パネル12のタッチパッドによるペンアップ検知からの経過時間が、所定の時間を超えたか否かを判定する。
具体的には、ペン41が手書き入力エリアA3から離れた(ペンアップした)とき、第2表示パネル12のタッチパッドは、ペン41が非接触となったことを検知し、検知結果を操作取得部31に送信する。筆跡表示部351は、操作取得部31を介して、この検知結果を受信することにより、ペン41が手書き入力エリアA3から離れたことを確認する。筆跡表示部351は、この確認時点で計時を開始し、記憶部23に格納された手書き認識設定テーブルT1の「手書き認識設定2」を参照することにより、当該認識設定2に設定された所定の時間(ここでは「2000ms」)が経過するまで計時を続ける。
筆跡表示部351が計時した時間が上記所定の時間が超えたと判定すると(S4でYes)、第2表示パネル制御部22では、ユーザによる手書き入力エリアA3に対する文字入力が完了したと判断され、「枠無し手書き認識処理」が実行される(S5)。
具体的には、筆跡表示部351が上記判定を行うと、当該判定結果を、切り出しパターン作成部33に送信する。切り出しパターン作成部33は、上記判定結果を受信すると、S2以降一次記憶部24に順次格納された、操作取得部31が取得したペン41の接触位置を、筆跡を示すデータとして読み出し、当該筆跡に対して文字切り出し処理を行う。切り出しパターン作成部33は、例えば文字入力中のペンアップした位置などを文字の切れ目であると判断し、上記筆跡を当該切り目で切り分けることにより、複数の切り出し領域を有する切り出しパターンを複数作成する。
切り出しパターン作成部33は、複数の切り出しパターンを作成すると、当該パターンを一次記憶部24に格納し、筆跡に対する切り出しが完了したことを文字認識部34に通知する。文字認識部34は、当該通知を受けると、一次記憶部24から切り出しパターンを読み出し、当該切り出しパターンの切り出し領域それぞれの筆跡に対して文字認識を行うことにより、切り出しパターンそれぞれに対応する候補パターンを作成する。
文字認識部34は、例えばモード設定部32が設定している入力モード(ここでは「半角英数」)に対応する、記憶部23に格納された文字データベースを読み出し、各切り出し領域の筆跡との照合(例えばパターンマッチング)を行うことにより文字認識を行う。文字認識部34は、切り出しパターン作成部33が作成した全ての切り出しパターンに対して文字認識を行い、各切り出しパターンに対応する候補パターン(文字認識結果)を作成する。また、文字認識部34は、候補パターンを作成したときに切り出し領域ごとに行った文字認識の結果を候補文字として、当該切り出し領域に対応付けて一次記憶部24に格納する。文字認識部34は、これらの候補パターンを一次記憶部24に格納すると、候補パターンの作成が完了した(文字認識が完了した)ことを表示制御部35に送信することにより、S5の処理を終了する。
一方、筆跡表示部351は、S3にて「手動」に設定されていると判定した場合には、当該判定結果を操作取得部31に送信する。操作取得部31は、この判定結果を受信すると、ボタン表示エリアA4に表示された「認識ボタン」をペン41が触れたか(「認識ボタン」が押されたか)否かを判定する(S6)。すなわち、操作取得部31は、第2表示パネル12のタッチパッドから取得する接触位置が、「認識ボタン」内であるか否かを判定することにより、当該ボタンにペン41が触れたか否かを判定する。
操作取得部31が「認識ボタン」をペン41が触れたと判定すると(S6でYes)、第2表示パネル制御部22では、ユーザによる手書き入力エリアA3に対する文字入力が完了したと判断され、S5の処理に移行する。一方、操作取得部31が「認識ボタン」をペン41が触れていないと判定した場合には(S6でNo)、第2表示パネル制御部22では、引き続きユーザによる文字入力が行われていると判断され、S2の処理に戻る。
次に、S5の処理(枠無し手書き認識処理)後、すなわち、文字認識部34が候補パターンの作成が完了した旨を表示制御部35に通知すると、表示制御部35は、選択結果表示エリアA1に、候補パターンの1つ(ここでは「unitij」)を認識結果として表示させる(画面3)(S7)。
具体的には、候補表示制御部352は、上記通知を受けると、一次記憶部24に格納された候補パターンの優先順位(候補パターンに対応する切り出しパターンに付された優先順位)のうち、最も優先順位が高く設定されている候補パターンを読み出し、当該候補パターンを選択結果表示エリアA1に表示させる。このとき、候補表示制御部352は、「別候補ボタンB2」をモード表示エリアA2に表示させる。
その後、第2表示パネル12のタッチパッドが、第2表示パネル12に対するペン41の接触を検知すると、操作取得部31は、当該検知結果を受信することにより、その接触位置が「別候補ボタンB2」内であるか否かを判定する。これにより、操作取得部31は、ペン41が「別候補ボタンB2」に触れたか(「別候補ボタンB2」が押されたか)否かを判定する(S8)。
操作取得部31によりペン41が「別候補ボタンB2」に触れたと判定されると(S8でYes)、当該判定結果をモード設定部32に送信する。モード設定部32は、記憶部23に格納された手書き認識設定テーブルT1の「手書き認識設定3」を「筆跡モード」から「選択モード」に切り替えることにより、筆跡表示部351の手書き入力エリアA3への筆跡表示を不可にする(S9)。すなわち、筆跡表示部351は、モード設定部32からモード切り替えを行った旨の通知を受けると、手書き入力エリアA3への筆跡表示を中止する。
そして、候補表示制御部352は、筆跡表示部351による筆跡表示が中止されると、一次記憶部24に格納された候補パターンを読み出し、当該候補パターンを手書き入力エリアA3に表示させる(画面4)(S10)。このとき、候補表示制御部352は、候補パターンの優先順位を参照して、当該優先順位の高い順に並べて(すなわち、手書き入力エリアA3の、モード表示エリアA2に近い方から遠い方へ順に並べて)候補パターンを表示させる。
なお、候補表示制御部352は、文字認識部34により作成された3つの候補パターンを、図5の画面3に示すように(3行となるように)手書き入力エリアA3に表示させているが、これに限られたものではない。すなわち、文字認識部34は、より多くの候補パターンを作成してもよく、この場合、候補表示制御部352は、全ての候補パターンを手書き入力エリアA3に表示させてもよいし、スクロール機能を用いて順次(例えば3つずつ)表示させるようにしてもよい。
その後、操作取得部31は、手書き入力エリアA3に表示された候補パターンのうち、選択結果表示エリアA1に表示された候補パターンとは異なる候補パターン(他の候補パターン)が表示される領域にペン41が触れたか(他の候補パターンの何れがタッチされたか)否かを判定する(S11)。すなわち、操作取得部31は、第2表示パネル12のタッチパッドからの検知結果を受信することで、その接触位置が手書き入力エリアA3のどの候補パターンの領域内にあるのかを判定する。
操作取得部31が他の候補パターンが表示される領域にペン41が触れたと判定すると(S11でYes)、当該判定結果を選択領域切替部353に送信する。選択領域切替部353は、当該判定結果を受信すると、その接触位置に対応する候補パターンが選択されたと判定し、当該候補パターンを選択状態とする(図5の画面5)。その後、選択領域切替部353は、S7で表示させた候補パターンから、当該選択状態とした候補パターンに切り替えて、当該候補パターン(すなわちユーザが選択した候補パターン)を選択結果表示エリアA1に表示させる(画面6)(S12)。
なお、選択領域切替部353は、画面5から画面6に遷移させる際、選択状態となった候補パターンを表示させた領域からペン41が離れたタイミングで、当該候補パターンを選択結果表示エリアA1に表示させてもよい。この場合、選択領域切替部353は、操作取得部31から、第2表示パネル12のタッチパッドによる検知結果(ペン41が離れたことを示す検知結果)を受信することで、ペン41が離れたことを判断する。また、選択領域切替部353は、例えば候補パターンが選択状態となってから予め決められた時間が経過したときに、画面5から画面6へ遷移させるようにしてもよい。
選択領域切替部353が選択結果表示エリアA1の表示を切り替えると、その旨をモード設定部32に通知する。モード設定部32は、手書き認識設定テーブルT1の「手書き認識設定3」を「選択モード」から「筆跡モード」に切り替えることにより、筆跡表示部351の手書き入力エリアA3への筆跡表示を可能にする(S13)。すなわち、筆跡表示部351は、モード設定部32からモード切り替えが行われた旨の通知を受けると、その後操作取得部31が取得する、手書き入力エリアA3へのペン41による入力操作(第2表示パネル12のタッチパッドの検知結果)を筆跡として扱うものとする。なお、S11でNoの場合も、S13の処理に移行する。
S13の処理後、または、S8でNoの場合に、選択結果表示エリアA1に表示された認識結果としての候補パターン内の何れか1文字(すなわち、当該文字が表示される領域)にペン41が触れたか(何れか1文字がタッチされたか)否かを判定する(S14)。すなわち、操作取得部31は、第2表示パネル12のタッチパッドからの検知結果を受信することで、その接触位置が選択結果表示エリアA1に表示された候補パターンのどの文字の領域(特定領域)内にあるのかを判定する。
操作取得部31が候補パターンの何れか1文字(ここでは「t」)にペン41が触れたと判定すると(S14でYes)、当該判定結果をモード設定部32に送信する。モード設定部32は、S9と同様、記憶部23に格納された手書き認識設定テーブルT1の「手書き認識設定3」を「筆跡モード」から「選択モード」に切り替えることにより、筆跡表示部351の手書き入力エリアA3への筆跡表示を不可にする(S15)。
モード設定部32は、「選択モード」に切り替えると、その旨を文字認識部34に通知する。候補表示制御部352は、「選択モード」に切り替えられた旨の通知を受けると、S14での操作取得部31の判定結果を取得する。候補表示制御部352は、この判定結果を取得すると、選択結果表示エリアA1に表示された候補パターンの、ペン41の接触位置を含む特定領域(ペン41が触れた文字が表示される領域)に対応する候補文字を一次記憶部24から取得し、当該候補文字(タッチされた文字を含む候補文字)を手書き入力エリアA3に表示させる(画面7)(S16)。上記候補文字は、S5の処理(枠無し手書き認識処理)にて、文字認識部34が、切り出しパターンの切り出し領域ごとに行われた文字認識の結果を当該切り出し領域ごとに対応付けて一次記憶部24に格納したものである。また、このとき、選択領域切替部353は、上記通知を受けると、S14での操作取得部31の判定結果を取得することで、選択結果表示エリアA1に表示された候補パターンの、ペン41の接触位置を含む特定領域を選択状態にした表示に切り替える。
なお、候補表示制御部352は、S5の処理(枠無し手書き認識処理)において文字認識部34が文字認識した8つの候補文字(すなわち一次記憶部24から取得した候補文字)を、図5の画面7に示すように(2行×4列となるように)手書き入力エリアA3に表示させているが、これに限られたものではない。すなわち、文字認識部34は、より多くの候補文字を抽出してもよく、この場合、候補表示制御部352は、全ての候補文字を手書き入力エリアA3に表示させてもよいし、スクロール機能を用いて順次表示させるようにしてもよい。
その後、操作取得部31は、手書き入力エリアA3に表示された候補文字のうち、上記選択状態である候補文字とは異なる候補文字(他の候補文字)が表示される領域にペン41が触れたか(他の候補文字の何れがタッチされたか)否かを判定する(S17)。すなわち、操作取得部31は、第2表示パネル12のタッチパッドからの検知結果を受信することで、その接触位置が手書き入力エリアA3のどの候補文字の領域内にあるのかを判定する。
操作取得部31が他の候補文字が表示される領域にペン41が触れたと判定すると(S17でYes)、当該判定結果を選択領域切替部353に送信する。選択領域切替部353は、当該判定結果を受信すると、その接触位置に対応する候補文字が選択されたと判定し、当該候補文字(ここでは「f」)を選択状態とする(図5の画面8)。その後、選択領域切替部353は、S14にてペン41で触れたと判定された文字(候補パターンにおいて選択された文字)から、当該選択状態とした候補文字に切り替えて(ユーザが選択した候補文字に置き換えて)、当該候補文字を選択結果表示エリアA1に表示させる(画面9)(S18)。
なお、選択領域切替部353は、画面8から画面9に遷移させる際、選択状態となった候補文字を表示させた領域からペン41が離れたタイミングで、当該候補文字を選択結果表示エリアA1に表示させてもよい。この場合、選択領域切替部353は、操作取得部31から、第2表示パネル12のタッチパッドによる検知結果(ペン41が離れたことを示す検知結果)を受信することで、ペン41が離れたことを判断する。また、選択領域切替部353は、例えば候補文字が選択状態となってから予め決められた時間が経過したときに、画面8から画面9へ遷移させるようにしてもよい。
選択領域切替部353が選択結果表示エリアA1の表示を切り替えると、モード設定部32は、手書き認識設定テーブルT1の「手書き認識設定3」を「選択モード」から「筆跡モード」に切り替えることにより、筆跡表示部351の手書き入力エリアA3への筆跡表示を可能にする(S19)。すなわち、筆跡表示部351は、モード設定部32からモード切り替えが行われた旨の通知を受けると、その後操作取得部31が取得する、手書き入力エリアA3へのペン41による入力操作(第2表示パネル12のタッチパッドの検知結果)を筆跡として扱うものとする。なお、S17でNoの場合も、S19の処理に移行する。
S19の処理後、または、S14でNoの場合に、選択結果表示エリアA1に表示された「採用ボタンB1」にペン41が触れたか(「採用ボタンB1」が押されたか)否かを判定する(S20)。すなわち、操作取得部31は、第2表示パネル12のタッチパッドからの検知結果を受信することで、その接触位置が「採用ボタンB1」内にあるのかを判定する。
操作取得部31が「採用ボタンB1」にペン41が触れたと判定すると(S20でYes)、当該判定結果を表示制御部35に送信し、表示制御部35は、「採用ボタンB1」が選択状態とした表示に切り替える(画面10)。そして、操作取得部31は、第2表示パネル12のタッチパッドの検知結果を受信することにより、「採用ボタンB1」からペン41が離れたと判定すると、当該判定結果を第1表示パネル制御部21および表示制御部35に送信する。
第1表示パネル制御部21は、上記判定結果を受信すると、上述のように、辞書検索文字表示エリアA11に、「採用ボタンB1」を触れたときに選択結果表示エリアA1に表示されていた認識結果としての候補パターン(ここでは「unify」)を、辞書検索文字表示エリアA11に表示させる(画面11)(S21)。具体的には、第1表示パネル制御部21は、上記判定結果を受信すると、選択結果表示エリアA1に表示されている候補パターンを示す情報(例えば当該候補パターンの格納場所を示すアドレス)を候補表示制御部352から取得する。第1表示パネル制御部21は、この候補パターンを示す情報を取得すると、当該情報を用いて、上記選択結果表示エリアA1に表示されている候補パターンを一次記憶部24から取得し、当該候補パターンを辞書検索文字表示エリアA11に表示させる。そして、第1表示パネル制御部21は、上記候補パターン(文字列)での辞書検索を行い、その検索結果(例えば文字の意味)を辞書検索結果表示エリアA12に表示させる。また、表示制御部35では、候補表示制御部352が、上記判定結果を受信すると、選択結果表示エリアA1および手書き入力エリアA3に表示させていた(候補パターンまたは候補文字)の画面表示(図5の画面10)を図5の画面1に切り替える。すなわち、候補表示制御部352は、上記判定結果を受信すると、図5の画面1を第2表示パネル12に表示させ、手書き入力エリアA3に対する次の文字入力を取得可能な状態にする。
つまり、第1表示パネル制御部21は、操作取得部31が取得したユーザ操作によって、候補表示制御部352が表示させた複数の候補パターンから1の候補パターンの選択が確定したときに、当該1の候補パターンが示す文字を用いて記憶部23に格納された辞書データ42を検索し、検索結果を辞書検索結果表示エリアA12に表示させる。
なお、操作取得部31は、「採用ボタンB1」からペン41が離れたときに、上記判定結果を送信してもよい。すなわち、画面10から画面11への遷移タイミングは、「採用ボタンB1」からペン41が離れたときにしてもよい。操作取得部31は、第2表示パネル12のタッチパッドによる検知結果(ペン41が離れたことを示す検知結果)を受信することで、ペン41が離れたことを判断する。
また、操作取得部31が、「採用ボタンB1」が一定時間押下されず、かつ、手書き入力エリアA3にペン41によるタッチが一定時間なかったと判定した場合には、当該判定結果を第1表示パネル制御部21に送信する。そして、第1表示パネル制御部21は、この判定結果を受信すると、このとき選択結果表示エリアA1に表示されていた候補パターンを一次記憶部24から取得して、辞書検索文字表示エリアA11に表示させ、当該候補パターンでの辞書検索を行うようにしてもよい。すなわち、第1表示パネル制御部21は、上記判定結果を取得すると、自動的に、上記候補パターンでの辞書検索を行い、その検索結果を辞書検索結果表示エリアA12に表示させてもよい。この場合、その後さらに、文字認識装置1において以下のような処理が行われてもよい。
すなわち、操作取得部31によりペン41が「別候補ボタンB2」に触れたと再度判定されると、候補表示制御部352は、一次記憶部24に格納された候補パターンを読み出し、当該候補パターンを手書き入力エリアA3に、候補パターンの優先順位を参照して、当該優先順位の高い順に候補パターンを並べて表示させる。このとき、候補表示制御部352は、最も優先順位の高い候補パターンを、選択結果表示エリアA1に表示させる。
その後、操作取得部31が、選択結果表示エリアA1に表示された候補パターンと異なる他の候補パターンが表示される領域にペン41が触れて、その接触位置に対応する候補パターンが選択されたと判定した場合、当該判定結果を第1表示パネル制御部21および表示制御部35に送信する。表示制御部35では、候補表示制御部352が、この判定結果を受信すると、上記選択された候補パターンを選択結果表示エリアA1に表示させる。また、第1表示パネル制御部21は、上記判定結果を受信すると、このとき選択結果表示エリアA1に表示されていた候補パターン(上記選択された候補パターン)を一次記憶部24から取得して、辞書検索文字表示エリアA11に表示させ、当該候補パターンでの辞書検索を行うようにしてもよい。すなわち、第1表示パネル制御部21は、上記判定結果を取得すると、自動的に、辞書検索を行い、その検索結果を辞書検索結果表示エリアA12に表示させてもよい。
また、表示制御部35は、第2表示パネル12の表示を図5に示す画面1の状態に戻して、手書き入力エリアA3に対する次の文字入力が行えるようにする。すなわち、操作取得部31が、第2表示パネル12のタッチパッドによる、その後の手書き入力エリアA3に対する文字入力としての検知結果を取得可能な状態にする。これにより、文字認識装置1における処理が終了する。なお、S1でNo、S20でNoの場合も、文字認識装置1における処理を終了する。
以上のように、文字認識装置1は、操作取得部31(操作取得ステップ)によりユーザ操作として取得された筆跡に対して、切り出しパターン作成部33(パターン作成ステップ)が、筆跡を切り分けることにより複数の切り出しパターンを作成し、文字認識部34(文字認識ステップ)が、この複数の切り出しパターンに対して文字認識を行うことで、切り出しパターンそれぞれに対応する候補パターンを作成する。そして、候補表示制御部352(表示制御ステップ)は、作成された複数の候補パターンを、第1表示パネル11より小さく、ユーザ操作として筆跡の入力が可能な第2表示パネル12に表示させる。
これにより、文字認識装置1(その制御方法)は、複数の候補パターンを表示させることができるので、例えば切り出しパターンの切り出し領域ごとに文字認識された結果を表示させるために必要なGUIを表示させる必要がない。このため、組み込み機器のような小型の表示装置である第2表示パネル12に、このようなGUIをユーザが操作しやすいように(すなわち効果的に)表示できない場合であっても、第2表示パネル12に複数の候補パターンが表示されるので、ユーザは、簡単に認識結果を確認して修正することができる。
従って、文字認識装置1は、従来よりも簡単に文字認識結果の修正をユーザに行わせることができる。
また、第1表示パネル制御部21(第1表示制御ステップ)は、候補表示制御部352が第2表示パネル12に表示させた複数の候補パターンのいずれかの候補パターン(上記選択が確定した1の候補パターン)が示す文字を用いて、記憶部23に格納された辞書データ42を検索し、検索結果を第1表示パネル11に表示させる。これにより、文字認識装置1は、選択、確認および修正後の候補パターンが示す文字を用いた辞書検索を行い、検索結果を第1表示部に表示することができ、いわゆる電子辞書の機能を発揮することができる。
さらに、候補表示制御部352が、複数の候補パターンを優先順位の高い順に並べて第2表示パネル12に表示させるので、文字認識装置1は、例えば切り出しパターン作成部33が、ユーザが選択する可能性の高い順に優先順位を決定しておくことで、複数の候補パターンをユーザが選択しやすい順に並べることができる。
さらに、切り出しパターン作成部33が、切り出しパターンそれぞれの切り出し領域の個数を計数することにより、当該切り出しパターン毎に当該個数の平均値を求め、当該平均値に近い順に優先順位を決定する。このため、文字認識装置1は、例えば切り出し領域の少ないまたは多い切り出しパターンに対応する候補パターンに優先順位を高く設定した場合に生じる可能性のある、選択すべき候補パターンの優先順位が低くなってしまうという状況を回避することができる。
また、切り出し領域の少ない切り出しパターンに対応する候補パターンの優先順位が高くなるように設定されているときに、切り出し領域の多いものに対応する候補パターンをユーザが選択したい場合には、当該候補パターンを選択するのにユーザの手間をかけてしまうことになる。文字認識装置1は、上記平均値を利用して優先順位を決定しているので、たとえユーザが選択すべき候補パターンが切り出し領域の少ないまたは多い切り出しパターンに対応するものであっても、平均値に近いほど優先順位が高いので、当該候補パターンを選択するのにそれほどユーザの手間を取らせることがない。
さらに、第2表示パネル12において複数の候補パターンから1の候補パターンが選択されているときに、操作取得部31が当該1の候補パターンの特定領域においてユーザ操作を取得した場合には、候補表示制御部352が、文字認識部34が候補パターンを作成したときに行った文字認識の当該特定領域に対する結果を、候補文字として第2表示パネル12に表示させる。
例えば文字認識装置1が複数の候補パターンを作成しても、当該候補パターンの中に、ユーザが選択すべき候補パターン(文字または文字列)が含まれていない可能性がある。この場合には、ユーザは、選択すべき候補パターンに最も近い1の候補パターンを選択して、当該候補パターンの文字を所望する(第2表示パネル12への筆跡を示す)文字に修正することが想定される。
このような場合に、文字認識装置1は、ユーザが修正したい文字に触れるだけで、当該文字に対応する筆跡に対して行われた文字認識の結果を第2表示パネル12に表示することができる。このため、ユーザは、修正したい文字に触れるという簡単な操作を行うだけで、選択すべき候補パターンを得ることができる。
さらに、候補表示制御部352が、操作取得部31がユーザ操作として取得した筆跡を表示させる手書き入力エリアA3に候補文字を表示させるので、文字認識装置1は、小型の表示装置である第2表示パネル12の表示領域を無駄にすることなく、また、候補文字を表示するための領域を別途作成する必要なく、当該候補文字を表示することができる。
〔実施形態2〕
本発明の別の実施形態について、図7から図9に基づいて説明すると以下の通りである。なお、実施の形態1と同様の部材に関しては、同じ符号を付し、その説明を省略する。
〔文字認識装置1aのより詳細な構成〕
まず、本実施形態に係る文字認識装置1a(検索装置)の要部構成について、図7を用いて説明する。図7は、本実施形態に係る文字認識装置1aの要部構成の一例を示すブロック図である。
文字認識装置1aは、「別候補ボタンB2」が押されるたびに、制御部14aが作成した複数の候補パターンを次々と第2表示パネル12に表示させるものである。文字認識装置1aは、図示のように、制御部14aの第2表示パネル制御部22aにおいて、表示制御部35aが選択領域切替部353を備えておらず、候補表示制御部352a(表示制御手段)を備えている点で、実施形態1に係る文字認識装置1とは異なる。
候補表示制御部352aは、操作取得部31がユーザ操作を取得するたびに、第2表示パネル12に表示させる候補パターンを切り替えるものである。すなわち、候補表示制御部352aは、操作取得部31が「別候補ボタンB2」にペン41に触れたと判定するたびに、文字認識部34が作成した候補パターンのうち、例えば優先順位の高い候補パターンから順から順次、選択結果表示エリアA1に表示させるものである。
〔文字認識装置1aにおける表示遷移例〕
次に、本実施形態に係る文字認識装置1aにおける処理による画面遷移例について、図8を用いて説明する。図8は、本実施形態に係る文字認識装置1aにおける処理による画面遷移例の一例を示す図である。なお、文字認識装置1aにおける具体的な処理の流れについては後述する。なお、ここでは、文字認識装置1aの本体が開かれ、辞書機能が立ち上がっているものとする。
まず、第2表示パネル12が図5の画面1から画面2へ遷移した後、モード表示エリアA2に「別候補ボタンB2」とともに、文字切り出しの別候補ページ(ここでは「1/3」)が表示される(画面21)。また、画面21では、選択結果表示エリアA1には、第2表示パネル制御部22aが最も優先順位の高い候補パターンと決定した候補パターン(ここでは「unitij」)が表示される。なお、別候補ページは、「候補ページ/候補母数(第2表示パネル制御部22aが作成した全候補パターン数)」を示しており、ここでは、作成される候補パターンが3つの場合を示している。
次に、ユーザにより「別候補ボタンB2」が押されると、選択結果表示エリアA1には、第2表示パネル制御部22aで作成された複数の候補パターンのうち、画面21で表示された候補パターンの次に優先順位の高い候補パターン(ここでは「mity」)が表示される(画面22)。このとき、モード表示エリアA2に表示された上記別候補ページは、「1/3」から「2/3」に切り替えられる。
さらに、ユーザにより「別候補ボタンB2」が押されると、選択結果表示エリアA1には、第2表示パネル制御部22aで作成された複数の候補パターンのうち、画面22で表示された候補パターンの次に優先順位の高い候補パターン(ここでは最も優先順位の低い候補パターンであり、「unity」)が表示される(画面23)。このとき、モード表示エリアA2に表示された上記別候補ページは、「2/3」から「3/3」に切り替えられる。そして、さらにユーザにより「別候補ボタンB2」が押されると、画面21に戻る。
このように、第2表示パネル制御部22aは、ユーザが「別候補ボタンB2」を押すたびに、第2表示パネル12を画面21から画面23に切り替えることで、複数の候補パターンをユーザが選択可能に第2表示パネル12に表示させている。
その後、画面21から画面23の何れかにおいて(ここでは画面23の状態で)、ユーザが選択結果表示エリアA1に表示された候補パターンの文字(ここでは「t」)が表示されている特定領域をペン41で触れると、当該特定領域(文字)が選択状態であることを示す表示に切り替わる。すなわち、図5に示す画面7に移行する。なお、以降の画面遷移(画面7〜画面11)については、実施形態1と同様であるため、その説明を省略する。
〔文字認識装置1aにおける処理の流れ〕
次に、本実施形態に係る文字認識装置1aにおける処理の流れについて、図9を用いて説明する。図9は、本実施形態に係る文字認識装置1aにおける処理の流れの一例を示すフローチャートである。なお、「画面21」〜「画面23」の記載は、図8に示す表記に対応するものである。また、図9に示すS1〜S5およびS14〜S21の処理は、図6に示すS1〜S5およびS14〜S21の処理と同様であるので、ここではその説明を省略し、S31〜S33の処理についてのみ説明する。
S5において、第2表示パネル制御部22aにより「枠無し手書き認識処理」が実行されると、候補表示制御部352aは、文字認識部34が一次記憶部24に格納した候補パターンのうち、優先順位の高い候補パターン(ここでは「unitij」)を読み出し、当該候補パターンを認識結果として選択結果表示エリアA1に表示させる(画面21)(S31)。
その後、第2表示パネル12のタッチパッドが、第2表示パネル12に対するペン41の接触を検知すると、操作取得部31は、当該検知結果を受信することにより、その接触位置が「別候補ボタンB2」内であるか否かを判定する。これにより、操作取得部31は、ペン41が「別候補ボタンB2」に触れたか(「別候補ボタンB2」が押されたか)否かを判定する(S32)。
操作取得部31が「別候補ボタンB2」に触れたと判定すると(S32でYes)、当該判定結果を候補表示制御部352aに送信する。候補表示制御部352aは、この判定結果を受信すると、ペン41が「別候補ボタンB2」から離れるタイミングで、一次記憶部24に格納された、現在選択結果表示エリアA1に表示させている候補パターンの次に優先順位の高い候補パターン(次の候補パターン)(ここでは「mity」)を読み出し、当該選択結果表示エリアA1の表示を切り替える(画面22)(S33)。そして、S32の処理に戻り、操作取得部31がさらに「別候補ボタンB2」にペン41が触れたと判定すると、S33の処理に入り、さらに次に優先順位の高い候補パターン(ここでは「unity」)を一次記憶部24から読み出し、選択結果表示エリアA1の表示を切り替える。なお、候補表示制御部352aは、選択結果表示エリアA1の表示を切り替えるときに、別候補ページの表示についても切り替える。
このように、「別候補ボタンB2」にペン41が触れるたびに、第2表示パネル12のタッチパッドがその接触を検知し、候補表示制御部352aが、S33の処理を繰り返し行うことで、文字認識部34が作成した、ユーザが選択可能な候補パターンの切り替えを順次行う。そして、候補表示制御部352aは、優先順位の最も低い候補パターンまで表示させた後に「別候補ボタンB2」にペン41の接触があったとの判定結果を操作取得部31から受信すると、優先順位の最も高い候補パターンから再度表示させる。
一方、第2表示パネル12のタッチパッドが「別候補ボタンB2」へのペン41の接触を検知しなかった(すなわち、操作取得部31が「別候補ボタンB2」に触れたと判定しなかった)場合に(S32でNo)、選択結果表示エリアA1に表示された候補パターンのうちの何れか1文字(すなわち、当該文字が表示される領域)にペン41が触れたか否かの判定が行われると、S14の処理に移行する。
以上のように、候補表示制御部352aが、複数の候補パターンを優先順位の高い順から順次(すなわち1つずつ)表示させるので、文字認識装置1aは、例えば切り出しパターン作成部33が、ユーザが選択する可能性の高い順に優先順位を決定しておくことで、複数の候補パターンをユーザが選択しやすい順に表示を切り替えることができる。
さらに、候補表示制御部352aが、操作取得部31がユーザ操作を取得するたびに、表示させる候補パターンを切り替えるので、ユーザは、表示された候補パターンが選択すべき候補パターンでないと判断したときに、第2表示パネル12(「別候補ボタンB2」)に触れるだけで、簡単に候補パターンの切り替えを行うことができる。
なお、上記では、候補表示制御部352aは、「別候補ボタンB2」にペン41が触れるたびに、ユーザが選択可能な候補パターンの切り替えを行っていたが、これに限られたものではない。例えば、候補表示制御部352aは、S31の処理で優先順位の高い選択結果表示エリアA1に表示させた後、計時を開始し、所定の時間が経過したと判定した場合に、S33の処理(選択結果表示エリアA1に表示させる候補パターンを切り替える)に移行してもよい。この場合、候補表示制御部352aは、候補パターンの切り替えを行った後も、計時を開始し、所定の時間が経過したと判定した場合には、選択結果表示エリアA1に表示させる候補パターンの切り替えを行う。
言い換えれば、候補表示制御部352aは、複数の候補パターンを、所定の時間が経過したと判定するたびに、優先順位の高い順に切り替えて順次表示させる。このため、ユーザは、表示された候補パターンが選択すべき候補パターンでないと判断したときに、第2表示パネル12に触れなくても、所定の時間が経過するのを待つだけでよい。すなわち、ユーザは、簡単に表示された候補パターンの切り替えを行うことができる。
また、操作取得部31が、「採用ボタンB1」が一定時間押下されず、かつ、手書き入力エリアA3にペン41によるタッチが一定時間なかったと判定した場合には、当該判定結果を第1表示パネル制御部21に送信する。そして、第1表示パネル制御部21は、この判定結果を受信すると、このとき選択結果表示エリアA1に表示されていた候補パターンを一次記憶部24から取得して、辞書検索文字表示エリアA11に表示させ、当該候補パターンでの辞書検索を行うようにしてもよい。すなわち、第1表示パネル制御部21は、上記判定結果を取得すると、自動的に、上記候補パターンでの辞書検索を行い、その検索結果を辞書検索結果表示エリアA12に表示させてもよい。この場合、その後さらに、文字認識装置1において以下のような処理が行われてもよい。
すなわち、第1表示パネル制御部21による上記の処理後、操作取得部31によりペン41が「別候補ボタンB2」に触れたと判定されると、当該判定結果を、第1表示パネル制御部21および表示制御部35に送信する。表示制御部35では、候補表示制御部352aが、この判定結果を受信すると、一次記憶部24に格納された、上記にて辞書検索が行われた候補パターンの次に優先順位の高い候補パターンを読み出し、当該候補パターンを選択結果表示エリアA1に表示させてもよい。
また、このとき、第1表示パネル制御部21は、上記判定結果を受信すると、候補表示制御部352aが読み出した上記次に優先順位の高い候補パターンを示す情報(例えば当該候補パターンの格納場所を示すアドレス)を候補表示制御部352から取得する。第1表示パネル制御部21は、この候補パターンを示す情報を取得すると、当該情報を用いて、当該候補パターンを一次記憶部24から取得し、辞書検索文字表示エリアA11に表示させ、当該候補パターンでの辞書検索を行うようにしてもよい。すなわち、第1表示パネル制御部21は、上記判定結果を取得すると、自動的に、上記次に優先順位の高い候補パターンでの辞書検索を行い、その検索結果を辞書検索結果表示エリアA12に表示させてもよい。
〔補足〕
最後に、本実施形態に係る文字認識装置1、1aの各ブロック、特に制御部14(第1表示パネル制御部21、第2表示パネル制御部22(操作取得部31、モード設定部32、切り出しパターン作成部33、文字認識部34、表示制御部35(筆跡表示部351、候補表示制御部352および選択領域切替部353)))、並びに、制御部14a(第1表示パネル制御部21、第2表示パネル制御部22a(操作取得部31、モード設定部32、切り出しパターン作成部33、文字認識部34、表示制御部35a(筆跡表示部351および候補表示制御部352a)))は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、本実施形態に係る文字認識装置1、1aは、各機能を実現する制御プログラムの命令を実行するCPU(Central Processing Unit)、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである文字認識装置1、1aの制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記文字認識装置1、1aに供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、本実施形態に係る文字認識装置1、1aを通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
なお、文字認識装置1、1aは、それぞれ通信部を備え、辞書データが格納されたサーバとネットワーク接続されたシステム上に存在していてもよい。この場合、文字認識装置1、1aは、通信部を介してサーバから辞書データを取得することにより、記憶部23に格納された辞書データの更新を行うことができる。
また、文字認識装置1、1aは、第1表示パネル11、第2表示パネル12および各種キー13を備えたものとして説明したが、これに限られたものではない。すなわち、制御部14、14aを、第2表示パネル12に対して入力された筆跡を文字として認識する文字認識装置の基本構造(すなわち本発明に係る文字認識装置が制御部14、14aを指すもの)としてもよい。この場合、制御部14、14aとしての文字認識装置は、第1表示パネル11、第2表示パネル12および各種キー13を備えておらず、これらを接続することで、文字認識装置1、1aの機能を発揮する。
〔本発明の別の表現〕
なお、本発明は、以下のように表現してもよい。
本発明に係る文字認識装置は、メイン画面と、サブ画面を持ち、サブ画面で枠無し手書き認識を行うことができる機器において、サブ画面で枠無し手書きの候補を複数表示可能で、複数の候補から1つの候補を選択すると、その候補をメイン画面の辞書検索用の入力エリアに表示し、その候補で辞書の検索を行い、検索された辞書の意味を表示することが可能な構成である。
また、本発明に係る文字認識装置は、サブ画面で手書きするエリアと、手書き認識した文字をタッチしたときにその文字の手書き候補を表示するエリアが同一である構成である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。