JPWO2004109587A1 - 携帯情報端末 - Google Patents

Abstract

カメラ付携帯電話機（１）では、カメラ部（３）で撮影された画像データに対して、文字認識処理が実行される。具体的には、カメラ部（３）で撮影された画像データが、作業用メモリ（４）に保存され、そこで、制御部（２）によって、文字認識処理を実行される。文字認識処理の結果である文字情報は、文字の種類と関連付けられて、作業用メモリ（４）に一時的に保存される。作業用メモリ（４）には、文字の種類と関連付けられた複数の文字情報が保存可能であり、さらに、カメラ付携帯電話機（１）では、当該複数の文字情報は、一括して、一人分の電話帳への登録されることが可能である。

Description

本発明は、携帯情報端末に関するものである。特に、文字認識機能を有する携帯情報端末に関するものである。

従来から、画像を処理することにより画像の中に含まれる文字を文字情報として認識する、いわゆる文字認識という技術があった。具体的には、たとえば、パーソナルコンピュータ等の装置において、当該装置で処理の可能な画像に対して文字認識が行なわれていた。そして、当該文字認識の結果として得られた文字情報が、当該パーソナルコンピュータにおける文字入力に用いられてきた。このような文字認識については、より具体的には、たとえば種々の文献において技術が開示されてきている。
たとえば、特開平２−８２３７９号公報では、文字認識を行なった後、認識結果の文字列を画面に表示し、さらに、カーソルに近接する位置に、当該近接する位置にある認識結果についての複数の候補文字を別途表示させる技術が開示されている。
また、特開平２−２５７３５８号公報では、認識結果を表示させ、さらに、当該認識結果の表示とは独立したウィンドウに、認識結果が表示されている中でのカーソルの位置する行のイメージを当該カーソルとともに表示させ、両方の表示におけるカーソルの表示を連動させる技術が開示されている。
また、特開平４−１７０８５号公報には、文字認識の修正が行なわれる際、カーソルの位置付く文字位置にその先頭文字が位置する候補単語のみが表示され選択される技術が開示されている。
このように、従来から、文字認識に関する技術として、その表示態様に工夫を加えることにより、容易な操作によって認識結果を利用するための技術が種々開示されてきた。そして、近年、携帯情報端末においても、画像の表示等、画像データを扱う機能が備えられるようになった。このため、当該携帯情報端末に対しても、このような文字認識の技術の適用が考えられてきた。
なお、携帯情報端末では、機器が携帯性を備えているため、上記したパーソナルコンピュータ等の装置と比較して装置が小型化されており、このことから、ユーザが操作を行なう部分も比較的小型化されている。
このため、携帯情報端末では、より一層、容易な操作によって、認識結果を有効利用できることが望まれる。

本発明の目的は、容易な操作で認識結果を有効利用できる携帯情報端末を提供することにある。
本発明に従った携帯情報端末は、画像データを記憶する画像データ記憶部と、画像データ記憶部に記憶された画像データに対して文字認識処理を実行し、文字認識処理の結果として文字情報を出力する文字認識部と、文字認識処理の結果として出力される文字情報の種類を指定する種類指定部と、文字情報を記憶する文字情報記憶部と、文字認識部に第１の画像データに対して文字認識処理を実行させ、さらに、第１の画像データに対する文字認識処理の結果である第１の文字情報を、第１の文字情報について種類指定部に対して指定された種類に対応させて文字情報記憶部に記憶させる制御部と、第１の画像データに対する文字認識処理の後に、文字認識部に、第１の文字情報に関連付けるべき文字情報を得るための文字認識処理であって、第２の画像データについての文字認識処理を実行させるために操作される、連続認識指示部とを備え、制御部は、第２の画像データに対する文字認識処理の結果である第２の文字情報を、第２の文字情報について種類指定部に対して指定された種類に対応させ、かつ、第１の文字情報と関連付けて、文字情報記憶部に記憶させることを特徴とする。
また、本発明に従った携帯情報端末では、文字認識部は、文字認識処理の結果に対して、種類指定部に対して指定された種類に応じて補正を行なった後、文字情報を出力することが好ましい。
また、本発明に従った携帯情報端末では、連続認識指示部は、第１の画像データに対する文字認識処理の後に、連続して、文字認識部に、第１の文字情報に関連付けるべき文字情報を得るための第２の画像データの文字認識処理を実行させるために操作されることが好ましい。
また、本発明に従った携帯情報端末は、文字情報記憶部への文字情報の記憶を指示するために操作される文字情報記憶指示部をさらに備え、制御部は、文字情報記憶指示部が操作されることにより、第１の文字情報と第２の文字情報を一括して文字情報記憶部に記憶させることが好ましい。
また、本発明に従った携帯情報端末では、文字情報記憶部は、電話帳データを記憶可能であり、第１の文字情報および第２の文字情報は、電話帳データを構成する情報であることが好ましい。
また、本発明に従った携帯情報端末では、文字情報記憶部は、住所録データを記憶可能であり、第１の文字情報および第２の文字情報は、住所録データを構成する情報であることが好ましい。
また、本発明に従った携帯情報端末では、第１および第２の文字情報は、文字情報について種類指定部に対して指定される文字情報の種類が同じであることが好ましい。
また、本発明に従った携帯情報端末では、第１および第２の文字情報は、文字情報について種類指定部に対して指定される文字情報の種類が異なることが好ましい。
また、本発明に従った携帯情報端末では、文字認識部は、第１および第２の画像データに対応する文字認識の後に連続認識指示部が操作されることにより、第１および第２の文字情報に関連付けるべき第３の文字情報を得るための文字認識処理であって、第３の画像データについての文字認識を実行し、第１〜第３の文字情報の中の少なくとも２つは、文字情報について種類指定部に対して指定される文字情報の種類が同じであることが好ましい。
また、本発明に従った携帯情報端末では、文字認識部は、第１および第２の画像データに対応する文字認識の後に連続認識指示部が操作されることにより、第１および第２の文字情報に関連付けるべき第３の文字情報を得るための文字認識処理であって、第３の画像データについての文字認識を実行し、第１〜第３の文字情報の中の少なくとも２つは、文字情報について種類指定部に対して指定される文字情報の種類が異なることが好ましい。
また、本発明に従った携帯情報端末は、携帯電話機であることが好ましい。
本発明に従った携帯情報端末の制御方法は、第１の画像データに対する、文字認識処理の結果として出力される文字情報の種類の指定を受付けるステップと、第１の画像データについての文字認識処理を実行するステップと、第１の画像データについての文字認識処理の結果である第１の文字情報を、第１の文字情報に対して指定された種類に対応させて記憶させるステップと、第１の画像データに対する文字認識処理の後に、第２の画像データについての文字認識処理を実行するステップと、第２の画像データに対する文字認識処理の結果である第２の文字情報を、第２の文字情報に対して指定された種類に対応させ、かつ、第１の文字情報と関連付けて、記憶させるステップとを備えることを特徴とする。
本発明によると、連続認識指示部が操作されること等によって、連続的に実行された文字認識処理の結果である複数の文字情報が、互いに関連付けられて、文字情報記憶部等の記憶部に適宜記憶される。これにより、携帯情報端末は、複数の文字認識処理の結果として得られる文字情報を、互いに関連付けて記憶させることができる。したがって、容易な操作で、携帯情報端末において、文字認識の結果が有効利用されるようになる。
また、本発明によると、携帯情報端末において、文字認識の結果として得られた文字情報が、ユーザによって種類指定部に対して指定された種類に応じて補正されて、出力される。これにより、ユーザは、文字認識の結果として、自らが指定した種類に応じて補正された文字情報を得ることができる。したがって、携帯情報端末において、認識結果に対してユーザが行なうことを必要とされる修正等のための操作が削減できる。
また、本発明によると、携帯情報端末において、連続認識指示部が操作されることにより、連続して、異なる画像データに対する文字認識処理が実行されることが可能となる。これにより、ユーザは、その文字認識処理の結果である文字情報を互いに関連付けたい複数の画像データについて、連続して、文字認識処理の結果を得ることができる。したがって、当該携帯情報端末の利便性を向上させることができる。
また、本発明によると、携帯情報端末において、文字情報記憶指示部が操作されることにより、複数の文字情報を、一括して、文字情報記憶部に記憶させることができる。これにより、複数の文字情報を電話帳データとして個人情報に関連付けて記憶させるためには、文字情報ごとに複数回の登録作業が必要とされていた従来の携帯情報端末と比較して、携帯情報端末が、容易な操作で文字認識処理の結果を有効利用できる、利便性の高いものとなる。
また、本発明によると、携帯情報端末において、電話帳データとして、画像データに対する文字認識処理の結果得られた文字情報を利用することができる。したがって、携帯情報端末において、文字認識の結果がさらに有効に利用されるようになる。
また、本発明によると、携帯情報端末において、住所録データとして、画像データに対する文字認識処理の結果得られた文字情報を利用することができる。したがって、携帯情報端末において、文字認識の結果がさらに有効に利用されるようになる。
また、本発明によると、携帯情報端末において、同じ種類を指定された、または、異なる種類を指定された、複数の文字情報が、文字認識の結果として得られることが可能となり、かつ、互いに関連付けて記憶されることが可能となる。このため、ユーザに対して、ユーザが扱う対象となる文字情報の種類についての制約を、できるだけ少なくすることができるため、携帯情報端末の利便性が向上されることになる。

図１は、本発明の一実施の形態であるカメラ付携帯電話機のブロック構成図である。
図２および図３は、図１のカメラ付携帯電話機の外観図である。
図４は、図１のカメラ付携帯電話機の制御部が実行するメインルーチンのフローチャートである。
図５〜図７は、図４に示されたカメラモードのサブルーチンのフローチャートである。
図８〜図２４は、図１のカメラ付携帯電話機の表示部における表示態様の一例を示す図である。

以下、図面を参照しつつ、本発明の一実施の形態であるカメラ付携帯電話機（以下、携帯電話と略す）について説明する。なお、以下の説明では、同一の部品には、特記された場合を除き、同一の符号が付され、それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない場合がある。
まず、図１〜図３を参照して、携帯電話１の概略構成について説明する。なお、図２は、携帯電話１の、表示部１０やシャッタボタン１２等が備えられた面を示し、図３は、携帯電話１の、図２に示された面の裏面を示している。
携帯電話１は、被写体を撮影して画像データを出力するカメラ部３、液晶表示装置などからなる表示部１０、カメラ部３を起動させるために操作されるカメラキー１１、カメラ部３によるシャッタ動作のためおよび撮影して得られた画像データを保存するために操作されるシャッタボタン１２、通信のためのアンテナ１５、表示部１０に表示された内容に対して指示を入力するマルチキー３０、カメラ部３で接写するために操作される接写キー３５、電話番号や文字（数字を含む）を入力するために操作される複数のボタンからなるダイヤルボタン４０、および、モードボタン１９を備える。マルチキー３０は、表示部１０に表示されたカーソルを上下左右にそれぞれ移動させるための上キー３１、下キー３３、左キー３２、および、右キー３４が一体的に構成されたものである。なお、各種操作のためのボタンやキーの種類および配置はこれに限定されない。例えば、表示部１０に表示される操作メニューの中から操作すべき項目を選択するようにしてもよい。
携帯電話１は、各部を制御するためにＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのマイクロプロセッサを含む制御部２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１６を含むカメラ部３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）からなる作業用メモリ４、圧縮処理部２０を有し画像データを圧縮処理部２０でエンコード（圧縮）して保存処理するための保存処理部５、フラッシュメモリからなる保存用メモリ７、ＲＡＭからなる表示用メモリ８、表示ドライバ部９、表示部１０、カメラキー１１、シャッタボタン１２およびモードボタン１９、アンテナ１５を介した通信のための通信制御部１３、ならびに、無線部１４を備える。
制御部２は、携帯電話１の制御に用いるための各種プログラムデータ等を記録するためのメモリ２１を備えている。
接写キー３５は、カメラ部３のレンズ３６の外周に設置されたレバーとして備えられている。
携帯電話１は、周知の携帯電話機と同様に、通話機能、メール機能、Ｗｅｂ接続機能（コンピュータ等のネットワークへの接続機能）、および、電話帳機能を有している。電話帳機能では、たとえば、人物等の名前、電話番号、メールアドレス、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、画像を含む種々のデータを、それぞれの人物等について互いに関連付けて、保存用メモリ７に記憶させることができる。また、携帯電話１は、カメラ部３において撮影された画像データを保存するカメラ機能を有している。
カメラ部３において撮影された画像データは、作業用メモリ４に一旦保存され、そして、圧縮処理部２０でエンコードされて保存用メモリ７に保存される。
さらに、携帯電話１は、カメラ部３で撮影された画像データや、他の装置から入力され保存用メモリ７に保存された画像データに対して、文字認識処理を実行する、文字認識機能を備えている。具体的には、カメラ部３で撮影された画像データは、作業用メモリ４に保存され、そこで、制御部２により、文字認識処理を実行される。文字認識処理の結果である文字情報は、作業用メモリ４に一時的に保存される。なお、保存用メモリ７に保存されている画像データは、作業用メモリ４に移された後、文字認識処理を実行される。
また、携帯電話１は、上記のような文字認識処理で得た文字情報を、文字認識処理の直後に、そのまま、通話機能における電話番号として、メール機能におけるメールアドレスとして、Ｗｅｂ接続機能における接続先（ＵＲＬ）として、または、電話帳機能において登録する各種のデータとして、というように、他の機能で活用することができる。以下に、制御部２の実行する処理を、このような文字認識処理で得た文字情報を活用する点を中心に、図４を参照して説明する。
制御部２は、ステップＳ１（以下、「ステップ」を省略する）で、ユーザから通話機能を使用する旨の操作がなされたか否か判断し、そのような操作があったと判断するとＳ２で、発呼を行なったりする通話モードの処理を実行した後、Ｓ１に処理を戻す。一方、そのような操作がなかったと判断すると、Ｓ３に処理を進める。
制御部２は、Ｓ３で、ユーザからメール機能を使用する旨の操作がなされたか否か判断し、そのような操作があったと判断すると、Ｓ４で、メール作成や送信等のメールモードの処理を実行し、Ｓ１に処理を戻す。一方、そのような操作がなかったと判断すると、Ｓ５に処理を進める。
制御部２は、Ｓ５で、ユーザからＷｅｂ接続機能を使用する旨の操作がなされたか否か判断し、そのような操作があったと判断すると、Ｓ６で、インターネット等のネットワークに接続する等のＷｅｂ接続モードの処理を実行し、Ｓ１に処理を戻す。一方、そのような操作がなかったと判断すると、Ｓ７に処理を進める。
制御部２は、Ｓ７で、電話帳機能を使用する旨の操作がなされたか否か判断し、そのような操作があったと判断すると、Ｓ８で、保存用メモリ７に保存された電話帳データの編集等を行なう電話帳モードの処理を実行し、Ｓ１に処理を戻す。一方、そのような操作がなかったと判断すると、Ｓ９に処理を進める。
制御部２は、Ｓ９で、カメラ機能を使用する旨の操作がなされたか否か判断し、そのような操作があったと判断すると、Ｓ１０で、カメラ部３により撮影される画像を作業用メモリ４に保存する等のカメラモードの処理を実行し、Ｓ１に処理を戻す。一方、そのような操作がなかったと判断すると、Ｓ１１で、ユーザにより操作された内容に従った処理を実行した後、Ｓ１に処理を戻す。
以下に、図５〜図７および図８〜図２３を参照して、Ｓ１０におけるカメラモードの処理について説明する。
カメラモードの処理では、制御部２は、Ｓ１０１で、カメラ部３による撮影のモードとして文字読取モードが選択されているか否かを判断する。文字読取モードとは、文字認識処理のために画像を撮影するモードである。そして、文字読取モードが選択されていると判断するとＳ１０３以降に処理を進める。一方、それ以外のモードが選択されていると判断すると、Ｓ１０２で、選択されたモードに従った撮影処理を実行した後、処理をリターンさせる。
携帯電話１では、カメラモードに入ったとき、静止画撮影モードで起動される。このモードでは、表示部１０には、図８に示すように、表示枠８１が表示され、表示枠８１内には選択できる複数のメニューが番号と関連付けられて表示される。ユーザは、ダイヤルボタン４０の中の、選択したいメニューに対応するボタンを操作するか、上キー３１または下キー３３を操作することによりカーソル８２を選択したいメニューに合わせた後にシャッタボタン１２を操作することにより、適宜、メニューを選択できる。
なお、図８では、表示部１０の下端中央に、「決定」という文字が欄８３として表示されている。これは、欄８３に対応する位置に設置されているシャッタボタン１２に、操作することにより表示枠８１内の内容を決定するという機能がアサインされていることを意味している。
そして、図８に示されている状態から、「カメラモード切替」というメニューが選択されると、表示部１０には、図９に示す画面が表示される。図９では、表示部１０の表示枠９１内には、選択可能な撮影のモードが複数表示されており、その中の１つの上に、カーソル９３が位置し、選択可能な状態とされている。そして、ユーザが、ダイヤルボタン４０の中の、選択したいモードに対応するボタンを操作するか、上キー３１または下キー３３を操作することによりカーソル９３を選択したいメニューに合わせた後シャッタボタン１２を操作することにより、文字読取（図９には「文字読み取り」と表示）メニューを選択できる。なお、図９に示した状態では、現在の文字読取モードでは選択できない「静止画」のメニューにカーソル９３が合わされているため、表示部１０には、図８の欄８３のような「決定」という文字の欄が表示されていない。そして、カーソル９３が、図９内の「▲３▼文字読り取り」というメニューに合わされてシャッタボタン１２が操作されると、上記した文字読取モードが選択されたことになる。
一方、制御部２は、Ｓ１０３で、ユーザから、文字読取モードにおいて実行される文字認識処理において、どのような種類の文字を読取らせるのかについての入力があったか否かを判断する。そして、入力があったと判断すると、Ｓ１０４で、当該種類を保存用メモリ７に保存し、Ｓ１０５に処理を進める。
なお、携帯電話１では、読取らせる文字の種類として、図１０の表示部１０の表示枠１０１内に示すように、「ＵＲＬ」「メールアドレス」「電話番号」「英語名」が準備され、各種類が表示枠１０１内で、番号に関連付けられて表示されている。
そして、ユーザが、ダイヤルボタン４０の中の、選択したいモードに対応するボタンを操作するか、上キー３１または下キー３３を操作することによりカーソル１０２を選択したいメニューに合わせてシャッタボタン１２を操作することにより、文字の種類が選択される。
なお、図１０を参照すると、表示部１０の下端中央に「決定」という文字が欄１０３として表示されている。これは、図８における欄８３が表示されているのと同様の意味を有する。
Ｓ１０５で、制御部２は、表示部１０に、文字認識処理に用いる画像データを生成する準備をするための画面（文字読取画面）を表示させ、Ｓ１０６に処理を進める。そのような画面の一例を、図１１に示す。
携帯電話１において読取らせる文字の種類が選択されると、表示部１０には、図１１に示された画面が表示される。図１１を参照すると、表示枠１１１には、１番目に、接写モードに設定し、２番目に、表示枠１１１内にあるモニタ欄１１２の左右に表示されているガイド１１３，１１４内にこれから撮影しようとする文字が入るようカメラ部３の位置を調整し、そして、３番目に、モニタ欄１１２の下方のバーが所定の状態になったとき（最も青くなったとき）にシャッタボタン１２を操作して撮影するように、というメッセージが表示されている。
携帯電話１は、接写キー３５を操作されることにより、接写モードとなる。また、モニタ欄１１２内には、カメラ部３で撮影されている映像が表示される。また、表示部１０内にはカメラの絵を含むアイコン１１５が表示されている。
図１１では、携帯電話１が接写モードとされている状態での表示部１０を示しているので、アイコン１１５内には、カメラの絵とともにチューリップの絵が表示されている。なお、携帯電話１が接写モードとされていない場合には、このようなアイコン１１５内には、チューリップの絵は表示されず、カメラの絵のみが表示される。
Ｓ１０６で、制御部２は、シャッタボタン１２が操作されたか否かを判断し、操作されたと判断すると、Ｓ１０７に処理を進める。
Ｓ１０７で、制御部２は、表示部１０に、図１２に示すように、シャッタボタン１２が操作された時点でカメラ部３が撮影していた画像データを表示させた後、Ｓ１０８で、ユーザからの文字認識処理の開始を指示する操作を待つ。なお、このとき、制御部２は、当該画像データを、作業用メモリ４に保存している。
図１２では、表示部１０内には、現在実行しているモード（文字読取モード）と読取らせる文字の種類（Ｓ１０４で保存した種類、図１２ではその一例として「ＵＲＬ」）とを示す欄１２１が表示されている。また、表示部１０内の表示欄１２２内に、作業用メモリ４に保存された画像データが表示されている。
表示欄１２２内には、文字認識処理の対象となる画像の領域を指定するための枠１２３が表示されている。表示欄１２２における枠１２３の位置は、上キー３１または下キー３３が操作されることにより、移動される。
制御部２は、ユーザが、表示欄１２２に表示されている画像の中で、文字認識処理の対象としたい部分に枠１２３を移動させた後、シャッタボタン１２を操作することにより、文字認識処理を開始するための指示がなされたと判断する。
なお、図１２では、表示部１０の下端中央に、「読取」という文字が、欄１２４として表示されている。これは、シャッタボタン１２に、操作されることにより文字認識処理の開始を指示するという機能がアサインされていることを意味している。
Ｓ１０９で、制御部２は、作業用メモリ４に保存されている画像データの中で、枠１２３内に位置する部分に対して、文字認識処理を実行し、文字認識処理が完了すると、Ｓ１１０に処理を進める。なお、文字認識処理を実行している間は、表示部１０には、図１３に示した画面が表示される。図１３に示す画面では、表示部１０内の欄１３１に、文字認識処理を実行している最中である旨を示すメッセージ（「読取中」）が表示されている。
Ｓ１０９における文字認識処理では、当該認識結果に、Ｓ１０４において保存した、読取らせる文字の種類に応じた補正が行なわれる。読取らせる文字の種類と補正パターンとの関係は、たとえば、表１に示すようなテーブルであり、メモリ２１に記憶されている。

表１を参照すると、たとえば、読取らせる文字として「ＵＲＬ」が入力されている場合には、認識結果としては、「Ａ」〜「ｚ」という英文字、「０」〜「９」の数字、および、「．」「−」「＿」「：」「／」「^〜」という記号文字が、出力文字の候補とされる。また、ＵＲＬの表示に一般的に添付される「ＵＲＬ：」というキーワード（文字列）は、認識されたとしても、認識結果としては出力しないという補正がなされる。また、認識結果の先頭に、ＵＲＬには通常存在する「ｈｔｔｐ／／：」という文字列が存在しない場合や不完全な状態では、当該文字列を完全な形で出力されるよう補完する補正がなされる。
また、読取らせる文字として「メールアドレス」が入力されている場合には、認識結果としては、「Ａ」〜「ｚ」という英文字、「０」〜「９」の数字、および、「．」「＠」「−」「＿」「：」という記号文字が、出力文字の候補とされる。また、メールアドレスの表示に一般的に添付される「Ｅ−Ｍａｉｌ：」というキーワード（文字列）は、認識されたとしても、認識結果としては出力しないという補正がなされる。
また、読取らせる文字として「電話番号」が入力されている場合には、認識結果としては、「０」〜「９」の数字、および、「−」「＋」「Ｐ」「＃」「＊」という記号文字が、出力文字の候補とされる。文字認識の結果が、数字またはハイフンのみとなるように補正される。また、電話番号の表示に一般的に添付される「ＴＥＬ：」というキーワード（文字列）は、認識されたとしても、認識結果としては出力しないという補正がなされる。また、「）」という文字は、認識結果として出力する際には、「−」という文字に置き換えるという補正がなされる。
また、読取らせる文字として「」が入力されている場合には、認識結果としては、「０」〜「９」の数字、および、「−」「＋」「Ｐ」「＃」「＊」という記号文字が、出力文字の候補とされる。文字認識の結果が、数字またはハイフンのみとなるように補正される。また、電話番号の表示に一般的に添付される「ＴＥＬ：」というキーワード（文字列）は、認識されたとしても、認識結果としては出力しないという補正がなされる。また、「）」という文字は、認識結果として出力する際には、「−」という文字に置き換えるという補正がなされる。
Ｓ１１０で、制御部２は、表示部１０に、図１４に示すように、上記したような表１に従った補正を加えた後の認識結果を表示させ、Ｓ１１１に処理を進める。
図１４では、表示部１０内の表示欄１４１に、文字認識処理の結果である文字列が表示されている。文字列の中の１つには、カーソル１４２が重ねて表示されている。修正候補欄１４３には、カーソル１４２が重ねて表示されている文字に対する単数または複数の修正候補が、番号に関連付けられて、表示されている。なお、この修正候補欄１４３に表示される修正候補の中には、最初に文字認識処理の結果として表示された文字も含まれている。ユーザは、左キー３２，右キー３４を適宜操作することにより、表示欄１４１内の文字列の中の修正の対象となる文字を変更することができる。また、ユーザが、ダイヤルボタン４０の中の、修正候補欄１４３内に表示されている希望する修正候補に対応するボタンを操作するか、上キー３１または下キー３３を操作することによりカーソル１４４を希望する修正候補に合わせることにより、カーソル１４２に重ねられた文字が修正される。
また、表示部１０に図１４に示された画面が表示されているときに、シャッタボタン１２が操作されることにより、制御部２は、表示欄１４１内のすべての文字について修正内容を決定する旨の操作がなされたと判断する。これは、表示部１０の下端中央に「決定」という文字が欄１４５として表示されており、これが、シャッタボタン１２に、操作することにより表示欄１４１内の表示されている文字列を、以降の処理で利用する文字列に決定するという機能がアサインされていることに対応しているからである。
Ｓ１１１では、制御部２は、表示部１０に図１４に示された画面が表示されているときに、何らかの操作がなされたか否かを判断する。
そして、Ｓ１１１で、制御部２は、上記したような、文字を修正するための操作がなされたと判断すれば、Ｓ１１２で、操作に応じて認識結果を修正した後、Ｓ１１３で、修正後の認識結果を表示部１０の表示欄１４１に表示させて、Ｓ１１１に処理を戻す。
また、Ｓ１１１で、制御部２は、上記したような、すべての文字についての修正内容を決定する旨の操作（シャッタボタン１２に対する操作）がなされたと判断すれば、Ｓ１１５に処理を進める。
また、Ｓ１１１で、制御部２は、モードボタン１９が操作されたと判断すると、Ｓ１１４で、現在作業用メモリ４に保存されている文字認識処理用の画像データを消去した後、再度作業用メモリ４に画像データを保存するため、Ｓ１０５に処理を戻す。モードボタン１９が操作されることによりこのような処理が実行されるのは、モードボタン１９に、操作することにより再度画像の読取りを開始するという機能がアサインされているからである。なお、モードボタン１９にこのような機能がアサインされていることは、「再読取」という文字が表示されている欄１４６に対応する位置にモードボタン１９が設置されていることに対応している。
Ｓ１１５で、制御部２は、表示部１０に、図１５に示すように、これ以降の処理に利用するものとして確定された文字列を表示させ、Ｓ１１６に処理を進める。図１５では、表示部１０内の表示欄１５１に、確定された文字列が表示されている。なお、表示欄１５１の横には、表示欄１５２として、当該文字列の種類（Ｓ１０４で保存した種類、図１５ではその一例として「ＵＲＬ」）が表示されている。
ここで、制御部２は、Ｓ１１５で表示される画面の種類をＳ１０４に保存されている文字列の種類に応じたものにするように制御している。具体的には、Ｓ１０４に保存されている文字列の種類（読取らせる文字の種類）を参照し、表２に示すものに制御している。

つまり、表２から理解されるように、文字列の種類（読取種類）がＵＲＬであれば、Ｓ１１５で表示される画面は、Ｗｅｂ接続のＵＲＬ入力画面とされる。文読取種類がメールアドレスであれば、Ｓ１１５で表示される画面は、メール送信時のメール入力画面とされる。文読取種類が電話番号であれば、Ｓ１１５で表示される画面は、電話発呼前の電話番号入力画面とされる。そして、文読取種類が英語名であれば、Ｓ１１５で表示される画面は、電話帳において名前欄を入力するための画面とされる。図１５では、一例として、読取種類がＵＲＬである場合の、Ｗｅｂ接続のＵＲＬ入力画面が示されている。
また、Ｓ１１５では、制御部２は、当該確定された文字列を、Ｓ１０４で保存した種類と関連付けて、作業用メモリ４に保存する。ここで、今回保存する文字列が、Ｓ１２０として後述する、確定文字列を続き登録用に保存される処理が実行された後に実行された文字認識処理による文字列であれば、つまり、前回の文字認識処理による文字列の続きとして得られた文字列であれば、前回の文字認識処理による文字列と連結させて、保存される。
Ｓ１１６で、制御部２は、ユーザが行なった操作の内容を判断し、操作の内容に応じて処理を進める。
具体的には、Ｓ１１６で、制御部２は、モードボタン１９が操作されたと判断するとＳ１１４に処理を進める。これは、モードボタン１９が、図１５の表示部１０内の「再読取」と表示された欄１５５に対応する位置に設置され、再度画像データを読取ることを指示する機能をアサインされていることに基づいている。
また、Ｓ１１６で、制御部２は、カメラキー１１が操作されたと判断すると、予め用意されたサブメニューからユーザの選択するメニューを判断するＳ１１７に処理を進める。これは、カメラキー１１が、図１５の表示部１０内の「サブメニュー」と表示された欄１５４に対応する位置に設置され、ユーザに、さらにサブメニューを選択させることを指示する機能をアサインされていることに基づいている。
Ｓ１１７では、制御部２は、サブメニューの画面を表示させ、Ｓ１１８で、ユーザからの入力を待つ。Ｓ１１８で、制御部２は、Ｓ１１５で表示された「確定された文字列」を電話帳に登録するメニューが選択されたと判断すると、Ｓ１２５に処理を進める。
また、Ｓ１１８で、追加読取りをするメニューが選択されたと判断すると、制御部２は、Ｓ１１９で、Ｓ１１５で表示された「確定された文字列」を作業用メモリ４に追加登録用に保存した後、Ｓ１０３に処理を戻す。追加読取りとは、現在の「確定された文字列」と、続いて文字認識処理を行なった結果として得られる別の文字列とを、電話帳の同じ人の欄に、つまり、互いに関連付けて、保存用メモリ７に保存するためのメニューである。また、「追加登録用に保存する」こととは、現在の「確定された文字列」を、現在Ｓ１０４に保存されている文字の種類と関連付け、かつ、後に保存される別の文字列とともに追加登録が可能なように、保存することである。このため、追加登録では、続いて行なわれる文字認識処理において新たに文字の種類を指定する必要がある。したがって、Ｓ１１９の処理の後、Ｓ１０３に処理が戻される。
また、Ｓ１１８で、続き読取りをするメニューが選択されたと判断すると、制御部２は、Ｓ１２０で、Ｓ１１５で表示された「確定された文字列」を作業用メモリ４に続き登録用に保存した後、Ｓ１０５に処理を戻す。続き読取りとは、現在の「確定された文字列」と、続いて文字認識処理を行なった結果として得られる別の文字列とを、連続した一つの文字列として連結させて、保存用メモリ７に保存するためのメニューである。また、「続き登録用に保存する」こととは、現在の「確定された文字列」を、現在Ｓ１０４の処理によって保存用メモリ７に保存されている文字の種類と関連付け、かつ、後に保存される別の文字列とともに続き登録が可能なように、保存することである。このため、続き登録では、続いて行なわれる文字認識処理において文字の種類を指定する必要がない。したがって、Ｓ１２０の処理の後、Ｓ１０５に処理が戻される。
一方、Ｓ１１６で、制御部２は、シャッタボタン１２が操作されたと判断すると、Ｓ１２１に処理を進める。Ｓ１２１では、制御部２は、表示部１０に、Ｓ１０４に保存した種類に応じたアプリケーションを起動するための確認画面を表示させる。Ｓ１２１でこのような処理が実行されるのは、シャッタボタン１２が、Ｓ１０４に保存した文字の種類に応じたアプリケーションを起動するための処理を実行を決定する機能をアサインされていることに基づいている。シャッタボタン１２にこのような機能がアサインされていることは、図１５の表示部１０内の欄１５３内に「決定」と表示され、そして、シャッタボタン１２が、当該欄１５３に対応する位置に設置されていることに基づいている。
また、Ｓ１２１で表示される画面の一例を図１６に示す。図１６を参照して、表示部１０内の表示枠１６１には、ユーザに対し、アプリケーションの起動について確認するメッセージが表示されている。図１６では、一例として、文字の種類がＵＲＬの場合に表示される画面が示されている。
そして、Ｓ１２１で確認画面を表示させた後、制御部２は、Ｓ１２２で、ユーザが行なった操作の内容を判断し、操作の内容に応じて処理を進める。
具体的には、「はい」というメニューに対応するメニュー欄１６４上にカーソルを位置させてシャッタボタン１２が操作されたと判断すると、Ｓ１２３に処理を進める。制御部２が、Ｓ１２１で確認画面を表示させた後、メニュー欄１６４上にカーソルを位置させてシャッタボタン１２が操作されることを条件としてＳ１２３に処理を進めるのは、図１６の表示部１０の下端中央に「決定」という文字が欄１６２として表示されていることが、欄１６２に対応する位置に設置されているシャッタボタン１２に対して、操作されることにより確認画面の内容を確認し、かつ、アプリケーションの起動を決定するという機能がアサインされていることを意味している。
一方、「いいえ」というメニューに対応するメニュー欄１６５上にカーソルを位置させてシャッタボタン１２が操作されたと判断すると、制御部２は、Ｓ１１６に処理を戻す。
なお、上記したようなＳ１１９の処理が行なわれることによって、複数の文字列が作業用メモリ４に保存されている場合には、Ｓ１１５の処理によって、表示部１０に、当該複数の文字列のそれぞれが、図１５の表示欄１５１，１５２のような欄に表示される。そして、このような場合には、当該複数の文字列のいずれか１つの上にカーソルが表示される。ユーザは、当該カーソルを、上キー３１または下キー３３を適宜操作することにより適宜移動させて、当該複数の文字列の中のいずれか１つを選択し、シャッタボタン１２を操作すると、Ｓ１２１以降の処理は、選択された文字列（の種類）に対応した処理がなされる。
そして、制御部２は、Ｓ１２３で、アプリケーションを起動させた後、Ｓ１２４で、当該アプリケーションに基づいた処理を実行して、リターンする。なお、Ｓ１２３の処理によると、表示部１０には、図１７に示すように、アプリケーションの起動を報知するメッセージを含む表示枠１７１が、表示される。
一方、制御部２は、Ｓ１２５で、今回の登録が、電話帳において、新規の個人についての登録であるか否かを判断する。そして、制御部２は、新規の個人の登録であると判断するとＳ１２７に、すでにある個人データへの追加の登録であると判断するとＳ１２６に、それぞれ処理を進める。
Ｓ１２６では、制御部２は、ユーザから、データを追加する対象となる個人データを特定するデータの入力を受付け、電話調データの中の当該個人データを選択し、処理をＳ１２７に進める。
Ｓ１２７では、制御部２は、電話帳編集ソフトウェアを起動し、Ｓ１２８に処理を進める。
Ｓ１２８では、制御部２は、当該電話帳編集ソフトウェアに従って、作業用メモリ４に保存された個人のデータを入力（保存）する処理を行なう。そして、Ｓ１２９で、制御部２は、当該入力（保存）する処理が完了したと判断すると、処理をリターンさせる。
以上説明したカメラモードの処理では、制御部２は、Ｓ１２１で確認画面を表示させる際、当該確認画面が対応するアプリケーションを、Ｓ１０４に保存した文字の種類を参照し、さらに、表３のような、アプリケーションと文字の種類とが関連付けられたテーブルを参照することによって、決定する。

表３から理解されるように、文字列の種類（読取種類）がＵＲＬであれば、Ｓ１２１ではＷｅｂ接続についての確認画面が表示される。文読取種類がメールアドレスであれば、Ｓ１２１では電子メールソフトウェアの起動についての確認画面が表示される。文読取種類が電話番号であれば、Ｓ１２１では通話ソフトウェアの起動（または、通話発呼）についての確認画面が表示される。そして、文読取種類が英語名であれば、Ｓ１１５で表示される画面は、電話帳編集ソフトウェアの起動についての確認画面が表示される。
ここで、図１８〜図２３に、上記したＳ１１５の処理によって表示される、確定された文字列を表示する画面、および、Ｓ１２１において表示される確認画面について、図１５と図１６に示した例とは別の文字の種類が指定された場合についての画面を示す。
図１８，図２０，図２２には、それぞれ、文字の種類が、メールアドレス，電話番号，英語名とされた場合についての、確定された文字列を表示する画面が示されている。
図１８，図２０，図２２の各画面には、図１５に示された表示欄１５１に対応するように、確定された文字列を表示するための表示欄１８１，２０１，２２１が含まれている。また、これらの各画面には、図１５に示された表示欄１５２に対応するように、文字列の種類を表示するための表示欄１８２，２０２，２２２が表示されている。また、これらのの各画面には、図１５に示された欄１５３〜１５５と同じ機能を有する、欄１８３〜１８５，２０３〜２０５，２２３〜２２５が表示されている。
また、図１９，図２１，図２３には、それぞれ、文字の種類が、メールアドレス，電話番号，英語名とされた場合の、確認画面が示されている。
図１９，図２１，図２３の各画面には、図１６に示された表示枠１６１に対応するように、電子メールソフトウェアの起動について確認するメッセージを含む表示枠１９１、通話発呼について確認するメッセージを含む表示枠２１１、電話帳編集ソフトウェアの起動について確認するメッセージを含む表示枠２３１が表示されている。また、これらの各画面には、図１６の欄１６２と同じ機能を有する、欄１９２，２１２，２３２が表示されている。また、図１９，図２１，図２３の各画面には、図１６に示されたメニュー欄１６４，１６５と同様に、「はい」「いいえ」に対応するメニュー欄１９４，１９５，２１４，２１５，２３４，２３５が表示されている。
以上説明した本実施の形態では、携帯電話１は、文字の種類と関連付けられた複数（たとえば、３件まで）の文字列を作業用メモリ４に保存可能であり（Ｓ１１９の処理参照）、そして、Ｓ１２５以降の処理によって、当該複数の文字列を、一括して、一人分の電話帳に登録することができる。
なお、携帯電話１における電話帳では、一人分のデータとして、表４に示されるように、「電話帳内区分」として示される９つの情報が登録可能とされる。

つまり、携帯電話１では、電話帳として、名前と、当該名前の読み（フリガナ）と、３つの電話番号（電話番号１〜電話番号３）と、３つのメールアドレス（メールアドレス１〜メールアドレス３）と、パーソナルデータとが、互いに関連付けられて、保存用メモリ７に保存される。
なお、Ｓ１２５〜Ｓ１２９の処理で一度に保存される文字列の上限は、たとえば３件とされるが、これらの３件ともが、メールアドレス等、同じ種類を指定された文字列であっても良いし、１件の電話番号と１件のメールアドレスと１件のＵＲＬというように、すべて異なる種類を指定された文字列であっても良い。また、３件の文字列は、２件が電話番号であり１件がメールアドレスであるというように、一部が同じ種類の文字列であり、さらに、異なる種類の文字列を含むようなものであっても良い。
また、Ｓ１２５〜Ｓ１２９の処理が実行される際、作業用メモリ４には、たとえば、表５に示すように、複数の（単数の場合もある）確定された文字列がそれぞれ読取種類と関連付けられて、保存されている。

つまり、作業用メモリ４には、たとえば表５に示すように、読取種別がＵＲＬとされた１つの文字列と、読取種別がメールアドレスとされた２つの文字列と、読取種別が電話番号とされた１つの文字列とが、保存されている。そして、Ｓ１１８の処理では、これらが、一括して、一人分の電話帳のデータとして、登録される。なお、どの読取種別の文字列がどの電話帳区分のデータとして保存されるかは、表６に示された関係に基づいて決定される。

つまり、読取種別をＵＲＬとされて確定された文字列は、電話帳のパーソナルデータとして保存される。また、読取種別をメールアドレスとされて確定された文字列は、電話帳のメールアドレス１〜メールアドレス３のいずれかとして保存される。また、読取種別を電話番号として確定された文字列は、電話帳の電話番号１〜電話番号３のいずれかとして保存される。また、読取種別を英語名とされて確定された文字列は、電話帳の「読み」として保存される。
図２４に、作業用メモリ４に表５に示した文字列が保存されている場合に、Ｓ１２５〜Ｓ１２９が実行された結果として表示部１０で表示される、電話帳として登録されたデータを表示する画面を示す。図２４では、表示部１０内の、欄２４１は名前を、欄２４２は当該名前の読みを、欄２４３〜２４５は電話番号を、欄２４６〜２４８はメールアドレスを、欄２４９はパーソナルデータを、表示する欄である。そして、図２４では、欄２４３，２４６，２４７，２４９に、それぞれ、表５に示したデータが表示されている。
なお、表４から理解されるように、電話帳の一人分のデータには、名前、読み、および、パーソナルデータは１つずつしか登録できず、また、電話番号およびメールアドレスは３つまでしか登録ができない。したがって、Ｓ１１９において追加登録用の保存がなされる場合、ユーザが、各電話帳区分に対応する読取種類についてこの数を越えて保存させようとした場合には、制御部２は、当該保存が不可能である旨を表示等によって報知する制御を実行することが好ましい。
以上説明した実施の形態では、携帯情報端末の具体例として携帯電話機を挙げたが、本発明はこれに限定されない。また、本実施の形態において電話帳にメールアドレス等を登録する技術は、必ずしも携帯情報端末のみに適用されるものではなく、通信機能を持たない携帯情報端末に対しても、適用することができる。
また、以上説明した本実施の形態では、電話帳に、メールアドレス等を登録する技術について説明したが、本発明はこれに限定されず、個人別に管理するデータベースであれば、住所録等に、メールアドレス等の種々の情報を登録する技術についても、本発明を適用することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

Claims (12)

1. 画像データを記憶する画像データ記憶部（４）と、
   前記画像データ記憶部に記憶された画像データに対して文字認識処理を実行し、前記文字認識処理の結果として文字情報を出力する文字認識部（２）と、
   前記文字認識処理の結果として出力される文字情報の種類を指定する種類指定部（４０，３１，３２，１０２，１２）と、
   文字情報を記憶する文字情報記憶部（４）と、
   前記文字認識部に第１の画像データに対して文字認識処理を実行させ、さらに、前記第１の画像データに対する文字認識処理の結果である第１の文字情報を、前記第１の文字情報について前記種類指定部に対して指定された種類に対応させて前記文字情報記憶部に記憶させる制御部（２）と、
   前記第１の画像データに対する文字認識処理の後に、前記文字認識部に、前記第１の文字情報に関連付けるべき文字情報を得るための文字認識処理であって、第２の画像データについての文字認識処理を実行させるために操作される、連続認識指示部（１９）とを備え、
   前記制御部は、前記第２の画像データに対する文字認識処理の結果である第２の文字情報を、前記第２の文字情報について前記種類指定部に対して指定された種類に対応させ、かつ、前記第１の文字情報と関連付けて、前記文字情報記憶部に記憶させる、携帯情報端末。
2. 前記文字認識部は、文字認識処理の結果に対して、前記種類指定部に対して指定された種類に応じて補正を行なった後、前記文字情報を出力する、請求項１に記載の携帯情報端末。
3. 前記連続認識指示部は、前記第１の画像データに対する文字認識処理の後に、連続して、前記文字認識部に、前記第１の文字情報に関連付けるべき文字情報を得るための前記第２の画像データの文字認識処理を実行させるために操作される、請求項１または請求項２に記載の携帯情報端末。
4. 前記文字情報記憶部への文字情報の記憶を指示するために操作される文字情報記憶指示部（１２）をさらに備え、
   前記制御部は、前記文字情報記憶指示部が操作されることにより、前記第１の文字情報と前記第２の文字情報を一括して前記文字情報記憶部に記憶させる、請求項１または請求項２に記載の携帯情報端末。
5. 前記文字情報記憶部は、電話帳データを記憶可能であり、
   前記第１の文字情報および前記第２の文字情報は、前記電話帳データを構成する情報である、請求項１または請求項２に記載の携帯情報端末。
6. 前記文字情報記憶部は、住所録データを記憶可能であり、
   前記第１の文字情報および前記第２の文字情報は、前記住所録データを構成する情報である、請求項１または請求項２に記載の携帯情報端末。
7. 前記第１および第２の文字情報は、前記文字情報について前記種類指定部に対して指定される文字情報の種類が同じである、請求項１または請求項２に記載の携帯情報端末。
8. 前記第１および第２の文字情報は、前記文字情報について前記種類指定部に対して指定される文字情報の種類が異なる、請求項１または請求項２に記載の携帯情報端末。
9. 前記文字認識部は、前記第１および第２の画像データに対応する文字認識の後に前記連続認識指示部が操作されることにより、前記第１および第２の文字情報に関連付けるべき第３の文字情報を得るための文字認識処理であって、第３の画像データについての文字認識を実行し、
   前記第１〜第３の文字情報の中の少なくとも２つは、前記文字情報について前記種類指定部に対して指定される文字情報の種類が同じである、請求項１または請求項２に記載の携帯情報端末。
10. 前記文字認識部は、前記第１および第２の画像データに対応する文字認識の後に前記連続認識指示部が操作されることにより、前記第１および第２の文字情報に関連付けるべき第３の文字情報を得るための文字認識処理であって、第３の画像データについての文字認識を実行し、
    前記第１〜第３の文字情報の中の少なくとも２つは、前記文字情報について前記種類指定部に対して指定される文字情報の種類が異なる、請求項１または請求項２に記載の携帯情報端末。
11. 前記携帯情報端末は、携帯電話機である、請求項１または請求項２に記載の携帯情報端末。
12. 第１の画像データに対する、文字認識処理の結果として出力される文字情報の種類の指定を受付けるステップと、
    前記第１の画像データについての文字認識処理を実行するステップと、
    前記第１の画像データについての文字認識処理の結果である第１の文字情報を、前記第１の文字情報に対して指定された種類に対応させて記憶させるステップと、
    前記第１の画像データに対する文字認識処理の後に、第２の画像データについての文字認識処理を実行するステップと、
    前記第２の画像データに対する文字認識処理の結果である第２の文字情報を、前記第２の文字情報に対して指定された種類に対応させ、かつ、前記第１の文字情報と関連付けて、記憶させるステップとを備える、携帯情報端末の制御方法。

Images