JP3738167B2

JP3738167B2 - Character recognition apparatus and method, and computer-readable recording medium recording character recognition program

Info

Publication number: JP3738167B2
Application number: JP2000072138A
Authority: JP
Inventors: みな子桑田; 晃一杉山; 和宏竹原
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-03-15
Filing date: 2000-03-15
Publication date: 2006-01-25
Anticipated expiration: 2020-03-15
Also published as: JP2001266067A

Description

【０００１】
【発明の属する技術分野】
この発明は画像を読取って得られた画像情報中の文字を認識して、文字認識結果を出力する文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体に関し、特に、所望される文字の認識結果のみを出力することのできる文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体に関する。
【０００２】
【従来の技術】
特開平５−１０８８６５号公報に示されている文字認識装置（以下、従来例１と呼ぶ）は、画像情報を入力し、入力される画像情報において文字認識を行なう領域を指定し、指定される各領域に対して文字認識を行なっていた。このように、文字認識したい画像を表示装置に表示し、ユーザが必要な領域を指定し、指定された領域についてのみ文字認識し、認識結果を出力することができる。
【０００３】
また、特開平４−０４４１８５号公報に示される装置（以下、従来例２と呼ぶ）では、文書画像を自動的に領域分割し、読取を行なった順序で文字コード列を表示し、ユーザがブロックの編集を指示すると、この指示に基づいて、予め読取られた文字コード列を編集するという特徴を有している。このように、文書画像をブロックに分割して、表示装置に表示し、各ブロックについて文字認識の順序などを編集する方法は、従来より提供されていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の従来例１では、領域を選択してから文字認識が行なわれるため、領域指定が必須の作業となり、表示画像が大きければ領域指定は容易であるが、携帯型情報処理端末装置のように表示部における表示領域が小さい場合には、所望の領域を詳細に指定して選択することは極めて困難であった。
【０００５】
また、上述した従来例２における自動領域指定に関する技術は、各ブロックに対して文字の認識順序を指定するために、キーボードなどの入力装置が必要であり、そのため編集処理が煩雑であった。また、ブロックの読取順序の番号を表示するための画面と編集処理を指示するための画面とが１つの画面として重なって表示されていないので、ユーザが読取順序の画面と編集の画面とを切換えながら見比べる必要があり、ユーザの入力時の負担が大きかった。
【０００６】
また、携帯型情報処理装置のように、表示部の表示領域が小さい場合には、画像と読取順序編集画面とを同時に表示することは極めて困難であった。
【０００７】
図１７は、従来の名刺の主面を走査して読み取られた画像を示す図である。図１８（Ａ）と（Ｂ）は、従来の電子的なアドレス帳の登録内容の１例と他の例を示す図である。
【０００８】
上述したような従来例２のように、ブロックの読取順序などの編集作業を行なわず、領域指定をすべて自動で行なう場合には、次のような問題が生じていた。たとえば図１７の名刺の画像を認識して、その認識結果によるデータを電子的なアドレス帳に入力する場合に、ユーザは名刺に書かれた氏名と会社名と電話番号だけのデータを入力したいとする場合であっても、一括に認識結果が出力される場合では、図１８（Ａ）のようにユーザが望まない本社の電話番号などのデータもアドレス帳に入力されてしまっていた。あるいは、図１８（Ｂ）のように認識できなかったデータは、勝手に削除されてしまっていた。
【０００９】
このように、従来の文字認識装置では、ブロックごとに認識結果の出力を許可するか否かの指定、または認識結果の出力順序を指定するための編集作業を容易に行なうことができなかった。
【００１０】
それゆえにこの発明の目的は、文字認識結果の出力作業を所望するようにして簡単に行なうことのできる文字認識装置および方法ならびに文字認識プログラムを記録したコンピュータで読取可能な記録媒体を提供することである。
【００１１】
【課題を解決するための手段】
この発明のある局面に係る文字認識装置は、１つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力手段と、前記画像情報入力手段により入力された前記画像情報中の前記文字を認識してする認識手段と、表示領域を有して、前記表示領域において前記画像情報入力手段により入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示手段と、前記画像が表示された前記表示領域の任意の点が指定された際に、指定された該任意点に対応の前記ブロックに表示されている前記文字列の前記認識手段による認識結果を出力する出力手段とを備えて構成される。
【００１２】
したがって、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、表示領域の指定された任意点に対応したブロックの文字列の認識結果が出力される。
【００１３】
それゆえに、ユーザは、文字認識結果が所望される文字列が表示されているブロックに対応の任意点を指定するだけという簡単操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００１４】
また、上述のように任意点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００１５】
上述の文字認識装置において、任意点は、前記ブロック毎に予め設定されたブロック点であって、前記出力手段は、前記ブロック点が指定された前記ブロックに表示されている前記認識結果を出力するように構成されてもよい。
【００１６】
したがって、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、設定されたブロック点が指定されたブロックのみに表示されている文字列の認識結果が出力される。
【００１７】
このように表示領域において、ブロック点は各ブロックごとに対応付けられているから、ユーザは、文字認識結果が所望される文字列が表示されているブロックに設けられたブロック点を速やかに特定して指定操作できるから、上述したように簡単な操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００１８】
また、上述のようにブロック点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００１９】
上述の文字認識装置においては、前記画像情報入力手段から入力された複数の前記画像情報の中から、１つ以上の画像情報を選択するための画像情報選択手段がさらに備えられて、前記画像情報選択手段により選択された前記１つ以上の画像情報について、前記認識手段による処理が施されて、前記認識手段による処理が施された後の前記１つ以上の画像情報の中から指定された１つの画像情報に対して、前記表示手段による処理が施されるように構成されてもよい。
【００２０】
したがって、画像情報入力手段から入力された複数の画像情報中の選択された１つ以上の、言換えると複数の画像情報に対して一括して、認識手段による文字列の認識処理が施される。そして、認識手段による処理が施された後の１つ以上の画像情報の中から指定された１つの画像情報に対して、表示手段による処理が施される。それゆえに、ユーザは、複数の画像情報について上述のような一括認識処理を施した場合であっても、その後に所望する１つの画像情報のみを指定して、表示手段を介して、該所望画像情報から所望する文字列の認識結果を得ることができるから、複数の画像情報を対象とした場合の文字認識作業に関するユーザの負担は軽減される。
【００２１】
上述した文字認識装置においては、前記表示領域において、前記文字列毎のブロックについて、前記認識結果の出力順序を指定するため出力順序指定手段をさらに備えて、前記出力手段は、前記ブロックに表示されている前記文字列の前記認識手段による認識結果を、前記出力順序指定手段により指定された順序に従い出力するよう構成されてもよい。
【００２２】
したがって、ユーザは、出力順序指定手段を介して所望する出力順序を指定するだけで、指定された各ブロックについての文字認識結果を、所望順序に従い出力させることで、文字認識結果の編集作業を出力時点で行なうことができるから利便性に優れる。
【００２３】
上述した文字認識装置において、出力手段は、指定された各ブロックについての前記認識結果を所定媒体に出力するように構成されてもよい。したがって、所望する認識結果のみを所定媒体に、直接に出力して格納することができて利便性に優れる。
【００２４】
上述した文字認識装置において、指定された各ブロックについての前記認識結果は、上述の所定媒体に対応の所定形式に従って変換されながら、前記所定媒体に出力されるようにしてもよい。これにより、上述した所定媒体への認識結果格納時の利便性はさらに向上する。
【００２５】
この発明の他の局面に係る文字認識方法は、１つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力ステップと、前記画像情報入力ステップにより入力された前記画像情報中の前記文字を認識してする認識ステップと、予め準備された表示領域において前記画像情報入力ステップにより入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示ステップと、前記画像が表示された前記表示領域の任意の点が指定された際に、指定された該任意点に対応の前記ブロックに表示されている前記文字列の前記認識ステップによる認識結果を出力する出力ステップとを備えて構成される。
【００２６】
したがって、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、表示領域の指定された任意点に対応したブロックの文字列の認識結果が出力される。
【００２７】
それゆえに、ユーザは、文字認識結果が所望される文字列が表示されているブロックに対応の任意点を指定するだけという簡単操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００２８】
また、上述のように任意点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００２９】
この発明の更なる他の局面に係る文字認識方法をコンピュータに実行させるための文字認識プログラムを記録したコンピュータで読取可能な記録媒体は、以下の特徴を有する。つまり、該媒体に記録された文字認識プログラムにより実行される文字認識方法は、１つ以上の文字からなる文字列を含む画像の情報を入力する画像情報入力ステップと、前記画像情報入力ステップにより入力された前記画像情報中の前記文字を認識してする認識ステップと、予め準備された表示領域において前記画像情報入力ステップにより入力された前記画像情報による画像を、前記表示領域において前記文字列毎のブロックに分別した態様で表示する表示ステップと、前記画像が表示された前記表示領域の任意の点が指定された際に、指定された該任意点に対応の前記ブロックに表示されている前記文字列の前記認識ステップによる認識結果を出力する出力ステップとを備える。
【００３０】
したがって、該プログラムが実行されることにより、入力された画像は、文字列毎のブロックに分別された態様で表示領域において表示された際には、表示領域の指定された任意点に対応したブロックの文字列の認識結果が出力される。
【００３１】
それゆえに、ユーザは、文字認識結果が所望される文字列が表示されているブロックに対応の任意点を指定するだけという簡単操作で、表示されている画像中から所望文字列の文字認識結果のみを出力して得ることができる。
【００３２】
また、上述のように任意点を指定するだけ、所望文字列の文字認識結果のみを得ることができるから、携帯型情報処理端末のように表示領域が極めて小さい場合でも、表示領域に表示されている画像の文字列中から、所望する文字列のみの認識結果を簡単、確実に得ることができる。
【００３３】
【発明の実施の形態】
（実施の形態１）
この実施の形態では、名刺の主面を走査して読取られた画像データについて文字認識する場合が説明されるが、認識対象となる画像データは、名刺のそれに限定されず、他の画像データであってもよい。
【００３４】
図１は、この発明の実施の形態に係る名刺認識装置の機能構成図である。図２は、本発明の実施の形態に係る名刺認識装置のハードウェア構成図である。
【００３５】
図２において名刺認識装置は、該装置自体を集中的に制御および監視するためＣＰＵ（中央処理装置の略）１、各種のバッファが格納されるバッファメモリ２、メモリ３、画像データが格納される画像データメモリ４、スキャナなどからなり画像データを読取るための画像読取部５、マウスまたはペンなどからなり画像における座標を指定するために操作される画像座標指定部６、各種情報を入力するために操作されるキーボード７、情報を表示するために液晶タブレットまたはＣＲＴ（陰極線管の略）などからなる表示部８、インターネットなどの外部の通信ネットワーク１０と該文字認識装置とを通信接続するための通信Ｉ／Ｆ（インターフェイスの略）９、データおよびプログラムを含む各種の情報を記憶するためのメモリ１１を含む。
【００３６】
メモリ３には、後述する文字特徴辞書３Ａ、後処理用言語辞書３Ｂおよび出力ファイル３Ｃが格納される。出力ファイル３Ｃは、例えば、電子的なアドレス帳に対応する記憶領域である。
【００３７】
バッファメモリ２は、後述する画像バッファ２１、文字矩形バッファ２２、文字画像バッファ２３、文字特徴バッファ２４、認識結果バッファ２５、ブロック分類バッファ２６、指定点座標バッファ２７および出力バッファ２８を含む。
【００３８】
名刺認識装置の機能構成は、図１に示されるように制御部５０、画像入力部３１、文字切出し部３２、文字認識部３３、後処理部３４、ブロック分類部３５、ブロック情報表示部３６、指定点検出部３７、認識結果選別部３８、認識結果抽出部３９、認識結果修正部４０および認識結果出力部４１を含んでなる。
【００３９】
制御部５０はＣＰＵ１により該名刺認識装置の動作を制御するためのものである。画像入力部３１は、画像読取部５により読取られた画像データ、または画像データメモリ４に予め格納された画像データを読込んで、画像バッファ２１に格納する。画像データメモリ４は、たとえばメモリカード、またはハードディスクなどからなる。画像データメモリ４の媒体はこれらに限定されず、光記録媒体または光磁気記録媒体であってもよい。
【００４０】
文字切出し部３２は、画像バッファ２１に格納された画像データから、ブロック、行、文字などを切出し、文字矩形座標を抽出し、文字矩形座標データを文字矩形バッファ２２に格納するとともに、切出された文字の画像データを文字画像バッファ２３に格納する。
【００４１】
文字認識部３３は、特徴抽出処理部、マッチング処理部および文字列生成部などを有して、文字画像バッファ２３中の文字画像データを認識処理し、認識結果得られた文字コードの候補を出力する。具体的には、特徴抽出処理部は、文字画像データから文字の特徴データを抽出し、文字特徴バッファ２４に格納する。マッチング処理部では、複数種類の文字の標準パターンの特徴データとが予め登録されているマッチング辞書（図示省略）の内容と文字特徴バッファ２４中の文字特徴データとの照合により、該文字を認識して、１つ以上の文字コード候補を決定し、これを、文字矩形バッファ２２に予め格納された文字矩形座標データとともに認識結果バッファ２５に格納する。
【００４２】
図３（Ａ）と（Ｂ）は、図１の後処理部３４の処理内容を説明するための図である。後処理部３４では、認識結果バッファ２５中の情報をもとに、単語の照合などにより最適な文字認識結果を出力する。たとえば、後処理前の文字認識結果が図３（Ａ）の場合、第１〜第３候補文字コードの組合せにより得られる複数の文字コード列に基づいて、図３（Ｂ）のように後処理用言語辞書３Ｂ中に登録されている単語を検索し、最適な文字認識結果‘奈良県天理市’となるよう修正するなどの処理を行なう。
【００４３】
図４と図５には、この発明の実施の形態に係る認識結果バッファ２５とブロック分類バッファ２６の内容例が示される。図４の認識結果バッファ２５は、各ブロックに対応して認識結果情報２５ｉ（ｉ＝１，２，３、…、ｎ）を含む。認識結果情報２５ｉは、該ブロックを識別するためのブロック番号ＢＮと、該ブロックにおける文字列ついての１位の認識結果文字列２５Ｂと、対応する文字列中の各文字についての認識候補文字データ２５Ｃと、対応する文字列中の各文字の矩形についての表示部８の表示領域における座標を示す文字矩形座標データ２５Ｄとを含む。ブロック分類部３５は、例えば図４の認識結果バッファ２５の内容を読込み、各ブロックに対応して、認識結果である１位認識結果文字列２５Ｂを項目ごとに分類し、認識結果バッファ２５のブロック番号ＢＮと対応付けて、図５に示されるようにブロック分類バッファ２６にブロック情報データ２６ｉ（ｉ＝１，２、…、ｎ）として格納する。ブロック情報データ２６ｉは、該ブロックを識別するためのブロック番号ＢＮ（図４のブロック番号ＢＮに対応する）、該ブロックに対応した情報の項目名を示す項目名データ２６Ｂおよび該ブロックに対応した表示部８の表示領域における座標を示す座標データ２６Ｃを含む。
【００４４】
図６（Ａ）と（Ｂ）は、本実施の形態において画像がブロックに分別された態様で表示された状態を示す図である。
【００４５】
ブロック情報表示部３６は、ブロック分類バッファ２６中に格納されたブロック情報データ２６ｉを読出し、座標データ２６Ｃに基づいてブロックごとに区別して、画像バッファ２１の画像データを表示部８に表示する。さらに、ユーザが画像座標指定部６を操作することによって指定された座標データを、指定点座標バッファ２７に蓄積するよう格納する。
【００４６】
具体的には、ブロック分類バッファ２６の各ブロック情報データ２６ｉの座標データ２６Ｃを取出し、表示部８の表示領域において該ブロックの領域を反転表示させるなどの分別表示態様により、該ブロックに対応した画像を矩形で囲んで表示する（図６（Ａ）参照）。
【００４７】
指定点検出部３７は、ブロック情報表示部３６により画像が表示された表示部８の領域内の所望する文字列が表示されているブロック上の任意の１点を、ユーザが画像座標指定部６を操作して指定した際に、指定された点の座標値を得て、指定点座標バッファ２７に蓄積して格納する。図６（Ｂ）では、図６（Ａ）の表示状態において、画像座標指定部６により任意の１点が指定されている状態を示す図である。
【００４８】
認識結果選別部３８は、前述のようにして指定されて指定点座標バッファ２７に格納された座標値をもとに、指定されたブロックを選別する。認識結果抽出部３９は、認識結果バッファ２５とブロック分類バッファ２６との内容から、指定されたブロックに関する情報（?）を取出して、出力バッファ２８に格納する。
【００４９】
認識結果出力部４１は、出力バッファ２８に格納された指定ブロックに関する情報を、出力ファイル３Ｃのフォーマットに合わせて、該出力ファイル３Ｃに書込む。
【００５０】
図７（Ａ）と（Ｂ）は、本実施の形態において指定されたブロックに対応の出力例を示す図である。図においては、画像座標指定部６によって指定されたブロック（図７（Ａ）の指定点‘＋’で指定されたブロック）が、認識結果選別部３８および認識結果抽出部３９により選別され、そして抽出され、認識結果出力部３９により出力ファイル３Ｃの所定フォーマットに従って、出力ファイル３Ｃに出力された内容（図７（Ｂ）参照）が示されている。
【００５１】
図８は、この発明の実施の形態に係る名刺認識処理の概略フローチャートである。以下、図８のフローチャートを参照して、名刺認識処理について説明する。
【００５２】
まず、画像入力ステップ（Ｓ８０２）において、画像読取部５に読取られた画像データまたは画像データメモリ４に予め格納された画像データを得て、これを一旦画像バッファ２１に格納する。次に、文字切出しステップ（Ｓ８０３）において、画像バッファ２１に格納された画像データから、ブロック、行、文字が切出されて、文字矩形座標が抽出され、抽出された文字矩形座標データは文字矩形バッファ２２に格納するとともに切出された文字の画像データは文字画像バッファ２３に格納される。
【００５３】
次に、文字認識ステップ（Ｓ８０４）において、文字矩形座標データと文字画像データとから、文字の特徴が抽出されて、抽出された文字の特徴とマッチング辞書（図示省略）に予め登録されている文字の標準パターン特徴との照合により、文字の認識コードの候補を決定して、前述の文字切出しステップ（Ｓ８０３）で抽出された文字の矩形座標データをもとに、文字をまとまりのある文字列にして、該文字列を候補文字データ２５Ｃとして認識結果バッファ２５に格納する。
【００５４】
次の後処理ステップ（Ｓ８０５）においては、認識結果バッファ２５に格納された情報に基づいて、単語照合などの処理により、最適な文字認識結果を得て、これを認識結果バッファ２５に対応の１位認識結果文字列２５Ｂとして格納する。次のブロック分類ステップ（Ｓ８０６）においては、１位認識結果文字列２５Ｂを、項目に分類して文字認識結果バッファ２５の内容と対応付けて、ブロック分類バッファ２６に格納する。なお、項目の分類は、単語のマッチング、あるいは認識結果文字列の画像データにおける位置情報に基づいてなされる。この分類に関する技術は公知のものに従うので、説明は省略する。
【００５５】
次のブロック情報表示ステップ（Ｓ８０７）においては、ブロック分類バッファ２６中のブロックの座標データ２６Ｃを取出して、画像バッファ２１中の画像データをブロックごとに区別した態様で、表示部８に表示する。
【００５６】
指定点検出ステップ（Ｓ８０８）において、ブロック情報表示部３６により表示部８に表示された画像データを、ユーザが画像座標指定部６を操作して、所望の座標（１点）を指定すると、指定された点の座標データを得て、これを指定点座標バッファ２７に蓄積して格納する。
【００５７】
次の指定認識結果選別ステップ（Ｓ８０９）においては、指定点座標バッファ２７に格納された座標データをもとに、認識結果バッファ２５とブロック分類バッファ２６に格納された該指定座標データに対応するブロックの１位認識結果文字列２５Ｂを取出して、出力バッファ２８に格納する。認識結果修正ステップ（Ｓ８１０）において、ユーザは出力バッファ２８に格納された内容は表示部８に表示されるので、表示された内容に誤認識があったことを発見すると、出力バッファ２８に格納された該認識結果の修正作業を、キーボード７などを操作して行なう。その後、認識結果出力ステップ（Ｓ８１１）において、認識結果出力部４１は、出力バッファ２８に格納された情報を出力ファイル３Ｃのフォーマットに従って、該出力ファイル３Ｃに書込む。
【００５８】
図９（Ａ）と（Ｂ）は、図８のブロック情報表示ステップの処理を示すフローチャートと画面表示例を示す図である。前述の文字認識ステップ（Ｓ８０４）による文字認識処理が終了してから、表示部８に表示されたアイコンが画像座標指定部６またはキーボード７により指定されて、ブロック情報表示ステップ（Ｓ８０７）による処理の開始が指示されると、図９（Ａ）の処理が開始される。
【００５９】
まず、図９（Ａ）では、認識結果バッファ２５から１位認識結果文字列２５Ｂの文字コードと文字矩形座標データ２５Ｄが得られる（Ｓ９０２）。次に、ブロック分類バッファ２６から、各ブロックについての座標データ２６Ｃと項目に関する情報（ブロック番号ＢＮと項目名２６Ｂ）が得られる（Ｓ９０３）。次に、画像バッファ２１から画像データが得られる（Ｓ９０４）。次に、得られた画像データ中に座標データ２６Ｃがあるかどうかを判断し（Ｓ９０５）、座標データ２６Ｃがあり、ブロックがあると判定された場合には、そのブロックの座標内の画像データを反転表示させる（Ｓ９０６）。一方、ブロックがない場合は、ブロック情報表示ステップ自体を終了させる（Ｓ９０７）。
【００６０】
図９（Ｂ）には、図９（Ａ）の処理においてブロックに対応の画像の情報を反転表示させた場合の表示例が示される。ここには、１枚の画像に係る画像データを認識処理した直後の表示部８における表示例が示されている。図９（Ｂ）の画面において、画面右上端に表示される出力指定処理を選択するための“ＹＥＳ”のアイコンが画像座標指定部６またはキーボード７により指定されると、次の指定点検出ステップが開始される。
【００６１】
図１０（Ａ）と（Ｂ）は、図８の指定点検出ステップの処理フローチャートと表示画面例を示す図である。前述したブロック情報表示ステップにおいて、出力指定処理が選択されると、図１０（Ｂ）の画面が表示されて、指定点検出ステップの処理を終了するかどうかが判断される（Ｓ１００２）。図１０（Ｂ）は、指定点検出ステップの処理を終了するか否かを指示する操作を促すための表示画面例である。
【００６２】
この指定点検出ステップによる処理の終了を指示するか否かは、図１０（Ｂ）に示される画面右上端の終了アイコン５０の‘ＹＥＳ’（終了を指示する）、または‘ＮＯ’（終了を指示しない）のいずれかが、画像座標指定部６またはキーボード７を用いて指定されることにより判断される。終了しない場合は、ユーザは画像座標指定部６などにより指定点の入力を行なう（Ｓ１００３）。終了する場合は、それまでに指定された点の座標データを指定点座標バッファ２７に出力した後（Ｓ１００６）、出力指定検出ステップを終了する。
【００６３】
前述したようにして指定点が入力されると、その指定点の座標が検出される（Ｓ１００４）。検出された座標は、指定点座標バッファ２７に蓄積して格納される。また、指定点が入力されると、該指定点を矩形領域内に含むブロックが検出されて、図１０（Ｂ）に示されるように、指定済マーク５１（‘＋’）が該検出ブロックに対応して表示されるなどして、画面上において指定されたブロックが一目で判別できるよう表示される（Ｓ１００５）。
【００６４】
図１１（Ａ）と（Ｂ）は、本実施の形態による指定ブロックの表示態様の変更方法の他の例を説明する図である。
【００６５】
なお、指定されたブロックに関する表示態様の変更の方法は、図１０（Ｂ）に示されたものに限定されない。たとえば、図１１（Ａ）および（Ｂ）で示されるようなものであってもよい。図１１（Ａ）では指定点によりブロックが指定される前の画面表示状態が示されている。ここでは、各ブロックごとにアイコン５２が設けられており、このアイコン５２が画像座標指定部６により指定されるか否かにより、該ブロックが指定されたか否かが決定されて、指定された場合には該ブロックの表示態様を図１１（Ｂ）に示すように変更するようにしてもよい。図１１（Ｂ）では、図示されるように、５つのアイコン５２が指定されて、指定された各アイコン５２が反転表示されることにより、該アイコン５２に対応の５つのブロックが指定された状態であることがわかる。また、終了アイコン５０には、指定されたブロックがいくつであるかが示されている。ここでは、指定されたブロックは５個であることが示されている。
【００６６】
次に、Ｓ１００２に戻り、以上の動作が、出力すべきブロックの指定が終了されるまで繰返される。ユーザが出力すべきブロックの指定処理の終了を、アイコン５０の“ＹＥＳ”）を画像座標指定部６により指定することで指示すると、それまでに指定された指定点の座標データは指定点座標バッファ２７に格納される（Ｓ１００６）。その後、処理は終了する。
【００６７】
次に、図８の認識結果選別ステップの処理を説明する。図１２は、図８の認識結果選別ステップの処理フローチャートである。上述したようにして指定点検出ステップの処理が終了すると、図１２の認識結果選別ステップによる処理がスタートする。
【００６８】
まず、指定点座標バッファ２７中に座標データがあるかどうかが判断されて（Ｓ１２０２）、座標データはないと判断されると、認識結果選別ステップの処理は終了する。一方、読出すべき座標データが指定点座標バッファ２７にあれば、指定点座標バッファ２７から指定点の座標データを読出し（Ｓ１２０３）、認識結果バッファ２５からは、読出された指定点の座標データを含むブロックに対応の文字認識結果である１位認識結果文字列２５Ｂを読出し（Ｓ１２０４）、出力バッファ２８に出力する（Ｓ１２０５）。その後、ステップＳ１２０２に戻り、以上の動作を、指定点座標バッファ２７から読出すべき指定点の座標データがなくなるまで（Ｓ１２０２でＮＯとなるまで）繰返す。その後、次の認識結果修正ステップによる処理に移行する。
【００６９】
認識結果修正ステップ（Ｓ８０９）では、前述の認識結果選別ステップにより出力バッファ２８に出力された認識結果の文字列（１位認識結果文字列２５Ｂ）が表示部８に表示される。この表示内容を見たユーザが、認識結果が誤っていると判断した場合は、キーボード７または画像座標指定部６などを操作して、手動で認識結果の修正を行なうことができる。
【００７０】
図７（Ａ）と（Ｂ）を参照して、上述のようにして指定点検出ステップにおいて指定されたブロック（図７（Ａ）参照）の項目名“氏名”、”会社名”、“郵便番号”、“住所”および“電話番号”に対応した認識結果のみが出力ファイル３Ｃに出力されており（図７（Ｂ）参照）、他のブロックに対応の認識結果文字列は出力されていない。前述の認識結果修正ステップ（Ｓ８０９）では、図７（Ａ）で示されるように、認識結果選別ステップで選別されたブロックの文字列だけを修正すれば、修正後の正しい認識結果の文字列が出力ファイル３Ｃに出力される。
【００７１】
その後、認識結果出力ステップ（Ｓ８１０）では、認識結果修正ステップ（Ｓ８０９）で修正された後の認識結果が、出力ファイル３Ｃに該ファイルのフォーマットに変換されて出力される。
【００７２】
このように、ユーザは表示部８に表示される画像データ中の任意の１点を指定することで、文字認識のための画像領域を指定することが可能となるから、該名刺認識装置が携帯型情報処理端末装置に搭載されて、表示部８における画面表示可能な領域が極めて小さい場合でもあっても、所望領域の情報のみを簡単に、かつ確実に指定して文字認識させることができる。
【００７３】
また、認識結果が表示される画面においても、ユーザは任意の１点を指定することにより、対応ブロックの認識結果のみを出力指定することができて、出力指定時のユーザの負担を軽減することができる。
【００７４】
また、ユーザは必要とする認識結果のみを、すなわち出力ファイル３Ｃに出力を所望する認識結果のみを、認識結果選別部３８を介して点指定により指定することができるから、ユーザは容易に所望する認識結果文字列のみを選別して得ることができる。
【００７５】
上述したブロック情報表示部３６は、図１０（Ｂ）に示されるように、ブロック分類バッファ２６中の座標データ２６Ｃに基づいて画像バッファ２１中の入力画像データを、対応文字列のブロックを反転させるなどして表示しているから、ユーザが画像座標指定部６などにより表示画面の任意の１点を指定すると、該指定点の座標が検出される。そして、検出された該座標がブロック分類バッファ２６のどのブロックに含まれるかを検索する機能を有して、指定ブロックが確定した場合には、認識結果バッファ２５から、確定したブロックの認識結果が読出される。このように、ユーザは所望する文字認識領域を１点の指定で確定し取出すことができる。
【００７６】
また、図１１に示されるように、指定する点をアイコンで固定し、ブロック分類バッファ２６にアイコンの座標とブロックを対応付けた情報を用い、アイコンをＯＮした場合、対応するブロックの認識結果を取出し、認識領域を確定する方法でもよい。
【００７７】
また、図１０（Ｂ）のようにブロックの情報を表示したとき、認識領域指定終了スイッチであるアイコンが合わせて表示されて、スイッチを終了（ＹＥＳ）指定すると認識領域指定作業が終了する。このとき、指定されていなかったブロックの認識結果は出力されない。このように、ユーザは、所望しないブロックを指定しないことで、そのブロックの認識結果は出力ファイル３Ｃには出力されない。その結果、出力ファイル３Ｃにはユーザの所望する認識結果（情報）のみを格納することが容易に可能となる。
【００７８】
また、上述したように認識対象の画像データの表示と認識対象となるブロックの表示とを同一画面上で行なって、認識結果の出力の指定が可能である。
【００７９】
また、以下のように、複数の画像データ中から所望する画像データのみについて上述したような一連の処理を実行することもできる。図１３（Ａ）と（Ｂ）は画像リストの表示画面例を示す図である。図１３（Ａ）では、複数の画像データとして、画像ファイル１〜４が準備されており、これら画像データの全ては未認識状態にあることがリスト形式にて示されている。ここで、ユーザにより、画面右下の一括認識を指定するためのアイコン５４がクリックされて、全ての画像データについての文字認識処理が指定されると、図１３（Ｂ）のような画面表示がなされる。この際、リスト表示された各画像データについての認識が順次、該装置の内部で行なわれていく。そして、その旨がアイコン５４が反転表示されていることで報知される。
【００８０】
図１３（Ｂ）では、複数の画像データのうち、１番目の画像データについては認識処理が終了しており、２番目の画像データについては認識処理中であることが示される。ここで、ユーザが、図１３（Ｂ）の認識済みの１番目の画像データに対応した出力指定アイコン５５を操作すると、対応の画像データについて、ブロック情報表示部３６によるブロック情報表示ステップが開始される。なお、ここでは、ある画像データの認識処理が終了したことに応じて、該画像データに対してブロック情報表示ステップによる処理を開始させるとしているが、該処理の開始タイミングは、全ての画像データについての一括認識処理が終了してからであっても良い。
【００８１】
図１４は、この発明の実施の形態による一括認識指定ステップによる処理フローチャートである。一括認識指定ステップによる処理では、まず、画像データメモリ４などに記憶されている複数の画像データの名称などが図１３（Ａ）に示されるようにリスト表示される（Ｓ１４０２）。ここで、前述した一括認識アイコン５４が操作されたか否か、すなわち一括認識処理が指定されたか否かが判断される（Ｓ１４０３）。一括認識が指定された場合は、認識未処理の画像データが画像データメモリ４中にあるかどうかが判断される（Ｓ１４０４）。未処理の画像データがあれば、画像入力部３１により、該画像データを画像データメモリ４から画像バッファ２１などにロードして（Ｓ１４０５）、認識処理を行なう（Ｓ１４０６）その後、Ｓ１４０４の処理に戻り、以下、同様な処理が繰返される。一方、認識未処理の画像データが画像データメモリ４中になければ、認識処理は終了する。
【００８２】
図１５は、本実施の形態による画像リスト中の所望の画像に対して認識領域指定の処理を施して、認識結果を出力する処理のフローチャートである。まず、画像リストが、各画像データに対応して認識処理が終了しているかどうかの情報とともに表示される（Ｓ１５０２：図１３（Ａ）参照）。ユーザにより認識領域指定処理の実行が指定されているか否か判断され（Ｓ１５０３）、認識領域指定処理を実行しない場合は、認識結果はすべて出力ファイル３Ｃに出力される（Ｓ１５０８）。
【００８３】
一方、認識領域指定処理の実行が指定されている場合は、ユーザがターゲットの画像データを画像リストから選択し（Ｓ１５０４）、図９（Ａ）のブロック情報表示ステップにより、ターゲットの画像データについて認識結果が、ブロック情報とともに表示され（Ｓ１５０５）、次に図１０（Ａ）で説明した指定点検出ステップにおいて、ユーザにより指定された指定点が検出される（Ｓ１５０６）。次に、図１２で示した指定領域認識結果選別ステップにより指定されたブロックの認識結果が選別される（Ｓ１５０７）。その後、Ｓ１５０２の処理に戻り、以下同様にして処理が繰返される。
【００８４】
以上のようにすれば、リスト表示された複数の画像データの一括認識が可能な名刺認識装置において、該リスト中から所望の画像データのみを選択し、選択された画像データについてのみ認識領域指定処理を施して、該所望画像データの所望するブロックの認識結果のみを選択的に出力ファイル３Ｃに出力することが可能となる。
【００８５】
図１６は、この発明の実施の形態による指定されたブロックの認識結果の出力順序を指定するための画面表示例を示す図である。図１６では、図１１（Ａ）のアイコン５２が、該アイコン５２に対応したブロックの認識結果の出力順番を指定する番号の入力が可能なようにが拡張されている。このようにして各ブロックの認識結果の出力順番を指定する番号の入力が可能であれば、キーボード７などの操作をすることなく、画像データが表示された画面において、認識結果の出力可否だけではなく、出力の順序も任意に指定できる。
【００８６】
（実施の形態２）
上述の実施の形態１の名刺認識装置は、上述したような画像データにおける文字認識処理を機能させるためのプログラムで実現される。このプログラムは図１に示された画像入力部３１〜認識結果出力部４１を構成するためのプログラムであり、コンピュータで読取可能な記録媒体に格納されている。上述した実施の形態では、この記録媒体として図２に示されている名刺認識装置で処理が行なわれるために必要なメモリ１１、たとえばＲＯＭ（リードオンリーメモリ）のようなそのものであってもよいし、また図示されていないが外部記憶装置としてプログラム読取装置が設けられ、そこに記録媒体を挿入することで読取が可能な記録媒体であってもよい。いずれの場合においても、該記録媒体に格納されているプログラムはＣＰＵ１が直接にアクセスして実行させるような構成であってもよいし、あるいはいずれの場合もこれら記録媒体からプログラムを一旦読出し、読出されたプログラムはＣＰＵ１の図示されない内部の所定のプログラム記憶エリアにロードされて、ＣＰＵ１によりそのプログラムが読出されて実行される方式であってもよい。なお、このロード用のプログラムは予め図２の装置内部に格納されているものとする。
【００８７】
ここで、上述したプログラムを記録した記録媒体は、名刺認識装置の本体と分離可能に構成される記録媒体であってもよい。このような記録媒体としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスク、ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）または光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持するような記録媒体であってもよい。
【００８８】
また、上述した名刺認識装置は、インターネットを含む通信ネットワーク１０と通信可能な構成を有するから、通信ネットワーク１０から上述したようなプログラムが該装置の所定の記憶領域にダウンロードされるような、流動的にプログラムを担持するような記録媒体であってもよい。なお、このように通信ネットワーク１０からプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め名刺認識装置本体に格納されるか、あるいは別の記録媒体から予め該名刺認識装置内の所定記憶領域にインストールされるものとする。
【００８９】
なお、記録媒体に格納されている情報は、プログラムに限定されず、データであってもよい。
【００９０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る名刺認識装置の機能構成図である。
【図２】この発明の実施の形態に係る名刺認識装置のハードウェア構成図である。
【図３】（Ａ）と（Ｂ）は、図１の後処理部の処理内容を説明するための図である。
【図４】この発明の実施の形態に係る認識結果バッファの内容例を示す図である。
【図５】この発明の実施の形態に係るブロック分類バッファの内容例を示す図である。
【図６】（Ａ）と（Ｂ）は、本実施の形態において画像がブロックに分別された態様で表示された状態を示す図である。
【図７】（Ａ）と（Ｂ）は、本実施の形態において指定されたブロックに対応の出力例を示す図である。
【図８】この発明の実施の形態に係る名刺認識処理の概略フローチャートである。
【図９】（Ａ）と（Ｂ）は、図８のブロック情報表示ステップの処理を示すフローチャートと画面表示例を示す図である。
【図１０】（Ａ）と（Ｂ）は、図８の指定点検出ステップの処理フローチャートと表示画面例を示す図である。
【図１１】（Ａ）と（Ｂ）は、本実施の形態による指定ブロックの表示態様の変更方法の他の例を説明する図である。
【図１２】図８の認識結果選別ステップの処理フローチャートである。
【図１３】（Ａ）と（Ｂ）は画像リストの表示画面例を示す図である。
【図１４】この発明の実施の形態による一括認識指定ステップによる処理フローチャートである。
【図１５】本実施の形態による画像リスト中の所望の画像に対して認識領域指定の処理を施して、認識結果を出力する処理のフローチャートである。
【図１６】この発明の実施の形態による指定されたブロックの認識結果の出力順序を指定するための画面表示例を示す図である。
【図１７】従来の名刺の主面を走査して読み取られた画像を示す図である。
【図１８】（Ａ）と（Ｂ）は、従来の電子的なアドレス帳の登録内容の１例と他の例を示す図である。
【符号の説明】
５画像読取部、６画像座標指定部、８表示部、３１画像入力部、３２文字切出し部、３３文字認識部、３４後処理部、３５ブロック分類部、３６ブロック情報表示部、３７指定点検出部、３８認識結果選別部、３９認識結果抽出部、４０認識結果修正部、４１認識結果出力部、３Ｃ出力ファイル。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character recognition apparatus and method for recognizing characters in image information obtained by reading an image and outputting a character recognition result, and a computer-readable recording medium on which a character recognition program is recorded. The present invention relates to a character recognition apparatus and method capable of outputting only a recognition result of a character to be read, and a computer-readable recording medium on which a character recognition program is recorded.
[0002]
[Prior art]
A character recognition device disclosed in Japanese Patent Application Laid-Open No. 5-108865 (hereinafter referred to as Conventional Example 1) inputs image information, specifies an area for character recognition in the input image information, and is specified. Character recognition was performed for each area. In this way, an image desired to be recognized can be displayed on the display device, the user can specify a necessary area, recognize only the specified area, and output a recognition result.
[0003]
In the apparatus disclosed in Japanese Patent Laid-Open No. 4-04185 (hereinafter referred to as Conventional Example 2), a document image is automatically divided into regions, character code strings are displayed in the reading order, and the user blocks When editing is instructed, the character code string read in advance is edited based on this instruction. As described above, a method of dividing a document image into blocks and displaying the document image on a display device and editing the order of character recognition for each block has been conventionally provided.
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional example 1, since character recognition is performed after selecting an area, the area designation is indispensable, and if the display image is large, the area designation is easy, but the portable information processing terminal device Thus, when the display area in the display unit is small, it is extremely difficult to select and select a desired area in detail.
[0005]
Further, the technique related to automatic area designation in the above-described conventional example 2 requires an input device such as a keyboard in order to designate the character recognition order for each block, and thus editing processing is complicated. Also, since the screen for displaying the reading order number of the block and the screen for instructing the editing process are not overlapped as one screen, the user switches between the reading order screen and the editing screen. However, it was necessary to compare them, and the burden on the user's input was heavy.
[0006]
Further, when the display area of the display unit is small as in the portable information processing apparatus, it is extremely difficult to display the image and the reading order editing screen at the same time.
[0007]
FIG. 17 is a diagram showing an image read by scanning the main surface of a conventional business card. 18A and 18B are diagrams showing one example and other examples of registration contents of a conventional electronic address book.
[0008]
As in the conventional example 2 as described above, the following problems occur when all the areas are specified automatically without performing the editing operation such as the reading order of the blocks. For example, when recognizing the business card image of FIG. 17 and inputting data based on the recognition result into an electronic address book, the user wants to input only the name, company name, and phone number written on the business card. Even in this case, when the recognition results are output in a lump, data such as the telephone number of the head office that the user does not want is input to the address book as shown in FIG. Alternatively, data that could not be recognized as shown in FIG. 18B had been deleted without permission.
[0009]
As described above, in the conventional character recognition apparatus, it has not been possible to easily perform an editing operation for designating whether to permit the output of recognition results for each block or designating the output order of recognition results.
[0010]
SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide a character recognition apparatus and method that can easily perform a character recognition result output operation and a computer-readable recording medium on which a character recognition program is recorded. is there.
[0011]
[Means for Solving the Problems]
A character recognition device according to an aspect of the present invention includes an image information input unit that inputs information of an image including a character string made up of one or more characters, and the image information in the image information input by the image information input unit. Recognizing means for recognizing characters, and having a display area, the image based on the image information input by the image information input means in the display area is sorted into blocks for each character string in the display area When the display means for displaying in a mode and an arbitrary point of the display area where the image is displayed are specified, the recognition of the character string displayed in the block corresponding to the specified arbitrary point Output means for outputting a recognition result by the means.
[0012]
Therefore, when the input image is displayed in the display area in a manner separated into blocks for each character string, the recognition result of the character string of the block corresponding to the specified arbitrary point in the display area is output. The
[0013]
Therefore, the user can specify only the character recognition result of the desired character string from the displayed image by simply specifying an arbitrary point corresponding to the block in which the character string whose character recognition result is desired is displayed. Can be obtained.
[0014]
Moreover, since only the character recognition result of the desired character string can be obtained simply by specifying an arbitrary point as described above, even if the display area is extremely small like a portable information processing terminal, it is displayed in the display area. The recognition result of only the desired character string can be easily and reliably obtained from the character string of the existing image.
[0015]
In the above character recognition device, the arbitrary point is a block point preset for each block, and the output means outputs the recognition result displayed in the block in which the block point is designated. It may be configured as follows.
[0016]
Therefore, when the input image is displayed in the display area in a manner separated into blocks for each character string, the recognition result of the character string displayed only in the block where the set block point is specified Is output.
[0017]
Since the block points are associated with each block in the display area in this way, the user quickly specifies the block points provided in the block where the character string for which the character recognition result is desired is displayed. Therefore, only the character recognition result of the desired character string can be output from the displayed image with a simple operation as described above.
[0018]
In addition, since only the character recognition result of the desired character string can be obtained simply by specifying the block point as described above, even if the display area is very small like a portable information processing terminal, it is displayed in the display area. The recognition result of only the desired character string can be easily and reliably obtained from the character string of the existing image.
[0019]
The above character recognition device further includes image information selection means for selecting one or more pieces of image information from the plurality of pieces of image information input from the image information input means. The one or more pieces of image information selected by the selection unit are subjected to processing by the recognition unit, and the one specified from the one or more pieces of image information after the processing by the recognition unit is performed. One image information may be configured to be processed by the display means.
[0020]
Therefore, the character string recognition process by the recognition unit is performed on the selected one or more, in other words, a plurality of pieces of image information selected from the plurality of image information input from the image information input unit. . And the process by a display means is performed with respect to one image information designated from the one or more image information after the process by a recognition means was performed. Therefore, even when the user performs the batch recognition process as described above for a plurality of pieces of image information, the user designates only one desired image information after that and displays the desired image via the display unit. Since the recognition result of the desired character string can be obtained from the information, the burden on the user regarding the character recognition work when a plurality of pieces of image information are targeted is reduced.
[0021]
The character recognition device described above further includes an output order specifying means for specifying an output order of the recognition results for the block for each character string in the display area, and the output means is displayed on the block. The recognition result of the character string by the recognition unit may be output according to the order designated by the output order designation unit.
[0022]
Therefore, the user outputs the character recognition result editing work by outputting the character recognition result for each designated block in the desired order simply by specifying the desired output order via the output order specifying means. Because it can be done at the time, it is very convenient.
[0023]
In the character recognition device described above, the output unit may be configured to output the recognition result for each designated block to a predetermined medium. Therefore, only a desired recognition result can be directly output and stored on a predetermined medium, which is convenient.
[0024]
In the character recognition device described above, the recognition result for each designated block may be output to the predetermined medium while being converted according to a predetermined format corresponding to the predetermined medium. Thereby, the convenience at the time of storing the recognition result in the predetermined medium is further improved.
[0025]
A character recognition method according to another aspect of the present invention includes an image information input step of inputting information of an image including a character string made up of one or more characters, and the image information input in the image information input step. A recognition step for recognizing the character, and an image based on the image information input by the image information input step in a display area prepared in advance is displayed in a manner in which the image is sorted into blocks for each character string in the display area. And a recognition step by the recognition step of the character string displayed in the block corresponding to the specified arbitrary point when the arbitrary point of the display area where the image is displayed is specified. And an output step for outputting the result.
[0026]
Therefore, when the input image is displayed in the display area in a manner separated into blocks for each character string, the recognition result of the character string of the block corresponding to the specified arbitrary point in the display area is output. The
[0027]
Therefore, the user can specify only the character recognition result of the desired character string from the displayed image by simply specifying an arbitrary point corresponding to the block in which the character string whose character recognition result is desired is displayed. Can be obtained.
[0028]
Moreover, since only the character recognition result of the desired character string can be obtained simply by specifying an arbitrary point as described above, even if the display area is extremely small like a portable information processing terminal, it is displayed in the display area. The recognition result of only the desired character string can be easily and reliably obtained from the character string of the existing image.
[0029]
A computer-readable recording medium recording a character recognition program for causing a computer to execute a character recognition method according to still another aspect of the present invention has the following characteristics. That is, a character recognition method executed by a character recognition program recorded on the medium includes an image information input step for inputting image information including a character string composed of one or more characters, and an input by the image information input step. A recognition step for recognizing the character in the image information, and an image based on the image information input by the image information input step in a display area prepared in advance for each character string in the display area. A display step of displaying in a manner separated into blocks, and when an arbitrary point of the display area where the image is displayed is specified, the character displayed in the block corresponding to the specified arbitrary point And an output step for outputting a recognition result of the column recognition step.
[0030]
Therefore, when the input image is displayed in the display area in a manner separated into blocks for each character string by executing the program, the block corresponding to the specified arbitrary point in the display area The recognition result of the character string is output.
[0031]
Therefore, the user can specify only the character recognition result of the desired character string from the displayed image by simply specifying an arbitrary point corresponding to the block in which the character string whose character recognition result is desired is displayed. Can be obtained.
[0032]
Moreover, since only the character recognition result of the desired character string can be obtained simply by specifying an arbitrary point as described above, even if the display area is extremely small like a portable information processing terminal, it is displayed in the display area. The recognition result of only the desired character string can be easily and reliably obtained from the character string of the existing image.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
(Embodiment 1)
In this embodiment, the case where character recognition is performed on image data read by scanning the main surface of a business card is described. However, the image data to be recognized is not limited to that of a business card, but other image data. There may be.
[0034]
FIG. 1 is a functional configuration diagram of a business card recognition apparatus according to an embodiment of the present invention. FIG. 2 is a hardware configuration diagram of the business card recognition apparatus according to the embodiment of the present invention.
[0035]
In FIG. 2, a business card recognition device stores a CPU (abbreviation of central processing unit) 1, a buffer memory 2 in which various buffers are stored, a memory 3, and image data in order to centrally control and monitor the device itself. An image data memory 4, an image reading unit 5 configured to read image data including a scanner, an image coordinate specifying unit 6 configured to specify coordinates in the image including a mouse or a pen, and the like for inputting various information A keyboard 7 to be operated, a display unit 8 composed of a liquid crystal tablet or CRT (abbreviation of cathode ray tube) for displaying information, and an external communication network 10 such as the Internet for communicating to connect the character recognition device. I / F (abbreviation of interface) 9, including memory 11 for storing various information including data and programs
[0036]
The memory 3 stores a character feature dictionary 3A, a post-processing language dictionary 3B, and an output file 3C, which will be described later. The output file 3C is a storage area corresponding to an electronic address book, for example.
[0037]
The buffer memory 2 includes an image buffer 21, a character rectangle buffer 22, a character image buffer 23, a character feature buffer 24, a recognition result buffer 25, a block classification buffer 26, a designated point coordinate buffer 27 and an output buffer 28 which will be described later.
[0038]
As shown in FIG. 1, the functional configuration of the business card recognition apparatus includes a control unit 50, an image input unit 31, a character cutout unit 32, a character recognition unit 33, a post-processing unit 34, a block classification unit 35, a block information display unit 36, A designated point detection unit 37, a recognition result selection unit 38, a recognition result extraction unit 39, a recognition result correction unit 40, and a recognition result output unit 41 are included.
[0039]
The control unit 50 is for controlling the operation of the business card recognition apparatus by the CPU 1. The image input unit 31 reads the image data read by the image reading unit 5 or the image data stored in advance in the image data memory 4 and stores it in the image buffer 21. The image data memory 4 is composed of, for example, a memory card or a hard disk. The medium of the image data memory 4 is not limited to these, and may be an optical recording medium or a magneto-optical recording medium.
[0040]
The character cutout unit 32 cuts out blocks, lines, characters, and the like from the image data stored in the image buffer 21, extracts character rectangular coordinates, stores the character rectangular coordinate data in the character rectangular buffer 22, and is cut out. The image data of the character is stored in the character image buffer 23.
[0041]
The character recognition unit 33 includes a feature extraction processing unit, a matching processing unit, a character string generation unit, and the like, recognizes character image data in the character image buffer 23, and outputs a character code candidate obtained as a recognition result. To do. Specifically, the feature extraction processing unit extracts character feature data from the character image data and stores it in the character feature buffer 24. The matching processing unit recognizes the character by comparing the contents of a matching dictionary (not shown) in which the standard pattern feature data of a plurality of types of characters is registered in advance with the character feature data in the character feature buffer 24. Then, one or more character code candidates are determined and stored in the recognition result buffer 25 together with the character rectangular coordinate data stored in the character rectangular buffer 22 in advance.
[0042]
3A and 3B are diagrams for explaining the processing contents of the post-processing unit 34 in FIG. The post-processing unit 34 outputs an optimum character recognition result by word matching based on information in the recognition result buffer 25. For example, when the character recognition result before post-processing is FIG. 3A, the post-processing is performed as shown in FIG. 3B based on a plurality of character code strings obtained by the combination of the first to third candidate character codes. A word registered in the language dictionary 3B is searched, and processing such as correction is performed so that the optimum character recognition result becomes “Tenri-shi, Nara”.
[0043]
4 and 5 show examples of contents of the recognition result buffer 25 and the block classification buffer 26 according to the embodiment of the present invention. The recognition result buffer 25 in FIG. 4 includes recognition result information 25i (i = 1, 2, 3,..., N) corresponding to each block. The recognition result information 25i includes a block number BN for identifying the block, a first recognition result character string 25B for the character string in the block, and recognition candidate character data 25C for each character in the corresponding character string. And character rectangle coordinate data 25D indicating coordinates in the display area of the display unit 8 for each character rectangle in the corresponding character string. For example, the block classification unit 35 reads the contents of the recognition result buffer 25 shown in FIG. 4 and classifies the first recognition result character string 25B, which is the recognition result, for each block corresponding to each block. In association with the number BN, as shown in FIG. 5, it is stored in the block classification buffer 26 as block information data 26i (i = 1, 2,..., N). The block information data 26i includes a block number BN for identifying the block (corresponding to the block number BN in FIG. 4), item name data 26B indicating an item name of information corresponding to the block, and a display corresponding to the block Coordinate data 26C indicating coordinates in the display area of the unit 8 is included.
[0044]
FIGS. 6A and 6B are diagrams showing a state in which an image is displayed in a manner that is divided into blocks in the present embodiment.
[0045]
The block information display unit 36 reads the block information data 26i stored in the block classification buffer 26, distinguishes each block based on the coordinate data 26C, and displays the image data of the image buffer 21 on the display unit 8. Further, the coordinate data designated by the user operating the image coordinate designating unit 6 is stored so as to be accumulated in the designated point coordinate buffer 27.
[0046]
More specifically, the coordinate data 26C of each block information data 26i in the block classification buffer 26 is taken out, and the image corresponding to the block is displayed in a separate display mode such that the area of the block is highlighted in the display area of the display unit 8. Is enclosed in a rectangle and displayed (see FIG. 6A).
[0047]
The designated point detection unit 37 allows the user to select an arbitrary point on the block on which a desired character string is displayed in the area of the display unit 8 on which the image is displayed by the block information display unit 36. When the operation point is designated, the coordinate value of the designated point is obtained and stored in the designated point coordinate buffer 27. FIG. 6B is a diagram showing a state in which one arbitrary point is designated by the image coordinate designating unit 6 in the display state of FIG.
[0048]
The recognition result sorting unit 38 sorts the designated block based on the coordinate values designated as described above and stored in the designated point coordinate buffer 27. The recognition result extraction unit 39 extracts information (?) Regarding the designated block from the contents of the recognition result buffer 25 and the block classification buffer 26 and stores it in the output buffer 28.
[0049]
The recognition result output unit 41 writes information on the designated block stored in the output buffer 28 to the output file 3C in accordance with the format of the output file 3C.
[0050]
FIGS. 7A and 7B are diagrams showing an output example corresponding to a block designated in the present embodiment. In the figure, the block designated by the image coordinate designation unit 6 (the block designated by the designated point “+” in FIG. 7A) is sorted by the recognition result sorting unit 38 and the recognition result extracting unit 39, and The contents extracted and output to the output file 3C according to the predetermined format of the output file 3C by the recognition result output unit 39 (see FIG. 7B) are shown.
[0051]
FIG. 8 is a schematic flowchart of the business card recognition process according to the embodiment of the present invention. Hereinafter, the business card recognition process will be described with reference to the flowchart of FIG.
[0052]
First, in the image input step (S 802), image data read by the image reading unit 5 or image data stored in advance in the image data memory 4 is obtained and temporarily stored in the image buffer 21. Next, in the character extraction step (S803), blocks, lines, and characters are extracted from the image data stored in the image buffer 21, character rectangular coordinates are extracted, and the extracted character rectangular coordinate data is the character rectangle. The character image data that is stored in the buffer 22 and cut out is stored in the character image buffer 23.
[0053]
Next, in the character recognition step (S804), character features are extracted from the character rectangular coordinate data and the character image data, and characters registered in advance in the extracted character features and matching dictionary (not shown). The character recognition code candidates are determined by collating with the standard pattern features of the above, and the characters are grouped into character strings based on the rectangular coordinate data of the characters extracted in the character extraction step (S803) described above. The character string is stored in the recognition result buffer 25 as candidate character data 25C.
[0054]
In the next post-processing step (S805), an optimum character recognition result is obtained by processing such as word matching based on the information stored in the recognition result buffer 25, and this is assigned to the recognition result buffer 25. The position recognition result character string 25B is stored. In the next block classification step (S806), the first recognition result character string 25B is classified into items, associated with the contents of the character recognition result buffer 25, and stored in the block classification buffer 26. The items are classified based on word matching or position information in the image data of the recognition result character string. Since the technology related to this classification follows a known one, the description thereof is omitted.
[0055]
In the next block information display step (S807), the block coordinate data 26C in the block classification buffer 26 is taken out and displayed on the display unit 8 in such a manner that the image data in the image buffer 21 is distinguished for each block.
[0056]
In the designated point detection step (S808), the image data displayed on the display unit 8 by the block information display unit 36 is designated when the user designates a desired coordinate (one point) by operating the image coordinate designation unit 6. The coordinate data of the selected point is obtained and stored in the designated point coordinate buffer 27.
[0057]
In the next designated recognition result selection step (S809), the block corresponding to the designated coordinate data stored in the recognition result buffer 25 and the block classification buffer 26 based on the coordinate data stored in the designated point coordinate buffer 27. The first recognition result character string 25 </ b> B is extracted and stored in the output buffer 28. In the recognition result correction step (S810), the user displays the contents stored in the output buffer 28 on the display unit 8. Therefore, when the user finds that the displayed contents are erroneously recognized, the contents are stored in the output buffer 28. The recognition result is corrected by operating the keyboard 7 or the like. Thereafter, in the recognition result output step (S811), the recognition result output unit 41 writes the information stored in the output buffer 28 to the output file 3C according to the format of the output file 3C.
[0058]
FIGS. 9A and 9B are a flowchart and a screen display example showing the processing of the block information display step of FIG. After the character recognition process in the character recognition step (S804) is completed, the icon displayed on the display unit 8 is designated by the image coordinate designation unit 6 or the keyboard 7, and the process of the block information display step (S807) is performed. When the start is instructed, the process of FIG. 9A is started.
[0059]
First, in FIG. 9A, the character code and character rectangular coordinate data 25D of the first recognition result character string 25B are obtained from the recognition result buffer 25 (S902). Next, coordinate data 26C and information (block number BN and item name 26B) relating to each block are obtained from the block classification buffer 26 (S903). Next, image data is obtained from the image buffer 21 (S904). Next, it is determined whether or not there is coordinate data 26C in the obtained image data (S905). If it is determined that the coordinate data 26C is present and there is a block, the image data within the coordinates of the block is determined. The display is reversed (S906). On the other hand, if there is no block, the block information display step itself is terminated (S907).
[0060]
FIG. 9B shows a display example when the information of the image corresponding to the block is highlighted in the process of FIG. 9A. Here, a display example on the display unit 8 immediately after the image data relating to one image is recognized is shown. When the “YES” icon for selecting the output designation process displayed in the upper right corner of the screen is designated by the image coordinate designation unit 6 or the keyboard 7 on the screen of FIG. 9B, the next designated point detection step is performed. Is started.
[0061]
FIGS. 10A and 10B are diagrams showing a processing flowchart and a display screen example of the designated point detection step in FIG. When the output designation process is selected in the block information display step described above, the screen of FIG. 10B is displayed, and it is determined whether or not the process of the designated point detection step is to be ended (S1002). FIG. 10B is an example of a display screen for prompting an operation for instructing whether or not to end the processing of the designated point detection step.
[0062]
Whether or not to instruct the end of the processing by the designated point detection step is determined by “YES” (instructing end) or “NO” (indicating end) of the end icon 50 at the upper right end of the screen shown in FIG. Is determined by designating using the image coordinate designating unit 6 or the keyboard 7. If not finished, the user inputs a designated point using the image coordinate designating unit 6 or the like (S1003). In the case of ending, after outputting the coordinate data of the point designated so far to the designated point coordinate buffer 27 (S1006), the output designation detecting step is terminated.
[0063]
When a designated point is input as described above, the coordinates of the designated point are detected (S1004). The detected coordinates are accumulated and stored in the designated point coordinate buffer 27. When a designated point is input, a block including the designated point in the rectangular area is detected, and a designated mark 51 ('+') is added to the detected block as shown in FIG. 10B. For example, the block designated on the screen is displayed so as to be identified at a glance (S1005).
[0064]
FIGS. 11A and 11B are diagrams illustrating another example of the method for changing the display mode of the designated block according to the present embodiment.
[0065]
Note that the method of changing the display mode related to the designated block is not limited to that shown in FIG. For example, it may be as shown in FIGS. 11 (A) and 11 (B). FIG. 11A shows a screen display state before a block is designated by a designated point. In this case, an icon 52 is provided for each block, and whether or not the block is specified is determined depending on whether or not the icon 52 is specified by the image coordinate specifying unit 6. Alternatively, the display mode of the block may be changed as shown in FIG. In FIG. 11B, as shown in the figure, five icons 52 are designated, and each designated icon 52 is highlighted so that five blocks corresponding to the icon 52 are designated. It can be seen that it is. Also, the end icon 50 indicates how many designated blocks are. Here, it is shown that there are five designated blocks.
[0066]
Next, returning to S1002, the above operation is repeated until the designation of the block to be output is completed. When the user designates the end of the process of designating the block to be output by designating “YES” of the icon 50 by the image coordinate designating unit 6, the coordinate data of the designated point designated up to that point is stored in the designated point coordinate buffer. 27 (S1006). Thereafter, the process ends.
[0067]
Next, the processing of the recognition result selection step in FIG. 8 will be described. FIG. 12 is a processing flowchart of the recognition result selection step of FIG. When the processing of the designated point detection step is completed as described above, the processing by the recognition result selection step of FIG. 12 starts.
[0068]
First, it is determined whether or not there is coordinate data in the designated point coordinate buffer 27 (S1202), and if it is determined that there is no coordinate data, the processing of the recognition result selection step ends. On the other hand, if the coordinate data to be read is in the designated point coordinate buffer 27, the coordinate data of the designated point is read from the designated point coordinate buffer 27 (S1203), and the read coordinate data of the designated point is read from the recognition result buffer 25. The first recognition result character string 25B, which is the character recognition result corresponding to the block to be included, is read (S1204) and output to the output buffer 28 (S1205). Thereafter, the process returns to step S1202, and the above operation is repeated until there is no coordinate data of the designated point to be read from the designated point coordinate buffer 27 (until NO in S1202). Thereafter, the process proceeds to the next recognition result correction step.
[0069]
In the recognition result correcting step (S809), the character string (first recognition result character string 25B) of the recognition result output to the output buffer 28 by the above-described recognition result selecting step is displayed on the display unit 8. If the user who sees the display content determines that the recognition result is incorrect, the user can manually correct the recognition result by operating the keyboard 7 or the image coordinate designating unit 6 or the like.
[0070]
Referring to FIGS. 7A and 7B, the item names “name”, “company name”, “postal” of the block (see FIG. 7A) designated in the designated point detection step as described above. Only the recognition results corresponding to “number”, “address” and “phone number” are output to the output file 3C (see FIG. 7B), and the recognition result character strings corresponding to other blocks are not output. . In the above-described recognition result correction step (S809), as shown in FIG. 7A, if only the character string of the block selected in the recognition result selection step is corrected, the correct recognition result character string after correction is obtained. Output to the output file 3C.
[0071]
Thereafter, in the recognition result output step (S810), the recognition result corrected in the recognition result correction step (S809) is converted into the format of the file and output to the output file 3C.
[0072]
In this way, the user can designate an image area for character recognition by designating an arbitrary point in the image data displayed on the display unit 8, so that the business card recognition apparatus is portable. Even if the area that can be displayed on the screen of the display unit 8 is extremely small, it is possible to easily and reliably specify information of a desired area and perform character recognition.
[0073]
In addition, on the screen where the recognition result is displayed, the user can specify the output of only the recognition result of the corresponding block by specifying any one point, thereby reducing the burden on the user when specifying the output. Can do.
[0074]
Further, since the user can designate only the necessary recognition result, that is, only the recognition result desired to be output to the output file 3C, by the point designation via the recognition result selection unit 38, the user can easily do so. Only the recognition result character string can be selected and obtained.
[0075]
As shown in FIG. 10B, the block information display unit 36 described above inverts the input image data in the image buffer 21 based on the coordinate data 26C in the block classification buffer 26 and the corresponding character string block. When the user designates an arbitrary point on the display screen using the image coordinate designation unit 6 or the like, finger Fixed point coordinates are detected. When the designated block is confirmed with a function of searching in which block of the block classification buffer 26 the detected coordinates are included, the recognition result of the confirmed block is obtained from the recognition result buffer 25. Read out. In this way, the user can determine and take out a desired character recognition area by designating one point.
[0076]
In addition, as shown in FIG. 11, when a point to be specified is fixed with an icon, information that associates the coordinates of the icon with the block is used in the block classification buffer 26, and the icon is turned on, the recognition result of the corresponding block is displayed. A method of extracting and recognizing the recognition area may be used.
[0077]
When the block information is displayed as shown in FIG. 10B, an icon that is a recognition area designation end switch is also displayed, and when the switch is designated to be finished (YES), the recognition area designation work is finished. At this time, the recognition result of the block not designated is not output. In this way, if the user does not designate an undesired block, the recognition result of that block is not output to the output file 3C. As a result, only the recognition result (information) desired by the user can be easily stored in the output file 3C.
[0078]
In addition, as described above, it is possible to specify the output of the recognition result by displaying the image data to be recognized and the block to be recognized on the same screen.
[0079]
Further, as described below, a series of processes as described above can be executed only for desired image data from among a plurality of image data. FIGS. 13A and 13B are views showing examples of image list display screens. In FIG. 13A, image files 1 to 4 are prepared as a plurality of image data, and it is shown in list form that all of the image data is in an unrecognized state. Here, when the user clicks on the icon 54 for specifying batch recognition at the lower right of the screen and character recognition processing for all image data is specified, a screen display as shown in FIG. Made. At this time, recognition of each image data displayed in a list is sequentially performed inside the apparatus. This is notified by the fact that the icon 54 is highlighted.
[0080]
FIG. 13B shows that the recognition process has been completed for the first image data among the plurality of image data, and the recognition process is being performed for the second image data. Here, when the user operates the output designation icon 55 corresponding to the first recognized image data in FIG. 13B, the block information display step by the block information display unit 36 is started for the corresponding image data. The Here, in response to the completion of the recognition processing of certain image data, the processing by the block information display step is started for the image data, but the start timing of the processing is for all the image data. It may be after the collective recognition process is completed.
[0081]
FIG. 14 is a process flowchart of the batch recognition designation step according to the embodiment of the present invention. In the process of the batch recognition designation step, first, a list of names of a plurality of image data stored in the image data memory 4 or the like is displayed as shown in FIG. 13A (S1402). Here, it is determined whether or not the aforementioned batch recognition icon 54 has been operated, that is, whether or not batch recognition processing has been designated (S1403). If batch recognition is designated, it is determined whether unrecognized image data is present in the image data memory 4 (S1404). If there is unprocessed image data, the image input unit 31 loads the image data from the image data memory 4 to the image buffer 21 or the like (S1405), performs recognition processing (S1406), and then returns to the processing of S1404. Thereafter, the same processing is repeated. On the other hand, if there is no unrecognized image data in the image data memory 4, the recognition process ends.
[0082]
FIG. 15 is a flowchart of processing for performing recognition area designation processing on a desired image in the image list according to the present embodiment and outputting a recognition result. First, an image list is displayed together with information indicating whether the recognition process has been completed corresponding to each image data (S1502: see FIG. 13A). It is determined whether or not execution of the recognition area designating process is designated by the user (S1503). If the recognition area designating process is not executed, all recognition results are output to the output file 3C (S1508).
[0083]
On the other hand, if execution of the recognition area designation process is designated, the user selects target image data from the image list (S1504), and the target image data is recognized by the block information display step in FIG. 9A. The result is displayed together with the block information (S1505), and then the designated point designated by the user is detected in the designated point detecting step described with reference to FIG. 10A (S1506). Next, the recognition result of the block designated by the designated area recognition result sorting step shown in FIG. 12 is sorted (S1507). Thereafter, the processing returns to S1502, and the processing is repeated in the same manner.
[0084]
In this way, in the business card recognition device capable of collectively recognizing a plurality of image data displayed in a list, only desired image data is selected from the list, and a recognition area designation process is performed only for the selected image data. Thus, only the recognition result of the desired block of the desired image data can be selectively output to the output file 3C.
[0085]
FIG. 16 is a diagram showing a screen display example for designating the output order of the recognition result of the designated block according to the embodiment of the present invention. In FIG. 16, the icon 52 of FIG. 11A is extended so that a number for specifying the output order of the recognition result of the block corresponding to the icon 52 can be input. If it is possible to input a number that specifies the output order of the recognition result of each block in this way, it is only possible to output the recognition result on the screen on which the image data is displayed without operating the keyboard 7 or the like. The order of output can also be specified arbitrarily.
[0086]
(Embodiment 2)
The business card recognition apparatus of the first embodiment described above is realized by a program for causing the character recognition processing in the image data as described above to function. This program is a program for configuring the image input unit 31 to the recognition result output unit 41 shown in FIG. 1, and is stored in a computer-readable recording medium. In the above-described embodiment, the recording medium may be a memory 11 necessary for processing by the business card recognition apparatus shown in FIG. 2, such as a ROM (Read Only Memory) itself. Although not shown, a program reading device may be provided as an external storage device, and the recording medium may be a recording medium that can be read by inserting the recording medium therein. In any case, the program stored in the recording medium may be configured to be directly accessed and executed by the CPU 1, or in any case, the program is once read from the recording medium and read out. The program may be loaded into a predetermined program storage area (not shown) of the CPU 1 and read and executed by the CPU 1. It is assumed that this loading program is stored in advance in the apparatus of FIG.
[0087]
Here, the recording medium on which the above-described program is recorded may be a recording medium configured to be separable from the main body of the business card recognition apparatus. Such recording media include tape systems such as magnetic tapes and cassette tapes, magnetic disks such as flexible disks and hard disks, optical disk systems such as CD-ROM / MO / MD / DVD, and IC cards (including memory cards). ) Or a card medium such as an optical card, or a recording medium that carries a fixed program including a semiconductor memory such as a mask ROM, EPROM, EEPROM, flash ROM, or the like.
[0088]
In addition, since the business card recognition device described above has a configuration capable of communicating with the communication network 10 including the Internet, the above-described program can be downloaded from the communication network 10 to a predetermined storage area of the device. The recording medium may carry a program. When the program is downloaded from the communication network 10 in this way, the download program is stored in advance in the main body of the business card recognition apparatus, or is stored in advance in a predetermined storage area in the business card recognition apparatus from another recording medium. It shall be installed.
[0089]
The information stored in the recording medium is not limited to a program, and may be data.
[0090]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a functional configuration diagram of a business card recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a hardware configuration diagram of the business card recognition apparatus according to the embodiment of the present invention.
FIGS. 3A and 3B are diagrams for explaining the processing content of the post-processing unit in FIG. 1;
FIG. 4 is a diagram showing an example of contents of a recognition result buffer according to the embodiment of the present invention.
FIG. 5 is a diagram showing an example of contents of a block classification buffer according to the embodiment of the present invention.
FIGS. 6A and 6B are diagrams illustrating a state in which an image is displayed in a manner that is divided into blocks according to the present embodiment.
FIGS. 7A and 7B are diagrams illustrating an output example corresponding to a block designated in the present embodiment. FIGS.
FIG. 8 is a schematic flowchart of a business card recognition process according to the embodiment of the present invention.
FIGS. 9A and 9B are a flowchart and a screen display example showing processing of the block information display step of FIG.
FIGS. 10A and 10B are a flowchart and a display screen example of the designated point detection step in FIG.
FIGS. 11A and 11B are diagrams illustrating another example of the method for changing the display mode of the designated block according to the present embodiment. FIGS.
12 is a processing flowchart of a recognition result selection step in FIG. 8;
FIGS. 13A and 13B are diagrams illustrating an example of a display screen of an image list.
FIG. 14 is a process flowchart of a batch recognition designation step according to an embodiment of the present invention.
FIG. 15 is a flowchart of processing for performing recognition area designation processing on a desired image in an image list according to the present embodiment and outputting a recognition result.
FIG. 16 is a diagram showing a screen display example for designating an output order of recognition results of designated blocks according to the embodiment of the present invention.
FIG. 17 is a diagram showing an image read by scanning the main surface of a conventional business card.
FIGS. 18A and 18B are diagrams showing one example and other examples of registration contents of a conventional electronic address book.
[Explanation of symbols]
5 image reading unit, 6 image coordinate designation unit, 8 display unit, 31 image input unit, 32 character cutout unit, 33 character recognition unit, 34 post-processing unit, 35 block classification unit, 36 block information display unit, 37 designated point detection 38, recognition result selection unit, 39 recognition result extraction unit, 40 recognition result correction unit, 41 recognition result output unit, 3C output file.

Claims

Image information input means for inputting image information including a character string composed of one or more characters;
And recognizing means for recognizing the characters in the image information input by said image information input means,
Display means having a display area, and displaying the image according to the image information input by the image information input means in the display area in a manner separated into blocks for each character string in the display area;
Output means for outputting a recognition result by the recognition means of the character string displayed in the block corresponding to a point specified in the display area where the image is displayed ;
When a collective recognition designation operation is performed on the plurality of image information input from the image information input unit, the recognition unit sequentially performs recognition processing on the plurality of image information, and the sequential recognition process is in progress. In addition, when desired image information is selected from the recognized image information, the selected image information is displayed in the display area in a manner separated into blocks for each character string in the display area. It shall be the feature, character recognition device.

The designated point is a block point set in advance for each block,
The output means includes
The character recognition apparatus according to claim 1, wherein the recognition result displayed in the block in which the block point is designated is output.

In the display area, the block for each character string further includes an output order specifying means for specifying the output order of the recognition results,
And the output means, the recognition result by the recognition means of the character string displayed on the block, and outputs in accordance with the order specified by the output order specifying section, according to claim 1 or 2 Character recognition device.

An image information input step for inputting information of an image including a character string composed of one or more characters;
A recognition step of recognizing the characters in the image information input by said image information input step,
A display step of displaying an image based on the image information input by the image information input step in a display area prepared in advance, in a manner separated into blocks for each character string in the display area;
An output step of outputting a recognition result by the recognition step of the character string displayed in the block corresponding to a point specified in the display area where the image is displayed ;
When a batch recognition designation operation is performed for the plurality of image information input in the image information input step, the recognition process is sequentially performed on the plurality of image information in the sequential recognition process. In addition, when desired image information is selected from the recognized image information, the selected image information is displayed in a manner that is sorted into blocks for each character string in the display area by the display step. It shall be the feature, character recognition method.

A computer-readable recording medium recording a character recognition program for causing a computer to execute a character recognition method,
The character recognition method is:
An image information input step for inputting information of an image including a character string composed of one or more characters;
A recognition step of recognizing the characters in the image information input by said image information input step,
A display step of displaying an image based on the image information input by the image information input step in a display area prepared in advance, in a manner separated into blocks for each character string in the display area;
An output step of outputting a recognition result by the recognition step of the character string displayed in the block corresponding to a point specified in the display area where the image is displayed ;
When a batch recognition designation operation is performed for the plurality of image information input in the image information input step, the recognition process is sequentially performed on the plurality of image information in the sequential recognition process. In addition, when desired image information is selected from the recognized image information, the selected image information is displayed in a manner that is sorted into blocks for each character string in the display area by the display step. you wherein, in a computer-readable recording medium having recorded thereon a character recognition program.