JPH02151984A - 画像認識システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、名刺等の画像を読取って画像がら所定の情報
を認識するための画像認識システムに関する。

〔従来の技術〕

従来、名刺を読取ってその画像から所定の情報を認識す
る名刺画像認識システムか研究開発されている。例えは
情報処理学会第３５回（昭和６２年後期）全国大会にお
ける黄瀬浩−等による文献「名刺画像認識システム（１
）　項目仮説生成１９３７頁〜１９３８頁」では、名刺
を文書画像としてとらえ、名刺画像を部分領域に分割し
、名刺画像のＭ造を記述した名刺モデルをもとに各領域
に対応する項目の候補を仮説という形で生成し、これに
基づいて名刺画像に記載されている情報を認識するよう
にしている。

また特公昭６１−２０９０８号に開示されている画像の
蓄積検索装置では、名刺画像を図形領域と文字領域とに
分割し、さらに文字領域を氏名。

社名１部課名、肩書、住所等の意味情報ごとに分割して
、名刺画像の画像パターンおよび画像パターンから作成
された特徴パラメータを意味情報ごとに情報ファイルに
蓄積し、所定の検索キーと蓄積した特徴パラメータとを
照合させることによって検索を行なうことができるよう
になっている。

〔発明か解決しようとする課題〕

ところで、一般に名刺には氏名１社名１部課名住所等の
文字部分の他に会社の商号等の字形１図案などの所謂ロ
ゴマークが印刷されている場りがある。しかしながら、
上述した名刺画像認識システムでは、文字部分の他にロ
ゴマークが名刺に印刷されていてもロゴマークを除いた
文字部分だ（Ｊを認識対象としていた。また上述の公告
公報の画像蓄積検索装置では、画像と文字情報とを同時
に取扱うことができるものの、検索に際して、図形領域
に存在するロゴマーク独自の情報、ずなわぢ会社情報を
積極的に活用することを何らＪ５−慮していなかった。

このように従来の画像認識システムでは、ロゴマークか
記されて、いても文字部分だけを認識しロゴマークのも
つ会社情報を有効に活用してぃなかったので、文字部分
だけの認識よりもより精度の高い認識結果を得ることが
できないという問題があった。

本発明は、ロゴマーク等のマークのもつ情報を有効に活
用して文字部分だけの認識よりもより精度の高い認識結
果を得ることの可能な画像認識システムを堤供すること
を目的としている。

〔課題を解決するための手段〕

−Ｆ記目的を達成するなめに、本発明の画像認識システ
ムは、画像から文字を認識する文字認識手段と、画像か
らマークを認識するマーク認識手段と、文字認識結果を
マーク認識結果に基ついて総合的に判断し最終の認識結
果として出力する総合判断手段とを備えていることを特
徴とじなものである。

〔作用〕

上記のような構成の画像認識システムでは、例えは名刺
を読取ってその画像がら文字を認識して文字認識結果を
出力する。この際に名刺にロゴマークか印刷されている
ときにはロゴマークも認識してこのロゴマークに対応し
た社名情報等の所定の情報を得る。このようにロゴマー
クから社名情報等が得られる場合には、例えは上記文字
認識結果をロゴマークから得られた社名情報等と照合し
て、文字認識結果か正しいか否かを総合的に判断する。

総合的に判断して文字認識結果が正しくないときにはこ
れをロゴマークから得られた社名情報等で置換えて最良
の認識結果を得ることができる。

〔実施例〕

以下、本発明の一実施例を図面に基づいて説明する。

第１図は本発明の第１の実施例の画像認識システムの構
成図である。

この画像認識システム１は、名刺などを読取る読取部２
と、読取った画像を記憶する画像メモリ３と、画像メモ
リ３に記憶された画像から文字部分の画像と文字以外の
部分の画像とを分離する画像分離部４と、画像分離部４
で分離された文字部分の画像から文字認識辞書５を検索
して文字を認識する文字認識部６と、画像分離部４で分
離された文字以外の部分の画像からマークデータベース
７を検索してマークを認識するマーク認識部８と、文字
認識部６からの文字認識結果とマーク認識部８からのマ
ーク認識結果とに基づき総合判断を行ない、最終の認識
結果をデータベース１０に格納する総合判断部９とを備
えている。

画像分離部４は、画像上において例えば他と異なる色の
部分もしくは局所的に画素の分布密度か高い部分を文字
以外の部分と判断するようになっている。

またマーク認識部８は、例えはサイズ、色彩構成１輪郭
形状の方向コードヒストグラムなどを特徴ベクトルとす
るパターンマツチングなどによってロゴマークなどのマ
ークの認識を行なうようになっており、マークデータベ
ース７には全てのマークの辞書がこれに付随した所定の
情報１例えは社名情報７名刺Ｗ！造情報、住所情報等と
対応させて予め登録されている。

文字認識部６は、文字部分の画像から文字の切出しを行
ない、個々の文字の認識を行なった後、その文字列とし
ての組み合わせを社名、住所１氏名、電話番号、ファク
シミリ番号などの項目として認識するようになっており
、従って文字認識辞書５には個々の文字の字形辞書とと
もに社名や住所などの項目に関する単語辞書か予め格納
されている。

また総合判断部９は、例えは文字認識結果とマーク認識
結果との整合性かとれないような場合に、特徴空間上で
の距離から最も信頼できる認識結果、を合成１選択し、
これを最終の認識結果として生成するようになっている
。

このような構成の第１の実施例の画像認識システムによ
って文字の他にロゴマークが印刷された名刺の認識を行
なわせるときの動作を第２図のフローヂャートを用いて
説明する。

先づ第２図のステップＳ１では、名刺を読取って名刺画
像を画像メモリ３に記憶する。次いでステップＳ２では
、２画像メモリ３に記憶された名刺画像から文字部分の
画像と文字以外の部分の画像とを分離する。第３図は、
画像メモリ３に記憶された名刺画像の一例を示す図であ
って、名刺画像ＰＣを文字部分の画像ＰＣ１と文字以外
の部分の画像ずなわちロゴマーク部の画像ＰＣ２とに分
離する場合か示されている。

ステップＳ３では分離したロゴマーク部の画像Ｐ　Ｃ２
からマークデータベース７を検索してロゴマー匁を認識
し、これに付随した所定の情報を得る。マーク認識にお
いて読取ったロゴマークの特徴ベクトルが、例えは社名
情報“（株）リコーに対応したロゴマークの辞書と距離
“’　２００　”だけずれており、この距離“２００　
”か他のロゴマークの辞書との距離に比べ一番小さいも
のであったとすると、先つ社名情報か゛（株）リコー″
として得られる。

しかる後にこの社名情報に基づいて名刺構造情報と住所
情報とを得る。すなわち、例えは、゛（株）リコー゛″
の社員の名刺が全て第４図に示すようなｍ造をもつもの
としてマークデータベース７内に記憶されており、また
′（株）リコーの住所として第５図に示すような各工場
、各支店の所在地の全てがマークデータベース７内に記
憶されている場合には、“（株）リコーパの社名情報か
得られると第４図、第５図に示す名刺構造悄Ｗ、住所情
報かマークデータベース７から付随的に得られる。

次いでステップＳ４では、分離した文字部分の画像ＰＣ
１から文字認識辞書５を検索して画像ＰＯ２内の文字を
認識する。第６図には画像ＰＯ２内の文字の認識結果の
一例か示されている。

なお第６図中、記号“′＊“は認識できない文字ずなわ
ちリジェクトした文字を示している。

画像ＰＯ２内の文字の認識を終了するとその認識結果に
基づいて文字部分の項目の認識を行なう。

すなわち、第６図のような認識結果を得ると、先づキー
ワード“株式会社″から社名として“株式会社　υつ一
′″を辞書との距離“”５００’”で認識し、また文字
数の比較によって氏名として′″理光太部′”を認識し
、キーワード“東京都″より住所として゛′大田区中馬
込１−１−６　　〒１１３′を認識する。なお第６図の
認識結果では住所に対応する部分に誤読文字“太パおよ
びリジェクト文字“＊パか存在するが、文字認識部６で
は、文字認識辞書５に登録されている住所と照合するこ
とによって誤読文字°゛太″、リジェクト文字”　＊　
”を適切な文字に自動的に訂正して上記のような正確な
住所として認識させることができる。社名１氏名、住所
の項目を認識すると、文字認識部６は、マーク認識部８
で得られた名刺構造情報を総合判断部９を介して参照し
、認識結果パシステム開発事業部商品企画室′”を部課
名の項目として認識し、また認識結果”　（０３）７７
７−８１１１”を電話番号の項目、認識結果’１０３）
７７３−６０２７′°をファクシミリ番号の項目として
認識する。

文字認識部６において上述のように名刺上の各項目を認
識すると、ステップＳ５では、文字認識部６における以
上の認識結果をマーク認識部８で得られた社名情報等と
照合して不一致のときには辞書との距離等を参照して総
合的に判断する。上の例では、照合の結果、文字認識部
６における社名の認識結果“りつ−′″かマーク認識部
８における社名情報゛リコー′°と不一致であることか
わかる。これにより総合判断部９では、先づ各認識結果
の辞書との距離を比較する。なおこの際に、マーク認識
と文字認識とで互いに異なる特徴ベクトルが用いられて
いる場合には、各辞書との距離を直接比較することはで
きない。このような場合には経験的に重みを設定し、各
辞書との距離に重みづけを行なってから比較する必要が
ある。

いよ簡単のために、マーク認識と文字認識とが同じ特徴
ベクトルを用いて行なわれているとすると、マーク認識
部８における認識結果“′リコーの辞書との距離“’２
００’”と文字認識部６における認識結果°゛りつ−”
の辞書との距離”　５００　”とを直接比較することが
できて、これにより総合判断部９は辞書との距離が小さ
い認識結果゛′リコ′°の方がより正しいものと判断す
る。さらに、マーク認識で得られた名刺構造情報が文字
認識結果に一致し、さら゛にはマーク認識で得られた住
所情報の一つが文字認識で得られた住所の認識結果と一
致するので、これらを考慮して社名としては゛リコー”
が正しいと判定する。

このようにして、文字認識部６で得られた認識結果とマ
ーク認識部８で得られた認識結果を照合し、最も信頼で
きる認識結果を合成１選択した後、ステップＳ６におい
て、総合判断部９はその最終認識結果をデータベース１
０に格納し、１枚の名刺画像の認識処理を終了する。

以上のように、この第１の実施例の画像認識システムで
は、名刺にロゴマークが印刷されているような場合に、
このロゴマークから得られる各種の情報を積極的に活用
し、この情報によって文字認識部６における認識結果が
正しいか否かを確認することかできまた文字認識部６の
認識結果が誤まっているときにはこれをマーク認識部８
からの正しい情報で置換えて最終認識結果として出力す
るようにしているので、文字のみの認識よりもより精度
の高い認識結果を得ることが可能となる。

第７図は本発明の第２の実施例の画像認識システムの構
成図である。なお第７図において第１図と同様の箇所に
は同じ符号を付している。

第２の実施例の画像認識システム１１は、第１の実施例
のように画像分離部４を設けず、文字認識部１２におい
て文字としての認識か不可能な部分に対してマーク認識
部１４でマークの認識を行なうようになっている。

このような構成の第２の実施例の画像認識システムでは
、第８図のフローチャートに示すように、ステップ８１
１で名刺を読取って名刺画像を画像メモリ３に記憶した
後に、ステップＳ１２では画像メモリ３に記憶した名刺
画像の全体を対象に文字認識を行なう。名刺画像が第３
図に示したようなものであるとすると、文字部分の画像
ＰＣ１は文字認識部１２において文字認識され、文字認
識辞書５を参照して第２図のステップＳ４と同様の処理
を行なって、文字部分の各項目の認識結果を得る。

これに対して文字以外の部分の画像ＰＣ２に対しては文
字認識部１２において文字認識が不可能と判断しステッ
プ８１３に進む。ステップ３１３では、この画像ＰＣ２
をマーク認識部１４に送りマーク認識部１４においてロ
ゴマークを認識する。

すなわちマーク認識部１４は、マークデータベース７を
参照して第２図のステップＳ３と同様の処理を行なって
、所定の情報すなわち社名情報７名刺梢造情報、住所情
報を得る。しかる後に、ステツブＳ　ｉ　４では、総合
判断部９においてステップＳ５と同様にして認識結果の
照合処理を行ない、最も信頼できる認識結果を合成７選
択し、ステップ３１５において最良の認識結果をデータ
ベース１０に登録する。

このように第２の実施例では、第１の実施例のように画
像の分離を行なわない分だけ処理の簡素化と処理時間の
短縮を図ることが可能となる。

第９図は本発明の第３の実施例の画像認識システムの構
成図であって、この第３の実施例では、文字認識辞書２
３の字形辞書にロゴマーク等のマークも登録しておき、
文字の認識とマークの認識を文字認識部２２で同じに行
ない、総合判断部２５では文字認識部２２におけるマー
クの認識結果に付随した社名情報等の所定の情報をマー
クデータベース２４から取出して、これらの情報と文字
認識部２２からの文字認識結果とに基づいて最良の認識
結果を求めてデータベース１０に登録するようになって
いる。

このような構成の第３の実施例の画像認識システムでは
、第１０図のフローチャートに示すように、ステップＳ
２１で名刺を読取って名刺画像を画像メモリ３に記憶し
た後に、ステップＳ２２では画像メモリ３に記憶した名
刺画像の全体を対象ｔこマークをも含めた文字認識を行
なう。すなわちこの文字認識において、第３図に示すよ
うな文字部分の画像ＰＣ１とともに文字以外の部分の画
像ＰＣ２か文字認識辞書２３によって認識される。

画像ＰＣ２か文字認識辞書２３の字形辞書によってロゴ
マークとして認識されると、ステップ８２３において総
合判断部２５では、このマークに付随した社名情報等を
マークデータベース２４から取出す。しかる′後、ステ
ップＳ２／Ｉでは、文字認識結果とマーク認識により得
られた社名情報等との照合処理を行ない最も信頼できる
認識結果を合成１選択し、ステップＳ２５において最良
の認識結果をデータベース１０に登録する。

このように第３の実施例では、認識部を１つにまとめる
ことによって第２の実施例に比べてさらに処理の簡素化
を図ることか可能となる。

なお、上述した各実施例では、社名等の文字とともにロ
ゴマークか印刷された名刺を例にとって説明したが、名
刺としては会社を特定させるのに社名文字を省略してロ
ゴマークなりが印刷されているものもある。このような
名刺の認識にも本発明を適用できて、このときには文字
部分からは社名を得ることができないので、照合処理等
を行なわずにロゴマークから得られる情報だけを用いて
名刺を認識させることができる。

また上述した各実施例では名刺画像の認識を例にとって
説明したが、名刺以上の文書にも本発明を適用すること
かできる。

〔発明の効果〕

以」二に説明したように、本発明によれは、マークに付
随した所定の情報に基づいて文字認識結果を総合的に判
断するようにしているので、文字のみの認識よりもより
精度の高い認識結果を得ることかできる。

【図面の簡単な説明】

第１図は本発明の第１の実施例の画像認識システムの構
成図、第２図は第１の実施例の画像認識システムの処理
流れを示すフローチャー１・、第３図は名刺画像の一例
を示す図、第４図は名刺構造情報の一例を示す図、第５
図は住所情報の−・例を示す図、第６図は文字認識結果
の一例を示す図、第７図は本発明の第２の実施例の画像
認識システムの構成図、第８図は第２の実施例の画像認
識システムの処理流れを示すフローチャート、第９図は
本発明の第３の実施例の画像認識システムの構成図、第
１０図は第３の実施例の画像認識システムの処理流れを
示すフローチャートである。 １．１１．２１・・・画像認識システム、２・・・読取
部、３・・・画像メモリ、４・・・画像分離部５．２３
・・・文字認識辞書、 ６　１２．２２・・・文字認識部、 ７２４・・・マークデータベース、 ８１４・・・マーク認識部、

Claims (1)

【特許請求の範囲】
1. 画像から文字を認識する文字認識手段と、画像からマー
   クを認識するマーク認識手段と、文字認識結果をマーク
   認識結果に基づいて総合的に判断し最終の認識結果とし
   て出力する総合判断手段とを備えていることを特徴とし
   た画像認識システム。