JP3965983B2 - 画像処理方法およびその装置 - Google Patents
画像処理方法およびその装置 Download PDFInfo
- Publication number
- JP3965983B2 JP3965983B2 JP2001367675A JP2001367675A JP3965983B2 JP 3965983 B2 JP3965983 B2 JP 3965983B2 JP 2001367675 A JP2001367675 A JP 2001367675A JP 2001367675 A JP2001367675 A JP 2001367675A JP 3965983 B2 JP3965983 B2 JP 3965983B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- image processing
- recognition result
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ニューラルネット技術を用いて、文字を認識する画像処理方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、正解画像を文字種分メモリに保持し、それら正解画像の文字と認識対象の文字とを比較することにより、文字を認識する画像処理方法がある。しかし、正解画像の文字と比較する従来の方法では、文字種を１文字づつ照合するので、認識するべき文字の数に比例して認識を完了するのに時間がかかるという問題がある。
【０００３】
この問題を解決する手法に、認識するべき文字を２値化してその大きさを正規化した後にニューラルネットに入力してその文字を認識する方法がある。
【０００４】
また、インクジェットプリンタなどで印刷されたドット文字を認識する場合、ドット文字に対して膨張処理を施して、各ドット間を連結させた上で、そのドット文字を認識する方法が知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、ニューラルネットを用いる方法では、認識するべき文字を２値化すると、文字同士が離れていたり、背景にノイズがある場合、文字を正しく抽出することができないために、正しい認識結果を得ることができない。
【０００６】
また、膨張処理で各ドット間を連結させる方法では、文字間隔が狭いと、膨張処理で文字同士が接触してしまい、各文字を正しく分離することができず、正しい認識結果を得ることができない。
【０００７】
さらに、認識するべき文字に罫線が引かれている場合、文字の印刷面が梨地である場合などでは、文字と背景とを分離することができないために、正しい認識結果を得ることができない。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる画像処理方法およびその装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の画像処理装置は、本来画素の連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をする第１の手段と、この手段による抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、前記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、前記抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行する第２の手段と、前記少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する第３の手段とを備える一方、互いに隣接する文字が接触した状態にある文字列を、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断して、前記画像を得る第４の手段をさらに備え、前記重み付けは、投影方向において文字領域の画素濃度に対応する画素が連結してできている島の数を重みとし、この重みは、この重みとされる島の数が大きいほど、対応する投影値が上記しきい値を超えやすくなるように用いられることを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の画像処理装置によって実行される画像処理方法であって、前記第１の手段によって、本来画素の連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をするステップと、前記第２の手段によって、上記ステップによる抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、前記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、前記抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行するステップと、前記第３の手段によって、前記少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力するステップとを有する一方、前記第４の手段によって、互いに隣接する文字が接触した状態にある文字列を、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断して、前記画像を得るステップを更に有することを特徴とする。
【００１３】
請求項３記載の発明は、請求項２記載の画像処理方法において、前記第４の手段によるステップにおいて、互いに隣接する文字が接触した状態にある文字列であるか否かを自動的に判定し、互いに隣接する文字が接触した状態にある文字列に対しては、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断し、本来連続する部分が複数の文字部分に分断した状態にある文字については、それら文字部分を変更せずに、前記画像を得ることを特徴とする。
【００１４】
請求項４記載の発明は、請求項２記載の画像処理方法において、前記第４の手段によるステップにおいて、複数のドットからなるドット文字を含む文字列に対して、方向選択性の膨張処理を施して、前記互いに隣接する文字が接触した状態にある文字列を得ることを特徴とする。
【００１５】
請求項５記載の発明は、請求項２記載の画像処理方法において、前記第１の手段によるステップにおいて、互いに隣接する文字が接触した状態にある文字列を予め設定した値で強制的に分断して前記画像を得ることを特徴とする。
【００１６】
【発明の実施の形態】
（第１実施形態）
図１は本発明に係る第１実施形態の画像処理の手順の説明図、図２は同画像処理の対象となる文字列の一例を示す図、図３は同画像処理中の概略領域作成処理のフロー図、図４は同画像処理中の認識処理のフロー図、図５は図３，図４の処理過程の様子を示す図であり、これらの図を参照しながら第１実施形態について説明する。
【００１７】
第１実施形態の画像処理方法は、文字列を含む原画像から各文字を切り出してそれを認識するための方法であり、撮像条件または対象ワークの条件の不良等に起因して、図２に示すように、各文字における本来連続する部分が複数の文字部分に分断され、通常の２値化処理または投影処理ではそれら各文字を１文字毎に正しく切り出せない状態の文字列を含む原画像１から、各文字における分断された各文字部分を正しい文字となるように組み合わせることにより、正しい文字の認識結果を返す。
【００１８】
すなわち、本画像処理方法では、まず、図１（ａ）の例に示す原画像１から、２値化処理または濃淡フィルタなどで、図１（ｂ）に示すように、少なくとも各文字部分の抽出を行う。ここで、図１（ｂ）の例では、分断された文字部分の他にノイズ部分も抽出されているが、例えば２値化処理の場合、文字部分とそのノイズ部分との区別がつかないので、そのノイズ部分も文字部分として取り扱われることになる。また、文字が文字部分に分断されていない場合には、その文字が抽出されることになる。このため、以下ではこれらを抽出結果の「要素」と呼ぶことにする。
【００１９】
次いで、上記抽出結果から、少なくとも一の文字を構成する確率の高い一の要素または複数の要素を選択する。第１実施形態では、後述の概略領域作成処理手順により、図１（ｃ）の例に示す矩形状の外枠に囲まれた概略領域を決定することにより、少なくとも一の文字を構成する確率の高い一の要素または複数の要素を選択する。ここで、概略領域に含まれる文字が文字部分に分断されていない場合には、その概略領域には、少なくとも一の文字を構成する要素が含まれることになる。また、概略領域に含まれる文字が複数の文字部分に分断した状態にある場合、その概略領域には、少なくとも一の文字を構成する複数の要素が含まれることになる。
【００２０】
次いで、上記概略領域で選択した一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、上記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、概略領域（抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素）毎に実行する。ここで、概略領域で選択される要素が複数有る場合、これら複数の要素が種々組み合わされて、各組毎に合成画像が作成されることになるが、この場合、各合成画像に含まれる各要素は、処理毎に、より良い一致度および認識結果に更新される。従って、上記処理の終了時点で、概略領域毎に、各要素は、自信を含む全ての組みでの最大の一致度および認識結果を対応付けられて保持していることになる。
【００２１】
次いで、図１（ｄ）に示すように、概略領域毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する。同図は、概略領域毎に、最大の一致度および認識結果になった各文字部分を一まとめにしている様子を示している。その一まとめにされた各文字部分の一致度および認識結果が、その各文字部分を囲む矩形状の枠内の文字の一致度および認識結果となる。
【００２２】
このような処理を効率的に実行するため、第１実施形態では、概略領域作成処理を先に実行してその後で認識処理を行う２段構えになっている。すなわち、まず、各要素の組合せを計算する際の計算量を減らすため、図３のフローに従って認識対象文字の概略領域を決定する。次いで、図４のフローに従って各概略領域内の要素の種々の組みに対して認識処理を行う。
【００２３】
まず、図３を用いて概略領域作成処理について説明すると、図３（ａ）の“組合せ開始部分領域選択”のステップでは、従来の方法（２値化処理または濃淡フィルタなど）で抽出した各要素を、外接矩形の左上端点のＸ座標の昇順でソートし、ソートされた各要素のうち、先頭の要素を概略領域の先頭要素として選択する。
【００２４】
“結合領域選択”および“領域結合”のステップでは、ソートされた各要素のうち、次の要素を選択してこの領域を概略領域に加え、これを拡張する。
【００２５】
“結合領域外接矩形計算”のステップでは、概略領域内の組み合わされた各要素の外接矩形の左上端点の座標の最小値および右下端点の座標の最大値を、それぞれその概略領域の左上端点および右下端点とし、これら左上端点および右下端点から、拡張された概略領域の大きさを計算する。
【００２６】
“サイズオーバー判定”のステップでは、概略領域の大きさが予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの幅平均値の２倍）を超えるか否かを判定し、超えなければ“ＯＫ”として次の“ギャップ判定”のステップに進む。一方、超えれば“ＮＧ”として、“結合領域から削除”のステップに進み、上記拡張された概略領域に加えられた領域を除外する。この後、“結合領域選択”のステップに戻る。
【００２７】
“ギャップ判定”のステップでは、概略領域内の要素間の距離が予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンのギャップ幅平均値の４０％）以上離れているか否かを判定し、離れていなければ“ＯＫ”として次の“サイズ未達判定”のステップに進む。一方、離れていれば“ＮＧ”として、“結合領域から削除”のステップに進み、上記拡張された概略領域に加えられた領域を除外する。この後、“結合領域選択”のステップに戻る。例えば、図５（ａ）において、“０”の領域に対して、“１”の領域は結合ないし連結されるが、“２”の領域は“０”の領域との間隔が広いために結合されない。
【００２８】
“サイズ未達判定”のステップでは、概略領域の大きさが所定の大きさより小さいサイズ未達であるか否かの判定を行い、サイズ未達でなければ“ＯＫ”として次の“概略領域確定”のステップに進む。一方、サイズ未達であれば“ＮＧ”として“結合領域選択”のステップに戻る。
【００２９】
“概略領域確定”のステップでは、このステップまで到達した概略領域を確定した概略領域として保存する。
【００３０】
“全領域終了”のステップでは、ソートされた各要素の全てが選択されたか否かを判定し、全てが選択されたならば、“Ｙｅｓ”として図３（ａ）の処理を終了し、次の図３（ｂ）の処理に進む。一方、全てが選択されていなければ、“Ｎｏ”として“結合領域選択”で選択されるべき要素の順番を次の順番にずらし、“組合せ開始部分領域選択”のステップに戻る。
【００３１】
この図３（ａ）の処理を実行することにより、概略領域が候補として複数設定されることになる。
【００３２】
図３（ｂ）の“概略領域選択”のステップでは、設定された複数の概略領域から一の概略領域を選択する。
【００３３】
“他領域に包括されるか？”のステップでは、選択された概略領域が他の概略領域に包括されているか否かを判定し、包括されていれば“Ｙｅｓ”として、その選択された概略領域を“削除”し、“全領域終了”のステップに進む。一方、包括されていなければ“Ｎｏ”として、“他領域と８０％以上重なるか？”のステップに進み、選択された概略領域が他の概略領域と予め設定した割合（例えば小さい方の面積の８０％）以上重なるか否かを判定し、重なれば“Ｙｅｓ”として、処理数低減のため“領域結合”を行い、この後、“全領域終了”のステップに進み、重ならなければ“Ｎｏ”として“全領域終了”のステップに進む。
【００３４】
“全領域終了”のステップでは、設定された複数の概略領域から全ての概略領域が選択されたか否かを判定し、選択されたならば“Ｙｅｓ”として図３（ｂ）の処理を終了する。選択されていなければ“Ｎｏ”として“概略領域選択”のステップに戻り、残りの概略領域から一の概略領域を選択して、同様の処理を繰り返す。
【００３５】
この図３（ｂ）の処理を実行することにより、重複する概略領域の一方が削除され、また予め設定した割合以上重なる概略領域同士が統合されて、最終的な概略領域が複数設定されることになる。例えば、図５（ｂ）に示すような複数の要素が抽出されたとき、図５（ｃ），（ｄ）に示すような概略領域が設定される。
【００３６】
これら複数の概略領域について図４の認識処理が実行されることになるが、図４の認識処理を概略領域内の各要素に制限するのは、計算量を低減するためである。またこの場合、概略領域内に少なくとも１個の認識対象文字が含まれることになり、その中心付近の要素が認識対象文字の部分である確率が高くなる効果が得られる。
【００３７】
次に、図４の認識処理について、理解を容易にするため、根幹となる処理手順を先に説明し、その後で各種判定処理について説明する。
【００３８】
まず、設定された複数の概略領域から一の概略領域を選択する。
【００３９】
次いで、その概略領域内の要素を左上端点のＸ座標で昇順ソートした配列（以下「配列Ａ」という）および左上端点のＸ座標と概略領域の中心Ｘ座標との距離で昇順ソートした配列（以下「配列Ｂ」という）を作成する。そして、文字は概略領域の中心付近に存在する確率が高いため、結合する領域は概略領域の中心からのＸ方向距離の昇順で選択される。すなわち、配列Ａから先頭の要素を選択して認識対象文字の要素候補の１つとし（“組合せ開始部分領域選択”）、配列Ｂから先頭の要素を選択し（“結合領域選択”）、これを配列Ａの要素候補と組み合わせて合成画像を作成し（“領域結合”）、そしてその合成画像に対して認識処理を実行する（“文字画像取得”、“ニューロ入力データ計算”および“文字認識実行”）。
【００４０】
次いで、配列Ｂから次の要素を選択し、これを合成画像と組み合わせて新しい合成画像とし、これに対して認識処理を行う（前側の“全領域終了”、“Ｎｏ”、“結合領域選択”、“領域結合”、“文字画像取得”、“ニューロ入力データ計算”および“文字認識実行”）。
【００４１】
このように、上記一連の処理を配列Ｂの全ての要素について繰り返し行い、これら全ての要素についての全繰り返し処理を配列Ａの要素１個に対する処理とする。
【００４２】
すなわち、配列Ｂの全ての要素について上記一連の処理が終了すると、配列Ａから次の要素を順次選択し、配列Ａから全ての要素が選択されるまで上記の処理を繰り返し実行する（最終ステップの“全領域終了”、“Ｎｏ”および“組合せ開始部分領域選択”等）。
【００４３】
以上の処理を、設定された複数の概略領域の全てについて実行し、全ての要素の一致度および認識結果を調べ、同じ一致度および認識結果を持つ各要素を一文字として一まとめにし、その一致度および認識結果をその一文字の一致度および認識結果として出力する。
【００４４】
次に、各種判定処理について説明すると、上記処理過程において、合成画像に対する認識処理による一致度がそれまでの一致度を超える度に、その新しい一致度および認識結果を、その合成画像を構成している全ての要素の一致度および認識結果として保存する（“一致度最大？”、“Ｙｅｓ”および“最大一致度、認識結果入替”）。この処理は、配列Ａの文字部分単体（配列Ｂの要素と組み合わせない状態）でも実行される。これは、分断されていない文字が混在する場合があるためである。
【００４５】
また、以下の場合、配列Ｂの要素は合成画像に加えられない。
・合成画像の大きさが予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの幅の平均値の１．２倍）を超える場合（“サイズオーバー判定”、“ＮＧ”および“結合領域から削除”）。
・合成画像領域内に、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの幅平均値の４０％）以上離れている場合（“ギャップ判定”、“ＮＧ”および“結合領域から削除”）。
・既に判定処理の終了している組合せの場合（“未確認の組合せ”、“ＮＧ”および“結合領域から削除”）。
【００４６】
また、以下の場合、バックプロパゲーションネットワークによる認識を行わずに次の合成画像の作成に移る。
・合成画像の大きさが予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンサイズの平均値の０．８倍）未満の場合（“サイズ未達判定”および“ＮＧ”）。
・合成画像の外接矩形のアスペクト比（垂直方向の幅／水平方向の幅）が予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの最小値の０．５倍〜最大値の１．５倍の範囲）から外れている場合（“縦横比判定”および“ＮＧ”）。
【００４７】
さらに、以下の場合、一致度がそれまでの一致度を超えても一致度および認識結果の更新を行わない。
・合成画像の縦横比が、認識結果が示す文字としてバックプロパゲーションネットワークに学習されている文字パターンの縦横比の予め設定している許容範囲（例えば０．５倍〜１．５倍）から外れている場合（“認識文字縦横比判定”および“ＮＧ”）。
【００４８】
ここで、図５（ｅ）の例において、“３”，“４”の各要素は、それぞれの組合せで最大一致度となり、“×”の各要素（図ではノイズ部分）は、どの組合せでも“３”，“４”のものより一致度が低く、この場合、“３”の各要素を組みとし、“４”の各要素を組みとして切り出されることになる。なお、図４の“結合領域外接矩形計算”の処理は、図３のそれとほぼ同様である。
【００４９】
ところで、上記処理を行うプログラムを画像処理装置に組み込むことにより、大略、本来連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をする処理機能と、この処理機能による抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、上記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行する処理機能と、少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する処理機能とを備える画像処理装置が得られる。
【００５０】
この画像処理装置によっても、特徴量を通じて得られる一致度および認識結果のうち、最大の一致度および認識結果になった一の要素または複数の要素を選択することにより、この選択した一の要素または複数の要素で一の文字が構成される確率が極めて高くなるから、その選択した一の要素または複数の要素に対する一致度および認識結果を認識対象の文字の一致度および認識結果とすることにより、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる。
【００５１】
（第２実施形態）
図６は本発明に係る第２実施形態の画像処理の対象となる文字列の一例を示す図、図７は同画像処理の特徴部分のフロー図、図８は図７の処理過程の様子を示す図であり、これらの図を参照しながら第２実施形態について説明する。
【００５２】
第２実施形態の画像処理方法は、撮像条件または対象ワークの条件の不良等に起因して、図６に示すように、互いに隣接する一部の文字同士が接触し、その接触部分が文字線の幅より太いために、通常の２値化処理または投影処理ではそれら各文字を１文字毎に正しく切り出せない状態の文字列を含む原画像１Ａに対して、文字そのものが分断されることを許容した上で、接触した文字の分断処理を行い、分断された文字に対しては第１実施形態と同様の連結処理を行うことにより、接触した文字が正しい文字となるように切り出し、正しい文字の認識結果を返す。
【００５３】
すなわち、まず、図８（ａ）に示すような原画像１Ａから、図８（ｂ）に示すように従来の方法で文字領域を抽出し、抽出された文字領域をその文字の配列方向に平行な軸（投影軸）に投影する（図７の“文字の並び方向に平行な直線に文字領域を投影”、図８（ｃ））。
【００５４】
図８（ｃ）において、投影処理は投影軸に垂直な方向に文字領域の外接矩形内を走査し、その走査線上の画素数を数え（文字領域の抽出処理で文字領域の画素の濃度値を１、背景要素を０としている場合は１の画素の数）、それを投影軸の１点（走査線の出ている点）の投影値とすることで行う。対象文字の構成している（１の）画素と接触によって発生している（１の）画素との区別をつけ易くするため、走査線上の領域数（１の画素が連結してできている島の数）をこの投影値に乗ずる。
【００５５】
この投影値に対してしきい値処理を行い、しきい値以上の領域Ｒ１をまず抽出する（図７の“輝度値がしきい値以上の領域Ｒ１を抽出”）。次いで、しきい値未満の領域Ｒ２を調べ、そこに明確な谷が存在するかどうかを調査し、明確な谷が存在する場合、その明確な谷で領域Ｒ２を切断し、隣接する領域Ｒ１と結合する（図７の“しきい値未満の領域Ｒ２で谷が明確な領域を抽出”、“谷で領域Ｒ２を分割”、“分割領域を隣接する領域Ｒ１に結合”、図８（ｄ），（ｅ））。
【００５６】
なお、谷の判定には、例えば、投影値の微分値を利用し、その微分値が設定したしきい値以上であれば明確な谷であるとする方法が考えられる。
【００５７】
そして、領域Ｒ１のみを選択し、第１実施形態と同様の処理を行うことで、接触した文字を正しい文字となるように分断する。これにより、正しい認識結果を返すことが可能となる。
【００５８】
最初に領域Ｒ１を抽出する際のしきい値を自動で設定することも可能である。例えば、最初にしきい値を０にして領域Ｒ１を抽出し、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの縦横比平均値）と、例えば抽出された領域Ｒ１の内で最大の長さを持つ領域と文字領域の垂直方向の幅で計算される縦横比とを比較し、領域Ｒ１の縦横比が大きければそのときのしきい値を採用し、条件を満たさなければしきい値を１つ増やして同様の評価を行う。この処理を条件が満たされるまで繰り返すことで、自動的にしきい値を決定することができる。
【００５９】
領域Ｒ１の最大幅が０になれば、その文字領域は文字単体で存在し、あるいは分断されて文字部分になっているとみなして、そのまま分断文字の接触処理で使用する。しきい値評価の特徴量はアスペクト比だけでなく、文字領域の水平方向の幅でも良い。
【００６０】
（第３実施形態）
図９は本発明に係る第３実施形態の画像処理の対象となる文字列の一例および同画像処理による最終結果の一例を示す図であり、この図を参照しながら第３実施形態について説明する。
【００６１】
第３実施形態の画像処理方法は、図９（ａ）に示すように、ある文字における本来連続する部分が文字部分に分断していたり、互いに隣接する文字同士が接触していたりする文字列を含む原画像１Ｂに対し、接触した文字かどうかを自動的に判定し、接触した文字については第２実施形態の画像処理方法を適用する一方、分断されている文字については各文字部分をそのまま使用し、全体に対して第１実施形態の画像処理方法を適用することにより、図９（ｂ）に示すように、文字の分断および接触状態が混在する文字列でも、接触した文字を正しい文字となるように処理し、正しい認識結果を返す。
【００６２】
（第４実施形態）
図１０は本発明に係る第４実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、この図を参照しながら第４実施形態について説明する。
【００６３】
第４実施形態の画像処理方法は、複数のドットからなるドット文字が複数配列された文字列を含む原画像から、少なくとも一部の文字が接触した状態となる文字列を作成し、この文字列に対して第２実施形態と同様の画像処理方法を適用する。
【００６４】
図１０（ａ）の例に示すような原画像１Ｃの場合、従来の方法で文字領域を抽出して図１０（ｂ）に示すような画像を得る。この画像に対し、抽出した文字領域の配列方向（水平方向）に沿って膨張処理を施し、この膨張処理後の画像に対し、前述の配列方向と直交する方向（垂直方向）に沿って膨張処理を施して、図１０（ｃ）に示すような画像を得る。次いで、この膨張した文字領域を含む画像に対して、第２実施形態と同様の画像処理を実行することにより、第１および第２実施形態と同様の処理を直接実行する場合より、処理速度および処理の信頼性を向上させることができる。
【００６５】
なお、膨張処理は、文字領域の外接矩形内を走査し、１の画素があれば指定された方向（水平あるいは垂直方向）の前後の指定された範囲の背景画素を１の画素に置き換えることで行う。
【００６６】
図１０（ａ）に示すように、互いに隣接する文字間隔が狭いためにドットの膨張を行うと、互いに隣接する文字同士が連結してしまう場合でも、第４実施形態の画像処理方法を用いることで、同一文字中のドット間は連結させ、別の文字同士は正しく分断させて、正しい文字認識を行うことができる。
【００６７】
（第５実施形態）
図１１は本発明に係る第５実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、この図を参照しながら第５実施形態について説明する。
【００６８】
第５実施形態の画像処理方法では、図１１（ａ）に示すような、互いに隣接する一部の文字同士が接触してその接触領域が広い状態にある文字列を含む原画像１Ｄから、従来の方法で文字領域を抽出する。
【００６９】
この後、図１１（ｂ）に示す文字領域の外接矩形領域を、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの水平および垂直方向の最小幅の１／２）の大きさの領域に強制的に分断する（図１１（ｄ））。ただし、文字領域の面積が、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの平均面積の１．２倍）より小さい場合、この処理は実行しない。
【００７０】
次いで、強制的に分断された文字部分領域に対して、第１実施形態と同様の画像処理を実行する。これにより、文字同士の接触領域が広く、第２実施形態の投影処理では分断不可能な文字列であっても、接触した文字を正しい文字となるように分断することができるので、正しい認識結果を返すことができる。
【００７１】
また、第５実施形態の画像処理方法は、文字列の配列方向に無関係に文字認識が行えるため、文字列が波型に並んでいる場合や、縦方向に並んだ場合でも問題なく切り出しが行える。
【００７２】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明によれば、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる。しかも、互いに隣接する文字が接触した状態にある文字列を正しい文字となるように切り出すことができ、正しい認識結果を返すことができる。
【００７４】
請求項２記載の発明によれば、特徴量を通じて得られる一致度および認識結果のうち、最大の一致度および認識結果になった一の要素または複数の要素を選択することにより、この選択した一の要素または複数の要素で一の文字が構成される確率が極めて高くなるから、その選択した一の要素または複数の要素に対する一致度および認識結果を認識対象の文字の一致度および認識結果とすることにより、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる。しかも、互いに隣接する文字が接触した状態にある文字列を正しい文字となるように切り出すことができ、正しい認識結果を返すことができる。
【００７６】
請求項３記載の発明によれば、認識対象の文字列が文字の分断および接触状態が混在する文字列であっても、正しい文字となるように切り出すことができ、正しい認識結果を返すことができる。
【００７７】
請求項４記載の発明によれば、請求項２記載の発明をドット文字に対して直接適用する場合よりも処理速度および信頼性を向上させることができる。また、文字間隔が狭いためにドットの膨張を行うと、文字同士が連結してしまう場合でも、同一文字中のドット間は連結させ、別の文字同士は正しく分断させることができるので、正しい文字認識が可能となる。
【００７８】
請求項５記載の発明によれば、例えば文字同士が接触する領域が広く、請求項１記載の発明では分断が困難である場合でも、互いに隣接する文字が接触した状態にある文字列を正しい文字となるように分断することができ、正しい文字認識が可能となる。また、文字列の配列方向に無関係に文字認識を行えるため、文字列が波型に並んでいる場合や、縦方向に並んでいる場合でも、問題なく切り出しおよび認識を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態の画像処理の手順の説明図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図２】同画像処理の対象となる文字列の一例を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図３】同画像処理中の概略領域作成処理のフロー図である。
【図４】同画像処理中の認識処理のフロー図である。
【図５】図３，図４の処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図６】本発明に係る第２実施形態の画像処理の対象となる文字列の一例を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図７】同画像処理の特徴部分のフロー図である。
【図８】図７の処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図９】本発明に係る第３実施形態の画像処理の対象となる文字列の一例および同画像処理による最終結果の一例を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図１０】本発明に係る第４実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図１１】本発明に係る第５実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【符号の説明】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ 原画像
【発明の属する技術分野】
本発明は、ニューラルネット技術を用いて、文字を認識する画像処理方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、正解画像を文字種分メモリに保持し、それら正解画像の文字と認識対象の文字とを比較することにより、文字を認識する画像処理方法がある。しかし、正解画像の文字と比較する従来の方法では、文字種を１文字づつ照合するので、認識するべき文字の数に比例して認識を完了するのに時間がかかるという問題がある。
【０００３】
この問題を解決する手法に、認識するべき文字を２値化してその大きさを正規化した後にニューラルネットに入力してその文字を認識する方法がある。
【０００４】
また、インクジェットプリンタなどで印刷されたドット文字を認識する場合、ドット文字に対して膨張処理を施して、各ドット間を連結させた上で、そのドット文字を認識する方法が知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、ニューラルネットを用いる方法では、認識するべき文字を２値化すると、文字同士が離れていたり、背景にノイズがある場合、文字を正しく抽出することができないために、正しい認識結果を得ることができない。
【０００６】
また、膨張処理で各ドット間を連結させる方法では、文字間隔が狭いと、膨張処理で文字同士が接触してしまい、各文字を正しく分離することができず、正しい認識結果を得ることができない。
【０００７】
さらに、認識するべき文字に罫線が引かれている場合、文字の印刷面が梨地である場合などでは、文字と背景とを分離することができないために、正しい認識結果を得ることができない。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる画像処理方法およびその装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の画像処理装置は、本来画素の連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をする第１の手段と、この手段による抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、前記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、前記抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行する第２の手段と、前記少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する第３の手段とを備える一方、互いに隣接する文字が接触した状態にある文字列を、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断して、前記画像を得る第４の手段をさらに備え、前記重み付けは、投影方向において文字領域の画素濃度に対応する画素が連結してできている島の数を重みとし、この重みは、この重みとされる島の数が大きいほど、対応する投影値が上記しきい値を超えやすくなるように用いられることを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の画像処理装置によって実行される画像処理方法であって、前記第１の手段によって、本来画素の連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をするステップと、前記第２の手段によって、上記ステップによる抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、前記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、前記抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行するステップと、前記第３の手段によって、前記少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力するステップとを有する一方、前記第４の手段によって、互いに隣接する文字が接触した状態にある文字列を、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断して、前記画像を得るステップを更に有することを特徴とする。
【００１３】
請求項３記載の発明は、請求項２記載の画像処理方法において、前記第４の手段によるステップにおいて、互いに隣接する文字が接触した状態にある文字列であるか否かを自動的に判定し、互いに隣接する文字が接触した状態にある文字列に対しては、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断し、本来連続する部分が複数の文字部分に分断した状態にある文字については、それら文字部分を変更せずに、前記画像を得ることを特徴とする。
【００１４】
請求項４記載の発明は、請求項２記載の画像処理方法において、前記第４の手段によるステップにおいて、複数のドットからなるドット文字を含む文字列に対して、方向選択性の膨張処理を施して、前記互いに隣接する文字が接触した状態にある文字列を得ることを特徴とする。
【００１５】
請求項５記載の発明は、請求項２記載の画像処理方法において、前記第１の手段によるステップにおいて、互いに隣接する文字が接触した状態にある文字列を予め設定した値で強制的に分断して前記画像を得ることを特徴とする。
【００１６】
【発明の実施の形態】
（第１実施形態）
図１は本発明に係る第１実施形態の画像処理の手順の説明図、図２は同画像処理の対象となる文字列の一例を示す図、図３は同画像処理中の概略領域作成処理のフロー図、図４は同画像処理中の認識処理のフロー図、図５は図３，図４の処理過程の様子を示す図であり、これらの図を参照しながら第１実施形態について説明する。
【００１７】
第１実施形態の画像処理方法は、文字列を含む原画像から各文字を切り出してそれを認識するための方法であり、撮像条件または対象ワークの条件の不良等に起因して、図２に示すように、各文字における本来連続する部分が複数の文字部分に分断され、通常の２値化処理または投影処理ではそれら各文字を１文字毎に正しく切り出せない状態の文字列を含む原画像１から、各文字における分断された各文字部分を正しい文字となるように組み合わせることにより、正しい文字の認識結果を返す。
【００１８】
すなわち、本画像処理方法では、まず、図１（ａ）の例に示す原画像１から、２値化処理または濃淡フィルタなどで、図１（ｂ）に示すように、少なくとも各文字部分の抽出を行う。ここで、図１（ｂ）の例では、分断された文字部分の他にノイズ部分も抽出されているが、例えば２値化処理の場合、文字部分とそのノイズ部分との区別がつかないので、そのノイズ部分も文字部分として取り扱われることになる。また、文字が文字部分に分断されていない場合には、その文字が抽出されることになる。このため、以下ではこれらを抽出結果の「要素」と呼ぶことにする。
【００１９】
次いで、上記抽出結果から、少なくとも一の文字を構成する確率の高い一の要素または複数の要素を選択する。第１実施形態では、後述の概略領域作成処理手順により、図１（ｃ）の例に示す矩形状の外枠に囲まれた概略領域を決定することにより、少なくとも一の文字を構成する確率の高い一の要素または複数の要素を選択する。ここで、概略領域に含まれる文字が文字部分に分断されていない場合には、その概略領域には、少なくとも一の文字を構成する要素が含まれることになる。また、概略領域に含まれる文字が複数の文字部分に分断した状態にある場合、その概略領域には、少なくとも一の文字を構成する複数の要素が含まれることになる。
【００２０】
次いで、上記概略領域で選択した一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、上記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、概略領域（抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素）毎に実行する。ここで、概略領域で選択される要素が複数有る場合、これら複数の要素が種々組み合わされて、各組毎に合成画像が作成されることになるが、この場合、各合成画像に含まれる各要素は、処理毎に、より良い一致度および認識結果に更新される。従って、上記処理の終了時点で、概略領域毎に、各要素は、自信を含む全ての組みでの最大の一致度および認識結果を対応付けられて保持していることになる。
【００２１】
次いで、図１（ｄ）に示すように、概略領域毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する。同図は、概略領域毎に、最大の一致度および認識結果になった各文字部分を一まとめにしている様子を示している。その一まとめにされた各文字部分の一致度および認識結果が、その各文字部分を囲む矩形状の枠内の文字の一致度および認識結果となる。
【００２２】
このような処理を効率的に実行するため、第１実施形態では、概略領域作成処理を先に実行してその後で認識処理を行う２段構えになっている。すなわち、まず、各要素の組合せを計算する際の計算量を減らすため、図３のフローに従って認識対象文字の概略領域を決定する。次いで、図４のフローに従って各概略領域内の要素の種々の組みに対して認識処理を行う。
【００２３】
まず、図３を用いて概略領域作成処理について説明すると、図３（ａ）の“組合せ開始部分領域選択”のステップでは、従来の方法（２値化処理または濃淡フィルタなど）で抽出した各要素を、外接矩形の左上端点のＸ座標の昇順でソートし、ソートされた各要素のうち、先頭の要素を概略領域の先頭要素として選択する。
【００２４】
“結合領域選択”および“領域結合”のステップでは、ソートされた各要素のうち、次の要素を選択してこの領域を概略領域に加え、これを拡張する。
【００２５】
“結合領域外接矩形計算”のステップでは、概略領域内の組み合わされた各要素の外接矩形の左上端点の座標の最小値および右下端点の座標の最大値を、それぞれその概略領域の左上端点および右下端点とし、これら左上端点および右下端点から、拡張された概略領域の大きさを計算する。
【００２６】
“サイズオーバー判定”のステップでは、概略領域の大きさが予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの幅平均値の２倍）を超えるか否かを判定し、超えなければ“ＯＫ”として次の“ギャップ判定”のステップに進む。一方、超えれば“ＮＧ”として、“結合領域から削除”のステップに進み、上記拡張された概略領域に加えられた領域を除外する。この後、“結合領域選択”のステップに戻る。
【００２７】
“ギャップ判定”のステップでは、概略領域内の要素間の距離が予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンのギャップ幅平均値の４０％）以上離れているか否かを判定し、離れていなければ“ＯＫ”として次の“サイズ未達判定”のステップに進む。一方、離れていれば“ＮＧ”として、“結合領域から削除”のステップに進み、上記拡張された概略領域に加えられた領域を除外する。この後、“結合領域選択”のステップに戻る。例えば、図５（ａ）において、“０”の領域に対して、“１”の領域は結合ないし連結されるが、“２”の領域は“０”の領域との間隔が広いために結合されない。
【００２８】
“サイズ未達判定”のステップでは、概略領域の大きさが所定の大きさより小さいサイズ未達であるか否かの判定を行い、サイズ未達でなければ“ＯＫ”として次の“概略領域確定”のステップに進む。一方、サイズ未達であれば“ＮＧ”として“結合領域選択”のステップに戻る。
【００２９】
“概略領域確定”のステップでは、このステップまで到達した概略領域を確定した概略領域として保存する。
【００３０】
“全領域終了”のステップでは、ソートされた各要素の全てが選択されたか否かを判定し、全てが選択されたならば、“Ｙｅｓ”として図３（ａ）の処理を終了し、次の図３（ｂ）の処理に進む。一方、全てが選択されていなければ、“Ｎｏ”として“結合領域選択”で選択されるべき要素の順番を次の順番にずらし、“組合せ開始部分領域選択”のステップに戻る。
【００３１】
この図３（ａ）の処理を実行することにより、概略領域が候補として複数設定されることになる。
【００３２】
図３（ｂ）の“概略領域選択”のステップでは、設定された複数の概略領域から一の概略領域を選択する。
【００３３】
“他領域に包括されるか？”のステップでは、選択された概略領域が他の概略領域に包括されているか否かを判定し、包括されていれば“Ｙｅｓ”として、その選択された概略領域を“削除”し、“全領域終了”のステップに進む。一方、包括されていなければ“Ｎｏ”として、“他領域と８０％以上重なるか？”のステップに進み、選択された概略領域が他の概略領域と予め設定した割合（例えば小さい方の面積の８０％）以上重なるか否かを判定し、重なれば“Ｙｅｓ”として、処理数低減のため“領域結合”を行い、この後、“全領域終了”のステップに進み、重ならなければ“Ｎｏ”として“全領域終了”のステップに進む。
【００３４】
“全領域終了”のステップでは、設定された複数の概略領域から全ての概略領域が選択されたか否かを判定し、選択されたならば“Ｙｅｓ”として図３（ｂ）の処理を終了する。選択されていなければ“Ｎｏ”として“概略領域選択”のステップに戻り、残りの概略領域から一の概略領域を選択して、同様の処理を繰り返す。
【００３５】
この図３（ｂ）の処理を実行することにより、重複する概略領域の一方が削除され、また予め設定した割合以上重なる概略領域同士が統合されて、最終的な概略領域が複数設定されることになる。例えば、図５（ｂ）に示すような複数の要素が抽出されたとき、図５（ｃ），（ｄ）に示すような概略領域が設定される。
【００３６】
これら複数の概略領域について図４の認識処理が実行されることになるが、図４の認識処理を概略領域内の各要素に制限するのは、計算量を低減するためである。またこの場合、概略領域内に少なくとも１個の認識対象文字が含まれることになり、その中心付近の要素が認識対象文字の部分である確率が高くなる効果が得られる。
【００３７】
次に、図４の認識処理について、理解を容易にするため、根幹となる処理手順を先に説明し、その後で各種判定処理について説明する。
【００３８】
まず、設定された複数の概略領域から一の概略領域を選択する。
【００３９】
次いで、その概略領域内の要素を左上端点のＸ座標で昇順ソートした配列（以下「配列Ａ」という）および左上端点のＸ座標と概略領域の中心Ｘ座標との距離で昇順ソートした配列（以下「配列Ｂ」という）を作成する。そして、文字は概略領域の中心付近に存在する確率が高いため、結合する領域は概略領域の中心からのＸ方向距離の昇順で選択される。すなわち、配列Ａから先頭の要素を選択して認識対象文字の要素候補の１つとし（“組合せ開始部分領域選択”）、配列Ｂから先頭の要素を選択し（“結合領域選択”）、これを配列Ａの要素候補と組み合わせて合成画像を作成し（“領域結合”）、そしてその合成画像に対して認識処理を実行する（“文字画像取得”、“ニューロ入力データ計算”および“文字認識実行”）。
【００４０】
次いで、配列Ｂから次の要素を選択し、これを合成画像と組み合わせて新しい合成画像とし、これに対して認識処理を行う（前側の“全領域終了”、“Ｎｏ”、“結合領域選択”、“領域結合”、“文字画像取得”、“ニューロ入力データ計算”および“文字認識実行”）。
【００４１】
このように、上記一連の処理を配列Ｂの全ての要素について繰り返し行い、これら全ての要素についての全繰り返し処理を配列Ａの要素１個に対する処理とする。
【００４２】
すなわち、配列Ｂの全ての要素について上記一連の処理が終了すると、配列Ａから次の要素を順次選択し、配列Ａから全ての要素が選択されるまで上記の処理を繰り返し実行する（最終ステップの“全領域終了”、“Ｎｏ”および“組合せ開始部分領域選択”等）。
【００４３】
以上の処理を、設定された複数の概略領域の全てについて実行し、全ての要素の一致度および認識結果を調べ、同じ一致度および認識結果を持つ各要素を一文字として一まとめにし、その一致度および認識結果をその一文字の一致度および認識結果として出力する。
【００４４】
次に、各種判定処理について説明すると、上記処理過程において、合成画像に対する認識処理による一致度がそれまでの一致度を超える度に、その新しい一致度および認識結果を、その合成画像を構成している全ての要素の一致度および認識結果として保存する（“一致度最大？”、“Ｙｅｓ”および“最大一致度、認識結果入替”）。この処理は、配列Ａの文字部分単体（配列Ｂの要素と組み合わせない状態）でも実行される。これは、分断されていない文字が混在する場合があるためである。
【００４５】
また、以下の場合、配列Ｂの要素は合成画像に加えられない。
・合成画像の大きさが予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの幅の平均値の１．２倍）を超える場合（“サイズオーバー判定”、“ＮＧ”および“結合領域から削除”）。
・合成画像領域内に、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの幅平均値の４０％）以上離れている場合（“ギャップ判定”、“ＮＧ”および“結合領域から削除”）。
・既に判定処理の終了している組合せの場合（“未確認の組合せ”、“ＮＧ”および“結合領域から削除”）。
【００４６】
また、以下の場合、バックプロパゲーションネットワークによる認識を行わずに次の合成画像の作成に移る。
・合成画像の大きさが予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンサイズの平均値の０．８倍）未満の場合（“サイズ未達判定”および“ＮＧ”）。
・合成画像の外接矩形のアスペクト比（垂直方向の幅／水平方向の幅）が予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの最小値の０．５倍〜最大値の１．５倍の範囲）から外れている場合（“縦横比判定”および“ＮＧ”）。
【００４７】
さらに、以下の場合、一致度がそれまでの一致度を超えても一致度および認識結果の更新を行わない。
・合成画像の縦横比が、認識結果が示す文字としてバックプロパゲーションネットワークに学習されている文字パターンの縦横比の予め設定している許容範囲（例えば０．５倍〜１．５倍）から外れている場合（“認識文字縦横比判定”および“ＮＧ”）。
【００４８】
ここで、図５（ｅ）の例において、“３”，“４”の各要素は、それぞれの組合せで最大一致度となり、“×”の各要素（図ではノイズ部分）は、どの組合せでも“３”，“４”のものより一致度が低く、この場合、“３”の各要素を組みとし、“４”の各要素を組みとして切り出されることになる。なお、図４の“結合領域外接矩形計算”の処理は、図３のそれとほぼ同様である。
【００４９】
ところで、上記処理を行うプログラムを画像処理装置に組み込むことにより、大略、本来連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をする処理機能と、この処理機能による抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、上記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行する処理機能と、少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する処理機能とを備える画像処理装置が得られる。
【００５０】
この画像処理装置によっても、特徴量を通じて得られる一致度および認識結果のうち、最大の一致度および認識結果になった一の要素または複数の要素を選択することにより、この選択した一の要素または複数の要素で一の文字が構成される確率が極めて高くなるから、その選択した一の要素または複数の要素に対する一致度および認識結果を認識対象の文字の一致度および認識結果とすることにより、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる。
【００５１】
（第２実施形態）
図６は本発明に係る第２実施形態の画像処理の対象となる文字列の一例を示す図、図７は同画像処理の特徴部分のフロー図、図８は図７の処理過程の様子を示す図であり、これらの図を参照しながら第２実施形態について説明する。
【００５２】
第２実施形態の画像処理方法は、撮像条件または対象ワークの条件の不良等に起因して、図６に示すように、互いに隣接する一部の文字同士が接触し、その接触部分が文字線の幅より太いために、通常の２値化処理または投影処理ではそれら各文字を１文字毎に正しく切り出せない状態の文字列を含む原画像１Ａに対して、文字そのものが分断されることを許容した上で、接触した文字の分断処理を行い、分断された文字に対しては第１実施形態と同様の連結処理を行うことにより、接触した文字が正しい文字となるように切り出し、正しい文字の認識結果を返す。
【００５３】
すなわち、まず、図８（ａ）に示すような原画像１Ａから、図８（ｂ）に示すように従来の方法で文字領域を抽出し、抽出された文字領域をその文字の配列方向に平行な軸（投影軸）に投影する（図７の“文字の並び方向に平行な直線に文字領域を投影”、図８（ｃ））。
【００５４】
図８（ｃ）において、投影処理は投影軸に垂直な方向に文字領域の外接矩形内を走査し、その走査線上の画素数を数え（文字領域の抽出処理で文字領域の画素の濃度値を１、背景要素を０としている場合は１の画素の数）、それを投影軸の１点（走査線の出ている点）の投影値とすることで行う。対象文字の構成している（１の）画素と接触によって発生している（１の）画素との区別をつけ易くするため、走査線上の領域数（１の画素が連結してできている島の数）をこの投影値に乗ずる。
【００５５】
この投影値に対してしきい値処理を行い、しきい値以上の領域Ｒ１をまず抽出する（図７の“輝度値がしきい値以上の領域Ｒ１を抽出”）。次いで、しきい値未満の領域Ｒ２を調べ、そこに明確な谷が存在するかどうかを調査し、明確な谷が存在する場合、その明確な谷で領域Ｒ２を切断し、隣接する領域Ｒ１と結合する（図７の“しきい値未満の領域Ｒ２で谷が明確な領域を抽出”、“谷で領域Ｒ２を分割”、“分割領域を隣接する領域Ｒ１に結合”、図８（ｄ），（ｅ））。
【００５６】
なお、谷の判定には、例えば、投影値の微分値を利用し、その微分値が設定したしきい値以上であれば明確な谷であるとする方法が考えられる。
【００５７】
そして、領域Ｒ１のみを選択し、第１実施形態と同様の処理を行うことで、接触した文字を正しい文字となるように分断する。これにより、正しい認識結果を返すことが可能となる。
【００５８】
最初に領域Ｒ１を抽出する際のしきい値を自動で設定することも可能である。例えば、最初にしきい値を０にして領域Ｒ１を抽出し、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの縦横比平均値）と、例えば抽出された領域Ｒ１の内で最大の長さを持つ領域と文字領域の垂直方向の幅で計算される縦横比とを比較し、領域Ｒ１の縦横比が大きければそのときのしきい値を採用し、条件を満たさなければしきい値を１つ増やして同様の評価を行う。この処理を条件が満たされるまで繰り返すことで、自動的にしきい値を決定することができる。
【００５９】
領域Ｒ１の最大幅が０になれば、その文字領域は文字単体で存在し、あるいは分断されて文字部分になっているとみなして、そのまま分断文字の接触処理で使用する。しきい値評価の特徴量はアスペクト比だけでなく、文字領域の水平方向の幅でも良い。
【００６０】
（第３実施形態）
図９は本発明に係る第３実施形態の画像処理の対象となる文字列の一例および同画像処理による最終結果の一例を示す図であり、この図を参照しながら第３実施形態について説明する。
【００６１】
第３実施形態の画像処理方法は、図９（ａ）に示すように、ある文字における本来連続する部分が文字部分に分断していたり、互いに隣接する文字同士が接触していたりする文字列を含む原画像１Ｂに対し、接触した文字かどうかを自動的に判定し、接触した文字については第２実施形態の画像処理方法を適用する一方、分断されている文字については各文字部分をそのまま使用し、全体に対して第１実施形態の画像処理方法を適用することにより、図９（ｂ）に示すように、文字の分断および接触状態が混在する文字列でも、接触した文字を正しい文字となるように処理し、正しい認識結果を返す。
【００６２】
（第４実施形態）
図１０は本発明に係る第４実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、この図を参照しながら第４実施形態について説明する。
【００６３】
第４実施形態の画像処理方法は、複数のドットからなるドット文字が複数配列された文字列を含む原画像から、少なくとも一部の文字が接触した状態となる文字列を作成し、この文字列に対して第２実施形態と同様の画像処理方法を適用する。
【００６４】
図１０（ａ）の例に示すような原画像１Ｃの場合、従来の方法で文字領域を抽出して図１０（ｂ）に示すような画像を得る。この画像に対し、抽出した文字領域の配列方向（水平方向）に沿って膨張処理を施し、この膨張処理後の画像に対し、前述の配列方向と直交する方向（垂直方向）に沿って膨張処理を施して、図１０（ｃ）に示すような画像を得る。次いで、この膨張した文字領域を含む画像に対して、第２実施形態と同様の画像処理を実行することにより、第１および第２実施形態と同様の処理を直接実行する場合より、処理速度および処理の信頼性を向上させることができる。
【００６５】
なお、膨張処理は、文字領域の外接矩形内を走査し、１の画素があれば指定された方向（水平あるいは垂直方向）の前後の指定された範囲の背景画素を１の画素に置き換えることで行う。
【００６６】
図１０（ａ）に示すように、互いに隣接する文字間隔が狭いためにドットの膨張を行うと、互いに隣接する文字同士が連結してしまう場合でも、第４実施形態の画像処理方法を用いることで、同一文字中のドット間は連結させ、別の文字同士は正しく分断させて、正しい文字認識を行うことができる。
【００６７】
（第５実施形態）
図１１は本発明に係る第５実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、この図を参照しながら第５実施形態について説明する。
【００６８】
第５実施形態の画像処理方法では、図１１（ａ）に示すような、互いに隣接する一部の文字同士が接触してその接触領域が広い状態にある文字列を含む原画像１Ｄから、従来の方法で文字領域を抽出する。
【００６９】
この後、図１１（ｂ）に示す文字領域の外接矩形領域を、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの水平および垂直方向の最小幅の１／２）の大きさの領域に強制的に分断する（図１１（ｄ））。ただし、文字領域の面積が、予め設定した値（例えばバックプロパゲーションネットワークに既に学習されている文字パターンの平均面積の１．２倍）より小さい場合、この処理は実行しない。
【００７０】
次いで、強制的に分断された文字部分領域に対して、第１実施形態と同様の画像処理を実行する。これにより、文字同士の接触領域が広く、第２実施形態の投影処理では分断不可能な文字列であっても、接触した文字を正しい文字となるように分断することができるので、正しい認識結果を返すことができる。
【００７１】
また、第５実施形態の画像処理方法は、文字列の配列方向に無関係に文字認識が行えるため、文字列が波型に並んでいる場合や、縦方向に並んだ場合でも問題なく切り出しが行える。
【００７２】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明によれば、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる。しかも、互いに隣接する文字が接触した状態にある文字列を正しい文字となるように切り出すことができ、正しい認識結果を返すことができる。
【００７４】
請求項２記載の発明によれば、特徴量を通じて得られる一致度および認識結果のうち、最大の一致度および認識結果になった一の要素または複数の要素を選択することにより、この選択した一の要素または複数の要素で一の文字が構成される確率が極めて高くなるから、その選択した一の要素または複数の要素に対する一致度および認識結果を認識対象の文字の一致度および認識結果とすることにより、通常の２値化処理などでは１文字毎に正しく切り出せない状態の文字であっても、各文字を正しく認識することができる。しかも、互いに隣接する文字が接触した状態にある文字列を正しい文字となるように切り出すことができ、正しい認識結果を返すことができる。
【００７６】
請求項３記載の発明によれば、認識対象の文字列が文字の分断および接触状態が混在する文字列であっても、正しい文字となるように切り出すことができ、正しい認識結果を返すことができる。
【００７７】
請求項４記載の発明によれば、請求項２記載の発明をドット文字に対して直接適用する場合よりも処理速度および信頼性を向上させることができる。また、文字間隔が狭いためにドットの膨張を行うと、文字同士が連結してしまう場合でも、同一文字中のドット間は連結させ、別の文字同士は正しく分断させることができるので、正しい文字認識が可能となる。
【００７８】
請求項５記載の発明によれば、例えば文字同士が接触する領域が広く、請求項１記載の発明では分断が困難である場合でも、互いに隣接する文字が接触した状態にある文字列を正しい文字となるように分断することができ、正しい文字認識が可能となる。また、文字列の配列方向に無関係に文字認識を行えるため、文字列が波型に並んでいる場合や、縦方向に並んでいる場合でも、問題なく切り出しおよび認識を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１実施形態の画像処理の手順の説明図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図２】同画像処理の対象となる文字列の一例を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図３】同画像処理中の概略領域作成処理のフロー図である。
【図４】同画像処理中の認識処理のフロー図である。
【図５】図３，図４の処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図６】本発明に係る第２実施形態の画像処理の対象となる文字列の一例を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図７】同画像処理の特徴部分のフロー図である。
【図８】図７の処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図９】本発明に係る第３実施形態の画像処理の対象となる文字列の一例および同画像処理による最終結果の一例を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図１０】本発明に係る第４実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【図１１】本発明に係る第５実施形態の画像処理の対象となる文字列の一例および同画像処理過程の様子を示す図であり、ディスプレイ上に表示した中間調画像をプリンタで出力した図面代用写真である。
【符号の説明】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ 原画像
Claims (5)
- 本来画素の連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をする第１の手段と、
この手段による抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、前記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、前記抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行する第２の手段と、
前記少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力する第３の手段と
を備える一方、
互いに隣接する文字が接触した状態にある文字列を、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断して、前記画像を得る第４の手段をさらに備え、
前記重み付けは、投影方向において文字領域の画素濃度に対応する画素が連結してできている島の数を重みとし、この重みは、この重みとされる島の数が大きいほど、対応する投影値が上記しきい値を超えやすくなるように用いられる
ことを特徴とする画像処理装置。 - 請求項１記載の画像処理装置によって実行される画像処理方法であって、
前記第１の手段によって、本来画素の連続する部分が複数の文字部分に分断した状態にある文字を少なくとも含む画像から、２値化処理または濃淡フィルタなどで少なくとも各文字部分の抽出をするステップと、
前記第２の手段によって、上記ステップによる抽出結果から、少なくとも一の文字を構成する一の要素または複数の要素を選択し、この一の要素または複数の要素を種々組合せて少なくとも１つの合成画像を作成し、この少なくとも１つの合成画像を画像処理にかけて特徴量を計算し、この特徴量を既に認識対象の文字パターンに対して学習の終了しているバックプロパゲーションネットワークに入力して認識処理を行い、そしてそのバックプロパゲーションネットワークの出力を、前記少なくとも１つの合成画像に含まれる一の要素または複数の要素に対する一致度および認識結果とする、これら一連の処理を、前記抽出結果から選択される少なくとも一の文字を構成する一の要素または複数の要素毎に実行するステップと、
前記第３の手段によって、前記少なくとも一の文字を構成する一の要素または複数の要素毎に、最大の一致度および認識結果となった要素を選択して、それら一致度および認識結果のうち少なくとも認識結果を出力するステップと
を有する一方、
前記第４の手段によって、互いに隣接する文字が接触した状態にある文字列を、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断して、前記画像を得るステップを更に有する
ことを特徴とする画像処理方法。 - 前記第４の手段によるステップにおいて、互いに隣接する文字が接触した状態にある文字列であるか否かを自動的に判定し、互いに隣接する文字が接触した状態にある文字列に対しては、重み付けを用いてその文字列の文字の配列方向に平行な軸に投影することにより各投影値を求め、これらの各投影値のうち、文字の形状から自動的に設定されるしきい値またはオペレータが入力したしきい値よりも低い投影値による分布形状が谷を形成する部分で、前記接触した状態にある文字列を分断し、本来連続する部分が複数の文字部分に分断した状態にある文字については、それら文字部分を変更せずに、前記画像を得ることを特徴とする請求項２記載の画像処理方法。
- 前記第４の手段によるステップにおいて、複数のドットからなるドット文字を含む文字列に対して、方向選択性の膨張処理を施して、前記互いに隣接する文字が接触した状態にある文字列を得ることを特徴とする請求項２記載の画像処理方法。
- 前記第１の手段によるステップにおいて、互いに隣接する文字が接触した状態にある文字列を予め設定した値で強制的に分断して前記画像を得ることを特徴とする請求項２記載の画像処理方法。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367675A JP3965983B2 (ja) | 2001-11-30 | 2001-11-30 | 画像処理方法およびその装置 |
| DE60208817T DE60208817T2 (de) | 2001-11-30 | 2002-11-28 | Verfahren und Vorrichtung zur Buchstabenseparation für deren Erkennung |
| EP02783679A EP1449153B1 (en) | 2001-11-30 | 2002-11-28 | Character separation method and device for recognition |
| KR1020037009646A KR100567362B1 (ko) | 2001-11-30 | 2002-11-28 | 영상 인식 방법 및 그 방법을 위한 장치 |
| US10/466,765 US7480410B2 (en) | 2001-11-30 | 2002-11-28 | Image recognition method and apparatus for the same method |
| CNB028041275A CN100489885C (zh) | 2001-11-30 | 2002-11-28 | 图像识别方法及实现该方法的设备 |
| PCT/JP2002/012470 WO2003046807A1 (en) | 2001-11-30 | 2002-11-28 | Image recognition method and apparatus for the same method |
| TW091134716A TWI221587B (en) | 2001-11-30 | 2002-11-29 | Image recognition method and apparatus for the same method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367675A JP3965983B2 (ja) | 2001-11-30 | 2001-11-30 | 画像処理方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003168076A JP2003168076A (ja) | 2003-06-13 |
| JP3965983B2 true JP3965983B2 (ja) | 2007-08-29 |
Family
ID=19177389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001367675A Expired - Fee Related JP3965983B2 (ja) | 2001-11-30 | 2001-11-30 | 画像処理方法およびその装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7480410B2 (ja) |
| EP (1) | EP1449153B1 (ja) |
| JP (1) | JP3965983B2 (ja) |
| KR (1) | KR100567362B1 (ja) |
| CN (1) | CN100489885C (ja) |
| DE (1) | DE60208817T2 (ja) |
| TW (1) | TWI221587B (ja) |
| WO (1) | WO2003046807A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060193520A1 (en) * | 2005-02-28 | 2006-08-31 | Takeshi Mita | Object detection apparatus, learning apparatus, object detection system, object detection method and object detection program |
| KR100987110B1 (ko) * | 2008-12-12 | 2010-10-12 | (주)씨프로 | 카메라 모듈용 지지장치 |
| JP5292643B2 (ja) * | 2010-07-28 | 2013-09-18 | 武蔵エンジニアリング株式会社 | 投票用紙の読取装置および読取方法 |
| CN102385707A (zh) * | 2010-08-30 | 2012-03-21 | 阿里巴巴集团控股有限公司 | 一种数字图像识别的方法、装置及爬虫服务器 |
| JP2012194705A (ja) * | 2011-03-15 | 2012-10-11 | Omron Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| TWI602155B (zh) * | 2013-02-08 | 2017-10-11 | 威聯通科技股份有限公司 | 利用影像內容不連續性增強物件偵測之方法 |
| EP3169146B1 (en) * | 2014-07-10 | 2018-10-31 | FUJI Corporation | Method for producing component placement coordinates and device for producing component placement coordinates |
| US9361536B1 (en) * | 2014-12-16 | 2016-06-07 | Xerox Corporation | Identifying user marks using patterned lines on pre-printed forms |
| CN105138963A (zh) * | 2015-07-31 | 2015-12-09 | 小米科技有限责任公司 | 图片场景判定方法、装置以及服务器 |
| TWI607387B (zh) | 2016-11-25 | 2017-12-01 | 財團法人工業技術研究院 | 字符辨識系統及其字符辨識方法 |
| CN108229470B (zh) | 2017-12-22 | 2022-04-01 | 北京市商汤科技开发有限公司 | 文字图像处理方法、装置、设备及存储介质 |
| CN111598076B (zh) * | 2020-05-25 | 2023-05-02 | 北京明略软件系统有限公司 | 一种标签图像中日期检测处理方法及装置 |
| JP7137170B1 (ja) * | 2021-03-22 | 2022-09-14 | 楽天グループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5991582A (ja) | 1982-11-16 | 1984-05-26 | Nec Corp | 文字読取装置 |
| JPH0782524B2 (ja) | 1983-03-31 | 1995-09-06 | 株式会社東芝 | 光学的文字読取装置 |
| JPH0614372B2 (ja) | 1984-01-23 | 1994-02-23 | 日本電信電話株式会社 | 文字読取方法 |
| JPS6129982A (ja) | 1984-07-21 | 1986-02-12 | Nippon Telegr & Teleph Corp <Ntt> | オンライン手書き文字列認識方式 |
| JPS62190574A (ja) | 1986-02-18 | 1987-08-20 | Mitsubishi Electric Corp | 文字パタ−ン切り出し装置 |
| JPS62223890A (ja) | 1986-03-26 | 1987-10-01 | Hitachi Ltd | ダイナミツク型ｒａｍ |
| US5048100A (en) * | 1988-12-15 | 1991-09-10 | Michael Kuperstein | Self organizing neural network method and system for general classification of patterns |
| JP2944102B2 (ja) | 1989-05-26 | 1999-08-30 | 烈 山川 | ファジィニューロン |
| US5151951A (en) * | 1990-03-15 | 1992-09-29 | Sharp Kabushiki Kaisha | Character recognition device which divides a single character region into subregions to obtain a character code |
| CA2081406C (en) * | 1991-12-23 | 1997-09-16 | Chinmoy Bhusan Bose | Method and apparatus for connected and degraded text recognition |
| JP3187899B2 (ja) | 1991-12-25 | 2001-07-16 | 松下電器産業株式会社 | 文字認識装置 |
| US5481621A (en) | 1992-05-28 | 1996-01-02 | Matsushita Electric Industrial Co., Ltd. | Device and method for recognizing an image based on a feature indicating a relative positional relationship between patterns |
| US6041141A (en) * | 1992-09-28 | 2000-03-21 | Matsushita Electric Industrial Co., Ltd. | Character recognition machine utilizing language processing |
| JPH06180771A (ja) | 1992-12-11 | 1994-06-28 | Matsushita Electric Ind Co Ltd | 英文字認識装置 |
| US6212299B1 (en) * | 1992-12-11 | 2001-04-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for recognizing a character |
| WO1994027251A1 (en) * | 1993-05-18 | 1994-11-24 | Massachusetts Institute Of Technology | Automated reading system and method |
| JPH07175894A (ja) | 1993-11-05 | 1995-07-14 | Toshiba Corp | ニューラルネットワークと文字認識方法と電子部品実装検査装置及びそれを用いた管理方法 |
| US5542006A (en) * | 1994-06-21 | 1996-07-30 | Eastman Kodak Company | Neural network based character position detector for use in optical character recognition |
| JPH08212290A (ja) | 1995-02-06 | 1996-08-20 | Nippon Signal Co Ltd:The | パターン識別における特徴量作成装置 |
| JPH09305710A (ja) | 1996-05-15 | 1997-11-28 | Mitsubishi Heavy Ind Ltd | ２値化装置 |
| US6266445B1 (en) | 1998-03-13 | 2001-07-24 | Canon Kabushiki Kaisha | Classification-driven thresholding of a normalized grayscale image |
| GB2343045B (en) | 1998-10-21 | 2003-03-05 | Racal Res Ltd | Systems and methods for processing digital image data |
| EP1089214A3 (en) | 1999-09-30 | 2005-01-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for image recognition |
-
2001
- 2001-11-30 JP JP2001367675A patent/JP3965983B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-28 US US10/466,765 patent/US7480410B2/en not_active Expired - Fee Related
- 2002-11-28 CN CNB028041275A patent/CN100489885C/zh not_active Expired - Fee Related
- 2002-11-28 KR KR1020037009646A patent/KR100567362B1/ko not_active IP Right Cessation
- 2002-11-28 WO PCT/JP2002/012470 patent/WO2003046807A1/en active IP Right Grant
- 2002-11-28 DE DE60208817T patent/DE60208817T2/de not_active Expired - Fee Related
- 2002-11-28 EP EP02783679A patent/EP1449153B1/en not_active Expired - Lifetime
- 2002-11-29 TW TW091134716A patent/TWI221587B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| EP1449153A1 (en) | 2004-08-25 |
| KR100567362B1 (ko) | 2006-04-03 |
| JP2003168076A (ja) | 2003-06-13 |
| KR20030076620A (ko) | 2003-09-26 |
| US7480410B2 (en) | 2009-01-20 |
| EP1449153B1 (en) | 2006-01-18 |
| US20040071345A1 (en) | 2004-04-15 |
| TW200300539A (en) | 2003-06-01 |
| DE60208817D1 (de) | 2006-04-06 |
| TWI221587B (en) | 2004-10-01 |
| CN1489745A (zh) | 2004-04-14 |
| WO2003046807A1 (en) | 2003-06-05 |
| CN100489885C (zh) | 2009-05-20 |
| DE60208817T2 (de) | 2006-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2951814B2 (ja) | 画像抽出方式 | |
| US6970601B1 (en) | Form search apparatus and method | |
| JP3965983B2 (ja) | 画像処理方法およびその装置 | |
| JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
| US8582888B2 (en) | Method and apparatus for recognizing boundary line in an image information | |
| KR19990072314A (ko) | 컬러화상처리장치및패턴추출장치 | |
| JPH08305796A (ja) | パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置 | |
| JP2002288589A (ja) | 画像処理方法、画像処理装置および画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001283153A (ja) | カラー画像から文字列パターンを抽出する装置および方法 | |
| JPH1031716A (ja) | 文字行抽出方法および装置 | |
| JPH0950527A (ja) | 枠抽出装置及び矩形抽出装置 | |
| JP4543675B2 (ja) | 文字・図形の認識方法 | |
| JP4492258B2 (ja) | 文字・図形の認識方法および検査方法 | |
| US5535287A (en) | Method of and apparatus for separating image | |
| JP3276555B2 (ja) | フォーマット認識装置及び文字読取り装置 | |
| JP3058489B2 (ja) | 文字列抽出方法 | |
| JPH09305707A (ja) | 画像抽出方式 | |
| JP2963508B2 (ja) | 文字切出し装置 | |
| JPH11316797A (ja) | 文書画像の領域識別方法および装置 | |
| JP4254008B2 (ja) | パターン検出装置及び方法 | |
| JP3104355B2 (ja) | 特徴抽出装置 | |
| JP2755299B2 (ja) | 画像処理方法 | |
| JP2993533B2 (ja) | 情報処理装置及び文字認識装置 | |
| CN115222623A (zh) | 一种骨架毛刺分支剔除方法及系统 | |
| JPH09223230A (ja) | ディザマスク判別装置、ディザ画像補正装置、及び、文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |