JP4320438B2 - 印刷物の文字列抽出処理装置 - Google Patents
印刷物の文字列抽出処理装置 Download PDFInfo
- Publication number
- JP4320438B2 JP4320438B2 JP2003162540A JP2003162540A JP4320438B2 JP 4320438 B2 JP4320438 B2 JP 4320438B2 JP 2003162540 A JP2003162540 A JP 2003162540A JP 2003162540 A JP2003162540 A JP 2003162540A JP 4320438 B2 JP4320438 B2 JP 4320438B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- character string
- data
- printed matter
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、遺伝的プログラミングを画像変換処理フィルタのツリー構造状組み合わせの最適化処理に適用したツリー構造状画像変換自動生成法(ACTIT)を用いた印刷物の文字列抽出処理装置に関するものである。
【0002】
【従来の技術】
模様と文字が印刷された印刷物、またはデジタル画像から文字のみを読み取る場合は、模様と文字を分離し、文字のみを抽出する処理が不可欠であるが、従来の文字の抽出処理では印刷物の濃度ヒストグラムを利用して模様の濃度と文字の濃度の中間で閾値を設定して文字のみを抽出する方法が多く用いられている。しかし、模様と文字の濃度の差が低い場合や同じ場合では適切な閾値を設定することができないため模様が残ってしまうか又は文字が消えてしまい抽出が行えないという問題があった。
【0003】
このように模様と文字の濃度に差が少なく、明確な閾値を設定することが困難な場合ではR、G、BやH、S、Lの色の情報を利用した方法が用いられており、印刷物の色彩の情報をR、G、Bの各成分に分解し、各成分ごとに2値化の閾値を設定し、各成分ごとに横方向射影データにより文字らしさを抽出する文字抽出装置(例えば、特許文献1参照。)がある。しかし、模様と文字の両方にR、G、Bの各色が用いられている場合や彩度の低いくすんだ色を用いて印刷されている場合は色の情報を利用しても文字の抽出が困難である。
【0004】
このような場合では参照用文字列を利用する手法があり、抽出が容易な参照用文字列を抽出して特徴量を算出し、抽出困難な文字列に対して前記算出した参照用文字列の特徴量を用いて抽出を行う(例えば、特許文献2参照。)。しかし、この方法では抽出が容易な参照用文字列が必要であり、抽出困難な文字列を単独で抽出することができない。
【0005】
このように、従来の方法では抽出困難な文字列を抽出する場合、対象となる印刷物の模様や色の特徴を利用する必要があるため、対象となる印刷物の知識と画像処理の専門知識と経験と試行錯誤が必要である。また、対象となる印刷物に特化した処理になるために対象が変わるごとに新たな処理方法を考案する必要があった。
【0006】
一般に、画像処理のカスタマイズあるいは画像処理の自動化、省力化を目的とした画像処理方法としてエキスパートシステムがある(例えば、特許文献3参照。)。エキスパートシステムは、画像処理に関する知識をシステムにあらかじめ組み込み、知識に基づいた推論やユーザとの対話形式によるやりとりで、画像処理方法の選択や処理に付随するパラメータの調整を行う技術であるが、この方法では対象に依存しない広範囲な応用を目的とした場合や、現在まで確立されていない新しい分野への応用を考えた場合、蓄えられた知識では表現しきれない処理手順が存在するため対処できないという欠点がある。
【0007】
また、特定分野の画像処理をチューニングするニューラルネットワークという方法があり、このニューラルネットワークは脳の神経回路をモデルとして、最適化や学習を行う手法であり、神経細胞(ニューロン)をモデル化したユニットを多数接続し、ネットワークを構成する。各ユニットには他の複数のユニットからの出力信号の値に結合の重みを掛けた値の和を入力し、ニューロンモデルで定義された関数により出力値を決定する。関数の代表例としては閾値関数やシグモイド関数と呼ばれる関数が使用される。
【0008】
ニューラルネットワークの画像への応用として、原画像から何らかの方法で画像を処理して、濃度の統計量等の特徴量を抽出し、これをニューラルネットワークに付与することで、画像処理を学習・最適化させる方法が用いられている。
【0009】
しかし、未知の画像へのニューラルネットワークの適用には、入力するための特徴量の選定、最適化の方法などにより、画像処理能力が左右されることから、画像処理及びニューラルネットワークの専門的知識・経験が必要とされる。したがって、好ましい画像処理の結果が得られなければ、目的とする画像処理が行われるまで、特徴量の選定及び最適化の方法の検討を繰り返す必要がある。
【0010】
すなわち、文字列抽出する画像に何らかの画像処理を施すアルゴリズムは、膨大に存在し、画像処理手法、そのデータベースの活用、又はそのデータを学習させるために、その中から適切なものを選択し、組み合わせ、更には修正を行うなどの試行錯誤が必要となり、画像処理の専門的な知識・経験及び組み合わせの最適化のために多大な時間と労力を必要とする。
【0011】
以上の問題を鑑み、生物の進化の過程を模倣した最適化手法の1つである遺伝的アルゴリズム(GA:Genetic Algorithm)をもとに考案された遺伝的プログラミング(GP:Genetic Programming)を画像処理に適用したツリー構造状画像変換自動生成法(ACTIT:Automatic Construction of Tree-structural Image Transformation;情報メディア学会誌53,6,pp888-894(1999))を印刷物の文字列抽出方法に用いることにする。
【0012】
この手法は、予め用意した複数の画像変換処理フィルタを任意の形のツリー構造状に組み合わせることによって、入力画像から出力画像への画像変換処理を実現するものである(図6)。なお、該手法は、1つ又は複数の入力手段と、1つの出力手段を持つ画像変換処理フィルタFnを用いる。処理される画像はツリー構造における全ての葉ノード1(終端)より入力され、フィルタの組み合わせにより異なった処理を受ける。それらは画像変換処理により順次合成され、最終的に一つの画像となって出力される。フィルタの組み合わせにより、領域や目的毎に異なった処理を施し、それらの結果を適宜合成するような複雑な画像変換処理を構築することが可能となる。
【0013】
ツリー構造は処理対象となる画像群の中から目標の特徴を捉えたいくつかの原画像とそれらに対する理想的な処理結果である目標画像を用意し、ツリー構造が表す画像変換に原画像を入力したときの出力画像が目標画像と同様になるように遺伝的プログラミング(GP)の手法を用いて最適化を行う。こうして目的とする画像変換が自動的に得られ、一度構築された画像変換は、原画像と同じ特徴をもつ画像が入力されたときには目標画像が与えられなくても目的とする処理を実行する。
【0014】
遺伝的アルゴリズム(GA)は、解こうとしている問題の解を染色体と呼ばれる記号列表現に変換し、これらの染色体の集団に遺伝的操作と呼ばれる記号列表現に変換し、これらの染色体の集団に遺伝的操作と呼ばれる演算を繰り返し行うことにより、染色体の集団を少しずつ変更して最適解あるいは最適解に匹敵する解を求める確率的な演算手法である。
【0015】
GAでは生物の遺伝子コードを最適化問題の解として1次元配列の文字列で表現し、それぞれ異なる遺伝子コード(図7)を持つ個体集団が適者生存に基づく淘汰・増殖を繰り返すことで、与えられた問題に対する適応度は世代を重ねるごとに上がってゆく。各個体は適応度関数を用いて計算された適応度を持ち、一般的に問題の解に近いほど適応度が高くなり、適応度が高い個体ほど次の世代に生き残る確率が高くなる。
【0016】
GAを適用し個体集団を十分に進化させた後、集団中で最も適応度の高い個体が持つ遺伝子コードをその問題の最適解とする(図8)。
【0017】
一方、遺伝的プログラミング(GP)は基本的な動作部分はGAと同じであるが、GAにおいて1次元の文字列で表される遺伝子コードをツリー構造状にすることによって、プログラムなどの最適化をより効率的に行えるように拡張した手法である。各個体の遺伝子コードを表すツリーは、ユーザが設定した終端記号と非終端記号から構成される。葉ノードとなるのが終端記号で、内部ノードとなるのが非終端記号である。GA・GPの基本的な処理の流れは以下のとおりである(図9)。
(1)初期の個体集団をランダムに作成し、各個体の適応度を評価する。
(2)個体の複製のために親集合を選択する。
(3)親集合から交叉、突然変異によって子集合を生成する。
(4)生成した子集合の適応度を評価する。
(5)親集合と子集合より生存する個体を選択し新しい集団とする。
(6)(2)〜(4)を繰り返す。
【0018】
初期個体の生成は次に示す規則に基づいて行う。ツリーのルートノードには必ず非終端記号を生成し、それ以降は各ノードが終端記号である確率をpt、非終端記号である確率を数式1として生成する。
【0019】
【数式1】
【0020】
非終端記号が生成されたときに1入力フィルタである確率をp1、2入力フィルタである確率を数式2とし、1個体あたりの非終端記号すなわちフィルタの総数の期待値をnfとすると、1個体あたりのフィルタ総数の期待値ntは数式3となり、終端記号の生成確率ptは数式4となる。
【0021】
【数式2】
【0022】
【数式3】
【0023】
【数式4】
【0024】
ただし、フィルタの数が上限数nmaxに達した場合は無条件で終端記号を生成する。また、生成したツリー構造に含まれるフィルタの数が初期個体の下限数nmin未満であった場合には、もう一度そのツリー構造を生成しなおす。フィルタの上限数nmax、フィルタの数の期待値nf、フィルタの下限数nmin、1入力フィルタ生成確率p1はACTIT実行時にパラメータとして与える。
【0025】
交叉、突然変異はGPでは各個体を表すツリー構造に対して適用する。ツリー構造に対する交叉(図10)は、親2個体それぞれの全ノードからランダムに選択し、任意のノード以下の部分ツリーを交換することによって行う。いずれかの個体のフィルタ数が0になるかnmaxを超えた場合にはもう一度交叉をやり直す。交叉後bに各個体を突然変異率Pmutの確率で突然変異させる(図11)。突然変異は個体の全ノードからランダムに1つを選択し、書き換えd、挿入e、又は削除fという3つの方法のうち1つを等確率で選択し実行する。ただし選択されたノードが終端ノード1である場合には、削除f以外のどちらか一方を等確率で選択して実行する。新しいノードを生成する場合は終端記号の生成確率ptを用いる。突然変異の結果、個体のフィルタ数が0になるかnmaxを超えた場合には、もう一度突然変異をやり直す。ここで示した突然変異率Pmutも他のパラメータ同様ACTIT実行時に与える。
【0026】
適応度評価のために数式5の関数を用いる。
【0027】
【数式5】
【0028】
適応度は出力画像と目標画像との重み付けした距離を正規化し、画像の全セットでの平均をとることによって求める。ここで,{ok(i,j)}は原画像にツリー構造状画像変換を適用することで得られた出力画像、{tk(i,j)}は目標画像、{wk(i,j)}は重み画像である。重み画像とは、各目標画像の画素ごとの達成希望度をあらわすものであり、値が大きいほど出力が目標画像と一致することが望まれる。また、各画像はi,j方向の画素数をW、Hとし、各画素は0からVmaxまでの整数値をとるものとする。原画像・目標画像・重み画像の組は複数用意することができ、そのセット数をKとする。適応度は0から1までの値をとり、出力画像が目標画像に類似しているほど大きな値をとり、完全に一致すれば1となる。
【0029】
ACTITは複数の画像を入力して1つの画像を出力する変換について、任意の画像変換を自動構築することから、カラー画像を処理する際には個体の遺伝子コードがとる終端記号の種類をカラー画像のHSV(Hue:色相、Saturation:彩度、Value:明度)、RGB(Red:赤、Green:緑、Blue:青)などの表色系へと変換した各チャンネルとすることによって、カラー画像から階調画像への画像変換の構築が可能となる。
【0030】
以上詳述したツリー構造状画像変換自動生成法(ACTIT)を用いた方法として印刷物の不良欠点抽出方法及び装置があり、従来の画像処理技術では抽出及び画像処理生成が困難である印刷物との濃度差がほとんどなく、肉眼では検出が困難な印刷物の不良欠点部分の画像抽出処理において、ACTITを使用するとともに、これを印刷物の不良欠点抽出処理に特化し、より抽出精度を高めるための階調画像の追加及びそれらを比較演算処理するための画像変換処理フィルタの導入により、未知のどのような印刷物の不良欠点であっても、容易かつ的確に抽出できる方法及び装置(例えば、特許文献4参照。)がある。
【0031】
この方法は、対象物の不良欠点の抽出処理を行うに当たっては何ら問題なかったが、印刷物に付与された番号などの文字は面積が小さく幅が狭いため、文字の輪郭を正確に認識することが必要となるが、文字の消失や欠けに対して十分な結果を得ることが困難な状況であった。
【0032】
【特許文献1】
特開平5−266251号公報
【特許文献2】
特開平6−44404号公報
【特許文献3】
特開平8−96136号公報
【特許文献4】
特開2002−366929号公報
【0033】
【発明が解決しようとする課題】
以上詳述したように、これまでの文字抽出処理では、背景模様との重なりがない文字列や背景模様と文字列の濃度や色彩が異なる画像については、かなりの精度で抽出が可能となるが、模様と文字列が重なり、さらに模様と文字列が濃度差がほとんどない同系色で印刷されている場合には文字列を抽出できないという問題があった。
【0034】
本発明は、係る問題を解決するためになされたものであり、従来の画像処理技術では抽出及び画像処理生成が困難である模様との濃度差がほとんどなく、抽出できなかった印刷物の文字列部分の画像抽出処理において、ACTITを使用することにより、画像変換処理フィルタ列を表すツリー構造の最適化を行うことにより目的の画像を得るとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した画像処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ正確に抽出し、印刷物の製造工程または流通段階で容易かつ正確に、正誤判定、真偽判別する装置を提供するものである。
【0035】
【課題を解決するための手段】
本発明の印刷物の文字列抽出処理装置は、印刷物の画像データを取り込むデータ入力手段と、前記画像データから印刷物の文字列を抽出するための画像変換処理フィルタを指定し、前記画像変換処理フィルタを最適化するためのパラメータを設定するデータ設定手段と、前記画像データを階調画像に変換し、前記パラメータ設定値と前記画像変換処理フィルタにより、印刷物の文字列を抽出する画像変換処理手順を自動構築し、前記印刷物の文字列を抽出処理して、前記印刷物の文字列の認証により正誤又は真偽を判別するデータ処理手段と、前記パラメータ設定値、前記画像データ、及び前記画像変換処理手順を記憶するデータ記憶手段と、前記画像変換処理手順及び前記印刷物の文字列を抽出した画像を出力・表示するデータ出力手段とからなる印刷物の文字列抽出処理装置において、前記入力画像データが印刷物の文字列を含む画像データ及び前記画像データから前記印刷物の文字列のみを抽出した教師画像データで構成され、前記データ処理手段の画像変換処理手順の自動構築処理手順は、遺伝的アルゴリズムを画像処理に適用した遺伝的プログラミングで画像変換処理フィルタのツリー構造状組み合わせを最適化処理することで、前記画像変換処理手順を自動構築することを特徴としている。
【0036】
また、本発明の印刷物の文字列抽出処理装置の前記ツリー構造状画像変換の自動生成手段において、印刷物の文字列を含む前記画像データ、前記画像データから前記印刷物の文字列のみを抽出した前記教師画像データからなる標準画像セットデータに、適応度評価の度合いを表現した重み画像データを加えることを特徴としている。
【0037】
また、本発明の印刷物の文字列抽出処理装置の前記パラメータ設定手段において、任意の画像変換処理フィルタの組み合わせであるツリー構造を一個体として、その複数個体に遺伝的プログラミングを用いることで個体数を定義する個体集団数、一個体当たりの画像変換処理フィルタ数の最大値、前記ツリー構造状画像変換の自動生成手段における遺伝的プログラミング処理の交叉確率・突然変異率、及び世代交代の上限数とからなることを特徴としている。
【0038】
また、本発明の印刷物の文字列抽出処理装置において、前記印刷された印刷物の画像データを前記データ入力手段で入力し、前記画像データを前記階調画像変換処理手段で階調画像変換処理を施し、前記階調画像変換処理データを基に、前記文字列抽出処理手段で印刷物の文字列を抽出し、前記抽出した印刷物の文字列抽出画像データを前記画像データ記憶手段に記憶保存すると共に、前記印刷物の文字列抽出画像データを出力・表示することを特徴としている。
【0039】
また、本発明の印刷物の文字列抽出処理装置において、前記印刷物の文字列抽出処理手段により、前記印刷物から印刷物の文字列抽出画像データを抽出し、前記データ処理手段の記番号認証処理手段により認証に成功した場合は真の印刷物と判断し、又は前記データ処理手段の記番号認証処理手段により認証に失敗した場合は偽の印刷物と判断することを特徴としている。
【0040】
なお、本発明の印刷物の文字列抽出手段により抽出する印刷物は、有価証券類であることを特徴としている。
【0041】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。(第1の実施形態)図1は、本実施形態における文字列抽出装置の構成図であり、この構成図を基に、印刷物の文字列抽出方法における画像データの入力から文字列の真偽を判断するまでを、図2及び図3のフローチャートを参照して説明する。
【0042】
まず、標準画像セットとしての教師画像セットをデータ入力部Aに入力(S1)し、データ処理部Dの階調画像変換処理部D1で階調画像変換処理(S2)を施し、データ設定部Bの画像変換処理フィルタ設定部B2において、データ処理部DのACTIT処理D2で使用する画像変換処理フィルタを指定(S3)する。この時、文字を確実に認識させるために、対象となる画像(原画像)を左右2分割し、それぞれのヒストグラムを作成して、画像の左半分、右半分の2値化した閾値を個々に算出する。また、データ設定部Bのパラメータ設定部B1では、ACTITのパラメータを設定(S4)し、初期個体集団をランダムに生成(S5)し、適応度の評価(S6)を行う。
【0043】
前記の適応度評価により親集団をランダムに選択(S7)し、データ処理部Dの最適化処理部D21で交叉するものをランダムに選択(S8)し、選択されたものは交叉(S9)を開始し、一個体当たりの画像処理フィルタ数nが0(S10)になるともう一度交叉(S9)をやり直し、画像処理フィルタ数が0ではなく最大値nmax(S11)に達した場合も交叉(S9)をやり直す。
【0044】
一個体当たりの画像処理フィルタ数nが0<n<nmaxの範囲内で処理されたもの、及び前記データ処理部Dの最適化処理部D21で交叉の処理が成されていないもの(S8)は、突然変異率で確率的に選択(S12)されて突然変異処理の書き換え(S12a)、挿入(S12b)、又は削除(S12c)の処理を行い、画像変換処理手順、個体集団データ及び処理後の各種パラメータを記憶保存(S13)する。なお、(S12)で突然変異処理が成されていないものについても、個体集団データ及び処理後の各種パラメータを記憶保存(S13)する。
【0045】
前記画像変換処理手順による画像変換処理の適応度をデータ処理部Dの適応度評価部D22で評価(S14)し、適応度が1になるか、若しくは適応度が1とはならなくても目標とする画像処理が達成された場合、画像変換処理手順は最適化されているものと判断され、その手順をデータ記憶部Cの画像変換処理手順記憶部C3に記憶保存(S17)する。また、適応度が1に等しくなく、かつ、世代交代数が上限値(S15)に達した場合も画像変換処理手順は最適化されているものと判断され、同様の手順で処理される。
【0046】
適応度が1(S14)に等しくなく、かつ、世代交代数も上限値(S15)に達しない場合は、親集団及び子集団より次世代生存個体を適応度に応じて選択(S16)し、親集団のランダム選択工程(S7)に戻り前記工程を繰り返す。
【0047】
最適化処理の出力画像において、文字の消失/欠けが発生しても、最適化の途中段階では文字が消失していない場合があるので、データ記憶部に文字列の書体をあらかじめ記憶させ、最適化中の木構造内の画像に対して、文字列の書体情報とパターンマッチングさせることにより、文字列の個々の文字を順次認識させることで、最適化終了後の出力画像で消失/欠けが発生している文字の認識率を上昇させ、認識精度を向上させるようにしている。
【0048】
次に、未知の文字列を含む印刷物の対象画像をデータ入力部Aに入力(S18)し、データ処理部Dの階調画像変換処理部D1で階調画像変換処理(S19)を行い、前記処理で得られた最適化画像変換処理により文字列の抽出処理(S20)を行い、抽出された文字列の認識処理(S21)をデータ処理部Dの文字列認識処理部D4で行い、次に認識された文字列の認証処理(S22)をデータ処理部Dの文字列認証処理部D5で行い、認証が成功した場合は真の印刷物と判断(S23)し、そうでない場合は偽の印刷物と判断(S24)する。
【0049】
次に、本発明に係る他の実施形態について、図面を参照して詳細に説明する。(第2の実施形態) 前記した図1の文字列抽出装置の構成図を基に、印刷物の文字列抽出方法における画像データの入力から文字列の正誤を判断するまでを、図4及び図5のフローチャートを参照して説明する。
【0050】
まず、標準画像セットとしての教師画像セットをデータ入力部Aに入力(S1)し、データ処理部Dの階調画像変換処理部D1で階調画像変換処理(S2)を施し、データ設定部Bの画像変換処理フィルタ設定部B2において、データ処理部DのACTIT処理D2で使用する画像変換処理フィルタを指定(S3)する。データ設定部Bのパラメータ設定部B1では、ACTITのパラメータを設定(S4)し、初期個体集団をランダムに生成(S5)し、適応度の評価(S6)を行う。
【0051】
前記の適応度評価により親集団をランダムに選択(S7)し、データ処理部Dの最適化処理部D21で交叉するものをランダムに選択(S8)し、選択されたものは交叉(S9)を開始し、一個体当たりの画像処理フィルタ数nが0(S10)になるともう一度交叉(S9)をやり直し、画像処理フィルタ数が0ではなく最大値nmax(S11)に達した場合も交叉(S9)をやり直す。
【0052】
一個体当たりの画像処理フィルタ数nが0<n<nmaxの範囲内で処理されたもの、及び前記データ処理部Dの最適化処理部D21で交叉の処理が成されていないもの(S8)は、突然変異率で確率的に選択(S12)されて突然変異処理の書き換え(S12a)、挿入(S12b)、又は削除(S12c)の処理を行い、画像変換処理手順、個体集団データ及び処理後の各種パラメータを記憶保存(S13)する。なお、(S12)で突然変異処理が成されていないものについても、個体集団データ及び処理後の各種パラメータを記憶保存(S13)する。
【0053】
前記画像変換処理手順による画像変換処理の適応度をデータ処理部Dの適応度評価部D22で評価(S14)し、適応度が1になるか、若しくは適応度が1とはならなくても目標とする画像処理が達成された場合、画像変換処理手順は最適化されているものと判断され、その手順をデータ記憶部Cの画像変換処理手順記憶部C3に記憶保存(S17)する。また、適応度が1に等しくなく、かつ、世代交代数が上限値(S15)に達した場合も画像変換処理手順は最適化されているものと判断され、同様の手順で処理される。
【0054】
適応度が1(S14)に等しくなく、かつ、世代交代数も上限値(S15)に達しない場合は、親集団及び子集団より次世代生存個体を適応度に応じて選択(S1)し、親集団のランダム選択工程(S7)に戻り前記工程を繰り返す。
【0055】
次に、未知の文字列を含む印刷物の対象画像をデータ入力部Aに入力(S18)し、指定文字列をデータ入力部 Aに入力(S22)し、データ処理部Dの階調画像変換処理部D1で階調画像変換処理(S19)を行い、前記処理で得られた最適化画像変換処理により文字列抽出処理(S20)を行い、文字列の認識処理(S21)をデータ処理部Dの文字列認識処理部D4で行い、前記入力(S22)した指定文字列と前記認識した文字列の正誤処理(S23)をデータ処理部Dの文字列正誤判定部D6で行い、一致した場合は正常処理と判断(S24)し、一致しなかった場合は異常処理と判断(S25)する。
【0056】
次に、本発明を実施例により、図面を参照して詳細に説明する。(実施例)印刷物の文字抽出方法について、前記した図1の文字列抽出装置の構成図を基に、図12に示す本発明に係る入力画像である原画像、教師画像、重み画像、及び未知の文字列を抽出した画像を示す図を用いて説明する。
【0057】
本実施例で用いる印刷物の画像としては、印刷物に付与されている記番号を用いる。まず、原画像1、教師画像2、及び重み画像3からなる画像群を用意する。原画像1は、印刷物の記番号周辺の領域を切り出し作成する。教師画像2は選択した原画像1から、期待する画像変換処理の結果となる画像を作成する。教師画像は白地に記番号を配置した画像とし、記番号は黒とする。また、必要であれば適応度評価の重みを表現した重み画像3を作成する。白い領域が重み付けをする記番号領域である。原画像1、教師画像2、及び重み画像3の標準画像セットをデータ処理部Dの階調画像変換処理部D1で階調画像に変換する。
【0058】
次に、ACTITの遺伝的プログラミング(GP)の最適化処理で用いる各パラメータをデータ設定部Bのパラメータ設定部B1で設定し、標準画像セットをACTITで処理する。遺伝的プログラミング(GP)によるツリー構造状画像変換の最適化処理D21が行われ、適応度が最大値の1となった時、又は設定した世代数が全て終了した時点で処理は終わり、出力されるものとして最大適応度を持つ最適化画像変換処理手順が得られる。
【0059】
続いて、上記で得られた最適化画像変換処理手順を基にして、印刷物の機械処理装置に搭載されたラインセンサで印刷物を読み込み、本発明の方法により未知の文字列を含む印刷物の画像から未知の文字列4を抽出して認識と認証を行い、認証に成功した印刷物を真なる印刷物と判断して受理し、認証に失敗した印刷物を偽の印刷物と判断して返却を行う。
【0060】
以上、一般的な印刷物について詳述したが、例えば印刷物が銀行券の場合は、原画像として銀行券の記番号周辺の領域を、その記番号の全桁を含んで切り出して用い、同様の操作を行えば良い。
【0061】
【発明の効果】
本発明では、文字列を抽出する処理を自動構築でき、原画像、及び教師画像を設定する簡単な作業で済むので画像処理に関する経験・知識をほとんど必要としない。
【0062】
また、従来は抽出できない文字列に対しても新たに特殊なフィルタを追加することにより処理を容易に短時間に構築でき、人間では考え付くことができない処理手順を探索することが出来る。
【0063】
また、事前に用意するフィルタの種類や適用順序に関する制限を必要としないため、画像処理の知識に基づく処理手順の制限、又はシステムとの対話によるユーザへの負担が解消される。
【0064】
また、画像処理フィルタ列をあらわすツリー構造の最適化を行うことにより目的の画像を得られることから、特徴量の抽出やニューラルネットワークの最適化のための試行錯誤を必要としないし、知識データベースを必要としないので未知画像への対応も容易に可能である。
【0065】
また、従来の画像処理技術では抽出及び画像処理生成が困難である印刷物の文字列部分の画像抽出処理において、ACTITを使用するとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した2値化画像変換処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ正確に抽出することが可能である。
【図面の簡単な説明】
【図1】本発明に係る一実施形態における印刷物の文字列抽出処理装置の構成図である。
【図2】本実施形態1における印刷物の文字列抽出処理方法における画像データの入力から画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存するまでのフローチャートである。
【図3】本実施形態1における印刷物の文字列抽出処理方法における画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存から文字列の真偽を判断するまでのフローチャートである。
【図4】本実施形態2における印刷物の文字列抽出処理方法における画像データの入力から画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存するまでのフローチャートである。
【図5】本実施形態2における印刷物の文字列抽出処理方法における画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存から文字列の正誤を判断するまでのフローチャートである。
【図6】ツリー構造状に組み合わされた画像処理フィルタを示す図である。
【図7】遺伝的アルゴリズムの遺伝子コードを示す図である。
【図8】遺伝的プログラミングの最適化処理における世代数と適応度の関係を示す図である。
【図9】遺伝的プログラミングの基本的な流れを示す図である。
【図10】遺伝的プログラミングの最適化処理のうち、交叉を示す図である。
【図11】遺伝的プログラミングの最適化処理のうち、突然変異を示す図である。
【図12】本実施例における入力画像である原画像、教師画像、重み画像、及び未知の文字列を抽出した画像を示す図である。
【符号の説明】
1 葉ノード(終端)
Fn 画像処理フィルタ(非終端)
a 交叉前のツリー構造
b 交叉後のツリー構造
c 突然変異前のツリー構造
d 書き換え後のツリー構造
e 挿入後のツリー構造
f 削除後のツリー構造
2 基本画像(有価証券)
3 印刷物の文字列
4 画像
5 教師画像
6 未知の画像
7 未知の文字列抽出画像
Claims (6)
- 印刷物の文字列を含む画像データを取り込むデータ入力手段と、
前記画像データから印刷物の文字列を抽出するための画像変換処理フィルタを設定し、前記画像変換処理フィルタを最適化するためのパラメータを設定するデータ設定手段と、
前記画像データを階調画像に変換し、前記パラメータ設定値と前記画像変換処理フィルタにより、印刷物の文字列を抽出する画像変換処理手順を自動構築し、前記印刷物の文字列を抽出処理して、前記印刷物の文字列を認証処理することにより文字列の正誤又は真偽を正誤判定するデータ処理手段と、
前記パラメータ設定値、前記画像データ、及び前記画像変換処理手順を記憶するデータ記憶手段と、
前記画像変換処理手順、文字列の正誤判定及び前記印刷物の文字列を抽出した画像を出力・表示するデータ出力手段とからなる印刷物の文字列抽出処理装置において、
前記データ入力手段で取り込む画像データは、前記印刷物の文字列を含む画像データ及び前記画像データから前記印刷物の文字列のみを抽出した教師画像データで構成され、
前記データ設定手段の画像変換処理フィルタは、前記抽出した画像データを複数に分割し、それぞれのヒストグラムを作成して、分割した複数の画像ごとの2値化した閾値を個々に算出させるフィルタを組み込んだものであり、
前記データ処理手段の画像変換処理手順の自動構築は、遺伝的アルゴリズムを画像処理に適用した遺伝的プログラミングで画像変換処理フィルタのツリー構造状組み合わせを最適化処理することで、前記画像変換処理手順を自動構築することを特徴とする印刷物の文字列抽出処理装置。 - 前記データ処理手段の遺伝的アルゴリズムを画像処理に適用した遺伝的プログラミングで画像変換処理フィルタのツリー構造状組み合わせを最適化処理する画像変換処理手順の自動構築において、前記印刷物の文字列を含む前記画像データ、前記画像データから前記印刷物の文字列のみを抽出した前記教師画像データからなる標準画像セットデータに、適応度評価の度合いを表現した重み画像データを加えることを特徴とする請求項1記載の印刷物の文字列抽出処理装置。
- 前記データ設定手段のパラメータ設定において、前記画像変換処理フィルタを最適化するために、任意の画像変換処理フィルタの組み合わせであるツリー構造を一個体として、その複数個体に遺伝的プログラミングを用いることで個体数を定義する個体集団数、一個体当たりの画像変換処理フィルタ数の最大値、前記ツリー構造状画像変換の自動生成手段における遺伝的プログラミング処理の交叉確率・突然変異率、及び世代交代の上限数とからなることを特徴とする請求項1又は2記載の印刷物の文字列抽出処理装置。
- 前記印刷された印刷物の画像データを前記データ入力手段で入力し、前記入力した画像データを前記データ処理手段で階調画像変換処理を施し、前記階調画像変換処理データを基に、文字列抽出処理で印刷物の文字列を抽出し、前記抽出した印刷物の文字列抽出画像データを前記データ記憶手段に記憶保存すると共に、前記印刷物の文字列抽出画像データを前記データ出力手段で出力・表示することを特徴とする請求項1、2又は3記載の印刷物の文字列抽出処理装置。
- 前記データ処理手段の文字列抽出処理により、前記印刷物から印刷物の文字列を含む画像データを抽出し、前記データ処理手段の文字列認証処理により認証に成功した場合は真の印刷物と判断し、又は前記データ処理手段の文字列認証処理により認証に失敗した場合は偽の印刷物と判断することを特徴とする請求項1、2、3又は4記載の印刷物の文字列抽出処理装置。
- 前記印刷物は有価証券類であることを特徴とする請求項1、2、3、4又は5記載の印刷物の文字列抽出処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003162540A JP4320438B2 (ja) | 2003-06-06 | 2003-06-06 | 印刷物の文字列抽出処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003162540A JP4320438B2 (ja) | 2003-06-06 | 2003-06-06 | 印刷物の文字列抽出処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004362440A JP2004362440A (ja) | 2004-12-24 |
JP4320438B2 true JP4320438B2 (ja) | 2009-08-26 |
Family
ID=34054662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003162540A Expired - Fee Related JP4320438B2 (ja) | 2003-06-06 | 2003-06-06 | 印刷物の文字列抽出処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4320438B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2338690A1 (en) | 2009-12-25 | 2011-06-29 | Fujifilm Corporation | Method for forming images using a thermal transfer image-receiving sheet having a lenticular lens |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007013425A1 (ja) * | 2005-07-26 | 2007-02-01 | National University Corporation Hokkaido University | 画像処理自動構成装置 |
JP4814679B2 (ja) * | 2006-04-05 | 2011-11-16 | 富士重工業株式会社 | 画像処理装置 |
JP5011533B2 (ja) * | 2007-02-13 | 2012-08-29 | 国立大学法人横浜国立大学 | 進化計算システム及び進化計算方法 |
KR101149843B1 (ko) | 2009-10-08 | 2012-05-24 | 주식회사 카스모아이티 | 유가증권의 일련번호 인식방법 |
JP5175881B2 (ja) * | 2010-02-25 | 2013-04-03 | 株式会社東芝 | 監視装置 |
GB2485833A (en) * | 2010-11-26 | 2012-05-30 | S3 Res & Dev Ltd | Improved OCR Using Configurable Filtering for Analysing Set Top Boxes |
JP6791182B2 (ja) | 2018-03-14 | 2020-11-25 | オムロン株式会社 | ニューラルネットワーク型画像処理装置 |
JP2022024189A (ja) * | 2018-09-27 | 2022-02-09 | 株式会社Preferred Networks | 学習用データ作成方法、学習用データ作成装置及びプログラム |
-
2003
- 2003-06-06 JP JP2003162540A patent/JP4320438B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2338690A1 (en) | 2009-12-25 | 2011-06-29 | Fujifilm Corporation | Method for forming images using a thermal transfer image-receiving sheet having a lenticular lens |
Also Published As
Publication number | Publication date |
---|---|
JP2004362440A (ja) | 2004-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
CN108805860A (zh) | 图像解析方法、装置、程序及深度学习算法的生成方法 | |
Alsmadi et al. | Robust feature extraction methods for general fish classification | |
JP4320438B2 (ja) | 印刷物の文字列抽出処理装置 | |
CN114862858B (zh) | 基于集成学习的雪茄烟采收成熟度识别方法及系统 | |
CN108492294B (zh) | 一种图像色彩和谐程度的评估方法及装置 | |
CN111651762A (zh) | 一种基于卷积神经网络的pe恶意软件检测方法 | |
CN107563389A (zh) | 一种基于深度学习的农作物病害识别方法 | |
CN111627080B (zh) | 基于卷积神经与条件生成对抗性网络的灰度图像上色方法 | |
JP2002366929A (ja) | 印刷物の不良欠点抽出処理方法及び装置 | |
CN111414849A (zh) | 一种基于演化卷积神经网络的人脸识别方法 | |
CN111028203B (zh) | 一种基于显著性的cnn盲图像质量评估方法 | |
CN106327443A (zh) | 一种改进的遗传算法的夜间图像增强方法 | |
CN116630960B (zh) | 基于纹理-颜色多尺度残差收缩网络的玉米病害识别方法 | |
US20220358411A1 (en) | Apparatus and method for developing object analysis model based on data augmentation | |
CN113221913A (zh) | 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置 | |
CN114238659A (zh) | 智能设计网络安全架构图的方法 | |
CN106951912A (zh) | 一种果蔬外观变化识别模型的建立方法和识别方法 | |
EP4040347A1 (en) | Device and method for learning data augmentation-based space analysis model | |
US7076098B2 (en) | Adaptive image processing unit for extracting characteristic portion from image | |
CN114495135A (zh) | 票据识别方法及装置 | |
CN113052230A (zh) | 一种基于解纠缠网络的服装图像生成系统和方法 | |
CN112418252A (zh) | 基于图像内含社交网络平台指纹的起源社交网络识别方法 | |
CN116368487A (zh) | 用于恶意软件的检测的方法 | |
Kohmura et al. | Determining optimal filters for binarization of degraded characters in color using genetic algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090514 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090514 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |