JP4211941B2 - パターン抽出装置 - Google Patents
パターン抽出装置 Download PDFInfo
- Publication number
- JP4211941B2 JP4211941B2 JP2005166255A JP2005166255A JP4211941B2 JP 4211941 B2 JP4211941 B2 JP 4211941B2 JP 2005166255 A JP2005166255 A JP 2005166255A JP 2005166255 A JP2005166255 A JP 2005166255A JP 4211941 B2 JP4211941 B2 JP 4211941B2
- Authority
- JP
- Japan
- Prior art keywords
- rectangle
- circumscribed
- color
- circumscribed rectangle
- rectangles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
(1)RGB色空間クラスタリング法
このRGB色空間クラスタリング法では、色分解画像の作成が行われる。すなわち、CCDカメラで撮影したRGB画像の画素についてRGB空間上でのクラスタリングを行う。そして、一つのクラスタに属する画素だけで色毎の画像を作成して、同一色の領域を抽出したり、またこの手法でできた領域を併合したりして、新たな領域を抽出するものである。
RGB空間で表現されたRGB画像の全ての画素をHSVのような別の色空間に変換し、この色空間上で何らかのクラスタリングを行い、一つのクラスタに属する画素だけで色毎の画像を作成して同一色の領域を抽出したり、この手法でできた領域を併合したりして、新たな領域を抽出するものである。
(3)領域拡張法
この領域拡張法では、隣り合う画素の色の近さだけに注目してラベリングが行われる。すなわち、RGBで表現された画素を対象に、(R,G,B)の各色要素の最大値(max)を求め、これにより色画素を(R/max,G/max,B/max)と正規化し、正規化された画像を作成する。
・外接矩形のサイズ及び形状で一定の範囲にあるものだけに絞る。
・矩形毎に隣接矩形探索範囲を設け、その内部にかかる矩形を探索し、お互いに内部にかかる関係の矩形群をグループとして抽出する。
・グループの外接矩形を求め、その内部を対象にグループを構成する領域の色に近いパターンを抽出する。
仙田等「文字の単色性に着目したカラー画像からの文字パターン抽出法」電子情報通信学会PRU94−09,p17−24 上羽等「等色線処理によるカラー画像からの文字領域の抽出」電子情報通信学会PRU94−09、p9−16 松尾等「カラー文書画像からの単色文字領域の抽出」1997電子情報通信学会総合大会D−12−19 松尾等「濃淡及び色情報による情景画像からの文字列抽出」電子情報通信学会PRU92−121、p25−32
まず、RGB色空間クラスタリング法でも、HSV空間のような他の色空間クラスタリング法でも、画像全体の画素を使用してクラスタリングが行われる。このため、図44に示すように、パターン502の色とパターン507の色とが異なっている場合においても、パターン502の色とパターン507の色とが近い場合には、抽出したいパターン502と別のパターン507とが同じクラスタ508に分類される可能性がある。この場合、パターン507の色の影響で、パターン502の色が本来形成するクラスタ形状が変化する。この結果、パターン502の色が形成するクラスタ本来の色の範囲が歪んでしまい、パターン502を抽出する場合に、精度のよい領域抽出ができなくなってしまう。例えば、抽出したいパターン502の色と近い色のパターン507が別の場所にあり、両者が1つのクラスタ508として抽出されると、クラスタ508が表す色は、パターン502の色とパターン507の色とが混在したものとなり、このクラスタ508が表す色では、パターン502の色の範囲及びパターン508の色の範囲をカバーできず、抽出結果のパターン502’、507’に穴511、512が空いたり、輪郭が綺麗に抽出されなかったりする場合がある。
図1は、本発明の第1実施例に係わるパターン抽出装置の構成を示すブロック図である。
図2において、クラスタリング手段11は、隣接する画素同士の色情報に基づいて、入力画像内の画素のクラスタリングを行う。グルーピング手段12は、クラスタリング手段11で得られたクラスタ同士の色情報及び幾何学情報に基づいて、クラスタのグルーピングを行う。
図3において、色差算出手段21は、所定の色で表現された領域の隣接画素間の色差を算出する。しきい値設定手段22は、色差算出手段21で算出された色差に基づいてしきい値を設定する。ラベリング手段23は、しきい値設定手段22で設定されたしきい値に基づいて、所定の色で表現された画素に隣接する画素のラベリングを行う。
図4において、第1の色情報比較手段31は、入力画像の隣接画素間の色情報を比較する。第2の色情報比較手段32は、第1の色情報比較手段31で比較対象となった画素の色情報と、前記画素に隣接するラベル画像の色情報とを比較する。ラベリング手段33は、第1の色情報比較手段31の比較結果及び第2の色情報比較手段32の比較結果に基づいて、ラベリングを行う。ここで、ラベル画像の色情報は、例えば、同一ラベルが付された画素の色情報の平均値である。
図5において、41は全体的な処理を行う中央演算処理ユニット(CPU)、42はリードオンリメモリ(ROM)、43はランダムアクセスメモリ(RAM)、44は通信インターフェイス、45は通信ネットワーク、46はバス、47は入出力インターフェイス、48は見出し文字などの認識結果などを表示するディスプレイ、49は見出し文字などの認識結果などを印刷するプリンタ、50はスキャナ51により読み取られたデータを一時的に格納するメモリ、51は入力画像などを読み取るスキャナ、52はキーボード、53は記憶媒体を駆動するドライバ、54はハードディスク、55はICメモリカード、56は磁気テープ、57はフレキシブルディスク、58はCD−ROMやDVD−ROMなどの光ディスクである。
図6において、61はカラー画像入力装置、62は外部出力装置、63はメモリ、64は演算装置(CPU)、65は画像縮小手段、66は可変しきい値設定手段、67はラベリング手段である。
図7において、71はカラー画像入力装置、72は外部出力装置、73はメモリ、74は演算装置である。カラー画像入力装置71は、外部のカラー画像をRGB信号で入力するものであり、例えば、CCDカメラとか、スキャナ等である。
図8において、例えば、カラー文書のような被写体を、CCDカメラやスキャナ等の撮像装置の如きカラー画像装置71で入力し、得られたカラー画像をメモリ73に保存する(ステップS1)。
一般的には、原画像のn×nの領域を縮小画像の1×1に対応させるような1/nの縮小率で縮小する場合は、原画像のn×nの領域内部にある画素の色の(R,G,B)を1単位として扱ったヒストグラムを作成し、例えば、その中間値とか最頻値を対応する縮小画像の画素の値とするものである。
and|Gc−Gl|<Gth
and|Bc−Bl|<Bth ・・・(1)
そして、(1)式が成立するとき、dcl=0として同一ラベルを与え、不成立のとき、dcl=1000などのしきい値よりも大きな値を付与する。一般的には、図10(b)に示すように、以下の式で距離dci(i=1〜8)を示すことができる。
|Gc−Gi|<Gth and
|Bc−Bi|<Bth
10000 それ以外の条件
ただし、1000はこれに限定されるものではなく、しきい値より大きい値を示す。
それから、ラベル画像において、同一ラベルとして記録されている画素を走査して、その中の色の種類を全て記録する。この記録は、各外接矩形の属性情報として記録する。また、ラベル画像で同一ラベルとして記録されている全ての画素から、各ラベルの代表色を1つ求める。この求め方は、例えば、色の種類毎に頻度分布を求め、最も頻度の高い色を代表色にするというような手法で求めることができる。この代表色情報も、外接矩形の属性情報として記録する。
|Rs−Ri|<Rth
and
|Gs−Gi|<Gth
and
|Bs−Bi|<Bth
を満たすことである。なお、ここでのしきい値Rth,Gth,Bthは、固定値である。
|Rc−Ri|<Rth
and
|Gc−Gi|<Gth
and
|Bc−Bi|<Bth
を満たすときに注目画素と同一ラベルを付与する(ステップS5)。
図14(a)において、原画像111内の「の」と書かれた領域は、例えば、オレンジ色の一色で描かれているが、図14(b)に示すように、「の」と書かれた領域の一部を拡大すると、その領域は、様々の色が集まって構成されている。
図15において、網点印刷法では、シアン(水色)、マゼンタ(紫)、黄色の点状の模様が場所によって点121〜123の大きさを変えながら、メッシュ状に規則的に配置されるようになっている。
図16(a)において、網点印刷法で1つの色を印刷する場合、印刷メッシュM1の格子点に配置された半径r1の塗りつぶし円D1を印刷することで行われる。そして、網点印刷法で印刷される色を変える場合、塗りつぶし円D1の半径r1を変化させる。このため、網点印刷法で1つの色が印刷された領域は、半径r1の塗りつぶし円D1が離散的に配置された領域になる。
図17は、網点印刷法におけるスキャナ読み取りモデルを示す図である。
・印刷メッシュM11、M12、M13の格子間隔md(ただし、格子間隔mdは、黄色、シアン、マゼンタ共通サイズ)
・黄色メッシュM11の水平線からの角度θ11
・マゼンタメッシュM12の水平線からの角度θ12
・シアンメッシュM13の水平線からの角度θ13
・黄色の塗りつぶし円D11の半径r11
・マゼンタの塗りつぶし円D12の半径r12
・シアンの塗りつぶし円D13の半径r13
であるが、本実施例では、この全てのパラメータを可変にすると煩雑すぎるので、ある程度の限定を与え、以下のように設定した。
・マゼンタメッシュM12の水平線からの角度θ12=30度
・シアンメッシュM13の水平線からの角度θ13 =45度
・格子間隔md=20ドット
この印刷モデルを使用して、シミュレーションを行い、黄色、マゼンタ、シアンの塗りつぶし円D11、D12、D13のそれぞれの半径r11、r12、r13に影響を受ける平均RGB値(Rm,Gm,Bm)を求める。具体的には、印刷メッシュM11、M12、M13の格子間隔mdよりもかなり大きな単位面積を考え、
Rm=255−単位面積中のシアンの面積×255/単位面積
Gm=255−単位面積中のマゼンタの面積×255/単位面積
Bm=255−単位面積中の黄色の面積×255/単位面積
として求める。
Rc=255−読み込みメッシュ面積中のシアンの面積×255/読み込みメッシュ面積
Gc=255−読み込みメッシュ面積中のマゼンタの面積×255/読み込みメッシュ面積
Bc=255−読み込みメッシュ面積中の黄色の面積×255/読み込みメッシュ面積
間隔sdを変えた読み込みメッシュM14ごとにRGB輝度値(Rc,Gc,Bc)を求めておき、隣接画素とのRGBそれぞれの輝度差を求め、その中の適当な値(例えば、最大値)を色差テーブルに記録する。
図18は、Rのテーブルの例を示す図である。
図19は、本発明の第実施例に係わる色差テーブル生成装置の構成を示すブロック図である。
図20において、131はカラー画像入力装置、132は外部出力装置、133はメモリ、134は演算装置(CPU)である。演算装置134には、色差テーブル135、色分解画像生成部136及び文字領域抽出部137が設けられている。
図21において、まず、画像入力処理を行う(ステップS11)。この画像入力処理では、CCDカメラやスキャナなどの撮像装置でカラー画像を入力し、メモリに保存する。
図22において、入力画像141を3×3画素ずつのメッシュ142に分割し、分割された3×3画素a〜iの平均RGB輝度(Rm,Gm,Bm)と隣接画素の輝度差の最大値(Rd,Gd,Bd)を入力画像141全体について求める。ここで、3×3画素a〜iの隣接方向は20通りあるので、これらの20通り隣接画素の輝度差を求め、それらの輝度差のうち最大値(Rd,Gd,Bd)を採用する。
まず、Rテーブルの解像度値をある値に固定して、RテーブルのR輝度値をスキャンしていき、平均輝度値Rmが、Ri≦Rm<Ri+1となるR輝度値RiをRテーブルから検索する。この時、R輝度値Riに対する隣接画素との輝度値の最大値がRdi、R輝度値Ri+1に対する隣接画素との輝度値の最大値がRdi+1であるとすると、平均輝度値Rmが、R輝度値RiとR輝度値Ri+1との間の線形補間で表されるとして、その関係を隣接画素との輝度値の最大値にも適応して、推定される隣接画素との輝度値の最大値infered_deltaを求める。すなわち、
rl=Ri−Ri
rm=Rm−Ri
rn=Ri+1−Rm
infered_delta=Rri*rn/rl+Rri+1*rm/rl
である。
delta_r=|Rd−infered_delta|
として求める。これと同様の処理をG,Bでも行い、delta_g,delta_bを求める。そして、その和deltaを、
delta=delta_r+delta_g+delta_b
として求める。
delta_min>TH_SUB (TH_SUBは固定しきい値)
ならば、この3×3メッシュはモデルに適応しなかったとして、リジェクト符号(−1)を返し、それ以外は、適合符号(0)を返すようにする。そして、全入力画像の中の3×3メッシュの中で適合符号がついたメッシュだけを対象に、そのメッシュの解像度resolを平均し、この値を入力画像の解像度resolutionとする。
/適合符号のメッシュの数
なお、この解像度という言葉は、入力画像が実際にスキャナで読み込まれたときの解像度ではなく、この画像を予め用意したモデルに適合させたときのモデル上の読み取り解像度を表す。
図23において、画素eの色が黒で、この画素eから遠ざかるに従って、色が黒から赤に徐々に変化しているものとする。そして、画素eと画素a〜d、f〜iは、画素eと画素a〜d、f〜iの色差がしきい値以内の場合は、画素eと画素a〜d、f〜iに対して同一のラベルが付される。
Rテーブルの解像度値を推定解像度に固定して、RテーブルのR輝度値をスキャンしていき、注目画素の輝度値Rが、Ri≦R<Ri+1となるR輝度値RiをRテーブルから検索する。この時、R輝度値Riに対する隣接画素との輝度値の最大値をRdi、R輝度値Ri+1に対する隣接画素との輝度値の最大値をRdi+1とすると、注目画素の輝度値Rが、RテーブルのR輝度値RiとRテーブルのR輝度値Ri+1の間の線形補間で表されるとして、その関係を隣接画素との輝度値の最大値にも適応して、推定される隣接画素との輝度値の最大値delta_rを求める。すなわち、
rl=Ri−Ri+1
rm=R−Ri
rn=Ri+1−R
delta_r=Rri*rn/rl+Rri+1*rm/rl
として求める。G,Bについても同様である。
|R−Rs|<=delta_r
かつ
|G−Gs|<=delta_g
かつ
|B−Bs|<=delta_b
の場合に、注目画素は、その周囲画素と近い色であるので、周囲画素のラベルをカレントラベルregionとして保存し、注目画素のラベルとしてカレントラベルregionを与える。また、同時に、カレントラベルregionが与えられている領域の平均色(Rm,Gm,Bm)として、周囲のラベルの平均色に注目画素の色を加味した新たな平均色を求める。
次に、注目画素の周りに同色領域を拡張する処理を行う。この処理では、処理対象座標配列の中から、先頭の座標値を取り出し、その座標の画素を注目画素とする。注目画素のRGB輝度値からRGB各色の隣接画素の輝度値の差の推定しきい値(delta_r,delta_g,delta_b)を求める。
|Ri−Rc|<=delta_r
かつ
|Gi−Gc|<=delta_g
かつ
|Bi−Bc|<=delta_b
|Ri−Rm|<=delta_rm
かつ
|Gi−Gm|<=delta_gm
かつ
|Bi−Bm|<=delta_bm
の場合に、注目画素と同一ラベルを付け、周囲画素の座標を処理対象座標配列に追加する。今処理した注目画素は、処理対象座標配列から削除する。
この処理を処理対象配列の内容がなくなるまで続ける。
また、ラベリング処理の出力情報として、以下のデータが出力される。
・外接矩形
矩形数 :maxcount
矩形情報:1btbl
内包するラベル画像のラベル番号:label
矩形左上座標 :(xmin,ymin)
矩形右下座標 :(xmax,ymax)
矩形内の代表色 :(r,g,b)
所属するグループ番号 :string_label
輪郭長 :contour
次に、注目矩形抽出処理を行う(ステップS14)。この注目矩形抽出処理では、全ての色の外接矩形を対象にして、ある事前に決めた範囲に入るサイズの外接矩形を注目矩形として抽出する。
図24において、矩形番号1〜30の外接矩形が抽出され、矩形番号1の外接矩形151を注目矩形としたものとする。そして、この外接矩形151の周りに探索範囲152が設定されたものとすると、外接矩形151についてのグルーピングの処理対象として、探索範囲152にかかる矩形番号2〜24の外接矩形のみを選択し、探索範囲152にかからない矩形番号25〜30の外接矩形については、外接矩形151のグルーピングの処理対象としない。
図25は、本発明の一実施例に係わる注目矩形の周囲の探索範囲にかかる矩形の抽出方法を説明する図である。
a)画像全体のX,Y軸へ矩形番号を投影する。
画像全体のX,Y軸の1画素毎に、それに属する矩形数と矩形番号の集合を登録する。例えば、矩形番号iがX軸の(x1,x2)の範囲にあるとすれば、X軸のx1からx2の座標には、番号iが矩形番号の集合に入ることになる。同じことを全矩形について縦横座標について行う。
c)range_sizeの範囲のX軸の座標毎の矩形種類を論理ORして矩形番号の集合を抽出する。
d)X軸から求めた矩形番号の集合と、Y軸から求めた矩形番号の集合を論理ANDして、この注目矩形の周囲にある矩形集合を決定する。
図26(a)において、矩形番号1、2の外接矩形171、172が抽出されたものとし、外接矩形171はX座標が155〜165の範囲内にあり、外接矩形172はX座標が160〜163の範囲内にあるものとする。このため、図26(b)に示すように、外接矩形171については、X座標が155〜165の位置に矩形番号1が登録され、外接矩形172については、X座標が160〜163の位置に矩形番号2が登録される。
i)全ての矩形の横幅を合計して、その長さの数だけ矩形番号、座標の情報を持ったデータ構造を用意する。
iii)このデータ構造のデータを座標値でソートする。
iv) データの座標値を順にみていき、座標値が同じものの数を座標値毎に数え、それをその座標に属する矩形数とする。また、その座標毎の矩形数分だけ矩形番号を入れる記録領域を確保する。ソートしたデータ構造を先頭からスキャンしていき、座標が同じ間は数をカウントしていき、座標値が変わったところで数を確定させ、それを保存する。
また、注目矩形の値(Rc,Gc,Bc)と解像度resolutionから求められるRGBの各輝度差をdelta_r,delta_g,delta_bとする。注目矩形の値(Rc,Gc,Bc)とその周囲の外接矩形の集合の中の1つの外接矩形iの値(Ri,Gi,Bi)が以下の条件を満足するとき、注目矩形の周囲の外接矩形は、注目矩形のグループに属すると判定して、周囲の外接矩形iを注目矩形のグループに格納する。
または
(|Rc−Ri|<delta_r
かつ
|Gc−Gi|<delta_g
かつ
|Bc−Bi|<delta_b)
また、同時に、この新たにグループに加わった矩形番号を新規追加矩形領域に格納しておく。
グループ内の矩形数 :num
グループを構成する矩形番号 :child
重なり矩形統合後の矩形数 :overlap_num
重なり矩形統合後の矩形情報 :overlap
(データタイプは、矩形情報1btb1型)
グループ内文字列の方向コード:orient
グループ内の文字列数 :gyou_num文字列の矩形情報 :gyou
次に、グループ内平均文字線太さ抽出処理を行う(ステップS17)。このグループ内平均文字線太さ抽出処理では、グループ内の外接矩形に対応するラベル画像のパターンに対して、輪郭追跡処理を行い、輪郭長を求める。すなわち、グループに属する1つの外接矩形の矩形範囲内で、その外接矩形のラベル番号に注目して、ラベル画像上で、輪郭追跡処理を行う。抽出した輪郭の長さを、その矩形の輪郭長の属性にセットする。そして、そのパターンの面積を輪郭長で割って、文字の線の平均的な太さを求め、その値を矩形の属性として矩形情報に登録する。
図27(a)において、例えば、「フ」というパターンが抽出されたものとすると、「フ」というパターンに含まれる画素数を数えることにより、「フ」というパターンの面積Sを算出する。
図28において、「グループ1」という文字列と「グループ2」という文字列が同一色で記述され、互いに近接して配置されているため、「グループ1」という文字列と「グループ2」という文字列が同一のグループ181にグルーピングされたものとする。
/min(thick1,thick2)
そして、図21のステップS15と同じように、以下の条件を満足した時に、2つの外接矩形を同じグループとして記録する。
かつ
(dist<TH_RGB
または
(|Rc−Ri|<delta_r
かつ
|Gc−Gi|<delta_g
かつ
|Bc−Bi|<delta_b))
ただし、TH_THICK_RATEは、2.5と設定している。
文字線太さを求める場合、パターンの輪郭を求める必要があるが、輪郭追跡を高速化するため、以下の処理を行う。
図29(a)において、画素a〜iで構成されるパターンの輪郭を求めるものとすると、ラベル画像の左上からラスタスキャンを行うことにより、画素aが見つかる。画素aが見つかると、画素aに隣接する8つの画素のうち、画素aの直前に探索された画素の次の画素a’を探索開始点として、画素aに隣接する画素を時計回りに探索する。そして、画素eが見つかると、図29(b)に示すように、画素eに隣接する8つの画素のうち、画素eの直前に輪郭として探索された画素aの次の画素e’を探索開始点として、画素eに隣接する画素を時計回りに探索する。そして、画素iが見つかると、図29(c)に示すように、画素iに隣接する8つの画素のうち、画素iの直前に輪郭として探索された画素eの次の画素i’を探索開始点として、画素iに隣接する画素を時計回りに探索する。以下、同様にして、図29(d)に示すように、画素a→画素e→画素i→画素h→画素g→画素f→画素b→画素cが画素a〜iで構成されるパターンの輪郭として抽出される。
a)矩形サイズの処理済みフラグを用意し、初期値として、全て未処理フラグとして0をセットする。
図30において、Cはカレント画素、0〜7はカレント画素からみた周囲画素で、Cからみた方向コードDCである。画素iから周囲の8画素を探索する場合、この順番で探索する。
e)画素移動による輪郭追跡処理を最初に発見した開始座標になるまで続け、この時の輪郭長を、この矩形内にあるラベル値のパターンの1つの輪郭の輪郭長として抽出する。
次に、グループ内の大きな矩形削除処理を行う(ステップS19)。このグループ内の大きな矩形削除処理では、ノイズ除去のため、グループ内で平均的な矩形サイズを求め、それを基準に極端に大きなサイズの矩形を削除する。
図31(a)において、外接矩形192〜201がグループ191にグルーピングされているものとすると、グループ191内の外接矩形192〜201の大きさを求める。そして、外接矩形192の大きさが外接矩形193〜201の大きさに比べてかけ離れているものとすると、図31(b)に示すように、グループ191から外接矩形192を削除し、外接矩形193〜201よりなるグループ202を生成する。
a)グループ内の外接矩形の高さのヒストグラムを作成して、最大頻度値を示す矩形高さfreq_heightを以下の方法で求める。
図32は、本発明の一実施例に係わる最大頻度値を示す矩形高さの算出方法を説明する図である。
d)グループ内の外接矩形で縦横サイズとも、th_largeより小さいものだけを残して、後はノイズとしてそのグループから削除する。
図33は、本発明の一実施例に係わるグループ内の重なり矩形統合処理を説明する図である。
図34(a)において、矩形番号1〜29の外接矩形がグループ221にグルーピングされているものとすると、最も左にある矩形番号1の外接矩形から、右方向に矩形番号1の外接矩形と隣接する外接矩形があるかどうかを探す。そして、矩形番号1の外接矩形と隣接する外接矩形として、矩形番号2の外接矩形が見つかると、見つかった外接矩形に矩形番号1を伝番し、見つかった外接矩形の矩形番号2を矩形番号1に変更する。同様にして、右方向に隣接する外接矩形があるかどうかを探し、隣接する外接矩形が見つかると、左に隣接する外接矩形の矩形番号を右の外接矩形に伝番する。
a)グループ内の外接矩形の座標から文字列方向を推定する。
b)外接矩形の上下左右の最も近くにある矩形の内向き、外向きの両方向の隣接関係を求める。
d)左からの隣接関係がなく、左への隣接関係がある矩形は、左の矩形番号を獲得して、それを右へ伝搬し、隣接関係がなくなるまで繰り返す。
図35(a)において、グループ221内で互いに横方向に隣接する外接矩形を囲む外接矩形222、223が生成され、外接矩形222内には、縦方向に互いに隣接する外接矩形224、225及び縦方向に互いに隣接する外接矩形226、227が存在し、外接矩形223内には、縦方向に互いに隣接する外接矩形228、229及び縦方向に互いに隣接する外接矩形230、231が存在しているものとする。
a)文字列内矩形をx座標で昇順にソートする。
次に、グループ内の文字列サイズによる再グループ化を行う(ステップS23)。グループ内の文字列サイズによる再グループ化処理では、グループ内の文字列情報から文字列方向に直角のサイズに注目して、その大きさで再グループ化を行い、その結果を新たなグループ情報に格納する。
図36は、本発明の一実施例に係わるグループ内の文字列サイズによる再グループ化処理を説明する図である。
図37(a)において、グループ1の外接矩形241とグループ2の外接矩形242が互いに横に並んでいるものとすると、外接矩形241と外接矩形242の距離L1、外接矩形241と外接矩形242の上端同士の座標の差E1及び外接矩形241と外接矩形242の下端同士の座標の差E2を求める。そして、外接矩形241と外接矩形242の距離L1、外接矩形241と外接矩形242の上端同士の座標の差E1及び外接矩形241と外接矩形242の下端同士の座標の差E2が各しきい値より小さく、グループ1の代表色とグループ2の代表色の差が所定のしきい値以内にある場合、外接矩形241と外接矩形242とを統合し、外接矩形241及び外接矩形242を囲む外接矩形243を生成する。
・横並びの場合、横方向の距離が固定しきい値より小さい(縦並びの場合は、縦方向の距離が固定しきい値より小さい)。
次に、矩形並びによる文字らしいグループの抽出処理を行う(ステップS26)。この矩形並びによる文字らしいグループの抽出処理では、グループ内の矩形の中で、サイズまたは形など一定の条件を満足する矩形を対象に、上下端座標のどちらかが隣の矩形と近い場合、この両者の矩形が並んでいると判定し、並びフラグをセットする。その一定条件を満足するグループ内の対象矩形の中で、並んでいる矩形の数がどの程度の割合であるかを示す、並び矩形率を求め、その並び矩形率が一定のしきい値以上のグループを文字列と見なして抽出する。
図38(a)において、外接矩形252〜256及び外接矩形258〜269が入力画像から生成され、外接矩形のグルーピングにより、外接矩形252〜256が1つのグループとされた結果、これらの外接矩形252〜256を囲む外接矩形251が生成され、外接矩形258〜269が1つのグループとされた結果、これらの外接矩形258〜269を囲む外接矩形257が生成されているものとする。
a)グループ内の隣接するサイズまたは形の一定条件を満足する2つの矩形の上端座標同士または下端座標同士の差がしきい値(高さのWID_RATE(=0.2)倍)より小さい場合、その2つの矩形に横並びフラグを与える。
b)グループ内の隣接するサイズまたは形の一定条件を満足する2つの矩形の左端座標同士または右端座標同士の差がしきい値(幅のWID_RATE倍)より小さい場合、その2つの矩形に縦並びフラグを与える。
c)グループ内の矩形で、横並びフラグと縦並びフラグの数の多いほうを文字列方向として採用して、その数を並んでいる矩形数とする。
なお、対象とするグループ内矩形の条件は、グループ内の矩形の最頻値を示す高さを図32に示した手法で求め、その3倍をlarge_rectとして、矩形高さが、固定サイズ(23dot,100dpiで)より大きく、large_rectより小さいものとする。
なお、「・」の中点や「ー」の中棒は、文字として残すようにする。
図39において、2つの外接矩形272、273が1つのグループとして抽出され、この2つの外接矩形272、273を囲む外接矩形271が生成されているものとする。この場合、外接矩形272と外接矩形273の下端座標は揃っているが、外接矩形272と外接矩形273の上端座標は極端に異なっているので、これらの外接矩形272、273はノイズであると見なして、外接矩形272、273からなるグループを文字列らしいグループから削除する。
グループ内の2つの矩形の高さの平均をhei,幅の平均をwidとする。しきい値を決める比率DEL_RATE=0.1として、
(|第1の矩形の上端座標−第2の矩形の上端座標|<hei×DEL_RATE
かつ
|第1の矩形の下端座標−第2の矩形の下端座標|<hei×DEL_RATE)
または
(|第1の矩形の左端座標−第2の矩形の左端座標|<wid×DEL_RATE
かつ|第1の矩形の右端座標−第2の矩形の右端座標|<wid×DEL_RATE)
を満足するグループだけ残し、後はノイズとして削除する。
図40(a)において、図21のステップS11〜S27の処理により、「クローハル化への3つの成功モデル」という文字列が入力画像から抽出され、これらの文字列を囲む外接矩形280が生成されているものとする。この場合、「ク」という文字の濁点及び「ハ」という文字の濁点が欠落している。
a)グループ内の矩形情報に保存されている代表色情報をグループ内の矩形全てについて平均して、グループの代表色(Rm,Gm,Bm)を求める。
d)グループの外接矩形の範囲内で原画像の画素の色をチェックして、原画像の画素の色(R,G,B)とグループの代表色が、
|Rm−R|+|Gm−G|+|Bm−B|<THR×10 (THR=10)
を満足する画素の位置を記録し、2値画像の同じ位置の画素を1にする。
g)外接矩形の幅w及び高さhが、
w<mfw/2、かつ、h<mfh/2
を満足する矩形だけを残し、他を削除する。
次に、グループの出力順位決定処理を行う(ステップS29)。このグループの出力順位決定処理では、文字列を含んでいるグループが複数抽出された場合、グループの外接矩形から面積を計算して、全画像中のグループの面積の大きい順にグループをソートして、このソートした結果を出力順序とする。
具体的には、以下のa)〜c)の処理を行う。
b)グループ内の矩形のラベル番号を抽出し、対応する矩形領域の内部でラベル画像を探索し、そのラベル番号の画素を抽出し、2値画像上でその座標の画素を1とする。
図41(a)は、入力された原画像の例を示す図であり、この原画像は、見出し文字301、302、絵柄303、本文文字304、枠305などがカラーで印刷されている。そして、この原画像から見出し文字301、302をタイトルとして抽出するものとする。なお、見出し文字301、302は、それぞれ一色で印刷されているものとする。
図41(b)において、このラベル画像は、図21のステップS13の色ラベリング処理により得られたものである。この色ラベリング処理により、同色の連結領域に対して同一ラベルが付され、同一ラベルが付されたパターンの外接矩形が生成される。この時、外接矩形の個数は数千〜数万程度になる。
図41(c)において、この注目矩形は、図21のステップS14の注目矩形抽出処理により得られたものであり、図41(c)の例では、矩形番号1〜64の注目矩形が抽出されている。
図41(d)において、このグループ抽出結果は、図21のステップS16の同色グループ抽出処理により得られたものであり、矩形番号が1〜21のグループの外接矩形が生成されている。この処理により、図41(b)のラベル画像から得られた外接矩形のうち、図41(c)で設定された注目矩形から所定の範囲内にあり、代表色の色が近いものは、同一のグループにグルーピングされ、同一のグループにグルーピングされた外接矩形を囲む外接矩形が生成される。
図42(b)は、図42(a)の矩形の重なり統合後の結果を示す図である。
図42(c)において、この文字列らしいグループは、図21のステップS26の矩形並びによる文字列らしいグループの抽出処理により得られたものであり、矩形番号が0、1のグループの外接矩形が抽出されている。この処理により、図42(b)の領域342のグループの外接矩形はランダムに並んでいるので、削除され、図42(b)の領域341のグループの外接矩形のみが抽出される。
図42(d)において、このグループ内パターンは、図21のステップS28のグループ内同色パターン抽出処理により得られたものであり、図42(c)で得られたグループの外接矩形の領域内のパターンが抽出され、図41(a)の「日経400社経営者アンケート」という見出し文字301及び「貿易不均衡の要因に微妙な差」という見出し文字302が得られる。
2 幾何学情報算出手段
3 分類手段
11 クラスタリング手段
12 グルーピング手段
21 色差算出手段
22 しきい値設定手段
23、33、67、77 ラベリング手段
31 第1の色情報比較手段
32 第2の色情報比較手段
41、64、74、114、134 CPU
42 ROM
43 RAM
44 通信インターフェイス
45 通信ネットワーク
46 バス
47 入出力インターフェイス
48 ディスプレイ
49 プリンタ
50、63、73、113、133 メモリ
51 スキャナ
52 キーボード
53 ドライバ
54 ハードディスク
55 ICメモリカード
56 磁気テープ
57 フレキシブルディスク
58 光ディスク
61、71、111、131 カラー画像入力装置
62、72、112、132 外部出力装置
65、75 画像縮小手段
66、76 可変しきい値設定手段
78 外接矩形処理手段
79 原画像ラベリング手段
80 特定領域抽出手段
115 印刷モデル生成部
116 色差テーブル生成部
135 色差テーブル
136 色分解画像生成部
137 文字領域抽出部
Claims (4)
- 入力画像に含まれるパターンに対する外接矩形を生成する外接矩形生成手段と、
前記外接矩形生成手段で生成された外接矩形のうち、所定の範囲の大きさまたは位置の外接矩形を抽出する第1の外接矩形抽出手段と、
前記第1の外接矩形抽出手段で抽出された外接矩形からX軸方向及びY軸方向に一定の範囲内の探索領域を設定する探索領域設定手段と、
前記探索領域にかかる外接矩形を前記外接矩形生成手段で生成された外接矩形の中から抽出する第2の外接矩形抽出手段と、
前記第2の外接矩形抽出手段による抽出結果に基づいて、前記入力画像から特定のパターンを抽出するパターン抽出手段と
を備え、
前記第2の外接矩形抽出手段は、
前記外接矩形生成手段で生成された外接矩形が属する縦横の座標に対応して矩形番号を格納する矩形番号格納手段と、
前記第1の外接矩形抽出手段で抽出された外接矩形から所定の範囲内の縦横の各座標に含まれる矩形番号を抽出する矩形番号抽出手段と、
前記抽出された矩形番号のうち縦横の座標の両方に含まれるものを、前記探索領域にかかる外接矩形として抽出する近傍矩形抽出手段と
を備えることを特徴とするパターン抽出装置。 - 前記矩形番号格納手段は、外接矩形の矩形番号を座標値の順序で格納し、
前記矩形番号抽出手段は、最も小さい座標値から順に矩形番号を探索し、座標値が変化するまでの間に含まれる矩形番号をその座標に属する矩形番号として抽出することを特徴とする請求項1に記載のパターン抽出装置。 - 入力画像に含まれるパターンに対する外接矩形を生成する外接矩形生成手段と、
前記外接矩形生成手段で生成された外接矩形のうち、所定の範囲の大きさまたは位置の外接矩形を抽出する第1の外接矩形抽出手段と、
前記第1の外接矩形抽出手段で抽出された外接矩形から一定の範囲内の探索領域を設定する探索領域設定手段と、
前記探索領域にかかる外接矩形を前記外接矩形生成手段で生成された外接矩形の中から抽出する第2の外接矩形抽出手段と、
前記第2の外接矩形抽出手段による抽出結果に基づいて、前記入力画像から特定のパターンを抽出するパターン抽出手段とを備え、
前記第2の外接矩形抽出手段は、
前記外接矩形生成手段で生成された外接矩形が属する縦横の座標に対応して矩形番号を格納する矩形番号格納手段と、
前記第1の外接矩形抽出手段で抽出された外接矩形から所定の範囲内の縦横の各座標に含まれる矩形番号を抽出する矩形番号抽出手段と、
前記抽出された矩形番号のうち縦横の座標の両方に含まれるものを、前記探索領域にかかる外接矩形として抽出する近傍矩形抽出手段とを備えることを特徴とするパターン抽出装置。 - 前記矩形番号格納手段は、外接矩形の矩形番号を座標値の順序で格納し、
前記矩形番号抽出手段は、最も小さい座標値から順に矩形番号を探索し、座標値が変化するまでの間に含まれる矩形番号をその座標に属する矩形番号として抽出することを特徴とする請求項3に記載のパターン抽出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005166255A JP4211941B2 (ja) | 1998-02-06 | 2005-06-06 | パターン抽出装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2541998 | 1998-02-06 | ||
JP2005166255A JP4211941B2 (ja) | 1998-02-06 | 2005-06-06 | パターン抽出装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14642098A Division JP3748164B2 (ja) | 1998-02-06 | 1998-05-27 | パターン抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005302056A JP2005302056A (ja) | 2005-10-27 |
JP4211941B2 true JP4211941B2 (ja) | 2009-01-21 |
Family
ID=35333398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005166255A Expired - Fee Related JP4211941B2 (ja) | 1998-02-06 | 2005-06-06 | パターン抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4211941B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7315631B1 (en) * | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
JP4872780B2 (ja) * | 2007-04-25 | 2012-02-08 | 富士ゼロックス株式会社 | 画像処理システム及び画像処理プログラム |
JP4893861B1 (ja) * | 2011-03-10 | 2012-03-07 | オムロン株式会社 | 文字列検知装置、画像処理装置、文字列検知方法、制御プログラムおよび記録媒体 |
JP2020201583A (ja) * | 2019-06-06 | 2020-12-17 | ルネサスエレクトロニクス株式会社 | 半導体装置、移動体装置および移動体装置の制御方法 |
-
2005
- 2005-06-06 JP JP2005166255A patent/JP4211941B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005302056A (ja) | 2005-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3748164B2 (ja) | パターン抽出装置 | |
JP3748172B2 (ja) | 画像処理装置 | |
KR100926193B1 (ko) | 디지털 화상 분할 및 콤팩트한 표현 생성 | |
US5226175A (en) | Technique for representing sampled images | |
US6185341B1 (en) | Image processing using vector data to reduce noise | |
JP3601658B2 (ja) | 文字列抽出装置及びパターン抽出装置 | |
EP1081648B1 (en) | Method for processing a digital image | |
JP4149464B2 (ja) | 画像処理装置 | |
JP4211941B2 (ja) | パターン抽出装置 | |
JP4275866B2 (ja) | カラー画像から文字列パターンを抽出する装置および方法 | |
JP4077919B2 (ja) | 画像処理方法及び装置及びその記憶媒体 | |
CN113971792A (zh) | 交通标志牌的字符识别方法、装置、设备和存储介质 | |
JPH0256708B2 (ja) | ||
JP4194309B2 (ja) | 文書方向推定方法および文書方向推定プログラム | |
JP3661774B2 (ja) | 文字列認識方法、文字認識装置およびプログラム | |
JP2832928B2 (ja) | 文字認識方法 | |
JP2613211B2 (ja) | 画像入力装置 | |
JP3253201B2 (ja) | 画像処理装置と画像種類判定方法 | |
JP4409678B2 (ja) | 罫線抽出方式 | |
JP2003271973A (ja) | 画像処理方法および画像処理プログラム | |
EP0483279B1 (en) | System for representing sampled images | |
JPH02231690A (ja) | 線画像認識方法 | |
JPH0769936B2 (ja) | パターン認識方式 | |
AU2004242418A1 (en) | Generating compressed output representation | |
AU2004242421A1 (en) | Segmenting digital image and producing compact representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081022 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |