JPH0531345B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はカラー画像の歪検出と補正に係り、特
に文字を含むカラー文書画像の歪検出に好適な部
分画像の相関に基づいた幾何学的な歪検出方法に
関する。

〔従来の技術〕

従来より、カラーテレビカメラにより採取した
カラー画像に対しては、長原、河合輝男（日立、
NHK）：“テレビカメラの測定”テレビジヨン学
会誌、Vol.38、No.８、pp.762−770（昭和59年）に
おいて論じられているように、歪の測定法が確立
されており、その補正が行われている。しかしな
がら、文書画像の入力装置としては、高解像度が
要求されるため、テレビカメラは用いられず、主
に、ラインセンサを用いたイメージスキヤナが使
われる。このイメージスキヤナから入力したカラ
ー文書画像の補正に関しては、関沢秀和、山本直
史、川上晴子（東芝総合研究所）：“カラースキヤ
ナ光源の色変動補正”昭和61年度電子通信学会総
合全国大会1286（昭和61年３月）において論じら
れているように、カラースキヤナの光源の色変動
を補正するもの、若林弘雄、太田日佐雄（日本電
信電話公社横須賀通研）：“カラー密着センサ色補
正の検討”昭和60年度電子通信学会総合全国大会
1328（昭和63年３月）において論じられているよ
うに、三色の光源の発光波長を補正するものなど
色補正に関する方法が提案されている。

また、モノクロ文書画像の補正としては、小林
直樹、歓崎実（NTT電気通信研究所）：“簡易形
画像入力方式における歪補正方式”昭和60年度電
子通信学会総合全国大会1314（昭和60年３月）、歓
崎実、小林直樹（NTT電気通信研究所）：“簡易
形画像入力方式における歪補正方式（その２）”
昭和61年度電子通信学会総合全国大会1285（昭和
60年３月）において論じられているように、ハン
ドスキヤナによる簡易形文書入力装置における歪
の補正が提案されている。しかしながら、カラー
文書画像の幾何学的な図形歪の検出に関しては、
まだ配慮されていなかつた。

〔発明が解決しようとする問題点〕

上記従来技術は、カラー画像の画素の配置に係
わる幾何学的な歪の検出と補正方法の点について
配慮がされておらず、このカラー画像を表示する
とカラー文書画像中の文字に色ずれが目立ち、見
苦しいという問題があつた。また、三原色の画像
における画素の配置がずれているため、カラー画
像に対する処理が正常におこなえないという問題
があつた。

本発明の目的は、カラー文書画像に対して、三
原色の画像相互の幾何学的な歪を検出・補正する
ことにある。

〔問題点を解決するための手段〕

上記目的は、部分画像の類似性を基にした相関
演算によつて部分画像の位置ずれを求め、文書画
像の代表点における位置ずれ分布より幾何学的な
歪を補正することにより達成される。

〔作用〕

カラーの文書画像においては、文字、図形、写
真が混在しているが、これらの部分は三原色の画
像間において相関がある。特に、白い背景にある
黒い文字の部分は、文書画像においては、最もよ
くみられる部分画像である。この文字部分を含む
部分画像は、本来、モノクロ画像であり、赤色成
分、緑色成分、青色成分がほぼ同一値となるた
め、三原色の画像において極めて顕著な相関があ
る。従つて、三原色の画像間において、この白い
背景にある黒い文字部分を含む各色の部分画像を
それぞれ同一位置から取りだし、これらの部分画
像の相対的な位置ずれを求める。この位置ずれが
幾何学的な歪に対応することになる。相対的な位
置ずれを求めるには、対象画像においてある一定
の大きさの部分画像を取りだし、画素ごとの類似
性を位置をずらしながら求めればよい。類似性
は、画素同志の濃淡値の差を算出するという相関
演算により検出するが、その内、最も類似性の高
い位置を求める。

〔実施例〕

以下、本発明の一実施例を第１図により説明す
る。カラー文書の表面画像をカラーイメージスキ
ヤナ等のカラー画像入力装置１００によつて採取
し、三原色の画像、即ち、赤色画像を赤色画像格
納部１０１に、緑色画像を緑色画像格納部１０２
に、また、青色画像を青色画像格納部１０３に、
それぞれ格納する。幾何学的な歪を検出するた
め、基準となる画像として例えば、赤色画像を選
び、この赤色画像から、基準部分画像抽出部１０
５において、基準となる部分画像を切り出す。一
方、歪の検出対象となる緑色画像と青色画像はあ
らかじめいずれか一つの画像が制御部１２０を介
してセレクタ１０４で選択され、同じように、対
象部分画像抽出部１０６において、その部分画像
がずらしながら切り出される。相関演算部１０７
は、基準となる標準部分画像と歪検出対象である
対象部分画像ごとの画素ごとの類似性を求める。

この類似性の指標としては、後述する画素デー
タの誤差をとる。そして、最小値検出部１０８に
おいて、不一致の誤差の最小値を求める、即ち、
最もよく、標準部分画像と一致する対象部分画像
のずらし位置を求める。このずらし位置をもと
に、補正量算出部１０９で、画素ごとの補正量を
後述する距離に比例する補間法を用いて算出し、
画像補正部１１０で、対象画像の補正を行ない、
補正後緑色画像格納部１１２または、補正後青色
画像格納部１１３に、セレクタ１１１の選択によ
り、対象画像を補正した画像が格納される。な
お、原画像用アドレス制御部１１４及び、補正画
像用アドレス制御部１１５は、上記一連の処理に
おいて、アドレス信号及び初期化等の制御信号を
生成する。

部分画像の相関に基づく幾何学的な歪の検出で
は、先ず、標準とする画像を三原色の画像の中か
ら一つ選ぶ。ここでは、赤色画像を標準の画像と
して選択する。なお、幾何学的な歪は三原色画像
間の相対的な位置ずれで表示されるため、残りの
色画像（緑色画像や青色画像）を標準の画像とし
て選んでもよい。次いで、標準の画像として選ん
だ赤色画像の中から、白い背景地にある黒い文字
部を含む部分画像を標準部分画像として切り出
す。そして、その標準部分画像の切り出し位置を
標準位置とする。本実施例では、標準位置は、予
め与えられているものとする。今、標準とした赤
色画像を基準にして、青色画像の幾何学的な歪を
検出する場合について述べる。青色画像におい
て、対応する標準位置を中心にして、切り出し位
置をずらしながら対象画像から部分画像を切り出
し、前述の標準部分画像との相関演算を行い、最
も一致するずらし位置を求める。標準位置に対し
て、求めた位置がずれている場合は、幾何学的な
歪が存在することになる。従つて、標準位置とず
らし位置との変位を求め、これを幾何学的歪の量
とする。緑色画像についても、同様に、緑色画像
から切り出した部分画像と赤色画像の標準部分画
像との相関演算を行い、最も一致するずらし位置
に対して標準位置からの変位を求める。このよう
にして、ある部分領域における赤色画像を基準に
した場合の青色画像と緑色画像の幾何学的な歪が
求まる。カラー文書画像全体における幾何学的な
歪の分布を求めるには、標準部分画像を文書画像
の異なる多数の位置から切り出し、それぞれ上述
の部分画像の相関に基づく幾何学的な歪を算出す
ればよい。

ここでは、部分画像の類似性を求める相関演算
の方法を示す。今、第２図に示すように、対象と
する文書画像２００の座標系２０３を（ｘ、ｙ）
とし、画素の濃淡値をｆ（ｘ、ｙ）で表す。そし
て、標準となる部分画像２０２（標準部分画像と
呼ぶ）をｇ（ｉ、ｊ）とする。この部分画像の大
きさは、横方向をＩ、縦方向をＪとする。相関演
算では、対象とする文書画像において標準部分画
像と同じ大きさの部分画像２０１（対象部分画像
と呼ぶ）を位置をずらしながら切り出すことにな
るが、この時のずらし位置の開始点２０４を
（x₀、y₀）とする。また、このｘ方向、ｙ方向へ
のずらし量を表すための座標を（ｓ、ｔ）とし、
この時のずらしの幅を、横方向をＳ、縦方向を
Ｔ、即ち、横方向０≦ｓ≦Ｓ−１、縦方向０≦ｔ
≦Ｔ−１、とする。標準部分画像に対して、切り
出した対象部分画像の類似性を求めるために、こ
こでは画素同士の差を足しあわせたもの（不一致
度）を求めることにする。ずらし範囲内２０５
（横方向０≦ｓ≦Ｓ−１、縦方向０≦ｔ≦Ｔ−１）
で最小となる不一致度errを次式で表す。

err＝ min ０≦ｓ≦Ｓ−１，０≦ｔ≦Ｔ−１｛_J-1 〓^j=0 _I-1 〓 〓ⁱ⁼⁰ ｜ｆ（x₀＋ｓ＋ｉ、y₀＋ｔ＋ｊ）−ｇ（ｉ、ｊ）｜
｝ この最小値の不一値度errをもつ時のずらし位
置を（s′、t′）とすると、このずらし位置（s′、
t′）が標準画像ｇ（ｉ、ｊ）と最も一致する部分
画像の対象画像からの切り出し位置に対応する。

部分画像の相関演算の過程を第３図に示す。ス
テツプ300で、標準の部分画像を切り出すための
位置を設定する。次いで、ステツプ301で、基準
とする色画像より、標準部分画像を切り出し、こ
の部分画像をｇ（ｉ、ｊ）とする。ステツプ302と
303では、縦方向のずらし座標ｔを０≦ｔ≦Ｔ−
１まで、順次増加させていく。また、横方向のず
らし座標についても、０≦ｓ≦Ｓ−１まで、順次
増加させていく。そして、ステツプ304で、歪検
出対象の色画像より部分画像を切り出す。この切
り出した部分画像はｆ（x₀＋ｓ＋ｉ，y₀＋ｔ＋ｊ）
で表わされる。なお、（x₀，y₀）は先に述べたよ
うに、ずらしの開始点である。ステツプ305では、
不一致の程度を計数するための累算用変数sumを
初期化、即ちsum←０とする。そして、ステツプ
306と307で、部分画像の横方向座標、次いで縦方
向座標を順次更新しながら、ステツプ308、309を
行なう。ステツプ308では、２つの部分画像の画
素値の差を算出する。そして、ステツプ309で、
差の累算を行ない、累算用変数sumに、順次、差
を加算していく。ステツプ306、307が終了する
と、ステツプ310で、差の和sumの最小値errを求
め、さらにステツプ311でその最小となるずらし
座標を登録する。

第４図は、相関演算部１０７の構成である。標
準部分画像抽出部１０５から送出された画素デー
タと、対象部分画像抽出部１０６から送出された
画素データとの差を、減算部４００で求め、その
差の結果の絶対値を、絶対値化部４０１で求め
る。加算部４０２では、差の絶対値を順次加算し
ていき、累算誤差レジスタ４０３に格納し、最小
値検出部１０８に送出する。

第５図は、最小値検出部１０８の構成である。
相関演算部１０７から送出された累算誤差は、最
小値用レジスタ５０２の内容と大小比較部５００
において、大小比較され、もし、当該の累算誤差
の方が小さければ、セレクタ５０１を介して、最
小値レジスタ５０２に、この累算誤差が格納され
る。また、原画像用アドレス制御部１１４から送
出されたずらし座標は、同じく、当該の累算誤差
の方が小さければ、それぞれずらし座標（横方
向）格納レジスタ５０３、ずらし座標（縦方向）
格納レジスタ５０４に格納され、補正量算出部１
０９にこれらずらし座標が送出させる。

部分画像の相関を用いた幾何学的な図形歪の検
出手段を、第６図に示す。先ず、ステツプ600に
おいて切り出す部分画像の位置を決定し、これを
標準位置として登録する。この部分画像には、白
地の背景に黒い文字の部分が含まれるように、部
分画像の位置を設定する必要がある。次いで、ス
テツプ601に示すように多数ある標準位置を全て
尽くすまで、以下の処理を行う。即ち、ステツプ
602において赤色画像から標準位置に対応する部
分画像を切り出し、これを標準の部分画像とす
る。そして、ステツプ603において緑色画像にお
いて、標準位置と対応する部分を中心に切り出し
位置をずらしながら、先の赤色の標準部分画像と
の相関演算を行い、ステツプ604で最も一致する
点の座標を求める。ステツプ605に示すようにこ
の座標と標準位置の座標との差が赤色画像を基準
にした時の緑色画像の幾何学的歪の量となる。さ
らに、同じく青色画像においても、ステツプ606
において標準位置と対応する部分を中心に切り出
し位置をずらしながら、先の赤色の標準部分画像
との相関演算を行い、ステツプ607においても最
も一致する点の座標を求める。ステツプ608に示
すようにこの座標と標準位置の座標との差が青色
画像の幾何学的歪の量となる。このようにして求
めた、幾何学的歪の量を、対応する標準位置ごと
に保存しておく。そして、多数ある標準位置を全
て尽くすまで、上述の一連の処理を繰返し行う。

画像は、予め、矩形の領域に分割しておき、各
分割領域ごとに縦横への画素の補正量を設定す
る。ここで、分割領域ごとに代表的な補正量を設
定するのは、補正量算出のための処理量を削減す
るためである。この補正量は、前述の幾何学的な
歪を表す標準画像との変位量を基に算出する。な
お、分割領域内に白い背景地をもつた黒い文字部
分が存在しない場合は、隣接する分割領域におけ
る補正量を基に、座標値の差による簡単な補間法
によつて予め設定する。また、カラー画像の各色
の画像には、それぞれ、異なる、補正量が与えら
れる。

この補正量に従つて、各画素の位置を補正する
が、分割領域によつて補正量が異なるため、単純
な方法では、分割領域の境界で、補正量が大きく
異なることがあり、この場合、画像が滑らかにつ
ながらずずが目立つことになる。そこで、分割領
域の境界付近でも補正量が少しずつ連続して変化
するよう、補正量に補間を加えるものとする。以
下に、補正量の補間法を述べる。今、第７図に示
すように、対象画像７００において、分割領域７
０１の横方向の番号をｍ、縦方向の番号をｎとす
る（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）。各分割領域は
（ｍ，ｎ）で表される。分割領域（ｍ，ｎ）にお
ける補正量７０２をΔx（ｍ，ｎ）、Δy（ｍ，ｎ）
とする。この補正量は、ここでは簡単のため、分
割領域の中心に割当てられているとする。隣接す
る４つの分割領域（ｍ，ｎ）、（ｍ＋１，ｎ）、
（ｍ，ｎ＋１）、（ｍ＋１，ｎ＋１）の中心点７０
３，７０４，７０５，７０６を囲む矩形領域にあ
る注目画素７０７の補正量δx（ａ，ｂ）、δy（ａ，
ｂ）は、簡単のため、注目する画素の座標と分割
領域の中心座標との差に比例するとし、次式で補
間することとする。

δx（ａ，ｂ）＝Δx（ｍ，ｎ）（１−ａ）（１−ｂ）
＋Δx（ｍ＋１，ｎ）ａ（１−ｂ）＋Δx（ｍ，ｎ＋
１）（１−ａ）ｂ＋Δx（ｍ＋１，ｎ＋１）ab δy（ａ，ｂ）＝Δy（ｍ，ｎ）（１−ａ）（１−ｂ）
＋Δy（ｍ＋１，ｎ）ａ（１−ｂ）＋Δy（ｍ，ｎ＋
１）（１−ａ）ｂ＋Δy（ｍ＋１，ｎ＋１）ab 但し、変数ａは、隣接する４つの分割領域の中
心点を囲む矩形領域の横方向の長さを１とした場
合の領域（ｍ，ｎ）の中心点から注目画素までの
横方向の長さの比である。同じく、変数ｂは、隣
接する４つの分割領域の中心点を囲む矩形領域の
縦方向の長さを１とした場合の領域（ｍ，ｎ）の
中心点から注目画素までの縦方向の長さの比であ
る。なお、例えば、ｍ＝１やｍ＝Ｍの列にある分
割領域のように、端にある分割領域の注目画素の
補正量の算出には、端の外側に仮想的な分割領域
を設定し、同じように、上式で算出する。この
時、仮想的な領域の補正量は、隣接する分割領域
の補正量と同じとする。

上述の補間法によつて、画素の位置ごとに、赤
色画素を基準にして他の画像の画素を移動するた
めの補正量が与えられることになる。この補正量
をもとにして、画素の幾何学的歪を補正する。こ
の補正手順は、第８図に示すように、先ず、ステ
ツプ800、801において補正後の緑色画像を格納す
るための二次元配列の横方向座標と縦方向座標を
走査に沿つて順次生成する。この座標に対応し
て、緑色画像のための補正量が格納されているた
め、この座標生成に従つて、順次、ステツプ802
で補正量を読み出す。ステツプ803で読み出した
補正量を基に、もとの緑色画素から画素データを
取り出す。この過程では、順次生成した横方向座
標と縦方向座標に、読み出した補正量をそれぞれ
加算することによつて、原画像の座標を求め、こ
の座標値に従つて、ステツプ804で原画像から画
素データを取り出す。この一連の処理を、緑色画
像全面について行う。そして、同じく、青色画素
についても、ステツプ806、807、808、809におい
て青色画像のための補正量に従つて、もとの青色
画像から画素データを読出し、補正後の画像を格
納する二次元配列に格納する。

〔発明の効果〕 本発明によれば、カラー文書画像において一般
によく含まれている文字部を対象とした幾何学的
な歪を検出できるので、文字部分の色ずれを補正
し、美しい忠実画面表示を再現する効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、第２図は
相関演算のための座標系の説明図、第３図は部分
画像の相関演算過程を示す図、第４図は相関演算
部の構成図、第５図は最小値検出部の構成図、第
６図は幾何学的歪の検出過程を示す図、第７図
は、補正量の補間法の説明図、第８図は幾何学的
歪の補正過程を示す図である。 １００……カラー画像入力装置、１０７……相
関演算部、１０８……最小値検出部、１０５……
標準部分画像抽出部、１０６……対象部分画像抽
出部、２０５……ずらし範囲、２０２……標準部
分画像、３０８……画素値の差の算出、４０３…
…累積誤差レジスタ、５００……大小比較部。

Claims (1)

【特許請求の範囲】
1. １ 三原色のカラー画像を入力する手段と、入力
   した画像を処理する手段とを有する画像の歪検出
   方式において、上記三原色画像の一つを基準の画
   像として選択し、該原色画像から文字部分を含む
   部分画像を、基準位置にある部分画像として切り
   出す第一の手段と、歪を検出するための対象画像
   として上記以外の原色画像を選択し、該基準位置
   を中心にして、位置をずらしながら、部分画像を
   切り出す第二の手段と、上記２つの部分画像の相
   関を求め、不一致の度合が最小となる部分画像の
   切り出しのためのずらし位置を求める第三の手段
   と、該ずらし位置をもとに歪の補正量を算出する
   第四の手段とを設けたことを特徴とするカラー画
   像の歪検出方式。