JP3230334B2

JP3230334B2 - 画像処理装置

Info

Publication number: JP3230334B2
Application number: JP12193493A
Authority: JP
Inventors: 紀夫山本; 豊中村; 淳一大住
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1993-04-26
Filing date: 1993-04-26
Publication date: 2001-11-19
Anticipated expiration: 2016-11-19
Also published as: JPH06311333A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、イメージスキ
ャナやファクシミリ等で読み取った画像のひずみを、あ
らかじめ文書画像中に配置したひずみ補正用マークの位
置関係により補正する画像処理装置に関するものであ
る。

【０００２】

【従来の技術】イメージスキャナやファクシミリ等で画
像を読み取るとき、原稿の状態によっては、伸び縮みが
発生する。また、原稿のセットの状態により、位置ずれ
や画像の傾きなどが発生する。さらに、光学系の調整ず
れや駆動系の機械的な誤差、あるいは、原稿の搬送系に
おける読取中のスリップなど、種々の原因により、読み
取った画像は影響を受け、画像のひずみを生ずる。

【０００３】従来、このような画像のひずみを補正する
方式として、例えば、特開平３−１５９７０号公報に開
示された技術が知られている。この方法では、マークシ
ートの左右にあらかじめ２つのひずみ補正用マークを配
置しておき、このひずみ補正用マークを検出し、その縦
方向の位置ズレから画像の傾きを算出し、画像を補正し
ている。

【０００４】また、別の例としては、特開平２−３７８
７４号公報に開示された方法がある。この方法では、原
稿の読取開始位置の近傍に主走査方向に離間して一対の
ひずみ補正用マークを配置しておき、このひずみ補正用
マークを検出し、その間の距離と、あらかじめわかって
いるマーク間の距離の理論値と読取解像度から算出され
る距離との比により、画像の拡大縮小を行なうことによ
り画像のひずみを補正している。

【０００５】しかしながら、これら従来の技術において
は、２つのひずみ補正用マークで補正を行なっているた
め、ファクシミリ等のようにひずみが大きく、かつ、画
像全体で非線形なひずみが存在するような場合には、マ
ーク間の近傍では正しく補正がなされても、そこから離
れた部分では、正しく補正されなかったり、場合によっ
てはかえってひずみを大きくしてしまうという欠点があ
った。また、入力時に原稿が逆さになっていたり、９０
゜回転した状態であるような場合には補正用マーク自体
を検出できず、補正処理ができないという問題があっ
た。

【０００６】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、画像全体にわたり良好なひ
ずみの補正を行なうことができ、さらに、入力画像の転
置、９０゜回転等をも補正できるようにした画像処理装
置を提供することを目的とするものである。

【０００７】

【課題を解決するための手段】本発明は、画像処理装置
において、画像内の複数の領域を取り出す領域切り出し
手段と、前記領域切り出し手段により取り出された画像
内の複数の領域から少なくとも３つのマークを検出する
マーク検出手段と、前記マーク検出手段により検出され
たマークの基準点から２つの基準点を対にしてそのよう
な対を複数作り該複数対の基準点の位置関係に基づいて
画像のひずみを補正する画像補正手段を具備することを
特徴とするものである。

【０００８】

【作用】本発明によれば、マーク検出手段で少なくとも
３つの補正用マークを検出し、検出された補正用マーク
の基準点の複数対の位置関係を用いて画像補正手段にお
いて画像のひずみを補正するので、一対のマーク間の関
係だけをもとにした場合よりもひずみが少なくなるよう
に補正できる。また、文書画像中に非線形なひずみが存
在する場合でも、良好な画像の補正を行なうことができ
る。

【０００９】

【実施例】図１は、本発明の画像処理装置の一実施例を
示すブロック図である。図中、１は領域切り出し手段、
２はマーク検出手段、３は画像補正手段である。領域切
り出し手段１は、入力画像から、ひずみ補正用マークが
存在する可能性のある、予め決められた複数の領域を切
り出す。マーク検出手段２では、領域切り出し手段１に
よって切り出された複数の領域の画像から、少なくとも
３つのマークを検出する。画像補正手段３は、マーク検
出手段２で検出されたマークの位置関係や、マークの種
類等の情報をもとに、入力画像に対して補正の処理を行
ない、出力画像を作成する。

【００１０】図２は、読取対象となる原稿上での補正用
マークの位置関係の一例の説明図である。原稿上には、
予め決められた位置に補正用マークが施されている。以
下の説明では、原稿上に４つの補正用マークが存在する
場合を一例として説明する。４つの補正用マークは、異
なる形状を持っているが、その頂点（２辺の接している
点）は長方形をなすような位置関係となるように配置さ
れている。例えば、左上のマークと右上のマークの頂点
のｙ座標は同じ値を持つ位置に配置されている。また、
左上のマークと左下のマークは同じｘ座標を持つような
位置に配置されている。４つの補正用マークは、それぞ
れ、付されている原稿上の位置が認識できるように、例
えば、形状を変えている。

【００１１】図３は、４つの補正用マークの一例の説明
図である。４つとも形状が異なっている。ここで示す例
では４つとも鈎型の補正用マークである。異なっている
のは、鈎型の辺の長さで、基本の長さをａとした場合、
各マークはａまたはａの２倍の長さの辺からなってい
る。例えば、左上に配置するマークは２辺とも長さａで
あるのに対して、左下のマークは横の辺の長さがａで縦
の辺の長さはａの２倍となっている。

【００１２】図４は、左上の補正用マークの拡大図であ
る。補正用マークは、２辺（２本の線）からなっている
が、実際には太さがあるため図のように芯となる線の長
さがａであって、マーク自体の１辺の長さはさらに幅の
半分の２倍の長さ、すなわち、幅の長さを加えたものと
なっている。そのため、補正用マークの位置の検出など
の際には、このような線幅による誤差を考慮して、既定
値等を設定する必要がある。

【００１３】上述のような補正用マークを用いると、原
稿が９０゜回転して読み取られたり、または、上下が逆
に読み取られた場合であっても、それぞれの補正用マー
クの形状を検出することにより、原稿の向きを判断する
ことができる。

【００１４】上述のような原稿が、例えば、イメージス
キャナで読み取られ、または、ファクシミリで電送され
て、入力画像となる。この入力画像は、一度、ディスク
などの記憶装置に記憶させておき、処理を行なうときに
画像を読み出す構成としてもよい。また、ノイズ除去な
ど、他の処理を行なった後の画像を入力画像とすること
もできる。

【００１５】図５は、本発明の画像処理装置の動作の一
例を示すフローチャートである。上述のような補正用マ
ークの付された原稿の画像が入力されると、Ｓ１１にお
いて、補正用マークの存在する可能性のある候補の領域
を切り出す。次に、Ｓ１２において、切り出した領域か
ら補正用マークを抽出し、補正用マークの大きさ等から
それぞれの補正用マークの種別を判定するとともに、補
正用マークの頂点の座標を求める。Ｓ１３では、補正用
マークの大きさ、すなわち、補正用マークの種別から、
原稿画像が正規の方向であるか否かを判別し、例えば、
９０゜回転した横向きの画像であったり、上下が逆の画
像であった場合には、画像を回転させて補正する。この
ステップでは、９０゜、１８０゜といった、おおまかな
画像の回転の補正を行なう。Ｓ１４において、補正用マ
ークの頂点の座標から、原稿の傾きを求め、傾きがあれ
ば回転補正する。さらに、Ｓ１５において、補正用マー
クの頂点の座標から、原稿の拡大または縮小率を求め、
拡大または縮小の必要な場合には、拡大または縮小補正
を行なう。このＳ１３乃至Ｓ１５の処理により、入力画
像は補正されることになる。

【００１６】以下、上述の個々の処理について具体的に
説明する。図６は、領域の切り出しの一例の説明図であ
る。図２に示すような原稿の画像が入力されるとき、入
力画像から補正用マークを包含すると考えられる領域を
候補領域として切り出す。この候補領域は、ひずみのた
め生じる位置ズレを考慮し、また、原稿が横向きであっ
ても、補正用マークが検出できる領域とする必要があ
る。または、画像が所定の向きまたは上下が逆の向きの
ための候補領域と、画像が横向きの時のための候補領域
を設けるように構成することもできる。さらに、原稿画
像の大きさに応じた領域を設定することも可能である。
どの領域に補正用マークが存在するかにより、原稿画像
の向き、大きさを検出することも可能となる。このよう
に、補正用マークの存在する可能性のある領域だけを補
正用マークの検出の対象とすることにより、画像全体を
対象として補正用マークを探索するのに比べ高速に処理
が行なえる。

【００１７】図７は、補正用マークを検出する動作の一
例を説明するためのフローチャート、図８は、注目画素
の移動方向の説明図、図９は、輪郭追跡による補正用マ
ークの検出の一例の説明図である。切り出した領域から
補正用マークを検出する方法は様々なものが考えられ
る。１つの方法として、補正用マークを含む最小の矩形
を求めることによりマークの位置、大きさを求める方法
がある。図７は、この処理の流れの一例を示しており、
補正用マークの輪郭を追跡する方法を用いている。この
輪郭追跡の方法は、基本的にチェーンコード符号化で行
なわれているのと同様に、マークの外側の黒画素をたど
って行く方法である。その過程において、ｘ座標，ｙ座
標それぞれの最小値、最大値を更新して行き、最終的に
そのｘ座標，ｙ座標の最小値、最大値を得て、マークの
位置、大きさを求めている。

【００１８】まず、Ｓ２１において、切り出した候補領
域の左上の画素を注目画素とする。そして、Ｓ２２にお
いて、その画素が黒画素か否かを判定する。白画素のば
あいには、その画素はマーク部分ではないので、Ｓ２３
において、注目画素を右へずらす。注目画素が右端であ
った場合には、１段下の左端の画素を注目画素とする。
注目画素が黒画素であった場合には、補正用マークの一
部を検出したものとして、Ｓ２４乃至Ｓ２７の輪郭追跡
の処理を行なう。

【００１９】黒画素が見つかると、Ｓ２４において、補
正用マークの大きさを検出するための変数を初期化す
る。すなわち、ｘ座標，ｙ座標の最小値，最大値を、注
目画素のｘ座標，ｙ座標とする。Ｓ２５において、注目
画素を移動する。このとき、注目画素は常にマークの中
身（黒画素）を右手に見るように移動させて行く。図８
において、中央の丸がついている画素が現在の注目画素
である。１つ前の注目画素は左隣の斜線を施した画素で
あるとする。この場合、次に注目画素とすべき画素の最
初の候補は、１つ前の注目画素から相対的に右回りに見
た最初の画素、つまり番号１がついている画素である。
この画素が黒画素であれば、この画素を次の注目画素と
し、現在の注目画素を１つ前の注目画素とする。黒画素
でなく、白画素であれば、さらに右回り方向の番号２、
番号３、・・・の画素を調べる。番号１乃至番号７の画
素が全て黒画素でないなら、１つ前の注目画素、すなわ
ち、番号８の画素を再び新たな注目画素とする。

【００２０】このような注目画素の移動の処理を行なう
ことにより、補正用マークの輪郭の画素を順時追跡す
る。例えば、図９に示す例において、まず切り出された
領域内を左上から走査して行くと、点Ａにおいて初めて
黒画素が見つかる。このＡ点を出発点として、補正用マ
ークの中側、すなわち、黒画素がある方を常に右手にみ
るように、補正用マークの外縁黒画素を追跡する。図９
中の矢印で示した経路が、この場合の追跡路となる。補
正用マークの周りを１周して再び点Ａに戻った時点で補
正用マークの検出ができたことになる。図７のＳ２６で
は、補正用マークの回りを１周したか否かを判定してい
る。もし、もとの点Ａに戻っていない場合には、Ｓ２７
における変数の更新と、Ｓ２５における注目画素の移動
による追跡を繰り返すことになる。

【００２１】黒画素の追跡の途中においては、Ｓ２７に
おいて、注目画素のｘ座標、ｙ座標をチェックし、ｘ座
標，ｙ座標の最小値、最大値の変数と比較して、それぞ
れの変数を必要に応じて更新する。例えば、点Ａから、
右下の画素に注目画素が移動したとき、ｘ座標の最大値
と、ｙ座標の最大値が更新される。黒画素の追跡の間、
これらの変数の更新を行なって行くことにより、１周の
追跡が終了したときには、図９に示したようなｘ座標，
ｙ座標の最小値、最大値が求められる。このようにして
求められた矩形の幅、すなわち、ｘ座標の最大値−ｘ座
標の最小値が、補正用マークの横方向の辺の長さにあた
り、矩形の高さ、すなわち、ｙ座標の最大値−ｙ座標の
最小値が、補正用マークの縦方向の辺の長さとなる。

【００２２】図１０は、画像の転置等の検出の一例の説
明図である。上述のようにして検出した補正用マークの
大きさから、原稿の画像が逆さになっていたり、９０゜
回転して横向きになっているような場合に、それを認識
し、補正することができる。４つの補正用マークは、図
３に示したように、全て形状が異なっており、２つの方
向の辺の長さが共に同じものはない。そのため、例え
ば、右上の領域を切り出し、補正用マークを抽出すれ
ば、原稿画像の方向を認識することができる。理論的に
は図１０（Ａ）に示すように横２ａ、縦ａの長さになる
はずである。実際の入力画像から検出した補正用マーク
が、例えば、図１０（Ｃ）に示すように、横ａ、縦２ａ
の長さであったとすると、これは図１０（Ｂ）に示した
左下の補正用マークの１８０゜回転したものを抽出した
ものであることがわかる。この結果、原稿が１８０゜回
転していることがわかる。または、ある特定の補正用マ
ークがどこの領域に存在するかを検出するように構成す
ることもできる。この認識結果に基づき、画像を補正す
ればよい。補正のための画像回転の手法としては、公知
のものを用いることができる。

【００２３】以上の処理により、補正用マークが抽出で
き、画像を正規の方向に補正し、さらに、補正のための
基準点、すなわち補正用マークの頂点の座標が得られ
た。次に、これら基準点間の位置関係により、画像の傾
き、伸び縮み等のひずみを補正する。図１１は、傾きの
算出の一例の説明図である。画像の傾きは、頂点間の線
分の傾きによって検出できる。画像の左上を原点とし、
右向きをｘ軸、下向きをｙ軸とするとき、図１１に示す
ように、左上の補正用マークの頂点の座標が（ｘ０，ｙ
０）、右上の補正用マークの頂点の座標が（ｘ１，ｙ
１）であるとすると、傾きは図中のθで表される。ｙ０
とｙ１が等しく、傾きが全くなければ、θは０となる。
このθは次式で求められる。 θ＝ａｒｃｔａｎ（（ｙ０−ｙ１）／（ｘ１−ｘ０））

【００２４】図１２は、非線形に歪んだ画像の一例の説
明図である。画像が全体として一様に傾いている場合
は、単純に上述のθを傾きとして補正してやれば良い。
しかし、ファクシミリ等で紙送り部の精度が低いような
機器では、画像全体で一様でない、非線形な傾き方（伸
び／縮み）をしている場合がある。このような場合、図
１２に示すように画像内の場所によって傾きが異なって
しまう。そこで、図１１に示したような傾きの算出を、
１対の２頂点間だけで求めるのではなく、複数対の２頂
点間で求め、その平均値を画像全体の傾きとして、画像
を補正すればよい。例えば、頂点が４つあるので、６つ
の関係（補正すべき角度）が得られる。これらの平均値
をθとする。傾きを補正するには、画像をθだけ回転し
てやれば良い。画像の回転手法は問わない。

【００２５】次に、傾き補正を行なった結果に対して伸
び縮み補正を行なう。理論的にわかっている補正用マー
クの頂点間の距離と、実際の画像上の距離を比べ、それ
らが等しくなるように画像を拡大または縮小を行なう。
拡大または縮小が可能な方向、すなわち、伸び縮みの計
測が可能な方向は、補正用マークが配置されている方向
である。一般に３つ以上の補正用マークが存在する場
合、縦方向、横方向、斜め方向での伸び縮み補正を行な
うことが可能であり、上述の例のように４つの補正用マ
ークが存在する場合も同様である。しかし、一般的な線
形の拡大または縮小アルゴリズムでは、縦方向または横
方向での補正を行なうのが普通である。上述の４つの補
正用マークが存在する例の場合にも、例えば、縦方向の
伸び縮みを計測する場合でも左側１辺だけから求めるの
でなく、右側の辺も含めた２辺の平均値によって補正を
行なうことにより、全体としてのひずみをより減少させ
ることができる。横方向についても、同様である。この
ようにして、入力画像は、補正用マークをもとに、傾き
の補正、拡大又は縮小の補正がなされ、ひずみのない出
力画像を得ることができる。

【００２６】上述の例では、補正用マークとして鈎型の
マークを用いたが、他の形状のマークでもよく、基準点
が抽出できる形状のマークであれば構わない。また、各
補正用マークの間の形状の差異が検出できるものであれ
ば、画像の転置、９０゜回転等に対応することも可能で
ある。

【００２７】上述の例では、補正用マークを４つ配置す
る場合について説明したが、マークの個数は、３つ以上
であればよい。補正用マークが３つであれば、３対の２
基準点間で傾きを求めてその平均値により画像の傾きを
補正し、さらに縦方向、横方向、斜め方向での伸び縮み
補正を行なうことが可能であり、これによって従来のよ
うに１方向のみの補正の場合に比べて、良好な画像の補
正を行なうことができる。さらに多数の補正用マークを
設けることも可能であり、さらに細かな補正を行なうこ
とができる。また、補正用マークが３つの場合には、画
像の転置、９０゜回転などの検出は、補正用マークの存
在しない領域の位置を検出することにより、行なうこと
が可能である。

【００２８】上述の例では、画像の拡大または縮小の補
正に関して、線形の補正を用いたが、補正精度を上げる
ために非線形の補正手法を用いることも可能である。た
だし、この場合、処理量は増加する。また、傾きの補正
と拡大，縮小の補正を別々に行なわなくても、アフィン
変換などにより一括して行なうようにしてもよい。また
は、補正用マークの２辺の方向、補正用マーク間の関係
などから、非線形の変換を行なうように構成してもよ
い。補正用マークが多数存在する場合には、３点以上の
マークで囲まれる部分領域毎に、部分領域内の補正と部
分領域の位置補正等を行ない、出力画像を構成すること
も可能である。

【００２９】

【発明の効果】以上の説明から明らかなように、本発明
によれば、あらかじめ原稿中に配置した３個以上のひず
み補正用マークの位置関係により補正を行なうことによ
り、単純な一対のマーク間の関係だけでなく、複数対の
マーク間の関係により画像を補正するので、紙の伸び縮
みや、原稿送り時の誤差等のようなひずみをも補正する
ことが可能である。また、従来の補正用マークから離れ
た点でのひずみがかえって大きくなるといった問題を解
決し、画像全体としてひずみが小さくなるように補正す
ることにより、良好な画像を得ることができるという効
果がある。さらに、補正用マークの形状をそれぞれ異な
ったものにすることができ、その場合には、画像入力時
の画像の転置等をすみやかに検出することができるとい
う効果もある。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施例を示すブロ
ック図である。

【図２】読取対象となる原稿上での補正用マークの位
置関係の一例の説明図である。

【図３】４つの補正用マークの一例の説明図である。

【図４】左上の補正用マークの拡大図である。

【図５】本発明の画像処理装置の動作の一例を示すフ
ローチャートである。

【図６】領域の切り出しの一例の説明図である。

【図７】補正用マークを検出する動作の一例を説明す
るためのフローチャートである。

【図８】注目画素の移動方向の説明図である。

【図９】輪郭追跡による補正用マークの検出の一例の
説明図である。

【図１０】画像の転置等の検出の一例の説明図であ
る。

【図１１】傾きの算出の一例の説明図である。

【図１２】非線形に歪んだ画像の一例の説明図であ
る。

【符号の説明】

１領域切り出し手段、２マーク検出手段、３画像
補正手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平６−274686（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/38 - 1/393 G06T 3/00 200

Claims

(57)【特許請求の範囲】

【請求項１】画像内の複数の領域を取り出す領域切り
出し手段と、前記領域切り出し手段により取り出された
画像内の複数の領域から少なくとも３つのマークを検出
するマーク検出手段と、前記マーク検出手段により検出
されたマークの基準点から２つの基準点を対にしてその
ような対を複数作り該複数対の基準点の位置関係に基づ
いて画像のひずみを補正する画像補正手段を具備するこ
とを特徴とする画像処理装置。