WO2000000930A1

WO2000000930A1 - Image correction device

Info

Publication number: WO2000000930A1
Application number: PCT/JP1999/003199
Authority: WO
Inventors: Kazuyuki Nako
Original assignee: Sharp Kabushiki Kaisha
Priority date: 1998-06-30
Filing date: 1999-06-16
Publication date: 2000-01-06
Also published as: CN1323372C; EP1093084A4; US7072527B1; JP2000020682A; EP1093084B1; CN1307714A; KR20010053292A; JP3425366B2; EP1093084A1; KR100394202B1

Description

明細書画像補正装置

【技術分野】

本発明は、画像補正装置に閧し、特に本の綴じ目の付近のように特定部域が歪んだ原稿を画像として読取り、元の原稿が平面であつたかのように補正する画像補正装置に関する。

【背景技術】

製本された本やノートなどのように中央綴じ部が原稿台より離れる原稿を当倍率に鮮明に複写する装置として、特開昭 5 7 - 1 9 1 6 5 3号公報記載の画像形成装置がある。この画像形成装置は原稿と原稿台との距離を測定し、その距離に応じて走査速度と原稿台の高さと光源の照度を調節することに-より、画像の歪みおよび明るさを補正するものであり、中央綴じ部の直線を y軸とし、見開きぺージの方向を X軸とするとき、原稿台と原稿が y軸方向には傾斜角がなく、 X軸方向のみに一定の傾斜角をなすときに有効な方法を提供している。

また、入力した画像だけから画像補正する技術として、特開平 5— 1 6 1 0 0 4号公報記載の原稿読取り装置がある。この原稿読取り装置は、原稿読取り手段にて原稿を読取り、画像情報を得るとともに、境界検出手段にて原稿と原稿台の境界を検出する。この境界検出結果を基に原稿の形状、曲がり具合を検出し、その検出結果に応じて読取った画像データを補正するものである。また、上記原稿読取り装置では、原稿と原稿台を区別しやすいように原稿台は黒色など白色以外の色が選ばれ、原稿の両方のエッジ部の高さの差がある程度以下のものに適用できるものである。

また、特開平 8— 1 8 1 8 2 8号公報記載の画像処理装置によると、特開平 5 - 1 6 1 0 0 4号公報記載の原稿読取り装置などで課題になった原稿台の色の制限や、原稿の色に関する制限に対する改善が、原稿と接する面に白黒の縞模様のついた原稿ガイドを設けることにより実現されている。さらに、特開平 1 0— 0 6 5 8 7 7号公報記載の画像処理装置には、原稿を撮影して得られた画像のエッジを検出し、得られたエッジから原稿のスキュ一を検出し、高さ歪みと回転歪みを有する原稿を補正する技術が開示されている。

しかしながら、従来技術の特開昭 5 7— 1 1 6 5 3号公報記載の画像形成装置では、画像を読込みながら走査速度と原稿台の高さと光源の照度を制限する必要があるため、非常に複雑な機構が必要になるという問題があつた。

また、一般に測距手段の結果には誤差が含まれるため、実際の原稿と原稿台との距離と測定結果が一致せず、必ずしも撮像される画像が平面に補正できるとは限らないという問題もあった。

また、特開平 5— 1 6 1 0 0 4号公報記載の原稿読取り装置では、上記の画像形成装置のように原稿面の高さをセンサなどの測距手段を用いて検出する必要がなく、画像だけから歪みや明るさの補正を行うが、境界の位置と原稿の高さを一意に対応づけているため、原稿が定められた場所に置かれていない場合、あるいは回転して置かれている場合には補正をすることができないという問題があった _c また、原稿の高さが読取り手段の主走査方向に対して一定範囲でなければ補正を行うことができず、原稿の高さが読取り手段の主走査方向に対して一定範囲でない場合は警告を発するにとどまるという問題があった。

また、従来のエッジの位置の検出方法は、特開平 1 0— 0 6 5 8 7 7号公報で公開されているように、ェッジ検出フィルタ処理した画像の連結成分が所定以下の場合は、孤立点とし、上記連結成分が所定以下の場合は、直線で補間していたが、この方法の場合、エッジ検出誤り、エッジ検出漏れが起こるという問題があつた。

また、従来の綴じ目位置の検出は、特開平 1 0— 0 6 5 8 7 7号公報で公開されているように、エツジ位置の極大若しくは極小点を綴じ目位置と判定する方法が用いられていた。このため、原稿に皺などの局所的な変化がある場合は、綴じ目位置の検出を間違えるという問題があった。

さらに、従来の基準線の傾きは、たとえば、特開平 8— 1 8 1 8 2 8号公報に記載されているように、原稿ガイドの下部の線を基準線としていたため、原稿ガィドのない場合、基準線あるいは基準線の傾きが求まらないという問題があつた。また、原稿の端点は、特開平 8— 1 8 1 8 2 8号公報に記載されているように、両ページ共通の判定基準で検出していたため、通常斜め方向から光が当てられるスキャナ、複写機において、左右のページの端点が正しく検出されないという問題があった。

また、特開昭 5 7— 1 9 1 6 5 3号公報、特開平 5 _ 1 6 1 0 0 4号公報、特開平 8— 1 8 1 8 2 8号公報で示された技術に共通して、原稿の高さが読取り手段の主走査方向に対して一定であるため、原稿の上下で浮き上がり量が異なる場合には画像を補正できないという問題があった。さらに、左右ページの上下で浮き上がり量が異なる場合にも左右のバランスを取って補正することができず、適正な補正にならないという、問題があった。

また、従来技術では、綴じ目付近の画像の画像は黒くなる傾向があり、補正が不完全であったりあるいは不可能である場合があった。さらに、原稿の色が白色でない場合の綴じ目を補正する場合は、特に補正が難しいという問題があつた。また、従来技術では、読取ったままの高解像度の画像から形状確認を行っていたため処理が重く、メモリ消費量が大きくなるという問題があつた。

また、画像の歪み補正の有無にかかわりなく同一の特性で画像の読取りを行つているため、歪み補正のない場合は白黒コントラストが低すぎ、歪み補正を行えば、エッジ検出が難しくなるという問題があった。

また、従来技術は、補正の自動停止機能がなく、無駄な紙を出力してしまうという問題があった。

本発明の目的は、上記問題点を解決するため、たとえ原稿が回転していたり、綴じ目の浮き方が原稿の上下で異なつていても、あたかも元の原稿が平面であつたかのように、画像の幾何学的歪みや明るさを補正する画像補正装置を提供することである。

【発明の開示】

前記課題を解決するため、本発明では、画像入力手段と、記億手段と、中央演算処理手段と、画像出力手段を含む画像補正装置であって、原稿の上下側面と原稿台とが傾斜角をなす原稿の画像を補正する側面傾斜画像補正手段を有することを特徴とする。

さらに、前記側面傾斜画像補正手段は、原稿のエッジを検出するエッジ検出手段と、原稿の綴じ目の位置を求める綴じ目位置検出手段と、原稿の位置の基準線を求める基準線検出手段と、前記ェッジ付近の画像の輝度変化より原稿の左右の端点を求める原稿端点検出手段と、上記基準線と綴じ目の位置より原稿の上下の側面の傾斜角を計算する側面傾斜角算出手段と、前記ェッジと基準線と傾斜角より原稿の上下のェッジの 3次元位置を計算するェッジ 3次元位置算出手段と、ェッジの 3次元位置より原稿全体の形状を計算する原稿形状算出手段と、原稿の 3 次元形状に従い、画像から補正対象画素の背景輝度を求め、背景輝度と目標輝度から画素の輝度補正パラメータを求める輝度補正パラメータ算出手段とを有し、前記原稿の 3次元形状と輝度補正パラメータを用いて入力された画像を補正することを特徴とする。

また、前記エッジ検出手段は、エッジの位置変化が少ない場所のうち所定の長さ以上の区間を検出し、前記区間以外は前後で検出した区間から補間した位置を原稿エッジの位置とすることを特徴とする。

また、前記綴じ目位置検出手段は、前記エッジ検出手段によって検出されたェッジの位置の極大点若しくは極小点のうち、画像の中心に最も近いものを綴じ目位置として検出することを特徴とする。

また、前記基準線検出手段は、エッジ付近の画像の画素値が第 1の基準値以上で、かつ、エッジの傾きの変化量が第 2の基準値以下となる区間のうち、最も長い区間における平均のエッジの傾きを基準線の傾きとし、前記最長区間の原稿外側の端点から前記傾きで延ばした直線を基準線とし、原稿左右あるいは上下のェッジについてそれぞれ基準線を検出するものであることを特徴とする。

また、前記原稿端点検出手段は、原稿の左右のページで別々の判定基準に基づいて原稿端点を検出することを特徴とする。

また、前記原稿形状算出手段は、原稿面を上下のエッジの間を結ぶ直線の集合で近似し、原稿面の 3次元位置を前記直線の上下端点の位置の内分比から求めることを特徴とする。

さらに、前記原稿形状算出手段は、算出されたエッジの長さが上下で異なる場合、同一の長さになるようにエツジの 3次元位置を修正することを特徴とする。さらに、前記原稿形状算出手段は、算出された原稿の縦の長さが左右のページで異なる場合、縦の長さが左右で同一となるように原稿の 3次元形状データを修正することを特徴とする。

さらに、前記原稿形状算出手段は、入力された画像を所定の縮小率で縮小する画像縮小手段を有し、前記縮小された画像から原稿の 3次元形状を求めた後、前記縮小率に従い原稿の 3次元形状データを修正することを特徴とする。

また、前記輝度補正パラメータ算出手段は、請求項 7記載の原稿面を近似する直線の上下端点付近の画像の輝度の内分比から補正対象画素の背景輝度を求め、背景輝度に対する目標輝度の比を輝度補正パラメータとすることを特徴とする。また、前記側面傾斜画像補正手段は、前記綴じ目位置付近の画素値を空白に変換して前記画像出力手段に出力することを特徴とする。

さらに、前記側面傾斜画像補正手段は、前記綴じ目位置付近の画素値を綴じ目位置から離れた場所の画素値に変換して前記画像出力手段に出力することを特徴とする。

さらに、前記側面傾斜画像補正手段は、前記縮小画像を作成するための画像の読取りと、補正対象となる画像の読取りを別々に行うことを特徴とする。

また、画像補正の適用を選択する補正選択手段を備え、画像の補正を行う場合と行わない場合とで異なる入力特性で画像の入力を行う画像入力手段を備えることを特徴とする。

また、入力された画像から原稿の領域を検出する原稿領域検出手段を備え、原稿領域が画像からはみ出している場合には補正を行わないことを特徴とする。

【図面の簡単な説明】

本発明のこれらの目的とそれ以外の目的と、特色と利点とは、下記の詳細な説明と図面とから一層明確になるであろう。

図 1は、本発明の実施の一形態である画像補正装置 1の電気的構成を示すプロック図である。

図 2は、本や雑誌などの原稿 1 0を読取った画像の例である。

図 3は、エッジ検出の手順を示すフローチャートである。

図 4は、エッジ検出結果と、前後のエッジ位置の差分の絶対値のグラフである。図 5は、綴じ目位置検出手段について説明するための図である。

図 6は、基準線検出手段について説明するための図である。

図 7は、原稿端点検出手段の動作手順を示すフローチャートである。

図 8は、原稿端点検出手段を説明するための図である。

図 9は、側面傾斜角算出手段について説明するための図である。

図 1 0は、原稿形状算出手段について説明するための図である。

図 1 1は、原稿形状算出手段について説明するための図であり、投影された像を平面に戻した図である。

図 1 2は、原稿面上の点 Pの 3次元座標の求め方のフローチャートである。図 1 3は、輝度補正パラメータ算出手段について説明するためのフローチヤ一トである。

図 1 4は、エッジ付近の背景輝度を表したグラフである。

図 1 5は、原稿面の像の 3次元位置 Pから C C Dに写つた画像の参照位置 P ' を求める画像補正する方法を説明するための図である。

図 1 6は、原稿領域検出手段を説明するための図である。

【発明の実施の形態】

以下、図面を用いて、本発明の実施の形態について詳細に説明する。

〔実施の形態 1〕

図 1は、本発明の実施の一形態である画像補正装置 1の電気的構成を示すプロック図である。画像補正装置 1は、中央演算処理装置 2、画像入力装置 3、記憶装置 4、画像出力装置 5を含み、それぞれバスライン 6で接続され、バスライン 6を介して相互に信号の授受を行う。以後の説明では、バスラインに関する記載は省略する。

画像入力手段である画像入力装置 3は、たとえばスキャナなどの画像読取り装置によって実現される。また、画像入力装置 3は予め C D— R O M ( Compact Disk -Read Only Memory ) 、フロッピーディスク、光磁気ディスクなどの記憶媒体に記録された画像を読出す装置であってもよい。

画像出力手段である画像出力装置 5は、たとえばプリンタによって実現される _t また、 C R T ( Cathord Ray Tube ) や L C D ( Liquid Clystal Display ) などの表示装置であってもよい。

記憶手段である記憶装置 4は、たとえば半導体メモリやハードディスク装置によって実現される。画像入力装置 3によって入力された画像は、画像信号として記憶装置 4に記憶される。また、各画像処理手段はプログラムによって実現され、予め記憶装置 4に記憶されている。

中央演算処理手段である中央演算処理装置 2はたとえばマイクロプロセッサによって実現され、以降で説明する各画像処理手段は、中央演算処理装置 2上で実行されるプログラムとして実現される。本実施形態では、各画像処理手段は中央演算処理装置 2上で実行されるプログラムとしているが、各手段がハードウェアのロジックであってもよい。

図 2は、本や雑誌などの原稿 1 0を読取った画像の例である。原稿面はスキヤナのガラス面に密着させるため、ガラス面に密着した原稿面とスキャナのレンズとの距離は一定であるが、綴じ目 1 2付近の原稿面はガラス面から浮き上がるためにスキャナのレンズとの距離が広がり、縮小して読取られる。このため、綴じ目 1 2付近に幾何学的歪みが生じることとなる。また、スキャナは原稿面に光を当て、その反射光を読取るため、綴じ目 1 2付近のように浮き上がった場所の画像は暗くなつてしまう。

以下の説明では、図 2の水平方向を X方向、垂直方向を y方向と決める。原点 0はレンズ中心に合わせ、画像上部中央に定める。画像を読取るスキャナの主走査方向は X軸と平行であるとし、副走査方向は y方向と平行であるとする。つまり、 C C Dラインセンサと X軸は平行であり、レンズおよび C C Dの移動方向は y方向と平行ということである。入力画像中の原稿 1 0は時計まわりに 9 0 ° 回転して置かれているとし、画像の上側に来るページを左ページ、下側に来るぺージを右ページと呼ぶこととし、原稿 1 0の aを原稿左上、 bを原稿左下、 cを原稿右上、 dを原稿右下と呼ぶこととする。原稿面の輪郭を原稿エッジと呼ぶこととし、図 2の 1 3の部分を原稿上部エッジ、 1 4の部分を原稿下部エッジと呼ぶこととする。原稿面はガラス面に接している部分は平面であり、原稿エッジも直線となる。このような場所における原稿エッジの接線を基準線とし、原稿左上部の基準線を基準線 1 5 a、左下の基準線を基準線 1 5 b、右上の基準線を基準線 1 5 c . 右下の基準線を基準線 1 5 dとする。

また、画像は原稿 1 ◦のエッジが検出できるよう、原稿 1 0と原稿外領域 1 1 が区別できるように読取られているものとする。背景が白い通常の原稿の場合、スキャナの蓋を開けた状態で原稿を読込むか、スキャナの蓋を黒などの色にしておくことにより、原稿外領域 1 1は原稿 1 0よりも暗く読取られるため、原稿外領域 1 1と原稿 1 0で輝度差が生じ、原稿 1 0のエッジを検出することができる。また、黒っぽい原稿であった場合には、スキャナの蓋を白色など明るい色にし、蓋を締めて画像を読込むことにより、原稿外領域 1 1と原稿 1 0で輝度差が生じるため、同様に原稿のエッジを検出することができる。

以下、各画像処理手段について詳細に説明する。以下の説明では、特に断らない限り、実際の原稿ではなく、レンズによって投影される像を用いて説明している。これは、実際の原稿とその像は相似関係にあり、大きさが違うだけで、形状に違いはないことと、画像として C C Dに写るのはレンズによって投影される原稿の像の C C D面での断面であり、画像と同じスケールで原稿の像の形状を計算することができるため、より理解しやすいという理由による。

エッジ検出手段は、たとえばエッジ検出フィルタを使って実現される。エッジ検出フィルタは、 S o b e 1のオペレータや P r e w i t tのオペレータなど様々なものが従来から提案されている。これらエッジ検出フィルタは、画像の明るさが急激に変化する場所ほど大きな値を出力する。原稿面の明るさが原稿面以外の部分と異なる場合、画像をエッジ検出フィルタで処理することにより、原稿のエッジを検出することができるが、文字の輪郭など、原稿エッジ以外のエッジも検出してしまうため、以下のようにして原稿エッジのみを検出する。ここで原稿エッジとは、原稿面の最も外側の輪郭線のことを示す。

図 3は、エッジ検出の手順を示すフローチャートである。まず、エッジ検出フイルクでエッジ検出を行い（ S 1 ) 、エッジ検出処理を行った画像の端から X方向に所定の閬値を越える点（エッジ）を探す（ S 2 ) 。このとき、見つかれば（ S 3 ) エッジの妥当性のチェックを行い（ S 4 ) 、妥当であれば位置を記録し（ S 5 ) 、次のラインに移る（ S 7 ) 。探索範囲の終端までエッジが見つからないときは位置を記録せずに次のラインに移る。最後のラインまで到達すれば（ S 8 ) 処理を終了する。

妥当性のチェックでは、たとえば、孤立点ではないこと、および、原稿内側に向かってエツジが一定距離存在していないことを調べる。フィルタ処理で検出されたエッジが孤立点である場合、スキャナのガラス面に付着したゴミ、ホコリの像であったり、ノイズであったりするため、これを除去する。孤立点の判断は、フィルタ処理した画像の画素の連結成分を調べ、連結している画素の数が所定数以下の場合、孤立点と判断する。また、画像に写った原稿の側面やカバーなどもエッジ検出フィルタでエッジとして検出されてしまうが、原稿面の上下端には空白があると仮定すると、原稿面のエッジの内側にはしばらくエッジは存在しないと考えられる。このことから、検出されたエッジから原稿内側に向かって他のェッジが一定距離存在していない場合は原稿のェッジと判断することができる。図 4は、エッジ検出結果と、前後のエッジ位置の差分の絶対値のグラフを示している。図 3に従い、エッジ検出を行った場合、エッジの検出誤り、検出抜けを含んでいる場合がある。これはそれぞれ図 4のァ、ィの部分に相当する。図 4のァ、ィの部分を検出するため、先ず、前後のエッジ位置の差分の絶対値を計算する。正しく原稿エッジを検出している部分はエッジの変化が少ないため、差分値は小さくなるが、エッジ検出を誤った部分はその前後で差分値が増大する。エツジの検出抜けは、その前後でエッジ検出のデータがないことから判断できる。以上により、差分値が所定値以下であり、エッジ検出結果が存在している区間は正しいエッジ検出結果であると判断する。ただし、エッジ検出誤りを避けるため、所定の長さ以下の区間は無視する。上記以外の区間はその前後の区間のデータから近似により補間する。近似方法は、直線で近似してもよいし、ベジエ曲線などで近似してもよい。

以上により、原稿の上下について、同様の処理を行うことにより、原稿の上下のエッジを検出することができる。

次に図 5を用いて、綴じ目位置検出手段について説明する。エッジ検出手段によって得られた上部エッジ 1 3と、下部エッジ 1 4から辍じ目 1 2の上下終点 1 2 a , 1 2 bを求める。綴じ目の上部端点 1 2 aは上部エッジ 1 3の極小点、綴じ目の下部端点 1 2 bは下部エッジ 1 4の極大点とする。このとき、綴じ目ではない、局所的な極大、極小点も存在する可能性があるため、最も中心線に近い極大、極小点を綴じ目位置とする。

以上により、綴じ目の上下端点が求められるので、それらを結ぶ線が綴じ目 1 2となる。次に、図 6を用いて基準線検出手段について説明する。原稿面がガラス面に接触している部分では歪みがないため、原稿エッジも直線となる。このような直線を基準線とし、後述の画像処理では基準線とエッジの位置関係から原稿形状を計算している。

図 6の 2 0 aは左ページ上部のエツジの傾き、 2 0 bは右ページ上部のエツジの傾きを表している。また、 2 1は原稿上部のエッジ付近の画素値の変化を示している。エッジ付近の画素値とは、エッジから所定距離にある画素の値でもよいし、その周辺の平均値でもよい。原稿がガラス面から離れた場所では画像が暗くなるため、画素値は小さくなる。このため、画素値の最大値から所定の範囲にある部分はガラス面に接触した部分と判断できる。上記範囲において、エッジの傾き 2 0 aおよび 2 0 bにおいて傾きがほぼ一定の値になる場所を検出し、求めた値をそれぞれ基準線の傾きとする。原稿がガラス面に接触している区間におけるエッジ位置を通過点とする、前記傾きの直線が基準線となる。通過点はガラス面に接触していると判断した区間内であればどこでもよいが、区間の両端部分はェッジが曲がり始める部分であり、必ずしも直線になっていない場合もあるため、区間の中心付近である方が望ましい。

原稿下部についても同様の処理を行うことにより、原稿上下のェッジの基準線 1 5 a, 1 5 b , 1 5 c , 1 5 dを求めることができる。

次に、図 7を用いて原稿端点検出手段について説明する。ガラス面に密着している部分の原稿面の明るさはおおよそ一定と考えられるが、原稿の外側はスキヤナなどの光源から離れるため、暗くなる。図 6と同様に、原稿上下でエッジ付近の画素値の変化を求め、それぞれ、左右のページで画素値の最大値と比べ、一定割合以上小さくなる場所を検出する（ S 1 1 ) 。

また、一般に、スキャナや複写機などの光源は原稿の真下からではなく、斜め方向から当てられるため、原稿左右の側面で光の入射角が異なり、画像に写る明るさが異なる場合がある。このため、たとえば、原稿左側は 3%、右側は 5%画素値が小さくなつたら原稿端点と判断するなど、原稿の左右で判断基準を変えてもよい。図 8のように、検出した端点 22 a, 22 b， 22 c , 22 dから原稿の上下反対側の基準線に垂線を引き（ S 12 ) 、原稿の外側になる垂線を左右それぞれで選び、基準線との交点をあらたに原稿端点 22 a' ， 22 b ' ， 22 c ' ， 22 d' とする（ S 13 ) 。本実施形態では、必要な部分を切り落としてしまわないように、原稿の外側になる垂線を選んでいるが、不要な部分をできるだけ落とすために、内側になる垂線を選んでもよい。

次に図 9を用いて側面傾斜角算出手段について説明する。図 9はレンズと原稿の像の関係を示しており、原稿の像を y軸方向から見、 90度回転させた図である。図では、 CCD面および、ガラス面に垂直に z軸を設定し、レンズ中心を原点 0としている。レンズと CCD面の距離は ίとする。原点上部が沈んでいるために、綴じ目が原稿上側に傾斜していることを示している。図中の実線は、レンズによって投影された原稿の像を表している。綴じ目の上下端点 Ε 1 ； Ε 2は、 CCD上では縮小され、 P 1 ； P 2の位置に見える。これは、本をスキャナで読込んだ際、浮き上がつている部分の画像は縮小されることを示している。

ここで、 E 1 ； E 2を通り、綴じ目 L0に垂直な線を L 1 ； L2とする。本などの原稿は、長方形の紙を 1辺で綴じたものであるため、綴じ目と上下側面の関係は直角であると考えてよい。このため、直線 L 1 ； L 2はそれぞれ原稿の上部側面、下部側面と一致しているとする。また、 L I ; L2と CCD面との交点 B 1 ； B 2は、エッジの基準線上にあるとする。このとき、以下のようにして、原稿側面の傾き αを算出する。いま、 C CD上において、綴じ目の上端、下端がそれぞれ点 P 1 ； P 2の位置に写っていたとする。このとき、綴じ目の上端、下端の像はそれぞれ直線 M 1および、 M2 上に存在し、直線 L0と L 1， L 2の交点 E 1， E 2の位置にある。

先ず、 L 1と M 1の交点 E 1を求める。直線 L l， M lはそれぞれ

X 二 cc(z一 /) + e₀i ( 1 ) x ― —z ( 2 ) と表され、式（ 1 ) 、式（ 2 ) より L 1と M 1の交点 E 1は.

となる。

次に、 L2と M2の交点 E 2を求める。直線 L2， M2はそれぞれ

X = θί(ζ一 /) + e_Q2 … （ 4 )

62

X = —Z ( 5 ) f

と表され、式（4 ) 、式（ 5 ) より L2と M2の交点 E 2は.

となる。式（ 3 ) 、式（ 6 ) より、直線 LOの方向ベクトルは、

(e。i一 ^02 + e₂ - ei)af² - (e₀ie₂一 e₀₂ei)/ 、

、 ( 7 )

(e₂ - βχ)/²α²一 (e₀₂e₂— e_Q1ei)f + (e₀₂一 e₀i)eie₂ ノであり、直線 L0および L 1， L 2が直交する条件から

( 8 ) となり、これを簡単にすると、

( 一 ei)/²a³ + (e₀₁e 一 e₀₂e₂)f ²

+{(eo2一 e₀i)eie₂ + (e₀₁一 e₀₂ + e₂— e )f²}

+(e。2ei + e₀₁e₂)/ 0 ( 9 ) という aの 3次方程式となり、その解が求める側面の傾き aとなる。一般に 3次方程を解くのは難しいが、実際には側面の傾きはほぼ z軸と平行に近く、 B l， P 1および B 2 , P 2の z軸からの距離の比率から、上下どちら側に綴じ目が沈んでいるかも判るため、おおよその解は判る。予めおおよその解が判っている場合、 2分法などを用いれば、反復計算で近似解を簡単に求めることができる。次に、エッジ 3次元位置算出手段について説明する。側面傾斜角算出手段によつて原稿の上下側面の傾きなを求める際に用いた式（ 3 ) 、式（ 6 ) は、綴じ目の上下端点だけでなく、エツジ全体に適用することができる。

レンズと CCDの距離 ί、基準線の位置、 CCD面に写ったエッジの位置、原稿の上下側面の傾き aを式（ 3 ) 、式（ 6 ) に適用することにより、エッジの X , z座標値が判る。スキャナなどの入力装置の場合、 CCDおよびレンズを走査して撮像するため、 y方向には平行投影となり、 CCDに写ったエッジの y座標と . 投影された像における y座標は一致しているため計算する必要はない。よって、上記の X， z座標と合わせて、エッジの像の 3次元位置を求めることができる。次に、図 1 0、図 1 1を用いて、原稿形状算出手段について説明する。図 1 0 は、レンズ 1 6によって投影された原稿の像（左ページのみ）を表している。ガラス面に接触している原稿は C C D面 1 7上に投影されるが、ガラス面から浮き上がっている部分は C C D面より遠くに投影される。綴じ目、上部エッジ、下部エッジは 1 2 ' ， 1 3 ' ， 1 4 ' に対応しており、 C C Dに写った画像では、 1 2， 1 3， 1 4の位置に見えることになる。上記、エッジ 3次元位置算出手段により、綴じ目 1 2 ' ，上部エッジ 1 3 ' ，下部エッジ 1 4 ' 、原稿左端 1 8の位置は判っているため、その間の原稿面の位置を求める。原稿面の像の任意の位置での 3次元座標が判れば、レンズと C C Dの位置関係から簡単に C C Dに写った画像との対応をとることができ、画像を平面に補正することが可能となる。

図 1 1は、投影された像を平面に戻した図である。原稿形状が長方形であると仮定すると、投影された像を平面に戻したものも、当然長方形になる。図 1 1の長方形の上の辺が上部エッジ 1 3 ' 、下の辺が下部エッジ 1 4 ' に対応している _c ただし、測定誤差などの理由により、算出されるエッジの長さが異なることがあるため、上部エッジと下部エッジのどちらかに長さを合わせる必要がある。たとえば、下部エッジ 1 4 ' が上部エッジ 1 3 ' より短い場合、先ず、上部エッジ 1 3 ' と長方形の上の辺を対応させ、下部エッジ 1 4 ' については長方形の下の辺の対応位置を引き延ばすことにより、下部エッジ 1 4 ' と長方形の下の辺を一致させる。

また、長方形の左右の辺の長さ、つまり補正後のページの高さは、原稿上下のエッジ基準線の間の距離と一致させる。ただし、測定誤差などの理由により、原稿上下の基準線の間の距離が異なることがあるため、たとえば、左右ページの平均値に合わせる。あるいは、どちらか一方に合わせてもよい。

原稿面がガラス面から浮き上がり始める場所を立上り線 1 9と呼ぶこととする, 立上り線は、直線であるとする。原稿面の浮き上がった部分は、立上り線 1 9と綴じ目 1 2 ' の 2直線で拘束されるため、原稿面は立上り線 1 9から綴じ目 1 2 ' にかけて連続的に傾きの変化する直線の集合と考えることができる。本実施形態では、この直線は立上り線 1 9と綴じ目 1 2 ' を一定の比率で内分する位置にある直線であると仮定するが、他のモデルを使ってもよい。一定の比率で内分する直線とは図 1 1の破線にあたり、水平方向の内分比が同じになる点の集合とする。原稿左端 18と立上り線 19の間は平面であるため、このようなモデル化をする必要はないが、曲面部分と同じ処理が行えるため、原稿左端 18と立上り線 19の間も一定の比率で内分する位置にある直線の集合と考える。

図 12に原稿面上の点 Pの 3次元座標の求め方のフローチャートを示す。先ず、点 Pの 13 ' ， 14 ' 間の内分比 m： nと 19， 12 ' 間の内分比 a ： bを求める（ S 21 ) 。 13 ' 上において 19， 12 ' を a ： bに内分する点 U 1と、 1 4 ' 上において 19， 12 ' を a ： bに内分する点 B 1を求める（ S 22 ) 。上部エッジ 13 ' および、下部エッジ 14 ' 上の 3次元座標は、上記エッジ 3次元位置算出手段によって求められているため、 U l， B 1の座標は判っている。 U 1と B 1の間の原稿面は直線と仮定しているため、その直線を m： nに内分する点が Pとなる。上記のように、原稿面の任意の点の 3次元位置、つまり原稿面の 3次元形状を求めることができる。

図 13を用いて輝度補正パラメータ算出手段について説明する。上記原稿形状算出手段と同様に、注目点 Pにおいて、 19 , 12 ' の間の内分比 a ·· bと 13 ' , 14 ' の間の内分比 m： nを求める（ S 31〉。 13' ' 14 ' 上で a ： b に内分する点 U l， B 1を求め、 U 1と B 1の CCD面上での原稿の背景輝度の値を求める（ S32 ) 。本などの原稿はエッジ付近は空白と考えてよく、エッジ付近の画素値を背景輝度とすればよい。エッジ付近の画素値とは、エッジから一定距離の画素の値でもよいし、一定範囲の画素の値の平均でもよい。ただし、ェッジ付近に文字や絵が書かれていることもあるため、予め、エッジ付近の画素値を調べておき、図 14のように、極端に変化する場所は前後の画素値から補間しておく。 U 1から B 1の間の背景輝度は直線的に変化すると仮定し、 U 1と B 1 の背景輝度値を m： nに内分する値を Pの背景輝度とする（ S 33 ) 。背景輝度と目標輝度から輝度補正パラメータを求める（ S 34 ) 。目標輝度を B g、背景輝度を B bとすると、輝度補正パラメータ B rは式（ 10 ) のように求める。

B r = B g / Bb … （10) 目標輝度は画像全体の背景輝度の最大値でもよいし、充分明るい画素値、あるいは、画素値のとり得る範囲で最大の値でもよい。 I i nを補正前の画素値、 I o u tを補正後の画素値とすると、輝度補正パラメータ B rを使って、式（ 1 1 ) のように輝度補正を行うことができる。

本実施形態では、輝度補正は画像補正手段において歪み補正と同時に行われる - l o u t = B r I i n ··· (11) 実際は、画素値は 0から 255など、有限の範囲内の値をとるため、式（ 1 1 ) は最大値で飽和するようにする。また、綴じ目付近の暗くなつた画像を式（ 1 1 ) を用いて補正すると、文字部分が明るくなり過ぎ、薄くなることもあるため、一定値以下の画素について補正パラメータを変える、あるいは、補正しないなどとしてもよい。

次に、画像補正手段について説明する。図 1 1において、任意の原稿面上の点 Pの画素値が求められれば、歪みのある画像をあたかも原稿面が平面であつたかのように補正することができる。すでに、上記原稿形状算出手段により、原稿面の 3次元形状は判っている。

図 1 5を用いて、原稿面の像の 3次元位置 Pから CCDに写った画像の参照位置 P' を求める方法を説明する。原稿面の 3次元位置を P ( x0， y 0 , z 0 ) , C CDに写っている Ρの位置を Ρ' (χ 1 , y 1 , ζ 1 ) とすると、 Ρ' は三角形の相似の関係から、式（ 12 ) のように求められる。

yl = y0 … ( 12) zl = / ここで、： f とはレンズと CCDの距離である。スキャナや複写機の場合、レンズと CCDを走査することによって撮像するため、レンズの移動方向である y方向には平行投影となり、原稿の像と CCD面上の y座標は変わらない。

以上のように、原稿面の任意の位置において、参照すべき画像の座標が求められ、画素値も得ることができる。原稿面の端から順に参照画素を求め、出力することにより、画像の歪みだけでなく、スキューも補正した画像を得ることができる。また、画像補正手段では画素値を出力する際、式（ 1 1 ) を用いて同時に輝度補正も行う。本実施形態では補正パラメータ、および画素の画像中での参照座標は各画素毎に求めているが、画像を一定の大きさの格子に区切り、格子点においてのみ、補正パラメータ、参照座標を求め、それ以外の場所では前記の値を補間したものを用いてもよい。

次に、画像出力手段について説明する。本実施形態の画像補正装置では、原稿形状算出手段によって原稿面の 3次元形状を求め、原稿面のみを撮像された画像と対応づけ、画像補正手段によって補正を行っている。このため、原稿の左右端と上下のェッジで囲まれた範囲の画像のみが補正されることになり、原稿面以外の余分な部分は補正されない。画像出力手段は上記のような補正画像を出力することにより、原稿以外の不必要な部分を除去した画像を出力することができる。また、補正後の原稿面の大きさが判っていることから、画像の大きさに合わせて、最適な用紙に出力すれば、ユーザが用紙選択を行うことなく、無駄のないプリントアウトを行うことができる。

さらに、綴じ目位置検出手段によって、原稿の綴じ目位置が判っているため、綴じ目位置で出力を分割することにより、左右のページを別々に出力することができる。これにより、左右のページを別々に読取らなくても、 1度に読取るだけで、別々の紙に出力することもできる。

また、綴じ目部分の影は画像補正手段で輝度補正を行っても除去しきれない場合もあるため、綴じ目付近の画像を出力するときには白データに変換して出力してもよい。原稿が白でない場合もあるため、白データではなく、綴じ目の外側の画素値に変換してもよい。

〔実施の形態 2〕

第 2の実施の形態は第 1の実施の形態と比べ、画像縮小手段が加わり、原稿形状算出手段が異なる。その他の部分は、第 1の実施の形態と同一である。本実施の状態では、画像縮小手段および、原稿形状算出手段は中央演算処理装置 2上で実行されるプログラムとして実現されるが、各手段がハードウェアのロジックであっててもよい。画像縮小手段は、入力画像において、複数画素の平均をとり、それを 1画素として出力する。あるいは、画素を間引いて出力することにより実現できる。第 1の実施の形態では、入力した画像から原稿形状を求めているが、複写機などで入力される画像は、たとえば 4 0 0 d p iや 6 0 0 d p i といった非常に高解像度の画像であり、このような高解像度の画像から原稿形状を求める場合には非常に多くのメモリが必要であり、また、多くの計算時間がかかるといつた問題がある。たとえば画像を 1 /4に縮小することにより、データ量は 1 / 1 6になり、より少ないメモリで、高速に画像処理を行うことができる。

次に、原稿形状算出手段について説明する。原稿形状算出手段は、原稿の 3次元形状を算出するところまでは第 1の実施の形態と同一である。原稿の 3次元形状データは縮小画像によって求めたものであり、画像補正は縮小画像ではなく、入力画像で行う必要があるため、原稿の 3次元形状データを修正する必要があるデータの修正は、たとえば縮小画像の倍率が 1 /4であれば、原稿の 3次元形状データを 4倍すればよい。また、原稿の形状確認を行うときと、画像修正を行うときの 2回、画像入力を行うことにより、必要なメモリ量を削減することができる。

1度の画像入力で全ての処理を行う場合には、画像全てをメモリ上に持っておく必要があるが、画像入力を 2回行うことにより、形状認識では縮小画像の容量程度のメモリで済み、画像修正では画像を入力しながら補正を行えばよいので、画像の一部分だけをメモリ上に置いておけば処理が行える。

〔実施の形態 3〕

第 3の実施の形態は、第 1の実施の形態に画像補正を行うか否かの選択手段を設け、画像の入力特性を切換えることができるようにしたものである。選択手段は、ソフトウェアの選択メニュでもよいし、ハードウェアスィッチでもよい。たとえば、補正を行う場合には入力画像を補正して出力し、行わない場合には入力画像をそのまま出力する。通常のコピー機では黒い文字は黒く、白い背景は白くなるように入力特性を調節しているが、本発明の画像補正装置では原稿のエッジを検出する必要があるため、綴じ目付近の画像が黒潰れしてしまっては正しくェッジ検出を行うことができない。歪み補正を行う場合には、画像を明るめに入力することにより、綴じ目付近の画像も黒漬れせず、正しくエッジを検出することができる。また、歪み補正時に輝度補正を行うことにより、実際の原稿と補正後の画像の明るさを一致させることもできる。

以上のように、補正を行うか否かにより入力特性を切換えることにより、それぞれ最適な画像を得ることができ、また、正しく歪み補正を行うことができる。

〔実施の形態 4〕

第 4の実施の形態は、第 1の実施の形態に原稿領域検出手段を加えたものである。図 1 6を用いて、原稿領域検出手段を説明する。

図 1 6は、原稿 1◦が画像領域からはみ出していることを示している。たとえば、背景が白などの明るい原稿をスキャナで読込んだ場合、原稿領域の画素値は大きいので、画像の中から画素値が一定値以上の領域を検出する。その領域の範囲が、画像の外枠と接していた場合、原稿は画像領域からはみ出していると判断できる。

原稿が画像領域からはみ出していた場合、正しく原稿の上下のエッジを検出することができないため、歪み補正を行うことができない。このため、原稿のはみ出しを検出した場合は歪み補正動作は行わないようにする。本実施の形態では、原稿領域の検出を画像から行っているが、別途センサを設け、センサによって原稿の位置を検出してもよい。また、原稿の左右がはみ出しても形状認識にはあまり影響しないため、左右のはみ出しは無視し、上下のはみ出しのみを検出してもよい。

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。したがって、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、本発明の範囲は、請求の範囲に示すものであって、明細書本文には何ら拘束されない。

さらに、請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。【産業上の利用可能性】

本発明によれば、本や雑誌などをスキャナゃコピー機で読取つた際に生じる歪み、影を補正することにより、あたかも原稿が平面であつたかのようにすることができる。また、原稿の綴じ目での沈み方が上下で異なっていたり、原稿が回転していても補正することが可能となる。

また本発明によれば、エッジ検出処理後の画像の連結成分の長短による孤立点の判断に加え、エッジの位置変化の少ない場所のうち所定の長さ以上の区間をェッジ位置として検出し、検出されていない区間は前後の検出した区間から補間することにより、エッジの検出誤りあるいはエッジ検出漏れをなくし、安定的にェッジを検出することができるようになった。

また本発明によれば、エッジ位置の極大若しくは極小点のうち、最も画像の中心に近いものを綴じ目として検出することにより、局所的な細かな形状変化に影饗されずに、安定的に綴じ目位置を検出することができるようになった。

また本発明によれば、ェッジの傾きの変化量が基準値以下になる区間のうち、最も長い区間における平均のェッジの傾きを基準線の傾きとすることにより、連続的に傾きの変化する原稿のェッジの中から基準線の傾きを正確に検出することができるようになった。

また本発明によれば、原稿左右のページを別々の判定基準で原稿端点を検出することにより、通常斜め方向から光が当てられるスキャナ、複写機において、左右のページの端点をそれぞれ最適に検出することができるようになった。

また本発明によれば、原稿面を連続的に傾きの変わる直線の集合として近似することにより、原稿面内の任意の点の原稿形状の補正パラメ一タを内分比から簡単に求めることができるようになった。

また本発明によれば、算出された原稿エッジの長さが上下で異なる場合、どちらか一方の長さにデータを修正することにより、上下で長さが違うまま画像を補正するよりも、補正後の画像を、より自然な印象にすることができるようになつた。

また本発明によれば、算出された原稿の縦の長さが左右で異なっていた場合、どちらか一方の長さにデータを修正することにより、左右のバランスを保つことができ、補正した画像をより自然な印象にすることができるようになった。

また本発明によれば、読取った画像を縮小した画像で形状認識をすることにより、読取ったままの高解像度の画像から形状認識するよりも処理を大幅に軽くすることができるようになった。

また本発明によれば、原稿面を連続的に傾きの変わる直線の集合として近似することにより、原稿面内の任意の点の輝度補正パラメータを内分比から簡単に求めることができるようになった。

また本発明によれば、綴じ目付近の画像を空白に変換して出力することにより . 画像を補正しきれない場所を目立たなくすることができるようになった。さらに. 綴じ目付近の画像を綴じ目から離れた場所の画素値に変換して出力することにより、原稿が白以外の色の場合ででも、原稿に合わせた色で綴じ目付近の画像を消すことができるようになった。

また本発明によれば、画像の読取りを、形状認識のための画像読取りと補正対象画像の読取りに分けることにより、必要なメモリ量を大幅に削減することがでさる。

また本発明によれば、画像の歪みを補正しない場合と、する場合とで別々の入力特性で画像の読取りを行うことにより、歪み補正をしない場合には白黒のコントラストを高く読取ることができ、歪み補正する場合にはェッジの形状を検出しやすく画像を入力することができる。

また本発明によれば、原稿が画像からはみ出していた場合、補正を行わないことにより、無駄な紙を節約することができる。

Claims

請求の範囲

1、画像入力手段と、記憶手段と、中央演算処理手段と、画像出力手段を含む画像補正装置であつて、原稿の上下側面と原稿台とが傾斜角をなす原稿の画像を補正する側面傾斜画像補正手段を有することを特徴とする画像補正装置。

2、前記側面傾斜画像補正手段は、原稿のエッジを検出するエッジ検出手段と、原稿の綴じ目の位置を求める綴じ目位置検出手段と、原稿の位置の基準線を求める基準線検出手段と、前記エッジ付近の画像の輝度変化より原稿の左右の端点を求める原稿端点検出手段と、上記基準線と綴じ目の位置より原稿の上下の側面の傾斜角を計算する側面傾斜角算出手段と、前記ェッジと基準線と傾斜角より原稿の上下のェッジの 3次元位置を計算するエツジ 3次元位置算出手段と、ェッジの 3次元位置より原稿全体の形状を計算する原稿形状算出手段と、原稿の 3次元形状に従い、画像から補正対象画素の背景輝度を求め、背景輝度と目標輝度から画素の輝度補正パラメータを求める輝度補正パラメータ算出手段とを有し、前記原稿の 3次元形状と輝度補正パラメータを用いて入力された画像を補正することを特徴とする請求項 1記載の画像補正装置。

3、前記エッジ検出手段は、エッジの位置変化が少ない場所で所定の長さ以上の区間を検出し、前記区間以外は前後で検出した区間から補間した位置を原稿ェッジの位置とすることを特徴とする請求項 2記載の画像補正装置。

4、前記綴じ目位置検出手段は、前記エッジ検出手段によって検出されたエツジの位置の極大点若しくは極小点のうち、画像の中心に最も近いものを綴じ目位置として検出することを特徴とする請求項 2記載の画像補正装置。

5、前記基準線検出手段は、エッジ付近の画像の画素値が第 1の基準値以上で, かつ、エッジの傾きの変化量が第 2の基準値以下となる区間のうち、最も長い区間における平均のエッジの傾きを基準線の傾きとし、前記最長区間の原稿外側の端点から前記傾きで延ばした直線を基準線とし、原稿左右あるいは上下のエツジについてそれぞれ基準線を検出するものであることを特徴とする請求項 2記載の画像補正装置。

6、前記原稿端点検出手段は、原稿の左右のページで別々の判定基準に基づいて原稿端点を検出することを特徴とする請求項 2記載の画像補正装置。

7、前記原稿形状算出手段は、原稿面を上下のエッジの間を結ぶ直線の集合で近似し、原稿面の 3次元位置を前記直線の上下端点の位置の内分比から求めることを特徴とする請求項 2記載の画像補正装置。

8、前記原稿形状算出手段は、算出されたエッジの長さが上下で異なる場合、同一の長さになるようにエッジの 3次元位置を修正することを特徴とする請求項 7記載の画像補正装置。

9、前記原稿形状算出手段は、算出された原稿の縦の長さが左右のページで異なる場合、縦の長さが左右で同一となるように原稿の 3次元形状デ一タを修正することを特徴とする請求項 7または 8記載の画像補正装置。

10、前記原稿形状算出手段は、入力された画像を所定の縮小率で縮小する画像縮小手段を有し、前記縮小された画像から原稿の 3次元形状を求めた後、前記縮小率に従い原稿の 3次元形状データを修正することを特徴とする請求項 2， 7〜 9のうちのいずれか 1つに記載の画像補正装置。

11、前記輝度補正パラメータ算出手段は、請求項 7記載の原稿面を近似する直線の上下端点付近の画像の輝度の内分比から補正対象画素の背景輝度を求め、背景輝度に対する目標輝度の比を輝度補正パラメータとすることを特徴とする請求項 1または 2記載の画像補正装置。

12、前記側面傾斜画像補正手段は、前記綴じ目位置付近の画素値を空白に変換して前記画像出力手段に出力することを特徴とする請求項 1， 2 , 4のうちのいずれか 1つに記載の画像補正装置。

Π、前記側面傾斜画像補正手段は、前記綴じ目位置付近の画素値を綴じ目位置から離れた場所の画素値に変換して前記画像出力手段に出力することを特徴とする請求項 1 , 2 , 4のうちのいずれか 1つに記載の画像補正装置。

14、前記側面傾斜画像補正手段は、前記縮小画像を作成するための画像の読取りと、補正対象となる画像の読取りを別々に行うことを特徴とする請求項 2または 1 0記載の画像補正装置。

15、画像補正の適用を選択する補正選択手段を備え、画像の補正を行う場合と行わない場合とで異なる入力特性で画像の入力を行う画像入力手段を備えることを特徴とする請求項 1〜 1 4記載の画像補正装置。

16、入力された画像から原稿の領域を検出する原稿領域検出手段を備え、原稿領域が画像からはみ出している場合には補正を行わないことを特徴とする請求項 1〜1 5のうちのいずれか 1つに記載の画像補正装置。