JP4577845B2 - 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 - Google Patents

Description

本発明は、ブック原稿を読み取ったスキャン画像の地肌を処理する画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。

しかしながら、原稿としてブック原稿を用いた場合、ブック原稿の綴じ部がコンタクトガラスから浮き上がってしまう。図４５は、ブック原稿のスキャン画像の一例を示す。図４５に示すように、綴じ部がコンタクトガラスから浮き上がってしまった場合、綴じ部が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像の綴じ部は読みにくく、また、ＯＣＲ（Optical Character Reader）により文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本では綴じ部の劣化が激しく、また、ブック原稿の綴じ部が焦点面から離れないように加圧作業した場合には、ブック原稿自体を破損してしまうこともある。そこで、ページ外形や文字行情報及び罫線情報を用いて綴じ部のゆがみを補正する画像読み取り装置が提案されている。

また、綴じ部の輝度を補正するため、スキャンされた画像を複数のブロックに分割し、各ブロックに含まれる画素の中で最も輝度値の高い画素の輝度値を当該各ブロックの地肌値として設定し、ブロックごとの地肌値に基づいて地肌補正処理を施す地肌補正装置が提案されている（例えば、特許文献１参照。）。

また、所望の処理モードに従ってスキャンされた画像における地肌値を複数の処理モードから選択して指定し、この指定された地肌値に基づきスキャンされた画像に対する地肌補正処理を実行する地肌補正装置が提案されている（例えば、特許文献２参照。）。特許文献２記載の地肌補正装置では、地肌補正処理の基準とすべき地肌値を抽出する画像上の位置が画像読取手段の種類によって異なることから、ユーザは、使用する画像読取手段に最も適した処理モードを選択してスキャン画像に対する地肌補正処理を実行することができる。
特開２００３−６９８２４号公報 特開２００３−１９８８４５号公報

しかしながら、特許文献１又は２記載の地肌の補正方法では、最も輝度値が高い画素の画素値という局所的な情報により基準となる地肌色を求めているため、ノイズにより地肌色より明るい色（白画素等）が存在する場合、原稿本来の地肌色と異なる地肌色に補正してしまう。また、原稿の地肌が色地肌であって文字等が地肌色より明るい色で記載されている場合には、文字等の画素値が基準となるため、補正後の画像に筋等のノイズが生じてしまう。

本発明は、上記問題に鑑み、地肌が文字等よりも暗い場合にも高精度に地肌を補正できる画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体を提供することを目的とする。

上記課題に鑑み、本発明は、画像読み取り手段が、コンタクトガラス上に載置されたブック原稿を読み取る画像読取ステップと、地肌色検出手段が、前記画像読み取りステップにより読み取られた前記ブック原稿のスキャン画像の画素値に基づき使用頻度が最大の色を地肌色として検出する地肌色検出ステップと、地肌色補正手段が、前記地肌色検出ステップにより検出した前記地肌色及び前記ブック原稿の平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌色補正ステップと、を有し、前記地肌色検出ステップにて、前記地肌色検出手段が、前記ブック原稿のスキャン原稿の前記綴じ部と平行な方向の各一次元画像の各画素毎に、画素値から色差信号、明度及び彩度を求め、彩度に応じて前記スキャン画像が有彩色か無彩色かを判定し、有彩色の場合、前記色差信号のヒストグラムをカウントし、無彩色の場合、前記明度のヒストグラムをカウントし、前記色差信号のヒストグラムにおいて度数が最大の最大色差信号又は前記明度のヒストグラムにおいて度数が最大の最大明度の画素の画素値を地肌色として検出し、地肌色を一次元画像と垂直な方向の位置ｙに対応づけて地肌色プロフィールを生成する、 ことを特徴とする画像処理方法を提供する。

本発明によれば、例えば、文字等よりも色の濃い地肌色を検出することで、地肌が文字等よりも暗い場合にも高精度にブック原稿の地肌を補正できる画像処理方法を提供できる。

本発明の一形態において、前記地肌色検出ステップにおいて、前記地肌色検出手段が、位置ｙ毎に前記地肌色プロフィールの画素値から、明度、彩度及び色相を求め、彩度に応じて有彩色か無彩色かを判定し、有彩色の場合、前記色相のヒストグラムにおいて度数が最大の最大色相の画素値を前記スキャン画像から抽出し、無彩色の場合、前記明度のヒストグラムにおいて度数が最大の最大明度の画素の画素値を前記スキャン画像から抽出し、抽出した画素の画素値を一次元画像と垂直な方向の位置ｙに対応づけて地肌色プロフィールを生成する、ことを特徴とする。

また、本発明の一形態において、地肌色検出ステップにより、スキャン画像を綴じ部と垂直な方向に複数の領域に分割し、分割された領域毎に地肌色を検出し、地肌色補正ステップにより、領域毎に地肌を補正する、ことを特徴とする。

本発明によれば、綴じ部と垂直な方向に複数の地肌を検出するので、ブック原稿がスキューしたような場合でも精度よく地肌補正することができる。

また、本発明の一形態において、地肌色検出ステップにより、スキャン画像を綴じ部と平行な方向に複数の領域に分割し分割された領域毎に地肌色を検出し、領域毎に地肌を補正する、ことを特徴とする。

本発明によれば、綴じ部と平行に複数の領域に分割し分割された領域毎に地肌色を検出するので、ページの左右で地肌色が異なるブック原稿であっても精度よく地肌補正できる。

また、本発明の一形態において、地肌色検出ステップにより、スキャン画像を綴じ部と垂直及び平行な方向に複数の領域に分割し、分割された領域毎に地肌色を検出し、地肌色補正ステップにより、領域毎に地肌を補正する、ことを特徴とする。

本発明によれば、綴じ部と平行及び垂直に複数の領域に分割し分割された領域毎に地肌色を検出するので、ブック原稿がスキューしかつページの左右で地肌色が異なる場合でも精度よく地肌補正することができる。

また、本発明の一形態において、スキャン画像の地肌色を検出する前に、スキャン画像にモザイク処理を施すことを特徴とする。

本発明によれば、ディザリング処理されているブック原稿であっても、モザイク処理することで単一の地肌色を検出できる。

地肌が文字等よりも暗い場合にも高精度に地肌を補正できる画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を上げて説明する。本実施の形態の画像処理装置は画像形成装置であるデジタル複写機に適用されており、画像を読取るためのスキャナ部を備える。すなわち、本実施の形態の画像処理装置は、画像形成装置、スキャナ装置、ファクシミリ装置及びこれらの複合機ＭＦＰ（Multi Function Printer）に適用できる。

また、デジタル複写機のスキャナ部のように一次元の撮像素子によるスキャン画像（単に画像データという場合がある）だけでなく、デジタルカメラのように２次元の撮像素子による画像データも本実施の形態の画像処理装置は同様に処理できる。スキャナ装置やデジタルカメラで撮影した画像データの場合、パーソナルコンピュータ（以下、単にＰＣという）に本実施の形態の画像処理を行うプログラムを実行させ、地肌補正や陰影の補正、歪み補正が行われる。

図１は、デジタル複写機のスキャナ部１の構成を示す縦断正面図を示す。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６及び第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。

原稿の走査時には、第一走行体５および第二走行体８はモータによって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。これにより画像読取手段が実現されている。

スキャナ部１は、このスキャナ部１で読み取られた原稿のスキャン画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（不図示）を備えるデジタル複写機１６に搭載されている。

図２（ａ）は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２（ａ）に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。

図２（ｂ）は、デジタルカメラ又はスキャナ装置で撮影した画像データをＰＣで画像処理する場合のシステム図を示す。ネットワーク１００を介してＰＣ１０１とスキャナ装置１０２及びＰＣ１０１とデジタルカメラ１０３とが接続されている。スキャナ装置１０２又はデジタルカメラ１０１で撮影された画像データは、ＰＣ１０１に送信され後述するプログラムにより地肌補正や陰影の補正、歪み補正が行われる。

図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。

また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。

図４は、画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ（Modulation Transfer Function）補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、から構成されている。

また、画像データ処理部２８は、地肌色検出手段と地肌補正手段とを有し、これらにより後述する画像処理方法を実現する。地肌色検出手段と地肌補正手段については実施の形態を通して詳述するが、地肌色検出手段は画像読み取り手段により読み取られたブック原稿のスキャン画像の画素値から地肌色を検出する。地肌補正手段は、地肌色検出手段により検出した地肌色及びブック原稿の平坦部の画素値に基づきスキャン画像の綴じ部付近の地肌を補正する。

以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介して、印刷する場合にはプリンタ部に、ファクシミリ送信する場合にはファクシミリ部に、ＯＣＲ処理を行う場合は所定の記憶装置に送信されて、それぞれの処理に供される。

メイン制御部１９は、図５（ａ）に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、画像処理や制御のためのプログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）３９とが接続されている。

図５（ｂ）は、ＰＣ１０１のハードウェア構成図を示す。なお、図５（ｂ）において図５（ａ）と機能的に同一の構成部分には同一の符号を付しその説明は省略する。入出力装置３０はキーボードやマウスの操作、ディスクプレーなど表示装置とのインターフェイスである。

図５（ａ）又は（ｂ）に示すＣＤ−ＲＯＭ３７は、特許請求の範囲における記憶媒体に相当するものであり、特許請求の範囲におけるプログラムが記憶されている。すなわち、ＣＤ−ＲＯＭ３７には、ＰＣ１０１又はメイン制御部１９に、地肌補正ステップと陰影補正ステップを実行させるためのプログラムが記憶されている。

ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されているプログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。後述する各種の画像処理を行うプログラムをＣＰＵ３１が実行することで、メイン制御部１９が画像処理部２０を制御すると共に、画像処理部２０が後述する地肌色検出及び地肌補正手段の各種の処理を行う。

なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピー（登録商標）ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

続いて、本実施の形態の画像処理が対象とする地肌色がある原稿のスキャン画像（以下、カラー画像という）について説明する。

通常、ブック原稿のカラー印刷にはディザリング処理が施されている。このため、単色のように見えても、拡大すると異なる色の小さな点が規則的な配置で印刷されている。図６は、地肌色が有彩色のブック原稿のスキャン画像の一例を示す。図６（ａ）は２００ｄｐｉでスキャンしたスキャン画像を、図６（ｂ）は図６（ａ）の一部を拡大した図をそれぞれ示す。図６に示すように、単色（例えば、青）に見えても拡大するとディザリング処理による複数の色（水色、紫、青等）が確認できる。このように、スキャナ部１において解像度を高くすると（例えば２００dpi 以上）、色が異なる個々の点が識別できる程度に細かい画像が撮影される。

このように通常のカラー画像には、
・地肌色とするべき色が複数存在する
・この中の１種類に限定すると，地肌色が実際とは異なるものになる
という特徴がある。

この特徴は、スキャン部１の解像度が高い程、顕著になるため、本実施の形態では地肌補正の前処理として、スキャン画像のモザイク化を行う。モザイク化について説明する。図７はモザイク化処理の手順を示すフローチャート図である。モザイク化処理は次の１〜３の手順で処理される。

１．スキャン画像をｍ×ｍ 画素の矩形領域に区切る。
ｍの値は、スキャナ部１の解像度とディザリング処理における網点の大きさにより決定する。
２．Ｒ、Ｇ、Ｂの各プレーン画像毎に，各矩形領域内の画素値の平均値を求める。
３．矩形領域内のすべての画素値を、２で求めた平均の画素値とする。

図８（ａ）はモザイク化前の拡大図を、図８（ｂ）はモザイク化後の拡大図をそれぞれ示す。モザイク処理により単色の画像が得られている。以下の実施例では、必要であればモザイク化後のカラー画像を用いて地肌補正を行う。

図９は、ブック原稿４０がそのページ綴じ部（以下、単に綴じ部という）４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように配置してコンタクトガラス２に載置されている様子を示す。すなわち、ブック原稿４０は一部が平坦部としてコンタクトガラス２に接するが綴じ部４０がコンタクトガラス２から離れている（図９では距離ｄ）。

図９の状態でブック原稿４０をスキャンすると、綴じ部４１の付近において歪みが生じる。図１０は、ブック原稿の綴じ部がコンタクトガラス２から浮き上がって撮影したスキャン画像の一例を示す。綴じ部４１がコンタクトガラス２から浮き上がっているため、綴じ部４１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生している（図４５参照）。

本実施例は、ブック原稿４０の地肌が文字等よりも暗い場合にも、綴じ部４１周辺を含む地肌を精度よく補正する。

図１１は、本実施例の画像処理の手順を示すフローチャート図を示す。すなわち、ブック原稿４０の画像処理は地肌補正（Ｓ１）、ゆがみ形状補正（Ｓ２）の処理手順により構成される。

地肌補正（Ｓ１）では、スキャン画像から非歪み領域である平坦部の基準値を求め、その基準値をもとに、スキャン画像に対して地肌補正処理を施す。ゆがみ形状補正（Ｓ２）では、スキャン画像から地肌を補正する際の基準値を求め、その基準値より地肌を補正するページ外形、罫線又は文字行を抽出し、抽出されたページ外形等から原稿画像の歪み形状を認識し、補正を行う。なお、歪み形状補正については、実施例の後に説明する。

本実施例の地肌補正について説明する。図１２は、地肌補正処理の手順を示すフローチャート図である。

ステップＳ１１では、入力画像をモザイク化する。
これにより、地肌色とする色が複数含むカラー画像であっても適切な色を選択できる。なお、モノクロ画像やディザリング処理されていないカラー画像の場合、モザイク化しない。

ステップＳ１２では、地肌色プロフィール Ｐ_g(ｙ)、Ｐ_b(ｙ)は、Ｐ_r(ｙ) を求める。
地肌色プロフィールの求め方には、
・RGB インデックス法
・色差信号ヒストグラム法
・HSV プロフィール補間法
の３つの方法がある。以下、順に説明する。

〔ＲＧＢインデックス法〕
ＲＧＢインデックス法の基本的な考え方は、赤（Ｒ）,緑（Ｇ）,青（Ｂ）の値で決まる画素の色について、最も頻度の高い色を地肌色とするというものである。

しかしながら、ブック原稿４０の曲面部分では明るさが変化しているため、そのまま頻度の高い色を地肌色とすると、地肌色の色(RGBの値)も画像全体では異なるものとなる。そこで、本実施例のＲＧＢインデックス法は、スキャナの主走査方向の各１次元画像毎に色の度数を利用して頻度の高い色を検出する。

なお、図１３に示すように、綴じ部４１の方向が主走査方向（Ｘ軸方向）に平行になるようにブック原稿４０は載置され、副走査方向がＹ軸方向であるものとする。

画素の色はＲ、Ｇ、Ｂ の値の組み合わせによって決まることからＲ、Ｇ、Ｂ の全ての組み合わせに対して、一意の番号（インデックス）を求め、各画素に付与する。そして、そのインデックスに対するヒストグラムを求め、最大度数のインデックスの色を地肌色とする。

ただし、Ｒ、Ｇ、Ｂ の値を各８ビット(２５６階調)のままで扱うと、インデックスの総数は、１６７７万余りと膨大になるので、適当なビット数 ｎ (≦８) になるように量子化して扱う。なお、これによって雑音の影響を受けにくくすることもできる。

具体的には図１４のフローチャート図に示す次の１〜３の処理手順を実行する。１〜３の処理は、スキャン画像の副走査方向の各ｙ座標における各１次元画像について行う。なお、量子化したビット数を n とし、この時のインデックスの総数は、２^３ｎ になる。

１．各 x 座標について、座標 (x,y) の画素が、ブック原稿４０の範囲内の画素値である場合、１−１〜１−３及び２、３の処理を行う。なお、ブック原稿４０の範囲内の画素であるか否かは後述するゆがみ形状補正のページ外形の検出により行う。

１−１. (x,y) の画素値 (r,g,b) について、量子化画素値 (r',g',b') を求める
ｒ’＝ ｒ＞＞（８−ｎ）、ｇ’＝ｇ＞＞（８−ｎ）、ｂ’＝ｂ＞＞（８−ｎ）
（２^８−ｎによる除算）
１−２. インデックス値 i を求める
ｉ＝Ｎ^２・ｒ’＋Ｎ・ｇ’＋ｂ’（Ｎ＝２^ｎ）
１−３. ヒストグラム中の該当するインデックス値 i の度数を 1 増やす

２.ヒストグラムの中で，最も度数の高いインデックス値 i* を求める

３. １次元画像中の画素の中で、インデックス値がi* の画素について、Ｒ、Ｇ、Ｂそれぞれの画素値の平均値を求め、それを地肌色プロフィールＰ_r(ｙ)、Ｐ_g(ｙ)、Ｐ_b(ｙ)の値とする。

〔色差信号ヒストグラム法〕
色差信号ヒストグラム法について説明する。この方法は、画素の色情報として、Ｒ，Ｇ，Ｂ の値ではなく、明度、彩度、色相を用いてヒストグラムを構成し、地肌色を求める。色には有彩色と無彩色があるため、それぞれについて異なる方法でヒストグラムを構成する必要がある。

まず、有彩色と無彩色の分類方法としては、彩度の値を用いて、適当なしきい値によって分類する。次に、有彩色と判定した色については、基本的には、色相で分類することが適しているが、色相の値は角度であるため、0度と 359度は、値としては離れているが、色としては近いということを考慮する必要がある。このため、色差信号（ｃ１、ｃ２）を用いてヒストグラムを構成する。

一方、無彩色については、色相の値は意味が無く、また、無彩色の地肌色としては、白、灰、黒というように明度の違いのみが考えられるので、明度で分類することが適している。

具体的には図１５のフローチャート図に示す次の１〜４の処理手順を実行する。１〜４の処理は、スキャン画像の副走査方向の各ｙ座標における各１次元画像について行う。

１．各 x 座標について、座標 (x,y) の画素が、ブック原稿４０の範囲内の画素値である場合、１−１〜１−４の処理を行う。なお、ブック原稿４０の範囲内の画素であるか否かは後述するゆがみ形状補正のページ外形の検出により行う。
１−１. 画素値Ｒ,Ｇ,Ｂ から、明度 ｖ、色差信号（ｃ１，ｃ２）、彩度 s を求める。なお、Ｒ，Ｇ、Ｂと明度及び色差信号の関係は一例であり、明度はＧ値だけから求めてもよい。

ｖ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
ｃ１＝Ｒ−Ｖ＝０．７Ｒ−０．５９Ｇ−０．１１Ｂ
ｃ２＝Ｂ−Ｖ＝−０．３Ｒ−０．５９Ｇ−０．８９Ｂ
ｓ＝√（ｃ１^２＋ｃ２^２）
１−２. ｓ の値と、有彩色・無彩色分類のしきい値(St)とを比較し、有彩色か無彩色かに分ける
１−３.有彩色の場合、２次元の色差信号ヒストグラムにおいて、（ｃ１、ｃ２） の度数を1 増やす。
１−４.無彩色の場合、明度ヒストグラムにおいて、v の度数を 1 増やす。
なお、（ｃ１、ｃ２）又はｖ共に、実際には、適当な値(d)で割り、それをヒストグラムのインデックスとする。すなわち、d はヒストグラムで同じインデックスが付与される値の範囲である。

２.色差信号ヒストグラムの中で最も度数の高いインデックスを（ｃ１*、ｃ２*）とし、明度ヒストグラムの中で最も度数の高いインデックスをｖ*とする。

３. （ｃ１*、ｃ２*）の度数が高い場合
１次元画像中の画素の有彩色の中で、色差信号が（ｃ１*、ｃ２*）の画素について、Ｒ、Ｇ、Ｂ それぞれの画素値の平均値を求め、それを地肌色プロフィールＰ_g(ｙ)、Ｐ_b(ｙ)、Ｐ_r(ｙ) の値とする。
４.ｖ*の度数が高い場合
１次元画像中の画素の無彩色の中で、明度がｖ*の画素について、Ｒ、Ｇ、Ｂそれぞれの画素値の平均値を求め、それを地肌色プロフィール Ｐ_g(ｙ)、Ｐ_b(ｙ)は、Ｐ_r(ｙ) の値とする。

〔HSV プロフィール補間法〕
上述した色差信号ヒストグラム法で地肌色プロフィールを作成した場合、画像全体で必ずしも同じ地肌色で構成されるとは限らず、部分的に別の色が含まれている場合がある。そこで、ＨＳＶプロフィール補間法では、地肌色プロフィールの色情報を調べ、最も多く存在する色を地肌色として求めた後、再度プロフィールを検出する。これによって、画像全体で同一の地肌色を求めることになる。

具体的には図１６のフローチャート図に示す次の１〜６の処理手順を実行する。１〜６の処理は、スキャン画像の副走査方向の各ｙ座標における各１次元画像について行う。

１．色差信号ヒストグラム法によって、地肌色プロフィールを求める。

２．地肌色プロフィールの各 ｙ 座標におけるＲ,Ｇ,Ｂ の値について、
２−１. 明度 ｖ、 彩度 ｓ、 色相ｈ を求める。

なお、ｈ＝ｔａｎ^−１（ｃ１／ｃ２）
２−２. s の値としきい値 St を比較し、有彩色か無彩色かに分ける
２−３. 有彩色の場合、色相ヒストグラムにおいて、ｈ の度数を 1 増やす。

２−４. 無彩色の場合、明度ヒストグラムにおいて、ｖ の度数を 1 増やす。

なお、 ｈ及びｖ の値は、適当な値(d)で割って量子化してから、ヒストグラムを求める。

この第２番目の処理によれば、地肌色が有彩色であるとすると、彩度は曲面部分では変化（低下）しているが色相は変化しないため、画像全体で最も度数の高い地肌色を求めることになる（曲面部分の色相も平坦部分と同じ地肌色としてカウントされ、次の第３番目の処理により選択され得る）。

一方、地肌色が無彩色であるとすると、明度は曲面部分で変化（低下）していることから、平坦部分において、最も度数の高い地肌色を求めることになる（次の第３番目の処理により曲面部分は選択されない）。

３. 色相ヒストグラムと明度ヒストグラムにおいて、最も度数の高いインデックスを求め、それぞれをｈ*、ｖ*とする。

４. ｈ*の度数が高い場合
４−１. 全画像中で、有彩色であって、かつ色相がｈ* と等しい画素を抜き出す（ページ範囲外は除く）
４−２. 各１次元画像毎に、抜き出された画素があれば R,G,B の平均値を求め、地肌色プロフィールの値とする。なお、ステップ４−１の画素が無い場合、プロフィールの値は求めない。

５.ｖ*の度数が高い場合
５−１. 全画像中で、無彩色の部分を抜き出す（ページ範囲外は除く）
５−２. 各１次元画像について、無彩色の画素がある場合、以下の処理を行い、地肌色プロフィールの値を求める（無彩色の画素が無い場合は求めない）
- 明度を求め、さらにそれを量子化した値を求める
- 量子化された明度についてヒストグラムを求める
- 最大度数となる量子化された明度ｖｄ*を求める
- 量子化された明度ｖｄ*を持つ画素の明度の平均値を求め、それを地肌色プロフィールＰ_r(ｙ)の値とする。

５−３. Ｐ_g(ｙ)、Ｐ_b(ｙ)は、Ｐ_r(ｙ)と同じプロフィールとする。

６. Ｐ_r(ｙ)、Ｐ_g(ｙ)、Ｐ_b(ｙ) において、地肌色が求められず、空きの部分がある場合は、空き部分の前後のプロフィールの値から、補間によって、空き部分のプロフィールの値を求める。

以上、３つの方法のいずれかにより地肌色プロフィールが求められると、図１２に戻り、ステップＳ１３により、地肌色プロフィールについて平滑化処理等を行う。より、具体的には、
・雑音除去のため、平滑化処理を行う。
平滑化処理は、Ｐ_r(ｙ)の各ｙについて、ｙを中心にしたＰ_r（ｙ−ｎ）からＰ_r（ｙ＋ｎ）の平均値をＰ_r(ｙ)の値にする。これを、例えば、３〜１０回繰り返す。同様に、Ｐ_g(ｙ)、Ｐ_b(ｙ)についても平滑化する。

・画素値のヒストグラムを求め、平坦部の画素値を求める。
平坦部の画素値は、画素値のヒストグラムから求められる。図１７はＰ_r(ｙ)、Ｐ_g(ｙ)、Ｐ_b(ｙ)から求めた画素値（例えば、R×G×B）を副走査方向に対しプロットしたものである。図１７に示すように画素値が小さい部分がスキャン画像の綴じ部４１である。

このような画素値の分布に対しヒストグラムを作成する。そして、最も頻度が高い画素値が平坦部分の画素値に対応すると考えられることから（図１７では左右の平坦部）、その画素値を中心に、±Ｐｍ（例えば、Ｐｍ=２）の範囲について画素値の平均値を求め、それを平坦部の画素値Ｐflatとする。

・平坦部画素値が１．０ となるようにプロフィールを正規化する（正規化後のプロフィールをＰ_r ^〜(ｙ)、Ｐ_ｇ ^〜(ｙ)、Ｐ_ｂ ^〜(ｙ)とする）。

正規化後の地肌色プロフィールを以下の式で算出する。平坦部分の値を１．０となるようにそのほかの画素値を１．０以下の画素値で表し（比で表し）、地肌色プロフィール全体に乗じ、０〜１の範囲に正規化する。
Ｐ_r ^〜(ｙ) ＝ Ｐ_r(ｙ)／Ｐflat
Ｐ_ｇ ^〜(ｙ) ＝ Ｐ_g(ｙ)／Ｐflat
Ｐ_ｂ ^〜(ｙ) ＝ Ｐ_b(ｙ)／Ｐflat
ステップＳ１４では、スキャン画像のＲ、Ｇ、Ｂ各プレーン画像の各画素値について、次のような処理することで、地肌を補正することができる。なお、Ｉ_ｒ(ｘ，ｙ)は画素(ｘ，ｙ)のＲ値、Ｉ_ｇ(ｘ，ｙ)は画素(ｘ，ｙ)のＧ値、Ｉ_ｂ(ｘ，ｙ)は画素(ｘ，ｙ)のＢ値である。
Ｉ_ｒ ^＊(ｘ，ｙ) ＝Ｉ_ｒ(ｘ，ｙ)／Ｐ_r ^〜(ｙ)
Ｉ_ｇ ^＊(ｘ，ｙ) ＝Ｉ_ｇ(ｘ，ｙ)／Ｐ_ｇ ^〜(ｙ)
Ｉ_ｂ ^＊(ｘ，ｙ) ＝Ｉ_ｂ(ｘ，ｙ)／Ｐ_ｂ ^〜(ｙ)
以上の処理により、ブック原稿４０の綴じ部４１付近の地肌補正処理が施された。本実施例によれば、画素値のヒストグラムから度数の大きい画素値を地肌色とすることで、精度よく地肌を検出できるので、文字等が地肌よりも明るいブック原稿４０であっても綴じ部４１を含む地肌色を精度よく補正することができる。

また、地肌色を検出する際、画素を有彩色と無彩色に分類し、有彩色の場合には色相、無彩色の場合には明度のヒストグラムを求め、度数の大きい画素値を地肌色とすることで、画素の特徴に応じた地肌色を検出できる。また、色相と明度により検出した地肌色が画像全体で同じ色でない場合が生じても、検出した地肌色から、再度、地肌色を検出することで、画像全体で同一の地肌色を求めることができる。

本実施例では、スキャン画像を綴じ部４１に垂直に分割して地肌処理する画像処理について説明する。

図１８に示すように、スキャン画像を、ブック原稿４０の綴じ部４１の長さ方向（Ｘ軸方向）に複数の領域Ｌに分割する（すなわち、Ｙ軸方向を長さ方向とするラインで分割する）。この例は、スキューしている、あるいは、「ハの字」配置にあるブック原稿４０に有効である。

スキャン画像のＸ軸方向において、地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、Ｘ軸方向に対して画像を分割し、それぞれの部分画像にてプロフィールを求め、補正を行う方法が有効である。

すなわち、分割された各領域Ｌに対して地肌補正処理を実行する。図１８では、５つの領域に分割しているので、それぞれの領域Ｌから５つの地肌色プロフィールを求め、求めた地肌色プロフィールをそれぞれの領域Ｌに適用して、地肌色を補正する。地肌色プロフィールの求め方は、RGB インデックス法、色差信号ヒストグラム法又はHSV プロフィール補間法のいずれであってもよい。

本実施例によれば、綴じ部４１と平行な方向に地肌色プロフィールが変化している場合でも、変化しているそれぞれの領域から地肌色プロフィールを求めて、精度よく地肌色を補正できる。

本実施例では、スキャン画像を綴じ部４１に平行に分割して地肌処理する画像処理について説明する。

図１９に示すように、スキャン画像を、ブック原稿４０の綴じ部４１と平行な線で複数の領域Ｌに分割する（すなわち、Ｘ軸方向の長さ方向とするラインで分割する）。図１９の例では、Ｙ軸方向の分割は、綴じ部４１の線の上下で２分割している。

この処理は、見開きの両ページがそれぞれ異なる地肌色のブック原稿４０に対し有効である。左右又は上下の両ページで地肌色が異なる場合、画像のＹ軸（綴じ部４１に垂直）方向に、地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、Ｙ軸方向に対してスキャン画像を分割し、それぞれの領域Ｌにおいて地肌色プロフィールを求め、地肌色の補正を行う。地肌色プロフィールの求め方は、RGB インデックス法、色差信号ヒストグラム法又はHSV プロフィール補間法のいずれであってもよく、また、それぞれの領域で異なる方法で地肌色プロフィールを求めてもよい。

具体的には、次の１．２．の処理による。
１．スキャン画像において、綴じ部４１の両端の位置を検出し、綴じ部４１に相当する直線を求める。両端の位置の検出については、ブック原稿４０のページ外形の検出処理（一番内側に入り込んでいる箇所を検出する）、画像中央部の濃度（一番濃い箇所）、または、明度の変化を利用することで検出が可能である。

具体的には、ページ外形頂点４２Ａ、Ｂの検出処理を行なう。この処理は、ページ外形の主走査方向の座標値が最も内部に食い込んでいる座標をページ外形頂点とするものである。ページ外形の検出については後述するが、ページ外形の頂点についてはその主走査方向（Ｘ軸方向）の座標値が最大の点４２Ａをページ外形頂点とし、反対側の外形の頂点については主走査方向の座標値が最大の点４２Ｂをページ外形頂点とする。

２．上記で求められた直線によってスキャン画像を上下に分割し、地肌補正を行う。

本実施例によれば、見開きの両ページがそれぞれ異なる地肌色の場合でも、それぞれのページから地肌色プロフィールを求めて、精度よく地肌色を補正できる。

本実施例は、実施例２及び３を組み合わせるものであり、図２０に示すように、ブック原稿４０の綴じ部４１の長さ方向（Ｘ軸方向）、及び、綴じ部４１の長さ方向と垂直な方向（Ｙ軸方向）に、スキャン画像を複数の領域Ｌに複数に分割する。そして、各領域Ｌから地肌色プロフィールを求めて、各領域毎に地肌補正を行う。なお、図２０の例では、Ｘ軸方向に５分割し、Ｙ軸方向の分割は綴じ部４１の線の上下で２分割している。

本実施例の処理は、スキューしている、あるいは、「ハの字」配置にあるブック原稿４０であり、かつ、左右又は上下のページがそれぞれ異なる地肌色のブック原稿４０に対し有効である。このようなブック原稿４０は、スキュー、「ハの字」配置及び上下のページで地肌色が異なるという理由から、画像のＸ及びＹ軸方向において、地肌色のプロフィールが変化している。

このため、スキャン画像全体で同一のプロフィールを用いて補正するのではなく、Ｘ，Ｙ軸の両方向に対して画像を分割し、それぞれの領域Ｌにて地肌色プロフィールを求め、地肌補正を行う方法が有効である。

スキャン画像を上下に分割する方法は実施例３と同様である。また、地肌色プロフィールの求め方は、ＲＧＢインデックス法、色差信号ヒストグラム法又はＨＳＶ プロフィール補間法のいずれであってもよい。本実施例によれば、それぞれの領域から地肌色プロフィールを求めて、領域毎に精度よく地肌色を補正できる。

以上のように、本実施の形態の画像処理装置は、文字等が地肌よりも明るいブック原稿４０であっても綴じ部４１を含む地肌色を精度よく補正することができる。

〔ゆがみ形状補正〕
続いて、図１１のステップＳ２におけるゆがみ形状補正について説明する。

図２１は、ステップＳ２のゆがみ形状補正処理の概要を説明するフローチャート図である。ステップＳ２の処理は、スキャン画像中のブック原稿４０についてページ外形／罫線／文字行の抽出処理を行い（ステップＳ２０１）、ブック原稿４０のスキャン画像の画像歪み補正処理を行なう（ステップＳ３０１）。

まず、ステップＳ２０１においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図２２は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチ
ャートである。

・スキャン画像からのページ外形の抽出（Ｓ２１１）
まず、ステップＳ２１１におけるスキャン画像からのページ外形の抽出処理について説明する。図２３は、スキャン画像の上端にページ外形が存在するスキャン画像の一例を示す。また、図２４は図２３に示したスキャン画像の綴じ部４１境界線左側の黒画素ヒストグラムである。

図２４に示すヒストグラムのＸ軸はスキャン画像の主走査方向（図２３の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図２３に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図２４に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。

より具体的には、図２４に示すように、綴じ部４１境界線からスキャン画像の左端（図２４の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。

なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。

以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。

なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部４１境界線を境にした左右ページ毎に実行される。

・スキャン画像からの罫線の抽出（Ｓ２１２）
続くステップＳ２１２においては、スキャン画像からの罫線の抽出処理を実行する。

「罫線候補の検出」
本実施の形態では、罫線の矩形抽出を導入し、図２３に示すようなスキャン画像に存在する罫線を１つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、ランの登録に制限を設けた矩形抽出を行う。

図２５は、２値化した画像に矩形抽出を施した結果を示す。図２５に示すように、黒画素が連結している箇所が１つの矩形として抽出される。図２５のような罫線が存在していれば、副走査方向に細長い矩形として抽出されることから、細長い矩形の有無や抽出した矩形の形状（長さ・縦横比）や位置を基に罫線の有無の判定を行う。

ただし、ただ単に矩形抽出を行うだけでは、罫線が単独で抽出できない場合もある。図２６に示すように、罫線がノイズと接触している場合、ノイズを含む矩形が抽出されてしまう。また、図２７のような表が含まれるスキャン画像の場合は、副走査方向の罫線は主走査方向の罫線と交差するため、表全体が１つの矩形として抽出され罫線が単独で抽出できない。

［ランの登録に制限を設けた矩形抽出］
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図２６に示すような罫線とノイズが接触している画像に対して、主走査方向（垂直方向）に一定値未満のランのみを登録し矩形を抽出すると、図２８に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。

なお、罫線を矩形抽出するにあたって、副走査方向（水平方向）に長いランのみを対象に矩形抽出を行う方法もあるが、この方法だと綴じ部４１付近の歪み部分は矩形内に含まれない。ところが、本実施の形態の方式を用いることにより、罫線の綴じ部４１付近の歪み部分も矩形内に含めることが可能となり、より正確な罫線の位置や長さを検出することが出来る。

「矩形統合」
表など、副走査方向（水平方向）の罫線と主走査方向（垂直方向）の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図２９に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は１つの矩形として抽出されず、複数の細切れの矩形となって抽出される。

そこで、矩形統合を行う。副走査方向における距離が一定値以下の矩形同士を統合する。図３０は、矩形統合を施した例である。矩形統合は、図３０に示すように、細切れになっていた矩形を１つの矩形に統合し、罫線の矩形を抽出するものである。この矩形統合は、かすれた罫線や点線の罫線に対して行っても、罫線全体が１つの矩形として抽出されるため有効な方法である。

「最適罫線の選択」
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の４箇所それぞれにおいて行う。例えば、図３１に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。

１．綴じ部付近まで食い込んでいる罫線
例えば、図３１に示す画像の右下の場合、綴じ部４１付近まで食い込んでいる罫線が補正に利用される。

２．長さが長い方の罫線
例えば、図３１に示す画像の右上の場合、双方の罫線は綴じ部４１付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。

３．位置が外側の罫線
例えば、図３１に示す画像の左下の場合、双方の罫線は綴じ部４１付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。

「最適罫線の座標値検出」
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合（例えば、左上と右上、左下と右下）、画像によっては、綴じ部４１をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。

以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。

・スキャン画像からの文字行の抽出（Ｓ２１３）
続くステップＳ２１３においては、スキャン画像からの文字行の抽出処理を実行する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。

「文字行の判別」
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図３２は図４５に示したスキャン画像の副走査方向の黒白反転数ヒストグラムである。図３２の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図３２中の縦軸はその位置毎の黒画素数を示すものである。

また、図３３は図４５に示した画像の主走査方向の黒白反転数ヒストグラムである。図３３の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図３３の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図４５に示したようなスキャン画像の場合、図３２に示すような副走査方向のヒストグラムは激しく変化するが、図３３に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。

上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、主走査方向Ｙの位置でのヒストグラム値Pnt（ｙ）の平均値mean_Ｈが算出される。ここで、heightは画像の高さである。

主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値mean_Ｈが算出される。ここで、heightは画像の高さである。

そして、下記に示す式（３）により、副走査方向のヒストグラムの主走査方向に関する分散σ_Ｈが得られる。

同様に、下記に示す式（４）により、副走査方向ｘの位置でのヒストグラム値Pnt（ｘ）の平均値mean_Ｖが算出される。ここで、widthは画像の幅である。

そして、下記に示す式（５）により、主走査方向のヒストグラムの副走査方向に関する分散σ_ｖが得られる。

上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σ_Ｈが、主走査方向のヒストグラムの副走査方向に関する分散σ_ｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σ_ｖが、副走査方向のヒストグラムの主走査方向に関する分散σ_Ｈより大きい。つまり、分散σ_Ｈと分散σ_ｖとの比較により、スキン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。

なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。

「横書き文字行の座標検出」
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図３４に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。

「最適横書き文字行の選択」
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図３５に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部４１境界線を挟んだ左右の一定幅領域内（図３５の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下何れかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。

なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部４１境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなく何れか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。

「最適横書き文字行の座標値の決定」
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図３５に示すＤは綴じ部４１境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。

「不適切な横書き文字行の排除」
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線がブック原稿４０の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。

なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。

以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。

「縦書き文字行に基づく横書き文字行の抽出」
次に、各縦書き文字行から横書き文字行を抽出する。
図３６は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図３６に示すように、まず、縦書き文字行の行切り出し矩形を抽出する（Ｓ２２１）。なお、縦書き文字行の行切り出し矩形の抽出処理は、ＯＣＲ等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図３７は、抽出した行切り出し矩形を例示的に示す説明図である。

次いで、縦書き文字行の先頭（もしくは末尾）のｙ座標が最大（もしくは最小）の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭（もしくは末尾）が存在する縦書き文字行を抽出する（Ｓ２２２）。より具体的には、図３７に示した例においては、図３８に示すように、縦書き文字行の先頭文字のｙ座標が最大の縦書き文字行はＡで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲ｈ内に存在する行先頭文字は、図３８中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行Ｂ，Ｃは除外する。なお、ｈはスキャン画像の解像度によって定められる定数である。

次に、抽出した縦書き文字行の先頭（もしくは末尾）のｙ座標に関してヒストグラムを構成する（Ｓ２２３）。図３９では、ページの左端に近い縦書き文字行Ｄを基準行とし、その先頭のｙ座標（ｙＤ）を基準座標としている。以後、ｙＤに対して一定幅ｄ（例えば抽出した縦書き文字行の平均幅の１／２）の範囲内に先頭が存在する縦書き文字行の数を、ｙＤに関するヒストグラムの値とする。図３９では、ｙＤを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Ｄの右隣の縦書き文字行Ｅは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標（ここでは、ｙＥ）とする。また、縦書き文字行Ｅの右隣の縦書き文字行Ｆの行先頭座標はｙＤの対象範囲に含まれるので、新たな基準座標を設けることなく、ｙＤに関するヒストグラムの値を１だけカウントアップする。

以下、同様の処理を綴じ部４１境界線に向かって続けて行く。その結果、図３９に示す例では、ｙＤの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた７つで、ｙＥの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた４つとなる（これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図３９では省略している）。なお、ｙＤの対象範囲には本来無関係であるべき縦書き文字行Ｇも含まれているが、次のステップＳ２２４にてこれは除外される。

続いて、ステップＳ２２３にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端（もしくは右端）にある縦書き文字行（基準行）を開始行として、綴じ部４１境界線へ向かって、先頭（もしくは末尾）のｙ座標が近接した縦書き文字行を抽出する（ステップＳ２２４）。図３９では、基準座標ｙＤの対象範囲に含まれる文字行が７つと最大であったので、その中の左端の縦書き文字行Ｄを開始行とし、開始行（縦書き文字行Ｄ）から綴じ部４１境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出していく。

ところで、開始行（縦書き文字行Ｄ）から綴じ部４１境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。

まず、画像の歪みを生じていない部分における処理について図４０を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Ｈを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の正方向（図４０中、上方へ向かう方向）に関して、着目行Ｈの先頭位置から一定範囲内ｂ１（例えば平均文字行幅の１／２）に抽出する縦書き文字行の先頭が存在すること
２．ｙ座標の負方向（図４０中、下方へ向かう方向）に関して、着目行Ｈの先頭位置から見てｘ座標の正方向（綴じ部４１境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ２／ａ１）で表している）の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Ｈの次の縦書き文字行Ｉの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Ｊの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Ｊを新たな着目行として同様の処理を続ける。

次に、画像の歪みを生じている部分における処理について図４１を参照しつつ説明する。画像の歪みを生じている部分では、着目行Ｌを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の負方向（図４１中、下方へ向かう方向）に関して、着目行Ｌの先頭位置から見てｘ座標の正方向（綴じ部４１境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ３／ａ２）で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、ｂ２／ａ１＜ｂ３／ａ２とする）の範囲内に抽出する縦書き文字行の先頭が存在すること
２．着目行Ｌの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き（ｂ４／ａ２）が、着目行Ｌの先頭位置と直前の抽出行Ｋの先頭位置を結ぶ直線の傾き（ｂ５／ａ３）から一定値αを引いた値よりも大きい。すなわち、“ｂ４／ａ２＞ｂ５／ａ３−α”を満足すること（基本的には、“ｂ４／ａ２＞ｂ５／ａ３”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である）
すなわち、着目行Ｌの次の縦書き文字行Ｍの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Ｎの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Ｎを新たな着目行として同様の処理を続ける。

さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のｙ座標をそれぞれｙＣ，ｙＮとすると、“ｙＮ−ｙＣ”が一定値（例えば、平均文字行幅の１／４）以上となれば、それ以降を歪みを生じている部分とする。

以上の方法により図３９から抽出した縦書き文字行を、図４２において斜線を施した矩形で囲んで示す。

最後に、抽出した縦書き文字行の先頭（もしくは末尾）の位置座標に関する近似曲線多項式を算出する（ステップＳ２２５）。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図４３に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図４３に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。

なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線がブック原稿４０の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。

なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。

以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。

なお、以下においては、横書き文字行及び縦書き文字行の外形を文字行として扱うものとする。

以上、ステップＳ２１１〜Ｓ２１３の処理により、図２１のページ外形／罫線／文字行の抽出処理（ステップＳ２０１）が終了する。

続くステップＳ２０２においては、画像歪み補正処理を実行する。図４４は歪み補正補処理の概略を示すフローチャート図である。

歪み補正補処理は、概略的には、歪み補正（伸長）に際しての基準となる線（基準線）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行の何れかを選択する処理（ステップＳ３０１：基準線選択処理）、基準線に対応するものであって補正率（伸長率）の算出用の参照線としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行の何れかを選択する処理（ステップＳ３０２：参照線選択処理）、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理（ステップＳ３０３：仮想ページ外形算出処理）、仮想的なページ外形に基づいてスキャン画像に伸長処理を施して主走査方向の歪みを補正する処理（ステップＳ３０４：主走査方向歪み補正処理）、補正画像の文字外接矩形に基づいてスキャン画像に伸長処理を施して副走査方向の歪みを補正する処理（ステップＳ３０５：副走査方向歪み補正処理）により構成されている。このステップＳ２０２の処理については公知であるため、詳細な説明は省略する（その詳細については、特開２００３−６９８０７号公報等を参照）。

以上のように、本実施の形態の画像処理装置によれば、ブック原稿４０のスキャン画像において、地肌の色が文字等よりも暗い原稿であっても高精度に地肌補正することができる。また、スキャン画像の綴じ部４１の歪みを補正することができる。

デジタル複写機のスキャナ部の構成を示す縦断正面図である。 スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。 スキャナ部の制御系の電気的な接続を示すブロック図である。 画像処理部の基本的な内部構成を示すブロック図である。 メイン制御部のハードウェア構成図である。 地肌色が有彩色のブック原稿のスキャン画像の一例である。 モザイク化処理の手順を示すフローチャート図である。 モザイク化処理されたスキャン画像の一例を示す図である。 コンタクトガラスに載置されたブック原稿を示す図である。 ページ綴じ部付近に歪みが生じたスキャン画像を示す。 画像処理の手順を示すフローチャート図である。 地肌補正処理の手順を示すフローチャート図である。 コンタクトガラスに載置されたブック原稿を示す図である。 ＲＧＢインデックス法の処理手順を示すフローチャート図である。 色差信号ヒストグラム法の処理手順を示すフローチャート図である。 HSV プロフィール補間法の処理手順を示すフローチャート図である。 画素値を副走査方向に対しプロットした図である。 綴じ部の長さ方向に複数の領域に分割したスキャン画像の一例を示す。 綴じ部と平行に複数の領域に分割したスキャン画像の一例を示す。 綴じ部と平行及び垂直に複数の領域に分割したスキャン画像を示す。 ゆがみ形状補正処理の概要を説明するフローチャート図である。 ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。 上端にページ外形が存在するスキャン画像の一例を示す説明図である。 図４５に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。 ２値化した画像に矩形抽出を施した結果を示す説明図である。 罫線がノイズと接触している場合を示す説明図である。 表が含まれる画像を示す説明図である。 一定値未満のランのみを登録し矩形を抽出した結果を示す説明図である。 副走査方向に矩形が細切れに抽出されてしまう場合を示す説明図である。 矩形統合を施した例を示す説明図である。 矩形抽出を行った結果を示す説明図である。 図４５に示した画像の副走査方向の黒白反転数ヒストグラムである。 図４５に示した画像の主走査方向の黒白反転数ヒストグラムである。 スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。 最適な横書き文字行の選択を示す説明図である。 各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。 抽出した行切り出し矩形を例示的に示す説明図である。 予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。 抽出した縦書き文字行の先頭のｙ座標に関してヒストグラムを構成する状態を示す説明図である。 画像の歪みを生じていない部分における処理を示す説明図である。 画像の歪みを生じている部分における処理を示す説明図である。 抽出した縦書き文字行を示す説明図である。 縦書き文字行の行切り出し矩形を示す説明図である。 画像歪み補正処理の流れを概略的に示すフローチャートである。 ブック原稿のスキャン画像の一例である。

符号の説明

１ スキャナ部
２ コンタクトガラス
３ 露光ランプ
１９ メイン制御部
２０ 画像処理部
４０ ブック原稿
４１ 綴じ部

Claims (16)

1. コンタクトガラス上に載置されたブック原稿を読み取る画像読取手段と、
   前記画像読み取り手段により読み取られた前記ブック原稿のスキャン画像の画素値に基づき使用頻度が最大の色を地肌色として検出する地肌色検出手段と、
   前記地肌色検出手段により検出した前記地肌色及び前記ブック原稿の平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌色補正手段と、を有し
   前記地肌色検出手段は、
   前記スキャン原稿の前記綴じ部と平行な方向の各一次元画像の各画素毎に、画素値から色差信号、明度及び彩度を求め、
   彩度に応じて前記スキャン画像が有彩色か無彩色かを判定し、
   有彩色の場合、前記色差信号のヒストグラムをカウントし、無彩色の場合、前記明度のヒストグラムをカウントし、
   前記色差信号のヒストグラムにおいて度数が最大の最大色差信号又は前記明度のヒストグラムにおいて度数が最大の最大明度の画素の画素値を地肌色として検出し、
   地肌色を一次元画像と垂直な方向の位置ｙに対応づけて地肌色プロフィールを生成する、
   ことを特徴とする画像処理装置。
2. 前記地肌色検出手段は、
   位置ｙ毎に前記地肌色プロフィールの画素値から、明度、彩度及び色相を求め、
   彩度に応じて有彩色か無彩色かを判定し、
   有彩色の場合、前記色相のヒストグラムをカウントし、無彩色の場合、前記明度のヒストグラムをカウントし、
   前記色相のヒストグラムにおいて度数が最大の最大色相又は前記明度のヒストグラムにおいて度数が最大の最大明度の画素の画素値を前記スキャン画像から抽出し、
   抽出した画素の画素値を一次元画像と垂直な方向の位置ｙに対応づけて地肌色プロフィールを生成する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記地肌色検出手段は、前記スキャン画像を前記綴じ部と垂直な方向に複数の領域に分割し、分割された前記領域毎に前記地肌色を検出し、
   前記地肌色補正手段は、前記領域毎に地肌を補正する、
   ことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記地肌色検出手段は、前記スキャン画像を前記綴じ部と平行な方向に複数の領域に分割し、分割された前記領域毎に前記地肌色を検出し、
   前記地肌色補正手段は、前記領域毎に地肌を補正する、
   ことを特徴とする請求項１又は２記載の画像処理装置。
5. 前記地肌色検出手段は、前記スキャン画像を前記綴じ部と垂直及び平行な方向に複数の領域に分割し、分割された前記領域毎に前記地肌色を検出し、
   前記地肌色補正手段は、前記領域毎に地肌を補正する、
   ことを特徴とする請求項１又は２いずれか１項記載の画像処理装置。
6. 前記スキャン画像の地肌色を検出する前に、前記スキャン画像にモザイク処理を施すことを特徴とする請求項１記載の画像処理装置。
7. 前記モザイク処理は、ｍ画素×ｍ画素の矩形領域のＲ、Ｇ、Ｂの各画像毎に、画素値の平均値を求め、前記矩形領域内の全ての画素の画素値を、該平均値とする処理である、ことを特徴とする請求項６記載の画像処理装置。
8. 画像読み取り手段が、コンタクトガラス上に載置されたブック原稿を読み取る画像読取ステップと、
   地肌色検出手段が、前記画像読み取りステップにより読み取られた前記ブック原稿のスキャン画像の画素値に基づき使用頻度が最大の色を地肌色として検出する地肌色検出ステップと、
   地肌色補正手段が、前記地肌色検出ステップにより検出した前記地肌色及び前記ブック原稿の平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌色補正ステップと、を有し、
   前記地肌色検出ステップにて、
   前記地肌色検出手段が、前記ブック原稿のスキャン原稿の前記綴じ部と平行な方向の各一次元画像の各画素毎に、画素値から色差信号、明度及び彩度を求め、
   彩度に応じて前記スキャン画像が有彩色か無彩色かを判定し、
   有彩色の場合、前記色差信号のヒストグラムをカウントし、無彩色の場合、前記明度のヒストグラムをカウントし、
   前記色差信号のヒストグラムにおいて度数が最大の最大色差信号又は前記明度のヒストグラムにおいて度数が最大の最大明度の画素の画素値を地肌色として検出し、
   地肌色を一次元画像と垂直な方向の位置ｙに対応づけて地肌色プロフィールを生成する、 ことを特徴とする画像処理方法。
9. 前記地肌色検出ステップにおいて、
   前記地肌色検出手段が、位置ｙ毎に前記地肌色プロフィールの画素値から、明度、彩度及び色相を求め、
   彩度に応じて有彩色か無彩色かを判定し、
   有彩色の場合、前記色相のヒストグラムにおいて度数が最大の最大色相の画素値を前記スキャン画像から抽出し、
   無彩色の場合、前記明度のヒストグラムにおいて度数が最大の最大明度の画素の画素値を前記スキャン画像から抽出し、
   抽出した画素の画素値を一次元画像と垂直な方向の位置ｙに対応づけて地肌色プロフィールを生成する、
   ことを特徴とする請求項８記載の画像処理方法。
10. 前記地肌色検出ステップにより、前記スキャン画像を前記綴じ部と垂直な方向に複数の領域に分割し、分割された前記領域毎に前記地肌色を検出し、
    前記地肌色補正ステップにより、前記領域毎に地肌を補正する、
    ことを特徴とする請求項８又は９記載の画像処理方法。
11. 前記地肌色検出ステップにより、前記スキャン画像を前記綴じ部と平行な方向に複数の領域に分割し、分割された前記領域毎に前記地肌色を検出し、
    前記地肌色補正により、前記領域毎に地肌を補正する、
    ことを特徴とする請求項８又は９記載の画像処理方法。
12. 前記地肌色検出ステップにより、前記スキャン画像を前記綴じ部と垂直及び平行な方向に複数の領域に分割し、分割された前記領域毎に前記地肌色を検出し、
    前記地肌色補正ステップにより、前記領域毎に地肌を補正する、
    ことを特徴とする請求項８又は９記載の画像処理方法。
13. 前記スキャン画像の地肌色を検出する前に、前記スキャン画像にモザイク処理を施すことを特徴とする請求項８記載の画像処理方法。
14. 前記モザイク処理は、ｍ画素×ｍ画素の矩形領域のＲ、Ｇ、Ｂの各画像毎に、画素値の平均値を求め、前記矩形領域内の全ての画素の画素値を、該平均値とする処理である、ことを特徴とする請求項１３記載の画像処理方法。
15. コンピュータに、請求項８ないし１４いずれか１項記載の画像処理方法を実行させるためのプログラム。
16. 請求項１５記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。