JP4449522B2

JP4449522B2 - 傾き検出機能付き画像検査装置

Info

Publication number: JP4449522B2
Application number: JP2004084099A
Authority: JP
Inventors: 賢治表木
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-03-23
Filing date: 2004-03-23
Publication date: 2010-04-14
Anticipated expiration: 2024-03-23
Also published as: JP2005274183A

Description

本発明は、原稿画像データが印刷処理された用紙を読み取ることにより検査画像データを取得し、この検査画像データを原稿画像データと比較することにより、印刷状態の検査を行う画像検査装置に関する。特に、本発明は、印刷処理による検査画像データの傾きを検出する画像検査装置に関する。

プリンタ、コピー機、ファクシミリ機又はこれらの機能を併せもつデジタル複合機（以下、これらを総称して画像形成装置という）においては、該装置に入力された原稿画像データを用紙（ここで用紙とは、およそ印刷媒体全般であり、一般的な紙以外にＯＨＰシート、厚紙、葉書等を含む概念である）上に印刷して、ユーザに印刷物を提供している。印刷処理時には画像処理装置内部において、給紙装置から取り出された用紙が紙送り機構により搬送路上を送られ、これに対して印字部、定着部等が協動して印刷動作を行う。

上記の印刷処理により得られた印刷物は、原稿画像データと比較すると全体的にスキュー（傾き）がある場合がある。このスキューの原因として代表的なものは、搬送路上で用紙が若干傾いた状態となってしまうことである。勿論、このような印刷物の傾きは好ましくなく、時には印刷ミスとして印刷物が廃棄処分されることもある。このため、印刷物のスキューの検出は従来より試みがなされており、その例が特許第３０３８７１４号公報、特許第３３０３２４６号公報、特開２００２−８４４２０号公報等に記載されている。

特許第３０３８７１４号公報に記載される技術では、印刷物をイメージスキャナー等で読み取って画像データを取得すると、この画像データを角度θずつ順次回転する。このとき、回転された各画像データについて全黒画素を含む外接矩形を生成し、その外接矩形の面積を求める。そして、外接矩形の面積が最小となった角度θを、印刷物のスキュー角度として検出する。

しかし、上述の処理では、検査画像データの回転処理、外接矩形の生成処理に要する演算処理量が大きく、スキュー角度を検出するまでの処理時間が長かった。また、印刷物の印刷内容が概略矩形である場合には、スキュー角度の検出精度を比較的高くすることができたが、印刷内容が矩形以外の他の形状である場合には、スキュー角度の検出精度が低下してしまう場合がある、という問題があった。

特許第３３０３２４６号公報に記載される技術では、画像中に含まれる黒画素の連結性を調べながらその外接矩形を作成し、所定範囲のサイズを持つ外接矩形のみを抽出し、抽出された外接矩形の1つの頂点を種々の方位に投影したヒストグラムを求め、このヒストグラムが最大となる角度をスキュー角度として検出する。

しかし、上述の処理では、、外接矩形頂点の投影ヒストグラムからスキュー角度を検出するため、文書画像が多段組の文章領域で構成され、また段組間の行の位置がずれているときなど、正確にスキュー角を検知できない、という問題があった。また、基本的に文字領域を対象とした手法であるため、文書画像中に含まれる文字が少ない場合なども、正確にスキュー角を検知できない、という問題があった。

特開２００２−８４４２０号公報に記載される技術では、二値化画像をハフ変換し、ハフ空間データを生成し、ハフ空間データを各角度ごとに投影したヒストグラムを作成し、このヒストグラムの最大値をスキュー角度として検出している。

特許第３０３８７１４号公報特許第３３０３２４６号公報特開２００２−８４４２０号公報

本発明の目的は、検査画像データを原稿画像データと比較することにより、印刷物に印刷された画像のスキュー検査を行う画像検査装置において、スキュー検出を高速に行うことである。

本発明の他の目的は、原稿画像データに対する検査画像データのスキュー角度を、印刷物の印刷内容の形状に影響を受けることなく、高精度に検出することである。

上述した目的を達成するために、本発明は、原稿画像データが印刷された印刷物を検査する画像検査装置であって、印刷物を撮像して得られた検査画像データを取得する検査画像取得手段と、前記原稿画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて原稿画像の代表直線を算出する第一の代表直線算出手段と、前記検査画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて検査画像の代表直線を算出する第二の代表直線算出手段と、前記第一、第二の代表直線算出手段により算出された２本の代表直線の角度差分を、前記原稿画像データに対する前記検査画像データのスキュー角度として検出するスキュー角度検出手段と、を備えたことを特徴とする。

ここで、前記第一、第二の代表直線算出手段は、前記画素群の座標データを多変量解析することで、各画像の代表直線を算出することが好ましい。前記多変量解析の手法としては、主成分分析法や重回帰分析法を用いることができる。但し、本発明は、代表直線の算出手法をこれらに限るものではなく、他の算出手法を用いてもよい。

上述した目的を達成するために、本発明は、原稿画像データが印刷された印刷物を検査する画像検査方法であって、印刷物を撮像して得られた検査画像データを取得し、前記原稿画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて原稿画像の代表直線を算出し、前記検査画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて検査画像の代表直線を算出し、前記算出された２本の直線の角度差分を、前記原稿画像に対する前記検査画像のスキュー角度として検出する、ことを特徴とする。

原稿画像データが印刷された印刷物を検査する画像検査装置に、印刷物を撮像して得られた検査画像データを取得する検査画像取得工程と、前記原稿画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて原稿画像の代表直線を算出する第一の代表直線算出工程と、前記検査画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて検査画像の代表直線を算出する第二の代表直線算出工程と、前記第一、第二の代表直線算出手段により算出された２本の直線の角度差分を、前記原稿画像に対する前記検査画像のスキュー角度として検出するスキュー角度検出工程と、を実行させるための画像検査プログラムである。

以下に、図面を参照して、本発明の実施形態を説明する。図１は、本実施形態の画像検査装置を含む印刷システムの一例を示す構成図である。

この印刷システムは、外部から原稿画像データを取り込むと、給紙カセット１０から給紙される用紙に対し印刷処理部２０により画像を印刷し、印刷された原稿画像を定着ローラ２５により用紙に定着させる。電子写真方式のシステムの場合、印刷処理部２０には、ラスタ出力スキャナや感光体ドラム、現像器、転写ロールなどが含まれる。

用紙搬送路において定着ローラ２５の後段には読取スキャナ３０が設けられる。画像が定着された印刷物の印刷面は、その読取スキャナ３０により光学的に読み取られる。読取スキャナ３０は、照射ランプ３５により印刷面を照射し、その反射光をレンズ３６で集束して、撮像デバイス３７で検出する。撮像デバイス３７としては、例えば、用紙搬送路の上面と平行な面内において用紙搬送方向に垂直な方向にセルが１列に並んだラインセンサを用いることができる。用紙搬送に同期してラインセンサの読み出しを繰り返し行っていくことで、２次元の印刷面の画像を取得できる。カラー画像を検査する場合は、例えばＲ，Ｇ，Ｂの各色ごとにラインセンサを設ければよい。撮像デバイス３７で取得された印刷面の画像データ、すなわち検査画像データは、画像処理装置５０に送られる。なお、ラインセンサでの読取り解像度は、検査に必要な精度と処理速度などを考慮して決定され、１００〜６００ｄｐｉ程度が適当である。

本実施形態の画像検査装置は、読取スキャナ３０及び画像処理装置５０で構成されている。画像処理装置５０は、ＣＰＵ、メモリなどを含んで構成され、ＣＰＵが画像検査プログラムを実行することにより、原稿画像に対する検査画像のスキュー角度を検出し、これに基づき検査画像を補正してから、検査画像を原稿画像と照合して印刷欠陥を検出する処理を行う。図２は、画像処理装置５０が行う処理を示すフローチャートである。

先ず、画像処理装置５０は、外部から原稿画像データを取り込むと、原稿画像データを走査して、原稿画像データに含まれる全ての画素データを一つずつ調査する。そして、画素データが黒画素である場合には、この画素データの座標データをメモリに記憶する（Ｓ２０１）。これにより、原稿画像データに含まれる全ての黒画素（画素群）の座標データ（ｘ_ｉ，ｙ_ｉ）（ｉ＝１，２，・・・，Ｉ）が抽出される。

また、画像処理装置５０は、原稿画像データが印刷処理された印刷物を撮像して検査画像データを取り込むと、検査画像データからも同様に、全ての黒画素（画素群）の座標データ（ｘ_ｍ，ｙ_ｍ）（ｍ＝１，２，・・・，Ｍ）を抽出する。なお、各画素の座標データは、横方向をｘ軸とし、縦方向をｙ軸とする座標系で規定される。

本実施形態では、原稿画像データ及び検査画像データは、図３に示す「請求書」文書であり、黒画素及び白画素からなる２値画像である。上記の処理により、この「請求書」文書から、黒画素である文字、罫線等の座標データが抽出される。検査画像データは原稿画像データに対して時計回りに約１０度傾斜しているため、両画像データから抽出される黒画素の座標データは異なっている。

なお、本実施形態では、原稿画像データ及び検査画像データから黒画素を抽出しているが、抽出する画素の特性はこれに限らない。例えば、上記の「請求書」文書であれば、黒画素の代わりに白画素を抽出してもよい。また、画素データが色情報を含む場合には、所定の色情報を有する画素を抽出してもよい。

また、原稿画像データ及び検査画像データの解像度が高い場合（例えば６００ｄｐｉ）には、画素データを間引いて解像度を低減してから（例えば３００ｄｐｉ、２００ｄｐｉに低減）、上記の画素座標の抽出処理を行うことで、演算処理を簡略化してもよい。また、読取スキャナで撮像された検査画像データが階調を有する場合には、検査画像データを２値化してから、上記の画素座標の抽出処理を行ってもよい。

次に、画像処理装置５０は、原稿画像データ及び検査画像データのそれぞれから抽出した画素群の座標データに基づいて、各画像データを代表する直線の傾斜角度θ，θ'を算出する処理を行う（Ｓ２０２）。本実施形態では、多変量解析法の一つである主成分分析法を用いて、画素分布の分散が最大となる第一主成分直線の傾斜角度θ，θ'を演算する処理を行っている。

以下、原稿画像データに関して、第一主成分直線の傾斜角度θを演算する処理について説明する。この傾斜角度θの演算処理の第一工程では、抽出された画素群の座標データ（ｘ_ｉ，ｙ_ｉ）に基づいて、ｘ座標データ群の分散Ｓ_１１、ｙ座標データ群の分散Ｓ_２２、及びｘ座標データ群とｙ座標データ群の共分散Ｓ_１２、を演算する処理を行う。

第二工程では、分散共分散行列の固有値λを演算する処理を行う。この演算には、分散Ｓ_１１，Ｓ_２２、共分散Ｓ_１２及び固有値λの間に成立する固有方程式（数式１）を利用する。即ち、数式１から、固有値λに関する数式２が得られるので、これに演算済みの分散Ｓ_１１，Ｓ_２２及び共分散Ｓ_１２を代入することにより、固有値λを演算する。なお、数式２で表される固有値λのうち大きい方を第一主成分の固有値として演算する。

第三工程では、主成分直線の方向を表す固有ベクトル［ａ_１，ａ_２］を演算する処理を行う。この演算には、下記の数式３〜５に示す関係を利用する。数式３は、分散共分散行列、固有値λ及び固有ベクトル［ａ_１，ａ_２］の間に成立する関係式であり、数式４は数式３を各行ごとに表したものである。また、数式５は、固有ベクトルの成分ａ_１及びａ_２に与えられる制約条件である。

数式４及び数式５から、固有ベクトルの成分ａ_１及びａ_２は次の数式６のように表される。数式６に、演算済みの分散Ｓ_１１，Ｓ_２２、共分散Ｓ_１２及び固有値λを代入することにより、固有ベクトルの各成分ａ_１，ａ_２を演算することができる。なお、次工程において、固有ベクトルの成分ａ_１及びａ_２のいずれか一方のみから傾斜角度θを求めることができるため、固有ベクトルの成分ａ_１及びａ_２のうちいずれか一方のみを演算することとしてもよい。

最後工程では、原稿画像データの第一主成分直線がｘ軸となす傾斜角度θを演算する処理を行う。固有ベクトル［ａ_１，ａ_２］と傾斜角度θの間には、次の数式７の関係が成立する。したがって、数式７を変形して得られる数式８に、演算済みの固有ベクトルの成分ａ_１，ａ_２を代入することより、ｘ軸に対する第一主成分直線の傾斜角度θを求めることができる。

以上の説明では、原稿画像データから抽出した画素群に対して主成分分析を行い、主成分直線の傾斜角度θを演算する処理を説明したが、検査画像データから抽出した画素群に対しても同じ処理を行い、主成分直線の傾斜角度θ'を演算する処理を行う。この結果、原稿画像データ及び検査画像データについて、図４に示す第一主成分直線Ｌ１，Ｌ２がｘ軸となす傾斜角度θ，θ'を求めることができる。

なお、本実施形態では、多変量解析法として主成分分析法を採用しているが、多変量解析法はこれに限らず、重回帰分析法など他の種類の多変量解析法を採用してもよい。主成分分析によれば、各画素から代表直線に下ろした垂線距離の二乗和が最小となるように代表直線が求められる。一方、重回帰分析によれば、各画素からｘ軸又はｙ軸に沿って代表直線に下ろした直線距離の二乗和が最小となるように代表直線が求められる。また、本実施形態では、主成分分析で得られる第一主成分直線を代表直線としているが、第一主成分直線と直交する第二主成分直線を代表直線としてもよい。

次に、画像処理装置５０は、原稿画像データの第一主成分直線の傾斜角度θと、検査画像データの第一主成分直線の傾斜角度θ'の角度差分θ''（＝θ'−θ）を算出する（Ｓ２０３）。このようにして算出された角度差分θ''は、原稿画像に対する検査画像のスキュー角度として検出される。なお、本実施形態では、次表に示すように、原稿画像データの第一主成分直線の傾斜角度θは約10.06度であり、検査画像データの第一主成分直線の傾斜角度θ'は約0.19度であるため、算出されるスキュー角度θ''は約9.87度である。

次に、画像処理装置５０は、算出されたスキュー角度θ''を予め設定された閾値と比較することで、スキュー角度θ''が印刷欠陥の検出精度に影響を与える程度の大きさであるか否かを判定する。ここで、スキュー角度θ''が閾値より大きい場合には、次の数式９の座標変換式を用いて検査画像を回転し、スキューを補正する（Ｓ２０４）。一方、スキュー角度θ''が閾値より小さい場合には、検査画像のスキュー補正を行わずに、次の処理工程に進む。

ここで、
（ｘ，ｙ）：検査画像の回転前の座標
（ｕ，ｖ）：検査画像の回転後の座標
である。

なお、本実施形態では、検査画像を回転してスキュー補正をしているが、他の実施形態では、原稿画像を回転してスキュー補正をしてもよい。原稿画像を回転する場合には、次の座標変換式が用いられる。

ここで、
（ｘ，ｙ）：原稿画像の回転前の座標
（ｕ，ｖ）：原稿画像の回転後の座標
である。

次に、画像処理装置５０は、スキュー補正された検査画像と原稿画像についてパターンマッチング処理を行い、両画像の位置合わせをする（Ｓ２０５）。パターンマッチング処理は、残差逐次検定法等の公知のテンプレートマッチングでもよいし、特開２００３−２４８８２７号公報に記載される方法で行ってもよい。そして、検査画像と原稿画像の画素値を比較して、検査画像に含まれる汚れや印刷抜けなどの印刷欠陥を検出する。

上述した本実施形態の特徴事項は、原稿画像データ及び検査画像データから所定特性の画素群を抽出し、それぞれの画像の画素群に基づいて代表直線の傾斜角度θ，θ'を算出し、これらの傾斜角度θ，θ'の角度差分θ''をスキュー角度として検出することである。このスキュー角度θ''の検出方法によれば、従来技術に係るスキュー角検出と比較して処理量が少なく、計算コストを低減することができる。また、原稿画像及び検査画像の画像内容や、検査画像の印刷欠陥（抜け、汚れ、ノイズ等）の存在に左右されることなく、高精度にスキュー角度θ''を検出することができる。この結果、検査画像のスキューを高精度に補正して画像照合することができ、画像の照合精度を向上することができる。

以下、参考までに、他の種類の画像に関するスキュー角度の検出結果を示す。

図５には、「ＦＡＸ送信表」の原稿画像データ及び検査画像データが示されている。検査画像は、原稿画像に対して、時計回りに１０度傾斜している。これらから黒画素を抽出し、第一主成分直線の傾斜角度θ，θ'を求め、さらにスキュー角度θ''を求めた結果を、次表に示す。

図６には、「葉書」の原稿画像データ及び検査画像データが示されている。検査画像は、原稿画像に対して、時計回りに５度傾斜している。これらから黒画素を抽出し、第一主成分直線の傾斜角度θ，θ'を求め、さらにスキュー角度θ''を求めた結果を、次表に示す。

図７には、「開店案内」の原稿画像データ及び検査画像データが示されている。検査画像は、原稿画像に対して、時計回りに８度傾斜している。これらから黒画素を抽出し、第一主成分直線の傾斜角度θ，θ'を求め、さらにスキュー角度θ''を求めた結果を、次表に示す。

図８には、「取引条件」の原稿画像データ及び検査画像データが示されている。検査画像は、原稿画像に対して、反時計回りに４度傾斜している。これらから黒画素を抽出し、第一主成分直線の傾斜角度θ，θ'を求め、さらにスキュー角度θ''を求めた結果を、次表に示す。

図９には、「社員旅行の案内」の原稿画像データ及び検査画像データが示されている。検査画像は、原稿画像に対して、時計回りに７度傾斜している。これらから黒画素を抽出し、第一主成分直線の傾斜角度θ，θ'を求め、さらにスキュー角度θ''を求めた結果を、次表に示す。

以上の結果により、本実施形態のスキュー角度検出方法によれば、文書の種類を問わず、高精度のスキュー角度検出が可能であることが実証されている。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、等価な範囲で様々な変形が可能である。

プリンタシステムの構成図である。画像検査装置の処理を示すフローチャートである。「請求書」である原稿画像データ及び検査画像データを示す説明図である。原稿画像データ及び検査画像データの第一主成分直線を示す説明図である。「ＦＡＸ送信表」である原稿画像データ及び検査画像データを示す説明図である。「葉書」である原稿画像データ及び検査画像データを示す説明図である。「開店案内」である原稿画像データ及び検査画像データを示す説明図である。「取引条件」である原稿画像データ及び検査画像データを示す説明図である。「社員旅行の案内」である原稿画像データ及び検査画像データを示す説明図である。

符号の説明

１０給紙カセット、２０印刷処理部、２５定着ローラ、３０読取スキャナ、３５照射ランプ、３６レンズ、３７撮像デバイス、５０画像処理装置。

Claims

原稿画像データが印刷された印刷物を検査する画像検査装置であって、
印刷物を撮像して得られた検査画像データを取得する検査画像取得手段と、
前記原稿画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて原稿画像の代表直線を算出する第一の代表直線算出手段と、
前記検査画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて検査画像の代表直線を算出する第二の代表直線算出手段と、
前記第一、第二の代表直線算出手段により算出された２本の代表直線の角度差分を、前記原稿画像に対する前記検査画像のスキュー角度として検出するスキュー角度検出手段と、
を備え、
前記第一、第二の代表直線算出手段は、前記画素群の座標データを多変量解析することで、各画像の代表直線を算出することを特徴とする傾き検出機能付き画像検査装置。
請求項１に記載の画像検査装置であって、
前記多変量解析の手法は、主成分分析法であることを特徴とする傾き検出機能付き画像検査装置。
請求項１に記載の画像検査装置であって、
前記多変量解析の手法は、重回帰分析法であることを特徴とする傾き検出機能付き画像検査装置。
原稿画像データが印刷された印刷物を検査する画像検査方法であって、
印刷物を撮像して得られた検査画像データを取得し、
前記原稿画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて原稿画像の代表直線を算出し、
前記検査画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて検査画像の代表直線を算出し、
前記算出された２本の直線の角度差分を、前記原稿画像に対する前記検査画像のスキュー角度として検出し、
前記原稿画像の代表直線の算出、及び前記検査画像の代表直線の算出では、前記画素群の座標データを多変量解析することで、各画像の代表直線を算出する、
ことを特徴とする画像検査方法。
原稿画像データが印刷された印刷物を検査する画像検査装置に、
印刷物を撮像して得られた検査画像データを取得する検査画像取得工程と、
前記原稿画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて原稿画像の代表直線を算出する第一の代表直線算出工程と、
前記検査画像データから所定特性の画素群を抽出し、該画素群の座標データに基づいて検査画像の代表直線を算出する第二の代表直線算出工程と、
前記第一、第二の代表直線算出手段により算出された２本の直線の角度差分を、前記原稿画像に対する前記検査画像のスキュー角度として検出するスキュー角度検出工程と、
を実行させるための画像検査プログラムであって、
前記第一、第二の代表直線算出工程では、前記画素群の座標データを多変量解析することで、各画像の代表直線を算出することを特徴とする画像検査プログラム。