JP6665698B2 - 画像処理方法 - Google Patents

Description

本発明は、画像処理方法等に関する。

従来、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各画素をベイヤー配列したカラーフィルターを用いた撮像装置を用いて、製品等の検査を行う画像処理方法が知られている。
このようなベイヤー配列のカラーフィルターを用いた場合、１つの画素に対して、Ｒ，Ｇ，Ｂのいずれかの色光が受光されるので、受光された色の階調値しか得られない。例えば、画素（ｉ，ｊ）においてカラーフィルターのＲが配置される場合、画素（ｉ，ｊ）に対するＲの階調値は得られるが、当該画素におけるＢの階調値やＧの階調値は得られない。したがって、従来、当該画素に対する他の色の階調値は、その周囲画素の階調値に基づいて補間処理していた（例えば、特許文献１参照）。
特許文献１に記載の画像処理方法では、画素に対するある色の階調値を得るために、その周囲画素の同色の階調値を用いて補間処理を行っている。

特開２００６−８０８９７号公報

ところで、ベイヤー配列のカラーフィルターでは、Ｇの配置数がＲ，Ｂよりも多いので、上記特許文献１のような補間処理により各画素のＧの階調値を高解像度に算出できる。しかしながら、Ｒ，Ｂに関しては、画素数が少ないので、階調値の解像度が低く、撮像画像のモザイクデータに基づいてデモザイクデータを生成した場合に、Ｇのデモザイクデータの解像度の半分程度の解像度となるので、色に拠らず同等な解像度が必要な用途においては、Ｒ，Ｂの解像度低下が課題となっていた。

本発明は、撮像画像の各画素に対するＲ，Ｂの階調値を高精度にできる画像処理方法を提供することを目的とする。

本発明の一適用例に係る画像処理方法は、赤色、緑色、及び青色を有するベイヤー配列のカラーフィルターを備えた撮像素子から得られる撮像画像に対し、第一色の対象画素における前記第一色及び前記緑色以外の第二色の階調値を算出する画像処理方法であって、前記対象画素の周囲の前記第二色の比較画素における前記緑色の階調値である比較緑色値、及び前記対象画素の前記緑色の階調値である対象緑色値を取得する緑色値取得ステップと、前記比較緑色値及び前記対象緑色値を用いた比例計算を用いて前記対象画素に対する前記第二色の階調値を算出する階調値算出ステップと、を実施することを特徴とする。

本適用例では、対象画素に対する第二色の階調値を算出する際に、対象画素の周囲にある第二色の比較画素を用いる。この際、緑色値取得ステップにより、対象画素に対する緑色の階調値（対象緑色値）と、比較画素に対する緑色の階調値（比較緑色値）とを取得する。そして、階調値算出ステップにおいて、これらの対象緑色値と、比較緑色値とを用いた比例計算を実施して、対象画素に対する第二色に階調値を算出する。
これにより、撮像画像において画素数が多い緑色の階調値に基づいた比例計算を用いて第二色（赤色や青色）の階調値を算出するので、配置数が少ない第二数の階調値のみを用いて補間処理を行う場合に比べて、緑色の階調値を考慮して第二色の階調値を精度よく算出することができる。よって、撮像画像に基づいたデモザイクデータを生成する際に、緑色のデモザイクデータと同程度の解像度の第二色のデモザイクデータを得ることができる。これにより、例えば撮像画像に基づいて被撮像物の検査等の処理を行う場合に、精度の高い処理を行うことができる。

本適用例の画像処理方法において、前記緑色値取得ステップは、前記対象緑色値Ｇ（ｉ，ｊ）を下記式（１）により算出し、前記階調値算出ステップは、前記第二色の階調値Ａ（ｉ，ｊ）を下記式（２）により算出することが好ましい。

本適用例では、対象画素に対して、その周囲８画素を比較画素とした場合に、比較画素における第二色の平均値（{A(i-1,j)+A(i-1,j+1)+A(i+1,j-1)+A(i+1,j+1)}/4）に対して、比較緑色値の平均（{G(i-1,j)+G(i-1,j+1)+G(i+1,j-1)+G(i+1,j+1)}/4）及び対象緑色値（G(ｉ,j)）の比（G(ｉ,j)/{G(i-1,j)+G(i-1,j+1)+G(i+1,j-1)+G(i+1,j+1)}/4）を掛け合せた比例計算を行う。つまり、式（２）により対象画素の第二色に対する階調値を算出する。これにより、対象画素の第二色に対する階調値を、容易にかつ高精度に算出することができる。

本適用例の画像処理方法において、前記緑色値取得ステップは、前記対象画素が前記赤色又は前記青色である場合に、前記対象画素の周囲の前記緑色の画素に基づいて前記対象緑色値を補間処理により算出し、前記比較画素の周囲の前記緑色の画素に基づいて前記比較緑色値を補間処理により算出することが好ましい。
本適用例では、対象画素や比較画素の緑色に対する階調値（対象緑色値及び比較緑色値）として、対象画素や比較画素が緑色の画素ではない場合に、その周囲の緑色画素に基づいて補間処理を行う。ベイヤー配列では、緑色画素は、赤色画素や青色画素に対して多く配置されているので、補間処理を用いることで、対象緑色値及び比較緑色値を容易に、かつ高精度に取得することができる。

本発明の一実施形態のプリンターの外観の構成例を示す図。 本実施形態のプリンターの概略構成を示すブロック図。 本実施形態の撮像部の概略構成を示す概略図。 本実施形態のカラーフィルターの概略構成を示す図。 本実施形態のカラーフィルターの各色の分光透過率の一例を示す図。 本実施形態の制御ユニットに含まれるＣＰＵの機能構成を示すブロック図。 本実施形態のプリンターにおける画像処理方法を示すフローチャート。 本実施形態の撮像画像の一部を示す図。 本実施形態により算出されるＢ階調値と、従来の補間処理により算出されるＢ階調値とを比較する図。

以下、本発明に係る一実施形態について、図面に基づいて説明する。本実施形態では、本発明の画像処理方法を実施する印刷装置の一例として、測定装置を備えたプリンター１（インクジェットプリンター）について、以下説明する。

［プリンターの概略構成］
図１は、本実施形態のプリンター１の外観の構成例を示す図である。図２は、本実施形態のプリンター１の概略構成を示すブロック図である。
図１に示すように、プリンター１は、供給ユニット１１、搬送ユニット１２と、キャリッジ１３と、キャリッジ移動ユニット１４と、制御ユニット１５（図２参照）と、を備えている。このプリンター１は、例えばパーソナルコンピューター等の外部機器２０から入力された印刷データに基づいて、各ユニット１１，１２，１４及びキャリッジ１３を制御し、メディアＭ上に画像を印刷する。また、本実施形態のプリンター１は、予め設定された元画像データに基づいてメディアＭ上の所定位置にテストパターンを形成し、当該テストパターンの撮像画像を取得して画像処理を行い、印刷された画像が適正でない場合に補正処理を行う。
以下、プリンター１の各構成について具体的に説明する。

供給ユニット１１は、画像形成対象となるメディアＭ（本実施形態では、紙面を例示）を、画像形成位置に供給するユニットである。この供給ユニット１１は、例えばメディアＭが巻装されたロール体１１１（図１参照）、ロール駆動モーター（図示略）、及びロール駆動輪列（図示略）等を備える。そして、制御ユニット１５からの指令に基づいて、ロール駆動モーターが回転駆動され、ロール駆動モーターの回転力がロール駆動輪列を介してロール体１１１に伝達される。これにより、ロール体１１１が回転し、ロール体１１１に巻装された紙面がＹ方向（副走査方向）における下流側（＋Ｙ方向）に供給される。
なお、本実施形態では、ロール体１１１に巻装された紙面を供給する例を示すがこれに限定されない。例えば、トレイ等に積載された紙面等のメディアＭをローラー等によって例えば１枚ずつ供給する等、如何なる供給方法によってメディアＭが供給されてもよい。

搬送ユニット１２は、本発明の搬送機構であって、供給ユニット１１から供給されたメディアＭを、本発明の一方向であるＹ方向に沿って搬送する。この搬送ユニット１２は、搬送ローラー１２１と、搬送ローラー１２１とメディアＭを挟んで配置され、搬送ローラー１２１に従動する従動ローラー（図示略）と、プラテン１２２と、を含んで構成されている。
搬送ローラー１２１は、図示略の搬送モーターからの駆動力が伝達され、制御ユニット１５の制御により搬送モーターが駆動されると、その回転力により回転駆動されて、従動ローラーとの間にメディアＭを挟み込んだ状態でＹ方向に沿って搬送する。また、搬送ローラー１２１のＹ方向の下流側（＋Ｙ側）には、キャリッジ１３に対向するプラテン１２２が設けられている。

キャリッジ１３は、メディアＭに対して画像を印刷する印刷部１６と、メディアＭ上の所定の測定位置（測定領域）の撮像処理を行う撮像部１７と、を備えている。
このキャリッジ１３は、キャリッジ移動ユニット１４によって、Ｙ方向と交差する主走査方向（Ｘ方向）に沿って移動可能に設けられている。
また、キャリッジ１３は、フレキシブル回路１３１により制御ユニット１５に接続され、制御ユニット１５からの指令に基づいて、印刷部１６による印刷処理（メディアＭに対する画像形成処理）及び、撮像部１７による撮像処理を実施する。
なお、キャリッジ１３の詳細な構成については後述する。

キャリッジ移動ユニット１４は、キャリッジ１３を移動させる移動機構を構成し、制御ユニット１５からの指令に基づいて、キャリッジ１３をＸ方向に沿って往復移動させる。
このキャリッジ移動ユニット１４は、例えば、キャリッジガイド軸１４１と、キャリッジモーター１４２と、タイミングベルト１４３と、を含んで構成されている。
キャリッジガイド軸１４１は、Ｘ方向に沿って配置され、両端部がプリンター１の例えば筐体に固定されている。キャリッジモーター１４２は、タイミングベルト１４３を駆動させる。タイミングベルト１４３は、キャリッジガイド軸１４１と略平行に支持され、キャリッジ１３の一部が固定されている。そして、制御ユニット１５の指令に基づいてキャリッジモーター１４２が駆動されると、タイミングベルト１４３が正逆走行され、タイミングベルト１４３に固定されたキャリッジ１３がキャリッジガイド軸１４１にガイドされて往復移動する。

次に、キャリッジ１３に設けられる印刷部１６、及び撮像部１７の構成について説明する。
［印刷部の構成］
印刷部１６は、メディアＭと対向する部分に、インクを個別にメディアＭ上に吐出して、メディアＭ上に画像を形成する。
この印刷部１６は、複数色のインクに対応したインクカートリッジ（図示略）が着脱自在に装着されており、各インクカートリッジからインクタンク（図示略）にチューブ（図示略）を介してインクが供給される。また、印刷部１６の下面（メディアＭに対向する位置）には、インク滴を吐出するノズル（図示略）が、各色に対応して設けられている。これらのノズルには、例えばピエゾ素子が配置されており、ピエゾ素子を駆動させることで、インクタンクから供給されたインク滴が吐出されてメディアＭに着弾し、ドットが形成される。

［撮像部の構成］
図３は、撮像部１７の概略構成を示す図である。
撮像部１７は、図３に示すように、光源１７１と、撮像レンズ１７２と、カラーフィルター１７３と、撮像素子１７４と、を含んで構成され、例えばキャリッジ１３において、印刷部１６の＋Ｘ側で、かつ＋Ｙ側に配置されている。
このような撮像部１７は、光源１７１からの照明光をメディアＭに照射し、メディアＭで反射された光を、撮像レンズ１７２及びカラーフィルター１７３を介して撮像素子１７４に入射させる。撮像素子１７４から出力された画像信号は、Ｉ−Ｖ変換器（図示略）、増幅器（図示略）、及びＡＤ変換器（図示略）を介して制御ユニット１５に入力される。
なお、撮像素子１７４としては、例えばＣＣＤやＣＭＯＳ等の各種イメージセンサーを用いることができる。

図４は、カラーフィルター１７３の各カラーの配列を示す図である。図５は、カラーフィルター１７３の各色の分光透過率の一例を示す図である。
カラーフィルター１７３は、図４及び図５に示すように、分光透過率がそれぞれ異なる赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）の透過領域を有し、これらのＲＧＢの透過領域がベイヤー配列されたフィルターである。撮像素子１７４の１画素に対して１つの透過領域が対応付けられており、これにより、撮像素子１７４の１画素には、ＲＧＢのいずれかの透過領域を透過した光が受光される。一般に、ＲＧＢベイヤー配列では、図４に示すように、Ｇの透過領域が、ＲやＢの透過領域よりも多く配列されている。具体的には、２×２の４画素に着目した場合に、一対の対角方向のうちの一方にはＧの透過領域が配置され、他方には、Ｒ及びＢの透過領域が配置される。このため、ＲＧＢベイヤー配列のカラーフィルター１７３を介して撮像素子１７４にて画像光を撮像すると、撮像素子１７４において、緑色光が受光される画素（Ｇ画素）が、赤色光が受光される画素（Ｒ画素）や青色光が受光される画素（Ｂ画素）の２倍の数となる。

［制御ユニットの構成］
次に、制御ユニット１５について説明する。
制御ユニット１５は、図２に示すように、Ｉ／Ｆ１５１と、ユニット制御回路１５２と、メモリー１５３と、ＣＰＵ（Central Processing Unit）１５４と、を含んで構成されている。
Ｉ／Ｆ１５１は、外部機器２０から入力される印刷データをＣＰＵ１５４に入力する。
ユニット制御回路１５２は、供給ユニット１１、搬送ユニット１２、印刷部１６、光源１７１、撮像部１７、及びキャリッジ移動ユニット１４をそれぞれ制御する制御回路を備えており、ＣＰＵ１５４からの指令信号に基づいて、各ユニットの動作を制御する。なお、各ユニットの制御回路が、制御ユニット１５とは別体に設けられ、制御ユニット１５に接続されていてもよい。

メモリー１５３は、プリンター１の動作を制御する各種プログラムや各種データが記憶されている。
各種データとしては、例えば、テストパターンを印刷するための元画像データ、印刷データとして含まれる色データに対する各インクの吐出量等を記憶した印刷プロファイルデータ等が挙げられる。

図６は、プリンター１の制御ユニット１５に含まれるＣＰＵ１５４の機能構成を示したブロック図である。
ＣＰＵ１５４は、メモリー１５３に記憶された各種プログラムを読み出し実行することで、図６に示すように、走査制御手段１５４Ａ、印刷制御手段１５４Ｂ、撮像制御手段１５４Ｃ、緑色値取得手段１５４Ｄ、階調値算出手段１５４Ｅ、補正手段１５４Ｆ等として機能する。

走査制御手段１５４Ａは、供給ユニット１１、搬送ユニット１２、及びキャリッジ移動ユニット１４を駆動させる旨の指令信号をユニット制御回路１５２に出力する。これにより、ユニット制御回路１５２は、供給ユニット１１のロール駆動モーターを駆動させて、メディアＭを搬送ユニット１２に供給させる。また、ユニット制御回路１５２は、搬送ユニット１２の搬送モーターを駆動させて、メディアＭの所定領域をプラテン１２２のキャリッジ１３に対向する位置まで、Ｙ方向に沿って搬送させる。また、ユニット制御回路１５２は、キャリッジ移動ユニット１４のキャリッジモーター１４２を駆動させて、キャリッジ１３をＸ方向に沿って移動させる。

印刷制御手段１５４Ｂは、例えば外部機器２０から入力された印刷データに基づいて、印刷部１６を制御する旨の指令信号をユニット制御回路１５２に出力する。印刷制御手段１５４Ｂからユニット制御回路１５２に指令信号が出力されると、ユニット制御回路１５２は、印刷部１６に印刷制御信号を出力し、ノズルに設けられたピエゾ素子を駆動させてメディアＭに対してインクを吐出させる。なお、印刷を実施する際は、キャリッジ１３がＸ方向に沿って移動されて、その移動中に印刷部１６からインクを吐出させてドットを形成するドット形成動作と、メディアＭをＹ方向に搬送する搬送動作とを交互に繰り返し、複数のドットから構成される画像をメディアＭに印刷する。

撮像制御手段１５４Ｃは、撮像処理を実施する。具体的には、撮像制御手段１５４Ｃは、撮像部１７を制御して撮像素子１７４を駆動させ、撮像素子１７４から入力された画像信号（撮像画像）を取得する。

緑色値取得手段１５４Ｄは、取得された撮像画像に基づいて、各画素に対するＧの階調値を取得する。ここで、緑色値取得手段１５４Ｄは、撮像画像の各画素に対して、当該画素がＧ画素である場合に、その階調値をそのまま取得する。一方、当該画素がＲ画素やＢ画素である場合、当該画素の周囲に配置されたＧ画素の階調値に基づいて、Ｇの階調値を補間処理により算出する。

階調値算出手段１５４Ｅは、取得された撮像画像に基づいて、各画素に対する各色の階調値を算出する。ここで、階調値を算出する画素を対象画素とし、対象画素の色を第一色、対象画素に対して階調値の算出対象となる色を第二色とする。なお、Ｇの階調値は、上記緑色値取得手段１５４Ｄにより取得されるため、階調値算出手段１５４Ｅにより階調値を算出する対象となる第二色は、Ｒ又はＢとなる。
緑色値取得手段１５４Ｄ及び階調値算出手段１５４Ｅの処理の詳細については後述する。
補正手段１５４Ｆは、画像処理された撮像画像、つまり各画素に対して各色の階調値が算出されたデモザイクデータに基づいて、印刷プロファイルデータを補正（更新）する。

［画像処理方法］
次に、本実施形態のプリンター１における画像処理方法について、図面に基づいて説明する。
図７は、プリンター１における画像処理方法を示すフローチャートである。
プリンター１は、例えばユーザー操作や外部機器２０からの入力により、分光測定処理を実施する旨の指令を受け付けると、走査制御手段１５４Ａ及び印刷制御手段１５４ＢによりメディアＭに対してテストパターンを印刷させる（ステップＳ１）。
つまり、走査制御手段１５４Ａは、供給ユニット１１、搬送ユニット１２を制御して、プラテン１２２の所定位置にメディアＭを搬送させ、印刷制御手段１５４Ｂは、印刷部１６を制御して、搬送されたメディアＭの所定位置にテストパターンを印刷する。このテストパターンは、メモリー１５３に予め記憶された元画像データに基づいて印刷される。したがって、走査制御手段１５４Ａは、元画像データに従ってメディアＭの搬送量、キャリッジ１３の移動量を制御し、印刷制御手段１５４Ｂは、元画像データに基づいて、キャリッジ１３が所定位置に位置した際に所定色のインクを吐出させてテストパターンを形成する。また、必要に応じて乾燥機構によりインクを乾燥させてもよい。

この後、撮像制御手段１５４Ｃは、撮像部１７を制御して、テストパターンに対する撮像画像を取得する（ステップＳ２：画像取得ステップ）。具体的には、走査制御手段１５４Ａは、搬送ユニット１２やキャリッジ移動ユニット１４を制御して、撮像部１７がテストパターンに対向するように、キャリッジ１３とメディアＭとの位置を調整する。そして、撮像制御手段１５４Ｃは、光源１７１を点灯させ、撮像素子１７４を駆動させて、撮像素子１７４から出力された画像信号（撮像画像）を取得する。

この後、緑色値取得手段１５４Ｄは、撮像画像の各画素に対するＧの階調値を取得又は算出する（ステップＳ３；緑色値取得ステップ）。
図８は、撮像画像の一部を示す図である。図８において、各画素のアルファベット（Ｒ，Ｇ，Ｂ）はその画素の色（撮像素子１７４の画素に対応するカラーフィルター１７３透過領域の色）を示し、数字は画素座標を示す。例えばＧ１，１は、座標（１，１）の画素がＧ画素であることを示す。また、以降の説明にあたり、画素（ｉ，ｊ）に対するＧ階調値をＧ（ｉ，ｊ）、画素（ｉ，ｊ）に対するＲ階調値をＲ（ｉ，ｊ）、画素（ｉ，ｊ）に対するＢ階調値をＢ（ｉ，ｊ）として示す。

緑色値取得手段１５４Ｄは、撮像画像のＧ画素に対しては、そのＧ画素が有する階調値をそのまま当該画素のＧ階調値とする。
一方、緑色値取得手段１５４Ｄは、撮像画像のＲ画素及びＢ画素をＧ算出画素として、Ｇ算出画素の周囲に配置されたＧ画素の階調値を用い、補間処理によりＧ算出画素の階調値を算出する。ここで、本実施形態では、Ｇ算出画素の周囲８画素に存在するＧ画素を用いて、Ｇ算出画素のＧ階調値を算出する。
例えば、図８において、Ｒ４，３の画素は、Ｒ階調値を有するが、Ｇ階調値（及びＢ階調値）を有さない。そこで、緑色値取得手段１５４Ｄは、Ｒ４，３の周囲にあるＧ画素（Ｇ３，３、Ｇ４，２、Ｇ４，４、Ｇ５，３）を用い、下記式（３）のように、画素（４，３）に対するＧ階調値（Ｇ（４，３））を補間処理により算出する。

緑色値取得手段１５４Ｄは、同様の処理により、その他のＲ画素及びＢ画素に対してもＧ階調値を補間処理により算出する。つまり、Ｇ階調値が欠損しているＲ画素及びＢ画素に対して、画素座標が（ｉ，ｊ）である場合、下記式（４）（上述した式（１））によりＧ階調値を補間処理により算出する。

この後、階調値算出手段１５４Ｅは、撮像画像の各画素において、欠損している色の階調値をそれぞれ算出する（ステップＳ４;階調値算出ステップ）。
ここで、前述したように、撮像画像の階調値を算出する対象となる画素を対象画素とする。ステップＳ４では、撮像画像において、対象画素が第一色（Ｒ又はＧ又はＢ）の階調値を有する画素である場合に、当該第一色及び緑色以外の第二色に対する階調値を算出する。例えば、Ｒ画素に対しては、Ｂ階調値を算出し（Ｇ階調値はステップＳ３にて算出される）、Ｇ画素に対しては、Ｒ階調値及びＢ階調値を算出し、Ｂ画素に対しては、Ｒ階調値を算出する（Ｇ階調値はステップＳ３にて算出される）。

具体的には、階調値算出手段１５４Ｅは、第一色を有する対象画素に対してステップＳ３で取得されたＧ階調値（対象緑色値）と、対象画素の周囲に存在する第二色の比較画素が有する階調値（第二色の階調値）と、当該比較画素に対してステップＳ３で取得されたＧ階調値（比較緑色値）を用いた比例計算により、対象画素の第二色に対する階調値を算出する。なお、本実施形態では、比較画素として、対象画素の周囲８画素に存在する比較画素を用いる。

例えば、Ｒ４，３の画素では、Ｇ階調値とＢ階調値のデータが欠損している。Ｇ階調値は、ステップＳ３で算出されるので、ステップＳ４では、階調値算出手段１５４Ｅは、Ｒ４，３の画素に対してＢ階調値を算出する。
この場合、階調値算出手段１５４Ｅは、Ｒ４，３の周囲にあるＢ画素（Ｂ３，２、Ｂ３，４、Ｂ５，２、Ｂ５，４）を比較画素とし、以下の式（５）により、Ｒ４，３の画素に対するＢ階調値（Ｂ（４，３））を算出する。

Ｂ画素に対するＲ階調値の算出においても同様である。
つまり、対象画素（ｉ，ｊ）がＲ画素又はＢ画素である場合、第二色（Ａ）の階調値を以下の式（６）（上述した式（２））により算出する。

一方、撮像画像におけるＧ画素は、Ｒ階調値とＢ階調値のデータが欠損している。
この場合も、階調値算出手段１５４Ｅは、対象画素であるＧ画素の周囲の第二色の画素を比較画素として、比例計算によりＲ階調値やＢ階調値を算出する。
例えば、Ｇ３，３に対してＲ階調値を算出する場合、Ｇ３，３の周囲８画素のうちＲ画素であるＲ２，３、Ｒ４，３を比較画素とし、下記式（７）によりＲ階調値を算出する。
また、Ｇ３，３に対してＢ階調値を算出する場合、Ｇ３，３の周囲８画素のうちＢ画素であるＢ３，２、Ｂ３，４を比較画素とし、下記式（８）によりＲ階調値を算出する。

つまり、本実施形態では、対象画素（ｉ，ｊ）がＧ画素である場合、そのＧ画素のＲ階調値を下記式（９）により算出し、Ｂ階調値を式（１０）により算出する。

以上のステップＳ３及びステップＳ４を実施することで、撮像画像の各画素のそれぞれに対して、欠損する色の階調値が算出されることになる。
ステップＳ４の後、補正手段１５４Ｆは、ステップＳ３及びステップＳ４にて画像処理された撮像画像、つまり、各画素のそれぞれに、Ｒ階調値、Ｂ階調値、及びＧ階調値の各階調値データが存在する画像（各色のデモザイクデータ）に基づいて、画像解析処理を実施する。そして、例えば、テストパターンにおける画像の濃淡むらや、白スジ等を検出して、印刷部１６のノズルの印字密度等を補正する補正処理を実施する（ステップＳ５）。

以上のような本実施形態の画像処理を行うことで、ステップＳ５において、撮像画像を画像処理した解像度の高い処理画像に基づいた補正処理を行うことができる。
図９は、インクジェットプリンターのテストパターンとして、イエローインクで罫線を印刷した記録物の撮像画像に対して、隣接する画素のＧ階調値と、当該隣接する画素に対し、本実施形態の画像処理を用いて算出されたＢ階調値と、当該隣接する画素に対し、比較画素（Ｂ画素）の階調値のみから補間処理により算出した（従来法を用いて算出した）Ｂ階調値とを比較する図である。
従来法では、周囲の比較画素の平均値が算出されるだけであるため、図９に示すように、画素「１」と画素「３」の間の画素「２」のＢ階調値は、画素「１」のＢ階調値と、画素「２」のＢ階調値の平均値となる。図９でイエロー罫線の中心は、図９の画素「２」の位置にあり、画素「２」の位置は図４でＲとＧのカラーフィルターが並ぶ位置であり、画素「１」「３」は、ＢとＧのカラーフィルターが並ぶ位置となっているので、画素数の少ないＢ画素では詳細な階調値が得られない。
これに対して、本実施形態では、画素数の少ないＲ画素やＢ画素に対しても、Ｇ階調値を用いた比例計算を行うことで、図９のように、Ｇ階調値を考慮したＢ階調値を算出することが可能となる。
図９では、画素「２」のＢ階調値について説明しているが、本実施形態では、Ｒのカラーフィルターがない画素「１」、「３」についてのＲ階調値についても、画素「２」のＢ階調値と同様の効果を有している。

［本実施形態の作用効果］
本実施形態のプリンター１では、ＲＧＢベイヤー配列のカラーフィルター１７３を介した光を撮像する撮像素子１７４を備えた撮像部１７が搭載されている。このプリンター１の制御ユニット１５は、撮像制御手段１５４Ｃが撮像部１７を制御してメディアＭを撮像し、緑色値取得手段１５４Ｄは、撮像画像における各画素のＧ階調値を取得する。そして、階調値算出手段１５４Ｅは、撮像画像の対象画素に対して、欠損する色（第二色）の階調値を、対象画素のＧ階調値（対象緑色値）、対象画素の周囲にある第二色の比較画素のＧ階調値（比較緑色値）を用いた比例計算により、算出する。
このように、撮像画像において画素数が多いＧ画素の階調値に基づいた比例計算により第二色の階調値（Ｒ階調値及びＢ階調値）を算出することで、画素数が少ないＲやＢに対してもＧと同程度の精度で階調値を算出することができる。したがって、ＲやＢのデモザイクデータにおいても、Ｇのデモザイクデータと同程度の解像度で生成でき、例えば撮像画像を画像処理したデモザイクデータに基づいた検査処理や補正処理を行う場合に、精度の高い処理を実施することができる。

本実施形態では、ステップＳ３の緑色値取得ステップにおいて、緑色値取得手段１５４Ｄは、式（２）に基づいて、各画素のＧ階調値を取得する。
ＲＧＢベイヤー配列のカラーフィルター１７３を用いる場合、撮像画像においてＧ画素が、Ｒ画素やＢ画素に比べて配置数が多くなる。したがって、Ｇ階調値のデータが欠損するＲ画素やＢ画素に対しても、式（２）を用いた簡易な補間処理により、精度の高いＧ階調値を算出することができる。

本実施形態では、ステップＳ４の階調値算出ステップにおいて、階調値算出手段１５４Ｅは、式（４）を用いて、座標（ｉ，ｊ）の対象画素に対する第二色（Ａ）の階調値Ａ（ｉ，ｊ）を算出する。
つまり、比較画素における第二色の階調値の平均値に対して、比較緑色値の平均及び対象緑色値の比を掛け合せた比例計算を行う。これにより、第二色の階調値の算出において、解像度の高いＧ階調値の大小が考慮され、第二色の階調値（Ｒ階調値やＢ階調値）を高精度に算出できる。

［その他の実施形態］
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、及び各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。

上記実施形態では、比較画素として、対象画素の周囲８画素から第二色の画素を選択したが、これに限定されない。例えば比較画素として、対象画素の周囲２４画素から第二色の画素を選択してもよい。

また、撮像画像において、解像度を上げたい方向に偏重して階調値を算出してもよい。例えば、撮像画像の水平方向に沿った検査を行う場合では、水平方向の解像度を上げる必要がある。この場合では、水平方向に偏重した階調値を算出する。具体的には、ステップＳ３において、緑色値取得手段１５４Ｄは、Ｒ画素やＢ画素に対するＧ階調値を算出する際に、水平方向に並ぶ周囲のＧ画素からＧ階調値を補間する。例えば、図８のＲ４，３のＧ階調値を算出する場合、Ｇ３，３及びＧ５，３のＧ階調値から、Ｇ（４，３）＝（Ｇ（３，３）＋Ｇ（５，３））／２により算出する。
垂直方向に偏重した階調値を算出する場合も同様であり、垂直方向に並ぶ周囲のＧ画素からＧ画素を補間する。例えば、図８のＲ４，３のＧ階調値を算出する場合、Ｇ４，２及びＧ４，４のＧ階調値から、Ｇ（４，３）＝（Ｇ（４，２）＋Ｇ（４，４））／２により算出する。

上記実施形態では、撮像部１７がキャリッジ１３に搭載され、メディアＭに対して一方向に移動可能に構成されていたが、本発明はこれに限定されない。例えば、撮像部１７がキャリッジに搭載されない構成とし、所定の撮像範囲を撮像するものであってもよく、キャリッジ１３とは別体として他の移動機構により移動可能な構成であってもよい。
また、プリンター１に撮像部１７を設ける構成を例示したが、これに限定されない。本発明における画像処理方法では、撮像画像に基づいて、被撮像物を検査する場合に特に好適に用いることができ、例えば工場等の製造ラインにおいて、製造された製品を検査する際に、製品を撮像装置により撮像し、その撮像画像を本発明の画像処理方法により画像処理してもよい。さらに、上記のような検査等の用途に限定されず、例えば、一般家庭においてデジタルカメラ等により撮像された撮像画像を編集する場合等においても用いることができる。

その他、本発明の実施の際の具体的な構造は、本発明の目的を達成できる範囲で上記各実施形態及び変形例を適宜組み合わせることで構成してもよく、また他の構造などに適宜変更してもよい。

１…プリンター、１５…制御ユニット、１６…印刷部、１７…撮像部、１５４…ＣＰＵ、１５４Ａ…走査制御手段、１５４Ｂ…印刷制御手段、１５４Ｃ…撮像制御手段、１５４Ｄ…緑色値取得手段、１５４Ｅ…階調値算出手段、１５４Ｆ…補正手段、１７１…光源、１７２…撮像レンズ、１７３…カラーフィルター、１７４…撮像素子。

Claims (3)

1. 赤色、緑色、及び青色を有するベイヤー配列のカラーフィルターを備えた撮像素子から得られる撮像画像に対し、第一色の対象画素における前記第一色及び前記緑色以外の第二色の階調値を算出する画像処理方法であって、
   前記対象画素の周囲の前記第二色の比較画素における前記緑色の階調値である比較緑色値、及び前記対象画素の前記緑色の階調値である対象緑色値を取得する緑色値取得ステップと、
   前記比較緑色値及び前記対象緑色値を用いた比例計算を用いて前記対象画素に対する前記第二色の階調値を算出する階調値算出ステップと、
   を実施することを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記緑色値取得ステップは、前記対象緑色値Ｇ（ｉ，ｊ）を下記式（１）により算出し、
   前記階調値算出ステップは、前記第二色の階調値Ａ（ｉ，ｊ）を下記式（２）により算出する
   

   

   ことを特徴とする画像処理方法。
3. 請求項１又は請求項２に記載の画像処理方法において、
   前記緑色値取得ステップは、前記対象画素が前記赤色又は前記青色である場合に、前記対象画素の周囲の前記緑色の画素に基づいて前記対象緑色値を補間処理により算出し、前記比較画素の周囲の前記緑色の画素に基づいて前記比較緑色値を補間処理により算出する
   ことを特徴とする画像処理方法。

Images