JP3986877B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、線順次走査方式のカラーイメージセンサを利用した画像読み取り装置に関し、モノクロ読み取り時およびカラー読み取り時におけるフィルタ処理回路を共通ないし簡略化することができる画像処理装置に関する。
【０００２】
【従来の技術】
カラーイメージセンサを利用した画像読み取り装置では、フィルタ処理を、カラーの場合とモノクロの場合とで共用することで、画像処理装置のフィルタを単一とし、装置全体の製造コストを低減したものが知られている（特開平１０−１３６１５４号公報等参照）。
【０００３】
この種の画像読み取り装置ではＬＥＤのような応答性のよい光源をＲ（赤）、Ｇ（緑）、Ｂ（青）３色分備えており、カラー読み取り時には、１ライン分のラインセンサに対して、走査ラインごとにＲＧＢを順次点灯させて読み取りを行うとともに、モノクロ読み取り時には、たとえばＧ（緑）光源のみを用いて読み取り動作を行っている。
【０００４】
画像処理装置へのライン単位のデータ入力形態に着目すると、モノクロ読み取り時には、再生画像に対して空間的に連続するラインが入力される。一方、カラー読み取り時にはラインごとに前ラインとは異なる色成分が入力される。このため、カラー読み取り時には、画像処理装置は、たとえば、シェーディング補正等の歪み補正処理におけるように、各種画像処理を色成分ごとに分別した処理を行う必要がある。
【０００５】
特開平１０−１３６１５４号公報記載の画像処理方法では、処理回路自体を同一として、参照する補正ラインメモリだけを色ごとに切り換える構成により、シンプルで低コストのカラー画像読み取り装置を提案している。
【０００６】
しかし、特開平１０−１３６１５４号公報記載の画像処理装置では、シェーディング補正やγ補正といった、参照するラインメモリが基準データとなるものを対象としており、原稿読み取り中に随時更新する、フィルタ処理向けマトリクス構成用途のメモリに対しては使用条件が異なるため色毎の切り換え構成が必ずしも最適とは言えない。
【０００７】
ラインメモリを用いて副走査方向のフィルタ処理を実現する際に、モノクロ読み取り時は入力ラインと、過去に入力したラインメモリに保存されている隣接ラインの全てを用いてフィルタを構成すればよいが、カラー読み取り時は同じ色成分のデータだけを参照ラインとして演算しなければならないため、ラインメモリに格納されているデータの色成分を意識してフィルタ演算回路を構成する必要がある。この実現方法として、各色成分毎にアクセスするラインメモリ群を切り換える方式が一般に知られている。
【０００８】
シェーディング補正と同じように各色成分に対してモノクロと同じ機能を単純なラインメモリの切換動作で実現するためには、マトリクス構成用ラインメモリが３倍必要となる。たとえは、モノクロ読み取りのマトリクス構成用として６本のラインメモリを確保すると、カラー読み取りで同じ機能を実現するためには、１８本のラインメモリが必要となる。これでは回路規模的に大きな負担となってしまう。
【０００９】
また、このような方式はマトリクス形成用ラインメモリの本数によっては、切り換え回路の規模が増加するだけでなく、異なる動作モードとして設計段階での機能検証も独自に行う必要が生じ、開発期間の短縮化の妨げとなる。
【００１０】
本発明は、モノクロ読み取り時およびカラー読み取り時におけるフィルタ処理回路を簡略化することができ、フィルタ処理におけるマトリクス構成用ラインメモリのアクセスを、モノクロ読み取り時、カラー読み取り時で同一とすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、６本の FIFO ラインメモリと７本のシフトレジスタとフィルタ処理部とを備え、線順次入力する画素信号を１番目のシフトレジスタを介して１番目の FIFO ラインメモリに入力させ、その出力を２番目のシフトレジスタを介して２番目の FIFO ラインメモリに入力させる構成を繰り返し、６番目の FIFO ラインメモリからの出力を７番目のシフトレジスタに入力させると共に、各シフトレジスタから順次出力される画素信号をフィルタ処理部に入力させるように接続構成し、前記フィルタ処理部には、線順次入力する画素信号がモノクロ信号の場合は、副走査方向４ライン目と、主走査方向４ライン目とにそれぞれ所定の係数値を配置したフィルタ係数を選択する手段と、線順次入力する画素信号が RGB カラー信号の場合は、副走査方向４ライン目と、副走査方向１ライン目かつ主走査方向４画素目と、副走査方向７ライン目かつ主走査方向４画素目にそれぞれ所定の係数値を配置したフィルタ係数を選択する手段と、各係数を対応する画素値に乗算し、その積の全てを加算することで注目画素の補正値を求めて注目画素に加算するフィルタ処理手段とを設けた、ことを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を説明する。ここでは、イメージスキャナで読み取ったＲＧＢ線順次に入力するカラー信号、あるいはＧ成分を連続して入力するモノクロ信号を、多値画像データとして装置本体あるいは装置外部へ出力する例を示す。
【００１８】
図１において画像処理装置１は、カラーイメージスキャナ（ＣＩＳ）１０１と、ＡＤコンバータ（ＡＤＣ）１０２と、シェーディング補正部１０３と、γ補正部１０４と、変倍補正部１０５と、フィルタ処理部１０６と、シェーディング補正用ラインメモリ２０１と、γ補正テーブル２０２と、変倍処理用ラインメモリ２０３と、フィルタ処理用ラインメモリ２０５とを含んで構成されている。
【００１９】
ＣＩＳ１０１により読み取られたアナログビデオ信号は、ＡＤＣ１０２で多ビットのデジタル値に量子化され、デジタル画像処理が可能な信号形態に変換される。
【００２０】
ラインメモリ（ＦＩＦＯ）２０１には、予め白基準板を読み取ることにより、白波形の歪みデータが格納されており、原稿画像の読み取り時には、シェーディング補正部１０３では、この白波形の歪みデータを参照して主走査の歪みを補正する。白波形の歪みは、イメージセンサのチップ感度ばらつきの他に、光源の照度ばらつきが大きく寄与するので、個別の光源をもつ線順次読み取り方式のＣＩＳ１０１の場合、ＲＧＢ別に白波形の歪みデータを格納する必要ある。このことから、図１では、シェーディング補正部１０３に接続されたラインメモリ２０１には３ライン分（ＦＩＦＯ−Ｒ，ＦＩＦＯ−Ｇ，ＦＩＦＯ−Ｂ）の記憶領域が用意されている。シェーディング補正部１０３では、原稿画像の読み取り時に、入力する色成分と同じ色成分の白波形歪みデータを参照してシェーディング補正を施すことになる。
【００２１】
γ補正部１０２は、シェーディング補正された画像データに対して、ＳＲＡＭに用意された補正テーブル（ＬＵＴ：Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）２０２を参照してγ特性の補正処理を施す。画像データのγ特性も、イメージセンサの分光特性によってはＲＧＢで差異が生じることが十分考えられるので、各色成分（ＲＧＢ）ごとに独立の補正テーブル（ＬＵＴ−Ｒ，ＬＵＴ−Ｇ，ＬＵＴ−Ｂ）が用意されている。
【００２２】
γ補正された画像データは、変倍処理部１０５により主走査方向についての変倍処理が施される。変倍は、大別すると拡大と縮小の２種類があるが、共に処理前後のデータレートを同一とする。このため、２ライン分のラインメモリ２０３を交互にリード／ライトするトグルメモリが必要となる。これは主走査だけの処理が基本であるため、カラー読み取り時においてもモノクロ読み取り時と同じ構成および動作で差し支えない。但し、カラー読み取りの場合には、変倍の前後で１ライン分の遅延が発生するので、処理する色成分が異なることに注意しなければならない。
【００２３】
また、変倍処理により副走査方向の変倍も可能とする構成の場合、副走査方向に演算処理が必要となるケースもあるが、その場合は色成分毎のラインメモリが必要となる。この副走査方向の変倍処理は、周知であり、後述するフィルタ処理と同様に処理できるので説明は省略する。
【００２４】
変倍処理された画データは、フィルタ処理部１０６によりフィルタ処理が施される。フィルタ処理は、ラインメモリ２０４と、フィルタ処理部１０６に付属のＦＦ（シフトレジスタ）を利用して空間的に２次元の画データを一度に扱えるようにし、主走査方向や副走査方向のボケを補正したり（エッジ強調）、逆に平滑化したりする処理である。ＦＦ（シフトレジスタ）は、フィルタ処理部１０６に内蔵していてもよいし、当該処理部の外部に設けられていてもよい。２次元の画像データを扱うためにはラインメモリは必須であり、図１ではラインメモリ２０４は、６ライン分の記憶領域（ＦＩＦＯ１〜ＦＩＦＯ６）を備えている。フィルタ処理部１０６では、１ライン分の画データを格納するメモリを備えており、変倍処理部１０５から入力する画データを含めた７ライン分の画データによりフィルタ処理を行うことができる。主走査方向のフィルタは各ラインメモリからの読み出しデータをシフトレジスタに入力することで構成できる。
【００２５】
本発明は、このフィルタ処理用のラインメモリ（ＦＩＦＯ）の数（本実施形態では６つ）、およびフィルタ処理における副走査方向のフィルタ係数に関わるものである。なお、これら一連の画像処理は、本発明を説明するために例示したものであり、本発明の技術的範囲を限定するものではない。本発明が従来技術と異なる部分は、フィルタ処理部１０６である。したがって、フィルタ処理部１０６以外の構成としては種々の構成を採用できる。
【００２６】
図２はフィルタ処理部１０６と、ラインメモリ２０４の動作を模式的に示す図である。図２（ａ）では、モノクロでの動作を示しており、変倍処理部１０５から送出された画データがシフトレジスタＦＦを経由後、ＦＩＦＯ１に書き込まれる。このとき、もともとＦＩＦＯ１に格納されていた画データは、ＦＩＦＯ２にシフトされる。このシフト動作が全てのＦＩＦＯにわたって同様に行われることで、６ライン分のＦＩＦＯを使って７ラインのマトリクスが構成される。この場合には、７ライン中の中心のラインに属する画素を注目画素として処理する。
【００２７】
図２（ｂ）は、色毎に参照するラインメモリ（ＦＩＦＯ１〜ＦＩＦＯ６）を切り換える方式により、６本のＦＩＦＯをＲＧＢ各色で２本ずつ振り分けている。図２（ｂ）ではＲＧＢ各色の３ライン分のマトリクスを構成する場合を示している。
【００２８】
この場合、変倍処理部１０５から送出される画データの色に応じてデータを更新するシフトレジスタ（ＦＦ０〜ＦＦ６）、ＲＧＢ各色を２本ずつに振り分ける切換回路２０６１およびマトリクスとして利用するデータを選択する切換回路２０６２，２０６３が必要となる。なお、モノクロ／カラーの両読み取りモードに応じた回路としては、２図（ａ）および（ｂ）の動作が必要となるため、回路構成として切換回路が必要である。
【００２９】
つぎに、図２（ｂ）に示したような構成を必要とせずに同様の機能を達成する実施形態を説明する。
【００３０】
図３にフィルタ処理部１０６でのモノクロ読み取り時のマトリクス構成例を空間的にイメージした模式図を表す。マトリクスはＡ１〜Ａ７，Ｂ１〜Ｂ７，Ｃ１〜Ｃ７，Ｄ１〜Ｄ７，Ｅ１〜Ｅ７，Ｆ１〜Ｆ７，Ｇ１〜Ｇ７まで計４９画素で構成され、その注目画素は中央のＤ４である。
【００３１】
最下段の現ラインデータは、ＦＩＦＯ１に格納されるが、ＦＩＦＯ１の読み出しデータは下から２段目の前ラインデータとして構成される。ＦＩＦＯへの格納（書き込み）に際しては、保存されている同じ主走査位置の画データが読み出された後に書き込むことが条件となる。他のＦＩＦＯに対しても同様な動作が条件である。
【００３２】
このように構成されたマトリクスに対して図４に例示するような係数を各画素に乗算し、その積全てを加算することで注目画素の補正値を求め、注目画素の画データレベルに補正値を加算することがフィルタ処理のアルゴリズムである。
【００３３】
フィルタ処理の特性は、その参照画素の選択と、フィルタ係数の設定で決まることになる。たとえはハードウェアで実現する場合、図５にブロック図で示すように、主走査方向の補正係数と、副走査方向の補正係数を別々の演算し、演算結果を加算して補正値を求める構成が一般的である。なぜなら、１次元ラインセンサによる原稿読み取り方式の場合、主走査方向と副走査方向でＭＴＦ特性に影響する要因が異なるため、主走査と副走査のフィルタ係数を独立に切り換える要求があるためである。つまり、多様なフィルタ特性を実現しようとした場合、主走査方向のフィルタ係数と副走査方向のフィルタ係数を独立に数種類用意し、組合せて演算する方式が最も一般的な方式となる。
【００３４】
図５では、主走査フィルタ係数選択コマンドと副走査フィルタ係数選択コマンドを入力し、各々独立にフィルタ係数を選択できる構成となっている。すなわち、図５では、フィルタ処理部１０６は、主走査フィルタ係数選択コマンドを入力する主走査フィルタ係数１０６１と、主走査フィルタ係数１０６１の出力およびフィルタ構成画素のデータ（Ａ１〜Ｇ７）を入力する主走査積和演算部１０６２と、副走査フィルタ係数選択コマンドを入力する副走査フィルタ係数１０６３と、副走査フィルタ係数１０６３の出力およびフィルタ構成画素のデータ（Ａ１〜Ｇ７）を入力する副走査積和演算部１０６４と、主走査積和演算部１０６２および副走査積和演算部１０６４の出力を入力する加算部１０６５と、注目画素（Ｄ５）および加算部１０６の出力を入力し、フィルタ補正結果Ｄ４’を出力する補正値加算部１０６６とからなる。
【００３５】
フィルタ処理部１０６は、フィルタ処理に関してはモノクロ／カラーの各読み取りモードに応じて副走査方向のフィルタ係数のみを切り換えることができる。この場合には、フィルタ処理をソフトウェアで構成する方式を対象としているが、その場合は図５のようなブロック図は同等なフローチャートで説明できる。
【００３６】
図６（a），（ｂ）は、図４に示したフィルタ係数を、主走査と副走査に分離して表示する説明図である。図４に示すフィルタ係数は、モノクロ読み取りを意識しているもので、副走査方向に対して注目画素の上下画素が全て演算に寄与しているので、線順次のカラー読み取りに対して適用できない。
【００３７】
図７に、図２の（ａ）のモノクロ時と同様なマトリクス構成のまま、カラー読み取り時のフィルタ処理を可能とするフィルタ係数例を示す。図７のマトリクスでは、図４における係数のうち副走査方向の係数のみを変更してある。注目画素の係数を３２から２４に変更しているのは、副走査方向のゲインを１とするべく、図６（ｂ）における注目画素の係数を８としているためである。
【００３８】
図７では、たとえは、変倍処理から送られてくる画データがＲの場合、フィルタを構成するＲＧＢ各色成分の配置は同図左に示されるような配置となり、注目画素はＲとなる。これに対して、副走査方向のフィルタ係数のＧ，Ｂのラインに対しては、全て０（ゼロ）であり、Ｒラインだけ有効な係数が設定されている。つまり、図５に示されるような演算回路あるいはこれに相当するプログラムによって副走査方向のフィルタ演算をモノクロ時と全く同じ積和演算としても、注目画素と同じＲ成分しか演算結果に反映されないことになる。処理するラインが順次移行すると、注目画素はＧ→Ｂ→・・となるが、全く同じ理由でＧ成分だけあるいはＢ成分だけのフィルタ演算が可能になり、全ての色成分に対して同じようにフィルタ処理される。
【００３９】
また、注目画素のフィルタ内における相対的な位置もモノクロと同じであるため、フィルタ処理後のライン遅延もモノクロ／カラーで変化せず、後段の画像処理装置および画像処理システムが動作モードによる違いを意識しないですむことになる。
【００４０】
本発明では、（２Ｎ＋４）（Ｎ：正の整数）個とし、フィルタ処理部１６は、モノクロ読み取り時には（２Ｎ＋５）ラインのモノクロフィルタとして動作させ、カラー読み取り時には｛（２Ｎ＋４）／３＋１：余りは切り捨て｝ラインのカラーフィルタとして動作させるものであり、図１〜図７の例では、Ｎ＝１の場合にあたる。これ以外の場合も含め、Ｎに対するフィルタ構成ライン数を下表にまとめる。Nが２，３，４のいずれの場合でも上述した本発明の基本的な特徴は同様に当てはまる。
【００４１】

【００４２】
【発明の効果】
以上説明したように本願発明によれば、フィルタ処理回路の参照ライン切り替え回路やカラー専用演算回路を追加することなく、モノクロ信号と RGB カラー信号とのフィルタ処理をフィルタ係数の変更だけで対応することができ、カラー処理のためだけのハードウェアを極力排除することができる。
【００４４】
さらに、本発明の画像処理装置は、フィルタ処理に関してはモノクロ読み取り時とカラー読み取り時でフィルタ係数だけを切り換えるので、フィルタ処理をソフトウェアで構成する場合において、制御フローのほとんどを共通化することができ、シンプルなプログラムを構成することができる。
【図面の簡単な説明】
【図１】画像処理装置の一実施形態を示すブロック図である。
【図２】マトリクス構成のためのラインメモリ動作を示す図であり（ａ）はモノクロ時の動作時において、７ラインマトリクスによる処理を示す図、（ｂ）はカラー時の一般的な３ラインマトリクスによる処理を示す図である。
【図３】マトリクス構成の一例を示す図である。
【図４】モノクロフィルタの係数例を示す図である。
【図５】フィルタ演算回路の構成例を示す図である。
【図６】主走査と副走査のフィルタ係数分離例を示す図であり、（ａ）は主走査の係数の一例を示す図、（ｂ）は副走査の係数の一例（図３の係数に対する例）を示す図である。
【図７】カラーフィルタの係数例を示す図である。
【符号の説明】
１ 画像処理装置
１０１ カラーイメージスキャナ（ＣＩＳ）
１０２ ＡＤコンバータ（ＡＤＣ）
１０３ シェーディング補正部
１０４ γ補正部
１０５ 変倍補正部
１０６ フィルタ処理部
２０１ シェーディング補正用ラインメモリ
２０２ γ補正テーブル
２０３，２０４，２０５ ラインメモリ
１０６１ 主走査フィルタ係数
１０６２ 主走査積和演算部
１０６３ 副走査フィルタ係数
１０６４ 副走査積和演算部
１０６５ 加算部
１０６６ 補正値加算部

Claims (1)

1. ６本の FIFO ラインメモリと７本のシフトレジスタとフィルタ処理部とを備え、
   線順次入力する画素信号を１番目のシフトレジスタを介して１番目の FIFO ラインメモリに入力させ、その出力を２番目のシフトレジスタを介して２番目の FIFO ラインメモリに入力させる構成を繰り返し、６番目の FIFO ラインメモリからの出力を７番目のシフトレジスタに入力させると共に、各シフトレジスタから順次出力される画素信号をフィルタ処理部に入力させるように接続構成し、
   前記フィルタ処理部には、
   線順次入力する画素信号がモノクロ信号の場合は、副走査方向４ライン目と、主走査方向４ライン目とにそれぞれ所定の係数値を配置したフィルタ係数を選択する手段と、
   線順次入力する画素信号が RGB カラー信号の場合は、副走査方向４ライン目と、副走査方向１ライン目かつ主走査方向４画素目と、副走査方向７ライン目かつ主走査方向４画素目にそれぞれ所定の係数値を配置したフィルタ係数を選択する手段と、
   各係数を対応する画素値に乗算し、その積の全てを加算することで注目画素の補正値を求めて注目画素に加算するフィルタ処理手段とを設けた、ことを特徴とする画像処理装置。

Images