JPS63302660A - カラー画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明はカラー画像を電気信号として読取るカラー画像
入力装置に関する。

（従来の技術） 従来、カラー画像の読取りに用いるカラーイメージセン
サとして１つのラインセンサ上に通常の３色の色フィル
タを順に配列した点順次センサと呼ばれるもの（特願昭
５８−１７８６５９号公報）が知られている。点順次セ
ンサは１本のラインセンサで色情報を読込めるという利
点をもっているるか、一方原稿上の同じ位置について３
色の色信号を得ることができない。多くの色・信号の処
理系や出力系は１画素に対して３色の色信号を必要とす
るので、信号を整合させる必要がある。通常は第２図に
示すように隣接する３素子ごとを組にして同じ画素とみ
なし、この３つの素子の出力信号を１画素の３色の色信
号としている。この方法では読取り画素数の３倍の素子
が必要となる。また、写真などのように濃度変化の滑ら
かな画像を読込む場合には問題はないが、原稿上の明る
さの急に変化している部分にカラーノイズすなわち色相
のずれが生じ、高精細な画像の読取りには支障がある。

カラーノイズを除去するために、補間により等価的に各
色信号の読取り重心をずらす方法がある（特願昭５９−
２７４１２８号）。この方法はカラーノイズの除去に大
きな効果があるが、一方、補間演算は一種の平均化処理
であるのでセンサで得られた信号を補間した信号におき
かえることにより、信号の解像度が低下してしまう。

また、各受光素子を１画素とみなし、各受光素子に該当
しない色信号はその両側の色信号を補間演算して得る方
法もある（芳林他：　「カラーファク、シミリ用センサ
における色フィルタ配列と読取り品質」第１２回画像電
子全大（昭５８））。しかし、単純な補間演算では、実
質的には解像度は上がらず、信号の密度に比較して解像
度の低い信号しか得られない。

（発明が解決しようとする問題点） 前記のように３つの受光素子の組を１画素とみなす方法
を用いると、モノクロの場合に比ベラインセンサに３倍
の受光素子が必要となる。例えば、Ａ４幅を１６本／ｌ
ｖＡの密度で読取るには１００８０の受光素子が必要と
なり、大規模なラインセンサを用いねばならない。また
、それとともにセンサ出力信号が高速になる、照明に必
要な光量を上げる。

などの問題が生ずる。また、前記で述べたようにカラー
ノイズが生ずる問題もある。カラーノイズは単純補間処
理により除くことができるが、一方、信号の解像度を低
下させてしまう。また、各受光素子を１画素とみなす方
法では信号の密度に比べて得られる解像度は低くなる。

このように従来の方法ではカラーセンサに解像度の３倍
相当以上の受光素子数が必要であり、点順次カラーセン
サの特性を十分に生かしていない。

［発明の構成］ （問題点を解決するための手段） 本発明では、点順次カラーセンサで読取った色信号から
、ラインセンサの各受光素子単位を１画素と考えて各画
素についてそれぞれ３色の色信号を補間演算するもので
、かつその演算において、当該色の他の色信号を用いて
いる。

（作用） 一般に３色の色成分は完全に独立ではなく、互いにある
程度の相関をもっている。したがって、ある受光素子の
出力信号はその受光素子の位置の当該色成分と゛ともに
他の色成分の情報をももっている。したがって、当該色
信号以外の色信号を用いることにより、当該色信号間の
補間による信号よりも解像度の高い信号が得られる。

（実施例） 以下、図面により本発明の実施例について説明する。第
１図は本発明を用いたカラー画像入力装置の構成をしめ
す。光源２０１により原稿面２０２を照明し、原稿面上
の線状領域２０３を例えば分布屈折串形円筒レンズアレ
イ２０４などの密着光学系により、カラーラインセンサ
２０５上に等倍結像させる。カラーラインセンサ２０５
は例えばＣＣＤなどを用いた１次元のラインセンサの受
光素子上に第３図に示すように赤（Ｒ）、緑（Ｇ）、青
（Ｂ）の３色の色フィルタを順に配置したもので、点順
次カラーセンサと呼ばれる。ここでラインセンサの受光
素子密度と１　ｍｍ当り２４とする。このセンサにより
各受光素子に対応する位置の当該色フィルタの成分が電
気信号に変換され、゛ラインセンサの出力を順次読みだ
す（主走査）ことにより、このライン上のカラー画像情
報を電気信号として読みとることができる。以後、第１
素子目の受光素子の出力信号をＸｌとし、特にＲフィル
タ、Ｇフィルタ、Ｂフィルタの出力信号をＲ、Ｇ　　、
Ｂ　　とする。

（以下余白） そしテ光源、光学系、ラインセンサをキャリジ２０６に
一体にして主走査方向に対し、垂直方向に走査（副走査
）することにより原稿画像全面の情報を読取ることがで
きる。

ラインセンサの出力信号２５１は増幅器２０７で増幅し
、Ａ／Ｄ変換器２０８ディジタル信号２５２に変換した
のち、規格化回路２０９で白レベル、黒レベルの規格化
を行う。ラインセンサの各受光素子の感度ばらつきや光
源の照度むらのため、一様な反射率の原稿を読取っても
一様な出力信号を得られない。この回路では予め原稿面
の端部にある白基準板、黒基準板を読込んで、得られる
基準信号をラインメモリなどに記憶しておき、原稿読取
り時にはその記憶値を用いて画像信号の前記のばらつき
の補正を行う。これにより、白基準板、黒基準板と同じ
反射率をもつ原稿にたいしては画像信号はそれぞれ１．
０となり、補正と同時に白バランスも行われる。本回路
の具体的な構成などについては例えば特願昭５９−１９
２６６３号に詳しく述べられている。規格化した画像信
号２５３は各画素すなわち、各受光素子□単位でＲＧＢ
のうち１色の色信号し力ぐもたないので、つぎの拡張補
間回路２１０で各画素につき３色の色信号に変換する。

この回路が本発明のポイントであるので、以下この回路
の行う処理、構成について詳しく説明する。

この回路では（２）式に示す演算を行い、各画素ｌのＲ
ＧＢ信号Ｒ’、　、Ｃ’、　、Ｂ’、を求め、これを補
間出力信号としている。

但しＡは補間マトリクスで例えば下記のような値をとる
。

またＸ　は画素１前後のセンサ出力信号をベクトル表記
したものである。

Ｘ　　−（Ｘ　　Ｘ　　Ｘ　　ＸＸ　　Ｘ　　Ｘ）　　
　　（４）１　　１＋３　１４２　１１１　１　１−１
　１−２　１−３この式を各成分に分゛けて表記すると
例えば１−３ｎの場合、（５）式のようになる。

二こで通常第１項はその色成分の直流分１、第２．３項
は直流分０となるように係数は選ばれる。

すなわち例えばＧｏｌの場合、次のような条件が通常み
たされる。

これにより、第１項は当該色成分の線形補間値、第２、
第３項は他の色成分の差分による補正成分と考えられる
。

第４図に拡張補間回路の具体的な構成を示す。

この回路に入力される画像信号は第５図に示すよ、うに
１チヤネルの信号線上をセンサの受光素子の配列順に時
系列で流れてくる。この信号をシフトレジスタ４０１で
例えば７素子分を記憶し、各段の７つの出力信号にそれ
ぞれ乗算回路４０２で定数Ａｊｋを乗じ、加算回路４０
３によりその結果の総和をとる。この演算は１画素につ
き定数ＡＪｋを切替えて（ｋ−０，１，２）　３回行い
、それぞれの演算結果をレジスタ４０４ａＳｂｓｃの順
に書込む。ここで定数Ａｊｋの切替えは１−３ｎの場合
に−０，１，２、の順に１−３ｎ＋１の場合に−２，０
，１の順にｔ−ａｎ＋２の場合に−１，２，０の順に行
う。なお、乗算回路は乗算器で構成してもよいが、定数
の乗算なのでルックアップテーブルを用いた方が部品に
構成できる。レジスタ４０４の出力信号がその画素の３
色の色信号Ｒ’　　、Ｇ’１、Ｂ’、となる。つぎに本
回路により解像度の高い色信号が得られることを説明す
る。

通常のモノクロ画像では隣接する画素の明るさの間には
相関がある。したがって、ある２つの画素の明るさが既
知ならば、その間の画素の明るさはその２つの画素の明
るさの線形補間により推定できる。カラー画像において
も同様にＲ，Ｇ、Ｂ成分はそれぞれ空間的に相関をもっ
ているが、さらにＲ，Ｇ、Ｂの各成分の空間変化の間に
も相関がある。すなわち、Ｒ，Ｇ、Ｂ成分のうち、ある
成分が増加している部分では他の成分の増加している確
率が高く、いいかえれば色相成分のほうが輝度（明るさ
）成分より相関が強いことになる。

例えば第１図に示すようにＲ成分が増加している部分（
画素０−３の間）では、他のＧ、Ｂ成分も増加する確率
が高く、Ｒ成分が減少している部分（画素３−６の間）
では他の成分も減少する確率が高い。

ところで、点順次センサではＲ信号は画素ｏ１３．６・
・、Ｇ信号は画素１．４．７・・・、Ｂ信号は画素２．
５．８・・・の情報が読取られる。

画素３．４のＢ成分などの情報は直接信号として得られ
ず、センサの読取り信号から推定する必要がある。ＲＳ
ＧＳＢの各成分が互いに独立と仮定すると、画素３．４
のＲ信号の推定値は画素２．５の信号の線形補間の値と
するのが最も確率が高い。この方法によれば、本来各色
成分は８本／ＩＩＩ＋１の情報であるので、補間により
信号密度と上げてもその解像度は８本／龍相当である。

しかし前記でのべたようにＲＳＧ、Ｂの各成分の間に相
関があるので、Ｂ信号の画素３．４の推定にＲＳＧの成
分の変化を考慮したほうが推定の尤度が高くなる。Ｒ信
号は画素３で上に凸、Ｇ信号は画素４で上に凸となって
いるのでＢ成分も画素３．４で上に凸となっていると推
定できる。具体的には画素３．４のＢ信号の推定値とし
て画素２．５のＢ信号と線形補間した値にＲ，Ｇ信号の
差分成分より得られる補正性を加算すればよい。これに
より、２４本／龍の情報をもつ他の色成分の信号を用い
て補間を行うことにより、８本／關相当以上の解像度を
もつ信号を得られる。この推定演算は前記のマトリクス
演算で表わされ、前記の拡張補間回路の構成によりこの
演算を実現できる。

以上で本発明による補間方式の定性的な説明を行ったが
、つぎに本方式の定量的な解釈および補間マトリクスＡ
の係数の決め方について説明する。

本発明では、画像のＲ，ＧＳＢ成分を線形なガフス信号
モデルとして考え、未知のＲ，Ｇ％Ｂ成分に対し、それ
らの信号の確率密度が最大となる値を推定値として計算
し、それを補間出力するものである。

各Ｒ，Ｇ％Ｂ成分の隣接画素間の差分をΔＲ１、ΔＧ　
１ΔＢｌとする。

これらの信号は平均値が０で、ＲＧＢ成分間で互いに相
関をもつ。これらの信号がガフス分布、に従うならばこ
れらの信号が八Ｒ１ΔＧ１、ΔＢ１なる値ととる確率密
度Ｐ、は ここでＭはΔＲ、ΔＧ　１ΔＢ１の共分散行列である。

ここで、さらにΔＲ１ΔＧ１、ΔＢ１の隣接画素間での
相関を無視すると、（仮定１）信号全体（１−０−−”
）を通した確率密度Ｐ　ａｌｌは となる。Ｐａ１ｌと最大にするＤｌが、最も尤度の高い
推定値と考える。ここで、ｅｘｐ関数は単調増加である
から前記の条件は Ｐ′−ΣＤ　ｔＭ’Ｄ　　　　　　　　　　　（１０）
Ｌｉ　　　　　１ を最少とすることと同値である。ここでさらに共分散行
列ＭがΔＲ１ΔＧ１ΔＢに関して対称すすなわちΔＲ１
ΔＧ１ΔＢの分散が等しく、またΔＲ１ΔＧ１ΔＢ間の
共分散がそれぞれ等しいと仮定する。（仮定２） 式の表現の簡素化上、ｘ　　、ｙ　　、ｚ　　を次のよ
うに定義する。

Ｘｌはラインセンサのｉ画素目の出力信号となり、Ｙ、
Ｚ、はラインセンサで得られない未知の信号となる。そ
こで前記のＰ′をＹ　　、Ｚ　　で偏微分したものが０
という方程式を解けば確率密度を最大とするｙｌｚｌが
得られる。これを解く但Ｌ　　Ｘ−（Ｘｏ、Ｘｌ、−）
’　　Ｙ−（Ｙｏ、Ｙ、、　・）’２−（Ｚｏ、Ｚ、　
、・・・）１ となる。ＢはＮｘＮマトリクス（Ｎ−ｏａ）で、対角線
に平行な直線上では一定の値をとる行列であり、かつ対
角線から十分離れた部分ではほぼ０となる。゛ Ｂｌｊ−’ｂ（、、ｊ）　　ｌｆ　Ｉ　ｔ−ｊ　ｌ＞＞
Ｏｂ（、、ｊ）〜０（１３）そこで、１ｌ−１ｊ≧４の
項を無視すると、同様にして、 ｚｌ−（ｂ３ｂ２ｂ１ｂｏｂ−１ｂ−２ｂ−３）ｘ（１
５）また、明らかに、 Ｘ、　＝　（０００１０００）Ｘ　　　　　　　　　　
（１６）したがってｘ　　Ｓｙ　　Ｓｚ、をまとめて表
記すすると、１７式となる。

したがって補間マトリクスＡを１８式のように定めれば
（１７）式は（２）式に帰着する。

すなわち（２）式に示す処理を行うことにより確率が最
大となる最適推定値が補間信号として出力される。

ここで、このマトリクスを導（上で、用いた仮定１．２
はマトリクス係数の計算を簡素化するためのもので、本
発明の方式に対して本質的なものではない。これらの仮
定を用いなくても、算出する計算式は非常に複雑となる
が、推定の演算式は同様のマトリクス演算となる。但し
、条件が満されない場合、Ｒ，Ｇ、Ｂに対して対称性が
しなくなるので、補間マトリクスＡはＲ，Ｇ、Ｂに対し
て、異なる値となる。

このようなマトリクスの場合は本実施例の構成では実現
できず、後に示す２の実施例のように、演算式および処
理回路を若干複雑にする必要がある。

しかし通常は前記の仮定のもとで求めたマトリクスを用
いても、十分に精度の高い補間を行うことができる。前
記で示したように補間マトリクスの係数はΔＲ１ΔＧ９
、ΔＢ、の共分散によりｉ　　　　　　　　ｌｌ 決まる。一般に共分散などの統計量は例えば写真や線画
など、画像の種類によって異なる。したがって画像の種
類により補間マトリクスをかえることにより、その画像
の性質に適した補間処理を行うことも可能である。また
本方式では隣接画素の差分の信号に対して、確率密度を
最大にするようにしている。このような条件では、ある
色信号の（例えばＲ）の推定に他の色信号ＣＧ、Ｂ）の
直流分と除いたもの（差分）を加えることになるため、
一様な色の原稿を読みとる場合の推定誤差は原理的に０
となる。

後に述べる第３の実施例ではこの差分を加算するという
条件と回路の中にとり込んで回路、゛構成を簡単にして
いる。

また、前記のモデルではセンサで読みとった信号へのノ
イズは考慮していない。しかし、実際には、ノイズの影
響が無視できない場合もある。このような場合にも、前
記と同様のマトリクス演算で最適な推定を行うことがで
きるｉだだしこの場合、補間マトリクスＡの第１行は必
ずしも（０００１０００）とならない。

つぎに本発明で用いた第２の実施例について説明する。

本実施例では（１９）に示す演算より補間を行なってい
る。

（以下余白） 前記の第１の実施例ではＡｏ−Ａ１−Ａ２となっている
が、本実施例ではこれらの補間マトリクスＡ、Ａ’、Ａ
２を独立してもつことにより、Ｒ，ＧＳＢ間の共分散が
対称でない場合でも最適な推定を行うことができる。こ
れにより、第１の実施例より推定精度が若干向上し、よ
り高い解像度が得られる。

本実施例における拡張補間回路の構成例を第６図に示す
。本回路は前記第１の実施例における拡張補間回路とほ
ぼ同じ構成であるが、乗算の係数を９通りに切り替える
ための第１の実施例に比べ若干回路規模が大きくなる。

つぎに本発明を用いた第３の実施例について説明する。

本実施例では補間マトリクスＡが前記６式に更に制約を
つけた（１６）式の条件をみたすことを前提に演算式を
簡約化し、（２０）　（２２）式に示す演算を行ってい
る。

この演算は（ｌθ）式の条件がみたされていれば、とお
（ことにより第１の実施例における演算式（２式）と等
価となる。この１６式の条件のもとでは一様な色を入力
した場合に推定誤差が０となるのでこの条件の制約は実
用上全く問題とならない。

本実施例の拡張補間回路の具体的な構成例を第７図に示
す。本回路では入力した画像信号をまず、４段のシフト
レジスタ７０１に入力する。そして減算器７０２により
、入力信号からシフトレジスタの７０１の３段目の出力
信号を減算し、差分信号を得る。この信号は３画素離れ
た同じ色成分の信号の差分を表わす。この差分信号をさ
らに第２の４段シフトレジスタ７０３に入力する。

そしてこのシフトレジスタの１段から４段のそれぞれの
出力信号に乗算回路７０４により係数Ａ′ｊｋ（Ｊ−１
，２）（Ｋ−０〜３）たちのをそれぞれ図に示すように
第１のシフトレジスタ７０１の３段目、２段目の出力信
号に加算器７０５により加算する。この加算結果の信号
Ｙ　１２　および第１のシフトレジスタ７０１の４段目
の出力信号Ｘ１を切り換え器７０６で切り換え、それに
より補間出力信号Ｒ’　　、Ｇ’　　、Ｂ’　　を得る
。ここでこの切替え器の動作は（１Ｂ）式に従う。

これにより、前記（１７）式（１８）式に示す、補間演
算と実現できる。

本実施例では１画素当りの計算量が、第１の実施例での
乗算２１回加算１８解に対し乗算８回、加算８回と大幅
に減少しており、回路規模を小さくすることができる。

つぎに本発明を用いた第４の実施例について説明する。

本実施例では第８図に示すように第１の実施例における
拡張補間回路８０１の後に１／２縮小回路８０２を設け
ている。この回路は連続する２画素のＲＧＢ信号を加算
器８０４で加算平均して１画素の信号として出力する。

これにより主走査方向に１／２の縮小が行われ、ライン
センサの素子密度の１／２の密度の信号が得られる。

これは３素子を１画素として読取る従来の方式に比べ１
．５倍の信号密度かえられ、かつ従来方式で得られた信
号を単純補間により　１．５倍に拡大して得る信号より
も高い解像度を得ることができる。

このように本発明は拡大・縮小回路と組み合わせても効
果があり、従来方式に拡大・縮小回路を組み合わせて、
同じ信号密度を得るよりも、高い解像度が得られる。以
上の実施例ではカラーラインセンサの色フィルタとして
、原色系のＲＧＢＯ色フィルタを用いているが、本発明
はこれに限るものでなく例えばＣＧＹなどの補色系フィ
ルタを用いてもよい。また、以上の実施例では当該画素
の補間演算を行うのにその画素の前後針７圃素の信号を
用いているが、これも７画素に限るものでなく、例えば
５．６画素又は８画素以上でもよい。

【発明の効果］ 本発明により、点順次カラーセンサで読取った信号から
各受光素子の位置での３色の色信号を補間により求める
上で、求める色信号と異なる色成分の信号をも用いて補
間することにより、解像度の高い色信号を得ることがで
きる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成図、第２図は本発明に
おける補間の原理を示すための説明図、第３図は本実施
例に用いている点順次にセンサの構成を示す図、第４図
は第１の実施例における拡張補間回路の構成を示す図、
第５図は拡張補間回路に入力される画像信号の構成を示
す図、第６図は第２の実施例における拡張補間回路の構
成を示す図、第７図は第３の実施例における拡張補間回
路の構成を示す図、第８図は第４の実施例における縮小
回路の構成を示す図である。 ２０１−光源 ２０２−原稿面 ２０３−信号読みとり領域 ２０４−レンズアレイ ２０５−カラーセンサ ２０６−キャリッジ ２０７−増幅器 ２０８−Ａ／Ｄ変換器 ２０９−規格化回路 ２１〇−拡張補間回路 ２５１．２５２．２５３−画像信号 ４０１−シフトレジスタ ４０２−乗算回路 ４０３−加算器 ４０４−レジスタ ６０１−シフトレジスタ ６０２−乗算回路 ６０３−加算器 ７０１−シフトレジスタ ７０２−減算器 ７０３−シフトレジスタ ７０４−乗算回路 ７０５−加算器 ７０６−切替え器 ７１１〜７１３−補間信号 ８０１−拡張補間回路 ８０２−−１／２縮小回路 ８０３−レジスタ ８０４−加算器 ８０５−レジスタ

Claims (5)

【特許請求の範囲】
1. （１）複数種類の色フィルタを配列したカラーセンサを
   用いてカラー画像を読みとる装置において、読み取った
   画像信号の信号密度を増すための補間手段をもち、かつ
   前記補間手段において、ある色信号の補間出力を計算す
   る際に当該色以外の色成分の信号と併用することを特徴
   とするカラー画像入力装置。
2. （２）複数種類の色フィルタがそれぞれ同じ読取り密度
   となっていることを特徴とする特許請求の範囲第１項記
   載のカラー画像入力装置。
3. （３）カラーセンサが３種類の色フィルタを順番に配列
   して構成されていることを特徴とする特許請求の範囲第
   ２項記載のカラー画像入力装置。
4. （４）補間演算処理においてある色フィルタ出力信号を
   得る、演算を、当該色フィルタの出力信号の線形和にそ
   の他の色フィルタ出力信号の差分を加算する構成とする
   ことを特徴とするカラー画像入力装置。
5. （５）同一色成分の間で補間または間引きを行う拡大縮
   小回路を前記補間手段の直後に設けることを特徴とする
   特許請求の範囲第１項記載のカラー画像入力装置。