JP4001015B2 - 画像入力装置及び画像入力方法 - Google Patents

Description

技術分野
本発明は印刷出力するためのカラー画像を入力する画像入力装置及び画像入力方法に関する。
背景技術
従来、プリンタでは補色系のインクを用いてＣＭＹ（Ｃｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗ）又はＣＭＹＫ（Ｃｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗ、ｂｌａｃＫ）の各値を表す画像データを最終出力し、モニタではＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の各値を表す画像データを最終出力している。一般にコンピュータを用いた画像処理においては、モニタの表示色を基準としてカラーマッチングを行うため、ディジタルスチルカメラ等の画像入力装置ではＲＧＢの各値が０以上の値をとるＲＧＢ色空間の領域内で画像データを表現している。例えば、原色系ＣＣＤを用いたディジタルスチルカメラはもとより、補色系ＣＣＤを用いたディジタルスチルカメラにおいても、入力画像から得たＣＭＹＧ（Ｃｙａｎ、Ｍａｇｅｎｔａ、Ｙｅｌｌｏｗ，Ｇｒｅｅｎ）画像データをＲＧＢ画像データに変換する際には、変換行列の各成分を調整したり、負の値を０に置換する処理を行ったりしてＲＧＢの各値で０以上の値のみを出力するようにしている。
例えば、ｓＲＧＢ規格ではＲＧＢの色座標を決め、ＲＧＢの各値が０以上のＲＧＢ色空間を定義している。しかし、このｓＲＧＢ色空間は人間の視覚により認識できる色空間より狭いため、ｓＲＧＢ色空間で表現される画像を出力する画像入力装置では、人間の視覚よりも狭い範囲の色空間しか表現できない。
一方、プリンタはＣＭＹ又はＣＭＹＫの各値が０以上の色空間を印刷により表現可能である。ＣＭＹ又はＣＭＹＫの各値が０以上の色空間で表現される画像を出力するプリンタは、ＣＭＹのインクにｓＲＧＢの色空間の外側の発色をする色素を利用することにより、ｓＲＧＢで定義された色空間よりも広い色空間を印刷により表現することができる。また、同様に、プリンタはｓＲＧＢ表示を基準に製造されたカラーモニタより広い色空間を印刷表現することができる。
このようなプリンタにより、ｓＲＧＢで表現されたＲＧＢ各色が０以上の色空間で表現される画像を記録するディジタルスチルカメラ等の画像入力装置で記録された画像データを印刷する場合、プリンタが持つ色表現域よりも狭い範囲でしか画像が表現されず、プリンタの持つ特性が有効に活用されないという問題がある。
近年、ｓＲＧＢ６４、ＲＩＭＭ−ＲＧＢ等の各色に負の値を許容する画像データフォーマット規格が策定されているものの、負の値を許容して画質を向上させようとすれば１画素あたりの情報量が３ビット増加するため、これらの画像データフォーマットはデータ容量の増加を招来することとなる。
本発明はこのような問題に鑑みて創作されたものであって、データ容量を増大させることなしに印刷画像の色空間を拡張する画像入力装置及び画像入力方法を提供することにある。
また、本発明の別の目的は、従来のデジタルカメラにおける画像ファイルフォーマットとの互換性を損なうことなしに印刷画像の色空間を拡張する画像入力装置及び画像入力方法を提供することにある。
発明の開示
本発明によると、ＲＧＢの各値を符号付きのデータ型で表すＲＧＢ画像データを入力画像から生成することにより、入力画像に応じてＲＧＢの各値に負の値をもつ画像データを生成する。さらに、ＲＧＢ画像データをＹＣｂＣｒ画像データに変換することによりＹＣｂＣｒの各値から負の値をなくしてデータ容量を小さくする。すなわち、ＲＧＢ画像データが負の値を含む場合にＲＧＢ画像データをＹＣｂＣｒ画像データに変換すると負の値がなくなり、もとのＲＧＢ画像データにおいてＲＧＢの各値を表すビット数より１小さいビット数でＹＣｂＣｒ画像データの各値を表すことができるため、ＲＧＢ画像データをＹＣｂＣｒ画像データに変換するとデータ容量が小さくなる。このようにして生成されたＹＣｂＣｒ画像データは、ＲＧＢの各値が０以上のＲＧＢ色空間より広い色空間を表すＣＭＹ又はＣＭＹＧ画像データに変換することができるため、印刷物で表現される色空間を拡張し、入力画像と印刷画像のカラーマッチングを向上させることができる。
さらに、ＣＭＹ又はＣＭＹＧの各値を符号なしのデータ型で表すＣＭＹ又はＣＭＹＧ画像データを入力画像から生成することにより、ＲＧＢ各色に負の値を含む色空間で表現される入力画像を色情報の欠損なしに入力することができる。
さらに、符号付き演算回路によりＣＭＹ又はＣＭＹＧ画像データをＲＧＢ画像データに変換することにより、高速な変換処理ができる。
さらに、ＣＭＹ又はＣＭＹＧの各値を１０ビット以上の符号なしのデータ型で表すＣＭＹ又はＣＭＹＧ画像データを入力画像から生成することにより、ＹＣｂＣｒの各値を８ビット以下のデータ型で表すＹＣｂＣｒ画像データを高品質で記録することができる。
さらに、ＲＧＢの各値を９ビット以上の符号付きのデータ型で表すＲＧＢ画像データを生成し、ＹＣｂＣｒの各値を８ビットの符号なしのデータ型で表すＹＣｂＣｒ画像データにＲＧＢ画像データを変換することにより、ＹＣｂＣｒ画像データを高品質で記録することができる。また、従来のデジタルカメラにおける画像ファイルフォーマットとの互換性を損なうことなしに印刷画像の色空間を拡張することができる。
さらに、ＣｂＣｒで表される彩度を拡大することにより、ＲＧＢ各色の値を演算処理するときに欠落する彩度情報を模擬的に補い、鮮やかなＹＣｂＣｒ画像データを得ることができる。
発明を実施するための最良の形態
以下、本発明の実施の形態を示す一実施例を図面に基づいて説明する。
図２は本発明による画像入力装置の一実施例としてのディジタルスチルカメラ１を示すブロック図である。図１は図２に記載した各ブロック間で受け渡されるデータの内容を示すデータフロー図である。光学系１０、エリアセンサ１１、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１２及び画像処理部１３は特許請求の範囲に記載されたデータ生成手段を構成し、色空間変換部１４は特許請求の範囲に記載されたデータ変換手段を構成する。
光学系１０は光学レンズ、赤外線カットフィルタ、光学的ローパスフィルタ等から構成され、入力画像としての被写体像をエリアセンサ１１に結像させる。
エリアセンサ１１は、光を電気信号に変換する光電変換素子群を備えるＣＣＤ、ＣＭＯＳセンサ等の光センサであり、各光電変換素子にはＣ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｇ（Ｇｒｅｅｎ）のいずれかの波長の光を透過する補色フィルタが設けられている。各光電変換素子は図３に示すようにマトリックス状に配置されている。以下の説明では、各光電変換素子にＣ、Ｍ、Ｙ、Ｇのいずれかの補色フィルタが設けられているエリアセンサを用いるものとして説明するが、各光電変換素子に備えるフィルタとして、ＣＭＹ３色の補色フィルタを用いてもよい。ＣＭＹの色情報に加えてＧの色情報を取得するのは視覚が敏感に認識するＧの色情報を直接取得ことにより画質の向上を図るためである。エリアセンサ１１は各光電変換素子についてＣＭＹＧのいずれかの波長の光の受光量に応じたアナログ信号を出力し、このアナログ信号はＡＦＥ１２に入力される。
ＡＦＥ１２は、プログラムゲインアンプ、ＣＤＳ回路、Ａ／Ｄ変換器等から構成され、各光電変換素子から出力されるアナログ信号をサンプリングして各光電変換素子についてＣＭＹＧのいずれかの値を１０〜１２ｂｉｔのデータ型で表すディジタル信号を生成する。アナログ信号を１０ｂｉｔ以上の長さをもつデータ型のディジタル信号に量子化することにより、色空間変換部１４において高品質のＹＣｂＣｒ画像データを生成することができる。ＣＭＹＧのディジタル信号は画像処理部１３に直接又はバッファメモリに格納された後に入力される。
画像処理部１３は、所定のアルゴリズムを論理回路で実現したＡＳＩＣ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）エンジンで構成される。画像処理部１３をＡＳＩＣで構成する場合にはＤＳＰエンジンにおけるプログラムの実行によって処理する場合に比べ処理を高速化できる。画像処理部１３は、自動露出処理（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、自動ホワイトバランス処理（ＡＷＢ：Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）、画像生成処理及びＣＭＹＧの色空間からＲＧＢの色空間への変換処理、γ補正処理等を行う。ここでいう画像生成処理とは、主に、各光電変換素子についてＣＭＹＧいずれかの値を表すディジタル信号を用いた補間処理等により画素ごとにＣＭＹＧの４つの値を持つＣＭＹＧ画像データを生成する処理である。ＣＭＹＧの色空間からＲＧＢの色空間への変換処理は、ＡＳＩＣの４×３の行列演算処理回路又はＤＳＰ、ＣＰＵ１９等の乗算回路及び加減算回路により行われる。この変換処理の結果として出力されるＲＧＢの各値に負の値を許容するため、この変換処理に用いる行列演算処理回路、乗算回路、加減算回路等は符号付き演算回路として構成する。ＲＧＢの各値を表すＲＧＢ画像データは、ＣＭＹＧ画像データのビット数より符号ビットに相当する１ビットだけ多いビット数のデータ型で表す。例えばＣＭＹＧ画像データが各色０以上２^１２−１以下の定義域をもつ１２ｂｉｔの長さのデータ型である場合、ＲＧＢ画像データは各色−２^１２−１以上＋２^１２−１以下の定義域をもつ符号付きの１３ｂｉｔの長さのデータ型となる。尚、ＲＧＢ画像データには各色９ｂｉｔ以上の長さのデータ型を割り当て、少なくとも−６４から２５５までの範囲でデータを表すことが望ましい。さらに、−１６０から２５５までの範囲にまで定義域を拡張すると特に色の再現性の良い画像を得ることができる。また、Ｒの定義域を正負ともに大きくとることが特に画質の向上につながる。
色空間変換部１４は、３×３の行列演算処理回路又はＤＳＰ、ＣＰＵ１９等の乗算回路及び加減算回路で構成される。色空間変換部１４は、３×３行列による線形変換によりＲＧＢ画像データからＹＣｂＣｒの各値を表すＹＣｂＣｒ画像データを生成する。この変換処理に用いる行列演算処理回路、乗算回路、加減算回路等は符号付き演算回路として構成する。ＪＰＥＧファイルフォーマットでリムーバブルメモリに圧縮して記録するためには、色空間変換部１４では８ｂｉｔに丸めたＹＣｂＣｒ画像データを出力する必要がある。色空間変換にはＩＴＵ−Ｒ ＢＴ．６０１に準拠した次式を利用し、
Ｙ＝０．２９９Ｒ＋．０５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝（−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ）×０．５６４＋ｏｆｆｓｅｔ
Ｃｒ＝（０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ）×０．７１３＋ｏｆｆｓｅｔ
例えば、
Ｙ＝０．２９９０Ｒ＋．０５８７０Ｇ＋０．１１４０Ｂ
Ｃｂ＝−０．１６８７Ｒ−０．３３１３Ｇ＋０．５０００Ｂ＋１２８
Ｃｒ＝０．５０００Ｒ−０．４１８７Ｇ−０．０８１３Ｂ＋１２８
という変換式を用いることができる。
上式を用いた変換処理においては、内部では符号付きの９ｂｉｔ以上の精度で演算処理を行い最終出力時に８ｂｉｔの精度に丸め、０以上２５５以下の定義域をもつ符号なしの８ｂｉｔの長さのデータ型でＹＣｂＣｒの各値を出力する。最終出力時にＹＣｂＣｒを８ｂｉｔの精度に丸めるのはＪＰＥＧ圧縮処理に適合させるためである。尚、変換処理の過程においてＣｂＣｒの各値を互いに等しい割合で増大させ、ＣｂＣｒの各値で表されるベクトルの大きさを拡大することにより画像の輝度を増大させる処理を行っても良い。彩度を拡大するときには、各画素の彩度の分布領域を拡大するように拡大前の彩度に応じて彩度を大きくする。例えば、拡大前の彩度に定数を掛け合わせることにより彩度を大きくする。このような処理はＹＣｂＣｒの各値で表すことのできるマンセル色立体を径方向に拡大することとなる。このような処理は特にＲＧＢの各値を演算処理する過程で欠落する輝度情報を模擬的に補う場合に適している。
圧縮処理部１５は、圧縮処理専用のＡＳＩＣで構成してもよいし、ＤＳＰ、ＣＰＵ１９等で構成してもよい。圧縮処理部１５では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）及びハフマン符号化を用いてＪＰＥＧ規格に準じた圧縮処理を行い、ＪＰＥＧビットストリームをファイル部１６に出力する。
ファイル部１６はＪＰＥＧファイルフォーマットに圧縮された画像データをフラッシュメモリ等のリムーバブルメモリに記録する。尚、画像ファイルフォーマットはＪＰＥＧである必要はなく、ＹＣｂＣｒの情報からなる画像ファイルフォーマットであれば本発明を適用することができ、例えばＴＩＦＦ−ＹＣｂＣｒの画像ファイルフォーマットで記録してもよい。
制御部１７は、制御プログラム等が記録されたＲＯＭ２０、制御プログラムを実行することで光学系１０と、エリアセンサ１１と、ＡＦＥ１２と、画像処理部１３、色空間変換部１４及び圧縮処理部１５を構成するＡＳＩＣ又はＤＳＰとを制御するＣＰＵ１９、制御プログラムの実行により各種のデータが格納されるＲＡＭ１８を備えている。ＲＯＭ２０、ＣＰＵ１９及びＲＡＭ１８は相互にバスで接続されている。
本実施例は、光電変換素子毎にＣＭＹＧいずれかの波長の光の受光量に応じたアナログ信号を出力するエリアセンサ１１を用いてＣＭＹＧ画像データを生成し、ＣＭＹＧ画像データをＲＧＢ画像データに変換する際には、ＲＧＢ画像データを０以上の値におさめる処理をすることなしに、すなわちＣＭＹＧ画像データがもつ情報量を減ずることなしに、負の値にも定義域を持つＲＧＢ画像データを生成することを特徴とする。ＲＧＢが０以上の値をとる色空間と人間が認識できる色空間とを模式的に図４に示す。図４に示すように人間が認識できる色空間はＲＧＢが０以上の値をとる色空間より広い。このため、従来のようにＣＭＹが０以上の値をとる色空間からＲＧＢが０以上の値をとる色空間への変換を行うとすれば人間が認識できる色情報の欠損が生じ、このことが変換前後における色のねじれを招くこととなる。上述の実施例では色空間変換部１４の入力として負の値を許容することでＲＧＢの色情報からなる画像で表現できる色空間を拡張し、例えば補色系のインクを用いて画像を印刷出力するときに入力時に得た色情報を余すところなく表現することを可能とする。
さらに、本実施例ではファイル部１６で最終的にＪＰＥＧファイルとして記録するため、ＹＣｂＣｒ画像データを８ｂｉｔの符号なしのデータ型で表し、圧縮処理直前における１画素あたりの情報量を２４ｂｉｔとすることでメモリ容量を増やすことなしにより多くの色情報を記録することを特徴とする。これは、たとえＲＧＢ画像データに負の値を含んでいたとしても、上述した変換式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換した場合には、ＹＣｂＣｒ画像データは０以上の値に収まるという性質を利用したものである。
すなわち、本実施例によると、ＹＣｂＣｒ色空間に変換する直前までＲＧＢ画像データに負の値を許容してＲＧＢ各色９ｂｉｔ以上の精度で画像処理を行い、ＹＣｂＣｒの色空間に変換した後に各色８ｂｉｔの精度にデータを丸めることにより、データ容量を増大させることなしに画像データを記録することができる。したがって、出力側ではＹＣｂＣｒで表される色空間からＲＧＢ色空間への逆変換時に負の値にまで定義域をもつデータ型でＲＧＢの各値を出力し、入力時に得られた色情報を欠かすことなしにＲＧＢ色空間からＣＭＹ色空間に変換することで、ディジタルスチルカメラ１の入力画像と印刷画像とのカラーマッチングを向上させることができる。
尚、上述の実施例では補色フィルタを備えたエリアセンサ１１で入力画像を得るものとして説明したが、エリアセンサ１１にＲＧＢの原色フィルタを用いた場合にも画像処理部１３において各色が０以上のＲＧＢ画像データから行列演算処理により負の値を持たせたＲＧＢ画像データを生成することで、例えばγ補正処理後に得られる色空間の領域を広げることも可能である。
また、上述の実施例では画像入力装置としてディジタルスチルカメラを例示して説明したが、ディジタルビデオカメラ、スキャナ、ファクシミリ等の他の画像入力装置に本発明を適用することもできる。
【図面の簡単な説明】
図１は、図２に記載した各ブロック間で受け渡されるデータの内容を示すデータフロー図である。
図２は、本発明による画像入力装置の一実施例としてのディジタルスチルカメラ１を示すブロック図である。
図３は、本発明の一実施例によるディジタルスチルカメラのエリアセンサを示す模式図である。
図４は、ＲＧＢ色空間の広さと人間が認識できる色空間の広さとを比較するための模式図である。

Claims (4)

1. CMY 又は CMYG のアナログ信号から、各画素について CMY 又は CMYG の各値を１０ビット以上の符号なしのデータ型で表す CMY 又は CMYG 画像データを生成するとともに、前記 CMY 又は CMYG 画像データから、符号付き演算処理により、各画素についてRBGの各値を９ビット以上の符号付きのデータ型で表すRGB画像データを生成するデータ生成手段と、
   前記符号付きのデータ型で表された RGB 画像データを、各画素についてYCｂCｒの各値を８ビットの符号なしのデータ型で表すYCｂCｒ画像データに変換するデータ変換手段と、
   を備える画像入力装置。
2. CMY 又は CMYG のアナログ信号から、各画素について CMY 又は CMYG の各値を１０ビット以上の符号なしのデータ型で表す CMY 又は CMYG 画像データを生成するとともに、前記 CMY 又は CMYG 画像データから、符号付き演算処理により、各画素についてRBGの各値を９ビット以上の符号付きのデータ型で表すRGB画像データを生成するデータ生成段階と、
   前記符号付きのデータ型で表された RGB 画像データを、各画素についてYCｂCｒの各値を８ビットの符号なしのデータ型で表すYCｂCｒ画像データに変換するデータ変換段階と、
   を含む画像入力方法。
3. 各色が０以上の RGB 画像データから、行列演算処理により、各画素について RBG の各値を９ビット以上の符号付きのデータ型で表す RGB 画像データを生成するデータ生成手段と、
   前記符号付きのデータ型で表された RGB 画像データを、各画素について YC ｂ C ｒの各値を８ビットの符号なしのデータ型で表す YC ｂ C ｒ画像データに変換するデータ変換手段と、
   を備える画像入力装置。
4. 各色が０以上の RGB 画像データから、行列演算処理により、各画素について RBG の各値を９ビット以上の符号付きのデータ型で表す RGB 画像データを生成するデータ生成段階と、
   前記符号付きのデータ型で表された RGB 画像データを、各画素について YC ｂ C ｒの各値を８ビットの符号なしのデータ型で表す YC ｂ C ｒ画像データに変換するデータ変換段階と、
   を含む画像入力方法。

Images