JP4945852B2 - 単板式カラーディジタルカメラにおける撮像画像の生成方法および装置、ならびにディジタルカメラ、携帯型ディジタル情報装置、ディジタルビデオプリンタ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像画像を生成、保存、表示、印刷する技術分野に属する。特に、単板式カラーイメージセンサによる撮像画像、その生成方法および装置、等に関する。
【０００２】
【従来技術】
ディジタルスチルカメラ、カラービデオカメラ、等の一般の撮像装置においては、単板式カラーイメージセンサが使用される。イメージセンサは２次元に配列する受光素子によって構成される。単板式カラーイメージセンサにおいては、フルカラー画像を得るために、受光素子の各々が所定の分光感度を有するようにする。すなわち、それらの受光素子の直前に所定の分光感度を付与するためのカラーフィルタが配置されている。
【０００３】
このカラーフィルタにはＲＧＢ（red,green,blue）の原色系とＣＭＹ（cyan,magenta,yellow）の補色系がある。前者は色再現性に優れ、後者は解像度的に優れると言われている。すべての受光素子の各々に対しては、この３色のフィルタのいずれかが適用され、いずれかの分光感度が付与される。したがって、単色（白黒）のイメージセンサと比較すると、カラーイメージセンサの各色については、１／２〜１／４程度の画素数（受光素子数）しか有効ではない。
【０００４】
【発明が解決しようとする課題】
そのため、たとえば１００万画素（受光素子）のデジタルスチルカメラの場合には、一時的に１００万画素×３色＝３００万画素に画像情報を増やしてから処理を行なっており、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、不利な状態となっている。
【０００５】
本発明はこのような課題を解決するためになされたものであり、その目的は、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とするために、単板式カラーイメージセンサによる撮像画像、その生成方法および装置、等を提供することにある。
【０００８】
また本発明の請求項１に係る撮像画像生成方法は、単板式カラーイメージセンサによる撮像画像を生成する方法であって、Ａ／Ｄ変換過程と、配列変換過程と、撮像画像記憶過程とを有し、前記Ａ／Ｄ変換過程において、前記単板式カラーイメージセンサが出力するアナログ信号を、前記単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換し、前記配列変換過程において、前記単板式カラーイメージセンサにおいて配列する各々の分光色のカラーフィルタにおける配列位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像とし、前記配列における単位配列と相似に前記分光色画像が配列する撮像画像を生成するように前記ディジタル信号における画素値の配列を変換し、前記撮像画像記憶過程において、前記分光色画像から成る撮像画像を記憶するようにしたものである。
【０００９】
本発明によれば、Ａ／Ｄ変換過程において単板式カラーイメージセンサが出力するアナログ信号が、単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換され、配列変換過程において単板式カラーイメージセンサにおいて配列する各々の分光色のカラーフィルタにおける配列位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像とし、前記配列における単位配列と相似に前記分光色画像が配列する撮像画像を生成するようにディジタル信号における画素値の配列が変換され、撮像画像記憶過程において分光色画像から成る撮像画像が記憶される。
本発明によれば、生成される撮像画像は分光色画像から成り、その撮像画像の総画素数は総受光素子数と一致する。また、各々の分光色画像が組み合わされ１枚の単色画像のように配列する。したがって、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とするとともに総画素数が総受光素子数と一致する単色画像として画像圧縮、蓄積、伝送、復元、等を行なうことができる撮像画像生成方法が提供される。
【００１０】
また本発明の請求項２に係る撮像画像生成装置は、単板式カラーイメージセンサによる撮像画像を生成する装置であって、Ａ／Ｄ変換手段と、配列変換手段と、撮像画像記憶手段とを有し、前記Ａ／Ｄ変換手段は、前記単板式カラーイメージセンサが出力するアナログ信号を、前記単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換し、前記配列変換手段は、前記単板式カラーイメージセンサにおいて配列する各々の分光色のカラーフィルタにおける配列位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像とし、前記配列における単位配列と相似に前記分光色画像が配列する撮像画像を生成するように前記ディジタル信号における画素値の配列を変換し、前記撮像画像記憶手段は、前記分光色画像から成る撮像画像を記憶するようにしたものである。
【００１１】
本発明によれば、Ａ／Ｄ変換手段により単板式カラーイメージセンサが出力するアナログ信号が、単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換され、配列変換手段により単板式カラーイメージセンサにおいて配列する各々の分光色のカラーフィルタにおける配列位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像とし、前記配列における単位配列と相似に前記分光色画像が配列する撮像画像を生成するようにディジタル信号における画素値の配列が変換され、撮像画像記憶手段により分光色画像から成る撮像画像が記憶される。本発明によれば、生成される撮像画像は分光色画像から成り、その撮像画像の総画素数は総受光素子数と一致する。また、各々の分光色画像が組み合わされ１枚の単色画像のように配列する。したがって、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とするとともに総画素数が総受光素子数と一致する単色画像として画像圧縮、蓄積、伝送、復元、等を行なうことができる撮像画像生成装置が提供される。
【００１２】
また本発明の請求項３に係る撮像画像生成装置は、請求項２に係る撮像画像生成装置において、画像圧縮手段を有し、前記画像圧縮手段は、前記分光色画像を画像圧縮した圧縮分光色画像を生成し、前記撮像画像記憶手段は、前記圧縮分光色画像から成る撮像画像を記憶するようにしたものである。本発明によれば、圧縮分光色画像から成る撮像画像が生成されることにより、蓄積、伝送、等において有利である。
【００１４】
また本発明の請求項４に係るディジタルカメラは、請求項２または３に係る撮像画像生成装置を具備するようにしたものである。本発明によれば、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とする撮像画像を生成するディジタルカメラが提供される。
【００１５】
また本発明の請求項５に係る携帯型ディジタル情報装置は、請求項３に係る撮像画像生成装置により生成された圧縮分光色画像から成る撮像画像を復元して前記分光色画像から成る撮像画像を再生する復元手段を有するようにしたものである。本発明によれば、圧縮分光色画像から成る撮像画像を復元して分光色画像から成る撮像画像を再生する携帯型ディジタル情報装置が提供される。
【００１６】
また本発明の請求項６に係るディジタルビデオプリンタは、請求項３に係る撮像画像生成装置により生成された圧縮分光色画像から成る撮像画像を復元して前記分光色画像から成る撮像画像を生成する復元手段を有するようにしたものである。圧縮分光色画像から成る撮像画像を復元して分光色画像から成る撮像画像を再生するディジタルビデオプリンタが提供される。
【００１７】
【発明の実施の形態】
次に、本発明について実施の形態を説明する。単板式カラーイメージセンサに使用されるカラーフィルタの一例を図１に示す。図１に示すカラーフィルタにおいては、３原色であるＲＧＢの３色の分光色のカラーフィルタを配列した形態を有する。分光色のカラーフィルタの各々は、イメージセンサの画素（受光素子）の各々に対応させて配列されており、画素の各々に対し３原色であるＲＧＢのいずれかの分光感度を付与する。ここでは、イメージセンサの画素の各々に対応するフィルタのことを「分光色のカラーフィルタ」と呼ぶ。また、それらを配列したもので単板式カラーイメージセンサに対応するフィルタのことを単に「カラーフィルタ」と呼ぶ。
【００１８】
図１に示すように、Ｇ（緑色）の分光色のカラーフィルタが適用されたイメージセンサの画素は、全体の画素数の１／２を占める。また、Ｒ（赤色）とＢ（青色）の分光色のカラーフィルタが適用されたイメージセンサの画素は、各々全体の画素数の１／４を占めている。Ｇ（緑色）に多くの画素を配分するのは、人間の視感度がＧ（緑色）の波長付近でピークを示し輝度特性の主成分がＧ（緑色）であることに基づいている。
【００１９】
図２は、図１に示すカラーフィルタにおいてＧ（緑色）の分光色のカラーフィルタが適用された画素を「Ｇ」で示し、適用されていない画素を「＊」で示した図である。同様に、図３は、図１に示すカラーフィルタにおいてＲ（赤色）の分光色のカラーフィルタが適用された画素を「Ｒ」で示し、適用されていない画素を「＊」で示した図である。同様に、図４は、図１に示すカラーフィルタにおいてＢ（青色）の分光色のカラーフィルタが適用された画素を「Ｂ」で示し、適用されていない画素を「＊」で示した図である。
【００２０】
すでに説明したように、従来は、カラーフィルタにより色空間分割された画像から、イメージセンサの有効撮像画素数と同数の画素を有する分光色画像を補間処理によって生成することが行なわれる。すなわち、前述の図２における「＊」で示した画素の画素値を、近傍の「Ｇ」の画素の画素値によって補間処理することによりにＧ（緑色）の分光色画像を生成する。同様に、前述の図３における「＊」で示した画素の画素値を、近傍の「Ｒ」の画素の画素値によって補間処理することによりにＲ（赤色）の分光色画像を生成する。同様に、前述の図４における「＊」で示した画素の画素値を、近傍の「Ｂ」の画素の画素値によって補間処理することによりにＢ（青色）の分光色画像を生成する。
【００２１】
これらの処理によって、各々の分光色画像の画素数はイメージセンサの有効画素数と同一になり、その処理の後に行なわれる画像処理や画像表示に用いることが可能となるのである。しかし、中間表現としては、極めて冗長であり処理的にも情報量的にも無駄が多い。
【００２２】
そこで本発明においては、図１に一例を示すようなカラーフィルタを介して、イメージセンサによって撮像して得られた画像を多相分解（polyphase decomposition）表現に変換する。これにより得られる多相分解表現の撮像画像は、撮像により直接得られる撮像画像と完全に対応する画像であり、冗長性も、情報の欠落も、無駄もない。したがって、撮像により直接得られる撮像画像に対するのと全く同様に処理を行なうことが可能である。
【００２３】
本発明における多相分解表現の撮像画像におけるＲＧＢの各分光色に対応する画素の配列の一例を図５に示す。図５に示す多相分解表現の撮像画像における画素の配列は、画素の並べ替え処理によって図１に示すカラーフィルタにおける分光色のカラーフィルタの配列を変換した形式となっている。これにより、Ｒ，Ｇ１，Ｇ２，Ｂの４つの分光色画像に分割される。
【００２４】
単板式カラーイメージセンサにおいては、２次元に配列する受光素子に各々の分光色のカラーフィルタが配列する。その配列において配列位相が同一であるものの集合を考えることができる。すなわち、図１に示す一例においては、隣接する４つから成る配列であるＲ，Ｇ（＝Ｇ１），Ｇ（＝Ｇ２），Ｂの各々に属するものの集合を考えることができる。本発明の多相分解表現の撮像画像は、図５に一例を示すように、その集合に属するカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像としたものである。
【００２５】
これらの分光色画像における画素数は、イメージセンサの画素数（受光素子数）に対して水平画素数と垂直画素数がともに１／２である。これらの分光色画像は、単色画像（白黒画像）として扱うことができる。単色画像として扱うことにより、表示の直前までの中間的な処理、蓄積、伝送においては、画素数を増やす必要がなくなる。勿論、その単色画像を画像圧縮処理すれば、なおさら画素数を増やす必要がなくなる。したがって、処理量、記憶量、等において有利である。
【００２６】
また、図５に一例を示す本発明の多相分解表現の撮像画像は、図１に示す分光色のカラーフィルタの配列における単位配列、すなわち前述の隣接するＲ，Ｇ（＝Ｇ１），Ｇ（＝Ｇ２），Ｂの４つから成る配列と相似に分光色画像が配列されている。すなわち、各々の分光色画像が組み合わされ１枚の単色画像のように配列する。したがって、総画素数が総受光素子数と一致する１枚の単色画像として、画像圧縮、蓄積、伝送、復元、等を行なうことができる。
【００２７】
また、表示、印刷に際しては、図５に一例を示す多相分解表現の撮像画像から、直接的または間接的に、図２、図３、図４において「＊」で示すような画素を、補間処理により補充し、必要とする画素数の画像を生成すればよい。
【００２８】
次に、上述の撮像画像を生成する本発明の撮像画像生成装置とディジタルカメラについて説明する。本発明の撮像画像生成装置は、すくなくとも、ＣＰＵ（central processor unit）、メモリ、等から成るデータ処理部を有する。また本発明のデジタルカメラは、上述の撮像画像生成装置と同様の構成とともに、結像光学系、イメージセンサ、Ａ／Ｄ変換器、等からなる撮像部も具備する。
【００２９】
単板式カラーイメージセンサが出力するアナログ信号は、２次元に配列する受光素子を逐次走査して出力される信号である。その走査は、通常は、図１に示すカラーフィルタの配列において水平方向に１走査を終えると、次に垂直方向に１画素シフトして次の水平方向の１走査を行なう繰返しによって行なわれる。まず、そのアナログ信号を、Ａ／Ｄ（analog-to-digital）変換器によって、単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換する。そして、その時系列の画素値を、撮像により直接得られる撮像画像としてバッファメモリ、ＲＡＭ（random access memory）等のメモリに記憶する。
【００３０】
次に、その記憶した撮像画像に対して、画素を並べ替える配列変換処理を行なう。記憶されている撮像画像は、撮像により直接得られる撮像画像であって、その撮像画像における画素の配列は、図１に示すようなカラーフィルタにおける分光色のカラーフィルタの配列と同様の配列である。
【００３１】
単板式カラーイメージセンサにおける各々の分光色のカラーフィルタの配列は、隣接するＲ，Ｇ（＝Ｇ１），Ｇ（＝Ｇ２），Ｂの４つの画素から成る単位配列の繰返しとなっている。すなわち、座標（０，０）、座標（１，０）、座標（０，１）、座標（１，１）の各々の分光色のカラーフィルタは、Ｒ，Ｇ（＝Ｇ１），Ｇ（＝Ｇ２），Ｂである。また、ｉ，ｊを整数として、配列位相が同一である座標（２ｉ，２ｊ）、座標（１＋２ｉ，２ｊ）、座標（２ｉ，１＋２ｊ）、座標（１＋２ｉ，１＋２ｊ）の各々の分光色のカラーフィルタも、Ｒ，Ｇ（＝Ｇ１），Ｇ（＝Ｇ２），Ｂである。
【００３２】
撮像により直接得られる撮像画像においても画素の配列は同様であるから、配列変換処理において、その撮像画像において位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を生成する。さらに、配列変換処理において、前述の配列における単位配列と相似にそれらの分光色画像を配列して、図５に示すような多相分解表現の撮像画像を生成しメモリに記憶する。
【００３３】
そのメモリに記憶されている多相分解表現の撮像画像に対して、画像圧縮処理を行なう。その画像圧縮処理により、画像圧縮した多相分解表現の撮像画像を生成しメモリに記憶する。生成した撮像画像は、データ保存処理により、メモリカードのような携帯可能な記録媒体に蓄積記憶する。また、データ送信処理により、通信回線を通じて、通信回線に接続された他のデータ処理装置、プリンター、ディスプレイ、等に送信する。
【００３４】
上述のように、本発明の撮像画像生成装置とディジタルカメラは、画像圧縮した多相分解表現の撮像画像を生成し、記録媒体に蓄積記憶したり、データ送信することができる。本発明の撮像画像生成装置とディジタルカメラによって生成される撮像画像は分光色画像から成り、その撮像画像の総画素数は総受光素子数と一致する。したがって、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態を得ることができる。
【００３５】
次に、本発明の携帯型ディジタル情報装置とディジタルビデオプリンタについて説明する。本発明の携帯型ディジタル情報装置とディジタルビデオプリンタは、上述の画像圧縮した多相分解表現の撮像画像を利用できるようにした装置である。本発明の携帯型ディジタル情報装置とディジタルビデオプリンタは、圧縮分光画像から成る撮像画像を復元して前記分光色画像から成る撮像画像を再生する復元手段を有する。
【００３６】
【発明の効果】
以上のとおりであるから、本発明の請求項１に係る撮像画像生成方法によれば、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とするとともに総画素数が総受光素子数と一致する単色画像として画像圧縮、蓄積、伝送、復元、等を行なうことができる撮像画像生成方法が提供される。また本発明の請求項２に係る撮像画像生成装置によれば、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とするとともに総画素数が総受光素子数と一致する単色画像として画像圧縮、蓄積、伝送、復元、等を行なうことができる撮像画像生成装置が提供される。また本発明の請求項３に係る撮像画像生成装置によれば、圧縮分光色画像から成る撮像画像が生成されることにより、蓄積、伝送、等において有利である。また本発明の請求項４に係るディジタルカメラによれば、メモリの有効活用の点においても、処理量の点においても、また画像の再生品質においても、有利な状態とする撮像画像を生成するディジタルカメラが提供される。また本発明の請求項５に係る携帯型ディジタル情報装置によれば、圧縮分光色画像から成る撮像画像を復元して分光色画像から成る撮像画像を再生する携帯型ディジタル情報装置が提供される。また本発明の請求項６に係るディジタルビデオプリンタによれば、圧縮分光色画像から成る撮像画像を復元して分光色画像から成る撮像画像を再生するディジタルビデオプリンタが提供される。
【図面の簡単な説明】
【図１】単板式カラーイメージセンサに使用されるカラーフィルタの一例を示す図である。
【図２】カラーフィルタにおいてＧ（緑色）の分光色のカラーフィルタが適用された画素を「Ｇ」で示し、適用されていない画素を「＊」で示した図である。
【図３】カラーフィルタにおいてＲ（赤色）の分光色のカラーフィルタが適用された画素を「Ｒ」で示し、適用されていない画素を「＊」で示した図である。
【図４】カラーフィルタにおいてＢ（青色）の分光色のカラーフィルタが適用された画素を「Ｂ」で示し、適用されていない画素を「＊」で示した図である。
【図５】本発明における多相分解表現の撮像画像におけるＲＧＢの各分光色に対応する画素の配列の一例を示す図である。

Claims (6)

1. 単板式カラーイメージセンサによる撮像画像を生成する方法であって、Ａ／Ｄ変換過程と、配列変換過程と、撮像画像記憶過程とを有し、前記Ａ／Ｄ変換過程において、前記単板式カラーイメージセンサが出力するアナログ信号を、前記単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換し、前記配列変換過程において、前記単板式カラーイメージセンサにおいて配列する各々の分光色のカラーフィルタにおける配列位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像とし、前記配列における単位配列と相似に前記分光色画像が配列する撮像画像を生成するように前記ディジタル信号における画素値の配列を変換し、前記撮像画像記憶過程において、前記分光色画像から成る撮像画像を記憶する、ことを特徴とする撮像画像生成方法。
2. 単板式カラーイメージセンサによる撮像画像を生成する装置であって、Ａ／Ｄ変換手段と、配列変換手段と、撮像画像記憶手段とを有し、前記Ａ／Ｄ変換手段は、前記単板式カラーイメージセンサが出力するアナログ信号を、前記単板式カラーイメージセンサの各々の受光素子の画素値が時系列で生成されるディジタル信号に変換し、前記配列変換手段は、前記単板式カラーイメージセンサにおいて配列する各々の分光色のカラーフィルタにおける配列位相が同一である各々の分光色のカラーフィルタを有する受光素子の画素値の集合からなる各々の分光色画像を部分画像とし、前記配列における単位配列と相似に前記分光色画像が配列する撮像画像を生成するように前記ディジタル信号における画素値の配列を変換し、前記撮像画像記憶手段は、前記分光色画像から成る撮像画像を記憶する、ことを特徴とする撮像画像生成装置。
3. 請求項２記載の撮像画像生成装置において、画像圧縮手段を有し、前記画像圧縮手段は、前記分光色画像を画像圧縮した圧縮分光色画像を生成し、前記撮像画像記憶手段は、前記圧縮分光色画像から成る撮像画像を記憶する、ことを特徴とする撮像画像生成装置。
4. 請求項２または３に記載の撮像画像生成装置を具備することを特徴とするディジタルカメラ。
5. 請求項３記載の撮像画像生成装置により生成された圧縮分光色画像から成る撮像画像を復元して前記分光色画像から成る撮像画像を再生する復元手段を有することを特徴とする携帯型ディジタル情報装置。
6. 請求項３記載の撮像画像生成装置により生成された圧縮分光色画像から成る撮像画像を復元して前記分光色画像から成る撮像画像を生成する復元手段を有することを特徴とするディジタルビデオプリンタ。

Images