JP3914633B2 - 色信号処理装置および色信号処理方法 - Google Patents
色信号処理装置および色信号処理方法 Download PDFInfo
- Publication number
- JP3914633B2 JP3914633B2 JP10681098A JP10681098A JP3914633B2 JP 3914633 B2 JP3914633 B2 JP 3914633B2 JP 10681098 A JP10681098 A JP 10681098A JP 10681098 A JP10681098 A JP 10681098A JP 3914633 B2 JP3914633 B2 JP 3914633B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- transmission wavelength
- pixel
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Description
【０００１】
【発明の属する技術分野】
本発明は、カラーカメラ等に適用される色信号処理装置および色信号処理方法に関する。
【０００２】
【従来の技術】
従来、色信号処理装置および色信号処理方法は一般に、コンピュータ用の画像入力装置として、デジタルカメラへ広く適用され利用されている。特に、従来の銀塩フィルムを用いたカメラと同様に、静止画像を記録するデジタルスチルカメラや、デジタルカメラとコンピュータ等とを組み合わせたビデオ会議システムが利用されつつある。また、磁気フィルムに動画を記録する従来のビデオカメラにおいても、画像処理において画質の劣化しないデジタル化が進んでいる。このようなデジタルカメラの画像信号の処理には、専用の画像処理ロジック回路や汎用のＣＰＵが利用されている。
【０００３】
図９は、従来の固体撮像素子を用いた色信号処理装置および色信号処理方法の例を示すブロック図である。このカメラとは、動画用のビデオカメラや静止画用のデジタルスチルカメラを含むものとする。固体撮像素子（ＣＣＤ）２００上に、本発明の実施形態に適用される図２の色フィルタをもつ場合を例にとって述べる。固体撮像素子２００のアナログ映像出力信号は、ＡＤ変換器２０１によってデジタル信号へ変換される。色フィルタを透過しない波長域の信号は、隣接する別の色フィルタを備えた画素の信号を用いて色補間器２０２によって算出される。この時、色補間器２０２の出力の色空間がＲＧＢ空間である場合には、色補間によって出力される信号は赤信号ｒ０、緑信号ｇ０、青信号ｂ０である。各信号は、３行３列のマトリクス器２０３によって、所望の色空間に適するように色補正される。マトリクス器の出力信号を赤信号ｒ１、緑信号ｇ１、青信号ｂ１とすると、入力信号の赤信号ｒ０、緑信号ｇ０、青信号ｂ０から、次のように求めることができる。なお、以下において、大文字はマトリクスまたはベクトルを示し、小文字はスカラーを示すものとする。
【０００４】
【数１】
【０００５】
ただし、マトリクスＭは３行３列の行列であり、任意の値の９個の色分離係数または要素、ｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３が含まれているものとする。
【０００６】
ホワイトバランス器２０４、２０５、２０６が設けられている場合には、マトリクスＭの対角成分ｍ１１、ｍ２２、ｍ３３はそれぞれ１となり、マトリクスＭは６個の要素をもつことになる。ホワイトバランス器２０４、２０５、２０６によって次の（２）式のように変換される。
【０００７】
【数２】
【０００８】
ただし、ホワイトバランス器の出力信号を赤信号ｒ２、緑信号ｇ２、青信号ｂ２、ホワイトバランスの係数をＷＢ（ｗｂｒ，ｗｂｇ，ｗｂｂ）とする。次に、ガンマ補正器２０７、２０８、２０９によってガンマ補正され、出力機器２１０に出力される。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来例に示される画像信号処理には、次のような解決すべきいくつかの問題点がある。すなわち汎用のＣＰＵで画像信号を処理する場合、デジタルスチルカメラでは、シャッターを押してから処理が終了するまでに銀塩カメラに比べてかなりの時間を要する。また、動画用のデジタルカメラでは、専用の画像処理ロジック回路を使用して色信号処理を施す場合に比べてフレーム数が低下し、動画像として十分なフレーム数が得られない。これらはＣＰＵの処理速度に起因する問題点である。
【００１０】
また、静止画用・動画用のいずれのデジタルカメラにおいても、専用の画像処理ロジック回路で画像処理する場合には、乗算回路を多用するためゲート規模が大きくなり、消費電力が大きくなる。特に、電源に電池を用いた携帯型のカメラでは、電池一充電の許容稼動時間が短いという問題点がある。
【００１１】
その理由は、従来の方式では、上記の（１）式および（２）式における一画素あたりの乗算回数が９回と多いため、ＣＰＵによる実時間処理などには適さないためである。また、ロジック回路で実現する場合にも、ゲート数の大きな乗算回路を９個必要とするため、消費電力を削減することが困難なためである。
【００１２】
本発明は、ロジック回路の回路規模と消費電力の削減を可能とする色信号処理装置および色信号処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、請求項１記載の発明は、カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも３種類の色フィルタを備えた固体撮像手段と、前記固体撮像手段により撮像されたアナログ映像出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段により変換された前記デジタル信号を入力とし、各画素ごとに、前記色フィルタの種類と同数の要素を持つベクトルとの演算により、前記色フィルタの透過波長域に従った透過波長成分をそれぞれ抽出し、前記透過波長成分を有する出力信号を出力するベクトル演算手段と、前記ベクトル演算手段から出力された前記出力信号を入力とし、各画素ごとに、当該画素に対応する色フィルタの透過波長成分以外の透過波長成分を、当該画素に隣接し当該画素に対応する色フィルタの透過波長域とは異なる透過波長域の色フィルタを備えた画素の前記出力信号を用いて内挿補間する色補間手段と、を有することを特徴とする。
【００１４】
請求項２記載の発明は、請求項１記載の発明において、ベクトル演算手段は、前記色フィルタの透過波長域に従った透過波長成分として、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出することを特徴とする。
【００１５】
請求項３記載の発明は、請求項１または２記載の発明において、ベクトル演算手段により抽出された前記色フィルタの透過波長域に従った透過波長成分に、ホワイトバランスの係数を乗算するホワイトバランス手段と、前記色補間手段により内挿補間された信号をガンマ補正するガンマ補正手段と、を有することを特徴とする。
【００１６】
請求項４記載の発明は、請求項１から３の何れか１項に記載の発明において、色信号処理装置は、複数回の同じ演算を１回の命令で実行可能なマルチメディア命令やＳＩＭＤ命令を装備したＣＰＵを有し、ＣＰＵの制御の基に前記ベクトル演算手段の演算処理を実行することを特徴とする。
【００１７】
請求項５記載の発明は、カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも３種類の色フィルタを備えた固体撮像素子により撮像する撮像工程と、撮像工程により撮像されたアナログ映像出力信号をデジタル信号に変換するＡ／Ｄ変換工程と、Ａ／Ｄ変換工程により変換された前記デジタル信号を入力とし、各画素ごとに、色フィルタの種類と同数の要素を持つベクトルとの演算により、色フィルタの透過波長域に従った透過波長成分をそれぞれ抽出し、透過波長成分を有する出力信号を出力するベクトル演算工程と、ベクトル演算手段から出力された前記出力信号を入力とし、各画素ごとに、画素に対応する色フィルタの透過波長成分以外の透過波長成分を、画素に隣接し当該画素に対応する色フィルタの透過波長域とは異なる透過波長域の色フィルタを備えた画素の出力信号を用いて内挿補間する色補間工程と、を有することを特徴とする。
【００１８】
請求項６記載の発明は、請求項５記載の発明において、ベクトル演算工程は、色フィルタの透過波長域に従った透過波長成分として、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出することを特徴とする。
【００１９】
請求項７記載の発明は、請求項５または６記載の発明において、ベクトル演算工程により抽出された前記色フィルタの透過波長域に従った透過波長成分に、ホワイトバランスの係数を乗算するホワイトバランス工程と、色補間工程により内挿補間された信号をガンマ補正するガンマ補正工程と、を有することを特徴とする。
【００２０】
請求項８記載の発明は、請求項５から７の何れか１項に記載の発明において、前記色信号処理方法は、複数回の同じ演算を１回の命令で実行可能なマルチメディア命令やＳＩＭＤ命令を実行する演算制御工程を有し、該演算制御工程の制御の基に前記ベクトル演算工程による演算処理を実行することを特徴とする。
【００２１】
請求項９記載の発明は、請求項８記載の発明において、前記色補間工程は、前記演算制御工程を用いて内挿補間を実行することを特徴とする。
【００２２】
【発明の実施の形態】
次に添付図面を参照して本発明による色信号処理装置および色信号処理方法の実施の形態を詳細に説明する。図１〜図８を参照すると本発明の色信号処理装置および色信号処理方法の一実施形態が示されている。
【００２３】
図１は、本実施形態の固体撮像素子を用いた色信号処理装置および色信号処理方法の構成を示すブロック図である。このカメラは、動画用のビデオカメラや静止画用のデジタルスチルカメラを含むものとする。固体撮像素子１００上には、図２や図３に示したような色フィルタが形成されているものとする。なお、図２中、符号Ｒはレッド、Ｇはグリーン、Ｂはブルーを示すものとする。図３中、符号Ｍｇはマゼンタ、Ｃｙはシアン、Ｇはグリーン、Ｙｅはイエローの各色を示すものとする。ただし、色フィルタの透過波長域や配列は、これ以外の場合もあり得る。以下、図２の色フィルタをもつ場合を例にとって述べる。
【００２４】
少なくても３色以上の異なる色フィルタを備えた固体撮像素子１００のアナログ映像出力信号は、ＡＤ変換器１０１によってデジタル信号へ変換される。従来の方式に対して、色補間器とマトリクス演算器の順番が入れ替えられている。さらに、この入れ替えにおいて、入力信号が３個・出力信号が３個の従来例のマトリクス演算器２０３は、本実施形態においては入力信号が１個・出力信号が３個のベクトル演算器１０２に置き換えられている。このベクトル演算器１０２への入力信号は、ＡＤ変換器１０１によってデジタル化された信号ｒａｗである。
【００２５】
図１中の信号ｒａｗは、色フィルタの配列に従って、赤信号ｒａｗ（ｒ）、緑信号ｒａｗ（ｇ）、青信号ｒａｗ（ｂ）のいずれかとなる。ベクトル演算器１０２では、３個の要素（ｒ，ｇ，ｂ）をもつベクトルＶによって、色フィルタを透過する波長域の信号の内、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出する。ベクトルＶ（ｖｒ，ｖｇ，ｖｂ）は、色フィルタのレッド用をＶＲ（ｖｒｒ，ｖｒｇ，ｖｒｂ）、グリーン用をＶＧ（ｖｇｒ，ｖｇｇ，ｖｇｂ）、ブルー用をＶＢ（ｖｂｒ，ｖｂｇ，ｖｂｂ）とする。ベクトル演算器１０２へ入力される各信号を、赤信号ｒａｗ（ｒ）、緑信号ｒａｗ（ｇ）、青信号ｒａｗ（ｂ）とすると、ベクトル演算器１０２の各出力の、ベクトルＵＲ１（ｒ，ｇ，ｂ）、ＵＧ１（ｒ，ｇ，ｂ）、ＵＢ１（ｒ，ｇ，ｂ）は、次の（３）式のように示される。なお、以下において、大文字はマトリクスまたはベクトルを示し、小文字はスカラーを示すものとする。
【００２６】
【数３】
【００２７】
上記の（３）式において、ベクトルＵＲ１、ＵＧ１、ＵＢ１はベクトルＶと同じく３個の要素（ｒ，ｇ，ｂ）を持つ。
【００２８】
図４は、図１の色信号処理方法のベクトル演算器１０２、つまり（３）式に示すベクトル演算方法を示すブロック図である。入力される信号ｒａｗ（５００）は、ＡＤ変換器１０１の出力信号である。乗算するベクトルＶは、色フィルタのレッド用ＶＲ、グリーン用ＶＧ、ブルー用ＶＢの、いずれかを色フィルタの配列に従って切り替えたベクトルである。乗算結果、ベクトルＵＲ１、ＵＧ１、ＵＢ１の、赤信号成分をｒ（５０５、５０９、５１３）、緑信号成分ｇ（５０６、５１０、５１４）、青信号成分ｂ（５０７、５１１、５１５）とする。ある時刻においてベクトル演算器に入力される信号ｒａｗが赤信号の場合には入力信号はｒａｗ（ｒ）５０４となり、ベクトルＶＲ（ｖｒｒ，ｖｒｇ，ｖｒｂ）を適用し、出力ベクトルＵＲ１（ｒ，ｇ，ｂ）５０５〜５０７を得る。同様に、緑信号の場合にはそれぞれｒａｗ（ｇ）５０８、ベクトル（ｖｇｒ，ｖｇｇ，ｖｇｂ）、ベクトルＵＧ１（ｒ，ｇ，ｂ）５０９〜５１１、青信号の場合には、それぞれｒａｗ（ｂ）５１２、ベクトルＶＢ（ｖｂｒ，ｖｂｇ，ｖｂｂ）、ベクトルＵＢ１（ｒ，ｇ，ｂ）５１３〜５１５となる。
【００２９】
なお、各色フィルタＶＲ、ＶＧ、ＶＢに、ホワイトバランス器の係数を含むこともできる。含まれない場合には、３個の要素のうち１個の要素が１となる。すなわち、ｖｒｒ、ｖｇｇ、ｖｂｂが１となる。さらに、ホワイトバランス器１０３、１０４、１０５において次のような演算を行う。
【００３０】
【数４】
【００３１】
ただし、ホワイトバランス器の各出力をベクトルＵＲ２（ｒ，ｇ，ｂ）、ＵＧ２（ｒ，ｇ，ｂ）、ＵＢ２（ｒ，ｇ，ｂ）とし、ホワイトバランス係数をＷＢ（ｗｂｒ，ｗｂｇ，ｗｂｂ）とする。図１において、赤信号成分のホワイトバランス器１０３、緑信号成分のホワイトバランス器１０４、青信号成分のホワイトバランス器１０５である。本発明の方式では、（３）式と（４）式の演算を行うのに必要な乗算回数は、１画素あたり３回となる。
【００３２】
色フィルタを透過しない波長域の信号は、この信号に該当する色フィルタと相互に隣接する別の色フィルタを備えた画素の信号を用いて色補間器１０６によって内挿補間される。従来の色補間器２０２ではスカラー演算であるが、本実施形態では入力される信号がベクトルであるためベクトル演算となる。色補間器１０６の出力信号Ｕ３（ｒ，ｇ，ｂ）は、ガンマ補正器１０７、１０８、１０９によってガンマ補正され、出力機器１１０に出力される。この出力機器１１０は、カメラに接続するコンピュータなど画面表示を含む装置、ネットワークを介した他のデジタル機器、画面表示用のモニタ装置、メモリや磁気ディスクなどの記憶装置とする。
【００３３】
図５は、図１の色信号処理方法を実現するカラーカメラ装置のブロック図である。図５の構成部において、少なくても３色以上の異なる色フィルタを備えた固体撮像素子６００、ＡＤ変換器６０１である。図１の色信号処理方法を実現するハードウエアは、デジタルシグナルプロセッサ（ＤＳＰ）６０２、および記憶素子６０３のロジック回路により構成される。このハードウエアのロジック回路では、高速でエネルギー効率の良い処理が可能である。従来と比較すると、ゲート数の大きな乗算回路が３個で済むという利点があり、消費電力の削減に効果がある。なお、出力機器６０４以外はカメラに搭載されている。
【００３４】
図６は、図１の色信号処理装置を実現する他の実施形態が適用されるカラーカメラ装置のブロック図である。図６の構成部において、少なくても３色以上の異なる色フィルタを備えた固体撮像素子７００、ＡＤ変換器７０１である。図１または図６の装置を用いた色信号処理方法において、ソフトウエアによって実行可能であるＣＰＵ７０２、およびプログラムや画像の一時的な記憶に用いられる記憶素子７０３である。ＣＰＵによる処理は、ハードウエアロジック回路による処理と比べて処理速度では劣るが、記述を容易に変更することができるという特徴がある。なお、出力機器７０４以外はカメラに搭載されているものとする。
【００３５】
図７は、図１の色信号処理方法を実現するための他の実施形態のカラーカメラ装置のブロック図、およびそれに接続されるコンピュータと出力機器である。図７において、少なくても３色以上の異なる色フィルタを備えた固体撮像素子８００、ＡＤ変換器８０１である。コンピュータ（ＰＣ）８０２は、ＡＤ変換器８０１の出力からデジタルインタフェースを介して接続されたパーソナルコンピュータやワークステーション等であり、ＣＰＵと記憶素子を搭載し色信号処理演算が可能である。このコンピュータ８０２によって図１の色信号処理を行う場合には、カメラ内に信号処理器を含む必要がない。このため、回路規模、消費電力、重量などを削減することが可能である。出力機器８０３は、コンピュータ８０２に接続されるモニタなどである。なお、コンピュータ８０２および出力機器８０３以外はカメラに搭載されているものとする。
【００３６】
図６と図７などＣＰＵを用いて処理する場合には、マルチメディア命令を活用することができる。マルチメディア命令とは、複数回の同じ演算を１回の命令で実行する命令やＳＩＭＤ(Single Instruction Multiple Data)命令を指すものとする。マルチメディア命令をもつＣＰＵを用いると、（３）式や（４）式の乗算にかかる処理時間をさらに短縮することができる。マルチメディア命令をもつＣＰＵの例として、参考文献M.R.Chudhury, J.S.Miller共著: ”A 300MHz CMOS Microprocessor with Multimedia Technology ”, 1997 IEEE International Solid-State Circuits Conference. Digest of Technical Papers. ISSCC. First Edition Vol.40, pp.170-171に記載されたものが知られている。
【００３７】
図８は、図４に示したベクトル演算器を行う時の、マルチメディア命令用のレジスタ内容の一例を示す図である。左側がＭＳＢ（Most Siginificant Bit)、右側はＬＳＢ(Least Significant Bit )を示すものとする。このレジスタは、（３）式のベクトルＵＲ１、ＵＧ１、ＵＢ１、ＶＲ、ＶＧ、ＶＢ、および演算結果を一時的に保存するために用いられる。一つのベクトルには図中に示したように３個の信号成分として要素ｒ、ｇ、ｂがある。ただし、この順番は問わないものとし、図中のように空きのビットが存在する場合もある。例えば、レジスタが６４ｂｉｔである場合には、各要素に１６ｂｉｔづつ振り分けられる。
【００３８】
このレジスタ同士を用いて図８に示したような乗算命令、または加算命令やシフト命令などのマルチメディア命令が実行される。入力される信号は、ＡＤ変換器１０１の出力信号ｒａｗである。乗算するベクトルは色フィルタレッドＶＲ、グリーン用をＶＧ、ブルー用をＶＢのいずれかを色フィルタの配列に従って切り替えたベクトルＶである。乗算結果ＵＲ１、ＵＧ１、ＵＢ１のいずれかとなるベクトルＵ１の各色成分を、赤信号成分ｒ、緑信号成分ｇ、青信号成分ｂとする。
【００３９】
色補間器１０６のベクトル演算は、ＣＰＵのスカラ演算で処理した従来の色補間処理２０２に比べて処理時間が増える。しかし、マルチメディア命令をもつＣＰＵを用いれば、ベクトル演算が可能であるため処理時間の短縮が可能である。
【００４０】
上記の実施形態によれば、ベクトル演算器を設けることによって、マトリクス器が必要なくなる。また、乗算回数を削減しビット幅を拡大することによって、複数回の同じ演算を１回の命令で実行するマルチメディア命令やＳＩＭＤ命令のあるＣＰＵでの処理時間を、短縮した装置が実現できる。また、マルチメディア命令によって、ベクトル演算と色補間を効率よく処理することができる。本構成により、消費電力を削減し、かつロジック回路の回路規模と消費電力を削減可能とする。
【００４１】
尚、上述の実施形態は本発明の好適な実施の一例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【００４２】
【発明の効果】
以上の説明より明かなように、本発明の色信号処理装置および色信号処理方法は、カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも２種類の第１の透過波長域の信号の任意の透過波長成分を抽出する。この抽出された第１の透過波長域の信号に基づきベクトル演算処理し、ベクトル演算処理された信号を色信号処理する。
【００４３】
従って、従来の色信号処理の演算方法に比べて、マトリクス器がなくベクトル演算器のみとなる。このため、１画素の出力信号を得るために必要な乗算回数を減らすことができ、単板式カラーカメラの色信号処理の処理時間やカメラの回路規模、消費電力、製造コストを削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の色信号処理装置および色信号処理方法の実施形態の構成の一例を示すブロック図である。
【図２】固体撮像素子に備える色フィルタ配列の例１である。
【図３】固体撮像素子に備える色フィルタ配列の例２である。
【図４】ベクトル演算器の構成例を示すブロック図である。
【図５】本発明の色信号処理方法を実現するためのカラーカメラ装置の構成およびそれに接続される出力機器の一例を示すブロック図である。
【図６】本発明の色信号処理方法を実現するためのカラーカメラ装置の構成およびそれに接続される出力機器の一例を示すブロック図である。
【図７】本発明の色信号処理方法を実現するためのカラーカメラ装置の構成およびそれに接続されるコンピュータと出力機器の一例を示すブロック図である。
【図８】マルチメディア命令用のレジスタ内容とベクトル演算器の一例を示す図である。
【図９】従来のカラーカメラの構成の一例を示すブロック図である。
【符号の説明】
１００ 固体撮像素子
１０１ ＡＤ変換器
１０２ ベクトル演算器
１０３ 赤信号ホワイトバランス器
１０４ 緑信号ホワイトバランス器
１０５ 青信号ホワイトバランス器
１０６ 色補間器
１０７ ガンマ補正器
１０８ ガンマ補正器
１０９ ガンマ補正器
１１０ 出力機器
２００ 固体撮像素子
２０１ ＡＤ変換器
２０２ 色補間器
２０３ ３行３列マトリクス器
２０４ 赤信号ホワイトバランス器
２０５ 緑信号ホワイトバランス器
２０６ 青信号ホワイトバランス器
２０７ ガンマ補正器
２０８ ガンマ補正器
２０９ ガンマ補正器
２１０ 出力機器
５００ ＡＤ変換器の出力信号
５０１ 赤信号成分
５０２ 緑信号成分
５０３ 青信号成分
６００ 固体撮像素子
６０１ ＡＤ変換器
６０２ デジタルシグナルプロセッサ
６０３ 記憶素子
６０４ 出力機器
７００ 固体撮像素子
７０１ ＡＤ変換器
７０２ ＣＰＵ
７０３ 記憶素子
７０４ 出力機器
８００ 固体撮像素子
８０１ ＡＤ変換器
８０２ コンピュータ
８０３ 出力機器
【発明の属する技術分野】
本発明は、カラーカメラ等に適用される色信号処理装置および色信号処理方法に関する。
【０００２】
【従来の技術】
従来、色信号処理装置および色信号処理方法は一般に、コンピュータ用の画像入力装置として、デジタルカメラへ広く適用され利用されている。特に、従来の銀塩フィルムを用いたカメラと同様に、静止画像を記録するデジタルスチルカメラや、デジタルカメラとコンピュータ等とを組み合わせたビデオ会議システムが利用されつつある。また、磁気フィルムに動画を記録する従来のビデオカメラにおいても、画像処理において画質の劣化しないデジタル化が進んでいる。このようなデジタルカメラの画像信号の処理には、専用の画像処理ロジック回路や汎用のＣＰＵが利用されている。
【０００３】
図９は、従来の固体撮像素子を用いた色信号処理装置および色信号処理方法の例を示すブロック図である。このカメラとは、動画用のビデオカメラや静止画用のデジタルスチルカメラを含むものとする。固体撮像素子（ＣＣＤ）２００上に、本発明の実施形態に適用される図２の色フィルタをもつ場合を例にとって述べる。固体撮像素子２００のアナログ映像出力信号は、ＡＤ変換器２０１によってデジタル信号へ変換される。色フィルタを透過しない波長域の信号は、隣接する別の色フィルタを備えた画素の信号を用いて色補間器２０２によって算出される。この時、色補間器２０２の出力の色空間がＲＧＢ空間である場合には、色補間によって出力される信号は赤信号ｒ０、緑信号ｇ０、青信号ｂ０である。各信号は、３行３列のマトリクス器２０３によって、所望の色空間に適するように色補正される。マトリクス器の出力信号を赤信号ｒ１、緑信号ｇ１、青信号ｂ１とすると、入力信号の赤信号ｒ０、緑信号ｇ０、青信号ｂ０から、次のように求めることができる。なお、以下において、大文字はマトリクスまたはベクトルを示し、小文字はスカラーを示すものとする。
【０００４】
【数１】
ただし、マトリクスＭは３行３列の行列であり、任意の値の９個の色分離係数または要素、ｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２、ｍ３３が含まれているものとする。
【０００６】
ホワイトバランス器２０４、２０５、２０６が設けられている場合には、マトリクスＭの対角成分ｍ１１、ｍ２２、ｍ３３はそれぞれ１となり、マトリクスＭは６個の要素をもつことになる。ホワイトバランス器２０４、２０５、２０６によって次の（２）式のように変換される。
【０００７】
【数２】
ただし、ホワイトバランス器の出力信号を赤信号ｒ２、緑信号ｇ２、青信号ｂ２、ホワイトバランスの係数をＷＢ（ｗｂｒ，ｗｂｇ，ｗｂｂ）とする。次に、ガンマ補正器２０７、２０８、２０９によってガンマ補正され、出力機器２１０に出力される。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来例に示される画像信号処理には、次のような解決すべきいくつかの問題点がある。すなわち汎用のＣＰＵで画像信号を処理する場合、デジタルスチルカメラでは、シャッターを押してから処理が終了するまでに銀塩カメラに比べてかなりの時間を要する。また、動画用のデジタルカメラでは、専用の画像処理ロジック回路を使用して色信号処理を施す場合に比べてフレーム数が低下し、動画像として十分なフレーム数が得られない。これらはＣＰＵの処理速度に起因する問題点である。
【００１０】
また、静止画用・動画用のいずれのデジタルカメラにおいても、専用の画像処理ロジック回路で画像処理する場合には、乗算回路を多用するためゲート規模が大きくなり、消費電力が大きくなる。特に、電源に電池を用いた携帯型のカメラでは、電池一充電の許容稼動時間が短いという問題点がある。
【００１１】
その理由は、従来の方式では、上記の（１）式および（２）式における一画素あたりの乗算回数が９回と多いため、ＣＰＵによる実時間処理などには適さないためである。また、ロジック回路で実現する場合にも、ゲート数の大きな乗算回路を９個必要とするため、消費電力を削減することが困難なためである。
【００１２】
本発明は、ロジック回路の回路規模と消費電力の削減を可能とする色信号処理装置および色信号処理方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、請求項１記載の発明は、カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも３種類の色フィルタを備えた固体撮像手段と、前記固体撮像手段により撮像されたアナログ映像出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段により変換された前記デジタル信号を入力とし、各画素ごとに、前記色フィルタの種類と同数の要素を持つベクトルとの演算により、前記色フィルタの透過波長域に従った透過波長成分をそれぞれ抽出し、前記透過波長成分を有する出力信号を出力するベクトル演算手段と、前記ベクトル演算手段から出力された前記出力信号を入力とし、各画素ごとに、当該画素に対応する色フィルタの透過波長成分以外の透過波長成分を、当該画素に隣接し当該画素に対応する色フィルタの透過波長域とは異なる透過波長域の色フィルタを備えた画素の前記出力信号を用いて内挿補間する色補間手段と、を有することを特徴とする。
【００１４】
請求項２記載の発明は、請求項１記載の発明において、ベクトル演算手段は、前記色フィルタの透過波長域に従った透過波長成分として、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出することを特徴とする。
【００１５】
請求項３記載の発明は、請求項１または２記載の発明において、ベクトル演算手段により抽出された前記色フィルタの透過波長域に従った透過波長成分に、ホワイトバランスの係数を乗算するホワイトバランス手段と、前記色補間手段により内挿補間された信号をガンマ補正するガンマ補正手段と、を有することを特徴とする。
【００１６】
請求項４記載の発明は、請求項１から３の何れか１項に記載の発明において、色信号処理装置は、複数回の同じ演算を１回の命令で実行可能なマルチメディア命令やＳＩＭＤ命令を装備したＣＰＵを有し、ＣＰＵの制御の基に前記ベクトル演算手段の演算処理を実行することを特徴とする。
【００１７】
請求項５記載の発明は、カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも３種類の色フィルタを備えた固体撮像素子により撮像する撮像工程と、撮像工程により撮像されたアナログ映像出力信号をデジタル信号に変換するＡ／Ｄ変換工程と、Ａ／Ｄ変換工程により変換された前記デジタル信号を入力とし、各画素ごとに、色フィルタの種類と同数の要素を持つベクトルとの演算により、色フィルタの透過波長域に従った透過波長成分をそれぞれ抽出し、透過波長成分を有する出力信号を出力するベクトル演算工程と、ベクトル演算手段から出力された前記出力信号を入力とし、各画素ごとに、画素に対応する色フィルタの透過波長成分以外の透過波長成分を、画素に隣接し当該画素に対応する色フィルタの透過波長域とは異なる透過波長域の色フィルタを備えた画素の出力信号を用いて内挿補間する色補間工程と、を有することを特徴とする。
【００１８】
請求項６記載の発明は、請求項５記載の発明において、ベクトル演算工程は、色フィルタの透過波長域に従った透過波長成分として、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出することを特徴とする。
【００１９】
請求項７記載の発明は、請求項５または６記載の発明において、ベクトル演算工程により抽出された前記色フィルタの透過波長域に従った透過波長成分に、ホワイトバランスの係数を乗算するホワイトバランス工程と、色補間工程により内挿補間された信号をガンマ補正するガンマ補正工程と、を有することを特徴とする。
【００２０】
請求項８記載の発明は、請求項５から７の何れか１項に記載の発明において、前記色信号処理方法は、複数回の同じ演算を１回の命令で実行可能なマルチメディア命令やＳＩＭＤ命令を実行する演算制御工程を有し、該演算制御工程の制御の基に前記ベクトル演算工程による演算処理を実行することを特徴とする。
【００２１】
請求項９記載の発明は、請求項８記載の発明において、前記色補間工程は、前記演算制御工程を用いて内挿補間を実行することを特徴とする。
【００２２】
【発明の実施の形態】
次に添付図面を参照して本発明による色信号処理装置および色信号処理方法の実施の形態を詳細に説明する。図１〜図８を参照すると本発明の色信号処理装置および色信号処理方法の一実施形態が示されている。
【００２３】
図１は、本実施形態の固体撮像素子を用いた色信号処理装置および色信号処理方法の構成を示すブロック図である。このカメラは、動画用のビデオカメラや静止画用のデジタルスチルカメラを含むものとする。固体撮像素子１００上には、図２や図３に示したような色フィルタが形成されているものとする。なお、図２中、符号Ｒはレッド、Ｇはグリーン、Ｂはブルーを示すものとする。図３中、符号Ｍｇはマゼンタ、Ｃｙはシアン、Ｇはグリーン、Ｙｅはイエローの各色を示すものとする。ただし、色フィルタの透過波長域や配列は、これ以外の場合もあり得る。以下、図２の色フィルタをもつ場合を例にとって述べる。
【００２４】
少なくても３色以上の異なる色フィルタを備えた固体撮像素子１００のアナログ映像出力信号は、ＡＤ変換器１０１によってデジタル信号へ変換される。従来の方式に対して、色補間器とマトリクス演算器の順番が入れ替えられている。さらに、この入れ替えにおいて、入力信号が３個・出力信号が３個の従来例のマトリクス演算器２０３は、本実施形態においては入力信号が１個・出力信号が３個のベクトル演算器１０２に置き換えられている。このベクトル演算器１０２への入力信号は、ＡＤ変換器１０１によってデジタル化された信号ｒａｗである。
【００２５】
図１中の信号ｒａｗは、色フィルタの配列に従って、赤信号ｒａｗ（ｒ）、緑信号ｒａｗ（ｇ）、青信号ｒａｗ（ｂ）のいずれかとなる。ベクトル演算器１０２では、３個の要素（ｒ，ｇ，ｂ）をもつベクトルＶによって、色フィルタを透過する波長域の信号の内、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出する。ベクトルＶ（ｖｒ，ｖｇ，ｖｂ）は、色フィルタのレッド用をＶＲ（ｖｒｒ，ｖｒｇ，ｖｒｂ）、グリーン用をＶＧ（ｖｇｒ，ｖｇｇ，ｖｇｂ）、ブルー用をＶＢ（ｖｂｒ，ｖｂｇ，ｖｂｂ）とする。ベクトル演算器１０２へ入力される各信号を、赤信号ｒａｗ（ｒ）、緑信号ｒａｗ（ｇ）、青信号ｒａｗ（ｂ）とすると、ベクトル演算器１０２の各出力の、ベクトルＵＲ１（ｒ，ｇ，ｂ）、ＵＧ１（ｒ，ｇ，ｂ）、ＵＢ１（ｒ，ｇ，ｂ）は、次の（３）式のように示される。なお、以下において、大文字はマトリクスまたはベクトルを示し、小文字はスカラーを示すものとする。
【００２６】
【数３】
上記の（３）式において、ベクトルＵＲ１、ＵＧ１、ＵＢ１はベクトルＶと同じく３個の要素（ｒ，ｇ，ｂ）を持つ。
【００２８】
図４は、図１の色信号処理方法のベクトル演算器１０２、つまり（３）式に示すベクトル演算方法を示すブロック図である。入力される信号ｒａｗ（５００）は、ＡＤ変換器１０１の出力信号である。乗算するベクトルＶは、色フィルタのレッド用ＶＲ、グリーン用ＶＧ、ブルー用ＶＢの、いずれかを色フィルタの配列に従って切り替えたベクトルである。乗算結果、ベクトルＵＲ１、ＵＧ１、ＵＢ１の、赤信号成分をｒ（５０５、５０９、５１３）、緑信号成分ｇ（５０６、５１０、５１４）、青信号成分ｂ（５０７、５１１、５１５）とする。ある時刻においてベクトル演算器に入力される信号ｒａｗが赤信号の場合には入力信号はｒａｗ（ｒ）５０４となり、ベクトルＶＲ（ｖｒｒ，ｖｒｇ，ｖｒｂ）を適用し、出力ベクトルＵＲ１（ｒ，ｇ，ｂ）５０５〜５０７を得る。同様に、緑信号の場合にはそれぞれｒａｗ（ｇ）５０８、ベクトル（ｖｇｒ，ｖｇｇ，ｖｇｂ）、ベクトルＵＧ１（ｒ，ｇ，ｂ）５０９〜５１１、青信号の場合には、それぞれｒａｗ（ｂ）５１２、ベクトルＶＢ（ｖｂｒ，ｖｂｇ，ｖｂｂ）、ベクトルＵＢ１（ｒ，ｇ，ｂ）５１３〜５１５となる。
【００２９】
なお、各色フィルタＶＲ、ＶＧ、ＶＢに、ホワイトバランス器の係数を含むこともできる。含まれない場合には、３個の要素のうち１個の要素が１となる。すなわち、ｖｒｒ、ｖｇｇ、ｖｂｂが１となる。さらに、ホワイトバランス器１０３、１０４、１０５において次のような演算を行う。
【００３０】
【数４】
ただし、ホワイトバランス器の各出力をベクトルＵＲ２（ｒ，ｇ，ｂ）、ＵＧ２（ｒ，ｇ，ｂ）、ＵＢ２（ｒ，ｇ，ｂ）とし、ホワイトバランス係数をＷＢ（ｗｂｒ，ｗｂｇ，ｗｂｂ）とする。図１において、赤信号成分のホワイトバランス器１０３、緑信号成分のホワイトバランス器１０４、青信号成分のホワイトバランス器１０５である。本発明の方式では、（３）式と（４）式の演算を行うのに必要な乗算回数は、１画素あたり３回となる。
【００３２】
色フィルタを透過しない波長域の信号は、この信号に該当する色フィルタと相互に隣接する別の色フィルタを備えた画素の信号を用いて色補間器１０６によって内挿補間される。従来の色補間器２０２ではスカラー演算であるが、本実施形態では入力される信号がベクトルであるためベクトル演算となる。色補間器１０６の出力信号Ｕ３（ｒ，ｇ，ｂ）は、ガンマ補正器１０７、１０８、１０９によってガンマ補正され、出力機器１１０に出力される。この出力機器１１０は、カメラに接続するコンピュータなど画面表示を含む装置、ネットワークを介した他のデジタル機器、画面表示用のモニタ装置、メモリや磁気ディスクなどの記憶装置とする。
【００３３】
図５は、図１の色信号処理方法を実現するカラーカメラ装置のブロック図である。図５の構成部において、少なくても３色以上の異なる色フィルタを備えた固体撮像素子６００、ＡＤ変換器６０１である。図１の色信号処理方法を実現するハードウエアは、デジタルシグナルプロセッサ（ＤＳＰ）６０２、および記憶素子６０３のロジック回路により構成される。このハードウエアのロジック回路では、高速でエネルギー効率の良い処理が可能である。従来と比較すると、ゲート数の大きな乗算回路が３個で済むという利点があり、消費電力の削減に効果がある。なお、出力機器６０４以外はカメラに搭載されている。
【００３４】
図６は、図１の色信号処理装置を実現する他の実施形態が適用されるカラーカメラ装置のブロック図である。図６の構成部において、少なくても３色以上の異なる色フィルタを備えた固体撮像素子７００、ＡＤ変換器７０１である。図１または図６の装置を用いた色信号処理方法において、ソフトウエアによって実行可能であるＣＰＵ７０２、およびプログラムや画像の一時的な記憶に用いられる記憶素子７０３である。ＣＰＵによる処理は、ハードウエアロジック回路による処理と比べて処理速度では劣るが、記述を容易に変更することができるという特徴がある。なお、出力機器７０４以外はカメラに搭載されているものとする。
【００３５】
図７は、図１の色信号処理方法を実現するための他の実施形態のカラーカメラ装置のブロック図、およびそれに接続されるコンピュータと出力機器である。図７において、少なくても３色以上の異なる色フィルタを備えた固体撮像素子８００、ＡＤ変換器８０１である。コンピュータ（ＰＣ）８０２は、ＡＤ変換器８０１の出力からデジタルインタフェースを介して接続されたパーソナルコンピュータやワークステーション等であり、ＣＰＵと記憶素子を搭載し色信号処理演算が可能である。このコンピュータ８０２によって図１の色信号処理を行う場合には、カメラ内に信号処理器を含む必要がない。このため、回路規模、消費電力、重量などを削減することが可能である。出力機器８０３は、コンピュータ８０２に接続されるモニタなどである。なお、コンピュータ８０２および出力機器８０３以外はカメラに搭載されているものとする。
【００３６】
図６と図７などＣＰＵを用いて処理する場合には、マルチメディア命令を活用することができる。マルチメディア命令とは、複数回の同じ演算を１回の命令で実行する命令やＳＩＭＤ(Single Instruction Multiple Data)命令を指すものとする。マルチメディア命令をもつＣＰＵを用いると、（３）式や（４）式の乗算にかかる処理時間をさらに短縮することができる。マルチメディア命令をもつＣＰＵの例として、参考文献M.R.Chudhury, J.S.Miller共著: ”A 300MHz CMOS Microprocessor with Multimedia Technology ”, 1997 IEEE International Solid-State Circuits Conference. Digest of Technical Papers. ISSCC. First Edition Vol.40, pp.170-171に記載されたものが知られている。
【００３７】
図８は、図４に示したベクトル演算器を行う時の、マルチメディア命令用のレジスタ内容の一例を示す図である。左側がＭＳＢ（Most Siginificant Bit)、右側はＬＳＢ(Least Significant Bit )を示すものとする。このレジスタは、（３）式のベクトルＵＲ１、ＵＧ１、ＵＢ１、ＶＲ、ＶＧ、ＶＢ、および演算結果を一時的に保存するために用いられる。一つのベクトルには図中に示したように３個の信号成分として要素ｒ、ｇ、ｂがある。ただし、この順番は問わないものとし、図中のように空きのビットが存在する場合もある。例えば、レジスタが６４ｂｉｔである場合には、各要素に１６ｂｉｔづつ振り分けられる。
【００３８】
このレジスタ同士を用いて図８に示したような乗算命令、または加算命令やシフト命令などのマルチメディア命令が実行される。入力される信号は、ＡＤ変換器１０１の出力信号ｒａｗである。乗算するベクトルは色フィルタレッドＶＲ、グリーン用をＶＧ、ブルー用をＶＢのいずれかを色フィルタの配列に従って切り替えたベクトルＶである。乗算結果ＵＲ１、ＵＧ１、ＵＢ１のいずれかとなるベクトルＵ１の各色成分を、赤信号成分ｒ、緑信号成分ｇ、青信号成分ｂとする。
【００３９】
色補間器１０６のベクトル演算は、ＣＰＵのスカラ演算で処理した従来の色補間処理２０２に比べて処理時間が増える。しかし、マルチメディア命令をもつＣＰＵを用いれば、ベクトル演算が可能であるため処理時間の短縮が可能である。
【００４０】
上記の実施形態によれば、ベクトル演算器を設けることによって、マトリクス器が必要なくなる。また、乗算回数を削減しビット幅を拡大することによって、複数回の同じ演算を１回の命令で実行するマルチメディア命令やＳＩＭＤ命令のあるＣＰＵでの処理時間を、短縮した装置が実現できる。また、マルチメディア命令によって、ベクトル演算と色補間を効率よく処理することができる。本構成により、消費電力を削減し、かつロジック回路の回路規模と消費電力を削減可能とする。
【００４１】
尚、上述の実施形態は本発明の好適な実施の一例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。
【００４２】
【発明の効果】
以上の説明より明かなように、本発明の色信号処理装置および色信号処理方法は、カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも２種類の第１の透過波長域の信号の任意の透過波長成分を抽出する。この抽出された第１の透過波長域の信号に基づきベクトル演算処理し、ベクトル演算処理された信号を色信号処理する。
【００４３】
従って、従来の色信号処理の演算方法に比べて、マトリクス器がなくベクトル演算器のみとなる。このため、１画素の出力信号を得るために必要な乗算回数を減らすことができ、単板式カラーカメラの色信号処理の処理時間やカメラの回路規模、消費電力、製造コストを削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の色信号処理装置および色信号処理方法の実施形態の構成の一例を示すブロック図である。
【図２】固体撮像素子に備える色フィルタ配列の例１である。
【図３】固体撮像素子に備える色フィルタ配列の例２である。
【図４】ベクトル演算器の構成例を示すブロック図である。
【図５】本発明の色信号処理方法を実現するためのカラーカメラ装置の構成およびそれに接続される出力機器の一例を示すブロック図である。
【図６】本発明の色信号処理方法を実現するためのカラーカメラ装置の構成およびそれに接続される出力機器の一例を示すブロック図である。
【図７】本発明の色信号処理方法を実現するためのカラーカメラ装置の構成およびそれに接続されるコンピュータと出力機器の一例を示すブロック図である。
【図８】マルチメディア命令用のレジスタ内容とベクトル演算器の一例を示す図である。
【図９】従来のカラーカメラの構成の一例を示すブロック図である。
【符号の説明】
１００ 固体撮像素子
１０１ ＡＤ変換器
１０２ ベクトル演算器
１０３ 赤信号ホワイトバランス器
１０４ 緑信号ホワイトバランス器
１０５ 青信号ホワイトバランス器
１０６ 色補間器
１０７ ガンマ補正器
１０８ ガンマ補正器
１０９ ガンマ補正器
１１０ 出力機器
２００ 固体撮像素子
２０１ ＡＤ変換器
２０２ 色補間器
２０３ ３行３列マトリクス器
２０４ 赤信号ホワイトバランス器
２０５ 緑信号ホワイトバランス器
２０６ 青信号ホワイトバランス器
２０７ ガンマ補正器
２０８ ガンマ補正器
２０９ ガンマ補正器
２１０ 出力機器
５００ ＡＤ変換器の出力信号
５０１ 赤信号成分
５０２ 緑信号成分
５０３ 青信号成分
６００ 固体撮像素子
６０１ ＡＤ変換器
６０２ デジタルシグナルプロセッサ
６０３ 記憶素子
６０４ 出力機器
７００ 固体撮像素子
７０１ ＡＤ変換器
７０２ ＣＰＵ
７０３ 記憶素子
７０４ 出力機器
８００ 固体撮像素子
８０１ ＡＤ変換器
８０２ コンピュータ
８０３ 出力機器
Claims (9)
- カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも３種類の色フィルタを備えた固体撮像手段と、
前記固体撮像手段により撮像されたアナログ映像出力信号をデジタル信号に変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段により変換された前記デジタル信号を入力とし、
各画素ごとに、前記色フィルタの種類と同数の要素を持つベクトルとの演算により、前記色フィルタの透過波長域に従った透過波長成分をそれぞれ抽出し、前記透過波長成分を有する出力信号を出力するベクトル演算手段と、
前記ベクトル演算手段から出力された前記出力信号を入力とし、
各画素ごとに、当該画素に対応する色フィルタの透過波長成分以外の透過波長成分を、当該画素に隣接し当該画素に対応する色フィルタの透過波長域とは異なる透過波長域の色フィルタを備えた画素の前記出力信号を用いて内挿補間する色補間手段と、
を有することを特徴とする色信号処理装置。 - 前記ベクトル演算手段は、前記色フィルタの透過波長域に従った透過波長成分として、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出することを特徴とする請求項１記載の色信号処理装置。
- 前記ベクトル演算手段により抽出された前記色フィルタの透過波長域に従った透過波長成分に、ホワイトバランスの係数を乗算するホワイトバランス手段と、
前記色補間手段により内挿補間された信号をガンマ補正するガンマ補正手段と、
を有することを特徴とする請求項１または２記載の色信号処理装置。 - 前記色信号処理装置は、
複数回の同じ演算を１回の命令で実行可能なマルチメディア命令やＳＩＭＤ命令を装備したＣＰＵを有し、
該ＣＰＵの制御の基に前記ベクトル演算手段の演算処理を実行することを特徴とする請求項１から３の何れか１項に記載の色信号処理装置。 - カラー画像信号の各画素に対応しそれぞれ透過波長域の異なる少なくとも３種類の色フィルタを備えた固体撮像素子により撮像する撮像工程と、
前記撮像工程により撮像されたアナログ映像出力信号をデジタル信号に変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程により変換された前記デジタル信号を入力とし、各画素ごとに、前記色フィルタの種類と同数の要素を持つベクトルとの演算により、前記色フィルタの透過波長域に従った透過波長成分をそれぞれ抽出し、前記透過波長成分を有する出力信号を出力するベクトル演算工程と、
前記ベクトル演算手段から出力された前記出力信号を入力とし、
各画素ごとに、当該画素に対応する色フィルタの透過波長成分以外の透過波長成分を、当該画素に隣接し当該画素に対応する色フィルタの透過波長域とは異なる透過波長域の色フィルタを備えた画素の前記出力信号を用いて内挿補間する色補間工程と、
を有することを特徴とする色信号処理方法。 - 前記ベクトル演算工程は、
前記色フィルタの透過波長域に従った透過波長成分として、赤波長信号成分、緑波長信号成分、青波長信号成分のそれぞれを抽出することを特徴とする請求項５記載の色信号処理方法。 - 前記ベクトル演算工程により抽出された前記色フィルタの透過波長域に従った透過波長成分に、ホワイトバランスの係数を乗算するホワイトバランス工程と、
前記色補間工程により内挿補間された信号をガンマ補正するガンマ補正工程と、
を有することを特徴とする請求項５または６記載の色信号処理方法。 - 前記色信号処理方法は、
複数回の同じ演算を１回の命令で実行可能なマルチメディア命令やＳＩＭＤ命令を実行する演算制御工程を有し、
該演算制御工程の制御の基に前記ベクトル演算工程による演算処理を実行することを特徴とする請求項５から７の何れか１項に記載の色信号処理方法。 - 前記色補間工程は、
前記演算制御工程を用いて内挿補間を実行することを特徴とする請求項８記載の色信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10681098A JP3914633B2 (ja) | 1998-04-16 | 1998-04-16 | 色信号処理装置および色信号処理方法 |
| US09/289,925 US6630956B1 (en) | 1998-04-16 | 1999-04-14 | Device and method for processing color signals employing vector operation color space conversion means |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10681098A JP3914633B2 (ja) | 1998-04-16 | 1998-04-16 | 色信号処理装置および色信号処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004142676A Division JP2004260858A (ja) | 2004-05-12 | 2004-05-12 | 色信号処理装置および色信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11298909A JPH11298909A (ja) | 1999-10-29 |
| JP3914633B2 true JP3914633B2 (ja) | 2007-05-16 |
Family
ID=14443211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10681098A Expired - Fee Related JP3914633B2 (ja) | 1998-04-16 | 1998-04-16 | 色信号処理装置および色信号処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6630956B1 (ja) |
| JP (1) | JP3914633B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6876384B1 (en) * | 2000-04-19 | 2005-04-05 | Biomorphic Vlsi, Inc. | Pixel selective white balancing |
| US7362362B2 (en) * | 2004-07-09 | 2008-04-22 | Texas Instruments Incorporated | Reformatter and method |
| JP4581633B2 (ja) | 2004-10-29 | 2010-11-17 | 富士フイルム株式会社 | 色信号補正方法、装置及びプログラム |
| US7965322B2 (en) * | 2008-04-25 | 2011-06-21 | Nokia Corporation | Color correction on an image |
| JP2009290599A (ja) * | 2008-05-29 | 2009-12-10 | Hoya Corp | 撮像装置 |
| JP2011041210A (ja) * | 2009-08-18 | 2011-02-24 | Sony Corp | 信号処理装置、撮像装置及び信号処理方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2619355B2 (ja) | 1985-04-01 | 1997-06-11 | 株式会社日立製作所 | 固体撮像装置 |
| JPH01307366A (ja) | 1988-06-06 | 1989-12-12 | Fuji Xerox Co Ltd | カラー画像読取装置 |
| US5132788A (en) * | 1989-02-25 | 1992-07-21 | Minolta Camera Kabushiki Kaisha | Image processing apparatus for processing respective image data obtained by reading an outputting image signal corresponding to pixels forming the original image |
| JP2921879B2 (ja) * | 1989-09-29 | 1999-07-19 | 株式会社東芝 | 画像データ処理装置 |
| JP2948240B2 (ja) | 1989-10-09 | 1999-09-13 | 株式会社日立製作所 | 信号補間装置 |
| JP2942903B2 (ja) * | 1990-11-05 | 1999-08-30 | キヤノン株式会社 | ディジタル・カメラ信号処理装置 |
| JP3073005B2 (ja) | 1990-11-05 | 2000-08-07 | 株式会社日立製作所 | 撮像装置 |
| JPH04284087A (ja) * | 1991-03-13 | 1992-10-08 | Canon Inc | 電子スチルカメラ |
| JP3121055B2 (ja) | 1991-09-04 | 2000-12-25 | キヤノン株式会社 | 撮像装置 |
| JP3124190B2 (ja) | 1994-09-01 | 2001-01-15 | ユニ・チャーム株式会社 | 衛生用品の吸収体 |
| US6147707A (en) * | 1996-02-06 | 2000-11-14 | Canon Kabushiki Kaisha | Method and apparatus for gain adjustment of an image sensor |
| JP3755921B2 (ja) * | 1996-02-29 | 2006-03-15 | 株式会社コダックデジタルプロダクトセンター | 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置 |
| US6356306B1 (en) * | 1997-02-28 | 2002-03-12 | Sanyo Electric Co., Ltd. | Digital camera capable of converting a progressive scan signal into an interlace scan signal |
| JPH11113006A (ja) | 1997-09-30 | 1999-04-23 | Olympus Optical Co Ltd | 電子的撮像装置 |
| JP3968480B2 (ja) | 1997-12-12 | 2007-08-29 | ソニー株式会社 | 相関値算出回路およびその算出方法 |
-
1998
- 1998-04-16 JP JP10681098A patent/JP3914633B2/ja not_active Expired - Fee Related
-
1999
- 1999-04-14 US US09/289,925 patent/US6630956B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11298909A (ja) | 1999-10-29 |
| US6630956B1 (en) | 2003-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8295595B2 (en) | Generating full color images by demosaicing noise removed pixels from images | |
| JP4941285B2 (ja) | 撮像装置、撮像システム、撮像方法及び画像処理装置 | |
| US20070247532A1 (en) | Image processing apparatus | |
| EP2104362B1 (en) | Imaging apparatus | |
| JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| JP2005044098A (ja) | 画像処理装置及び画像処理方法 | |
| US20040061902A1 (en) | Color data image acquistion and processing | |
| JP2009218802A (ja) | 画像処理方法、画像処理装置及び画像撮像装置 | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JP2000023174A (ja) | 画像処理装置及び画像処理方法 | |
| JP2006211610A (ja) | 撮像システム | |
| JP3914633B2 (ja) | 色信号処理装置および色信号処理方法 | |
| JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP2004260858A (ja) | 色信号処理装置および色信号処理方法 | |
| JPH0488784A (ja) | カラー撮像素子及び信号処理方式 | |
| JP3777861B2 (ja) | 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 | |
| JP2658089B2 (ja) | カラー画像処理方法 | |
| JPH1169226A (ja) | 電子カメラ | |
| JP3660504B2 (ja) | カラー固体撮像装置 | |
| JP2006262382A (ja) | 画像処理装置 | |
| JP2658086B2 (ja) | カラー画像処理方法 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP4478934B2 (ja) | 画像信号処理装置 | |
| JP3519825B2 (ja) | 電子撮像装置のシミュレーション方法および装置 | |
| JP2658087B2 (ja) | カラー画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040316 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040415 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070205 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |