JP3649992B2 - 画像信号処理装置及び画像信号処理方法 - Google Patents
画像信号処理装置及び画像信号処理方法 Download PDFInfo
- Publication number
- JP3649992B2 JP3649992B2 JP2000141008A JP2000141008A JP3649992B2 JP 3649992 B2 JP3649992 B2 JP 3649992B2 JP 2000141008 A JP2000141008 A JP 2000141008A JP 2000141008 A JP2000141008 A JP 2000141008A JP 3649992 B2 JP3649992 B2 JP 3649992B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- saturation
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の色信号より各画素の輝度信号を得るための画像信号処理装置及び画像信号処理方法に関する。
【０００２】
【従来の技術】
＜従来の輝度信号の生成方法＞
複数種類のカラーフィルタが設けられたＣＣＤ（Charge Coupled Device）より出力される画像信号より、輝度信号が生成される従来の基本的な方法について説明する。今、図８（ａ）のように、画像信号が、Ｍ（Magenta）、Ｇ（Green）、Ｙ（Yellow）、Ｃ（Cyan）の４種類のカラーフィルタが設けられたＣＣＤより出力される画像信号とする。尚、ＣＣＤでは、図８（ａ）のように、Ｍ、Ｙ、Ｇ、Ｙの順にカラーフィルタ並んでいる列とＧ、Ｃ、Ｍ、Ｃの順にカラーフィルタが並んでいる列が交互に配列されている。
【０００３】
このようなＣＣＤからは、２行毎に画像信号が組み合わされて出力される。即ち、図８（ｂ）のように、Ｍ＋Ｙ、Ｇ＋Ｃ、Ｇ＋Ｙ、Ｍ＋Ｃが画像信号として出力される。このとき、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を、それぞれ、Ｃ１＝Ｍ＋Ｙ、Ｃ２＝Ｇ＋Ｃ、Ｃ３＝Ｇ＋Ｙ、Ｃ４＝Ｍ＋Ｃとする。このように画像信号が出力される際、Ｍ、Ｃ、Ｙは、それぞれ、原色Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）で表すと、Ｍ＝Ｒ＋Ｂ、Ｃ＝Ｇ＋Ｂ、Ｙ＝Ｒ＋Ｇとなる。よって、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を、原色Ｒ、Ｇ、Ｂで表すと、Ｃ１＝２Ｒ＋Ｇ＋Ｂ、Ｃ２＝２Ｇ＋Ｂ、Ｃ３＝２Ｇ＋Ｒ、Ｃ４＝２Ｂ＋Ｇ＋Ｒとなる。
【０００４】
よって、今、出力される画像信号の原色Ｒ、Ｇ、Ｂの成分の大きさが等しいものと仮定すると、図８（ｃ）のように表すことができる。即ち、ＣＣＤによって、白色の被写体が撮像された結果、原色Ｒ、Ｇ、Ｂの成分の大きさが等しい画像信号が出力されたとき、各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４の大きさの関係が、Ｃ１＞Ｃ２、Ｃ３＜Ｃ４となる。このような画像信号を、輝度信号として用いたとき、本来、輝度の大きさがほぼ等しい状態であるにも関わらず、列毎に、その輝度の大きさが変化してしまう。
【０００５】
そこで、各行毎にローパスフィルタを通すことで、図８（ｄ）のように、各行毎に与えられる画像信号の直流成分となる２Ｒ＋３Ｇ＋２Ｂを得ることができる。このように得た直流成分２Ｒ＋３Ｇ＋２Ｂを、輝度信号として用いることによって、その大きさを平滑化することができるので、白色の被写体を白色の被写体として同一レベルの輝度信号を用いて表すことができる。
【０００６】
このような従来より使用される画像信号処理装置を図９に示す。図９に示す画像信号処理装置は、例えば、単板式カラーＣＣＤなどの複数種類のフィルタを有する撮像装置より出力される画像信号より、輝度信号を出力する装置である。今、この画像信号処理装置に、上述したＭ、Ｇ、Ｙ、Ｃの４種類のカラーフィルタが設けられたＣＣＤより、画像信号が入力される。このとき、上述したように、ＣＣＤからは、垂直方向に隣接した２つのフィルタが設けられた２画素分の出力信号が１つの画像信号として出力される。
【０００７】
このような画像信号処理装置は、ＣＣＤからの画像信号が入力されると、この画像信号が、ラインメモリ５１及び垂直方向のローパスフィルタ５３（以下、「ＶＬＰＦ５３」とする）に与えられる。又、ラインメモリ５１より出力される画像信号がラインメモリ５２及びＶＬＰＦ５３に与えられるとともに、ラインメモリ５２より出力される画像信号もＶＬＰＦ５３に与えられる。このようにして、１行分の画像信号がラインメモリ５１，５２に格納されるとともに、垂直方向に隣接した３つの画像信号がＶＬＰＦ５３に与えられる。即ち、１行目の画像信号がラインメモリ５２より、２行目の画像信号がラインメモリ５１より、そして、３行目の画像信号がＣＣＤより直接、ＶＬＰＦ５３に与えられる。
【０００８】
このように画像信号が与えられるＶＬＰＦ５３からは、ラインメモリ５２より与えられた１行目の画像信号とＣＣＤより直接与えられた３行目の画像信号との平均値とする画像信号と、ラインメモリ５１より与えられた２行目の画像信号が水平方向のローパスフィルタ５４（以下、「ＨＬＰＦ５４」とする）に与えられる。ＨＬＰＦ５４では、３列分の画像信号が与えられ、１列目の画像信号と３列目の画像信号との平均値とする画像信号が生成される。このようにして、ＶＬＰＦ５３及びＨＬＰＦ５４によって、各画素における画像信号Ｃ１〜Ｃ４の信号レベルが求められると、この求められた画像信号Ｃ１〜Ｃ４の信号レベルを平均した値を信号レベルとする輝度信号をＨＬＰＦ５４から輝度信号処理回路５５に出力する。
【０００９】
即ち、例えば、画像信号Ｃ１を与える画素の輝度信号がＶＬＰＦ５３及びＨＬＰＦ５４によって生成される際、ＶＬＰＦ５３及びＨＬＰＦ５４で、擬似的に画像信号Ｃ２〜Ｃ４の信号レベルが求められる。そして、ＨＬＰＦ５４では、更に、このように擬似的に求められた画像信号Ｃ２〜Ｃ４と画像信号Ｃ１を平均した値を信号レベルとする輝度信号を生成する。そして、輝度信号処理回路５５において、ＨＬＰＦ５４より与えられる輝度信号を、更にエッジ強調処理などを施して、その信号レベルを変化させて出力する。
【００１０】
【発明が解決しようとする課題】
このようにして、ＣＣＤなどの固体撮像装置より得られる画像信号より、輝度信号が生成されるが、図８のように、生成された輝度信号は、各画像信号毎の輝度信号ではなく、ローパスフィルタを通過させることによって得た信号であるため、２つの画像信号の平均値に比例した信号レベルの信号となる。よって、白色の被写体を撮像したときに得られた画像信号に基づいて再生したとき、白色の被写体を再生することができるが、その細部の輝度の変化については再生することができない。
【００１１】
このような問題を鑑みて、本発明は、解像度を向上した高精細な画像を再生するための輝度信号を生成することができる画像信号処理装置及び画像信号処理方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の画像信号処理装置は、複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理装置において、彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算する画像信号積算部と、前記固体撮像素子の画素に配された前記色フィルタを通過する光量を、前記出力画像信号の種類毎に補正するために、前記出力画像信号の種類毎に与えられる補正定数に基づいて、前記固体撮像素子の画素より出力される画像信号を補正した補正画像信号を生成する透過光量補正部と、前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記補正定数を前記出力画像信号の種類毎に設定して、前記透過光量補正部に送出する補正定数演算部と、前記透過光量補正部より現在入力された補正画像信号と、該補正画像信号を出力する現画素の近隣に存在する複数の画素より出力された補正画像信号とを平滑化することによって、前記現画素の輝度信号を生成する第１輝度信号生成部と、前記透過光量補正部から与えられる前記現画素の補正画像信号と、前記第１輝度信号生成部から与えられる前記現画素の輝度信号とによって、新たに前記現画素の輝度信号を生成する第２輝度信号生成部と、を有することを特徴とする。
【００１３】
まず、画像信号積算部において、低彩度領域を撮像している画素から出力される画像信号について、その信号レベルが、それぞれに設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算される。次に、このように積算された信号レベルが、補正定数演算部に与えられ、この積算された信号レベルに基づいて、出力画像信号の種類毎に、その画像信号に与えて補正する補正定数が求められる。そして、この出力画像信号の種類毎に求められた補正定数が透過光量補正部に与えられ、この補正定数により画像信号が出力画像信号の種類毎に補正されて、補正画像信号として出力される。この補正画像信号が第１及び第２輝度信号生成部に与えられ、第１輝度信号生成部では、この補正画像信号を与える現画素と垂直方向又は水平方向において近隣に存在する複数の画素から与えられる補正画像信号と現画素の補正画像信号を用いて平滑化を行うことで、現画素の輝度信号を生成する。又、第２輝度信号生成部では、第１輝度信号生成部からの輝度信号も与えられ、補正画像信号と第１輝度信号生成部からの輝度信号とを用いて、新たに現画素の輝度信号を生成して出力する。
【００１４】
このような画像信号処理装置において、請求項２に記載するように、前記第２輝度信号生成部で、前記現画素が前記低彩度領域を撮像している画素であるとき、前記透過光量補正部より与えられる前記補正画像信号を前記現画素の輝度信号として出力するとともに、前記現画素が前記低彩度領域以外の領域を撮像している画素であるとき、前記第１輝度信号生成部より与えられる輝度信号を前記現画素の輝度信号として出力するようにしても構わない。
【００１５】
又、請求項３に記載するように、前記第２輝度信号生成部において、前記透過光量補正部より与えられる前記補正画像信号と前記第１輝度信号生成部より与えられる輝度信号とが、前記現画素の画像信号の彩度に基づいて重み付け加算された信号を、前記現画素の輝度信号として出力するようにしても構わない。更に、このような画像信号処理装置において、請求項４に記載するように、前記第２輝度信号生成部で輝度信号を生成する際、その画像信号の彩度が低いものほど、前記補正画像信号の割合を大きくした重み付け加算を施すようにしても構わない。
【００１６】
又、請求項５に記載するように、前記補正定数演算部において、前記低彩度領域の前記出力画像信号の種類毎に積算された画像信号の信号レベルに前記補正定数を乗算した値が一定となるようにして、前記補正定数が求めることで、低彩度領域でホワイトバランス調整が行えるようにしても構わない。更に、請求項６に記載するように、前記透過光量補正部において、前記画像信号に前記補正定数を乗算することによって、前記補正画像信号を生成するようにしても構わない。
【００１７】
請求項７に記載の画像信号処理装置は、請求項１〜請求項６のいずれかに記載の画像信号処理装置において、前記画像信号が再生された１フィールド分の画像において、複数の彩度算出領域を設けるとともに、該彩度算出領域毎に、各彩度算出領域を構成する画像信号の彩度を積算する彩度積算部と、この積算された彩度によって、その彩度算出領域が彩度の低い低彩度領域であるか否か判定する彩度判定部と、を有することを特徴とする。
【００１８】
このような画像信号処理装置では、彩度算出領域毎に、各画素から与えられる画像信号の彩度が彩度積算部で積算され、彩度算出領域毎に積算された彩度積算結果が、ある値より低いとき、画像信号積算部を動作させて、画像信号の信号レベルを積算するように制御することができる。又、各彩度算出領域を構成する画像信号の輝度信号を生成する際、補正画像信号の割合を変化させるために与える重み係数を、彩度算出領域毎に積算された彩度積算結果に応じて求めることができる。又、彩度算出領域毎に求められた重み係数に応じて、各画像信号毎に線形的に変化させた重み係数を求めることができる。
【００１９】
このような画像信号処理装置において、請求項８に記載するように、前記画像信号より色信号を生成する色信号生成部を有し、該色信号生成部内において生成される色差信号より画像信号の彩度が求められるようにしても構わない。このとき、色差信号の大きさより画像信号の彩度が求められる。
【００２０】
請求項９に記載の画像信号処理方法は、複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理方法において、彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算し、前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記低彩度領域を撮像している前記固体撮像素子の画素に配された前記色フィルタを通過する光量を補正するための補正定数を求め、前記低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号に前記補正定数を乗算して、補正画像信号を生成し、該補正画像信号を、前記低彩度領域を撮像している前記固体撮像素子の画素における輝度信号とすることを特徴とする。
【００２１】
このような画像信号処理方法において、請求項１０に記載するように、隣接する複数の画素毎に画像信号が平滑化された平滑画像信号を、前記低彩度領域以外の領域を撮像している前記固体撮像素子の画素より出力される画像信号における輝度信号とするようにしても構わない。
【００２２】
又、請求項１１に記載の画像信号処理方法は、複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理方法において、彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算し、前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記低彩度領域を撮像している前記固体撮像素子の画素に配された前記色フィルタを通過する光量を補正するための補正定数を求め、前記低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号に前記補正定数を乗算して、補正画像信号を生成し、該補正画像信号と隣接する複数の画素毎に画像信号が平滑化された平滑画像信号とを、画像信号の彩度に基づいて重み付け加算した信号を、その画像信号の輝度信号とすることを特徴とする。
【００２３】
このような画像信号処理方法において、請求項１２に記載するように、前記輝度信号を生成する際、その画像信号の彩度が低いものほど、前記平滑画像信号に比べて前記補正画像信号の割合を大きくした重み付け加算を施すようにしても構わない。
【００２４】
請求項１３に記載する画像信号処理方法は、請求項９〜請求項１２のいずれかに記載の画像信号処理方法において、前記低彩度領域の前記出力画像信号の種類毎に積算された画像信号の信号レベルに前記補正定数を乗算した値が一定となるようにして、前記補正定数が求められることを特徴とする。
【００２５】
更に、請求項１４に記載の画像信号処理方法は、請求項９〜請求項１３のいずれかに記載の画像信号処理方法において、前記画像信号が再生された１フィールド分の画像において、複数の彩度算出領域を設け、該彩度算出領域毎に、各彩度算出領域を構成する画像信号より得られる彩度を積算し、この積算された彩度によって、その彩度算出領域が彩度の低い低彩度領域であるか否か判定されることを特徴とする。
【００２６】
【発明の実施の形態】
＜本発明の輝度信号の生成方法＞
図１を参照して、本発明における輝度信号の生成方法の概略について、説明する。図８（ａ）と同様の配列でＭ、Ｇ、Ｃ、Ｙのカラーフィルタが設けられた図１（ａ）のようなＣＣＤより、図８（ｂ）と同様、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４が図１（ｂ）のように出力される。よって、この画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を原色Ｒ、Ｇ、Ｂで表したとき、出力される画像信号の原色Ｒ、Ｇ、Ｂの成分の大きさが等しいものと仮定すると、図８（ｃ）と同様、図１（ｃ）のようになる。
【００２７】
即ち、ＣＣＤによって、白色の被写体などの彩度の低い被写体が撮像された結果、原色Ｒ、Ｇ、Ｂの成分の大きさが略等しい画像信号が出力されたとき、各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４の大きさの関係が、Ｃ１＞Ｃ２、Ｃ３＜Ｃ４となる。このような画像信号を、輝度信号として用いたとき、本来、輝度の大きさがほぼ等しい状態であるにも関わらず、列毎に、その輝度の大きさが変化してしまう。
【００２８】
そして、図１（ｄ）のように、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれに、補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４を与えて、透過光量補正を施す。このとき、透過光量補正を施すための画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４の信号レベルの基準値を、それぞれ、ｃ１，ｃ２，ｃ３，ｃ４としたとき、ＫＣ１×ｃ１＝ＫＣ２×ｃ２＝ＫＣ３×ｃ３＝ＫＣ４×ｃ４となるような補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４が、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれに与えられる。尚、透過光量補正を施すための画像信号Ｃ１〜Ｃ４の信号レベルの基準値は、例えば、無彩色部分の画像信号Ｃ１〜Ｃ４を積算するなどして得ることができる。
【００２９】
このように、彩度の低い無彩色部分の画像信号が与えられたとき、補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４が乗算されて補正された各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を、輝度信号として出力する。よって、従来のように、輝度信号を、２つの画像信号分の平均値でなく、各画像信号毎の信号とすることができるため、彩度の低い無彩色部分の解像度を高めることができる。尚、彩度の高い彩色された部分の画像信号が与えられたときは、従来と同様、補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４が乗算されて補正された各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４をローパスフィルタに通過させることによって平滑化した信号を輝度信号とする。
【００３０】
このような輝度信号の生成方法を採用した画像信号処理装置に関する実施形態を、以下に説明する。
【００３１】
＜第１の実施形態＞
本発明の画像信号処理装置の第１の実施形態について、図面を参照して説明する。図２は、本実施形態の画像信号処理装置の内部構成を示すブロック図である。図３は、ＣＣＤからの出力信号に基づいて再生された画像のイメージ図である。
【００３２】
１．画像信号処理装置の構成
図２の画像信号処理装置は、ＣＣＤから与えられる画像信号Ｃ１〜Ｃ４に補正定数ＫＣ１〜ＫＣ４をそれぞれ乗算して画像信号Ｃ１〜Ｃ４を補正する透過光量補正回路１と、透過光量補正回路１から画像信号が与えられるラインメモリ２と、ラインメモリ２から画像信号が与えられるラインメモリ３と、透過光量補正回路１及びラインメモリ２，３より画像信号が与えられるＶＬＰＦ４と、ＶＬＰＦ４で処理された信号が与えられるＨＬＰＦ５と、ＶＬＰＦ４及びＨＬＰＦ５で処理された信号が与えられる輝度信号生成回路６と、輝度信号生成回路６から与えられる輝度信号にエッジ強調処理などを施す輝度信号処理回路７とが設けられ、これらの回路によって、輝度信号が生成される。
【００３３】
又、図２の画像信号処理装置は、透過光量補正回路１及びラインメモリ２，３より画像信号が与えられる色分離回路８と、色分離回路８で処理された信号が与えられるＲＧＢマトリックス回路９と、ＲＧＢマトリックス回路９で生成されたＲ、Ｇ、Ｂの各色信号が与えられる色差マトリックス回路１０と、色差マトリックス回路１０で生成された色差信号が与えられるカラーエンコーダ回路１１とが設けられ、これらの回路によって色信号が生成され、又、色差マトリックス回路１０で生成された色差信号より彩度を求める彩度生成回路１２が設けられる。
【００３４】
更に、図２の画像信号処理装置は、彩度生成回路１２より与えられる各画像信号毎に得られる彩度を後述する彩度算出領域毎に積算する彩度積算回路１３と、彩度の低い彩度算出領域における画像信号Ｃ１〜Ｃ４それぞれの信号レベルを別々に積算する画像信号積算回路１４と、彩度積算回路１３及び画像信号積算回路１４からの積算結果が与えられるとともにその積算結果より補正定数ＫＣ１〜ＫＣ４を算出するＣＰＵ１５と、各ブロックにおけるデータのやりとりを行うためのバス回線１６とを有する。
【００３５】
又、図３のように、ＣＣＤより与えられる出力信号に基づいて１フィールドの画像が再生されたとき、その全体領域内には、画像信号以外の出力信号の与えられるブランキング期間を表す領域Ｘと、画像信号が再生される有効映像領域Ｙがある。この有効映像領域Ｙ内に、図３のように、Ｍ×Ｎ（Ｍ，Ｎはそれぞれ自然数である）の彩度算出領域Ｚ11〜ＺMNを設ける。又、彩度算出領域Ｚ11〜ＺMNは、図４のように、ｍ×ｎ（ｍ，ｎはそれぞれ自然数である）の画像信号が再生されて成る領域である。尚、図４の１マス分が１つの画像信号を示す。
【００３６】
このように、１フィールド毎に上述した彩度算出領域Ｚ11〜ＺMNが設けられ、この彩度算出領域Ｚ11〜ＺMNに基づいて、画像信号が図２の構成の画像信号処理装置によって処理される。以下に、図２の構成の画像信号処理装置の動作について、各ブロック毎に説明する。
【００３７】
２．輝度信号生成用ブロックの一部の動作
まず、ラインメモリ２，３、ＶＬＰＦ４及びＨＬＰＦ５の動作について、説明する。これらのブロックは、従来の画像信号処理装置（図９）におけるラインメモリ５１，５２及びＶＬＰＦ５３及びＨＬＰＦ５４と同様の動作を行う。即ち、透過光量補正回路１で補正された１行目の画像信号がラインメモリ３に格納され、次に、透過光量補正回路１で補正された２行目の画像信号がラインメモリ２に格納される。そして、ラインメモリ３に格納された１行目の画像信号と、ラインメモリ２に格納された２行目の画像信号とが、透過光量補正回路１で補正された３行目の画像信号とともにＶＬＰＦ４に同時に与えられる。このようにして、ＶＬＰＦ４には、垂直方向に隣接する３つの画像信号が与えられる。
【００３８】
そして、ＶＬＰＦ４では、１行目の画像信号と３行目の画像信号との平均となる画像信号を生成するとともに、この平均された画像信号と２行目の画像信号をＨＬＰＦ５又は輝度信号生成回路６に与えられる。ＨＬＰＦ５では、水平方向に隣接する３つの画像信号毎に処理を行う。このとき、ＶＬＰＦ４で平均された画像信号及び２行目の画像信号のうち、それぞれ、１列目のもの３列目のものとを平均した画像信号が生成される。このようにして、ＶＬＰＦ４及びＨＬＰＦ５によって、画像信号Ｃ１〜Ｃ４のうち、２行目で且つ２列目に存在する画像信号以外の３つの画像信号を擬似的に生成する。そして、このように擬似的に生成されたが３つの画像信号を含む画像信号Ｃ１〜Ｃ４を平均した画像信号を求め、輝度信号生成回路６に送出する。尚、輝度信号生成回路６の動作については後述する。
【００３９】
即ち、例えば、図５（ａ）のように、ラインメモリ３より１行目の画像信号がＣ１ａ、Ｃ２ａ、Ｃ１ｂの順に、ラインメモリ２より２行目の画像信号がＣ３ａ、Ｃ４、Ｃ３ｂの順に、透過光量補正回路１より３行目の画像信号がＣ１ｃ、Ｃ２ｂ、Ｃ１ｄの順に、それぞれ、ＶＬＰＦ４に与えられるものとする。尚、Ｃ１ａ〜Ｃ１ｄが画像信号Ｃ１を、Ｃ２ａ，Ｃ２ｂが画像信号Ｃ２を、Ｃ３ａ，Ｃ３ｂが画像信号Ｃ３を表す。
【００４０】
このように、透過光量補正回路１及びラインメモリ２，３より画像信号が与えられると、図５（ｂ）のように、ＶＬＰＦでは、１行目の画像信号と３行目の画像信号とを平均して出力するとともに、２行目の画像信号をそのまま出力する。よって、平均された画像信号が(Ｃ１ａ＋Ｃ１ｃ)/２、(Ｃ２ａ＋Ｃ２ｂ)/２、(Ｃ１ｂ＋Ｃ１ｄ)/２の順に、２行目の画像信号がＣ３ａ、Ｃ４、Ｃ３ｂの順に、それぞれ、ＨＬＰＦ５に与えられる。
【００４１】
そして、ＨＬＰＦ５では、図５（ｃ）のように、１列目と３列目の画像信号を平均して出力するとともに、２列目の画像信号をそのまま出力する。よって、ＶＬＰＦ４で平均された画像信号が、(Ｃ１ａ＋Ｃ１ｂ＋Ｃ１ｃ＋Ｃ１ｄ)/４、(Ｃ２ａ＋Ｃ２ｂ)/２として出力される、又、２行目の画像信号が、(Ｃ３ａ＋Ｃ３ｂ)/２、Ｃ４として出力される。このようにして、画像信号Ｃ４を与える画素における画像信号Ｃ１，Ｃ２，Ｃ３が擬似的に求められる。そして、擬似的に求められた画像信号Ｃ１〜Ｃ３と画像信号Ｃ４を平均した画像信号Ｃを求め、この画像信号Ｃを輝度信号生成回路６に出力する。即ち、この画像信号Ｃは、次のように表される。
C=(C1a+C1b+C1c+C1d)/16+(C2a+C2b)/8+(C3a+C3b)/8+C4/4
尚、C1a〜C1d、C2a、C2b、C3a、C3b、C4は、画像信号Ｃ１ａ〜Ｃ１ｄ，Ｃ２ａ，Ｃ２ｂ，Ｃ３ａ，Ｃ３ｂ，Ｃ４の信号レベルを、Cは画像信号Ｃの信号レベルを、それぞれ表す。
【００４２】
３．色信号生成用ブロックの動作
次に、色分離回路８、ＲＧＢマトリックス回路９、色差マトリックス回路１０、カラーエンコーダ１１及び彩度生成回路１２の動作について説明する。まず、色分離回路８に、ラインメモリ３より１行目の画像信号が、ラインメモリ２より２行目の画像信号が、透過光量補正回路１より３行目の画像信号が、それぞれ与えられると、上述したＶＬＰＦ４及びＨＬＰＦ５のように、画像信号Ｃ１〜Ｃ４を生成する。即ち、図５（ａ）のように、各行の画像信号が与えられるとき、画像信号Ｃ４以外の画像信号Ｃ１〜Ｃ３を擬似的に求める。
【００４３】
そして、この画像信号Ｃ１〜Ｃ４より、信号ＹＬ，Ｃｒ，Ｃｂを生成する。尚、信号ＹＬ，Ｃｒ，Ｃｂは、それぞれ、ＹＬ＝Ｃ１＋Ｃ２又はＣ３＋Ｃ４、Ｃｒ＝Ｃ１−Ｃ２、Ｃｂ＝Ｃ４−Ｃ３である。このようにして生成された信号ＹＬ，Ｃｒ，Ｃｂが、ＲＧＢマトリックス回路に与えられ、信号ＹＬ，Ｃｒ，Ｃｂに基づいて、原色Ｒ，Ｇ，Ｂを表すＲ信号、Ｇ信号、Ｂ信号が生成される。
【００４４】
Ｒ信号、Ｇ信号、Ｂ信号が色差マトリックス回路１０に与えられると、色差マトリックス回路１０では、Ｒ信号、Ｇ信号、Ｂ信号に基づいて、色差信号Ｒ−Ｙ，Ｇ−Ｙを生成する（尚、Ｒ−Ｙ＝０．７０Ｒ−０．５９Ｇ−０．１１Ｂ、Ｂ−Ｙ＝−０．３０Ｒ−０．５９Ｇ＋０．８９Ｂ）。このようにして求められた色差信号Ｒ−Ｙ，Ｇ−Ｙがカラーエンコーダ１１に与えられると、この色差信号が互いに９０°位相差のある色差信号とされた後に混合することによって色信号が生成されて、出力される。又、同様に、色差信号Ｒ−Ｙ，Ｇ−Ｙが与えられる彩度生成回路１２では、{(Ｒ−Ｙ)2＋(Ｂ−Ｙ)2}1/2を行うことによって、彩度を求める。
【００４５】
４．彩度積算回路１３の動作
次に、彩度積算回路１３の動作について説明する。彩度積算回路１３では、彩度生成回路１２で求められた彩度が、画像信号毎に与えられ、上述した図３の彩度算出領域毎に積算される。ここで、今、図４のように、彩度算出領域ＺKL（K：1≦K≦Mの自然数、L：1≦L≦Nの自然数）が、画像信号ＬKL-11〜ＬKL-mnが再生されて成る領域とする。このとき、１行目から順に画像信号が与えられるとともに、その彩度が彩度生成回路１２で求められ、彩度積算回路１３に与えられる。
【００４６】
即ち、彩度算出領域Ｚ11における画像信号Ｌ11-11〜Ｌ11-m1が与えられ、その彩度が彩度積算回路１３で順に積算される。このように、画像信号Ｌ11-11〜Ｌ11-m1の彩度が積算されると、一旦、彩度積算回路１３内に設けられた彩度算出領域毎にその積算した彩度を格納するためのメモリ（不図示）に格納する。このとき、この画像信号Ｌ11-11〜Ｌ11-m1の彩度を積算した値は、彩度算出領域Ｚ11の積算した彩度を格納するためのアドレスに格納される。
【００４７】
そして、次に、彩度算出領域Ｚ21における画像信号Ｌ21-11〜Ｌ21-m1が与えられ、その彩度が彩度積算回路１３で順に積算される。このように、画像信号Ｌ21-11〜Ｌ21-m1の彩度が積算されると、この彩度を積算した値は、彩度算出領域Ｚ21の積算した彩度を格納するためのアドレスに格納される。その後、同様に、彩度算出領域Ｚ31，Ｚ41，…ＺM1における画像信号Ｌ31-11〜Ｌ31-m，Ｌ41-11〜Ｌ41-m1，…ＬM1-11〜ＬM1-m1の彩度が、彩度算出領域毎に積算され、それぞれ、不図示のメモリの各彩度算出領域に対応したアドレスに格納される。
【００４８】
このようにして、１行目の画像信号が与えられると、次に、２行目の画像信号が与えられる。このとき、まず、彩度算出領域Ｚ11における画像信号Ｌ11-12〜Ｌ11-m2が与えられるとき、不図示のメモリに格納された彩度算出領域Ｚ11における１行目の画像信号Ｌ11-11〜Ｌ11-m1の彩度を積算した値が読み出され、この値に画像信号Ｌ11-12〜Ｌ11-m2の彩度が順に加算されて積算される。そして、このように画像信号Ｌ11-11〜Ｌ11-m2の彩度が積算された値が再び、メモリ内に格納する。
【００４９】
そして、彩度算出領域Ｚ21，Ｚ31，…ＺM1においても、同様に、画像信号Ｌ21-12〜Ｌ21-m2，Ｌ31-12〜Ｌ31-m2，…ＬM1-12〜ＬM1-m2が与えられると、それぞれ、不図示のメモリ内に格納された画像信号Ｌ21-11〜Ｌ21-m1，Ｌ31-11〜Ｌ31-m1，…ＬM1-11〜ＬM1-m1の彩度を積算した値が読み出され、それらの値に、それぞれ、画像信号Ｌ21-12〜Ｌ21-m2，Ｌ31-12〜Ｌ31-m2，…ＬM1-12〜ＬM1-m2の彩度が加算されて積算される。そして、このように画像信号Ｌ21-11〜Ｌ21-m2，Ｌ31-11〜Ｌ31-m2，…ＬM1-11〜ＬM1-m2の彩度がそれぞれ積算された値が、再び、不図示のメモリに格納される。
【００５０】
そして、３〜ｎ行目の画像信号の彩度が、同様に、彩度積算回路１３において順に積算されると、彩度算出領域Ｚ11，Ｚ21，…ＺM1の画像信号Ｌ11-11〜Ｌ11-mn，Ｌ21-11〜Ｌ21-mn，…ＬM1-11〜ＬM1-mnの彩度がそれぞれ積算されて、各彩度算出領域の彩度積算結果として不図示のメモリ内に格納される。そして、次に、ｎ＋１行目〜２ｎ行目の画像信号の彩度が、同様に、彩度積算回路１３において順に処理されると、彩度算出領域Ｚ12，Ｚ22，…ＺM2の画像信号Ｌ12-11〜Ｌ12-mn，Ｌ22-11〜Ｌ22-mn，…ＬM2-11〜ＬM2-mnの彩度がそれぞれ積算されて、同様に、各彩度算出領域の彩度積算結果として不図示のメモリ内に格納される。
【００５１】
この後、２ｎ＋１〜Ｎ×ｎ行目の画像信号が与えられる間に、このような動作が繰り返されることによって、彩度算出領域Ｚ13，Ｚ23，…ＺMNの画像信号Ｌ13-11〜Ｌ13-mn，Ｌ23-11〜Ｌ23-mn，…ＬMN-11〜ＬMN-mnの彩度がそれぞれ積算されて、同様に、各彩度算出領域の彩度積算結果として不図示のメモリ内に格納される。このようにして求められた彩度算出領域Ｚ11〜ＺMNの彩度積算結果は、画像信号積算回路１４に与えられるとともに、バス回線１６を介してＣＰＵ１５に与えられる。
【００５２】
５．画像信号積算回路１４の動作
次に、画像信号積算回路１４の動作について説明する。画像信号積算回路１４では、ＣＣＤから出力される画像信号Ｃ１〜Ｃ４が入力され、画像信号Ｃ１〜Ｃ４のそれぞれについて、画像信号毎に積算を行う。又、彩度積算回路１３より、彩度算出領域Ｚ11〜ＺMNそれぞれの彩度積算結果が与えられ、その積算結果が所定の閾値より低くなる彩度算出領域を構成する画像信号を積算するように制御される。
【００５３】
即ち、ＣＣＤから出力される前フィールドの画像信号より得られた彩度算出領域Ｚ11〜ＺMNそれぞれの彩度積算結果が、画像信号積算回路１４に与えられ、この彩度積算結果が所定の閾値より低くなる彩度算出領域（以下、「低彩度の彩度算出領域」とする）毎に、画像信号Ｃ１〜Ｃ４のそれぞれについて、その信号レベルを積算する。このとき、上述した彩度積算回路１３と同様にして、彩度算出領域毎にその画像信号Ｃ１〜Ｃ４それぞれの積算結果が、画像信号積算回路１４内に設けられたメモリ（不図示）に格納される。尚、彩度積算結果が閾値より高くなる彩度算出領域については、画像信号Ｃ１〜Ｃ４の積算を行わない。
【００５４】
そして、全彩度算出領域において、画像信号Ｃ１〜Ｃ４の積算を行うと、その結果をバス回線１６を介してＣＰＵ１５に与える。ＣＰＵ１５では、このように彩度算出領域毎の画像信号Ｃ１〜Ｃ４それぞれの積算結果が与えられたとき、画像信号Ｃ１〜Ｃ４それぞれの積算結果をｃ１〜ｃ４とすると、各彩度算出領域毎に、ＫＣ１×ｃ１＝ＫＣ２×ｃ２＝ＫＣ３×ｃ３＝ＫＣ４×ｃ４となるように、透過光量補正回路１に与える補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４を算出する。
【００５５】
又、このとき、低彩度の彩度算出領域以外の彩度積算結果が閾値より高くなる彩度算出領域における補正定数ＫＣ１〜ＫＣ４については、最も近接した低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４の値とする。即ち、低彩度の彩度算出領域以外の彩度算出領域については、その最も距離的に近い低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４の値を、補正定数ＫＣ１〜ＫＣ４とする。
【００５６】
（透過光量補正回路に与える定数算出方法の別手段）
尚、低彩度の彩度算出領域以外の彩度算出領域の補正定数ＫＣ１〜ＫＣ４の算出方法については、上述した方法に限定されるものでなく、例えば、近接した低彩度の彩度算出領域との相対関係に基づき、この近接した複数の低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４より求められるものとしても構わない。即ち、近接した複数の低彩度の彩度算出領域の間に存在する低彩度の彩度算出領域以外の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を求めるとき、その求める補正定数ＫＣ１〜ＫＣ４がそれぞれ、近接した複数の低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４に対して、線形的に変化した値とするようにしても構わない。
【００５７】
又、一度、低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を算出した後、次の低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を算出するまで、この２つの低彩度の彩度算出領域に存在する彩度積算結果が閾値より高い彩度算出領域については、最初に求められた低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を、補正定数ＫＣ１〜ＫＣ４とするようにしても構わない。
【００５８】
（画像信号の積算方法の別手段）
又、低彩度の彩度算出領域毎に、画像信号Ｃ１〜Ｃ４の積算を行うようにしたが、１フィールド毎に、低彩度の彩度算出領域全ての画像信号Ｃ１〜Ｃ４の積算を行うようにしても構わない。このとき、低彩度の彩度算出領域の数量によって、画像信号Ｃ１〜Ｃ４の積算値がそれぞれ平均化される。そして、このようにして平均化された画像信号Ｃ１〜Ｃ４の平均化された積算値を、ｃ１，ｃ２，ｃ３，ｃ４とすると、ＫＣ１×ｃ１＝ＫＣ２×ｃ２＝ＫＣ３×ｃ３＝ＫＣ４×ｃ４となるように、透過光量補正回路１に与える補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４を算出する。そして、１フィールド分の全彩度算出領域において、同一の補正定数ＫＣ１〜ＫＣ４が与えられる。
【００５９】
６．透過光量補正回路１の動作
次に、透過光量補正回路１の動作について説明する。透過光量補正回路１では、ＣＰＵ１５において前フィールドの彩度算出領域Ｚ11〜ＺMNそれぞれについて設定された画像信号Ｃ１〜Ｃ４に対する補正定数ＫＣ１〜ＫＣ４が与えられる。そして、ＣＣＤより出力される画像信号Ｃ１〜Ｃ４の各信号レベルに、ＣＰＵ１５より与えられた補正定数ＫＣ１〜ＫＣ４を乗算することで透過光量補正した画像信号Ｃ１〜Ｃ４を、ラインメモリ２及びＶＬＰＦ４及び色分離回路８に送出する。即ち、彩度算出領域Ｚ11〜ＺMNそれぞれについて、前フィールドで設定された補正定数ＫＣ１〜ＫＣ４が、画像信号Ｃ１〜Ｃ４それぞれの信号レベルに乗算され、各画像信号毎に透過光量補正が施される。
【００６０】
７．輝度信号生成回路６及び輝度信号処理回路７の動作
次に、輝度信号生成回路６及び輝度信号処理回路７の動作について説明する。まず、輝度信号生成回路６は、ＣＰＵ１５よりバス回線１６を介して、ＶＬＰＦ４及びＨＬＰＦ５から与えられる画像信号のそれぞれに、重み付け係数Lp（Lp：０≦Lp≦１）が与えられる。このとき、ＶＬＰＦ４、ＨＬＰＦ５のそれぞれから与えられる画像信号の信号レベルCa，Cbとしたとき、輝度信号の信号レベルが、Lp×Ca＋(１−Lp)×Cbとなる。このとき、２フィールド前に彩度積算回路１３で演算された彩度算出領域Ｚ11〜ＺMNそれぞれについての彩度積算結果に基づいて動作を行い、その彩度積算結果が低いときはLpの値が大きくなり、又、その彩度積算結果が高いときはLpの値が小さくなる。
【００６１】
即ち、ＨＬＰＦ５からは、ＶＬＰＦ４及びＨＬＰＦ５が上述したように動作することで得られた画像信号Ｃが、輝度信号生成回路６に与えられ、又、ＶＬＰＦ４からは、ラインメモリ２に格納された２行目の画像信号が与えられる。例えば、図５の場合、ＶＬＰＦ４及びＨＬＰＦ５によって、画像信号Ｃ４と、上述したようにして擬似的に求められた画像信号Ｃ１〜Ｃ３とを平均して求められた画像信号Ｃが、輝度信号生成回路６に与えられる。そして、ＶＬＰＦ４からは、画像信号Ｃ４が輝度信号生成回路６に与えられる。
【００６２】
そして、輝度信号生成回路６において、画像信号Ｃ４の信号レベルに重み係数Lpが乗算された信号と画像信号Ｃの信号レベルに重み係数(１−Lp)が乗算された信号とを加算することで、輝度信号が生成される。このように輝度信号を生成するための重み係数Lpが、彩度積算回路１３より与えられる各彩度算出領域の彩度積算結果に基づいて、ＣＰＵ１５で求められる。この重み係数Lpについては、後述する。
【００６３】
このようにして、輝度信号生成回路６で輝度信号が生成されると、次に、この輝度信号が輝度信号処理回路７に入力される。そして、輝度信号処理回路７において、エッジ強調処理などの画像処理が輝度信号に施された後、外部に輝度信号として出力される。
【００６４】
（輝度信号生成方法の別手段）
尚、輝度信号生成手段６については、上述したように、ＶＬＰＦ４及びＨＬＰＦ５より与えられる画像信号のそれぞれをＣＰＵ１５より与えられる重み係数に基づいて重み付けすることによって、輝度信号を生成するものに限定されない。例えば、彩度積算回路１３によって彩度算出領域の彩度積算結果が所定の閾値より低いときは、輝度信号生成手段６においてＶＬＰＦ４からの画像信号を選択して輝度信号とするとともに、又、彩度積算結果が所定の閾値より高いときは輝度信号生成手段６においてＨＬＰＦ５からの画像信号を選択して輝度信号とするようにしても構わない。
【００６５】
８．画像信号の重み係数の算出方法
次に、重み係数Lpについて、以下に説明する。まず、彩度積算回路１３において、彩度算出領域Ｚ11〜ＺMNそれぞれの彩度積算結果が、ＣＰＵ１５に与えられると、ＣＰＵ１５において、その彩度積算結果に応じた重み係数の代表値Lxが求められる。このとき、彩度積算結果が高い彩色された彩度算出領域については、重み係数の代表値Lxを小さくし、又、彩度積算結果が低い無彩色に近い彩度算出領域については、重み係数の代表値Lxを大きくする。このようにして、各彩度算出領域毎に、重み係数の代表値Lxが求められると、この重み係数の代表値Lxが、各彩度算出領域の中心に位置する画像信号用の重み係数として記憶される。
【００６６】
このように各彩度算出領域毎の重み係数の代表値Lxが求められたとき、図６のように、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)の重み係数の代表値Lxが、それぞれ、La、Lb、Lc、Ldとなったものとする。このとき、彩度算出領域ＺKLにおいて、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号ＬKL-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp1は、次式のように表される。
Lp1=[{La×(n−y)＋Lc×y}×(m−x)/n＋{Lb×(n−y)＋Ld×y}×x/n]/m
【００６７】
同様に、彩度算出領域Ｚ(K+1)Lにおいて、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号Ｌ(K+1)L-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp2は、次式のように表される。
Lp2=[{La×(n−y)＋Lc×y}×x/n＋{Lb×(n−y)＋Ld×y}×(m−x)/n]/m
【００６８】
同様に、彩度算出領域ＺK(L+1)において、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号ＬK(L+1)-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp3は、次式のように表される。
Lp3=[{La×y＋Lc×(n−y)}×(m−x)/n＋{Lb×y＋Ld×(n−y)}×x/n]/m
【００６９】
同様に、彩度算出領域Ｚ(K+1)(L+1)において、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号Ｌ(K+1)(L+1)-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp4は、次式のように表される。
Lp4=[{La×y＋Lc×(n−y)}×x/n＋{Lb×y＋Ld×(n−y)}×(m−x)/n]/m
【００７０】
このように、彩度算出領域Ｚ11，ＺM1，Ｚ1N，ＺMNそれぞれの中心に位置する画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域に存在する画像信号の重み係数が、上記のように、４つの隣接した彩度算出領域の中心に位置する画像信号の重み係数より求められる。しかしながら、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域外の画像信号については求められない。そこで、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域外の画像信号の重み係数は、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域の画像信号のうち最も近接した画像信号の重み係数と同一の値とする。
【００７１】
即ち、例えば、図６の彩度算出領域ＺKLを彩度算出領域Ｚ11とすると、画像信号Ｌ11-Cよりも左側で且つ上側に存在する画像信号の重み係数が全て、画像信号Ｌ11-Cの重み係数Laと等しくなる。又、画像信号Ｌ11-Cと画像信号Ｌ12-Cで結ばれる直線よりも左側に存在する画像信号については、例えば、画像信号Ｌ11-Cより垂直方向に、yだけ画像信号Ｌ12-Cに寄った位置にあるとき、その重み係数が、{La×(n−y)＋Lc×y}となる。又、画像信号Ｌ11-Cと画像信号Ｌ21-Cで結ばれる直線よりも上側に存在する画像信号については、例えば、画像信号Ｌ11-Cより水平方向に、xだけ画像信号Ｌ21-Cに寄った位置にあるとき、その重み係数が、{La×(m−x)＋Lb×x}となる。
【００７２】
このようにして、各画像信号の重み係数LpがＣＰＵ１５で求められると、輝度信号生成手段６に与えられ、上述したように、この重み係数Lpに基づいて、ＶＬＰＦ４，５より与えられる画像信号を用いて輝度信号が生成される。
【００７３】
（重み係数算出方法の別手段）
尚、各画像信号に与える重み係数を与える方法は、上述した方法に限定されるわけではなく、例えば、各彩度算出領域を構成する全ての画像信号の重み係数を、彩度積算結果より与えられる重み係数に統一するような方法でも構わない。即ち、各彩度算出領域毎に、画像信号の重み係数が変化するようにしても良い。
【００７４】
又、例えば、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域内の画像信号の重み係数を上述したように求める。そして、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域外の画像信号の重み係数は、その重み係数を求める画像信号が存在する彩度算出領域と、その画像信号に最も近い位置にあるとともにその画像信号が存在する彩度算出領域と隣接した２つの彩度算出領域と、この隣接した２つの彩度算出領域の両方に隣接した彩度算出領域とによる４つの重み係数の代表値に基づいて、線形的に求めるようにしても構わない。
【００７５】
即ち、例えば、図６の彩度算出領域ＺKLを彩度算出領域Ｚ11とすると、画像信号Ｌ11-Cよりも左側にx（x：0≦x≦m/2の自然数）、上側にy（y：0≦y≦n/2の自然数）の位置の画像信号の重み係数Lpaは、画像信号Ｌ11-C，Ｌ12-C，Ｌ21-C，Ｌ22-Cの重み係数によって求められる。この重み係数Lpaは、次のようになる。
【００７６】
又、画像信号Ｌ11-Cよりも右側にx（x：0≦x≦m/2の自然数）、上側にy（y：0≦y≦n/2の自然数）の位置の画像信号の重み係数Lpbは、画像信号Ｌ11-C，Ｌ12-C，Ｌ21-C，Ｌ22-Cの重み係数によって求められる。この重み係数Lpbは、次のようになる。
Lpb=[{La×(n＋y)＋Lc×(-y)}×(m−x)/n＋{Lb×(n＋y)＋Ld×(-y)}×x/n]/m
【００７７】
又、画像信号Ｌ11-Cよりも左側にx（x：0≦x≦m/2の自然数）、下側にy（y：0≦y≦n/2の自然数）の位置の画像信号の重み係数Lpcは、画像信号Ｌ11-C，Ｌ12-C，Ｌ21-C，Ｌ22-Cの重み係数によって求められる。この重み係数Lpcは、次のようになる。
Lpc=[{La×(n−y)＋Lc×y}×(m＋x)/n＋{Lb×(n−y)＋Ld×y}×(-x)/n]/m
【００７８】
９．全体の動作
このように各ブロックが動作を行う画像信号処理装置全体の動作について、以下に簡単に説明する。尚、各ブロック毎の詳細な動作については、上記の説明を参照するものとする。又、色信号の生成についても、上記の説明を参照するものとし、以下では省略する。
【００７９】
まず、１フィールド目の画像信号がＣＣＤより入力されると、色分離回路８、ＲＧＢマトリックス回路９、色差マトリックス回路１０及び彩度生成回路１２によって生成された彩度が、彩度積算回路１３によって各彩度算出領域毎に積算される。そして、各彩度算出領域の彩度積算結果が画像信号積算回路１４及びＣＰＵ１５に与えられる。
【００８０】
次に、２フィールド目の画像信号がＣＣＤより入力されると、彩度積算結果が閾値より低い彩度算出領域毎に、ＣＣＤより入力される画像信号Ｃ１〜Ｃ４のそれぞれの信号レベルが積算され、ＣＰＵ１５に与えられる。又、このとき、ＣＰＵ１５によって、各彩度算出領域の彩度積算結果に応じて、各彩度算出領域の重み係数の代表値が求められる。尚、輝度信号生成回路６がＶＬＰＦ４又はＨＬＰＦ５のいずれか一方の画像信号を選択して輝度信号とする場合、重み係数の代表値の代わりに、ＶＬＰＦ４又はＨＬＰＦ５のいずれか一方を選択するための選択用制御信号がＣＰＵ１５において、生成される。
【００８１】
そして、ＣＰＵ１５では、この画像信号Ｃ１〜Ｃ４の積算結果及び１フィールド前の彩度積算結果に応じて、画像信号Ｃ１〜Ｃ４に乗算することで透過光量補正を行うための補正定数ＫＣ１〜ＫＣ４を算出する。又、このとき、各彩度算出領域の重み係数の代表値より各画像信号に与える重み係数が算出される。このような処理が、３フィールド目の画像信号がＣＣＤより入力されたときに行われる。
【００８２】
そして、４フィールド目の画像信号がＣＣＤより入力されると、ＣＰＵ１５によって算出された補正定数ＫＣ１〜ＫＣ４が透過光量補正回路１に与えられることによって、まず、ＣＣＤから出力される画像信号に透過光量補正が施される。そして、このように透過光量補正が施された画像信号がＶＬＰＦ４及びＨＬＰＦ５に与えられると、輝度信号生成回路６において、ＣＰＵ１５によって生成された重み係数又は選択用制御信号に応じて、ＶＬＰＦ４及びＨＬＰＦ５から送出される画像信号より輝度信号が生成される。そして、このようにして生成された輝度信号が輝度信号処理回路７で、エッジ強調処理などの信号処理が施された後、出力される。
【００８３】
尚、輝度信号生成回路６がＶＬＰＦ４又はＨＬＰＦ５のいずれか一方の画像信号を選択して輝度信号とする場合は、選択用制御信号が輝度信号生成回路に６に与えられる。そして、その彩度積算結果が閾値よりも高い彩度算出領域では、ＨＬＰＦ５より与えられる画像信号を輝度信号として輝度信号処理回路７に出力するとともに、その彩度積算結果が閾値よりも低い彩度算出領域では、ＶＬＰＦ４より与えられる画像信号を輝度信号として輝度信号処理回路７に出力する。
【００８４】
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。図７は、本実施形態の画像信号処理装置の内部構成を示すブロック図である。尚、図７の画像信号処理装置において、図２の画像信号処理装置と同一の目的で使用する部分については、同一の符号を付すとともに、その詳細な説明は省略する。
【００８５】
図７の画像信号処理装置は、透過光量補正回路１と、ラインメモリ２，３と、ＶＬＰＦ４と、ＨＬＰＦ５と、輝度信号生成回路６と、輝度信号処理回路７と、色分離回路８と、ＲＧＢマトリックス回路９と、色差マトリックス回路１０と、カラーエンコーダ１１と、彩度生成回路１２と、彩度積算回路１３と、画像信号積算回路１４と、ＣＰＵ１５と、バス回線１６と、輝度信号生成回路６に与える重み係数を生成するための重み係数生成回路１７とを有する。
【００８６】
このように、本実施形態の画像信号処理装置は、第１の実施形態（図２）の画像信号処理装置に、重み係数生成回路１７が付加された構成の画像信号処理装置である。このような画像信号処理装置において、第１の実施形態と異なり、各彩度算出領域の重み係数の代表値がＣＰＵ１５で求められると、この重み係数の代表値が重み係数生成回路１７に与えられ、この重み係数生成回路１７において各画像信号の重み係数が算出される。
【００８７】
重み係数生成回路１７において算出された重み係数は、輝度信号生成回路６に与えられる。そして、輝度信号生成回路６では、重み係数に応じて、ＶＬＰＦ４から与えられる画像信号とＨＬＰＦ５より与えられる画像信号のそれぞれに重み付けして加算することによって、輝度信号が生成され、輝度信号処理回路７に送出される。又、重み係数生成回路１７より画像信号積算回路１４に制御信号が与えられ、彩度算出領域毎に、その彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが制御される。
【００８８】
このとき、各彩度算出領域の重み係数の代表値によって、この彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが判定されるようにしても構わない。又、各彩度算出領域を構成する各画像信号の重み係数を求めた後、このように求めた重み係数の平均値又は積算値を求め、この平均値又は積算値によって、この彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが判定されるようにしても構わない。そして、積算するように判定された各彩度算出領域を構成する画像信号が、画像信号Ｃ１〜Ｃ４のそれぞれについて積算され、積算値が求められる。
【００８９】
更に、各彩度算出領域を構成する各画像信号の重み係数を求めた後、このように求めた重み係数によって、この彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが、各画像信号毎に判定されるようにしても構わない。このとき、各彩度算出領域で積算を行うように判定された画像信号の信号レベルを積算するとともに、その積算した画像信号の数を画像信号Ｃ１〜Ｃ４のそれぞれについてカウントする。そして、画像信号Ｃ１〜Ｃ４のそれぞれについて積算された値を、画像信号Ｃ１〜Ｃ４のそれぞれについてカウントした画像信号の数で除算を行うことで、平均値を求めることができる。
【００９０】
上記のようにして、各彩度算出領域の画像信号の積算値又は平均値が求められると、ＣＰＵ１５に与えられ、この積算値及び平均値を与える彩度算出領域の画像信号を透過光量補正するための補正定数ＫＣ１〜ＫＣ４が求められる。尚、このとき、積算値及び平均値が算出されていない彩度算出領域については、第１の実施形態と同様に、その近隣の彩度算出領域で算出された補正定数ＫＣ１〜ＫＣ４に基づいて、求めることができる。
【００９１】
このように補正定数ＫＣ１〜ＫＣ４が求められると、透過光量補正回路１に与えられる。そして、次のフィールドの画像信号Ｃ１〜Ｃ４の信号レベルに、補正定数ＫＣ１〜ＫＣ４のそれぞれが乗算されることによって、ＣＣＤより出力される次のフィールドの画像信号に透過光量補正を施す。そして、ラインメモリ２，３、ＶＬＰＦ４、ＨＬＰＦ５、輝度信号生成回路６によって、透過光量補正回路１で透過光量補正が施された画像信号及び重み係数算出回路１７より与えられる重み係数に基づいて、輝度信号が生成される。このとき、第１の実施形態と同様、彩度積算結果の値が低いとき、その彩度算出領域の重み係数の代表値が大きくなるように設定されるため、彩度の低い領域の画像信号は、ＶＬＰＦ４より与えられる画像信号の割合が大きくなるように、ＨＬＰＦ５より与えられる画像信号との重み付け加算が施される。
【００９２】
このように、図７の画像信号処理装置が動作を行うとき、まず、１フィールド目の画像信号がＣＣＤより入力されると、この画像信号より各彩度算出領域の彩度積算値を求める。次に、２フィールド目の画像信号がＣＣＤより入力されると、重み係数が算出され、そして、３フィールド目の画像信号がＣＣＤより入力されたときに、各差井戸算出領域の画像信号Ｃ１〜Ｃ４の積算値が求められる。このように画像信号Ｃ１〜Ｃ４の積算値が求められると、４フィールド目の画像信号がＣＣＤより入力される間に、補正定数ＫＣ１〜ＫＣ４が求められる。そして、ＣＣＤより入力される５フィールド目の画像信号が、この補正定数ＫＣ１〜ＫＣ４によって透過光量補正が行われるとともに、重み係数による重み付け加算が行われる。
【００９３】
尚、本実施形態において、各彩度算出領域毎に補正定数ＫＣ１〜ＫＣ４を求めるようにしたが、１フィールド毎に、補正定数ＫＣ１〜ＫＣ４を求めるようにしても構わない。このとき、例えば、重み係数算出回路１７において、各画像信号毎に求められた重み係数より積算を行うか否かを判定して、画像信号積算回路１４を制御する。このようにして、画像信号Ｃ１〜Ｃ４のそれぞれの積算値を求めると同時に、積算を行った画像信号Ｃ１〜Ｃ４の数をそれぞれカウントし、この画像信号Ｃ１〜Ｃ４それぞれについてカウントした値で画像信号Ｃ１〜Ｃ４それぞれの積算値を除算することで、画像信号Ｃ１〜Ｃ４の平均値を求めることができる。そして、このように求めた画像信号Ｃ１〜Ｃ４の積算値又は平均値に基づいて、ＣＰＵ１５で補正定数ＫＣ１〜ＫＣ４を求めるようにしても良い。
【００９４】
又、輝度信号生成回路を、ＶＬＰＦ又はＨＬＰＦより出力される画像信号の一方を選択して、輝度信号として出力するような回路とし、重み係数算出回路の代わりに、選択制御信号を与えて、ＶＬＰＦ、ＨＬＰＦのいずれから出力される画像信号を選択するか制御するような回路を用いても構わない。
【００９５】
第１の実施形態において、４フィールド目に、補正定数ＫＣ１〜ＫＣ４を透過光量補正回路に与えるとともに、重み係数を輝度信号生成回路に与えるようにしたが、３フィールド目に重み係数を輝度信号生成回路に与えるとともに、４フィールド目に補正定数ＫＣ１〜ＫＣ４を透過光量補正回路に与えるようにしても構わない。このとき、同一フィールドより得られた各彩度算出領域の彩度積分結果に基づいて生成される重み係数及び補正定数ＫＣ１〜ＫＣ４が出力されるタイミングが、１フィールド分ずれ、補正定数ＫＣ１〜ＫＣ３が１フィールド遅れて、与えられることになる。
【００９６】
又、ＶＬＰＦ及びＨＬＰＦによって、画像信号Ｃ１〜Ｃ４のうち３つの画像信号を擬似的に求めた後、擬似的に求めた３つの画像信号を含む画像信号Ｃ１〜Ｃ４をＨＬＰＦにおいて平均化した画像信号を輝度信号生成回路に与えるようにしたが、擬似的に求められた３つの画像信号と残りの１つの画像信号とを重み付けして加算した画像信号を輝度信号生成回路に与えるようにしても構わない。
【００９７】
更に、色フィルタが図１のように配置された単板色のＣＣＤから出力される画像信号を処理する画像信号処理装置に限定されるものではなく、ＲＧＢの色フィルタが設けられたＣＣＤや他様式の配置で色フィルタが配置されたＣＣＤから出力される画像信号を処理する画像信号処理としても構わない。又、２板色のＣＣＤから出力される画像信号を処理する画像信号処理装置としても構わない。
【００９８】
【発明の効果】
本発明によると、彩度の低い低彩度領域を検知し、この低彩度領域の彩度に応じて画像信号に透過光量補正が施される。よって、無彩色な被写体を撮像したときにフィルタ特性の異なる各種の色フィルタが配された画素より与えられる画像信号を、信号レベルにバラツキのない画像信号とすることができる。又、低彩度領域における輝度信号を、透過光量補正された補正画像信号とすることで、各画素毎に輝度信号が生成される。よって、複数の画像信号を平滑化して生成される場合と比べ、その解像度を向上させることができる。又、画像信号の彩度に応じて、補正画像信号と複数の画像信号が平滑化された平滑画像信号とを重み付け加算した信号を輝度信号とするため、彩度の低い領域から彩度の高い領域へ変化する部分が再生されたとき、その変化が滑らかな画像となる。
【図面の簡単な説明】
【図１】ＣＣＤから出力される画像信号の本発明における処理の概略を示す図。
【図２】第１の実施形態の画像信号処理装置の内部構成を示すブロック図。
【図３】画像信号の配列のイメージ図。
【図４】彩度算出領域の状態を示す図。
【図５】ＶＬＰＦ及びＨＬＰＦでの処理の概略を示す図。
【図６】画像信号の位置と重み係数の関係を示す図。
【図７】第２の実施形態の画像信号処理装置の内部構成を示すブロック図。
【図８】ＣＣＤから出力される画像信号の従来の処理の概略を示す図。
【図９】従来の画像信号処理装置の内部構成を示すブロック図。
【符号の説明】
１ 透過光量補正回路
２，３ ラインメモリ
４ ＶＬＰＦ
５ ＨＬＰＦ
６ 輝度信号生成回路
７ 輝度信号処理回路
８ 色分離回路
９ ＲＧＢマトリクス回路
１０ 色差マトリクス回路
１１ カラーエンコーダ
１２ 彩度生成回路
１３ 彩度積算回路
１４ 画像信号積算回路
１５ ＣＰＵ
１６ バス回線
１７ 重み係数算出回路
【発明の属する技術分野】
本発明は、複数の色信号より各画素の輝度信号を得るための画像信号処理装置及び画像信号処理方法に関する。
【０００２】
【従来の技術】
＜従来の輝度信号の生成方法＞
複数種類のカラーフィルタが設けられたＣＣＤ（Charge Coupled Device）より出力される画像信号より、輝度信号が生成される従来の基本的な方法について説明する。今、図８（ａ）のように、画像信号が、Ｍ（Magenta）、Ｇ（Green）、Ｙ（Yellow）、Ｃ（Cyan）の４種類のカラーフィルタが設けられたＣＣＤより出力される画像信号とする。尚、ＣＣＤでは、図８（ａ）のように、Ｍ、Ｙ、Ｇ、Ｙの順にカラーフィルタ並んでいる列とＧ、Ｃ、Ｍ、Ｃの順にカラーフィルタが並んでいる列が交互に配列されている。
【０００３】
このようなＣＣＤからは、２行毎に画像信号が組み合わされて出力される。即ち、図８（ｂ）のように、Ｍ＋Ｙ、Ｇ＋Ｃ、Ｇ＋Ｙ、Ｍ＋Ｃが画像信号として出力される。このとき、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を、それぞれ、Ｃ１＝Ｍ＋Ｙ、Ｃ２＝Ｇ＋Ｃ、Ｃ３＝Ｇ＋Ｙ、Ｃ４＝Ｍ＋Ｃとする。このように画像信号が出力される際、Ｍ、Ｃ、Ｙは、それぞれ、原色Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）で表すと、Ｍ＝Ｒ＋Ｂ、Ｃ＝Ｇ＋Ｂ、Ｙ＝Ｒ＋Ｇとなる。よって、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を、原色Ｒ、Ｇ、Ｂで表すと、Ｃ１＝２Ｒ＋Ｇ＋Ｂ、Ｃ２＝２Ｇ＋Ｂ、Ｃ３＝２Ｇ＋Ｒ、Ｃ４＝２Ｂ＋Ｇ＋Ｒとなる。
【０００４】
よって、今、出力される画像信号の原色Ｒ、Ｇ、Ｂの成分の大きさが等しいものと仮定すると、図８（ｃ）のように表すことができる。即ち、ＣＣＤによって、白色の被写体が撮像された結果、原色Ｒ、Ｇ、Ｂの成分の大きさが等しい画像信号が出力されたとき、各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４の大きさの関係が、Ｃ１＞Ｃ２、Ｃ３＜Ｃ４となる。このような画像信号を、輝度信号として用いたとき、本来、輝度の大きさがほぼ等しい状態であるにも関わらず、列毎に、その輝度の大きさが変化してしまう。
【０００５】
そこで、各行毎にローパスフィルタを通すことで、図８（ｄ）のように、各行毎に与えられる画像信号の直流成分となる２Ｒ＋３Ｇ＋２Ｂを得ることができる。このように得た直流成分２Ｒ＋３Ｇ＋２Ｂを、輝度信号として用いることによって、その大きさを平滑化することができるので、白色の被写体を白色の被写体として同一レベルの輝度信号を用いて表すことができる。
【０００６】
このような従来より使用される画像信号処理装置を図９に示す。図９に示す画像信号処理装置は、例えば、単板式カラーＣＣＤなどの複数種類のフィルタを有する撮像装置より出力される画像信号より、輝度信号を出力する装置である。今、この画像信号処理装置に、上述したＭ、Ｇ、Ｙ、Ｃの４種類のカラーフィルタが設けられたＣＣＤより、画像信号が入力される。このとき、上述したように、ＣＣＤからは、垂直方向に隣接した２つのフィルタが設けられた２画素分の出力信号が１つの画像信号として出力される。
【０００７】
このような画像信号処理装置は、ＣＣＤからの画像信号が入力されると、この画像信号が、ラインメモリ５１及び垂直方向のローパスフィルタ５３（以下、「ＶＬＰＦ５３」とする）に与えられる。又、ラインメモリ５１より出力される画像信号がラインメモリ５２及びＶＬＰＦ５３に与えられるとともに、ラインメモリ５２より出力される画像信号もＶＬＰＦ５３に与えられる。このようにして、１行分の画像信号がラインメモリ５１，５２に格納されるとともに、垂直方向に隣接した３つの画像信号がＶＬＰＦ５３に与えられる。即ち、１行目の画像信号がラインメモリ５２より、２行目の画像信号がラインメモリ５１より、そして、３行目の画像信号がＣＣＤより直接、ＶＬＰＦ５３に与えられる。
【０００８】
このように画像信号が与えられるＶＬＰＦ５３からは、ラインメモリ５２より与えられた１行目の画像信号とＣＣＤより直接与えられた３行目の画像信号との平均値とする画像信号と、ラインメモリ５１より与えられた２行目の画像信号が水平方向のローパスフィルタ５４（以下、「ＨＬＰＦ５４」とする）に与えられる。ＨＬＰＦ５４では、３列分の画像信号が与えられ、１列目の画像信号と３列目の画像信号との平均値とする画像信号が生成される。このようにして、ＶＬＰＦ５３及びＨＬＰＦ５４によって、各画素における画像信号Ｃ１〜Ｃ４の信号レベルが求められると、この求められた画像信号Ｃ１〜Ｃ４の信号レベルを平均した値を信号レベルとする輝度信号をＨＬＰＦ５４から輝度信号処理回路５５に出力する。
【０００９】
即ち、例えば、画像信号Ｃ１を与える画素の輝度信号がＶＬＰＦ５３及びＨＬＰＦ５４によって生成される際、ＶＬＰＦ５３及びＨＬＰＦ５４で、擬似的に画像信号Ｃ２〜Ｃ４の信号レベルが求められる。そして、ＨＬＰＦ５４では、更に、このように擬似的に求められた画像信号Ｃ２〜Ｃ４と画像信号Ｃ１を平均した値を信号レベルとする輝度信号を生成する。そして、輝度信号処理回路５５において、ＨＬＰＦ５４より与えられる輝度信号を、更にエッジ強調処理などを施して、その信号レベルを変化させて出力する。
【００１０】
【発明が解決しようとする課題】
このようにして、ＣＣＤなどの固体撮像装置より得られる画像信号より、輝度信号が生成されるが、図８のように、生成された輝度信号は、各画像信号毎の輝度信号ではなく、ローパスフィルタを通過させることによって得た信号であるため、２つの画像信号の平均値に比例した信号レベルの信号となる。よって、白色の被写体を撮像したときに得られた画像信号に基づいて再生したとき、白色の被写体を再生することができるが、その細部の輝度の変化については再生することができない。
【００１１】
このような問題を鑑みて、本発明は、解像度を向上した高精細な画像を再生するための輝度信号を生成することができる画像信号処理装置及び画像信号処理方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の画像信号処理装置は、複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理装置において、彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算する画像信号積算部と、前記固体撮像素子の画素に配された前記色フィルタを通過する光量を、前記出力画像信号の種類毎に補正するために、前記出力画像信号の種類毎に与えられる補正定数に基づいて、前記固体撮像素子の画素より出力される画像信号を補正した補正画像信号を生成する透過光量補正部と、前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記補正定数を前記出力画像信号の種類毎に設定して、前記透過光量補正部に送出する補正定数演算部と、前記透過光量補正部より現在入力された補正画像信号と、該補正画像信号を出力する現画素の近隣に存在する複数の画素より出力された補正画像信号とを平滑化することによって、前記現画素の輝度信号を生成する第１輝度信号生成部と、前記透過光量補正部から与えられる前記現画素の補正画像信号と、前記第１輝度信号生成部から与えられる前記現画素の輝度信号とによって、新たに前記現画素の輝度信号を生成する第２輝度信号生成部と、を有することを特徴とする。
【００１３】
まず、画像信号積算部において、低彩度領域を撮像している画素から出力される画像信号について、その信号レベルが、それぞれに設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算される。次に、このように積算された信号レベルが、補正定数演算部に与えられ、この積算された信号レベルに基づいて、出力画像信号の種類毎に、その画像信号に与えて補正する補正定数が求められる。そして、この出力画像信号の種類毎に求められた補正定数が透過光量補正部に与えられ、この補正定数により画像信号が出力画像信号の種類毎に補正されて、補正画像信号として出力される。この補正画像信号が第１及び第２輝度信号生成部に与えられ、第１輝度信号生成部では、この補正画像信号を与える現画素と垂直方向又は水平方向において近隣に存在する複数の画素から与えられる補正画像信号と現画素の補正画像信号を用いて平滑化を行うことで、現画素の輝度信号を生成する。又、第２輝度信号生成部では、第１輝度信号生成部からの輝度信号も与えられ、補正画像信号と第１輝度信号生成部からの輝度信号とを用いて、新たに現画素の輝度信号を生成して出力する。
【００１４】
このような画像信号処理装置において、請求項２に記載するように、前記第２輝度信号生成部で、前記現画素が前記低彩度領域を撮像している画素であるとき、前記透過光量補正部より与えられる前記補正画像信号を前記現画素の輝度信号として出力するとともに、前記現画素が前記低彩度領域以外の領域を撮像している画素であるとき、前記第１輝度信号生成部より与えられる輝度信号を前記現画素の輝度信号として出力するようにしても構わない。
【００１５】
又、請求項３に記載するように、前記第２輝度信号生成部において、前記透過光量補正部より与えられる前記補正画像信号と前記第１輝度信号生成部より与えられる輝度信号とが、前記現画素の画像信号の彩度に基づいて重み付け加算された信号を、前記現画素の輝度信号として出力するようにしても構わない。更に、このような画像信号処理装置において、請求項４に記載するように、前記第２輝度信号生成部で輝度信号を生成する際、その画像信号の彩度が低いものほど、前記補正画像信号の割合を大きくした重み付け加算を施すようにしても構わない。
【００１６】
又、請求項５に記載するように、前記補正定数演算部において、前記低彩度領域の前記出力画像信号の種類毎に積算された画像信号の信号レベルに前記補正定数を乗算した値が一定となるようにして、前記補正定数が求めることで、低彩度領域でホワイトバランス調整が行えるようにしても構わない。更に、請求項６に記載するように、前記透過光量補正部において、前記画像信号に前記補正定数を乗算することによって、前記補正画像信号を生成するようにしても構わない。
【００１７】
請求項７に記載の画像信号処理装置は、請求項１〜請求項６のいずれかに記載の画像信号処理装置において、前記画像信号が再生された１フィールド分の画像において、複数の彩度算出領域を設けるとともに、該彩度算出領域毎に、各彩度算出領域を構成する画像信号の彩度を積算する彩度積算部と、この積算された彩度によって、その彩度算出領域が彩度の低い低彩度領域であるか否か判定する彩度判定部と、を有することを特徴とする。
【００１８】
このような画像信号処理装置では、彩度算出領域毎に、各画素から与えられる画像信号の彩度が彩度積算部で積算され、彩度算出領域毎に積算された彩度積算結果が、ある値より低いとき、画像信号積算部を動作させて、画像信号の信号レベルを積算するように制御することができる。又、各彩度算出領域を構成する画像信号の輝度信号を生成する際、補正画像信号の割合を変化させるために与える重み係数を、彩度算出領域毎に積算された彩度積算結果に応じて求めることができる。又、彩度算出領域毎に求められた重み係数に応じて、各画像信号毎に線形的に変化させた重み係数を求めることができる。
【００１９】
このような画像信号処理装置において、請求項８に記載するように、前記画像信号より色信号を生成する色信号生成部を有し、該色信号生成部内において生成される色差信号より画像信号の彩度が求められるようにしても構わない。このとき、色差信号の大きさより画像信号の彩度が求められる。
【００２０】
請求項９に記載の画像信号処理方法は、複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理方法において、彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算し、前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記低彩度領域を撮像している前記固体撮像素子の画素に配された前記色フィルタを通過する光量を補正するための補正定数を求め、前記低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号に前記補正定数を乗算して、補正画像信号を生成し、該補正画像信号を、前記低彩度領域を撮像している前記固体撮像素子の画素における輝度信号とすることを特徴とする。
【００２１】
このような画像信号処理方法において、請求項１０に記載するように、隣接する複数の画素毎に画像信号が平滑化された平滑画像信号を、前記低彩度領域以外の領域を撮像している前記固体撮像素子の画素より出力される画像信号における輝度信号とするようにしても構わない。
【００２２】
又、請求項１１に記載の画像信号処理方法は、複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理方法において、彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算し、前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記低彩度領域を撮像している前記固体撮像素子の画素に配された前記色フィルタを通過する光量を補正するための補正定数を求め、前記低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号に前記補正定数を乗算して、補正画像信号を生成し、該補正画像信号と隣接する複数の画素毎に画像信号が平滑化された平滑画像信号とを、画像信号の彩度に基づいて重み付け加算した信号を、その画像信号の輝度信号とすることを特徴とする。
【００２３】
このような画像信号処理方法において、請求項１２に記載するように、前記輝度信号を生成する際、その画像信号の彩度が低いものほど、前記平滑画像信号に比べて前記補正画像信号の割合を大きくした重み付け加算を施すようにしても構わない。
【００２４】
請求項１３に記載する画像信号処理方法は、請求項９〜請求項１２のいずれかに記載の画像信号処理方法において、前記低彩度領域の前記出力画像信号の種類毎に積算された画像信号の信号レベルに前記補正定数を乗算した値が一定となるようにして、前記補正定数が求められることを特徴とする。
【００２５】
更に、請求項１４に記載の画像信号処理方法は、請求項９〜請求項１３のいずれかに記載の画像信号処理方法において、前記画像信号が再生された１フィールド分の画像において、複数の彩度算出領域を設け、該彩度算出領域毎に、各彩度算出領域を構成する画像信号より得られる彩度を積算し、この積算された彩度によって、その彩度算出領域が彩度の低い低彩度領域であるか否か判定されることを特徴とする。
【００２６】
【発明の実施の形態】
＜本発明の輝度信号の生成方法＞
図１を参照して、本発明における輝度信号の生成方法の概略について、説明する。図８（ａ）と同様の配列でＭ、Ｇ、Ｃ、Ｙのカラーフィルタが設けられた図１（ａ）のようなＣＣＤより、図８（ｂ）と同様、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４が図１（ｂ）のように出力される。よって、この画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を原色Ｒ、Ｇ、Ｂで表したとき、出力される画像信号の原色Ｒ、Ｇ、Ｂの成分の大きさが等しいものと仮定すると、図８（ｃ）と同様、図１（ｃ）のようになる。
【００２７】
即ち、ＣＣＤによって、白色の被写体などの彩度の低い被写体が撮像された結果、原色Ｒ、Ｇ、Ｂの成分の大きさが略等しい画像信号が出力されたとき、各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４の大きさの関係が、Ｃ１＞Ｃ２、Ｃ３＜Ｃ４となる。このような画像信号を、輝度信号として用いたとき、本来、輝度の大きさがほぼ等しい状態であるにも関わらず、列毎に、その輝度の大きさが変化してしまう。
【００２８】
そして、図１（ｄ）のように、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれに、補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４を与えて、透過光量補正を施す。このとき、透過光量補正を施すための画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４の信号レベルの基準値を、それぞれ、ｃ１，ｃ２，ｃ３，ｃ４としたとき、ＫＣ１×ｃ１＝ＫＣ２×ｃ２＝ＫＣ３×ｃ３＝ＫＣ４×ｃ４となるような補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４が、画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４のそれぞれに与えられる。尚、透過光量補正を施すための画像信号Ｃ１〜Ｃ４の信号レベルの基準値は、例えば、無彩色部分の画像信号Ｃ１〜Ｃ４を積算するなどして得ることができる。
【００２９】
このように、彩度の低い無彩色部分の画像信号が与えられたとき、補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４が乗算されて補正された各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４を、輝度信号として出力する。よって、従来のように、輝度信号を、２つの画像信号分の平均値でなく、各画像信号毎の信号とすることができるため、彩度の低い無彩色部分の解像度を高めることができる。尚、彩度の高い彩色された部分の画像信号が与えられたときは、従来と同様、補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４が乗算されて補正された各画像信号Ｃ１，Ｃ２，Ｃ３，Ｃ４をローパスフィルタに通過させることによって平滑化した信号を輝度信号とする。
【００３０】
このような輝度信号の生成方法を採用した画像信号処理装置に関する実施形態を、以下に説明する。
【００３１】
＜第１の実施形態＞
本発明の画像信号処理装置の第１の実施形態について、図面を参照して説明する。図２は、本実施形態の画像信号処理装置の内部構成を示すブロック図である。図３は、ＣＣＤからの出力信号に基づいて再生された画像のイメージ図である。
【００３２】
１．画像信号処理装置の構成
図２の画像信号処理装置は、ＣＣＤから与えられる画像信号Ｃ１〜Ｃ４に補正定数ＫＣ１〜ＫＣ４をそれぞれ乗算して画像信号Ｃ１〜Ｃ４を補正する透過光量補正回路１と、透過光量補正回路１から画像信号が与えられるラインメモリ２と、ラインメモリ２から画像信号が与えられるラインメモリ３と、透過光量補正回路１及びラインメモリ２，３より画像信号が与えられるＶＬＰＦ４と、ＶＬＰＦ４で処理された信号が与えられるＨＬＰＦ５と、ＶＬＰＦ４及びＨＬＰＦ５で処理された信号が与えられる輝度信号生成回路６と、輝度信号生成回路６から与えられる輝度信号にエッジ強調処理などを施す輝度信号処理回路７とが設けられ、これらの回路によって、輝度信号が生成される。
【００３３】
又、図２の画像信号処理装置は、透過光量補正回路１及びラインメモリ２，３より画像信号が与えられる色分離回路８と、色分離回路８で処理された信号が与えられるＲＧＢマトリックス回路９と、ＲＧＢマトリックス回路９で生成されたＲ、Ｇ、Ｂの各色信号が与えられる色差マトリックス回路１０と、色差マトリックス回路１０で生成された色差信号が与えられるカラーエンコーダ回路１１とが設けられ、これらの回路によって色信号が生成され、又、色差マトリックス回路１０で生成された色差信号より彩度を求める彩度生成回路１２が設けられる。
【００３４】
更に、図２の画像信号処理装置は、彩度生成回路１２より与えられる各画像信号毎に得られる彩度を後述する彩度算出領域毎に積算する彩度積算回路１３と、彩度の低い彩度算出領域における画像信号Ｃ１〜Ｃ４それぞれの信号レベルを別々に積算する画像信号積算回路１４と、彩度積算回路１３及び画像信号積算回路１４からの積算結果が与えられるとともにその積算結果より補正定数ＫＣ１〜ＫＣ４を算出するＣＰＵ１５と、各ブロックにおけるデータのやりとりを行うためのバス回線１６とを有する。
【００３５】
又、図３のように、ＣＣＤより与えられる出力信号に基づいて１フィールドの画像が再生されたとき、その全体領域内には、画像信号以外の出力信号の与えられるブランキング期間を表す領域Ｘと、画像信号が再生される有効映像領域Ｙがある。この有効映像領域Ｙ内に、図３のように、Ｍ×Ｎ（Ｍ，Ｎはそれぞれ自然数である）の彩度算出領域Ｚ11〜ＺMNを設ける。又、彩度算出領域Ｚ11〜ＺMNは、図４のように、ｍ×ｎ（ｍ，ｎはそれぞれ自然数である）の画像信号が再生されて成る領域である。尚、図４の１マス分が１つの画像信号を示す。
【００３６】
このように、１フィールド毎に上述した彩度算出領域Ｚ11〜ＺMNが設けられ、この彩度算出領域Ｚ11〜ＺMNに基づいて、画像信号が図２の構成の画像信号処理装置によって処理される。以下に、図２の構成の画像信号処理装置の動作について、各ブロック毎に説明する。
【００３７】
２．輝度信号生成用ブロックの一部の動作
まず、ラインメモリ２，３、ＶＬＰＦ４及びＨＬＰＦ５の動作について、説明する。これらのブロックは、従来の画像信号処理装置（図９）におけるラインメモリ５１，５２及びＶＬＰＦ５３及びＨＬＰＦ５４と同様の動作を行う。即ち、透過光量補正回路１で補正された１行目の画像信号がラインメモリ３に格納され、次に、透過光量補正回路１で補正された２行目の画像信号がラインメモリ２に格納される。そして、ラインメモリ３に格納された１行目の画像信号と、ラインメモリ２に格納された２行目の画像信号とが、透過光量補正回路１で補正された３行目の画像信号とともにＶＬＰＦ４に同時に与えられる。このようにして、ＶＬＰＦ４には、垂直方向に隣接する３つの画像信号が与えられる。
【００３８】
そして、ＶＬＰＦ４では、１行目の画像信号と３行目の画像信号との平均となる画像信号を生成するとともに、この平均された画像信号と２行目の画像信号をＨＬＰＦ５又は輝度信号生成回路６に与えられる。ＨＬＰＦ５では、水平方向に隣接する３つの画像信号毎に処理を行う。このとき、ＶＬＰＦ４で平均された画像信号及び２行目の画像信号のうち、それぞれ、１列目のもの３列目のものとを平均した画像信号が生成される。このようにして、ＶＬＰＦ４及びＨＬＰＦ５によって、画像信号Ｃ１〜Ｃ４のうち、２行目で且つ２列目に存在する画像信号以外の３つの画像信号を擬似的に生成する。そして、このように擬似的に生成されたが３つの画像信号を含む画像信号Ｃ１〜Ｃ４を平均した画像信号を求め、輝度信号生成回路６に送出する。尚、輝度信号生成回路６の動作については後述する。
【００３９】
即ち、例えば、図５（ａ）のように、ラインメモリ３より１行目の画像信号がＣ１ａ、Ｃ２ａ、Ｃ１ｂの順に、ラインメモリ２より２行目の画像信号がＣ３ａ、Ｃ４、Ｃ３ｂの順に、透過光量補正回路１より３行目の画像信号がＣ１ｃ、Ｃ２ｂ、Ｃ１ｄの順に、それぞれ、ＶＬＰＦ４に与えられるものとする。尚、Ｃ１ａ〜Ｃ１ｄが画像信号Ｃ１を、Ｃ２ａ，Ｃ２ｂが画像信号Ｃ２を、Ｃ３ａ，Ｃ３ｂが画像信号Ｃ３を表す。
【００４０】
このように、透過光量補正回路１及びラインメモリ２，３より画像信号が与えられると、図５（ｂ）のように、ＶＬＰＦでは、１行目の画像信号と３行目の画像信号とを平均して出力するとともに、２行目の画像信号をそのまま出力する。よって、平均された画像信号が(Ｃ１ａ＋Ｃ１ｃ)/２、(Ｃ２ａ＋Ｃ２ｂ)/２、(Ｃ１ｂ＋Ｃ１ｄ)/２の順に、２行目の画像信号がＣ３ａ、Ｃ４、Ｃ３ｂの順に、それぞれ、ＨＬＰＦ５に与えられる。
【００４１】
そして、ＨＬＰＦ５では、図５（ｃ）のように、１列目と３列目の画像信号を平均して出力するとともに、２列目の画像信号をそのまま出力する。よって、ＶＬＰＦ４で平均された画像信号が、(Ｃ１ａ＋Ｃ１ｂ＋Ｃ１ｃ＋Ｃ１ｄ)/４、(Ｃ２ａ＋Ｃ２ｂ)/２として出力される、又、２行目の画像信号が、(Ｃ３ａ＋Ｃ３ｂ)/２、Ｃ４として出力される。このようにして、画像信号Ｃ４を与える画素における画像信号Ｃ１，Ｃ２，Ｃ３が擬似的に求められる。そして、擬似的に求められた画像信号Ｃ１〜Ｃ３と画像信号Ｃ４を平均した画像信号Ｃを求め、この画像信号Ｃを輝度信号生成回路６に出力する。即ち、この画像信号Ｃは、次のように表される。
C=(C1a+C1b+C1c+C1d)/16+(C2a+C2b)/8+(C3a+C3b)/8+C4/4
尚、C1a〜C1d、C2a、C2b、C3a、C3b、C4は、画像信号Ｃ１ａ〜Ｃ１ｄ，Ｃ２ａ，Ｃ２ｂ，Ｃ３ａ，Ｃ３ｂ，Ｃ４の信号レベルを、Cは画像信号Ｃの信号レベルを、それぞれ表す。
【００４２】
３．色信号生成用ブロックの動作
次に、色分離回路８、ＲＧＢマトリックス回路９、色差マトリックス回路１０、カラーエンコーダ１１及び彩度生成回路１２の動作について説明する。まず、色分離回路８に、ラインメモリ３より１行目の画像信号が、ラインメモリ２より２行目の画像信号が、透過光量補正回路１より３行目の画像信号が、それぞれ与えられると、上述したＶＬＰＦ４及びＨＬＰＦ５のように、画像信号Ｃ１〜Ｃ４を生成する。即ち、図５（ａ）のように、各行の画像信号が与えられるとき、画像信号Ｃ４以外の画像信号Ｃ１〜Ｃ３を擬似的に求める。
【００４３】
そして、この画像信号Ｃ１〜Ｃ４より、信号ＹＬ，Ｃｒ，Ｃｂを生成する。尚、信号ＹＬ，Ｃｒ，Ｃｂは、それぞれ、ＹＬ＝Ｃ１＋Ｃ２又はＣ３＋Ｃ４、Ｃｒ＝Ｃ１−Ｃ２、Ｃｂ＝Ｃ４−Ｃ３である。このようにして生成された信号ＹＬ，Ｃｒ，Ｃｂが、ＲＧＢマトリックス回路に与えられ、信号ＹＬ，Ｃｒ，Ｃｂに基づいて、原色Ｒ，Ｇ，Ｂを表すＲ信号、Ｇ信号、Ｂ信号が生成される。
【００４４】
Ｒ信号、Ｇ信号、Ｂ信号が色差マトリックス回路１０に与えられると、色差マトリックス回路１０では、Ｒ信号、Ｇ信号、Ｂ信号に基づいて、色差信号Ｒ−Ｙ，Ｇ−Ｙを生成する（尚、Ｒ−Ｙ＝０．７０Ｒ−０．５９Ｇ−０．１１Ｂ、Ｂ−Ｙ＝−０．３０Ｒ−０．５９Ｇ＋０．８９Ｂ）。このようにして求められた色差信号Ｒ−Ｙ，Ｇ−Ｙがカラーエンコーダ１１に与えられると、この色差信号が互いに９０°位相差のある色差信号とされた後に混合することによって色信号が生成されて、出力される。又、同様に、色差信号Ｒ−Ｙ，Ｇ−Ｙが与えられる彩度生成回路１２では、{(Ｒ−Ｙ)2＋(Ｂ−Ｙ)2}1/2を行うことによって、彩度を求める。
【００４５】
４．彩度積算回路１３の動作
次に、彩度積算回路１３の動作について説明する。彩度積算回路１３では、彩度生成回路１２で求められた彩度が、画像信号毎に与えられ、上述した図３の彩度算出領域毎に積算される。ここで、今、図４のように、彩度算出領域ＺKL（K：1≦K≦Mの自然数、L：1≦L≦Nの自然数）が、画像信号ＬKL-11〜ＬKL-mnが再生されて成る領域とする。このとき、１行目から順に画像信号が与えられるとともに、その彩度が彩度生成回路１２で求められ、彩度積算回路１３に与えられる。
【００４６】
即ち、彩度算出領域Ｚ11における画像信号Ｌ11-11〜Ｌ11-m1が与えられ、その彩度が彩度積算回路１３で順に積算される。このように、画像信号Ｌ11-11〜Ｌ11-m1の彩度が積算されると、一旦、彩度積算回路１３内に設けられた彩度算出領域毎にその積算した彩度を格納するためのメモリ（不図示）に格納する。このとき、この画像信号Ｌ11-11〜Ｌ11-m1の彩度を積算した値は、彩度算出領域Ｚ11の積算した彩度を格納するためのアドレスに格納される。
【００４７】
そして、次に、彩度算出領域Ｚ21における画像信号Ｌ21-11〜Ｌ21-m1が与えられ、その彩度が彩度積算回路１３で順に積算される。このように、画像信号Ｌ21-11〜Ｌ21-m1の彩度が積算されると、この彩度を積算した値は、彩度算出領域Ｚ21の積算した彩度を格納するためのアドレスに格納される。その後、同様に、彩度算出領域Ｚ31，Ｚ41，…ＺM1における画像信号Ｌ31-11〜Ｌ31-m，Ｌ41-11〜Ｌ41-m1，…ＬM1-11〜ＬM1-m1の彩度が、彩度算出領域毎に積算され、それぞれ、不図示のメモリの各彩度算出領域に対応したアドレスに格納される。
【００４８】
このようにして、１行目の画像信号が与えられると、次に、２行目の画像信号が与えられる。このとき、まず、彩度算出領域Ｚ11における画像信号Ｌ11-12〜Ｌ11-m2が与えられるとき、不図示のメモリに格納された彩度算出領域Ｚ11における１行目の画像信号Ｌ11-11〜Ｌ11-m1の彩度を積算した値が読み出され、この値に画像信号Ｌ11-12〜Ｌ11-m2の彩度が順に加算されて積算される。そして、このように画像信号Ｌ11-11〜Ｌ11-m2の彩度が積算された値が再び、メモリ内に格納する。
【００４９】
そして、彩度算出領域Ｚ21，Ｚ31，…ＺM1においても、同様に、画像信号Ｌ21-12〜Ｌ21-m2，Ｌ31-12〜Ｌ31-m2，…ＬM1-12〜ＬM1-m2が与えられると、それぞれ、不図示のメモリ内に格納された画像信号Ｌ21-11〜Ｌ21-m1，Ｌ31-11〜Ｌ31-m1，…ＬM1-11〜ＬM1-m1の彩度を積算した値が読み出され、それらの値に、それぞれ、画像信号Ｌ21-12〜Ｌ21-m2，Ｌ31-12〜Ｌ31-m2，…ＬM1-12〜ＬM1-m2の彩度が加算されて積算される。そして、このように画像信号Ｌ21-11〜Ｌ21-m2，Ｌ31-11〜Ｌ31-m2，…ＬM1-11〜ＬM1-m2の彩度がそれぞれ積算された値が、再び、不図示のメモリに格納される。
【００５０】
そして、３〜ｎ行目の画像信号の彩度が、同様に、彩度積算回路１３において順に積算されると、彩度算出領域Ｚ11，Ｚ21，…ＺM1の画像信号Ｌ11-11〜Ｌ11-mn，Ｌ21-11〜Ｌ21-mn，…ＬM1-11〜ＬM1-mnの彩度がそれぞれ積算されて、各彩度算出領域の彩度積算結果として不図示のメモリ内に格納される。そして、次に、ｎ＋１行目〜２ｎ行目の画像信号の彩度が、同様に、彩度積算回路１３において順に処理されると、彩度算出領域Ｚ12，Ｚ22，…ＺM2の画像信号Ｌ12-11〜Ｌ12-mn，Ｌ22-11〜Ｌ22-mn，…ＬM2-11〜ＬM2-mnの彩度がそれぞれ積算されて、同様に、各彩度算出領域の彩度積算結果として不図示のメモリ内に格納される。
【００５１】
この後、２ｎ＋１〜Ｎ×ｎ行目の画像信号が与えられる間に、このような動作が繰り返されることによって、彩度算出領域Ｚ13，Ｚ23，…ＺMNの画像信号Ｌ13-11〜Ｌ13-mn，Ｌ23-11〜Ｌ23-mn，…ＬMN-11〜ＬMN-mnの彩度がそれぞれ積算されて、同様に、各彩度算出領域の彩度積算結果として不図示のメモリ内に格納される。このようにして求められた彩度算出領域Ｚ11〜ＺMNの彩度積算結果は、画像信号積算回路１４に与えられるとともに、バス回線１６を介してＣＰＵ１５に与えられる。
【００５２】
５．画像信号積算回路１４の動作
次に、画像信号積算回路１４の動作について説明する。画像信号積算回路１４では、ＣＣＤから出力される画像信号Ｃ１〜Ｃ４が入力され、画像信号Ｃ１〜Ｃ４のそれぞれについて、画像信号毎に積算を行う。又、彩度積算回路１３より、彩度算出領域Ｚ11〜ＺMNそれぞれの彩度積算結果が与えられ、その積算結果が所定の閾値より低くなる彩度算出領域を構成する画像信号を積算するように制御される。
【００５３】
即ち、ＣＣＤから出力される前フィールドの画像信号より得られた彩度算出領域Ｚ11〜ＺMNそれぞれの彩度積算結果が、画像信号積算回路１４に与えられ、この彩度積算結果が所定の閾値より低くなる彩度算出領域（以下、「低彩度の彩度算出領域」とする）毎に、画像信号Ｃ１〜Ｃ４のそれぞれについて、その信号レベルを積算する。このとき、上述した彩度積算回路１３と同様にして、彩度算出領域毎にその画像信号Ｃ１〜Ｃ４それぞれの積算結果が、画像信号積算回路１４内に設けられたメモリ（不図示）に格納される。尚、彩度積算結果が閾値より高くなる彩度算出領域については、画像信号Ｃ１〜Ｃ４の積算を行わない。
【００５４】
そして、全彩度算出領域において、画像信号Ｃ１〜Ｃ４の積算を行うと、その結果をバス回線１６を介してＣＰＵ１５に与える。ＣＰＵ１５では、このように彩度算出領域毎の画像信号Ｃ１〜Ｃ４それぞれの積算結果が与えられたとき、画像信号Ｃ１〜Ｃ４それぞれの積算結果をｃ１〜ｃ４とすると、各彩度算出領域毎に、ＫＣ１×ｃ１＝ＫＣ２×ｃ２＝ＫＣ３×ｃ３＝ＫＣ４×ｃ４となるように、透過光量補正回路１に与える補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４を算出する。
【００５５】
又、このとき、低彩度の彩度算出領域以外の彩度積算結果が閾値より高くなる彩度算出領域における補正定数ＫＣ１〜ＫＣ４については、最も近接した低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４の値とする。即ち、低彩度の彩度算出領域以外の彩度算出領域については、その最も距離的に近い低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４の値を、補正定数ＫＣ１〜ＫＣ４とする。
【００５６】
（透過光量補正回路に与える定数算出方法の別手段）
尚、低彩度の彩度算出領域以外の彩度算出領域の補正定数ＫＣ１〜ＫＣ４の算出方法については、上述した方法に限定されるものでなく、例えば、近接した低彩度の彩度算出領域との相対関係に基づき、この近接した複数の低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４より求められるものとしても構わない。即ち、近接した複数の低彩度の彩度算出領域の間に存在する低彩度の彩度算出領域以外の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を求めるとき、その求める補正定数ＫＣ１〜ＫＣ４がそれぞれ、近接した複数の低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４に対して、線形的に変化した値とするようにしても構わない。
【００５７】
又、一度、低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を算出した後、次の低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を算出するまで、この２つの低彩度の彩度算出領域に存在する彩度積算結果が閾値より高い彩度算出領域については、最初に求められた低彩度の彩度算出領域の補正定数ＫＣ１〜ＫＣ４を、補正定数ＫＣ１〜ＫＣ４とするようにしても構わない。
【００５８】
（画像信号の積算方法の別手段）
又、低彩度の彩度算出領域毎に、画像信号Ｃ１〜Ｃ４の積算を行うようにしたが、１フィールド毎に、低彩度の彩度算出領域全ての画像信号Ｃ１〜Ｃ４の積算を行うようにしても構わない。このとき、低彩度の彩度算出領域の数量によって、画像信号Ｃ１〜Ｃ４の積算値がそれぞれ平均化される。そして、このようにして平均化された画像信号Ｃ１〜Ｃ４の平均化された積算値を、ｃ１，ｃ２，ｃ３，ｃ４とすると、ＫＣ１×ｃ１＝ＫＣ２×ｃ２＝ＫＣ３×ｃ３＝ＫＣ４×ｃ４となるように、透過光量補正回路１に与える補正定数ＫＣ１，ＫＣ２，ＫＣ３，ＫＣ４を算出する。そして、１フィールド分の全彩度算出領域において、同一の補正定数ＫＣ１〜ＫＣ４が与えられる。
【００５９】
６．透過光量補正回路１の動作
次に、透過光量補正回路１の動作について説明する。透過光量補正回路１では、ＣＰＵ１５において前フィールドの彩度算出領域Ｚ11〜ＺMNそれぞれについて設定された画像信号Ｃ１〜Ｃ４に対する補正定数ＫＣ１〜ＫＣ４が与えられる。そして、ＣＣＤより出力される画像信号Ｃ１〜Ｃ４の各信号レベルに、ＣＰＵ１５より与えられた補正定数ＫＣ１〜ＫＣ４を乗算することで透過光量補正した画像信号Ｃ１〜Ｃ４を、ラインメモリ２及びＶＬＰＦ４及び色分離回路８に送出する。即ち、彩度算出領域Ｚ11〜ＺMNそれぞれについて、前フィールドで設定された補正定数ＫＣ１〜ＫＣ４が、画像信号Ｃ１〜Ｃ４それぞれの信号レベルに乗算され、各画像信号毎に透過光量補正が施される。
【００６０】
７．輝度信号生成回路６及び輝度信号処理回路７の動作
次に、輝度信号生成回路６及び輝度信号処理回路７の動作について説明する。まず、輝度信号生成回路６は、ＣＰＵ１５よりバス回線１６を介して、ＶＬＰＦ４及びＨＬＰＦ５から与えられる画像信号のそれぞれに、重み付け係数Lp（Lp：０≦Lp≦１）が与えられる。このとき、ＶＬＰＦ４、ＨＬＰＦ５のそれぞれから与えられる画像信号の信号レベルCa，Cbとしたとき、輝度信号の信号レベルが、Lp×Ca＋(１−Lp)×Cbとなる。このとき、２フィールド前に彩度積算回路１３で演算された彩度算出領域Ｚ11〜ＺMNそれぞれについての彩度積算結果に基づいて動作を行い、その彩度積算結果が低いときはLpの値が大きくなり、又、その彩度積算結果が高いときはLpの値が小さくなる。
【００６１】
即ち、ＨＬＰＦ５からは、ＶＬＰＦ４及びＨＬＰＦ５が上述したように動作することで得られた画像信号Ｃが、輝度信号生成回路６に与えられ、又、ＶＬＰＦ４からは、ラインメモリ２に格納された２行目の画像信号が与えられる。例えば、図５の場合、ＶＬＰＦ４及びＨＬＰＦ５によって、画像信号Ｃ４と、上述したようにして擬似的に求められた画像信号Ｃ１〜Ｃ３とを平均して求められた画像信号Ｃが、輝度信号生成回路６に与えられる。そして、ＶＬＰＦ４からは、画像信号Ｃ４が輝度信号生成回路６に与えられる。
【００６２】
そして、輝度信号生成回路６において、画像信号Ｃ４の信号レベルに重み係数Lpが乗算された信号と画像信号Ｃの信号レベルに重み係数(１−Lp)が乗算された信号とを加算することで、輝度信号が生成される。このように輝度信号を生成するための重み係数Lpが、彩度積算回路１３より与えられる各彩度算出領域の彩度積算結果に基づいて、ＣＰＵ１５で求められる。この重み係数Lpについては、後述する。
【００６３】
このようにして、輝度信号生成回路６で輝度信号が生成されると、次に、この輝度信号が輝度信号処理回路７に入力される。そして、輝度信号処理回路７において、エッジ強調処理などの画像処理が輝度信号に施された後、外部に輝度信号として出力される。
【００６４】
（輝度信号生成方法の別手段）
尚、輝度信号生成手段６については、上述したように、ＶＬＰＦ４及びＨＬＰＦ５より与えられる画像信号のそれぞれをＣＰＵ１５より与えられる重み係数に基づいて重み付けすることによって、輝度信号を生成するものに限定されない。例えば、彩度積算回路１３によって彩度算出領域の彩度積算結果が所定の閾値より低いときは、輝度信号生成手段６においてＶＬＰＦ４からの画像信号を選択して輝度信号とするとともに、又、彩度積算結果が所定の閾値より高いときは輝度信号生成手段６においてＨＬＰＦ５からの画像信号を選択して輝度信号とするようにしても構わない。
【００６５】
８．画像信号の重み係数の算出方法
次に、重み係数Lpについて、以下に説明する。まず、彩度積算回路１３において、彩度算出領域Ｚ11〜ＺMNそれぞれの彩度積算結果が、ＣＰＵ１５に与えられると、ＣＰＵ１５において、その彩度積算結果に応じた重み係数の代表値Lxが求められる。このとき、彩度積算結果が高い彩色された彩度算出領域については、重み係数の代表値Lxを小さくし、又、彩度積算結果が低い無彩色に近い彩度算出領域については、重み係数の代表値Lxを大きくする。このようにして、各彩度算出領域毎に、重み係数の代表値Lxが求められると、この重み係数の代表値Lxが、各彩度算出領域の中心に位置する画像信号用の重み係数として記憶される。
【００６６】
このように各彩度算出領域毎の重み係数の代表値Lxが求められたとき、図６のように、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)の重み係数の代表値Lxが、それぞれ、La、Lb、Lc、Ldとなったものとする。このとき、彩度算出領域ＺKLにおいて、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号ＬKL-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp1は、次式のように表される。
Lp1=[{La×(n−y)＋Lc×y}×(m−x)/n＋{Lb×(n−y)＋Ld×y}×x/n]/m
【００６７】
同様に、彩度算出領域Ｚ(K+1)Lにおいて、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号Ｌ(K+1)L-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp2は、次式のように表される。
Lp2=[{La×(n−y)＋Lc×y}×x/n＋{Lb×(n−y)＋Ld×y}×(m−x)/n]/m
【００６８】
同様に、彩度算出領域ＺK(L+1)において、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号ＬK(L+1)-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp3は、次式のように表される。
Lp3=[{La×y＋Lc×(n−y)}×(m−x)/n＋{Lb×y＋Ld×(n−y)}×x/n]/m
【００６９】
同様に、彩度算出領域Ｚ(K+1)(L+1)において、彩度算出領域ＺKL，Ｚ(K+1)L，ＺK(L+1)，Ｚ(K+1)(L+1)それぞれの中心に位置する画像信号ＬKL-C，Ｌ(K+1)L-C，ＬK(L+1)-C，Ｌ(K+1)(L+1)-Cで囲まれた領域に存在し、画像信号Ｌ(K+1)(L+1)-Cに対して水平方向にx（x：0≦x≦m/2の自然数）、垂直方向にy（y：0≦y≦n/2の自然数）離れた位置に位置する画像信号の重み係数Lp4は、次式のように表される。
Lp4=[{La×y＋Lc×(n−y)}×x/n＋{Lb×y＋Ld×(n−y)}×(m−x)/n]/m
【００７０】
このように、彩度算出領域Ｚ11，ＺM1，Ｚ1N，ＺMNそれぞれの中心に位置する画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域に存在する画像信号の重み係数が、上記のように、４つの隣接した彩度算出領域の中心に位置する画像信号の重み係数より求められる。しかしながら、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域外の画像信号については求められない。そこで、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域外の画像信号の重み係数は、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域の画像信号のうち最も近接した画像信号の重み係数と同一の値とする。
【００７１】
即ち、例えば、図６の彩度算出領域ＺKLを彩度算出領域Ｚ11とすると、画像信号Ｌ11-Cよりも左側で且つ上側に存在する画像信号の重み係数が全て、画像信号Ｌ11-Cの重み係数Laと等しくなる。又、画像信号Ｌ11-Cと画像信号Ｌ12-Cで結ばれる直線よりも左側に存在する画像信号については、例えば、画像信号Ｌ11-Cより垂直方向に、yだけ画像信号Ｌ12-Cに寄った位置にあるとき、その重み係数が、{La×(n−y)＋Lc×y}となる。又、画像信号Ｌ11-Cと画像信号Ｌ21-Cで結ばれる直線よりも上側に存在する画像信号については、例えば、画像信号Ｌ11-Cより水平方向に、xだけ画像信号Ｌ21-Cに寄った位置にあるとき、その重み係数が、{La×(m−x)＋Lb×x}となる。
【００７２】
このようにして、各画像信号の重み係数LpがＣＰＵ１５で求められると、輝度信号生成手段６に与えられ、上述したように、この重み係数Lpに基づいて、ＶＬＰＦ４，５より与えられる画像信号を用いて輝度信号が生成される。
【００７３】
（重み係数算出方法の別手段）
尚、各画像信号に与える重み係数を与える方法は、上述した方法に限定されるわけではなく、例えば、各彩度算出領域を構成する全ての画像信号の重み係数を、彩度積算結果より与えられる重み係数に統一するような方法でも構わない。即ち、各彩度算出領域毎に、画像信号の重み係数が変化するようにしても良い。
【００７４】
又、例えば、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域内の画像信号の重み係数を上述したように求める。そして、画像信号Ｌ11-C，ＬM1-C，Ｌ1N-C，ＬMN-Cによって囲まれる領域外の画像信号の重み係数は、その重み係数を求める画像信号が存在する彩度算出領域と、その画像信号に最も近い位置にあるとともにその画像信号が存在する彩度算出領域と隣接した２つの彩度算出領域と、この隣接した２つの彩度算出領域の両方に隣接した彩度算出領域とによる４つの重み係数の代表値に基づいて、線形的に求めるようにしても構わない。
【００７５】
即ち、例えば、図６の彩度算出領域ＺKLを彩度算出領域Ｚ11とすると、画像信号Ｌ11-Cよりも左側にx（x：0≦x≦m/2の自然数）、上側にy（y：0≦y≦n/2の自然数）の位置の画像信号の重み係数Lpaは、画像信号Ｌ11-C，Ｌ12-C，Ｌ21-C，Ｌ22-Cの重み係数によって求められる。この重み係数Lpaは、次のようになる。
又、画像信号Ｌ11-Cよりも右側にx（x：0≦x≦m/2の自然数）、上側にy（y：0≦y≦n/2の自然数）の位置の画像信号の重み係数Lpbは、画像信号Ｌ11-C，Ｌ12-C，Ｌ21-C，Ｌ22-Cの重み係数によって求められる。この重み係数Lpbは、次のようになる。
Lpb=[{La×(n＋y)＋Lc×(-y)}×(m−x)/n＋{Lb×(n＋y)＋Ld×(-y)}×x/n]/m
【００７７】
又、画像信号Ｌ11-Cよりも左側にx（x：0≦x≦m/2の自然数）、下側にy（y：0≦y≦n/2の自然数）の位置の画像信号の重み係数Lpcは、画像信号Ｌ11-C，Ｌ12-C，Ｌ21-C，Ｌ22-Cの重み係数によって求められる。この重み係数Lpcは、次のようになる。
Lpc=[{La×(n−y)＋Lc×y}×(m＋x)/n＋{Lb×(n−y)＋Ld×y}×(-x)/n]/m
【００７８】
９．全体の動作
このように各ブロックが動作を行う画像信号処理装置全体の動作について、以下に簡単に説明する。尚、各ブロック毎の詳細な動作については、上記の説明を参照するものとする。又、色信号の生成についても、上記の説明を参照するものとし、以下では省略する。
【００７９】
まず、１フィールド目の画像信号がＣＣＤより入力されると、色分離回路８、ＲＧＢマトリックス回路９、色差マトリックス回路１０及び彩度生成回路１２によって生成された彩度が、彩度積算回路１３によって各彩度算出領域毎に積算される。そして、各彩度算出領域の彩度積算結果が画像信号積算回路１４及びＣＰＵ１５に与えられる。
【００８０】
次に、２フィールド目の画像信号がＣＣＤより入力されると、彩度積算結果が閾値より低い彩度算出領域毎に、ＣＣＤより入力される画像信号Ｃ１〜Ｃ４のそれぞれの信号レベルが積算され、ＣＰＵ１５に与えられる。又、このとき、ＣＰＵ１５によって、各彩度算出領域の彩度積算結果に応じて、各彩度算出領域の重み係数の代表値が求められる。尚、輝度信号生成回路６がＶＬＰＦ４又はＨＬＰＦ５のいずれか一方の画像信号を選択して輝度信号とする場合、重み係数の代表値の代わりに、ＶＬＰＦ４又はＨＬＰＦ５のいずれか一方を選択するための選択用制御信号がＣＰＵ１５において、生成される。
【００８１】
そして、ＣＰＵ１５では、この画像信号Ｃ１〜Ｃ４の積算結果及び１フィールド前の彩度積算結果に応じて、画像信号Ｃ１〜Ｃ４に乗算することで透過光量補正を行うための補正定数ＫＣ１〜ＫＣ４を算出する。又、このとき、各彩度算出領域の重み係数の代表値より各画像信号に与える重み係数が算出される。このような処理が、３フィールド目の画像信号がＣＣＤより入力されたときに行われる。
【００８２】
そして、４フィールド目の画像信号がＣＣＤより入力されると、ＣＰＵ１５によって算出された補正定数ＫＣ１〜ＫＣ４が透過光量補正回路１に与えられることによって、まず、ＣＣＤから出力される画像信号に透過光量補正が施される。そして、このように透過光量補正が施された画像信号がＶＬＰＦ４及びＨＬＰＦ５に与えられると、輝度信号生成回路６において、ＣＰＵ１５によって生成された重み係数又は選択用制御信号に応じて、ＶＬＰＦ４及びＨＬＰＦ５から送出される画像信号より輝度信号が生成される。そして、このようにして生成された輝度信号が輝度信号処理回路７で、エッジ強調処理などの信号処理が施された後、出力される。
【００８３】
尚、輝度信号生成回路６がＶＬＰＦ４又はＨＬＰＦ５のいずれか一方の画像信号を選択して輝度信号とする場合は、選択用制御信号が輝度信号生成回路に６に与えられる。そして、その彩度積算結果が閾値よりも高い彩度算出領域では、ＨＬＰＦ５より与えられる画像信号を輝度信号として輝度信号処理回路７に出力するとともに、その彩度積算結果が閾値よりも低い彩度算出領域では、ＶＬＰＦ４より与えられる画像信号を輝度信号として輝度信号処理回路７に出力する。
【００８４】
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。図７は、本実施形態の画像信号処理装置の内部構成を示すブロック図である。尚、図７の画像信号処理装置において、図２の画像信号処理装置と同一の目的で使用する部分については、同一の符号を付すとともに、その詳細な説明は省略する。
【００８５】
図７の画像信号処理装置は、透過光量補正回路１と、ラインメモリ２，３と、ＶＬＰＦ４と、ＨＬＰＦ５と、輝度信号生成回路６と、輝度信号処理回路７と、色分離回路８と、ＲＧＢマトリックス回路９と、色差マトリックス回路１０と、カラーエンコーダ１１と、彩度生成回路１２と、彩度積算回路１３と、画像信号積算回路１４と、ＣＰＵ１５と、バス回線１６と、輝度信号生成回路６に与える重み係数を生成するための重み係数生成回路１７とを有する。
【００８６】
このように、本実施形態の画像信号処理装置は、第１の実施形態（図２）の画像信号処理装置に、重み係数生成回路１７が付加された構成の画像信号処理装置である。このような画像信号処理装置において、第１の実施形態と異なり、各彩度算出領域の重み係数の代表値がＣＰＵ１５で求められると、この重み係数の代表値が重み係数生成回路１７に与えられ、この重み係数生成回路１７において各画像信号の重み係数が算出される。
【００８７】
重み係数生成回路１７において算出された重み係数は、輝度信号生成回路６に与えられる。そして、輝度信号生成回路６では、重み係数に応じて、ＶＬＰＦ４から与えられる画像信号とＨＬＰＦ５より与えられる画像信号のそれぞれに重み付けして加算することによって、輝度信号が生成され、輝度信号処理回路７に送出される。又、重み係数生成回路１７より画像信号積算回路１４に制御信号が与えられ、彩度算出領域毎に、その彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが制御される。
【００８８】
このとき、各彩度算出領域の重み係数の代表値によって、この彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが判定されるようにしても構わない。又、各彩度算出領域を構成する各画像信号の重み係数を求めた後、このように求めた重み係数の平均値又は積算値を求め、この平均値又は積算値によって、この彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが判定されるようにしても構わない。そして、積算するように判定された各彩度算出領域を構成する画像信号が、画像信号Ｃ１〜Ｃ４のそれぞれについて積算され、積算値が求められる。
【００８９】
更に、各彩度算出領域を構成する各画像信号の重み係数を求めた後、このように求めた重み係数によって、この彩度算出領域を構成する画像信号Ｃ１〜Ｃ４の積算を行うか否かが、各画像信号毎に判定されるようにしても構わない。このとき、各彩度算出領域で積算を行うように判定された画像信号の信号レベルを積算するとともに、その積算した画像信号の数を画像信号Ｃ１〜Ｃ４のそれぞれについてカウントする。そして、画像信号Ｃ１〜Ｃ４のそれぞれについて積算された値を、画像信号Ｃ１〜Ｃ４のそれぞれについてカウントした画像信号の数で除算を行うことで、平均値を求めることができる。
【００９０】
上記のようにして、各彩度算出領域の画像信号の積算値又は平均値が求められると、ＣＰＵ１５に与えられ、この積算値及び平均値を与える彩度算出領域の画像信号を透過光量補正するための補正定数ＫＣ１〜ＫＣ４が求められる。尚、このとき、積算値及び平均値が算出されていない彩度算出領域については、第１の実施形態と同様に、その近隣の彩度算出領域で算出された補正定数ＫＣ１〜ＫＣ４に基づいて、求めることができる。
【００９１】
このように補正定数ＫＣ１〜ＫＣ４が求められると、透過光量補正回路１に与えられる。そして、次のフィールドの画像信号Ｃ１〜Ｃ４の信号レベルに、補正定数ＫＣ１〜ＫＣ４のそれぞれが乗算されることによって、ＣＣＤより出力される次のフィールドの画像信号に透過光量補正を施す。そして、ラインメモリ２，３、ＶＬＰＦ４、ＨＬＰＦ５、輝度信号生成回路６によって、透過光量補正回路１で透過光量補正が施された画像信号及び重み係数算出回路１７より与えられる重み係数に基づいて、輝度信号が生成される。このとき、第１の実施形態と同様、彩度積算結果の値が低いとき、その彩度算出領域の重み係数の代表値が大きくなるように設定されるため、彩度の低い領域の画像信号は、ＶＬＰＦ４より与えられる画像信号の割合が大きくなるように、ＨＬＰＦ５より与えられる画像信号との重み付け加算が施される。
【００９２】
このように、図７の画像信号処理装置が動作を行うとき、まず、１フィールド目の画像信号がＣＣＤより入力されると、この画像信号より各彩度算出領域の彩度積算値を求める。次に、２フィールド目の画像信号がＣＣＤより入力されると、重み係数が算出され、そして、３フィールド目の画像信号がＣＣＤより入力されたときに、各差井戸算出領域の画像信号Ｃ１〜Ｃ４の積算値が求められる。このように画像信号Ｃ１〜Ｃ４の積算値が求められると、４フィールド目の画像信号がＣＣＤより入力される間に、補正定数ＫＣ１〜ＫＣ４が求められる。そして、ＣＣＤより入力される５フィールド目の画像信号が、この補正定数ＫＣ１〜ＫＣ４によって透過光量補正が行われるとともに、重み係数による重み付け加算が行われる。
【００９３】
尚、本実施形態において、各彩度算出領域毎に補正定数ＫＣ１〜ＫＣ４を求めるようにしたが、１フィールド毎に、補正定数ＫＣ１〜ＫＣ４を求めるようにしても構わない。このとき、例えば、重み係数算出回路１７において、各画像信号毎に求められた重み係数より積算を行うか否かを判定して、画像信号積算回路１４を制御する。このようにして、画像信号Ｃ１〜Ｃ４のそれぞれの積算値を求めると同時に、積算を行った画像信号Ｃ１〜Ｃ４の数をそれぞれカウントし、この画像信号Ｃ１〜Ｃ４それぞれについてカウントした値で画像信号Ｃ１〜Ｃ４それぞれの積算値を除算することで、画像信号Ｃ１〜Ｃ４の平均値を求めることができる。そして、このように求めた画像信号Ｃ１〜Ｃ４の積算値又は平均値に基づいて、ＣＰＵ１５で補正定数ＫＣ１〜ＫＣ４を求めるようにしても良い。
【００９４】
又、輝度信号生成回路を、ＶＬＰＦ又はＨＬＰＦより出力される画像信号の一方を選択して、輝度信号として出力するような回路とし、重み係数算出回路の代わりに、選択制御信号を与えて、ＶＬＰＦ、ＨＬＰＦのいずれから出力される画像信号を選択するか制御するような回路を用いても構わない。
【００９５】
第１の実施形態において、４フィールド目に、補正定数ＫＣ１〜ＫＣ４を透過光量補正回路に与えるとともに、重み係数を輝度信号生成回路に与えるようにしたが、３フィールド目に重み係数を輝度信号生成回路に与えるとともに、４フィールド目に補正定数ＫＣ１〜ＫＣ４を透過光量補正回路に与えるようにしても構わない。このとき、同一フィールドより得られた各彩度算出領域の彩度積分結果に基づいて生成される重み係数及び補正定数ＫＣ１〜ＫＣ４が出力されるタイミングが、１フィールド分ずれ、補正定数ＫＣ１〜ＫＣ３が１フィールド遅れて、与えられることになる。
【００９６】
又、ＶＬＰＦ及びＨＬＰＦによって、画像信号Ｃ１〜Ｃ４のうち３つの画像信号を擬似的に求めた後、擬似的に求めた３つの画像信号を含む画像信号Ｃ１〜Ｃ４をＨＬＰＦにおいて平均化した画像信号を輝度信号生成回路に与えるようにしたが、擬似的に求められた３つの画像信号と残りの１つの画像信号とを重み付けして加算した画像信号を輝度信号生成回路に与えるようにしても構わない。
【００９７】
更に、色フィルタが図１のように配置された単板色のＣＣＤから出力される画像信号を処理する画像信号処理装置に限定されるものではなく、ＲＧＢの色フィルタが設けられたＣＣＤや他様式の配置で色フィルタが配置されたＣＣＤから出力される画像信号を処理する画像信号処理としても構わない。又、２板色のＣＣＤから出力される画像信号を処理する画像信号処理装置としても構わない。
【００９８】
【発明の効果】
本発明によると、彩度の低い低彩度領域を検知し、この低彩度領域の彩度に応じて画像信号に透過光量補正が施される。よって、無彩色な被写体を撮像したときにフィルタ特性の異なる各種の色フィルタが配された画素より与えられる画像信号を、信号レベルにバラツキのない画像信号とすることができる。又、低彩度領域における輝度信号を、透過光量補正された補正画像信号とすることで、各画素毎に輝度信号が生成される。よって、複数の画像信号を平滑化して生成される場合と比べ、その解像度を向上させることができる。又、画像信号の彩度に応じて、補正画像信号と複数の画像信号が平滑化された平滑画像信号とを重み付け加算した信号を輝度信号とするため、彩度の低い領域から彩度の高い領域へ変化する部分が再生されたとき、その変化が滑らかな画像となる。
【図面の簡単な説明】
【図１】ＣＣＤから出力される画像信号の本発明における処理の概略を示す図。
【図２】第１の実施形態の画像信号処理装置の内部構成を示すブロック図。
【図３】画像信号の配列のイメージ図。
【図４】彩度算出領域の状態を示す図。
【図５】ＶＬＰＦ及びＨＬＰＦでの処理の概略を示す図。
【図６】画像信号の位置と重み係数の関係を示す図。
【図７】第２の実施形態の画像信号処理装置の内部構成を示すブロック図。
【図８】ＣＣＤから出力される画像信号の従来の処理の概略を示す図。
【図９】従来の画像信号処理装置の内部構成を示すブロック図。
【符号の説明】
１ 透過光量補正回路
２，３ ラインメモリ
４ ＶＬＰＦ
５ ＨＬＰＦ
６ 輝度信号生成回路
７ 輝度信号処理回路
８ 色分離回路
９ ＲＧＢマトリクス回路
１０ 色差マトリクス回路
１１ カラーエンコーダ
１２ 彩度生成回路
１３ 彩度積算回路
１４ 画像信号積算回路
１５ ＣＰＵ
１６ バス回線
１７ 重み係数算出回路
Claims (14)
- 複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理装置において、
彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算する画像信号積算部と、
前記固体撮像素子の画素に配された前記色フィルタを通過する光量を、前記出力画像信号の種類毎に補正するために、前記出力画像信号の種類毎に与えられる補正定数に基づいて、前記固体撮像素子の画素より出力される画像信号を補正した補正画像信号を生成する透過光量補正部と、
前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記補正定数を前記出力画像信号の種類毎に設定して、前記透過光量補正部に送出する補正定数演算部と、
前記透過光量補正部より現在入力された補正画像信号と、該補正画像信号を出力する現画素の近隣に存在する複数の画素より出力された補正画像信号とを平滑化することによって、前記現画素の輝度信号を生成する第１輝度信号生成部と、
前記透過光量補正部から与えられる前記現画素の補正画像信号と、前記第１輝度信号生成部から与えられる前記現画素の輝度信号とによって、新たに前記現画素の輝度信号を生成する第２輝度信号生成部と、
を有することを特徴とする画像信号処理装置。 - 前記第２輝度信号生成部において、
前記現画素が前記低彩度領域を撮像している画素であるとき、前記透過光量補正部より与えられる前記補正画像信号を前記現画素の輝度信号とするとともに、
前記現画素が前記低彩度領域以外の領域を撮像している画素であるとき、前記第１輝度信号生成部より与えられる輝度信号を前記現画素の輝度信号とすることを特徴とする請求項１に記載の画像信号処理装置。 - 前記第２輝度信号生成部において、前記透過光量補正部より与えられる前記補正画像信号と前記第１輝度信号生成部より与えられる輝度信号とが、前記現画素の画像信号の彩度に基づいて重み付け加算された信号を、前記現画素の輝度信号とすることを特徴とする請求項１に記載の画像信号処理装置。
- 前記第２輝度信号生成部において輝度信号を生成する際、その画像信号の彩度が低いものほど、前記補正画像信号の割合を大きくした重み付け加算が施されることを特徴とする請求項３に記載の画像信号処理装置。
- 前記補正定数演算部において、
前記低彩度領域の前記出力画像信号の種類毎に積算された画像信号の信号レベルに前記補正定数を乗算した値が一定となるようにして、前記補正定数が求められることを特徴とする請求項１〜請求項４のいずれかに記載の画像信号処理装置。 - 前記透過光量補正部において、前記画像信号に前記補正定数を乗算することによって、前記補正画像信号を生成することを特徴とする請求項１〜請求項５のいずれかに記載の画像信号処理装置。
- 前記画像信号が再生された１フィールド分の画像において、複数の彩度算出領域を設けるとともに、
該彩度算出領域毎に、各彩度算出領域を構成する画像信号の彩度を積算する彩度積算部と、
この積算された彩度によって、その彩度算出領域が彩度の低い低彩度領域であるか否か判定する彩度判定部と、
を有することを特徴とする請求項１〜請求項６のいずれかに記載の画像信号処理装置。 - 前記画像信号より色信号を生成する色信号生成部を有し、該色信号生成部内において生成される色差信号より画像信号の彩度が求められることを特徴とする請求項１〜請求項７のいずれかに記載の画像信号処理装置。
- 複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理方法において、
彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算し、
前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記低彩度領域を撮像している前記固体撮像素子の画素に配された前記色フィルタを通過する光量を補正するための補正定数を求め、
前記低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号に前記補正定数を乗算して、補正画像信号を生成し、
該補正画像信号を、前記低彩度領域を撮像している前記固体撮像素子の画素における輝度信号とすることを特徴とする画像信号処理方法。 - 隣接する複数の画素毎に画像信号が平滑化された平滑画像信号を、前記低彩度領域以外の領域を撮像している前記固体撮像素子の画素より出力される画像信号における輝度信号とすることを特徴とする請求項９に記載の画像信号処理方法。
- 複数種類の色フィルタが画素毎に配置された固体撮像素子より出力される画像信号より輝度信号を生成する画像信号処理方法において、
彩度の低い低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号の信号レベルを、前記画素に設けられた色フィルタの配列に基づき、予め決定された複数種類の出力画像信号の種類毎に積算し、
前記出力画像信号の種類毎に積算された画像信号の信号レベルに基づいて、前記低彩度領域を撮像している前記固体撮像素子の画素に配された前記色フィルタを通過する光量を補正するための補正定数を求め、
前記低彩度領域を撮像している前記固体撮像素子の画素より出力される画像信号に前記補正定数を乗算して、補正画像信号を生成し、
該補正画像信号と隣接する複数の画素毎に画像信号が平滑化された平滑画像信号とを、画像信号の彩度に基づいて重み付け加算した信号を、その画像信号の輝度信号とすることを特徴とする画像信号処理方法。 - 前記輝度信号を生成する際、その画像信号の彩度が低いものほど、前記平滑画像信号に比べて前記補正画像信号の割合を大きくした重み付け加算が施されることを特徴とする請求項１１に記載の画像信号処理方法。
- 前記低彩度領域の前記出力画像信号の種類毎に積算された画像信号の信号レベルに前記補正定数を乗算した値が一定となるようにして、前記補正定数が求められることを特徴とする請求項９〜請求項１２のいずれかに記載の画像信号処理方法。
- 前記画像信号が再生された１フィールド分の画像において、複数の彩度算出領域を設け、
該彩度算出領域毎に、各彩度算出領域を構成する画像信号より得られる彩度を積算し、
この積算された彩度によって、その彩度算出領域が彩度の低い低彩度領域であるか否か判定されることを特徴とする請求項９〜請求項１３のいずれかに記載の画像信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000141008A JP3649992B2 (ja) | 2000-05-12 | 2000-05-12 | 画像信号処理装置及び画像信号処理方法 |
| US09/851,427 US6826302B2 (en) | 2000-05-12 | 2001-05-09 | Luminance correction of colorless low saturation regions using correction constants calculated from color saturation values |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000141008A JP3649992B2 (ja) | 2000-05-12 | 2000-05-12 | 画像信号処理装置及び画像信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001320723A JP2001320723A (ja) | 2001-11-16 |
| JP3649992B2 true JP3649992B2 (ja) | 2005-05-18 |
Family
ID=18648194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000141008A Expired - Fee Related JP3649992B2 (ja) | 2000-05-12 | 2000-05-12 | 画像信号処理装置及び画像信号処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6826302B2 (ja) |
| JP (1) | JP3649992B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004048345A (ja) * | 2002-07-11 | 2004-02-12 | Niles Co Ltd | 撮像システム |
| EP1404116A1 (en) * | 2002-09-25 | 2004-03-31 | Dialog Semiconductor GmbH | Method for fast color saturation control |
| US7680357B2 (en) * | 2003-09-09 | 2010-03-16 | Fujifilm Corporation | Method and apparatus for detecting positions of center points of circular patterns |
| US20090278921A1 (en) * | 2008-05-12 | 2009-11-12 | Capso Vision, Inc. | Image Stabilization of Video Play Back |
| CN102301395B (zh) * | 2009-01-29 | 2014-08-06 | 日本电气株式会社 | 特征选择设备 |
| JP5867669B2 (ja) * | 2011-02-22 | 2016-02-24 | 富士ゼロックス株式会社 | 色処理装置および色処理プログラム |
| WO2022070227A1 (ja) * | 2020-09-29 | 2022-04-07 | 日本電気株式会社 | 設備診断システム、設備診断方法、及び、設備診断プログラムが格納された記録媒体 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2748442B2 (ja) | 1988-10-13 | 1998-05-06 | ソニー株式会社 | カラー映像信号の処理装置 |
| JPH05211653A (ja) | 1992-01-31 | 1993-08-20 | Sanyo Electric Co Ltd | ディジタルカメラ |
| US6690418B1 (en) * | 1995-12-26 | 2004-02-10 | Canon Kabushiki Kaisha | Image sensing apparatus image signal controller and method |
| US6400403B1 (en) * | 1996-07-03 | 2002-06-04 | Sony Corporation | Solid-state imaging device having improved resolution without generating a pseudo signal |
| JPH1023437A (ja) | 1996-07-03 | 1998-01-23 | Sony Corp | 固体撮像装置 |
| US6346999B1 (en) * | 1997-02-14 | 2002-02-12 | Canon Kabushiki Kaisha | Image pickup apparatus |
| JPH10341447A (ja) * | 1997-04-11 | 1998-12-22 | Fuji Photo Film Co Ltd | 画像信号処理装置 |
| JP3410638B2 (ja) | 1997-07-31 | 2003-05-26 | シャープ株式会社 | ビデオカメラシステム |
| JP4135197B2 (ja) | 1997-12-09 | 2008-08-20 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにカメラ |
| JPH11308634A (ja) | 1998-04-20 | 1999-11-05 | Ricoh Co Ltd | 白バランス制御装置 |
-
2000
- 2000-05-12 JP JP2000141008A patent/JP3649992B2/ja not_active Expired - Fee Related
-
2001
- 2001-05-09 US US09/851,427 patent/US6826302B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020015523A1 (en) | 2002-02-07 |
| JP2001320723A (ja) | 2001-11-16 |
| US6826302B2 (en) | 2004-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100657772B1 (ko) | 영상처리장치,영상처리방법과카메라 | |
| US7116358B1 (en) | Image processing circuit of image input device | |
| RU2556022C2 (ru) | Устройство формирования цветного изображения | |
| US7072509B2 (en) | Electronic image color plane reconstruction | |
| US8798398B2 (en) | Image processing apparatus | |
| EP1377072A1 (en) | Image processing device and image processing program | |
| JP3649992B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| CN101473659A (zh) | 摄像装置以及信号处理方法 | |
| JP2001119705A (ja) | カラー撮像装置 | |
| US6747698B2 (en) | Image interpolating device | |
| CN107528995A (zh) | 图像处理装置、图像处理方法 | |
| US7106341B2 (en) | Image interpolating device | |
| JP3576600B2 (ja) | カラー撮像装置 | |
| EP0817504A1 (en) | Solid-state color imaging apparatus | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP4334150B2 (ja) | 画像補間装置 | |
| JP3968480B2 (ja) | 相関値算出回路およびその算出方法 | |
| JP2920380B2 (ja) | 色信号処理装置 | |
| JP2744261B2 (ja) | 色信号処理装置 | |
| JP4334151B2 (ja) | 画像補間装置 | |
| US6373532B1 (en) | Method and apparatus for processing image data | |
| JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
| JP3588278B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2650062B2 (ja) | カラー撮像装置 | |
| JP4334152B2 (ja) | 画像補間装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |