JP3556447B2 - カラー固体撮像カメラシステム - Google Patents
カラー固体撮像カメラシステム Download PDFInfo
- Publication number
- JP3556447B2 JP3556447B2 JP30616197A JP30616197A JP3556447B2 JP 3556447 B2 JP3556447 B2 JP 3556447B2 JP 30616197 A JP30616197 A JP 30616197A JP 30616197 A JP30616197 A JP 30616197A JP 3556447 B2 JP3556447 B2 JP 3556447B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- codebook
- color
- signal
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体の撮像と、この撮像によって得られた画像情報に対して圧縮・伸長処理を施すカラー固体撮像カメラシステムに関するものである。
【０００２】
【従来の技術】
従来より、撮影した画像をデジタル画像圧縮信号として取得可能なカラー固体撮像カメラが知られている。このようなカラー固体撮像カメラは、例えば特開平７−１８４１２７号公報に開示されている。
【０００３】
図７は、このカラー固体撮像カメラの構成の概略とその信号処理とを示す説明図である。この図に示すように、従来のカラー固体撮像カメラは、カラー固体撮像素子５１，色分離処理部５３および符号化処理部５５を備えている。
【０００４】
このカラー固体撮像カメラにおいて、被写体の画像情報は、カラー固体撮像素子５１によって電気信号に変換される。そして、このカラー固体撮像素子５１の各画素からの出力が、時系列の電気信号である出力信号Ｓ５２として出力される。この出力信号Ｓ５２は、色分離処理部５３において色分離処理され、輝度信号および色差信号を含んだ出力信号Ｓ５４に変換される。このように、色分離処理とは、画像情報の信号を輝度信号と色差信号とに変換することである。
【０００５】
その後、これら輝度信号および色差信号を含んだ出力信号Ｓ５４は、符号化処理部５５において圧縮され、圧縮信号Ｓ５６として出力される。この圧縮によって、限られた伝送容量の伝送路によっても、画像情報の送受信が可能となる。これにより、この画像情報を、例えばテレビ会議等にも利用することができる。
【０００６】
また、上記公報の技術とは色分離処理と圧縮処理との順序が異なるカメラシステム（デジタルカメラと再生装置とからなるシステム）が特開平９−３７２０２号公報に開示されている。図８は、この公報におけるカメラシステムの構成の概略およびその信号処理とを示す説明図である。この図に示すように、このシステムは、デジタルカメラを構成するカラー固体撮像素子５１および符号化処理部６１と、再生装置を構成する復号化処理部６３，色分離処理部６５およびカラーモニタ６７を備えている。
【０００７】
そして、固体撮像素子５１で信号Ｓ５２に変換された画像情報は、色分離処理される前に、符号化処理部６１において圧縮処理され、圧縮信号Ｓ６２となる。その後、この圧縮信号Ｓ６２は、復合化処理部６３において伸長されて出力信号Ｓ６４として色分離処理部６５に出力される。そして、この出力信号Ｓ６４は、色分離処理部６５において色分離処理され、輝度信号および色差信号を含んだ信号Ｓ６６としてカラーモニタ６７に出力されるようになっている。従って、この従来技術では、デジタルカメラ（圧縮装置）を構成するカラー固体撮像素子５１および符号化処理部６１では色分離処理を行わないので、デジタルカメラの回路規模が小さくなっている。
【０００８】
以下に、一般的なカラー固体撮像カメラの色分離処理について、図７に示したカラー固体撮像カメラを例として説明する。
図９は、カラー固体撮像素子５１に備えられる補色フィルタ７１を示す説明図である。この図に示すように、補色フィルタ７１は、Ｍａ（マゼンタ）、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｇ（グリーン）の各色フィルタが所定の配列で配置されてなっており、被写体からの光が補色フィルタ７１を介してカラー固体撮像素子５１に入射するように、カラー固体撮像素子５１の前面に備えられている。
【０００９】
なお、カラー固体撮像素子５１は、例えば図１１に示すように、Ｗ（ホワイト）、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｇ（グリーン）の各フィルタが所定の配列で配置されてなる補色フィルタ７２を備えるようにしてもよい。
【００１０】
カラー固体撮像素子５１は、補色フィルタ７１あるいは補色フィルタ７２を介して被写体からの光を受光し、受光量に応じた信号Ｓ５２を出力するものであり、補色フィルタ７１・７２の各色フィルタに対応した複数の受光素子（画素）を備えている。上記受光素子からの出力は画像データとして色分離処理部５３に入力されるようになっている。なお、カラー固体撮像素子５１の各画素における画像データの読み出し方式は、用いる補色フィルタによって決定されるようになっている。
【００１１】
色分離処理部５３は、カラー固体撮像素子５１から出力された信号Ｓ５２に基づいて、輝度信号Ｙ，色差信号Ｕ・Ｖを生成する回路である。なお、輝度信号Ｙ，色差信号Ｕ・Ｖの生成原理については後述する。これら輝度信号Ｙ，色差信号Ｕ・Ｖは、符号化処理部５５に入力されるようになっている。
【００１２】
図１０は、カラー固体撮像素子５１の受光面を模式的に示したものであり、同図中のＭａ，Ｃｙ，ＹｅおよびＧは、それぞれ補色フィルタ７１のＭａ，Ｃｙ，ＹｅおよびＧの色フィルタを透過した光を受光する画素を示している。ここで、同図における左上隅の画素Ｍａの座標を（０，０）としたとき、この画素Ｍａから垂直方向にｐ、水平方向にｑの位置にある画素Ｘの座標を（ｐ，ｑ）とし、画素Ｘからの出力を、Ｘｐｑと行列で表すことにする。また、以下では、輝度信号Ｙおよび色差信号Ｕ・Ｖの生成は、カラー固体撮像素子５１の画素を縦８画素，横８画素のブロックを単位として行われることとする。
【００１３】
また、輝度信号Ｙ，色差信号Ｕ・Ｖは、隣接する４つの画素からの出力に基づいて得られる。そこで、輝度信号Ｙ，色差信号Ｕ・Ｖは、上記４画素の格子点から出力されるものと仮定する。そして、説明の便宜上、図１０で示す格子点のうち、一番左上の格子点（（ｐ，ｑ）＝（０，０）、（１，０）、（１，１）、（０，１）の画素で囲まれる点）の座標を（０，０）としたとき、この格子点から垂直方向にｉ、水平方向にｊの位置にある格子点の座標を（ｉ，ｊ）とし、この位置の格子点から出力される輝度信号Ｙ，色差信号Ｕ・Ｖを、それぞれ輝度信号Ｙｉｊ，色差信号Ｕｉｊ・Ｖｉｊと行列で表すことにする。
【００１４】
ここで、補色フィルタとして図９に示した補色フィルタ７１を用いた場合、カラー固体撮像素子５１の各画素のデータは、２ライン加算読み出し方式によって読み出される。従って、図１０に示すように、垂直方向の格子点は１行おきに存在することになる。一方、補色フィルタとして図１１で示した補色フィルタ７２を用いた場合、カラー固体撮像素子５１の各画素におけるデータは、全画素独立読み出し方式によって読み出されるので、図９で示した補色フィルタ７１を用いた場合とは異なり、図１２に示すように、垂直方向の格子点は各行に存在することになる。
【００１５】
上記の構成において、被写体からの光が補色フィルタの所定の色フィルタを透過し、カラー固体撮像素子５１に入射すると、カラー固体撮像素子５１において上記光を受光した受光素子は、受光量に応じた電気信号を色分離処理部５３に出力する。すると、色分離処理部５３は、以下のような原理に基づいて輝度信号Ｙ，色差信号Ｕ・Ｖを生成する。
【００１６】
図９に示す補色フィルタ７１を用いた場合、一般的に、Ｍａ，Ｃｙ，ＹｅおよびＧの各信号は、Ｒ，ＧおよびＢの各信号を用いて数１式で表される。
【００１７】
【数１】
【００１８】
また、輝度信号Ｙ，色差信号Ｃ１ ・Ｃ２ は、Ｍａ，Ｃｙ，ＹｅおよびＧの各信号を用いて数２式で表される。
【００１９】
【数２】
【００２０】
ここで、数２式の各右辺に数１式を代入すると数３式が得られる。
【００２１】
【数３】
【００２２】
この数３式から、Ｇ信号は、輝度信号Ｙ，色差信号Ｃ１ ・Ｃ２ を用いて数４式で表される。
【００２３】
【数４】
【００２４】
一方、色差信号Ｕ・Ｖは、輝度信号Ｙを用いて一般的に数５式で表される。
【００２５】
【数５】
【００２６】
従って、数３式および数５式から、数６式が導かれる。
【００２７】
【数６】
【００２８】
そして、数４式を数６式に代入すれば、数７式が得られる。
【００２９】
【数７】
【００３０】
最後に、数２式と数７式とから、数８式が得られる。
【００３１】
【数８】
【００３２】
従って、輝度信号Ｙ０１，色差信号Ｕ０１・Ｖ０１は、数９式で表される。
【００３３】
【数９】
【００３４】
この結果、格子点からの出力である輝度信号Ｙ０１、色差信号Ｕ０１・Ｖ０１は、数９式のように画素Ｍａ，Ｃｙ，ＹｅおよびＧからの出力に対して線形な関係となる。従って、輝度信号を表す行列Ｙｉｊ，色差信号を表す行列ＵｉｊおよびＶｉｊは、例えば行列ＥＹ ｉｊｐｑ，ＥＵ ｉｊｐｑ，ＥＶ ｉｊｐｑおよびＸｐｑを用いて数１０式で表される。ただし、ｉ＝０〜７，ｊ＝０〜７，ｐ＝０〜８，ｑ＝０〜８のいずれかの整数である。
【００３５】
【数１０】
【００３６】
一方、図１１に示す補色フィルタ７１を用いた場合、一般的に、Ｙ，ＢおよびＲの各信号は、Ｗ，Ｃｙ，ＹｅおよびＧの各信号を用いて、数１１式で表される。
【００３７】
【数１１】
【００３８】
ところで、図１１に示す補色フィルタ７１を用い、全画素読み出し方式を採用する場合においては、輝度信号Ｙは全ての格子点から出力されるが、Ｂ信号はｊが偶数である格子点、Ｒ信号はｊが奇数である格子点からしか出力されない。そこで、ｊが奇数である格子点においては、上記格子点の左隣の格子点（ｊが偶数である格子点）で算出されたＢ信号と同じ信号が出力されるものと考える。つまり、Ｂ（ｉ，ｊ＝２ｍ＋１）＝Ｂ（ｉ，ｊ＝２ｍ）（ただし、ｍは整数）とする。同様に、ｊが偶数である格子点においては、上記格子点の左隣の格子点（ｊが奇数である格子点）で算出されたＲ信号と同じ信号が出力されるものと考える。つまり、Ｒ（ｉ，ｊ＝２ｎ）＝Ｒ（ｉ，ｊ＝２ｎ−１）（ただし、ｎは整数）とする。従って、例えばＹ０１，Ｂ０１およびＲ０１の各信号は、次の数１２式で表される。
【００３９】
【数１２】
【００４０】
従って、数５式、数１２式より、輝度信号Ｙ０１，色差信号Ｕ０１・Ｖ０１は、次の数１３式で表される。
【００４１】
【数１３】
【００４２】
従って、この場合も、格子点からの出力である輝度信号Ｙ０１，色差信号Ｕ０１・Ｖ０１は、数１３式のように画素Ｗ，Ｃｙ，ＹｅおよびＧからの各信号に対して線形な関係となるので、一般的に、格子点（ｉ，ｊ）からの出力である輝度信号Ｙｉｊ，色差信号Ｕｉｊ・Ｖｉｊは、同じく数１０式で表される。
【００４３】
ところで、上記のようなカラー固体撮像カメラやデジタルカメラ等の装置において用いられる画像圧縮・伸長の技術として、ベクトル量子化法が知られている。このベクトル量子化法については、「『画像情報圧縮』（テレビジョン学会編集，オーム社出版，１９９１）」に詳しい説明がなされている。
【００４４】
このベクトル量子化法を用いた圧縮装置では、圧縮にかかる画像情報は、縦にＭ画素，横にＮ画素，合計でＭ×Ｎ個の画素を１単位（ブロック）として、各ブロックが互いに重なり合わないように分けられる。そして、一つのブロックは、Ｍ×Ｎ個の成分のベクトル、すなわち、Ｍ×Ｎ次元空間のベクトル↑Ｘ（Ｘｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１）とみなされる。ここで、「↑」は、この「↑」の右側の記号がベクトルであることを示すものである。また、この↑Ｘ（Ｘｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１）とは、ベクトル↑ＸのＭ×Ｎ個の成分は、ｋを０〜Ｍ×Ｎ−１までの整数として、Ｘｋ で表わされるということを示す。なお、このベクトル↑Ｘは、上記したＸｐｑのように行列で表現することもできる。この場合は、ｋとｐおよびｑとは、ｋ＝Ｎｐ＋ｑという関係となる。
【００４５】
また、この圧縮装置には、コードブックベクトルと呼ばれる複数のＭ×Ｎ次元空間のベクトル↑Ｃ（ｓ） （Ｃ（ｓ） ｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１）があらかじめ用意されている。ここで、ｓは、このコードブックベクトル↑Ｃ（ｓ） を特定するためのコードブック番号と呼ばれる番号である。また、コードブックベクトル↑Ｃ（ｓ） の集合はコードブックと呼ばれる。そして、圧縮装置は、これらのコードブックベクトル↑Ｃ（ｓ） の中から、上記各ブロックを表すベクトル↑Ｘと最も類似しているコードブックベクトル↑Ｃ（Ｓ） を選択し、そのコードブック番号Ｓを、そのブロックに対応した圧縮符号として出力する。
【００４６】
一方、伸長装置は、圧縮装置と同様のコードブックベクトル↑Ｃ（ｓ） を備えている。そして、圧縮装置から送られてきたコードブック番号Ｓに基づいてコードブックベクトル↑Ｃ（Ｓ） を選択し、各ブロックを復号する。
【００４７】
また、上記したカラー固体撮像カメラやデジタルカメラ等の装置おける画像の圧縮・伸長の他の技術として、上記のベクトル量子化法を拡張した方法である、平均値分離正規化ベクトル量子化法と呼ばれる画像情報圧縮方法も知られている。この圧縮方法についても、「画像情報圧縮（テレビジョン学会編集，オーム社出版， １９９１）」に詳しい説明がなされている。
【００４８】
この方法を用いた圧縮装置では、ベクトル量子化法を用いた圧縮装置と同様に、圧縮にかかる画像情報は、Ｍ×Ｎ次元空間のベクトルで表現されるブロックに分けられる。そして、１つのブロックを表すベクトル↑Ｘの平均値ｍｅａｎが、下記の数１４式によって算出される。そして、数１５式によって、差分ベクトル↑Ｘ’ （Ｘ’ ｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１） が算出される。
【００４９】
【数１４】
【００５０】
【数１５】
【００５１】
一方、この圧縮装置も、上記したコードブックベクトル↑Ｃ（ｓ） を備えている。ここでは、コードブックベクトル↑Ｃ（ｓ） の総数を１０２４、すなわち、ｓ＝１〜１０２４とする。また、これらコードブックベクトル↑Ｃ（ｓ） は、大きさが１に規格化されているとする。つまり、全ての↑Ｃ（ｓ） は、下記の数１６式を満たす。
【００５２】
【数１６】
【００５３】
そして、この圧縮装置では、各ブロックの差分ベクトル↑Ｘ’ とこれらコードブックベクトル↑Ｃ（ｓ） との内積値Ｉ（ｓ） が、下記の数１７式によって算出される。そして、最も大きな内積値Ｉ（Ｓ） を与えるコードブックベクトル↑Ｃ（Ｓ） が、そのブロックを表すコードブックベクトルとなる。この最大の内積値Ｉ（Ｓ） を与えるコードブックベクトル↑Ｃ（Ｓ） のコードブック番号Ｓは、このブロックのｓｈａｐｅ と呼ばれる。また、この最大の内積値Ｉ（Ｓ） は、このブロックのｇａｉｎと呼ばれる。これらｍｅａｎ，ｓｈａｐｅ および ｇａｉｎ は、各ブロックの圧縮信号を構成する圧縮符号であり、圧縮装置の出力信号となる。
【００５４】
【数１７】
【００５５】
一方、デコーダ側、すなわち、伸長装置にも、圧縮装置と同様のコードブックベクトル↑Ｃ（ｓ） が備えられている。この伸長装置では、圧縮符号ｍｅａｎ，ｓｈａｐｅ および ｇａｉｎ が圧縮装置から入力されると、まず、これらコードブックベクトル↑Ｃ（ｓ） の中から、このｓｈａｐｅ に応じたコードブックベクトル↑Ｃ（Ｓ） が選択される。この↑Ｃ（Ｓ） と、残り２つの圧縮符号であるｍｅａｎおよび ｇａｉｎ とから、下記の数１８式を用いてベクトル↑Ｘ’’が生成される。このベクトル↑Ｘ’’は、圧縮前のベクトル↑Ｘに対応する、各ブロックを再構築するための伸長後のベクトルである。そして、画像情報の全てのブロックについてベクトル↑Ｘ’’が選択されると、画像情報の伸長が完了して、この画像情報が再構築される。
【００５６】
【数１８】
【００５７】
【発明が解決しようとする課題】
近年、携帯用のスチールカメラが普及し始めており、上記のようなカラー固体撮像カメラやデジタルカメラにおいても、持ち運びを便利にするために、より小型のものが求められている。しかしながら、図７に示した特開平７−１８４１２７号公報におけるカラー固体撮像カメラは、カラー固体撮像素子５１の出力信号を色分離処理して、輝度信号および色差信号に変換した後、これらの信号の圧縮を行う構成となっている。このため、色分離と圧縮とを行うための回路構成が必要となるので、カラー固体撮像カメラは、規模の大きな回路を備えなくてはならず、装置全体が大きくなってしまうという問題があると共に、その製造コストが高くなるという問題がある。
【００５８】
また、上記したように、特開平９−３７２０２号公報における従来技術では、デジタルカメラでは色分離処理を行わないことで、圧縮装置であるデジタルカメラの回路規模を小さくしている。しかしながら、伸長装置である再生装置では色分離処理を行う構成であるため、色分離回路が備えられることによる再生装置の大型化および製造コストのアップが問題となる。
【００５９】
本発明は、上記の問題を解決するためになされたもので、その目的は、色分離処理等の、画像情報の信号分離のための処理量を従来より減少させ、システム全体の回路規模を小さくし、製造コストの安価な小型のカラー固体撮像カメラシステムを提供することにある。
【００６０】
【課題を解決するための手段】
上記の目的を達成するために、本発明のカラー固体撮像カメラシステムは、撮像によって、色分離処理前の複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとして上記カラー画像情報を複数のブロックに分割し、各ブロックに含まれる画素信号を成分とするベクトルを作成し、この作成ベクトルを演算することによってカラー画像情報の圧縮を行うカラー固体撮像カメラシステムであって、ベクトル量子化における複数のコードブックベクトルからなる１つのコードブックをあらかじめ記憶している第１の記憶手段と、上記カラー画像情報の各ブロックに含まれる画素信号を成分とするベクトルを作成し、上記第１の記憶手段に記憶されている１つのコードブックの中から、上記作成ベクトルに応じたコードブックベクトルを選択することによって、上記カラー画像情報の圧縮信号を得る符号化手段と、上記第１の記憶手段に記憶された１つのコードブックを色分離変換して得られた、複数の伸長コードブックがあらかじめ記憶されている第２の記憶手段と、上記符号化手段によって得られた圧縮信号に対応する伸長コードブックベクトルを、上記第２の記憶手段に記憶されている複数の伸長コードブックの中からそれぞれ選択することによって、上記カラー画像情報を再構築する復号化手段とを備えていることを特徴としている。
【００６１】
上記の構成によれば、カラー固体撮像カメラシステムは、ベクトル量子化によって取得したカラー画像情報の圧縮を行う。すなわち、複数の画素からの画素信号からなるカラー画像情報は、所定数の画素信号からなるブロックに分割され、各ブロックはベクトル化される。このベクトル化は、例えば、画素信号の出力値を成分として、各ブロックを上記した所定数の次元数をもつベクトルに変換すること等で行われる。そして、あらかじめ記憶されている複数のコードブックベクトルのなかから、各ブロックを表すベクトルに最も類似したベクトルを選択し、選択したコードブックベクトルを各ブロックに対応したベクトルとする。そして、カラー画像情報の全てのブロックについてコードブックベクトルを抽出し、各コードブックベクトルを特定する、通し番号等の情報を抽出すれば、このカラー画像情報の圧縮が完了する。すなわち、各ブロックに対応したコードブックベクトルを特定する情報の集合が、このカラー画像情報における圧縮された情報となる。ここで、コードブックベクトルとは、ブロックを表すベクトルと同じ次元の互いに異なる複数のベクトルであり、あらかじめ記憶媒体等に記憶されているものである。
【００６２】
そして、本発明のカラー固体撮像カメラシステムは、この圧縮されたカラー画像情報を伸長するために、記憶手段には、上記したコードブックベクトルのそれぞれに対応した、複数種の伸長コードブックベクトルがあらかじめ記憶されている。すなわち、ひとつのコードブックベクトルに、複数種の伸長コードブックベクトルが対応されて記憶されている。
【００６３】
復号化手段は、圧縮されたカラー画像情報であるコードブックベクトルを特定する情報から、各ブロックに対応したコードブックベクトルを特定する。そして、上記した記憶手段から、各コードブックベクトルに対応した複数の伸長コードブックベクトルを選択し、伸長コードブックベクトルの種類毎に一つの画像情報を復号する。従って、カラー画像情報を伸長すると、伸長コードブックベクトルの種類数の画像情報を得ることができる。
【００６４】
この複数種の伸長コードブックベクトルは、使用者が望むカラー画像情報の種類によって決定されるものである。例えば、一つのカラー画像情報を、色分離した状態で伸長したい場合には、伸長コードブックベクトルとして、各コードブックベクトルを色分離処理し、輝度成分と色差成分とに分離して、それぞれの成分を、このコードブックベクトルに対応した伸長コードブックベクトルとすればよい。
【００６５】
従って、カラー画像情報を伸長した後に行う信号分離処理、例えば色分離処理等を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして記憶手段に記憶しておけば、信号分離のための処理回路を設ける必要がない。これにより、本発明のカラー固体撮像カメラシステムは、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能なカラー固体撮像カメラシステムとなっている。
【００６７】
また、上記の構成によれば、記憶手段に記憶される伸長コードブックベクトルは、コードブックベクトルに色分離処理（色分離変換）を施して得られるベクトル、すなわち、コードブックベクトルの輝度成分と色差成分とからなるものである。従って、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号である。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を設ける必要がない。これにより、回路規模の増大および製造コストアップを招来することなく、色分離を行うことが可能となる。
【００６８】
また、上記のカラー固体撮像カメラシステムでは、上記第２の記憶手段に記憶されている複数の伸長コードブックは、輝度信号を生成するための輝度コードブックベクトルを含むコードブックと、色差信号を生成するための色差コードブックベクトルを含むコードブックとからなると共に、上記輝度および色差コードブックベクトルは、上記第１の記憶手段に記憶されているコードブックを構成するコードブックベクトルと同次元であり、上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記第１の記憶手段におけるコードブックベクトルを上記色分離変換して得られるものである一方、他の成分は０であることが好ましい。
【００６９】
上記の構成は、色分離処理を適切に行うための構成である。この構成では、伸長コードブックベクトルは、復号化手段が記憶手段から選択したコードブックベクトルから輝度信号と色差信号とを生成するための、輝度コードブックベクトルと色差コードブックベクトルとからなっている。そして、これら輝度および色差コードブックベクトルはコードブックベクトルと同次元であり、このコードブックベクトルを用いてあらかじめ作成される。
【００７０】
この作成において、例えば、１種類の輝度コードブックベクトルと２種類の色差コードブックベクトルとを作成する場合、これらの全ての成分数は、コードブックベクトルの成分数の３倍となる。従って、輝度および色差コードブックベクトルの独立した全成分を、ひとつのコードブックベクトルから作成することはできない。
【００７１】
そこで、上記の構成では、輝度および色差コードブックベクトルを作成する際、まず、これら輝度および色差コードブックベクトルの空間周波数成分を作成する。この際、この空間周波数成分の所定の成分だけを、コードブックベクトルに線形変換等を施すことで作成し、残りの成分を０として作成する。ここで、この所定の成分の数は、コードブックベクトルの成分数と同数である。そして、得られた空間周波数成分を実空間に変換して、輝度および色差コードブックベクトルを作成する。
【００７２】
このようにすれば、ひとつのコードブックベクトルから、複数種類の伸長コードブックベクトル、すなわち、輝度および色差コードブックベクトルを作成することが可能となる。これにより、１つのブロックに入力した画素信号から、この画素信号の数と同数ずつの輝度信号および色差信号を取得することができる。従って、コードブックベクトルに対応した輝度コードブックベクトルと色差コードブックベクトルとから、色分離処理を施した画像情報を適切に取得することができる。これにより、撮像によって得られた画像情報を輝度信号および色差信号に分離するための回路を設ける必要がないので、回路規模の増大および製造コストアップを招来することなく、ベクトル量子化における圧縮・伸長と同時に色分離とを行うことが可能となる。
【００７３】
なお、空間周波数成分における０とする成分として、人間の視覚では感知しにくい成分を選択することが好ましい。例えば、人間にとっては、カラー画像情報の高周波の成分は低周波の成分よりも認識しにくく、また、色差信号におけるＡＣ成分は、輝度信号のＡＣ成分よりも認識しにくいものである。従って、この０とする成分として、例えば、色差信号の全てのＡＣ成分と、輝度信号の高周波のＡＣ成分とを選択することで、復号化手段によって再現されるカラー画像情報の品質を高くすることができる。
【００７４】
また、本発明の他のカラー固体撮像カメラシステムは、上記符号化手段は、上記作成ベクトルを第１の部分と第２の部分とに分離し、上記第１の部分を、上記第１の記憶手段に記憶されているコードブックを用いて圧縮した第２の圧縮信号として出力し、上記第２の部分を、上記第１の記憶手段に記憶されているコードブックを用いずに圧縮した第１の圧縮信号として出力する一方、上記復号化手段は、上記第１および第２の圧縮信号に基づいて、上記カラー画像情報を再構築することを特徴としている。
【００７５】
上記の構成によれば、複数の画素からの画素信号からなるカラー画像情報は、所定数の画素信号からなるブロックに分割され、各ブロックはベクトル化される。このベクトル化は、例えば、画素信号の出力値を成分として、各ブロックを上記した所定数の次元数をもつベクトルに変換すること等で行われる。
【００７６】
符号化手段は、各ブロックに対応したベクトルをコードブックを用いて圧縮する第１の部分とコードブックを用いずに圧縮する第２の部分とに分離する。そして、符号化手段は、第２の部分を、各ブロックに対応した第１の圧縮信号として復号化手段に出力する。また、第１の記憶手段は、複数のコードブックベクトルをあらかじめ記憶している。この複数のコードブックベクトルとは、各ブロックに対応したベクトルの第１の部分と等しい次元数をもつ、互いに異なる複数のベクトルである。
【００７７】
符号化手段は、これらコードブックベクトルの中から、上記第１の部分に対応したものを選択する。この選択は、例えば、第１の部分と最も類似したものを選択すること等、使用者の所望の方法で行われる。そして、復号化のために必要な、選択したコードブックベクトルを特定するための情報を含んだ情報を、第２の圧縮信号として復号化手段に出力する。
【００７８】
第２の記憶手段には、コードブックベクトルのそれぞれに対応した複数種あるいは単数種の伸長コードブックベクトルがあらかじめ記憶されている。この伸長コードブックベクトルは、各ブロックの第１の部分を復号するためのものである。
【００７９】
復号化手段は、圧縮されたカラー画像情報であるコードブックベクトルを特定する情報から、各ブロックのベクトルにおける第１の部分に対応したコードブックベクトルを特定する。そして、上記した第２の記憶手段から、各コードブックベクトルに対応した伸長コードブックベクトルを選択し、伸長コードブックベクトルの種類毎に一つの画像情報を復号する。従って、上記第１の部分に対応する画像として、伸長コードブックベクトルの種類数の画像情報を得ることができる。
【００８０】
この伸長コードブックベクトルは、使用者が望むカラー画像情報の種類によって決定されるものである。例えば、一つのカラー画像情報を、色分離した状態で伸長したい場合には、伸長コードブックベクトルとして、各コードブックベクトルを色分離処理し、輝度成分と色差成分とに分離して、それぞれの成分をこのコードブックベクトルに対応した２種の伸長コードブックベクトルとすればよい。この場合、第２の部分は、復号化手段によって画素信号が形成される前に色分離されている必要がある。
【００８１】
従って、カラー画像情報を伸長した後に行う信号分離処理（色分離処理）を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして第２の記憶手段に記憶しておけば、第１の部分の信号分離のための処理回路を設ける必要がない。これにより、本発明のカラー固体撮像カメラシステムでは、信号分離のための回路を、コードブックを用いずに圧縮する第２の部分のためだけに用意すればよい。従って、本発明のカラー固体撮像カメラシステムは、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能なカラー固体撮像カメラシステムとなっている。
【００８２】
また、上記のカラー固体撮像カメラシステムでは、上記第２の部分は、上記作成ベクトルを線形変換して得られる輝度信号および色差信号の空間周波数成分における所定の成分であり、上記第１の部分は、上記作成ベクトルから、上記第２の部分を実空間に変換したものを除いたものであるとともに、上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記コードブックベクトルを線形変換して得られるものである一方、他の成分は０であることが好ましい。
【００８３】
上記の構成は、色分離処理を適切に行うための構成である。上記したように、輝度および色差コードブックベクトルの独立した全成分を、ひとつのコードブックベクトルから作成することはできない。そこで、この構成でも、輝度および色差コードブックベクトルを作成する際、まず、これら輝度および色差コードブックベクトルの空間周波数成分を作成する。この際、この空間周波数成分の所定の成分だけを、コードブックベクトルに線形変換等を施すことで作成し、残りの成分を０として作成する。なお、この所定の成分数は、第２の成分として出力する１つのブロックに対応したベクトルの空間周波数成分の成分数との和が、１つのブロックにおける画素信号の数と等しくなるように決められる。
【００８４】
上記の構成では、第２の部分として圧縮・伸長を行わずに出力している輝度信号および色差信号の空間周波数成分が存在するので、輝度および色差コードブックベクトルの空間周波数成分における所定の成分数は、コードブックベクトルの成分数から第２の部分として出力した成分数を差し引いたものとなる。そして、得られた空間周波数成分を実空間に変換して、輝度および色差コードブックベクトルを作成する。このようにすれば、ひとつのコードブックベクトルから、第１の部分を伸長するための複数種類の伸長コードブックベクトル、すなわち、輝度および色差コードブックベクトルを作成することが可能となる。
【００８５】
復号化手段は、これら輝度および色差コードブックベクトルと、圧縮せずに出力した第２の部分を実空間に変換したものとから、画像情報の輝度信号および色差信号を作成する。そして、これらの各信号は、１つのブロックに入力した画素信号の数と同数である。これにより、第１の部分を輝度信号および色差信号に分離するための回路を設ける必要がないので、回路規模の増大および製造コストアップを招来することなく、ベクトル量子化における圧縮・伸長と同時に色分離とを行うことが可能となる。
【００８６】
さらに、第２の部分として出力した輝度信号および色差信号の空間周波数成分の所定の成分は、圧縮・伸長されないので、画像情報の全成分に圧縮・伸長処理を施す場合に比して、圧縮・伸長量が少なくすることができる。従って、再構築された画像における偽色の発生を少なくすることができる。
【００８７】
また、例えば、第２の部分として輝度信号および色差信号のＤＣ成分を選択し、第１の部分として輝度信号のＡＣ成分の一部を選択した場合、伸長コードブックベクトルは輝度コードブックベクトルのみになる。この場合には、認識されやすい輝度信号をより精密に再現することができるので、画像情報をより高品質にすることができる。
【００８８】
【発明の実施の形態】
〔実施の形態１〕
本発明の第１の実施の形態について以下に説明する。
図１は、本実施の形態にかかるカラー固体撮像カメラシステム（以下、本カメラシステムとする）の構成の概略を示すブロック図である。この図に示すように、本カメラシステムは、デジタルカメラを構成する補色フィルタ２，カラー固体撮像素子１および符号化処理部３と、再生装置を構成する復号化処理部５およびカラーモニタ７とを備えている。
【００８９】
カラー固体撮像素子１は、被写体を撮像して画像情報を取得するためのものであり、縦２８８画素，横３５２画素の画素を備えた撮像素子である。このカラー固体撮像素子１から出力される信号Ｓ２は、１画面あたり、カラー固体撮像素子１の画素数と同じ数の電気信号数、つまり２８８×３５２の信号数である。このカラー固体撮像素子１は、図１１に示したパターンを有する補色フィルタ２を備えている。この図に示すように、このパターンは、ホワイト（Ｗ），イエロー（Ｙｅ），シアン（Ｃｙ），グリーン（Ｇ）の４色の画素からなり、縦４画素，横４画素の合計１６画素の大きさである。カラー固体撮像素子１の補色フィルタ２は、このパターンが繰り返されて構成されている。
【００９０】
符号化処理部３は、カラー固体撮像素子１からの出力信号Ｓ２を、ベクトル量子化法によってデータ圧縮するものである。上記したように、補色フィルタ２のパターンの大きさが１６画素であることから、この符号化処理部３によるベクトル量子化法のためのブロック化は、１６画素を１単位として行われる。また、このブロック化は、隣接するブロック間で画素を共有しないように行われる。
【００９１】
また、１つのブロックは１６個の信号成分を有すると考えられることから、１つのブロックは１６次元のベクトルとみなすことができる。そこで、以下では、１つのブロックを表すベクトルを、ベクトル↑Ｘ（Ｘｋ ，ｋ＝０，１，２，…，１５）と表記する。
【００９２】
図２は、この符号化処理部３の構成の概略を示す説明図である。この図に示すように、符号化処理部３は、コードブック記憶部（第１の記憶手段）１１と、ベクトル量子化部（符号化手段）１２とから構成されている。コードブック記憶部１１は、複数の１６次元のコードブックベクトル↑Ｃ(s) （Ｃ(s) k ，ｋ＝０，１，２，…，１５）を記憶しておくためのものである。以下では、このコードブックベクトル↑Ｃ(s) の数を６４個とする、すなわち、ｓ＝０〜６３とする。また、ベクトル量子化部１２は、入力した信号Ｓ２を所定のブロックに分け、各ブロックに対応したベクトル↑Ｘを作成するものである。さらに、ベクトル量子化部１２は、コードブック記憶部１１に記憶されているコードブックベクトル↑Ｃ(s) の中から、各ベクトル↑Ｘに対応したコードブックベクトル↑Ｃ(s) をひとつずつ選択するものである。
【００９３】
以下に、このコードブックベクトル↑Ｃ（ｓ） の作り方について説明する。カラー固体撮像素子１によって様々な被写体が撮影され、それぞれの被写体に応じた画像信号Ｓ２が符号化処理部３に入力されると、ベクトル量子化部１２は、まず、これら画像信号Ｓ２をブロックに分解して、複数の１６次元のベクトル↑Ｘを作成する。例えば、１０００枚の被写体が撮影された場合、１枚につき７２×８８（２８８／４×３５２／４）個のブロックがあるので、７２×８８×１０００個のベクトル↑Ｘが得られることになる。
【００９４】
次に、これら複数のベクトル↑Ｘに対して、ＬＢＧアルゴリズムと呼ばれる方法によって、コードブックベクトル↑Ｃ（ｓ） に採用される代表ベクトルを算出する。この方法に関しては、「画像情報圧縮（テレビジョン学会編集，オーム社出版，１９９１），第１２７ 頁〜第１３０ 頁」に詳しい説明がなされているので、これを参照されたい。このＬＢＧアルゴリズム法は、「Ｙ．Ｌｉｎｄｅ， Ａ．Ｂｕｚｏ ａｎｄ Ｒ．Ｍ．Ｇｒａｙ ：『Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚｅｒ Ｄｅｓｉｇｎ 』，ＩＥＥＥ Ｔｒａｎｓ．， ＣＯＭ−２８， １， ｐｐ．８４−９５ （Ｊａｎ． １９８０）」という論文に明記されているアルゴリズムである。
【００９５】
図１に示す復号化処理部５は、上記した符号化処理部３から出力される信号Ｓ４を復号化するものである。図３は、この復号化処理部５の構成の概略を示す説明図である。この図に示すように、復号化処理部は、後述するコードブックベクトルを記憶するためのコードブック記憶部（第２の記憶手段）２１と、符号化処理部３から入力される信号Ｓ４に基づいて、コードブック記憶部２１から所定のコードブックベクトルを選択するベクトル復号化部（復号化手段）２２とを備えている。
【００９６】
このコードブック記憶部２１には、上記した符号化処理部３におけるコードブックベクトル↑Ｃ（ｓ） のそれぞれのコードブック番号ｓに応じて、輝度信号Ｙ，色差信号Ｕ・Ｖを出力するための３種類のコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） が記憶されている。すなわち、一つのコードブック番号ｓに対応して、輝度信号に対応した輝度コードブックベクトル↑Ｃｙ（ｓ） ，色差信号に対応した色差コードブックベクトル↑Ｃｕ（ｓ） ・↑Ｃｕ（ｓ） が記憶されている。これらコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） （伸長コードブックベクトル）のベクトル復号化部２２による作成について以下に説明する。
【００９８】
一般的に、自然界の光は様々な成分を含んでおり、その自由度は無限大である。しかし、このような光を補色フィルタ２のようなフィルタ部材を介して受光する場合、フィルタ部材の画素数（色フィルタの数）は有限であるので、カラー固体撮像素子１の各画素から出力される映像信号（画像情報）の数も有限となる。この場合の映像信号数は、フィルタ部材の画素数と同一である。従って、カラー固体撮像素子１は、無限大の自由度を持つ自然界の光を、有限個の信号で近似して表現していることになる。
【００９９】
仮想色分離法では、概念的に、補色フィルタ２に入射する光の自由度が、補色フィルタ２の画素数と同じ自由度であると仮定し、カラー固体撮像素子１から出力される画像情報が、補色フィルタ２に入射する光の自由度を落とすことなく表現されるものとする。
【０１００】
すなわち、符号化処理部３におけるベクトル量子化部１２で切り出された一つのブロックには、４×４＝１６個の信号があり、自由度は１６である。仮想色分離法では、これら１６個の信号は、補色フィルタ２に入射する光の自由度と同じであるとする。この場合、ひとつのブロックに入射しているはずの光の輝度信号Ｙおよび色差信号Ｕ・Ｖは、各々１６成分となり、合計で４８成分となる。しかしながら、独立した１６個の変数から、独立した４８個の変数を算出することはできないので、カラー固体撮像素子１の出力から、カラー固体撮像素子１に入射した光を輝度信号Ｙおよび色差信号Ｕ・Ｖとして完全に再現することは不可能である。
【０１０１】
そこで、仮想色分離法では、輝度信号Ｙおよび色差信号Ｕ・Ｖの４８個の空間周波数成分のうち、人間の視覚で感知しにくい３２個の成分を０と仮定する。すなわち、実空間における輝度信号Ｙおよび色差信号Ｕ・Ｖの４８個の成分は、１６個の独立した成分の組み合わせからなるとする。このように仮定することで、カラー固体撮像素子１の出力から、カラー固体撮像素子１に入射した輝度信号Ｙおよび色差信号Ｕ・Ｖを良好な状態で再現することができる。
【０１０２】
以下に、この仮想色分離法における信号処理を示す。
図１３は、輝度信号Ｙおよび色差信号Ｕ・Ｖにおける各１６個の空間周波数成分ＹｍｎおよびＵｍｎ・Ｖｍｎを、水平方向ｎ，垂直方向ｍとして平面に並べたものである。この図では、（０，０）成分をＤＣ成分とし、ｍ，ｎが大きくなるにつれて高周波の成分を位置させたものとなっている。このような輝度信号Ｙｍｎおよび色差信号Ｕｍｎ・Ｖｍｎを実空間の成分ＹｉｊおよびＵｉｊ・Ｖｉｊに変換するためには、下記の数１９式を用いた変換を行う。ここで、この式中のＦ−１ ｉｊｍｎは、下記の数２０式に示す、直交変換の一種である離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ；以下、ＤＣＴ変換と称する）の逆変換を施すための係数である。また、数１９式中のｉ，ｊは、輝度信号Ｙおよび色差信号Ｕ・Ｖにおける実空間の各成分を表すための添え字であり、ｉ＝０〜３、ｊ＝０〜３となる。
【０１０３】
【数１９】
【０１０４】
【数２０】
【０１０５】
また、実空間における輝度信号Ｙ，色差信号Ｕ・ＶとＲ，Ｇ，Ｂ信号との間には、下記の数２１式の関係がある。また、Ｒ，Ｇ，Ｂ信号と、補色フィルタ２に配列されている各色を示すＷ，Ｙｅ，Ｃｙ，Ｇ信号との間には、下記の数２２式の関係がある。
【０１０６】
【数２１】
【０１０７】
【数２２】
【０１０８】
ここで、数１９式、数２１式および数２２式はいずれも線形な関係で変換されているので、一つの線形変換Ｚｐｑｃｍｎ を用いて下記の数２３式で表すことができる。なお、この式において、ｐ，ｑは、１つのブロックにおける各画素の座標を表す添え字であり、ｐ＝０〜３、ｑ＝０〜３となる。また、右辺のＣｃｍｎ は、添字ｃ＝０のとき輝度信号Ｙｉｊの空間周波数成分Ｙｍｎを示し、添字ｃ＝１のとき色差信号Ｕｉｊの空間周波数成分Ｕｍｎを示し、添字ｃ＝２のとき色差信号Ｖｉｊの空間周波数成分Ｖｍｎを示す。
【０１０９】
【数２３】
【０１１０】
前述のように、実際には、数２３式におけるＣｃｍｎ は合計４８成分であり、この式の左辺であるＸｐｑは１６成分である。従って、この式の逆変換は、通常、行えない。そこで、仮想色分離法では、このＣｃｍｎ のうちの３２個の成分を０とし、これら０としたＣｃｍｎ の演算のためのＺｐｑｃｍｎ の成分も０とする。このようにすると、このＺｐｑｃｍｎ は正則行列とみなすことが可能となり、０とするＣｃｍｎ の成分の選択のしかたによって、逆行列をもつようにすることができる。
【０１１１】
例えば、本カメラシステムのように、図１１に示した補色フィルタ２の色配列の画素を、４×４のブロックに区切った場合では、Ｚｐｑｃｍｎ が逆行列をもつようにするためには、下記の数２４式のように０をとればよい。これは、輝度信号Ｙｍｎの（３，１）および（３，２）成分と、色差信号Ｕｍｎ・Ｖｍｎの全てのＡＣ成分（１５成分ずつ）とを０としたことになる。この場合、Ｚｐｑｃｍｎ は逆行列をもつようになり、数２３式の逆変換が存在する。そして、この逆行列をＷｃｍｎｐｑ とすれば、数２３式の逆変換は下記の数２５式となる。そして、得られた輝度信号Ｙｍｎと色差信号Ｕｍｎ・Ｖｍｎとに、数２０式に示した変換の逆変換を施せば、輝度信号Ｙおよび色差信号Ｕ・Ｖからなる各１６成分の色分離された信号を得ることができる。従って、カラー固体撮像素子１の、Ｗ，Ｙｅ，ＣｙおよびＧの１６成分の出力から、輝度信号Ｙおよび色差信号Ｕ・Ｖからなる各１６成分の色分離された信号を得るには、下記の数２６式を用いればよい。
【０１１２】
【数２４】
【０１１３】
【数２５】
【０１１４】
【数２６】
【０１１５】
ここで、色差信号Ｕ・ＶのＡＣ成分は、輝度信号ＹのＡＣ成分に比べて人間の視覚では感知しにくいものであり、また、輝度信号Ｙの（３，１）および（３，２）成分は、ＡＣ成分のなかでも高周波の成分であるので、これも、人間の目が捉えにくいものである。従って、数２４式のような仮定をしても、再現される映像の劣化は問題とならない。
【０１１６】
このように、仮想色分離法では、輝度信号Ｙおよび色差信号Ｕ・Ｖの空間周波数成分における一部の成分を０と仮定することで、カラー固体撮像素子１の出力から、輝度信号Ｙおよび色差信号Ｕ・Ｖを再生状態に影響なく再現することができる。
【０１１７】
本カメラシステムでは、このような仮想色分離法を用いて、コードブックベクトル↑Ｃ（ｓ） からコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） を作成する。すなわち、ベクトル復号化部２２は、ベクトル量子化部１２が作成したコードブックベクトル↑Ｃ（ｓ） を、下記の数２７式で変換することによって、輝度信号Ｙおよび色差信号Ｕ・Ｖを表すコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） を作成し、コードブック記憶部２１に記憶させる。この数２７式では、上記した数２６式のｉ，ｊを、ｋ＝４ｉ＋ｊとし、また、ｐ，ｑを、ｌ＝４ｐ＋ｑとして、それぞれひとつにまとめている。
【０１１８】
【数２７】
【０１１９】
以下に、本カメラシステムにおける画像情報の圧縮および復号処理の動作について説明する。
上記したように、カラー固体撮像素子１から符号化処理部３に出力される信号Ｓ２の信号数は、１画面あたり、カラー固体撮像素子１の画素数と同じ数の信号数、つまり２８８×３５２個の信号数である。符号化処理部３では、ベクトル量子化部１２が、この２８８×３５２個の信号を縦４信号，横４信号、合計１６信号のブロックに分ける。そして、ベクトル量子化部１２は、各ブロックを表すベクトル↑Ｘを取得し、これらベクトル↑Ｘと、コードブック記憶部１１に記憶されている全てのコードブックベクトル↑Ｃ（ｓ） との距離Ｄ（ｓ） を計算する。距離Ｄ（ｓ） の計算は、ベクトル↑Ｘとコードブックベクトル↑Ｃ（ｓ） との各成分のの２乗和に基づいて行われるもので、以下の数２８式が用いられる。
【０１２０】
【数２８】
【０１２１】
そして、コードブックベクトル↑Ｃ（ｓ） の中から、各ブロックのベクトル↑Ｘに対して最小の距離Ｄ（Ｓ） を算出するものを各ブロックのベクトル↑Ｘに対応したコードブックベクトル↑Ｃ（Ｓ） と判断し、その番号Ｓを、各ブロックの信号Ｓ４として復号化処理部５に出力する。そして、１画面分の信号をデータ圧縮処理するために、ベクトル量子化部１２は、７２×８８（＝２８８／４×３５２／４）個の全てのブロックに対して、コードブックベクトル↑Ｃ（Ｓ） の検索および信号Ｓ４の出力を繰り返す。
【０１２２】
次に、復号化処理部５での伸長処理（復号化）を説明する。復号化処理部５におけるベクトル復号化部２２は、コードブック記憶部２１に記憶されているコードブックベクトル↑Ｃｙ(s) ・↑Ｃｕ(s) ・↑Ｃｖ(s) の中から、符号化処理部３から入力された圧縮符号Ｓ４によって指定された、Ｓ番目のコードブックベクトル↑Ｃｙ(S) ・↑Ｃｕ(S) ・↑Ｃｖ(S) を選択し、下記の数２７式によって、各ブロックの輝度信号Ｙk ，色差信号Ｕk ・Ｖk を生成する。そして、１画面分の、７２×８８（＝２８８／４×３５２／４）個のブロックにおける輝度信号Ｙk ，色差信号Ｕk ・Ｖk を生成し、画像情報を再構築して再生信号Ｓ６としてカラーモニタ７に出力する。
【０１２３】
【数２９】
【０１２４】
以上のように、本カメラシステムでは、符号化処理部３のコードブック記憶部１１には、１つのブロックを圧縮するためのコードブックベクトル↑Ｃ（ｓ） が１種類記憶されている一方、復号化処理部５のコードブック記憶部２１には、一つのブロックを伸長するためのコードブックベクトルとして、輝度信号Ｙおよび色差信号Ｕ・Ｖに対応したコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） が記憶されている。
【０１２５】
そして、復号化処理部５のベクトル復号化部２２は、符号化処理部３のベクトル量子化部１２から一つのブロックを表すベクトル↑Ｘに対応したコードブックベクトル↑Ｃ（Ｓ） のコードブック番号Ｓが入力されると、この番号Ｓに基づいて、コードブック記憶部２１から、輝度信号Ｙおよび色差信号Ｕ・Ｖを表すコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） を選択してこのブロックを伸長する。
【０１２６】
従って、本カメラシステムでは、復号化処理部５においてベクトル量子化法における伸長を行うだけで、信号Ｓ４として圧縮されたベクトル↑Ｘの色分離処理も施されるようになっている。このため、カラー固体撮像素子１および符号化処理部３からなるデジタルカメラと、復号化処理部５およびカラーモニタ７からなる再生装置とのいずれにも、撮像によって得られた画像情報を輝度信号Ｙおよび色差信号Ｕ・Ｖに分離するための色分離回路を設ける必要がない。これにより、本カメラシステムは、回路規模が小さく製造コストの安価な小型のカラー固体撮像カメラシステムとなっている。
【０１２７】
また、従来の技術として、数１式〜数１３式を用いて示した色分離処理では、カラー固体撮像素子５１からの出力信号から輝度信号Ｙおよび色差信号Ｕ・Ｖを作成する際、ブロック内の隣接４画素を加算・減算して輝度信号Ｙおよび色差信号Ｕ・Ｖを作成するので、ブロックの境界における輝度信号Ｙおよび色差信号Ｕ・Ｖの演算のために、隣接するブロック間で画素を共有しなければならなかった。すなわち、Ｎ×Ｍ画素のブロックから、（Ｎ−１）×（Ｍ−１）個の輝度信号Ｙおよび色差信号Ｕ・Ｖを演算するようになっていた。このため、各ブロックに対するベクトル量子化による圧縮・伸長処理と、色分離処理とを同時に行うことができなかった。
【０１２８】
しかしながら、本カメラシステムでは、隣接するブロック間で画素を共有しないようにブロック化を行い、さらに、コードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） の作成のために仮想色分離法を用いて、コードブックベクトル↑Ｃ（ｓ） の成分の数と、コードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） における各々の成分の数とを同数としている。従って、ベクトル量子化による画像情報の圧縮・伸長処理と、色分離処理とを同時に行うことが可能となっている。
【０１２９】
なお、本実施の形態では、ベクトル復号化部２２におけるコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） の作成の際、数２４式のような仮定をしているが、Ｃｃｍｎ の０のとりかたはこの式のものに限ることはない。数２３式におけるＺｐｑｃｍｎ が逆行列をもち、さらに、復号化処理部５において伸長される画像情報が、圧縮される前の画像情報と視覚的に差異のないものとなれば、どのＣｃｍｎ を０と仮定してもかまわない。なお、数２４式に示した仮定は、１つのブロックを４×４とし、図１１に示した補色フィルタ２を用いた場合に有効なものである。
【０１３０】
また、１つのブロック４×４以外の画素数（信号数）を、例えば８×８等としてもよい。この場合にも、４×４の場合と同様に、数２３式に示したＺｐｑｃｍｎ が逆行列をもち、再生される映像の質がなるべく高くなるように空間周波数成分中の０とする成分を選択すれば、良好な画像情報を再現することが可能となる。
【０１３１】
また、空間周波数成分への変換のための式として、数２０式に示した離散コサイン変換を用いているが、実空間と周波数空間との変換であれば、どのような変換を用いてもかまわない。
【０１３２】
また、コードブック記憶部２１には、輝度信号Ｙおよび色差信号Ｕ・Ｖを表すコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） が記憶されているとしているが、本発明はこれに限るものではない。
【０１３３】
〔実施の形態２〕
本発明の第２の実施の形態について、以下に説明する。なお、上記実施の形態１に示した部材と同一の機能を有する部材には同一の符号を付し、その説明を省略する。
【０１３４】
図４は、本実施の形態にかかるカラー固体撮像カメラシステム（以下、本カメラシステムとする）の構成を示す説明図である。この図に示すように、本カメラシステムは、図１に示したカメラシステムの構成において、符号化処理部３に代えて符号化処理部３１を、また、復号化処理部５に代えて復号化処理部３２を備えた構成である。
【０１３５】
図５は、符号化処理部３１の構成の概略を示す説明図である。この図に示すように、符号化処理部３１は、平均値分離部（符号化手段）３３と、コードブック記憶部（第１の記憶手段）３４と、ベクトル量子化部（符号化手段）３５とを備えている。
【０１３６】
平均値分離部３３は、カラー固体撮像素子１の出力信号を、縦４信号，横４信号の１６信号で構成されるブロックを１単位として分割し、各ブロックに対応するベクトル↑Ｘを取得するものである。そして、平均値分離部３３は、各ベクトル↑Ｘにおける平均値ｍｅａｎｙ，ｍｅａｎｕおよびｍｅａｎｖと、このベクトル↑Ｘの差分ベクトル↑Ｘ’ とを求め、信号Ｓ３６として復号化処理部３２に出力するものである。これら平均値ｍｅａｎｙ，ｍｅａｎｕおよびｍｅａｎｖと差分ベクトル↑Ｘ’ とについては後述する。
【０１３７】
コードブック記憶部３４は、６４個のベクトルの集合からなる差分コードブックベクトル↑Ｃ’（ｓ）（Ｃ’（ｓ）ｋ，ｓ＝０，１，…，６３、ｋ＝０，１，２，…，１５）を記憶しておくためのものである。この差分コードブックベクトル↑Ｃ’（ｓ）については後述する。ベクトル量子化部３５は、平均値分離部３３が算出した差分ベクトル↑Ｘ’ に基づいて、差分ベクトル↑Ｘ’ におけるｓｈａｐｅ およびｇａｉｎの値を算出し、これらの値を信号Ｓ３７およびＳ３８として復号化処理部３２に出力する機能を有している。これらｓｈａｐｅ およびｇａｉｎについては後述する。
【０１３８】
図６は、復号化処理部３２の構成を示すブロック図である。この図に示すように、復号化処理部３２は、ベクトル復号化部（復号化手段）４１と、コードブック記憶部（第２の記憶手段）４２とを備えている。
【０１３９】
ベクトル復号化部４１は、符号化処理部３１から出力された信号Ｓ３６〜Ｓ３８、すなわち、ｍｅａｎｙ，ｍｅａｎｕ，ｍｅａｎｖ，ｓｈａｐｅ およびｇａｉｎの５つの値に基づいて、各ブロックの輝度信号Ｙおよび色差信号Ｕ・Ｖを算出し、画像情報を復号化して、再生信号Ｓ６としてカラーモニタ７に出力するものである。
【０１４０】
コードブック記憶部４２は、６４個の１６次元のベクトルの集合からなるコードブックベクトル↑Ｃａｙ（ｓ） （Ｃａｙ（ｓ） ｋ ，ｓ＝０，１，…，６３、ｋ＝０，１，２，…，１５）を記憶しておくためのものである。このコードブックベクトル↑Ｃａｙ（ｓ） （伸長コードブックベクトル）については後述する。
【０１４１】
以下に、本カメラシステムにおける画像情報の平均値分離正規化ベクトル量子化法を用いた圧縮・伸長処理について説明する。実施の形態１に示したカラー固体撮像カメラシステムと同様に、本カメラシステムでは、上記した数１９式〜数２７式を用いて示した仮想色分離法により、伸長される画像情報が色分離されるようになっている。従って、画像情報における、輝度信号ＹのＡＣ成分（図１３に示した（３，１）および（３，２）成分以外）およびＤＣ成分と、色差信号Ｕ・ＶのＤＣ成分と以外の成分は、０であると仮定している。
【０１４２】
カラー固体撮像素子１は、被写体を撮像すると、この撮像した画像を信号Ｓ２として符号化処理部３１に出力する。この信号Ｓ２の信号数は、１画面あたり、カラー固体撮像素子１の画素数と同じ数の信号数、つまり２８８×３５２個の信号数である。
【０１４３】
符号化処理部３にこの信号Ｓ２が入力されると、平均値分離部３３は、２８８×３５２個の信号Ｓ２を、縦４信号，横４信号、合計１６信号のブロックに分ける。そして、平均値分離部３３は、各ブロックに対応したベクトル↑Ｘを取得する。そして、このベクトル↑Ｘから、平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ とを算出し、これを信号Ｓ３６として復号化処理部３２に出力する。
【０１４４】
この平均値分離部３３における、ベクトル↑Ｘの平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ との算出について説明する。平均値分離部３３は、↑Ｍｙ（Ｍｙｋ ｋ＝０，１，２，…，１５），↑Ｍｕ（Ｍｕｋ ，ｋ＝０，１，２，…，１５）および↑Ｍｖ（Ｍｖｋ ，ｋ＝０，１，２，…，１５）なる１６次元のベクトルをあらかじめ備えている。これら↑Ｍｙ，↑Ｍｕおよび↑Ｍｖは、以下の数３０式によって定義されているものである。この式におけるＷｃ，ｍ＝０，ｎ＝０，ｋ （ｃはｙ，ｕおよびｖ）は、上記した数２５式におけるＷｃｍｎｐｑ の添え字ｐ，ｑを、ｋ＝４ｐ＋ｑとしてひとつのｋ（ｋ＝０，１，２，…，１５）にまとめたものである。
【０１４５】
【数３０】
【０１４６】
そして、平均値分離部３３は、各ブロックに対応するベクトル↑Ｘの平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖを、下記の数３１式を用いて求め、信号Ｓ３６として復号化処理部３２に出力する。この数３１式に示すように、平均値分離部３３は、ベクトル↑Ｘとこれら↑Ｍｙ，↑Ｍｕおよび↑Ｍｖとの内積を求めることによって、平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖを求めている。このように、数３１式では、上記した数１４式と異なり、Ｘｋ とＭｙｋ ，Ｍｕｋ およびＭｖｋ との積の和を算出している。すなわち、これら平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖは、それぞれ輝度信号Ｙおよび色差信号Ｕ・Ｖの空間周波数成分におけるＤＣ成分となっている。
【０１４７】
【数３１】
【０１４８】
また、平均値分離部３３は、↑Ｖｙ（Ｖｙｋ ，ｋ＝０，１，２，…，１５），↑Ｖｕ（Ｖｕｋ ，ｋ＝０，１，２，…，１５）および↑Ｖｖ（Ｖｖｋ ，ｋ＝０，１，２，…，１５）なる１６次元のベクトルをあらかじめ備えている。これら↑Ｖｙ，↑Ｖｕおよび↑Ｖｖは、以下の数３２式によって定義されているものである。そして、平均値分離部３３は、各ブロックに対応するベクトル↑Ｘの差分ベクトル↑Ｘ’ を、下記の数３３式を用いて求める。
【０１４９】
【数３２】
【０１５０】
【数３３】
【０１５１】
このように、本カメラシステムでは、まず、上記の数１９式〜数２５式を用いて示した仮想色分離法によって、数３１式を用いてベクトル↑Ｘから輝度信号Ｙおよび色差信号Ｕ・Ｖの空間周波数成分におけるＤＣ成分を算出する。そして、数３２式に示した↑Ｖｙ，↑Ｖｕおよび↑Ｖｖによって、得られたＤＣ成分を実空間に変換してベクトル↑Ｘから差し引くことによって、差分ベクトル↑Ｘ’ を算出している。従って、この数３３式によって得られる差分ベクトル↑Ｘ’ は、仮想色分離法によって空間周波数成分に変換すると、輝度信号ＹのＡＣ成分における図１３に示した（３，１）および（３，２）成分以外の１３成分のみ値をもつようになる。
【０１５２】
また、上記した、平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ との算出は、以下のように表現することもできる。すなわち、仮想色分離法により変換された周波数空間において、輝度信号Ｙおよび色差信号Ｕ・ＶのそれぞれのＤＣ方向の正規直交基底ベクトルを↑Ｍｙ０ ，↑Ｍｕ０ および↑Ｍｖ０ とすると、ベクトル↑Ｘの輝度信号Ｙ，色差信号Ｕ・ＶのＤＣ成分の値は、以下の数３４式で与えられる。また、以下の数３５式とも表現することができる。これらの式中で、〔Ｗ〕は、上記した行列Ｗｃｍｎｋを、成分表記でなく行列表記としたものであり、ｔ 〔Ｗ〕は〔Ｗ〕の転値行列を表している。また、これらの式中で、（↑Ａ，↑Ｂ）のような表記は、↑Ａと↑Ｂとの内積を表す表記である。
【０１５３】
【数３４】
【０１５４】
【数３５】
【０１５５】
そして、このｔ 〔Ｗ〕↑Ｍｙ０ は、上記した↑Ｍｙに相当する。同様に、ｔ 〔Ｗ〕↑Ｍｕ０ は↑Ｍｕに、ｔ 〔Ｗ〕↑Ｍｖ０ は↑Ｍｖにそれぞれ相当する。従って、上記のｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖは、輝度信号Ｙおよび色差信号Ｕ・ＶのそれぞれのＤＣ成分であるということができる。同様に、↑Ｖｙ，↑Ｖｕおよび↑Ｖｖも、〔Ｗ〕−１↑Ｍｙ０ ，〔Ｗ〕−１↑Ｍｕ０ および〔Ｗ〕−１↑Ｍｖ０ と表現することができる。これらにより数３３式を書き換えると、以下の数３６式となる。
【０１５６】
【数３６】
【０１５７】
この式で得られた差分ベクトル↑Ｘ’ を〔Ｗ〕によって仮想色分離法により周波数空間に変換し、差分ベクトル↑Ｘ’ の輝度信号ＹのＤＣ成分を算出すると、以下の数３７式によって０となる。同様に、差分ベクトル↑Ｘ’ の色差信号Ｕ・ＶのＤＣ成分を算出すると０となる。従って、この差分ベクトル↑Ｘ’ は、仮想色分離法により周波数空間に変換されると、輝度信号ＹのＡＣ成分のみの値をもつことになる。
【０１５８】
【数３７】
【０１５９】
このように、平均値分離部３３が平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ とを算出した後、ベクトル量子化部３５は、この差分ベクトル↑Ｘ’ と、コードブック記憶部３４に記憶されている差分コードブックベクトル↑Ｃ’（ｓ）とから、ｓｈａｐｅ およびｇａｉｎを算出して、信号Ｓ３７および信号Ｓ３８として復号化処理部３２に出力する。
【０１６０】
次に、ベクトル量子化部３５におけるｓｈａｐｅ およびｇａｉｎの算出について説明する。まず、コードブック記憶部３４に記憶されている差分コードブックベクトル↑Ｃ’（ｓ）について説明する。
カラー固体撮像素子１によって様々な被写体が撮影された画像の信号Ｓ２が符号化処理部３１に入力されると、平均値分離部３３は、信号Ｓ２をブロックに分解して、複数の１６次元のベクトル↑Ｘを作成する。例えば、１０００枚の被写体が撮影された場合、７２×８８×１０００個のベクトル↑Ｘが得られる。
【０１６１】
その後、平均値分離部３３は、これらベクトル↑Ｘに対して、上記した↑Ｍｙ，↑Ｍｕ，↑Ｍｖ，↑Ｖｙ，↑Ｖｕおよび↑Ｖｖを用いて、上記数３１式および数３３式によって平均値分離して差分ベクトル↑Ｘ’ を作成する。その後、差分ベクトル↑Ｘ’ に規格化を行ってその大きさを１とし、規格化された差分ベクトル↑Ｘ’ に対して上記したＬＢＧアルゴリズム法によって代表ベクトルを作成する。この代表ベクトルが、コードブック記憶部３４に記憶される差分コードブックベクトル↑Ｃ’（ｓ）となる。
【０１６２】
ベクトル量子化部３５は、上記した差分コードブックベクトル↑Ｃ’（ｓ）と、平均値分離部３３によって求められた各ブロックの差分ベクトル↑Ｘ’ との内積を、下記の数３８式を用いて計算する。そして、各ブロックの差分ベクトル↑Ｘ’ との内積値が最大となる差分コードブックベクトル↑Ｃ’（Ｓ）の番号が、このブロックのｓｈａｐｅ ，この最大の内積値がｇａｉｎとなる。
【０１６３】
【数３８】
【０１６４】
上記したように、符号化処理部３１における平均値分離部３３からの信号Ｓ３６が、同じくベクトル量子化部３５からの信号Ｓ３７・３８が出力されると、これら信号Ｓ３６〜Ｓ３８は、復号化処理部３２におけるベクトル復号化部４１に入力される。ベクトル復号化部４１は、これら信号Ｓ３６〜３８に基づいて、輝度信号Ｙおよび色差信号Ｕ・Ｖを復号化する。以下に、復号化処理部３２における輝度信号Ｙおよび色差信号Ｕ・Ｖの復号化について説明する。
【０１６５】
復号化処理部３２のベクトル復号化部４１は、↑Ｃｙ（Ｃｙｋ ，ｋ＝０，１，２，…，１５），↑Ｃｕ（Ｃｕｋ ，ｋ＝０，１，２，…，１５）および↑Ｃｖ（Ｃｖｋ ，ｋ＝０，１，２，…，１５）なる１６次元のベクトルをあらかじめ備えている。これら↑Ｃｙ，↑Ｃｕおよび↑Ｃｖは、以下の数３９式によって定義されているものである。この数３９式に示すように、これら↑Ｃｙ，↑Ｃｕおよび↑Ｃｖの成分は、全て０．１２５となっている。そして、復号化処理部３２は、まず、これらのうちの↑Ｃｕおよび↑Ｃｖを用いて以下の数４０式によって算出する。数４０式では、色差信号Ｕ・Ｖを、ブロックの画素毎の出力を成分とするベクトルで表記している。
【０１６６】
【数３９】
【０１６７】
【数４０】
【０１６８】
次に、ベクトル復号化部４１は、コードブック記憶部４２に記憶されているコードブックベクトル↑Ｃａｙ（ｓ） から、ｓ＝ｓｈａｐｅ 番目のコードブックベクトル↑Ｃａｙ（Ｓ） を選択する。このコードブックベクトル↑Ｃａｙ（ｓ） は、差分コードブックベクトル↑Ｃ’（ｓ）を用いて、下記の数４１式によってあらかじめ作成され、コードブック記憶部４２に記憶されているものである。
【０１６９】
この式で、Ｗｙｍｎｌは、数２５式に示したＷｃｍｎｐｑ におけるｐ，ｑを、ｌ＝４ｐ＋ｑとして１つのｌにまとめ、ｃ＝ｙとしたものである。また、Ｆ−１ ｋｍｎ は、数２０式に示した離散コサイン変換行列Ｆｍｎｉｊの逆行列Ｆ−１ ｉｊｍｎにおけるｉ，ｊを、ｋ＝４ｉ＋ｊとして１つにまとめたものである。また、この式では、ｍ，ｎについては、輝度信号ＹのＡＣ成分のみの和をとる。従って、このコードブックベクトル↑Ｃａｙ（ｓ） は、仮想色分離法によって得られる輝度信号ＹのＡＣ成分のみ復号化するためのコードブックベクトルである。
【０１７０】
ベクトル復号化部４１は、コードブックベクトル↑Ｃａｙ（Ｓ） ，ｍｅａｎｙおよびｇａｉｎを用いて、下記の数４２式によって輝度信号Ｙを算出する。数４２式では、輝度信号Ｙを数４０式における色差信号Ｕ・Ｖと同様にベクトルで表記している。
【０１７１】
【数４１】
【０１７２】
【数４２】
【０１７３】
ベクトル復号化部４１は、上記した輝度信号Ｙおよび色差信号Ｕ・Ｖの伸長を、１つの画像情報を構成する７２×８８（＝２８８／４×３５２／４）個の全ブロックについて行って画像情報を再構築し、再生信号Ｓ６として、カラーモニタ７に出力する。
【０１７４】
以上のように、本カメラシステムでは、平均値分離部３３が、数３３式に示したように、ベクトル↑Ｘから輝度信号Ｙおよび色差信号Ｕ・Ｖの平均値、すなわち、ＤＣ成分を分離して差分ベクトル↑Ｘ’ を生成している。従って、差分ベクトル↑Ｘ’ は、仮想色分離法により周波数空間に変換されると、輝度信号ＹのＡＣ成分のみが値を持つようになっている。
【０１７５】
そして、ベクトル量子化部３５において、この差分ベクトル↑Ｘ’ のみにベクトル量子化による圧縮を施す一方、輝度信号Ｙおよび色差信号Ｕ・ＶのＤＣ成分成分は圧縮せずに、それぞれ復号化処理部３２に出力するようになっている。このために、ベクトル量子化によって生じる誤差は、輝度信号ＹのＡＣ成分にのみ生ずることになり、色差信号Ｕ・Ｖに、ベクトル量子化法による誤差が入ることはない。従って、輝度信号Ｙおよび色差信号Ｕ・Ｖの全成分に対して圧縮・伸長を行うよりも、偽色の少ない再生信号Ｓ６を得ることができる。
【０１７６】
なお、図１１に示すような補色フィルタ２を備えたカラー固体撮像素子１の出力信号Ｓ２に対して、ベクトル量子化法による圧縮・伸長を行った後に色分離処理を行った場合、この処理によって得られる輝度信号Ｙおよび色差信号Ｕ・Ｖは、圧縮・伸長を行わずに色分離処理を行って得られる信号とはずれたものになる。人間の視覚は輝度信号Ｙに敏感であるので、輝度信号Ｙは、色差信号Ｕ・Ｖよりも忠実に再現されることが望ましいが、この場合のずれは、輝度信号Ｙおよび色差信号Ｕ・Ｖともに一様に生じてしまう。
【０１７７】
そこで、本カメラシステムでは、輝度信号Ｙのずれをより少なくするために、圧縮処理を施す前に信号Ｓ２に平均値分離部３３による平均値分離、すなわち、色分離処理を行っている。これは、輝度信号Ｙと色差信号Ｕ・Ｖとに対して別々に圧縮処理を行っていることに相当する。さらに、ベクトル量子化部３５は、差分ベクトル↑Ｘ’ に対してベクトル量子化による圧縮を行い、ベクトル復号化部４１で伸長している。これは、輝度信号ＹのＡＣ成分に対する圧縮・伸長であり、これにより、輝度信号Ｙを、色差信号Ｕ・Ｖよりも少ない誤差で再現することが可能となっている。
【０１７８】
また、平均値分離部３３による平均値分離、すなわち、色分離処理は、輝度信号Ｙおよび色差信号Ｕ・ＶのＤＣ成分のみに行うことになる。従って、従来のカラー固体撮像カメラシステムのように、４画素加算・４画素差分による入力信号の色分離処理を行うよりも、色分離の処理量は減少している。従って、平均値分離部３３の回路規模を、従来の色分離回路よりも非常に小さくすることができる。これにより、本カメラシステムは、回路規模が小さく製造コストの安価な小型のカラー固体撮像カメラシステムとなっている。
【０１７９】
なお、平均値分離部３３による平均値分離の処理は、以下のように行うことも可能である。すなわち、ベクトル↑Ｘに対して〔Ｗ〕を作用させ、輝度信号Ｙおよび色差信号Ｕ・ＶのＤＣ成分を取得し、残りの成分に関してベクトル量子化による圧縮を行うようにする。これは、以下の数４３式および数４４式による処理となる。
【０１８０】
【数４３】
【０１８１】
【数４４】
【０１８２】
ここで、↑Ｘ’’は、周波数空間における輝度信号ＹのＡＣ成分のみの空間に限られたベクトルである。従って、この空間で正規化ベクトル量子化を行うことが可能である。しかし、アナログ回路で〔Ｗ〕↑Ｘの演算を行うことは、精度の面で困難であると考えられる。すなわち、〔Ｗ〕↑Ｘの演算は、他の演算に比べて精度よく行わなければならないからである。そこで、本実施の形態では、〔Ｗ〕による変換は、数４１式に記載のように、コードブック記憶部４２に記憶されているコードブックベクトル↑Ｃａｙ（ｓ） に含ませている。ベクトル復号化部４１における演算は、ソフトウエアでデジタル伸長が可能であるから、その精度を高くすることができる。ここで、↑Ｍｃおよび↑Ｖｃ（ｃはｙ，ｕおよびｖ）にも各１６成分ずつの〔Ｗ〕の係数が含まれているが、これら↑Ｍｃおよび↑Ｖｃを用いた演算には、高い精度は要求されるものではない。
【０１８３】
なお、本実施の形態では、カラー固体撮像素子１で得られた画像情報を、４×４のブロックに分けて、仮想色分離法による色分離処理を行っている。そして、ベクトル量子化による圧縮は、輝度信号ＹのＡＣ成分のみに行うようにしているが、本発明はこれに限るものではない。例えば、復号化処理部３２で伸長される画像を高品質にするためには、符号化処理部３１から圧縮せずに復号化処理部３２に出力する成分を増やせばよい。すなわち、上記した平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖに加えて、輝度信号ＹのＡＣ成分の一部を圧縮せずに復号化処理部３２に出力し、輝度信号Ｙの残りのＡＣ成分だけを圧縮して出力するようにすれば、圧縮・伸長による誤差をさらに少なくすることができる。
【０１８４】
また、１つのブロックを、例えば８×８等の画素数（信号数）としてもよい。この場合にも、実施の形態１に示した４×４の場合と同様に、数２３式に示したＺｐｑｃｍｎ が逆行列をもち、再生される映像の質がなるべく高くなるように空間周波数成分中の０とする成分を選択することが必要である。
【０１８５】
この場合、上記の０とする成分の選択によっては、ベクトル量子化によって圧縮・伸長される画像情報は、輝度信号ＹのＡＣ成分だけでなく、色差信号Ｕ・ＶのＡＣ成分を含むような場合も考えられる。このとき、圧縮・伸長処理が行われる信号は、輝度信号Ｙおよび色差信号Ｕ・ＶのＡＣ成分となる。
【０１８６】
このような場合には、復号化処理部３２におけるコードブック記憶部４２には、実施の形態１に示したコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） のように、各信号毎に、上記のコードブックベクトル↑Ｃａｙ（ｓ） に相当する伸長コードブックベクトルを記憶しておく必要がある。そして、ひとつの差分コードブックベクトル↑Ｃ’（ｓ）に、各信号のＡＣ成分を伸長するための複数種類の伸長コードブックベクトルが対応するようにすれば、復号化処理部３２における伸長の際に、色分離処理を適切に行うことが可能となる。この場合には、差分コードブックベクトル↑Ｃ’（ｓ）を仮想色分離法によって周波数空間に変換して得られる０でない成分の数と、全ての伸長コードブックベクトルを周波数変換により周波数空間に変換して得られる０でない成分の数とが等しくなる。
【０１８８】
なお、上記した仮想色分離法は、ベクトル量子化における伸長コードブックベクトルの作成のみに用いられるものではない。また、この方法による色分離処理は、以下のように行ってもよい。すなわち、撮像によって複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとしてこのカラー画像情報を複数のブロックに分割し、各ブロック毎にカラー画像情報を輝度信号と色差信号とに分離する色分離処理方法において、１つのブロックの画素信号の出力値を成分とするベクトルを線形変換して得られる成分を、このブロックの輝度信号および色差信号の空間周波数成分における所定の成分とする一方、これら空間周波数成分の他の成分は０として、これら輝度信号および色差信号の空間周波数成分を生成し、生成された輝度信号および色差信号の空間周波数成分をそれぞれ実空間に変換することによって、各ブロックにおける輝度信号および色差信号を生成するようにする。ここで、上記の所定の成分の数は、１つのブロックにおける画素信号数と同数である。
【０１８９】
また、本実施の形態では、画像情報における圧縮する成分として輝度信号のＡＣ成分を、圧縮しない成分として輝度および色差信号におけるＤＣ成分をそれぞれ選択しているが、これに限るものではない。圧縮しない成分としては、使用者の所望の画像情報における成分を選択することが可能であり、例えば、圧縮しなくても情報量があまり多くならない成分等を選択することができる。また、圧縮する成分も同様であり、例えば、圧縮しても画像情報の質があまり低下しない成分等を選択することができる。
【０１９０】
なお、実施の形態１および２に示したカラー固体撮像カメラシステムは、例えば圧縮後のデータを内蔵のメモリに記憶するデジタルカメラ、圧縮後のデータを表示するディスプレイを備えた携帯電子情報端末、あるいは、圧縮後のデータを有線または無線で本体（モニタ）側へ送信し、本体側でデータを伸張してディスプレイに表示する監視システムまたはテレビ会議等に使用するカメラに適用することができる。
【０１９１】
また、復号化処理部５および復号化処理部３２における全ての、あるいは一部の処理を行うためのプログラムを、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ ）等の記録媒体に記録し、このプログラムを読み込み可能な画像処理装置を復号化処理部５あるいは復号化処理部３２に代えて用いるようにしてもよい。
【０１９２】
また、符号化処理部３および符号化処理部３１の全ての、あるいは一部の処理を行うためのプログラムを、ＣＤ−ＲＯＭやＦＤ等の記録媒体に記録し、このプログラムを読み込み可能なデジタルカメラを符号化処理部３あるいは符号化処理部３１に代えて用いるようにしてもよい。
【０１９３】
【発明の効果】
以上のように、本発明のカラー固体撮像カメラシステムは、 撮像によって、色分離処理前の複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとして上記カラー画像情報を複数のブロックに分割し、各ブロックに含まれる画素信号を成分とするベクトルを作成し、この作成ベクトルを演算することによってカラー画像情報の圧縮を行うカラー固体撮像カメラシステムであって、ベクトル量子化における複数のコードブックベクトルからなる１つのコードブックをあらかじめ記憶している第１の記憶手段と、上記カラー画像情報の各ブロックに含まれる画素信号を成分とするベクトルを作成し、上記第１の記憶手段に記憶されている１つのコードブックの中から、上記作成ベクトルに応じたコードブックベクトルを選択することによって、上記カラー画像情報の圧縮信号を得る符号化手段と、上記第１の記憶手段に記憶された１つのコードブックを色分離変換して得られた、複数の伸長コードブックがあらかじめ記憶されている第２の記憶手段と、上記符号化手段によって得られた圧縮信号に対応する伸長コードブックベクトルを、上記第２の記憶手段に記憶されている複数の伸長コードブックの中からそれぞれ選択することによって、上記カラー画像情報を再構築する復号化手段とを備えている構成である。
【０１９４】
これにより、カラー画像情報を伸長した後に行う信号分離処理（色分離処理）を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして記憶手段に記憶しておけば、信号分離のための処理回路を設ける必要がない。従って、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能であるという効果を奏する。
【０１９６】
また、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号となる。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を設ける必要がない。従って、回路規模の増大および製造コストアップを招来することなく、色分離とベクトル量子化による圧縮・伸長処理とを同時に行うことが可能となるという効果を奏する。
【０１９７】
また、上記のカラー固体撮像カメラシステムでは、上記第２の記憶手段に記憶されている複数の伸長コードブックは、輝度信号を生成するための輝度コードブックベクトルを含むコードブックと、色差信号を生成するための色差コードブックベクトルを含むコードブックとからなると共に、上記輝度および色差コードブックベクトルは、上記第１の記憶手段に記憶されているコードブックを構成するコードブックベクトルと同次元であり、
上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記第１の記憶手段におけるコードブックベクトルを上記色分離変換して得られるものである一方、他の成分は０であることが好ましい。
【０１９８】
これにより、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号となる。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を設ける必要がない。従って、回路規模の増大および製造コストアップを招来することなく、色分離とベクトル量子化による圧縮・伸長処理とを同時に行うことが可能となるという効果を奏する。
【０１９９】
また、本発明の他のカラー固体撮像カメラシステムでは、上記符号化手段は、上記作成ベクトルを第１の部分と第２の部分とに分離し、上記第１の部分を、上記第１の記憶手段に記憶されているコードブックを用いて圧縮した第２の圧縮信号として出力し、上記第２の部分を、上記第１の記憶手段に記憶されているコードブックを用いずに圧縮した第１の圧縮信号として出力する一方、上記復号化手段は、上記第１および第２の圧縮信号に基づいて、上記カラー画像情報を再構築する構成である。
【０２００】
これにより、カラー画像情報を伸長した後に行う信号分離処理（色分離処理）を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして第２の記憶手段に記憶しておけば、第２の部分の信号分離のための処理回路を設ける必要がない。これにより、本発明のカラー固体撮像カメラシステムでは、信号分離のための回路を、コードブックを用いずに圧縮する第２の部分のためだけに用意すればよい。従って、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能であるという効果を奏する。
【０２０１】
また、上記のカラー固体撮像カメラシステムでは、上記第２の部分は、上記作成ベクトルを線形変換して得られる輝度信号および色差信号の空間周波数成分における所定の成分であり、上記第１の部分は、上記作成ベクトルから、上記第２の部分を実空間に変換したものを除いたものであるとともに、上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記コードブックベクトルを線形変換して得られるものである一方、他の成分は０であることが好ましい。
【０２０２】
これにより、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号となる。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を、コードブックを用いずに圧縮する第２の部分のためだけに設ければよい。従って、回路規模の増大および製造コストアップを招来することなく、色分離とベクトル量子化による圧縮・伸長処理とを同時に行うことが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかるカラー固体撮像カメラシステムの構成を示すブロック図である。
【図２】図１に示したカラー固体撮像カメラシステムにおける符号化処理部の構成を示すブロック図である。
【図３】図１に示したカラー固体撮像カメラシステムにおける復号化処理部の構成を示すブロック図である。
【図４】本発明の第２の実施の形態にかかるカラー固体撮像カメラシステムの構成の概略を示すブロック図である。
【図５】図４に示したカラー固体撮像カメラシステムにおける符号化処理部の構成を示すブロック図である。
【図６】図４に示したカラー固体撮像カメラシステムにおける復号化処理部の構成を示すブロック図である。
【図７】従来のカラー固体撮像カメラシステムの構成を示すブロック図である。
【図８】従来のカラー固体撮像カメラシステムの他の構成を示すブロック図である。
【図９】補色フィルタの構成例を示す説明図である。
【図１０】図７に示したカラー固体撮像カメラシステムにおいて、図９に示した補色フィルタを用いた場合のカラー固体撮像素子の画素を示す説明図である。
【図１１】補色フィルタの他の構成例を示す説明図である。
【図１２】図７に示したカラー固体撮像カメラシステムにおいて、図１１に示した補色フィルタを用いた場合のカラー固体撮像素子の画素を示す説明図である。
【図１３】輝度信号および色差信号の空間周波数成分を示す説明図である。
【符号の説明】
１ カラー固体撮像素子
２ 補色フィルタ
３ 符号化処理部
５ 復号化処理部
７ カラーモニタ
１１ コードブック記憶部（第１の記憶手段）
１２ ベクトル量子化部（符号化手段）
２１ コードブック記憶部（第２の記憶手段）
２２ ベクトル復号化部（復号化手段）
３１ 符号化処理部
３２ 復号化処理部
３３ 平均値分離部（符号化手段）
３４ コードブック記憶部（第１の記憶手段）
３５ ベクトル量子化部（符号化手段）
４１ ベクトル復号化部（復号化手段）
４２ コードブック記憶部（第２の記憶手段）
【発明の属する技術分野】
本発明は、被写体の撮像と、この撮像によって得られた画像情報に対して圧縮・伸長処理を施すカラー固体撮像カメラシステムに関するものである。
【０００２】
【従来の技術】
従来より、撮影した画像をデジタル画像圧縮信号として取得可能なカラー固体撮像カメラが知られている。このようなカラー固体撮像カメラは、例えば特開平７−１８４１２７号公報に開示されている。
【０００３】
図７は、このカラー固体撮像カメラの構成の概略とその信号処理とを示す説明図である。この図に示すように、従来のカラー固体撮像カメラは、カラー固体撮像素子５１，色分離処理部５３および符号化処理部５５を備えている。
【０００４】
このカラー固体撮像カメラにおいて、被写体の画像情報は、カラー固体撮像素子５１によって電気信号に変換される。そして、このカラー固体撮像素子５１の各画素からの出力が、時系列の電気信号である出力信号Ｓ５２として出力される。この出力信号Ｓ５２は、色分離処理部５３において色分離処理され、輝度信号および色差信号を含んだ出力信号Ｓ５４に変換される。このように、色分離処理とは、画像情報の信号を輝度信号と色差信号とに変換することである。
【０００５】
その後、これら輝度信号および色差信号を含んだ出力信号Ｓ５４は、符号化処理部５５において圧縮され、圧縮信号Ｓ５６として出力される。この圧縮によって、限られた伝送容量の伝送路によっても、画像情報の送受信が可能となる。これにより、この画像情報を、例えばテレビ会議等にも利用することができる。
【０００６】
また、上記公報の技術とは色分離処理と圧縮処理との順序が異なるカメラシステム（デジタルカメラと再生装置とからなるシステム）が特開平９−３７２０２号公報に開示されている。図８は、この公報におけるカメラシステムの構成の概略およびその信号処理とを示す説明図である。この図に示すように、このシステムは、デジタルカメラを構成するカラー固体撮像素子５１および符号化処理部６１と、再生装置を構成する復号化処理部６３，色分離処理部６５およびカラーモニタ６７を備えている。
【０００７】
そして、固体撮像素子５１で信号Ｓ５２に変換された画像情報は、色分離処理される前に、符号化処理部６１において圧縮処理され、圧縮信号Ｓ６２となる。その後、この圧縮信号Ｓ６２は、復合化処理部６３において伸長されて出力信号Ｓ６４として色分離処理部６５に出力される。そして、この出力信号Ｓ６４は、色分離処理部６５において色分離処理され、輝度信号および色差信号を含んだ信号Ｓ６６としてカラーモニタ６７に出力されるようになっている。従って、この従来技術では、デジタルカメラ（圧縮装置）を構成するカラー固体撮像素子５１および符号化処理部６１では色分離処理を行わないので、デジタルカメラの回路規模が小さくなっている。
【０００８】
以下に、一般的なカラー固体撮像カメラの色分離処理について、図７に示したカラー固体撮像カメラを例として説明する。
図９は、カラー固体撮像素子５１に備えられる補色フィルタ７１を示す説明図である。この図に示すように、補色フィルタ７１は、Ｍａ（マゼンタ）、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｇ（グリーン）の各色フィルタが所定の配列で配置されてなっており、被写体からの光が補色フィルタ７１を介してカラー固体撮像素子５１に入射するように、カラー固体撮像素子５１の前面に備えられている。
【０００９】
なお、カラー固体撮像素子５１は、例えば図１１に示すように、Ｗ（ホワイト）、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｇ（グリーン）の各フィルタが所定の配列で配置されてなる補色フィルタ７２を備えるようにしてもよい。
【００１０】
カラー固体撮像素子５１は、補色フィルタ７１あるいは補色フィルタ７２を介して被写体からの光を受光し、受光量に応じた信号Ｓ５２を出力するものであり、補色フィルタ７１・７２の各色フィルタに対応した複数の受光素子（画素）を備えている。上記受光素子からの出力は画像データとして色分離処理部５３に入力されるようになっている。なお、カラー固体撮像素子５１の各画素における画像データの読み出し方式は、用いる補色フィルタによって決定されるようになっている。
【００１１】
色分離処理部５３は、カラー固体撮像素子５１から出力された信号Ｓ５２に基づいて、輝度信号Ｙ，色差信号Ｕ・Ｖを生成する回路である。なお、輝度信号Ｙ，色差信号Ｕ・Ｖの生成原理については後述する。これら輝度信号Ｙ，色差信号Ｕ・Ｖは、符号化処理部５５に入力されるようになっている。
【００１２】
図１０は、カラー固体撮像素子５１の受光面を模式的に示したものであり、同図中のＭａ，Ｃｙ，ＹｅおよびＧは、それぞれ補色フィルタ７１のＭａ，Ｃｙ，ＹｅおよびＧの色フィルタを透過した光を受光する画素を示している。ここで、同図における左上隅の画素Ｍａの座標を（０，０）としたとき、この画素Ｍａから垂直方向にｐ、水平方向にｑの位置にある画素Ｘの座標を（ｐ，ｑ）とし、画素Ｘからの出力を、Ｘｐｑと行列で表すことにする。また、以下では、輝度信号Ｙおよび色差信号Ｕ・Ｖの生成は、カラー固体撮像素子５１の画素を縦８画素，横８画素のブロックを単位として行われることとする。
【００１３】
また、輝度信号Ｙ，色差信号Ｕ・Ｖは、隣接する４つの画素からの出力に基づいて得られる。そこで、輝度信号Ｙ，色差信号Ｕ・Ｖは、上記４画素の格子点から出力されるものと仮定する。そして、説明の便宜上、図１０で示す格子点のうち、一番左上の格子点（（ｐ，ｑ）＝（０，０）、（１，０）、（１，１）、（０，１）の画素で囲まれる点）の座標を（０，０）としたとき、この格子点から垂直方向にｉ、水平方向にｊの位置にある格子点の座標を（ｉ，ｊ）とし、この位置の格子点から出力される輝度信号Ｙ，色差信号Ｕ・Ｖを、それぞれ輝度信号Ｙｉｊ，色差信号Ｕｉｊ・Ｖｉｊと行列で表すことにする。
【００１４】
ここで、補色フィルタとして図９に示した補色フィルタ７１を用いた場合、カラー固体撮像素子５１の各画素のデータは、２ライン加算読み出し方式によって読み出される。従って、図１０に示すように、垂直方向の格子点は１行おきに存在することになる。一方、補色フィルタとして図１１で示した補色フィルタ７２を用いた場合、カラー固体撮像素子５１の各画素におけるデータは、全画素独立読み出し方式によって読み出されるので、図９で示した補色フィルタ７１を用いた場合とは異なり、図１２に示すように、垂直方向の格子点は各行に存在することになる。
【００１５】
上記の構成において、被写体からの光が補色フィルタの所定の色フィルタを透過し、カラー固体撮像素子５１に入射すると、カラー固体撮像素子５１において上記光を受光した受光素子は、受光量に応じた電気信号を色分離処理部５３に出力する。すると、色分離処理部５３は、以下のような原理に基づいて輝度信号Ｙ，色差信号Ｕ・Ｖを生成する。
【００１６】
図９に示す補色フィルタ７１を用いた場合、一般的に、Ｍａ，Ｃｙ，ＹｅおよびＧの各信号は、Ｒ，ＧおよびＢの各信号を用いて数１式で表される。
【００１７】
【数１】
また、輝度信号Ｙ，色差信号Ｃ１ ・Ｃ２ は、Ｍａ，Ｃｙ，ＹｅおよびＧの各信号を用いて数２式で表される。
【００１９】
【数２】
ここで、数２式の各右辺に数１式を代入すると数３式が得られる。
【００２１】
【数３】
この数３式から、Ｇ信号は、輝度信号Ｙ，色差信号Ｃ１ ・Ｃ２ を用いて数４式で表される。
【００２３】
【数４】
一方、色差信号Ｕ・Ｖは、輝度信号Ｙを用いて一般的に数５式で表される。
【００２５】
【数５】
従って、数３式および数５式から、数６式が導かれる。
【００２７】
【数６】
そして、数４式を数６式に代入すれば、数７式が得られる。
【００２９】
【数７】
最後に、数２式と数７式とから、数８式が得られる。
【００３１】
【数８】
従って、輝度信号Ｙ０１，色差信号Ｕ０１・Ｖ０１は、数９式で表される。
【００３３】
【数９】
この結果、格子点からの出力である輝度信号Ｙ０１、色差信号Ｕ０１・Ｖ０１は、数９式のように画素Ｍａ，Ｃｙ，ＹｅおよびＧからの出力に対して線形な関係となる。従って、輝度信号を表す行列Ｙｉｊ，色差信号を表す行列ＵｉｊおよびＶｉｊは、例えば行列ＥＹ ｉｊｐｑ，ＥＵ ｉｊｐｑ，ＥＶ ｉｊｐｑおよびＸｐｑを用いて数１０式で表される。ただし、ｉ＝０〜７，ｊ＝０〜７，ｐ＝０〜８，ｑ＝０〜８のいずれかの整数である。
【００３５】
【数１０】
一方、図１１に示す補色フィルタ７１を用いた場合、一般的に、Ｙ，ＢおよびＲの各信号は、Ｗ，Ｃｙ，ＹｅおよびＧの各信号を用いて、数１１式で表される。
【００３７】
【数１１】
ところで、図１１に示す補色フィルタ７１を用い、全画素読み出し方式を採用する場合においては、輝度信号Ｙは全ての格子点から出力されるが、Ｂ信号はｊが偶数である格子点、Ｒ信号はｊが奇数である格子点からしか出力されない。そこで、ｊが奇数である格子点においては、上記格子点の左隣の格子点（ｊが偶数である格子点）で算出されたＢ信号と同じ信号が出力されるものと考える。つまり、Ｂ（ｉ，ｊ＝２ｍ＋１）＝Ｂ（ｉ，ｊ＝２ｍ）（ただし、ｍは整数）とする。同様に、ｊが偶数である格子点においては、上記格子点の左隣の格子点（ｊが奇数である格子点）で算出されたＲ信号と同じ信号が出力されるものと考える。つまり、Ｒ（ｉ，ｊ＝２ｎ）＝Ｒ（ｉ，ｊ＝２ｎ−１）（ただし、ｎは整数）とする。従って、例えばＹ０１，Ｂ０１およびＲ０１の各信号は、次の数１２式で表される。
【００３９】
【数１２】
従って、数５式、数１２式より、輝度信号Ｙ０１，色差信号Ｕ０１・Ｖ０１は、次の数１３式で表される。
【００４１】
【数１３】
従って、この場合も、格子点からの出力である輝度信号Ｙ０１，色差信号Ｕ０１・Ｖ０１は、数１３式のように画素Ｗ，Ｃｙ，ＹｅおよびＧからの各信号に対して線形な関係となるので、一般的に、格子点（ｉ，ｊ）からの出力である輝度信号Ｙｉｊ，色差信号Ｕｉｊ・Ｖｉｊは、同じく数１０式で表される。
【００４３】
ところで、上記のようなカラー固体撮像カメラやデジタルカメラ等の装置において用いられる画像圧縮・伸長の技術として、ベクトル量子化法が知られている。このベクトル量子化法については、「『画像情報圧縮』（テレビジョン学会編集，オーム社出版，１９９１）」に詳しい説明がなされている。
【００４４】
このベクトル量子化法を用いた圧縮装置では、圧縮にかかる画像情報は、縦にＭ画素，横にＮ画素，合計でＭ×Ｎ個の画素を１単位（ブロック）として、各ブロックが互いに重なり合わないように分けられる。そして、一つのブロックは、Ｍ×Ｎ個の成分のベクトル、すなわち、Ｍ×Ｎ次元空間のベクトル↑Ｘ（Ｘｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１）とみなされる。ここで、「↑」は、この「↑」の右側の記号がベクトルであることを示すものである。また、この↑Ｘ（Ｘｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１）とは、ベクトル↑ＸのＭ×Ｎ個の成分は、ｋを０〜Ｍ×Ｎ−１までの整数として、Ｘｋ で表わされるということを示す。なお、このベクトル↑Ｘは、上記したＸｐｑのように行列で表現することもできる。この場合は、ｋとｐおよびｑとは、ｋ＝Ｎｐ＋ｑという関係となる。
【００４５】
また、この圧縮装置には、コードブックベクトルと呼ばれる複数のＭ×Ｎ次元空間のベクトル↑Ｃ（ｓ） （Ｃ（ｓ） ｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１）があらかじめ用意されている。ここで、ｓは、このコードブックベクトル↑Ｃ（ｓ） を特定するためのコードブック番号と呼ばれる番号である。また、コードブックベクトル↑Ｃ（ｓ） の集合はコードブックと呼ばれる。そして、圧縮装置は、これらのコードブックベクトル↑Ｃ（ｓ） の中から、上記各ブロックを表すベクトル↑Ｘと最も類似しているコードブックベクトル↑Ｃ（Ｓ） を選択し、そのコードブック番号Ｓを、そのブロックに対応した圧縮符号として出力する。
【００４６】
一方、伸長装置は、圧縮装置と同様のコードブックベクトル↑Ｃ（ｓ） を備えている。そして、圧縮装置から送られてきたコードブック番号Ｓに基づいてコードブックベクトル↑Ｃ（Ｓ） を選択し、各ブロックを復号する。
【００４７】
また、上記したカラー固体撮像カメラやデジタルカメラ等の装置おける画像の圧縮・伸長の他の技術として、上記のベクトル量子化法を拡張した方法である、平均値分離正規化ベクトル量子化法と呼ばれる画像情報圧縮方法も知られている。この圧縮方法についても、「画像情報圧縮（テレビジョン学会編集，オーム社出版， １９９１）」に詳しい説明がなされている。
【００４８】
この方法を用いた圧縮装置では、ベクトル量子化法を用いた圧縮装置と同様に、圧縮にかかる画像情報は、Ｍ×Ｎ次元空間のベクトルで表現されるブロックに分けられる。そして、１つのブロックを表すベクトル↑Ｘの平均値ｍｅａｎが、下記の数１４式によって算出される。そして、数１５式によって、差分ベクトル↑Ｘ’ （Ｘ’ ｋ ，ｋ＝０，１，２，…，Ｍ×Ｎ−１） が算出される。
【００４９】
【数１４】
【数１５】
一方、この圧縮装置も、上記したコードブックベクトル↑Ｃ（ｓ） を備えている。ここでは、コードブックベクトル↑Ｃ（ｓ） の総数を１０２４、すなわち、ｓ＝１〜１０２４とする。また、これらコードブックベクトル↑Ｃ（ｓ） は、大きさが１に規格化されているとする。つまり、全ての↑Ｃ（ｓ） は、下記の数１６式を満たす。
【００５２】
【数１６】
そして、この圧縮装置では、各ブロックの差分ベクトル↑Ｘ’ とこれらコードブックベクトル↑Ｃ（ｓ） との内積値Ｉ（ｓ） が、下記の数１７式によって算出される。そして、最も大きな内積値Ｉ（Ｓ） を与えるコードブックベクトル↑Ｃ（Ｓ） が、そのブロックを表すコードブックベクトルとなる。この最大の内積値Ｉ（Ｓ） を与えるコードブックベクトル↑Ｃ（Ｓ） のコードブック番号Ｓは、このブロックのｓｈａｐｅ と呼ばれる。また、この最大の内積値Ｉ（Ｓ） は、このブロックのｇａｉｎと呼ばれる。これらｍｅａｎ，ｓｈａｐｅ および ｇａｉｎ は、各ブロックの圧縮信号を構成する圧縮符号であり、圧縮装置の出力信号となる。
【００５４】
【数１７】
一方、デコーダ側、すなわち、伸長装置にも、圧縮装置と同様のコードブックベクトル↑Ｃ（ｓ） が備えられている。この伸長装置では、圧縮符号ｍｅａｎ，ｓｈａｐｅ および ｇａｉｎ が圧縮装置から入力されると、まず、これらコードブックベクトル↑Ｃ（ｓ） の中から、このｓｈａｐｅ に応じたコードブックベクトル↑Ｃ（Ｓ） が選択される。この↑Ｃ（Ｓ） と、残り２つの圧縮符号であるｍｅａｎおよび ｇａｉｎ とから、下記の数１８式を用いてベクトル↑Ｘ’’が生成される。このベクトル↑Ｘ’’は、圧縮前のベクトル↑Ｘに対応する、各ブロックを再構築するための伸長後のベクトルである。そして、画像情報の全てのブロックについてベクトル↑Ｘ’’が選択されると、画像情報の伸長が完了して、この画像情報が再構築される。
【００５６】
【数１８】
【発明が解決しようとする課題】
近年、携帯用のスチールカメラが普及し始めており、上記のようなカラー固体撮像カメラやデジタルカメラにおいても、持ち運びを便利にするために、より小型のものが求められている。しかしながら、図７に示した特開平７−１８４１２７号公報におけるカラー固体撮像カメラは、カラー固体撮像素子５１の出力信号を色分離処理して、輝度信号および色差信号に変換した後、これらの信号の圧縮を行う構成となっている。このため、色分離と圧縮とを行うための回路構成が必要となるので、カラー固体撮像カメラは、規模の大きな回路を備えなくてはならず、装置全体が大きくなってしまうという問題があると共に、その製造コストが高くなるという問題がある。
【００５８】
また、上記したように、特開平９−３７２０２号公報における従来技術では、デジタルカメラでは色分離処理を行わないことで、圧縮装置であるデジタルカメラの回路規模を小さくしている。しかしながら、伸長装置である再生装置では色分離処理を行う構成であるため、色分離回路が備えられることによる再生装置の大型化および製造コストのアップが問題となる。
【００５９】
本発明は、上記の問題を解決するためになされたもので、その目的は、色分離処理等の、画像情報の信号分離のための処理量を従来より減少させ、システム全体の回路規模を小さくし、製造コストの安価な小型のカラー固体撮像カメラシステムを提供することにある。
【００６０】
【課題を解決するための手段】
上記の目的を達成するために、本発明のカラー固体撮像カメラシステムは、撮像によって、色分離処理前の複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとして上記カラー画像情報を複数のブロックに分割し、各ブロックに含まれる画素信号を成分とするベクトルを作成し、この作成ベクトルを演算することによってカラー画像情報の圧縮を行うカラー固体撮像カメラシステムであって、ベクトル量子化における複数のコードブックベクトルからなる１つのコードブックをあらかじめ記憶している第１の記憶手段と、上記カラー画像情報の各ブロックに含まれる画素信号を成分とするベクトルを作成し、上記第１の記憶手段に記憶されている１つのコードブックの中から、上記作成ベクトルに応じたコードブックベクトルを選択することによって、上記カラー画像情報の圧縮信号を得る符号化手段と、上記第１の記憶手段に記憶された１つのコードブックを色分離変換して得られた、複数の伸長コードブックがあらかじめ記憶されている第２の記憶手段と、上記符号化手段によって得られた圧縮信号に対応する伸長コードブックベクトルを、上記第２の記憶手段に記憶されている複数の伸長コードブックの中からそれぞれ選択することによって、上記カラー画像情報を再構築する復号化手段とを備えていることを特徴としている。
【００６１】
上記の構成によれば、カラー固体撮像カメラシステムは、ベクトル量子化によって取得したカラー画像情報の圧縮を行う。すなわち、複数の画素からの画素信号からなるカラー画像情報は、所定数の画素信号からなるブロックに分割され、各ブロックはベクトル化される。このベクトル化は、例えば、画素信号の出力値を成分として、各ブロックを上記した所定数の次元数をもつベクトルに変換すること等で行われる。そして、あらかじめ記憶されている複数のコードブックベクトルのなかから、各ブロックを表すベクトルに最も類似したベクトルを選択し、選択したコードブックベクトルを各ブロックに対応したベクトルとする。そして、カラー画像情報の全てのブロックについてコードブックベクトルを抽出し、各コードブックベクトルを特定する、通し番号等の情報を抽出すれば、このカラー画像情報の圧縮が完了する。すなわち、各ブロックに対応したコードブックベクトルを特定する情報の集合が、このカラー画像情報における圧縮された情報となる。ここで、コードブックベクトルとは、ブロックを表すベクトルと同じ次元の互いに異なる複数のベクトルであり、あらかじめ記憶媒体等に記憶されているものである。
【００６２】
そして、本発明のカラー固体撮像カメラシステムは、この圧縮されたカラー画像情報を伸長するために、記憶手段には、上記したコードブックベクトルのそれぞれに対応した、複数種の伸長コードブックベクトルがあらかじめ記憶されている。すなわち、ひとつのコードブックベクトルに、複数種の伸長コードブックベクトルが対応されて記憶されている。
【００６３】
復号化手段は、圧縮されたカラー画像情報であるコードブックベクトルを特定する情報から、各ブロックに対応したコードブックベクトルを特定する。そして、上記した記憶手段から、各コードブックベクトルに対応した複数の伸長コードブックベクトルを選択し、伸長コードブックベクトルの種類毎に一つの画像情報を復号する。従って、カラー画像情報を伸長すると、伸長コードブックベクトルの種類数の画像情報を得ることができる。
【００６４】
この複数種の伸長コードブックベクトルは、使用者が望むカラー画像情報の種類によって決定されるものである。例えば、一つのカラー画像情報を、色分離した状態で伸長したい場合には、伸長コードブックベクトルとして、各コードブックベクトルを色分離処理し、輝度成分と色差成分とに分離して、それぞれの成分を、このコードブックベクトルに対応した伸長コードブックベクトルとすればよい。
【００６５】
従って、カラー画像情報を伸長した後に行う信号分離処理、例えば色分離処理等を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして記憶手段に記憶しておけば、信号分離のための処理回路を設ける必要がない。これにより、本発明のカラー固体撮像カメラシステムは、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能なカラー固体撮像カメラシステムとなっている。
【００６７】
また、上記の構成によれば、記憶手段に記憶される伸長コードブックベクトルは、コードブックベクトルに色分離処理（色分離変換）を施して得られるベクトル、すなわち、コードブックベクトルの輝度成分と色差成分とからなるものである。従って、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号である。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を設ける必要がない。これにより、回路規模の増大および製造コストアップを招来することなく、色分離を行うことが可能となる。
【００６８】
また、上記のカラー固体撮像カメラシステムでは、上記第２の記憶手段に記憶されている複数の伸長コードブックは、輝度信号を生成するための輝度コードブックベクトルを含むコードブックと、色差信号を生成するための色差コードブックベクトルを含むコードブックとからなると共に、上記輝度および色差コードブックベクトルは、上記第１の記憶手段に記憶されているコードブックを構成するコードブックベクトルと同次元であり、上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記第１の記憶手段におけるコードブックベクトルを上記色分離変換して得られるものである一方、他の成分は０であることが好ましい。
【００６９】
上記の構成は、色分離処理を適切に行うための構成である。この構成では、伸長コードブックベクトルは、復号化手段が記憶手段から選択したコードブックベクトルから輝度信号と色差信号とを生成するための、輝度コードブックベクトルと色差コードブックベクトルとからなっている。そして、これら輝度および色差コードブックベクトルはコードブックベクトルと同次元であり、このコードブックベクトルを用いてあらかじめ作成される。
【００７０】
この作成において、例えば、１種類の輝度コードブックベクトルと２種類の色差コードブックベクトルとを作成する場合、これらの全ての成分数は、コードブックベクトルの成分数の３倍となる。従って、輝度および色差コードブックベクトルの独立した全成分を、ひとつのコードブックベクトルから作成することはできない。
【００７１】
そこで、上記の構成では、輝度および色差コードブックベクトルを作成する際、まず、これら輝度および色差コードブックベクトルの空間周波数成分を作成する。この際、この空間周波数成分の所定の成分だけを、コードブックベクトルに線形変換等を施すことで作成し、残りの成分を０として作成する。ここで、この所定の成分の数は、コードブックベクトルの成分数と同数である。そして、得られた空間周波数成分を実空間に変換して、輝度および色差コードブックベクトルを作成する。
【００７２】
このようにすれば、ひとつのコードブックベクトルから、複数種類の伸長コードブックベクトル、すなわち、輝度および色差コードブックベクトルを作成することが可能となる。これにより、１つのブロックに入力した画素信号から、この画素信号の数と同数ずつの輝度信号および色差信号を取得することができる。従って、コードブックベクトルに対応した輝度コードブックベクトルと色差コードブックベクトルとから、色分離処理を施した画像情報を適切に取得することができる。これにより、撮像によって得られた画像情報を輝度信号および色差信号に分離するための回路を設ける必要がないので、回路規模の増大および製造コストアップを招来することなく、ベクトル量子化における圧縮・伸長と同時に色分離とを行うことが可能となる。
【００７３】
なお、空間周波数成分における０とする成分として、人間の視覚では感知しにくい成分を選択することが好ましい。例えば、人間にとっては、カラー画像情報の高周波の成分は低周波の成分よりも認識しにくく、また、色差信号におけるＡＣ成分は、輝度信号のＡＣ成分よりも認識しにくいものである。従って、この０とする成分として、例えば、色差信号の全てのＡＣ成分と、輝度信号の高周波のＡＣ成分とを選択することで、復号化手段によって再現されるカラー画像情報の品質を高くすることができる。
【００７４】
また、本発明の他のカラー固体撮像カメラシステムは、上記符号化手段は、上記作成ベクトルを第１の部分と第２の部分とに分離し、上記第１の部分を、上記第１の記憶手段に記憶されているコードブックを用いて圧縮した第２の圧縮信号として出力し、上記第２の部分を、上記第１の記憶手段に記憶されているコードブックを用いずに圧縮した第１の圧縮信号として出力する一方、上記復号化手段は、上記第１および第２の圧縮信号に基づいて、上記カラー画像情報を再構築することを特徴としている。
【００７５】
上記の構成によれば、複数の画素からの画素信号からなるカラー画像情報は、所定数の画素信号からなるブロックに分割され、各ブロックはベクトル化される。このベクトル化は、例えば、画素信号の出力値を成分として、各ブロックを上記した所定数の次元数をもつベクトルに変換すること等で行われる。
【００７６】
符号化手段は、各ブロックに対応したベクトルをコードブックを用いて圧縮する第１の部分とコードブックを用いずに圧縮する第２の部分とに分離する。そして、符号化手段は、第２の部分を、各ブロックに対応した第１の圧縮信号として復号化手段に出力する。また、第１の記憶手段は、複数のコードブックベクトルをあらかじめ記憶している。この複数のコードブックベクトルとは、各ブロックに対応したベクトルの第１の部分と等しい次元数をもつ、互いに異なる複数のベクトルである。
【００７７】
符号化手段は、これらコードブックベクトルの中から、上記第１の部分に対応したものを選択する。この選択は、例えば、第１の部分と最も類似したものを選択すること等、使用者の所望の方法で行われる。そして、復号化のために必要な、選択したコードブックベクトルを特定するための情報を含んだ情報を、第２の圧縮信号として復号化手段に出力する。
【００７８】
第２の記憶手段には、コードブックベクトルのそれぞれに対応した複数種あるいは単数種の伸長コードブックベクトルがあらかじめ記憶されている。この伸長コードブックベクトルは、各ブロックの第１の部分を復号するためのものである。
【００７９】
復号化手段は、圧縮されたカラー画像情報であるコードブックベクトルを特定する情報から、各ブロックのベクトルにおける第１の部分に対応したコードブックベクトルを特定する。そして、上記した第２の記憶手段から、各コードブックベクトルに対応した伸長コードブックベクトルを選択し、伸長コードブックベクトルの種類毎に一つの画像情報を復号する。従って、上記第１の部分に対応する画像として、伸長コードブックベクトルの種類数の画像情報を得ることができる。
【００８０】
この伸長コードブックベクトルは、使用者が望むカラー画像情報の種類によって決定されるものである。例えば、一つのカラー画像情報を、色分離した状態で伸長したい場合には、伸長コードブックベクトルとして、各コードブックベクトルを色分離処理し、輝度成分と色差成分とに分離して、それぞれの成分をこのコードブックベクトルに対応した２種の伸長コードブックベクトルとすればよい。この場合、第２の部分は、復号化手段によって画素信号が形成される前に色分離されている必要がある。
【００８１】
従って、カラー画像情報を伸長した後に行う信号分離処理（色分離処理）を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして第２の記憶手段に記憶しておけば、第１の部分の信号分離のための処理回路を設ける必要がない。これにより、本発明のカラー固体撮像カメラシステムでは、信号分離のための回路を、コードブックを用いずに圧縮する第２の部分のためだけに用意すればよい。従って、本発明のカラー固体撮像カメラシステムは、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能なカラー固体撮像カメラシステムとなっている。
【００８２】
また、上記のカラー固体撮像カメラシステムでは、上記第２の部分は、上記作成ベクトルを線形変換して得られる輝度信号および色差信号の空間周波数成分における所定の成分であり、上記第１の部分は、上記作成ベクトルから、上記第２の部分を実空間に変換したものを除いたものであるとともに、上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記コードブックベクトルを線形変換して得られるものである一方、他の成分は０であることが好ましい。
【００８３】
上記の構成は、色分離処理を適切に行うための構成である。上記したように、輝度および色差コードブックベクトルの独立した全成分を、ひとつのコードブックベクトルから作成することはできない。そこで、この構成でも、輝度および色差コードブックベクトルを作成する際、まず、これら輝度および色差コードブックベクトルの空間周波数成分を作成する。この際、この空間周波数成分の所定の成分だけを、コードブックベクトルに線形変換等を施すことで作成し、残りの成分を０として作成する。なお、この所定の成分数は、第２の成分として出力する１つのブロックに対応したベクトルの空間周波数成分の成分数との和が、１つのブロックにおける画素信号の数と等しくなるように決められる。
【００８４】
上記の構成では、第２の部分として圧縮・伸長を行わずに出力している輝度信号および色差信号の空間周波数成分が存在するので、輝度および色差コードブックベクトルの空間周波数成分における所定の成分数は、コードブックベクトルの成分数から第２の部分として出力した成分数を差し引いたものとなる。そして、得られた空間周波数成分を実空間に変換して、輝度および色差コードブックベクトルを作成する。このようにすれば、ひとつのコードブックベクトルから、第１の部分を伸長するための複数種類の伸長コードブックベクトル、すなわち、輝度および色差コードブックベクトルを作成することが可能となる。
【００８５】
復号化手段は、これら輝度および色差コードブックベクトルと、圧縮せずに出力した第２の部分を実空間に変換したものとから、画像情報の輝度信号および色差信号を作成する。そして、これらの各信号は、１つのブロックに入力した画素信号の数と同数である。これにより、第１の部分を輝度信号および色差信号に分離するための回路を設ける必要がないので、回路規模の増大および製造コストアップを招来することなく、ベクトル量子化における圧縮・伸長と同時に色分離とを行うことが可能となる。
【００８６】
さらに、第２の部分として出力した輝度信号および色差信号の空間周波数成分の所定の成分は、圧縮・伸長されないので、画像情報の全成分に圧縮・伸長処理を施す場合に比して、圧縮・伸長量が少なくすることができる。従って、再構築された画像における偽色の発生を少なくすることができる。
【００８７】
また、例えば、第２の部分として輝度信号および色差信号のＤＣ成分を選択し、第１の部分として輝度信号のＡＣ成分の一部を選択した場合、伸長コードブックベクトルは輝度コードブックベクトルのみになる。この場合には、認識されやすい輝度信号をより精密に再現することができるので、画像情報をより高品質にすることができる。
【００８８】
【発明の実施の形態】
〔実施の形態１〕
本発明の第１の実施の形態について以下に説明する。
図１は、本実施の形態にかかるカラー固体撮像カメラシステム（以下、本カメラシステムとする）の構成の概略を示すブロック図である。この図に示すように、本カメラシステムは、デジタルカメラを構成する補色フィルタ２，カラー固体撮像素子１および符号化処理部３と、再生装置を構成する復号化処理部５およびカラーモニタ７とを備えている。
【００８９】
カラー固体撮像素子１は、被写体を撮像して画像情報を取得するためのものであり、縦２８８画素，横３５２画素の画素を備えた撮像素子である。このカラー固体撮像素子１から出力される信号Ｓ２は、１画面あたり、カラー固体撮像素子１の画素数と同じ数の電気信号数、つまり２８８×３５２の信号数である。このカラー固体撮像素子１は、図１１に示したパターンを有する補色フィルタ２を備えている。この図に示すように、このパターンは、ホワイト（Ｗ），イエロー（Ｙｅ），シアン（Ｃｙ），グリーン（Ｇ）の４色の画素からなり、縦４画素，横４画素の合計１６画素の大きさである。カラー固体撮像素子１の補色フィルタ２は、このパターンが繰り返されて構成されている。
【００９０】
符号化処理部３は、カラー固体撮像素子１からの出力信号Ｓ２を、ベクトル量子化法によってデータ圧縮するものである。上記したように、補色フィルタ２のパターンの大きさが１６画素であることから、この符号化処理部３によるベクトル量子化法のためのブロック化は、１６画素を１単位として行われる。また、このブロック化は、隣接するブロック間で画素を共有しないように行われる。
【００９１】
また、１つのブロックは１６個の信号成分を有すると考えられることから、１つのブロックは１６次元のベクトルとみなすことができる。そこで、以下では、１つのブロックを表すベクトルを、ベクトル↑Ｘ（Ｘｋ ，ｋ＝０，１，２，…，１５）と表記する。
【００９２】
図２は、この符号化処理部３の構成の概略を示す説明図である。この図に示すように、符号化処理部３は、コードブック記憶部（第１の記憶手段）１１と、ベクトル量子化部（符号化手段）１２とから構成されている。コードブック記憶部１１は、複数の１６次元のコードブックベクトル↑Ｃ(s) （Ｃ(s) k ，ｋ＝０，１，２，…，１５）を記憶しておくためのものである。以下では、このコードブックベクトル↑Ｃ(s) の数を６４個とする、すなわち、ｓ＝０〜６３とする。また、ベクトル量子化部１２は、入力した信号Ｓ２を所定のブロックに分け、各ブロックに対応したベクトル↑Ｘを作成するものである。さらに、ベクトル量子化部１２は、コードブック記憶部１１に記憶されているコードブックベクトル↑Ｃ(s) の中から、各ベクトル↑Ｘに対応したコードブックベクトル↑Ｃ(s) をひとつずつ選択するものである。
【００９３】
以下に、このコードブックベクトル↑Ｃ（ｓ） の作り方について説明する。カラー固体撮像素子１によって様々な被写体が撮影され、それぞれの被写体に応じた画像信号Ｓ２が符号化処理部３に入力されると、ベクトル量子化部１２は、まず、これら画像信号Ｓ２をブロックに分解して、複数の１６次元のベクトル↑Ｘを作成する。例えば、１０００枚の被写体が撮影された場合、１枚につき７２×８８（２８８／４×３５２／４）個のブロックがあるので、７２×８８×１０００個のベクトル↑Ｘが得られることになる。
【００９４】
次に、これら複数のベクトル↑Ｘに対して、ＬＢＧアルゴリズムと呼ばれる方法によって、コードブックベクトル↑Ｃ（ｓ） に採用される代表ベクトルを算出する。この方法に関しては、「画像情報圧縮（テレビジョン学会編集，オーム社出版，１９９１），第１２７ 頁〜第１３０ 頁」に詳しい説明がなされているので、これを参照されたい。このＬＢＧアルゴリズム法は、「Ｙ．Ｌｉｎｄｅ， Ａ．Ｂｕｚｏ ａｎｄ Ｒ．Ｍ．Ｇｒａｙ ：『Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚｅｒ Ｄｅｓｉｇｎ 』，ＩＥＥＥ Ｔｒａｎｓ．， ＣＯＭ−２８， １， ｐｐ．８４−９５ （Ｊａｎ． １９８０）」という論文に明記されているアルゴリズムである。
【００９５】
図１に示す復号化処理部５は、上記した符号化処理部３から出力される信号Ｓ４を復号化するものである。図３は、この復号化処理部５の構成の概略を示す説明図である。この図に示すように、復号化処理部は、後述するコードブックベクトルを記憶するためのコードブック記憶部（第２の記憶手段）２１と、符号化処理部３から入力される信号Ｓ４に基づいて、コードブック記憶部２１から所定のコードブックベクトルを選択するベクトル復号化部（復号化手段）２２とを備えている。
【００９６】
このコードブック記憶部２１には、上記した符号化処理部３におけるコードブックベクトル↑Ｃ（ｓ） のそれぞれのコードブック番号ｓに応じて、輝度信号Ｙ，色差信号Ｕ・Ｖを出力するための３種類のコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） が記憶されている。すなわち、一つのコードブック番号ｓに対応して、輝度信号に対応した輝度コードブックベクトル↑Ｃｙ（ｓ） ，色差信号に対応した色差コードブックベクトル↑Ｃｕ（ｓ） ・↑Ｃｕ（ｓ） が記憶されている。これらコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） （伸長コードブックベクトル）のベクトル復号化部２２による作成について以下に説明する。
【００９８】
一般的に、自然界の光は様々な成分を含んでおり、その自由度は無限大である。しかし、このような光を補色フィルタ２のようなフィルタ部材を介して受光する場合、フィルタ部材の画素数（色フィルタの数）は有限であるので、カラー固体撮像素子１の各画素から出力される映像信号（画像情報）の数も有限となる。この場合の映像信号数は、フィルタ部材の画素数と同一である。従って、カラー固体撮像素子１は、無限大の自由度を持つ自然界の光を、有限個の信号で近似して表現していることになる。
【００９９】
仮想色分離法では、概念的に、補色フィルタ２に入射する光の自由度が、補色フィルタ２の画素数と同じ自由度であると仮定し、カラー固体撮像素子１から出力される画像情報が、補色フィルタ２に入射する光の自由度を落とすことなく表現されるものとする。
【０１００】
すなわち、符号化処理部３におけるベクトル量子化部１２で切り出された一つのブロックには、４×４＝１６個の信号があり、自由度は１６である。仮想色分離法では、これら１６個の信号は、補色フィルタ２に入射する光の自由度と同じであるとする。この場合、ひとつのブロックに入射しているはずの光の輝度信号Ｙおよび色差信号Ｕ・Ｖは、各々１６成分となり、合計で４８成分となる。しかしながら、独立した１６個の変数から、独立した４８個の変数を算出することはできないので、カラー固体撮像素子１の出力から、カラー固体撮像素子１に入射した光を輝度信号Ｙおよび色差信号Ｕ・Ｖとして完全に再現することは不可能である。
【０１０１】
そこで、仮想色分離法では、輝度信号Ｙおよび色差信号Ｕ・Ｖの４８個の空間周波数成分のうち、人間の視覚で感知しにくい３２個の成分を０と仮定する。すなわち、実空間における輝度信号Ｙおよび色差信号Ｕ・Ｖの４８個の成分は、１６個の独立した成分の組み合わせからなるとする。このように仮定することで、カラー固体撮像素子１の出力から、カラー固体撮像素子１に入射した輝度信号Ｙおよび色差信号Ｕ・Ｖを良好な状態で再現することができる。
【０１０２】
以下に、この仮想色分離法における信号処理を示す。
図１３は、輝度信号Ｙおよび色差信号Ｕ・Ｖにおける各１６個の空間周波数成分ＹｍｎおよびＵｍｎ・Ｖｍｎを、水平方向ｎ，垂直方向ｍとして平面に並べたものである。この図では、（０，０）成分をＤＣ成分とし、ｍ，ｎが大きくなるにつれて高周波の成分を位置させたものとなっている。このような輝度信号Ｙｍｎおよび色差信号Ｕｍｎ・Ｖｍｎを実空間の成分ＹｉｊおよびＵｉｊ・Ｖｉｊに変換するためには、下記の数１９式を用いた変換を行う。ここで、この式中のＦ−１ ｉｊｍｎは、下記の数２０式に示す、直交変換の一種である離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ；以下、ＤＣＴ変換と称する）の逆変換を施すための係数である。また、数１９式中のｉ，ｊは、輝度信号Ｙおよび色差信号Ｕ・Ｖにおける実空間の各成分を表すための添え字であり、ｉ＝０〜３、ｊ＝０〜３となる。
【０１０３】
【数１９】
【数２０】
また、実空間における輝度信号Ｙ，色差信号Ｕ・ＶとＲ，Ｇ，Ｂ信号との間には、下記の数２１式の関係がある。また、Ｒ，Ｇ，Ｂ信号と、補色フィルタ２に配列されている各色を示すＷ，Ｙｅ，Ｃｙ，Ｇ信号との間には、下記の数２２式の関係がある。
【０１０６】
【数２１】
【数２２】
ここで、数１９式、数２１式および数２２式はいずれも線形な関係で変換されているので、一つの線形変換Ｚｐｑｃｍｎ を用いて下記の数２３式で表すことができる。なお、この式において、ｐ，ｑは、１つのブロックにおける各画素の座標を表す添え字であり、ｐ＝０〜３、ｑ＝０〜３となる。また、右辺のＣｃｍｎ は、添字ｃ＝０のとき輝度信号Ｙｉｊの空間周波数成分Ｙｍｎを示し、添字ｃ＝１のとき色差信号Ｕｉｊの空間周波数成分Ｕｍｎを示し、添字ｃ＝２のとき色差信号Ｖｉｊの空間周波数成分Ｖｍｎを示す。
【０１０９】
【数２３】
前述のように、実際には、数２３式におけるＣｃｍｎ は合計４８成分であり、この式の左辺であるＸｐｑは１６成分である。従って、この式の逆変換は、通常、行えない。そこで、仮想色分離法では、このＣｃｍｎ のうちの３２個の成分を０とし、これら０としたＣｃｍｎ の演算のためのＺｐｑｃｍｎ の成分も０とする。このようにすると、このＺｐｑｃｍｎ は正則行列とみなすことが可能となり、０とするＣｃｍｎ の成分の選択のしかたによって、逆行列をもつようにすることができる。
【０１１１】
例えば、本カメラシステムのように、図１１に示した補色フィルタ２の色配列の画素を、４×４のブロックに区切った場合では、Ｚｐｑｃｍｎ が逆行列をもつようにするためには、下記の数２４式のように０をとればよい。これは、輝度信号Ｙｍｎの（３，１）および（３，２）成分と、色差信号Ｕｍｎ・Ｖｍｎの全てのＡＣ成分（１５成分ずつ）とを０としたことになる。この場合、Ｚｐｑｃｍｎ は逆行列をもつようになり、数２３式の逆変換が存在する。そして、この逆行列をＷｃｍｎｐｑ とすれば、数２３式の逆変換は下記の数２５式となる。そして、得られた輝度信号Ｙｍｎと色差信号Ｕｍｎ・Ｖｍｎとに、数２０式に示した変換の逆変換を施せば、輝度信号Ｙおよび色差信号Ｕ・Ｖからなる各１６成分の色分離された信号を得ることができる。従って、カラー固体撮像素子１の、Ｗ，Ｙｅ，ＣｙおよびＧの１６成分の出力から、輝度信号Ｙおよび色差信号Ｕ・Ｖからなる各１６成分の色分離された信号を得るには、下記の数２６式を用いればよい。
【０１１２】
【数２４】
【数２５】
【数２６】
ここで、色差信号Ｕ・ＶのＡＣ成分は、輝度信号ＹのＡＣ成分に比べて人間の視覚では感知しにくいものであり、また、輝度信号Ｙの（３，１）および（３，２）成分は、ＡＣ成分のなかでも高周波の成分であるので、これも、人間の目が捉えにくいものである。従って、数２４式のような仮定をしても、再現される映像の劣化は問題とならない。
【０１１６】
このように、仮想色分離法では、輝度信号Ｙおよび色差信号Ｕ・Ｖの空間周波数成分における一部の成分を０と仮定することで、カラー固体撮像素子１の出力から、輝度信号Ｙおよび色差信号Ｕ・Ｖを再生状態に影響なく再現することができる。
【０１１７】
本カメラシステムでは、このような仮想色分離法を用いて、コードブックベクトル↑Ｃ（ｓ） からコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） を作成する。すなわち、ベクトル復号化部２２は、ベクトル量子化部１２が作成したコードブックベクトル↑Ｃ（ｓ） を、下記の数２７式で変換することによって、輝度信号Ｙおよび色差信号Ｕ・Ｖを表すコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） を作成し、コードブック記憶部２１に記憶させる。この数２７式では、上記した数２６式のｉ，ｊを、ｋ＝４ｉ＋ｊとし、また、ｐ，ｑを、ｌ＝４ｐ＋ｑとして、それぞれひとつにまとめている。
【０１１８】
【数２７】
以下に、本カメラシステムにおける画像情報の圧縮および復号処理の動作について説明する。
上記したように、カラー固体撮像素子１から符号化処理部３に出力される信号Ｓ２の信号数は、１画面あたり、カラー固体撮像素子１の画素数と同じ数の信号数、つまり２８８×３５２個の信号数である。符号化処理部３では、ベクトル量子化部１２が、この２８８×３５２個の信号を縦４信号，横４信号、合計１６信号のブロックに分ける。そして、ベクトル量子化部１２は、各ブロックを表すベクトル↑Ｘを取得し、これらベクトル↑Ｘと、コードブック記憶部１１に記憶されている全てのコードブックベクトル↑Ｃ（ｓ） との距離Ｄ（ｓ） を計算する。距離Ｄ（ｓ） の計算は、ベクトル↑Ｘとコードブックベクトル↑Ｃ（ｓ） との各成分のの２乗和に基づいて行われるもので、以下の数２８式が用いられる。
【０１２０】
【数２８】
そして、コードブックベクトル↑Ｃ（ｓ） の中から、各ブロックのベクトル↑Ｘに対して最小の距離Ｄ（Ｓ） を算出するものを各ブロックのベクトル↑Ｘに対応したコードブックベクトル↑Ｃ（Ｓ） と判断し、その番号Ｓを、各ブロックの信号Ｓ４として復号化処理部５に出力する。そして、１画面分の信号をデータ圧縮処理するために、ベクトル量子化部１２は、７２×８８（＝２８８／４×３５２／４）個の全てのブロックに対して、コードブックベクトル↑Ｃ（Ｓ） の検索および信号Ｓ４の出力を繰り返す。
【０１２２】
次に、復号化処理部５での伸長処理（復号化）を説明する。復号化処理部５におけるベクトル復号化部２２は、コードブック記憶部２１に記憶されているコードブックベクトル↑Ｃｙ(s) ・↑Ｃｕ(s) ・↑Ｃｖ(s) の中から、符号化処理部３から入力された圧縮符号Ｓ４によって指定された、Ｓ番目のコードブックベクトル↑Ｃｙ(S) ・↑Ｃｕ(S) ・↑Ｃｖ(S) を選択し、下記の数２７式によって、各ブロックの輝度信号Ｙk ，色差信号Ｕk ・Ｖk を生成する。そして、１画面分の、７２×８８（＝２８８／４×３５２／４）個のブロックにおける輝度信号Ｙk ，色差信号Ｕk ・Ｖk を生成し、画像情報を再構築して再生信号Ｓ６としてカラーモニタ７に出力する。
【０１２３】
【数２９】
以上のように、本カメラシステムでは、符号化処理部３のコードブック記憶部１１には、１つのブロックを圧縮するためのコードブックベクトル↑Ｃ（ｓ） が１種類記憶されている一方、復号化処理部５のコードブック記憶部２１には、一つのブロックを伸長するためのコードブックベクトルとして、輝度信号Ｙおよび色差信号Ｕ・Ｖに対応したコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） が記憶されている。
【０１２５】
そして、復号化処理部５のベクトル復号化部２２は、符号化処理部３のベクトル量子化部１２から一つのブロックを表すベクトル↑Ｘに対応したコードブックベクトル↑Ｃ（Ｓ） のコードブック番号Ｓが入力されると、この番号Ｓに基づいて、コードブック記憶部２１から、輝度信号Ｙおよび色差信号Ｕ・Ｖを表すコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） を選択してこのブロックを伸長する。
【０１２６】
従って、本カメラシステムでは、復号化処理部５においてベクトル量子化法における伸長を行うだけで、信号Ｓ４として圧縮されたベクトル↑Ｘの色分離処理も施されるようになっている。このため、カラー固体撮像素子１および符号化処理部３からなるデジタルカメラと、復号化処理部５およびカラーモニタ７からなる再生装置とのいずれにも、撮像によって得られた画像情報を輝度信号Ｙおよび色差信号Ｕ・Ｖに分離するための色分離回路を設ける必要がない。これにより、本カメラシステムは、回路規模が小さく製造コストの安価な小型のカラー固体撮像カメラシステムとなっている。
【０１２７】
また、従来の技術として、数１式〜数１３式を用いて示した色分離処理では、カラー固体撮像素子５１からの出力信号から輝度信号Ｙおよび色差信号Ｕ・Ｖを作成する際、ブロック内の隣接４画素を加算・減算して輝度信号Ｙおよび色差信号Ｕ・Ｖを作成するので、ブロックの境界における輝度信号Ｙおよび色差信号Ｕ・Ｖの演算のために、隣接するブロック間で画素を共有しなければならなかった。すなわち、Ｎ×Ｍ画素のブロックから、（Ｎ−１）×（Ｍ−１）個の輝度信号Ｙおよび色差信号Ｕ・Ｖを演算するようになっていた。このため、各ブロックに対するベクトル量子化による圧縮・伸長処理と、色分離処理とを同時に行うことができなかった。
【０１２８】
しかしながら、本カメラシステムでは、隣接するブロック間で画素を共有しないようにブロック化を行い、さらに、コードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） の作成のために仮想色分離法を用いて、コードブックベクトル↑Ｃ（ｓ） の成分の数と、コードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） における各々の成分の数とを同数としている。従って、ベクトル量子化による画像情報の圧縮・伸長処理と、色分離処理とを同時に行うことが可能となっている。
【０１２９】
なお、本実施の形態では、ベクトル復号化部２２におけるコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） の作成の際、数２４式のような仮定をしているが、Ｃｃｍｎ の０のとりかたはこの式のものに限ることはない。数２３式におけるＺｐｑｃｍｎ が逆行列をもち、さらに、復号化処理部５において伸長される画像情報が、圧縮される前の画像情報と視覚的に差異のないものとなれば、どのＣｃｍｎ を０と仮定してもかまわない。なお、数２４式に示した仮定は、１つのブロックを４×４とし、図１１に示した補色フィルタ２を用いた場合に有効なものである。
【０１３０】
また、１つのブロック４×４以外の画素数（信号数）を、例えば８×８等としてもよい。この場合にも、４×４の場合と同様に、数２３式に示したＺｐｑｃｍｎ が逆行列をもち、再生される映像の質がなるべく高くなるように空間周波数成分中の０とする成分を選択すれば、良好な画像情報を再現することが可能となる。
【０１３１】
また、空間周波数成分への変換のための式として、数２０式に示した離散コサイン変換を用いているが、実空間と周波数空間との変換であれば、どのような変換を用いてもかまわない。
【０１３２】
また、コードブック記憶部２１には、輝度信号Ｙおよび色差信号Ｕ・Ｖを表すコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） が記憶されているとしているが、本発明はこれに限るものではない。
【０１３３】
〔実施の形態２〕
本発明の第２の実施の形態について、以下に説明する。なお、上記実施の形態１に示した部材と同一の機能を有する部材には同一の符号を付し、その説明を省略する。
【０１３４】
図４は、本実施の形態にかかるカラー固体撮像カメラシステム（以下、本カメラシステムとする）の構成を示す説明図である。この図に示すように、本カメラシステムは、図１に示したカメラシステムの構成において、符号化処理部３に代えて符号化処理部３１を、また、復号化処理部５に代えて復号化処理部３２を備えた構成である。
【０１３５】
図５は、符号化処理部３１の構成の概略を示す説明図である。この図に示すように、符号化処理部３１は、平均値分離部（符号化手段）３３と、コードブック記憶部（第１の記憶手段）３４と、ベクトル量子化部（符号化手段）３５とを備えている。
【０１３６】
平均値分離部３３は、カラー固体撮像素子１の出力信号を、縦４信号，横４信号の１６信号で構成されるブロックを１単位として分割し、各ブロックに対応するベクトル↑Ｘを取得するものである。そして、平均値分離部３３は、各ベクトル↑Ｘにおける平均値ｍｅａｎｙ，ｍｅａｎｕおよびｍｅａｎｖと、このベクトル↑Ｘの差分ベクトル↑Ｘ’ とを求め、信号Ｓ３６として復号化処理部３２に出力するものである。これら平均値ｍｅａｎｙ，ｍｅａｎｕおよびｍｅａｎｖと差分ベクトル↑Ｘ’ とについては後述する。
【０１３７】
コードブック記憶部３４は、６４個のベクトルの集合からなる差分コードブックベクトル↑Ｃ’（ｓ）（Ｃ’（ｓ）ｋ，ｓ＝０，１，…，６３、ｋ＝０，１，２，…，１５）を記憶しておくためのものである。この差分コードブックベクトル↑Ｃ’（ｓ）については後述する。ベクトル量子化部３５は、平均値分離部３３が算出した差分ベクトル↑Ｘ’ に基づいて、差分ベクトル↑Ｘ’ におけるｓｈａｐｅ およびｇａｉｎの値を算出し、これらの値を信号Ｓ３７およびＳ３８として復号化処理部３２に出力する機能を有している。これらｓｈａｐｅ およびｇａｉｎについては後述する。
【０１３８】
図６は、復号化処理部３２の構成を示すブロック図である。この図に示すように、復号化処理部３２は、ベクトル復号化部（復号化手段）４１と、コードブック記憶部（第２の記憶手段）４２とを備えている。
【０１３９】
ベクトル復号化部４１は、符号化処理部３１から出力された信号Ｓ３６〜Ｓ３８、すなわち、ｍｅａｎｙ，ｍｅａｎｕ，ｍｅａｎｖ，ｓｈａｐｅ およびｇａｉｎの５つの値に基づいて、各ブロックの輝度信号Ｙおよび色差信号Ｕ・Ｖを算出し、画像情報を復号化して、再生信号Ｓ６としてカラーモニタ７に出力するものである。
【０１４０】
コードブック記憶部４２は、６４個の１６次元のベクトルの集合からなるコードブックベクトル↑Ｃａｙ（ｓ） （Ｃａｙ（ｓ） ｋ ，ｓ＝０，１，…，６３、ｋ＝０，１，２，…，１５）を記憶しておくためのものである。このコードブックベクトル↑Ｃａｙ（ｓ） （伸長コードブックベクトル）については後述する。
【０１４１】
以下に、本カメラシステムにおける画像情報の平均値分離正規化ベクトル量子化法を用いた圧縮・伸長処理について説明する。実施の形態１に示したカラー固体撮像カメラシステムと同様に、本カメラシステムでは、上記した数１９式〜数２７式を用いて示した仮想色分離法により、伸長される画像情報が色分離されるようになっている。従って、画像情報における、輝度信号ＹのＡＣ成分（図１３に示した（３，１）および（３，２）成分以外）およびＤＣ成分と、色差信号Ｕ・ＶのＤＣ成分と以外の成分は、０であると仮定している。
【０１４２】
カラー固体撮像素子１は、被写体を撮像すると、この撮像した画像を信号Ｓ２として符号化処理部３１に出力する。この信号Ｓ２の信号数は、１画面あたり、カラー固体撮像素子１の画素数と同じ数の信号数、つまり２８８×３５２個の信号数である。
【０１４３】
符号化処理部３にこの信号Ｓ２が入力されると、平均値分離部３３は、２８８×３５２個の信号Ｓ２を、縦４信号，横４信号、合計１６信号のブロックに分ける。そして、平均値分離部３３は、各ブロックに対応したベクトル↑Ｘを取得する。そして、このベクトル↑Ｘから、平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ とを算出し、これを信号Ｓ３６として復号化処理部３２に出力する。
【０１４４】
この平均値分離部３３における、ベクトル↑Ｘの平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ との算出について説明する。平均値分離部３３は、↑Ｍｙ（Ｍｙｋ ｋ＝０，１，２，…，１５），↑Ｍｕ（Ｍｕｋ ，ｋ＝０，１，２，…，１５）および↑Ｍｖ（Ｍｖｋ ，ｋ＝０，１，２，…，１５）なる１６次元のベクトルをあらかじめ備えている。これら↑Ｍｙ，↑Ｍｕおよび↑Ｍｖは、以下の数３０式によって定義されているものである。この式におけるＷｃ，ｍ＝０，ｎ＝０，ｋ （ｃはｙ，ｕおよびｖ）は、上記した数２５式におけるＷｃｍｎｐｑ の添え字ｐ，ｑを、ｋ＝４ｐ＋ｑとしてひとつのｋ（ｋ＝０，１，２，…，１５）にまとめたものである。
【０１４５】
【数３０】
そして、平均値分離部３３は、各ブロックに対応するベクトル↑Ｘの平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖを、下記の数３１式を用いて求め、信号Ｓ３６として復号化処理部３２に出力する。この数３１式に示すように、平均値分離部３３は、ベクトル↑Ｘとこれら↑Ｍｙ，↑Ｍｕおよび↑Ｍｖとの内積を求めることによって、平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖを求めている。このように、数３１式では、上記した数１４式と異なり、Ｘｋ とＭｙｋ ，Ｍｕｋ およびＭｖｋ との積の和を算出している。すなわち、これら平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖは、それぞれ輝度信号Ｙおよび色差信号Ｕ・Ｖの空間周波数成分におけるＤＣ成分となっている。
【０１４７】
【数３１】
また、平均値分離部３３は、↑Ｖｙ（Ｖｙｋ ，ｋ＝０，１，２，…，１５），↑Ｖｕ（Ｖｕｋ ，ｋ＝０，１，２，…，１５）および↑Ｖｖ（Ｖｖｋ ，ｋ＝０，１，２，…，１５）なる１６次元のベクトルをあらかじめ備えている。これら↑Ｖｙ，↑Ｖｕおよび↑Ｖｖは、以下の数３２式によって定義されているものである。そして、平均値分離部３３は、各ブロックに対応するベクトル↑Ｘの差分ベクトル↑Ｘ’ を、下記の数３３式を用いて求める。
【０１４９】
【数３２】
【数３３】
このように、本カメラシステムでは、まず、上記の数１９式〜数２５式を用いて示した仮想色分離法によって、数３１式を用いてベクトル↑Ｘから輝度信号Ｙおよび色差信号Ｕ・Ｖの空間周波数成分におけるＤＣ成分を算出する。そして、数３２式に示した↑Ｖｙ，↑Ｖｕおよび↑Ｖｖによって、得られたＤＣ成分を実空間に変換してベクトル↑Ｘから差し引くことによって、差分ベクトル↑Ｘ’ を算出している。従って、この数３３式によって得られる差分ベクトル↑Ｘ’ は、仮想色分離法によって空間周波数成分に変換すると、輝度信号ＹのＡＣ成分における図１３に示した（３，１）および（３，２）成分以外の１３成分のみ値をもつようになる。
【０１５２】
また、上記した、平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ との算出は、以下のように表現することもできる。すなわち、仮想色分離法により変換された周波数空間において、輝度信号Ｙおよび色差信号Ｕ・ＶのそれぞれのＤＣ方向の正規直交基底ベクトルを↑Ｍｙ０ ，↑Ｍｕ０ および↑Ｍｖ０ とすると、ベクトル↑Ｘの輝度信号Ｙ，色差信号Ｕ・ＶのＤＣ成分の値は、以下の数３４式で与えられる。また、以下の数３５式とも表現することができる。これらの式中で、〔Ｗ〕は、上記した行列Ｗｃｍｎｋを、成分表記でなく行列表記としたものであり、ｔ 〔Ｗ〕は〔Ｗ〕の転値行列を表している。また、これらの式中で、（↑Ａ，↑Ｂ）のような表記は、↑Ａと↑Ｂとの内積を表す表記である。
【０１５３】
【数３４】
【数３５】
そして、このｔ 〔Ｗ〕↑Ｍｙ０ は、上記した↑Ｍｙに相当する。同様に、ｔ 〔Ｗ〕↑Ｍｕ０ は↑Ｍｕに、ｔ 〔Ｗ〕↑Ｍｖ０ は↑Ｍｖにそれぞれ相当する。従って、上記のｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖは、輝度信号Ｙおよび色差信号Ｕ・ＶのそれぞれのＤＣ成分であるということができる。同様に、↑Ｖｙ，↑Ｖｕおよび↑Ｖｖも、〔Ｗ〕−１↑Ｍｙ０ ，〔Ｗ〕−１↑Ｍｕ０ および〔Ｗ〕−１↑Ｍｖ０ と表現することができる。これらにより数３３式を書き換えると、以下の数３６式となる。
【０１５６】
【数３６】
この式で得られた差分ベクトル↑Ｘ’ を〔Ｗ〕によって仮想色分離法により周波数空間に変換し、差分ベクトル↑Ｘ’ の輝度信号ＹのＤＣ成分を算出すると、以下の数３７式によって０となる。同様に、差分ベクトル↑Ｘ’ の色差信号Ｕ・ＶのＤＣ成分を算出すると０となる。従って、この差分ベクトル↑Ｘ’ は、仮想色分離法により周波数空間に変換されると、輝度信号ＹのＡＣ成分のみの値をもつことになる。
【０１５８】
【数３７】
このように、平均値分離部３３が平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖと差分ベクトル↑Ｘ’ とを算出した後、ベクトル量子化部３５は、この差分ベクトル↑Ｘ’ と、コードブック記憶部３４に記憶されている差分コードブックベクトル↑Ｃ’（ｓ）とから、ｓｈａｐｅ およびｇａｉｎを算出して、信号Ｓ３７および信号Ｓ３８として復号化処理部３２に出力する。
【０１６０】
次に、ベクトル量子化部３５におけるｓｈａｐｅ およびｇａｉｎの算出について説明する。まず、コードブック記憶部３４に記憶されている差分コードブックベクトル↑Ｃ’（ｓ）について説明する。
カラー固体撮像素子１によって様々な被写体が撮影された画像の信号Ｓ２が符号化処理部３１に入力されると、平均値分離部３３は、信号Ｓ２をブロックに分解して、複数の１６次元のベクトル↑Ｘを作成する。例えば、１０００枚の被写体が撮影された場合、７２×８８×１０００個のベクトル↑Ｘが得られる。
【０１６１】
その後、平均値分離部３３は、これらベクトル↑Ｘに対して、上記した↑Ｍｙ，↑Ｍｕ，↑Ｍｖ，↑Ｖｙ，↑Ｖｕおよび↑Ｖｖを用いて、上記数３１式および数３３式によって平均値分離して差分ベクトル↑Ｘ’ を作成する。その後、差分ベクトル↑Ｘ’ に規格化を行ってその大きさを１とし、規格化された差分ベクトル↑Ｘ’ に対して上記したＬＢＧアルゴリズム法によって代表ベクトルを作成する。この代表ベクトルが、コードブック記憶部３４に記憶される差分コードブックベクトル↑Ｃ’（ｓ）となる。
【０１６２】
ベクトル量子化部３５は、上記した差分コードブックベクトル↑Ｃ’（ｓ）と、平均値分離部３３によって求められた各ブロックの差分ベクトル↑Ｘ’ との内積を、下記の数３８式を用いて計算する。そして、各ブロックの差分ベクトル↑Ｘ’ との内積値が最大となる差分コードブックベクトル↑Ｃ’（Ｓ）の番号が、このブロックのｓｈａｐｅ ，この最大の内積値がｇａｉｎとなる。
【０１６３】
【数３８】
上記したように、符号化処理部３１における平均値分離部３３からの信号Ｓ３６が、同じくベクトル量子化部３５からの信号Ｓ３７・３８が出力されると、これら信号Ｓ３６〜Ｓ３８は、復号化処理部３２におけるベクトル復号化部４１に入力される。ベクトル復号化部４１は、これら信号Ｓ３６〜３８に基づいて、輝度信号Ｙおよび色差信号Ｕ・Ｖを復号化する。以下に、復号化処理部３２における輝度信号Ｙおよび色差信号Ｕ・Ｖの復号化について説明する。
【０１６５】
復号化処理部３２のベクトル復号化部４１は、↑Ｃｙ（Ｃｙｋ ，ｋ＝０，１，２，…，１５），↑Ｃｕ（Ｃｕｋ ，ｋ＝０，１，２，…，１５）および↑Ｃｖ（Ｃｖｋ ，ｋ＝０，１，２，…，１５）なる１６次元のベクトルをあらかじめ備えている。これら↑Ｃｙ，↑Ｃｕおよび↑Ｃｖは、以下の数３９式によって定義されているものである。この数３９式に示すように、これら↑Ｃｙ，↑Ｃｕおよび↑Ｃｖの成分は、全て０．１２５となっている。そして、復号化処理部３２は、まず、これらのうちの↑Ｃｕおよび↑Ｃｖを用いて以下の数４０式によって算出する。数４０式では、色差信号Ｕ・Ｖを、ブロックの画素毎の出力を成分とするベクトルで表記している。
【０１６６】
【数３９】
【数４０】
次に、ベクトル復号化部４１は、コードブック記憶部４２に記憶されているコードブックベクトル↑Ｃａｙ（ｓ） から、ｓ＝ｓｈａｐｅ 番目のコードブックベクトル↑Ｃａｙ（Ｓ） を選択する。このコードブックベクトル↑Ｃａｙ（ｓ） は、差分コードブックベクトル↑Ｃ’（ｓ）を用いて、下記の数４１式によってあらかじめ作成され、コードブック記憶部４２に記憶されているものである。
【０１６９】
この式で、Ｗｙｍｎｌは、数２５式に示したＷｃｍｎｐｑ におけるｐ，ｑを、ｌ＝４ｐ＋ｑとして１つのｌにまとめ、ｃ＝ｙとしたものである。また、Ｆ−１ ｋｍｎ は、数２０式に示した離散コサイン変換行列Ｆｍｎｉｊの逆行列Ｆ−１ ｉｊｍｎにおけるｉ，ｊを、ｋ＝４ｉ＋ｊとして１つにまとめたものである。また、この式では、ｍ，ｎについては、輝度信号ＹのＡＣ成分のみの和をとる。従って、このコードブックベクトル↑Ｃａｙ（ｓ） は、仮想色分離法によって得られる輝度信号ＹのＡＣ成分のみ復号化するためのコードブックベクトルである。
【０１７０】
ベクトル復号化部４１は、コードブックベクトル↑Ｃａｙ（Ｓ） ，ｍｅａｎｙおよびｇａｉｎを用いて、下記の数４２式によって輝度信号Ｙを算出する。数４２式では、輝度信号Ｙを数４０式における色差信号Ｕ・Ｖと同様にベクトルで表記している。
【０１７１】
【数４１】
【数４２】
ベクトル復号化部４１は、上記した輝度信号Ｙおよび色差信号Ｕ・Ｖの伸長を、１つの画像情報を構成する７２×８８（＝２８８／４×３５２／４）個の全ブロックについて行って画像情報を再構築し、再生信号Ｓ６として、カラーモニタ７に出力する。
【０１７４】
以上のように、本カメラシステムでは、平均値分離部３３が、数３３式に示したように、ベクトル↑Ｘから輝度信号Ｙおよび色差信号Ｕ・Ｖの平均値、すなわち、ＤＣ成分を分離して差分ベクトル↑Ｘ’ を生成している。従って、差分ベクトル↑Ｘ’ は、仮想色分離法により周波数空間に変換されると、輝度信号ＹのＡＣ成分のみが値を持つようになっている。
【０１７５】
そして、ベクトル量子化部３５において、この差分ベクトル↑Ｘ’ のみにベクトル量子化による圧縮を施す一方、輝度信号Ｙおよび色差信号Ｕ・ＶのＤＣ成分成分は圧縮せずに、それぞれ復号化処理部３２に出力するようになっている。このために、ベクトル量子化によって生じる誤差は、輝度信号ＹのＡＣ成分にのみ生ずることになり、色差信号Ｕ・Ｖに、ベクトル量子化法による誤差が入ることはない。従って、輝度信号Ｙおよび色差信号Ｕ・Ｖの全成分に対して圧縮・伸長を行うよりも、偽色の少ない再生信号Ｓ６を得ることができる。
【０１７６】
なお、図１１に示すような補色フィルタ２を備えたカラー固体撮像素子１の出力信号Ｓ２に対して、ベクトル量子化法による圧縮・伸長を行った後に色分離処理を行った場合、この処理によって得られる輝度信号Ｙおよび色差信号Ｕ・Ｖは、圧縮・伸長を行わずに色分離処理を行って得られる信号とはずれたものになる。人間の視覚は輝度信号Ｙに敏感であるので、輝度信号Ｙは、色差信号Ｕ・Ｖよりも忠実に再現されることが望ましいが、この場合のずれは、輝度信号Ｙおよび色差信号Ｕ・Ｖともに一様に生じてしまう。
【０１７７】
そこで、本カメラシステムでは、輝度信号Ｙのずれをより少なくするために、圧縮処理を施す前に信号Ｓ２に平均値分離部３３による平均値分離、すなわち、色分離処理を行っている。これは、輝度信号Ｙと色差信号Ｕ・Ｖとに対して別々に圧縮処理を行っていることに相当する。さらに、ベクトル量子化部３５は、差分ベクトル↑Ｘ’ に対してベクトル量子化による圧縮を行い、ベクトル復号化部４１で伸長している。これは、輝度信号ＹのＡＣ成分に対する圧縮・伸長であり、これにより、輝度信号Ｙを、色差信号Ｕ・Ｖよりも少ない誤差で再現することが可能となっている。
【０１７８】
また、平均値分離部３３による平均値分離、すなわち、色分離処理は、輝度信号Ｙおよび色差信号Ｕ・ＶのＤＣ成分のみに行うことになる。従って、従来のカラー固体撮像カメラシステムのように、４画素加算・４画素差分による入力信号の色分離処理を行うよりも、色分離の処理量は減少している。従って、平均値分離部３３の回路規模を、従来の色分離回路よりも非常に小さくすることができる。これにより、本カメラシステムは、回路規模が小さく製造コストの安価な小型のカラー固体撮像カメラシステムとなっている。
【０１７９】
なお、平均値分離部３３による平均値分離の処理は、以下のように行うことも可能である。すなわち、ベクトル↑Ｘに対して〔Ｗ〕を作用させ、輝度信号Ｙおよび色差信号Ｕ・ＶのＤＣ成分を取得し、残りの成分に関してベクトル量子化による圧縮を行うようにする。これは、以下の数４３式および数４４式による処理となる。
【０１８０】
【数４３】
【数４４】
ここで、↑Ｘ’’は、周波数空間における輝度信号ＹのＡＣ成分のみの空間に限られたベクトルである。従って、この空間で正規化ベクトル量子化を行うことが可能である。しかし、アナログ回路で〔Ｗ〕↑Ｘの演算を行うことは、精度の面で困難であると考えられる。すなわち、〔Ｗ〕↑Ｘの演算は、他の演算に比べて精度よく行わなければならないからである。そこで、本実施の形態では、〔Ｗ〕による変換は、数４１式に記載のように、コードブック記憶部４２に記憶されているコードブックベクトル↑Ｃａｙ（ｓ） に含ませている。ベクトル復号化部４１における演算は、ソフトウエアでデジタル伸長が可能であるから、その精度を高くすることができる。ここで、↑Ｍｃおよび↑Ｖｃ（ｃはｙ，ｕおよびｖ）にも各１６成分ずつの〔Ｗ〕の係数が含まれているが、これら↑Ｍｃおよび↑Ｖｃを用いた演算には、高い精度は要求されるものではない。
【０１８３】
なお、本実施の形態では、カラー固体撮像素子１で得られた画像情報を、４×４のブロックに分けて、仮想色分離法による色分離処理を行っている。そして、ベクトル量子化による圧縮は、輝度信号ＹのＡＣ成分のみに行うようにしているが、本発明はこれに限るものではない。例えば、復号化処理部３２で伸長される画像を高品質にするためには、符号化処理部３１から圧縮せずに復号化処理部３２に出力する成分を増やせばよい。すなわち、上記した平均値ｍｅａｎｙおよびｍｅａｎｕ・ｍｅａｎｖに加えて、輝度信号ＹのＡＣ成分の一部を圧縮せずに復号化処理部３２に出力し、輝度信号Ｙの残りのＡＣ成分だけを圧縮して出力するようにすれば、圧縮・伸長による誤差をさらに少なくすることができる。
【０１８４】
また、１つのブロックを、例えば８×８等の画素数（信号数）としてもよい。この場合にも、実施の形態１に示した４×４の場合と同様に、数２３式に示したＺｐｑｃｍｎ が逆行列をもち、再生される映像の質がなるべく高くなるように空間周波数成分中の０とする成分を選択することが必要である。
【０１８５】
この場合、上記の０とする成分の選択によっては、ベクトル量子化によって圧縮・伸長される画像情報は、輝度信号ＹのＡＣ成分だけでなく、色差信号Ｕ・ＶのＡＣ成分を含むような場合も考えられる。このとき、圧縮・伸長処理が行われる信号は、輝度信号Ｙおよび色差信号Ｕ・ＶのＡＣ成分となる。
【０１８６】
このような場合には、復号化処理部３２におけるコードブック記憶部４２には、実施の形態１に示したコードブックベクトル↑Ｃｙ（ｓ） ・↑Ｃｕ（ｓ） ・↑Ｃｖ（ｓ） のように、各信号毎に、上記のコードブックベクトル↑Ｃａｙ（ｓ） に相当する伸長コードブックベクトルを記憶しておく必要がある。そして、ひとつの差分コードブックベクトル↑Ｃ’（ｓ）に、各信号のＡＣ成分を伸長するための複数種類の伸長コードブックベクトルが対応するようにすれば、復号化処理部３２における伸長の際に、色分離処理を適切に行うことが可能となる。この場合には、差分コードブックベクトル↑Ｃ’（ｓ）を仮想色分離法によって周波数空間に変換して得られる０でない成分の数と、全ての伸長コードブックベクトルを周波数変換により周波数空間に変換して得られる０でない成分の数とが等しくなる。
【０１８８】
なお、上記した仮想色分離法は、ベクトル量子化における伸長コードブックベクトルの作成のみに用いられるものではない。また、この方法による色分離処理は、以下のように行ってもよい。すなわち、撮像によって複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとしてこのカラー画像情報を複数のブロックに分割し、各ブロック毎にカラー画像情報を輝度信号と色差信号とに分離する色分離処理方法において、１つのブロックの画素信号の出力値を成分とするベクトルを線形変換して得られる成分を、このブロックの輝度信号および色差信号の空間周波数成分における所定の成分とする一方、これら空間周波数成分の他の成分は０として、これら輝度信号および色差信号の空間周波数成分を生成し、生成された輝度信号および色差信号の空間周波数成分をそれぞれ実空間に変換することによって、各ブロックにおける輝度信号および色差信号を生成するようにする。ここで、上記の所定の成分の数は、１つのブロックにおける画素信号数と同数である。
【０１８９】
また、本実施の形態では、画像情報における圧縮する成分として輝度信号のＡＣ成分を、圧縮しない成分として輝度および色差信号におけるＤＣ成分をそれぞれ選択しているが、これに限るものではない。圧縮しない成分としては、使用者の所望の画像情報における成分を選択することが可能であり、例えば、圧縮しなくても情報量があまり多くならない成分等を選択することができる。また、圧縮する成分も同様であり、例えば、圧縮しても画像情報の質があまり低下しない成分等を選択することができる。
【０１９０】
なお、実施の形態１および２に示したカラー固体撮像カメラシステムは、例えば圧縮後のデータを内蔵のメモリに記憶するデジタルカメラ、圧縮後のデータを表示するディスプレイを備えた携帯電子情報端末、あるいは、圧縮後のデータを有線または無線で本体（モニタ）側へ送信し、本体側でデータを伸張してディスプレイに表示する監視システムまたはテレビ会議等に使用するカメラに適用することができる。
【０１９１】
また、復号化処理部５および復号化処理部３２における全ての、あるいは一部の処理を行うためのプログラムを、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ ）等の記録媒体に記録し、このプログラムを読み込み可能な画像処理装置を復号化処理部５あるいは復号化処理部３２に代えて用いるようにしてもよい。
【０１９２】
また、符号化処理部３および符号化処理部３１の全ての、あるいは一部の処理を行うためのプログラムを、ＣＤ−ＲＯＭやＦＤ等の記録媒体に記録し、このプログラムを読み込み可能なデジタルカメラを符号化処理部３あるいは符号化処理部３１に代えて用いるようにしてもよい。
【０１９３】
【発明の効果】
以上のように、本発明のカラー固体撮像カメラシステムは、 撮像によって、色分離処理前の複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとして上記カラー画像情報を複数のブロックに分割し、各ブロックに含まれる画素信号を成分とするベクトルを作成し、この作成ベクトルを演算することによってカラー画像情報の圧縮を行うカラー固体撮像カメラシステムであって、ベクトル量子化における複数のコードブックベクトルからなる１つのコードブックをあらかじめ記憶している第１の記憶手段と、上記カラー画像情報の各ブロックに含まれる画素信号を成分とするベクトルを作成し、上記第１の記憶手段に記憶されている１つのコードブックの中から、上記作成ベクトルに応じたコードブックベクトルを選択することによって、上記カラー画像情報の圧縮信号を得る符号化手段と、上記第１の記憶手段に記憶された１つのコードブックを色分離変換して得られた、複数の伸長コードブックがあらかじめ記憶されている第２の記憶手段と、上記符号化手段によって得られた圧縮信号に対応する伸長コードブックベクトルを、上記第２の記憶手段に記憶されている複数の伸長コードブックの中からそれぞれ選択することによって、上記カラー画像情報を再構築する復号化手段とを備えている構成である。
【０１９４】
これにより、カラー画像情報を伸長した後に行う信号分離処理（色分離処理）を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして記憶手段に記憶しておけば、信号分離のための処理回路を設ける必要がない。従って、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能であるという効果を奏する。
【０１９６】
また、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号となる。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を設ける必要がない。従って、回路規模の増大および製造コストアップを招来することなく、色分離とベクトル量子化による圧縮・伸長処理とを同時に行うことが可能となるという効果を奏する。
【０１９７】
また、上記のカラー固体撮像カメラシステムでは、上記第２の記憶手段に記憶されている複数の伸長コードブックは、輝度信号を生成するための輝度コードブックベクトルを含むコードブックと、色差信号を生成するための色差コードブックベクトルを含むコードブックとからなると共に、上記輝度および色差コードブックベクトルは、上記第１の記憶手段に記憶されているコードブックを構成するコードブックベクトルと同次元であり、
上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記第１の記憶手段におけるコードブックベクトルを上記色分離変換して得られるものである一方、他の成分は０であることが好ましい。
【０１９８】
これにより、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号となる。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を設ける必要がない。従って、回路規模の増大および製造コストアップを招来することなく、色分離とベクトル量子化による圧縮・伸長処理とを同時に行うことが可能となるという効果を奏する。
【０１９９】
また、本発明の他のカラー固体撮像カメラシステムでは、上記符号化手段は、上記作成ベクトルを第１の部分と第２の部分とに分離し、上記第１の部分を、上記第１の記憶手段に記憶されているコードブックを用いて圧縮した第２の圧縮信号として出力し、上記第２の部分を、上記第１の記憶手段に記憶されているコードブックを用いずに圧縮した第１の圧縮信号として出力する一方、上記復号化手段は、上記第１および第２の圧縮信号に基づいて、上記カラー画像情報を再構築する構成である。
【０２００】
これにより、カラー画像情報を伸長した後に行う信号分離処理（色分離処理）を、このコードブックベクトルにあらかじめ施しておき、処理後の複数種のベクトルを伸長コードブックベクトルとして第２の記憶手段に記憶しておけば、第２の部分の信号分離のための処理回路を設ける必要がない。これにより、本発明のカラー固体撮像カメラシステムでは、信号分離のための回路を、コードブックを用いずに圧縮する第２の部分のためだけに用意すればよい。従って、回路規模を大きくすることなく、さらに、製造コストアップを招来することなく、所望の信号分離処理を行うことが可能であるという効果を奏する。
【０２０１】
また、上記のカラー固体撮像カメラシステムでは、上記第２の部分は、上記作成ベクトルを線形変換して得られる輝度信号および色差信号の空間周波数成分における所定の成分であり、上記第１の部分は、上記作成ベクトルから、上記第２の部分を実空間に変換したものを除いたものであるとともに、上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記コードブックベクトルを線形変換して得られるものである一方、他の成分は０であることが好ましい。
【０２０２】
これにより、復号化手段の復号によって得られる画像情報は、カラー画像情報における輝度信号および色差信号となる。このため、撮像によって得られた画像情報を輝度信号および色差信号に分離する、色分離処理のための回路を、コードブックを用いずに圧縮する第２の部分のためだけに設ければよい。従って、回路規模の増大および製造コストアップを招来することなく、色分離とベクトル量子化による圧縮・伸長処理とを同時に行うことが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかるカラー固体撮像カメラシステムの構成を示すブロック図である。
【図２】図１に示したカラー固体撮像カメラシステムにおける符号化処理部の構成を示すブロック図である。
【図３】図１に示したカラー固体撮像カメラシステムにおける復号化処理部の構成を示すブロック図である。
【図４】本発明の第２の実施の形態にかかるカラー固体撮像カメラシステムの構成の概略を示すブロック図である。
【図５】図４に示したカラー固体撮像カメラシステムにおける符号化処理部の構成を示すブロック図である。
【図６】図４に示したカラー固体撮像カメラシステムにおける復号化処理部の構成を示すブロック図である。
【図７】従来のカラー固体撮像カメラシステムの構成を示すブロック図である。
【図８】従来のカラー固体撮像カメラシステムの他の構成を示すブロック図である。
【図９】補色フィルタの構成例を示す説明図である。
【図１０】図７に示したカラー固体撮像カメラシステムにおいて、図９に示した補色フィルタを用いた場合のカラー固体撮像素子の画素を示す説明図である。
【図１１】補色フィルタの他の構成例を示す説明図である。
【図１２】図７に示したカラー固体撮像カメラシステムにおいて、図１１に示した補色フィルタを用いた場合のカラー固体撮像素子の画素を示す説明図である。
【図１３】輝度信号および色差信号の空間周波数成分を示す説明図である。
【符号の説明】
１ カラー固体撮像素子
２ 補色フィルタ
３ 符号化処理部
５ 復号化処理部
７ カラーモニタ
１１ コードブック記憶部（第１の記憶手段）
１２ ベクトル量子化部（符号化手段）
２１ コードブック記憶部（第２の記憶手段）
２２ ベクトル復号化部（復号化手段）
３１ 符号化処理部
３２ 復号化処理部
３３ 平均値分離部（符号化手段）
３４ コードブック記憶部（第１の記憶手段）
３５ ベクトル量子化部（符号化手段）
４１ ベクトル復号化部（復号化手段）
４２ コードブック記憶部（第２の記憶手段）
Claims (5)
- 撮像によって、色分離処理前の複数の画素信号からなるカラー画像情報を取得し、所定数の画素信号を１つのブロックとして上記カラー画像情報を複数のブロックに分割し、各ブロックに含まれる画素信号を成分とするベクトルを作成し、この作成ベクトルを演算することによってカラー画像情報の圧縮を行うカラー固体撮像カメラシステムであって、
ベクトル量子化における複数のコードブックベクトルからなる１つのコードブックをあらかじめ記憶している第１の記憶手段と、
上記カラー画像情報の各ブロックに含まれる画素信号を成分とするベクトルを作成し、上記第１の記憶手段に記憶されている１つのコードブックの中から、上記作成ベクトルに応じたコードブックベクトルを選択することによって、上記カラー画像情報の圧縮信号を得る符号化手段と、
上記第１の記憶手段に記憶された１つのコードブックを色分離変換して得られた、複数の伸長コードブックがあらかじめ記憶されている第２の記憶手段と、
上記符号化手段によって得られた圧縮信号に対応する伸長コードブックベクトルを、上記第２の記憶手段に記憶されている複数の伸長コードブックの中からそれぞれ選択することによって、上記カラー画像情報を再構築する復号化手段とを備えていることを特徴とするカラー固体撮像カメラシステム。 - 上記第２の記憶手段に記憶されている複数の伸長コードブックは、輝度信号を生成するための輝度コードブックベクトルを含むコードブックと、色差信号を生成するための色差コードブックベクトルを含むコードブックとからなると共に、上記輝度および色差コードブックベクトルは、上記第１の記憶手段に記憶されているコードブックを構成するコードブックベクトルと同次元であり、
上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記第１の記憶手段におけるコードブックベクトルを上記色分離変換して得られるものである一方、他の成分は０であることを特徴とする請求項１に記載のカラー固体撮像カメラシステム。 - 上記符号化手段は、
上記作成ベクトルを第１の部分と第２の部分とに分離し、
上記第１の部分を、上記第１の記憶手段に記憶されているコードブックを用いて圧縮した第２の圧縮信号として出力し、
上記第２の部分を、上記第１の記憶手段に記憶されているコードブックを用いずに圧縮した第１の圧縮信号として出力する一方、
上記復号化手段は、
上記第１および第２の圧縮信号に基づいて、上記カラー画像情報を再構築することを特徴とする請求項１または２に記載のカラー固体撮像カメラシステム。 - 上記第２の部分は、上記作成ベクトルを線形変換して得られる輝度信号および色差信号の空間周波数成分における所定の成分であり、
上記第１の部分は、上記作成ベクトルから、上記第２の部分を実空間に変換したものを除いたものであるとともに、
上記輝度および色差コードブックベクトルの空間周波数成分における所定の成分は上記コードブックベクトルを線形変換して得られるものである一方、他の成分は０であることを特徴とする請求項３に記載のカラー固体撮像カメラシステム。 - 上記第２の部分が、輝度信号および色差信号のＤＣ成分であることを特徴とする請求項４に記載のカラー固体撮像カメラシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30616197A JP3556447B2 (ja) | 1997-11-07 | 1997-11-07 | カラー固体撮像カメラシステム |
| US09/186,879 US6628718B1 (en) | 1997-11-07 | 1998-11-06 | Color solid-state image-pickup camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30616197A JP3556447B2 (ja) | 1997-11-07 | 1997-11-07 | カラー固体撮像カメラシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11146420A JPH11146420A (ja) | 1999-05-28 |
| JP3556447B2 true JP3556447B2 (ja) | 2004-08-18 |
Family
ID=17953789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30616197A Expired - Fee Related JP3556447B2 (ja) | 1997-11-07 | 1997-11-07 | カラー固体撮像カメラシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6628718B1 (ja) |
| JP (1) | JP3556447B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4006075B2 (ja) * | 1998-01-30 | 2007-11-14 | キヤノン株式会社 | Ｃｍｏｓセンサ及び撮像システム |
| JP4257145B2 (ja) * | 2003-04-15 | 2009-04-22 | オリンパス株式会社 | 画像圧縮装置及び画像処理システム |
| US7751483B1 (en) * | 2004-04-16 | 2010-07-06 | Majesco Entertainment Company | Video codec for embedded handheld devices |
| US8149469B2 (en) * | 2007-08-03 | 2012-04-03 | Canon Kabushiki Kaisha | Image reading apparatus and image reading method |
| KR101441432B1 (ko) * | 2008-02-11 | 2014-09-17 | 삼성전자주식회사 | 이미지 센서 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69334349D1 (de) * | 1992-09-01 | 2011-04-21 | Apple Inc | Verbesserte Vektorquatisierung |
| JPH07184127A (ja) | 1993-12-24 | 1995-07-21 | Matsushita Electric Ind Co Ltd | 固体撮像カメラ |
| JP3013698B2 (ja) * | 1994-04-20 | 2000-02-28 | 松下電器産業株式会社 | ベクトル量子化符号化装置と復号化装置 |
| JPH0937202A (ja) | 1995-07-19 | 1997-02-07 | Matsushita Electric Ind Co Ltd | デジタルカメラ |
| US6404923B1 (en) * | 1996-03-29 | 2002-06-11 | Microsoft Corporation | Table-based low-level image classification and compression system |
-
1997
- 1997-11-07 JP JP30616197A patent/JP3556447B2/ja not_active Expired - Fee Related
-
1998
- 1998-11-06 US US09/186,879 patent/US6628718B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11146420A (ja) | 1999-05-28 |
| US6628718B1 (en) | 2003-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7933462B2 (en) | Representing and reconstructing high dynamic range images | |
| US5412427A (en) | Electronic camera utilizing image compression feedback for improved color processing | |
| US5065229A (en) | Compression method and apparatus for single-sensor color imaging systems | |
| US5901242A (en) | Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients | |
| US5053861A (en) | Compression method and apparatus for single-sensor color imaging systems | |
| US5689612A (en) | Image signal processing device | |
| JPH05505084A (ja) | シングル・センサ画像システム用のカラー内挿処理を伴う画像圧縮 | |
| US8098959B2 (en) | Method and system for frame rotation within a JPEG compressed pipeline | |
| EP1367840A2 (en) | Method and apparatus for converting colour component type of picture signals,method and apparatus for converting compression format of picture signals and system for providing picture signals of a required compression format | |
| JP3908095B2 (ja) | カラーエイリアジングのアーティファクトを低減するデジタル画像システム | |
| JP3579544B2 (ja) | 画像圧縮伸張装置 | |
| US20010012397A1 (en) | Image processing apparatus and method | |
| JP4683678B2 (ja) | 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 | |
| JP3556447B2 (ja) | カラー固体撮像カメラシステム | |
| US5293580A (en) | Multi-dimensional image signal compression and decompression system that guarantees high efficiency even when different compression and decompression systems are used on transmitting side and receiving side for image information signals | |
| US20050163389A1 (en) | Image data comprising device, image data compression method, recording medium, and program | |
| JPH1175183A (ja) | 画像信号の処理方法及び装置、記録媒体 | |
| JP3260284B2 (ja) | 画像圧縮装置および画像伸張装置 | |
| JPH09148938A (ja) | データ圧縮・伸長方法及びその装置 | |
| JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
| JP3822512B2 (ja) | 画像データ圧縮装置、画像データ圧縮方法、記録媒体およびプログラム | |
| JP2935320B2 (ja) | 画像圧縮伸長装置 | |
| JPH0678297A (ja) | ディジタルビデオ信号の符号化方法 | |
| JP3655734B2 (ja) | 画像圧縮装置および画像表示装置 | |
| JP2810585B2 (ja) | 画像符号化処理方法および画像復号化処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040512 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080521 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |