JP2891246B2

JP2891246B2 - デジタルカメラ

Info

Publication number: JP2891246B2
Application number: JP9192582A
Authority: JP
Inventors: 崇雄戸井; 睦太田
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1997-07-17
Filing date: 1997-07-17
Publication date: 1999-05-17
Anticipated expiration: 2017-07-17
Also published as: JPH1141613A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は固体撮像素子を用い
るデジタルカメラに関し、特に撮像して符号化された撮
像データを出力するカメラ部と、符号化されたデータを
復号化して撮像データを得るための復号部とで構成され
るデジタルカメラに関する。

【０００２】

【従来の技術】図８は、従来のデジタルカメラとこれに
接続されるパソコン等の概略構成を示すブロック図であ
る。同図において、固体撮像素子（ＣＣＤ）１００はタ
イミング発生手段１０１により駆動され、撮像データを
出力信号として出力する。この出力信号はＡＧＣ手段お
よびサンプルホールド手段１０２によって増幅かつサン
プリングされ、さらにＡ／Ｄ変換手段１０３によってデ
ジタル信号に変換される。そして、このデジタル信号
は、ホワイトバランス手段１０７によってホワイトバラ
ンスが調整され、さらに色補間処理手段１０８によって
前記ＣＣＤ１００上に形成されているカラーフィルタ配
列に対する色補間処理が行われ、かつガンマ補正手段１
０９によりガンマ補正が行われた後、Ｄ／Ａ変換手段１
１１によってアナログ化されたビデオ出力１１２として
出力される。ただしビデオ信号がＮＴＳＣの場合は、Ｄ
／Ａ変換手段１１１にＮＴＳＣカラーエンコーダが含ま
れる。

【０００３】また、このデジタルカメラからのビデオ信
号を取込む装置がパソコンのようなデジタル機器である
場合には、ビデオ信号を取り込む時に信号のディジタル
化が必須であり、前記ビデオ出力１１２をビデオ入力１
１３に接続し、Ａ／Ｄ変換手段１１４によってデジタル
画像を得て出力装置１１５に出力する。ただし、ビデオ
信号がＮＴＳＣカラー信号の場合は、Ａ／Ｄ変換手段１
１４にＮＴＳＣカラーデコーダが含まれる。

【０００４】

【発明が解決しようとする課題】このような従来のデジ
タルカメラでは次のような問題が生じている。第１の問
題点は、デジタル出力信号の帯域が大きく、図８におけ
るＡ／Ｄ変換手段１１４と出力装置１１５の間に高速な
ディジタルインタフェースを用いなければならないこと
である。その理由は、ビデオ信号がＮＴＳＣカラー信号
の場合には、Ａ／Ｄ変換手段１１４はカラー搬送波周波
数の4 倍の周波数14.31818ＭＨｚという高い周波数を必
要とし、Ａ／Ｄ変換手段１１４が８ｂｉｔデータを生成
する場合には14.31818Mbyte/sec の帯域が必要なためで
ある。

【０００５】第２の問題点は、第１の問題点を避けるた
めにカメラ内に画像圧縮符号化手段を含めてホワイトバ
ランス手段１０７、色補間処理手段１０８、ガンマ補正
手段１０９などの色信号処理手段の出力に接続する場
合、標準の圧縮符号化手段では規模や演算量が大きくな
ってしまうことである。その理由は、標準の画像圧縮符
号化技術であるＪＰＥＧやＭＰＥＧは、符号化に規模や
演算量の大きい乗算器を多用するＤＣＴ（離散コサンイ
ン変換）などの複雑な演算を要するためである。

【０００６】第３の問題点は、第２の問題点を避けるた
めに、特開昭５９−７００９１号公報や特開平７−１７
０８８６号公報のようにカラーフィルタを備えたＣＣＤ
から得られる色画像信号をカラーフィルタの各色毎に画
像圧縮符号化を行う場合には、標準の圧縮符号化手段で
は規模や演算量が大きくなってしまい、またＤＰＣＭな
どの画像圧縮符号化方式を用いる場合には、圧縮率と画
質の両立が困難なことである。その理由は、標準の画像
圧縮符号化技術であるＪＰＥＧやＭＰＥＧは、符号化に
規模や演算量の大きい乗算器を多用するＤＣＴなどの複
雑な演算を要するためであり、簡便な画像圧縮符号化方
式であるＤＰＣＭなどでは圧縮率を上げるに従って画質
の劣化が著しいためである。

【０００７】第４の問題点は、第３の問題点において、
ベイヤー配列に従うカラーフィルタを備えたＣＣＤから
得られる色画像信号をカラーフィルタの各色毎に画像符
号化を行う場合には、ベイヤー配列のうち市松状に配置
されている色の画像信号はブロック符号化を適用するの
が困難なことである。その理由は、標準の画像符号化技
術であるＪＰＥＧやＭＰＥＧはＤＣＴを用いたブロック
符号化を行っており、正方格子状に配置された画像信号
以外の市松状に配列されている色の画像信号を圧縮符号
化するには不向きなためである。

【０００８】第５の問題点は、そもそもカメラ側の色信
号処理関連の手段の規模や演算量が大きいことである。
その理由は、カメラ内部にホワイトバランス手段、色補
間処理手段、ガンマ補正手段を含むためであり、回路規
模や演算量、消費電力、カメラ体積の点から不利であ
る。

【０００９】本発明の目的は、固体撮像素子上に形成さ
れたカラーフィルタの配列に適した符号化を比較的少な
い演算により行う手段を備えることにより、回路構成を
簡略化でき、カメラの小型化、低消費電力化を可能にし
たデジタルカメラを提供することにある。

【００１０】

【課題を解決するための手段】本発明は、カラーフィル
タを備えた固体撮像素子と、前記撮像素子の出力信号を
デジタル信号へ変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ
変換手段の出力信号を前記カラーフィルタの各色要素毎
に分離する手段と、分離された各色要素信号をそれぞれ
個別に圧縮符号化する手段を備えるカメラ部を有し、前
記圧縮符号化手段は２つ以上の周波数帯域に信号を分割
し、かつ各周波数帯域の信号を量子化するバンドフィル
タバンクで構成されていることを特徴とする。ここで、
各色要素毎に分割する手段は、ベイヤー配列に従うカラ
ーフィルタのうち市松状に配置されているカラーフィル
タを通した画像信号を、二次元フィルタバンクによって
２つの帯域に信号を分離するように構成される。この場
合、前記各色要素毎に分離する手段は、前記分離された
信号の一方の帯域が、前記市松状のカラーフィルタと異
なる他のカラーフィルタを通した画像信号の帯域と一致
するように構成されることが好ましい。また、前記分離
された２つの帯域の信号を合成する二次元フィルタバン
クを備えることが好ましい。

【００１１】また、本発明のデジタルカメラでは、前記
デジタルカメラのカメラ部で複数の周波数帯域に分割さ
れかつ量子化された信号を逆量子化する手段と、前記複
数の帯域の信号を合成する手段と、合成された信号のホ
ワイトバランスの補正を行う手段と、ホワイトバランス
補正された信号の色補間処理を行う手段と、色補間処理
された信号のガンマ補正を行う手段を備える復号化部を
備える。

【００１２】

【発明の実施の形態】図１は本発明の一実施形態のデジ
タルカメラの全体構成を示すブロック図であり、同図を
用いて概略構成を説明する。同図左側のカメラ部は、固
体撮像素子（ＣＣＤ）１００はタイミング発生手段１０
１により駆動され、ＣＣＤ１００内に蓄積された信号電
荷は、サンプルホールド手段およびゲインコントロール
アンプ（Ｓ／Ｈ，ＡＧＣ）１０２へ出力される。このサ
ンプルホールド手段およびゲインコントロールアンプ１
０２で波形の整形およびゲインの調節が行なわれ、その
後Ａ／Ｄ変換手段１０３に出力される。このＡ／Ｄ変換
手段１０３でデジタル変換されたデジタル信号は色毎の
分離手段１０４へ出力される。この分離手段１０４でカ
ラーフィルタの各色要素赤Ｒ、緑Ｇ、青Ｂの各信号に分
離されそれぞれＲ符号化装置１０５Ｒ、Ｇ符号化装置１
０５Ｇ、Ｂ符号化装置１０５Ｇへ出力される。

【００１３】また、図１の右側の復号化部は、カメラ部
でカラーフィルタの各色毎に分割された信号を合成すべ
く、Ｒ’信号、Ｇ’信号、Ｂ’信号は加算手段１０６に
出力され合成される。この加算手段１０６からの信号は
ホワイトバランス手段１０７に出力され、さらに色補間
処理手段１０８に出力された後、ガンマ補正手段１０９
に出力され、出力画像１１０として出力される。

【００１４】ここで、前記ＣＣＤは異なる色のカラーフ
ィルタが配列されており、図２の例では、市松状に高解
像度が必要な色（緑Ｇ）を配置し、残りの部分に比較的
解像度の要求されない2 種類の色信号（赤Ｒおよび青
Ｂ）を水平列ごとに交互に配置するいわゆるベイヤー配
列のカラーフィルタを示している。ただし、同図ではカ
ラーフィルタに原色である赤Ｒ、緑Ｇ、青Ｂの3 色をベ
イヤー配列で配置した例を示しているが、補色であるシ
アンＣｙ、マゼンタＭｇ、イエローＹｅの組み合わせ
や、原色、補色、または無色の組み合わせであってもよ
い。

【００１５】前記Ｇ符号化装置１０５Ｇと、このＧ符号
化装置により符号化された信号を合成する装置の一例を
図３に示す。前記符号化装置１０５Ｇは、図２に示した
ような市松状に配置されているカラーフィルタを透過し
て得られる緑Ｇ信号は、二次元低域通過フィルタ３０１
と二次元高域通過フィルタ３０２へ出力される。二次元
低域通過フィルタ３０２によって高周波数帯域が除去さ
れた信号はサブサンプリング手段３０３へ出力する。サ
ブサンプリング手段３０３において１／２の情報量に削
減され、緑Ｇの低域信号ＧＬを得る。同様に、二次元高
域通過フィルタ３０２によって低周波数帯域が除去され
た信号はサブサンプリング手段３０４へ出力する。サブ
サンプリング手段３０４において１／２の情報量に削減
され緑Ｇの高域信号ＧＨを得る。

【００１６】また、前記Ｇ符号化装置によって周波数分
離されたＧＬ’信号及びＧＨ’信号は、それぞれアップ
サンプリング手段３０５，３０６に出力され、それぞれ
二次元高域通過フィルタ３０７、二次元低域通過フィル
タ３０８に出力され、加算手段３０９によって合成さ
れ、のＧ’信号として出力される。

【００１７】なお、前記Ｒ符号化装置１０５Ｒ及びＢ符
号化装置１０５Ｂの赤Ｒ信号及び青Ｂ信号と、前記Ｇ符
号化装置１０５Ｇ内で分離された緑高域信号ＧＨ、緑低
域信号ＧＬの４つの信号が基本信号とされ、次に述べる
フィルタバンクによって周波数毎に分割され、量子化
（圧縮、符号化）が行われる。また、逆に周波数毎に分
割された状態のまま逆量子化（伸長、復号化）が行われ
る。

【００１８】前記したＲ，Ｂ，ＧＨ，ＧＬの４つの基本
信号をそれぞれ周波数毎に分割する分析フィルタバンク
の一例を図４及び図５に示す。図４において、前記４つ
の基本信号のいずれかである入力信号Ｘは、二次元低域
通過フィルタ４０１、および二次元高域通過フィルタ４
０２に出力される。二次元低域通過フィルタ４０１にお
いて高周波帯域が除去された信号はサブサンプリング手
段４０３に出力される。さらに、二次元低域通過フィル
タ４０５と二次元高域通過フィルタ４０４で低域周波数
信号、高域周波数信号に分割され、サブサンプリング手
段４０７，４０８でそれぞれサンプリングされる。そし
て、サンプリングされた信号と、前記二次元高域通過フ
ィルタ４０２において低周波数帯域が除去されてサンプ
リング手段４０４でサンプリングされた信号はそれぞれ
量子化手段４０９，４１０，４１１により量子化され、
信号ＸＬＬ、信号ＸＬＨ、信号ＸＨとして出力される。

【００１９】また、この符号化された信号を復号化する
ために、図５において、前記信号ＸＬＬ、信号ＸＬＨ、
信号ＸＨはそれぞれ逆量子化手段４１２，４１３，４１
４に入力され、それぞれアップサンプリング手段４１
５，４１６，４２２に入力される。前記アップサンプリ
ング手段４１５，４１６でサンプリングされた信号はそ
れぞれ二次元高域通過フィルタ４１７及び二次元低域通
過フィルタ４１８に入力され、加算手段４１９において
合成される。さらに、アップサンプリング手段４２０で
サンプリングされた後、二次元高域通過フィルタ４２１
に入力される。また、サンプリング手段４２２でサンプ
リングされた信号は二次元低域通過フィルタ４２３に入
力される。そして、前記各フィルタ４２１，４２３の出
力は加算手段４２４で加算され、合成された信号Ｘ’と
して出力される。

【００２０】また、前記４つの基本信号を周波数毎に分
割する分析フィルタバンクの他の例を図６及び図７に示
す。図６において、前記４つの基本信号のいずれかであ
る入力信号Ｘは、水平低域通過フィルタ５０１、および
水平高域通過フィルタ５０２へ出力される。水平低域通
過フィルタ５０１において高周波帯域が除去された信号
はサブサンプリング手段５０３に入力される。このサン
プリング信号は垂直低域通過フィルタ５０５と垂直高域
通過フィルタ５０６に入力され、それぞれの出力はサブ
サンプリング手段５０９，５１０でサンプリングされ、
各サンプリング信号は量子化手段５１３，５１４で量子
化され、信号ＸＬＬ、信号ＸＬＨ信号として出力され
る。同様に、前記水平高域通過フィルタ５０２において
低周波帯域が除去された信号はサブサンプリング手段５
０４に入力される。このサンプリング信号は垂直低域通
過フィルタ５０７と垂直高域通過フィルタ５０８に入力
され、それぞれの出力はサブサンプリング手段５１１，
５１２でサンプリングされ、各サンプリング信号は量子
化手段５１５，５１６で量子化され、信号ＸＨＬ、信号
ＸＬＨとして出力される。

【００２１】また、この符号化された信号を復号化する
ために、図７において、前記信号ＸＬＬ、信号ＸＬＨ、
信号ＸＨＬ、信号ＸＨＨはそれぞれ逆量子化手段５１
７，５１８，５１９，５２０に入力され、さらにアップ
サンプリング手段５２１，５２２，５２３，５２４に入
力される。そして、アップサンプリング手段５２１，５
２２の各サンプリング信号は、それぞれ垂直高域通過フ
ィルタ５２５および垂直低域通過フィルタ５２６に入力
され、各出力は加算手段５２９において合成される。さ
らにアップサンプリング手段５３１に入力され、水平高
域通過フィルタ５３３に入力される。同様にして、アッ
プサンプリング手段５２３，５２４の各サンプリング信
号は、それぞれ垂直高域通過フィルタ５２７および垂直
低域通過フィルタ５２８に入力され、各出力は加算手段
５３０において合成される。さらにアップサンプリング
手段５３２に入力され、水平低域通過フィルタ５３４に
入力される。そして、前記垂直高域通過フィルタ５３３
と垂直低域通過フィルタ５３４の出力は加算手段５３５
において合成されて信号Ｘ’として出力される。

【００２２】このように、前記構成のデジタルカメラで
は、カメラ部側においてＣＣＤの出力信号はデジタル信
号へ変換した後に、カラーフィルタの各色要素毎に分離
し、分離された各色毎に色信号処理を行う前に圧縮符号
化を行う。この符号化によってデジタル信号の情報量が
削減されるため、出力装置との間に従来のような高速な
ディジタルインタフェースを用いる必要がなくなる。一
方、復号化部側ではカメラ側で符号化された信号を各色
毎に復号化した後に、ホワイトバランス、色補間処理、
ガンマ補正といった処理を行う。したがって、このホワ
イトバランス、色補間処理、ガンマ補正といった色信号
処理関連の手段をカメラ部側に含める必要がなくなるた
め、カメラ部側の手段の規模や演算量が削減され、消費
電力も削減される。また、撮像後にホワイトバランスや
ガンマ補正のパラメータを変更することが可能となる。

【００２３】また、画像圧縮符号化にはサブバンド符号
化を用いているため、構成の簡略化が可能となる。すな
わち、２つ以上の帯域に信号を分割するサブバンドフィ
ルタバンクに用いられているフィルタの一例として、２
つの帯域に信号を分割する２タップの低域通過フィル
タ、および２タップ高域通過フィルタを示す。２タップ低域通過フィルタ｛１，１｝２タップ高域通過フィルタ｛１，−１｝また別の一例として２つの帯域に信号を分割する5 タッ
プの低域通過フィルタ、および３タップ高域通過フィル
タを示す。５タップ低域通過フィルタ｛−１, ２，６，２，−
１｝３タップ高域通過フィルタ｛１，−２，１｝これらの２種類のフィルタのように、サブバンド符号化
ではフィルタに簡単な係数のフィルタを用いることがで
きるため、加減算手段のみでフィルタを構成できる。し
たがって、ＤＣＴで用いられているような複雑な積算手
段が必要なくなり画像圧縮符号化手段や復号化手段の規
模や演算量が削減され消費電力も削減される。

【００２４】さらに、図３に示したように、実施形態で
は、ＣＣＤにおいてベイヤー配列に従うカラーフィルタ
のうち、市松状に配置されている色の画像信号は二次元
フィルタバンクによって２つの帯域に信号を分割する。
その一方の信号の帯域は、他の２色のカラーフィルタを
通した画像信号の帯域と一致する。もう一方の信号は、
他の２色のカラーフィルタを通した画像信号の色補間処
理において解像度の補償や撮像物体の境界に発生する偽
色を抑制するために用いることができる。標準の画像圧
縮符号化方式であるＪＰＥＧやＭＰＥＧでは特定の大き
さの長方形のブロック毎にＤＣＴを行うが、画素が正方
格子状に配置されていない場合には適用することが困難
である。一方、二次元フィルタバンクでは正方格子状以
外に市松状に配置されている画素の周波数帯域分割が容
易である。

【００２５】なお、本発明にかかる符号化、復号化を行
うフィルタバンクの回路構成として、前記実施形態で
は、水平１段、垂直１段の計２段のフィルタバンクを示
したがこれ以上の段数であってもよい。

【００２６】

【発明の効果】以上説明したように本発明は、カラーフ
ィルタの各色要素毎に画像信号を分離し、分離された各
色毎に色信号処理を行う前に符号化するため、デジタル
信号の情報量が削減でき、高速なデジタルインタフェー
スを用いなくてもよいという効果がある。また、サブバ
ンド符号化を用いることにより、フィルタに簡単な係数
のフィルタを用いることができ、加減算手段のみでフィ
ルタを構成できるので、比較的少ない演算量で符号化で
きるという効果がある。さらに、ベイヤー配列に従うカ
ラーフィルタのうち市松状に配置されているカラーフィ
ルタを通した色の画像信号を二次元フィルタバンクによ
って２つの帯域に信号を分離しているので、市松状に配
置されている画素の帯域分割が容易になる。また、カメ
ラ部側に色信号処理関連の手段を含まないために、カメ
ラ側の色信号処理関連の手段の規模を簡易化し、かつそ
の演算量を低減することが可能となる。

【図面の簡単な説明】

【図１】本発明のデジタルカメラの実施形態の全体構成
を示すブロック図である。

【図２】ＣＣＤにおけるカラーフィルタ配列を示す図で
ある。

【図３】Ｇ信号を周波数分割し、再度合成する回路構成
を示すブロック図である。

【図４】本発明にかかる符号化、復号化の回路構成の一
例を示すブロック図のその１である。

【図５】本発明にかかる符号化、復号化の回路構成の一
例を示すブロック図のその２である。

【図６】本発明にかかる符号化、復号化の回路構成の他
の例を示すブロック図のその１である。

【図７】本発明にかかる符号化、復号化の回路構成の他
の例を示すブロック図のその２である。

【図８】従来のデジタルカメラの一例のブロック図であ
る。

【符号の説明】

１００固体撮像素子CCD １０１タイミング発生手段１０２サンプルホールド手段およびゲインコントロー
ルアンプ１０３Ａ／Ｄ変換手段１０４分離手段１０５ＲＲ信号符号化装置１０５ＧＧ信号符号化装置１０５ＢＢ信号符号化装置１０６加算手段１０７ホワイトバランス手段１０８色補間手段１０９ガンマ補正手段１１０出力画像３０１，３０８二次元低域通過フィルタ３０２，３０７二次元高域通過フィルタ３０３，３０４ダウンサンプリング手段３０５，３０６アップサンプリング手段３０９加算手段４０１，４０５二次元低域通過フィルタ４０２，４０６二次元高域通過フィルタ４０３，４０４ダウンサンプリング手段４０７，４０８ダウンサンプリング手段４０９，４１０，４１１量子化手段４１２〜４１４逆量子化手段４１５，４１６，４２０，４２２アップサンプリング
手段４１７，４２１二次元高域通過フィルタ４１８，４２３二次元低域通過フィルタ４１９，４２４加算手段５０１，５３９水平低域通過フィルタ５０２，５３８水平高域通過フィルタ５０３，５０４ダウンサンプリング手段５０５，５０７二次元低域通過フィルタ５０６，５０８二次元高域通過フィルタ５０９〜５１２ダウンサンプリング手段５１３〜５１６量子化手段５１７〜５２０逆量子化手段５２１〜５２４アップサンプリング手段５２５，５２７垂直高域通過フィルタ５２６，５２８垂直低域通過フィルタ５２９，５３０加算手段

Claims

(57)【特許請求の範囲】

【請求項１】カラーフィルタを備えた固体撮像素子
と、前記撮像素子の出力信号をデジタル信号へ変換する
Ａ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力信号を前
記カラーフィルタの各色要素毎に分離する手段と、分離
された各色要素信号をそれぞれ個別に圧縮符号化する手
段を備えるカメラ部を有し、前記圧縮符号化手段は２つ
以上の周波数帯域に信号を分割し、かつ各周波数帯域の
信号を量子化するバンドフィルタバンクで構成されてい
ることを特徴とするデジタルカメラ。
【請求項２】前記各色要素毎に分割する手段は、ベイ
ヤー配列に従うカラーフィルタのうち市松状に配置され
ているカラーフィルタを通した画像信号を、二次元フィ
ルタバンクによって２つの帯域に信号を分離するように
構成される請求項１に記載のデジタルカメラ。
【請求項３】前記各色要素毎に分離する手段は、前記
分離された信号の一方の帯域が、前記市松状のカラーフ
ィルタと異なる他のカラーフィルタを通した画像信号の
帯域と一致する請求項２に記載のデジタルカメラ。
【請求項４】請求項２または３に記載のデジタルカメ
ラにおいて分離された２つの帯域の信号を合成する二次
元フィルタバンクを備える請求項２または３に記載のデ
ジタルカメラ。
【請求項５】請求項１ないし４に記載のデジタルカメ
ラのカメラ部で複数の周波数帯域に分割されかつ量子化
された信号を逆量子化する手段と、前記複数の帯域の信
号を合成する手段と、合成された信号のホワイトバラン
スの補正を行う手段と、ホワイトバランス補正された信
号の色補間処理を行う手段と、色補間処理された信号の
ガンマ補正を行う手段を備える復号化部を備える請求項
１ないし４のいずれかに記載のデジタルカメラ。