JP4243412B2 - 固体撮像装置および信号処理方法 - Google Patents
固体撮像装置および信号処理方法 Download PDFInfo
- Publication number
- JP4243412B2 JP4243412B2 JP2000144634A JP2000144634A JP4243412B2 JP 4243412 B2 JP4243412 B2 JP 4243412B2 JP 2000144634 A JP2000144634 A JP 2000144634A JP 2000144634 A JP2000144634 A JP 2000144634A JP 4243412 B2 JP4243412 B2 JP 4243412B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- color
- pixel
- interpolation
- pixel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Cameras In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および信号処理方法に関し、特に、画素ずらしした、いわゆるハニカム配置した固体撮像素子を用いて撮像し、静止画像および／または動画像を生成するたとえば、ディジタルカメラ、画像入力装置等に用いて好適なものである。
【０００２】
【従来の技術】
従来より静止画と動画とを切り換えて撮像する装置が多数商品化されている。これら商品のうち、民生用の商品には動画と静止画のいずれか一方を主な用途とした商品が多い。動画を主用途とする例としてたとえば、特開平9-233410号公報のディジタルビデオカメラがある。このディジタルビデオカメラは、動画記録中に静止画取込み要求があった場合、静止画を一旦記憶して動画記録が終了すると同時に記憶した静止画を読み出して記録させている。
【０００３】
また、特開平7-67027 号公報の静止画・動画両用カメラは、静止画を主に検討されたカメラである。このカメラは、静止画の単写モードと連写モードのスイッチの投入、切換えが簡単にでき、かつ動画撮影が行われている間でも動画撮影を中止し、自動的または選択により静止画記録を行う機能を有している。
【０００４】
このように静止画および動画に対応するビデオカメラにおいて、動画モードのシャッタ速度は1/60秒に設定されている。静止画モードでの撮影では、屋外の場合手振れや画面の動きによるボケをなくし、蛍光灯下のフリッカーの影響をなくすように検出した撮像出力レベルに応じて露光制御する際にビデオカメラ装置はたとえば、1/100 秒の高速シャッタが切れるように制御される。このような制御を行って使い勝手をよくしたビデオカメラ装置が特開平9-83945 号公報にある。
【０００５】
さらに、動画・静止画の両方ともに高品位な画像を得るには、画素数の多い動画用のプロ仕様の機材が用いられる。プロ仕様の機材としては、業務用またはHDTV（High Definition TeleVision：高精細度テレビジョン）等がある。特開平10-108121 号公報の電子カメラは、撮像手段で撮像した画像情報を画素密度変換手段で表示画面の走査形式に適合した画素密度に変換して動画記録手段と静止画記録手段とにそれぞれ動画像と静止画像とを記録させている。
【０００６】
また、静止画像と動画像とを一つの情報記録媒体に記録する構成として、従来の機器を単に組合せる構成にすると機器が大きくなるので、機器の携帯性および操作性が悪くなるとともに、両画像を所望の品質で記録する困難さも生じることが知られている。これらを改善するように特開平6-315107号公報のディジタルカメラが提案されている。ディジタルカメラは、状態検出手段で検出した状態に応じて動作モードを設定し、駆動手段では設定した動作モードに応じて撮像手段を駆動し格納手段に格納し、この格納手段から読出し手段で画像データを読み出して圧縮手段で動作モードに応じた圧縮を施して書込み手段により情報記録媒体に記録している。
【０００７】
【発明が解決しようとする課題】
ところが、画素ずらしをともなう構成の撮像部を用い、前述してきたように動画・静止画の両方ともに高品位な画像を得ようとしても、従来の撮像部の駆動をそのまま適用できない。したがって、動画・静止画の高品位な画像を得る場合には新たな信号電荷の読出し方法を用いることが思料される。
【０００８】
本発明はこのような従来技術の欠点を解消し、画素ずらし配置でも動画像・静止画像の両方で高品位な画像の得ることのできる固体撮像装置および信号処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を色分解し、この色分解した入射光を光電変換して撮像し、この撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、この装置は、入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントを含む色分解手段、この色分解手段の色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、およびこの受光部の受光素子で光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含む撮像手段と、この撮像手段から供給される信号をディジタル変換して画素データにするディジタル変換手段と、この撮像手段から信号電荷を読み出す複数のモードおよびこの複数のモードに応じて施す信号処理の設定を切り換えるモード設定手段と、画素データに補正を施し、この複数のモードに応じた画像データに対する補間処理を行う補間手段、およびディジタル変換した画像データおよび／または補間処理の施された画像データから得られる輝度信号と色差信号の帯域を広げる処理を行う広帯域化手段を含む信号処理手段とを含み、受光素子の実在する位置から得られる画素を実在画素とし、受光素子の中間の位置の画素を仮想画素とし、補間手段は、補正した画素データを用いて、モード設定手段が設定した静止画像生成のモードに対応したデータを補間生成する第１の補間手段と、補正した画素データを用いて、モード設定手段が設定した動画像生成のモードでの各位置に画素データを対応させてデータを補間する第２の補間手段とを含み、第１の補間手段が生成する高周波成分を含む高周波輝度データと第２の補間手段から得られる色G の色データをモード設定手段の設定に応じて切換え選択する選択手段が広帯域化手段の前に配されることを特徴とする。
【００１０】
本発明の固体撮像装置は、モード設定手段で設定したモードに応じて撮像手段から信号電荷をアナログ信号として読み出し、アナログ信号をディジタル信号に変換してディジタル画像を生成し、このディジタル画像の画素データに信号処理手段で補正を施し、上述したモードに応じて行う補間処理を第１および第２の補間手段のいずれか一方で行い、第１および第２の補間手段をそれぞれ供給元にし、この設定したモードに応じて供給元からの実在画素および／または補間処理した画素データを選択手段で選択し、選択手段を介して供給される処理結果を基に広帯域化処理手段でそれぞれ、輝度信号および色差信号を生成するとともに、生成した輝度信号および色差信号の帯域を高くしている。
【００１１】
また、本発明は上述した課題を解決するために、被写界からの入射光を集光させこの入射光を三原色RGB に色分解する色フィルタセグメントが配された色フィルタを用い、さらに、この入射光を光電変換する複数の受光素子を用意し、この複数の受光素子のそれぞれが、隣接する互いの受光素子に対して各受光素子の幾何学的な形状の中心が互いに行方向および／または列方向に該受光素子のピッチの半分に相当する距離だけずれて配され、この受光素子によって得られた信号電荷を読み出し、ディジタル変換して得られた画像データに施す信号処理方法において、この方法は、撮像した画像に対して設定する複数のモードのうち、静止画または動画のモードを設定するモード設定工程と、色フィルタが一方の色G を正方格子状に配され、この色フィルタの色G を挟んで対角位置に同色R,またはB が配される完全市松パターンにより色分解され、受光素子で得られた信号電荷を読み出す撮像工程と、この得られた信号電荷をディジタル変換して画素データにするディジタル変換工程と、この得られた画素データを記憶させる画像記憶工程と、画素データに補正を施し、この複数のモードに応じた画像データに対する補間処理を行い、ディジタル変換した画像データおよび／または補間処理の施された画像データから得られる輝度信号と色差信号の帯域を広げる処理を行う信号処理工程とを含み、受光素子の実在する位置から得られる画素を実在画素とし、受光素子の中間の位置の画素を仮想画素とし、信号処理工程は、補正した画素データを用いて、設定した静止画像生成のモードに対応したデータを補間生成する第１補間工程と、補正した画素データを用いて、設定した動画像生成のモードでの各位置に画素データを対応させてデータを補間する第２補間工程と、モード設定に応じた処理に用いる供給元を、第１の補間工程で生成した高周波成分を含む高周波輝度データおよび第２の補間工程から得られる色G の色データのいずれか一方を選択する選択工程とを含むことを特徴とする。
【００１２】
本発明の信号処理方法は、静止画または動画のモードに設定した際に撮像を受光素子に行わせ、受光素子に蓄積した信号電荷の読出しを設定したモードに応じて行い、信号電荷をディジタル信号に変換して実在画素の画素データを一時記憶し、これら画素データに補正を施し、補正を設定したモードに応じてデータ補間を行い、静止画生成のモードで高周波輝度データを、動画生成のモードで色G の色データを用いて広帯域化を図ることにより、各モードで形成した画像を高画質化させることができる。特に所定の時間内に画像の形成が要求される動画でも高画質化を可能にする。
【００１３】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１４】
本発明の固体撮像装置は、モード設定部の設定したモードに応じて撮像部から信号電荷をアナログ信号として読み出し、アナログ信号をディジタル信号に変換してディジタル画像を生成し、このディジタル画像の画素データに信号処理部で補正を施し、上述したモードに応じて行う補間処理を第１および第２補間部のいずれか一方で行い、第１および第２補間部をそれぞれ供給元にし、この設定したモードに応じて供給元からの実在画素および／または補間処理した画素データを選択部で選択し、選択部を介して供給される処理結果を基に広帯域化処理部でそれぞれ、輝度信号および色差信号を生成するとともに、生成した輝度信号および色差信号の帯域を高くすることに特徴がある。
【００１５】
本実施例は、本発明の固体撮像装置を適用したディジタルカメラ10について説明する。本発明と直接関係のない部分に関して図面および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１６】
ディジタルカメラ10は、図１に示すように、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、メカニカルシャッタ26、撮像部28、前処理部30、A/D 変換部32、信号処理部34、圧縮／伸張部36、ストレージ部38、および液晶表示部40が備えられている。これら各部を順次説明する。
【００１７】
光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。後述するように操作信号14a は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、システム制御部18からの制御信号18a が信号線16a を介して供給される。
【００１８】
操作部14には、レリーズボタン140 やたとえばモニタ画面に各種の項目を表示させ、表示項目のなかからカーソルを用いて選択する選択機能等がある。操作に部14には、これら各種の機能選択のうち、静止画・動画設定部142 が含まれている。静止画・動画設定部142 は、設定した結果が操作信号14b として出力している。操作部14で選択された操作は操作信号14a, 14bがシステムバス16を介してシステム制御部18に報知される。
【００１９】
システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報14a, 14bとこの ROMが有する情報とを用いて各部の動作を制御する制御信号18a を生成する。システム制御部18は、生成した制御信号18a をシステムバス16を介して上述した光学レンズ系12だけでなく、信号発生部20、タイミング信号発生部22、ドライバ部24、メカニカルシャッタ26、前処理部30、A/D 変換部32、信号処理部34、圧縮／伸張処理部36、ストレージ部38および液晶表示部40にも供給する。
【００２０】
信号発生部20は、ディジタルカメラ10を動作させる基本クロック（システムクロック）20a を発生する発振器（図示せず）を有する。発振器にはたとえば、VCO (Voltage Controlled Oscillator) 方式等が用いられている。また、信号発生部20は基本クロック20a をシステム制御部18、タイミング信号発生部22、および信号処理部34等の基本クロック20a を必要とするほとんどすべてのブロックに供給するとともに、基本クロック20a を分周して様々な信号も生成している。
【００２１】
タイミング信号発生部22は、この基本クロック20a を用い、制御信号18a に基づいて各部の動作をタイミング調節するタイミング信号22a を生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号22a を図１に示すように前処理部30やA/D 変換部32等の各部に出力するとともに、ドライバ部24にも供給する。ドライバ部24は、供給されるタイミング信号22a を用いて、所望の駆動パルス24a を撮像部28に供給する。駆動パルス24a は、静止画用と動画用のモードに対応している。
【００２２】
メカニカルシャッタ26は、操作部14のレリーズボタン140 の押圧操作に応じて動作する。動作順序は、レリーズボタン140 の押圧操作により、たとえば、システムバス16を介して操作信号14a がシステム制御部18に供給され、システム制御部18からの制御信号18a がシステムバス16、および信号線16a を介して供給される。メカニカルシャッタ26はこの順序で動作して制御される。
【００２３】
撮像部28は光学ローパスフィルタ28a および色フィルタ28b が固体撮像素子 (Charge Coupled Device ：CCD ）28c の入射光側に一体的に設けられた単板カラーCCD センサである。これは、光学レンズ系12で結像された光学像が固体撮像素子28c の受光部の各受光素子に到達した光量に応じた出力信号27を出力する。撮像部28については後段でさらに詳述する。
【００２４】
撮像素子には、CCD （電荷結合素子）や後段で示すMOS （Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部28では、供給される駆動信号24a に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、垂直ブランキング期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給される。この水平転送路を経た信号電荷は図示しない出力回路による電流／電圧変換によってアナログ電圧信号29にされて前処理部30に出力される。固体撮像素子28c は、CCD タイプでは信号電荷の読出しモードに応じて間引き読出しや全画素読出しを用いる。これらの信号読出し方式についてはさらに後段で詳述する。
【００２５】
前処理部30は、撮像部28とA/D 変換部32との間に相関二重サンプリング部を設けてノイズ除去を行ってもよい。また、ここで、ガンマ変換を行ってもよい。撮像信号29からノイズ成分を除去してアナログ出力信号31がA/D 変換部32に送られる。A/D 変換部32は、供給されるアナログ信号31の信号レベルを所定の量子化レベルにより量子化してディジタル信号33に変換するA/D 変換器を有する。A/D 変換部32は、タイミング信号発生部22から供給される変換クロック等のタイミング信号22a により変換したディジタル信号33を信号処理部34に出力する。
【００２６】
信号処理部34には、フレームメモリ機能を有するデータ補正部34a 、補間処理部34b 、および広帯域化処理部34c が含まれる。さらに、データ補正部34a には、図示しないがバッファ機能としてフレームメモリおよび補正処理部が含まれている。補正処理部は、ガンマ補正やホワイトバランス等の調整を行う機能を有する。ここでのガンマ補正は、消費電力や回路規模を小さくして信号処理のビット数を低減すること等も可能にしている。このガンマ補正処理をたとえば、前処理部30ですでに行っている場合、省略する。A/D 変換部32から供給される画像データ33がデータ補正部34a のフレームメモリに供給され、そこに記憶される。フレームメモリは、読み出す領域をずらしながら繰り返して画素データを読み出すことから、非破壊型のメモリを用いると有利である。また、フレームメモリには、システム制御部18からの制御信号18a に含まれる書込み／読出しイネーブル信号、クロック信号等の制御に関わる信号をまとめた制御信号（図示せず）が供給されている。データ補正部34a は、処理として、たとえば、各色フィルタに対応した画像データのレベルを後段の信号処理に適したレベルに合わせるため各色フィルタごとにゲイン調整も行っている。また、データ補正部34a は、記憶した画像データを所定の順序で画像データ42を補間処理部34b に出力する。
【００２７】
補間処理部34b は、本実施例では静止画補間部44および動画補間部46を含んでいる。静止画補間部44は、図２に示すように、輝度補間展開部44a および色補間展開部44b を備えている。静止画補間部44は、供給される受光素子からの画素データ42を用いて受光素子の実在する実在画素および実在画素の中間に位置する仮想画素において高域成分を含む高周波輝度データYHおよび三原色データを補間生成する機能を有する。輝度補間展開部44a は、実在画素の位置に対応する高周波輝度データYHを作成する高周波輝度データ作成部440 と、作成した実在画素の高周波輝度データYHを用いて仮想画素の位置に対応する高周波輝度データYHを作成する輝度データ補間処理部442 とを有する。
【００２８】
高周波輝度データ作成部440 は、データ補正部34a から供給される画素データ42を用いてたとえば、供給される色に対する相関関係がどの方向にあるか検出し、検出結果に応じた高周波輝度データYH (47) を生成し、輝度データ補間処理部442 に供給する。輝度データ補間処理部442 は、供給される高周波輝度データYH (47) に基づいて実在画素の位置における高周波輝度データYHを補間により作成して実在画素および仮想画素すべての位置での高周波輝度データYH (50a ) を出力する。
【００２９】
色補間展開部44b は、仮想画素および実在画素の対応していない色に対して実在画素の色配置を考慮して補間処理を行い、画面全体の三原色データを生成する機能を有する。このため、色補間展開部44b には、各色ごとの補間展開部がある。これがR 補間展開部444 、G 補間展開部446 、およびB 補間展開部448 である。各補間展開部444, 446, 448 は三原色データ42R, 42G, 42B を入力し、それぞれで補間展開処理を行うことにより実在画素および仮想画素すべての位置で色データを生成しRGB 同時化処理を行って三原色データ50b, 50c, 50d を広帯域化処理部34c に出力する。これらの高周波輝度データYHおよび三原色データRGB の補間処理については後段で詳述する。
【００３０】
動画補間部46には、図３に示すように、アドレス制御部460 またはアドレス制御部460 およびRB演算部462 が備えられている。アドレス制御部460 は、システム制御部18から信号線18a 、システムバス16、および信号線18b を介して供給される制御信号180 に応じてデータ補正部34a のフレームメモリに読出しアドレス制御信号182 を供給している（図３を参照）。図１ではアドレス制御信号182 は図面の煩雑さを避けるため図示していない。動画補間部46がイネーブルなとき、データ補正部34a から読み出される画素データは単に読み出されるのではなく、読出しアドレス制御信号182 に対応した画素データである。このため、読み出される画素データは図１に示した画素データ42と別に図３では画素データ42S とする。後段で詳述するが、読み出した画素データは色G の周囲に位置する別な色の画素データを２つずつ組み合わせて色G の位置の画素データとして扱う。これに応じるように、実在画素色G だけでなく、たとえばこの色G のラインの上または下のラインの色R, Bが読み出される。そして、色R, Bがこの色G の位置における色R, Bとして用いられる。アドレス制御部460 は、この場合、サンプリング制御する部分と同じ機能を発揮することになる。この他、別にサンプリング回路を設けてもよい。
【００３１】
また、アドレス制御部460 およびRB演算部462 がともに用いられる構成でもよい。この場合、アドレス制御部460 は、色G を挟んだ上下のラインを読み出すようにアドレス制御する。したがって、１ライン形成するために計３ラインが用いられる。RB演算部462 は読み出した色G を挟んで対角に位置する画素データの色R, Bを同色同士の加算平均し、得られた色R, Bの画素データを中央ラインの色G の位置における色R, Bとする。
【００３２】
再び図１に戻って、静止画補間部44は、生成した高周波輝度データYHを選択スイッチ48の端子a に出力する。また、動画補間部46は、生成した色G を選択スイッチ48の端子b に出力するとともに、広帯域化処理部34c にも供給する。静止画補間部44と動画補間部46は、同時に動作しないので、静止画補間部44と動画補間部46からの三原色データRGB が各色ごとに共通接続にし、広帯域化処理部34c に供給している。
【００３３】
選択スイッチ48は、選択したデータを端子c を介して供給先に送る選択機能を有する。選択スイッチ48には信号線18b を介して選択信号51が供給され、静止画補間部44と動画補間部46の動作選択を行う。この選択スイッチ48は、選択したデータ52を広帯域化処理部34c に送る。
【００３４】
広帯域化処理部34c には、ハイパスフィルタ回路54、切換スイッチ54a 、加算部56、色差マトリクス部58、およびアパーチャ調整部60が備えられている（図４を参照）。ハイパスフィルタ回路（以下、HPF という）54は、供給されるデータ52が含む高周波成分を抽出するフィルタである。HPF 54は、抽出した高周波成分を加算部56に出力する。切換スイッチ54a は色G に関するHPF 54と加算部56の間に配設する。これにより、高周波成分は色R, Bに供給され、色G には直接的に高周波成分が供給されないように構成する。ここで、切換スイッチ54a には、システム制御部18から切換制御信号184 が供給される。切換制御信号184 は静止画のモード設定で切換スイッチ54a を端子57a 側に切り換えさせ、動画のモード設定で切換スイッチ54a を端子57b 側に切り換えさせる。この切換動作により、静止画の対応モードでは、加算器562 に高周波成分Yhが供給され、動画の対応モードでは、加算器562 には高周波成分Ghが供給されるのではなく、ゼロレベルの信号が供給されることになる。
【００３５】
加算部56は、三原色に対応して３つの加算器560, 562, 564 がある。加算器560, 562, 564 の一端560a, 562a, 564aにはそれぞれ、三原色データRGB が供給されている。また、加算器560, 562, 564 の他端560b, 562b, 564bには高周波成分が供給されている。加算部56は、静止画のモードで三原色RGB のそれぞれに高周波成分Yhを加算することにより三原色データを広帯域化する。また、加算部56は、動画のモードで色R, Bに対して高周波成分を加算して広帯域化し、色G に対して前述したように加算されないそのままの画素データを用いる。しかしながら、色G の画素データ自体には高周波成分が含まれているので広帯域化されているとみなすことができる。
【００３６】
ところで、この広帯域化は、静止画ではこれまで行われている（アウトオブY ）。上述したように動画に対して、本実施例は色G のデータを高周波輝度データYHの代わりに用いる。このように色G を用いて高周波成分Ghを三原色データのうち、色R, Bに加算する方式をいわゆる、アウトオブグリーン方式と呼ぶ。
【００３７】
色差マトリクス部58は、広帯域化した三原色データを用いて輝度データY 、色差データCr, Cbを生成している。色差マトリクス部58は、ここで行うマトリクス演算にはこれまで用いてきた従来の算出式を用いている。また、色差マトリクス部58は、生成した輝度データY をアパーチャ調整部60に出力する。アパーチャ調整部60は、輪郭強調処理を施して出力する。このようにして生成した輝度データY 、色差データCr, Cbを信号処理部34から圧縮／伸張処理部36に供給される。
【００３８】
図１に戻って圧縮／伸張処理部36は、信号処理部34から供給された１フレーム分の輝度データと色差データを一時的に記憶するフレームメモリと、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。ここで、フレームメモリは、信号処理部34のフレームメモリと兼用してもよい。ここで、複数のフレームメモリを所有すると、動画の記録、すなわち連写等の処理において有利である。また、圧縮はJPEGに限定されるものでなく、MPEG（Moving Picture coding Experts Group ）や動画像の１枚いちまいのフレームにJPEGを適用するモーションJPEG等の圧縮方法がある。
【００３９】
圧縮／伸張処理部36は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介してストレージ部38に供給する。圧縮／伸張処理部36は、供給される輝度データY 、色差データCr, Cbをシステム制御部18の制御によりスルーさせてシステムバス16に供給したり、または信号処理部82からの信号をシステムバス16を介して液晶表示部40に供給することもできる。圧縮／伸張処理部36が伸張処理を行う場合、逆にストレージ部38から読み出したデータをシステムバス16を介して圧縮／伸張処理部36に取り込んで処理する。ここで処理されたデータはフレームメモリに記憶された後、システム制御部18の制御により圧縮／伸張処理部36は、所要の順序でフレームメモリのデータを読み出し、液晶表示部40に供給して表示させる。
【００４０】
ストレージ部38は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。液晶表示部40は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００４１】
次にディジタルカメラ10の動作を説明する前に、撮像部28について簡単に説明する。撮像部28には、光学ローパスフィルタ28a 、色フィルタ28b 、および固体撮像素子28c が入射光の側から順次に一体的に配設形成されている。色フィルタ28b は、単板である。色フィルタ28b の色フィルタセグメント62と受光素子64とは、一対一の対応関係にある。色フィルタ28b は、たとえば、図５に示すような三原色RGB の色フィルタセグメント62が配置されている。この色フィルタセグメントの配置パターンは、色G が正方格子状に配され、さらに色G を挟んで対角位置に同色R,または Bが配される完全市松に配するパターンである。
【００４２】
この色パターンは、以後、図５の色フィルタ配置はハニカム型G 正方格子RB完全市松パターンという。図５に示した画素数は、14個のうち、本来の色G が６個、色R, Bがそれぞれ４個ずつである。上述した色G の正方格子状とは、画素の形状を示すものでなく、画素の配置形状を示している。画素の形状は、多角形でたとえば四角形、六角形、八角形等がある。
【００４３】
また、図６に示すように、色フィルタセグメント62（および受光素子64）は、隣接する互いの配置位置に対して各色フィルタセグメント62（および受光素子64）の幾何学的な形状の中心が互いに行方向および列方向にこの色フィルタセグメント62（および受光素子64）のピッチPPの半分に相当する距離だけずれて配されている。また、受光素子64は、２次元に配され、色フィルタ28b を透過した光を光電変換している。受光素子64の存在する位置から得られる画素を実在画素、受光素子64間の中間または画素中心の位置に新たに仮想的な画素を設けて仮想画素としている。
【００４４】
次にディジタルカメラ10の動作について説明する。必要に応じて前述の構成で用いた図面も参照する。ディジタルカメラ10は、たとえば、図７に示す撮影におけるメインフローチャートに従って動作する。ディジタルカメラ10での動作をどのようなモードにするかオペレータであるユーザ自身が設定する（ステップS10 ）。モードには、複数あり、たとえば、静止画撮影モード、動画（ムービー）モード、図示しないが、インデックス表示モード、および高画質表示モード等がある。このいずれかをオペレータは設定して選択した設定モードが操作部14からシステム制御部18に供給される。システム制御部18は、この設定モードや他の条件を踏まえて、ディジタルカメラ10を撮影可能状態にする。この後、ステップS12 に進む。
【００４５】
次に被写界の撮影を行う（ステップS12 ：撮像工程）。この段階の直前には、レリーズボタン140 を半押しして露光・測距を行って適正な露光およびピント調節が行われている。この後、オペレータは、所望のタイミングでレリーズボタン140 を完全に押圧して被写界の撮像を行う。撮像部28では、光学レンズ系12を介して供給される入射光が単板の色フィルタ28b により色分解される。この色分解された光が撮像部28のハニカム型に２次元配列された受光素子64に供給される。色フィルタ28b は、図５に示したハニカム型G 正方（格子）RB完全市松パターンである。受光素子64は、それぞれ色フィルタセグメント62を透過した光を受光し、光電変換している。光電変換された信号電荷は、撮像部28の垂直転送レジスタ、水平転送レジスタ（ともに図示せず）を介して各受光素子64で検出した画素データとして出力する。撮像部28では、電流形態の検出した信号電荷を電圧で表すことができるようにI/V 変換が行われ、前処理部30、を介してA/D 変換部32に出力される。
【００４６】
次に撮像部28から供給された信号レベルを量子化してビット情報として扱えるディジタル信号、すなわち画像データに変換する（ステップS14 ）。この変換処理の後、ただちに画像データは、データ補正部34a のフレームメモリに供給される。
【００４７】
次にこのフレームメモリに画像データを一時記憶させる（ステップS16 ）。この画像データの供給において、システム制御部18の制御およびアドレス制御部460 の制御により所定のアドレスに、たとえば、画像単位で画像データが書き込まれる。アドレス制御部460 は、システム制御部18により制御されている。フレームメモリには、複数の撮像された画像データを格納することができる。この撮影の前にすでに撮影された画像が記憶されていてもよい。
【００４８】
次にステップS18 に進む。ここでは、予め設定したモードが動画モードかどうかを判定している。動画、すなわち所定の時間内に表示させるモードが設定されている場合（YES ）、サブルーチンSUB1に進む。また、動画モードが設定されていない場合（NO）、静止画モードと判断してサブルーチンSUB2に進む。このモードの設定は、ステップS10 で行ったモードをシステム制御部18で検出・判定することにとって行われる。結果として、フレームメモリからの画像データの読出しは、このシステム制御部18の判定に応じて読み出されることになる。読出しは異なるが供給される画素データは、データ補正部34a から補間処理部34b の静止画補間部44と動画補間部46とにそれぞれ供給されている。
【００４９】
システム制御部18は、判定結果に応じて制御信号180, 184を供給して静止画補間部44と動画補間部46のいずれか一方をイネーブルにする。このイネーブルによって結果的に出力先選択が行われたことになる。
【００５０】
サブルーチンSUB1では、アドレス制御に応じて出力させた画像データに基づいて動画用の補間信号処理が施される。この場合、動画補間部46では、演算処理のような時間を要する処理を行わずにデータ補正部34a のフレームメモリから画像データ42を読み出して色G の位置に基づいて周囲の色R, Bを組み合わせてまとめ、広帯域化処理部34c に出力する。この処理については後段で詳述する。
【００５１】
また、サブルーチンSUB2では、データ補正部34a のフレームメモリから読み出した画像データに基づいて静止画用の補間信号処理が施される。後段で詳述するが、この信号処理で、ハニカム型G 正方格子RB完全市松パターンにおいて効果的な解像度を高める処理が施される。サブルーチンSUB1, SUB2では、それぞれの信号処理により全く異なる処理を受けた三原色データが静止画補間部44と動画補間部46からそれぞれ広帯域化処理部34c に出力される。静止画補間部44は、生成した高周波輝度データYHを選択スイッチ48の端子a に供給する。選択スイッチ48の端子b には動画補間部46から出力された色データG が供給される。
【００５２】
次に選択スイッチ48による高周波輝度データYHと色データG のいずれか一方を選択する（ステップS20 ）。すなわち、色データG を選択する場合（YES ）、動画用広帯域化処理に進む（サブルーチンSUB3）。また、色データG を選択しない場合（NO）、選択スイッチ48の端子a 側を介して高周波輝度データYHを選択し、静止画用広帯域化処理に進む（サブルーチンSUB4）。
【００５３】
サブルーチンSUB3、SUB4ではそれぞれ選択したデータを用いて生成する輝度データY 、色差データ（B-Y ), (R-Y ）を広帯域化し得られた輝度データY に対してアパーチャ調整を施している。さらにこれら広帯域化した３つの信号の各帯域をそれぞれ通すフィルタ処理を施してもよい。このようにして得られた画像データのうち、間引いた画像データが、図示していないが設定モードにかかわらず、液晶表示部40に供給され、表示される。
【００５４】
次に信号処理により得られた画像データに対して圧縮処理を施す（ステップS22 ）。圧縮処理もあらわに図示していないが、動画モードでは、１フレームごとに圧縮処理を施すモーションJPEG（Joint Photographic coding Experts Group ）あるいはMPEG（Moving Picture coding Experts Group ）などで処理される。また、静止画モードではJPEG等が圧縮信号処理として適用される。
【００５５】
そして、この圧縮処理が施された画像データは、ストレージ部38の記録再生装置に装着された記録媒体に記録保存される（ステップS24 ）。
【００５６】
最後に、ディジタルカメラ10の動作を終了させるかどうかを判定する。まだ動作を継続するとき（NO）、ステップS12 に戻って一連の処理を継続する。また、動作を終了するとき（YES ）、ディジタルカメラ10の電源をオフにする。このように受光素子がハニカム型に配置された撮像部を有するディジタルカメラ10には、これまでと同様に静止画モードで良好な画質を提供するだけでなく、動画モードでも適切な信号処理を選択し処理することにより、所定の時間内に画質も向上した画像を表示・記録させることができ、よりユーザの要求を満足させることができるようになる。
【００５７】
次に動画補間部46の補間処理についてサブルーチンSUB1を説明する。３つの色RGB において、色G の位置の色として用いる色R, Bで三角形を形成し、この三角形の色G の頂点の向きに基づいてサンプリングにおけるデータの組合せの形態を選択する。この組合せの形態には、ひとまとめにみなす三角形の形状が４通りある。予めこの組合せの形態の設定は、たとえば、４つのうち、一つの組合せをデフォルトで設定しており、その他の３つの組合せは、たとえば、モード設定の段階で設定できるようにしておく。サブルーチンSUB1では、最初にどの組合せが設定されているか判定していく。
【００５８】
まず、サブステップSS10では、三角形の頂点に位置する色G が下側にあるか判定する。下側にあるとき（YES ）、サブステップSS12に進む。また、この状態にないと判定されたとき（NO）、サブステップSS14に進む。
【００５９】
サブステップSS12では、色R, Bの受光素子（以後、画素という）が色G の画素の上側に横並びになっている。この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がデータ補正部34a のフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、図9(b)のように組合せでまとめられたパターンが形成される。すなわち、色G11 に対して色R00, B02をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色B02, R04をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６０】
サブステップSS14では、三角形の頂点に位置する色G が上側にあるか判定する。上側にあるとき（YES ）、サブステップSS16に進む。また、この状態にないと判定されたとき（NO）、サブステップSS18に進む。
【００６１】
サブステップSS16では、色R, Bの画素が色G の画素の下側に横並びになっている。この場合も、この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、色G11 に対して色B20, R22をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色R22, B24をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６２】
サブステップSS18では、三角形の頂点に位置する色G が右側にあるか判定する。右側にあるとき（YES ）、サブステップSS20に進む。また、この状態にないと判定されたとき（NO）、サブステップSS22に進む。
【００６３】
サブステップSS20では、色R, Bの画素が色G の画素の左側に縦並びになっている。この場合も、この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、色G11 に対して色R00, B20をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色B02, R22をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６４】
さらに、サブステップSS22では、三角形の頂点に位置する色G が左側にあるか判定する。左側にあるとき（YES ）、サブステップSS24に進む。また、この状態にないと判定されたとき（NO）、該当する設定でないとしてリターンに移行する。
【００６５】
サブステップSS24では、色R, Bの画素が色G の画素の右側に縦並びになっている。この場合も、この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、色G11 に対して色B02, R22をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色R04, B24をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６６】
このようにしてデータ補正部34a のフレームメモリから画像データを読み出すパターンの関係が判ったとき、各設定で画像の読出しが完了したかどうかの判定を行う（各サブステップSS26, SS28, SS30, SS32）。まだ読出し完了していない場合（NO）、それぞれ１ステップ前のサブステップSS12, SS16, SS20, SS24に戻って画像データの読出しを継続する。一方、読出しがすべて完了している場合（YES ）、リターンに移行する。この処理によって画像データは、総画素数の半分の画素データとして読み出される。このパターンでは、読出し画素数が色G の配設されている画素数に同じになる。本実施例では、本来得られた画像データに何等演算を施すことなく画像データの読出しが行われる。この結果、読み出す速度は、前述した３画素（RGB ）をひとまとめとして高速に読み出す場合と同程度の読出し速度を維持しながら、総画素数に対する読出し画素数を半分の減少に抑えて読み出すことができる。これにより、解像度の面で従来の総画素数の1/3 しか読み出せなかった場合よりも向上させることができる。
【００６７】
ところで、色分解フィルタCFのハニカム型G 正方格子RB完全市松パターンで撮像した信号を空間周波数で表すと、図10に示すように各色は分布している。すなわち、色R, Bの周波数分布は、正方形を45°回転させた分布になる。この分布は、斜め方向のサンプル周波数が低いことを示している。このため、この画像データを用いて得られる画像には、斜め方法での折り返し歪みによる偽信号が発生し易い。なお、色G の空間周波数の分布は、正方格子状に配設されていることから、色R, Bの周波数分布を内包する正方形の分布になる。
【００６８】
このような偽信号の発生に対処しながら、高速に画像データを読み出す構成を前述した実施例の変形例として説明する。この場合、動画補間部46には、アドレス制御部460 だけでなく、RB演算部462 も設ける（図３を参照）。RB演算部462 は、色G の周囲に位置する色R, Bの画素データを用い、これらの画素データに演算を施す演算部である。したがって、図３に示すようにRB演算部462 は、供給される画素データ42S のうち、色G の画素データをそのまま広帯域化処理部34c にスルーさせ、色R, Bの画素データだけをそれぞれ入力させている。
【００６９】
この演算は、色G を挟んで対角に位置する画素データ（この場合同色同士）を加算し、その平均をとる、いわゆる加算平均処理を行っている。このとき、この加算平均によって得られる画素は、それぞれ色G とともに、ひとまとめのグループとして扱う色R, Bの画素データである。結果として色G 画素における色R, B画素と同じことを意味する。具体的に例示すると、図11に示す関係になる。すなわち、色G11 を挟んで位置する色R00, R22と色B02, B20および色G13 を挟んで位置する色B02, B24と色R04, R22を用いて演算する（図11(a) を参照）。最終的に、色G の位置の色R, Bの画素データとなることから、これを識別するため、得られた画素データを小文字r, bで表すとともに、添字を色G の数値と同じにする（図11(b) を参照）。したがって、演算は、
【００７０】
【数１】
r11 ＝(R00＋R22 )/2
b11 ＝(B02＋B20 )/2 ・・・(1a)
r13 ＝(R04＋R22 )/2
b13 ＝(B02＋B24 )/2 ・・・(1b)
と表される。換言すると、画素データr11 は、新たに算出された色R00 と言える。同様に、画素データb11, b13, r13 は、それぞれ算出された色B02, B02, R04 である。ここで特徴的な点は、色B02, B02と同じ位置についての算出でありながら、扱うグループが異なっている点である。このように一つのグループには、隣接する画素が少なくとも１つないし２つの重なりが含まれている。１つの重なりは、境界近傍の値の場合であり、２つの重なりは、その境界として扱う画素よりも内側に位置する場合である。このように算出した画素データを広帯域化処理部34c に出力する。
【００７１】
これらの算出された色R, Bの画素データを用いると、原信号に対してローパス効果が発揮され、色R, Bの信号のS/N も改善されることになる。これにより、ハニカム型G 正方格子RB完全市松パターンでの偽信号の発生が抑制される。また、ここでの演算は単純な加算平均だけなので、図示しないが加算器とビットシフトさせるハードウェア構成で容易に実現させることができる。ハードウェアによる演算であるので、ソフトウェア的な演算に比べて高速な処理が可能になる。さらに、前述の構成でも述べたように、輝度信号の生成に用いる最も重要な色G をそのままスルーさせて、何等変更を加えないことから、このモードで広帯域化する際に得られる輝度データY の生成における忠実度を維持し、かつ最終的に扱える画素数も色G の数だけ確保することができる。これにより。偽色改善と輝度信号の向上が図れるので、先の実施例に比べて画質を向上させることができる。
【００７２】
次に静止画補間部44における補間処理の手順を説明する（サブルーチンSUB2：図12を参照）。静止画補間部44はサブルーチンSUB5、SUB6およびSUB7の順に動作させている。サブルーチンSUB5では実在画素から得られる色を考慮して市松状に高周波成分を含む高周波輝度データYHを作成する。サブルーチンSUB5では、あらかじめ設定されたモードに従って後述するように高周波輝度データ作成部440 で高周波輝度データYHを算出する。サブルーチンSUB6では、得られた高周波輝度データYHに基づいて仮想画素での高周波輝度データYHを生成する。また、サブルーチンSUB6は、供給される三原色データをそれぞれ用いて補間することにより実在画素および仮想画素のすべてにおいて三原色データを生成するプレーン展開処理を行っている。
【００７３】
各サブルーチンSUB5、SUB6およびSUB7の動作を順に説明する。図13に示すサブルーチンSUB5において、高周波輝度データ作成部440 はまず、モードが適応処理モードかどうか判別する（サブステップSS500 ）。モードが適応処理モードでなかった場合（NO）、接続子B を介して図14のサブステップSS502 に進む。また、適応処理モードの場合（YES ）、サブステップSS501 に進む。サブステップSS501 では、斜め相関処理を行うかどうか選択を行う。斜め相関処理を行う場合（YES ）、サブステップSS504 に進む。また、斜め相関処理を行わない場合（NO）、サブステップSS510 に進む。
【００７４】
上述したサブステップSS502 では、適応処理モードと関係なく輝度データの算出が行われる。この処理を行うにあたり撮像部28の固体撮像素子28c が本来図15(a) に示すように２次元配列されている。ここで、添字は、各受光素子の画素としての位置を行列表現で表した際の位置である。また、実在画素は実線で、仮想画素は、破線で表している。基本的に高周波輝度データYHは、画素データG と画素データR, Bを用いて（0.5*R+0.5B）で算出できることが知られている。この場合も画素データG は、そのまま輝度データとみなして扱われる（画素データG=輝度データ）。また、画素データR, Bによる高周波輝度データは、実在画素の色がG でなくR/B の場合に、たとえば図15(a) の画素データR22 の位置に対する高周波輝度データYH22は、画素データR22 とその周囲に位置する画素データB の４画素、すなわち画素データB02, B20, B24, B42を用いて
【００７５】
【数２】
YH22＝R22/2 ＋(B02＋B20 ＋B24 ＋B42)/8 ・・・(2)
から得られる。また、画素データB24 の位置に対応する高周波輝度データYH24は、画素データB24 とその周囲に位置する画素データR の４画素、すなわち画素データR04, R22, R26, R44を用いて
【００７６】
【数３】
YH24＝B24 /2＋(R04＋R22 ＋R26 ＋R44)/8 ・・・(3)
から得られる。各画素に対してこの演算を行って高周波輝度データYHを求めている。このようにして得られた結果、図15(b) に示す輝度データの市松状のパターンが得られる。なお、このような演算は、斜め方向、垂直方向および水平方向のに相関がないときにも行われる。この処理の後、サブステップSS530 に進む。
【００７７】
ところで、サブステップSS504 では、比較データの算出を行う。比較データは、たとえば適応処理を施す対象の画素データを中心にしてその周囲の画素データがどの方向に相関しているかの判別に用いる。たとえば、その対象の画素データがR22 の場合、比較データAGは、周囲の画素データG11, G13, G31, G33を用いて、
【００７８】
【数４】
AG＝｜G11 ＋G33 −(G13＋G31)｜ ・・・(4)
から得られる。画素データがB の場合も周囲の画素データG から算出する。この算出により、左右のいずれか一方に傾きを有する大きい方の値が比較データAGとして得られることになる。この演算の後、サブステップSS506 に進む。
【００７９】
サブステップSS506 では、対象の画素データを挟んで斜めに位置する画素データに相関（すなわち、斜め相関）があるかどうか判定を行う。この判定には、判定基準値としてJ1が設定されている。比較データAGが判定基準値J1以上に大きいとき（YES ）、サブステップSS508 に進む。また、比較データAGが判定基準値J1よりも小さいとき（NO）、サブステップSS510 に進む。
【００８０】
サブステップSS508 では、比較データAGの算出に用いた４つの画素データG を平均して高周波輝度データYHを算出する。この斜め相関により少なくとも図示しないが６パターンが画素データR ＝R22 に対して判別されることになる。ところで、この場合でも、偽色を発生させてしまうおそれがある。そこで、このおそれのある画素の境界近傍に位置する画素データR における画質は高周波輝度データYHを上述した演算により算出すると、画像全体として見た際に色境界での偽色の発生を良好に抑圧することができる。具体的な説明を省略するが画素データB ＝B24 に対してもサブステップSS506, SS508と同様に比較データを算出し斜め相関の有無に基づいた適応的な高周波輝度データYHを作成することができる。この処理の後、接続子C を介して図14のサブステップSS530 に進む。
【００８１】
前述したようにサブステップSS510 では、画素データR ＝R22 に対する垂直方向の比較データABRVと水平方向の比較データABRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて
【００８２】
【数５】
ABRV＝｜B02 −B42 ｜ ・・・(5a)
ABRH＝｜B20 −B24 ｜ ・・・(5b)
を算出する。この処理の後、サブステップSS511 に進む。
【００８３】
サブステップSS511 では、算出した比較データABRV, ABRHの値を用いてさらに相関値（ABRH−ABRV）, （ABRV−ABRH）が算出された際に、新たに設けられた所定の判定基準値J2よりもこれら相関値のそれぞれがともに小さいとき（YES ）、水平および垂直方向に相関がないと判断して接続子B を介してサブステップSS502 に進む。また、上述した条件が満たされないとき（NO) 、何らかの相関があるとしてサブステップSS512 に進む。また、この段階で処理を終了する場合、図示しないが接続子C を介してサブステップSS530 に進んでもよい。
【００８４】
サブステップSS512 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ2a が設定されている。比較データABRHと比較データABRVの差が判定基準値J2a 以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS514 に進む。また、比較データの差(ABRH −ABRV) が判定基準値J2a よりも小さいとき（NO）、垂直相関がないものとみなしサブステップSS516 に進む。
【００８５】
サブステップSS514 では、相関のあるとは画素データ同士の値が近いことを意味するから、画素データB02, B42を用いて高周波輝度データYHを算出する。この場合、高周波輝度データYH22は、
【００８６】
【数６】
YH22 ＝R22/2 ＋(B02＋B42 )/4 ・・・(6)
により得られる。この後、この画素データにおける高周波輝度データYHの算出を終了したものとみなして接続子C を介してサブステップSS530 に進む。
【００８７】
次にサブステップSS516 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う。この判定には、判定基準値として前述したJ2b を用いる。比較データABRVと比較データABRHの差が判定基準値J2b 以上に大きいとき（YES ）、水平相関があると判定してサブステップSS418 に進む。また、比較データの差（ABRV−ABRH) が判定基準値J2b よりも小さいとき（NO）、水平相関がないと判定し、接続子D を介してサブステップSS519 に進む。
【００８８】
サブステップSS518 では、相関のあるとして画素データB20, B24を用いて高周波輝度データYHを算出する。この場合、輝度データYH22は、
【００８９】
【数７】
YH22＝R22/2 ＋(B20＋B24 )/4 ・・・(7)
により得られる。この後、この画素データにおける高周波輝度データYHの算出を終了したものとみなして接続子C を介してサブステップSS530 に進む。
【００９０】
次に接続子D を介してサブステップSS519 では、たとえば、色R の画素に対する周囲の色B の画素の相関判定を行うかどうかを選択する。色R の画素が周囲の色B の画素の中央位置に配されているので、サブステップSS512, SS516における画素間の距離が短い。したがって、より狭い範囲に対して相関があるかどうかの判定を以後の処理で行うことになる。この相関判定を行う場合（YES ）、サブステップSS520 に進む。また、この相関判定を行わない場合（NO）、サブステップSS502 に進む。この場合、判定基準値J2と異なる判定基準値J2a, J2bのいずれの基準を満たさなかったものと判定される。なお、以後の処理を行わない処理手順にしてもよい。この場合、単に接続子D を介してサブステップSS502 に進む。
【００９１】
サブステップSS520 では、再び比較データを算出する。この場合の比較データは、対象の画素データと周囲の画素データの各相関を求め、得られた各相関値を加算することにより垂直方向および水平方向に対する算出がされる。前述の場合と同様に画素データR22 に対する高周波輝度データYHの算出は、垂直方向の比較データACRVと水平方向の比較データACRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて
【００９２】
【数８】
ACRV＝｜B02 −R ｜＋｜B42 −R ｜ ・・・(8a)
ACRH＝｜B20 −R ｜＋｜B24 −R ｜ ・・・(8b)
を算出する。この処理の後、サブステップSS512 に進む。この比較データを用いることにより、より一層画素データの距離を画素データと近づけて相関値が求められることになるので、先のサブステップSS512 〜SS518 の手順での相関値の算出に定義した範囲よりも狭い範囲に関して相関の有無を調べることができる。この算出後、サブステップSS522 に進む。
【００９３】
サブステップSS522 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ3が設定されている（ここで、判定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよい）。比較データACRHと比較データACRVの差が判定基準値J3以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS424 に進む。また、比較データの差（ACRH−ACRV) が判定基準値J3よりも小さいとき（NO）、垂直相関がないと判定してサブステップSS526 に進む。
【００９４】
サブステップSS524 では、前述したサブステップSS514 での処理と同じ処理を行う。したがって、演算には式(6) が用いられる。また、サブステップSS526 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうかの判定を行う。この判定にも判定基準値J3が用いられる。
【００９５】
サブステップSS526 において、比較データの差（ACRV−ACRH) が判定基準値J3以上のとき（YES ）、水平相関があると判定してサブステップSS528 に進む。この場合、サブステップSS528 での高周波輝度データYHはサブステップSS518 で前述したような位置関係の画素データを用い、式(7) に基づいて算出される。この後、サブステップSS530 に進む。また、サブステップSS526 で比較データの差（ACRV−ACRH) が判定基準値J3より小さいとき（NO）、水平相関がないと判定してサブステップSS502 に進む。サブステップSS502 では、式(2) により対象の画素データと周囲のもう一方の色の画素データ（この場合、画素データB ）を加算平均し0.5 の係数を乗算して高周波輝度データYHを算出している。この算出後、サブステップSS530 に進む。
【００９６】
サブステップSS530 では、市松状の高周波輝度データYHのデータ作成が１フレーム分、完了したかどうかの判定を行っている。この判定は、たとえば算出した高周波輝度データYHの個数をカウントし、このカウント値と受光素子の数とが一致するかどうかで容易に行うことができる。カウント値が受光素子の数より小さい値のとき（NO）、まだ処理が完了していないと判定する。この結果、輝度データY の算出処理を接続子E を介して図13のサブステップSS500 にまで戻して、これまでの一連の処理を繰り返す。また、カウント値が受光素子の数に一致したとき（YES ）、処理をリターンに移行させる。このリターンを経て処理をサブルーチンSUB6に移行させる。このようにして高周波輝度データYHを算出することにより、図15(b) のように市松状の実在する受光素子に位置（受光画素の位置）にデータが作成される。
【００９７】
次にサブルーチンSUB6の動作をフローチャートで説明する（図16を参照）。サブルーチンSUB6の動作は、前述したように輝度データ補間処理部442 ( 図２を参照）のディジタルフィルタの構成に基づいて行われる。
【００９８】
図16に示すように、このディジタルフィルタの特徴であるローパスフィルタ処理を施すとともに、この処理により仮想画素における画素データが生成されてデータ補間が行われる（サブステップSS50）。この関係を簡単に図17に示す。図17でも実在画素d(3), d(1), d(1), d(3)は実線で示し、仮想画素は破線で示し、４つの実在画素の間に配した関係になっている。仮想画素dn(4), dn(2), dn(0), dn(2), dn(4) には、実在画素との対応を考慮して、何もデータが入っていない状態と同じ関係として扱う。すなわち、これらの画素には、ゼロが予め設定されている。たとえば図17(a) に示すように画素dn(0) を水平方向に補間するとき、ディジタルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・,kn として整理すると、高周波輝度データYH(0) が式(9)
【００９９】
【数９】
YH(0) ＝k0*dn(0)+k1*(d(1)+d(1))+k2*(dn(2)+dn(2))+k3*(d(3)+d(3))
+k4*(dn(4)+dn(4))+・・・kn*(dn(n)+dn(n)) ・・・(9)
で表されるように得られる。ただし、この場合、図17(a) から明らかなように、ゼロのデータが交互に入るので、係数が２倍になる。この関係は、図17(a) におけるこの他の補間対象の画素dn(4), dn(2), dn(2), dn(4)に対しても当てはめる。これらの補間処理が施されることにより、高周波輝度データYH(-4), YH(2), YH(2), YH(4) が得られる（図17(b) を参照）。
【０１００】
また、垂直方向に対しても図示していないがローパスフィルタ処理を輝度データ補間処理部442 でディジタルフィルタにより行う。この場合、既に水平方向の補間処理によって仮想画素のデータが補間されているので、画素データは密に入っている。したがって、ローパスフィルタの係数は通常と同じにして済ませることができる。このようにして得られた高域成分を含む輝度データを図15(b) に示したように行列表現で表すと、図18に示すように高周波輝度データYHが作成される。
【０１０１】
次にサブルーチンSUB7の動作について説明する。サブルーチンSUB7は、図２に示すように色補間展開部44b で行われる。色補間展開部44b には、データ補正部34a から読み出した画素データ、すなわち三原色データ42がR 補間展開部444, G補間展開部446,およびB 補間展開部448 にそれぞれ、供給されている。これらの供給される画素データを用いて色毎に実在画素および仮想画素の画素データの補間生成をフローチャートに従って説明する（図19を参照）。この場合、画素データG の補間処理をサブステップSS70で最初に行う。このとき、図20に示すようにハニカム型G 正方格子RB完全市松のパターンを用いていることから、既存の画素データG を有する画素（実在画素）は、実線の八角形格子で表す。また、画素データG を持たない画素、すなわち仮想画素および既存の画素データを有していながら、色G と異なる色の画素は、破線の八角形格子で表す。ここでは、この画素データG を持たない画素を仮想画素と呼ぶ。補間処理には、４つずつ既存の画素データを用いる。
【０１０２】
この関係を具体的に図20に示す。図20のパターンが示すように、仮想画素G12, G14, G16, G21〜G26 の一行, G32, G34, G36 を補間する場合、補間処理は隣接する４つずつの画素データG11, G13, G31, G33や画素データG13, G15, G33, G35等を用いる。たとえば、補間対象である仮想画素の画素データG21 の補間は、同一の列方向の２つの画素に対応する実在画素のデータを用いて
【０１０３】
【数１０】
G21 ＝(G11+G31)/2 ・・・(10)
から得られる。式(10)の計算式に画素データG13, G33を適用すると、仮想画素G23 を補間することができる。また、仮想画素G12 の補間は、同一の行方向の２つの画素に対応する実在画素のデータを用いて
【０１０４】
【数１１】
G12 ＝(G11+G13)/2 ・・・(11)
から得られる。式(11)の計算式に画素データG31, G33を適用すると、仮想画素G32 を補間することができる。そして、４つずつの画素データG11, G13, G31, G33の中心に位置する画素データG22 は、これら４つの位置の画素データを用いて
【０１０５】
【数１２】
G22 ＝(G11+G13+G31+G33)/4 ・・・(12)
から得られる。式(12)の計算式に周囲の画素データG11, G13, G31, G33を用いると、仮想画素G23 を補間することができる。画素データG13, G15, G33, G35を４つを一組のデータとみなして補間する場合、すでに画素データG23 は算出されているので、残る画素データG14, G34, G25 を上述した演算により算出すればよい。この処理を繰り返し行うことにより、画素データG のプレーン画像を作成する。ただし、プレーン画像の最外縁は、このような関係にならないので、厳密に補間を行う場合、境界値として設定しておくとよい。また、有効画面を考慮すると、この周辺部のデータは有効画面の範囲外にあるので算出しなくても構わない。
【０１０６】
次に画素データR の算出をサブステップSS72で行う。この場合も既存データおよび演算によって算出された画素データに対応する画素は、実線の正方格子で表し、仮想画素を含む未算出の画素は破線の八角形格子で表す。画素データR における実在画素のデータは、図20に示すようにR00, R04, R22, R26, R40, R44しかない。この場合、サブステップSS72では、補間対象の仮想画素に対して斜めに隣接している画素データを用いる。たとえば、画素データR11 は、画素データR00, R22を用いて、
【０１０７】
【数１３】
R11 ＝(R00+R22)/2 ・・・(13)
によって算出される。同様に、仮想画素R11, R31, R33 は、式(13)と同じ関係にそれぞれ画素データR04, R22、画素データR40, R22および画素データR44, R22を適用して算出する。既存の画素データR26 も考慮して算出すると、隣接斜め補間処理により仮想画素R15, R35も作成することができる。この結果が図21に示されている。
【０１０８】
次にサブステップSS74では、一つ前のサブステップSS72で算出された画素によって囲まれた画素を補間対象の画素とし、補間に際して算出されたこれら４つの画素データを用いて補間処理を行う。たとえば、画素データR24 を中心に図22から判るように、その周囲の画素データR13, R15, R33, R35の位置のデータを用いて、
【０１０９】
【数１４】
R24 ＝(R13+R15+R33+R35)/4 ・・・(14)
によって算出される。式(14)と同等の関係が周辺の画素から得られるとき、補間を施すことによって、図23に示すように画素データR02, R20, R42 が得られる。換言すると、補間対象の画素にから見れば、補間に使用する画素データはすべて斜めに位置している。
【０１１０】
次にサブステップSS76では、これまでに得られた画素データを用いるとともに、これらの画素の内、補間対象の画素に対して上下左右に位置する画素データから補間を行う。たとえば、画素データR12 を中心に上下左右の４つの画素データを用いて
【０１１１】
【数１５】
R12 ＝(R02+R11+R13+R22)/4 ・・・(15)
によって算出される。同様の位置関係にある画素データR14, R32, R14, R34は、式(15)に対応する周辺の画素データR を代入すると算出できる。さらに、図22の右側に画素が継続していると、画素データR16, R36も算出することができる。
【０１１２】
なお、図24に示すように周辺部には未補間の仮想画素が残ってしまうので、この仮想画素に対して周囲を囲む、たとえば３つの画素から補間するようにしてもよい。この補間の場合も前述した補間の手法を用いると、仮想画素の画素データR01 は、
【０１１３】
【数１６】
R01 ＝(R00+R02+R11)/3 ・・・(16)
によって算出される。このようにしてこの他、画素データR03, R05, R10, R30, R41, R43, R45 が補間される。最終的に画素データR に関するプレーン画面全体が補間される。
【０１１４】
次に画素データB に対する補間処理がサブステップSS78, SS80, SS82で行われる。サブステップSS78, SS80, SS82は、それぞれ、画素データB における隣接斜め補間処理、４つの補間データによる中央補間処理および上下左右の４画素による中央補間処理である。これらの補間処理は、前述した画素データR の補間処理（すなわち、サブステップSS72, SS74, SS76）に準拠している。これは、図21の画素データR と図25の画素データB の画素配置の関係から判る。すなわち、図25の画素データB の画素配置は、各色の添字に表される行列表示から、図21の画素データR を水平（すなわち、行）方向に２列ずつ全体にシフトした配置になっている。このことから、これまで挙げた算出式を適用して仮想画素を補間する場合、行列表示で列の数字が２以上の右側で各画素データの添字の列の数字に+2だけ加算した関係で算出を行うとよい。たとえば、画素データB13 や画素データB33 は、式(13)の色R を色B に置換し、画素データR00, R31の位置関係を画素データB02, B33にして
【０１１５】
【数１７】
B11+2 ＝(B00+2+B22+2)/2
B13 ＝(B02+B24)/2 ・・・(17a)
B31+2 ＝(B22+2+B40+2)/2
B33 ＝(B24+B42)/2 ・・・(17b)
のように演算処理することにより算出される。また、画素データの行列表示における列の数字が２より小さい左側で各画素データの補間処理を行う場合には、画素データR04, R22を用いて画素データR13 を算出する関係を用い、添字の数字から-2だけ減算させて算出するとよい。たとえば、画素データB11 は、
【０１１６】
【数１８】
B132＝(B042+B222)/2
B11 ＝(B02+B20)/2 ・・・(18)
から得られる。他の式(13)〜式(16)の関係においても同様の関係が成立している。この関係に注意してサブステップSS80, SS82で補間処理を行うと、画素データB に関するプレーン補間展開を行うことができる。この処理の後、サブステップSS84に進む。
【０１１７】
サブステップSS84では、プレーン補間展開が各色毎にすべて終了したかどうかの判定を行う。一連の処理がまだ終了していないとき（NO）、サブステップSS70に戻って処理を繰り返す。なお、各色毎にこの確認処理を行ってもよい。また、一連の処理が終了したとき（YES ）、リターンに移行する。この移行後、サブルーチンSUB7の処理が終了し、ステップS20 に進む。
【０１１８】
次に広帯域化処理を動画または静止画で行う処理手順を簡単に説明する（サブルーチンSUB3, SUB4）。供給される動画像に対して広帯域化処理はサブルーチンSUB3に従って行われる。色G の画素データが選択スイッチ48を介して広帯域化処理部34c のHPF 54に供給される。広帯域化処理では、まずこの色G の画素データにHPF 処理を施す（サブステップSS300 ）。この処理により色G の画素データが含む高周波成分が信号として抽出される。この高周波成分をGhとする。高周波成分Ghは加算部56の加算器560, 564の一端側560b, 564bに供給されるとともに、切換スイッチ54a の一端側57a にも供給されている。
【０１１９】
このとき、切換スイッチ54a は、切換制御信号184 に応じて他端側57b に切換制御される（サブステップSS302 ）。これにより、高周波成分Ghが加算器562 に供給されなくなり、ゼロレベルの信号が供給される。この遮断は、加算器562 において高周波成分Ghを含む色G の画素データに対してさらに高周波成分Ghを加算した際に生じる異常を防止することになる。
【０１２０】
加算部56では、供給される高周波成分Ghと画素データR, Bとを各画素ごとに加算が施され、画素データG はゼロレベルが供給されるので、結果的にそのままスルーさせた場合と同じになる（サブステップSS304 ）。一般的に、各画素の位置（i, j）とし、行列表示させると、広帯域化した画素データRHij, GHij, BHijは、
【０１２１】
【数１９】
RHij＝Rij ＋Ghij ・・・(19a)
GHij＝Gij ・・・(19b)
BHij＝Bij ＋Ghij ・・・(19c)
となる。ここで算出された画素データRHij, GHij, BHijが色差マトリクス部58に供給される。
【０１２２】
次に供給された画素データRHij, GHij, BHijを用いて各実在画素および仮想画素のそれぞれに対して演算することにより広帯域化した輝度データY 、色差データCr, Cbを生成する（サブステップSS306 ）。さらに、生成した輝度データY に対してアパーチャ調整を施す（サブステップSS308 ）。アパーチャ調整は、輪郭強調処理に相当する処理である。このように処理して１フレーム分の処理が終了したかどうか判定を行う（サブステップSS310 ）。１フレーム分の処理が終了していない場合（NO）、サブステップSS300 に戻って一連の処理を繰り返す。また、１フレーム分の処理が終了している場合（YES ）、リターンに進んでこのサブルーチンSUB3を終了し、リターンを介してメインルーチンに移行する。
【０１２３】
また、供給される静止画像に対して広帯域化処理はサブルーチンSUB4に従って行われる。この場合、高周波輝度データYHが選択スイッチ48を介して広帯域化処理部34c のHPF 54に供給される。広帯域化処理では、まずこの高周波輝度データYHにHPF 処理を施す（サブステップSS400 ）。この処理により高周波輝度データの高周波成分が信号として抽出される。この高周波成分をYhとする。高周波成分Yhは加算部56の加算器560, 564の一端側560b, 564bに供給されるとともに、切換スイッチ54a の一端側57a にも供給されている。
【０１２４】
このとき、切換スイッチ54a は、切換制御信号184 に応じて閉状態に制御される（サブステップSS402 ）。これにより、加算器562 にも高周波成分Yhが供給される。
【０１２５】
加算部56では、供給される高周波成分Yhと画素データR, G, B とを各画素ごとに加算が施される（サブステップSS404 ）。一般的に、各画素の位置（i, j）とし、行列表示させると、広帯域化した画素データRHij, GHij, BHijは、
【０１２６】
【数２０】
RHij＝Rij ＋Yhij ・・・(20a)
GHij＝Gij ＋Yhij ・・・(20b)
BHij＝Bij ＋Yhij ・・・(20c)
となる。ここで算出された画素データRHij, GHij, BHijが色差マトリクス部58に供給される。
【０１２７】
次に供給された画素データRHij, GHij, BHijを用いて各実在画素および仮想画素のそれぞれに対して演算することにより広帯域化した輝度データY 、色差データCr, Cbを生成する（サブステップSS406 ）。さらに、生成した輝度データY に対してアパーチャ調整を施す（サブステップSS408 ）。アパーチャ調整は、輪郭強調処理に相当する処理である。このように処理して１フレーム分の処理が終了したかどうか判定を行う（サブステップSS410 ）。１フレーム分の処理が終了していない場合（NO）、サブステップSS300 に戻って一連の処理を繰り返す。また、１フレーム分の処理が終了している場合（YES ）、リターンに進んでこのサブルーチンSUB3を終了し、リターンを介してメインルーチンに移行する。
【０１２８】
以上のように構成することにより、いわゆるハニカム型の配置で色フィルタにG 正方格子RB完全市松パターンを適用したディジタルカメラ10において、静止画および動画のモードのそれぞれに対応した信号処理を行うことにより画像に異常をきたすことなく、従来よりも画質を高めることができる。特に、動画での画質を向上させることができる。
【０１２９】
【発明の効果】
このように本発明の固体撮像装置によれば、静止画または動画のモードに設定した際に撮像を受光素子に行わせ、受光素子に蓄積した信号電荷の読出しを設定したモードに応じて行い、信号電荷をディジタル信号に変換して実在画素の画素データを一時記憶し、これら画素データに補正を施し、補正を設定したモードに応じてデータ補間を行い、静止画生成のモードで高周波輝度データを、動画生成のモードで色G の色データを用いて広帯域化を図ることにより、各モードで形成した画像を高画質化させることができる。特に所定の時間内に画像の形成が要求される動画でも高画質化を満足させることができる。
【０１３０】
また、本発明の信号処理方法によれば、静止画または動画のモードに設定した際に撮像を受光素子に行わせ、受光素子に蓄積した信号電荷の読出しを設定したモードに応じて行い、信号電荷をディジタル信号に変換して実在画素の画素データを一時記憶し、これら画素データに補正を施し、補正を設定したモードに応じてデータ補間を行い、静止画生成のモードで高周波輝度データを、動画生成のモードで色G の色データを用いて広帯域化を図ることにより、各モードで形成した画像を高画質化させることができる。特に所定の時間内に画像の形成が要求される動画でも高画質化を満足させることができる。
【図面の簡単な説明】
【図１】本発明の固定撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の静止画補間部の概略的な構成を示すブロック図である。
【図３】図１の動画補間部のデータ補正部の構成を示すブロック図である。
【図４】図１の広帯域化処理部の概略的な構成を示すブロック図である。
【図５】図１の撮像部に適用する色フィルタの色フィルタセグメントの配置パターンを説明する模式図である。
【図６】図１の撮像部を入射光側から見た際の受光素子位置および接続関係を説明する模式図である。
【図７】ディジタルカメラの動作を説明するメインフローチャートである。
【図８】図７のサブルーチンSUB1の動作手順を説明するフローチャートである。
【図９】図８の動作によりまとめて扱う画素データの関係を説明する模式図である。
【図１０】図１のディジタルカメラで生成される各種データの空間周波数の分布を示すグラフである。
【図１１】図８の処理を改善し得られた画素データをまとめて扱う関係を説明する模式図である。
【図１２】図７のサブルーチンSUB2の動作手順を説明するフローチャートである。
【図１３】図12において適用するサブルーチンSUB5の動作手順を説明するフローチャートである。
【図１４】図13のサブルーチンSUB5の動作説明の続きを説明するフローチャートである。
【図１５】図13および図14の動作により実在画素と生成される高周波輝度データYHとの関係を示す模式図である。
【図１６】図12において適用するサブルーチンSUB6の動作手順を説明するフローチャートである。
【図１７】図16のサブルーチンSUB6で行う高周波輝度データYHの補間処理を説明する模式図である。
【図１８】図16のサブルーチンSUB6の処理により生成される高周波輝度データYHの位置関係を説明する模式図である。
【図１９】図12において適用するサブルーチンSUB7の動作手順を説明するフローチャートである。
【図２０】図19のサブルーチンSUB7における色G の画素補間展開を説明する模式図である。
【図２１】図19のサブルーチンSUB7における補間展開する対象の画素と実在画素の位置関係を示す模式図である。
【図２２】図21の位置関係に隣接斜め補間処理した結果を加えた際の位置関係を示す模式図である。
【図２３】図22の位置関係に隣接斜め補間処理により得られた４つの画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図２４】図23の位置関係に補間対象の画素に対して上下左右に位置する画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図２５】図19のサブルーチンSUB7での画素データB に関する補間対象の画素と実在画素の位置関係を示す模式図である。
【図２６】図７のサブルーチンSUB3の動作手順を説明するフローチャートである。
【図２７】図７のサブルーチンSUB4の動作手順を説明するフローチャートである。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ系
14 操作部
16 システムバス
18 システム制御部
28 撮像部
30 前処理部
32 A/D 変換部
34 信号処理部
36 圧縮／伸張処理部
44 静止画補間部
46 動画補間部
48 選択スイッチ
140 レリーズボタン
142 静止画・動画設定部
28a 光学ローパスフィルタ
28b 色フィルタ
28c 固体撮像素子
34a データ補正部
34b 補間処理部
34c 広帯域化処理部
【発明の属する技術分野】
本発明は、固体撮像装置および信号処理方法に関し、特に、画素ずらしした、いわゆるハニカム配置した固体撮像素子を用いて撮像し、静止画像および／または動画像を生成するたとえば、ディジタルカメラ、画像入力装置等に用いて好適なものである。
【０００２】
【従来の技術】
従来より静止画と動画とを切り換えて撮像する装置が多数商品化されている。これら商品のうち、民生用の商品には動画と静止画のいずれか一方を主な用途とした商品が多い。動画を主用途とする例としてたとえば、特開平9-233410号公報のディジタルビデオカメラがある。このディジタルビデオカメラは、動画記録中に静止画取込み要求があった場合、静止画を一旦記憶して動画記録が終了すると同時に記憶した静止画を読み出して記録させている。
【０００３】
また、特開平7-67027 号公報の静止画・動画両用カメラは、静止画を主に検討されたカメラである。このカメラは、静止画の単写モードと連写モードのスイッチの投入、切換えが簡単にでき、かつ動画撮影が行われている間でも動画撮影を中止し、自動的または選択により静止画記録を行う機能を有している。
【０００４】
このように静止画および動画に対応するビデオカメラにおいて、動画モードのシャッタ速度は1/60秒に設定されている。静止画モードでの撮影では、屋外の場合手振れや画面の動きによるボケをなくし、蛍光灯下のフリッカーの影響をなくすように検出した撮像出力レベルに応じて露光制御する際にビデオカメラ装置はたとえば、1/100 秒の高速シャッタが切れるように制御される。このような制御を行って使い勝手をよくしたビデオカメラ装置が特開平9-83945 号公報にある。
【０００５】
さらに、動画・静止画の両方ともに高品位な画像を得るには、画素数の多い動画用のプロ仕様の機材が用いられる。プロ仕様の機材としては、業務用またはHDTV（High Definition TeleVision：高精細度テレビジョン）等がある。特開平10-108121 号公報の電子カメラは、撮像手段で撮像した画像情報を画素密度変換手段で表示画面の走査形式に適合した画素密度に変換して動画記録手段と静止画記録手段とにそれぞれ動画像と静止画像とを記録させている。
【０００６】
また、静止画像と動画像とを一つの情報記録媒体に記録する構成として、従来の機器を単に組合せる構成にすると機器が大きくなるので、機器の携帯性および操作性が悪くなるとともに、両画像を所望の品質で記録する困難さも生じることが知られている。これらを改善するように特開平6-315107号公報のディジタルカメラが提案されている。ディジタルカメラは、状態検出手段で検出した状態に応じて動作モードを設定し、駆動手段では設定した動作モードに応じて撮像手段を駆動し格納手段に格納し、この格納手段から読出し手段で画像データを読み出して圧縮手段で動作モードに応じた圧縮を施して書込み手段により情報記録媒体に記録している。
【０００７】
【発明が解決しようとする課題】
ところが、画素ずらしをともなう構成の撮像部を用い、前述してきたように動画・静止画の両方ともに高品位な画像を得ようとしても、従来の撮像部の駆動をそのまま適用できない。したがって、動画・静止画の高品位な画像を得る場合には新たな信号電荷の読出し方法を用いることが思料される。
【０００８】
本発明はこのような従来技術の欠点を解消し、画素ずらし配置でも動画像・静止画像の両方で高品位な画像の得ることのできる固体撮像装置および信号処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を色分解し、この色分解した入射光を光電変換して撮像し、この撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、この装置は、入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントを含む色分解手段、この色分解手段の色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、およびこの受光部の受光素子で光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含む撮像手段と、この撮像手段から供給される信号をディジタル変換して画素データにするディジタル変換手段と、この撮像手段から信号電荷を読み出す複数のモードおよびこの複数のモードに応じて施す信号処理の設定を切り換えるモード設定手段と、画素データに補正を施し、この複数のモードに応じた画像データに対する補間処理を行う補間手段、およびディジタル変換した画像データおよび／または補間処理の施された画像データから得られる輝度信号と色差信号の帯域を広げる処理を行う広帯域化手段を含む信号処理手段とを含み、受光素子の実在する位置から得られる画素を実在画素とし、受光素子の中間の位置の画素を仮想画素とし、補間手段は、補正した画素データを用いて、モード設定手段が設定した静止画像生成のモードに対応したデータを補間生成する第１の補間手段と、補正した画素データを用いて、モード設定手段が設定した動画像生成のモードでの各位置に画素データを対応させてデータを補間する第２の補間手段とを含み、第１の補間手段が生成する高周波成分を含む高周波輝度データと第２の補間手段から得られる色G の色データをモード設定手段の設定に応じて切換え選択する選択手段が広帯域化手段の前に配されることを特徴とする。
【００１０】
本発明の固体撮像装置は、モード設定手段で設定したモードに応じて撮像手段から信号電荷をアナログ信号として読み出し、アナログ信号をディジタル信号に変換してディジタル画像を生成し、このディジタル画像の画素データに信号処理手段で補正を施し、上述したモードに応じて行う補間処理を第１および第２の補間手段のいずれか一方で行い、第１および第２の補間手段をそれぞれ供給元にし、この設定したモードに応じて供給元からの実在画素および／または補間処理した画素データを選択手段で選択し、選択手段を介して供給される処理結果を基に広帯域化処理手段でそれぞれ、輝度信号および色差信号を生成するとともに、生成した輝度信号および色差信号の帯域を高くしている。
【００１１】
また、本発明は上述した課題を解決するために、被写界からの入射光を集光させこの入射光を三原色RGB に色分解する色フィルタセグメントが配された色フィルタを用い、さらに、この入射光を光電変換する複数の受光素子を用意し、この複数の受光素子のそれぞれが、隣接する互いの受光素子に対して各受光素子の幾何学的な形状の中心が互いに行方向および／または列方向に該受光素子のピッチの半分に相当する距離だけずれて配され、この受光素子によって得られた信号電荷を読み出し、ディジタル変換して得られた画像データに施す信号処理方法において、この方法は、撮像した画像に対して設定する複数のモードのうち、静止画または動画のモードを設定するモード設定工程と、色フィルタが一方の色G を正方格子状に配され、この色フィルタの色G を挟んで対角位置に同色R,またはB が配される完全市松パターンにより色分解され、受光素子で得られた信号電荷を読み出す撮像工程と、この得られた信号電荷をディジタル変換して画素データにするディジタル変換工程と、この得られた画素データを記憶させる画像記憶工程と、画素データに補正を施し、この複数のモードに応じた画像データに対する補間処理を行い、ディジタル変換した画像データおよび／または補間処理の施された画像データから得られる輝度信号と色差信号の帯域を広げる処理を行う信号処理工程とを含み、受光素子の実在する位置から得られる画素を実在画素とし、受光素子の中間の位置の画素を仮想画素とし、信号処理工程は、補正した画素データを用いて、設定した静止画像生成のモードに対応したデータを補間生成する第１補間工程と、補正した画素データを用いて、設定した動画像生成のモードでの各位置に画素データを対応させてデータを補間する第２補間工程と、モード設定に応じた処理に用いる供給元を、第１の補間工程で生成した高周波成分を含む高周波輝度データおよび第２の補間工程から得られる色G の色データのいずれか一方を選択する選択工程とを含むことを特徴とする。
【００１２】
本発明の信号処理方法は、静止画または動画のモードに設定した際に撮像を受光素子に行わせ、受光素子に蓄積した信号電荷の読出しを設定したモードに応じて行い、信号電荷をディジタル信号に変換して実在画素の画素データを一時記憶し、これら画素データに補正を施し、補正を設定したモードに応じてデータ補間を行い、静止画生成のモードで高周波輝度データを、動画生成のモードで色G の色データを用いて広帯域化を図ることにより、各モードで形成した画像を高画質化させることができる。特に所定の時間内に画像の形成が要求される動画でも高画質化を可能にする。
【００１３】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１４】
本発明の固体撮像装置は、モード設定部の設定したモードに応じて撮像部から信号電荷をアナログ信号として読み出し、アナログ信号をディジタル信号に変換してディジタル画像を生成し、このディジタル画像の画素データに信号処理部で補正を施し、上述したモードに応じて行う補間処理を第１および第２補間部のいずれか一方で行い、第１および第２補間部をそれぞれ供給元にし、この設定したモードに応じて供給元からの実在画素および／または補間処理した画素データを選択部で選択し、選択部を介して供給される処理結果を基に広帯域化処理部でそれぞれ、輝度信号および色差信号を生成するとともに、生成した輝度信号および色差信号の帯域を高くすることに特徴がある。
【００１５】
本実施例は、本発明の固体撮像装置を適用したディジタルカメラ10について説明する。本発明と直接関係のない部分に関して図面および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１６】
ディジタルカメラ10は、図１に示すように、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、メカニカルシャッタ26、撮像部28、前処理部30、A/D 変換部32、信号処理部34、圧縮／伸張部36、ストレージ部38、および液晶表示部40が備えられている。これら各部を順次説明する。
【００１７】
光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。後述するように操作信号14a は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、システム制御部18からの制御信号18a が信号線16a を介して供給される。
【００１８】
操作部14には、レリーズボタン140 やたとえばモニタ画面に各種の項目を表示させ、表示項目のなかからカーソルを用いて選択する選択機能等がある。操作に部14には、これら各種の機能選択のうち、静止画・動画設定部142 が含まれている。静止画・動画設定部142 は、設定した結果が操作信号14b として出力している。操作部14で選択された操作は操作信号14a, 14bがシステムバス16を介してシステム制御部18に報知される。
【００１９】
システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報14a, 14bとこの ROMが有する情報とを用いて各部の動作を制御する制御信号18a を生成する。システム制御部18は、生成した制御信号18a をシステムバス16を介して上述した光学レンズ系12だけでなく、信号発生部20、タイミング信号発生部22、ドライバ部24、メカニカルシャッタ26、前処理部30、A/D 変換部32、信号処理部34、圧縮／伸張処理部36、ストレージ部38および液晶表示部40にも供給する。
【００２０】
信号発生部20は、ディジタルカメラ10を動作させる基本クロック（システムクロック）20a を発生する発振器（図示せず）を有する。発振器にはたとえば、VCO (Voltage Controlled Oscillator) 方式等が用いられている。また、信号発生部20は基本クロック20a をシステム制御部18、タイミング信号発生部22、および信号処理部34等の基本クロック20a を必要とするほとんどすべてのブロックに供給するとともに、基本クロック20a を分周して様々な信号も生成している。
【００２１】
タイミング信号発生部22は、この基本クロック20a を用い、制御信号18a に基づいて各部の動作をタイミング調節するタイミング信号22a を生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号22a を図１に示すように前処理部30やA/D 変換部32等の各部に出力するとともに、ドライバ部24にも供給する。ドライバ部24は、供給されるタイミング信号22a を用いて、所望の駆動パルス24a を撮像部28に供給する。駆動パルス24a は、静止画用と動画用のモードに対応している。
【００２２】
メカニカルシャッタ26は、操作部14のレリーズボタン140 の押圧操作に応じて動作する。動作順序は、レリーズボタン140 の押圧操作により、たとえば、システムバス16を介して操作信号14a がシステム制御部18に供給され、システム制御部18からの制御信号18a がシステムバス16、および信号線16a を介して供給される。メカニカルシャッタ26はこの順序で動作して制御される。
【００２３】
撮像部28は光学ローパスフィルタ28a および色フィルタ28b が固体撮像素子 (Charge Coupled Device ：CCD ）28c の入射光側に一体的に設けられた単板カラーCCD センサである。これは、光学レンズ系12で結像された光学像が固体撮像素子28c の受光部の各受光素子に到達した光量に応じた出力信号27を出力する。撮像部28については後段でさらに詳述する。
【００２４】
撮像素子には、CCD （電荷結合素子）や後段で示すMOS （Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部28では、供給される駆動信号24a に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、垂直ブランキング期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給される。この水平転送路を経た信号電荷は図示しない出力回路による電流／電圧変換によってアナログ電圧信号29にされて前処理部30に出力される。固体撮像素子28c は、CCD タイプでは信号電荷の読出しモードに応じて間引き読出しや全画素読出しを用いる。これらの信号読出し方式についてはさらに後段で詳述する。
【００２５】
前処理部30は、撮像部28とA/D 変換部32との間に相関二重サンプリング部を設けてノイズ除去を行ってもよい。また、ここで、ガンマ変換を行ってもよい。撮像信号29からノイズ成分を除去してアナログ出力信号31がA/D 変換部32に送られる。A/D 変換部32は、供給されるアナログ信号31の信号レベルを所定の量子化レベルにより量子化してディジタル信号33に変換するA/D 変換器を有する。A/D 変換部32は、タイミング信号発生部22から供給される変換クロック等のタイミング信号22a により変換したディジタル信号33を信号処理部34に出力する。
【００２６】
信号処理部34には、フレームメモリ機能を有するデータ補正部34a 、補間処理部34b 、および広帯域化処理部34c が含まれる。さらに、データ補正部34a には、図示しないがバッファ機能としてフレームメモリおよび補正処理部が含まれている。補正処理部は、ガンマ補正やホワイトバランス等の調整を行う機能を有する。ここでのガンマ補正は、消費電力や回路規模を小さくして信号処理のビット数を低減すること等も可能にしている。このガンマ補正処理をたとえば、前処理部30ですでに行っている場合、省略する。A/D 変換部32から供給される画像データ33がデータ補正部34a のフレームメモリに供給され、そこに記憶される。フレームメモリは、読み出す領域をずらしながら繰り返して画素データを読み出すことから、非破壊型のメモリを用いると有利である。また、フレームメモリには、システム制御部18からの制御信号18a に含まれる書込み／読出しイネーブル信号、クロック信号等の制御に関わる信号をまとめた制御信号（図示せず）が供給されている。データ補正部34a は、処理として、たとえば、各色フィルタに対応した画像データのレベルを後段の信号処理に適したレベルに合わせるため各色フィルタごとにゲイン調整も行っている。また、データ補正部34a は、記憶した画像データを所定の順序で画像データ42を補間処理部34b に出力する。
【００２７】
補間処理部34b は、本実施例では静止画補間部44および動画補間部46を含んでいる。静止画補間部44は、図２に示すように、輝度補間展開部44a および色補間展開部44b を備えている。静止画補間部44は、供給される受光素子からの画素データ42を用いて受光素子の実在する実在画素および実在画素の中間に位置する仮想画素において高域成分を含む高周波輝度データYHおよび三原色データを補間生成する機能を有する。輝度補間展開部44a は、実在画素の位置に対応する高周波輝度データYHを作成する高周波輝度データ作成部440 と、作成した実在画素の高周波輝度データYHを用いて仮想画素の位置に対応する高周波輝度データYHを作成する輝度データ補間処理部442 とを有する。
【００２８】
高周波輝度データ作成部440 は、データ補正部34a から供給される画素データ42を用いてたとえば、供給される色に対する相関関係がどの方向にあるか検出し、検出結果に応じた高周波輝度データYH (47) を生成し、輝度データ補間処理部442 に供給する。輝度データ補間処理部442 は、供給される高周波輝度データYH (47) に基づいて実在画素の位置における高周波輝度データYHを補間により作成して実在画素および仮想画素すべての位置での高周波輝度データYH (50a ) を出力する。
【００２９】
色補間展開部44b は、仮想画素および実在画素の対応していない色に対して実在画素の色配置を考慮して補間処理を行い、画面全体の三原色データを生成する機能を有する。このため、色補間展開部44b には、各色ごとの補間展開部がある。これがR 補間展開部444 、G 補間展開部446 、およびB 補間展開部448 である。各補間展開部444, 446, 448 は三原色データ42R, 42G, 42B を入力し、それぞれで補間展開処理を行うことにより実在画素および仮想画素すべての位置で色データを生成しRGB 同時化処理を行って三原色データ50b, 50c, 50d を広帯域化処理部34c に出力する。これらの高周波輝度データYHおよび三原色データRGB の補間処理については後段で詳述する。
【００３０】
動画補間部46には、図３に示すように、アドレス制御部460 またはアドレス制御部460 およびRB演算部462 が備えられている。アドレス制御部460 は、システム制御部18から信号線18a 、システムバス16、および信号線18b を介して供給される制御信号180 に応じてデータ補正部34a のフレームメモリに読出しアドレス制御信号182 を供給している（図３を参照）。図１ではアドレス制御信号182 は図面の煩雑さを避けるため図示していない。動画補間部46がイネーブルなとき、データ補正部34a から読み出される画素データは単に読み出されるのではなく、読出しアドレス制御信号182 に対応した画素データである。このため、読み出される画素データは図１に示した画素データ42と別に図３では画素データ42S とする。後段で詳述するが、読み出した画素データは色G の周囲に位置する別な色の画素データを２つずつ組み合わせて色G の位置の画素データとして扱う。これに応じるように、実在画素色G だけでなく、たとえばこの色G のラインの上または下のラインの色R, Bが読み出される。そして、色R, Bがこの色G の位置における色R, Bとして用いられる。アドレス制御部460 は、この場合、サンプリング制御する部分と同じ機能を発揮することになる。この他、別にサンプリング回路を設けてもよい。
【００３１】
また、アドレス制御部460 およびRB演算部462 がともに用いられる構成でもよい。この場合、アドレス制御部460 は、色G を挟んだ上下のラインを読み出すようにアドレス制御する。したがって、１ライン形成するために計３ラインが用いられる。RB演算部462 は読み出した色G を挟んで対角に位置する画素データの色R, Bを同色同士の加算平均し、得られた色R, Bの画素データを中央ラインの色G の位置における色R, Bとする。
【００３２】
再び図１に戻って、静止画補間部44は、生成した高周波輝度データYHを選択スイッチ48の端子a に出力する。また、動画補間部46は、生成した色G を選択スイッチ48の端子b に出力するとともに、広帯域化処理部34c にも供給する。静止画補間部44と動画補間部46は、同時に動作しないので、静止画補間部44と動画補間部46からの三原色データRGB が各色ごとに共通接続にし、広帯域化処理部34c に供給している。
【００３３】
選択スイッチ48は、選択したデータを端子c を介して供給先に送る選択機能を有する。選択スイッチ48には信号線18b を介して選択信号51が供給され、静止画補間部44と動画補間部46の動作選択を行う。この選択スイッチ48は、選択したデータ52を広帯域化処理部34c に送る。
【００３４】
広帯域化処理部34c には、ハイパスフィルタ回路54、切換スイッチ54a 、加算部56、色差マトリクス部58、およびアパーチャ調整部60が備えられている（図４を参照）。ハイパスフィルタ回路（以下、HPF という）54は、供給されるデータ52が含む高周波成分を抽出するフィルタである。HPF 54は、抽出した高周波成分を加算部56に出力する。切換スイッチ54a は色G に関するHPF 54と加算部56の間に配設する。これにより、高周波成分は色R, Bに供給され、色G には直接的に高周波成分が供給されないように構成する。ここで、切換スイッチ54a には、システム制御部18から切換制御信号184 が供給される。切換制御信号184 は静止画のモード設定で切換スイッチ54a を端子57a 側に切り換えさせ、動画のモード設定で切換スイッチ54a を端子57b 側に切り換えさせる。この切換動作により、静止画の対応モードでは、加算器562 に高周波成分Yhが供給され、動画の対応モードでは、加算器562 には高周波成分Ghが供給されるのではなく、ゼロレベルの信号が供給されることになる。
【００３５】
加算部56は、三原色に対応して３つの加算器560, 562, 564 がある。加算器560, 562, 564 の一端560a, 562a, 564aにはそれぞれ、三原色データRGB が供給されている。また、加算器560, 562, 564 の他端560b, 562b, 564bには高周波成分が供給されている。加算部56は、静止画のモードで三原色RGB のそれぞれに高周波成分Yhを加算することにより三原色データを広帯域化する。また、加算部56は、動画のモードで色R, Bに対して高周波成分を加算して広帯域化し、色G に対して前述したように加算されないそのままの画素データを用いる。しかしながら、色G の画素データ自体には高周波成分が含まれているので広帯域化されているとみなすことができる。
【００３６】
ところで、この広帯域化は、静止画ではこれまで行われている（アウトオブY ）。上述したように動画に対して、本実施例は色G のデータを高周波輝度データYHの代わりに用いる。このように色G を用いて高周波成分Ghを三原色データのうち、色R, Bに加算する方式をいわゆる、アウトオブグリーン方式と呼ぶ。
【００３７】
色差マトリクス部58は、広帯域化した三原色データを用いて輝度データY 、色差データCr, Cbを生成している。色差マトリクス部58は、ここで行うマトリクス演算にはこれまで用いてきた従来の算出式を用いている。また、色差マトリクス部58は、生成した輝度データY をアパーチャ調整部60に出力する。アパーチャ調整部60は、輪郭強調処理を施して出力する。このようにして生成した輝度データY 、色差データCr, Cbを信号処理部34から圧縮／伸張処理部36に供給される。
【００３８】
図１に戻って圧縮／伸張処理部36は、信号処理部34から供給された１フレーム分の輝度データと色差データを一時的に記憶するフレームメモリと、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。ここで、フレームメモリは、信号処理部34のフレームメモリと兼用してもよい。ここで、複数のフレームメモリを所有すると、動画の記録、すなわち連写等の処理において有利である。また、圧縮はJPEGに限定されるものでなく、MPEG（Moving Picture coding Experts Group ）や動画像の１枚いちまいのフレームにJPEGを適用するモーションJPEG等の圧縮方法がある。
【００３９】
圧縮／伸張処理部36は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介してストレージ部38に供給する。圧縮／伸張処理部36は、供給される輝度データY 、色差データCr, Cbをシステム制御部18の制御によりスルーさせてシステムバス16に供給したり、または信号処理部82からの信号をシステムバス16を介して液晶表示部40に供給することもできる。圧縮／伸張処理部36が伸張処理を行う場合、逆にストレージ部38から読み出したデータをシステムバス16を介して圧縮／伸張処理部36に取り込んで処理する。ここで処理されたデータはフレームメモリに記憶された後、システム制御部18の制御により圧縮／伸張処理部36は、所要の順序でフレームメモリのデータを読み出し、液晶表示部40に供給して表示させる。
【００４０】
ストレージ部38は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。液晶表示部40は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００４１】
次にディジタルカメラ10の動作を説明する前に、撮像部28について簡単に説明する。撮像部28には、光学ローパスフィルタ28a 、色フィルタ28b 、および固体撮像素子28c が入射光の側から順次に一体的に配設形成されている。色フィルタ28b は、単板である。色フィルタ28b の色フィルタセグメント62と受光素子64とは、一対一の対応関係にある。色フィルタ28b は、たとえば、図５に示すような三原色RGB の色フィルタセグメント62が配置されている。この色フィルタセグメントの配置パターンは、色G が正方格子状に配され、さらに色G を挟んで対角位置に同色R,または Bが配される完全市松に配するパターンである。
【００４２】
この色パターンは、以後、図５の色フィルタ配置はハニカム型G 正方格子RB完全市松パターンという。図５に示した画素数は、14個のうち、本来の色G が６個、色R, Bがそれぞれ４個ずつである。上述した色G の正方格子状とは、画素の形状を示すものでなく、画素の配置形状を示している。画素の形状は、多角形でたとえば四角形、六角形、八角形等がある。
【００４３】
また、図６に示すように、色フィルタセグメント62（および受光素子64）は、隣接する互いの配置位置に対して各色フィルタセグメント62（および受光素子64）の幾何学的な形状の中心が互いに行方向および列方向にこの色フィルタセグメント62（および受光素子64）のピッチPPの半分に相当する距離だけずれて配されている。また、受光素子64は、２次元に配され、色フィルタ28b を透過した光を光電変換している。受光素子64の存在する位置から得られる画素を実在画素、受光素子64間の中間または画素中心の位置に新たに仮想的な画素を設けて仮想画素としている。
【００４４】
次にディジタルカメラ10の動作について説明する。必要に応じて前述の構成で用いた図面も参照する。ディジタルカメラ10は、たとえば、図７に示す撮影におけるメインフローチャートに従って動作する。ディジタルカメラ10での動作をどのようなモードにするかオペレータであるユーザ自身が設定する（ステップS10 ）。モードには、複数あり、たとえば、静止画撮影モード、動画（ムービー）モード、図示しないが、インデックス表示モード、および高画質表示モード等がある。このいずれかをオペレータは設定して選択した設定モードが操作部14からシステム制御部18に供給される。システム制御部18は、この設定モードや他の条件を踏まえて、ディジタルカメラ10を撮影可能状態にする。この後、ステップS12 に進む。
【００４５】
次に被写界の撮影を行う（ステップS12 ：撮像工程）。この段階の直前には、レリーズボタン140 を半押しして露光・測距を行って適正な露光およびピント調節が行われている。この後、オペレータは、所望のタイミングでレリーズボタン140 を完全に押圧して被写界の撮像を行う。撮像部28では、光学レンズ系12を介して供給される入射光が単板の色フィルタ28b により色分解される。この色分解された光が撮像部28のハニカム型に２次元配列された受光素子64に供給される。色フィルタ28b は、図５に示したハニカム型G 正方（格子）RB完全市松パターンである。受光素子64は、それぞれ色フィルタセグメント62を透過した光を受光し、光電変換している。光電変換された信号電荷は、撮像部28の垂直転送レジスタ、水平転送レジスタ（ともに図示せず）を介して各受光素子64で検出した画素データとして出力する。撮像部28では、電流形態の検出した信号電荷を電圧で表すことができるようにI/V 変換が行われ、前処理部30、を介してA/D 変換部32に出力される。
【００４６】
次に撮像部28から供給された信号レベルを量子化してビット情報として扱えるディジタル信号、すなわち画像データに変換する（ステップS14 ）。この変換処理の後、ただちに画像データは、データ補正部34a のフレームメモリに供給される。
【００４７】
次にこのフレームメモリに画像データを一時記憶させる（ステップS16 ）。この画像データの供給において、システム制御部18の制御およびアドレス制御部460 の制御により所定のアドレスに、たとえば、画像単位で画像データが書き込まれる。アドレス制御部460 は、システム制御部18により制御されている。フレームメモリには、複数の撮像された画像データを格納することができる。この撮影の前にすでに撮影された画像が記憶されていてもよい。
【００４８】
次にステップS18 に進む。ここでは、予め設定したモードが動画モードかどうかを判定している。動画、すなわち所定の時間内に表示させるモードが設定されている場合（YES ）、サブルーチンSUB1に進む。また、動画モードが設定されていない場合（NO）、静止画モードと判断してサブルーチンSUB2に進む。このモードの設定は、ステップS10 で行ったモードをシステム制御部18で検出・判定することにとって行われる。結果として、フレームメモリからの画像データの読出しは、このシステム制御部18の判定に応じて読み出されることになる。読出しは異なるが供給される画素データは、データ補正部34a から補間処理部34b の静止画補間部44と動画補間部46とにそれぞれ供給されている。
【００４９】
システム制御部18は、判定結果に応じて制御信号180, 184を供給して静止画補間部44と動画補間部46のいずれか一方をイネーブルにする。このイネーブルによって結果的に出力先選択が行われたことになる。
【００５０】
サブルーチンSUB1では、アドレス制御に応じて出力させた画像データに基づいて動画用の補間信号処理が施される。この場合、動画補間部46では、演算処理のような時間を要する処理を行わずにデータ補正部34a のフレームメモリから画像データ42を読み出して色G の位置に基づいて周囲の色R, Bを組み合わせてまとめ、広帯域化処理部34c に出力する。この処理については後段で詳述する。
【００５１】
また、サブルーチンSUB2では、データ補正部34a のフレームメモリから読み出した画像データに基づいて静止画用の補間信号処理が施される。後段で詳述するが、この信号処理で、ハニカム型G 正方格子RB完全市松パターンにおいて効果的な解像度を高める処理が施される。サブルーチンSUB1, SUB2では、それぞれの信号処理により全く異なる処理を受けた三原色データが静止画補間部44と動画補間部46からそれぞれ広帯域化処理部34c に出力される。静止画補間部44は、生成した高周波輝度データYHを選択スイッチ48の端子a に供給する。選択スイッチ48の端子b には動画補間部46から出力された色データG が供給される。
【００５２】
次に選択スイッチ48による高周波輝度データYHと色データG のいずれか一方を選択する（ステップS20 ）。すなわち、色データG を選択する場合（YES ）、動画用広帯域化処理に進む（サブルーチンSUB3）。また、色データG を選択しない場合（NO）、選択スイッチ48の端子a 側を介して高周波輝度データYHを選択し、静止画用広帯域化処理に進む（サブルーチンSUB4）。
【００５３】
サブルーチンSUB3、SUB4ではそれぞれ選択したデータを用いて生成する輝度データY 、色差データ（B-Y ), (R-Y ）を広帯域化し得られた輝度データY に対してアパーチャ調整を施している。さらにこれら広帯域化した３つの信号の各帯域をそれぞれ通すフィルタ処理を施してもよい。このようにして得られた画像データのうち、間引いた画像データが、図示していないが設定モードにかかわらず、液晶表示部40に供給され、表示される。
【００５４】
次に信号処理により得られた画像データに対して圧縮処理を施す（ステップS22 ）。圧縮処理もあらわに図示していないが、動画モードでは、１フレームごとに圧縮処理を施すモーションJPEG（Joint Photographic coding Experts Group ）あるいはMPEG（Moving Picture coding Experts Group ）などで処理される。また、静止画モードではJPEG等が圧縮信号処理として適用される。
【００５５】
そして、この圧縮処理が施された画像データは、ストレージ部38の記録再生装置に装着された記録媒体に記録保存される（ステップS24 ）。
【００５６】
最後に、ディジタルカメラ10の動作を終了させるかどうかを判定する。まだ動作を継続するとき（NO）、ステップS12 に戻って一連の処理を継続する。また、動作を終了するとき（YES ）、ディジタルカメラ10の電源をオフにする。このように受光素子がハニカム型に配置された撮像部を有するディジタルカメラ10には、これまでと同様に静止画モードで良好な画質を提供するだけでなく、動画モードでも適切な信号処理を選択し処理することにより、所定の時間内に画質も向上した画像を表示・記録させることができ、よりユーザの要求を満足させることができるようになる。
【００５７】
次に動画補間部46の補間処理についてサブルーチンSUB1を説明する。３つの色RGB において、色G の位置の色として用いる色R, Bで三角形を形成し、この三角形の色G の頂点の向きに基づいてサンプリングにおけるデータの組合せの形態を選択する。この組合せの形態には、ひとまとめにみなす三角形の形状が４通りある。予めこの組合せの形態の設定は、たとえば、４つのうち、一つの組合せをデフォルトで設定しており、その他の３つの組合せは、たとえば、モード設定の段階で設定できるようにしておく。サブルーチンSUB1では、最初にどの組合せが設定されているか判定していく。
【００５８】
まず、サブステップSS10では、三角形の頂点に位置する色G が下側にあるか判定する。下側にあるとき（YES ）、サブステップSS12に進む。また、この状態にないと判定されたとき（NO）、サブステップSS14に進む。
【００５９】
サブステップSS12では、色R, Bの受光素子（以後、画素という）が色G の画素の上側に横並びになっている。この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がデータ補正部34a のフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、図9(b)のように組合せでまとめられたパターンが形成される。すなわち、色G11 に対して色R00, B02をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色B02, R04をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６０】
サブステップSS14では、三角形の頂点に位置する色G が上側にあるか判定する。上側にあるとき（YES ）、サブステップSS16に進む。また、この状態にないと判定されたとき（NO）、サブステップSS18に進む。
【００６１】
サブステップSS16では、色R, Bの画素が色G の画素の下側に横並びになっている。この場合も、この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、色G11 に対して色B20, R22をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色R22, B24をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６２】
サブステップSS18では、三角形の頂点に位置する色G が右側にあるか判定する。右側にあるとき（YES ）、サブステップSS20に進む。また、この状態にないと判定されたとき（NO）、サブステップSS22に進む。
【００６３】
サブステップSS20では、色R, Bの画素が色G の画素の左側に縦並びになっている。この場合も、この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、色G11 に対して色R00, B20をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色B02, R22をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６４】
さらに、サブステップSS22では、三角形の頂点に位置する色G が左側にあるか判定する。左側にあるとき（YES ）、サブステップSS24に進む。また、この状態にないと判定されたとき（NO）、該当する設定でないとしてリターンに移行する。
【００６５】
サブステップSS24では、色R, Bの画素が色G の画素の右側に縦並びになっている。この場合も、この色G の画素位置における色R, Bに対応する画素は実際に存在しないが、上述した位置の色R, Bの値を代わりに用いるサンプリングを可能にするようアドレス制御部460 がフレームメモリの読出しを制御する。たとえば、図9(a)のハニカム型G 正方格子RB完全市松パターンにおいて、この読出しが行われると、色G11 に対して色B02, R22をグループとする画素データとみなす。次の隣接するグループは、色G13 に対して色R04, B24をグループとする画素データである。このように色R, Bについては、少なくとも一つの色が含まれるようにしてグループ化されている。
【００６６】
このようにしてデータ補正部34a のフレームメモリから画像データを読み出すパターンの関係が判ったとき、各設定で画像の読出しが完了したかどうかの判定を行う（各サブステップSS26, SS28, SS30, SS32）。まだ読出し完了していない場合（NO）、それぞれ１ステップ前のサブステップSS12, SS16, SS20, SS24に戻って画像データの読出しを継続する。一方、読出しがすべて完了している場合（YES ）、リターンに移行する。この処理によって画像データは、総画素数の半分の画素データとして読み出される。このパターンでは、読出し画素数が色G の配設されている画素数に同じになる。本実施例では、本来得られた画像データに何等演算を施すことなく画像データの読出しが行われる。この結果、読み出す速度は、前述した３画素（RGB ）をひとまとめとして高速に読み出す場合と同程度の読出し速度を維持しながら、総画素数に対する読出し画素数を半分の減少に抑えて読み出すことができる。これにより、解像度の面で従来の総画素数の1/3 しか読み出せなかった場合よりも向上させることができる。
【００６７】
ところで、色分解フィルタCFのハニカム型G 正方格子RB完全市松パターンで撮像した信号を空間周波数で表すと、図10に示すように各色は分布している。すなわち、色R, Bの周波数分布は、正方形を45°回転させた分布になる。この分布は、斜め方向のサンプル周波数が低いことを示している。このため、この画像データを用いて得られる画像には、斜め方法での折り返し歪みによる偽信号が発生し易い。なお、色G の空間周波数の分布は、正方格子状に配設されていることから、色R, Bの周波数分布を内包する正方形の分布になる。
【００６８】
このような偽信号の発生に対処しながら、高速に画像データを読み出す構成を前述した実施例の変形例として説明する。この場合、動画補間部46には、アドレス制御部460 だけでなく、RB演算部462 も設ける（図３を参照）。RB演算部462 は、色G の周囲に位置する色R, Bの画素データを用い、これらの画素データに演算を施す演算部である。したがって、図３に示すようにRB演算部462 は、供給される画素データ42S のうち、色G の画素データをそのまま広帯域化処理部34c にスルーさせ、色R, Bの画素データだけをそれぞれ入力させている。
【００６９】
この演算は、色G を挟んで対角に位置する画素データ（この場合同色同士）を加算し、その平均をとる、いわゆる加算平均処理を行っている。このとき、この加算平均によって得られる画素は、それぞれ色G とともに、ひとまとめのグループとして扱う色R, Bの画素データである。結果として色G 画素における色R, B画素と同じことを意味する。具体的に例示すると、図11に示す関係になる。すなわち、色G11 を挟んで位置する色R00, R22と色B02, B20および色G13 を挟んで位置する色B02, B24と色R04, R22を用いて演算する（図11(a) を参照）。最終的に、色G の位置の色R, Bの画素データとなることから、これを識別するため、得られた画素データを小文字r, bで表すとともに、添字を色G の数値と同じにする（図11(b) を参照）。したがって、演算は、
【００７０】
【数１】
r11 ＝(R00＋R22 )/2
b11 ＝(B02＋B20 )/2 ・・・(1a)
r13 ＝(R04＋R22 )/2
b13 ＝(B02＋B24 )/2 ・・・(1b)
と表される。換言すると、画素データr11 は、新たに算出された色R00 と言える。同様に、画素データb11, b13, r13 は、それぞれ算出された色B02, B02, R04 である。ここで特徴的な点は、色B02, B02と同じ位置についての算出でありながら、扱うグループが異なっている点である。このように一つのグループには、隣接する画素が少なくとも１つないし２つの重なりが含まれている。１つの重なりは、境界近傍の値の場合であり、２つの重なりは、その境界として扱う画素よりも内側に位置する場合である。このように算出した画素データを広帯域化処理部34c に出力する。
【００７１】
これらの算出された色R, Bの画素データを用いると、原信号に対してローパス効果が発揮され、色R, Bの信号のS/N も改善されることになる。これにより、ハニカム型G 正方格子RB完全市松パターンでの偽信号の発生が抑制される。また、ここでの演算は単純な加算平均だけなので、図示しないが加算器とビットシフトさせるハードウェア構成で容易に実現させることができる。ハードウェアによる演算であるので、ソフトウェア的な演算に比べて高速な処理が可能になる。さらに、前述の構成でも述べたように、輝度信号の生成に用いる最も重要な色G をそのままスルーさせて、何等変更を加えないことから、このモードで広帯域化する際に得られる輝度データY の生成における忠実度を維持し、かつ最終的に扱える画素数も色G の数だけ確保することができる。これにより。偽色改善と輝度信号の向上が図れるので、先の実施例に比べて画質を向上させることができる。
【００７２】
次に静止画補間部44における補間処理の手順を説明する（サブルーチンSUB2：図12を参照）。静止画補間部44はサブルーチンSUB5、SUB6およびSUB7の順に動作させている。サブルーチンSUB5では実在画素から得られる色を考慮して市松状に高周波成分を含む高周波輝度データYHを作成する。サブルーチンSUB5では、あらかじめ設定されたモードに従って後述するように高周波輝度データ作成部440 で高周波輝度データYHを算出する。サブルーチンSUB6では、得られた高周波輝度データYHに基づいて仮想画素での高周波輝度データYHを生成する。また、サブルーチンSUB6は、供給される三原色データをそれぞれ用いて補間することにより実在画素および仮想画素のすべてにおいて三原色データを生成するプレーン展開処理を行っている。
【００７３】
各サブルーチンSUB5、SUB6およびSUB7の動作を順に説明する。図13に示すサブルーチンSUB5において、高周波輝度データ作成部440 はまず、モードが適応処理モードかどうか判別する（サブステップSS500 ）。モードが適応処理モードでなかった場合（NO）、接続子B を介して図14のサブステップSS502 に進む。また、適応処理モードの場合（YES ）、サブステップSS501 に進む。サブステップSS501 では、斜め相関処理を行うかどうか選択を行う。斜め相関処理を行う場合（YES ）、サブステップSS504 に進む。また、斜め相関処理を行わない場合（NO）、サブステップSS510 に進む。
【００７４】
上述したサブステップSS502 では、適応処理モードと関係なく輝度データの算出が行われる。この処理を行うにあたり撮像部28の固体撮像素子28c が本来図15(a) に示すように２次元配列されている。ここで、添字は、各受光素子の画素としての位置を行列表現で表した際の位置である。また、実在画素は実線で、仮想画素は、破線で表している。基本的に高周波輝度データYHは、画素データG と画素データR, Bを用いて（0.5*R+0.5B）で算出できることが知られている。この場合も画素データG は、そのまま輝度データとみなして扱われる（画素データG=輝度データ）。また、画素データR, Bによる高周波輝度データは、実在画素の色がG でなくR/B の場合に、たとえば図15(a) の画素データR22 の位置に対する高周波輝度データYH22は、画素データR22 とその周囲に位置する画素データB の４画素、すなわち画素データB02, B20, B24, B42を用いて
【００７５】
【数２】
YH22＝R22/2 ＋(B02＋B20 ＋B24 ＋B42)/8 ・・・(2)
から得られる。また、画素データB24 の位置に対応する高周波輝度データYH24は、画素データB24 とその周囲に位置する画素データR の４画素、すなわち画素データR04, R22, R26, R44を用いて
【００７６】
【数３】
YH24＝B24 /2＋(R04＋R22 ＋R26 ＋R44)/8 ・・・(3)
から得られる。各画素に対してこの演算を行って高周波輝度データYHを求めている。このようにして得られた結果、図15(b) に示す輝度データの市松状のパターンが得られる。なお、このような演算は、斜め方向、垂直方向および水平方向のに相関がないときにも行われる。この処理の後、サブステップSS530 に進む。
【００７７】
ところで、サブステップSS504 では、比較データの算出を行う。比較データは、たとえば適応処理を施す対象の画素データを中心にしてその周囲の画素データがどの方向に相関しているかの判別に用いる。たとえば、その対象の画素データがR22 の場合、比較データAGは、周囲の画素データG11, G13, G31, G33を用いて、
【００７８】
【数４】
AG＝｜G11 ＋G33 −(G13＋G31)｜ ・・・(4)
から得られる。画素データがB の場合も周囲の画素データG から算出する。この算出により、左右のいずれか一方に傾きを有する大きい方の値が比較データAGとして得られることになる。この演算の後、サブステップSS506 に進む。
【００７９】
サブステップSS506 では、対象の画素データを挟んで斜めに位置する画素データに相関（すなわち、斜め相関）があるかどうか判定を行う。この判定には、判定基準値としてJ1が設定されている。比較データAGが判定基準値J1以上に大きいとき（YES ）、サブステップSS508 に進む。また、比較データAGが判定基準値J1よりも小さいとき（NO）、サブステップSS510 に進む。
【００８０】
サブステップSS508 では、比較データAGの算出に用いた４つの画素データG を平均して高周波輝度データYHを算出する。この斜め相関により少なくとも図示しないが６パターンが画素データR ＝R22 に対して判別されることになる。ところで、この場合でも、偽色を発生させてしまうおそれがある。そこで、このおそれのある画素の境界近傍に位置する画素データR における画質は高周波輝度データYHを上述した演算により算出すると、画像全体として見た際に色境界での偽色の発生を良好に抑圧することができる。具体的な説明を省略するが画素データB ＝B24 に対してもサブステップSS506, SS508と同様に比較データを算出し斜め相関の有無に基づいた適応的な高周波輝度データYHを作成することができる。この処理の後、接続子C を介して図14のサブステップSS530 に進む。
【００８１】
前述したようにサブステップSS510 では、画素データR ＝R22 に対する垂直方向の比較データABRVと水平方向の比較データABRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて
【００８２】
【数５】
ABRV＝｜B02 −B42 ｜ ・・・(5a)
ABRH＝｜B20 −B24 ｜ ・・・(5b)
を算出する。この処理の後、サブステップSS511 に進む。
【００８３】
サブステップSS511 では、算出した比較データABRV, ABRHの値を用いてさらに相関値（ABRH−ABRV）, （ABRV−ABRH）が算出された際に、新たに設けられた所定の判定基準値J2よりもこれら相関値のそれぞれがともに小さいとき（YES ）、水平および垂直方向に相関がないと判断して接続子B を介してサブステップSS502 に進む。また、上述した条件が満たされないとき（NO) 、何らかの相関があるとしてサブステップSS512 に進む。また、この段階で処理を終了する場合、図示しないが接続子C を介してサブステップSS530 に進んでもよい。
【００８４】
サブステップSS512 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ2a が設定されている。比較データABRHと比較データABRVの差が判定基準値J2a 以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS514 に進む。また、比較データの差(ABRH −ABRV) が判定基準値J2a よりも小さいとき（NO）、垂直相関がないものとみなしサブステップSS516 に進む。
【００８５】
サブステップSS514 では、相関のあるとは画素データ同士の値が近いことを意味するから、画素データB02, B42を用いて高周波輝度データYHを算出する。この場合、高周波輝度データYH22は、
【００８６】
【数６】
YH22 ＝R22/2 ＋(B02＋B42 )/4 ・・・(6)
により得られる。この後、この画素データにおける高周波輝度データYHの算出を終了したものとみなして接続子C を介してサブステップSS530 に進む。
【００８７】
次にサブステップSS516 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う。この判定には、判定基準値として前述したJ2b を用いる。比較データABRVと比較データABRHの差が判定基準値J2b 以上に大きいとき（YES ）、水平相関があると判定してサブステップSS418 に進む。また、比較データの差（ABRV−ABRH) が判定基準値J2b よりも小さいとき（NO）、水平相関がないと判定し、接続子D を介してサブステップSS519 に進む。
【００８８】
サブステップSS518 では、相関のあるとして画素データB20, B24を用いて高周波輝度データYHを算出する。この場合、輝度データYH22は、
【００８９】
【数７】
YH22＝R22/2 ＋(B20＋B24 )/4 ・・・(7)
により得られる。この後、この画素データにおける高周波輝度データYHの算出を終了したものとみなして接続子C を介してサブステップSS530 に進む。
【００９０】
次に接続子D を介してサブステップSS519 では、たとえば、色R の画素に対する周囲の色B の画素の相関判定を行うかどうかを選択する。色R の画素が周囲の色B の画素の中央位置に配されているので、サブステップSS512, SS516における画素間の距離が短い。したがって、より狭い範囲に対して相関があるかどうかの判定を以後の処理で行うことになる。この相関判定を行う場合（YES ）、サブステップSS520 に進む。また、この相関判定を行わない場合（NO）、サブステップSS502 に進む。この場合、判定基準値J2と異なる判定基準値J2a, J2bのいずれの基準を満たさなかったものと判定される。なお、以後の処理を行わない処理手順にしてもよい。この場合、単に接続子D を介してサブステップSS502 に進む。
【００９１】
サブステップSS520 では、再び比較データを算出する。この場合の比較データは、対象の画素データと周囲の画素データの各相関を求め、得られた各相関値を加算することにより垂直方向および水平方向に対する算出がされる。前述の場合と同様に画素データR22 に対する高周波輝度データYHの算出は、垂直方向の比較データACRVと水平方向の比較データACRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて
【００９２】
【数８】
ACRV＝｜B02 −R ｜＋｜B42 −R ｜ ・・・(8a)
ACRH＝｜B20 −R ｜＋｜B24 −R ｜ ・・・(8b)
を算出する。この処理の後、サブステップSS512 に進む。この比較データを用いることにより、より一層画素データの距離を画素データと近づけて相関値が求められることになるので、先のサブステップSS512 〜SS518 の手順での相関値の算出に定義した範囲よりも狭い範囲に関して相関の有無を調べることができる。この算出後、サブステップSS522 に進む。
【００９３】
サブステップSS522 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ3が設定されている（ここで、判定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよい）。比較データACRHと比較データACRVの差が判定基準値J3以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS424 に進む。また、比較データの差（ACRH−ACRV) が判定基準値J3よりも小さいとき（NO）、垂直相関がないと判定してサブステップSS526 に進む。
【００９４】
サブステップSS524 では、前述したサブステップSS514 での処理と同じ処理を行う。したがって、演算には式(6) が用いられる。また、サブステップSS526 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうかの判定を行う。この判定にも判定基準値J3が用いられる。
【００９５】
サブステップSS526 において、比較データの差（ACRV−ACRH) が判定基準値J3以上のとき（YES ）、水平相関があると判定してサブステップSS528 に進む。この場合、サブステップSS528 での高周波輝度データYHはサブステップSS518 で前述したような位置関係の画素データを用い、式(7) に基づいて算出される。この後、サブステップSS530 に進む。また、サブステップSS526 で比較データの差（ACRV−ACRH) が判定基準値J3より小さいとき（NO）、水平相関がないと判定してサブステップSS502 に進む。サブステップSS502 では、式(2) により対象の画素データと周囲のもう一方の色の画素データ（この場合、画素データB ）を加算平均し0.5 の係数を乗算して高周波輝度データYHを算出している。この算出後、サブステップSS530 に進む。
【００９６】
サブステップSS530 では、市松状の高周波輝度データYHのデータ作成が１フレーム分、完了したかどうかの判定を行っている。この判定は、たとえば算出した高周波輝度データYHの個数をカウントし、このカウント値と受光素子の数とが一致するかどうかで容易に行うことができる。カウント値が受光素子の数より小さい値のとき（NO）、まだ処理が完了していないと判定する。この結果、輝度データY の算出処理を接続子E を介して図13のサブステップSS500 にまで戻して、これまでの一連の処理を繰り返す。また、カウント値が受光素子の数に一致したとき（YES ）、処理をリターンに移行させる。このリターンを経て処理をサブルーチンSUB6に移行させる。このようにして高周波輝度データYHを算出することにより、図15(b) のように市松状の実在する受光素子に位置（受光画素の位置）にデータが作成される。
【００９７】
次にサブルーチンSUB6の動作をフローチャートで説明する（図16を参照）。サブルーチンSUB6の動作は、前述したように輝度データ補間処理部442 ( 図２を参照）のディジタルフィルタの構成に基づいて行われる。
【００９８】
図16に示すように、このディジタルフィルタの特徴であるローパスフィルタ処理を施すとともに、この処理により仮想画素における画素データが生成されてデータ補間が行われる（サブステップSS50）。この関係を簡単に図17に示す。図17でも実在画素d(3), d(1), d(1), d(3)は実線で示し、仮想画素は破線で示し、４つの実在画素の間に配した関係になっている。仮想画素dn(4), dn(2), dn(0), dn(2), dn(4) には、実在画素との対応を考慮して、何もデータが入っていない状態と同じ関係として扱う。すなわち、これらの画素には、ゼロが予め設定されている。たとえば図17(a) に示すように画素dn(0) を水平方向に補間するとき、ディジタルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・,kn として整理すると、高周波輝度データYH(0) が式(9)
【００９９】
【数９】
YH(0) ＝k0*dn(0)+k1*(d(1)+d(1))+k2*(dn(2)+dn(2))+k3*(d(3)+d(3))
+k4*(dn(4)+dn(4))+・・・kn*(dn(n)+dn(n)) ・・・(9)
で表されるように得られる。ただし、この場合、図17(a) から明らかなように、ゼロのデータが交互に入るので、係数が２倍になる。この関係は、図17(a) におけるこの他の補間対象の画素dn(4), dn(2), dn(2), dn(4)に対しても当てはめる。これらの補間処理が施されることにより、高周波輝度データYH(-4), YH(2), YH(2), YH(4) が得られる（図17(b) を参照）。
【０１００】
また、垂直方向に対しても図示していないがローパスフィルタ処理を輝度データ補間処理部442 でディジタルフィルタにより行う。この場合、既に水平方向の補間処理によって仮想画素のデータが補間されているので、画素データは密に入っている。したがって、ローパスフィルタの係数は通常と同じにして済ませることができる。このようにして得られた高域成分を含む輝度データを図15(b) に示したように行列表現で表すと、図18に示すように高周波輝度データYHが作成される。
【０１０１】
次にサブルーチンSUB7の動作について説明する。サブルーチンSUB7は、図２に示すように色補間展開部44b で行われる。色補間展開部44b には、データ補正部34a から読み出した画素データ、すなわち三原色データ42がR 補間展開部444, G補間展開部446,およびB 補間展開部448 にそれぞれ、供給されている。これらの供給される画素データを用いて色毎に実在画素および仮想画素の画素データの補間生成をフローチャートに従って説明する（図19を参照）。この場合、画素データG の補間処理をサブステップSS70で最初に行う。このとき、図20に示すようにハニカム型G 正方格子RB完全市松のパターンを用いていることから、既存の画素データG を有する画素（実在画素）は、実線の八角形格子で表す。また、画素データG を持たない画素、すなわち仮想画素および既存の画素データを有していながら、色G と異なる色の画素は、破線の八角形格子で表す。ここでは、この画素データG を持たない画素を仮想画素と呼ぶ。補間処理には、４つずつ既存の画素データを用いる。
【０１０２】
この関係を具体的に図20に示す。図20のパターンが示すように、仮想画素G12, G14, G16, G21〜G26 の一行, G32, G34, G36 を補間する場合、補間処理は隣接する４つずつの画素データG11, G13, G31, G33や画素データG13, G15, G33, G35等を用いる。たとえば、補間対象である仮想画素の画素データG21 の補間は、同一の列方向の２つの画素に対応する実在画素のデータを用いて
【０１０３】
【数１０】
G21 ＝(G11+G31)/2 ・・・(10)
から得られる。式(10)の計算式に画素データG13, G33を適用すると、仮想画素G23 を補間することができる。また、仮想画素G12 の補間は、同一の行方向の２つの画素に対応する実在画素のデータを用いて
【０１０４】
【数１１】
G12 ＝(G11+G13)/2 ・・・(11)
から得られる。式(11)の計算式に画素データG31, G33を適用すると、仮想画素G32 を補間することができる。そして、４つずつの画素データG11, G13, G31, G33の中心に位置する画素データG22 は、これら４つの位置の画素データを用いて
【０１０５】
【数１２】
G22 ＝(G11+G13+G31+G33)/4 ・・・(12)
から得られる。式(12)の計算式に周囲の画素データG11, G13, G31, G33を用いると、仮想画素G23 を補間することができる。画素データG13, G15, G33, G35を４つを一組のデータとみなして補間する場合、すでに画素データG23 は算出されているので、残る画素データG14, G34, G25 を上述した演算により算出すればよい。この処理を繰り返し行うことにより、画素データG のプレーン画像を作成する。ただし、プレーン画像の最外縁は、このような関係にならないので、厳密に補間を行う場合、境界値として設定しておくとよい。また、有効画面を考慮すると、この周辺部のデータは有効画面の範囲外にあるので算出しなくても構わない。
【０１０６】
次に画素データR の算出をサブステップSS72で行う。この場合も既存データおよび演算によって算出された画素データに対応する画素は、実線の正方格子で表し、仮想画素を含む未算出の画素は破線の八角形格子で表す。画素データR における実在画素のデータは、図20に示すようにR00, R04, R22, R26, R40, R44しかない。この場合、サブステップSS72では、補間対象の仮想画素に対して斜めに隣接している画素データを用いる。たとえば、画素データR11 は、画素データR00, R22を用いて、
【０１０７】
【数１３】
R11 ＝(R00+R22)/2 ・・・(13)
によって算出される。同様に、仮想画素R11, R31, R33 は、式(13)と同じ関係にそれぞれ画素データR04, R22、画素データR40, R22および画素データR44, R22を適用して算出する。既存の画素データR26 も考慮して算出すると、隣接斜め補間処理により仮想画素R15, R35も作成することができる。この結果が図21に示されている。
【０１０８】
次にサブステップSS74では、一つ前のサブステップSS72で算出された画素によって囲まれた画素を補間対象の画素とし、補間に際して算出されたこれら４つの画素データを用いて補間処理を行う。たとえば、画素データR24 を中心に図22から判るように、その周囲の画素データR13, R15, R33, R35の位置のデータを用いて、
【０１０９】
【数１４】
R24 ＝(R13+R15+R33+R35)/4 ・・・(14)
によって算出される。式(14)と同等の関係が周辺の画素から得られるとき、補間を施すことによって、図23に示すように画素データR02, R20, R42 が得られる。換言すると、補間対象の画素にから見れば、補間に使用する画素データはすべて斜めに位置している。
【０１１０】
次にサブステップSS76では、これまでに得られた画素データを用いるとともに、これらの画素の内、補間対象の画素に対して上下左右に位置する画素データから補間を行う。たとえば、画素データR12 を中心に上下左右の４つの画素データを用いて
【０１１１】
【数１５】
R12 ＝(R02+R11+R13+R22)/4 ・・・(15)
によって算出される。同様の位置関係にある画素データR14, R32, R14, R34は、式(15)に対応する周辺の画素データR を代入すると算出できる。さらに、図22の右側に画素が継続していると、画素データR16, R36も算出することができる。
【０１１２】
なお、図24に示すように周辺部には未補間の仮想画素が残ってしまうので、この仮想画素に対して周囲を囲む、たとえば３つの画素から補間するようにしてもよい。この補間の場合も前述した補間の手法を用いると、仮想画素の画素データR01 は、
【０１１３】
【数１６】
R01 ＝(R00+R02+R11)/3 ・・・(16)
によって算出される。このようにしてこの他、画素データR03, R05, R10, R30, R41, R43, R45 が補間される。最終的に画素データR に関するプレーン画面全体が補間される。
【０１１４】
次に画素データB に対する補間処理がサブステップSS78, SS80, SS82で行われる。サブステップSS78, SS80, SS82は、それぞれ、画素データB における隣接斜め補間処理、４つの補間データによる中央補間処理および上下左右の４画素による中央補間処理である。これらの補間処理は、前述した画素データR の補間処理（すなわち、サブステップSS72, SS74, SS76）に準拠している。これは、図21の画素データR と図25の画素データB の画素配置の関係から判る。すなわち、図25の画素データB の画素配置は、各色の添字に表される行列表示から、図21の画素データR を水平（すなわち、行）方向に２列ずつ全体にシフトした配置になっている。このことから、これまで挙げた算出式を適用して仮想画素を補間する場合、行列表示で列の数字が２以上の右側で各画素データの添字の列の数字に+2だけ加算した関係で算出を行うとよい。たとえば、画素データB13 や画素データB33 は、式(13)の色R を色B に置換し、画素データR00, R31の位置関係を画素データB02, B33にして
【０１１５】
【数１７】
B11+2 ＝(B00+2+B22+2)/2
B13 ＝(B02+B24)/2 ・・・(17a)
B31+2 ＝(B22+2+B40+2)/2
B33 ＝(B24+B42)/2 ・・・(17b)
のように演算処理することにより算出される。また、画素データの行列表示における列の数字が２より小さい左側で各画素データの補間処理を行う場合には、画素データR04, R22を用いて画素データR13 を算出する関係を用い、添字の数字から-2だけ減算させて算出するとよい。たとえば、画素データB11 は、
【０１１６】
【数１８】
B132＝(B042+B222)/2
B11 ＝(B02+B20)/2 ・・・(18)
から得られる。他の式(13)〜式(16)の関係においても同様の関係が成立している。この関係に注意してサブステップSS80, SS82で補間処理を行うと、画素データB に関するプレーン補間展開を行うことができる。この処理の後、サブステップSS84に進む。
【０１１７】
サブステップSS84では、プレーン補間展開が各色毎にすべて終了したかどうかの判定を行う。一連の処理がまだ終了していないとき（NO）、サブステップSS70に戻って処理を繰り返す。なお、各色毎にこの確認処理を行ってもよい。また、一連の処理が終了したとき（YES ）、リターンに移行する。この移行後、サブルーチンSUB7の処理が終了し、ステップS20 に進む。
【０１１８】
次に広帯域化処理を動画または静止画で行う処理手順を簡単に説明する（サブルーチンSUB3, SUB4）。供給される動画像に対して広帯域化処理はサブルーチンSUB3に従って行われる。色G の画素データが選択スイッチ48を介して広帯域化処理部34c のHPF 54に供給される。広帯域化処理では、まずこの色G の画素データにHPF 処理を施す（サブステップSS300 ）。この処理により色G の画素データが含む高周波成分が信号として抽出される。この高周波成分をGhとする。高周波成分Ghは加算部56の加算器560, 564の一端側560b, 564bに供給されるとともに、切換スイッチ54a の一端側57a にも供給されている。
【０１１９】
このとき、切換スイッチ54a は、切換制御信号184 に応じて他端側57b に切換制御される（サブステップSS302 ）。これにより、高周波成分Ghが加算器562 に供給されなくなり、ゼロレベルの信号が供給される。この遮断は、加算器562 において高周波成分Ghを含む色G の画素データに対してさらに高周波成分Ghを加算した際に生じる異常を防止することになる。
【０１２０】
加算部56では、供給される高周波成分Ghと画素データR, Bとを各画素ごとに加算が施され、画素データG はゼロレベルが供給されるので、結果的にそのままスルーさせた場合と同じになる（サブステップSS304 ）。一般的に、各画素の位置（i, j）とし、行列表示させると、広帯域化した画素データRHij, GHij, BHijは、
【０１２１】
【数１９】
RHij＝Rij ＋Ghij ・・・(19a)
GHij＝Gij ・・・(19b)
BHij＝Bij ＋Ghij ・・・(19c)
となる。ここで算出された画素データRHij, GHij, BHijが色差マトリクス部58に供給される。
【０１２２】
次に供給された画素データRHij, GHij, BHijを用いて各実在画素および仮想画素のそれぞれに対して演算することにより広帯域化した輝度データY 、色差データCr, Cbを生成する（サブステップSS306 ）。さらに、生成した輝度データY に対してアパーチャ調整を施す（サブステップSS308 ）。アパーチャ調整は、輪郭強調処理に相当する処理である。このように処理して１フレーム分の処理が終了したかどうか判定を行う（サブステップSS310 ）。１フレーム分の処理が終了していない場合（NO）、サブステップSS300 に戻って一連の処理を繰り返す。また、１フレーム分の処理が終了している場合（YES ）、リターンに進んでこのサブルーチンSUB3を終了し、リターンを介してメインルーチンに移行する。
【０１２３】
また、供給される静止画像に対して広帯域化処理はサブルーチンSUB4に従って行われる。この場合、高周波輝度データYHが選択スイッチ48を介して広帯域化処理部34c のHPF 54に供給される。広帯域化処理では、まずこの高周波輝度データYHにHPF 処理を施す（サブステップSS400 ）。この処理により高周波輝度データの高周波成分が信号として抽出される。この高周波成分をYhとする。高周波成分Yhは加算部56の加算器560, 564の一端側560b, 564bに供給されるとともに、切換スイッチ54a の一端側57a にも供給されている。
【０１２４】
このとき、切換スイッチ54a は、切換制御信号184 に応じて閉状態に制御される（サブステップSS402 ）。これにより、加算器562 にも高周波成分Yhが供給される。
【０１２５】
加算部56では、供給される高周波成分Yhと画素データR, G, B とを各画素ごとに加算が施される（サブステップSS404 ）。一般的に、各画素の位置（i, j）とし、行列表示させると、広帯域化した画素データRHij, GHij, BHijは、
【０１２６】
【数２０】
RHij＝Rij ＋Yhij ・・・(20a)
GHij＝Gij ＋Yhij ・・・(20b)
BHij＝Bij ＋Yhij ・・・(20c)
となる。ここで算出された画素データRHij, GHij, BHijが色差マトリクス部58に供給される。
【０１２７】
次に供給された画素データRHij, GHij, BHijを用いて各実在画素および仮想画素のそれぞれに対して演算することにより広帯域化した輝度データY 、色差データCr, Cbを生成する（サブステップSS406 ）。さらに、生成した輝度データY に対してアパーチャ調整を施す（サブステップSS408 ）。アパーチャ調整は、輪郭強調処理に相当する処理である。このように処理して１フレーム分の処理が終了したかどうか判定を行う（サブステップSS410 ）。１フレーム分の処理が終了していない場合（NO）、サブステップSS300 に戻って一連の処理を繰り返す。また、１フレーム分の処理が終了している場合（YES ）、リターンに進んでこのサブルーチンSUB3を終了し、リターンを介してメインルーチンに移行する。
【０１２８】
以上のように構成することにより、いわゆるハニカム型の配置で色フィルタにG 正方格子RB完全市松パターンを適用したディジタルカメラ10において、静止画および動画のモードのそれぞれに対応した信号処理を行うことにより画像に異常をきたすことなく、従来よりも画質を高めることができる。特に、動画での画質を向上させることができる。
【０１２９】
【発明の効果】
このように本発明の固体撮像装置によれば、静止画または動画のモードに設定した際に撮像を受光素子に行わせ、受光素子に蓄積した信号電荷の読出しを設定したモードに応じて行い、信号電荷をディジタル信号に変換して実在画素の画素データを一時記憶し、これら画素データに補正を施し、補正を設定したモードに応じてデータ補間を行い、静止画生成のモードで高周波輝度データを、動画生成のモードで色G の色データを用いて広帯域化を図ることにより、各モードで形成した画像を高画質化させることができる。特に所定の時間内に画像の形成が要求される動画でも高画質化を満足させることができる。
【０１３０】
また、本発明の信号処理方法によれば、静止画または動画のモードに設定した際に撮像を受光素子に行わせ、受光素子に蓄積した信号電荷の読出しを設定したモードに応じて行い、信号電荷をディジタル信号に変換して実在画素の画素データを一時記憶し、これら画素データに補正を施し、補正を設定したモードに応じてデータ補間を行い、静止画生成のモードで高周波輝度データを、動画生成のモードで色G の色データを用いて広帯域化を図ることにより、各モードで形成した画像を高画質化させることができる。特に所定の時間内に画像の形成が要求される動画でも高画質化を満足させることができる。
【図面の簡単な説明】
【図１】本発明の固定撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の静止画補間部の概略的な構成を示すブロック図である。
【図３】図１の動画補間部のデータ補正部の構成を示すブロック図である。
【図４】図１の広帯域化処理部の概略的な構成を示すブロック図である。
【図５】図１の撮像部に適用する色フィルタの色フィルタセグメントの配置パターンを説明する模式図である。
【図６】図１の撮像部を入射光側から見た際の受光素子位置および接続関係を説明する模式図である。
【図７】ディジタルカメラの動作を説明するメインフローチャートである。
【図８】図７のサブルーチンSUB1の動作手順を説明するフローチャートである。
【図９】図８の動作によりまとめて扱う画素データの関係を説明する模式図である。
【図１０】図１のディジタルカメラで生成される各種データの空間周波数の分布を示すグラフである。
【図１１】図８の処理を改善し得られた画素データをまとめて扱う関係を説明する模式図である。
【図１２】図７のサブルーチンSUB2の動作手順を説明するフローチャートである。
【図１３】図12において適用するサブルーチンSUB5の動作手順を説明するフローチャートである。
【図１４】図13のサブルーチンSUB5の動作説明の続きを説明するフローチャートである。
【図１５】図13および図14の動作により実在画素と生成される高周波輝度データYHとの関係を示す模式図である。
【図１６】図12において適用するサブルーチンSUB6の動作手順を説明するフローチャートである。
【図１７】図16のサブルーチンSUB6で行う高周波輝度データYHの補間処理を説明する模式図である。
【図１８】図16のサブルーチンSUB6の処理により生成される高周波輝度データYHの位置関係を説明する模式図である。
【図１９】図12において適用するサブルーチンSUB7の動作手順を説明するフローチャートである。
【図２０】図19のサブルーチンSUB7における色G の画素補間展開を説明する模式図である。
【図２１】図19のサブルーチンSUB7における補間展開する対象の画素と実在画素の位置関係を示す模式図である。
【図２２】図21の位置関係に隣接斜め補間処理した結果を加えた際の位置関係を示す模式図である。
【図２３】図22の位置関係に隣接斜め補間処理により得られた４つの画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図２４】図23の位置関係に補間対象の画素に対して上下左右に位置する画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図２５】図19のサブルーチンSUB7での画素データB に関する補間対象の画素と実在画素の位置関係を示す模式図である。
【図２６】図７のサブルーチンSUB3の動作手順を説明するフローチャートである。
【図２７】図７のサブルーチンSUB4の動作手順を説明するフローチャートである。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ系
14 操作部
16 システムバス
18 システム制御部
28 撮像部
30 前処理部
32 A/D 変換部
34 信号処理部
36 圧縮／伸張処理部
44 静止画補間部
46 動画補間部
48 選択スイッチ
140 レリーズボタン
142 静止画・動画設定部
28a 光学ローパスフィルタ
28b 色フィルタ
28c 固体撮像素子
34a データ補正部
34b 補間処理部
34c 広帯域化処理部
Claims (10)
- 入射光を色分解し、該色分解した入射光を光電変換して撮像し、該撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、該装置は、
前記入射光を三原色に色分解する色フィルタセグメントを含む色分解手段、
該色分解手段の前記色フィルタセグメントを通った入射光を光電変換する受光素子と該受光素子に隣接した受光素子とが互いに垂直方向および／または水平方向にずらされて２次元配置された受光部、および
該受光部の前記受光素子で光電変換されて蓄積された信号電荷を所定の順序で順次読み出し、外部の出力信号として出力する読出し手段を含む撮像手段と、
該撮像手段から供給される信号をディジタル変換して画素データにするディジタル変換手段と、
該撮像手段から前記信号電荷を読み出す複数のモードおよび該複数のモードに応じて施す信号処理の設定を切り換えるモード設定手段と、
前記画素データに補正を施し、該複数のモードに応じた前記画像データに対する補間処理を行う補間手段、および
前記ディジタル変換した画像データおよび／または前記補間処理の施された画像データから得られる輝度信号と色差信号の帯域を広げる処理を行う広帯域化手段を含む信号処理手段とを含み、
前記受光素子の実在する位置から得られる画素を実在画素とし、前記受光素子の中間の位置の画素を仮想画素とし、
前記補間手段は、前記補正した画素データを用いて、前記モード設定手段が設定した静止画像生成のモードに対応して実在画素および仮想画素に対する三原色データを補間生成する第１の補間手段と、
前記補正した画素データを用いて、前記モード設定手段が設定した動画像生成のモードに対応して色 G の画素データが得られる実在画素での三原色データを補間する第２の補間手段とを含み、
第１の補間手段が生成する高周波成分を含む高周波輝度データおよび三原色データと第２の補間手段から得られる色G の画素データが得られる実在画素での三原色データを前記モード設定手段の設定に応じて切換え選択する選択手段が前記広帯域化手段の前に配され、選択手段で選択した画素データを前記広帯域化手段に供給して、広帯域化することを特徴とする固体撮像装置。 - 請求項１に記載の装置において、第１の補間手段は、前記補正した画素データを用いて水平および／または垂直方向の相関検出を行い、前記相関検出結果に基づいて前記実在画素に対する前記高周波輝度データを補間生成し、前記仮想画素に対する前記高周波輝度データを補間生成するとともに、供給される画素データの色配置を考慮して前記仮想画素および前記実在画素に対する三原色データを補間生成することを特徴とする固体撮像装置。
- 請求項１または２に記載の装置において、第２の補間手段は、前記補正した画素データを用いて、該色G に対して斜め方向に配されるとともに、同一の行方向に配される色R, Bを該色G の位置における三原色の組合せデータとしてサンプリングを行う第１抽出手段を含み、
第１抽出手段は、前記組合せデータの色R, Bの少なくとも一つが隣接する組合せデータを重複してサンプリングが行われることを特徴とする固体撮像装置。 - 請求項１または２に記載の装置において、第２の補間手段は、前記補正した画素データを用いて、色G に対して斜めに配される同一色R または Bのデータを該色G の位置におけるデータとしてサンプリングを行う第２抽出手段と、
第２抽出手段により抽出されたデータを用いて、該データの加算平均で色R, Bがそれぞれ算出されるRB演算手段とを含み、
前記RB演算手段での算出値を該色G の位置における三原色を表す組合せデータとすることを特徴とする固体撮像装置。 - 請求項１ないし４のいずれか一項に記載の装置において、前記広帯域化手段は、前記選択手段からの前記高周波輝度データまたは前記色G の色データの所定の高周波成分を通すフィルタ手段と、
前記静止画像生成のモードにて前記高周波輝度データを供給し、前記動画像生成のモードにて前記色G の所定の高周波成分の供給を禁止する切換え手段と、
該フィルタ手段から抽出した所定の高周波成分のデータを前記三原色データR および B に加算するとともに、前記静止画生成のモードにて前記切換え手段から供給される所定の高周波成分のデータを前記三原色データ G に加算し、前記動画生成のモードにて前記所定の高周波成分のデータが供給断状態のレベルを加算する加算手段と、
該加算手段から供給される三原色データに基づいて輝度データおよび色差データを生成するマトリクス手段と、
該輝度データに対して輪郭強調させる処理を施すアパーチャ調整手段とを含むことを特徴とする固体撮像装置。 - 被写界からの入射光を集光させ該入射光を三原色RGB に色分解する色フィルタセグメントが配された色フィルタを用い、さらに、該入射光を光電変換する複数の受光素子を用意し、該複数の受光素子のそれぞれが、隣接する互いの受光素子に対して各受光素子の幾何学的な形状の中心が互いに行方向および／または列方向に該受光素子のピッチの半分に相当する距離だけずれて配され、該受光素子によって得られた信号電荷を読み出し、ディジタル変換して得られた画像データに施す信号処理方法において、該方法は、
前記撮像した画像に対して設定する複数のモードのうち、静止画または動画のモードを設定するモード設定工程と、
前記色フィルタが一方の色G を正方格子状に配され、該色フィルタの色G を挟んで対角位置に同色R,またはB が配される完全市松パターンにより色分解され、前記受光素子で得られた信号電荷を読み出す撮像工程と、
該得られた信号電荷をディジタル変換して画素データにするディジタル変換工程と、
該得られた画素データを記憶させる画像記憶工程と、
前記画素データに補正を施し、該複数のモードに応じた前記画像データに対する補間処理を行い、前記ディジタル変換した画像データおよび／または前記補間処理の施された画像データから得られる輝度信号と色差信号の帯域を広げる処理を行う信号処理工程とを含み、
前記受光素子の実在する位置から得られる画素を実在画素とし、前記受光素子の中間の位置の画素を仮想画素とし、
前記信号処理工程は、前記補正した画素データを用いて、前記設定した静止画像生成のモードに対応して実在画素および仮想画素に対する三原色データを補間生成する第１補間工程と、
前記補正した画素データを用いて、前記設定した動画像生成のモードに対応して色 G の画素データが得られる実在画素での三原色データを補間する第２補間工程と、
前記モード設定に応じた処理に用いる供給元を、第１補間工程で生成した高周波成分を含む高周波輝度データおよび三原色データ、ならびに第２補間工程から得られる前記色G の色データのいずれか一方を選択する選択工程とを含むことを特徴とする信号処理方法。 - 請求項６に記載の方法において、第１補間工程は、前記補正した画素データを用いて水平および／または垂直方向の相関検出を行い、前記相関検出結果に基づいて前記実在画素に対する前記高周波輝度データを補間生成し、前記仮想画素に対する前記高周波輝度データを補間生成するとともに、供給される画素データの色配置を考慮して前記仮想画素および前記実在画素に対する三原色データを補間生成することを特徴とする信号処理方法。
- 請求項６または７に記載の方法において、第２補間工程は、前記補正した画素データを用いて、該色G に対して斜め方向に配されるとともに、同一の行方向に配される色R, Bを該色G の位置における三原色の組合せデータとしてサンプリングを行う第１工程を含み、
第１工程は、前記組合せデータの色R, Bの少なくとも一つが隣接する組合せデータを重複してサンプリングを行うことを特徴とする信号処理方法。 - 請求項６または７に記載の方法において、第２補間工程は、前記補正した画素データを用いて、該色G に対して斜めに配される同一色R または Bのデータを該色G の位置におけるデータとしてサンプリングを行う第２工程と、
該抽出したデータを用いて、前記色R, Bの加算平均をそれぞれ算出し、該色G の位置における三原色を表す組合せデータを生成する工程とを含むことを特徴とする信号処理方法。 - 請求項６ないし９のいずれか一項に記載の方法において、前記信号処理工程は、供給元からの前記高周波輝度データまたは前記色G の色データの所定の高周波成分を通す工程と、
前記静止画像生成のモードにおいて前記高周波輝度データを供給し、前記動画像生成のモードにおいて前記色G の所定の高周波成分の供給を禁止する選択工程と、
該抽出した所定の高周波成分のデータを前記三原色データRおよび B に加算するとともに、前記静止画生成のモードにて前記選択工程により供給される所定の高周波成分のデータを前記三原色データ G に加算し、前記動画生成のモードにて前記選択工程により前記所定の高周波成分のデータが供給断状態のレベルを前記三原色データG に加算する工程と、
該高周波成分のデータを加算した三原色データに基づいて輝度データおよび色差データを生成するマトリクス処理工程と、
該輝度データに対して輪郭強調させる処理を施すアパーチャ調整工程とを含むことを特徴とする信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000144634A JP4243412B2 (ja) | 2000-05-12 | 2000-05-12 | 固体撮像装置および信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000144634A JP4243412B2 (ja) | 2000-05-12 | 2000-05-12 | 固体撮像装置および信号処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001326942A JP2001326942A (ja) | 2001-11-22 |
| JP2001326942A5 JP2001326942A5 (ja) | 2005-11-10 |
| JP4243412B2 true JP4243412B2 (ja) | 2009-03-25 |
Family
ID=18651261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000144634A Expired - Fee Related JP4243412B2 (ja) | 2000-05-12 | 2000-05-12 | 固体撮像装置および信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4243412B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003101119A1 (fr) * | 2002-05-24 | 2003-12-04 | Nikon Corporation | Procede de traitement d'images, programme de traitement d'images et processeur d'images |
| JP5889049B2 (ja) * | 2012-03-09 | 2016-03-22 | オリンパス株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| JP5846986B2 (ja) * | 2012-03-28 | 2016-01-20 | 日立マクセル株式会社 | 撮像装置 |
| JP5919086B2 (ja) * | 2012-05-09 | 2016-05-18 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
-
2000
- 2000-05-12 JP JP2000144634A patent/JP4243412B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001326942A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7227574B2 (en) | Image capturing apparatus | |
| US7652701B2 (en) | Solid-state honeycomb type image pickup apparatus using a complementary color filter and signal processing method therefor | |
| JP4503823B2 (ja) | 画像信号処理方法 | |
| JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| US7808533B2 (en) | Electronic camera having signal processing units that perform signal processing on image data | |
| JP4077120B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP3530907B2 (ja) | デジタルカメラ | |
| JP2004128985A (ja) | 撮像システム、再生システム、撮像プログラム、再生プログラム | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| WO2012169140A1 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
| KR20010042845A (ko) | 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 | |
| JP2001285885A (ja) | 固体撮像装置および信号処理方法 | |
| JP5043730B2 (ja) | 撮像装置、その制御方法、画像処理装置及び画像処理方法 | |
| JP4243412B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP2000197067A (ja) | 固体撮像装置および画像デ―タ作成方法 | |
| JP4225795B2 (ja) | 撮像システム、画像処理プログラム | |
| JP2004287794A (ja) | 画像処理装置 | |
| JP2001036809A (ja) | 固体撮像装置および画像処理方法 | |
| JP4934183B2 (ja) | 画像信号処理方法 | |
| JP4133179B2 (ja) | 画像信号処理装置 | |
| JP2002209100A (ja) | 画像処理装置および画像処理方法 | |
| JP3965556B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2001169301A (ja) | 多板式撮像装置および画像データ処理用記録媒体 | |
| JP2000152263A (ja) | 固体撮像装置および画像データ作成方法 | |
| JP2009065323A (ja) | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090105 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140109 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |