JP3943323B2

JP3943323B2 - 撮像装置、撮像方法、信号処理方法、及び画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP3943323B2
Application number: JP2000338779A
Authority: JP
Inventors: 雅也田丸; 岳志三沢
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-11-07
Filing date: 2000-11-07
Publication date: 2007-07-11
Anticipated expiration: 2020-11-07
Also published as: JP2002152761A

Description

【０００１】
【発明の属する技術分野】
本発明は、光学ローパスフィルタを介して撮影された画像をデジタルフィルタで処理する撮像装置、撮像方法、信号処理方法、及び前記画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来、微小な光電変換部を２次元的に配列させている撮像素子を１つだけを用いてカラー撮影を行う単板式の撮像装置が知られている。単板式の撮像装置では、色フィルタアレイが撮像素子表面に形成されている。例えば、色フィルタアレイが赤（Ｒ）、緑（Ｇ）、および青（Ｂ）から構成される場合、単板式の撮像素子から得られた画像における各々の画素は、Ｒ、Ｇ、Ｂのうちの一色に関する画素値のみを有する。完成画像を得るためには、全画素についてＲ、Ｇ、Ｂそれぞれの画素値が必要となる。そこで、従来の撮像装置では、撮像素子から得られた画像信号を補間処理することにより、各々の画素において欠落している色情報を生成している。
【０００３】
【発明が解決しようとする課題】
しかし、単板式の撮像素子に備えられている色フィルタアレーでは、フィルタの配置間隔が色により異なる。このために、欠落している色情報の補間処理を行った場合、各々の色の再現帯域が異なり、再現帯域の狭い色の折り返し成分により偽色が発生するという問題があった。
【０００４】
そこで本発明は、上記の課題を解決することのできる撮像装置、撮像方法、信号処理方法、及び画像をコンピュータに処理させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
本発明の第１の形態によれば、光を１つの光分離方向に分離する光学ローパスフィルタと、光電変換素子が斜方格子配列又は方形格子配列された、前記光学ローパスフィルタによりフィルタリングされた画像を撮像する単板式の撮像素子と、一の画素の位置において欠落している色の画素値を、前記一の画素に対して前記光分離方向に位置する画素の画素値と、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値との加重平均として求め、色補間処理を行うデジタルフィルタであって、前記加重平均において、前記一の画素に対して前記光分離方向に位置する画素の画素値に用いられる重み係数は、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値に用いられる重み係数より大きいデジタルフィルタとを備える。
【０００６】
前記一の画素、及び前記一の画素に対し前記光分離方向に位置する画素の間における画素値の相関の強さを示す第１相関値を求める第１相関算出部と、前記一の画素、及び前記一の画素に対し前記光分離方向に直交する方向に位置する画素の間における画素値の相関の強さを示す第２相関値を求める第２相関算出部と、前記第１相関値及び前記第２相関値に基づいて前記加重平均で用いるべき重み係数を求める係数算出部とをさらに備える。前記係数算出部は、前記第１相関値に所定値を加えた重み付き相関値が、前記重み付き相関値及び前記第２相関値の和にしめる比率を重み係数として求める。前記所定値は、正の値である。
【０００７】
前記撮像素子は、前記光電変換素子が斜方格子配列されており、前記光学ローパスフィルタは、前記光分離方向が、水平方向に対して実質的に＋４５°又は−４５°となるように傾けて配置されている。前記撮像素子は、前記光電変換素子が方形格子配列されており、前記光学ローパスフィルタは、前記光分離方向が、水平方向または垂直方向に実質的に一致するように配置されている。前記光学ローパスフィルタは、ベイヤ方式の配列を４５°回転させた色フィルタアレイを有する。前記光学ローパスフィルタの光の分離幅は、前記光分離方向における前記光電変換素子の間隔と等しい。
【０００８】
前記光分離方向に関する情報を外部から受け付ける入力部と、前記入力部が受け付けた前記光分離方向に関する情報を記憶する記憶部とをさらに備え、前記デジタルフィルタは、前記記憶部に記憶されている前記光分離方向に関する情報を利用して前記一の画素の画素値を求める。
【０００９】
前記撮像素子により撮像された画像のＢ画素及びＧ画素の位置におけるＲ画素の画素値を算出することにより、Ｒ画素を補間処理するＲ画素補間処理部と、前記画像のＲ画素及びＢ画素の位置におけるＧ画素の画素値を算出することにより、Ｇ画素を補間処理するＧ画素補間処理部と、前記画像のＲ画素及びＧ画素の位置におけるＢ画素の画素値を算出することにより、Ｂ画素を補間処理するＢ画素補間処理部とをさらに備え、前記Ｇ画素補間処理部が有する前記デジタルフィルタは、Ｒ画素又はＢ画素の位置におけるＧ画素の画素値を、当該Ｇ画素に対して前記光分離方向に隣接するＧ画素の画素値と、当該Ｇ画素に対して前記光分離方向に直交する方向に隣接するＧ画素の画素値との加重平均として求める。
【００１０】
前記Ｒ画素補間処理部は、Ｂ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して水平方向及び素直方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理部が出力した当該Ｒ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタを有し、前記Ｂ画素補間処理部は、Ｒ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して水平方向及び垂直方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理部が出力した当該Ｂ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタを有する。前記Ｒ画素補間処理部は、前記光分離方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して前記光分離方向に隣接するＲ画素の画素値から算出する第２デジタルフィルタをさらに有し、前記Ｂ画素補間処理部は、前記光分離方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して前記光分離方向に隣接するＢ画素の画素値から算出する第２デジタルフィルタをさらに有する。前記Ｒ画素補間処理部は、前記光分離方向に直交する方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素の位置のＧ画素の画素値と、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理部が出力した、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタをさらに有し、前記Ｂ画素補間処理部は、前記光分離方向に直交する方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素の位置のＧ画素の画素値と、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理部が出力した、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタをさらに有する。
【００１１】
本発明の第２の形態によれば、光学ローパスフィルタにより、光を１つの光分離方向に分離する光学的フィルタリング段階と、光電変換素子が斜方格子配列又は方形格子配列された単板式の撮像素子を用いて、前記光学ローパスフィルタによりフィルタリングされた画像を撮像する撮像段階と、一の画素の位置において欠落している色の画素値を、前記一の画素に対して前記光分離方向に位置する画素の画素値と、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値との加重平均として求め、色補間処理を行うデジタルフィルタであって、前記加重平均において、前記一の画素に対して前記光分離方向に位置する画素の画素値に用いられる重み係数は、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値に用いられる重み係数より大きいデジタルフィルタを用いて、前記撮像素子により撮像された画像をフィルタリングするデジタルフィルタ段階とを備える。
【００１２】
前記一の画素、及び前記一の画素に対し前記光分離方向に位置する画素の間における画素値の相関の強さを示す第１相関値を求める第１相関算出段階と、前記一の画素、及び前記一の画素に対し前記光分離方向に直交する方向に位置する画素の間における画素値の相関の強さを示す第２相関値を求める第２相関算出段階と、前記第１相関値及び前記第２相関値に基づいて前記加重平均で用いるべき重み係数を求める係数算出段階とをさらに備える。
【００１３】
前記光分離方向に関する情報を外部から受け付ける入力段階と、前記入力段階において受け付けた前記光分離方向に関する情報を記憶する記憶段階とをさらに備え、前記デジタルフィルタ段階は、前記記憶段階において記憶された前記光分離方向に関する情報を利用して前記一の画素の画素値を求める。
【００１４】
前記デジタルフィルタ段階は、前記撮像素子により撮像された画像のＢ画素及びＧ画素の位置におけるＲ画素の画素値を算出することにより、Ｒ画素を補間処理するＲ画素補間処理段階と、前記画像のＲ画素及びＢ画素の位置におけるＧ画素の画素値を算出することにより、Ｇ画素を補間処理するＧ画素補間処理段階と、前記画像のＲ画素及びＧ画素の位置におけるＢ画素の画素値を算出することにより、Ｂ画素を補間処理するＢ画素補間処理段階とを有し、前記Ｇ画素補間処理段階は、Ｒ画素又はＢ画素の位置におけるＧ画素の画素値を、当該Ｇ画素に対して前記光分離方向に隣接するＧ画素の画素値と、当該Ｇ画素に対して前記光分離方向に直交する方向に隣接するＧ画素の画素値との加重平均として求める。前記Ｒ画素補間処理段階は、Ｂ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して水平方向及び素直方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理段階で求められた当該Ｒ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタ段階を有し、前記Ｂ画素補間処理段階は、Ｒ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して水平方向及び垂直方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理段階で求められた当該Ｂ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタ段階を有する。前記Ｒ画素補間処理段階は、前記光分離方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して前記光分離方向に隣接するＲ画素の画素値から算出する第２デジタルフィルタ段階をさらに有し、前記Ｂ画素補間処理段階は、前記光分離方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して前記光分離方向に隣接するＢ画素の画素値から算出する第２デジタルフィルタ段階をさらに有する。前記Ｒ画素補間処理段階は、前記光分離方向に直交する方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素の位置のＧ画素の画素値と、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理段階において求められた、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタ段階をさらに有し、前記Ｂ画素補間処理段階は、前記光分離方向に直交する方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素の位置のＧ画素の画素値と、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理段階において求められた、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタ段階をさらに有する。
【００１５】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００１６】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
本実施形態では、撮像装置の一例としてＣＣＤを用いたデジタルカメラを取り上げる。ＣＣＤは、光電変換部を２次元配列した撮像素子の一例として取り上げた固体撮像素子である。
【００１８】
図１は、本実施形態に係るデジタルカメラ１０の構成を示す。本実施形態に係るデジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００１９】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、ＣＣＤ３０、及び撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００２０】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【００２１】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２２】
撮像ユニット２０はさらに、ファインダ３３とストロボ３６を有する。ファインダ３３には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３３内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２３】
撮像制御ユニット４０は、ズーム駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。ズーム駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。
【００２４】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２５】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００２６】
処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＲＧＢ補間処理部３４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００２７】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００２８】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００２９】
ＲＧＢ補間処理部３４は、デジタル画像データに色補間処理を施す。さらに、ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００３０】
処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００３１】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３２】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３３】
表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３４】
操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３５】
以上の構成による主な動作は以下のとおりである。
まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００３６】
カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データは、メインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後、ＲＧＢ補間処理部３４、ＹＣ処理部７０、及び圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００３７】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００３８】
図２は、ＣＣＤ３０における画素（光電変換素子）の配列を示す図である。図示のように、ＣＣＤ３０では、画素が斜方格子配列に並べられている。つまり、ＣＣＤ３０では、水平方向に対して斜め４５°の方向に並ぶように画素が配列されている。本実施形態では、水平方向又は垂直方向に並んでいる画素の中央に仮想の画素があると仮定し、実体のある画素を実画素、仮想の画素を虚画素と呼ぶ。実画素と虚画素との間の水平方向又は垂直方向の間隔はＷである。したがって、斜め４５°方向に並んでいる実画素間の距離は２^０．５×Ｗである。
【００３９】
図３は、ＣＣＤ３０における画素の位置と、その画素が受光できる色の関係を示す図である。ＣＣＤ３０は、受光面に色フィルタアレーが設けられた単板式のＣＣＤである。図中、Ｒ、Ｇ、又はＢの記号が記載されている位置は、実画素が存在する位置であり、それぞれ、その画素の表面に赤、緑、又は青の色フィルタが設けられていることを示している。本実施形態では、赤の色フィルタが設けられており、赤色の光の輝度を検出する画素をＲ画素と呼ぶ。同様に、緑又は青の色フィルタが設けられている画素をＧ画素またはＢ画素と呼ぶ。各記号の添え字は、その画素が位置するＸＹ座標を示す。例えばＧ_３１は、（ｘ、ｙ）＝（３、１）の位置にある画素がＧ画素であることを示す。図３から明らかなように、本実施形態では、ベイヤ方式の配列を４５°回転させた色フィルタアレイを使用している。
【００４０】
図４は、光学ＬＰＦ２８とＣＣＤ３０とを模式的に示す斜視図である。本実施形態では、光学ＬＰＦ２８が１枚の水晶板から構成される。したがって、光学ＬＰＦ２８が光学像を分離及び合成する方向（以下、「光分離方向」という）は１つのみである。換言すれば、光学ＬＰＦ２８は、光学像の空間周波数を一の方向にのみフィルタリングする。
また、本実施形態では、光学ＬＰＦ２８が光学像を分離する分離幅を、実画素が斜め４５°方向に並んでいる間隔である２^０．５×Ｗに等しく設定する。
【００４１】
光学ＬＰＦ２８には、所定の位置に切り欠き２８ａとマーク２８ｂを設けられている。一方、ＣＣＤ３０のパッケージにも、上記切り欠き２８ａ及びマーク２８ｂに対応する切り欠き３０ａ及びマーク３０ｂが設けられている。本実施形態では、上記切り欠き２８ａ及び３０ａ、又は、マーク２８ｂ及び３０ｂの位置が実質的に揃うように光学ＬＰＦ２８をＣＣＤ３０の受光面前方に設置する。これは、ＣＣＤ３０の画素の配列方向と、光学ＬＰＦ２８の光分離方向とが一致するように光学ＬＰＦ２８を設置するためである。
【００４２】
本実施形態では、ＣＣＤを正面から見たときの反時計回りを正とした場合に、光学ＬＰＦ２８の光分離方向がＣＣＤ３０の水平方向に対して実質的に＋４５°の傾きを有するよう光学ＬＰＦ２８を設置する。つまり、光学ＬＰＦ２８は、その光分離方向が、ＣＣＤ３０の画素の斜めの配列方向と一致するように設置される。ここで、実質的に＋４５°とは、少なくとも＋４５°±５°の範囲をいう。
【００４３】
前述したように、光学ＬＰＦ２８が光学像を分離する幅は、ＣＣＤ３０における斜め４５°方向の画素間隔に等しく設定されている。よって、上記のように光学ＬＰＦ２８を設置すると、＋４５°の方向において、光学ＬＰＦ２８のカットオフ周波数と、ＣＣＤ３０の画素間のナイキスト周波数とが一致する。したがって、光学ＬＰＦ２８は、＋４５°方向に並んでいる画素間における偽信号、偽色の発生を抑制する。
【００４４】
なお、本実施形態では、１枚の光学部材のみから構成される光学ＬＰＦ２８を用いているので、上記カットオフ周波数以下の画像信号成分の減衰が少ない。したがって、光学ＬＰＦ２８は、例えば、光分離方向が異なる複数の光学部材を組み合わせて作られ、２次元的なフィルタリングを行う光学ＬＰＦフィルタより、後に再現すべき画像信号をより多く残す。この結果、本実施形態では、より鮮鋭な画像を取得することが可能となっている。
【００４５】
一方で、光学ＬＰＦ２８は、−４５°方向に関しては光学像の空間周波数をフィルタリングしないので、−４５°方向における偽色の発生は抑制されない。そこで、本実施形態では、−４５°方向の偽色の発生を以下に説明するＲＧＢ補間処理部３４の色補間処理によって低減する。これにより、本実施形態では、光学ＬＰＦ２８によるナイキスト周波数以下における光学像の減衰を最小限に抑え、鮮鋭な画像の取得を可能としつつも、全方向における偽色の発生を抑制している。
【００４６】
図５は、ＲＧＢ補間処理部３４の機能ブロック図である。ＲＧＢ補間処理部３４は、撮像信号処理部３２から出力されたデジタル画像データを補間処理することにより、Ｒ、Ｇ、Ｂの３つのカラープレーンを生成する。ＲＧＢ補間処理部３４は、撮像信号処理部３２から出力されるデジタル画像データを一時格納するバッファメモリ２０２を有する。また、ＲＧＢ補間処理部３４は、デジタル画像データに対してＲ、Ｇ、又はＢの色補間処理を行い、それぞれＲ、Ｇ、又はＢのカラープレーンを生成するＲ補間処理部２０４、Ｇ補間処理部２０６、およびＢ補間処理部２０８を有する。Ｒ補間処理部２０４、Ｇ補間処理部２０６、およびＢ補間処理部２０８は、上記色補間処理を実行して得られたカラープレーンのデータをそれぞれバッファメモリ２１０、２１２、および２１４に格納する。ＲＧＢ補間処理部３４は、上記の他に、バッファメモリ２１０、２１２、２１４の各々からカラープレーンの画像データを取得し、そのカラープレーンの虚画素の位置に画素値を補間する虚画素補間部２１６を有する。
【００４７】
図６は、Ｇ補間処理部２０６の処理内容を示す機能ブロック図である。Ｇ補間処理部２０６は、デジタル画像データにおいてＧ画素が有する画素値を補間処理することにより、Ｒ画素及びＢ画素の位置におけるＧの画素値を算出する。Ｇ補間処理部２０６は、データ選択部２１８、第１相関算出部２２０、第２相関算出部２２２、係数算出部２２４、およびデジタルフィルタ２２６を有する。
【００４８】
データ選択部２１８は、バッファメモリ２２０からＧ画素に対応する画素値を取得し、バッファメモリ２１２の当該Ｇ画素に対応するアドレスに格納する。例えば、注目画素が図３のＧ_１１である場合、データ選択部２１８は、バッファメモリ２１２の画素位置（ｘ、ｙ）＝（１，１）に対応するアドレスにＧ_１１の画素値を格納する。
【００４９】
また、データ選択部２１８は、注目画素がＲ画素又はＢ画素である場合、データ選択部２１８は、注目画素の位置においてＧの画素値を求めるために必要なデータをバッファメモリ２０２から取得し、第１相関算出部２２０、第２相関算出部２２２およびデジタルフィルタ２２６に入力する。
【００５０】
デジタルフィルタ２２６は、ＣＣＤ３０により撮像された画像における画素値の分布をフィルタリングするデジタルフィルタであって、光学ＬＰＦ２８の光分離方向と他の方向で異なるフィルタ処理を施すデジタルフィルタである。より具体的には、デジタルフィルタ２２６は、注目画素の近傍に位置するＧ画素の画素値の加重平均を、注目画素におけるＧの画素値として求める。デジタルフィルタ２２６は、求めた画素値を、バッファメモリ２１２における注目画素の画素位置に対応するアドレスに格納する。
【００５１】
ここで、注目画素がＲ_２２であるとすると、デジタルフィルタ２２６は、次式に従って注目画素におけるＧの画素値を求める。
【数１】

上式において、Ｗｐは、注目画素に対し、光学ＬＰＦ２８の光分離方向に位置する画素に用いる重み係数である。上式において理解されるように、本実施形態では、光学ＬＰＦ２８の光分離方向に隣接する画素（Ｇ_１３、Ｇ_３１）と、その他の方向に隣接する画素（Ｇ_１１、Ｇ_３３）との間で異なる重み係数を用いる。光学ＬＰＦ２８の光分離方向に隣接している画素から得られるデータの方が他の方向に隣接している画素から得られるデータよりも注目画素で求めるデータと強い相関を有している。そこで、本実施形態では、光学ＬＰＦ２８の光分離方向とその他の方向では、画素間の相関の強さが異なるという既知情報を的確に利用して補間処理を行うべく、それら２種類の画素間で重み係数を変えている。
【００５２】
重み係数Ｗｐとしては、０．５＜Ｗｐ≦１を満たす固定値を用いることができる。つまり、注目画素に対して光学ＬＰＦ２８の光分離方向に位置する画素の画素値に用いられる重み係数を、他の方向に位置する画素の画素値に用いられる重み係数より大きくすることができる。この場合、光学ＬＰＦ２８の光分離方向における画素間の相関が強いという既知情報を利用することとなる。特に、Ｗｐ＝１の場合、その既知情報を最も積極的に利用することとなる。しかし、本実施形態では、さらに相関判別を用いた補間処理を行うべく、Ｗｐの値を以下に説明する第１相関算出部２２０、第２相関算出部２２２、および係数算出部２２４を用いて決定する。
【００５３】
第１相関算出部２２０は、注目画素と、その注目画素に対し、光学ＬＰＦ２８の光分離方向に位置する画素との間における画素値の相関の強さを示す第１相関値を算出する。算出された第１相関値は、第１相関算出部２２０から係数算出部２２４へ出力される。注目画素が図３のＲ_２２であると仮定すると、第１相関算出部２２０は、第１相関値Ｓ_ｐを次式から算出する。
【数２】

【００５４】
第２相関算出部２２２は、注目画素と、その注目画素に対し、光学ＬＰＦ２８の光分離方向と異なる方向に位置する画素との間における画素値の相関の強さである第２相関値を算出する。本実施形態の場合、光分離方向と異なる方向とは、光分離方向に直交する方向をいう。これは、光学像が光学ＬＰＦ２８の影響を受けていない方向である。第２相関算出部２２２は、求めた第２相関値を係数算出部２２４へ出力する。注目画素がＲ_２２である場合、第２相関算出部２２２は、第２相関値Ｓ_ｍを次式から算出する。
【数３】

【００５５】
係数算出部２２４は、第１相関値及び第２相関値に基づいて重み係数Ｗｐを算出する。係数算出部２２４は、次式から重み係数Ｗ_ｐを算出する。
【数４】

ただし、
【数５】

ここで、Ｓ^＋は、第１相関値に所定値α（０＜α）を加えた重み付き相関値である。このように、第１相関値にαを加算した値Ｓ^＋を用いて重み係数Ｗｐを求めるのは、光学ＬＰＦ２８の光分離方向における相関が他の方向における相関より大きいという既知情報を重み係数Ｗｐに反映させるためである。なお、重み付き相関値Ｓ^＋は、第１相関値に（１＋α）を乗じて求めてもよいことは言うまでもない。
【００５６】
係数算出部２２４は、算出された重み係数Ｗｐをデジタルフィルタ２２６に入力する。これにより、デジタルフィルタ２２６は、前述した式（１）の計算を実行できるようになる。
【００５７】
図７は、Ｂ補間処理部２０８の処理内容を示す機能ブロック図である。Ｂ補間処理部２０８は、デジタル画像データを補間処理することにより、Ｒ画素及びＧ画素の位置において欠落しているＢの画素値を算出する。Ｂ補間処理部２０８は、データ選択部２２８と、第１から第３までの３つのデジタルフィルタ２３０、２３２、２３４を有する。
【００５８】
データ選択部２２８は、デジタル画像データを格納しているバッファメモリ２０２と、Ｇ補間処理部２０４が求めたＧカラープレーンのデータを格納してるバッファメモリ２１２とから、第１〜第３デジタルフィルタ２３０、２３２、２３４のそれぞれが処理すべきデータを取得し、それを対応するデジタルフィルタに入力する。また、データ選択部２２８は、バッファメモリ２０２が格納しているデジタル画像データのうちＢ画素の画素値をバッファメモリ２１４に格納する。このとき、データ選択部２２８は、バッファメモリ２１４のアドレスのうち、Ｂ画素の画素位置に対応するアドレスにその画素値を格納する。
【００５９】
第１デジタルフィルタ２３０は、Ｒ画素において欠落しているＢの画素値を求める。注目画素が図３のＲ_２２であると仮定すると、第１デジタルフィルタ２３０は、次式に基づいてその注目画素におけるＢの画素値Ｂ_２２を求める。
【数６】

上記の式から理解されるように、第１デジタルフィルタ２３０は、注目画素の近傍において、光学ＬＰＦ２８の光分離方向に並んでいるＢ画素値とＧ画素値との差から欠落しているＢ_２２の画素値を求める。つまり、第１デジタルフィルタ２３０も、光学ＬＰＦ２８の光分離方向における画素値間の相関が強いという既知情報を利用して欠落情報の補間処理を行っている。
【００６０】
第２デジタルフィルタ２３２は、Ｇ画素で欠落しているＢの画素値を求める。特に、第２デジタルフィルタ２３２は、Ｇ画素のうち、光学ＬＰＦ２８の光分離方向にＢ画素が隣接しているＧ画素でのＢの画素値を求める。注目画素が図３のＧ_３３であると仮定すると、第２デジタルフィルタ２３２は、次式に基づいて欠落しているＢの画素値Ｂ_３３を求める。
【数７】

上式から分かるように、第２デジタルフィルタ２３２は、注目画素に隣接しているＢ画素の画素値の平均値を欠落しているＢの画素値として求める。ここで、計算に利用するＢ画素は、注目画素から見て光学ＬＰＦ２８の光分離方向に並んでいるので、第２デジタルフィルタも、上記光分離方向において画素値間の相関が強いという既知情報を利用して補間処理を行っていることになる。
【００６１】
第３デジタルフィルタ２３４も、Ｇ画素で欠落しているＢの画素値を求める。第３デジタルフィルタ２３２は、Ｇ画素のうち、特に、光学ＬＰＦ２８の光分離方向と直交する方向にＢ画素が隣接しているＧ画素でのＢの画素値を求める。注目画素が図３のＧ_５３であると仮定すると、第３デジタルフィルタ２３６は、次式に基づいて欠落しているＢの画素値Ｂ_５３を求める。
【数８】

上式において、Ｇ_６４及びＧ_４２は、Ｇ補間処理部２０６が、光学ＬＰＦ２８の光分離方向における画素値間の相関が強いという既知情報を利用して求めた画素値である。第３デジタルフィルタ２３４は、光分離方向に直行する方向に並んでいるＢ_６４とＢ_４２のみからＢ_５３を求める代わりに、Ｇ補間処理部２０６が求めた画素値をも利用してＢ_５３を求めることにより、光学ＬＰＦ２８の光分離方向における画素値の相関が強いという既知情報を有効に利用している。
【００６２】
第１から第３のデジタルフィルタ２３０，２３２、２３４は、注目画素におけるＢの画素値を算出すると、その値を注目画素の位置に対応するアドレスにおいて、バッファメモリ２１４に格納する。これにより、バッファメモリ２１４にＢのカラープレーンに関するデータが格納される。
なお、本実施形態では、Ｒ補間処理部２０４とＢ補間処理部２０８との機能は実質的に同一であるので、Ｒ補間処理部２０４の機能についての説明を省略する。
【００６３】
図８は、虚画素補間部２１６が補間処理に用いる３×３のフィルタ行列を示す図である。虚画素補間部２１６は、バッファメモリ２１０、２１２、２１４の各々からカラープレーンの画像データを取得し、そのカラープレーンの全体に図示のフィルタ行列を掛ける。これにより、虚画素補間部２１６は、虚画素の位置における画素値を補間する。図示のフィルタ行列をカラープレーンに掛けた場合、実画素の位置では、実画素の画素値がそのまま残る。一方、虚画素の位置では、その虚画素の上下左右に隣接する実画素の画素値の平均値が虚画素の画素値として求められる。
【００６４】
図９に、ＲＧＢ補間処理部３４が実行する処理のフローチャートを示した。ＲＧＢ補間処理部３４は、はじめに、撮像信号処理部３２からデジタル画像データを取得し、バッファメモリ２０２に格納する（ステップ１０２）。次に、Ｇ補間処理部２０６がバッファメモリ２０２に格納されているデジタル画像データの補間処理を行う（ステップ１０４）。このステップにおいて、Ｇ補間処理部２０６は、Ｇのカラープレーンが生成し、バッファメモリ２１２に格納する。
【００６５】
次に、Ｂ補間処理部２０４およびＲ補間処理部２０６が、順に、バッファメモリ２０２に格納されているデジタル画像データの補間処理を行う（ステップ１０６、１０８）。このとき、Ｂ補間処理部２０４およびＲ補間処理部２０８は、バッファメモリ２１６に格納されているＧカラープレーンのデータをも取得し、補間処理に利用する。ステップ１０６および１０８では、それぞれＢおよびＲのカラープレーンが生成され、バッファメモリ２１０又は２１４に格納される。
【００６６】
次に、虚画素補間処理部２１６が、バッファメモリ２１０、２１２および２１４に格納されているそれぞれのカラープレーンについて、虚画素の位置における画素値を求めるための補間処理を行う（ステップ１１０）。補間処理が終わった後、虚画素補間処理部２１６は、Ｒ、Ｇ、Ｂそれぞれのカラープレーンのデータを処理ユニット６０のメインバス８２へ出力する（ステップ１１２）。
【００６７】
図１０は、図９のステップ１０４（Ｇ補間処理）の詳細な内容を示すフローチャートである。Ｇ補間処理では、はじめに、Ｇ補間処理部２０６のデータ選択部２１８が、バッファメモリ２０２から処理すべきデータを取得する（ステップ１０２）。処理対象となっている注目画素がＧ画素である場合、データ選択部２１８は、取得した注目画素の画素値を直ちにバッファメモリ２１２に格納する（ステップ１５４、１５８）。その他の場合には、データ選択部２１８が取得したデータに基づいて、第１相関算出部２２０，第２相関算出部２２２、係数算出部２２４、及びデジタルフィルタ２２６が図６で説明した一連の処理を行うことにより、注目画素におけるＧの画素値を求める（ステップ１５４、１５６）。求められたＧの画素値は、バッファメモリ２１２に格納される（ステップ１５８）。ステップ１５２からステップ１５８までの処理は、バッファメモリ２０２において、Ｇ補間処理部２０６が処理すべきデータがなくなるまで繰り返される（ステップ１６０）。
【００６８】
図１１は、図９のＢ補間処理（ステップ１０６）の詳細な内容を示すフローチャートである。Ｂ補間処理では、はじめに、Ｂ補間処理部２０８のデータ選択部２２８が、デジタル画像データを格納しているバッファメモリ２０２、及びＧカラープレーンのデータを格納しているバッファメモリ２１２から処理すべきデータを取得する（ステップ２０２）。
【００６９】
処理対象となっている注目画素がＢ画素である場合、データ選択部２２８は、注目画素の直ちに画素値をバッファメモリ２１４に格納する（ステップ２０４、２１６）。一方、注目画素がＲ画素またはＧ画素である場合には、第１〜第３デジタルフィルタ２３０、２３２、２３４のいずれかがＢの色補間処理を行う。すなわち、注目画素がＲ画素である場合、第１デジタルフィルタが補間処理を行ってＢの画素値を求める（ステップ２０６、２１０）。また、注目画素がＧ画素であって、かつ、注目画素から見て光学ＬＰＦ２８の光分離方向にＢ画素が隣接している場合には、第２デジタルフィルタ２３２が補間処理を行う（ステップ２０８，ステップ２１２）。さらに、注目画素がＧ画素であって、かつ、注目画素から見て光学ＬＰＦ２８の光分離方向にＢが隣接していない場合には、第３デジタルフィルタ２３４が補間処理を行う（ステップ２０８、ステップ２１０）。
【００７０】
次に、第１〜第３デジタルフィルタ２３０、２３２、２３４の各々は、求めた画素値をバッファメモリ２１４に格納する（ステップ２１６）。ステップ２０２からステップ２１６の処理は、バッファメモリ２０２に、Ｂ補間処理部が処理すべきデータがなくなるまで繰り返される（ステップ２１８）。
【００７１】
なお、図９のＲ補間処理（ステップ１０８）の内容は、上記にその詳細を説明したＢ補間処理（ステップ１０６）の内容と実質的に同一である。そこで、Ｒ補間処理の詳細な説明は省略する。
【００７２】
以上説明したように、本実施形態では、ＣＣＤ３０の受光面前方に、一の方向にのみ光学像を分離する光学ＬＰＦ２８を配置することにより、上記一の方向における偽信号、偽色の発生を抑制している。同時に、本実施形態では、ＣＣＤ３０の出力信号に対して、ＲＧＢ補間処理部３４を用いて色補間処理を施している。ＲＧＢ補間処理部３４は、光学ＬＰＦ２８の光分離方向と、その他の方向とで異なるフィルタ処理を行うデジタルフィルタを用いて色補間処理を行う。そして、上記フィルタ処理の内容は、光学ＬＰＦ２８の光分離方向においてＣＣＤ３０の出力信号間の相関が強いという既知情報に利用して定められている。この結果、本実施形態では、光学ＬＰＦ２８の光分離方向と異なる方向における再現帯域を向上させ、同方向における偽色を低減させている。
【００７３】
なお、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７４】
１）例えば、図３では、光学ＬＰＦ２８及びＣＣＤ３０に切り欠き（２８ａ、３０ａ）及びマーク（２８ｂ、３０ｂ）の双方を設けた例を示したが、これは、切り欠き又はマークの一方だけを設けることであってもよい。
【００７５】
２）また、光学ＬＰＦ２８及びＣＣＤ３０に切り欠き及びマークのいずれも設けず、光学ＬＰＦ２８を適当な向きでデジタルカメラ１０に取り付けてもよい。この場合には、光学ＬＰＦ２８の取付後に、適当な方法で、光学ＬＰＦ２８の光分離方向を検出する。そして、検出された光分離方向に関する情報（以下、「分離方向情報」という）をデジタルカメラ１０に記憶させる。さらに、ＲＧＢ補間処理部３４は、記憶されている分離方向情報に基づいて処理内容を決定する。
【００７６】
光学ＬＰＦ２８の取付後にその光分離方向を検出する方法としては、例えば、デジタルカメラ１０を用いてＣＺＰ等の偽色の発生が確認できる被写体を撮影するという方法がある。撮影は、例えば、式（１）のＷｐを１と０とに設定して行う。Ｗｐ＝１のときにＷｐ＝０のときより偽色の発生が少なかった場合には、例えば機能設定部１１６を介して、光学ＬＰＦ２８の光分離方向が＋４５°である旨の分離方向情報をデジタルカメラ１０に入力する。一方、Ｗｐ＝０のときにＷｐ＝１のときより偽色の発生が少なかった場合には、光分離方向が−４５°である旨の分離方向情報を入力する。デジタルカメラ１０では、例えば、不揮発性メモリ６６に入力された分離方向情報を記憶させる。ＲＧＢ補間処理部３４は、例えば、パワースイッチ１１２がオン状態となったとき、不揮発性メモリ６６から分離方向情報を取得し、その情報を利用して式（１）で用いるべきＷｐの値を決定する。
【００７７】
３）ＣＣＤ３０としては、画素（光電変換素子）が方形格子配列に並べられている撮像素子を用いてもよい。この場合、光学ＬＰＦ２８は、光分離方向が実質的に水平方向又は垂直方向に一致するように取り付ける。ここで実質的に水平方向又は垂直方向とは、水平方向又は垂直方向から少なくとも±５°の範囲の方向をいう。
【００７８】
４）Ｇ補間処理部２０６のデジタルフィルタ２２６は、多点スプライン補間法を利用してフィルタ処理を実行してもよい。例えば、デジタルフィルタ２２６は、注目画素から見て＋４５°又は−４５°の方向に位置するそれぞれ３つ以上の画素の画素値から多点スプライン補間法により注目画素の位置における画素値Ａ、Ｂを求め、Ａ、Ｂの加重平均を求めることとしてもよい。
【００７９】
５）ＲＧＢ補間処理部３４は、デジタルカメラ１０に備えられたロジック回路として実現されてもよく、又は、デジタルカメラ１０に備えられたデジタル・シグナル・プロセッサ（ＤＳＰ）若しくはＣＰＵ６２が、不揮発性メモリ６６又はメインメモリ６８に格納されているプログラムを実行する形式で実現されてもよい。後者の場合、プログラムは、デジタルカメラの出荷時に不揮発性メモリ等に格納されていてもよい。あるいは、プログラムは、出荷後に、通信Ｉ／Ｆ部８０を介して外部機器又はインターネット等のネットワークから取得されてもよい。また、プログラムは、オプション装置制御部７４を介して、メモリカード等のオプション装置７６から取得されてもよい。
【００８０】
６）上記実施形態では、ＲＧＢ補間処理部３４がデジタルカメラ１０に備えられている場合について説明したが、ＲＧＢ補間処理部３４は、例えば、デジタルカメラから取得した画像データを印刷するラボシステムに備えられていてもよい。
【００８１】
図１２は、そのようなラボシステム３０２と、デジタルカメラ３００とを示す機能ブロック図である。図９において、上記実施形態で用いたのと同じ符号を付したブロックは、上記実施形態で説明したのと同一の機能を表す。デジタルカメラ３００は、ＲＧＢ補間処理部３４を備えない点を除き、デジタルカメラ１０と同一の機能、構成を有する。オプション装置７６は、例えばメモリカードである。オプション装置７６には、デジタルカメラ３００が撮像したデジタル画像データが記録される。ラボシステム３０２は、オプション装置制御部７４を介してオプション装置に記録しているデジタル画像情報を取得する。さらに、ラボシステム３０２は、取得したデジタル画像データにＲＧＢ補間処理部３４で色補間処理を施す。色補間処理を施されたデジタル画像データは、カラープリンター３０６に送信され、そこで印刷される。
【００８２】
【発明の効果】
上記説明から明らかなように、本発明によれば偽色を防止できる撮影装置、撮影方法、信号処理方法、及びプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルカメラ１０の構成を示す。
【図２】ＣＣＤ３０における画素（光電変換素子）の配列を示す図である。
【図３】ＣＣＤ３０における画素の位置と、その画素が受光できる色の関係を示す図である。
【図４】光学ＬＰＦ２８とＣＣＤ３０とを模式的に示す斜視図である。
【図５】ＲＧＢ補間処理部３４の機能ブロック図である。
【図６】Ｇ補間処理部２０６の処理内容を示す機能ブロック図である。
【図７】Ｂ補間処理部２０８の処理内容を示す機能ブロック図である。
【図８】虚画素補間部２１６が補間処理に用いる３×３のフィルタ行列を示す図である。
【図９】ＲＧＢ補間処理部３４が実行する処理のフローチャートである。
【図１０】図９のステップ１０４（Ｇ補間処理）の詳細な内容を示すフローチャートである。
【図１１】図９のＢ補間処理（ステップ１０６）の詳細な内容を示すフローチャートである。
【図１２】ラボシステム３０２と、デジタルカメラ３００とを示す機能ブロック図である。
【符号の説明】
２８光学ＬＰＦ
３０ＣＣＤ
３４ＲＧＢ補間処理部
２０４Ｒ補間処理部
２０６Ｇ補間処理部
２０８Ｂ補間処理部
２２０第１相関算出部
２２２第２相関算出部
２２４係数算出部
２２６デジタルフィルタ

Claims

光を１つの光分離方向に分離する光学ローパスフィルタと、
光電変換素子が斜方格子配列又は方形格子配列された、前記光学ローパスフィルタによりフィルタリングされた画像を撮像する単板式の撮像素子と、
一の画素の位置において欠落している色の画素値を、前記一の画素に対して前記光分離方向に位置する画素の画素値と、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値との加重平均として求め、色補間処理を行うデジタルフィルタであって、前記加重平均において、前記一の画素に対して前記光分離方向に位置する画素の画素値に用いられる重み係数は、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値に用いられる重み係数より大きいデジタルフィルタと
を備える撮像装置。
前記一の画素、及び前記一の画素に対し前記光分離方向に位置する画素の間における画素値の相関の強さを示す第１相関値を求める第１相関算出部と、
前記一の画素、及び前記一の画素に対し前記光分離方向に直交する方向に位置する画素の間における画素値の相関の強さを示す第２相関値を求める第２相関算出部と、
前記第１相関値及び前記第２相関値に基づいて前記加重平均で用いるべき重み係数を求める係数算出部と
をさらに備える請求項１に記載の撮像装置。
前記係数算出部は、前記第１相関値に所定値を加えた重み付き相関値が、前記重み付き相関値及び前記第２相関値の和にしめる比率を重み係数として求める請求項２に記載の撮像装置。
前記所定値は、正の値である請求項３に記載の撮像装置。
前記撮像素子は、前記光電変換素子が斜方格子配列されており、
前記光学ローパスフィルタは、前記光分離方向が、水平方向に対して実質的に＋４５°又は−４５°となるように傾けて配置されている請求項１乃至請求項４のいずれかに記載の撮像装置。
前記撮像素子は、前記光電変換素子が方形格子配列されており、
前記光学ローパスフィルタは、前記光分離方向が、水平方向または垂直方向に実質的に一致するように配置されている請求項１乃至請求項４のいずれかに記載の撮像装置。
前記光分離方向に関する情報を外部から受け付ける入力部と、
前記入力部が受け付けた前記光分離方向に関する情報を記憶する記憶部と
をさらに備え、
前記デジタルフィルタは、前記記憶部に記憶されている前記光分離方向に関する情報を利用して前記一の画素の画素値を求める請求項１乃至請求項６のいずれかに記載の撮像装置。
前記光学ローパスフィルタは、ベイヤ方式の配列を４５°回転させた色フィルタアレイを有する請求項５に記載の撮像装置。
前記光学ローパスフィルタの光の分離幅は、前記光分離方向における前記光電変換素子の間隔と等しい請求項８に記載の撮像装置。
前記撮像素子により撮像された画像のＢ画素及びＧ画素の位置におけるＲ画素の画素値を算出することにより、Ｒ画素を補間処理するＲ画素補間処理部と、
前記画像のＲ画素及びＢ画素の位置におけるＧ画素の画素値を算出することにより、Ｇ画素を補間処理するＧ画素補間処理部と、
前記画像のＲ画素及びＧ画素の位置におけるＢ画素の画素値を算出することにより、Ｂ画素を補間処理するＢ画素補間処理部と
をさらに備え、
前記Ｇ画素補間処理部が有する前記デジタルフィルタは、Ｒ画素又はＢ画素の位置におけるＧ画素の画素値を、当該Ｇ画素に対して前記光分離方向に隣接するＧ画素の画素値と、当該Ｇ画素に対して前記光分離方向に直交する方向に隣接するＧ画素の画素値との加重平均として求める請求項８又は請求項９に記載の撮像装置。
前記Ｒ画素補間処理部は、
Ｂ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して水平方向及び素直方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理部が出力した当該Ｒ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタ
を有し、
前記Ｂ画素補間処理部は、
Ｒ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して水平方向及び垂直方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理部が出力した当該Ｂ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタ
を有する請求項１０に記載の撮像装置。
前記Ｒ画素補間処理部は、
前記光分離方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して前記光分離方向に隣接するＲ画素の画素値から算出する第２デジタルフィルタ
をさらに有し、
前記Ｂ画素補間処理部は、
前記光分離方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して前記光分離方向に隣接するＢ画素の画素値から算出する第２デジタルフィルタ
をさらに有する請求項１１に記載の撮像装置。
前記Ｒ画素補間処理部は、
前記光分離方向に直交する方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素の位置のＧ画素の画素値と、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理部が出力した、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタ
をさらに有し、
前記Ｂ画素補間処理部は、
前記光分離方向に直交する方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素の位置のＧ画素の画素値と、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理部が出力した、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタ
をさらに有する請求項１２に記載の撮像装置。
光学ローパスフィルタにより、光を１つの光分離方向に分離する光学的フィルタリング段階と、
光電変換素子が斜方格子配列又は方形格子配列された単板式の撮像素子を用いて、前記光学ローパスフィルタによりフィルタリングされた画像を撮像する撮像段階と、
一の画素の位置において欠落している色の画素値を、前記一の画素に対して前記光分離方向に位置する画素の画素値と、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値との加重平均として求め、色補間処理を行うデジタルフィルタであって、前記加重平均において、前記一の画素に対して前記光分離方向に位置する画素の画素値に用いられる重み係数は、前記一の画素に対して前記光分離方向に直交する方向に位置する画素の画素値に用いられる重み係数より大きいデジタルフィルタを用いて、前記撮像素子により撮像された画像をフィルタリングするデジタルフィルタ段階と
を備える撮像方法。
前記一の画素、及び前記一の画素に対し前記光分離方向に位置する画素の間における画素値の相関の強さを示す第１相関値を求める第１相関算出段階と、
前記一の画素、及び前記一の画素に対し前記光分離方向に直交する方向に位置する画素の間における画素値の相関の強さを示す第２相関値を求める第２相関算出段階と、
前記第１相関値及び前記第２相関値に基づいて前記加重平均で用いるべき重み係数を求める係数算出段階と
をさらに備える請求項１４に記載の撮像方法。
前記光分離方向に関する情報を外部から受け付ける入力段階と、
前記入力段階において受け付けた前記光分離方向に関する情報を記憶する記憶段階と
をさらに備え、
前記デジタルフィルタ段階は、前記記憶段階において記憶された前記光分離方向に関する情報を利用して前記一の画素の画素値を求める請求項１４又は請求項１５に記載の撮像方法。
前記撮像素子は、前記光電変換素子が斜方格子配列されており、
前記光学ローパスフィルタは、ベイヤ方式の配列を４５°回転させた色フィルタアレイを有し、
前記デジタルフィルタ段階は、
前記撮像素子により撮像された画像のＢ画素及びＧ画素の位置におけるＲ画素の画素値を算出することにより、Ｒ画素を補間処理するＲ画素補間処理段階と、
前記画像のＲ画素及びＢ画素の位置におけるＧ画素の画素値を算出することにより、Ｇ画素を補間処理するＧ画素補間処理段階と、
前記画像のＲ画素及びＧ画素の位置におけるＢ画素の画素値を算出することにより、Ｂ画素を補間処理するＢ画素補間処理段階と
を有し、
前記Ｇ画素補間処理段階は、Ｒ画素又はＢ画素の位置におけるＧ画素の画素値を、当該Ｇ画素に対して前記光分離方向に隣接するＧ画素の画素値と、当該Ｇ画素に対して前記光分離方向に直交する方向に隣接するＧ画素の画素値との加重平均として求める請求項１４乃至請求項１６のいずれかに記載の撮像方法。
前記Ｒ画素補間処理段階は、
Ｂ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して水平方向及び素直方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理段階で求められた当該Ｒ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタ段階
を有し、
前記Ｂ画素補間処理段階は、
Ｒ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して水平方向及び垂直方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理段階で求められた当該Ｂ画素の位置のＧ画素の画素値とから算出する第１デジタルフィルタ段階
を有する請求項１７に記載の撮像方法。
前記Ｒ画素補間処理段階は、
前記光分離方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素に対して前記光分離方向に隣接するＲ画素の画素値から算出する第２デジタルフィルタ段階
をさらに有し、
前記Ｂ画素補間処理段階は、
前記光分離方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素に対して前記光分離方向に隣接するＢ画素の画素値から算出する第２デジタルフィルタ段階
をさらに有する請求項１８に記載の撮像方法。
前記Ｒ画素補間処理段階は、
前記光分離方向に直交する方向にＲ画素が隣接しているＧ画素の位置におけるＲ画素の画素値を、当該Ｒ画素の位置のＧ画素の画素値と、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の画素値と、前記Ｇ画素補間処理段階において求められた、当該Ｒ画素に対して前記光分離方向に直交する方向に隣接するＲ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタ段階
をさらに有し、
前記Ｂ画素補間処理段階は、
前記光分離方向に直交する方向にＢ画素が隣接しているＧ画素の位置におけるＢ画素の画素値を、当該Ｂ画素の位置のＧ画素の画素値と、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の画素値と、前記Ｇ画素補間処理段階において求められた、当該Ｂ画素に対して前記光分離方向に直交する方向に隣接するＢ画素の位置のＧ画素の画素値とから算出する第３デジタルフィルタ段階
をさらに有する請求項１９に記載の撮像方法。