JP5513978B2 - 撮像装置、集積回路および画像処理方法 - Google Patents

Description

本発明は、デジタルスチルカメラなどの撮像装置の高解像度化に関する。

近年、デジタルスチルカメラやデジタルテレビで扱われる画像の解像度を改善する技術としていわゆる超解像技術が注目を集めている。代表的な超解像技術として、複数枚の連写画像あるいは動画の連続したフレームを用いて１枚の高解像度画像を生成する技術（例えば、特許文献１、２参照。）がある。時間的に連続した画像を解析し、各画像間に生じている被写体の位置ずれを算出する。そして、算出した位置ずれに基づいて、各フレーム画像を重ね合わせ、高解像度画像を推定・生成している。

特開２００６−３９６２８号公報 特開２００８−２９４９５０号公報

しかしながら多くのデジタルスチルカメラでは、一般的に、カラー画像を得るために撮像素子の画素ごとに所定のパターンに配列された異なる色のカラーフィルタを設けている。デジタルスチルカメラでよく利用されているベイヤ配列の撮像素子では、例えば、図１２に示すように青（Ｂ）フィルタと緑（Ｇ）フィルタが交互に配置された行と、緑（Ｇ）フィルタと赤（Ｒ）フィルタが交互に配置された行とが交互に配置されている。この場合、解像度への影響が最も大きい緑色を受光する画素は千鳥格子状に存在することになり、その間の緑色が受光できない画素は補間処理を行っている。このため、緑（Ｇ）フィルタを通して得られる画像は、撮像素子のサンプリング周波数よりも低いサンプリング周波数で得られることになる。青色を受光する画素や赤色を受光する画素はさらに低いサンプリング周波数となる。従って、３色のフィルタ画像から算出される輝度成分の解像度特性は、モノクロカメラのように全画素で受光する場合よりも劣化してしまう。つまり、色情報を得る代償として解像度特性が劣化してしまうという課題がある。

従って、ナイキスト周波数付近の解像度特性がレンズ光学系の特性よりも劣化してしまっている画像を使うことになるため、特許文献１の記載内容のように位置を補正し重ね合わせて内挿処理を行い高解像度画像の画素データを求めても、元画像のナイキスト周波数付近の解像度特性は復元しない。
また特許文献２にあるように繰り返し演算によって評価関数を最小化していくような手法では、ある程度の解像度劣化の復元は期待できるが演算負荷が非常に大きく、実用的ではない。

ここに開示される撮像装置は、撮像素子と、画像選択部と、画像合成部とを備える。撮像素子は、第１の色の光を受けた量を測定する複数の第１画素と、第２の色の光を受けた量を測定する複数の第２画素とがそれぞれ所定のパターンで配列され、第１の色情報および第２の色情報のうち少なくとも一方を有し所定の被写体を撮像した画像データを生成する。画像選択部は、複数の画像データから、第１の画像データと、第１の画像データに対し被写体の位置が所定量ずれた第２の画像データとを選択する。画像選択部は、第１の画像データに対しては撮像素子が第２画素を介して受光した被写体の光を第１画素を介して受光して生成された画像データを第２の画像データとして選択する。画像合成部は、上記所定量に基づいて第１の画像データと第２の画像データとを合成することにより合成画像データを生成する。

この撮像装置では、画像選択部が、第１の画像データに対しては撮像素子が第２画素を介して受光した被写体の光を第１画素を介して受光して生成された画像データを第２の画像データとして選択することにより、被写体の位置が所定量ずれた第１及び第２画像データを選択する。また、画像合成部は、上記所定量に基づいて第１の画像データと第２の画像データとを合成することにより合成画像データを生成する。これにより、例えば解像度を支配する色の光を撮像素子の全画素で受光して得られた合成画像データ生成することができるため、ナイキスト周波数付近の解像度特性を向上させることが可能となる。

従って、このような撮像装置であれば、光学像の標本化および信号処理による解像度特性の劣化を抑え、かつ演算負荷の非常に小さい高解像度化を実現することができる。

実施の形態１におけるデジタルスチルカメラの画像信号処理部のブロック図。 実施の形態１におけるデジタルスチルカメラの画像信号処理のフローチャート 。 位置ずれ検出法の説明図。 Ｇ信号抽出画像の合成処理を示す図。 Ｒ信号抽出画像の合成処理を示す図。 Ｂ信号抽出画像の合成処理を示す図。 実施の形態１における画像選択処理のフローチャート。 実施の形態１における画像間パラメータの例。 実施の形態１における画像合成処理のフローチャート。 実施の形態１におけるＲＧＢ別画像合成処理のフローチャート。 エッジ強調で用いるＨＰＦの例。 ベイヤ配列パターンの例を示す図。

１．実施の形態１
１．１ 画像信号処理部１の構成
以下、本発明の実施の形態１における撮像装置について、図１〜図１２を用いて説明する。図１は、実施の形態１における撮像装置としてのデジタルスチルカメラの画像信号処理部１のブロック図である。このブロック図の構成および動作について説明する。
実施の形態１のデジタルスチルカメラに含まれる画像信号処理部１は、図１に示すように、撮像素子２、アナログ処理部３、Ａ／Ｄ変換部４、内部メモリ５、Ｇ信号抽出部６、Ｇ信号補間部７、内部メモリ８、位置ずれ検出部９、画像選択部１０、画像合成部１１、デジタル処理部１２、ＪＰＥＧ符号化部１３、および外部メモリ１４を備える。
撮像素子２は、光電変換効果により図示しない撮像光学系によって形成される光学像からアナログ画像信号を出力するＣＣＤやＣＭＯＳなどの公知のデバイスである。撮像素子２は、色情報を得るために図１２に示すようなベイヤ配列の色フィルタ（ＲＧＢ）を有している。

アナログ処理部３は、アナログ画像信号に対してゲイン調整やノイズ除去のためのフィルタ処理などを行う。Ａ／Ｄ変換部４は、アナログ画像信号をＲａｗ画像（画像データ）と呼ぶデジタル画像信号に変換する。内部メモリ５は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、Ｒａｗ画像を一時的に記憶する。
Ｇ信号抽出部６は、Ｒａｗ画像から緑色の光を受光した画素の信号のみを抽出する。Ｇ信号補間部７は、Ｇ信号抽出部６から出力されるＧ信号抽出画像の情報欠落画素（デジタル画像信号において緑色以外の光を受光した画素）の輝度を周囲の画素の情報を利用して補間する。内部メモリ８は、ＲＡＭなどのメモリからなり、補間処理後のＧ信号補間画像のうち一連の処理の最初に入力される基準Ｇ信号補間画像を一時的に記憶する。位置ずれ検出部９は、Ｇ信号補間部７から出力されるＧ信号補間画像と内部メモリ８に保存されている基準Ｇ信号補間画像の間で位置ずれ量を検出する。

画像選択部１０は、検出された位置ずれ量を元に高解像度化処理としての合成に最も適した２枚のＲａｗ画像の組を選択する。画像合成部１１は、選択されたＲａｗ画像の合成を行う。
デジタル処理部１２は、画像のエッジ強調処理やγ補正処理などの高画質化処理を行う。ＪＰＥＧ符号化部１３は、画像をＪＰＥＧ形式に符号化する。外部メモリ１４は、例えばＳＤカードなどの記録メディアであり、ＪＰＥＧ形式となった完成画像を記憶する。
上記画像信号処理部１のうち、アナログ処理部３、Ａ／Ｄ変換部４、Ｇ信号抽出部６、Ｇ信号補間部７、位置ずれ検出部９、画像選択部１０、画像合成部１１、デジタル処理部１２およびＪＰＥＧ符号化部１３は、ＬＳＩなどの集積回路により構成されていてもよい。

１．２ 画像信号処理部１の動作
図２は、実施の形態１におけるデジタルスチルカメラの画像信号処理部１による画像信号処理のフローチャートである。図１の各処理ブロックの詳細な動作を図２の画像信号処理のフローチャートに沿って説明する。
１．２．１ 複数枚のＲａｗ画像の生成
まず、デジタルスチルカメラ（図示せず）は、ユーザによる撮影開始の指示によりＫ回の連写撮影を行う。後述するように、取得されたＫ枚の画像はデジタル画像信号であるＲａｗ画像に変換され内部メモリ５に保存される（図２のステップＳ１０）。ここでＫは任意の自然数であり、内部メモリ５の容量やユーザに許容される後段処理の処理時間などを考慮に入れながら適宜決定する。ここではＫ＝１０とする。

撮影からＲａｗ画像が保存されるまでの処理は以下の通りである。
撮像素子２による光電変換効果により、図示しない撮像光学系によって形成される光学像からアナログ画像信号が出力され、アナログ処理部３へ入力される。アナログ処理部３では、撮像素子２から出力されたアナログ画像信号に対してゲイン調整やノイズ除去などのアナログ信号処理が施される。Ａ／Ｄ変換部４では、アナログ処理部３から出力されたアナログ画像信号は、Ｒａｗ画像と呼ぶデジタル画像信号に変換される。生成されたＲａｗ画像は、一旦内部メモリ５に記憶される。以上の処理をＫ回繰り返すことにより、Ｋ枚のＲａｗ画像が生成され、内部メモリ５に保存される。
この段階で各Ｒａｗ画像は、図１２に示す撮像素子２のカラーフィルタの構成に従い、最初の行を第１行目とした時の奇数行はＢＧＢＧ・・・、偶数行はＧＲＧＲ・・・のような並びで色情報が並んでいる。

１．２．２ 位置ずれ検出
次に、内部メモリ５に保存された複数枚のＲａｗ画像が順次Ｇ信号抽出部６、Ｇ信号補間部７、位置ずれ検出部９に送られ、１枚目のＲａｗ画像を暫定的に基準Ｒａｗ画像とした位置ずれ量の検出処理を行う。
まず、位置ずれ検出の繰り返し回数をカウントする変数Ｎを０に初期化する（図２のステップＳ１１）。その後、Ｇ信号抽出部６では輝度信号への影響度が最も大きいＧ信号のみを抽出し、その他の画素は０に変換する処理を行う（図２のステップＳ１２）。Ｇ信号抽出部６から出力されるＧ信号抽出画像は、Ｇ信号補間部７へ送られる。Ｇ信号補間部７では、Ｇ信号抽出部６での処理で値が０となった画素をその周囲の画素の値で補間する処理が行われる（図２のステップＳ１３）。具体的には、当該画素の左右上下に隣接した画素の値の平均値を当該画素の値とする。こうして作成された画像をＧ信号補間画像と呼ぶ。

次に、カウンタ変数Ｎをインクリメントした後（図２のステップＳ１４）、カウンタ変数の値がＮ＝１であるかどうかを判定する（図２のステップＳ１５）。判定結果が「真」の時、即ちＧ信号補間画像が最初の１枚である場合、内部メモリ８に保存する（図２のステップＳ１６）。このとき保存された最初のＧ信号補間画像は、後述する位置ずれ検出部９での基準Ｇ信号補間画像として使用される。それ以外の画像（これを基準Ｇ信号補間画像と区別するため対象Ｇ信号補間画像と呼ぶ）は、直接位置ずれ検出部９に送られる。
次に位置ずれ検出部９では、対象Ｇ信号補間画像と基準Ｇ信号補間画像とを比較し、後者に対する前者の位置ずれ量を算出する（図２のステップＳ１７）。具体的には、例えば公知の方法であるパターンマッチング法を用いることができる。
パターンマッチング法を用いた位置ずれ検出法について図３を用いて説明する。図３の（ａ）は基準Ｇ信号補間画像、（ｂ）は対象Ｇ信号補間画像を示す。基準Ｇ信号補間画像３０内にテンプレート画像領域３１を設ける。対象Ｇ信号補間画像３２は連写画像の１枚であることから基準Ｇ信号補間画像３０と似通った絵柄が含まれている。そこでテンプレート画像領域３１とほぼ一致する絵柄の部分（ベストマッチング領域３３）を対象Ｇ信号補間画像３２上で探すことにより位置ずれ量を求める。ベストマッチング領域３３を決定するためにマッチング領域３４を対象Ｇ信号補間画像３２上に設け、左上から右下に向けて走査していく。走査位置ごとにＳＡＤ値（Sum of Absolute Difference）即ちテンプレート画像領域３１と各マッチング領域３４の相対する画素値の差の絶対値の総和を求めていき、この値が最も小さい時のマッチング領域３４の位置をベストマッチング領域３３と決定する。さらにベストマッチング領域３３とその周辺でのＳＡＤ値に対して放物線などの関数のフィッティングを行い、その関数が最小となる位置を求めることによりサブピクセル精度での検出を行う。位置ずれ検出部９で検出された位置ずれ量は内部メモリ５に記憶される。

次にカウンタ変数ＮがＲａｗ画像の総枚数Ｋと一致しているかどうかを判定する（図２のステップＳ１８）。判定結果が「偽」であれば位置ずれ検出処理の終わっていないＲａｗ画像が存在することを意味するのでステップＳ１２へ戻り次のＲａｗ画像の位置ずれ検出処理を行う。判定結果が「真」であれば次の画像選択処理へと処理を進める。
１．２．３ 画像選択処理
画像選択部１０では、高解像度化のための画像合成処理に用いる２枚のＲａｗ画像の選択を行う（図２のステップＳ１９）。ここでは、後述する画像間パラメータの算出を行う。本実施の形態では、画像の解像度への寄与度が大きいにもかかわらず１枚の画像では千鳥格子状にしか存在しないＧ信号画素を全画素に存在するように２枚の画像を合成する。言い換えると、図４に示すように基準Ｇ信号抽出画像４０のＧ信号画素（斜線を付した画素）と対象Ｇ信号抽出画像４１のＧ信号画素（斜線を付した画素）が重ならないように合成することにより解像度を改善する。重ならないための条件は、画面左右方向の位置ずれ量をｄｘ［画素］、画面上下方向の位置ずれをｄｙ［画素］とすると式１または式２で示される。

ｄｘ＝２ｍ＋１、ｄｙ＝２ｎ （ｍ、ｎ：整数） （式１）
ｄｘ＝２ｍ、ｄｙ＝２ｎ＋１ （ｍ、ｎ：整数） （式２）
ここで算出している画像間の位置ずれは手ぶれによって発生する。従ってどのような位置ずれが発生するかは不確定であり、式１や式２を満たすようにｄｘやｄｙが整数値となることは、実際にはほとんど無い。そこで式１および式２を式３、式４のように修正する。
ｄｘ＝２ｍ＋１＋ａ、ｄｙ＝２ｎ＋ｂ
（ｍ、ｎ：整数、−０．５＜ａ、ｂ＜０．５） （式３）
ｄｘ＝２ｍ＋ａ、ｄｙ＝２ｎ＋１＋ｂ
（ｍ、ｎ：整数、−０．５＜ａ、ｂ＜０．５） （式４）
ａ、ｂはｄｘ、ｄｙを用いて次式で求めることができる。

ａ＝ｄｘ−Ｒｏｕｎｄ（ｄｘ） （式５）
ｂ＝ｄｙ−Ｒｏｕｎｄ（ｄｙ） （式６）
但しＲｏｕｎｄ（）は入力値に対して四捨五入を行う関数とする。
またｄｘ、ｄｙが式３または式４を満たす条件は次式となる。
（Ｒｏｕｎｄ（ｄｘ）＋Ｒｏｕｎｄ（ｄｙ））％２≠０ （式７）
但し％は剰余演算子とする。
画像選択部１０は全てのＲａｗ画像間の位置ずれ量（対応するＧ信号補間画像間での位置ずれ量と同じとする。）に対して式５〜７を用いた計算を行い、式７を満たすかどうかを判断する。次に式７を満たす場合のａとｂの値を用いて式８で定義される評価変数Ｄを求める。

Ｄ＝（ａ²＋ｂ²）^0.5 （式８）
２枚のＲａｗ画像のうちの１枚を基準Ｒａｗ画像、もう１枚を対象Ｒａｗ画像とし、ａ＝ｂ＝０である時（つまり、２枚のＲａｗ画像間の位置ずれ量がほぼ奇数画素分に相当する時）、基準画像に対する対象画像の位置を理想位置と呼ぶことにする。この時評価変数Ｄは、実際の対象画像位置と理想位置との距離に相当する。このＤが最も小さいＲａｗ画像の組合せを選択する。
画像選択部１０での処理手順を図７の画像選択処理のフローチャートに沿って詳細に説明する。画像選択部１０は内部メモリ５より、位置ずれ検出部９で求めた（Ｋ−１）個の位置ずれ量検出結果を受け取り、処理を開始する。
まず初めに全Ｒａｗ画像から任意の２枚のＲａｗ画像を選択する場合の組合せ数Ｍを、画像総枚数Ｋから算出しておく（ステップＳ３０）。例えば、連写画像としてＫ＝１０枚の画像を取得した場合、１０枚の画像から２枚の画像を選択する際の組合せの数は４５通りであるのでＭ＝４５となる。次にカウンタ変数Ｎ、評価変数Ｄの最小値を記憶する変数Ｄｍｉｎ、評価変数Ｄが最小値を取る時のカウンタ変数値を記憶する変数Ｎｍｉｎを初期化する（ステップＳ３１）。以降全てのＲａｗ画像間の組合せに対する処理を順次行う。

まず、処理対象として選択した２枚のＲａｗ画像間での位置ずれ量を、内部メモリ５より受け取った（Ｋ−１）個の位置ずれ量検出結果を元に算出する（ステップＳ３２）。位置ずれ検出部９では、最初の暫定的な基準Ｒａｗ画像に対する対象Ｒａｗ画像の位置ずれ量しか検出していない。そこでその暫定的な基準Ｒａｗ画像を基準とした位置ずれ検出結果を元に対象Ｒａｗ画像間の位置ずれ量を算出しておく。
次に、式５、６に従ってａ、ｂを算出する（ステップＳ３３）。次に式７を評価する（ステップＳ３４）。評価結果が「偽」である場合、即ち処理対象の２枚のＲａｗ画像は式３または式４を満たしていない場合、ステップＳ３９まで処理をスキップする。評価結果が「真」である場合、式８に従って評価変数Ｄを算出する（ステップＳ３５）。
次に、ここまでで算出した画像間パラメータｄｘ、ｄｙ、ａ、ｂ、Ｄの値をカウンタ変数Ｎと２枚のＲａｗ画像の画像番号Ｉ１、Ｉ２と一緒に内部メモリ５へ保存しておく（ステップＳ３６）。ここで画像番号とは、個々のＲａｗ画像を識別するための番号であり、撮影された順に０から始まる連続した整数値が割り振られることとする。また一緒に「Ｒｏｕｎｄ（ｄｘ）％２≠０」の評価結果Ｆも保存しておく。評価結果Ｆは、後段の処理の中で処理対象である２枚のＲａｗ画像が式３と式４のどちらを満たしているのかを判断するために使用する。保存する値としては、評価結果Ｆが「真」の場合は１、「偽」の場合は０とする。

保存する画像間パラメータの例を図８に示す。
次に算出した評価変数ＤとＤｍｉｎを比較し（ステップＳ３７）、Ｄの方が小さければＤｍｉｎにＤを代入する。またその時のカウンタ変数ＮをＮｍｉｎに代入しておく（ステップＳ３８）。次にカウンタ変数Ｎの値を１つ加算しておく（ステップＳ３９）。次にカウンタ変数ＮがＭと一致したかを確認する（ステップＳ４０）。ＮがＭと一致していなければ再びステップＳ３２へと処理を戻し、
次の２枚のＲａｗ画像に対する処理を行う。ＮとＭが一致していれば、全てのＲａｗ画像の組合せでの処理が終わったと判断しループ処理を抜ける。最後にＮｍｉｎの値を内部メモリ５に保存しておく（ステップＳ４１）。
以上のような処理の結果、最終的な基準Ｒａｗ画像（第１の画像データ）と対象Ｒａｗ画像（第２の画像データ）とが選択される。

１．２．４ 画像合成処理
画像合成部１１では、画像選択部１０が保存した結果を内部メモリ５から読み取り、最終的な基準Ｒａｗ画像と対象Ｒａｗ画像とを決定する。そしてこれらの決定された２枚のＲａｗ画像を用いて図４、５、６に示すような合成処理を行う（図２のステップＳ２０）。
画像合成部１１での処理手順を図９の画像合成処理のフローチャートに沿って詳細に説明する。まず、内部メモリ５から画像間パラメータとＮｍｉｎの値を受け取る（ステップＳ５０）。次にＮｍｉｎが−１か否かを確認する（ステップＳ５１）。Ｎｍｉｎが−１である場合は画像選択部１０での処理で式７を満たす画像の組合せが無かった、つまり画像選択部１０により選択された画像がなかったことを意味する。この場合は合成処理を行うことができず、ここで処理を終了する（ステップＳ５２）。なお、このとき、適切に画像処理ができなかった旨のエラー表示を撮像装置のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示部（図示省略）に表示させてもよい。

Ｎｍｉｎが−１でない場合、次のステップに進み、評価変数Ｄ（理想位置からの距離）の値について判断処理する（ステップＳ５３、Ｓ５５）。具体的には、評価変数Ｄがしきい値Ｔｈ１以下であれば理想位置からの位置ずれ量に相当するＤは無視して問題ない程度に十分小さいとして判断し、２枚のＲａｗ画像の片方を基準Ｒａｗ画像、他方を対象Ｒａｗ画像として合成処理を行う（ステップＳ５４）。合成処理については後述する。
評価変数Ｄがしきい値Ｔｈ１を越えＴｈ２以下であればＤは無視できない、即ち選択された２枚のＲａｗ画像はそのままでは合成処理で使用できないと判断する（ステップＳ５５）。２枚の選択されたＲａｗ画像以外のＲａｗ画像も用いて補間画像を作成し合成処理に使用する。そのためにまず２枚のＲａｗ画像から基準Ｒａｗ画像を決定する（ステップＳ５６）。基準画像の候補は選択された２枚のＲａｗ画像である。この２枚のＲａｗ画像のうち、他のＲａｗ画像に対して式７を満たす組を多く持つ方を基準Ｒａｗ画像に決定する。具体的には、２枚のＲａｗ画像の画像番号をＳＩ１、ＳＩ２とする時、ステップＳ５０で読み込んだ画像間パラメータの中で画像番号Ｉ１またはＩ２にＳＩ１を含む画像の組の個数Ｃ１と、Ｉ１またはＩ２にＳＩ２を含む画像の組の個数Ｃ２をカウントする。Ｃ１≧Ｃ２の時は基準画像を画像ＳＩ１、Ｃ１＜Ｃ２の時は基準画像を画像ＳＩ２とする。以下画像ＳＩ１が基準画像に決定したとして説明を続ける。

次に、画像ＳＩ１を基準Ｒａｗ画像とし、選択可能なＣ１枚の対象Ｒａｗ画像を全てまたは一部を用いて、それらに対して逆距離加重法（ＩＤＷ）を適用することにより理想位置における画像（補間画像）を作成する（ステップＳ５７）。
逆距離加重法（ＩＤＷ）では、例えば、補間画像のある画素データ（補間画素点）をＺ(ｊ)、Ｚ(ｊ)に対応する複数枚の対象画像の画素データ（サンプル画素点）をｚ(ｉ、ｊ)、補間画素点とサンプル画素点との距離ｈ(ｉ、ｊ)に応じた重み付け関数をＷ(ｉ、ｊ)とすると、式９に従って補間画素点の値を算出する。
Ｚ(ｊ)＝（ΣＷ(ｉ、ｊ)・ｚ(ｉ、ｊ)）／ΣＷ(ｉ、ｊ) （式９）

ここでｉは対象画像を指す添え字。ｊは補間画素点を指す添え字。

Σはｉ＝１〜Ｃ１の範囲。またＷ(ｉ、ｊ)＝１／ｈ(ｉ、ｊ)²
この補間処理により理想位置における対象画像が得られる。なお、重み付け関数Ｗ(ｉ、ｊ)は補間画素点とサンプル画素点との距離ｈ(ｉ、ｊ)の２乗の逆数としたがこれに限定されない。
次に、画像ＳＩ１を基準Ｒａｗ画像、補間画像を対象Ｒａｗ画像として合成処理を行う（ステップＳ５４）。合成処理の詳細については後述する。
一方、評価変数Ｄがしきい値Ｔｈ２を越えた場合、撮影された画像は合成・高解像度化処理には不適切と判断し（ステップＳ５５）、合成処理を終了する（ステップＳ５２）。このとき、適切に画像処理ができなかった旨のエラー表示を撮像装置のＬＣＤなどの表示部（図示省略）に表示させてもよい。

なお、しきい値Ｔｈ１、Ｔｈ２の値は任意である。経験的にはＴｈ１は０．１画素以下であれば問題ない。もちろんこの値に限定されるわけではない。
次にステップＳ５４では合成処理を行う。合成処理はＲＧＢそれぞれの画像に分けて行う必要がある。以下図４、５、６、１０を用いてＲＧＢ別で説明する。
＜Ｇ信号抽出画像の合成処理＞
まずＧ信号抽出画像の合成処理について、図４および図１０（ａ）を用いて説明する。Ｇ信号抽出画像の合成処理では、図４に示すように基準Ｇ信号抽出画像４０のデータが無い画素に対象Ｇ信号抽出画像４１のデータをはめ込んでいく。
図１０（ａ）を参照すると、まず基準Ｒａｗ画像と対象Ｒａｗ画像からＧ信号（第１の色情報）のみを抽出し、その他の画素は０とする（ステップＳ６０）。その結果、図４（ａ）に示すような基準Ｇ信号抽出画像４０と対象Ｇ信号抽出画像４１とが得られる。次に、この２枚の画像の位置合わせを行う（ステップＳ６１）。ここでは、基準Ｇ信号抽出画像に対して対象Ｇ信号抽出画像をＸ方向に（ｄｘ−ａ）画素、Ｙ方向に（ｄｙ−ｂ）画素シフトする。ここでｄｘ、ｄｙ、ａ、ｂは対応する２枚の選択画像、即ち基準Ｇ信号抽出画像４０と対象Ｇ信号抽出画像４１の画像間パラメータである。次に合成処理を行う（ステップＳ６２）。ここでは、対象Ｇ信号抽出画像のＧ信号画素を基準Ｇ信号抽出画像にコピーする。これにより図４（ｂ）に示すように、画像のシフトにより合成する相手の画素データが無い画像周辺部、つまり合成しろを除き全画素でＧ信号が得られる。

＜Ｒ信号抽出画像の合成処理＞
次にＲ信号抽出画像の合成処理について図５および図１０（ｂ）を用いて説明する。まず基準Ｒａｗ画像と対象Ｒａｗ画像からＲ信号（第２の色情報）のみを抽出し、その他の画素は０とする（ステップＳ７０）。その結果、図５（ａ）に示すような基準Ｒ信号抽出画像５０と対象Ｒ信号抽出画像５１が得られる。次にこの２枚の画像の位置合わせを行う（ステップＳ７１）。ここでは、Ｇ信号画像の場合と同様に基準Ｒ信号抽出画像に対して対象Ｒ信号抽出画像をＸ方向に（ｄｘ−ａ）画素、Ｙ方向に（ｄｙ−ｂ）画素シフトする。次に合成処理を行う（ステップＳ７２）。対象Ｒ信号抽出画像のＲ信号画素を基準Ｒ信号抽出画像にコピーする。この時、生成される合成画像は、Ｇ信号の場合と異なり図５（ｂ）、図５（ｃ）に示した状態になる。つまり、生成される合成画像は、式３が成り立っているのか、式４が成り立っているのかによってデータの無い画素の配置が異なるので注意が必要である。式３が成り立っている場合、図５（ｂ）のような合成画像となる。式４が成り立っている場合、図５（ｃ）のような合成画像となる。

次にデータの無い画素を無くすために補間処理を行う（ステップＳ７３）。式３が成り立っている場合、即ち画像間パラメータのＦ＝１の場合は、データの無い画素の上下の画素の平均値を当該画素の値とするような補間処理を行う。その結果、図５（ｄ）のような合成補間画像が得られる。また式４が成り立っている場合、即ち画像間パラメータのＦ＝０の場合はデータの無い画素の左右の画素の平均値を当該画素の値とするような補間処理を行う。その結果、図５（ｅ）のような合成補間画像が得られる。
＜Ｂ信号抽出画像の合成処理＞
次にＢ信号抽出画像の合成処理について図６および図１０（ｃ）を用いて説明する。まず基準Ｒａｗ画像と対象Ｒａｗ画像とからＢ信号（第２の色情報）のみを抽出し、その他の画素は０とする（ステップＳ８０）。その結果、図６（ａ）に示すような基準Ｂ信号抽出画像６０と対象Ｂ信号抽出画像６１とが得られる。次に、この２枚の画像の位置合わせを行う（ステップＳ８１）。ここでは、Ｇ信号画像の場合と同様に基準Ｂ信号抽出画像に対して対象Ｂ信号抽出画像をＸ方向に（ｄｘ−ａ）画素、Ｙ方向に（ｄｙ−ｂ）画素シフトする。次に合成処理を行う（ステップＳ８２）。対象Ｂ信号抽出画像のＢ信号画素を基準Ｂ信号抽出画像にコピーする。この時、生成される合成画像は、Ｒ信号の場合と同様に図６（ｂ）、図６（ｃ）に示した状態になる。つまり、生成される合成画像は、式３が成り立っているのか、式４が成り立っているのかによってデータの無い画素の配置が異なるので注意が必要である。式３が成り立っている場合、図６（ｂ）のような合成画像となる。式４が成り立っている場合、図６（ｃ）のような合成画像となる。

次にデータの無い画素を無くすために補間処理を行う（ステップＳ８３）。式３が成り立っている場合、即ち画像間パラメータのＦ＝１の場合は、データの無い画素の上下の画素の平均値を当該画素の値とするような補間処理を行う。その結果、図６（ｄ）のような合成補間画像が得られる。また式４が成り立っている場合、即ち画像間パラメータのＦ＝０の場合は、データの無い画素の左右の画素の平均値を当該画素の値とするような補間処理を行う。その結果、図６（ｅ）のような合成補間画像が得られる。
以上の処理により、合成しろ（画像間の位置ずれのために合成できない、従って画素データの無い画像端部の領域）を除き全画素でＧ信号、Ｒ信号、Ｂ信号が得られる。
１．２．５ その他の画像処理
次に、デジタル処理部１２では、画像合成部１１より受け取ったＲＧＢ別の全画素データに対してＹＣ分離（輝度・色信号分離）、エッジ強調、γ補正などのデジタル高画質化処理を行う（図２のステップＳ２１）。

ＹＣ分離では、例えば次の式１０〜１２の演算を行うことにより、ＲＧＢの各信号から輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを得る。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１４４Ｂ （式１０）
Ｃｂ＝−０．１７２Ｒ−０．３３９Ｇ＋０．５１１Ｂ （式１１）
Ｃｒ＝ ０．５１１Ｒ−０．４２８Ｇ−０．０８３Ｂ （式１２）
またエッジ強調では、例えば図１１に示すようなＨＰＦを輝度信号Ｙに対してかけることにより高周波成分を抽出する。この高周波成分を元の輝度信号Ｙに加算することによりエッジを強調することができる。
なお、画像合成部１１で全ての画像間の位置ずれ量が合成処理に不適切と判断された場合（図９の画像合成処理のフローチャートでステップＳ５２のＥＮＤに到達するような場合）、ＲＧＢ別の全画素データは入手できない。この場合は、高解像度化を断念し、従来から行われているデモザイキング処理を行う。つまり基準Ｒａｗ画像からＲ信号抽出画像、Ｇ信号抽出画像、Ｂ信号抽出画像を作成し、個々の画像で補間処理を行うことによってＲＧＢ別の全画素データを得る。

ＪＰＥＧ符号化部１３では、画像圧縮処理としてデジタル処理部１２から受け取った画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式に符号化する処理が行われる（図２のステップＳ２２）。
符号化された画像データは、外部メモリ１４に保存される（図２のステップＳ２３）。
１．３ 実施の形態１の特徴
実施の形態１においては、撮像装置１は、画像選択部１０及び画像合成部１１により以上のような処理を行うことにより、カラーフィルタを有した単板の撮像素子を用いた撮像装置でも、合成しろを除く全画素で、解像度を支配する色であるＧ信号の画素データが得られるため、ナイキスト周波数付近の解像度特性を向上させることが可能となる。
また、画像選択部１０及び画像合成部１１により画像間の位置ずれ量に応じた処理を行うことにより、理想的な、あるいは理想に近い位置ずれ量が得られた場合には、演算負荷の大きい補間演算や最適化演算などを行うことなくナイキスト周波数付近の解像度特性を向上させることが可能となる。

さらに、画像間の位置ずれ量が大きい場合でも画像合成部１１は画像の補間処理を導入することにより解像度の改善効果を実現することが可能となる。
１．４ 変形例
本実施の形態では、撮像装置はデジタルスチルカメラとして説明したが、これに限定されるわけではない。例えば、動画を主に扱うデジタルビデオカメラであっても、本実施の形態で説明した処理を各フレームに対してシーケンシャルに適用することにより高解像度化が可能である。
本実施の形態では、撮像装置はベイヤ配列の色フィルタを有した撮像素子２を用いる構成としたが、これに限定されるわけではない。適切な位置ずれを有した画像間での合成による各色情報の高密度化が可能なように各色のフィルタが一定の規則に従って配置されていればよい。

本実施の形態では、撮像素子２は原色フィルタを用いるものを例に挙げたが、補色フィルタ（ＣＭＹ）を用いるものであってもよい。補色フィルタを用いる場合も、上記実施の形態と同様の作用効果が得られる。
本実施の形態では、最初に撮り込んだＲａｗ画像を基準Ｒａｗ画像としたがこれに限定されない。例えば撮影時の手ブレ量をデジタルスチルカメラに内蔵された図示しないジャイロセンサでモニタリングし、その振幅が最も小さいものを基準Ｒａｗ画像として採用することができる。こうすることにより基準Ｒａｗ画像としてぶれを含まない画像が選択され、位置ずれ量の測定精度向上が期待できる。
本実施の形態では、内部メモリ５と内部メモリ８をそれぞれ独立したメモリのように説明したがこれに限定されない。１つの物理メモリの中の別領域であっても何ら問題ない。

本実施の形態では、位置ずれ検出法としてパターンマッチング法を用いたがこれに限定されない。例えば基準画像内でエッジとエッジの交点などの特徴点を複数抽出し、それに対応する画素点を対象画像内で探索する特徴点追跡法などを用いてもよい。
本実施の形態では、補間画像の作成法として位置ずれ検出法として逆距離加重法（ＩＤＷ）を用いたがこれに限定されない。例えばサンプル点データに対してスプライン補間を行うことにより補間画素点のデータを算出してもかまわない。
本実施の形態では、画像合成部１１でＧ信号合成画像、Ｒ信号合成補間画像、Ｂ信号合成補間画像を生成し、デジタル処理部１２に出力していたがこれに限定されない。例えば画像合成部１１ではＧ信号合成画像のみを生成する。またデジタル処理部１２ではＧ信号合成画像と基準Ｒａｗ画像を受け取る。基準Ｒａｗ画像に対して従来から行われているデモザイキング処理を行い、ＲＧＢそれぞれの全画素データを得る。またＧ信号合成画像をエッジ強調処理時の高周波成分として使う。このような処理手順でも従来のデジタル処理を施す場合に比べ高解像度化が実現できる。

本実施の形態では、画像合成部１１により二つの画像を合成する場合、相手の画素データが無い画像周辺部、つまり合成しろが存在する。この部分については補間処理などを行なって解像度を向上させてもよい。
２． その他の実施形態
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。例えば、図２の画像処理の手順も上記に限定されるものではない。

上記の技術は、デジタルカメラなどの撮像装置、かかる撮像装置に用いられる集積回路及び画像処理方法として有用である。

１ 画像信号処理部
２ 撮像素子
３ アナログ処理部
４ Ａ／Ｄ変換部
５ 内部メモリ
６ Ｇ信号抽出部
７ Ｇ信号補間部
８ 内部メモリ
９ 位置ずれ検出部
１０ 画像選択部
１１ 画像合成部
１２ デジタル処理部
１３ ＪＰＥＧ符号化部
１４ 外部メモリ
３０ 基準Ｇ信号補間画像
３１ テンプレート画像領域
３２ 対象Ｇ信号補間画像
３３ ベストマッチング領域
３４ マッチング領域
４０ 基準Ｇ信号抽出画像
４１ 対象Ｇ信号抽出画像
５０ 基準Ｒ信号抽出画像
５１ 対象Ｒ信号抽出画像
６０ 基準Ｂ信号抽出画像
６１ 対象Ｂ信号抽出画像

Claims (9)

1. 第１の色の光を受けた量を測定する複数の第１画素と、第２の色の光を受けた量を測定する複数の第２画素とがそれぞれ所定のパターンで配列され、前記第１の色情報および前記第２の色情報のうち少なくとも一方を有し所定の被写体を撮像した画像データを生成する撮像素子と、
   複数の前記画像データから、第１の画像データと、前記第１の画像データに対し前記被写体の位置が所定量ずれた第２の画像データとを選択する画像選択部と、
   前記所定量に基づいて前記第１の画像データと前記第２の画像データとを合成することにより合成画像データを生成する画像合成部と、
   を備え、
   前記画像選択部は、複数の前記画像データにおける２つの画像データの組全てのうち、一方の画像データを撮像する際に前記第１画素以外の画素で受光した被写体の光を、他方の画像データを撮像する際に前記第１画素で受光した範囲が最も大きい２つの画像データの組を、前記第１の画像データおよび前記第２の画像データとして選択する、
   撮像装置。
2. 前記第１画素は、前記撮像素子上で水平方向および垂直方向にそれぞれ１画素おきに配置されており、
   前記画像選択部は、
   前記複数の画像データにおける２つの画像データの組全てのうち、
   一方の画像データにおける前記所定の被写体の位置と
   他方の画像データにおける前記所定の被写体の位置との間の距離の水平成分をｄｘ、垂直成分をｄｙとし、
   ｄｘ＝２ｍ＋１＋ａ、ｄｙ＝２ｎ＋ｂ
   （ｍ、ｎ：整数、−０．５＜ａ、ｂ＜０．５）(式１)
   または
   ｄｘ＝２ｍ＋ａ、ｄｙ＝２ｎ＋１＋ｂ
   （ｍ、ｎ：整数、−０．５＜ａ、ｂ＜０．５）（式２）
   とした時の評価値(ａ²＋ｂ²）^0.5の値が最も小さい２つの画像データの組を、前記第１の画像データおよび前記第２の画像データとして選択する、
   請求項１に記載の撮像装置。
3. 前記画像合成部は、
   前記評価値（ａ²＋ｂ²）^0.5の値がしきい値Ｔｈ１を越えると判断した場合は、前記第２の画像データを含む前記複数の画像データの一部もしくは全てを用いた補間処理により画像を生成して前記第２の画像データとした後、前記第１の画像データと前記第２の画像データとを合成することにより合成画像データを生成する、
   請求項２に記載の撮像装置。
4. さらに表示部を備え、
   前記画像合成部は、
   前記第１の画像データおよび前記第２の画像データが前記画像選択部により選択されなかった場合、前記表示部にエラー表示させる、
   請求項１に記載の撮像装置。
5. さらに表示部を備え、
   前記画像合成部は、
   前記評価値（ａ²＋ｂ²）^0.5の値がしきい値Ｔｈ２（ただし、Ｔｈ１＜Ｔｈ２）を超えると判断した場合、前記表示部にエラー表示させる、
   請求項３に記載の撮像装置。
6. 前記第１の色情報は、緑であり、
   前記第２の色情報は、赤および青の少なくとも一方である、
   請求項１に記載の撮像装置。
7. 前記画像合成部は、前記第１の画像データと前記第２の画像データとを補間処理せずに合成することにより合成画像データを生成する、
   請求項１に記載の撮像装置。
8. 第１の色の光を受けた量を測定する複数の第１画素と、第２の色の光を受けた量を測定する複数の第２画素とがそれぞれ所定のパターンで配列された撮像素子を備える撮像装置に用いられる集積回路であって、
   前記撮像素子により生成され、前記第１の色情報および前記第２の色情報のうち少なくとも一方を有し、所定の被写体を撮像した複数の画像データから、第１の画像データと、前記第１の画像データに対し前記被写体の位置が所定量ずれた第２の画像データとを選択する画像選択部と、
   前記所定量に基づいて前記第１の画像データと前記第２の画像データとを合成することにより合成画像データを生成する画像合成部と、
   を備え、
   前記画像選択部は、複数の前記画像データにおける２つの画像データの組全てのうち、一方の画像データを撮像する際に前記第１画素以外の画素で受光した被写体の光を、他方の画像データを撮像する際に前記第１画素で受光した範囲が最も大きい２つの画像データの組を、前記第１の画像データおよび前記第２の画像データとして選択する、
   集積回路。
9. 第１の色の光を受けた量を測定する複数の第１画素と、第２の色の光を受けた量を測定する複数の第２画素とがそれぞれ所定のパターンで配列された撮像素子を備える撮像装置を用いる画像処理方法であって、
   前記撮像素子により、前記第１の色情報および前記第２の色情報のうち少なくとも一方を有し所定の被写体を撮像した画像データを生成する画像データ生成ステップと、
   複数の前記画像データから、第１の画像データと、前記第１の画像データに対し前記被写体の位置が所定量ずれた第２の画像データとを選択する画像選択ステップと、
   前記所定量に基づいて前記第１の画像データと前記第２の画像データとを合成する画像合成ステップと、
   を備え、
   前記画像選択ステップにおいては、複数の前記画像データにおける２つの画像データの組全てのうち、一方の画像データを撮像する際に前記第１画素以外の画素で受光した被写体の光を、他方の画像データを撮像する際に前記第１画素で受光した範囲が最も大きい２つの画像データの組を、前記第１の画像データおよび前記第２の画像データとして選択する、
   画像処理方法。
   

Images