JP6144878B2 - 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム - Google Patents

Description

本発明は、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子を利用して瞳分割像を取得し、得られた２つの瞳分割画像の位相差から焦点検出を行うための画像処理に関する。特に光電変換部の飽和による像崩れの影響を受けない相関演算を行なう画像処理に関する。

従来、１つのマイクロレンズに対して複数の光電変換部が対応する撮像素子により瞳分離像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。

例えば、特許文献１では瞳分割した像により位相差を求めて焦点検出を行うと同時に、同一のマイクロレンズに対応した光電変換部の信号を全て加算して１つの画素の信号として出力する技術が開示されている。後者のように画像信号を取り扱うことで従来の撮像画素の配列で得られた画像信号と同じになるようにし、従来の信号処理技術により観賞用の画像を作成する技術を開示している。

分割された光電変換部の１つでも飽和に達してしまうと、同一マイクロレンズに対応した全ての光電変換部の出力を加算しても、飽和の影響により加算出力はリニアな特性とはならず、画質が劣化してしまうのである。

特開２００１−８３４０７号公報

しかしながら、上述の特許文献に開示された従来技術では、最終的に得られる画像における許容飽和レベルが改善され画質が向上するが、加算前の瞳分離像の飽和レベルは改善されることはない。むしろ、飽和した画素から漏れ出した電荷を吸収した画素の影響により像崩れが生じて、位相差を求める際の像の相関が悪化してしまう。

すなわち、焦点検出に悪影響が生じて焦点検出精度が悪化もしくは焦点検出不能な状態になってしまう。

良好な画像が得られているにも関わらず焦点検出が不能となるため、焦点検出が可能な時と焦点検出不能な時の区別がつかない場合が出現し、使用者を混乱させることにもなる。

そこで、本発明の目的は、瞳分離像が飽和による像崩れを起こした場合でも、正しく像ずれ量を求めることを可能にする画像信号処理を提供することである。

実施形態の一態様によれば、マイクロレンズに対して複数の光電変換部が対応して配列された撮像素子から得られる画像信号を処理する画像処理装置であって、前記撮像素子からの前記画像信号の相関データを演算する第１の演算手段と、前記第１の演算手段による相関データの演算の前の前記画像信号が、飽和レベルに達しているかどうかを検出するとともに、当該検出結果に基づき前記演算から除外した画素信号に関するカウント情報を生成する検出手段と、前記検出手段によって生成されたカウント情報にしたがって前記第１の演算手段で演算された相関データを正規化するとともに、当該正規化された相関データからデフォーカス量を算出する第２の演算手段とを有することを特徴とする画像処理装置が提供される。

本発明の画像信号処理によれば、瞳分離像が飽和による像崩れを起こした場合においても、正しく像ずれ量を求めることが可能になる相関演算を行なうことができる。

本発明の実施形態に係わる撮像素子の画素構造を示す図。 図１の画素における入射光量出力レベル特性を示す図。 本発明の実施形態に係わる撮像素子の画素の撮像出力波形を示す図。 図３に示す撮像出力波形から得られる相関像を示す図。 本発明の第１の実施形態に係わる撮像装置のブロック図。 本発明の第１の実施形態に係わる画素差分値の絶対値積算回路の回路図。 本発明の実施形態に係わる撮像素子の画素配列を示す図。 図７に示す画素配列の撮像素子の出力信号から得られる相関像および排除カウント像を示す図。 像高が高い画素への入射光を模式的に示す図。 本発明の第２の実施形態に係わる相関演算動作のフローチャートを示す図。 図１０に示す相関演算動作での相関像正規化のフローチャートを示す図。

以下に、本発明の好ましい実施形態を、添付の図面を参照して詳細に説明する。

最初に、本発明の実施形態に係わる撮像装置の構成を説明する。
図１は、本発明の実施形態に係わる撮像素子の画素（光電変換手段）の構造を示した図である。
図において、１０１は画素に光を集光するためのマイクロレンズ、１０２はカラーフィルター、一般にＲＧＢなどの複数の色のカラーフィルターが一定周期の繰り返しで配列されている。

１０３は半導体の配線層、１０４と１０５は光電変換を行うフォトダイオードである。

通常の撮像素子では１０５と１０４は１つの光電変換部であるが、本発明の前提となる画素構造ではその光電変換部を分割する事によって瞳分割像を得る。即ち、一つのマイクロレンズに２つの光電変換部が対応する画素構造を有する。

光電変換部１０４のみの光電変換信号（画像信号）から構成した画像（Ｂ像）と光電変換部１０５のみの画像信号から構成した画像（Ａ像）では瞳が分割されているため、両画像には視差が生じている。その視差のある画像は、焦点検出やステレオ画像を得るなどの用途で利用できる。

また、光電変換部１０５（Ｂ像画素）と１０４（Ａ像画素）の画像信号を加算すれば、一般の画素と同じ瞳形状に戻るため、加算された画像信号に対して一般的な信号処理をすれば従来の撮像素子と同様の画像を得ることができる。

ここで上記光電変換部の飽和の問題について図２を用いて説明する。
図２は光電変換部が分割された画素の一つにおける入射光と出力の関係を示す図である。横軸はマイクロレンズに入射する光量、縦軸は光電変換部から出力される画像信号値を示している。

図２（ａ）は、図１の画素の入射光と出力の関係を示し、折れ線２０１は光電変換部を分割しない場合の特性を示し、飽和レベルに達するまでリニアリティが保たれている。もし、マイクロレンズに入射した光が分割された光電変換部に均等に当たれば、各光電変換部の画像信号を加算した画像信号は２０１のような特性を示す。
しかし、像高中心で且つ焦点が合っている状態でもない限り、画素に当たる光はその受光面内で均等にはならない。

図９は像高の高い場所の画素、つまり画面の周辺の画素に光が当たっている様子を示している。画面の周辺の画素では光は斜めから入射するため光電変換部１０４のほとんどに光があたらない状態となり、光電変換部１０５ばかりに光が当たっている。したがって１０５が先に飽和に達してしまう。

図２（ａ）の折れ線２０３は光電変換部１０５の、また２０４は光電変換部１０４の特性を示している。特性２０３が先に飽和レベルに達してしまうため光電変換部１０５と１０４の画像信号を加算した信号は折れ線２０２のようになってしまい、特性３０１に比べて早く飽和の影響が出てしまう。

その影響をさける対策として次のような画素構造にする方法がある。
即ち、光電変換部１０５が飽和に達してしまった場合、そこで発生した電荷が光電変換部１０４に漏れこむように画素を構成する。これにより光電変換部１０５と１０４の画像信号を加算した信号は図２（ｂ）の折れ線２０１のような特性を示すようになる。その場合の画素１０４の特性は図２（ｂ）の２０５のようになる。

２０５のカーブは、光電変換部１０５（特性２０３）が飽和に達し、それから電荷が流入するため入射光に対する出力の傾きが立ってきている。

さらに、Ａ像とＢ像はデフォーカス量に応じて視差がつくため、ボケた（デフォーカスした）画像においては大きくレベルが異なることになるが、飽和した電荷が漏れることによりハイライト部分においてはＡ像とＢ像共に飽和してしまう。

図３はデフォーカスしたＡ像とＢ像それぞれの一部が飽和を起こしている場合の画像信号の例を示す。図において、実線３０１はＢ像、破線３０２はＡ像の波形を示す。

デフォーカス量は、Ａ像とＢ像の像ずれ量に基線長で決まる定数を掛けることで算出できる。Ａ像とＢ像は像ずれを起こしているため、デフォーカス量を求めることができるべきだが、飽和を起こしている部分においては像がずれていない。この影響度が大きいために、Ａ像とＢ像が像ずれしていない上記位置で最も一致度が高くなってしまう。

つまり、相関演算の結果、Ａ像とＢ像が像ずれしていないと判断されるため、合焦状態にあると誤判断されてしまう。

図４は図３のＡ像の画像信号３０２とＢ像の画像信号３０１を相関演算して得られる相関像である。
相関像とはＡ像とＢ像を少しずつずらして、ずれ量に応じて得られる相関量を像としたものである。相関量としてはＳＡＤ(Sum of Absolute Difference)と呼ばれる差の絶対値の総和やＳＳＤ(Sum of Squared Difference)と呼ばれる差の絶対値の二乗の総和などを指標とするのが一般的である。

図４の横軸の目盛り０がずれ量０の部分であり、相関量が最も小さくなっている。相関量の最も小さくなっている場所は相関の高い場所であり、図４の例ではずれ量０の部分の像の一致度が最も高いといえる。
このように、飽和による電荷漏れが発生すると、実際のデフォーカス量とは無関係に電荷漏れに起因するデフォーカス量０に引っ張られてしまうという現象が発生する。

以下、図５を参照して、本発明の第1の実施例に係わる画像処理装置を、図１に示す画素からなる撮像素子を有する撮像装置に適用した場合について説明する。

図５は本発明の第一の実施例に係わる撮像装置のブロック図である。
同図において、５０１はレンズ、５０２は撮像素子、５０３はＡＤ変換器、５０４はＡＢ像加算回路、５０５はＡＢ像分離回路、５０６は信号処理回路、５０７は相関演算回路、５０８はデフォーカス量算出部である。これらは、システム全体を制御するマイクロコンピュータ５０９により制御される。

撮像素子５０２の画素は図１で説明した構造であり、１つのマイクロレンズに対して２つの光電変換部をもっている。図７は撮像素子の表面の画素配列を示した図である。７０３と７０４はそれぞれグリーンのＡ像画素、Ｂ像画素である。同様に７０１はレッドのＢ像画素、７０２はブルーのＡ像画素である。

このようにＡ像画素とＢ像画素をあわせて１つの画素にするとＲＧＢのベイヤー配列という配列になる。

ＡＤ変換器５０３の出力はＲＧＢそれぞれについてＡ像データとＢ像データが順次出力されるためＡＢ像加算回路５０４で同色の隣接画素データを加算するとベイヤー配列に戻る。

５０６はベイヤー配列からカラー映像信号を作成する信号処理回路である。

ＡＢ像分離回路５０５によってＡ像データとＢ像データを分離して５０７の相関演算部に渡される。

相関演算部５０７ではＡ像とＢ像の像のずれ量を相関像として算出してデフォーカス部５０８に出力する。

デフォーカス量算出部５０８では相関像を解析して像ずれ量を得て、それにＡ像Ｂ像の基線長で決まる定数を乗算して+デフォーカス量を求める。制御マイコン５０９ではデフォーカス量に応じてレンズ５０１を制御してピントをあわせる。

図６は図５に示される相関演算部５０７を構成する差の絶対値積算部の回路図である。

６０１の飽和スレッシュレベルは制御マイコン５０９によって変更可能に与えられる設定値であり、センサーの特性として飽和を始めるレベルを閾値として指定するものである。

６０２はＡ像データ入力、６０３はＢ像データ入力である。相関演算部の前段のバッファーに蓄積されたＡ像データとＢ像データはシフト量を１つずつずらしながら何度も６０２、６０３に入力される。差分絶対値演算部６０５でＡ像データとＢ像データの差の絶対値が算出され積算部６０８で差の絶対値の総和が求められる。

１つのシフト量に対してＡ像データとＢ像データの入力６０２、６０３が終えた時点で積算出力６１０を後段で取り込み、積算部６０８をリセットする。シフト量を変更して最初から入力し、像を入力し終えたら積算出力６１０を取り込む。以下同じ動作を何度も繰り返すことで相関像を得る。飽和検出部６０４ではＡ像画素とＢ像画素のどちらかが飽和に達しているかを、上記閾値６０１と比較して検出する。

飽和検出部６０４が飽和を検出するとのスイッチ６０６がＯＦＦになり、飽和を検出した処理サイクルでは差分絶対値が６０８に取り込まれない。それにより６１０の相関量出力から飽和の影響を排除することができる。即ち、画像信号の相関を像ずれ量の演算に用いるかどうかを飽和検出部６０４の飽和検出の結果に従って制御することができる。

カウンタ回路６０７では飽和検出部６０４の出力が１だったサイクルに１つカウントアップする。それにより飽和で排除した回数（排除回数）がカウンタ部６０７でカウントされる。積算出力６１０の相関量の出力を取り込むサイクルで飽和排除カウンタ値６０９を取り込むことで飽和排除像を得ることができる。

図８の（ａ）は図６の絶対値積算部の出力に基づいて相関演算部５０７で得られる相関像を示している。
同図において、曲線８０１が図６の絶対値積算部で積算した相関量による相関像である。

図８（ｂ）はそれに対する飽和排除カウンタ像である。ずれ量０の時にＡ像の飽和領域とＢ像の飽和領域が向かい合うことになり、最も少ない飽和カウンタ値を示すことになる。点線８０２は相関像８０１を飽和排除カウンタ像８０３で正規化した正規化相関像である。具体的には以下のような式で正規化する。
式：
正規化済み相関量 ＝ 相関量＊視野画素数/(視野画素数-飽和排除カウンタ値)
飽和により差分絶対値の加算を排除した分だけ重みを補正している。

デフォーカス量算出部５０８によって相関像と飽和排除カウンタ像から正規化を行い、点線８０２のような正規化された相関像を得る。

その後デフォーカス量算出部５０８では、パラボラフィッティングという手法でサブピクセルマッチングを行う。

パラボラフィッティングでは相関量の極小値の前後の像の傾きを利用してサブピクセルマッチング位置を算出するため（例えば、極小値の前後の異なるずれ量の４点での値）、正規化によりサブピクセルマッチングの精度が向上する。

また、飽和画素が占める割合が多い場合は正規化をしないと極小値そのものが狂ってしまい正しくずれ量を算出できなくなるため、相関像は必ず正規化して利用する。

次に、図１０および１１を参照して、本発明の第２の実施例に係わる画像信号処理装置について説明する。

実施例１に係わる画像信号処理装置においては、相関演算部５０７は図６に示す差分絶対値積算部の演算回路などよって構成されていたが、実施例２においては相関演算部５０７の機能をマイクロコンピュータによる処理で達成する。この場合のマイクロコンピュータによる処理は、制御マイコン５０９に行わせることが可能であるが、専用のマクロコンピュータに処理を分担させてもよい。処理は、図示しないメモリに記憶されたコンピュータプログラムをマイクロコンピュータがロードして実行することで達成される。相関演算部５０７以外の構成は図５の構成と同じであり、ここでの説明は省略する。

図１０は実施例２の相関演算部５０７の機能を実現するためのマイクロコンピュータ処理のフローチャートである。

まず、ステップＳ１００１で相関演算を開始すると、ステップＳ１００２でシフト量（ここでは仮に−１００〜＋１００とする）だけ相関量積算の繰り返しを開始する。

ステップＳ１００３でＡ像視野の画素数分の繰り返しを開始する。

ステップＳ１００４ではＡ像画素位置に対してシフト量分ずれたＢ像画素位置の画素をそれぞれ取り出す。

ステップＳ１００５でＡ像画素もしくはＢ像画素が飽和しているかどうかを判断し、飽和していればステップＳ１００８へ分岐し飽和回数カウンタをカウントアップしてステップＳ１０１０に進む。

ステップＳ１００５でＡ像画素、Ｂ像画素ともに飽和していなければステップＳ１００７に進み、Ａ像画素とＢ像画素の差の絶対値をＳＡＤ値として積算して、ステップＳ１０１０に進む。

ステップＳ１０１０でＡ像Ｂ像の画素位置を＋１インクリメントして（１画素分ずらす）ステップＳ１００３に戻る。

ステップＳ１００３からステップＳ１０１０を視野長分繰り返したら（ステップＳ１００３でＮ）、ステップＳ１００６へ進み、ＳＡＤ値と排除カウンタ値を配列のシフト量に対応した位置に格納する。

ステップＳ１００９でシフト量を＋１インクリメントして（１画素分シフト）ステップＳ１００２へ戻る。

ステップＳ１００２からステップＳ１００９までをシフト量分繰り返すことで、各シフト量に対する相関像と排除カウンタのテーブルを生成し（ステップＳ１００２でＮ）、ステップＳ１０１１へ進む。

ステップＳ１０１１では正規化演算を行い、ステップＳ１０１２でこの処理を終了する。

図１１は図１０のステップＳ１０１１の正規化演算の詳細なフローチャートを示す。

ステップＳ１１０１で正規化を開始する。

ステップＳ１１０２で相関像長（０〜２００）の繰り返しを開始する。

ステップＳ１１０３で相関量と排除カウンタを上記生成されたテーブルから取り出す。

ステップＳ１１０４で相関量に（視野長÷（視野長―排除カウンタ値））を掛けて正規化を行う。

ステップＳ１１０５では、正規化演算の結果をテーブルに格納してポインタを１つすすめてＳ１１０２に戻る。

ステップＳ１１０２〜Ｓ１１０５を相関像長だけ繰り返したら（ステップＳ１１０２でＮ）、Ｓ１１０６に進み、図１０の処理に復帰する。

上述したように、本実施例においても第１の実施例と同等の技術的効果を達成することが可能である。なお、第２の実施例において図１０−１１に示した各処理は、上述のように各処理の機能を実現する為のプログラムを不図示のメモリから読み出して制御マイクコン５０９などが実行することによりその機能を実現させるものである。

しかし、上述した構成に限定されるものではなく、図１０−１１に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、コンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。例えば、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せにより構成された記録媒体である。

また、図１０−１１に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含む。この場合、書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。このように、一定時間プログラムを保持しているものも「コンピュータ読み取り可能な記録媒体」に含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (13)

1. マイクロレンズに対して複数の光電変換部が対応して配列された撮像素子から得られる画像信号を処理する画像処理装置であって、
   前記撮像素子からの前記画像信号の相関データを演算する第１の演算手段と、
   前記第１の演算手段による相関データの演算の前の前記画像信号が、飽和レベルに達しているかどうかを検出するとともに、当該検出結果に基づき前記演算から除外した画素信号に関するカウント情報を生成する検出手段と、
   前記検出手段によって生成されたカウント情報にしたがって前記第１の演算手段で演算された相関データを正規化するとともに、当該正規化された相関データからデフォーカス量を算出する第２の演算手段とを有することを特徴とする画像処理装置。
2. 前記検出手段が前記光電変換部の飽和を検出したときは、当該光電変換部を含む前記複数の光電変換部からの画像信号の相関を前記第１の演算手段が像ずれ量の演算に用いないよう制御する制御手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の演算手段は、前記カウント情報に従って前記画像信号の相関を前記像ずれ量の演算に用いなかった排除回数を積算し、当該積算した排除回数に基づいて前記像ずれ量の演算に用いる相関の正規化を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の演算手段は、前記像ずれ量の演算に用いる相関と前記排除回数とから相関像とそれに対応する排除像を生成し、当該相関像を排除像に基づいて正規化することを特徴とする請求項３に記載の画像処理装置。
5. 前記検出手段は、前記画像信号のレベルと予め設定された閾値との比較の結果に基づいて前記光電変換部の飽和を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の演算手段が演算する相関データは、前記撮像素子から出力される視差画像に関する相関データであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. マイクロレンズに対して複数の光電変換部が対応して配列された撮像素子と、
   請求項１乃至６のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
8. 前記複数の光電変換部からの画像信号を加算する加算手段と、当該加算された信号を処理する信号処理手段を備えることを特徴とする請求項７に記載の撮像装置。
9. マイクロレンズに対して複数の光電変換部が対応して配列された撮像素子から得られる画像信号の処理方法であって、
   前記撮像素子からの前記画像信号の相関データを演算する第１の演算ステップと、
   前記第１の演算ステップによる相関データの演算の前の前記画像信号が、飽和レベルに達しているかどうかを検出するとともに、当該検出結果に基づき前記演算から除外した画素信号に関するカウント情報を生成する検出ステップと、
   前記検出ステップにおいて生成された前記カウント情報に従って前記第１の演算ステップにおいて演算された相関データを正規化するとともに、当該正規化された相関データからデフォーカス量を算出する第２の演算ステップとを有することを特徴とする画像処理方法。
10. コンピュータを、
    マイクロレンズに対して複数の光電変換部が対応して配列された撮像素子から得られる画像信号の相関データを演算する第１の演算手段、
    前記第１の演算手段による相関データの演算の前の前記画像信号が、飽和レベルに達しているかどうかを検出するとともに、当該検出結果に基づき前記演算から除外した画素信号に関するカウント情報を生成する検出手段、
    前記検出手段によって生成されたカウント情報に従って前記第１の演算手段で演算された相関データを正規化するとともに、当該正規化された相関データからデフォーカス量を算出する第２の演算手段として機能させるプログラム。
11. 請求項１０のプログラムを記録したコンピュータが読み取り可能な記録媒体。
12. コンピュータを、請求項１乃至６のいずれか１項に記載された画像処理装置の各手段として機能させるコンピュータプログラム。
13. コンピュータを、請求項１乃至６のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを記録した記録媒体。

Images