JP6173156B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明は、撮影した複数の画像から被写体の距離情報の分布を表す距離情報画像を取得する画像処理装置、撮像装置に関する。また、撮影した複数の画像から被写体の距離情報の分布を表す距離情報画像を取得する画像処理方法に関する。

撮像装置によって取得された二次元画像から画像中の被写体の奥行方向の距離を取得する方法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式が提案されている。ＤＦＤ方式では撮像光学系の撮影条件（撮影パラメータともいう）を制御することでぼけ方の異なる複数枚の画像を取得する。そして、測距画素およびその周辺画素を用いて複数画像間でのぼけの大きさやぼけの相関量を算出する。ぼけの大きさやぼけの相関量は撮像光学系の合焦位置から被写体までの距離に応じて変化するため、その相関量を用いることで撮像光学系の合焦位置から被写体までの距離を取得する。

特許文献２は、ＤＦＤ方式を用いて処理対象領域毎に演算したぼけの相関量から被写体距離を算出する測距装置であって、処理対象領域内の画素毎に画素単位のぼけの相関量に重み係数を設定し、重み係数に基づいてぼけの相関量の加重平均を行うものである。

特開平０１−１６７６１０号公報 特開２０１０−０１６７４３号公報

一般的な撮像装置の撮像光学系には軸上色収差があり、色（波長）毎にフォーカス位置（合焦位置）が異なるため、ぼけの大きさやぼけの相関を使って距離情報を算出する場合、色（波長）によって算出される距離情報に誤差が生じてしまう。つまり、カラー画像を用いたＤＦＤ方式等で距離情報を算出する場合、に色（波長）よる測距誤差が生じる。

特許文献１及び２では、色（波長）による距離情報の誤差が生じることについては言及されていない。

そこで本発明では、カラー画像を用いたＤＦＤ方式であっても精度良く被写体の距離情報を取得することを目的としている。

本発明に係る画像処理装置は、被写体の異なる色情報を取得する複数の画素を含む複数のユニットを備えた撮像素子で取得されたぼけ方の異なる第１の画像と第２の画像に基づき、前記被写体の距離情報の分布を表す距離情報画像を取得する画像処理装置であって、前記複数の画素のうち１つの画素に対応する信号をユニットごとに抽出して、前記第１の画像と前記第２の画像それぞれに対応した第１の抽出画像と第２の抽出画像を作成する抽出部と、前記第１の抽出画像と前記第２の抽出画像のぼけ方の違いから前記距離情報画像を算出する算出部と、を有し、前記ユニットごとに抽出される前記１つの画素に対応する信号は、同じ色情報を取得する画素に対応する信号であること特徴としている。

さらに本発明に係る画像処理方法は、被写体の異なる色情報を取得する複数の画素を含む複数のユニットを備えた撮像素子で取得されたぼけ方の異なる第１の画像と第２の画像それぞれに対して、前記複数の画素のうち１つの画素に対応する信号をユニットごとに抽出して第１の抽出画像と第２の抽出画像を作成する抽出工程と、前記第１の抽出画像と前記第２の抽出画像のぼけ方の違いから被写体の距離情報の分布を表す距離情報画像を算出する算出工程と、を有し、前記ユニットごとに抽出される前記１つの画素に対応する信号は、同じ色情報を取得する画素に対応する信号であることを特徴としている。

本発明によれば、カラー画像を用いたＤＦＤ方式であっても精度良く距離情報を取得することができる。

実施形態１に係る画像処理装置を有する撮像装置の一例を示す模式図 （ａ）実施形態１に係る撮像素子の一部を表す模式図、（ｂ）実施形態１に係るチャンネルの抽出する一例を示す模式図 実施形態１に係る画像処理方法の一例を示すフローチャート 実施形態２に係る画像処理装置を有する撮像装置の一例を示す模式図 実施形態２に係る画像処理方法の一例を示すフローチャート 実施形態２の抽出された画素に対応する信号の生成の説明図 実施形態３に係る画像処理装置を有する撮像装置の一例を示す模式図 一般的な撮像光学系における軸上色収差と像面湾曲の説明図 実施形態３に係る画像処理方法の一例を示すフローチャート 実施形態３に係る距離情報の補正データの取得装置を示す模式図及び距離情報の補正データの取得方法の一例のフローチャート

本発明は、撮影条件を変えて撮影した２枚以上の画像を用い、それらの画像のぼけ方の違いに基づいて被写体の奥行方向の距離情報を算出するための技術（ＤＦＤ方式）に関し、その改良を提案するものである。本明細書では、異なる色情報を取得する複数の画素を有する撮像装置で撮影した画像を用いた場合であっても、ＤＦＤ方式により被写体の距離情報を精度良く算出する技術を提案する。係る技術は、例えば、デジタルカメラやデジタルビデオカメラ、監視カメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装されうる。そして、撮影画像に対する各種画像処理（測距、距離情報画像の作成、被写体切出し、背景ぼかし、ぼけ効果付与等）に利用される。

本発明における距離情報とは、２画像のフォーカス位置の中間位置から被写体までの相対的な距離、もしくはどちらか１画像のフォーカス位置から被写体までの相対的な距離、撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量で表されていてもよい。

本発明について、実施形態、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。

（実施形態１）
図１は、本実施形態に係る画像処理装置１３を備えた撮像装置１の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、撮像光学系の制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

図２（ａ）は、本実施形態の撮像素子における部分的な構成を模式的に示している。撮像素子１１は、イメージセンサ１１１と、カラーフィルタ１１２とを有している。カラーフィルタ１１２はイメージセンサ１１１の光入射側に設置されている。撮像素子１１は、複数のユニット１１３を有し、各ユニットは複数の画素Ａ、Ｂ、Ｃ、Ｄで構成されている。各画素Ａ、Ｂ、Ｃ、Ｄはそれぞれ、被写体の色情報を取得する。そのために、画素Ａ、Ｂ、Ｃ、Ｄそれぞれに対応するように、カラーフィルタ１１２は、赤、緑または青のいずれかの色を透過する領域が区画されて構成されている。

画素Ａは主に可視光の長波長領域（５８０ｎｍ乃至７２０ｎｍの波長領域）を透過させる赤色カラーフィルタを備えている。画素Ｂと画素Ｃは主に可視光の中間波長領域（４４０ｎｍ乃至６２０ｎｍの波長領域）を透過させる緑色カラーフィルタを備えている。画素Ｄは主に可視光の短波長領域（４００ｎｍ乃至５４０ｎｍの波長領域）を透過させる青色カラーフィルタを備えている。これらの画素によって、本実施形態の撮像装置１はカラー画像を取得することができる。色情報とは、本実施形態では、赤色、緑色または青色のいずれかの色とその輝度情報を指す。

画像処理装置１３は、処理部１３０、メモリ１３１、抽出部１３２、算出部１３３などを有している。処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号・色差信号変換、収差補正、ホライトバランス補正、色補正、ガンマ補正など各種信号処理を行う機能である。処理部１３０から出力されるデジタル画像信号はメモリ１３１に蓄積され、記憶部１４への記録（保存）、距離情報算出などに供給される。

抽出部１３２は、撮像素子１１の各ユニットの複数の画素Ａ、Ｂ、Ｃ、Ｄのうち１つの画素（例えば画素Ｂ）に対応する信号を抽出する。信号を抽出する画素は、各ユニットで同じ色情報を取得する画素である。例えば、図２（ａ）では、ユニット１１３内の画素Ｂに対応する信号が抽出される。そして、抽出部１３２は、各ユニットの画素Ｂの信号だけを集めて、例えば図２（ｂ）のような抽出画像を作成する。また、後述するように、撮像素子１１は、ぼけ方の異なる第１の画像と第２の画像を取得する。抽出部１３２は、第１の画像、第２の画像それぞれに対応して、上記抽出画像を作成する。つまり、抽出部１３２は、第１の画像から第１の抽出画像を作成し、第２の画像から第２の抽出画像を作成する。

算出部１３３は、抽出部１３２で生成した第１の抽出画像と第２の抽出画像のぼけ方の違いから、ＤＦＤ方式によって被写体の距離情報を算出する。この距離情報は、上記のユニットそれぞれに対応する情報である。そして、算出部１３３は、各ユニットの距離情報を集めて、被写体の距離情報の分布を表す距離情報画像を取得する。

記憶部１４は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリなどが好ましい。

入力部１５は、ユーザが操作し、基準色（基準色相角）を算出するための領域を指定するための入力やマスクを設定するための入力を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスを用いることができる。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示、基準色（基準色相角）算出の為の指示領域の表示、マスクの表示などに利用される。

＜距離情報の算出の原理＞
図１を用いて、フォーカスブラケット撮影を利用した距離算出について説明する。まず、制御部１２にて撮像光学系１０のフォーカスを第１のフォーカス位置Ｏｂｊ１に設定し、実線で示される光路を経て被写体を撮影する。続いて、制御部１２にて撮像光学系１０のフォーカスを第２のフォーカス位置Ｏｂｊ２に変更し、破線で示される光路を経て同じ被写体を撮影する。これにより、ぼけ方が異なる２枚の画像が撮像素子１１によって取得される。このように、撮影条件のうちフォーカス位置を変更する撮影方法をフォーカスブラケット撮影と呼ぶ。この他、撮影条件を変更して２枚の画像のぼけ方を異ならせる撮影方法として、２枚の画像を撮影する際に開口絞り径を変更するアパーチャーブラケット撮影がある。その他、ぼけ方が異なる複数枚の画像の撮影方法であれば本発明の適用は可能である。

本発明の距離情報の算出では、２枚の画像の小領域における相関を利用して距離情報を推定する。ただし、本発明において距離情報の算出に用いる画像は、上述した抽出部１３２によって生成された２つの抽出画像である。この２つの抽出画像もぼけ方が異なっている。また、撮影する間に、手ブレや被写体の移動が無い場合には同じ場所の小領域を用いるが、手ブレや被写体の移動がある場合には位置合わせ処理によって探索した同じ被写体が写る小領域を用いる。以下、手ブレや被写体の移動は無いものとして説明するが、手ブレや被写体の移動がある場合でも同じ被写体が写る小領域を用いれば同様に扱うことができる。

被写体が撮像光学系１０のフォーカス位置にある場合は、被写体の情報が最も多く得られ、高い空間周波数領域から低い空間周波数領域の全域に渡り高いコントラストを有する。一方、被写体が撮像光学系１０のフォーカス位置から離れた位置にある場合は、被写体にぼけが発生し、低い空間周波数領域では比較的コントラストの低下は少ないが、高い空間周波数領域ではコントラストが大幅に低下する。被写体が撮像光学系のフォーカス位置から更に離れた位置にある場合は、低い空間周波数領域においてもコントラストが低下する。

本実施形態では、抽出画像にバンドパスフィルタを掛けた画像を用いることにより、前述の空間周波数毎のコントラストの変化を実画像上で把握しており、これを用いて被写体の距離情報を取得している。

具体的には、算出部１３３は、２枚のバンドパスフィルタを掛けた抽出画像の同じ場所の小領域における相関量を算出し、相関量から被写体の距離情報を算出している。２枚のバンドパスフィルタ画像の小領域における相関量ＮＣＣは式１で算出される。

ここで、Ｉ１_ｉは２枚のバンドパスフィルタを掛けた抽出画像のうち一方である第１のバンドパスフィルタ抽出画像の小領域のある画素における信号値、Ｉ１_ａｖは第１のバンドパスフィルタ抽出画像の小領域内の信号値の平均値である。また、Ｉ２_ｉは２枚のバンドパスフィルタ抽出画像のうち他方である第２のバンドパスフィルタ抽出画像の小領域のある画素における信号値、Ｉ２_ａｖは第２のバンドパスフィルタ抽出画像の小領域内の信号値の平均値である。

フォーカスブラケット方式のＤＦＤ方式において相関量が最も高くなるのは２枚の抽出画像のフォーカス位置の中間点の位置であり、そこから離れるに従って相関量は低下する。これを用いれば、被写体が２枚の抽出画像のフォーカス位置の中間点からの相対位置が分かる。さらに、被写体が２枚の抽出画像のフォーカス位置の中間点に対して、前側（撮像装置１に近づく方向）に位置するのか、後側（撮像装置１から離れる方向）に位置するのかを区別することもできる。具体的には、式２を満たせば、被写体は２枚の抽出画像のフォーカス位置の中間点よりも第１の抽出画像のフォーカス位置側にあり、式３を満たせば、被写体は２枚の画像のフォーカス位置の中間点よりも第２の抽出画像のフォーカス位置側にある。これらを基に、被写体の距離情報を算出することができる。

また、距離情報を実際の距離に変換する場合には、バンドパスフィルタが通過させる空間周波数におけるデフォーカス量と相関量の変化との関係を予め算出して格納しておき、２枚のバンドパスフィルタ画像の相関量から逆算してデフォーカス量を求めればよい。

ここでの距離情報は２枚の抽出画像のフォーカス位置の中間点からの相対的な距離であるが、撮像装置１から被写体までの距離を求めることもできる。その際は、まず撮影光学系の焦点距離やフォーカシングレンズの移動量等の撮影パラメータから式４により２枚の画像におけるそれぞれの撮像装置１から撮像光学系１０のフォーカス位置までの距離Ｓ_ｏｂｊを求める。

ここで、Ｓ_ｉｍｇは撮像光学系１０の後ろ側主点から像面までの距離、ｆは撮像光学系１０の焦点距離である。

さらに、撮像装置１から第１の画像を撮影した際のフォーカス位置Ｏｂｊ１までの距離Ｓ_ｏｂｊ１と_、撮像装置１から第２の画像を撮影した際のフォーカス位置Ｏｂｊ２までの距離Ｓ_ｏｂｊ２を求めることができる。そして、式５により撮像装置１から２枚の画像のフォーカス位置の中間点までの距離Ｓ_ｉｍｇｍを算出できる。

また、アパーチャーブラケット方式により２枚の撮影画像にぼけの変化を付けた場合、そこで求まる被写体の距離情報は撮像光学系１０のフォーカス位置からの相対的な距離となる。同様に、撮像装置から被写体までの距離を求めることもできる。

本発明では少なくとも距離情報を算出するものであり、必要に応じて実際の距離を算出するものである。実際の距離の必要性はアプリケーションに依存するが、例えば、被写体切出し、背景ぼかし、ぼかし効果付与などのアプリケーションにおいては距離情報のみで実現できる。

＜画像処理方法＞
図３に本実施形態の画像処理方法のフローチャートを示す。図３を用いて本実施形態の撮像装置１における距離情報の算出ならびに距離情報画像に関わる動作を説明する。

まず、撮像装置１によりフォーカスブラケット撮影を行う（Ｓ４０）。具体的には、主被写体にフォーカスを合わせてフォーカス画像を撮影し、次にフォーカス位置を変更してデフォーカス画像を撮影する。これにより、ぼけ方が異なる２枚のＲＧＢ画像（Ｄ４０、Ｄ４１）が撮像素子１１によって取得される。なお、画像とは、表示部１６に表示されうるデータであって、色情報を持ったデータである。

次に、抽出部１３２は、各ユニットから距離情報の算出に用いる１つの画素に対応する信号を１つずつ抽出する（Ｓ４１）。さらに、抽出部１３２は、抽出した画素の信号のみで構成した抽出画像を生成する（Ｓ４２）。ここで、ぼけ方が異なる２枚の画像それぞれから１つの抽出画像（Ｄ４２、Ｄ４３）が生成される。図２（ｂ）は図２（ａ）に示された各ユニット内の画素Ｂのみの信号を集めた１つの抽出画像を示している。つまり、本実施形態では、図２（ａ）に示した撮像素子１１で取得したＲＧＢ画像から画素Ｂに相当する緑色の画素の信号だけを集めて、抽出画像が生成される。そのため、抽出画像はＲＧＢ画像の４分の１のサイズになっている。また、撮像素子１１の受光部の感度は緑色の波長帯域で最も高いため、上述したように、抽出部１３２は緑色の画素に対応する信号を抽出するようにすることが望ましい。なお、画素Ｂと画素Ｃはともに緑色の画素であり、各ユニットにおいていずれかの信号を使用してもよいが、各ユニットで同じ位置に配置された画素に対応する信号を用いることが、測距精度を向上させる点で好ましい。

次に、２つの抽出画像から、ＤＦＤ方式により各ユニットに写る被写体の距離情報を算出する（Ｓ４３）。この距離情報は各ユニットに対応するものである。そして、各ユニットの距離情報を集めて距離情報画像（Ｄ４４）を生成する（Ｓ４３）。そして、生成した距離情報画像（Ｄ４４）は、撮影時に取得した画像（Ｄ４０、Ｄ４１）と共に記憶部１４に保存される。

ここで得られた距離情報画像（Ｄ４４）は、例えば、フォーカス画像に対して距離情報に応じたぼけを付与する処理や、フォーカス画像を３Ｄ変換する処理や、フォーカス画像から被写体を切り出す処理等に利用することができる。

このように、本実施形態では、ＲＧＢの画像のうち各ユニットから同一の画素に対応する信号だけで生成した単色画像を用いて距離情報を算出している。

ＤＦＤ方式では、２枚の画像のぼけの変化を利用して被写体の距離情報を算出している。そのため、撮像装置１と被写体までの距離以外の要因によってぼけの変化が起こる場合は、距離情報の計測誤差が発生する。距離以外の要因としては、撮像光学系には軸上色収差が考えられる。撮像光学系には軸上色収差が残存しているのが一般的である。残存する軸上色収差が少量の場合、その影響は撮影画像では殆ど見られない。しかし、ＤＦＤ方式において距離情報を算出する際には、少量の軸上色収差であっても大きな距離情報の計測誤差を発生する。特に、コンパクトデジタルカメラやデジタルビデオカメラでは、焦点距離が短い光学系を使用しており、被写体までの距離の違いに対して撮像光学系によるぼけが変化しにくい。そのため、相対的に軸上色収差の影響が大きくなり、大きな距離情報の計測誤差が生じる。

なお、ＤＦＤ方式で距離情報の算出に影響を与えない程に軸上色収差を限りなく小さくする為には、撮像光学系を構成するレンズ枚数の増加や、蛍石などの非線形分散特性を有する特殊な光学材料を使用する必要があり、撮像装置１のコストアップを招く。

これに対して、本実施形態の撮像装置１では、カラー画像の中から単色の画像を生成して、単色の画像を用いて被写体の距離情を算出している。これにより、撮像光学系の軸上色収差が発生した場合においても、軸上色収差の影響を殆ど受けることなく、精度の良い距離情報の算出が可能となる。よって、ＤＦＤ方式による距離情報を算出する撮像装置においても、従来通りの撮像光学系を使用すること可能となり、安価で、精度が良い距離情報の算出、ならびに距離情報画像が生成できる。

また、本実施形態では、ＲＧＢフォーマットの中でも特に輝度信号への影響度が高い緑色の信号を抽出したので、抽出画像中における撮像素子のダークノイズの影響を受けにくく、安定した精度で距離情報の算出が可能となる。

本実施形態ではＤＦＤ方式において被写体の距離情報を算出したが、これに限ったものではなく、例えば、Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）方式であっても良い。ＤＦＦ方式もＤＦＤ方式と同様にぼけの変化を利用して被写体の距離情報を算出する方式である。具体的には、撮像光学系のフォーカス位置を多数回変更して撮影した多数枚の画像を基に、各画素において最もピントがあった画像を探索し、その画像のフォーカス位置を基にして被写体の距離情報を算出するものである。ＤＦＦ方式の場合も同様に、距離以外の要因でぼけの変化が生じた場合には距離情報の計測誤差となり問題となる。従って、本発明の効果を用いることにより、計測精度の良い距離情報を算出することができる。

（実施形態２）
本実施形態は、距離情報の算出に使用する１つの画素に対応する信号が、ユニット内の異なる画素の信号を混合して生成された混合信号である点と、その混合信号から抽出画像を生成する点と、が実施形態１と異なる。以下、実施形態１と異なる部分を中心に説明する。

図４に本実施形態に係る画像処理装置２３を有する撮像装置２の構成例の模式図を示す。本実施形態の撮像装置１の画像処理装置２３は、処理部１３０、メモリ１３１、抽出部１３２、算出部１３３に加え、生成部１３４を有している。

生成部１３４は、各ユニットの複数の画素それぞれに対応する信号を混合して、少なくとも距離情報の算出に使用する１つの画素に対応する混合信号を生成する。本実施形態では、混合信号の混合比として赤色（Ｒ）を０．２９９、緑色（Ｇ）を０．５８７、青色（Ｂ）を０．１１４とした。これは人間の視感度に合わせた混合比だが、これを利用すると混合信号としてＹ^＊Ｕ^＊Ｖ^＊フォーマットの輝度信号Ｙ^＊をそのまま利用できる利点がある。輝度信号Ｙ^＊はメモリ１３１に蓄積され、記憶部１４への記録、距離情報の算出等に使用される。

図５に本実施形態の画像処理方法におけるフローチャートを示す。また、図６（ａ）にはＲａｗ画像、図６（ｂ）にはＲＧＢフォーマット画像、図６（ｃ）には混合画像Ｍを示す。図５、６を用いて本実施形態の撮像装置２における距離情報の算出ならびに距離情報画像の生成に関わる動作を説明する。

まず、実施形態１と同様に撮像装置２によりフォーカスブラケット撮影を行う（Ｓ８０）。そして、ぼけ方が異なる２枚の画像（Ｄ８０、Ｄ８１）が撮像素子１１によって取得される。ここで、撮像素子１１のイメージセンサ１１１に取り付けられたカラーフィルタ１１２には、図６（ａ）に示したようなベイヤー配列で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の透過領域が配置されている。この撮像素子１１によってＲａｗ画像が取得される。なお、図６（ａ）に示したＲａｗ画像は、図２（ａ）で示した部分による信号を基に生成される。具体的には、図２（ａ）の画素Ａ、Ｂ、Ｃ、Ｄそれぞれが、赤色の画素、第１の緑色の画素、第２の緑色の画素、青色の画素に対応する。そして、図６（ａ）のＲ、Ｇ、Ｂの色情報は、画素Ａ、画素Ｂ（もしくは画素Ｃ）、画素Ｄそれぞれに対応した信号によって取得される。

次に、処理部１３０によって、Ｒａｗ画像（Ｄ８０、Ｄ８１）のデモザイキング処理が実行される（Ｓ８１）。この処理により、Ｒａｗ画像（Ｄ８０、Ｄ８１）それぞれに対応した、図６（ｂ）に示したＲＧＢフォーマットの画像（Ｄ８２、Ｄ８３）が生成される。具体的には、Ｒａｗ画像を赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色毎に分け、欠落した画素を補間処理することにより画像の全画素に対応する赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の信号値を持たせたＲＧＢフォーマット画像を生成している。このように、フォーカスブラケット撮影により、ぼけの異なる２枚のＲＧＢフォーマット画像（Ｄ８２、８３）が取得される。

生成部１３４は、ＲＧＢフォーマット画像（Ｄ８２、Ｄ８３）から、それぞれに対応した図６（ｃ）に示したような混合画像（Ｙ^＊Ｕ^＊Ｖ^＊フォーマット画像）を生成する（Ｓ８２）。具体的には、同じユニット内の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の信号値を加重平均して各画素に対応した混合信号を生成している。このとき、各色の混合比として赤色（Ｒ）を０．２９９、緑色（Ｇ）を０．５８７、青色（Ｂ）を０．１１４としたので、混合信号は、Ｙ^＊Ｕ^＊Ｖ^＊フォーマットの輝度信号Ｙ^＊と同等の信号としている。具体的には、式６で混合信号Ｍを算出している。これにより、ぼけ方が異なる２枚の混合画像（Ｄ８４、Ｄ８５）が生成される。
Ｍ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ ・・・式６

ここで、Ｒ、Ｇ、Ｂは、ユニット内の赤色の画素、緑色の画素、青色の画素の信号値である。

次に、抽出部１３２によって、ユニット内の複数の画素Ａ、Ｂ、Ｃ、Ｄの中から距離情報算出に用いる画素に対応する混合信号を１つ抽出する（Ｓ８３）。ここでは、混合画像を構成する各信号から、図６（ｃ）の太線で囲んだ画素に対応する混合信号を抽出する。つまり、この混合信号は、図６（ａ）のＲａｗ画像における第１の緑色の画素（図２（ａ）の画素Ｂ）に対応する信号である。そして、抽出部１３２は、２枚の混合画像（Ｄ８４、Ｄ８５）の中から第１の緑色の画素に対応する信号のみを集めて、混合画像（Ｄ８４、Ｄ８５）それぞれに対応した抽出画像（Ｄ８６、Ｄ８７）を生成する（Ｓ８４）。

これ以降の処理は、実施形態１と同様である。具体的には、算出部１３３は、ぼけ方が異なる２枚の抽出画像（Ｄ８６、Ｄ８７）から、ＤＦＤ方式により各ユニットに写る被写体の距離情報を算出する（Ｓ８５）。そして、算出部１３３は、各ユニットの距離情報を集めて距離情報画像（Ｄ８８）を生成する（Ｓ８６）。そして、生成した距離情報画像（Ｄ８８）は、撮影時に取得した画像（Ｄ８０、Ｄ８１）、輝度信号Ｙ^＊（混合信号Ｍ）と共に記憶部１４に保存される。

なお、上述したように、Ｓ８２では、全ての画素に対応した混合信号を生成したが、少なくとも距離情報の算出に使用する画素（本実施形態では画素Ｂ）に対応する混合信号のみを生成するようにしてもよい。

ここで得られた距離情報画像（Ｄ８８）は、例えば、フォーカス画像に対して距離情報に応じたぼけを付与する処理や、フォーカス画像を３Ｄ変換する処理や、フォーカス画像から被写体を切り出す処理等に利用することができる。

このように、本実施形態では、異なる色の信号を混合して作成した混合信号のうち、各ユニットから、同一色の画素に対応する混合信号を集めた抽出画像を用いて各ユニットにおける被写体の距離情報を算出している。

異なる画素の信号を混合することで、単一画素では感度が低いスペクトルの被写体において、感度を上昇させることができ、距離の算出精度を向上させることができる。また、各画素の混合信号のうち同じ色情報を取得した画素に対応する混合信号だけを用いることにより、撮像光学系の軸上色収差の影響を低減できる。

本実施形態では、混合信号の混合比を赤色（Ｒ）を０．２９９、緑色（Ｇ）を０．５８７、青色（Ｂ）を０．１１４としたが、これに限ったものではない。撮像素子の感度が良い画素の比率を更に高くしても良く、例えば、混合比を赤色（Ｒ）を０．１５、緑色（Ｇ）を０．８０、青色（Ｂ）を０．０５としてもよい。

（実施形態３）
本実施形態は、抽出した画素における軸上色収差や像面湾曲を補正する点が実施形態２と異なる。以下、実施形態２と異なる部分を中心に説明する。

図７は、本実施形態の画像処理装置３３を備える撮像装置３の模式図を示す。本実施形態の撮像装置３の画像処理装置３３は、処理部１３０、メモリ１３１、抽出部１３２、算出部１３３、生成部１３４、に加えて、補正部１３５を有している。

図８（ａ）は撮像光学系１０の軸上色収差の様子を示し、図８（ｂ）には像面湾曲を示す。通常、撮像光学系１０には軸上色収差が発生する。軸上色収差とは撮影光の波長の相違によりフォーカス位置がずれることであるが、撮像装置３のように、色情報を取得する画素を複数有する撮像素子１１を用いた場合は、異なる色の画素毎にフォーカス位置が異なる。ピント調整は各画素の平均値等を使ってフォーカス位置を調整するため、実際にはそれぞれの画素におけるフォーカス位置は最適な位置からずれが生じる。このずれ量を軸上色収差によるデフォーカス量として図８（ａ）中のＡｘで表示している。また、通常、撮像光学系１０には像面湾曲も発生する。像面湾曲とは画角によってフォーカス位置がずれることであり、その量は、図８（ｂ）中のＺｏである。さらに、像面湾曲の量は、撮影光の波長によっても変動し、その結果、像面湾曲の色収差が生じる。

ただし、一般的な撮像光学系で発生している軸上色収差や像面湾曲、像面湾曲の色収差は、人間には感じ取れない程小さなぼけの変化であり、撮像画像の画質面では問題にならない。一方、本発明のように、ぼけ方の変化から距離情報を算出する場合においては、人間には感じ取れない程の小さなぼけの変化を検出することで、距離情報の検出精度が向上する。そのため、上記収差が少量であっても距離情報の測距誤差を生じさせる。

そこで、画像処理装置３３は、算出部１３３で算出された各ユニットの距離情報に対して、軸上色収差や像面湾曲、像面湾曲の色収差などの収差による距離情報の測距誤差を補正する補正部１３５を有している。

図９に本実施形態の画像処理方法のフローチャートを示す。図９を用いて本実施形態の撮像装置３における撮像光学系１０の収差による距離情報の測距誤差の補正、ならびに補正された距離情報画像の生成に関わる動作を説明する。

Ｓ８０からＳ８５までのフローは、実施形態２と同様であるので説明は省略する。

次に、算出部１３３がＳ８５で算出した各ユニットに対応する距離情報に対し、補正部１３５は補正データ（Ｄ９０）を用いて上述した収差による誤差を補正する（Ｓ９０）。具体的には、算出された各ユニットの距離情報から各ユニットに対応した補正データ（Ｄ９０）を差し引くことにより、精度の高い距離情報へと変換する（Ｓ９０）。そして、算出部１３３は、各ユニットの補正された距離情報を集めて、補正された距離情報画像（Ｄ９１）を生成する（Ｓ９１）。

補正データ（Ｄ９０）は、記憶部１４に予め保持されている。そのために、補正データ（Ｄ９０）は、一例として下記に示すように求められる。

図１０（ａ）は、において、撮像装置３から一定の距離離れた位置に評価チャート５０を配置している。本実施形態では評価チャート５０は平板状のランダムパターン画像であり「物体距離Ｓｏｂｊ＝３ｍ」の位置に設置している。

図１０（ｂ）のデフォーカス撮影工程では、評価チャート５０を奥行き方向に位置（５０ａ、５０ｂ）を変えながら各デフォーカス位置における画像を撮影する（Ｓ１００）。具体的には、撮像装置３が評価チャート５０にフォーカスを合わせて画像を撮影する。次に、評価チャート５０を奥行き方向に移動させて再び画像を撮影する。この際、画像撮影時のフォーカス位置は先程と同じ「物体距離Ｓｏｂｊ＝３ｍ」の位置であり、評価チャート５０の移動先５０ａ、５０ｂではない。そして、評価チャートの位置を順次変更することにより、各デフォーカス位置における画像を撮影する。これにより、各デフォーカス位置に対応した評価チャート５０の撮影画像（Ｄ１００）を取得する。

画像鮮鋭度デフォーカス特性の算出工程では、各デフォーカス位置における撮影画像のフォーカス状態を確認する（Ｓ１０１）。具体的には、まず、各デフォーカス位置での撮影画像ｆに対して下記式７で示したラプラシアンフィルタｇをフィルタリングすることにより撮影画像から高周波成分（画素２．０個乃至２．２個分に対応）を抽出する。そして、対象画素の周囲の小領域にて「高周波成分の絶対値の和」から画像鮮鋭度Ｉを算出する。画像鮮鋭度Ｉは式８で算出される。

この画像鮮鋭度Ｉをデフォーカス位置と対応付けることにより像高に応じた画像鮮鋭度デフォーカス特性が算出できる。ここで、フォーカスが合った所は画像鮮鋭度Ｉが最も高くなり、デフォーカス量に応じてその量が減少することから、像高に応じたフォーカス位置（像面湾曲の量）や画像鮮鋭度の深度（軸上色収差の量）を把握することができる。前述したように、距離情報はフォーカス画像のフォーカス位置とデフォーカス画像のフォーカス位置の中点で距離スコアが最高値を示し、どちらか一方の画像鮮鋭度が最低値に低下する辺りで距離情報も距離スコアが最低値を示すという関係がある。よって、画像の鮮鋭度を把握することで、像高に応じた距離情報のデフォーカス誤差や深度幅誤差を把握することができる。補正データ（Ｄ９０）の作成工程では、上記の誤差分だけ各ユニットの距離情報を補正するようなデータを作成する（Ｓ１０２）。

そして、製造工程中に作成した補正データ（Ｄ９０）を撮像装置１の記憶部１４に格納し、必要に応じて記憶部１４から補正データ（Ｄ９０）を引き出せる状態にする。

このように本実施形態の撮像装置１では、撮像光学系の像高に応じた画像鮮鋭度デフォーカス特性を測定することにより、像高に応じたデフォーカス位置と距離情報との対応関係を取得している。これを用いて像高に応じた距離情報からデフォーカス位置へ変換可能な変換テーブルを作成して記憶部１４に格納している。

このように、本実施形態では、撮像光学系１０の収差（軸上色収差、像面湾曲、像面湾曲の色収差）を補正することにより、良好な測距精度で被写体の距離情報、距離情報画像を取得することができる。

（実施形態４）
上述した本発明の画像処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。たとえば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置などに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

本発明の各実施形態は可視光の撮像装置を例に挙げたが、それに限ったものではなく、赤外光の撮像装置であっても、紫外光の撮像装置であってもよい。その場合、抽出画像は、撮像素子のユニット内の画素のうち、最も感度が高い画素の信号を用いることが好ましい。その理由は、ノイズが軽減されるので、測距精度を安定化させることができるからである。特に暗い被写体において大きな効果を発揮する。

１３ 画像処理装置
１３２ 抽出部
１３３ 算出部

Claims (13)

1. 被写体の異なる色情報を取得する複数の画素を含む複数のユニットを備えた撮像素子で取得されたぼけ方の異なる第１の画像と第２の画像に基づき、前記被写体の距離情報の分布を表す距離情報画像を取得する画像処理装置であって、
   前記複数の画素のうち１つの画素に対応する信号をユニットごとに抽出して、前記第１の画像と前記第２の画像それぞれに対応した第１の抽出画像と第２の抽出画像を作成する抽出部と、
   前記第１の抽出画像と前記第２の抽出画像のぼけ方の違いから前記距離情報画像を算出する算出部と、を有し、
   前記ユニットごとに抽出される前記１つの画素に対応する信号は、同じ色情報を取得する画素に対応する信号であることを特徴とする画像処理装置。
2. 前記複数の画素が、赤色の情報を取得する画素、緑色の情報を取得する画素及び青色の情報を取得する画素を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記１つの画素が、前記緑色の情報を取得する画素であることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の画素それぞれに対応する信号を混合して、前記１つの画素に対応する混合信号を生成する生成部をさらに有し、
   前記抽出部が、ユニットごとに前記混合信号を抽出し、前記第１の抽出画像と前記第２の抽出画像を作成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記算出部が、前記第１の抽出画像と前記第２の抽出画像のぼけ方の違いから各ユニットに対する距離情報を算出し、
   各ユニットに対する前記距離情報に対して、収差による誤差を補正する補正部をさらに有し、
   前記算出部が、前記補正部よって補正された各ユニットに対する距離情報から前記距離情報画像を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記１つの画素は、各ユニット内で同じ位置にある画素であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 撮像光学系と、
   前記被写体の色情報を取得する複数の画素で構成される複数のユニットを備えた撮像素子と、
   請求項１乃至６のいずれか１項に記載の前記画像処理装置と、を有することを特徴とする撮像装置。
8. 被写体の異なる色情報を取得する複数の画素を含む複数のユニットを備えた撮像素子で取得されたぼけ方の異なる第１の画像と第２の画像それぞれに対して、前記複数の画素のうち１つの画素に対応する信号をユニットごとに抽出して第１の抽出画像と第２の抽出画像を作成する抽出工程と、
   前記第１の抽出画像と前記第２の抽出画像のぼけ方の違いから被写体の距離情報の分布を表す距離情報画像を算出する算出工程と、を有し、
   前記ユニットごとに抽出される前記１つの画素に対応する信号は、同じ色情報を取得する画素に対応する信号であることを特徴とする画像処理方法。
9. 前記複数の画素が、赤色の情報を取得する画素、緑色の情報を取得する画素及び青色の情報を取得する画素を含むことを特徴とする請求項８に記載の画像処理方法。
10. 前記１つの画素が、前記緑色の情報を取得する画素であることを特徴とする請求項９に記載の画像処理方法。
11. 前記複数の画素それぞれに対応する信号を混合して、前記１つの画素に対応する混合信号を生成する生成工程をさらに有し、
    前記抽出工程が、ユニットごとに前記混合信号を抽出し、前記第１の抽出画像と前記第２の抽出画像を作成することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理方法。
12. 前記算出工程が、
    前記第１の抽出画像と前記第２の抽出画像のぼけ方の違いから各ユニットに対する距離情報を算出する工程と、
    各ユニットに対する前記距離情報に対して、収差による誤差を補正する補正工程と、
    前記補正工程で補正された各ユニットに対する距離情報から前記距離情報画像を算出する工程と、を含むことを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置。
13. 前記１つの画素は、各ユニット内で同じ位置にある画素であることを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理方法。

Images