JP6626551B2

JP6626551B2 - 画像処理装置、画像処理方法、および撮像装置並びにその制御方法

Info

Publication number: JP6626551B2
Application number: JP2018188108A
Authority: JP
Inventors: 文貴中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-03
Filing date: 2018-10-03
Publication date: 2019-12-25
Anticipated expiration: 2034-08-20
Also published as: JP2019035967A

Description

本発明は画像処理装置又は撮像装置に関し、特に、被写体の一対の画像の視差量からデフォーカス量（受光面とレンズの結像面との差）又は被写体距離を検出する画像処理装置又は撮像装置に関する。

従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。

特許文献１では、画像の像ずれ量（視差量）からデフォーカス量を算出する方法が開示されている。画像を微小ブロックに分割したときの微小ブロックにおける一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなるずらし量が視差量となる。さらに、算出したずらし量に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量を算出する。

特許文献２では、Depth from Defocus（DFD）方式でデフォーカス量を算出する方法が開示されている。DFD方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。さらに、これらの手法で算出したデフォーカス量は像面上の距離であるため、レンズの公式を用いて物面距離に変換した被写体距離情報を算出することも可能である。

また、これらの手法で算出したデフォーカス量や被写体距離を用いて、様々な画像処理に応用する技術も開示されている。特許文献３では、顔の明るさを補正する際、合焦した顔の明るさを適正にするように、デフォーカス量に応じて補正ゲインを変更する処理を行なっている。特許文献４では、被写体距離を用いて被写体が撮像装置から所定の距離に入った時に撮像を行なう処理を行なっている。

特開２００８−１５７５４号公報特開２０１３−２５３９６４号公報特開２０１０−４５４５７号公報特開２０１３−２４３５２９号公報

しかし、上述の手法で算出したデフォーカス量と被写体距離（両者を合わせて距離情報と呼ぶ）を撮像装置の外部へ出力する場合や、撮像装置内の別のモジュールやアプリケーションへ出力する場合、出力先に応じて距離情報を変換して出力する必要がある。例えば、特許文献３のように合焦近傍の距離分解能が必要なものもあれば、特許文献４のように測距範囲が必要なものもある。また、出力先と接続する伝送路は有限語長となるため、その語長に収める必要もある。

上記目的を達成するために、本発明によれば、撮像装置は、撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、複数の画像の画像信号を用いて、被写体像のデフォーカス量を決定する決定手段と、階調変換のための複数の異なる変換特性を有し、複数の異なる変換特性の少なくとも一つに従ってデフォーカス量を階調変換して出力する変換手段とを備える。

本発明によれば、出力先が必要とする階調特性を有するデフォーカス量または被写体距離を出力可能な画像処理装置または撮像装置を提供することができる。

本発明の第１の実施例に係わる画像処理装置を適用した撮像装置のシステム構成を示す図である。図１の撮像装置が有する撮像素子の画素配列を模式的に示す図である。本発明の第１の実施例に係わる撮像装置における像生成、デフォーカス量計算、階調変換のブロック構成を示す図である。視差を有する画像を用いた像ずれ量の検出を説明するための図である。本発明の第１の実施例に係わる階調変換特性の例を示す図である。Ｆ値、像ずれ量、デフォーカス量の関係を示す図である。本発明の第２の実施例に係わる画像処理装置における像生成、デフォーカス量計算、被写体距離計算、階調変換のブロック構成を示す図である。本発明の第１の実施例に係わる階調変換特性の他の例を示す図である。撮像面距離と物面距離の関係を説明するための図である。本発明の第２の実施例に係わる階調変換特性の例を示す図である。図１の撮像装置が有する撮像素子の画素配列の他の例を示す図である。本発明の第３の実施例に係わる画像処理装置のブロック構成を示す図である。本発明の第４の実施例に係わる画像処理装置のブロック構成を示す図である。本発明の第４の実施例に係わる画像生成を説明するための図である。本発明の第４の実施例における被写体距離と距離マップの関係を説明するための図である。本発明の第４の実施例に係わる被写体距離と背景倍率の関係を説明するための図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施例では、撮像装置の一例としてのデジタルカメラに本発明の画像処理装置を適用した例を説明する。

図１は、本発明の第１の実施例に係る画像処理装置を適用した撮像装置の例としてのデジタルカメラの機能構成を示すブロック図である。同図において、制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することでデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

撮影光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を含み、撮影光学系１０４により撮像素子に結像された光学像を光電変換して得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号のＡ／Ｄ変換処理を行い、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用する。

記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。また、画像処理部１０７ならびに記録媒体１０８では、後述するデフォーカス量や被写体距離の生成と記録も行なっている。

図２は、本実施例に係わるデジタルカメラ１００が有する撮像部１０５の画素配列構成を模式的に示しており、特許文献１で開示されている撮像素子と同様である。同図において、単位画素２０２は、マイクロレンズ２０１と一対の光電変換部２０３、２０４とから構成される。光電変換部２０３、２０４（分割画素）は、マイクロレンズ２０１（瞳分割手段）を介して、撮影光学系１０４の射出瞳の異なる瞳領域からの光束を受光する。図１の撮像部１０５において、単位画素２０２が二次元に規則的に配列されているので、各単位画素の例えば分割画素２０３の光電変換出力を集めれば、対応する瞳分割領域を通過した光束による像の画像信号が生成される。同様に、他の分割画素２０４の光電変換出力から、対応する他の瞳領域を通過した光束による像の画像信号が生成される。このように、撮像部１０５によれば、一対の視差を有する画像信号を取得できる。本実施例においては、光電変換部２０３で撮像された画像をＡ像、光電変換部２０４で撮像された画像をＢ像とする。

図３は、本実施例に係わる画像処理装置を適用したデジタルカメラの画像処理部１０７における像生成処理、デフォーカス量計算処理、階調変換を説明するための図である。

同図において、３０５は撮影光学系１０４の瞳の異なる領域から到来する光束が形成する複数の被写体像（本実施例ではＡ像およびＢ像）を加算し、撮影光学系１０４の瞳の全域から到来する光束が生ずる単一の被写体像に対応する像を生成する像生成部である。３０６はＡ像入力、３０７はＢ像入力、３０８は像出力である。生成された像には、さらにホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの画像処理が施され、処理後の画像は記録画像として図１の記録媒体１０８に記録される。

３０１は着目画素位置におけるデフォーカス量を計算するデフォーカス量計算部であり、３０２はＡ像入力、３０３はＢ像入力、３０４はデフォーカス量出力である。デフォーカス量計算部３０１は、Ａ像とＢ像の相関関数を計算するなどしてデフォーカス量を計算する。

ここで、相関関数を計算する処理について説明する。相関関数からデフォーカス量を計算する処理は、特許文献１で開示されている手法を適用すればよく、その具体的処理について図４を用いて説明する。図４の各図は、横軸が像ずれ量、縦軸が後述する式（１）で表現される画像の相関量であり、同図（ａ）は相関度が高い例、（ｂ）、（ｃ）は相関度が低い例を示している。

特許文献１によれば、まず微小ブロックにおける一対の画素データを（Ｅ（１）〜Ｅ（ｍ））、（Ｆ（１）〜Ｆ（ｍ）、ｍはデータ数）と一般化して表現する。そして、データ系列（Ｅ（１）〜Ｅ（ｍ））に対しデータ系列（Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら数式１により２つのデータ列間の像ずれ量ｋにおける相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）−Ｆ（ｎ＋ｋ）｜・・・（１）

（１）式において、Σ演算はｎについて計算される。この演算においてｎ、ｎ＋ｋのとる範囲は１〜ｍの範囲に限定される。また、像ずれ量ｋは整数であり、画像間の相対的シフト量である。

（１）式の演算結果は、図４（ａ）に示すように、一対のデータ系列の相関が高いシフト量において相関量Ｃ（ｋ）が最小（小さいほど相関度が高い）になる。続いて下記（２）〜（５）式による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ・・・（２），
Ｃ（ｘ）＝Ｃ（ｋj）−｜Ｄ｜・・・（３），
Ｄ＝｛Ｃ（ｋj-１）−Ｃ（ｋj＋１）／２・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj＋１）−Ｃ（ｋj），Ｃ（ｋj−１）−Ｃ（ｋj）｝・・・（５）

（２）式で求めたシフト量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを下記（６）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ・・・（６）

（６）式において、ＰＹは撮像素子の画素ピッチ（撮像素子を構成する画素間距離）であり、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数であり単位はmm/pixである。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するので、レンズ情報に応じて決定される。この内容について図６を用いて説明する。図６は予定結像面に対するデフォーカス量、Ｆ値、像ずれ量の関係を示す図である。図６において、６０１が撮像対象の物面、６０２がレンズ、６０３が撮像素子の予定結像面であり、予定結像面６０３からデフォーカス量６０５でデフォーカスした位置での像面が６０４である。６０７、６０８がＦ値に応じた像ずれ量を示しており、６０７はＦ値が小さい（開放）場合の像ずれ量、６０８はＦ値が大きい（絞り）場合の像ずれ量である。図６によると、デフォーカスした位置での像面に対する像ずれ量は開放側で大きくなり、絞り側で小さくなることがわかる。言い換えれば、同じデフォーカス量であっても、像ずれ量はＦ値によって異なる。これが、像ずれ量からデフォーカス量を算出する際にＦ値に応じたゲインであるＫＸを乗算する理由である。

また、算出されたデフォーカス量ＤＥＦに信頼性があるかどうかは、以下のようにして判定される。図４（ｂ）に示すように、一対のデータ系列の相関度が低い場合は、内挿された相関量の最小値Ｃ（ｘ）の値が大きくなる。したがって、Ｃ（ｘ）が所定値以上の場合は信頼性が低いと判定する。あるいは、コントラストに比例した値となるＳＬＯＰでＣ（ｘ）を除してＣ（ｘ）をデータのコントラストで正規化したときの値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。

さらに、図４（ｃ）に示すように、一対のデータ系列の相関度が低く、所定のシフト範囲ｋ min〜ｋ maxの間で相関量Ｃ（ｋ）の落ち込みがない場合は、最小値Ｃ（ｘ）を求めることができないので、このような場合は像ずれ量が検出不能と判定する。像ずれ量の検出が可能である場合は、（６）式によってデフォーカス量を算出する。

なお、特許文献１では相関関数に画素の差分絶対値和であるＳＡＤ（Sum of Absolute Difference）を用いているが、本実施例はこれに限定されるものではない。例えば、画素の差分二乗和ＳＳＤ（Sum of Squared Difference）や正規相互相関であるＮＣＣ（Normalized Cross Correlation）を用いてもよい。ＳＡＤやＳＳＤは相関が高いほど値が小さくなるのに対して、ＮＣＣは相関が高いほど値が大きくなる。また、ＳＡＤ、ＮＣＣ以外でも、一対の被写体像の一致度を計算するものであればどのような相関演算式を用いてもよい。

図３に戻り、３０９はデフォーカス量３０４を出力する際、出力先あるいは規格に応じてデータ変換を行なう階調変換部であり、３１０は階調変換されたデフォーカス量（これをデフォーカスマップ出力と呼ぶ）である。本実施例では、出力先とのインターフェースが８ビット（０から２５５）階調であるものとして、図５を用いて階調変換を説明する。図５は階調変換部３０９によるデフォーカス量からデフォーカスマップへの変換特性を示しており、横軸がデフォーカス量、縦軸がデフォーカスマップである。また、デフォーカス量が０[mm]と検出された被写体は合焦被写体であり、デフォーカス量が正方向に大きくなるに連れて合焦被写体より前方にいる被写体、デフォーカス量が負方向に大きくなるに連れて合焦被写体より後方にいる被写体であることを示す。図５（ａ）の変換特性５０１はデフォーカス量３０４をリニア階調変換しているのに対して、（ｂ）の変換特性５０２はデフォーカス量３０４に対して合焦領域近傍である０[mm]付近のデフォーカス量に対して多くのビットが割りあたるようなノンリニアの階調変換を行なっている。出力先が特許文献４に示すような広い測距範囲が必要なアプリケーションであれば、変換特性５０１のようなリニア階調変換で、どのデフォーカス量に対しても均等なビット割り当てを行なう。一方、出力先が特許文献３に示すような合焦近傍の距離分解能が必要なアプリケーションであれば、変換特性５０２のようなノンリニア階調変換で、合焦近傍のデフォーカス量に対して多くのビット割り当てを行なうようにする。なお、変換特性５０２で示したノンリニア特性は一つの例であり、図５（ｃ）の変換特性５０３に示すように、デフォーカス量０[mm]を基準に左右非対称（合焦被写体より手前の被写体よりも後方の被写体に対して多くのビット割り当てる）であっても良い。また、アプリケーションによっては特定被写体（例えばユーザが指定した被写体）のデフォーカス量が必要な場合は、（ｄ）の変換特性５０４に示すような階調特性にしても良い。
これらの階調変換部３０９が適用する階調変換特性の候補は、出力先や規格と、対応する階調変換特性がテーブルデータとして予めＲＯＭ１０２に記憶されていてもよい。また、出力先であるＰＣやプリンタ、モバイル機器などに接続された状態で、出力先である外部装置その他接続状態にあるサーバから受信してもよい。規格を選択する場合、規格に応じて階調変換特性の候補を予めＲＯＭ１０２に記憶されていてもよい。また、階調変換部３０９が適用する階調変換特性は、被写体検出や出力先あるいは規格の情報に応じて変換時にその都度生成されてもよい。どの出力先や規格に適合させるかの判定は、予めＲＯＭ１０２に記憶されている複数の出力先の候補から選ぶ、あるいは前述したような外部装置と接続された状態で、外部装置やその他接続状態にあるサーバから、当該外部装置が対応する出力ｂｉｔ数や規格などの情報を取得する。

また、式（６）で説明したように、像ずれ量からデフォーカス量を算出する際、Ｆ値に応じたゲインＫＸを乗算している。そのため、階調特性はＦ値に応じて変化させることも可能である。このことを、図８を用いて説明する。図８は、図５と同様にデフォーカス量からデフォーカスマップへの変換特性を示す図で、リニア階調変換特性をＦ値に応じて調整したものを示している。なお、８０１がＦ＝１．８、８０２がＦ＝３．５、８０３がＦ＝５．６の階調特性である。同じデフォーカス量に対して発生する像ずれ量はＦ値が小さいほど大きくなるため測距範囲が広くなる。そのため、階調特性８０１（Ｆ＝１．８）はリニア特性に近く、階調特性８０２（Ｆ＝３．５）、階調特性８０３（Ｆ＝５．６）になるに連れて、大きいデフォーカス量に対してはビット割り当てを少なくするような階調特性になる。また、測距範囲が変動する要因はＦ値だけでなく、画像を取得する際の基線長によっても変わってくる。基線長が長くなるほど視差がつきやすく測距範囲が広がることになるため、基線長に応じて階調特性を変更することも可能である。また、撮像素子のＩＳＯ感度など、撮影条件に応じて測距範囲や測距分解能が変化する場合は、その撮影条件に応じた階調特性にすることも可能である。

また、視差を有する画像信号を取得する撮像装置のセンサは図２に限ったものではなく、図１１に示す画素配列構造でも良い。図１１において、画素１１０６はマイクロレンズ１１０５と二対の光電変換部１１０１、１１０４と１１０２、１１０３とから構成される。図１の撮像部１０５において、その画素１１０６が二次元的に規則的に配列されている。光電変換部１１０１で撮像されるのがＡ像、光電変換部１１０２で撮像されるのがＢ像、光電変換部１１０３で撮像されるのがＣ像、光電変換部１１０４で撮像されるのがＤ像、として図３と同様に像生成とデフォーカスマップを生成することができる。

なお、今までの説明ではデフォーカス量の算出として瞳分割撮像素子を用いた例を示したが、デフォーカス量の算出はこれに限ったものではない。レンズと撮像素子をステレオ配置した複眼カメラから得られた画像を用いてデフォーカス量を算出することも可能である。また、画像の像ずれ量からデフォーカス量を算出する手法だけでなく、特許文献２や従来技術に記載されている、ボケの異なる複数の画像のパワーに基づくボケ評価値からデフォーカス量を算出するＤＦＤ方式を用いても良い。

本実施の形態によれば、デフォーカス量を出力する際に、出力先に応じた階調特性を行うことが可能な画像処理装置および撮像装置を提供することができる。

以下、本発明の第２の実施例に係わる画像処理装置を適用した撮像装置としてのデジタルカメラについて説明する。なお本実施例における撮像装置の一例としてのデジタルカメラの構成ならびに撮像素子は、第１の実施例で図１、図２を用いて説明した各構成と同様であるので、ここでの説明は必要のない限り省略する。第１の実施例と異なるのは、階調変換部の出力情報が被写体距離（物面距離）であることである。

図７は、本実施例に係わる画像処理装置を適用したデジタルカメラの画像処理部１０７における像生成処理、デフォーカス量計算処理、被写体距離計算処理、階調変換を説明するための図である。同図において、７０５は撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像を加算して、撮影光学系の瞳の全域から到来する光束が生ずる単一の被写体像を生成する像生成部である。７０６はＡ像入力、７０７はＢ像入力、７０８は像出力である。生成された像には、さらにホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの処理が施され、処理後の画像は記録画像として図１の記録媒体１０８に記録される。７０１は着目画素位置におけるデフォーカス量を計算するデフォーカス量計算部であり、７０２はＡ像入力、７０３はＢ像入力、７０４はデフォーカス量出力である。デフォーカス量計算部７０１はＡ像とＢ像の相関関数を計算するなどしてデフォーカス量を計算する。デフォーカス量の計算は上述した処理と同様である。７０９はデフォーカス量７０４から被写体距離に変換する計算部であり、図９を用いて説明する。図９は撮像面距離から物面距離の変換を示した図であり、９０１が合焦物体面、９０２がレンズ、９０３が撮像面、９０４がデフォーカス量９０５でデフォーカスした撮像面位置である。また、９０６が合焦物体距離ＯＢＪ（０）、９０７が合焦像物体に対する撮像面距離Ｓ（０）、９０８が測距する物体距離ＯＢＪ（ｄｅｆ）である。ＯＢＪ（０）、ＯＢＪ（ｄｅｆ）に対して各々レンズの公式から、下記式が成立する。

（７）、（８）式からＯＢＪ（ｄｅｆ）が左辺になるように変形すると、

となる。この（９）式を用いて、デフォーカス量から被写体距離への変換を行なうことができる。７１１は被写体距離７１０を出力する際、出力先に応じてデータ変換を行なう階調変換部であり、７１１は階調変換された被写体距離（これを距離マップ出力と呼ぶ）である。本実施例では、出力先とのインターフェースが８ビット(０から２５５)階調であるものとして図１０を用いて説明する。

図１０は階調変換部７１１で被写体距離から距離マップへの変換の変換特性の例を示しており、横軸が被写体距離、縦軸が距離マップであり、合焦物体までの距離を５０００[mm]とした例を示している。変換特性１００１は被写体距離７１０をリニア階調変換しているのに対して、変換特性１００２は被写体距離７１０に対して合焦領域近傍である５０００[mm]付近の被写体距離に対して多くのビットが割りあたるようなノンリニアの階調変換を行なっている。出力先が特許文献４に示すような広い測距範囲が必要なアプリケーションであれば、１００１のようなリニア階調変換で、どの被写体距離に対しても均等なビット割り当てを行なう。一方、出力先が特許文献３に示すような合焦近傍の距離分解能が必要なアプリケーションであれば、変換特性１００２のようなノンリニア階調変換で、合焦近傍の被写体距離に対して多くのビット割り当てを行なうようにする。

本実施の形態によれば、デフォーカス量に基づいて被写体距離を出力する際に、出力先に応じた階調特性を被写体距離に行うことが可能な画像処理装置および撮像装置を提供することができる。

以下、本発明の第３の実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラについて説明する。なお本実施例における撮像装置の一例としてのデジタルカメラの構成ならびに撮像素子は、第１の実施例で図１、図２を用いて説明した各構成と同様であるので、ここでの説明は必要のない限り省略する。第１の実施例と異なるのは、デフォーカスマップの出力先が複数ある形態である。

図１２は、本実施例に係わる画像処理装置を適用したデジタルカメラの画像処理部１０７における像生成処理、像ずれ量検出、デフォーカス量計算処理、階調変換を説明するための図である。

同図において、１２０５は撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像を加算して、撮影光学系の瞳の全域から到来する光束が生ずる単一の被写体像を生成する像生成部である。１２０６はＡ像入力、１２０７はＢ像入力、１２０８は像出力である。生成された像には、さらにホワイトバランス調整、色補間、縮小／拡大、フィルタリングなどの処理が施され、処理後の画像は記録画像として図１の記録媒体１０８に記録される。１２０１は着目画素位置におけるデフォーカス量を計算するデフォーカス量計算部であり、１２０２はＡ像入力、１２０３はＢ像入力、１２０４はデフォーカス量出力である。デフォーカス量計算部１２０１はＡ像とＢ像の相関関数を計算するなどしてデフォーカス量を計算する。デフォーカス量の計算は第１の実施例で説明した処理と同様の処理である。１２０９、１２１１はデフォーカス量１２０４を出力する際、出力先に応じてデータ変換を行なう階調変換部であり、それぞれ異なる階調特性で変換を行なう。１２１０、１２１１は各々で階調変換されたデフォーカスマップ出力である。本実施例では、出力先とのインターフェースが８ビット（０から２５５）階調であり、２つの出力先に接続されているものとして図５を用いて説明する。デフォーカスマップ出力１２１０の出力先が特許文献４に示すような広い測距範囲が必要なアプリケーションであれば、階調変換部１２０９は変換特性５０１のようなリニア階調変換で、どのデフォーカス量に対しても均等なビット割り当てを行なう。一方、１２１２の出力先が特許文献３に示すような合焦近傍の距離分解能が必要なアプリケーションであれば、階調変換部１２１１は変換特性５０２のようなノンリニア階調変換で、合焦近傍のデフォーカス量に対して多くのビット割り当てを行なうようにする。

なお、本実施例では２つの出力部を例にしたが、出力部が２つ以上になっても同様の処理を行なう事が出来る。また、階調変換の特性も５０１、５０２に示しただけでなく、第１の実施例で示したように、出力先のアプリケーションに応じた階調特性にしても良い。また、第２の実施例に示した様に出力がデフォーカス量ではなく被写体距離であってもよい。さらに、一方がデフォーカス量、もう一方が被写体距離という形態でも良い。

本実施例によれば、デフォーカス量や被写体距離を複数の出力先に出力する際に、出力先に応じた階調特性を行なうことが可能な画像処理装置および撮像装置を提供することができる。

以下、本発明の第４の実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラについて説明する。本実施例では、距離情報を画像処理アプリケーションに出力し、本アプリケーションが階調変換された距離情報に基づいて処理パラメータを生成し、撮影画像の背景領域を拡大した仮想視点画像を生成する処理を行う例を示す。

以下、本発明の本実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラについて説明する。なお本実施例における撮像装置の一例としてのデジタルカメラの構成は、第１の実施例で図１および図２を用いて説明した各構成と同様であるので、ここでの説明は必要のない限り省略する。

本実施例に係わる画像処理装置を適用した撮像装置であるデジタルカメラのシステム構成と処理について図１３、図１４を用いて説明する。図１３は、図１の画像処理部１０７における像生成部１３０５、被写体距離計算処理部１３０１、階調変換部１３０９と、画像変形パラメータ算出部１３１１、画像変形部１３１３である。また１３１０は被写体距離情報であり、画像変形部１３１３では被写体の領域分割、変形パラメータ算出部１３１１では各被写体の倍率算出に用いる。また、１３１０の伝送路語長は８ビット（０〜２５５）とする。また、画像変形部１３１３は、領域分割部１３２１、領域別変形部１３２２、画像合成部１３２３で構成される。

図１４は本実施例に係わる画像処理装置を適用した撮像装置の処理構成を示す図であり、この図を用いて各処理を説明する。１４０１は撮影画像であり、この撮影画像から被写体距離情報１３１０を用いて合焦距離と同じ距離にある領域（以下、合焦被写体領域と呼ぶ）１４１１と複数の背景領域１４２１に分割した画像を生成する（領域分割部１３２１）。次に、被写体距離情報１３１０に基づいて各背景被写体に対する倍率を算出して背景拡大画像１４３１を生成し（領域別変形部１３２２）、最後に合焦被写体画像１４１１と合成することで画像１４４１を生成する（画像合成部１３２３）。

ここで、画像の変形パラメータについて図１６を用いて説明する。図１６は説明を分かりやすくするために、合焦被写体と背景の２つの被写体を撮影した場合を例にとる。また、図中の記号が示す内容は、次の通りである。
ｙ_１：合焦被写体の大きさ、ｙ_２：背景の大きさ
ｆ_ｗ：撮影時の焦点距離
ｙ_ｗ１、ｙ_ｗ２：撮影時の像面上の大きさ
Ｓ_ｗ１、Ｓ_ｗ２：撮影時の被写体までの距離
ｆ_Ｔ：仮想視点での焦点距離
ｙ_Ｔ１、ｙ_Ｔ２：仮想視点で撮影した時の像面上の大きさ
Ｓ_Ｔ１、Ｓ_Ｔ２：仮想視点での被写体距離
ｔ_３：撮影時から仮想視点へのカメラ移動量

合焦被写体の大きさを変化させずに背景を大きくした画像を生成する場合、撮影時の合焦被写体ｙ_１の像面上の大きさｙ_ｗ１に対して、仮想視点で撮影した合焦被写体ｙ_１の像面上の大きさｙ_Ｔ１が同じとなる。このため、三角形の相似関係とレンズの公式から、背景の変倍率として下記式（１０）が成立する。

ここで、背景の変倍率をＮ＝ｙ_Ｔ２／ｙ_ｗ２と定義し、背景の変倍率Ｎは撮影時の焦点距離ｆ_ｗ、被写体距離情報Ｓ_ｗ１、Ｓ_ｗ２、仮想視点の焦点距離ｆ_Ｔにより算出される。この関係を図１５を用いて説明する。図１５（ａ）、（ｃ）および（ｄ）は、横軸を背景の被写体距離、縦軸を背景の変倍率を示したものである。また、図１５（ｂ）は、図１４の１４０１と１５０１の対応関係を示した図である。図１５（ａ）の変倍曲線１５０１は、横軸を背景の被写体距離、縦軸を背景の変倍率としてグラフ化すると、一定以上距離が離れると背景の変倍率は値が収束する特性があると言える。そのため、所定の距離より遠くにある背景を同一の変倍率で変倍して処理することが可能であることがわかる。また、一定以上距離が離れている背景を同一の変倍率とする所定の距離を、上限距離Ｓ_ｍと定義すると、Ｓ_ｍは撮影時の焦点距離、仮想焦点距離、被写体距離に応じて変化するため、上限距離を一意に決定することができない。そのため、変倍率の変化量を用いて上限距離を決定することができる。具体的には図１５（ｃ）を用いて説明する。変倍曲線１５１０は変倍曲線１５０１と同じであり、Ｓ_ｗ２の一定距離ΔＳ_ｗ２に対する変倍率Ｎの変化量を算出し、変化量が所定の値よりも小さくなる距離を探し、そこを上限距離Ｓ_ｍとすることを示している。変化量１５１２は所定の値よりも大きいのに対し、変化量１５１３は所定の値よりも小さいため、変化量１５１３の距離を上限距離Ｓ_ｍとして判定する。ここでの所定の値は、変倍率の変化量の差が視覚的に目立つ値を予め設定している。

被写体距離情報１３１０を変形パラメータ算出部１３１１に渡す際の階調変換について図１５（ａ）および（ｄ）を用いて説明する。同図（ｄ）は、横軸を被写体距離、縦軸を距離マップとした図であり、変倍曲線１５３１は、撮像装置の至近側にある被写体に対しては被写体距離に対する変倍率の変化量が大きいため距離分解能が大きくなるような階調変換を示す。一方、撮像装置から遠ざかる位置では被写体距離に対する変倍率の変化量が小さくなるため、距離分解能が徐々に小さくなる階調変換を行っている。そして、上限距離Ｓ_ｍを超える被写体距離に対しては、距離マップ値を最大値として出力するようになっている。

本実施例によっても、距離情報を用いる処理に最適な階調特性で距離情報を出力することが可能な画像処理装置および撮像装置を提供することができる。
また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。
上述した実施例は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims

撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
前記変換手段にて変換された距離情報を用いて画像処理を施す画像処理手段と、
を備え、
前記変換手段は、合焦近傍の距離情報に、合焦近傍でない距離情報に比べてより多く階調が割り当てられた変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換手段にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、合焦近傍の距離分解能が必要なアプリケーションが出力先である場合に、合焦近傍の距離情報に、合焦近傍でない距離情報に比べてより多く分解能が割り当てられた変換特性に決定することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、合焦被写体の距離情報を基準に前後の距離情報で非対称に階調が割り当てられる変換特性をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記撮影光学系のレンズのＦ値に応じて分解能変換が異なる変換特性をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記撮影光学系のレンズのＦ値に応じて、該Ｆ値が大きいほど、より大きい距離情報に割り当てる階調をより少なくする変換特性をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記被写体像の撮像における基線長に応じて分解能変換が異なる変換特性をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、前記被写体像の撮像におけるＩＳＯ感度に応じて分解能変換が異なる変換特性をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は複数の変換特性から選択的に変換特性を決定して前記分解能変換を行い、相対的に広い測距範囲が必要なアプリケーションが出力先である場合に、線形的な分解能変換を行う前記変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする請求項１に記載の画像処理装置。
前記距離情報は被写体距離の情報であり、
前記決定手段は、前記複数の画像の画像信号に基づいて得られるデフォーカス量から被写体距離の情報を前記距離情報として生成する生成手段を有し、
前記変換手段は、前記変換特性に従って前記被写体距離を変換することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は、前記距離情報に対して二つ以上の変換特性をそれぞれ決定し、該変換特性のそれぞれに従って前記距離情報を変換し、当該変換によって得られた複数の結果を出力することを特徴とする請求項１に記載の画像処理装置。
前記複数の画像の画像信号は、ボケの異なる前記被写体像の複数の画像の画像信号、前記撮影光学系の瞳の異なる領域からの被写体像を撮像して得られた複数の画像の画像信号、又は被写体を複数の撮像手段で撮像して得られた複数の画像の画像信号であることを特徴とする請求項１に記載の画像処理装置。
前記距離情報は、前記複数の画像の一致度を表す値又は前記複数の画像のボケの評価値に基づいていることを特徴とする請求項１に記載の画像処理装置。
前記距離情報は、前記複数の画像の画像信号から算出される、画像内の被写体の被写体距離に対応する情報であることを特徴とする請求項１に記載の画像処理装置。
前記変換手段によって前記変換特性を用いて変換された距離情報は、被写体距離マップとして出力されることを特徴とする請求項１に記載の画像処理装置。
前記距離情報は、前記複数の画像の画像信号から算出されるデフォーカス量を示す情報であることを特徴とする請求項１に記載の画像処理装置。
前記変換手段によって前記変換特性を用いて変換された前記距離情報は、デフォーカスマップとして出力されることを特徴とする請求項１に記載の画像処理装置。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
前記変換手段にて変換された距離情報を用いて画像処理を施す画像処理手段と、
を備え、
前記変換手段は、合焦被写体の距離情報を基準に前後の距離情報で非対称に階調が割り当てられる変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換手段にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理装置。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、を備え、
前記変換手段は、前記撮影光学系のレンズのＦ値に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
を備え、
前記変換手段は、前記撮影光学系のレンズのＦ値に応じて、該Ｆ値が大きいほど、より大きい距離情報に割り当てる階調をより少なくする変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
を備え、
前記変換手段は、前記被写体像の撮像における基線長に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得手段と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定手段と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換手段と、
を備え、
前記変換手段は、前記被写体像の撮像におけるＩＳＯ感度に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理装置。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
前記変換工程にて変換された距離情報を用いて画像処理を施す画像処理工程と、
を備え、
前記変換工程は、合焦近傍の距離情報に、合焦近傍でない距離情報に比べてより多く階調が割り当てられた変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換工程にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理方法。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
前記変換工程にて変換された距離情報を用いて画像処理を施す画像処理工程と、
を備え、
前記変換工程は、合焦被写体の距離情報を基準に前後の距離情報で非対称に階調が割り当てられる変換特性を用いて、前記距離情報を分解能変換して出力し、
前記画像処理は、前記変換工程にて変換された距離情報を用いて前記画像の各領域を距離情報に応じて変形する画像変形処理を含む
ことを特徴とする画像処理方法。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記撮影光学系のレンズのＦ値に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記撮影光学系のレンズのＦ値に応じて、該Ｆ値が大きいほど、より大きい距離情報に割り当てる階調をより少なくする変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記被写体像の撮像における基線長に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。
撮影光学系で形成された被写体像を撮像して得られた複数の画像の画像信号を取得する取得工程と、
前記複数の画像の画像信号を用いて、前記被写体像の距離情報を決定する決定工程と、
前記距離情報の分解能を変換する分解能変換を行って出力する変換工程と、
を備え、
前記変換工程は、前記被写体像の撮像におけるＩＳＯ感度に応じて分解能変換が異なる変換特性を用いて、前記距離情報を分解能変換して出力することを特徴とする画像処理方法。