JP6838608B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

従来、例えば下記の特許文献１〜３には、撮影条件を変えて複数回撮影して取得した画像を利用して、レンズシェーディング量推定を行う技術が記載されている。具体的には、特許文献１には、Ｆ値や焦点距離、フラッシュの有無に違いのある画像を利用して、レンズシェーディング量推定を行うことが記載されている。また、特許文献２には、Ｆ値に違いのある画像を利用して、レンズシェーディング量推定を行うことが記載されている。また、特許文献３には、露光条件に違いのある画像を利用してレンズシェーディング量推定を行うことが記載されている。

特開２００４−０８８４０９号公報 特開２００９−１５９０９３号公報 特開２０１５−１２８２２６号公報

しかし、上記特許文献に記載された技術は、いずれも、撮影条件を変えて複数回の撮影を行う必要があり、レンズシェーディング量の推定のために煩雑な操作が必要となっていた。このため、上記特許文献に記載された技術では、レンズシェーディング量の推定のための制約が多く、汎用的ではないという問題が生じていた。

一方、レンズ交換可能なカメラシステムでは、カメラ本体に対して予め準備されているレンズを装着する場合は、レンズとカメラ本体が通信を行うことで、絞り値や焦点距離などのレンズ情報をカメラ本体側で取得することができる。これに対し、カメラ本体に既に絶版となっているように旧タイプのレンズを装着しようとすると、レンズとカメラ本体が通信を行うことができないため、カメラ側で絞り値や焦点距離などのレンズ情報を推定することは困難である。このため、これらのレンズ情報に応じた適切な処理をカメラ本体側で行うことができないという問題が生じる。

そこで、撮影条件を変化させることなく、レンズ情報を推定できるようにすることが望まれていた。

本開示によれば、同一被写体を撮影した複数の入力画像の位置ズレを推定する位置ズレ推定部と、推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせる位置合わせ処理部と、位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定するレンズ情報推定部と、を備える、画像処理装置が提供される。

また、本開示によれば、同一被写体を撮影した複数の入力画像の位置ズレを推定することと、推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせることと、位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定することと、を備える、画像処理方法が提供される。

本開示によれば、撮影条件を変化させることなく、レンズ情報を推定することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

レンズ交換可能なカメラシステムを示す模式図である。 本実施形態に係るカメラシステムの構成を示すブロック図である。 本実施形態で対象とする入力画像を説明するための模式図である。 劣化成分の種類と、各劣化成分に関わるレンズの要素（レンズ情報）を示す模式図である。 図３に対して、１枚目の画像と２枚目の画像が一致するように位置合わせをした状態を示す模式図である。 本実施形態に係る画像処理装置の基本的な構成を示す模式図である。 コスト式最小化部の前段に輝度レベル調整部を設けた例を示す模式図である。 位置ズレ推定部の前段に縮小部を設けた例を示す模式図である。 入力画像が３枚の場合の処理構成を示す模式図である。 第１レンズと第２レンズから入力画像を取得する例を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の概要
２．カメラシステムの構成例
３．入力画像の例
４．劣化モデルについて
５．複数画像の位置合わせについて
６．レンズ情報の推定
７．レンズ情報に基づく補正処理

［１．本開示の概要］
本開示は、カメラのレンズの状態を自動で取得する技術に関する。図１は、レンズ交換可能なカメラシステム１０００を示す模式図である。このシステム１０００では、カメラ本体１００に対してレンズ２００が着脱交換可能とされている。ユーザは、焦点距離やＦ値などが異なるレンズ２００を適宜選択し、撮影状況に応じて使用することができる。

レンズ２００により結像した被写体像は、カメラ本体１００が備える撮像素子（ＣＭＯＳセンサ等）の撮像面上で結像し、撮像素子が被写体像を光電変換することで、画像データが取得される。

撮像された画像データは、輝度シェーディング、色シェーディング、レンズボケ等の要因で劣化している場合がある。このような劣化要素は、個々のレンズ２００の設計条件や撮像素子１０５の設計条件、状態等により予めその特性を取得することが可能である。従って、カメラ本体１００は、これらの劣化要素の特性を予め保持しておくことで、撮像により得られた画像データに対して劣化要素を補正する処理を行う。これにより、劣化要素が補正された高画質の画像を得ることができる。

一方、劣化要素の特性は、レンズ２００の絞り値（Ｆ値）、焦点距離、フォーカス距離等に応じて変化する。このため、カメラ本体１００側では、これらの絞り値（Ｆ値）、焦点距離、フォーカス距離等のレンズ情報に応じた劣化要素の特性を保持しておく。そして、撮影時にレンズ２００の絞り値（Ｆ値）、焦点距離、フォーカス距離等のレンズ情報を取得し、取得した当該レンズ情報に応じた劣化特性に基づく補正をカメラ本体１００側で行うことで、撮影条件に応じて補正条件を最適化することができ、高精細な画像を得ることができる。

絞り値、焦点距離、フォーカス距離等のレンズ情報は、レンズ２００とカメラ本体１００が通信を行うことができるという前提のもとでは、カメラ本体１００側で容易に取得可能である。一方、レンズ２００とカメラ本体１００とが通信を行い得ない状況においても、ユーザが所望のレンズ２００をカメラ本体１００に装着して撮影を行うことが想定される。レンズ２００は、カメラ本体１００に装着することができれば撮影自体は可能であり、過去に発売されて絶版となったレンズ２００や、カメラ本体１００のメーカとは異なるメーカのレンズ２００を装着したいといった要請があるためである。このような場合、レンズ側にレンズ２００に対応するマウントが設けられ、カメラ本体側にカメラ本体１００に対応するマウントが設けられたアダプター３００を装着することで、レンズ２００をカメラ本体に装着することが可能である。しかし、アダプター３００を介して装着した場合であっても、レンズ２００とカメラ本体１００とが通信を行うことは一般的に困難であり、上記レンズ情報をカメラ本体１００側で取得することは困難であった。本開示に係る実施形態では、このような状況を踏まえた上で、絞り値（Ｆ値）、焦点距離、フォーカス距離等のレンズ情報をカメラ本体１００側で推定することが可能なシステムを提供するものである。以下、詳細に説明する。

［２．カメラシステムの構成例］
図２は、本実施形態に係るカメラシステム１０００の構成を示すブロック図である。カメラシステム１０００は、カメラ本体１００とレンズ２００とから構成される。カメラ本体１００は、撮像素子１０５、撮影された画像信号のアナログ−デジタル変換等の信号処理を行うカメラ信号処理部１１０、画像信号の記録再生処理等を行う画像処理部１２０を有している。また、カメラ本体１００は、撮影された画像等を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示部１３０と、メモリカード９００への画像信号の書込及び読出を行うＲ／Ｗ（リーダ／ライタ）１４０と、撮像装置の全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０と、ユーザによって所要の操作が行われる各種のスイッチ等から成る入力部１６０と、劣化モデルを予め記憶するメモリ１７０を備えている。撮像素子１０５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等から構成されている。

レンズ２００は、撮像レンズを含む光学系や、絞り機構、ズーム機構、フォーカス機構等を備える。本実施形態において、レンズ２００のレンズ情報は、レンズ２００がカメラ本体１００に装着できるものであれば、カメラ本体１００と通信を行うことなく、カメラ本体１００側で推定可能である。

カメラ信号処理部１１０は、撮像素子１０５からの出力信号に対するデジタル信号への変換、ノイズ除去、画質補正、輝度・色差信号への変換等の各種の信号処理を行う。画像処理部１２０は、所定の画像データフォーマットに基づく画像信号の圧縮符号化・伸張復号化処理や解像度等のデータ仕様の変換処理等を行う。

表示部１３０は、ユーザの入力部１６０に対する操作状態や撮影した画像等の各種のデータを表示する機能を有している。Ｒ／Ｗ１４０は、画像処理部１２０によって符号化された画像データのメモリカード９００への書き込み及びメモリカード９００に記録された画像データの読み出しを行う。メモリカード９００は、例えば、Ｒ／Ｗ１４０に接続されたスロットに対して着脱可能な半導体メモリである。

ＣＰＵ１５０は、カメラ本体１００に設けられた各回路ブロックを制御する制御処理部として機能し、入力部１６０からの指示入力信号等に基づいて各回路ブロックを制御する。入力部１６０は、例えば、シャッター操作を行うためのシャッターレリーズボタンや、動作モードを選択するための選択スイッチ等によって構成され、ユーザによる操作に応じた指示入力信号をＣＰＵ１５０に対して出力する。

撮影の待機状態では、ＣＰＵ１５０による制御の下で、撮像素子１０５において撮影された画像信号が、カメラ信号処理部１１０を介して表示部１３０に出力され、カメラスルー画像として表示される。入力部１６０には、レンズ２００の種別を示す情報（メーカ名、製品の型式、諸元等の情報）が入力される。

入力部１６０からの指示入力信号により撮影が行われると、撮像素子１０５によって撮影された画像信号がカメラ信号処理部１１０から画像処理部１２０に出力されて圧縮符号化処理され、所定のデータフォーマットのデジタルデータに変換される。変換されたデータはＲ／Ｗ１４０に出力され、メモリカード９００に書き込まれる。

［３．入力画像の例］
図３は、本実施形態で対象とする入力画像を説明するための模式図である。本実施形態では、カメラ本体１００の位置をズラして撮影した２枚以上の画像を入力画像とする。この画像は、互いに写している被写体が同じものであり、画像間でわずかに位置ズレがあるものである。このとき、各画像において、画面内で強度が異なる撮像劣化が生じているものとする。

例えば、カメラ本体１００が連写機能を備えている場合は、連写により撮影した２枚以上の画像を入力画像とすることができる。また、カメラ本体１００が連写機能を備えていない場合であっても、カメラ本体１００及びレンズ２００の向きをズラしながら撮影した２枚以上の画像を入力画像とすることができる。時系列的に撮影した複数枚の画像のうち、時間的に隣接する２枚以上の画像を入力画像とすることが好適である。

図３では、１枚目の画像と２枚目の画像のそれぞれに対して、画像情報を被写体の絵柄成分(原画像成分)と劣化成分（劣化度合い）とに分離して示している。原画像成分は、撮影対象である被写体に応じた画像情報である。一方、劣化成分は、レンズ２００の光学系によって生じる劣化の度合いである。なお、撮像素子１０５では、原画像成分と劣化成分を重畳した画像情報が取得される。図３に示す劣化度合いは、撮像により得られた入力画像に含まれるが、劣化成分は上述のようにレンズ２００や撮像素子１０５の設計条件、状態等により予め取得できるため、劣化モデルとしてカメラ本体１００のメモリ１７０にも記憶されている。

図３中の劣化成分を示す画像は、濃度が薄いほど劣化の強度が弱く、濃度が濃いほど劣化の強度が強いことを表しており、画面内の位置に応じて劣化の強度が変わる様子を示している。つまり、劣化度合いの中心Ｏでは劣化の強度が弱く、画像の周辺に向かうほど劣化の強度は強くなる。

なお、図３では、劣化成分として中心Ｏから同心円状に劣化度合いが変化する場合を例に挙げているが、劣化度合いが中心Ｏに対して非対称になる特性をレンズ１００が有している場合、片ボケの特性をレンズ２００が有している場合等であっても、その劣化モデルをカメラ本体１００が保持しておくことで、劣化度合いの分布に関わらず本実施形態を適用可能である。

図３に示すように、１枚目と２枚目で位置をズラして撮影した場合は、画像間において原画像成分の位置にズレが生じる。一方、劣化成分はレンズ２００の特性に依存するため、画像内の同じ位置に同じ劣化特性が発生する。なお、劣化成分は、カメラ本体１００の撮像素子１０５やレンズ２００の状態に応じて発生する撮像劣化であり、劣化の強度が画面内で異なるものを対象とする。

［４．劣化モデルについて］
本実施形態に係る劣化モデルは、図３に示した劣化度合いを示すモデルとして示される。この劣化モデルは、画像の画面上における座標と、その座標に対応する劣化成分を数値化したものである。座標に対応する劣化成分は、絞り値、焦点距離、フォーカス位置等のレンズ情報に応じて異なる。このため、劣化モデルは、座標と劣化成分とレンズ情報との関係を規定した多次元マップにより構成される。

図５は、劣化成分の種類と、各劣化成分に関わるレンズ２００の要素（レンズ情報）を示す模式図である。劣化成分の種類として、具体的には、輝度シェーディングや色シェーディング、レンズボケが挙げられる。レンズボケは、コマ収差、非点収差、球面収差、像面湾曲等を含む。図５に示すように、これらの劣化成分（図５に示す撮像劣化）は、撮影の際のレンズ要素（絞り値、焦点距離、フォーカス距離等のレンズ情報）に応じてその強度が変わるものである。また、劣化成分は、画像の明るさや色、鮮鋭感・コントラストに影響を及ぼすものであり、画像の位相には影響を及ぼすものではない。本実施形態では、これらの劣化成分について、撮影に用いられるカメラ本体１００の撮像素子１２やレンズ２００に応じた劣化強度を劣化モデルとして利用する。劣化モデルは、劣化強度と画面内の座標とレンズ情報との関係を規定し、カメラ本体１００が備えるメモリ１７０に予め格納されている。

図５に示すように、輝度シェーディングの場合、レンズ情報として、絞り値と焦点距離が劣化強度に関係する。このため、輝度シェーディングの場合、絞り値と焦点距離の２軸に対して劣化強度を定めた劣化モデルが構成される。同様に、色シェーディングの場合は、絞り値と焦点距離とフォーカス距離の３軸に対して劣化強度を定めた劣化モデルが構成される。

図５に示すレンズの要素において、絞り値は射出瞳径と関連があり、焦点距離・フォーカス距離は射出瞳距離と関連があり、絞り値は射出瞳径と連動して変化し、焦点距離・フォーカス距離は射出瞳距離と連動して変化する。従って、劣化モデルのパラメータとして、絞り値、焦点距離、フォーカス距離と、射出瞳径、射出瞳距離との対応付けがされていても良い。

［５．複数画像の位置合わせについて］
図４は、図３に対して、１枚目の画像と２枚目の画像が一致するように位置合わせをした状態を示す模式図である。図３に示すように、位置合わせの際には、先ず１枚目と２枚目の原画像成分に共通する領域Ｒを切り出す。そして、図５に示すように、１枚目の画像に対して２枚目の画像を位置ズレベクトルｖだけ右下方向に動かすことで、領域Ｒを一致させ、１枚目の画像の被写体位置と２枚目の画像の被写体位置を一致させる。このように、１枚目の画像と２枚目の画像間で位置合わせを行うと、両画像の原画像成分の位置は一致し、劣化成分の発生する位置がズレることになる。図３に示す劣化モデルについても同様に、１枚目の画像に対応する劣化モデルに対して２枚目の画像に対応する劣化モデルを位置ズレベクトルｖだけ右下方向に動かし、１枚目画像に対応する劣化モデルと２枚目画像に対応する劣化モデルを準備しておく。

従って、図５に示す位置合わせ後は、原画像成分は一致するが、劣化の度合いが異なる２つの撮像画像が得られることになる。このような特性を有する２つの画像が得られれば、両画像から原画像成分をキャンセルし、同じく位置合わせを行った劣化モデルと比較することで、レンズ情報を求めることができる。

［６．レンズ情報の推定］
本実施形態では、以上のような位置合わせを行った後の２枚の画像から、絞り値、焦点距離、フォーカス距離等のレンズ情報を推定する。推定の基本的な原理を以下に説明する。図５に示す位置合わせ後の劣化度合いのモデルにおいて、劣化度合いは、画面内の座標とレンズ情報によって定まる。ここでは、レンズ情報として焦点距離ｆを例に挙げて説明する。カメラ本体１００側では、劣化度合いと、焦点距離ｆ及び中心Ｏからの距離ｒとの関係を規定したモデルを予め保持しているものとする。ここで、劣化度合いの中心Ｏからの距離に応じて劣化が大きくなるものとすると、座標を表すパラメータは中心Ｏからの距離（像高）ｒとすることができる。従って、劣化モデルＭは、焦点距離ｆと距離ｒの関数として、Ｍ（ｆ，ｒ）とすることができる。この場合、原画像成分をＩとし、撮像により得られた点Ｐ_１、点Ｐ_２における実際の劣化度合いがｎ_１，ｎ_２であるとすると、以下の（1）式、（２）式が成立する。なお、距離ｒ_１は中心Ｏから点Ｐ_１までの距離であり、距離ｒ_２は中心Ｏから点Ｐ_２までの距離である。

Ｉ×ｎ_１＝Ｍ（ｆ，ｒ_１） ・・・（１）
Ｉ×ｎ_２＝Ｍ（ｆ，ｒ_２） ・・・（２）

（１）式と（２）式の左辺は、撮像により得られた入力画像から求まる。また、（１）式と（２）式の両辺を除算すると、原画像成分Ｉを消去できる。従って、焦点距離ｆを未知数として、劣化度合いと、焦点距離ｆ及び中心Ｏからの距離ｒとの関係を規定した劣化モデルに基づいて、焦点距離ｆを算出することができる。具体的には、（１）式と（２）式の両辺を除算すると、左辺は撮像により得られる値であり、右辺は劣化モデルから求まるため、左辺と右辺が一致するような焦点距離ｆを求めることができる。絞り値、フォーカス距離についても同様の手法で算出することが可能である。なお、除算後の左辺と右辺の値が最小となるようにコスト演算によりレンズ情報を求める手法については、後述する。

図４に示したように、例えば劣化成分を輝度シェーディングとした場合、レンズ情報として絞り値と焦点距離が関係する。この場合も、絞り値と焦点距離の２軸に対して劣化強度を定めた劣化モデルと比較することで、絞り値と焦点距離を算出することが可能である。

以下、上記手法によるレンズ情報の推定について詳細に説明する。図６は、本実施形態に係る画像処理装置５００の基本的な構成を示す模式図である。図６に示す構成は、図２のカメラ信号処理部１１０又は画像処理部１２０に設けられる。図６に示すように、画像処理装置５００は、位置ズレ推定部５１０、位置合わせ部５２０、位置合わせ部５３０、コスト式最小化部（レンズ情報推定部）５４０、補正処理部５９０を有して構成される。図６に示す各構成要素は、回路（ハードウェア）、又はＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。図６において、一部の要素をハードウェアから構成し、残りをソフトウェアから構成することもできる。例えば、補正処理部５９０をハードウェアから構成し、残りの要素をソフトウェアから構成しても良い。

先ず、位置ズレ推定部５１０には、１枚目画像と２枚目画像のデータが入力される。位置ズレ推定部５１０は、１枚目の画像と２枚目の画像の位置ズレ量を算出する。次に、位置合わせ部５２０は、位置ズレ量から求めた位置ズレベクトルｖ（図４参照）を使用して２枚目画像の位置を１枚目画像に合わせる処理を行う。ここでの位置合わせは、画像の小領域毎にブロックマッチングをする等の方法で実現可能である。位置合わせがされた２枚目画像は、コスト式最小化部５４０に入力される。

位置合わせ部５３０には、劣化モデルが入力される。位置合わせ部５３０は、位置ズレ量から求めた位置ズレベクトルｖを使って、撮像劣化の度合を表す劣化モデルの位置を合わせる。これにより、劣化モデルの位置が２枚目画像に対応する位置に設定される。位置合わせがされた劣化モデルは、コスト式最小化部５４０に入力される。

また、コスト式最小化部５４０には、１枚目画像が直接入力される。また、コスト式最小化部５４０には位置合わせをしていない劣化モデルが入力される。この劣化モデルは、１枚目画像に対応する。

コスト式最小化部５４０に、ここまでで得られた、１枚目画像、位置合わせ済み２枚目画像、劣化モデル、位置合わせ済み劣化モデルを利用して、２枚の画像から求めた劣化度合いと劣化モデルの二乗誤差平均をコストとしたコスト式を最小化することでレンズ情報を算出する。このように、コスト式最小化部５４０はレンズ情報を推定するレンズ情報推定部として機能する。

劣化の対象として、輝度シェーディングや色シェーディングのように、原画像に対してゲイン処理によって劣化が表される現象について説明する。輝度シェーディングや色シェーディング(以降、包括してシェーディングと称する)は、その強度が異なると、画像の明るさや色が異なる。このような画像間で正しく位置合わせをするために、位置ズレ推定部５１０では、画像の小領域毎に行うブロックマッチングの評価指標として、レベル変化に強いものを利用する。レベル変化に強いマッチングの評価指標としては、たとえばゼロ平均正規化相互相関（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ, ＺＮＣＣ）等が挙げられる。

コスト式最小化部５４０では、レンズ情報を推定するためにコスト式を利用する。シェーディング画像は、原画像成分とシェーディングゲインの積算によって表されるので、位置合わせ部５２０の位置合わせによって得られる２枚目画像と１枚目画像の２画像を除算すると、原画像成分がキャンセルされ、位相ズレのあるシェーディングの成分だけが残ることになる。原画像成分をＩ（ｘ，ｙ）、レンズ情報がｐのときのシェーディングゲインモデルをＳ（ｘ，ｙ，ｐ）とすると、以下の（３）式が成立する。ここでの（ｘ，ｙ）は画像上の座標を、（Δｘ，Δｙ）は２枚目の画像に対する１枚目の画像の位置ズレベクトルｖを、ｐはシェーディングに関わるレンズ情報、例えば射出瞳距離や射出瞳径を表す。ｐは、絞り値や焦点距離であっても良い。

（３）式の両辺の差分を撮影画像とモデルの誤差とし、この誤差をコストとして最小化する（４）式に示す。実際の撮影画像に含まれるノイズをｎ、画像サイズをＭ×Ｎとし、（３）式の両辺の差分の二乗平均を誤差として計算する。これによって、レンズ情報ｐを求めることが可能となる。

実際の画像を使って（４）式の計算を行うと、画像同士の除算を行うことになり、絵柄によってゼロによる除算が発生し推定結果が不安定になることがある。これを避けるために、（４）式を（５）式のように変形して算出しても良い。

式（３）に示す式で誤差を評価する際に、入力に用いる２枚の画像間の輝度レベルに差があると、正しく評価ができなくなる場合がある。図７に示す構成例では、これを回避するために、コスト式最小化部５４０の前段に輝度レベル調整部５５０を設けている。輝度レベル調整部５５０は、１枚目画像と位置合わせ後の２枚目画像の輝度を調整する。輝度の調整は、両画像の輝度を比較して行っても良いし、撮影時の両画像の撮影条件の違いに基づいて行っても良い。

図８は、位置ズレ推定部５１０の前段に縮小部５６０，５６２を設けた例を示す模式図である。１枚目画像、２枚目画像がボケている画像の場合、位置ズレ推定部５１０によるブロックマッチングに支障が生じる場合がある。縮小部５６０，５６２は、１枚目画像、２枚目画像を縮小することで、画像の精細度を高め、位置ズレ推定部５１０によるブロックマッチングの精度を高める。劣化の対象をコマ収差、非点収差、球面収差、像面湾曲等のボケ収差(以降、包括して収差と称する)とした場合、これらの現象は、原画像に対する畳み込み処理によって劣化を表すことができる。これらの収差は、その強度が異なると、画像の収差度合が異なる。このような画像間で正しく位置合せをするために、位置ズレ推定部５１０による位置ズレ推定の前に、推定の入力に使う２画像を縮小することで、ブロックマッチングの際に収差の影響を小さくすることが可能となる。

図８に示す構成の場合、位置ズレ推定部５１０では、縮小画像に基づいて１枚目画像と２枚目画像の位置ズレが求まる。このため、位置ズレ推定部５１０は縮小部５６０，５６２における縮小率を考慮して、縮小前の１枚目画像と２枚目画像の位置ズレを求める。これにより、位置合わせ部５２０，５３０において、縮小前の１枚目画像と２枚目画像の位置ズレに基づいて位置合わせを行うことができる。

収差画像は、原画像成分と収差度合を表すボケ関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ, ＰＳＦ）の畳み込み積分によって表される。図８のコスト式最小化部５４０は、位置合わせ部５２０の位置合わせによって得られる２枚目画像と、直接入力される１枚目画像の２画像について、周波数領域において除算を行うことで、図６、図７の場合と同様に原画像成分をキャンセルする。周波数領域では振幅成分と位相成分が分かれてしまうため、収差度合が同じであると仮定できる程度に画像を小領域に分割し、小領域毎に周波数領域における除算を行う。小領域に分割した原画像の周波数領域における振幅成分をＩ_ｉ’（ξ，η）、レンズ情報がｐのときの小領域番号ｉにおけるＰＳＦモデルをＳ_ｉ’（ξ，η，ｐ）として、（６）式のように表すことができる。ここでの（ξ，η）は周波数領域における座標を、ｉは分割した小領域の位置番号を、ｉ＋Δｉは２枚目画像の位置合わせ量を考慮した小領域の位置番号を表す。

図６、図７の場合と同様に、（６）式の両辺の差分を誤差とし、画像の全領域に対する誤差をコストとして、コストが最小となるレンズ情報ｐを求めることが可能となる。

以上説明した構成例では、入力画像を２枚としていたが、入力画像を３枚以上とすることで処理の精度を更に高めることができる。入力画像が３枚以上となった場合、上述した構成による処理が適用可能となる画像の組み合わせが増え、推定精度をより高いものにすることができる。図９は、入力画像が３枚の場合の処理構成を示す模式図である。１枚目画像と２枚目画像、２枚目画像と３枚目画像、１枚目画像と３枚目画像の３通りの組み合について、位置ズレ推定部５１０、位置合わせ部５２０、位置合わせ部５３０、コスト式最小化部５４０による各処理を行う。最小コストレンズ情報算出部５７０は、各組み合わせにおける最小コスト値を比較し、最もコストが小さい時のレンズ情報を最終的な推定結果とする。この場合、最小コストレンズ情報算出部５７０は、コスト式最小化部５４０とともに、レンズ情報推定部として機能する。コスト自体が撮像により得られた画像と劣化モデルの誤差を評価したものであり、この値が最も小さい組み合わせの推定結果が最も精度の高い結果となる。

また、以上説明した構成例では、複数の入力画像を時系列的に取得した場合を示したが、複数の入力画像は複数のレンズで同時に撮影されたものであっても良い。図１０は、第１レンズと第２レンズから入力画像を取得する例を示す模式図である。第１レンズ及び第２レンズは、例えば立体視画像（３Ｄ画像）を撮影する左眼画像用のレンズ、右眼画像用のレンズとすることができる。図８では、レンズが２つである２眼構成を例示したがレンズが３つ以上である３眼以上の構成に適用することも可能である。このように、本実施形態によれば、時間的又は空間的にズレた複数枚の入力画像に基づいてレンズ情報を推定することが可能である。

［７．レンズ情報に基づく補正処理］
以上のようにしてレンズ情報が求まると、補正処理部５９０では、レンズ情報に基づいて撮影画像の補正処理を行う。劣化モデルは、劣化成分と座標とレンズ情報との関係を規定しているため、レンズ情報が求まれば、画像中の各座標における劣化成分を求めることができる。補正処理部５９０は、レンズ情報に基づいて劣化モデルから劣化成分を算出し、劣化成分に基づいて画像を補正する。これにより、カメラ本体１００と通信を行うことができないレンズ２００を装着した場合であっても、レンズ２００の特性に起因する劣化成分を確実に補正することが可能となり、高画質の撮像画像を得ることが可能となる。

以上説明したように本実施形態によれば、レンズ情報を推定するために撮影条件を変えること、特別な撮像装置を使うこと等の制約を受けることなく、連続して撮影した画像または同じ構成のカメラモジュールで撮影した画像を利用することで、撮影時のレンズ状態を推定することが可能となり、推定したレンズ情報を用いてレンズやカメラのイメージセンサに起因する劣化度合いを補正することが可能となる。

従って、レンズ交換式カメラに対してマウントアダプタを介してオールドレンズを装着した場合や、スマートフォンのカメラに対してアタッチメントでレンズを装着した場合など、ユーザがパーツを自由に組み合わせられるようなカメラモジュールを利用した場合においても、レンズ情報を高精度に推定することが可能とある。これにより、撮像劣化に対する補正処理を最適に行うことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 同一被写体を撮影した複数の入力画像の位置ズレを推定する位置ズレ推定部と、
推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせる位置合わせ処理部と、
位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定するレンズ情報推定部と、
を備える、画像処理装置。
（２） 前記位置合わせ処理部は、
前記位置ズレに基づいて、複数の前記入力画像の原画像成分の位置を合わせる第１の位置合わせ部と、
前記位置ズレに基づいて、複数の前記入力画像に対応する前記劣化モデルの位置を合わせる第２の位置合わせ部と、
を有する、前記（１）に記載の画像処理装置。
（３） 前記レンズ情報推定部は、複数の前記入力画像から原画像成分をキャンセルして得られる前記入力画像の劣化度合いと前記劣化モデルとを比較することで、前記レンズ情報を推定する、前記（１）又は（２）に記載の画像処理装置。
（４） 前記レンズ情報推定部は、前記入力画像の劣化度合いと前記劣化モデルとの差分が最小となるように前記レンズ情報を推定する、前記（３）に記載の画像処理装置。
（５） 前記劣化モデルは、前記レンズ情報と画像中の位置とに応じて画像の劣化を規定したモデルである、前記（１）〜（４）のいずれかに記載の画像処理装置。
（６） 前記劣化成分は、輝度シェーディング、色シェーディング、又は収差の特性である、前記（１）〜（５）のいずれかに記載の画像処理装置。
（７） 前記レンズ情報は、絞り値、焦点距離若しくはフォーカス距離、又は射出瞳径若しくは射出瞳距離である、前記（１）〜（６）のいずれかに記載の画像処理装置。
（８） 前記レンズ情報と前記劣化モデルに基づいて撮影画像を補正する補正処理部を備える、前記（１）〜（７）のいずれかに記載の画像処理装置。
（９） 前記位置合わせ部は、ブロックマッチングにより前記入力画像の位置を合わせる、前記（１）〜（８）のいずれかに記載の画像処理装置。
（１０） 位置合わせがされた複数の前記入力画像の輝度を調整する輝度レベル調整部を備える、前記（１）〜（９）のいずれかに記載の画像処理装置。
（１１） 複数の前記入力画像を縮小する縮小部を備え、
前記位置ズレ推定部は、縮小された複数の前記入力画像に基づいて前記位置ズレを推定する、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２） 前記レンズ情報推定部は、
３つ以上の前記入力画像について、位置合わせがされた複数の組み合わせの前記入力画像について前記レンズ情報を推定し、
複数の前記組み合わせについて推定された前記レンズ情報のうち、前記劣化モデルとの差分が最小となるレンズ情報を推定する、前記（１）〜（１１）のいずれかに記載の画像処理装置。
（１３） 同一被写体を撮影した複数の入力画像の位置ズレを推定することと、
推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせることと、
位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定することと、
を備える、画像処理方法。

１００ カメラ本体
２００ レンズ
５００ 画像処理装置
５１０ 位置ズレ推定部
５２０，５３０ 位置合わせ部
５４０ コスト式最小化部
５５０ 輝度レベル調整部
５６０，５６２ 縮小部
５７０ 最小コストレンズ情報算出部
５９０ 補正処理部

Claims (13)

1. 同一被写体を撮影した複数の入力画像の位置ズレを推定する位置ズレ推定部と、
   推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせる位置合わせ処理部と、
   位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定するレンズ情報推定部と、
   を備える、画像処理装置。
2. 前記位置合わせ処理部は、
   前記位置ズレに基づいて、複数の前記入力画像の原画像成分の位置を合わせる第１の位置合わせ部と、
   前記位置ズレに基づいて、複数の前記入力画像に対応する前記劣化モデルの位置を合わせる第２の位置合わせ部と、
   を有する、請求項１に記載の画像処理装置。
3. 前記レンズ情報推定部は、複数の前記入力画像から原画像成分をキャンセルして得られる前記入力画像の劣化度合いと前記劣化モデルとを比較することで、前記レンズ情報を推定する、請求項１又は２に記載の画像処理装置。
4. 前記レンズ情報推定部は、前記入力画像の劣化度合いと前記劣化モデルとの差分が最小となるように前記レンズ情報を推定する、請求項３に記載の画像処理装置。
5. 前記劣化モデルは、前記レンズ情報と画像中の位置とに応じて画像の劣化を規定したモデルである、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記劣化成分は、輝度シェーディング、色シェーディング、又は収差の特性である、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記レンズ情報は、絞り値、焦点距離若しくはフォーカス距離、又は射出瞳径若しくは射出瞳距離である、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記レンズ情報と前記劣化モデルに基づいて撮影画像を補正する補正処理部を備える、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記位置合わせ処理部は、ブロックマッチングにより前記入力画像の位置を合わせる、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 位置合わせがされた複数の前記入力画像の輝度を調整する輝度レベル調整部を備える、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 複数の前記入力画像を縮小する縮小部を備え、
    前記位置ズレ推定部は、縮小された複数の前記入力画像に基づいて前記位置ズレを推定する、請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記レンズ情報推定部は、
    ３つ以上の前記入力画像について、位置合わせがされた複数の組み合わせの前記入力画像について前記レンズ情報を推定し、
    複数の前記組み合わせについて推定された前記レンズ情報のうち、前記劣化モデルとの差分が最小となるレンズ情報を推定する、請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 同一被写体を撮影した複数の入力画像の位置ズレを推定することと、
    推定した前記位置ズレに基づいて、複数の前記入力画像の位置を合わせることと、
    位置合わせがされた前記入力画像に基づいて、前記入力画像を撮影したレンズの劣化成分を示す劣化モデルに応じて当該レンズのレンズ情報を推定することと、
    を備える、画像処理方法。

Images