JP6354907B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する画像処理装置、および、画像処理方法に関する。

画像撮影装置などにおいて、ある３次元シーンの奥行き、即ち画像撮影装置などから被写体までの距離情報を非接触で算出するための様々な手法が提案されている。それらを大別すると、能動的手法と受動的手法がある。能動的手法では、赤外線や超音波、レーザーなどを被写体に照射し、反射波が戻ってくるまでの時間や反射波の角度などに基づいて被写体までの距離情報を算出する。受動的手法では、被写体の画像に基づいて被写体までの距離情報を算出する。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

受動的手法にも多くの手法が提案されている。その一つとして、被写体までの距離によって大きさや形状が変化する、ぼけの情報に基づいて被写体までの距離情報を算出するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下ＤＦＤと表記）と呼ばれる手法がある。ＤＦＤには、複数のカメラを必要としない、少数の画像を利用して被写体までの距離情報の算出が可能である、などの特徴がある。

以下、ＤＦＤの原理について簡単に説明する。

ＤＦＤは、合焦位置の異なる複数の画像から、ぼけの情報に基づいて被写体までの距離情報を算出する手法である。ぼけの情報を含んだ撮影画像（以下ぼけ画像と表記）は、レンズによるぼけのない状態を表す全焦点画像に、被写体までの距離の関数である点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を畳み込んだ画像となる。点像分布関数（以下ＰＳＦと表記）は被写体までの距離の関数であるため、ＤＦＤではぼけ画像からぼけの情報を検出することによって、被写体までの距離情報を算出することができる。ただし、このとき、全焦点画像と被写体までの距離情報は未知である。ぼけ画像一枚に対して、ぼけ画像、全焦点画像、被写体までの距離情報に関する式が１つ成立するため、合焦位置の異なるぼけ画像を新たに撮影し、新たな式を得る。得られた複数の式を解き、被写体までの距離情報を算出する。式の獲得の方法や式を解く方法等に関して、特許文献１をはじめとして、ＤＦＤに対する様々な提案が存在する。

特開平１１−３３７３１３号公報

しかしながら、合焦位置の異なる複数の画像を得ようとする場合、レンズ系のピントを変化させて複数の画像を得るため、それぞれの画像を得る時間に時間差が発生する。この時間差内に被写体の位置や形状などが大きく変わる場合、複数の画像間の被写体に位置ずれが発生するため、被写体までの距離情報を精度良く算出することが困難な場合がある。すなわち、動きの速い被写体の静止画や動画の撮影に従来のＤＦＤを用いることが困難な場合がある。

本開示は、動きの速い被写体の静止画や動画の撮影において被写体までの距離情報を精度良く算出することができる画像処理装置および画像処理方法を提供する。

本開示における画像処理装置は、合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する画像処理装置であって、周波数変換部と、振幅抽出部と、距離情報算出部とを備える。周波数変換部は、画像を周波数に変換する。振幅抽出部は、周波数に変換して得られた係数の位相成分と振幅成分のうち振幅成分を抽出する。距離情報算出部は、係数の位相成分と振幅成分のうち振幅抽出部で抽出された振幅成分のみ、および、レンズのぼけデータを利用して距離情報を算出する。

また、本開示における画像処理方法は、合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する画像処理方法であって、画像を周波数に変換し、周波数に変換して得られた係数の位相成分と振幅成分のうち振幅成分を抽出し、係数の位相成分と振幅成分のうち抽出された振幅成分のみ、および、レンズのぼけデータを利用して距離情報を算出する。

本開示における画像処理装置および画像処理方法は、動きの速い被写体の静止画や動画の撮影において被写体までの距離情報を精度良く算出することが可能となる。

図１は、実施の形態１における画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態１における距離情報算出部の機能構成を示すブロック図である。 図３は、従来の手法により算出された距離情報と本開示の手法により算出された距離情報との位置ずれに対する精度の相違を示す図である。 図４は、実施の形態２における画像処理装置の機能構成を示すブロック図である。 図５は、実施の形態３における距離情報算出部の機能構成を示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１を用いて、実施の形態１を説明する。

図１は、実施の形態１における画像処理装置の機能構成を示すブロック図である。

本実施の形態における画像処理装置１００は、合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する装置である。図１に示すように、画像処理装置１００は、周波数変換部１１０と、振幅抽出部１２０と、距離情報算出部１３０とを備える。

周波数変換部１１０は、画像を周波数に変換する処理部である。つまり、周波数変換部１１０は、合焦位置の異なる複数の画像に対して、画像を画像空間から周波数空間に変換している。画像を画像空間から周波数空間に変換することで、距離情報算出の精度を向上させることが可能となる。本実施の形態の場合、周波数変換部１１０は、複数の画像を画像空間から周波数空間に変換する。ここでは、複数の画像として、例えば合焦位置の異なる第一画像と第二画像が周波数変換部１１０に入力されたものとして説明する。なお、複数の画像は、パラレルに入力されてもシリアルに入力されてもかまわない。また、周波数変換部１１０が画像を画像空間から周波数空間に変換する方法に特に制限はなく、例えば、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅ Ｔｒａｎｓｆｏｒｍ）や、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅ Ｔｒａｎｓｆｏｒｍ）などが挙示される。

振幅抽出部１２０は、周波数変換部１１０で周波数に変換して得られた係数の位相成分と振幅成分のうち振幅成分を抽出する処理部である。本実施の形態の場合、振幅抽出部１２０は、周波数空間に変換して得られた第一画像と第二画像の係数の振幅成分のみを抽出する。具体的には、周波数空間に変換して得られた係数は、複素数になっているので、振幅抽出部１２０は、係数の絶対値を算出することによって、振幅成分のみを抽出している。なお、周波数空間に変換して得られた係数は、変換係数ともいわれる。本実施の形態の場合、振幅抽出部１２０は、第一画像と第二画像のそれぞれの振幅成分である第一振幅成分と第二振幅成分を抽出する。

距離情報算出部１３０は、係数の位相成分と振幅成分のうち振幅抽出部１２０で抽出された振幅成分のみ、および、レンズのぼけデータを利用して被写体までの距離情報を算出する処理部である。

ここで、レンズのぼけデータとは、画像を取得したカメラのレンズや絞りなどの光学系の構成によって決定される光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）である。以下、光学伝達関数をＯＴＦと表記する。

図２は、本実施の形態における距離情報算出部の機能構成を示すブロック図である。

図２に示すように、距離情報算出部１３０は、コスト算出部１３１と距離決定部１３２とを備えている。

コスト算出部１３１は、振幅抽出部１２０で抽出された第一振幅成分、第二振幅成分、および、レンズのぼけデータを利用してそれぞれの画像の各画素に対して、想定される距離のコストを算出する処理部である。

本実施の形態では、距離情報を算出する手法として、ＤＦＤを利用する。また、レンズのぼけデータとしてＯＴＦを利用する。ＤＦＤは画像において、各画素がどの距離に対応するかを推定するために、例えば、想定される複数の距離ｄに対して距離のコスト（Ｃｏｓｔ（ｄ））を算出する。距離のコストを算出する式は下記式１で示す。

なお、式１は、画像ずれを考慮したデプス算出式である下記式２に基づき算出される。ここで、本開示は、第一画像、および、第二画像のいずれか一方に、画像ずれを作用させることにより、位相成分を式中から消去することができる。つまり、振幅成分のみで解を得ることが可能となる。当該画像ずれを作用させること自体、および、画像ずれをデプス算出式に導入することは新しい知見である。従来では、画像ずれを作用させることがないため、デプス算出式に画像ずれを導入することはなく、結果として、フーリエ変換を行っても位相成分が式中に残存し、画像ずれがある場合はデプスが精度よく算出できなかった。

距離決定部１３２は、コスト算出部１３１で算出された距離のコストを利用して、各画素に対して被写体までの距離情報を決定する。ここでは、各画素の想定される複数の距離ｄのうち、各画素において距離のコストが最も小さくなる距離ｄをその画素の距離情報として出力する。すなわち、距離情報算出部１３０は、画像の各画素に対して被写体までの距離情報を算出する。

図３は、従来の手法により算出された距離情報と本開示の手法により算出された距離情報との位置ずれに対する精度の相違を示す図である。

１６段階に距離が異なる被写体を撮像した第一画像と、縦（図３中Ｙ）横（図３中Ｘ）に被写体がずれた（図３中数字でずれ量を示す。単位はピクセル数）第二画像とを用い、従来の手法で算出された距離情報と本開示における手法で算出された距離情報とを図３は視覚的に示している。図３に示すように、従来の手法では画像が１ピクセルずれただけでも距離情報は被写体までの距離を表していないのに対し、本開示の手法では、画素が縦横に１ピクセルずれても距離情報は正確に被写体までの距離を表している。

この結果が示すように、従来の手法では、サブピクセルまで正確に位置合わせをしないと被写体までの距離情報を精度良く算出できないことを示している。これに対して、本開示の手法では、ラフな位置合わせであっても被写体までの距離情報を精度良く算出することが可能であることを示している。また、従来の手法では、第一画像の取得から第二画像の取得までの間に被写体が１ピクセル程度移動している場合は、被写体までの距離情報を精度良く算出できない。これに対して、本開示の手法では、第一画像の取得から第二画像の取得までの間に被写体が１ピクセル程度移動しても位置補正をすることなく被写体までの距離情報を精度良く算出することが可能となる。

以上のようにして、振幅成分のみを用いて被写体までの距離情報を算出することにより、演算コストを抑えながら、高速に距離情報を算出することが可能となる。さらに、本開示の画像処理方法では、合焦位置の異なる複数の画像間に位置ずれがあった場合であっても、画像を画像空間から周波数空間に変換し、位置情報を含まない振幅成分のみを用いて距離情報の算出を行う。そのため、位置ずれが所定範囲内であれば精度良く距離情報を算出することが可能となる。従って、被写体が高速で移動する静止画の撮影や動画の撮影の場合にも本開示を適用することが可能となる。

（実施の形態２）
以下、図４を用いて、実施の形態２を説明する。

図４は、実施の形態２における画像処理装置の機能構成を示すブロック図である。なお、本実施の形態において、実施の形態１と同じ構成については同じ符号を用い、説明を省略する。

本実施の形態では、距離情報算出の精度をさらに向上させるために、異なる画像間の位置ずれを補正してから距離情報の算出を行う。

本実施の形態における画像処理装置１００は、領域分割部１４０と、領域探索部１５０とをさらに備える。領域分割部１４０は、第一画像を複数の第一小領域に分割する処理部である。分割する第一小領域の大きさは特に限定されるものではなく、例えば４ピクセル×４ピクセルの第一小領域に分割してもかまわない。

領域探索部１５０は、第一画像以外の他の画像について、分割された複数の第一小領域ごとに対応する第二小領域を探索する処理部である。つまり領域探索部１５０は、第一画像の第一小領域の画像のそれぞれについて第二画像内において対応する第二小領域の画像を探索し位置合わせを行うことによって、画像間の位置ずれを補正するものである。

具体的には、領域分割部１４０で分割された第一画像の各第一小領域に対応する画像を用いて、第二画像内に対応する画像を探索し、似通った画像の領域を第二小領域とする。探索アルゴリズムに関しては、特に限定されるものではないが、本実施の形態では、探索アルゴリズムとしてブロックマッチングを利用する。なお、探索アルゴリズムとしては、画像間の対応する領域を探索できれば、他の方法を利用しても良い。

ブロックマッチングは、第一画像の各第一小領域に対して、第二画像の中の対応する第二小領域を探索するものである。探索は、第一画像の第一小領域と第二画像の各領域の差異を算出し、差異が最も小さい領域を第二小領域としている。差異とは例えばその領域に対する輝度差の総和などに基づいて算出される。

本実施の形態における周波数変換部１１０は、第一小領域の画像、および、対応する第二小領域の画像を周波数に変換する。振幅抽出部１２０は、第一小領域、および、対応する第二小領域である、小領域ごとに振幅成分を抽出する。すなわち、振幅抽出部１２０は、第一小領域および対応する第二小領域それぞれに対して振幅成分を抽出する。距離情報算出部１３０は、小領域ごとに被写体までの距離情報を算出する。すなわち、距離情報算出部１３０は、対応する第二小領域と位置合わせされた第一小領域ごとに被写体までの距離情報を算出する。

以上のように、本実施の形態において、複数の画像のうち第一画像を第一小領域に分割し、第一小領域ごとに他の画像と位置合わせを行うことによって、画像間の位置ずれを細かく補正することができる。そのため、より精度良く被写体までの距離情報を算出することができる。ただし、本開示においては、複数の画像間に多少の位置ずれが発生していても精度良く距離情報を算出することができるため、画像間の位置合わせを荒くすることができる。例えば、通常のＤＦＤでは、エッジの弱い領域については０．１ピクセル単位まで位置合わせを行わないと精度良く距離情報を算出することができない。これに対して、本開示の場合１ピクセル単位程度の位置合わせでも精度良く距離情報を算出することが可能となる。

（実施の形態３）
以下、図５を用いて、実施の形態３を説明する。

図５は、本実施の形態における距離情報算出部の機能構成を示すブロック図である。

図５に示すように距離情報算出部１３０は、コスト算出部１３１に代えて代表コスト算出部１３３を備え、距離決定部１３２に代えて代表距離決定部１３４を備えている。

代表コスト算出部１３３は、第一画像の第一小領域の振幅成分と第二画像の第二小領域の振幅成分と入力のレンズのぼけデータを利用して小領域ごとに、想定される距離の代表コストを算出する。すなわち、代表コスト算出部１３３は、対応する第二小領域と位置合わせされた第一小領域ごとに、想定される距離の代表コストを算出する。距離の代表コストは以下の式３で算出される。

距離の代表コストの算出手法は特に限定されるものではないが、本実施の形態では、ひとつの小領域に対して、ひとつの距離の代表コストを算出している。そして、代表距離決定部１３４では、代表コスト算出部１３３で算出された距離の代表コストを用いて小領域ごとに代表距離情報を決定する。具体的には、代表コスト算出部１３３は、周波数係数値を合算し、代表距離決定部１３４が代表値として一つの小領域に一つの代表距離情報を算出する。

以上のように、本実施の形態においては、ピクセル単位ではなく小領域ごとに代表距離情報を算出することによって、演算コスト、および、使用メモリを大幅に削減することができる。そのため、処理の高速化が実現でき、装置コストの削減も可能となる。

本開示による具体的な効果としては、例えば以下のようなものがある。

合焦位置の異なる複数の画像を撮影している間、カメラのぶれや被写体の移動によって、複数の画像間の被写体に位置ずれが発生した場合は、被写体までの距離情報が精度良く求められない場合がある。この場合、距離情報を算出する前に位置合わせ処理が必要となる。しかし、位置合わせ処理は、画像の特徴やノイズなどの影響によって、正確に位置合わせができない場合や、正確に位置合わせをするために長時間を要する場合がある。

本開示は、異なるタイミングで撮影された複数の画像を利用して被写体までの距離情報を算出する場合において、画像間の位置合わせをしなくても、または、ラフな位置合わせであっても精度良く被写体までの距離情報を算出することができる。

以上のように、本開示において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。

例えば、画像に対して、一部分の画素のみにおける距離情報が必要な場合は、その一部分の画素のみにおける距離情報を算出してもかまわない。具体的に例えば、全ての第一小領域について探索を行う必要はなく、着目する第一小領域について探索を行い、距離情報を算出してもかまわない。

また、分割する各第一小領域は互いに完全に独立していなくてもよく、一部重なり合って（オーバーラップして）いてもかまわない。

また、第一小領域は正方形ばかりでなく、任意の形状を選択しうる。

また、実施の形態１〜３では、入力としてＯＴＦを利用するが、一般的にＰＳＦをフーリエ変換するとＯＴＦになるため、ＰＳＦを入力にして、内部でフーリエ変換を行いＯＴＦに変換しても良い。

また、画像処理装置１００が備える各画像処理方法をコンピュータに実行させるためのプログラム、および、そのプログラムが記録された記録媒体も本開示の範囲内である。

本開示は、合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する画像処理装置、および、画像処理方法に適用可能である。具体的には、デジタルスチルカメラ、デジタルムービーカメラ、カメラ機能付き携帯電話機、スマートフォンなどに適用可能である。

１００ 画像処理装置
１１０ 周波数変換部
１２０ 振幅抽出部
１３０ 距離情報算出部
１３１ コスト算出部
１３２ 距離決定部
１３３ 代表コスト算出部
１３４ 代表距離決定部
１４０ 領域分割部
１５０ 領域探索部

Claims (6)

1. 合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する画像処理装置であって、
   前記画像を周波数に変換する周波数変換部と、
   周波数に変換して得られた係数の位相成分と振幅成分のうち振幅成分を抽出する振幅抽出部と、
   前記係数の位相成分と振幅成分のうち前記振幅抽出部で抽出された振幅成分のみ、および、レンズのぼけデータを利用して前記距離情報を算出する距離情報算出部とを備える
   画像処理装置。
2. 前記距離情報算出部は、
   前記振幅抽出部で抽出された振幅成分、および、レンズのぼけデータを利用して前記画像の想定される距離のコストを算出するコスト算出部と、
   前記コスト算出部で算出された前記距離のコストを利用して、前記距離情報を決定する距離決定部とを備える
   請求項１に記載の画像処理装置。
3. さらに、
   複数の前記画像の少なくとも一つを複数の第一小領域に分割する領域分割部と、
   他の前記画像について、複数の前記第一小領域ごとに対応する第二小領域を探索する領域探索部とを備え
   前記周波数変換部は、前記第一小領域の画像、および、対応する前記第二小領域の画像を周波数に変換し、
   前記振幅抽出部は、前記第一小領域、および、対応する前記第二小領域である、小領域ごとに振幅成分を抽出し、
   前記距離情報算出部は、前記小領域ごとに前記距離情報を算出する
   請求項１に記載の画像処理装置。
4. 前記距離情報算出部は、前記画像の各画素に対して前記距離情報を算出する
   請求項１に記載の画像処理装置。
5. 前記コスト算出部は、前記小領域ごとに想定される距離の代表コストを算出し、
   前記距離決定部は、前記コスト算出部で算出された前記距離の代表コストを用いて前記小領域ごとの代表距離情報を決定する
   請求項３に記載の画像処理装置。
6. 合焦位置の異なる複数の画像を利用して被写体までの距離情報を算出する画像処理方法であって、
   前記画像を周波数に変換し、
   周波数に変換して得られた係数の位相成分と振幅成分のうち振幅成分を抽出し、
   前記係数の位相成分と振幅成分のうち抽出された振幅成分のみ、および、レンズのぼけデータを利用して前記距離情報を算出する
   画像処理方法。

Images