JP6161461B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、複数のリフォーカス可能な画像データを合成処理する画像処理装置に関する。

一般に、電子カメラなどの撮像装置において、光の強度分布のみならず光の入射方向に関する情報を取得可能な撮像装置（所謂ライトフィールドカメラ）が知られている。例えば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置して、撮像素子に備えられた複数の画素に対して１つのマイクロレンズを対応させる。これによって、マイクロレンズを通過した光を複数の画素によって入射方向別に取得して画素信号を生成するようにしたものがある（非特許文献１参照）。

このようにして得られた画素信号（光情報）を用いて画像データ（撮影画像）を生成する他、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いて、任意の像面にピントを合わせた画像データ（以下リフォーカス画像という）を撮影後に再構成することが行われている。

一方、複数枚の撮影画像を合成して、例えば、１つのパノラマ画像を生成することが行われている。複数枚の撮影画像を合成する際には、三脚を用いて撮像装置を固定して撮影した場合を除いて、複数枚の撮影画像においてその重複箇所を精度よく検出して画像間の位置合わせを行う必要がある。このためには、撮影する構図に応じた適切な被写界深度で撮影を行う必要がある。

撮影する構図に応じた被写界深度で撮影を行うため、例えば、撮影者が意識することなく、無限遠位置にある被写体に対して適正な合焦状態でパノラマ撮影を行うようにした撮像装置がある（特許文献１参照）。

特開平６−５１１９３号公報

Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

ところが、特許文献１に記載の撮像装置では、無限遠位置にある被写体を撮影する際には、適正な合焦状態でパノラマ撮影をすることができるものの、例えば、被写体が撮影者の近傍に位置する場合には、適正な合焦状態でパノラマ撮影をすることが困難となる。

つまり、被写界深度を浅くして合成画像（例えば、パノラマ写真）を生成しようとすると、背景部分がぼけてしまい、画像のエッジが減衰して位置合わせの精度が悪化してしまう。さらに、複数のライトフィールドデータを合成する際の位置合わせを精度よく行うことができない。

そこで、本発明の目的は複数のライトフィールドデータについて、精度よく位置合わせを行って画像合成を行うことのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、ライトフィールドデータを取得する取得手段と、第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理手段と、前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出手段と、前記検出手段によって検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せ手段と、を有することを特徴とする。

本発明による画像処理装置の制御方法は、ライトフィールドデータを取得する取得ステップと、第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、を有することを特徴とする。

本発明による制御プログラムは、画像処理装置が備えるコンピュータに、ライトフィールドデータを取得する取得ステップと、第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、を実行させることを特徴とする。

本発明によれば、複数の光の強度分布および光の入射方向を示す情報を有する画像データ、つまり、ライトフィールドデータを合成する際、第１のリフォーカス係数に応じて複数のリフォーカス画像データを生成するとともに、第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の合成用画像データを生成し、リフォーカス画像データにおける重複箇所に応じて複数の合成用画像データを合成処理する。これによって、複数の画像データについてその位置合わせの精度を保って合成画像データを得ることができる。

本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。 図１に示す画像処理装置においてパノラマ撮影によって得られた複数枚の画像を合成する際の処理を説明するためのフローチャートである。 図１に示す画像処理装置を備えるカメラによってライトフィールド撮影を行った際の画像合成を説明するための図であり、（ａ）は撮影者と被写体との位置関係の一例を上空から見た図、（ｂ）は図１に示すリフォーカス処理部から出力されるリフォーカス画像の一例を示す図、（ｃ）はライトフィールド画像データの位置合わせを行う際のフォーカス範囲を示す図である。 図１に示す画像処理装置で行われるエッジの抽出を説明するための図であり、（ａ）はエッジ抽出前の画像を示す図、（ｂ）はエッジ抽出後の画像を示す図である。 図１に示す画像処理装置において、パノラマ撮影によって得られた複数枚の画像を合成した後にリフォーカス範囲を変更した場合の合成処理を説明するためのフローチャートである。 本発明の第２の実施形態による画像処理装置の一例についてその構成を示すブロック図である。 図６に示す画像処理装置においてパノラマ撮影によって得られた複数枚の画像を合成する際の処理を説明するためのフローチャートである。 図６に示す画像処理装置を備えるカメラによってライトフィールド撮影を行った際の画像合成を説明するための図であり、（ａ）は撮影者と被写体との位置関係の一例を上空から見た図、（ｂ）はライトフィールド画像データの位置合わせを行う際のフォーカス範囲を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。

図示の画像処理装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）などの撮像装置に用いられる。図１には示されていないが、カメラにおいては、撮影レンズユニット（以下単に撮影レンズと呼ぶ）を介して入射した被写体像（光学像ともいう）が撮像部に結像する。撮像部にはＣＣＤ又はＣＭＯＳセンサなどの撮像素子が備えられており、撮像素子は光学像に応じた画像信号を出力する。

ここでは、例えば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置して、撮像素子に備えられた複数の画素に対して１つのマイクロレンズが対応している。これによって、マイクロレンズを通過した光を複数の画素によって入射方向別に取得する。つまり、画像データは光の強度分布および光の入射方向を示す情報を有する所謂リフォーカス可能なデータ（以下光線情報データ又はライトフィールドデータと呼ぶ）であり、画像処理装置１００は複数の光線情報データ１０１および１０２を受けて、後述するようにして、合成画像データ１０７を生成する。

なお、図示の例では、２つの（つまり、２枚の）光線情報データを画像合成処理する場合について説明するが、複数の光線情報データを画像合成処理する際においても同様にして処理することができる。

画像処理装置１００は、リフォーカス係数設定部１０３、リフォーカス処理部１０４、重複箇所検出部１０５、および合成処理部１０６を備えている。リフォーカス係数設定部１０３は、例えば、ＣＰＵであり、ＲＯＭ及びＲＡＭ（ともに図示せず）を内蔵している。リフォーカス係数設定部１０３は光線情報データ１０１および１０２を所定の焦点距離に合焦するリフォーカス範囲（つまり、リフォーカス係数１０８）を設定して、当該リフォーカス係数をリフォーカス処理部１０４に出力する。

リフォーカス係数１０８は、例えば、光線情報データ１０１および１０２を受けて画像合成を行う際に、その重複箇所検出のための係数と画像合成処理のための係数とで異なる。図示の例では、重複箇所検出のためのリフォーカス係数（第１のリフォーカス係数）をリフォーカス係数Ｚ１とし、画像合成処理のためのリフォーカス係数（第２のリフォーカス係数）をリフォーカス係数Ｚ２とする。

リフォーカス処理部１０４は光線情報データ１０１および光線情報データ１０２に対してリフォーカス係数に基づいてリフォーカス処理を行う。ここでは、リフォーカス処理部１０４は光線情報データ１０１および１０２に対してリフォーカス係数Ｚ１に応じてリフォーカス処理を行って、光線情報データ１０１から重複箇所検出用リフォーカス画像（リフォーカス画像データ）１０９を生成し、光線情報データ１０２から重複箇所検出用リフォーカス画像（リフォーカス画像データ）１１０を生成する。

さらに、リフォーカス処理部１０４は、光線情報データ１０１および１０２に対してリフォーカス係数Ｚ２に応じてリフォーカス処理を行って、光線情報データ１０１から合成用画像（合成用画像データ）１１３を生成し、光線情報データ１０２から合成用画像（合成用画像データ）１１４を生成する。

ところで、前述したように、光線情報データ１０１および１０２は、撮像素子の受光面に結像された光学像を光電変換したアナログ画像信号であって、リフォーカス処理部１０４はこれらアナログ画像信号をＡ／Ｄ変換した後、現像処理を含む所定の画像処理を行う。例えば、リフォーカス処理部１０４はアナログ画像信号に対して、Ａ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、およびデモザイキング処理などを行って記録用のライトフィールド画像データを生成する。その後、リフォーカス処理部１０４は前述のリフォーカス処理を行うことになる。

重複箇所検出部１０５には、重複箇所検出用リフォーカス画像１０９および１１０が入力されて、重複箇所検出部１０５は、重複箇所検出用リフォーカス画像１０９および１１０における重複箇所を検出する。そして、重複箇所検出部１０５は、検出の結果得られた重複箇所に応じてリフォーカス画像１０９および１１０の相対的な位置ズレおよび位相ズレの情報を生成して（以下重複箇所情報１１１と呼ぶ）を合成処理部１０６に出力する。

合成処理部１０６には、リフォーカス処理部１０４から合成用画像１１３および１１４が入力され、合成処理部１０６は合成用画像１１３および１１４を、重複箇所情報１１１に応じて位置合わせを行って合成して合成画像１０７を生成する。当該合成画像１０７はユーザの所望の像面にピントが合った画像である。

図２は、図１に示す画像処理装置においてパノラマ撮影によって得られた複数枚の画像を合成する際の処理を説明するためのフローチャートである。

いま、ユーザがカメラ（ここでは、ライトフィールドカメラ）において、操作部（図示せず）によってパノラマ撮影モードを選択する（ステップＳ２０１）。そして、カメラによってライトフィールド（ＬＦ）撮影を行う（ステップＳ２０２）。ＬＦ撮影においては、パノラマ撮影と同様にして、カメラの向きを変化させつつ所定の回転角までスイングさせて撮影が行われる。

続いて、カメラに備えられた制御部（カメラ制御部）は、カメラを所定の回転角までスイングさせて撮影が行われたか否かを判定する（ステップＳ２０３）。所定の回転角まで撮影が行われないと（ステップＳ２０３において、ＮＯ）、カメラ制御部はステップＳ２０２の処理に戻ってＬＦ撮影を行う。なお、所定の回転角は、例えば、パノラマ撮影モードを選択した際に自動的に設定されるか又はユーザが設定する。

所定の回転角まで撮影が行われると（ステップＳ２０３において、ＹＥＳ）、ＣＰＵであるリフォーカス係数設定部１０３は、画像合成を行うライトフィールドデータの番号Ｎを、初期設定としてＮ＝１を設定する（ステップＳ２０４）。これによって、リフォーカス係数設定部１０３は光線情報データＮおよび光線情報データ（Ｎ＋１）に係る重複箇所検出用のリフォーカス係数Ｚ１を設定する（ステップＳ２０５）。

ここで、設定されるリフォーカス係数Ｚ１は、光線情報データＮおよび光線情報データ（Ｎ＋１）が取り得る最も被写界深度の深いリフォーカス範囲とする。なお、主被写体の距離情報を事前に取得して、主被写体の全てがリフォーカス範囲内に含まれるようにリフォーカス係数Ｚ１を設定するようにしてもよい。

続いて、リフォーカス処理部１０４は重複箇所検出用のリフォーカス係数Ｚ１に応じて重複箇所検出用リフォーカス画像Ｎおよび（Ｎ＋１）を位置合わせ用画像として生成する（ステップＳ２０６）。そして、重複箇所検出部１０５は２枚の重複箇所検出用リフォーカス画像Ｎおよび（Ｎ＋１）において重複箇所を検出する（ステップＳ２０７）。これによって、リフォーカス処理部１０４は、画像間の重複箇所に応じて算出した重複箇所情報１１１を合成処理部１０６に出力する。

重複箇所検出用リフォーカス画像Ｎおよび（Ｎ＋１）において重複箇所を検出する際には、例えば、ベクトル抽出によって、画像の所定ブロック毎に、ブロック間の輝度値の差の絶対値の合計（ＳＡＤ（ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ））が最も小さくなる部分を探索して重複箇所を検出する。なお、Ｎ枚目を撮影した際のカメラの位置と（Ｎ＋１）枚目を撮影した際のカメラの位置とに応じてカメラの移動量をジャイロセンサで検出して、その検出結果（つまり、移動量）を補助情報として用い、重複箇所を検出するようにしてもよい。

続いて、リフォーカス係数設定部１０３は光線情報データＮおよび（Ｎ＋１）に関する合成処理用のリフォーカス係数Ｚ２を設定する（ステップＳ２０９）。ここで設定される合成処理用のリフォーカス係数Ｚ２は、ユーザによって設定される任意のフォーカス範囲である。なお、主被写体に関する距離情報を事前に取得して、これら主被写体のいずれかにフォーカス範囲を設定するようにしてもよく、さらには、重複箇所検出用のリフォーカス係数Ｚ１と同一のリフォーカス係数をリフォーカス係数Ｚ２として用いてもよい。そして、合成処理用のリフォーカス係数Ｚ２がユーザの所望のリフォーカス範囲となる。

次に、リフォーカス処理部１０４は合成処理用のリフォーカス係数Ｚ２に応じて光線情報データＮおよび（Ｎ＋１）からそれぞれ合成用画像Ｎおよび（Ｎ＋１）を生成する（ステップＳ２１１）。そして、合成処理部１０６は前述の重複箇所情報１１１に応じて合成用画像Ｎおよび（Ｎ＋１）の合成処理を行って、合成画像Ｎを生成する（ステップＳ２１２）。

このようにして、合成画像Ｎが生成されると、リフォーカス設定部１０３はライトフィールドデータの番号ＮをＮ＝Ｎ＋１とする（ステップＳ２１３）。そして、リフォーカス設定部１０３は全ての画像（つまり、光線情報データ）について合成処理が完了したかを確認する（ステップＳ２１４）。全ての画像について合成処理が完了していないと（ステップＳ２１４において、ＮＯ）、リフォーカス設定部１０３はステップＳ２０５の処理に戻って、重複箇所検出用のリフォーカス係数を設定する。

一方、全ての画像について合成処理が完了したと判定されると（ステップＳ２１４において、ＹＥＳ）、合成処理部１０６は複数の合成画像を合成画像１０７として出力する。そして、この合成画像１０７は、例えば、表示部（図示せず）に表示され（ステップＳ２１５）、合成処理が終了する。この合成画像１０７はユーザが設定したフォーカス範囲にリフォーカスされたパノラマ画像であって、主被写体にピントが合わされている。

なお、ステップ２１４における全ての画像とは、撮影の結果得られたライトフィールドデータの全てではなく、パノラマ合成に用いるライトフィールドデータをいう。

ここで、ライトフィールド撮影を行った際の画像合成についてさらに説明する。

図３は、図１に示す画像処理装置を備えるカメラによってライトフィールド撮影を行った際の画像合成を説明するための図である。そして、図３（ａ）は撮影者と被写体との位置関係の一例を上空から見た図であり、図３（ｂ）は図１に示すリフォーカス処理部から出力されるリフォーカス画像の一例を示す図である。そして、図３（ｃ）はライトフィールド画像データの位置合わせを行う際のフォーカス範囲を示す図である。

図３（ａ）において、ここでは、撮影者３０１（つまり、カメラ）は、被写体Ａ（３０２）を始点として被写体Ｅ（３０６）までカメラをスイングさせてライトフィールド撮影を行うものとする。そして、撮影範囲には、被写体Ａ（３０２）、被写体Ｂ（３０３）、被写体Ｃ（３０４）、被写体Ｄ（３０５）、および被写体Ｅ（３０６）が存在するとともに、木３０７および山３０８が存在する。この際、Ｎ枚目の撮影で得られる画像の撮影範囲を撮影範囲３０９とし、（Ｎ＋１）枚目の撮影で得られる画像の撮影範囲３１０とする。

Ｎ枚目の撮影範囲には被写体Ｃ（３０４）、被写体Ｄ（３０５）、山３０８、および木（３０７）が含まれており、（Ｎ＋１）枚目の撮影範囲には被写体Ｄ（３０５）、被写体Ｅ（３０６）、山３０８、および木３０７が含まれている。

いま、Ｎ枚目の撮影で得られた画像（つまり、ライトフィールドデータ）と（Ｎ＋１）枚目の撮影で得られたライトフィールドデータを、リフォーカス処理部１０４でリフォーカス処理すると、リフォーカス画像Ｎおよびリフォーカス画像（Ｎ＋１）が得られる（図３（ｂ）参照）。図３（ｂ）において、重複箇所検出部１０５は、リフォーカス画像Ｎおよび（Ｎ＋１）における重複箇所を枠で示す部分で検出したとする。つまり、重複箇所検出部１０５は、リフォーカス画像Ｎおよび（Ｎ＋１）においてそれぞれ重複箇所３１１および３１２を検出したものとする。

図３（ｃ）には、Ｎ枚目の撮影で得られたライトフィールドデータと（Ｎ＋１）枚目の撮影で得られたライトフィールドデータとの位置合わせを行う際のフォーカス範囲が示されている。ここでは、カメラ（つまり、撮影レンズ）の光軸方向がｚ軸方向とされ、ｚ軸に対して垂直な面を撮像面（つまり、撮像素子の受光面）と平行な面として、撮像面上においてｘ軸が水平方向、そして、ｙ軸が垂直方向とされる。そして、リフォーカス画像Ｎおよび（Ｎ＋１）におけるリフォーカス範囲がリフォーカス範囲３１３で示されている。

この際、リフォーカス範囲３１３として、重複箇所３１１および３１２内に存在する被写体Ｄ（３０５）、山３０８、および木３０７の全てを含むようにリフォーカス係数を設定することが望ましい。

ところで、合成画像の位置合わせを行う際には、エッジ抽出が行われることになるが、ここで、エッジ抽出について簡単に説明する。

図４は、図１に示す画像処理装置で行われるエッジの抽出を説明するための図である。そして、図４（ａ）はエッジ抽出前の画像を示す図であり、図４（ｂ）はエッジ抽出後の画像を示す図である。

エッジ抽出を行う際には、一般にフーリエ変換などを用いて画像における周波数成分を求め、その高周波成分を抽出する手法がある。さらには、所定のフィルタ処理を用いて画像の差分に応じてエッジを抽出する手法がある。いま、図７（ａ）に示す画像についてエッジ抽出処理を行うと、図７（ｂ）に示すエッジ抽出後の画像が得られる。図７（ｂ）において、白色で示されている部分がエッジとして抽出されている部分であって、黒色で示された部分はエッジが存在しないとされた領域である。

エッジ抽出を行う際には、高周波成分をできる限り残した画像においてエッジ抽出行ったほうが、エッジである境界がより多く抽出できるので、精度のよい位置合わせを行うことができる。

ところで、図１に示す合成処理部１０６は、図２で説明した重複箇所情報１１１を、例えば、内蔵メモリ（図示せず）に保存する。そして、図２で説明したようにして、合成画像１０７（つまり、パノラマ画像）を生成した後、リフォーカス範囲を変更してパノラマ画像を生成する際には、合成処理部１０６は、内蔵メモリに保存した重複箇所情報１１１を参照して画像合成処理を行う。

図５は、図１に示す画像処理装置において、パノラマ撮影によって得られた複数枚の画像を合成した後にリフォーカス範囲を変更した場合の合成処理を説明するためのフローチャートである。なお、図５に示すフローチャートにおいて、図２に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。

いま、合成画像１０７（つまり、パノラマ画像）を生成した後、ライトフィードデータに対するリフォーカス範囲を変更したものとする。

リフォーカス範囲が変更されると、リフォーカス係数設定部１０３の制御下で、合成処理部１０６は、ユーザが指定したライトフィールドデータに係る重複箇所情報１１１が内蔵メモリに保存されているか否かを確認する（ステップＳ４０１）。重複箇所情報１１１が保存されていないと（ステップＳ４０１において、ＮＯ）、リフォーカス係数設定部１０３は図２に示すステップＳ２０４に移行する。

一方、重複箇所情報１１１が保存されていると（ステップＳ４０１において、ＹＥＳ）、リフォーカス係数設定部１０３はステップＳ２０４において、画像合成を行うライトフィールドデータの番号Ｎを、初期設定としてＮ＝１を設定する。その後、リフォーカス係数設定部１０３の制御下で、合成処理部１０６は、位置情報である重複箇所情報１１１を内蔵メモリから取得する（ステップＳ４０３）。そして、リフォーカス係数設定部１０３の制御下で、図２で説明したステップＳ２０９〜Ｓ２１５の処理が行われる。

このように、本発明の第１の実施形態では、複数のライトフィールドデータを合成処理する際、重複箇所検出用（つまり、位置合わせ用）のリフォーカス係数Ｚ１と合成処理用のリフォーカス係数Ｚ２とを互いに異なるように設定するので、位置合わせの精度を被写界深度の深い画像と同様に保ちつつ被写界深度を自由に設定することができる。これによって、例えば、被写界深度の浅いパノラマ画像を容易に生成することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置の一例について説明する。

図６は、本発明の第２の実施形態による画像処理装置の一例についてその構成を示すブロック図である。なお、図６において、図１に示す画像処理装置と同一の構成要素については同一の参照番号を付して説明を省略する。

図６に示す画像処理装置１００は、リフォーカス係数設定部１０３、リフォーカス処理部１０４、重複箇所検出部１０５、および合成処理部１０６に加えて、ボケ量算出部５０１、ボケ量判定部５０２、および移動体検出部５０７を有している。図示の例では、重複箇所検出部１０５は重複箇所情報１１１を合成処理部１０６に出力するとともに、重複箇所を有する画像を重複箇所画像情報５０８としてボケ量算出部５０１に出力する。

ボケ量算出部５０１は重複箇所画像情報（以下単に重複箇所画像と呼ぶ）５０８におけるボケ量を算出する。つまり、ボケ量算出部５０１はリフォーカス画像におけるボケ量を算出することになる。ボケ量算出部５０１はリフォーカス画像を複数のブロックに分割して、当該ブロック毎にそのボケ量５０９を算出する。そして、ボケ量算出部５０１は当該ボケ量をボケ量判定部５０２に与える。なお、ボケ量は焦点のズレ量を示す。

ボケ量判定部５０２は、ボケ量５０９が所定の閾値以下であるか否かを判定する。ボケ量５０９が閾値より大きいと、ボケ量判定部５０２は再リフォーカス要求５０３をリフォーカス係数設定部１０３に送る。なお、ボケ量を判定する際に用いられる閾値として位置合わせを行うために十分な値が予め設定される。また、光線情報データにおける構図および露光条件によって閾値を変化させるようにしてもよい。

再リフォーカス要求５０３を受けると、リフォーカス係数設定部１０３は重複箇所検出用のリフォーカス係数Ｚ１を変更する。ここで、変更後の重複箇所検出用のリフォーカス係数をリフォーカス係数Ｚ３とする。このリフォーカス係数Ｚ３は、リフォーカス係数Ｚ１に比べてボケ量５０９を小さくするための係数である。そして、リフォーカス係数設定部１０３は重複箇所検出用のリフォーカス係数Ｚ３はリフォーカス処理部１０４に出力する。

リフォーカス処理部１０４は重複箇所検出用のリフォーカス係数Ｚ３に応じて、再度リフォーカス処理（以下再リフォーカス処理という）を行う。上述のようにして、ボケ量の判定を行いつつ、重複箇所検出用に適したリフォーカス係数Ｚ３が決定される。

一方、ボケ量５０９が閾値以下であると、ボケ量判定部５０２は位置合わせ命令５０４を重複箇所検出部１０６に送る。これによって、重複箇所検出部１０５は重複箇所情報を生成して、合成処理部１０６に出力する。

上述の処理を予め定められた回数繰り返しても、ボケ量５０９が閾値を超えている場合には、リフォーカス係数設定部１０３はリフォーカス係数Ｚ３を光線情報データＮおよび（Ｎ＋１）が取り得る最も被写界深度の深い係数とする。そして、ボケ量判定部は位置合わせ命令５０４を重複箇所検出部１０５に出力する。

なお、上述の処理を予め定められた回数繰り返しても、ボケ量５０９が閾値を超えている場合には、リフォーカス係数設定部１０３は合成処理を停止するようにしてもよい。

移動体検出部５０７は、移動体検出センサ（図示せず）で得られたセンサ情報５０６を受ける。このセンサ情報５０６はライトフィードデータ（つまり、撮影画像）に移動体が存在するか否かを示す情報である。移動体検出部５０７は、センサ情報５０６によって撮影画像に移動体が存在すると判定すると、つまり、移動体を検出すると、移動体情報５０５をリフォーカス係数設定部１０３に送る。

なお、移動体検出センサとして、例えば、マイクロ波センサ又は赤外線レーザを用いたエリアセンサが使用される。また、ここでは、センサ情報５０６に応じて移動体を検出するようにしたが、例えば、画像処理によって撮影画像において移動体を検出するようにしてもよい。

移動体情報５０５を受けると、リフォーカス係数設定部１０３は移動体が存在するフォーカス範囲をリフォーカス範囲から除くように重複箇所検出用のリフォーカス係数Ｚ１を設定する。

図７は、図６に示す画像処理装置においてパノラマ撮影によって得られた複数枚の画像を合成する際の処理を説明するためのフローチャートである。なお、図７に示すフローチャートにおいて、図２に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。

図２で説明したステップＳ２０４の処理に続いて、リフォーカス係数設定部１０３は移動体検出部５０７によって移動体が検出されたか否かを判定する（ステップＳ６０１）。ここでは、リフォーカス係数設定部１０３は移動体情報５０５を受けると、移動体検出部５０７によって移動体が検出されたと判定する。

移動体が検出されないと（ステップＳ６０１において、ＮＯ）、リフォーカス係数設定部１０３は、図２で説明したステップＳ２０５の処理に進む。一方、移動体が検出されると（ステップＳ６０１において、ＹＥＳ）、リフォーカス係数設定部１０３は、移動体情報５０５に応じて移動体が存在するフォーカス範囲を除くように重複検出用のリフォーカス係数Ｚ１を設定する（ステップＳ６０２）。その後、処理はステップＳ２０６の処理に進む。

図２で説明したステップＳ２０７において重複箇所が検出された後、リフォーカス係数設定部１０３は再リフォーカス処理が所定の回数行われたか否かを判定する（ステップＳ６０３）。ここでは、リフォーカス係数設定部１０３は、再リフォーカス要求５０３を受ける都度、再リフォーカス処理が行われた判定することになる。

再リフォーカス処理の回数が所定の回数未満であると（ステップＳ６０３において、ＮＯ）、ボケ量判定部５０２はボケ量が所定の閾値以下であるか否かを判定する（ステップＳ６０４）。そして、ボケ量が所定の閾値以下であると（ステップＳ６０４において、ＹＥＳ）、つまり、再リフォーカス要求５０３を受けないと、リフォーカス係数設定部１０３はステップＳ２０９の処理に進む。

一方、ボケ量が所定の閾値を超えると（ステップＳ６０４において、ＮＯ）、つまり、再リフォーカス要求５０３を受けると、リフォーカス係数設定部１０３はポケ領域についてフォーカスが行われるようにリフォーカス係数Ｚ１をリフォーカス係数Ｚ３に変更する（ステップＳ６０５）。そして、処理はステップＳ２０６の処理に戻る。

ステップＳ２０６では、再設定した重複箇所検出用のリフォーカス係数Ｚ３によって重複箇所検出用のリフォーカス画像の生成が行われることになる。この際には、重複箇所検出用のリフォーカス画像を重複箇所部分に限定して生成するようにしてもよい。つまり、位置合わせにおいて必要となる領域が分かっている場合には、当該領域にのみ再リフォーカス処理を行って処理負荷を軽減させる。

再リフォーカス処理が所定の回数行われると（ステップＳ６０３において、ＹＥＳ）、リフォーカス係数設定部１０３はステップＳ２０９の処理に進む。なお、再リフォーカス処理が所定の回数行われた際には、リフォーカス係数設定部１０３は位置合わせが正常にできないとして合成処理を終了するようにしてもよい。

また、ステップＳ６０４においては、ボケ量５０９の判定に代えて、重複箇所における主被写体に係る距離情報を取得して、重複箇所における主被写体の全てがリフォーカス範囲内に含まれているか否かを判定するようにしてもよい。そして、重複箇所に主被写体が存在しないと場合には、光線情報データＮおよび（Ｎ＋１）が取りうる最も被写界深度の深いリフォーカス係数で重複箇所検出を行うようにしてもよい。

図８は、図６に示す画像処理装置を備えるカメラによってライトフィールド撮影を行った際の画像合成を説明するための図である。そして、図８（ａ）は撮影者と被写体との位置関係の一例を上空から見た図であり、図８（ｂ）はライトフィールド画像データの位置合わせを行う際のフォーカス範囲を示す図である。

図８（ａ）に示す例では、被写体Ｅ（３０６）は撮影中に移動しているものとする。また、図８（ｂ）では、リフォーカス画像Ｎおよび（Ｎ＋１）におけるリフォーカス範囲がリフォーカス範囲８０２で示され、リフォーカス除外範囲がリフォーカス除外範囲８０１で示されている。

一般に画像に移動体が存在する場合、位置合わせの精度は悪化する。つまり、ベクトル抽出の際に、画像全体のズレであるのか又は移動体によるズレであるのか区別できないため、位置合わせ精度が悪化する。そこで、前述のように、重複箇所に移動体が存在する場合には、リフォーカス係数設定部１０３はリフォーカス範囲から移動体が存在する距離を除くようにリフォーカス係数を変更する。これによって、位置合わせ精度の悪化を招く要因となる被写体をフォーカス範囲から外してぼかすことによって位置合わせ精度を向上させることができる。

また、上述のように再リフォーカス処理を行うと、前述のステップＳ２０５又はステップＳ５０２において、誤って重複箇所検出用のリフォーカス係数Ｚ１が設定された場合でも修正することが可能となる。

このように、本発明の第２の実施形態では、移動体をリフォーカス範囲から除外して位置合わせを行うようにしたので、重複箇所における位置合わせ精度を向上させることができる。

なお、移動体をリフォーカス範囲から除外するばかりでなく、位置合わせ精度に影響を与える物体、例えば、金網などの周期的に繰り返されるパターンなどをフォーカス範囲から外すようにすれば、同様にして、位置合わせ精度を向上させることができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０３ リフォーカス係数設定部
１０４ リフォーカス処理部
１０５ 重複箇所検出部
１０６ 合成処理部
５０１ ボケ量算出部
５０２ ボケ量判定部
５０７ 移動体検出部

Claims (16)

1. ライトフィールドデータを取得する取得手段と、
   第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理手段と、
   前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出手段と、
   前記検出手段によって検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せ手段と、
   を有することを特徴とする画像処理装置。
2. 前記位置合せ手段によって位置合わせした前記複数の第２のリフォーカス画像データを合成する合成手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のリフォーカス係数は、前記ライトフィールドデータを該第１のリフォーカス係数でリフォーカス処理することで、前記ライトフィールドデータが取り得る最も深い被写界深度であるリフォーカス範囲となるような係数であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のリフォーカス係数を設定する第１の設定手段を有し、
   前記第１の設定手段は、前記ライトフィールドデータを得る際の被写体までの距離に対応する距離情報に応じて前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１のリフォーカス係数を設定する第１の設定手段と、
   前記ライトフィードデータを得る際の移動体を検出する移動体検出手段とを備え、
   前記第１の設定手段は、前記移動体がリフォーカス処理後の被写界深度であるリフォーカス範囲から除かれるように前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記第１のリフォーカス係数を設定する第１の設定手段を有し、
   前記第１の設定手段は、前記第１のリフォーカス画像データおよび前記第２のリフォーカス画像データの重複箇所に主被写体が存在しないと、前記ライトフィールドデータが取り得る最も深い被写界深度であるリフォーカス範囲に前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記第１のリフォーカス係数を設定する第１の設定手段を有し、
   前記第１の設定手段は、前記第１のリフォーカス画像データおよび前記第２のリフォーカス画像データの重複箇所に存在する複数の被写体の全てがリフォーカス処理後の被写界深度であるリフォーカス範囲に含まれるように前記第１のリフォーカス係数を設定することを特徴とする請求項１又は２に記載の画像処理装置。
8. 前記第１のリフォーカス画像データおよび前記第２のリフォーカス画像データの重複箇所において前記ライトフィールドデータのボケ量を算出するボケ量算出手段と、
   前記ボケ量に応じて前記第１のリフォーカス係数を設定する第１の設定手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。
9. 前記第１の設定手段は前記ボケ量が所定の閾値を超えると、前記ボケ量が小さくなるように前記第１のリフォーカス係数を変更することを特徴とする請求項８に記載の画像処理装置。
10. 前記リフォーカス処理手段は、前記ボケ量が所定の閾値を超えた際に行う再リフォーカス処理を前記重複箇所に対して行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記検出手段は、前記複数の第１のリフォーカス画像データ間を比較して対応する領域を検出することで前記位置ずれを検出することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第２のリフォーカス係数を設定する第２の設定手段を有し、
    前記第２の設定手段は、記第２のリフォーカス係数を主被写体の距離情報に基づいて設定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第２のリフォーカス係数を設定する第２の設定手段を有し、
    前記第２の設定手段は、前記第２のリフォーカス係数を前記第１のリフォーカス係数と同一のリフォーカス係数に設定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記第２のリフォーカス係数を設定する第２の設定手段を有し、
    前記第２の設定手段は、記第２のリフォーカス係数をユーザ操作に応じて設定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 画像処理装置の制御方法であって、
    ライトフィールドデータを取得する取得ステップと、
    第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、
    前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、
    前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、
    を有することを特徴とする制御方法。
16. 画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    ライトフィールドデータを取得する取得ステップと、
    第１のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第１のリフォーカス画像データを生成し、前記第１のリフォーカス係数と異なる第２のリフォーカス係数に応じて複数の前記ライトフィールドデータをリフォーカス処理して複数の第２のリフォーカス画像データを生成するリフォーカス処理ステップと、
    前記複数の第１のリフォーカス画像データに基づいて前記複数の第２のリフォーカス画像データ間の位置ずれを検出する検出ステップと、
    前記検出ステップで検出された位置ずれに基づいて前記複数の第２のリフォーカス画像データを位置合わせする位置合せステップと、
    を実行させることを特徴とする制御プログラム。

Images