JP2024002631A - 画像処理装置、撮像装置、画像処理方法、コンピュータのプログラムおよび記録媒体 - Google Patents

Abstract

【課題】 ユーザの設定などに応じフォーカスブラケットで得られた画像の画角を補正する方法を提供する。【解決手段】 画像処理装置は、ピント位置の異なる複数の画像に対して、合成を行う合成手段と、前記複数の画像に対して、画角の補正を行う補正手段と、前記補正手段が前記補正を行う場合、前記補正を行った後の画像を表示する表示手段と、を有し、前記合成手段が前記合成を行う場合、前記補正手段が前記補正を行い、前記合成手段が前記合成を行わない場合、前記補正手段が前記補正を行わないことを特徴とする。【選択図】 図９

Description

本発明は、画像処理装置に関するものであり、特にピント位置の異なる複数の画像を表示する画像処理装置に関するものである。

特許文献１には、被写体に対して、ピント位置を変えながら複数の画像を撮像し、ピント位置が異なる複数の画像を生成する、いわゆるフォーカスブラケットの技術が開示されている。

特開２００８－１０９７０号公報

しかしながら、フォーカスブラケットの技術では、たとえピント位置以外の設定を変えずに複数の画像を撮像するとしても、撮像で得られた複数の画像の間の画角が変わってしまう課題がある。

本発明は、上記の課題を鑑みてなされたものであり、フォーカスブラケットの撮像で得られた画像の画角を補正する画像処理装置を提供することを目的とする。

本発明は、ピント位置の異なる複数の画像に対して、合成を行う合成手段と、前記複数の画像に対して、画角の補正を行う補正手段と、前記補正手段が前記補正を行う場合、前記補正を行った後の画像を表示する表示手段と、を有し、前記合成手段が前記合成を行う場合、前記補正手段が前記補正を行い、前記合成手段が前記合成を行わない場合、前記補正手段が前記補正を行わない画像処理装置を提供する。

本発明の画像処理装置によれば、ユーザの設定などに応じて、フォーカスブラケットの撮像で得られた画像の画角を補正できる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における被写体像が結像面に結像する様子を説明するための図である。 本発明の実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の実施形態における撮像について説明するためのフローチャートである。 本発明の実施形態における深度合成での位置合わせについて説明するためのフローチャートである。 本発明の実施形態における深度合成の画像の合成について説明するためのフローチャートである。 本発明の実施形態における画角の補正を説明するためのフローチャートである。 本発明の実施形態における画像の切り出し処理を説明するための図である。 本発明の実施形態における画像の表示を説明するための図である。 本発明の実施形態における画像の表示を説明するためのもう１つの図である。 本実施形態におけるデジタルカメラ１００の表示部１０８での表示の一例を説明するための図である。 本発明の実施形態における画像切り替えの一例について説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

＜デジタルカメラの概要＞
図１は本実施形態に係る画像の撮像のためのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成などが可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

＜被写体結像の説明＞
以下では、被写体結像について簡単に説明する。

図２は、本実施形態における被写体像が結像面に結像する様子を説明するための図である。

図２（ａ）は、被写体２０１が光学レンズ２０２によって面２０３ａ上に像２０４として結像している様子を示している。すなわち、面２０３ａと撮像部１０４の撮像センサ面とが互いに一致すれば、被写体２０１は面２０３ａにて「点」として結像し、合焦画像として記録される。

図２（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面２０３ｂが図２（ａ）に示される面２０３ａとは異なる位置にある場合、光学レンズ２０２により結像される被写体２０１は、錯乱円２０５として撮像センサ面２０３ｂ上に写る。図２（ｂ）に示したような状況では、錯乱円２０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円２０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円２０５が許容錯乱円よりも大きい場合、撮像センサ面２０３ｂではぼけた画像が得られる。

図２（ｃ）は、上記の様子を側面から示した図である。ここで、焦点２１０にて被写体が結像し、面２１１ａの位置に撮像センサ面が存在する場合、錯乱円径２１２ａが得られる。図２（ｃ）に示した錯乱円径２１２ａは、撮像センサの許容錯乱円径２１３よりも小さい。そのため、撮像センサにて記録される画像２１７は、ボケの無い合焦画像となる。一方、撮像センサ面が面２１４ａの位置に存在する場合、このときの錯乱円径２１５ａは、許容錯乱円径２１３よりも大きい。そのため、撮像センサ面２１４ａ上の画像２１８ａは、ぼけた画像となる。錯乱円径２１２ａが許容錯乱円径２１３よりも小さくなる斜線で示される領域は焦点深度２１６ａであり、焦点深度２１６ａを被写体側に換算して置き換えたものが被写界深度となる。

図２（ｄ）は、図２（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、入射光の径が奥行きの違いとなるため、面２１１ｂに対しての錯乱円径２１２ｂ、面２１４ｂに対しての錯乱円径２１５ｂのようにそれぞれ変化する。図２（ｃ）の錯乱円径２１５ａと比較して、図２（ｄ）の錯乱円径２１５ｂは小さい。そのため、図２（ｄ）に示した画像２１８ｂは、画像２１８ａよりもボケ量の少ない画像となる。また、図２（ｄ）に示した焦点深度２１６ｂは、焦点深度２１６ａよりも深い。

＜フォーカスブリージング＞
フォーカスブリージングとは、デジタルカメラを用いて撮像を行うとき、ズームレンズは一切動かさず、フォーカスリングだけ動かしていていても画角が変化してしまう現象である。フォーカスブリージングは、フォーカス群が移動するとき、変倍作用を発揮してしまうことに起因する。とくに近距離にピントを合わせた時、レンズの実焦点距離が大きく変わってしまうことがあり、フォーカスブリージングの減少がより顕著に表れる。

フォーカスブリージングにより、被写体に対して複数の画像を撮像するとき、ピント位置を変えると、たとえピント位置以外の設定を変更しなくても、画角が変えてしまう可能性がある。フォーカスブラケットの撮像においては、ピント位置を変えただけで、得られた複数の画像の間の画角が異なる可能性がある。

図３は、本実施形態におけるピント位置と像倍率との関係を示す関数を説明するための図である。図３で示した関数においては、像倍率はピント位置に対して単調減少である。図３に示したようなピント位置と像倍率との関係は、レンズの種類によって異なり、レンズの固有情報としてあらかじめ測定で得られる。また、図３に示したようなピント位置と像倍率との関係から、ピント位置と画角との関係も得られる。なお、ここでいう像倍率は、撮像素子に結像された被写体像の大きさと、実際の被写体の大きさの比を指す。

＜深度合成の説明＞
フォーカスブラケットのひとつの応用例としては、深度合成が挙げられる。

図４は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体４１～４３を想定している。それぞれの被写体４１～４３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体４１、４２、４３の順に位置している。複数の被写体４１～４３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲４００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。被写界深度４１１～４１６は、それぞれの撮像における焦点深度を示し、焦点範囲３００をカバーするように並んでいる。すなわち、被写界深度４１１～４１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲４００の範囲内の被写体４１～４３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲４００の全域（ブラケット全域）で合焦した画像を得ることができる。

また、深度合成の技術は、解像感の高い画像を得ることにも有用である。フォーカスブラケットの撮像において、それぞれの画像を撮像するときの被写界深度を浅くすると、合焦領域において極めて解像感の高い画像領域が得られる。それぞれの合焦領域に対して合成を行うと、合成画像でも高い解像感が維持できる。

次は、本実施形態における深度合成の画像の生成のフローについて説明する。

図５は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ５０１では、撮像部１０４は、光軸方向でのピント位置の異なる複数の画像を撮像する。ステップＳ５０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して位置合わせを行う。ステップＳ５０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、被写界深度のより深い合成画像を生成する。

以下では、図５に示したそれぞれのステップについて詳細に説明する。

図６は、本実施形態におけるステップＳ５０１での撮像について説明するためのフローチャートである。

ステップＳ６０１で、制御部１０１は、撮像の設定を行う。たとえば、ユーザがタッチパネルなどで、合焦したい位置を指定し、制御部１０１が、ユーザが指定した箇所が最も至近側のピント位置として、順次にあらかじめ定められたピント間隔で、所定の枚数で、ほかのピント位置を特定する。また、制御部１０１が、ユーザが指定した箇所が最も無限遠側のピント位置としてもよい。

または、制御部１０１が、光学系１０３を通し、自動合焦を利用して最初のピント位置を特定してもよい。

または、ユーザがタッチパネルなどで、２つの箇所を指定し、制御部１０１が、ユーザが指定した箇所を最も無限遠側と最も至近側とのピント位置とする。

ステップＳ６０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

ステップＳ６０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、図６に示したフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ６０２に戻る。

また、撮像部１０４を複数有する多眼カメラの場合、ステップＳ６０１で設定された複数のピント位置で同時に撮像してもよい。

図７は、本実施形態における深度合成での位置合わせについて説明するためのフローチャートである。

ステップＳ７０１では、制御部１０１は、ステップＳ５０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、たとえば、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ７０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ７０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ７０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ７０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ７０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ７０５で、画像処理部１０７は、ステップＳ７０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、下記の（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

ステップＳ７０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、図７に示したフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ７０２に戻る。

また、上述した多眼カメラで撮像された複数の画像を位置合わせする場合、光学系１０３の位置の違いにより生まれる視差量をステップＳ７０３でずれ量算出で求める事が出来るため、同様の処理で位置合わせを行うことが出来る。

図８は、本実施形態における深度合成の画像の合成について説明するためのフローチャートである。

ステップＳ８０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）ないし（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ８０２で、画像処理部１０７は合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

（式６）では、Ｃｍ（ｘ，ｙ）はステップＳ８０１で算出したコントラスト値を表し、Ａｍ（ｘ，ｙ）は合成マップの比率を表す。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。

ただし、ステップＳ８０２では、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

ステップＳ８０３で、画像処理部１０７は、ステップＳ８０２で生成した合成マップを用いて、位置合わせの後の画像に対して合成処理を行い、合成画像を生成する。

＜深度合成の合成画像の画角＞
前述した深度合成において、ステップＳ８０３で得られた合成画像は、ステップＳ６０２での撮像で得られた画像と比べて、前述したフォーカスブリージングのため、画角が狭くなる可能性がある。ステップＳ６０２で撮像部１０４が撮像した複数の画像は、ピント位置が変わってしまったため、画角も変わってしまう可能性がある。つまり、ステップＳ６０２で撮像部１０４が撮像した複数の画像の画角が同じでない。画像処理部１０７がステップＳ６０２で撮像部１０４が撮像した複数の画像を用いて合成画像を生成するとき、最も画角の狭い画像の画角に合わせて合成画像の画角を決定しなければならない。そのため、合成画像の画角は、ステップＳ６０２で撮像部１０４が撮像した複数の画像のうち、画角の最も狭い画像の画角と同じになる。言い換えれば、画角の最も狭い画像以外の画角は、合成画像の画角と異なる。

上記のように、撮像画像と合成画像との画角の違いは、ユーザが違和を感じることもある。例えば、ユーザがフォーカスブラケットの撮像を行うとき、画角が狭くなる方向で撮像するのであれば、ユーザが最初に表示部１０８で見た画角と最後に合成で得られた画像の画角と異なる。

そのため、フォーカスブラケットで得られた複数の画像に対して、画角の最も狭い画像の画角に合わせて画角を補正することが考えられるが、深度合成の処理を行わない場合では、画角を補正しなくてもよい。

そこで、本実施形態において、制御部１０１は、深度合成の処理を行うかどうかに応じて、フォーカスブラケットの撮像で得られる画像に対して画角の補正を行うかどうかを決める。

図９は、本実施形態における画角の補正を説明するためのフローチャートである。

ステップＳ９０１で、撮像部１０４は、フォーカスブラケットの撮像を行う。ステップＳ９０１での処理は、図６に示したフローと同一だと考えてよい。撮像部１０４が、決められた複数の異なるピント位置で複数の画像を撮像する。

ステップＳ９０２で、制御部１０１は、深度合成のモードであるかどうかを判断する。ここいう深度合成のモードであるかどうかを判断することは、デジタルカメラ１００の１つの機能としての深度合成が、アクティブな状態であるかどうかを判断する。たとえば、デジタルカメラ１００が深度合成のモードのほかに、普通の連写モードなどを有するとすると、普通の連写モードでなく、深度合成のモードが選ばれていることを、制御部１０１が判断する。

深度合成のモードである場合、フローがステップＳ９０３に進み、ステップＳ９０３では、画像処理部１０７が画角の補正を行う。

ステップＳ９０３での画角の補正の方法としては、一例として画像処理部１０７が、複数の画像の画角のうち、最も狭い画角を基準にし、ほかの画像に対して切り出し処理を行う。

図１０は、本実施形態における画像の切り出し処理を説明するための図である。画像１００１と画像１００２とは、フォーカスブラケットの撮像で得られた２枚の画像であるとする。画像１００２の画角は、フォーカスブラケットの撮像で得られた画像のうち、最も狭い画角とする。画像処理部１０７は、画像１００２の画角を基準とする。そして、画像処理部１０７は、画像１００１に対して、画像１００２の画角に相当する部分１００３を切り出す。画像処理部１０７は、同じような処理を、フォーカスブラケットの撮像で得られた画像１００２以外のすべての画像に対して行う。その結果、フォーカスブラケットの撮像で得られたすべての画像が同じ画角を有するようになる。

また、画像処理部１０７は、実際に撮像した画像の画角を比較しなくても、ピント位置と画角との関係を用いて画角の補正を行ってもよい。前述した通り、ピント位置と像倍率との間に、図３に示した固有的な関係がある。像倍率と画角とは、一定の関係が認められることから、画角とピント位置との間の関係も、レンズの固有情報として得られる。画像処理部１０７は、レンズの固有情報である画角とピント位置との関係を取得し、フォーカスブラケットの撮像のピント位置を用いて、フォーカスブラケットの撮像で得られた複数の画像の間の画角の相対関係が取得できる。つまり、画像処理部１０７は、基準となる画像のピント位置と補正対象の画像のピント位置との情報があれば、補正対象の画像の画角の補正を行える。

図１１は、本実施形態における画像の表示を説明するための図である。図１１（ａ）は、深度合成の画像を生成する場合の表示部１０８の表示を示している。図１１（ａ）では、深度合成の画像を生成するのに用いられる画像（撮像画像）と合成画像とを同時に表示する様子が示されている。画像処理部１０７は、表示部１０８に表示される画像の画角を揃えるための補正を行うと、表示部１０８に表示される画像の画角が統一される。

図１１（ｂ）は、深度合成の画像を表示せず、撮像画像のみ表示する場合の表示部１０８の表示を示している。図１１（ｂ）の場合でも、画像処理部１０７は、表示部１０８に表示される画像の画角を揃えるための補正を行うことができる。

図１２は、本実施形態における画像の表示を説明するためのもう１つの図である。図１１（ａ）は、表示部１０８に撮像画像１が表示されている様子を示す。図１１（ｂ）は、表示部１０８に撮像画像２が表示されている様子を示す。図１１（ｃ）は、表示部１０８に撮像画像１５が表示されている様子を示す。図１１（ｄ）は、表示部１０８に合成画像が表示されている様子を示す。

ユーザが、操作部１１０に設けられるキーまたはタッチパネルなどを操作することによって、図１１に示したような画面で撮像画像１を選択し、表示部１０８が図１２（ａ）のような表示に遷移する。同様に、ユーザが、操作部１１０操作することによって、図１１に示したような画面で撮像画像２を選択し、表示部１０８が図１２（ｂ）のような表示に遷移する。また、ユーザが、操作部１１０操作することによって、図１１（ａ）に示したような画面で撮像画像２を選択し、表示部１０８が図１２（ｄ）のような表示に遷移する。

また、表示部１０８が図１２のように、１つの画像を表示する状態から、別の１つの画像を表示するように遷移してもよい。たとえば、表示部１０８は、図１２（ａ）のように、撮像画像１を表示しているとする。ユーザが、操作部１１０に設けられるキーなどを操作することで、表示部１０８が図１２（ｂ）のように、撮像画像２を表示するように、画像の切り替えを行う。ユーザがさらに、撮像部１１０を操作することで、順次に撮像画像を表示部１０８に表示させることができる。表示部１０８がすべての撮像画像を表示すると、ユーザがさらに操作部１１０を操作すると、表示部１０８が合成画像を表示する。

なお、図１１、図１２に示した撮像画像の枚数は、一例に過ぎない。

画像処理部１０７が撮像画像の画角に対して補正を行わないと、表示部１０８は、順次に撮像画像を表示している間に、撮像画像の間の画角が変わっているように見える。画像処理部１０７が撮像画像の画角に対して補正を行うと、表示部１０８は、順次に撮像画像を表示している間に、撮像画像の間の画角が同一に見える。ユーザから見て、ピント位置による画像間の変化をより顕著に見える。

さらに、ユーザが別の方法を用いて表示部１０８に表示される画像を選択してもよい。たとえば、デジタルカメラ１００の内蔵メモリ１０９に、フォーカスブラケットで撮像された複数の撮像画像が記録されているとし、デジタルカメラ１００の表示部１０８に兼用されるタッチパネルが操作部１１０として機能するとする。図１３は、本実施形態におけるデジタルカメラ１００の表示部１０８での表示の一例を説明するための図である。図１３には、表示部１０８が、フォーカスブラケットで撮像された複数の撮像画像のうちの任意の１枚の画像を表示している様子を示している。ユーザが、表示部１０８に兼用されるタッチパネルのエリア１３１１をタッチすると、表示部１０８がフォーカスブラケットで撮像された複数の撮像画像のうち、エリア１３１１が最も合焦している画像を表示する。このように、デジタルカメラ１００が、ユーザが指定した領域に合焦する画像を素早く表示できる。

上記の画像の表示の切り替え方法は、予め画像の合焦位置の情報を画像とともに内蔵メモリ１０９に記録することにより実現できる。あるいは以下のような方法で実現できる。

図１４は、本実施形態における画像切り替えの一例について説明するための図である。図１４に示した画像１４０１は、図１３に示した１３０１と同じように、フォーカスブラケットで撮像された複数の撮像画像のうちの任意の１枚の画像である。画像１４０１には、後述する処理のために複数のブロックに分割されている。図１４に示したようなブロックの分割は、説明上の便宜のために描かれているものであり、実際の分割は図１４に示したものよりはるかに細かい。ユーザがエリア１３１１に相当する箇所にタッチすると、制御部１０１は、ユーザがタッチしたエリア１３１１に相当する斜線のブロック１４１１を特定する。次に、画像処理部１０７は、フォーカスブラケットで撮像されたすべての撮像画像の、ブロック１４１１に相当する複数のブロックから、コントラスト値を算出する。コントラスト値の算出方法は、前述した（式２）ないし（式５）に記載の方法で算出してよい。制御部１０１は、ブロック１４１１に相当する複数のブロックのうち、コントラスト値が最も高いブロックが合焦しているものとする。次に、表示部１０８は、合焦しているブロックを有する撮像画像を表示する。

以上に述べた方法を用いても、表示部１０８は、ユーザがタッチした箇所が最も合焦された画像を素早く表示できる。

また、以上の記載におけるユーザがタッチパネルにおけるタッチの操作は、タッチパネルが設けられていないデジタルカメラ１００において、操作部１１０に設けられるボタンやキーなどで等価の操作が実現できる。たとえば、表示部１０８が、図１４に示したように、画像にブロックを表示し、ユーザが、ボタンやキーなどで合焦させたいブロックを順次選択し、確定ボタンで表示部１０８が合焦させたいブロックが対応する画像を表示するといった実施方法も考えられる。

本実施形態によれば、ピント位置の異なる複数の撮像画像に対して、合成の実施有無に応じて、撮像画像を表示するときに画角を補正するかどうかを決めることができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、合成機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。

また、上記の実施形態における撮像は、別の実施方法によって実現できる。たとえば、ＭＰ４などの動画形式で動画を撮像している間にピント位置を変更し、得られる動画の各フレームをフォーカスブラケットでの撮像画像と等価に使える。このような方法では、より低い処理負荷でピント位置の異なる複数の画像が得られる。

また、上記の実施形態に応じて、画角を補正した後の画像を表示する処理は、代わりに、画像１００１の部分１００３のように、補正後の画角に相当する枠線を重ねて表示する処理に変えることで、同様な効果が得られる。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (23)

1. ピント位置の異なる複数の画像に対して、合成を行う合成手段と、
   前記複数の画像に対して、画角の補正を行う補正手段と、
   前記補正手段が前記補正を行う場合、前記補正を行った後の画像を表示する表示手段と、を有し、
   前記合成手段が前記合成を行う場合、前記補正手段が前記補正を行い、
   前記合成手段が前記合成を行わない場合、前記補正手段が前記補正を行わないことを特徴とする画像処理装置。
2. 前記補正手段は、前記画像に対して切り出すことで前記補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像は、光軸方向において前記ピント位置が異なることを特徴とする請求項１に記載の画像処理装置。
4. 前記補正手段は、前記複数の画像の前記画角が同じになるように前記補正を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記複数の画像は、前記ピント位置の違いに起因して前記画角が異なることを特徴とする請求項１に画像処理装置。
6. 前記表示手段は、前記複数の画像のうちの少なくとも一部の画像を同時に表示することを特徴とする請求項１に記載の画像処理装置。
7. 前記表示手段は、前記複数の画像のうちの少なくとも一部の画像を、順次に表示することを特徴とする請求項１に記載の画像処理装置。
8. 前記表示手段は、ユーザの操作に従い、前記複数の画像のうちの少なくとも一部の画像を、順次に表示することを特徴とする請求項７に記載の画像処理装置。
9. 前記表示手段は、前記複数の画像のうちの少なくとも一部の画像を同時に表示した後に、前記複数の画像のうちの１枚の画像を表示することを特徴とする請求項６に記載の画像処理装置。
10. 前記表示手段は、前記複数の画像のうちの少なくとも一部の画像を同時に表示した後に、ユーザの操作に従い、前記複数の画像のうちの１枚の画像を表示することを特徴とする請求項９に記載の画像処理装置。
11. 前記表示手段は、前記複数の画像のうちの第１の画像を表示した後に、前記複数の画像のうちの、前記第１の画像と異なる第２の画像を表示することを特徴とする請求項１に記載の画像処理装置。
12. 前記表示手段は、前記第１の画像を表示した後に、ユーザの操作に従い、前記第２の画像を表示することを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示手段が表示している前記第１の画像の第１の領域にユーザが指定した後に、
    前記表示手段が、前記第２の画像を表示し、
    前記第２の画像の前記第１の領域に対応する第２の領域が合焦していることを特徴とする請求項１２に記載の画像処理装置。
14. 前記表示手段はタッチパネルを含み、ユーザが前記タッチパネルを用いて前記第１の領域を指定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記複数の画像は、動画のフレームであることを特徴とする請求項１に記載の画像処理装置。
16. 前記動画は、ＭＰ４形式の動画であることを特徴とする請求項１５に記載の画像処理装置。
17. 前記合成手段は、前記合成で合成画像を生成し、
    前記合成画像の被写界深度は、前記複数の画像のいずれの画像の前記被写界深度よりも深いことを特徴とする請求項１ないし１６のいずれか１項に記載の画像処理装置。
18. 前記合成手段は、前記複数の画像のそれぞれの合焦している領域を用いて前記合成を行うことを特徴とする請求項１７に記載の画像処理装置。
19. 前記合成手段は、前記複数の画像のコントラスト値を用いて前記複数の画像のそれぞれの合焦している領域を特定することを特徴とする請求項１８に記載の画像処理装置。
20. ピント位置の異なる複数の画像を撮像する撮像手段と、
    前記複数の画像に対して、合成を行う合成手段と、
    前記複数の画像に対して、画角の補正を行う補正手段と、
    前記補正手段が前記補正を行う場合、前記補正を行った後の画像を表示する表示手段と、を有し、
    前記合成手段が前記合成を行う場合、前記補正手段が前記補正を行い、
    前記合成手段が前記合成を行わない場合、前記補正手段が前記補正を行わないことを特徴とする撮像装置。
21. ピント位置の異なる複数の画像に対して、合成を行う合成ステップと、
    前記複数の画像に対して、画角の補正を行う補正ステップと、
    前記補正ステップにおいて前記補正を行う場合、前記補正を行った後の画像を表示する表示ステップと、を有し、
    前記合成ステップにおいて前記合成を行う場合、前記補正ステップにおいて前記補正を行い、
    前記合成ステップにおいて前記合成を行わない場合、前記補正ステップにおいて前記補正を行わないことを特徴とする画像処理方法。
22. 画像処理装置をコンピュータに動作させるプログラムであって、
    ピント位置の異なる複数の画像に対して、合成を行う合成ステップと、
    前記複数の画像に対して、画角の補正を行う補正ステップと、
    前記補正ステップにおいて前記補正を行う場合、前記補正を行った後の画像を表示する表示ステップと、を行わせ、
    前記合成ステップにおいて前記合成を行う場合、前記補正ステップにおいて前記補正を行い、
    前記合成ステップにおいて前記合成を行わない場合、前記補正ステップにおいて前記補正を行わないことを特徴とするコンピュータのプログラム。
23. 請求項２２に記載のプログラムを記憶したコンピュータが読み出し可能な記憶媒体。

Images