JP6377129B2 - 画像撮像装置 - Google Patents

Description

本発明は画像撮像装置に関する技術であり、特に、複数の撮影画像から被写界深度とダイナミックレンジを拡大することが可能な画像撮像装置に関する。

フォーカスの合った鮮明な画像を撮像するための技術として、自動的に所定位置にフォーカスを合わせるオートフォーカス技術が知られている。オートフォーカス技術の方式には、位相差方式やコントラスト方式などが知られており、近年のコンパクトデジタルカメラやスマートフォンに搭載されるカメラの多くには、コントラスト方式のオートフォーカスが搭載されている。これらの技術により、フォーカスが合わされた被写体は鮮明に、被写界深度の範囲から外れた被写体はぼけて一つの画像内に撮影画像として記録される。

一方、近年では高速連写撮影が可能となり、複数の連写撮影画像から被写界深度を拡大した画像を合成する技術が開発されている。このような技術により、近景から遠景まで広い範囲の被写体が同時に合焦した画像を取得できるようになっている。

ところが、被写界深度が拡大したことにより、従来では問題にならなかった画像内の一部領域の階調飽和が画質劣化として認識されるようになった。例えば、近景の人物を撮影したときに、遠景が明る過ぎて階調が飽和してしまうと、合焦して撮影されるはずの被写体が、従来のぼけた被写体と同じような画像となってしまう。

そこで、被写界深度とダイナミックレンジを拡大することが可能な技術が提案されており、例えば、特許文献１がある。特許文献１の一つの実施例で、撮像装置の感度ごとに焦点を合わせて撮影し、撮影された複数の画像を合成する方法が開示されている。しかし、この方法では、被写界深度から外れて撮影された被写体周辺で画質劣化が生じてしまう。これは特許文献１でも開示されている。そこで、特許文献１の他の実施例として、それぞれの撮影感度において、フォーカスを異ならせて撮影し、複数の画像を合成することが開示されている。つまり、被写界深度を拡大した感度の異なる画像からダイナミックレンジを拡大する、または、ダイナミックレンジを拡大したフォーカスが異なる画像から被写界深度を拡大することにより、被写界深度とダイナミックレンジの拡大を実現している。

特開２０１３−１０６１１３号公報

しかしながら、上記方法は以下のような課題を有する。

特許文献１で開示されているような技術で、被写界深度とダイナミックレンジを拡大すると、撮影時間と処理時間が増加してしまう。

例えば、露出の設定が高感度、中感度、低感度の３段階で、フォーカス位置が近景、中景、遠景の３段階の場合、特許文献１の方法では、各感度を各フォーカス位置で撮影するので９（３×３）回の撮影が必要となる。この処理を行っている期間内に被写体が動いてしまうと、撮影した被写体を重ねて合成することができず、被写体が二重像となって画質劣化の原因になってしまう。つまり、特許文献１の方法では、撮影枚数が増加しているため、被写体の動きや、手振れによって画質劣化が発生する可能性が高い。連写画像を利用して合成する場合、被写体の動きに影響されない画像を合成するために、可能な限り短い時間で撮影することが必要である。

また、撮影画像が増加すると合成するための時間も増加して、ユーザーの待ち時間が増加してしまう。例えば、近景に暗い被写体がある場合には、近景の高感度の画像が重要であり、合成に使用されない画像も存在する可能性がある。つまり、特許文献１では、各感度条件およびフォーカス位置で撮影を行うため、各画像での画像処理により処理量が増加してしまう。連写画像を利用して合成する場合、合成による処理量を低減するために、可能な限り少ない画像で撮影することが必要である。

さらに、特許文献１では、各感度でフォーカスを合わせる方法が開示されているが、各感度での合焦度合いを評価する必要があるため、撮影開始までの時間が必要となってしまい、シャッタチャンスを逃す可能性が高くなってしまう。また、予め決められた撮影条件で撮影する場合には、撮影シーンに合った撮影ができない、または、撮影条件が多数になってしまい、画像が正しく合成されない可能性が高くなってしまう。

本発明は、上記課題に鑑みてなされたものであり、被写界深度とダイナミックレンジを拡大するときに、撮影枚数を低減して高画質で処理量を低減した画像撮像装置を提供することを目的とする。

本発明の一観点によれば、設定されたフォーカス位置、および、露出にしたがって画像情報を取得する撮像素子と、前記フォーカス位置、および、前記露出の設定を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える画像撮像装置であって、前記制御部が、前記露出の設定を一定にして前記フォーカス位置を異ならせて画像情報を取得する第一撮影モードと、前記フォーカス位置を一定にして前記露出の設定を異ならせて画像情報を取得する第二撮影モードと、を備え、前記第一撮影モードと前記第二撮影モードとで取得した画像情報から、前記画像処理部で画像処理を行うことを特徴とする画像撮像装置が提供される。

本明細書は本願の優先権の基礎である日本国特許出願２０１４−０３０９７４号の明細書および／または図面に記載される内容を包含する。

本発明の画像撮像装置によれば、合成に必要な画像を短時間で撮影しつつ、被写界深度とダイナミックレンジを拡大した画像を、高画質で合成することが可能となる。またその際に、処理量を低減して合成することが可能となる。

本発明の画像撮像装置の構成例を示す図である。 撮影シーンの例を示す図である。 撮影シーンの例を示す図である。 ユーザーによる被写体の指定を示す図である。 補正量算出の基準画像と参照画像の関係を示す図である。 補正量算出の基準画像と参照画像の関係を示す図である。 制御部１０３の画像情報取得制御部１０３ａの一構成例と詳細な構成例を示す機能ブロック図である。 （ａ）は、第１撮影モード制御部による第１の撮影モードの処理の流れを示すフローチャート図である。（ｂ）は、第２撮影モードにおける処理の流れを示すフローチャート図である。 画像処理部の一構成例を示す機能ブロック図である。 画像処理部の処理の流れを示すフローチャート図である。 被写界深度とダイナミックレンジの拡大幅を調整する例を示す図である。

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、各図面における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。

（第１の実施形態）
図１は、本発明の第１の実施形態による画像撮像装置の一構成例を示す機能ブロック図である。本実施形態の画像撮像装置１００は、撮像素子１０１、画像処理部１０２、制御部１０３、画像表示部１０４、画像記憶部１０５を備える。符号１０３ａについては後述する。

撮像素子１０１は画像情報を取得し、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサといった固体撮像素子とレンズなどにより構成される。画像を取得するときの露光時間や感度は、制御部１０３で設定された露出条件となる。また、撮像素子１０１はフォーカスを調整するための部品や機構を備えており、例えば、アクチュエータでレンズを駆動したり、液体レンズなどを駆動したりすることで実現される。取得された画像情報は、画像処理部１０２に伝達される。

画像処理部１０２は、伝達される画像情報に対して画像処理を行う。画像処理としては、後述する被写界深度とダイナミックレンジを拡大した画像を合成する処理に加え、ノイズリダクション、シャープネス、彩度強調、コントラスト強調、ホワイトバランス、ガンマ補正、ファイル圧縮など適切な処理を適宜行う。

制御部１０３は、撮像素子１０１で取得される画像情報から、撮像素子１０１で撮影する条件であるフォーカスや露出などを制御する。例えば、コントラスト方式によるフォーカス制御などがある。

画像処理部１０２および制御部１０３等は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

画像表示部１０４は、画像処理部１０２で画像処理が行われた画像情報を表示する。表示される画像情報は、撮影前のプレビュー画像や撮影画像などである。画像表示部１０４は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどで構成される。

画像記憶部１０５は、撮影された画像情報を圧縮または非圧縮で記憶することができ、画像撮像装置１００に装着されるフラッシュメモリやハードディスクなどの記憶媒体に画像情報を記憶させる。

図２は、撮像素子１０１で撮影されるシーンの例を示す図である。撮影シーンには、画像撮像装置１００からの距離が異なる、被写体Ａ、被写体Ｂ、被写体Ｃが存在するものとする。図３（Ａ）に示すように、画像撮像装置１００から近い順に、被写体Ａ、被写体Ｂ、被写体Ｃが存在している。制御部１０３では、撮像素子１０１から得られる情報などからフォーカス位置を調整する。従来、被写界深度を拡大する技術、特に近景から遠景の全ての被写体にフォーカスを合わせる場合には、フォーカスを合わせる操作を行う必要は無かったが、本実施形態では、被写界深度を拡大するとともに、ダイナミックレンジを拡大するために適切なフォーカス位置調整を行う。フォーカス位置調整のための合焦度の評価には、従来から使用されている技術を使用することができ、例えば、画像の各領域で画素間のコントラストを算出し、コントラストの大きさと量によって評価を行うことができる。例えば、図２のシーンでは、近景、中景、遠景、に被写体が存在するので、合焦度の評価値である合焦評価値は図３（Ｂ）のように、被写体Ａ、被写体Ｂ、被写体Ｃ、が各々にフォーカスが合う位置で合焦評価値が高くなる。

本実施形態の画像撮像装置は、被写界深度を拡大するために、少なくとも２つの撮影モードを有し、第１撮影モードとしてフォーカス位置が異なる画像を複数撮影する。このとき、近景のフォーカス位置は被写体Ａに合焦したフォーカス位置とし、順次遠景に向かってフォーカス位置をずらして撮影を行う。図３（Ａ）ではフォーカス位置の異なる３枚の画像情報として、被写体Ａを被写界深度に含む画像情報Ａ、被写体Ｂを被写界深度に含む画像情報Ｂ、被写体Ｃを被写界深度に含む画像情報Ｃ、を取得する。また、フォーカス位置を異ならせて複数の画像情報を取得する場合、露出設定は固定して撮影を行う。ここで、第１撮影モードの露出設定は、近景と判断された被写体Ａに露出が合うように重み付けをして設定する。例えば、画像情報を複数の領域に分割しておき、各領域で合焦評価値を算出しておくことで、各領域にどの距離の被写体が多く含まれているかを推定することができ、近景被写体が多く含まれている領域に重み付けをして、従来からある自動露出設定技術により露出を設定する。従来の自動露出設定としては、例えば、対象領域内の飽和画素割合、画素平均値、などにより算出する方法を用いることができる。これにより、第１撮影モードでの撮影では近景の被写体に露出が合った状態で撮影され、後述する第２撮影モードで遠景の被写体に露出が合った画像を撮影すると、効率的にダイナミックレンジを拡大することができる。

ここで、近景被写体のフォーカス位置は、例えば、合焦評価値が設定された閾値を超えた最も近景の極大値として決定することができる。また、近景の被写体をユーザーが指定しても同様の効果が得られる。例えば、ユーザー設定部として、画像表示部１０４をタッチパネルにしておき、図４のようにユーザーが指Ｆでタッチすることで指定したユーザー指定領域内の被写体が合焦するフォーカス位置を近景として設定するようにしても良い。遠景のフォーカス位置は、予め設定された遠景のフォーカス位置でも、設定可能な最遠景のフォーカス位置でも、被写界深度と撮影枚数で算出されるフォーカス位置でも良く、適宜設定することができる。

さらに、本実施形態では、近景から遠景に向かってフォーカス位置を異ならせて撮影を行う方法について説明したが、遠景から近景に向かってフォーカス位置を異ならせても良い。このときの最遠景のフォーカス位置は、無限遠や、合焦評価値が設定された閾値を超えた最も遠景の極大値とすることで決定できる。また、ユーザーがタッチパネルにより指定するようにしても良い。フォーカス位置が遠景の被写体に合わせられたとき、露出も遠景の被写体に重み付けして設定する。近景のフォーカス位置は、予め設定された位置でも、フォーカス設定が可能な最近景でも、合焦評価値から算出しても良く、適宜設定することができる。このようにして、遠景から近景でも同様に実施することができる。

次に、第２撮影モードとして、フォーカス位置を異ならせて３枚の画像情報を取得したのち、制御部１０３でフォーカス位置を固定して露出設定が異なるようにして画像情報を取得する。つまり、最遠景のフォーカス位置である被写体Ｃにフォーカスが合った状態で、露出設定が異なる画像を取得する。フォーカス位置を異ならせて撮影する撮影モードと、露出設定を異ならせて撮影する撮影モードとは独立して行うことができるが、連続して行うと、被写体の動きや手振れの影響を低減することができ好適である。

これは、フォーカス位置を異ならせて撮影したときには、露出設定は近景に合わせて調整されているため、遠景の被写体に露出設定が合っていない可能性があるためである。２つの被写体の配置が近い場合には、両被写体に照射される照明光も似たような状態であるため、明るさも同程度である可能性が高い。したがって、画像撮像装置からの距離が同程度の被写体は、同じ露出設定で撮影できる可能性が高い。一方、２つの被写体の配置が遠い場合には、両被写体に照射される照明光が異なる可能性があり、例えば、室内と室外、日向と日陰、などである。つまり、２つの被写体の配置が遠い場合には、明るさの違いが大きくなる可能性が高く、ダイナミックレンジの広いシーンとなる。

したがって、ダイナミックレンジの広い撮影シーンは、被写体間の距離が大きい場合が多く、近景と遠景の被写体を同時に撮影する場合には、どちらかの露出設定が適切でない可能性がある。そこで、本実施形態では、ダイナミックレンジが広くなる可能性が高い近景と遠景で、露出設定の異なる撮影を行うことにより、明るさの異なる被写体を撮影する。露出設定の異なりは、絞りの無い撮像装置においても露光時間で調整することができる。露光時間を長くすると暗部領域の階調が良好となり、露光時間を短くすると明部領域の階調が良好となる。

ここで、遠景から近景にフォーカス位置を移動させて異なる露出設定の画像を取得するときには、近景の所定位置でフォーカス位置を固定し、露出設定を異ならせて画像情報を取得する。

制御部１０３でフォーカス位置、および、露出設定を制御して、フォーカスを異ならせて撮影した画像情報と、露出設定を異ならせて撮影した画像情報は、画像処理部１０２に伝達されて画像処理が行われる。この画像処理により被写界深度とダイナミックレンジを拡大した画像を合成する。

図６Ｂは、制御部１０３の画像情報取得制御部１０３ａの一構成例を示す機能ブロック図である。画像情報取得制御部１０３ａは、画像情報を取得するときの露出を設定する露出設定部１０３ａ−１、フォーカス位置を設定するフォーカス設定部１０３ａ−２、画像情報を取得しメモリ等への記憶を制御する画像情報取得部１０３ａ−３を備える。制御部１０３が第１撮影モードで制御を行うか、第２撮影モードで制御を行うかによって、画像情報取得制御部１０３ａは画像を取得する制御を異ならせる。

第１撮影モードで撮影を行う場合には、露出設定部１０３ａ−１は露出設定を固定するように設定し、フォーカス設定部１０３ａ−２はフォーカス位置を変化するように設定し、画像情報取得部１０３ａ−３は各画像をメモリ等に記憶する。一方、第２撮影モードで撮影を行う場合には、露出設定部１０３ａ−１は露出設定を変化するように設定し、フォーカス設定部１０３ａ−２はフォーカス位置を固定するように設定し、画像情報取得部１０３ａ−３は各画像をメモリ等に記憶する。

図６Ｃ（ａ）は、第１撮影モードの処理の流れを示すフローチャート図である。処理を開始すると、ステップＳ１で、露出設定部１０３ａ−１が露出設定（固定）を行い、ステップＳ２において、初期値としてｎ＝１とする。ステップＳ３において、フォーカス位置設定部１０３ａ−２が、第ｎ（ここではｎ＝１）にフォーカス位置を設定し、画像情報取得部１０３ａ−３が画像情報を取得し、ステップＳ４で画像情報をメモリ等に記憶する。次いで、ステップＳ５において、ｎ＝ｎ＋１とし、第１撮影モードで撮影すべきｎ_ｍａｘ枚の画像を取得するまで、ステップＳ３に戻って処理を繰り返す。

図６Ｃ（ｂ）は、第２撮影モードにおける処理の流れを示すフローチャート図である。処理を開始すると、ステップＳ１１で、フォーカス位置を固定し（ここではｍ＝１）、ステップＳ１２で露出設定部１０３ａ−１が露出設定を変更し、画像情報取得部１０３ａ−３が画像情報を取得し、ステップＳ１３において、画像情報をメモリ等に記憶させる。次に、ステップＳ１４においてｍ＝ｍ＋１とし、第２撮影モードで撮影すべきｍ_ｍａｘ枚の画像を取得するまで、ステップＳ１２に戻って処理を繰り返す。

ここで、レンズをアクチュエータなどで駆動してフォーカス位置を変化させる場合、フォーカス位置が異なる画像間で撮影される画像情報の画角が異なってしまう。このような場合は、画像間で被写体が重なるように画角の異なりなどを補正する。補正量の算出方法としては、基準画像から複数の特徴点を抽出して、特徴点を含む領域を参照画像で特徴点に対応する点を探索する対応点探索をすることにより、特徴点と対応点の位置の異なりを算出することで実現できる。特徴点には、注目画素と周辺画素との微分値が大きい点や、輪郭やコーナーといった平坦でない画素および領域が抽出される。対応点探索は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などにより、特徴点を含む基準領域と、対応点候補となる参照領域との類似度、または、相違度を評価する。

このとき、例えば、図５（Ａ）のように複数画像のうちの一端の画像を基準画像とし、他の画像を参照画像とするのではなく、図５（Ｂ）のようにフォーカス位置が隣接する画像間で、対応点探索をして補正量を算出すると、画像間の被写界深度の違い、すなわち、合焦度合いの違いを小さくすることができるため、精度良く補正量を算出することができ好適である。

また、フォーカス位置を固定して露出設定を異ならせて撮影した複数の画像に対しても位置合わせを行っても良い。例えば、撮影時のユーザーの手振れにより撮像素子が並進してしまう可能性があるためである。このときの補正量は、上述したフォーカス位置を異ならせて露出設定を固定したときと同様の方法を適用できるが、対応点探索をするときに、露出設定の異なりに基づいて階調を補正した後に実施する必要がある。さらに、特徴点を抽出する基準画像は、露出設定が隣接して対応点探索が行われるように設定すると、画像間の異なりが小さくなり、探索精度が向上して補正精度を向上させることができる。

図６Ａは、本実施形態の撮影画像間の特徴点の探索関係を示しており、フォーカス位置を異ならせて撮影して取得する、近景に合焦した画像１、中景に合焦した画像２、遠景に合焦した画像３、画像３のフォーカス位置で露出設定を異ならせて撮影して取得する、露光時間が長い画像４、露光時間が短い画像５となっている。フォーカス位置が異なる画像間の補正量算出は、画像２を基準画像Ａ、画像１を参照画像１、画像３を参照画像２として対応点探索を行う。一方で、露出設定が異なる画像間の補正量算出は、画像３を基準画像Ｂ、画像４を参照画像３、画像５を参照画像４として対応点探索を行う。したがって、補正量を算出する基準画像が複数設定される。

次に、算出された補正量に基づいて補正変換を行う場合には、最も画角が狭くなる画像を基準画像に設定して変換を行うと良い。つまり、画角が最も狭い画像に合わせて他の画像補正を行うと、撮影されていない領域を最小にすることができるため好適である。

図６Ａにおいて、最も画角が狭い画像が画像１であったときには、画像１に合わせて画像２から５の画像を補正変換する。したがって、補正量算出の基準画像と補正変換の基準画像とが異なって設定される。例えば、画像５を画像１に合わせて補正変換する場合には、画像３と画像５で算出した補正量と、画像２と画像３で算出して補正量と、画像１と画像２で算出した補正量とから、画像５を画像１に補正変換する補正量を算出する。これにより、各画像を基準画像に合わせて補正変換をすることができる。

補正変換により各画像の被写体が重なるようになったのちに、各画像の合成処理を行う。まず、露出設定が異なる画像間からダイナミックレンジを拡大した画像を合成する。各画素の階調値によって各画像の画素値を選択することで実現できる。例えば、注目画素が明るい画素である場合には、露光時間が短い画像の対応画素の階調値に重み付けをして画素値を算出し、注目画素が暗い画素である場合には、露光時間が長い画像の対応画素の階調値に重み付けをして画素値を算出し、注目画素が明るくも暗くもない画素である場合には、露光時間が中間の画像の対応画素の階調値に重み付けをして画素値を算出することで実現できる。これにより、ダイナミックレンジを拡大した画像が生成されることになる。各画像の階調値は、各画像を撮影したときの露出設定を考慮して算出する。例えば、露光時間が２倍違う場合には、階調値としても２倍の違いが発生するためである。階調値の調整は、被写界深度拡大処理を考慮して、フォーカス位置を異ならせて撮影したときの露出設定と同じ露出設定の画像を基準に行う。

一方、フォーカス位置が異なる画像間では、合成される画像の焦点が合うように、各画像からコントラストが高く、合焦していると推定される画素を選択する。例えば、注目画素と周辺画素とから微分値を算出して合焦度合いとし、各画像の対応画素の合焦度合いに応じて重み付け平均することにより合成画像の対応画素を算出する。これにより、被写界深度を拡大した画像が生成されることになる。

ここで、ダイナミックレンジ拡大処理と被写界深度拡大処理とを上記のように独立して行う場合には、ダイナミックレンジ拡大処理を先に行うと好適である。図６Ａにおいて、前述したように、画像１から３の画像は近景の被写体に露出設定が合わされているため、遠景の被写体に対応した画素が飽和している可能性があり、合焦度合いの判定精度が低下する可能性がある。つまり、画像１から３で被写界深度を拡大すると、遠景被写体が飽和しているため、露出設定が異なる画像では遠景被写体が合焦して適切に撮影されているにも関わらず、画像３の画素値に重み付けされて画素値が算出されない可能性がある。したがって、被写界深度を拡大するときには、遠景被写体が合焦した画像として、画像３から５でダイナミックレンジを拡大した画像を使用すると、遠景被写体を適切な画素で算出することができる。

図７Ａは本実施形態の画像処理部１０２の一構成例を示す機能ブロック図である。

本実施形態の画像処理部１０２は、特徴点抽出部１０２−１と、対応点探索部１０２−２と、補正量算出部１０２−３と、補正量変換部１０２−４と、ダイナミックレンジ拡大処理部１０２−５と、合焦度合い評価部１０２−６と、被写界深度拡大処理部１０２−７と、を有している。

図７Ｂは、処理の流れを示すフローチャート図である。まず、入力された画像から、フォーカス位置が隣接した画像間で基準画像を設定し、特徴点抽出部１０２−１が設定された基準画像から特徴点を抽出する（ステップＳ２１）。次に、対応点探索部１０２−２が、抽出された特徴点を使用して、入力画像のうち参照画像に設定された画像に対して対応点探索を行う（ステップＳ２２）。補正量算出部１０２−３が、抽出された特徴点と算出された対応点との座標の異なりから補正量を算出する（ステップＳ２３）。次に、補正量変換部１０２−４が、算出された補正量に基づいて、画角が狭い画像を基準として補正変換を行う（ステップＳ２４）。ダイナミックレンジ拡大処理部１０２−５が、露出設定が異なる被写体のずれが補正された画像を使用してダイナミックレンジ拡大処理を行う（ステップＳ２５）。次に、合焦度合い評価部１０２−６がダイナミックレンジが拡大された画像を含め、フォーカス位置が異なる画像間で合焦度合いを評価する（ステップＳ２６）。被写界深度拡大処理部１０２−７が、評価された合焦度合いに応じて被写界深度を拡大し出力画像とする（ステップＳ２７）。

以上の処理により、被写界深度とダイナミックレンジを拡大した画像を合成することができる。合成された画像は、画像表示部１０４で表示したり、画像記憶部１０５に記憶したりする。したがって、従来であればフォーカス位置３か所分、露出設定３種類分の被写界深度とダイナミックレンジの拡大を実現するためには、各フォーカス位置で各露出設定の画像を撮影するので、合計９（３×３）枚の画像が必要であったが、本実施形態の画像撮像装置では５（３×１＋２）枚の画像で実現することができる。つまり、最初の画像が撮影されてから最後の画像が撮影されるまでの時間を短くすることができ、被写体の動きや手振れの影響を最小限にして高画質の画像を合成することができる。さらに、合成に使用する画像枚数が少なくメモリ量を削減するとともに、参照する画像が少ないことにより処理量を低減することができる。また、フォーカス位置を設定した被写体に合わせて露出設定も行うため、フォーカス位置に応じた露出設定の必要が無く、撮影開始までの時間を短縮することができる。

以上により、被写界深度とダイナミックレンジを拡大した画像を、高画質で処理量を低減して合成できる画像撮像装置が実現可能となる。ここで、本実施形態では、フォーカス位置が異なる画像情報を３か所で取得した場合で説明したが、撮像素子１０１の光学特性や被写界深度の拡大幅などによって、取得する画像情報の数が変化しても同様の効果を得ることができる。同様に、本実施形態では、露出設定が異なる画像情報を３種類取得した場合で説明したが、撮像素子１０１の光学特性やダイナミックレンジの拡大幅などによって、取得する画像情報の数が変化しても同様の効果を得ることができる。

また、本実施形態ではダイナミックレンジ拡大処理と被写界深度拡大処理を順次行う場合で説明したが、ダイナミックレンジ拡大処理と被写界深度拡大処理とを同時に行うことも可能にできる。例えば、各画素の画像１から５の合焦度合いを算出して比較し、画像３から５が選択されたときには、画像３から５の階調値によって重み付けされた値と、合焦度合いによって画素値を算出する。

さらに、本実施形態では画像撮像装置として説明したが、画像撮影機能を有する端末に適用することができ、例えば、携帯電話、スマートフォン、タブレット端末、など各種端末にも適用することができる。

（第２の実施形態）
本実施形態における画像撮像装置の構成は、第１の実施形態と同様であるため、共通する各部の詳細な説明は省略する。

本実施形態における画像撮像装置は、第１の実施形態の画像撮像装置１００と比較して、第１の撮影モード（図６Ｃ（ａ））のフォーカス位置を異ならせて撮影する点では同じであるが、露出設定を異ならせて撮影するときが異なる。第１の実施形態では、第２の撮影モード（図６Ｃ（ｂ））のフォーカス位置を異ならせて撮影するときに固定した露出設定に対して、露光時間を長くした露出設定と、露光時間を短くした露出設定とで撮影をして画像情報を取得したが、本実施形態では、露光時間を長くした露出設定、または、露光時間を短くした露出設定のいずれか一方の撮影により、露出設定の異なる画像情報を取得する。

まず、フォーカス位置を指定した被写体に対して適切に露出設定を行うときに、画像全体に対して適切に露出設定をしたときの値も算出しておく。算出した画像全体の露出設定値は、指定被写体の露出設定値と比較される。比較した結果、画像全体の方が指定被写体より明るければ、露出設定を異ならせて画像情報を取得するときに、露光時間を短くした露出設定で撮影を行う。逆に、画像全体の方が指定被写体より暗ければ、露出設定を異ならせて画像情報を取得するときに、露光時間を長くした露出設定で撮影を行う。つまり、指定被写体を除く被写体の明るさを推定し、露出設定を異ならせて撮影するときの撮影枚数を低減する。例えば、図６Ａで例示すると、画像４または画像５のいずれか一方の画像を撮影せずに、被写界深度とダイナミックレンジを拡大することができる。

したがって、指定被写体に対して露出設定をするとともに、他の被写体の明るさを推定することで、合成に必要な画像情報の数を低減して撮影時間を短縮する。これにより、被写体の動きや手振れの影響を低減した高画質な画像を合成し、処理時間を低減して被写界深度とダイナミックレンジを拡大した画像を合成することができる。

ここで、指定被写体を除く被写体の明るさを推定するために、露出設定の値を比較したが、指定被写体周辺の階調値の平均と、画像全体の階調の平均値との比較など、階調値の統計的な値でも同様の効果が得られる。また、指定被写体ではない被写体の明るさの推定は、指定被写体の割合が低くなる領域で階調値や露出設定値を算出すれば良く、例えば、指定被写体周辺領域の階調値または露出設定値と、指定被写体周辺領域を除く領域の階調値または露出設定値とを比較しても良い。

（第３の実施形態）
本実施形態における画像撮像装置の構成は、第１の実施形態と同様であるため、共通する各部の詳細な説明は省略する。

本実施形態では、被写界深度やダイナミックレンジの拡大幅を、ユーザー操作により適宜設定できるようにする。例えば、被写界深度の拡大幅やダイナミックレンジの拡大幅を、レベル１から５などの設定ができるようにしておき、レベルを高く設定すると拡大幅が大きくなるようにする。被写界深度の拡大幅がレベル５である場合には、レベル１に比べてフォーカス位置を異ならせて撮影する画像情報の数を増加させて、被写界深度の拡大幅を増加させる。一方、ダイナミックレンジの拡大幅がレベル５である場合には、レベル１に比べて露出設定を異ならせて撮影する画像情報の数を増加させて、ダイナミックレンジの拡大幅を増加させる。

ここで、撮影する画像情報を増加させると、撮影時間が長くなってしまう。そこで、被写体の動きや手振れに対する影響を優先させて画質向上をする場合には、撮影する画像情報の数の最大値を設定しておき、被写界深度とダイナミックレンジの拡大幅の割合を調整するようにすると、ユーザーの好みの画像を容易に合成することができる。

例えば、図８に示すように、画像表示部１０４をタッチパネルとしておき、一端を被写界深度の拡大幅の割合を高める方向とし、もう一端をダイナミックレンジの拡大幅の割合を高める方向としたスライドバーを設けることにより容易にユーザーが調整できるようにすると好適である。その他の形態でも良い。

例えば、撮影する画像情報の最大の数を５枚と設定したとき、被写界深度とダイナミックレンジの拡大幅の割合が同じである場合には、フォーカス位置が３か所、露出設定が３種類で撮影される。一方、被写界深度の拡大幅の割合が１段階大きい場合には、フォーカス位置が４か所、露出設定が２種類で画像情報が取得される。また、一方、被写界深度の拡大幅の割合が１段階小さい場合には、フォーカス位置が２か所、露出設定が４種類で画像情報が取得される。

以上の方法により、本実施の形態では、ユーザーの好みに対応して、被写界深度とダイナミックレンジの拡大幅を容易に調整することが可能となる。

処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

（付記）
本発明は、以下の開示を含む。
（１）設定されたフォーカス位置、および、露出にしたがって画像情報を取得する撮像素子と、前記フォーカス位置、および、前記露出の設定を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える画像撮像装置であって、
前記制御部が、前記露出の設定を一定にして前記フォーカス位置を異ならせて画像情報を取得する第一撮影モードと、前記フォーカス位置を一定にして前記露出の設定を異ならせて画像情報を取得する第二撮影モードと、を備え、
前記第一撮影モードと前記第二撮影モードとで取得した画像情報から、前記画像処理部で画像処理を行うことを特徴とする画像撮像装置。
本発明の画像撮像装置によれば、合成に必要な画像を短時間で撮影しつつ、被写界深度とダイナミックレンジを拡大した画像を、高画質で、かつ、処理量を低減して合成することが可能となる。
（２）前記第一撮影モードで画像情報を取得した最後のフォーカス位置で、前記第二撮影モードで画像情報を取得することを特徴とする、（１）に記載の画像撮像装置。
上記（１）の効果をより具体的に得ることができる。
（３）前記第一撮影モードで画像情報を取得する最初のフォーカス位置で合焦する画像情報の領域から、前記第一撮影モードの露出を設定することを特徴とする、（１）または（２）に記載の画像撮像装置。
上記（１）の効果をより具体的に得ることができる。
（４）前記制御部が、
前記第一撮影モードの露出の設定に使用した領域とは異なる領域を使用して露出の設定したときの露出設定値と、前記第一撮影モードの露出設定値とを比較して、前記第二撮影モードの露出を設定することを特徴とする、（３）に記載の画像撮像装置。
指定被写体を除く被写体の明るさを推定し、露出設定を異ならせて撮影するときの撮影枚数を低減することができる。
（５）前記制御部は、前記第一撮影モードと前記第二撮影モードとを連続して行うことを特徴とする、（１）から（４）までのいずれか１に記載の画像撮像装置。
（６）フォーカスを合わせる被写体をユーザーにより設定するためのユーザー設定部を有することを特徴とする、（１）から（５）までのいずれか１に記載の画像撮像装置。
（７） 設定されたフォーカス位置、および、露出にしたがって画像情報を取得する撮像素子と、前記フォーカス位置、および、前記露出の設定を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える画像撮像装置における処理方法であって、
前記制御部が、前記露出の設定を一定にして前記フォーカス位置を異ならせて画像情報を取得する第一撮影モードと、前記フォーカス位置を一定にして前記露出の設定を異ならせて画像情報を取得する第二撮影モードと、を実行し、
前記第一撮影モードと前記第二撮影モードとで取得した画像情報から、前記画像処理部で画像処理を行うことを特徴とする画像撮像方法。
（８）コンピュータに、上記（７）に記載の画像撮像方法を実行させるためのプログラム。
（９）（８）に記載のプログラムを記憶するコンピュータ読み取り可能な記録媒体。

本発明は、画像撮像装置に利用可能である。

１００ 画像撮像装置
１０１ 撮像素子
１０２ 画像処理部
１０３ 制御部
１０４ 画像表示部
１０５ 画像記憶部

本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (9)

1. 設定されたフォーカス位置、および、露出にしたがって画像情報を取得する撮像素子と、前記フォーカス位置、および、前記露出の設定を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える画像撮像装置であって、
   前記制御部が、前記露出の設定を一定にして前記フォーカス位置を異ならせて画像情報を取得する第一撮影モードと、前記フォーカス位置を一定にして前記露出の設定を異ならせて画像情報を取得する第二撮影モードと、を備え、
   前記第一撮影モードと前記第二撮影モードとで取得した画像情報から、前記画像処理部で被写界深度拡大処理およびダイナミックレンジ拡大処理を行うことを特徴とする画像撮像装置。
2. 前記第一撮影モードで画像情報を取得した最後のフォーカス位置で、前記第二撮影モードで画像情報を取得することを特徴とする、請求項１に記載の画像撮像装置。
3. 前記第一撮影モードで画像情報を取得する最初のフォーカス位置で合焦する画像情報の領域から、前記第一撮影モードの露出を設定することを特徴とする、請求項１または２に記載の画像撮像装置。
4. 前記制御部が、
   前記第一撮影モードの露出の設定に使用した領域とは異なる領域を使用して露出の設定したときの露出設定値と、前記第一撮影モードの露出設定値とを比較して、前記第二撮影モードの露出を設定することを特徴とする、請求項３に記載の画像撮像装置。
5. 前記制御部は、前記第一撮影モードと前記第二撮影モードとを連続して行うことを特徴とする、請求項１から４までのいずれか１項に記載の画像撮像装置。
6. フォーカスを合わせる被写体をユーザーにより設定するためのユーザー設定部を有することを特徴とする、請求項１から５までのいずれか１項に記載の画像撮像装置。
7. 設定されたフォーカス位置、および、露出にしたがって画像情報を取得する撮像素子と、前記フォーカス位置、および、前記露出の設定を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える画像撮像装置における画像撮像方法であって、
   前記制御部が、前記露出の設定を一定にして前記フォーカス位置を異ならせて画像情報を取得する第一撮影モードと、前記フォーカス位置を一定にして前記露出の設定を異ならせて画像情報を取得する第二撮影モードと、を実行し、
   前記第一撮影モードと前記第二撮影モードとで取得した画像情報から、前記画像処理部で被写界深度拡大処理およびダイナミックレンジ拡大処理を行うことを特徴とする画像撮像方法。
8. コンピュータに、請求項７に記載の画像撮像方法を実行させるためのプログラム。
9. 請求項８に記載のプログラムを記憶するコンピュータ読み取り可能な記録媒体。

Images