JP6224362B2

JP6224362B2 - 撮像装置

Info

Publication number: JP6224362B2
Application number: JP2013141446A
Authority: JP
Inventors: 徳井　圭; 圭徳井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-07-05
Filing date: 2013-07-05
Publication date: 2017-11-01
Anticipated expiration: 2033-07-05
Also published as: WO2015001835A1; JP2015015617A; US9948848B2; US20160142618A1

Description

本発明は撮像装置に関し、特に、複数の撮影画像から被写界深度を拡大することが可能な撮像装置に関する。

フォーカスの合った鮮明な画像を撮像するための技術として、自動的に所定位置にフォーカスを合わせるオートフォーカス技術が知られている。オートフォーカス技術の方式には、位相差方式やコントラスト方式などが知られており、近年のコンパクトデジタルカメラやスマートフォンに搭載されるカメラの多くには、コントラスト方式のオートフォーカスが搭載されている。

コントラスト方式は、フォーカスレンズを動かしながら撮像素子で取得される画像のコントラストが大きいフォーカス位置を探してフォーカスを合わせる方式である。フォーカスを合わせる被写体は、撮像される画像の中央に設定したり、人物の顔を検出して設定したり、撮影者によって指定したりする。このとき、撮影者自身がフォーカスを調整せず、設定された被写体に自動でフォーカスを合わせる。しかしながら、異なる距離に複数の被写体が存在する場合、オートフォーカスによりフォーカスを合わせても、被写界深度から外れた被写体はぼけてしまう。

そこで、フォーカス位置が異なる複数の画像から、合焦している領域を選択し合成することにより、撮影するシーン全域でフォーカスが合っている全焦点画像を生成する技術が提案されており、例えば、特許文献１がある。特許文献１には、フォーカス位置が異なる複数の画像を撮影し、各画像の対応点を合わせて画像を変形し、鮮鋭度の高い画素の重みが大きくなるように加重平均をすることで、手ブレや被写体ブレのあるシーンにおいても、全焦点画像を合成する方法が開示されている。また、このような技術は、撮影されるシーン全体にフォーカスを合わせた画像を生成するため、オートフォーカスなどのフォーカス合わせを必要としない撮影となる。

特開２００８−２７１２４０号公報

しかしながら、特許文献１で開示されているような全焦点画像を合成する技術でも、フォーカス位置を変えて撮影している間に、被写体が大きく動いてしまったり、大きく撮像素子が動いてしまったりすると、被写体が二重になってしまうなど失敗撮影となってしまうという問題がある。
本発明は、少なくとも通常の撮影と同等の撮影画像を保存し、失敗撮影を低減することが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、フォーカス位置を変えて画像情報を取得する撮像素子と、前記フォーカス位置を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える撮像装置であって、前記画像処理部は、前記撮像素子で取得された複数の画像情報から、被写界深度を調整した画像を生成する処理を行う被写界深度調整部を有し、前記複数の画像情報は、画像情報取得時に前記制御部で設定したフォーカス位置の被写体を被写界深度に含む第一画像情報と、前記第一画像情報とは異なるフォーカス位置で撮影された第二画像情報とを含み、前記第二画像情報のフォーカス位置は、前記第一画像情報のフォーカス位置に基づいて設定され、前記被写界深度を調整した画像とともに、前記第一画像情報を記憶する。前記画像処理部は、前記被写界深度調整部の調整結果を判定する調整判定部をさらに備え、前記調整判定部での判定結果に基づいて、前記第一画像情報を記憶することを特徴とする。

また、前記被写界深度を調整した画像とともに、前記第一画像情報を記憶する。前記第二画像情報のフォーカス位置は、前記第一画像情報の被写界深度と、前記第二画像情報の被写界深度とが隣接、または、一部が重なるように設定されることを特徴とする。

前記第一画像情報とは異なるフォーカス位置で取得される複数の画像情報の数を、前記第一画像情報のフォーカス位置に基づいて設定されることを特徴とする。

前記画像処理部において、第一画像情報のフォーカス位置と被写界深度を調整する幅とに基づいて、前記第一画像情報とは異なるフォーカス位置で取得する画像情報の数を決定し、前記第一画像情報の被写界深度を調整することを特徴とする。

本発明の撮像装置によれば、設定した被写体に対して適切な被写界深度の調整ができるようになる。また、被写界深度を調整する処理が失敗しても、主要な被写体にフォーカスが合っている画像を撮影することができるという利点がある。

本発明の第１の実施形態に係る撮像装置の一構成例を示す機能ブロック図である。本発明の第１の実施形態に係る撮像装置の画像処理部の一構成例を示す機能ブロック図である。撮影シーンの第１例を示す図である。撮影シーンの第２例を示す図である。本発明の第１の実施形態に係る撮像装置の画像処理の流れの一例を示すフローチャート図である。撮像装置と被写体との位置関係を示す図である。撮像装置と被写体との位置関係を示す図である。本発明の第２の実施形態に係る撮像装置における深度補正レベルの調整をするときのユーザインタフェースの表示例を示す図である。撮像装置と被写体との位置関係を示す図である。撮像装置と被写体との位置関係を示す図である。本発明の実施形態に係る撮像装置における深度補正レベルの調整をするときのユーザインタフェースの例を示す図である。

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。

（第１の実施の形態）
図１Ａは、本発明の実施の形態による撮像装置の一構成例を示す機能ブロック図である。本実施の形態による撮像装置１００は、撮像素子１０１、画像処理部１０２、制御部１０３、画像表示部１０４、画像記憶部１０５を備える。任意に設けることができる調整幅設定部１０６については、第２の実施の形態で説明する。

撮像素子１０１は、画像情報を取得し、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサといった固体撮像素子とレンズなどにより構成される。また、撮像素子１０１はフォーカスを調整するための部品や機構を備えており、例えば、アクチュエータでレンズを駆動したり、液体レンズなどを駆動したりすることで実現される。液体レンズやポリマーレンズでフォーカス位置を調整すると、フォーカス位置が異なる画像間の画角変化が小さくなるため好適である。取得された画像情報は、画像処理部１０２に伝達される。

画像処理部１０２は、撮像素子１０１から伝達される画像情報に対して画像処理を行う。画像処理としては、後述する被写界深度を拡大した画像を合成する処理に加え、ノイズリダクション、シャープネス、彩度強調、コントラスト強調、ホワイトバランス、ファイル圧縮など適切な処理を適宜行う。

制御部１０３は、撮像素子１０１で撮影された画像情報から、撮像素子１０１で撮影する条件であるフォーカスや露出などを制御する。例えば、コントラスト方式によるフォーカス制御などがある。

画像処理部１０２および制御部１０３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）によるハードウェア処理によって実現することができる。

画像表示部１０４は、画像処理部１０２で画像処理が行われた画像情報を表示する。表示される画像情報は、撮影前のプレビュー画像や撮影画像などである。画像表示部１０４は、液晶ディスプレイや有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどで構成される。

画像記憶部１０５は、撮影された画像情報を圧縮または非圧縮で記憶することができ、撮像装置１００に装着されるフラッシュメモリやハードディスクなどの記憶媒体に画像情報を記憶させる。

図２Ａは、撮像素子１０１で撮影された画像情報の例を示す図である。画像情報には、撮像装置１００からの距離が近い順に、被写体Ａ、被写体Ｂ、被写体Ｃが存在している。制御部１０３では、撮像素子１０１から得られる情報などからフォーカス位置を調整する。従来、被写界深度を拡大する技術では、フォーカス合わせを行う必要が無かったが、本実施形態では、被写界深度を適切に拡大するとともに、失敗撮影を低減するためにフォーカス位置の調整を行う。フォーカス位置の調整は従来使用されているものを使用することができ、例えば、画像の中心や画像全体のコントラストを算出して適切と予想されるフォーカス位置を算出し、撮像素子１０１のフォーカスを調整する。また、図２Ａに示すように、画像情報から顔の位置を検出して、顔検出領域にフォーカスが合うように調整することもできる。さらに別な方法として、図２Ｂのように、画像表示部１０４がタッチパネル機能を有するようにしておき、ユーザが最もフォーカスを合わせたい被写体を指Ｆなどで選択し指定することができるようにし、ユーザが選択したユーザ指定領域にフォーカスが合うように調整する。また、撮影シーン全域にフォーカスが合っている画像を撮影する場合には、画像を合成する手間が必要なためプレビュー画像に適切な画像を表示することができなかったが、主要な被写体にフォーカス位置を調整した画像情報を、プレビュー画像として画像表示部１０４に表示することができるようになる。

制御部１０３は、撮像素子１０１でフォーカスをずらしながら複数の画像を撮影する。ここで、撮影する複数の画像情報のうち少なくとも１枚は、自動またはユーザが設定したフォーカス位置の被写体を、撮影する被写界深度に含むように撮影する。このように、自動またはユーザが設定したフォーカス位置の被写体を、撮影する被写界深度に含む画像情報は第一画像情報として取得される。

さらに、制御部１０３は、第一画像情報のフォーカス位置と異なるフォーカス位置の画像情報を取得するために、自動またはユーザが設定したフォーカス位置に基づいて、フォーカス位置を算出する。フォーカス位置の算出は、設定されたフォーカス位置に応じて、複数のフォーカス位置を設定したＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）を備えておくことで容易に実現することが可能である。例えば、設定されたフォーカス位置がＸ０のとき、ＬＵＴを参照して撮影すべきフォーカス位置Ｘ１とＸ２を読み出し、Ｘ０とＸ１とＸ２とにフォーカスを合わせて撮影を行う。

また、フォーカスを合わせるときのレンズ駆動は一方向が望ましいので、設定されたフォーカス位置がＸ０のとき、読み出されるフォーカス位置をＸ１、Ｘ０、Ｘ２のように設定された値を含むフォーカス位置が読み出されるようにＬＵＴを作成しておき、撮影する順番もＬＵＴにより容易に算出することができる。

さらに、設定されたフォーカス位置によって撮影枚数を適切に設定することも、ＬＵＴを作成しておくことで容易に実現できる。例えば、遠景のフォーカス位置の画像情報は被写界深度が深いので撮影枚数を少なくし、近景のフォーカス位置の画像情報は被写界深度が浅いので撮影枚数を多くする。設定されたフォーカス位置が遠景であるＦ０のとき、ＬＵＴから読み出されるフォーカス位置はＦ１、Ｆ０、Ｆ２の３個とし、設定されたフォーカス位置が近景であるＮ０のとき、ＬＵＴから読み出されるフォーカス位置はＮ１、Ｎ０、Ｎ２、Ｎ３の４個とすることで実現できる。

したがって、上記のようなフォーカス位置の算出方法を制御部１０３で行うことにより、設定されたフォーカス位置によって適切なフォーカス位置や撮影枚数を容易に算出することができる。ここで、フォーカス位置の設定方法は上記のようなＬＵＴを用いた方法に限定されない。例えば、フォーカス位置の算出方法を数式に定義しておいて算出しても、ソフトウェアにより判定することで算出しても良い。

図１Ｂは、画像処理部１０２の一構成例を示す機能ブロック図である。
図１Ｂに示すように、画像処理部１０２は、フォーカス位置が異なる複数の画像情報間の画角や位置の補正処理をする補正処理部１０２−１と、被写界深度の調整（本実施の形態では拡大する方向への調整）を行う被写界深度調整部１０２−２と、被写界深度の調整が成功しているか否かを判定する調整判定部１０２−３と、を有する。

図３は、本実施の形態による画像処理部１０２における整理の流れの一例を示すフローチャート図である。図３に示すように、処理が開始され（ステップＳ１：ＳＴＡＲＴ）、ステップＳ２において、画像処理部１０２が、設定されたフォーカス位置の被写体を含む被写界深度の第一画像情報と、それとは異なるフォーカス位置で撮影された画像情報とを取得する。次いで、ステップＳ３において、取得した複数の画像情報に対して補正処理部１０２−１にて補正処理を行う。次いで、ステップＳ４において、被写界深度調整部１０２−２が、被写界深度を調整（拡大）する。次いで、ステップＳ５において、調整判定部１０２−３が、被写界深度の調整の成否を判定する。調整に成功したと判定した場合には（ステップＳ５でＹｅｓ）、ステップＳ６において、調整後の画像情報を画像記憶部１０５に記憶させる。ステップＳ５でＮｏの場合には、ステップＳ７において、第一画像情報を画像記憶部１０５に記憶させる。ステップＳ８で処理を終了する。

図４は、撮像装置１００から被写体Ａ、被写体Ｂ、被写体Ｃの各被写体までの距離と被写界深度の関係の例を示す図である。被写体の下の矢印は対応する画像情報ＡからＣまでの被写界深度を示す。撮像素子１０１では、フォーカス位置が異なる画像情報Ａ、画像情報Ｂ、画像情報Ｃを撮影する。図２Ａおよび図２Ｂに示すように、顔検出またはユーザの指定により被写体Ａがフォーカス位置として指定されているときには、画像情報Ａの被写界深度は被写体Ａを含むように設定されている。

画像情報Ｂのフォーカス位置は、図４のように画像情報Ｂの被写界深度と画像情報Ａの被写界深度とが隣接、または、一部が重なるように設定すると良い。これにより、撮影画像の被写界深度を連続させることができ、被写界深度を拡大する処理において、合焦範囲の途中に非合焦範囲が発生するなどの画質劣化を抑制することができる。

画像情報Ｃのフォーカス位置は、図４のように画像情報Ｃの被写界深度と画像情報Ｂの被写界深度とが隣接、または、一部が重なるように設定すると良い。これにより、撮影画像の被写界深度を連続させることができ、被写界深度を拡大する処理において、合焦範囲の途中に非合焦範囲が発生するなどの画質劣化を抑制することができる。

したがって、図４に示すように各画像情報Ａ、Ｂ、Ｃの矢印で示す被写界深度がそれぞれ離間しないように設定しておくと、撮像装置１００からの距離が連続的な被写体が存在しても、撮像装置１００からの距離に応じて、合焦領域、非合焦領域、合焦領域というように合焦領域と非合焦領域とが交互に現れるような状況にならず、違和感の少ない画像を撮影することができる。

このように、基準となるフォーカス位置にしたがって、撮影する画像のフォーカス位置を設定することが可能である。

ここで、図４では、設定した被写体である被写体Ａを被写界深度に含む画像情報Ａに加え、さらに画像情報Ａよりも遠景である画像情報Ｂと画像情報Ｃを撮影したが、図４のようなフォーカス位置の配置例に限定するものではない。例えば、図５に示すように、設定した被写体である被写体Ａを被写界深度に含む画像情報Ａに対して、近景である画像情報Ｄと遠景である画像情報Ｂを撮影するようにすることも可能である。図示しないが、同様に、画像情報Ａよりも近景のみの画像情報を撮影しても良い。これら複数の撮影は、画像情報内の複数領域のコントラスト検出の結果、シーン認識の結果、ユーザの設定によりフォーカス位置を変更して行うことで、撮影シーンに合った適切な方向へ被写界深度を拡大することができ好適である。

このようにして撮影されたフォーカス位置が異なる複数の画像情報は、画像処理部１０２で被写界深度が拡大するように合成される。複数の画像情報は、フォーカス位置を変化させたことにより画角が変化したり、手振れが発生していたりする可能性があるため、各画像情報の同一被写体が対応するように、補正処理部１０２−１において、拡大、縮小、並進、回転などにより補正される。

被写界深度調整部１０２−２では、補正された画像情報に基づいて被写界深度の調整が行われる。補正された画像情報から、フォーカスが合っている画素または領域を選択することにより、被写界深度を拡大した合成画像情報を生成する。フォーカスが合っている度合いは、各画素または領域のコントラストを比較することで実現することができる。

例えば、図４に示すシーンの任意の画素で、画像情報Ａのコントラストが画像情報Ｂのコントラストよりも大きく、画像情報Ｂのコントラストが画像情報Ｃのコントラストよりも大きい場合には、その画素はコントラストの大きい画像情報Ａにフォーカスが合っていると推定される。同様に、画像情報Ｂのコントラストが画像情報Ａのコントラストよりも大きく、画像情報Ｂのコントラストが画像情報Ｃのコントラストよりも大きい場合には、その画素はコントラストの大きい画像情報Ｂにフォーカスが合っていると推定でき、画像情報Ｃのコントラストが画像情報Ｂのコントラストよりも大きく、画像情報Ｂのコントラストが画像情報Ａのコントラストよりも大きい場合には、その画素はコントラストの大きい画像情報Ｂにフォーカスが合っていると推定することができる。

また、任意の画素または領域におけるコントラストが小さい領域などは、平坦な領域である可能性があり、特徴がないため各画素の平均値として合成画像を生成しても良い。さらに、任意の画素または領域におけるコントラストの差が小さい場合には、その差に応じて重み付け平均としても良い。このように、フォーカス位置が異なる複数の画像からフォーカスの合っている画素または領域から、加重平均をするなどして撮影した１枚画像よりも被写界深度を拡大した画像を生成する。

ここで、撮影する被写体の動きや、撮像装置１００の手振れなどにより、フォーカス位置が異なる複数の画像の間で、対応点同士を対応付けることができない場合がある。このときの被写界深度を拡大した合成画像は、動いた被写体が二重像になるなど失敗撮影となってしまう。そこで、調整判定部１０２−３により被写界深度の調整の成否を判定し、判定結果に基づいて撮影前にフォーカスを設定した被写体を含む被写界深度の画像情報を、撮影が失敗と判断した場合に画像記憶部１０５に記憶させる。

撮影の失敗は、フォーカス位置が異なる複数の画像の対応点同士を対応付け結果などから推定することができる。また、撮像装置に加速度センサなどの端末の動きが検出できるセンサを搭載しておき、撮影時の端末の動きが大きい場合などは失敗撮影と推定することができる。このようにして、被写体の動きや手振れなどによって被写界深度を拡大する処理が失敗しても、主要な被写体にフォーカスが合っている画像を撮影することができ、失敗撮影を低減することができる。

ここで、被写界深度を拡大する処理の画質によってユーザが失敗と感じる場合もあるため、被写界深度を拡大した画像情報とともに、撮影前にフォーカスを設定した被写体を含む被写界深度の画像情報（第一の画像情報）を記憶するようにしても良い。被写界深度を拡大するために撮影した画像情報を全て記憶すると、１回の撮影で記憶媒体のメモリを多く使用してしまうため、最も撮影したいと予想される撮影前にフォーカスを設定した被写体を含む被写界深度の画像情報を記憶し、他の画像情報を消去することで使用メモリ量を低減し、撮影タイミングを逃すなどの撮影失敗を低減することができる。したがって、このような処理を行う場合には、図３のステップＳ６おいて、被写界深度の調整後の画像情報を記憶するとともに、第一画像情報を記憶する。

さらに、上記のように被写界深度調整後の画像情報と第一画像情報の２つの画像情報を記憶可能な撮像装置の場合、ユーザが撮影前にフォーカスを設定した被写体を含む被写界深度の画像情報を記憶するか否かを設定できるようにしておくと好適である。ここで、記憶する主要被写体にフォーカスの合った画像情報は、撮影した元の画像情報でも、複数の画像間で対応点を補正した画像情報でも良い。

以上で説明したように、本発明の第１の実施の形態によれば、被写界深度を拡大した画像を合成する場合であっても、撮影前に主要被写体などに合わせてフォーカス位置の設定をすることにより、設定した被写体に対して適切な被写界深度の拡大ができるようになるとともに、被写体の動きや手振れなどによって被写界深度を拡大する処理が失敗しても、主要な被写体にフォーカスが合っている画像を撮影することができる撮像装置を提供することができる。

また、本実施形態での被写界深度の拡大処理は、フォーカス位置の異なる複数の画像情報から鮮鋭度の高い画素の重みが大きくなるように加重平均をするなどして合成することができるが、被写体までの距離に応じた画像処理を追加しても良い。撮影した複数の画像情報の鮮鋭度を比較することにより、簡易的な奥行情報を算出することができる。この奥行情報に応じて画像処理を行うことにより奥行き感ある画像を生成することができる。

例えば、遠景の画素と推定された画素に関しては、近景の画素と推定された画素よりも強い輪郭強調処理をする。すなわち、近景の被写体に強い輪郭強調を行うと違和感のある画像となってしまうが、強い画像処理を適用しても違和感が発生しにくい遠景にある被写体に輪郭強調処理を行う。これにより、遠景にあるためにコントラストが低下してしまう被写体を鮮明にして奥行き感を向上させることができる。複数の画像情報から算出される奥行情報は、模様や輪郭など特徴のある領域で鮮鋭度を利用して算出するため、奥行情報を利用した画像処理には、画像情報のエッジ領域に作用しやすい輪郭強調処理が適している。

（第２の実施の形態）
次に、第２の実施の形態について説明する。
本実施形態における撮像装置１００の構成例は、第１の実施形態と同様であるため、共通する各部の詳細な説明は省略する。

本実施形態における撮像装置１００では、ユーザにより被写界深度を拡大する幅を設定可能とする。例えば、図１Ａに示す調整幅設定部１０６を有している。例えば、図６に示すような画面を画像表示部１０４に表示して、調整幅設定部１０６により、ユーザが被写界深度を設定できるようにする。図６では、画像表示部１０４をタッチパネルで構成しており、ユーザが深度補正レベルを指Ｆで調整する場合を示している。本実施の形態の深度補正レベルは、０から３までの離散的なレベルを設定しており、０では被写界深度の拡大を行わず、３では最も大きな被写界深度の拡大を行う。

本実施形態での被写界深度を拡大した画像を撮影する方法は、第１の実施の形態で説明した方法を用いることができる。したがって、深度補正レベルが０である場合には、撮影前に設定されたフォーカス位置で撮影された画像が画像記憶部１０５に記憶される。深度補正レベルが１から３に調整された場合には、フォーカス位置が異なる画像情報から被写界深度が拡大された合成画像が生成される。被写界深度の拡大幅は、例えば、深度補正レベルが１であったときは図７、深度補正レベルが２であったときは図４または図５、深度補正レベルが３であったときは図８のようにする。

このとき、少なくとも撮影前にフォーカスを設定した被写体を含む被写界深度の画像情報を撮影するようにし、被写界深度を拡大するためにフォーカス位置が異なる画像情報を撮影する。また、図７と図８では被写界深度の拡大幅の設定値が異なるため、被写界深度拡大処理に必要な画像情報の数が異なる。そこで、設定された被写界深度の拡大幅の設定値によって撮影枚数を変更する。撮影枚数が少なくなると、フォーカス位置をずらしながら撮影をするときの、撮影開始から撮影終了までの時間が短くなる。これにより、被写体の動きや手振れを少なくすることができる。すなわち、主要な被写体にフォーカスを合わせるとともに、ユーザが所望とする被写界深度の拡大幅に合わせて撮影枚数を設定することで失敗撮影を低減することが可能となる。

上記で説明したフォーカス位置の設定は、第１の実施の形態と同様に実現することができる。例えば、ＬＵＴを深度補正レベルごとに設けておき、設定されたフォーカス位置に基づいて撮影するフォーカス位置が算出される。深度補正レベルが１である場合には、設定されたフォーカス位置Ａに対して、撮影するフォーカス位置としてＡ、Ｂの２個が算出され、深度補正レベルが３である場合には、設定されたフォーカス位置Ａに対して、撮影するフォーカス位置としてＤ、Ａ、Ｂ、Ｃの４個が算出される。

以上で説明したように、被写界深度を拡大するために撮影する画像情報を、撮影前に設定されたフォーカス位置と、設定された被写界深度の拡大幅とによって、フォーカス位置を適切に設定して撮影すると、主要な被写体にフォーカスが合うとともに、撮影時間を短くして被写体の動きや手振れによる被写界深度拡大処理の失敗を低減することができる。

なお、撮影枚数が多いなどの理由で、被写体の動きや手振れが発生して被写界深度拡大処理が失敗した場合でも、第１の実施の形態で記載した方法を適用することにより、主要な被写体にフォーカスを合わせた画像を記憶することができ、失敗撮影は低減することができる。

ここで、フォーカス位置の異なる複数の画像情報の撮影は、撮影前に設定されたフォーカス位置の被写体を被写界深度に含む画像情報を最初に撮影する必要はない。つまり、図５のようなシーンで、撮影前に設定されたフォーカス位置が被写体Ａであった場合、撮影順序を画像情報Ｂ、画像情報Ａ、画像情報Ｄの順としても、画像情報Ｄ、画像情報Ａ、画像情報Ｂの順としても良い。フォーカス位置の調整のためのレンズ駆動などを考慮すると、一方向への動作の方が簡易な動作となるため好適である。

また、本実施形態では、深度補正レベルが０の場合は被写界深度の拡大を行わなかったが、被写界深度拡大処理のＯＮ／ＯＦＦを別途設定できるようにしておき、ＯＮの場合には全てのレベルで被写界深度の拡大処理を行うようにしても良い。

（第３の実施の形態）
上記第１、２の実施の形態では、被写界深度を拡大する場合のみを説明したが、本発明の第３の実施の形態のように、被写界深度を縮小する方向への画像処理と組み合わせても良い。図９のように、深度補正レベルを調整する段階を、基準からプラス側を被写界深度拡大とし、基準からプラス側を被写界深度縮小として設定する。基準および基準からプラス側に深度補正レベルが設定されている場合には、上記で説明した方法と同様の処理となる。

基準からマイナス側に設定されている場合には、被写界深度を縮小する。このときも、拡大するときと同様に、撮影前に主要な被写体にフォーカスを合わせておき、撮影するときには、主要な被写体のフォーカス位置を含む被写界深度の画像情報を取得する。そして、異なるフォーカス位置で撮影することにより被写界深度を縮小する画像情報を取得する。

被写界深度の縮小も、複数の画像間の被写体が対応するように補正を行い、コントラストを比較する。被写界深度の縮小はぼかし処理となり、例えば、平均化を行うなどで実現することができる。主要被写体にフォーカスが合っている画像を基準とし、複数の画像間の鮮鋭度を比較して簡易的な奥行情報を取得し、主要被写体から遠い被写体の画素ほど大きくぼかす。また、主要被写体の前後のフォーカス位置で撮影を行っておき、主要被写体にフォーカスが合っている領域以外は、より鮮鋭度の低い画素または領域に重みをおいた加重平均などでも実現できる。

画像処理部１０２において被写界深度を調整する幅、つまり、設定されている深度補正レベルに基づいて、第一画像情報とは異なるフォーカス位置で撮影する画像情報の数を制御部１０３で決定し、第一画像情報の被写界深度を調整するようにする。なお、撮影するフォーカス位置の算出方法は、第１および第２の実施形態に記載した方法を使用することができる。

撮影する枚数は、深度補正レベルの絶対値が大きいほど多くすると良い。これにより、撮影開始から撮影終了までの時間を、所望の調整幅に合わせて適切に短くすることができるため、被写体の動きや手振れなどによる被写界深度の拡大または縮小処理の失敗を低減することができる。また、撮影前にフォーカスを合わせた被写体を含む被写界深度の画像情報を記憶することにより、被写界深度の拡大または縮小処理が失敗しても、主要被写体にフォーカスが合っている画像を記憶できるため、失敗撮影を低減することができる。

以上により、被写界深度を縮小する方向への画像処理と組み合わせた場合においても、撮影前に設定したフォーカス位置を利用して撮影することにより、撮影の失敗を低減することが可能となる。

以上に説明したように、本発明の実施の形態による撮像装置によれば、被写界深度を拡大した画像を合成する場合であっても、フォーカス位置の設定をすることにより、設定した被写体に対して適切な被写界深度の拡大ができるようになるとともに、被写体の動きや手振れなどによって被写界深度を拡大する処理が失敗しても、主要な被写体にフォーカスが合っている画像を撮影することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

（付記）
本発明は、以下の開示を含む。
（１）フォーカス位置を変えて画像情報を取得する撮像素子と、
前記フォーカス位置を制御する制御部と、
前記画像情報に対して画像処理を行う画像処理部と、を備える撮像装置であって、
前記画像処理部は、前記撮像素子で取得された複数の画像情報から、被写界深度を調整した画像を生成する処理を行う被写界深度調整部を有し、
前記複数の画像情報は、画像情報取得時に前記制御部で設定したフォーカス位置の被写体を被写界深度に含む第一画像情報と、前記第一画像情報とは異なるフォーカス位置で撮影された第二画像情報とを含み、
前記第二画像情報のフォーカス位置は、前記第一画像情報のフォーカス位置に基づいて設定され、
前記被写界深度を調整した画像とともに、前記第一画像情報を記憶することを特徴とする撮像装置。
被写体の動きや手振れなどによって被写界深度を調整拡大する処理が失敗しても、主要な被写体にフォーカスが合っている画像を撮影することができる。
（２）前記画像処理部は、前記被写界深度調整部の調整結果を判定する調整判定部をさらに備え、
前記調整判定部での判定結果に基づいて、前記第一画像情報を記憶することを特徴とする（１）に記載の撮像装置。
（３）前記第二画像情報のフォーカス位置は、前記第一画像情報の被写界深度と、前記第二画像情報の被写界深度とが隣接、または、一部が重なるように設定されることを特徴とする、（１）又は（２）に記載の撮像装置。
撮像装置からの距離が連続的な被写体が存在しても、撮像装置からの距離に応じて、合焦領域、非合焦領域、合焦領域というように合焦領域と非合焦領域とが交互に現れるような状況にならず、違和感の少ない画像を撮影することができる。
（４）前記第一画像情報とは異なるフォーカス位置で取得される複数の画像情報の数は、前記第一画像情報のフォーカス位置に基づいて設定されることを特徴とする、（１）から（３）までのいずれか１に記載の撮像装置。
（５）前記画像処理部において、前記第一画像情報のフォーカス位置と被写界深度を調整する幅とに基づいて、前記第一画像情報とは異なるフォーカス位置で取得する画像情報の数を決定し、前記第一画像情報の被写界深度を調整することを特徴とする、（１）から（３）までのいずれか１に記載の撮像装置。
（６）前記画像情報の数は、深度補正レベルの絶対値が大きいほど多くすることを特徴とする、（５）に記載の撮像装置。
これにより、撮影開始から撮影終了までの時間を、所望の調整幅に合わせて適切に短くすることができるため、被写体の動きや手振れなどによる被写界深度の拡大または縮小処理の失敗を低減することができる。
（７）前記調整は、被写界深度を拡大する方向と縮小する方向への調整を組み合わせたことを特徴とする、（１）から（６）までのいずれか１に記載の撮像装置。
（８）前記第一画像情報のフォーカス位置は、オートフォーカスにより設定されることを特徴とする、（１）から（７）までのいずれか１に記載の撮像装置。
（９）フォーカス位置を変えて画像情報を取得する撮像素子と、前記フォーカス位置を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、を備える撮像装置であって、前記画像処理部は、前記撮像素子で取得された複数の画像情報から、被写界深度を調整した画像を生成する処理を行う被写界深度調整部と、前記被写界深度調整部の調整結果を判定する調整判定部と、を有し、
前記複数の画像情報は、画像情報取得時に前記制御部で設定したフォーカス位置の被写体を被写界深度に含む第一画像情報と、前記第一画像情報とは異なるフォーカス位置で撮影された第二画像情報とを含み、前記第二画像情報のフォーカス位置は、前記第一画像情報のフォーカス位置に基づいて設定され、前記被写界深度を調整する処理が失敗したときに、前記第一画像情報を記憶することを特徴とする撮像装置。
（１０）フォーカス位置を変えて画像情報を取得する撮像素子と、前記フォーカス位置を制御する制御部と、前記画像情報に対して画像処理を行う画像処理部と、前記被写界深度調整部の調整結果を判定する調整判定部と、を備える撮像装置における処理方法であって、
前記画像処理部が、前記撮像素子で取得された複数の画像情報から、被写界深度を調整した画像を生成する処理を行う被写界深度調整ステップを有し、
前記複数の画像情報は、画像情報取得時に前記制御部で設定したフォーカス位置の被写体を被写界深度に含む第一画像情報と、前記第一画像情報とは異なるフォーカス位置で撮影された第二画像情報とを含み、
前記第二画像情報のフォーカス位置は、前記第一画像情報のフォーカス位置に基づいて設定され、
前記被写界深度を調整した画像とともに、前記第一画像情報を記憶する画像記憶ステップを有することを特徴とする処理方法。
（１１）（１０）に記載の方法をコンピュータに実行させるためのプログラム。

本発明は、撮像装置に利用可能である。また、テレビなどの画像処理を行う装置にも利用できる。

１００撮像装置
１０１撮像素子
１０２画像処理部
１０３制御部
１０４画像表示部
１０５画像記憶部
１０６調整幅設定部

Claims

フォーカス位置を変えて画像情報を取得する撮像素子と、
前記フォーカス位置を制御する制御部と、
前記画像情報に対して画像処理を行う画像処理部と、
前記画像情報を記憶する画像記憶部と、を備える撮像装置であって、
前記画像処理部は、前記撮像素子で取得された複数の画像情報から、被写界深度を調整した画像を生成する処理を行う被写界深度調整部を有し、
前記複数の画像情報は、画像情報取得時に前記制御部で設定したフォーカス位置の被写体を被写界深度に含む第一画像情報と、前記第一画像情報とは異なるフォーカス位置で撮影された第二画像情報とを含み、
前記画像記憶部は、前記被写界深度を調整した画像情報と前記第一画像情報を記憶し、前記第二画像情報を記憶しないことを特徴とする撮像装置。
前記画像処理部は、前記被写界深度調整部の調整結果を判定する調整判定部をさらに備え、
前記調整判定部での判定結果に基づいて、前記第一画像情報を記憶することを特徴とする請求項１に記載の撮像装置。
前記第二画像情報のフォーカス位置は、前記第一画像情報の被写界深度と、前記第二画像情報の被写界深度とが隣接、または、一部が重なるように設定されることを特徴とする、請求項１又は２に記載の撮像装置。
前記第一画像情報とは異なるフォーカス位置で取得される複数の画像情報の数を、前記第一画像情報のフォーカス位置に基づいて設定されることを特徴とする、請求項１から３までのいずれか１項に記載の撮像装置。
前記画像処理部において、前記第一画像情報のフォーカス位置と被写界深度を調整する幅とに基づいて、前記第一画像情報とは異なるフォーカス位置で取得する画像情報の数を
決定し、前記第一画像情報の被写界深度を調整することを特徴とする、請求項１から３までのいずれか１項に記載の撮像装置。