JP6316534B2 - 撮像装置および撮像装置制御方法 - Google Patents

Description

本発明は、撮像装置、および撮像装置制御方法に関し、より詳細には、カメラにおいて合焦位置を変えて複数枚の画像を撮影し、この画像から全ての被写体にピントの合った被写界深度の深い画像（全焦点画像）を生成する撮像装置、および撮像装置制御方法に関する。

従来、カメラによって撮影を行う際に被写界深度の深い画像を撮影したいという要望があった。例えば、自分撮りにおいて、カメラからの距離が近い人物と遠く離れた建物を同時に撮影する場合、近景の人物に合焦させると遠景がぼけ、遠景の建物に合焦させると人物がぼけてしまい、全ての被写体に合焦させることは困難な場合があった。
このような課題を解決し、被写界深度の深い画像を撮影するために、合焦位置の異なる複数の画像を撮影し、これらの画像から被写界深度の深い画像を生成する撮像装置が知られている。

特許文献１では、被写体像を結像するための撮影レンズと、被写体輝度に基づいて適正露光を得る絞り値を設定する絞り回路とを備え、複数の被写体距離に関する情報を算出・記憶し、絞り回路によって設定された絞り値では、記憶された複数の被写体距離が被写界深度内に入るかどうかを判定する。被写界深度内に入らないと判断された際は、所定の絞り値で上記撮影光学系のピント位置をずらしながら複数回撮影を繰り返すよう制御する。そして、この画像を合成することで複数点について焦点深度内に入っている１枚の画像を生成している。

また、特許文献２では、同一被写体を異なるピント位置で複数枚の画像を連続撮像し、部分領域毎にピントの合っている画像を画像処理により検出して合成している。この際、ピント位置が異なることによる画角を補正することで、合成画像における境界の不自然さを解消している。

特開平１０−１０８０５７号公報 特開２００７−２１４８８７号公報

このような被写界深度の深い全焦点画像を生成する際、被写体が動くと各撮影画像で被写体の位置が変わってしまうため、この動きによるずれを出来る限り減らすよう素早く撮影を行う必要がある。また、実際にずれが発生した場合には、ずれを考慮して合成処理を行う必要がある。

特許文献１に記載の撮像装置は、複数の被写体の距離に関する情報を算出し、これに基づき複数の被写体が全て被写界深度内に収まるようピント位置を制御しているが、撮影回数を減らすことは考慮されていない。
また、特許文献２のデジタルスチルカメラにおいても、ピント位置が異なる画像間の画角の違いから生じる合成画像の劣化について記載されているが、撮影回数の最適化や被写体が動く場合のことは考慮されておらず、被写体が動く場合には合成画像が劣化することとなる。

本発明は、斯かる事情に鑑みてなされたものであり、被写界深度の深い全焦点画像を生成する際に、画質を考慮して撮影回数を可能な限り少なくすると共に、被写体が動く場合にも可能な限り画質の劣化のない全焦点画像を生成することを可能とした撮像装置および撮像装置制御方法を提供する。

本発明の観点によれば、画像を撮影するカメラを少なくとも１つ備える撮像装置であって、前記カメラにより撮像される被写体の位置検出を行う被写体位置検出部と、前記被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置を決定する撮影合焦位置決定部と、前記カメラにより撮影される複数の画像を合成する画像合成部とを備え、前記撮影合焦位置決定部は、前記カメラによって撮影される複数の画像のうち、少なくとも１つの画像の撮影合焦位置を、前記被写体位置に対応する撮影合焦位置と異なる位置で、前記被写体位置が前記カメラの被写界深度に含まれる位置を撮影合焦位置として決定することを特徴とする撮像装置が提供される。
合成画像におけるぼけ許容量を設定するぼけ許容量設定部を更に備え、前記ぼけ許容量設定部により設定されたぼけ許容量に応じて、前記カメラの被写界深度を決定することを特徴とする。

前記撮影合焦位置決定部は、前記被写体位置検出部によって検出される被写体位置が近景被写体位置である場合には、前記近景被写体位置が前記カメラの前方被写界深度に含まれるよう撮影合焦位置を決定し、前記被写体位置検出部によって検出される被写体位置が遠景被写体位置である場合には、前記遠景被写体位置が前記カメラの後方被写界深度に含まれるよう撮影合焦位置を決定することを特徴とする。
前記撮影合焦位置決定部は、前記カメラによって複数の撮影合焦位置で画像を撮影する場合には、１つの撮影合焦位置における前方被写界深度と、もう１つの撮影合焦位置における後方被写界深度が重複するように撮影合焦位置を決定することを特徴とする。
複数の画像から動きのある領域を特定する動き検出部を更に備え、前記撮影合焦位置決定部により決定される撮影合焦位置が複数ある場合には、前記動き検出部により動きのある領域を特定し、前記動きのある領域では、前記複数の撮影合焦位置で撮影された画像のうち、特定の１枚の画像を画像合成に用いることを特徴とする。
前記特定の１枚の画像として、撮影合焦位置が最も遠い画像以外の画像を使用することを特徴とする。

前記複数の画像から視差を算出する視差算出部をさらに備え、前記画像合成部は、前記視差算出部において算出された前記視差を用いて、前記複数の画像から領域毎の被写体に合焦した画像を抽出し、合成することを特徴とする。
本発明は、画像を撮影するカメラを少なくとも１つ備える撮像装置を制御する制御装置であって、前記カメラにより撮像される被写体の位置検出を行う被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置を決定する撮影合焦位置決定部を有し、前記撮影合焦位置決定部は、前記カメラにより撮影される複数の画像を合成する画像合成する際に、前記被写体位置に対応する撮影合焦位置と異なる位置で、前記被写体位置が前記カメラの被写界深度に含まれる位置を撮影合焦位置として決定することを特徴とする制御装置である。
本発明は、画像を撮影するカメラを少なくとも１つ備える撮像装置における撮像装置制御方法であって、前記カメラによって撮像する被写体の位置検出を行う被写体位置検出ステップと、前記カメラによって撮像する被写体の位置検出を行う被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置を決定する撮影合焦位置決定ステップと、前記カメラにより撮影される複数の画像を合成する画像合成ステップを有し、前記撮影合焦位置決定ステップは、前記カメラによって撮影される複数の画像のうち、少なくとも１つの画像の撮影合焦位置を、前記被写体位置に対応する撮影合焦位置と異なる位置で、前記被写体位置が前記カメラの被写界深度に含まれる位置を撮影合焦位置として決定することを特徴とする撮像装置制御方法である。
また、本発明は、コンピュータに、上記に記載の撮像装置制御方法を実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

本発明によれば、カメラの合焦位置を変えて全焦点画像を生成する際に、被写体位置に応じて撮影位置を決定することにより、全焦点画像の生成に必要な画像を短時間で撮影することができる。

本発明の第１実施形態における撮像装置の一構成例を示す機能ブロック図である。 本発明の第１実施形態における撮像装置の動作手順を示すフローチャートである。 被写体位置検出部における動作を模式的に示す説明図である。 被写界深度を説明するための模式図である。 撮影位置の決定方法を模式的に示す説明図である。 撮影画像と画像合成部における合成後の画像を示す図である。 遠景被写体位置を検出した場合の撮影位置決定方法を示す説明図である。 撮影位置決定方法を示す説明図である。 本発明の第２実施形態における撮像装置の一構成例を示す機能ブロック図である。 本発明の第２実施形態における撮像装置の動作手順を示すフローチャートである。 動き領域検出部の動作を示す説明図である。 合成画像例を示す図である。 本発明の第３実施形態における撮像装置の一構成例を示す機能ブロック図である。 本発明の第３実施形態における撮像装置の動作手順を示すフローチャートである。 ２つのカメラの撮影位置の決定方法を模式的に示す説明図である。 視差について説明する図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

＜第１実施形態＞
以下、図面を参照して第１実施形態における撮像装置を説明する。図１は、本実施形態における撮像装置の一構成例を示す機能ブロック図である。
撮像装置１００は、カメラ１０１と、被写体位置検出部１０２と、撮影合焦位置決定部１０３と、記憶部１０４と、ぼけ許容量設定部１０５と、位置合わせ部１０６と、画像合成部１０７とを有する。
カメラ１０１は、レンズを含む撮像光学系と、レンズを通った光を撮像素子で受け、デジタル信号に変換するセンサ（図示せず）とを有する。また、焦点位置調整機能を備え、撮影合焦位置決定部１０３からの指示に従い、レンズ位置を任意の距離にある被写体に合焦する位置に移動させることができる。

被写体位置検出部１０２は、カメラ１０１により取得される画像から被写体の位置を検出する。この被写体位置検出部１０２による検出結果に従い、撮影合焦位置決定部１０３は記憶部１０４に記憶された撮影合焦位置に関する情報を参照し、撮影合焦位置を決定する。記憶部１０４はぼけ許容量や撮影合焦位置に関する各種パラメータを記憶している。ぼけ許容量設定部１０５は、ユーザーからの指示に従い撮影する画像のぼけに関する許容量を設定する。位置合わせ部１０６は、撮影合焦位置を変えて撮影した画像の画角を補正する位置合わせ処理を行う。画像合成部１０７は、各画像を解析し被写体ごとにピントの合った画像を抽出し、合成することにより被写界深度の深い全焦点画像を生成する。

図２は、第１実施形態に係る撮像装置の制御処理の流れを示すフローチャートであり、このフローチャートに従って詳細について説明する。
まず、ステップＳ１１において、被写体位置検出部１０２は、カメラ１０１によって得られた画像から近景被写体位置を検出する。この際、カメラ１０１は、最短撮影距離から無限遠距離に向かって、レンズを動かしながら被写体に焦点の合う合焦位置を探索する。最短撮影距離は、レンズを動かしてカメラの焦点を合わせることが出来る被写体距離のうち、最もカメラから近い距離のことである。無限遠とは、カメラの光学系においてその距離以降焦点調節が不要となる距離のことを指し、無限遠距離は、無限遠に合焦するレンズ位置に対応する距離のことを指す。また、合焦位置は被写体に焦点が合った場合のレンズ位置であり、以降この合焦位置をカメラから焦点の合う被写体までの距離で表すものとする。

図３は被写体位置検出時の動作を説明する図である。図３の横軸はカメラ１０１を距離０としたカメラ１０１からの距離を示し、最短撮影距離をＤＳ、無限遠距離をＤＩ、被写体Ａのある距離をＤＡとする。カメラ１０１において最短撮影距離ＤＳを探索開始点とし、無限遠距離ＤＩに向かって合焦位置の探索を行う。本例では、合焦位置の探索にコントラスト検出法を用いる。コントラスト検出法は、レンズを移動させながら画像を取得し、各画像においてコントラスト値を計算していき、コントラスト値が高くなる画像を撮影したレンズ位置を合焦位置として決める方法である。コントラスト値が高いかどうかの判定は、全ての範囲でレンズ位置を変えて画像を取得し、ピークを検出する方法や、閾値を決めその閾値以上かどうかで判定するなど様々な方法があり、コントラストを検出する領域についても画像全体で行う、あるいは中央のみにするなど様々あるが、本発明の本質ではない為、詳細な説明は割愛する。ＤＳからＤＩ方向に探索を行い、被写体Ａのある距離ＤＡでピークを検出した時点で、その位置にレンズを合わせて終了する。この際、カメラ１０１から被写体Ａまでの距離ＤＡの位置を近景被写体位置とする。

次に、図２に示すステップＳ１２において、撮影合焦位置決定部１０３は、被写体位置検出部１０２により検出された被写体位置に従って、記憶部１０４から各種撮影情報（パラメータ）を読み込み、撮影合焦位置の決定を行う。記憶部１０４には、撮影合焦位置を求めるための各種撮影情報が記憶されている。記憶部１０４に記憶されている各種撮影情報は、例えば、カメラ１０１のレンズの焦点距離、カメラ１０１のＦ値、カメラ１０１のレンズの許容錯乱円直径、ユーザーによって指定されるぼけの許容量、ぼけの許容量に応じた合焦位置と被写界深度との関係を表す式などである。ここで、ぼけの許容量とは、被写体の位置が合焦位置から離れるにつれて撮影画像上でぼけが発生するが、このぼけがカメラ１０１における撮像素子の何画素に及ぶまでを許容するかを意味する。ぼけ許容量は、ぼけ許容量設定部１０５によってユーザーが任意に設定することができる。ここでは、ぼけ許容量は、１画素、２画素、５画素といった画素数で表す例について説明する。これらの各種撮影情報の少なくとも一部を、カメラ１０１のメーカのサーバやユーザーのサーバ等の外部サーバからネットワーク経由で取得する構成でも良い。

まず、図４を用いて被写界深度を説明する。横軸はカメラ１０１からの距離である。今、合焦位置が被写体Ａのある距離ＤＡに焦点の合う位置であるとし、図４に示すように、Ｌ１が前方被写界深度、Ｌ２が後方被写界深度である。ここで、前方被写界深度とは、カメラから見て合焦位置より手前側でぼけのない画像を得られる範囲であり、ここではぼけの許容量以下となる画像が得られる範囲のことである。そして、後方被写界深度とは合焦位置より奥側におけるぼけの許容量以下となる画像が得られる範囲である。
カメラの被写界深度Ｌｆは（１）式のように示される。
Ｌｆ＝ Ｌ１＋Ｌ２ …（１）
レンズの焦点距離をｆ、カメラのＦ値をＦ、レンズの許容錯乱円直径をδ、ぼけの許容量をｐ、カメラからの距離をｌとすると、式（２）および（３）の関係がそれぞれ成り立つ。したがって、式（１）、式（２）、式（３）により、式（４）を求めることができる。
Ｌ１＝δｐＦｌ^２／（ｆ^２＋δｐＦｌ） …（２）
Ｌ２＝δｐＦｌ^２／（ｆ^２−δｐＦｌ） …（３）
Ｌｆ＝δｐＦｌ^２／（ｆ^２＋δｐＦｌ）＋δｐＦｌ^２／（ｆ^２−δｐＦｌ） …（４）
図４で説明した被写界深度を考慮し、撮影合焦位置決定部１０３は撮影合焦位置を決定する。ぼけ許容量設定部１０５により設定されたぼけ量に従い、前方被写界深度Ｌ１と後方被写界深度Ｌ２を、式（２）、式（３）より算出する。

図５は、撮影合焦位置の決定方法を模式的に示す説明図である。図５に示すように、被写体位置検出部１０３で検出した近景被写体位置ＤＡから、前方被写界深度Ｌ１に被写体Ａが含まれる範囲で、最もカメラから遠い位置Ｄ１を特定する。距離Ｄ１に焦点が合う時のレンズ位置を撮影合焦位置として決定する。そして、図５（ａ）に示すように、撮影合焦位置Ｄ１の後方で許容ぼけ量内に収まる範囲であるＤ１＋Ｌ２が、後方被写界深度に含まれる範囲でレンズ位置を遠方に移動する。そして、図５（ｂ）に示すようにＤ２の位置を２回目の撮影合焦位置として決定する。また、この撮影合焦位置を記憶部１０４に保存する。
このとき、位置Ｄ２における後方被写界深度Ｌ２は無限遠となり、これより遠方の被写体には焦点が合うため、この時点で処理を終了する。このようにして撮影合焦位置Ｄ１とＤ２とを決定する。

このように、被写体Ａに焦点を合わせた場合、通常そのレンズ位置で撮影を行うが、ここでは撮影合焦位置を、被写界深度を考慮しながら遠方に移動している。カメラ１０１から最も近い近景被写体位置を検出した場合、前方被写界深度を考慮して撮影合焦位置を後方にずらすことにより、１回の撮影でより広い範囲が許容ぼけ量内に収まるような画像を撮影することが可能となる。また、２回目以降の撮影において各撮影における前方被写界深度と後方被写界深度の重複を出来る限り減らすよう撮影合焦位置を決定することにより、全焦点画像生成に必要となる画像の撮影回数を可能な限り減らすことが可能となる。
なお、ここでは前方被写界深度と被写体位置ＤＡが一致するように後方にずらしているが、必ずしも一致するまで移動しなくても良く、一定の範囲に収まるようにずらしても良い。また、各撮影回における被写界深度の重複についても、一定の範囲で重複を許すようにしても良い。また、撮影回数はここでは２回であるが、すべての被写体が各撮影のどれかの被写界深度に入るように撮影するため、レンズ仕様や被写体の位置に応じて適宜２回以上の撮影を行う。

次に、ステップＳ１３において、ステップＳ１２で撮影合焦位置決定部１０３によって決定された撮影合焦位置に従い、カメラ１０１は撮影合焦位置を変えながら複数枚の画像を撮影する。
ステップＳ１４において、位置合わせ部１０６はステップＳ１３で撮影された複数枚の画像をカメラ１０１から受け取ると共に、記憶部１０４から撮影合焦位置に対応した位置合わせ用パラメータを読み込む。そして、このパラメータに従い、ステップＳ１５において、この各画像において、画像の拡大・縮小処理により位置合わせを行う。各撮影画像は撮影合焦位置が異なり撮影したレンズ位置が違うことから、画像の合焦状態と共に、画角が異なっている。撮影合焦位置がＤＩ側に近づくほど画角が小さくなり、撮像される像が拡大される。そこで、この位置合わせ処理を行うことにより後述の画像合成部１０７における画像合成時に適切に合成することが可能となる。位置合わせ用パラメータは、各撮影合焦位置に応じてどのくらい画像の大きさが変わるかについて、例えばテーブル形式で記憶部１０４等に記憶されているものとし、位置合わせ用パラメータから基準画像に対する拡大・縮小率を算出することができる。基準画像とは撮影された複数枚の画像のうち基準とする１枚の画像を示す。ステップＳ１５で、最も遠い画像を基準画像とすると、この画像と同じ大きさで像が写るようその他の画像は縮小処理される。
なお、位置合わせ処理は、上記の手法に限らず、例えば画像から特徴点を検出し、特徴点の位置の違いから基準画像に対する拡大・縮小率、あるいはアフィン変換や射影変換のパラメータを算出し位置合わせを行うようにしても良く、他の方法でも良い。連写画像に手振れなどによる画像全体のブレが存在する場合、拡大、縮小だけでは位置合わせが行えないことがあるため、その場合にはこれら他の方法を用いる。本発明の本質ではない為、詳細については説明を割愛する。

次にステップＳ１６において、画像合成部１０７は位置合わせされた各画像を用い、領域ごとに合焦状態の検出を行う。これは、撮影されている被写体が、どの画像で最も焦点が合った状態で撮影されているかを特定するためのものである。図６は各撮影画像と、最終的な合成画像を示す図である。図６（ａ）は図５に示す撮影合焦位置Ｄ１で撮影した画像、図６（ｂ）は撮影合焦位置Ｄ２で撮影した画像である。各被写体は図５の被写体Ａ，Ｂに対応しており、実線で示しているのはピントが合い合焦している状態、点線はピントがずれぼけている状態であることを示している。各画像において、画素ごとにぼけの評価を行う。ぼけの評価法としては、コントラスト値によって評価する方法がある。例えば微分フィルタによって各画素と周囲画素との差分の変化を調べることによってコントラスト値の算出が可能である。このような処理により、各画像間の同一画素で最もコントラストの高い値を持つ画像を、焦点が合っているものとして特定する。これにより、図６（a）では被写体Ａが、図６（ｂ）では被写体Ｂが検出される。
なお、合焦状態の判定方法、コントラスト値の評価手法はここに記載した以外にも様々な方法があり、そのいずれを用いても構わない。また、ここでは各画素でコントラスト値の評価を行ったが、領域ごとに行うようにしても良く、あらかじめ被写体領域を特徴点抽出等で特定しておき、被写体領域ごとに合焦状態の検出を行っても良い。

ステップＳ１７において、画像合成部１０７は、ステップＳ１６の検出結果に基づき、画像の合成を行う。すなわち、各画像から焦点の合っている領域をそれぞれ抽出し、画像の合成を行う。なお、例えばコントラスト値の評価が同等で、各画像間で差が無い領域に関しては、周辺の画素で差が有る領域と同じ画像を採用する方法がある。あるいは、図６に示すように被写体Ａ、Ｂ以外の領域は背景である可能性が高いので、常にカメラから距離の遠い奥側にピントの合った画像を合成するようにしても良い。本実施形態では、ステップＳ１５で最もカメラから遠い位置に合焦した画像を基準画像としているので、この画像を基準としコントラストの評価値に差が無い場合は合成をせず、他の撮影画像でコントラストが高くなる部分のみ合成をするようにする。これにより、背景の面積が広い場合が多いことや、評価に差が無い部分は何も処理をしなくても良いため、処理量を抑え効率的に画像の合成を行うことが可能となる。また、合成領域が少なくなるため合成ミスによる悪影響も少なくできる。
以上の処理により、図６（ｃ）に示すように、被写体Ａ、Ｂの両方に合焦した全焦点画像を得ることが可能となる。

なお、本実施形態において、ステップＳ１２において撮影合焦位置の決定を行う際、ぼけの許容量を設定するようにしたが、このようにぼけ許容量を設定できるようにすることにより、撮影シーンに応じて画質を優先するか、撮影に係る時間の短縮を優先するかをユーザーが選択できるようになる。例えば、被写体が動く場合には連写の際に撮影する被写体の位置が変わり、画像を合成した際に多重増になるなど画質が大きく劣化する可能性がある。このような場合に、ぼけ量を大きくすると被写界深度が広くなり、撮影回数が減り撮影速度が短縮されることで、生成画像における多重像の影響を低減でき、画質の大きな劣化を防ぐことが可能となる。本実施形態では、ぼけの許容量を１画素、２画素といった画素で設定する例を示したが、画素ではなく「ＦＩＮＥ」、「ＮＯＲＭＡＬ」、「ＬＯＷ」と言った画質を表す設定項目を用意し、ＦＩＮＥなら１画素、ＮＯＲＭＡＬなら２画素、ＬＯＷなら３画素といった関連をつけて設定するようにしても良い。また、撮影シーンと関連付け、「動被写体」「静止被写体」といった項目で設定できるようにし、動被写体の場合はぼけ許容量を大きく、静止被写体の場合はぼけ許容量を小さくするようにしても良く、画素での設定に限定するものではない。また、ここではユーザーによって指定するものとしているが、別途シーン設定やシーン認識がある場合には、シーンに応じて自動で変更するようにしても良い。

また、本実施形態では近景被写体位置を検出したため後方にずらしているが、カメラから最も遠い遠方被写体位置を検出した場合には、後方被写界深度を考慮して撮影合焦位置を前方にずらすように決めることにより、同様の効果を得ることが出来る。例えば室内での写真撮影であるとし、図７（ａ）に示す画像を撮影したとする。壁にかけられた絵をイメージしている被写体Ｃよりも奥にある被写体はない。このようなシチュエーションで、図７（ｂ）に示すように、被写体位置検出部はＤＩからＤＡの方向に向かって被写体位置の検出を行う。そして遠景被写体位置としてＤＣを検出する。このＤＣの位置が後方被写界深度Ｌ２に含まれるよう、Ｄ３の位置を決定すれば良い。そして、この場合は前方被写界深度Ｌ１を考慮して、２回目の撮影合焦位置を決定する。
また、近景被写体位置と遠景被写体位置を共に算出し、それに応じて適切なぼけ許容量を設定することにより、少ない撮影回数で画質を最適化することが可能となる。例えば、被写体Ｃの位置であるＤＣを検出して、設定したぼけ許容量で被写界深度を考慮して撮影合焦位置を決定すると、図８（ａ）に示すように、２回目の撮影合焦位置Ｄ４では、被写体Ａを含んでいるが、焦点があっている領域内には他に被写体が存在していないと言う状況になる。

そこで、図８に示す環境では、まずＤＳからＤＡに向かって合焦状態を探索し、近景被写体位置ＤＡを検出する。次に、そのままＤＩに向かって検出を進める、あるいはＤＩを初期値にして再度ＤＡに向かって合焦状態を探索することで遠景被写体位置ＤＣを特定する。ＤＡとＤＣの位置を把握した状態で、あらかじめ設定したぼけ量で撮影合焦位置を考慮すると、図８（ａ）に示すように、撮影合焦位置Ｄ４において、被写体Ａが後方被写界深度Ｌ２に含まれていることがわかる。そのため、ぼけ許容量を少しずつ少ない画素数、例えば許容量が３画素であれば２画素に変え、被写界深度と撮影合焦位置を算出する。そして、図８（ｂ）に示すように、新たな被写界深度Ｌｆ’を算出し、被写体Ｃが撮影合焦位置Ｄ３’の後方被写界深度Ｌ２’に、被写体Ａが撮影合焦位置Ｄ４’の前方被写界深度Ｌ１’に含まれるように撮影合焦位置を決定することにより、あらかじめ設定していたぼけ許容量のときと同じ撮影回数で、よりぼけの少ない鮮明な全焦点画像を生成することが可能となる。

また、本実施形態では被写体位置検出において、コントラスト検出法を用いる例により説明したが、レンズから入った光を２つに分けて専用のセンサへ導き、結像した２つの画像の間隔からピントの方向と量を判断する位相差検出方式やコントラストと位相差を両方用いるハイブリッド方式等の焦点検出手段を用いてもよく、被写体位置検出の方法を限定するものではない。
また、ここでは絞りについて記載していないが、絞りのあるカメラを用いても良く、その場合、絞りに応じて被写界深度が変わるが、基本的な動作については絞りのある場合も同様である。

＜第２実施形態＞
以下、図面を参照して第２実施形態における撮像装置を説明する。図９は、本実施形態における撮像装置の一構成例を示す機能ブロック図である。なお、実施形態１と同様の機能を有するものには同一の番号を付している。
撮像装置２００は、カメラ１０１と、被写体位置検出部１０２と、撮影合焦位置決定部１０３と、記憶部１０４と、ぼけ許容量設定部１０５と、位置合わせ部１０６と、動き検出部２０１と、画像合成部２０２と、を有する。
カメラ１０１は、レンズを含む撮像光学系と、レンズを通った光を撮像素子で受け、デジタル信号に変換するセンサ（図示せず）とを有する。また、焦点位置調整機能を備え、後述する撮影合焦位置決定部からの指示に従い、レンズ位置を任意の距離にある被写体に合焦する位置に移動させることができる。
被写体位置検出部１０２は、カメラ１０１により取得される画像から被写体の位置を検出する。この被写体位置検出部１０２による検出結果に従い、撮影合焦位置決定部１０３は記憶部１０４に記憶された撮影合焦位置に関する情報を参照し、撮影合焦位置を決定する。記憶部１０４はぼけ許容量や撮影合焦位置に関する各種パラメータを記憶している。ぼけ許容量設定部１０５は、ユーザーからの指示に従い撮影する画像のぼけに関する許容量を設定する。位置合わせ部１０６は、合焦位置を変えて撮影した画像の画角を補正する位置合わせ処理を行う。動き検出部２０１は、各撮影合焦位置で撮影した画像を比較し、動きのある領域を特定する。画像合成部１０７は、各画像を解析し領域毎被写体にピントの合った画像を抽出し、合成することにより被写界深度の深い全焦点画像を生成する。その際、動き領域とそれ以外の領域で異なる手法で画像の合成を行う。

図１０は、第２実施形態に係る撮像装置の制御法を示すフローチャートであり、このフローチャートに従って詳細について説明する。なお、ステップＳ２１からステップＳ２５までは、それぞれ実施形態１の図２に示すフローチャートＳ１１からＳ１５と同様なため、詳細な説明は割愛する。
ステップＳ２１において近景被写体位置を検出し、ステップＳ２２において撮影合焦位置を決定し、ステップＳ２３においてカメラ１０１で決められた各撮影合焦位置で複数回撮影を行う。実施形態１における図５に示したものと同様の位置に被写体Ａ、被写体Ｂが存在し、Ｄ１とＤ２の撮影合焦位置を決定し、カメラ１０１によって画像を撮影するものとする。そして、ステップＳ２４で位置合わせ用パラメータを読み込み、ステップＳ２５において位置合わせ処理を行う。

そして、ステップＳ２６において動き検出部２０１によって、動きのある領域を検出する。図１１は動きのある領域を検出する方法を説明する模式図である。図１１（ａ）は位置合わせ後の撮影合焦位置Ｄ１における撮影画像、図１１（ｂ）は位置合わせ後の撮影合焦位置Ｄ２における撮影画像である。点線で描かれた被写体はぼけが存在し、実線で描かれた被写体は合焦していることを示している。被写体Ｂは各画像において同一の位置に撮影されているが、被写体Ａは画像間に引いた点線と矢印ＡＲで示すとおり、撮影されている位置が異なっており、動きがあることがわかる。動き検出部２０１は各画像において同一座標の画素ごとに画素値の差分をとり、動きのある領域を特定する。被写体Ｂ付近の領域においても合焦状態が異なるため、完全には一致せずある程度の差が存在する。しかし、動きのある被写体Ａの領域では、この差が非常に大きくなる。そのため、例えば５×５などのブロックサイズを決め、このブロックごとに差分値の和を評価し、あらかじめ設定した閾値以上かどうかで動きを判別することができる。また、１つの画像から特徴点を抽出し、その他の画像で対応する特徴点がどの座標に位置するかを検出して動きを判断しても良い。このようにして動きの検出を行い、図１１（ｃ）に斜線で示す領域Ｃのように動きのある領域を特定する。ここでは、大きい長方形の領域でおおまかに記載しているが、小さいブロックにより動きを検出する場合は、より被写体に近い形で検出することも可能である。

ステップＳ２７において、画像合成部２０２で行う画像合成時のアルゴリズムを動きのある領域かどうかによって切り替える。
動きのある領域に関しては、ステップＳ２８において、領域Ｃで合成に用いる画像を、撮影した複数枚の画像から特定の１枚を選択する。そして、ステップＳ２９においてその画像を合成する。動きのある領域に対してこのような処理を行う必要がある理由は、図１２（ａ）に示すように、図１１（ａ）、図１１（ｂ）に示した画像をそのまま合焦状態のみで判定して合成すると２重像になり画質が劣化するためである。図１１（ｂ）の被写体Ａはぼけていてコントラスト値は低いが、映っている位置が異なるため、図１１（ａ）において無地でコントラスト値が極端に低い領域と比較すると、図１１（ｂ）のコントラスト値が優先して合成されてしまう。このように、動きのある領域を特定して、合成する画像を限定することで２重像となるような画質劣化を防ぎ、良好な全焦点画像を得ることが可能となる。

ステップＳ２８での画像の特定方法は、例えば動きのある被写体は近景の被写体である
可能性が高いため、近景の画像を使うという方法がある。遠景は風景や建物など、動かない被写体が多いため、近景を使うことで動いている被写体にも合焦した全焦点画像が合成できる可能性が高い。また、各画像において動きのある領域におけるコントラスト値の合計を算出して比較しても良い。最もピントの合った画像において、コントラスト値の合計が高くなる可能性が高いためである。これにより、被写体がカメラからどれくらいの位置にあるかに限らず、高精度で焦点の合った画像を特定できる。また、ユーザーによって複数枚の画像から特定の１枚を選択できるようにしても良い。例えば、動きのある領域が存在することが検知された場合、合成前にユーザーにそのことを通知し、複数枚の画像から動き領域で使用する画像を選択させる方法がある。これにより、ユーザーの嗜好に合った画像を生成することが可能となる。この場合、撮影した複数枚の画像から選択させるのではなく、各画像をそれぞれ合成した画像を提示し、その中から適切な画像を選択するようにしても良い。

動きの無い領域に関しては実施形態１と同様であり、図１１（ｃ）に示した領域Ｃ以外の領域では、ステップＳ３０により被写体の合焦状態を検出し、ステップＳ３１によって画素ごとに最も焦点の合っている画像を特定し、その画像を合成する。
このように動きのある領域を特定し、合成方法を切り替えることにより、動きのある被写体であっても、図１２（ｂ）に示すように画質の良い全焦点画像を生成することが可能となる。
なお、ここでは図１１に示すように、動く被写体は水平方向に移動した例を示しているが、実際の撮影においては動き方も被写体によって違い、動物などでは画像によって撮影されている形状も大きく異なる可能性がある。そのような場合においても、本手法を用いて動きのある領域全てに対して特定の画像を用いる処理を行うことにより、破綻のない全焦点画像を生成することが可能となる。

＜第３実施形態＞
以下、図面を参照して第３実施形態における撮像装置を説明する。図１３は、本実施形態における撮像装置の一構成例を示す機能ブロック図である。なお、実施形態１と同様の機能を有するものには同一の番号を付している。
撮像装置３００は、被写体に向かって左の位置にある第１カメラ３０１、右の位置にある第２カメラ３０２と、被写体位置検出部１０２と、撮影合焦位置決定部３０３と、記憶部１０４と、ぼけ許容量設定部１０５と、位置合わせ部３０４と、視差算出部３０５、画像合成部３０６とを有する。
カメラ３０１、３０２は、レンズを含む撮像光学系と、レンズを通った光を撮像素子で受け、デジタル信号に変換するセンサ（図示せず）とを有する。また、焦点位置調整機能を備え、後述する撮影合焦位置決定部からの指示に従い、レンズ位置を任意の距離にある被写体に合焦する位置に移動させることができる。第１カメラ３０１と第２カメラ３０２は水平方向（撮影画像においては横手方向）に並べて光軸が平行になるよう配置されているものとする。

被写体位置検出部１０２は、第１カメラ３０１により取得される画像から被写体の位置を検出する。この被写体位置検出部１０２による検出結果に従い、撮影合焦位置決定部３０３は記憶部１０４に記憶された撮影合焦位置に関する情報を参照し、２つのカメラの撮影合焦位置を決定する。記憶部１０４はぼけ許容量や撮影合焦位置に関する各種パラメータを記憶している。ぼけ許容量設定部１０５は、ユーザーからの支持に従い撮影する画像のぼけに関する許容度を設定する。位置合わせ部３０４は、合焦位置を変えて撮影した画像の画角を補正する位置合わせ処理を行う。視差算出部３０５は、２つのカメラで撮影された画像から視差マップを算出する。画像合成部３０６は、２つのカメラで撮影した画像から領域毎被写体にピントの合った画像を、視差マップを用いて抽出し、合成することにより被写界深度の深い全焦点画像を生成する。以下、前述の実施形態に記載していない差分のみを記載する。

図１４は、第３実施形態に係る撮像装置の制御法を示すフローチャートであり、このフローチャートに従って詳細について説明する。実施形態１の図２に示すフローチャートと異なるのは、ステップＳ４１からステップＳ４３である。
本実施形態に示すように、二眼カメラにおいても実施形態１と同様、検出した被写体位置に応じて、被写界深度を考慮して撮影合焦位置を決定することで効率的に全焦点画像を生成するための画像を取得することが出来る。実施形態１と同様の被写体を撮影する場合、図１５に示すように、第１カメラ３０１での撮影合焦位置をＤ１に、第２カメラ３０２の撮影合焦位置をＤ２にするようにすれば良い。なお、第１カメラの撮影合焦位置をＤ２、第２カメラの撮影合焦位置をＤ１にしても良い。

二眼カメラにおいては、全焦点画像を生成する際にカメラ位置の違いによる視差が存在する為、これをキャンセルする必要がある。図１６は視差を説明する為の図である。図１６（ａ）は第１カメラ３０１の位置合わせ後の撮影画像、図１６（ｂ）は第２カメラ３０２における位置合わせ後の撮影画像である。被写体Ａ、Ｂは共に静止しているものとする。これに示すように、近くにある被写体Ａは画像間で撮影されている位置が異なる。一方、無限遠に近い遠方に位置する被写体Ｂはほぼ同じ位置に撮影される。そのため、このまま合成すると２重像になる為、視差をキャンセルして合成する必要がある。視差とは、図１６に示すように、各撮影画像における同一被写体での位置ずれ量である。

この視差をキャンセルするため、視差の算出を行う必要がある。まず、位置合わせ部３０４において、レクティフィケーションと呼ばれる手法によって位置合わせを行う（ステップＳ４１）。まず、記憶部１０４から各カメラにおけるカメラパラメータの情報を得る。カメラパラメータは、各カメラの焦点距離やレンズ歪みパラメータなどの内部パラメータ、および各カメラ間の位置関係を表す外部パラメータであり、キャリブレーションと呼ばれる処理を利用して算出可能である。キャリブレーションとは、格子模様や等間隔ドットを印刷したキャリブレーションパターンを撮影し、特徴点抽出により各パラメータを算出する処理である。そして、レクティフィケーションと呼ばれる光軸を平行化し、画像の大きさ等含めて位置合わせを行う処理によって、図１６に示すような像の大きさや歪のない画像を生成する。

そして、視差算出部３０５によって、視差の算出を行う（ステップＳ４２）。視差の算出は各画像間で対応点を検出することによって算出され、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法による相関値演算や、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、グラフカットなどの様々な手法がある。これらの手法を用いて視差の算出を行い、視差マップを生成する。視差マップは、画像の画素ごとに、２つの画像間の視差情報を保持するものである。
画像合成部３０６は、この視差マップを用いて各画像から焦点の合った領域を特定し、画像の合成を行う（ステップＳ４３）。視差マップは、距離情報を示していて、カメラから近い被写体ほど視差が大きく、遠い被写体ほど小さくなる。よって、視差情報を用いることで、各被写体がどの撮影画像で焦点が合っているかを特定できる。最もカメラから遠い位置に焦点が合うように撮影した画像を基準画像として視差を算出し、基準画像でぼけている被写体に対しては、最も焦点の合っている画像を特定し、その画像から視差情報をキャンセルして同一位置になるよう合成を行うことにより、二眼カメラにおいても鮮明な全焦点画像を生成することが可能となる。

なお、本発明は、上述した実施形態によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。
本発明の構成要素は、任意に取捨選択が可能である。
本発明の撮像装置は、デジタルカメラなどの撮像装置に限られず、撮像機能が組み込まれた情報処理装置に適用することができる。例えば、本発明は、第一のカメラおよび第二のカメラを少なくとも備える情報処理装置（例えば、コンピュータ、携帯端末、タブレット端末、スマートフォンなど）にも適用することができる。
あるいは、画像を撮影するカメラを少なくとも１つ備える撮像装置を制御する制御装置、集積回路、等であっても良い。

また、本発明による撮像装置の各種機能を、ソフトウェアのプログラムコードで実現しても良い。プログラムコードは、その処理時に一時的に記憶媒体に蓄積され、必要に応じてＣＰＵなどの演算装置が読み出し、実行するようにして本発明を実現しても良い。記憶媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるメモリ、ハードディスク等の記憶装置のことをいう。
また、上述した実施形態における撮像装置の一部、または全部をハードウェア構成で実現してもよく、典型的には集積回路であるＬＳＩとして実現しても良い。撮像装置の各機能ブロックは個別にチップ化しても良いし、一部、または全部を集積してチップ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
例えば、画像を撮影するカメラを少なくとも１つ備える撮像装置を制御する集積回路やリモコン装置など制御装置であって、カメラにより撮像される被写体の位置検出を行う被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置を決定する撮影合焦位置決定部を有し、前記撮影合焦位置決定部は、前記カメラにより撮影される複数の画像を合成する画像合成する際に、前記被写体位置に対応する撮影合焦位置と異なる位置で、前記被写体位置が前記カメラの被写界深度に含まれる位置を撮影合焦位置として決定することを特徴とする制御装置であっても良い。

本発明は、撮像装置に利用可能である。

１００ 撮像装置
１０１ カメラ
１０２ 被写体位置検出部
１０３ 撮影合焦位置決定部
１０４ 記憶部
１０５ ぼけ許容量設定部
１０６ 位置合わせ部
１０７ 画像合成部
２０１ 動き検出部
２０２ 画像合成部
３０１ 第一カメラ
３０２ 第二カメラ
３０３ 撮影合焦位置決定部
３０４ 位置合わせ部
３０５ 視差算出部
３０６ 画像合成部

Claims (8)

1. 画像を撮影するカメラを少なくとも１つ備える撮像装置であって、
   前記カメラにより撮像される被写体の位置検出を行う被写体位置検出部と、
   前記被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置を決定する撮影合焦位置決定部と、
   前記カメラにより撮影される複数の画像を合成する画像合成部と、
   合成画像におけるぼけ許容量を設定するぼけ許容量設定部と、を備え、
   前記撮影合焦位置決定部は、前記カメラによって撮影される複数の画像の撮影合焦位置のうち、前記被写体位置に対応する撮影合焦位置と隣接する撮影合焦位置を、前記ぼけ許容量設定部が設定した前記ぼけ許容量に応じて、当該ぼけ許容量が大きいほど前記被写体位置に対応する撮影合焦位置から離れるように決定し、
   前記カメラが前記複数の画像を撮影するための撮影回数を、前記ぼけ許容量設定部が設定した前記ぼけ許容量に応じて、当該ぼけ許容量が大きいほど前記撮影回数が少なくなるように決定することを特徴とする撮像装置。
2. 前記撮影合焦位置決定部は、
   前記被写体位置検出部によって検出される被写体位置が遠景被写体位置である場合には、前記遠景被写体位置が前記カメラの後方被写界深度に含まれるよう撮影合焦位置を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影合焦位置決定部は、
   前記被写体位置検出部によって検出される被写体位置が近景被写体位置である場合には、前記近景被写体位置が前記カメラの前方被写界深度に含まれるよう撮影合焦位置を決定することを特徴とする請求項１または２に記載の撮像装置。
4. 複数の画像から動きのある領域を特定する動き検出部を更に備え、
   前記撮影合焦位置決定部により決定される撮影合焦位置が複数ある場合には、
   前記動き検出部により動きのある領域を特定し、
   前記動きのある領域では、前記複数の撮影合焦位置で撮影された画像のうち、特定の１枚の画像を画像合成に用いることを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
5. 前記特定の１枚の画像として、撮影合焦位置が最も遠い画像以外の画像を使用することを特徴とする請求項４に記載の撮像装置。
6. 画像を撮影するカメラを少なくとも１つ備える撮像装置における撮像装置制御方法であって、
   前記カメラによって撮像する被写体の位置検出を行う被写体位置検出ステップと、
   前記カメラによって撮像する被写体の位置検出を行う被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置を決定する撮影合焦位置決定ステップと、
   前記カメラにより撮影される複数の画像を合成する画像合成ステップと、
   合成画像におけるぼけ許容量を設定するぼけ許容量設定ステップとを有し、
   前記撮影合焦位置決定ステップは、前記カメラによって撮影される複数の画像の撮影合焦位置のうち、前記被写体位置に対応する撮影合焦位置と隣接する撮影合焦位置を、前記ぼけ許容量設定ステップにおいて設定した前記ぼけ許容量に応じて、当該ぼけ許容量が大きいほど前記被写体位置に対応する撮影合焦位置から離れるように決定し、
   前記カメラが前記複数の画像を撮影するための撮影回数を、前記ぼけ許容量設定ステップにおいて設定した前記ぼけ許容量に応じて、当該ぼけ許容量が大きいほど前記撮影回数が少なくなるように決定することを特徴とする撮像装置制御方法。
7. コンピュータに、請求項６に記載の撮像装置制御方法を実行させるためのプログラム。
8. 画像を撮影するカメラを少なくとも１つ備える撮像装置であって、
   前記カメラにより撮像される被写体の位置検出を行う被写体位置検出部と、
   前記被写体位置検出部により検出した被写体位置に応じて、前記カメラの撮影合焦位置
   を決定する撮影合焦位置決定部と、
   前記カメラにより撮影される複数の画像を合成する画像合成部と、
   複数の画像から動きのある領域を特定する動き検出部と、を備え、
   前記撮影合焦位置決定部は、前記カメラによって撮影される複数の画像のうち、少なくとも１つの画像の撮影合焦位置を、前記被写体位置に対応する撮影合焦位置と異なる位置で、前記被写体位置が前記カメラの被写界深度に含まれる位置を撮影合焦位置として決定し、
   前記撮影合焦位置決定部により決定される撮影合焦位置が複数ある場合には、
   前記動き検出部により動きのある領域を特定し、
   前記動きのある領域では、前記複数の撮影合焦位置で撮影された画像のうち、特定の１枚の画像を画像合成に用い、
   前記特定の１枚の画像として、撮影合焦位置が最も遠い画像以外の画像を使用することを特徴とする撮像装置。

Images