JP5662511B2 - 撮像装置 - Google Patents

Description

本発明は、被写界深度の深い画像を撮影することができる撮像装置に関する。特に、複数の画像から出力画像を生成する撮像装置に関する。

フォーカスの合った鮮明な画像を撮像するための技術として、自動的に所定位置にフォーカスを合わせるオートフォーカス技術が知られている。オートフォーカス技術の方式には、位相差方式やコントラスト方式など様々な方式が知られており、近年のコンパクトデジタルカメラや携帯電話等に搭載されるカメラの多くには、コントラスト方式のオートフォーカスが搭載されている。コントラスト方式は、フォーカスレンズを動かしながら撮像素子に映った映像の高周波数成分が大きい（コントラストが高い）位置を探してフォーカスを合わせる方式であり、映像の中央付近の高周波数成分を算出してフォーカス位置を決定したり、映像全体の高周波数成分を算出してフォーカス位置を決定したり、タッチパネル上で操作者により選択された被写体の高周波数成分を算出してフォーカス位置を決定したりする。オートフォーカスにより、操作者（撮影者）自身がフォーカスを調整する必要がなくなり、より簡単な操作でフォーカスの合った鮮明な画像を撮像することが可能となる。

しかしながら、異なる距離に複数の被写体が存在する場合、オートフォーカスにより一方の被写体にフォーカスを合わせると、距離の異なる他方の被写体にはフォーカスが合わない可能性がある。

そこで、操作者が撮像したい被写体が複数存在し、各被写体が異なる距離に位置する場合において、複数の被写体すべてにフォーカスの合った鮮明な画像を得るための技術が開発されている。例えば、下記特許文献１では、異なるフォーカス位置で複数の画像を連続的に撮像し、各画像に共通する複数の被写体部それぞれについて、最も鮮明に撮像された画像から抽出し合成することで、複数の被写体がすべて鮮明な画像を得ると記載されている。

特開２００９−８８７４２号公報

しかしながら、特許文献１に記載の撮像方法では、操作者がフォーカスを合わせて鮮明に撮像したい被写体が複数のフォーカス位置のいずれにも位置しない可能性があり、そのような場合、目的の被写体が不鮮明になるという課題がある。図２６は、４つの被写体２６０１，２６０２、２６０３、２６０４の位置と、連続して３回撮像する場合のフォーカス位置２６０５、２６０６、２６０７を示している。図２６の２６０５、２６０６、２６０７上に示す矢印は、各フォーカス位置で撮像する場合の被写界深度を示している。図２６は、被写体２６０１、２６０２、２６０４の３つは、３つのフォーカス位置のいずれかの被写界深度内に位置しているためフォーカスの合った鮮明な画像が得られるが、被写体２６０３はいずれのフォーカス位置の被写界深度内にも位置していないため、撮像する３枚のいずれの画像においてもフォーカスの合った鮮明な画像として撮像されない。

図２７は、図２６の３つのフォーカス位置２６０５、２６０６、２６０７に加え、新たにフォーカス位置２７０１、２７０２、２７０３、２７０４を加えた図である。図２７に示すように、撮像枚数を増やし、フォーカス位置を細かく変化させて撮像すれば、操作者が撮像したい被写体がフォーカスの合った鮮明な画像として撮像される確率は増加する。しかしながら、撮像する枚数が増えると、撮像に要する時間が長くなり、動いている被写体を撮影する場合における複数画像間での対応点のずれが大きくなる。その結果、対応点探索が困難になり、画像の合成が困難になるため、撮像枚数を増やせば被写界深度の深い好適な画像が得られるとは限らない。

本発明は上記の点に鑑みてなされたものであり、操作者の意図を反映するフォーカス位置で撮像し、目的の被写体にフォーカスの合った鮮明な画像を得ることができる撮像装置を提供することを課題とする。

本発明の一観点によれば、画像を撮像する撮像部と、前記撮像部のフォーカスを制御するフォーカス制御部と、被写体の選択操作を受け付ける被写体選択受付部と、前記撮像部が撮像した画像を画像処理する画像処理部と、を備える撮像装置であって、前記撮像部は、前記フォーカス制御部によりフォーカスを変えた複数の画像を撮像し、前記複数の画像のうち少なくとも１つは、前記被写体選択受付部により受け付けた選択された被写体のフォーカス位置に基づいて撮像することを特徴とする撮像装置が提供される。

上記により、操作者の意図を反映する被写体選択手段により選択された複数の被写体を、選択情報に基づくフォーカス位置で撮像することができる。いずれか一方のフォーカス位置で撮像するだけで、選択された２つの被写体にフォーカスが合った画像を得ることができる。

この際、設定された撮像枚数に対し、それよりも多い選択された被写体の数が操作者に選択されている場合、被写体位置と被写界深度を考慮してフォーカス位置を再設定することで、設定された枚数で好適な撮像を実現することができる。

再設定は、フォーカス位置での被写界深度が重複している場合には、いずれか一方又はその間に再設定し、被写体のフォーカス位置での被写界深度が全く重複していない場合には、被写体間に新たにフォーカス位置を設定するようにすると良い。

前記被写体選択受付部は、操作者の優先度を受付け、前記複数の画像のうち少なくとも１つは、前記被写体選択受付部により受け付けられた優先度の高い被写体の合焦度が高くなるフォーカス位置で撮像することを特徴とする。

選択されたすべての被写体にフォーカスを合わせて撮像するために最低限必要なフォーカス位置が、設定された撮像枚数より少ない場合においては、フォーカス位置を新たに点に設定することで、１回の撮像で２つの被写体にフォーカスの合った画像が得られるようにする。

前記複数の画像のうち少なくとも１つは、前記被写体選択受付部により選択が受付された複数の被写体のフォーカス位置間に位置するフォーカス位置で撮像することを特徴とする。

前記フォーカス制御部は、前記複数の画像を撮像する際のそれぞれのフォーカス位置の移動方向が同一方向になるようにフォーカスを制御することを特徴とする。

前記画像処理部は、前記撮像した１つの画像より被写界深度を拡大した画像を、前記複数の画像から生成することを特徴とする。

本発明によれば、選択された複数の被写体にフォーカスの合った鮮明な画像を得ることができる。

本発明の実施形態に係る撮像装置の構成を示す概略図である。 本実施形態に係る撮像装置において、異なるフォーカス位置で複数回の撮像を連続して行う撮像モードにおける、操作者の操作に応じた制御処理の流れの一例を示すフローチャートである。 プレビュー画面の一例を示す図である。 図３の画像表示面を例として２５分割した画像表示面である。 画像表示面に表示されたプレビュー画面の一例を示す図である。 操作者が指で画像表示面上の被写体のみに触れる様子を示す図である。 触れた位置を中心とする拡大図を表示した図である。 操作者が指で画像表示面上の被写体Ｍ３のみに触れて選択する様子を示す図である。 点ではなく、任意の領域を丸で囲むようにして指定することで、指定領域に操作者が選択した被写体の高周波数成分を含む確率させた様子を示す図である。 選択済みである被写体を操作者が画面上で確認できるよう表示を行う例を示す図である。 選択済みである被写体を操作者が画面上で確認できるよう表示を行う例を示す図である。 最初に選択された被写体と２つ目に選択された被写体または領域を、プレビュー画面に重畳して表示した例を示す図である。 最初に選択された被写体と２つ目に選択された被写体または領域を、太い線の枠で強調するよう表示した例を示す図である。 選択された領域が明確になるようプレビュー画面に表示した例を示す図である。 近い側から被写体を撮像し、ぞれぞれの画像を示した図である。 異なる距離に位置する４つの被写体が選択された場合における、そのフォーカス位置と、それぞれのフォーカス位置での被写界深度を示す図である。 異なる距離に位置する４つの被写体が操作者に選択され、それぞれの被写体位置にフォーカスを合わせて撮像する場合の被写界深度を示す図である。 異なる距離に位置する３つの被写体が選択された場合における、そのフォーカス位置と、それぞれのフォーカス位置での被写界深度を示す図である。 フォーカス位置を２箇所に設定し、撮像したい３つの被写体すべてのフォーカスの合った画像を得た図である。 ４つの位置のすべての被写体にフォーカスを合わせることはできない場合、新たに４つ目のフォーカス位置を設定し、４枚の連続撮像を行うことで、選択されたすべての被写体にフォーカスの合った画像を得ることができる様子を示す図である。 全焦点画像合成処理のフローチャートを示す図である。 操作者が選択した位置または領域にスライダバーを表示させ、スライダを操作することで重み付けを設定した図である。 ０から７の数字は重みを選択すれ様子を示す図である。 操作者に選択された４つの被写体と、それぞれの位置で撮像した場合の被写界深度を示す図である。 操作者に選択された被写体と、それぞれに対応した被写界深度を示している図である。 ４つの被写体の位置と、連続して３回撮像する場合のフォーカス位置とを示す図である。 図２６の３つのフォーカス位置７に加え、新たにフォーカス位置を加えた図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。図１は、本実施形態に係る撮像装置１０の構成を示す概略図である。

撮像装置１０は、制御装置１００、撮像部１０１、画像表示部１０２を含んで構成される。制御装置１００は、制御部１０３、画像処理部１０４、記憶装置１０５を含んで構成される。

撮像部１０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）等の撮像デバイスやレンズ、レンズ駆動部などを含んで構成される。

画像表示部１０２は、制御装置１００から入力された出力画像信号が示す画像を表示する。画像表示部１０２は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。画像表示部１０２は、タッチパネル機能を備えていてもよい。タッチパネルとは、表示画面に表示された絵や領域に触れることを感知して外部へ情報信号として出力する装置である。タッチパネルには、操作した位置の電圧を感知する抵抗膜方式や、指先と導電膜の間での静電容量の変化を捉えて位置を検出する静電容量方式などがあり、操作者の画面上での位置情報や操作に対応した動作を行なう。

制御部１０３は、撮像部１０１のレンズ（図示せず）の駆動や、電源ボタンやシャッタボタンなどの入力装置（図示せず）からの入力信号の受信、画像表示部１０２への画像表示などの制御を行う。制御部１０３は、撮像装置１０に備えられたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のハードウェアがプログラムを実行することで実現される。

制御部１０３は、図１（ｂ）に示すように、フォーカス制御部１０３−１と、被写体選択受付部１０３−２と、撮像制御部１０３−３とを有している。画像処理部１０４は、入力された複数の入力画像に対して鮮鋭度などを解析し、解析結果に基づいて１枚の画像を合成する。また、画像処理部１０４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアで実現することができる。

図２は、本実施形態に係る撮像装置１０において、異なるフォーカス位置で複数回の撮像を連続して行う撮像モードにおける、操作者の操作に応じた制御処理の流れの一例を示すフローチャートである。なお、「連続して撮像（連続撮像）」とは、複数回の撮像を短時間で行うことを意味し、「フォーカス位置を変えながら連続撮像する」とは、あるフォーカス位置で１回目の撮像を行い、１回目の撮像が終わると、フォーカス位置を移動し、新たなフォーカス位置で２回目の撮像を行い、２回目の撮像が終わると、フォーカス位置を移動し、新たなフォーカス位置で３回目の撮像を行う、という順に、順次撮像を行うことを意味する。以下では、この撮像モードを「全焦点モード」とし、全焦点モードが選択された状態での操作について述べる。

全焦点モードに設定されると、撮像部１０１で撮影した画像が画像表示部１０２にプレビュー画面として表示される（Ｓ２０１）。次に、画像表示部１０２に、操作者に撮影したい被写体の指定を促す指示を出力する（Ｓ２０２）。被写体選択に関する操作者からの入力が検知されると（Ｓ２０３）、制御部１０３の被写体選択受付部１０３−２により、指定された被写体にフォーカスが合うよう制御部１０３の撮像制御部１０３−３から撮像部１０１へフォーカス制御信号が出力され、制御部１０３のフォーカス制御部１０３−１が制御することにより検出された最もフォーカスの合うフォーカス位置情報を記憶装置１０５に記録する（Ｓ２０４）。次に、Ｓ２０３で選択された被写体とは異なる被写体が更に選択されるか否かが被写体選択受付部１０３−２により判断される（Ｓ２０５）。更なる被写体の選択がなく、操作者によって撮像が選択される場合は、被写体選択終了となり、Ｓ２０６へ進む。

新たに被写体が選択される場合は、Ｓ２０３に戻り、新たに指定された被写体に最もフォーカスの合う位置情報を記憶装置１０５に記録する。

以上のように、操作者の被写体選択が終了するまでＳ２０３からＳ２０５を繰り返す。なお、Ｓ２０３からＳ２０５を繰り返す構成ではなく、Ｓ２０３で操作者が撮像したい被写体がすべて選択されてから、Ｓ２０４でそれぞれの被写体のフォーカス位置を算出し、Ｓ２０５に進む構成でもよい。Ｓ２０５で被写体選択が終了した場合は、Ｓ２０６に進む。Ｓ２０６では、記憶装置１０５に記録されたフォーカス位置情報に基づいて決定されたフォーカス位置にフォーカスを合わせて撮像する。すべての撮像が終わるまで、フォーカス位置の調整と撮像を繰り返す。撮像が終了すると、画像処理部１０４で撮像された画像から全焦点画像が生成される（Ｓ２０７）。

次に、図２に示したフローチャートの各ステップの詳細について述べる。まず、Ｓ２０１におけるプレビュー表示について述べる。全焦点モードに設定されると、最初はオートフォーカスでフォーカスを所定のフォーカス位置に合わせた画像をプレビュー画面に表示する。後述するＳ２０３で被写体を選択する際、操作者がプレビュー画面上で複数の被写体を識別できる程度にはすべての被写体にフォーカスが合っている方が好適であるため、極端に近景にフォーカスが合い遠景がボケている状態や、極端に遠景にフォーカスが合い近景がボケている状態よりは、近景から遠景までフォーカスが合っている状態の方が好ましい。被写体を識別できる程度に近景から遠景までフォーカスの合っている状態を実現するために、例えば、オートフォーカス時に、画面中央だけでなく画面全体のコントラストを算出してフォーカス位置を決定することで上述の極端な状態になる確率を低減することができる。また、全焦点モード設定時に、あらかじめ決められた所定のフォーカス位置にフォーカスを合わせた画像を表示すれば、シーンに依ってフォーカス位置が変化しないため、極端にフォーカス位置が近景や遠景となることを避けることができる。また、絞りを絞ることで被写界深度を深くすることができる。

図３は、Ｓ２０１のプレビュー画面の一例を示している。図３では、手前から被写体Ｈ３（人物）、被写体Ｂ３（建物）、被写体Ｍ３（山）の順に被写体が並んでいる。プレビュー状態において、制御装置１００は、操作者に、フォーカスを合わせて撮像したい被写体の選択を促すよう、画像表示部１０２に指示を表示する。表示する指示としては、例えば、「撮像したい被写体を選択して下さい」と表示することで、操作者に被写体選択を促すことができる。画像表示部１０２がタッチパネルであれば、「撮像したい被写体にタッチして下さい」と表示することで、操作者に被写体選択を促すことができる。また、選択できる被写体の数に上限を設けることで、操作者の意図をより反映することができる。例えば、「撮影したい被写体上位３つを選択して下さい」と表現することで、単に選択するより操作者の意図を反映する被写体選択を促すことができる。上限を設けることで、操作者の意図を重視するフォーカス位置設定を行うことができるとともに、選択開始から選択終了までに要する時間が短縮される効果が期待でき、後述する全焦点画像合成に好適である。また、撮像装置１０に搭載されているスピーカ（図示せず）から音声信号として指示を出力してもよい。本実施の形態では、操作者に意図（操作者が撮像したい複数の被写体）を反映する被写体選択を促し、その選択情報に基づいてフォーカス位置を決定し連続撮像を行うことで、操作者の意図にそぐう好適な合成画像を合成する。

次に、Ｓ２０３における操作者の被写体選択方法について述べる。
選択手段は、例えば、画像表示部１０２がタッチパネルであれば、プレビュー画面に表示されている被写体に操作者が触れることで選択することができる。また、タッチパネルでなくても、例えば、プレビュー画面上にカーソルを表示させ、カーソルを上下左右に操作可能な入力装置、例えば十字キーで、目的の被写体までカーソルを移動し、カーソルが目的の被写体上に移動した時点で決定ボタンなどの入力装置により選択すればよい。これらの操作を、被写体選択受付部１０３-２により検出する。

図４は、図３の画像表示面を例として２５分割した画像表示面である。被写体選択時に、プレビュー画面を分割することで、操作者がより簡単に被写体を選択することができる。被写体Ｈ３を選択する場合、図４に太線で示す領域４０１を選択すれば、領域４０１内にある被写体、すなわち、被写体Ｈ３に最もフォーカスの合う位置が選択された領域４０１のフォーカス位置となる。デジタルカメラや携帯電話などの画像表示面に表示される被写体のサイズが小さい場合、その被写体を操作者が選択することは容易でないが、図４に示すように、領域を選択することで、操作が簡単になる。また、操作者が選択した位置または領域を拡大表示し、拡大表示画面上で操作者が選択する構成とすることで、更に好適な被写体選択が可能となる。図５は、画像表示面に表示されたプレビュー画面の一例を示しており、被写体Ｈ５、被写体Ｂ５、被写体Ｍ５が含まれる。プレビュー画面上では被写体Ｈ５に被写体Ｂ５、Ｍ５が隣接しているため、図６に示すように、操作者が指６０１で画像表示面上の被写体Ｈ５のみに触れることは容易ではない。そこで、操作者が画面上に触れると、図７に示すように、触れた位置を中心とする拡大図７０１を表示し、拡大図７０１上で操作者が被写体を選択する構成とすることで、プレビュー画面上に小さく表示される被写体を、より正確に選択することができる。図７に示す拡大図７０１は、操作者が触れた位置を中心として所定領域を拡大してもよいし、図４のように画面が分割されている場合は、操作者が触れた位置が属する領域を拡大してもよい。拡大図上での選択方法は、例えば、１度目のタッチで拡大図が表示され、次に、操作者の指が一度画面上から離れ、２度目のタッチで被写体を選択する方法がある。拡大表示した場合は、選択終了後、拡大表示を終了し、プレビュー画面に戻る。

また、操作者に任意の領域を選択させることで、さらに好適な被写体選択が可能となる。図８において、操作者が被写体Ｍ３を選択する際、点８０１を指定した場合、点８０１の周辺は平坦領域であり高周波数成分が少ないため、コントラスト方式で点８０１に最もフォーカスの合うフォーカス位置を精度良く検出することは容易ではない。そこで、図９（ａ）に示す太線で囲まれた領域９０１Ａや図９（ｂ）に示す太線で囲まれた領域９０１Ｂのように、点ではなく、任意の領域を囲むようにして指定することで、指定領域に操作者が選択した被写体の高周波数成分を含む確率が向上し、精度良くフォーカス位置を検出することができる。領域の選択方法は、例えば、操作者が最初にタッチした画面上の点（始点）から画面上を動かし、所定領域を囲むように始点に戻る操作をすることで指定することができる。

次に、Ｓ２０３からＳ２０５の流れについて述べる。Ｓ２０３からＳ２０５では、上述のように、操作者が１つ被写体を選択する毎にフォーカス位置を算出して記憶し、すべての被写体選択が終わるまで、選択とフォーカス位置算出とを繰り返してもよいし、Ｓ２０３で操作者が撮像したい被写体がすべて選択されてから、Ｓ２０４でそれぞれの被写体のフォーカス位置を算出し、Ｓ２０５に進む構成でもよい。

操作者が１つ被写体を選択する毎にフォーカス位置を算出して記憶し、すべての被写体選択が終わるまで、選択とフォーカス位置算出を繰り返す構成について、更に詳しく説明する。

操作者に選択された被写体にフォーカスを合わせた際、選択された被写体に正しくフォーカスが合っているかを操作者が確認できれば、操作者の意図とは異なる位置にフォーカスが合っている場合に操作者に認識させることができ、意図とは異なるフォーカス位置での撮像を低減することができ好適である。

そこで、本実施の形態では、被写体が選択され、選択された被写体にフォーカスを合わせた画像をプレビュー画面に表示する。プレビュー画面に表示することで、フォーカスが目的の被写体に正しく合っているかを操作者が確認することができる。また、図７に示したような拡大表示をすることで、更に確認が容易になる。最初の被写体選択とフォーカス位置算出が終わると、２つ目の被写体選択となる。ここで、２つ目の被写体選択時のプレビュー画面について述べる。２つ目の被写体選択時のプレビュー画面に、最初に選択された被写体にフォーカスが合っている画像が表示されていると、極端に近景や遠景にフォーカスが合っている場合、２つ目の被写体として操作者が選択したい被写体が識別できないほどボケている可能性がある。そこで、２つ目の被写体選択時には、全焦点モード設定時のプレビュー画面に戻す方が被写体選択という点で好ましい。全焦点モード設定時のプレビュー画面とは、前述の、近景から遠景まで被写体を識別できる程度に近景から遠景までフォーカスの合っている状態である。ただし、最初のプレビュー画面に戻すと、どの被写体が選択済みであるかを画面上からは確認できなくなり、操作者が覚えておく必要が生じるため、選択済みである被写体を操作者が画面上で確認できるよう表示を行う。例えば、最初に選択された被写体または領域を、図１０に太い線の円で示す領域１００１としてプレビュー画面に重畳して表示する。また、選択された領域が図４で示したような分割された領域である場合には、図１１に示すように、選択された分割領域１１０１を太い線の枠で強調するよう表示してもよい。また、選択された分割領域のみをプレビュー画面に戻さず、最初に選択された被写体にフォーカスを合わせた画像を表示してもよい。

以上のような表示を行うことで、２つ目の被写体選択時に、最初にどの被写体を選択したかを認識しやすくなる。更に、３つ目の被写体選択時には、最初に選択された被写体と２つ目に選択された被写体または領域を、図１２に示す太い線の円で示す領域１２０１、１２０２のようにプレビュー画面に重畳して表示したり、図１３に示す領域１３０１、１３０２のように太い線の枠で強調するよう表示したりしてもよい。

以上説明したように、被写体選択とフォーカス位置算出を繰り返す構成において、選択済みの被写体または領域を識別できるようにプレビュー画面を表示することで、操作者がより好適に複数の被写体を選択することが可能となる。

次に、操作者が撮像したい被写体がすべて選択されてから、ぞれぞれの被写体のフォーカス位置を算出して記憶する構成について、更に詳しく説明する。最初の被写体が選択されると、図１０や図１１に示したように、選択された被写体または領域が明確になるようプレビュー画面上に重畳して表示する。２つ目、３つ目の被写体が選択された場合も同様に、図１２や図１３に示したように表示する。そして、被写体選択が終わると、Ｓ２０４に進み、選択されたそれぞれの被写体のフォーカス位置を算出し、フォーカス位置情報を記憶装置１０５に保存する。フォーカス位置の算出を終えた際、所望の被写体に正しくフォーカスが合っているかを操作者が確認できる方が、操作者の意図とは異なる位置にフォーカスが合っている場合に操作者に認識させることができ、意図とは異なるフォーカス位置での撮像を低減することができ好適である。

そこで、フォーカス位置の算出を終えると、図１４に示す領域１４０１、１４０２、１４０３のように、選択された領域が明確になるようプレビュー画面に表示する。このとき、領域１４０１には領域１４０１にフォーカスを合わせた際の画像を表示することで、所望の被写体（Ｂ３）にフォーカスが合っているかを確認することができる。同様に、領域１４０２には領域１４０２にフォーカスを合わせた際の画像、領域１４０３には領域１４０３にフォーカスを合わせた際の画像をそれぞれ表示することで、１つのプレビュー画面上で選択したすべての被写体（Ｂ３、Ｈ３、Ｍ３、）にフォーカスが合っているかを操作者が確認することができる。選択された被写体のそれぞれのフォーカス位置での画像は、フォーカスを合わせた際に記憶装置１０５に保存しておき、選択終了後にプレビュー画面に表示する。

次に、Ｓ２０６の撮像について述べる。Ｓ２０５からＳ２０６への移行は、例えば、操作者によってシャッタボタンが押された場合に被写体選択終了と判断してＳ２０６の撮像に移行することができる。また、画像表示部１０２がタッチパネルであれば、プレビュー画面に「選択終了」などの表示を行い、操作者が「選択終了」に触れたら被写体選択終了と判断することができる。また、予め被写体選択数が決まっている場合は、決められた選択回数に達した時点で撮像に移行することができる。撮像に移行すると、記憶装置に記録されたフォーカス位置情報に基づいて設定された枚数を連続撮像する。選択、フォーカス合わせ、撮像の順に、１つの被写体を選択する度に撮影まで行うと、被写体を選択している間に被写体が動いてしまうため、撮像の前にすべてのフォーカス位置を設定しておき、その設定に基づいて連続撮像することで、撮像画像間の時間差を減少させることができ、後述のＳ２０７（全焦点画像合成）に好適である。

次に、フォーカス位置を変えながら連続撮像する際の、撮像順序について述べる。本実施の形態では、操作者により選択された複数の被写体それぞれのフォーカス位置で撮像を行うことで、操作者が撮像したい被写体すべての被写体にフォーカスの合った画像を得る。フォーカスを変えて撮像する際、フォーカス位置の近い側から遠い側に撮像することで以下の効果がある。フォーカス位置の近い側から順に撮像すると、最初の撮像から最後の撮像まで、フォーカス位置の変化が同一方向となるため、ランダムな順にフォーカス位置を変化させる場合と比べ、フォーカス駆動時間が短くなる効果がある。つまり、連続撮像に要する時間が最も短くなる順序と言える。撮像時間が短くなることで、動いている被写体を撮影する場合における動きを最小限に抑えることができる。つまり、複数画像間での対応点のずれを小さくすることができ、Ｓ２０７の合成処理においてより好適な合成が可能となる。また、フォーカス位置の近い側から遠い側に順に撮像しても、フォーカス位置の変化が同一方向であるため、近い側から遠い側の順で撮像する場合と同様の効果がある。

また、フォーカス位置の変化を同一方向にすることで、更に以下の効果がある。後述のＳ２０７（全焦点画像合成）において、合成に用いる複数の画像の対応点を探索する必要があり、対応点を探索する場合、複数の画像間の類似度が高い方が探索しやすくなる。例えば、近景にフォーカスを合わせて遠景がボケている画像と遠景にフォーカスを合わせて近景がボケている画像では、対応する領域のフォーカスの合い具合が全く異なるため、対応点探索が容易ではない場合がある。上記の点を考慮すると、フォーカス位置を同一方向に変化させて撮像する場合、連続して撮像する２枚を比較すると、フォーカス位置が他の画像のフォーカス位置に比べ近く対応点を探索しやすく、また、撮像間隔も短いことから、被写体位置のずれも小さいことから、対応点探索に適した撮像順序である。図３の被写体Ｈ３、Ｂ３、Ｍ３を撮像する場合を例に説明すると、近い側から被写体Ｈ３、Ｂ３、Ｍ３の順で撮像すると、ぞれぞれの画像は図１５に示す画像１５０１、画像１５０２、画像１５０３になる。画像１５０１と画像１５０３との２つの画像で対応点を探索する場合、両画像のボケ方が大きく異なるため対応点探索が容易ではない。一方、画像１５０２を基準に、画像１５０１、画像１５０３との対応点を探索する場合、画像１５０１と画像１５０３の２枚の画像から対応点を探索する場合に比べ類似度が高く、対応点を探索しやすくなる。

近い側から順にフォーカス位置を変えて撮像することで、更に以下の効果がある。撮像する被写体が動く被写体である場合、フォーカス位置決定時と撮像時とで時間差があるため、フォーカス位置を決定してから撮像するまでの時間に被写体の位置がずれる場合がある。特に、近くにある被写体は、遠くにある被写体に比べ、同じ動き量であっても撮像される画像上での移動量や、フォーカスの合い具合の変化が大きくなる。例えば、距離１００ｍにある被写体が５０ｃｍ手前に移動してもフォーカスの合い具合に大きな変化はないが、距離１ｍにある被写体が５０ｃｍ手前に移動すると、フォーカスの合い具合が大きく変化する可能性がある。近い側からフォーカス位置を変えて撮像する場合、被写体選択終了から最も近い側での撮像までの時間を最も短くすることができ、上述の被写体の動きに起因するフォーカスのずれを低減することができる。

上述の点を考慮し、撮像前に設定された複数のフォーカス位置のうち、最も手前のフォーカス位置に関しては、再度フォーカス合わせをしてから連写撮像を行うことで、近い被写体の動きに起因するフォーカスのずれを低減することができる。例えば、図１４で示した領域１４０１、１４０２、１４０３が操作者により選択され、それぞれのフォーカス位置情報が記憶装置１０５に記録されており、３つのフォーカス位置で撮像する際、最も手前のフォーカス位置である領域１４０２については、撮像前に再度フォーカス合わせを行い、領域１４０２に最もフォーカスの合うフォーカス位置で１枚目の撮像を行い、２枚目、３枚目の撮像は、記憶装置１０５に記録されたフォーカス位置に設定して撮像を行うことで、被写体の動きに起因するフォーカスのずれを更に低減することができる。

次に、連写撮像を行う際の撮像枚数について述べる。撮像枚数が多いとフォーカス位置を細かく刻んで撮像できるが、撮像に要する時間が長くなり、画像を記録する記憶装置も大きな容量が必要になり、全焦点画像合成に要する処理量も多くなるという課題がある。一方、枚数が少ないと、処理量は軽くなるが、操作者が撮像したい被写体すべてにはフォーカスを合わせられない場合がある。以上の点を考慮して連写する枚数を決定すればよい。

以下では、撮像枚数とフォーカス位置の設定方法について述べる。
まず、撮像枚数が固定されている場合の撮像方法について述べる。ここでは、撮像枚数が３枚に設定されているとする。図１６は、異なる距離に位置する４つの被写体が選択された場合における、そのフォーカス位置１６０１、１６０２、１６０３、１６０４と、それぞれのフォーカス位置での被写界深度１６０５、１６０６、１６０７、１６０８を示している。被写界深度は撮像装置からの距離によって変化し、近景ほど被写界深度が浅くなっている。図１６にように、設定された撮像枚数（３枚）に対し、選択された被写体の数（４つ）が操作者に選択されている場合、被写体位置と被写界深度を考慮してフォーカス位置を再設定することで、設定された枚数で好適な撮像を実現する。図１６の場合は、被写界深度１６０７または被写界深度１６０８の一方に、被写体１６０３と被写体１６０４がともに含まれるため、いずれか一方のフォーカス位置で撮像するだけで、選択された２つの被写体にフォーカスが合った画像を得ることができる。つまり、フォーカス位置１６０１、１６０２、１６０３の３つフォーカス位置で撮像することで、４つの被写体すべてにフォーカスの合った画像を得ることができる。また、図１７は、異なる距離に位置する４つの被写体１７０１、１７０２、１７０３、１７０４が操作者に選択され、それぞれの被写体位置にフォーカスを合わせて撮像する場合の被写界深度１７０５、１７０６、１７０７、１７０８を示している。図１６と図１７の違いは、図１７では、４つの被写体のフォーカス位置での被写界深度が全く重複していない点である。図１７の場合においては、４つのフォーカス位置のうち３つを選択すると、それぞれの被写界深度が重複していないため、選択されない被写体については、フォーカスの合った画像が得られない。そこで、図１８に示すように、被写体１７０３と被写体１７０４の間に新たにフォーカス位置１８０１を設定する。フォーカス位置１８０１の被写界深度は１８０２であり、１８０２には被写体１７０３と被写体１７０４が共に含まれる。すなわち、被写体１７０１、１７０２、１８０１にフォーカス位置を再設定することで、３枚の撮像で、操作者が撮像したい４つの被写体１７０１−１７０４のすべてにフォーカスが合った画像が得られることになる。

次に、選択されたすべての被写体にフォーカスを合わせて撮像するために最低限必要なフォーカス位置が、設定された撮像枚数より少ない場合について述べる。図１９は、異なる距離に位置する３つの被写体が選択された場合における、そのフォーカス位置１９０１、１９０２、１９０３と、それぞれのフォーカス位置での被写界深度１９０４、１９０５、１９０６を示している。図１９の場合、フォーカス位置１９０２と１９０３に位置する被写体は、フォーカス位置を新たに点１９０７に設定することで、共に１９０７の被写界深度１９０８内となるため、１回の撮像で２つの被写体にフォーカスの合った画像が得られる。そこで、２つのフォーカス位置１９０２と１９０３を、新たなフォーカス位置１９０７に変更する。そして、設定された撮像枚数３枚のうち、再設定により残された１つの撮像位置を最も近い側のフォーカス位置１９０１の近くの位置、例えば、１９０９に設定する。近い側でフォーカス位置を細かく変えて撮像することで、被写体の動きに起因するフォーカスのずれを低減する効果がある。また、被写体が動かない場合も、新たなフォーカス位置を近い側に設定することで、以下の効果がある。被写体に奥行きがある場合、例えば、撮像装置に正対した人の顔を撮影するような場合、鼻が最も近くなり、耳のあたりは鼻よりは遠くなる。このような場合、鼻と耳で奥行きが異なるため、鼻にフォーカスを合わせると耳合わず、耳にフォーカスを合わせると鼻に合わない可能性がある。したがって、近い側の被写体は小さな奥行きの違いでもフォーカスが合わなくなる可能性が高いため、より細かくフォーカスを変えて撮像する方が好適である。

また、新たなフォーカス位置を１９１０に設定すれば、全焦点画像合成時の対応点探索が容易になるという効果がある。

次に、撮像枚数を操作者が設定可能な構成について述べる。操作者は、撮像したい被写体の数に合わせて撮像枚数を設定することができるため、あらかじめ撮像枚数が決められている場合に比べ、過不足のないよう適切に撮像枚数を設定することができ好適である。例えば、図１９の場合、フォーカス位置を１９０１と１９０７の２箇所に設定すれば、撮像したい３つの被写体すべてのフォーカスの合った画像が得られる。撮像回数を低減することで、撮像時間を短縮できるとともに、画像を保存するための記憶装置の使用量低減や、後段の全焦点画像合成における処理量削減の効果がある。また、図２０に示すように、あらかじめ設定された撮像枚数が３枚であり、３つのフォーカス位置をどのような組み合わせで設定しても、４つの位置２００１、２００２、２００３、２００４のすべての被写体にフォーカスを合わせることはできない場合、新たに４つ目のフォーカス位置を設定し、４枚の連続撮像を行うことで、選択されたすべての被写体にフォーカスの合った画像を得ることができる。

次に、Ｓ２０７の画像の合成方法について述べる。図２１は、全焦点画像合成処理のフローチャートを示す。Ｓ２１０１では、フォーカスの異なる複数の画像の補正を行う。フォーカスを変えて撮像した場合、画角が異なるため被写体の大きさが異なる場合がある。また、撮像に時間差があるため、操作者の手振れなどにより撮像位置がずれたり、被写体が動いている場合には、動いている被写体の画像上での位置がずれたりする。そこで、Ｓ２１０１では、複数画像に共通して撮像された被写体の位置のずれや大きさを補正する。次に、Ｓ２１０２では、各画像の合焦度を算出する。合焦度とはフォーカスの合っている度合いであり、合焦度が高いほど、フォーカスが合って撮像され被写体が鮮明に撮像されていることになる。合焦度は、例えば、高周波数成分を計算する方法がある。Ｓ２１０３では、Ｓ２１０２で算出した合焦度から、各対応画素（対応領域）において最も合焦度の高い画素（領域）を、各画像から選択し、全焦点画像を合成する。

以上説明したように、本実施の形態によれば、操作者の選択に基づいて複数のフォーカス位置を設定し、設定されたフォーカス位置で連続撮像を行うことで、操作者が撮像したいすべての被写体が、連続撮像したいずれかの画像において鮮明に撮像され、操作者が撮像したいすべての被写体にフォーカスの合った鮮明な画像を提供することできる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、操作者の優先度を反映する選択手段により選択を行い、優先度に基づいたフォーカス制御と連続撮像を行う。

優先度を反映する選択方法として、例えば、Ｓ２０２において、「撮像したい順に選択して下さい」という文をプレビュー画面に表示することで、最初に選択された被写体の優先度が最も高く、２番目に選択された被写体の優先度が２番目に高い、という情報を得ることができる。また、優先度の順位だけでなく、重み付けを行う選択手段により、更にユーザの意図を反映する被写体選択を行うことができる。重み付けを行う方法としては、選択回数により重み付けを行う方法がある。図３において優先度が被写体Ｈ３、被写体Ｍ３、被写体Ｂ３の順である場合、例えば、画像表示部１０２がタッチパネルであれば、被写体Ｈ３を３回タッチし、被写体Ｍ３を２回タッチし、被写体Ｂ３を１回タッチすることで、優先度を被写体Ｈ３、被写体Ｍ３、被写体Ｂ３の順に設定することができる。複数の被写体の優先度が等しい場合には、例えば、（３回、１回、１回）の組み合わせのように同じ回数に設定することで、同じ重みに設定することができる。また、優先度の非常に高い被写体がある場合は、例えば（１０回、２回、1回）の組み合わせにすることで、優先度の強さを重みに反映することができる。また、操作者の優先度が被写体選択中に変化した場合においても、一旦設定した優先度を最初から再設定することなく、簡単な操作での変更が可能となる。例えば、図３の３つの被写体Ｈ３、Ｍ３、Ｂ３を一旦、（３回、２回、１回）の組み合わせで重み付けを行ったあと、最も優先度の低かった被写体Ｂ３の優先度が最も高くなった場合、３つ目の被写体Ｂ３を更に３回タッチすることで、各被写体のタッチ回数は（３回、２回、４回）の組み合わせとなり、３つ目の被写体Ｂ３の優先度を最も高く設定することができる。

重み付けは、操作者が選択した位置または領域に図２２に示すようなスライダバー２２０１を表示させ、スライダ２２０２を操作することで設定してもよい。スライダバーを用いることで、優先度の高さに依らず、それぞれの被写体に対して１度の操作で優先度を設定することができる。また、優先度を変更する場合においても、変更したい被写体を再度選択してスライダを操作するだけであり、非常に簡単な操作で設定変更ができる。また、図２３に示すような重み設定方法でもよい。図２３に示す０から７の数字は重みを示しており、操作者が被写体を選択すると、図２３に示す重み設定画面が表示され、重みを選択すればよい。スライダバー同様、簡単な操作で設定可能であり、設定変更やキャンセル（例えば、０に設定する）も簡単な操作で行うことができる。

操作者が複数の被写体を選択する際、操作者が既に入力した重み付けを認識できる方が、操作が簡単になる。そこで、図１２や図１３に示したような選択されたことを示す表示に加え、例えば、入力された重みの数を、選択された領域付近に表示することで、操作者に重み付けの値を認識させることができる。また、選択された領域を太線で囲って表示する場合には、重みの大きい順に太線の太さを太くしても、認識しやすくなる。また、選択されたことを示す表示の色を変えることで認識させることもできる。例えば、重みの大きい順に、選択されたことを示す太線の色を、赤、黄、青と変えれば認識させることができる。

次に、優先度を反映して被写体を選択した場合の効果について述べる。図２４は、操作者に選択された４つの被写体２４０１、２４０２、２４０３、２４０４と、それぞれの位置で撮像した場合の被写界深度２４０５、２４０６、２４０７、２４０８を示している。図２４では、撮像枚数が３枚に設定されており、選択された被写体の優先度は、高い順から２４０３、２４０１、２４０２、２４０４の順である。被写体２４０３と２４０４は近い距離に位置しており、２つの被写体がともに１つの被写界深度内に入るフォーカス位置で撮像することで１回の撮像で２つの被写体にフォーカスの合った画像を得ることができる。本実施形態では、フォーカス位置を設定する際、優先度に基づく設定を行う。２つの被写体２４０３と２４０４がともに１つの被写界深度内に位置する範囲内で、できるだけ２４０３が鮮明に撮像される位置に設定する。すなわち、できるだけ被写体２４０３に近い位置にフォーカス位置を設定する。図２４においては、位置２４０９を新たなフォーカス位置に設定することで、被写体２４０３と２４０４がともに１つの被写界深度２４１０に入るとともに、被写体２４０３は、被写界深度２４１０のほぼ中央に位置することになり、２４０３と２４０４の中間にフォーカスを合わせるよりも鮮明な画像が得られる。

次に、図２５は操作者に選択された被写体２５０１と２５０２と、それぞれに対応した被写界深度２５０３、２５０４を示している。図２５では、撮像枚数が３枚に設定されており、選択された被写体の優先度は、高い順から２５０２、２５０１の順である。撮像枚数３枚に対し選択された被写体の数が２つであるため、３回の撮像のうち、２回の撮像はそれぞれの被写体にフォーカスを合わせて撮像し、残りの１回は優先度に基づいて設定することができる。優先度の高い被写体にフォーカスを合わせて鮮明に撮像する確率を上げるため、残り１回のフォーカス位置は、図２５に示す位置２５０５のように優先度の高い被写体２５０２付近にフォーカス位置を設定する。近いフォーカス位置で２度撮像することで、被写体２５０２にフォーカスを合わせて撮像できる確率を上げることができる。また、残りの１枚を被写体２５０２と全く同じ位置で撮像すれば、ノイズを低減することができる。同じフォーカス位置で２回撮像すると、同じ合焦度の画像が２枚得られることになり、それらを平均化すれば合焦度が同等であるからボケることなく、平均化によるノイズ低減効果が得られる。同様に、撮像枚数が６枚、選択された被写体が３つであれば、６回の撮像のフォーカス位置を、３回は優先度の最も高い被写体付近に、２回は２番目に優先度の高い被写体付近に、残りの１回は最も優先度の低い被写体に合わせて撮像すれば、撮像成功の確率が操作者の意図を反映する連続撮像を行うことができる。

また、あらかじめ撮像枚数が設定されており、決められた枚数分のフォーカス位置をどのような組み合わせで設定しても、操作者が選択したすべての被写体にフォーカスを合わせることはできない場合は、優先度の高い被写体にフォーカスが合うよう、優先度の順にフォーカス位置を設定することで、優先度の高い被写体にはフォーカスの合う連続撮像を行うことができる。

以上説明したように、第２の実施形態では、操作者の優先度を反映する被写体選択手段により入力された被写体選択情報に基づいて、操作者が撮像したい被写体が、連続撮像したいずれかの画像においてフォーカスの合った鮮明な画像として撮像され、かつ、操作者の優先度が高い被写体が合焦度が高い画像として撮像されるようフォーカス位置を設定することで、操作者が撮像したいすべての被写体にフォーカスが合い、特に、優先度の高い被写体の合焦度の高い鮮明な画像を提供することできる。

本発明は、以下の開示を含む。
（１）画像を撮像する撮像部と、前記撮像部のフォーカスを制御するフォーカス制御部と、被写体を選択可能な被写体選択部と、前記撮像部が撮像した画像を画像処理する画像処理部とを備える撮像装置であって、
前記撮像部は、前記フォーカス制御部によりフォーカスを変えた複数の画像を撮像し、
前記複数の画像のうち少なくとも１つは、前記被写体選択部により選択された被写体のフォーカス位置に基づいて撮像し、
前記画像処理部は、前記撮像した１つの画像より被写界深度を拡大した画像を、前記複数の画像から生成すること
を特徴とする撮像装置。
（２）前記複数の画像のうち少なくとも１つは、前記被写体選択受付部により選択が受付された複数の被写体のフォーカス位置の間に位置するフォーカス位置で撮像することを特徴とする（１）に記載の撮像装置。
（３）前記被写体選択受付部は、操作者の優先度を受付反映する被写体選択部であり、前記複数の画像のうち少なくとも１つは、前記被写体選択受付部により受け付けられた優先度の高い被写体の合焦度が高くなるフォーカス位置で撮像することを特徴とする（１）に記載の撮像装置。
（４）前記フォーカス制御部は、前記複数の画像を撮像する際のそれぞれのフォーカス位置の移動方向が同一方向になるようにフォーカスを制御することを特徴とする（１）から（３）のいずれか１に記載の撮像装置。
（５）前記画像処理部は、前記撮像した１つの画像より被写界深度を拡大した画像を、前記複数の画像から生成することを特徴とする（１）から（４）までいずれか１に記載の撮像装置。
（６）画像を撮像する撮像部と、前記撮像部のフォーカスを制御するフォーカス制御部と、被写体を選択可能な被写体選択部と、前記撮像部が撮像した画像を画像処理する画像処理部とを備える撮像装置による撮像方法であって、
前記撮像部が、前記フォーカス制御部によりフォーカスを変えた複数の画像を撮像し、
前記複数の画像のうち少なくとも１つは、前記被写体選択部により選択された被写体のフォーカス位置に基づいて撮像し、
前記画像処理部が、前記撮像した１つの画像より被写界深度を拡大した画像を、前記複数の画像から生成すること
を特徴とする撮像方法。
（７）上記（６）に記載の撮像方法をコンピュータに実行させるためのプログラム。
（８）上記（７）に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。

以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

１０…撮像装置、１００…制御装置、１０１…撮像部、１０２…画像表示部、１０３…制御部、１０３−１…フォーカス制御部、１０３−２…被写体選択受付部、１０３−３…撮像制御部、１０４…画像処理部、１０５…記憶装置。

Claims (3)

1. 画像を撮像する撮像部と、前記撮像部のフォーカスを制御するフォーカス制御部と、被写体の選択操作を受け付ける被写体選択受付部と、前記撮像部が撮像した画像を画像処理する画像処理部と、を備える撮像装置であって、
   前記撮像部は、前記フォーカス制御部によりフォーカスを変えた複数の画像を撮像し、
   前記被写体選択受付部は、操作者の優先度を受け付け、
   前記複数の画像のうち少なくとも１つは、前記被写体選択受付部により受け付けられた優先度の高い被写体の合焦度が高くなるフォーカス位置で撮像することを特徴とする撮像装置。
2. 前記フォーカス制御部は、前記複数の画像を撮像する際のそれぞれのフォーカス位置の移動方向が同一方向になるようにフォーカスを制御することを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理部は、前記撮像した１つの画像より被写界深度を拡大した画像を、前記複数の画像から生成することを特徴とする請求項１または２に記載の撮像装置。