JP4878978B2

JP4878978B2 - 撮像装置および撮像方法

Info

Publication number: JP4878978B2
Application number: JP2006276550A
Authority: JP
Inventors: 俊幸田中; 俊宏濱村
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2006-10-10
Filing date: 2006-10-10
Publication date: 2012-02-15
Anticipated expiration: 2026-10-10
Also published as: KR20080032591A; KR101336242B1; JP2008098836A

Description

本発明は、撮像装置および撮像方法に関する。

写真の撮影技法の一つにソフトフォーカス撮影がある。ソフトフォーカス撮影は、通常に撮影した場合よりも、写真全体を明るく、また輪郭をやわらかく撮影するものである。従来においては、ソフトフォーカス撮影を実施するために、レンズにソフトフィルタを装着したり、レンズの表面にワセリンを塗ったりする方法があった。

しかし、レンズにフィルタを装着する方法では、レンズの交換ができない撮像装置においてはフィルタの装着が出来ず、レンズにワセリンを塗る方法では、レンズの口径が小さい小型の撮像装置の場合には、良好なソフトフォーカス効果が得られない問題があった。

そこで、この問題を解決するために、撮影した画像を加工したり合成したりすることで、ソフトフォーカス撮影と同等の効果を得られるようにする技術が開示されている（特許文献１〜３参照）。

特開２００３−１９８９２２号公報特開２００３−００８９６６号公報特開２００４−１０２９０３号公報

特許文献１に示した方法は、撮影した画像を意図的にぼかしてソフトフォーカス撮影と同等の効果を得られるようにしている。しかし、特許文献１に示した方法では、画像を意図的にぼかして効果的なソフトフォーカスを得るには大規模なデジタルフィルタ回路が必要となる問題があった。

また、特許文献２に示した方法は、フォーカス位置を変更して合焦画像と非合焦画像を撮影して両者を合成することでソフトフォーカス撮影と同等の効果を得られるようにしているが、特許文献２に示した方法では、両者の位置のずれは考慮されておらず、撮影時にカメラや被写体がぶれてしまった場合には画像にぶれが出る問題があった。

また、特許文献３に示した方法は、撮影した画像を輝度信号と色信号に分けて、輝度信号に対して画像処理を行うことでソフトフォーカス撮影と同等の効果を得られるようにしているが、特許文献３に示した方法では、処理が複雑となり、専用の処理経路を設計する必要があるために、撮像装置の開発には非効率である問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、合焦画像と非合焦画像を撮影し、位置合わせを行って両者を合成することで、ソフトフォーカス撮影と同等の効果を得られることが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出する撮像部と、合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶する画像記憶部と、合焦位置に対する所望の非焦点度を予め所定数設定しておく効果設定部と、合焦位置の画像と効果設定部で設定された各非焦点度に対応する画像とを画像記憶部から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する画像合成部と、を含むことを特徴とする、撮像装置が提供される。

かかる構成によれば、撮像部は撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出し、画像記憶部は合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶し、効果設定部は合焦位置に対する所望の非焦点度を予め所定数設定しておき、画像合成部は合焦位置の画像と効果設定部で設定された各非焦点度に対応する画像とを画像記憶部から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する。その結果、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。

画像記憶部は、合焦位置の検出時に撮像素子から順次出力される被写体の画像を全画素分の画像データとして記憶しておいてもよい。その結果、像素子から順次出力される被写体の画像を全画素分の画像データとして記憶した場合において、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。

画像記憶部は、合焦位置の検出時に撮像素子から順次出力される被写体の画像のうち、合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶しておいてもよい。その結果、全画素分の画像データと所定の画像間引きした画像データとを合成することで、画像全体がソフトフォーカス効果を有する画像を撮影することができる。

撮像部は、撮像素子の結像面上で複数の合焦検知位置を設定しておき、合焦位置の検出時に各合焦検知位置から得られる合焦レベルを分析し、画像合成部は、撮像部による合焦レベルの分析結果に基づいて、合焦位置に対する遠近方向を選択し、選択した方向で撮影された被写体の画像のうち効果設定部により設定された各非焦点度に対応する画像を、画像記憶部から読み出してもよい。その結果、合焦画像を撮影する際に主被写体に対して合焦することができる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出する撮像ステップと、合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶する画像記憶ステップと、合焦位置に対する所望の非焦点度を予め所定数設定しておき、合焦位置の画像と当該設定された各非焦点度に対応する画像とを画像記憶ステップで記憶しておいた複数の画像の中から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する画像合成ステップと、を含むことを特徴とする、撮像方法が提供される。

かかる方法によれば、撮像ステップは撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、被写体の合焦位置を検出し、画像記憶ステップは合焦位置の検出時に撮像素子から順次出力される被写体の画像を記憶し、画像合成ステップは合焦位置に対する所望の非焦点度を予め所定数設定しておき、合焦位置の画像と当該設定された各非焦点度に対応する画像とを画像記憶ステップで記憶しておいた複数の画像の中から読み出した後、合焦位置の画像を含む複数の画像を位置合わせして合成する。その結果、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。

画像記憶ステップでは、合焦位置の検出時に撮像素子から順次出力される被写体の画像を全画素分の画像データとして記憶してもよい。その結果、像素子から順次出力される被写体の画像を全画素分の画像データとして記憶した場合において、ソフトフォーカス撮影と同等の効果を有する画像を撮影することができる。

画像記憶ステップでは、合焦位置の検出時に撮像素子から順次出力される被写体の画像のうち、合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶してもよい。その結果、全画素分の画像データと所定の画像間引きした画像データとを合成することで、画像全体がソフトフォーカス効果を有する画像を撮影することができる。

撮像ステップでは、撮像素子の結像面上で複数の合焦検知位置を設定しておき、合焦位置の検出時に各合焦検知位置から得られる合焦レベルを分析し、画像合成ステップでは、撮像ステップによる合焦レベルの分析結果に基づいて、合焦位置に対する遠近方向を選択し、選択した方向で撮影された被写体の画像のうち効果設定部により設定された各非焦点度に対応する画像を、画像記憶ステップで記憶しておいた複数の画像の中から読み出してもよい。その結果、合焦画像を撮影する際に主被写体に対して合焦することができる。

以上説明したように本発明によれば、合焦画像と非合焦画像を撮影し、位置合わせを行って両者を合成することで、ソフトフォーカス撮影と同等の効果を得られることが可能な、新規かつ改良された撮像装置および撮像方法を提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
まず、本発明の第１の実施形態にかかる撮像装置および撮像方法について説明する。
図１は、本発明の第１の実施形態にかかる撮像装置の構成について説明する説明図である。以下、図１を用いて本発明の第１の実施形態にかかる撮像装置の構成について説明する。

図１に示したように、本発明の第１の実施形態にかかる撮像装置は、図１に示したように、本発明の第１の実施形態に係る撮像装置１００は、ズームレンズ１０２と、絞り１０４と、フォーカスレンズ１０６と、駆動装置１０２ａ、１０４ａ、１０６ａと、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）素子１０８と、アンプ一体型のＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）回路１１０と、Ａ／Ｄ変換器１１２と、画像入力コントローラ１１４と、画像信号処理部１１６と、画像合成部１１８と、圧縮処理部１２０と、ＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）１２１と、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）ドライバ１２２と、ＬＣＤ１２４と、タイミングジェネレータ１２６と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２８と、操作部１３２と、シャッタボタン１３３と、メモリ１３４と、ＶＲＡＭ（ＶｉｄｅｏＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３６と、メディアコントローラ１３８と、記録メディア１４０と、モータドライバ１４２ａ、１４２ｂ、１４２ｃと、フラッシュ１４４と、を含んで構成される。

ズームレンズ１０２は、駆動装置１０２ａによって光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り１０４は、画像を撮影する際に、駆動装置１０４ａによって、ＣＭＯＳ素子１０８に入ってくる光量の調節を行う。フォーカスレンズ１０６は、駆動装置１０６ａによって光軸方向に前後して移動させることで被写体のピントを調節するものである。

本実施形態においては、ズームレンズ１０２およびフォーカスレンズ１０６は１枚のみ示しているが、ズームレンズ１０２の枚数は２枚以上であってもよく、フォーカスレンズ１０６の枚数も２枚以上であってもよい。

ＣＭＯＳ素子１０８は、ズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。本実施形態においては、ズームレンズ１０２、絞り１０４、フォーカスレンズ１０６およびＣＣＤ素子１１０で撮像部を構成する。なお、撮像部の組はこれに限られず、ズームレンズ１０２や絞り１０４を含まない構成であってもよい。

本実施形態ではＣＭＯＳ素子１０８を用いているが、本発明は係る例に限定されず、ＣＭＯＳ素子１０８の代わりにＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）素子を用いてもよく、またその他のイメージセンサを用いてもよい。

ＣＤＳ回路１１０は、ＣＭＯＳ素子１０８から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いて撮像装置１００を構成しているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。

Ａ／Ｄ変換器１１２は、ＣＭＯＳ素子１０８で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。

画像入力コントローラ１１４は、Ａ／Ｄ変換器で生成された画像の生データのメモリ１３４への入力を制御するものである。

画像信号処理部１１６は、ＣＭＯＳ素子１０８から出力された電気信号や、画像合成部１１８で合成した画像に対して、光量のゲイン補正やホワイトバランスの調整を行うものである。画像信号処理部１１６は撮影した画像の露光データを取得する。露光データには合焦評価値（ＡＦ評価値）やＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ；自動露光）評価値を含んでおり、画像信号処理部１１６において合焦評価値やＡＥ評価値の算出を行う。

画像合成部１１８は、撮影した複数の画像データの合成を行うものである。画像合成部の形態として、画像の合成を行う回路であってもよく、画像の合成を行うためのコンピュータプログラムであってもよい。

圧縮処理部１２０は、画像合成部１１８で合成した画像を、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。

ＯＳＤ１２１は、撮像装置１００の設定画面をＬＣＤ１２４に表示させる機能である。ＬＣＤ１２４は、撮影操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１２４への表示は、ＬＣＤドライバ１２２を介して行われる。

タイミングジェネレータ１２６は、ＣＭＯＳ素子１０８にタイミング信号を入力する。タイミングジェネレータ１２６からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１２６からのタイミング信号によりＣＭＯＳ素子１０８の駆動が制御され、ＣＭＯＳ素子１０８が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。

ＣＰＵ１２８は、ＣＭＯＳ素子１０８やＣＤＳ回路１１０などに対して信号系の命令を行ったり、操作部１３２の操作に対する操作系の命令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。

操作部１３２は、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部１３２に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択およびソフトフォーカス効果の設定を行う十字キーおよび選択ボタン等が配置される。シャッタボタン１３３は、撮影操作を行うためのものであり、半押し状態で被写体を合焦し、全押し状態で被写体の撮像を行う。

メモリ１３４は、画像記憶部の一例であり、撮影した画像や画像合成部１１８で合成した画像を一時的に記憶するものである。メモリ１３４は、複数の画像を記憶できるだけの記憶容量を有している。メモリ１３４への画像の読み書きは画像入力コントローラ１１４によって制御される。

ＶＲＡＭ１３６は、ＬＣＤ１２４に表示する内容を保持するものであり、ＬＣＤ１２４の解像度や最大発色数はＶＲＡＭ１３６の容量に依存する。

記録メディア１４０は、画像記録部の一例であり、撮影した画像や画像合成部１１８で合成した画像を記録するものである。記録メディア１４０への入出力は、メディアコントローラ１３８によって制御される。記録メディア１４０には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。

モータドライバ１４２ａ、１４２ｂ、１４２ｃはズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させる駆動装置１０２ａ、１０４ａ、１０６ａの制御を行う。モータドライバ１４２ａ、１４２ｂ、１４２ｃを介してズームレンズ１０２、絞り１０４およびフォーカスレンズ１０６を動作させることで、被写体の大きさや光の量、ピントの調節を行う。

フラッシュ１４４は、夜間の屋外や暗い場所での撮影時に被写体を明るく照らすためのものである。フラッシュ撮影を行う際に、ＣＰＵ１２８から発光命令がフラッシュ装置１４４に行われ、ＣＰＵ１２８からの発光命令によってフラッシュ１４４を発光させて、フラッシュ１４４が発光した光によって被写体が明るく照らされる。

以上、図１を用いて本発明の第１の実施形態にかかる撮像装置について説明した。次に、本発明の第１の実施形態にかかる撮像装置のＣＰＵの構成について説明する。

図２は、本発明の第１の実施形態にかかるＣＰＵの構成について説明する説明図である。以下、図２を用いて本発明の第１の実施形態にかかるＣＰＵの構成について説明する。

図２に示したように、本発明の第１の実施形態にかかるＣＰＵ１２８は、合焦位置検出部１５２と、適正ＡＥ算出部１５４と、拡大縮小処理部１５６と、効果設定部１５８と、合成比率設定部１６０と、を含んで構成される。

合焦位置検出部１５２は、被写体の撮影を行う際に、被写体に合焦するためのフォーカスレンズ１０６の位置を検出するものである。

適正ＡＥ算出部１５４は、被写体の撮影を行う際に、撮像装置１００で自動露光を行い、ＥＶ（ＥｘｐｏｓｕｒｅＶａｌｕｅ）値を取得する。取得したＥＶ値に基づいて、適正な露光時間およびシャッタ速度の組が決まる。ＥＶ値は、絞り値がＦ１、シャッタ速度が１秒の時に適切な露出が得られる光量をＥＶ＝０とし、絞り値やシャッタ速度を変化させることでＥＶ値が変化する。ＥＶ値は、Ｆを絞り値、Ｔをシャッタ速度として、ＥＶ＝ｌｏｇ_２（Ｆ^２／Ｔ）で求めることができる。従って、同じ絞り値ではシャッタ速度が高速になればなる程、ＥＶ値が上昇し、同じシャッタ速度では絞り値を大きくすればする程、ＥＶ値が上昇する。

拡大縮小処理部１５６は、被写体の撮影を行って取得した画像データの拡大や縮小を行うものである。

効果設定部１５８は、ソフトフォーカス効果の効果度の設定を行うものである。効果度は、本発明の非焦点度の一例であり、ソフトフォーカス効果の効果度は、操作部１３２で入力された効果度に応じて設定されてもよい。

合成比率設定部１６０は、合焦画像と、合焦画像に合成する画像との合成比率の設定を行うものである。合成比率設定部１６０で設定されたソフトフォーカス効果の効果度に応じて、合焦画像と合成する画像の合成比率やフォーカスレンズ１０６の移動量の設定が行われる。

以上、図２を用いて本発明の第１の実施形態にかかるＣＰＵの構成について説明した。次に、本発明の第１の実施形態にかかる撮影方法について説明する。

ここで、本発明の第１の実施形態においては、非合焦画像として、被写体の合焦位置を検出するオートフォーカス処理中に取得した画像を用いることとする。

図３は、本発明の第１の実施形態にかかるオートフォーカス処理について説明する説明図である。本実施形態においては、近距離で合焦する位置から遠距離で合焦する位置へ向けてフォーカスレンズ１０６を移動させる。そして、フォーカスレンズ１０６を移動させている間、複数回に渡って画像データを取得（サンプリング）し、それぞれの画像データのコントラスト情報を算出する。サンプリングは、等間隔で行われることが望ましい。コントラスト情報は、例えばラプラシアンフィルタの２次微分を用いて得ることができる。本発明の第１の実施形態においては、コントラスト情報を等間隔で１５回取得している。取得した画像データは、メモリ１３４に順次保存する。

フォーカスレンズ１０６を移動させてコントラスト情報を取得すると、合焦位置検出部１５２は、取得したコントラスト情報のピーク位置を検出する。そして、合焦位置検出部１５２は、検出したコントラスト情報のピーク位置を合焦位置と判断し、そのコントラスト情報のピーク位置にフォーカスレンズ１０６を移動させる。そして、その状態で撮影処理を実行することで、被写体に合焦した合焦画像を得ることができる。図３に示した本発明の第１の実施形態にかかるオートフォーカス処理においては、コントラスト情報のピークが１２番目にサンプリングした位置に存在するため、１２番目にサンプリングした場所にフォーカスレンズ１０６を移動させることで、被写体に合焦した画像を撮影することができる。

一方、被写体に合焦していない非合焦画像は、合焦位置を検出する際に取得した画像データを使用する。合焦位置を検出する際に取得した画像データは、コントラスト情報がピークの位置で取得したデータ以外は被写体に合焦していない非合焦画像となっている。従って、合焦位置を検出する際に取得した画像データを使用することで、合焦画像の撮影時に非合焦画像も同時に得ることができる。

非合焦画像は、コントラスト情報がピークの位置から近距離側の位置で取得した画像データを用いてもよく、コントラスト情報がピークの位置から遠距離側の位置で取得した画像データを用いてもよい。近距離側と遠距離側のどちらの画像データを使用するかは、予め定めていてもよく、取得したコントラスト情報の結果によって決定してもよい。

また、非合焦画像として使用する画像データは、ソフトフォーカス撮影の効果度（以下「ソフト効果」とも称する）のレベルに応じて決定してもよい。例えば、図３に示した例において、ソフト効果を「大」「中」「小」の３種類に定め、非合焦として近距離側の画像データを使用した場合には、ソフト効果が「小」の場合は、非合焦画像として１１番目の画像データを用い、ソフト効果が「中」の場合は、非合焦画像として１０番目の画像データを用い、ソフト効果が「大」の場合は、非合焦画像として９番目の画像データを用いることができる。一方、ソフト効果を「大」「中」「小」の３種類に定め、非合焦として遠距離側の画像データを使用した場合には、ソフト効果が「小」の場合は、非合焦画像として１３番目の画像データを用い、ソフト効果が「中」の場合は、非合焦画像として１４番目の画像データを用い、ソフト効果が「大」の場合は、非合焦画像として１５番目の画像データを用いることができる。なお、ソフト効果のレベルと非合焦画像として使用する画像データの組み合わせはこれに限られない。

なお、画像を合成する際には、そのまま合成すると画像の明度がオーバーしてしまうため、所定の割合で明度を落として合成することが望ましい。

以下、本発明の第１の実施形態にかかる撮像方法についてより詳細に説明する。

図４は、本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。以下、図４を用いて本発明の第１の実施形態にかかる撮像方法について説明する。

本発明の第１の実施形態にかかる撮像方法では、最初に、撮像装置１００の操作部１３３を操作して、ソフトフォーカス撮影におけるソフト効果レベルを設定する（ステップＳ１１０）。第１の実施形態にかかる撮像方法においては、ソフト効果レベルを「弱」「弱め」「強め」「強」の４種類の中から選択することができる。操作部１３３の操作で決定されたソフト効果レベルは、効果設定部１５８によって設定される。

ソフト効果レベルを入力すると、次に非合焦画像を得るためのデフォーカスコントロール手段を決定する（ステップＳ１１２）。本発明の第１の実施形態においては、デフォーカスコントロール手段は、（イ）ソフト効果レベルに応じて合焦画像を得られるフォーカスレンズ１０６の位置からの距離を変更するデフォーカス量コントロールと、（ロ）ソフト効果レベルに応じて合焦画像と非合焦画像の合成比率を変更するデフォーカス比率コントロールの２種類を選択することができる。デフォーカス量コントロールとデフォーカス比率コントロールのどちらを選択するかは、あらかじめ定めていてもよく、撮影動作を行う度に設定してもよい。

まず、デフォーカス量コントロールを選択した場合の流れについて説明する。ステップＳ１１２において、デフォーカスコントロール手段としてデフォーカス量コントロールを選択すると、ステップＳ１１０で設定したソフト効果レベルに基づく非合焦画像選択位置を合成比率設定部１６０で設定する（ステップＳ１１４）。

表１は、本発明の第１の実施形態にかかる、ソフト効果レベルと非合焦画像選択位置との関係を示す表である。非合焦画像選択位置は、合焦画像の取得位置からどの程度離れた位置の画像を選択するかを示している。なお、効果レベルと非合焦画像選択位置との関係は、表１の例に限られない。

非合焦画像選択位置を決定すると、次にシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ１１６）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。

シャッタボタン１３３が押されていると判断すれば、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ１１８）。フォーカシング処理は、上述したようなオートフォーカス処理によって行う。すなわち、フォーカシング処理はフォーカスレンズ１０６を近距離で合焦する位置から遠距離で合焦する位置へ向けて移動させて、コントラスト情報のピーク位置を求めることによって行う。そして、フォーカスレンズ１０６を移動させながら、所定の位置で合焦状態を検出するために画像データを取得（サンプリング）する。取得した画像データは、メモリ１３４に一時的に保存（バッファリング）する（ステップＳ１２０）。

フォーカスレンズ１０６を移動させてサンプリングを行うと、取得した画像データを用いてコントラスト情報のピークの位置を合焦位置として検出する（ステップＳ１２２）。本実施形態においては、コントラスト情報のピークの位置は合焦位置検出部１５２が行う。コントラスト情報のピークの位置を算出すると、ピークの位置に対応する画像データを取得した場所にフォーカスレンズ１０６を移動させて、ＣＭＯＳ素子１０８に光を入射することによって、被写体に合焦した合焦画像を撮影する（ステップＳ１２４）。この際の露光量は、適正な露光量の半分の量とする。撮影した合焦画像はメモリ１３４に一時的に記憶する。

合焦画像の撮影が完了すると、続いて非合焦画像を取得する。非合焦画像は、合焦位置を算出する際にサンプリングを行ってメモリ１３４に一時的に保存した画像データを使用する。本発明の第１の実施形態においては、まずメモリ１３４に一時的に保存した画像データの中から、合焦位置から遠近どちら側の画像データを使用するかを決定し、メモリ１３４に一時的に保存した画像データから、上記ステップＳ１１０で決定した効果レベルに対応するものを選択する（ステップＳ１２６）。

ここで、合焦位置から遠近どちら側の画像データを使用するかの決定は、例えば、画像全体がよりぼけて表示される方向を選択することによって行ってもよい。具体的には、合焦位置を検出する際に、複数のコントラスト情報の中から１つを選択して主被写体の合焦位置を検出する場合において、その他のコントラスト情報のピークから遠ざかる方向の画像データを使用してもよい。

画像データの選択が終わると、選択した画像データの露光量を１／２倍する（ステップＳ１２８）。画像データをそのまま合成すると画像の明度がオーバーしてしまうからである。

以上、図４に示した本発明の第１の実施形態にかかる撮像方法について説明する流れ図において、ステップＳ１１２でデフォーカス量コントロールを選択した場合の処理の流れについて説明した。次に、図４に示した本発明の第１の実施形態にかかる撮像方法について説明する流れ図において、ステップＳ１１２でデフォーカス比率コントロールを選択した場合の処理の流れについて説明する。

上記ステップＳ１１２でデフォーカス比率コントロールを選択した場合は、最初にステップＳ１１０で決定した効果レベルに対応する、合焦画像と非合焦画像の選択比率を、合成比率設定部１６０で設定する（ステップＳ１３２）。表２は、デフォーカス比率コントロールの場合の、効果レベルと画像の選択比率の一例を示す説明図である。なお、効果レベルと画像の選択比率は表２の例に限られない。

合焦画像と非合焦画像の選択比率を決定すると、ＣＰＵ１２８でシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ１３４）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。

シャッタボタン１３３が押されたら、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ１３６）。フォーカシング処理は、ステップＳ１１２でデフォーカス量コントロールを選択した場合のフォーカシング処理（ステップＳ１１８）と同様であるため、詳細な説明は割愛する。フォーカシング処理によって取得した画像データは、メモリ１３４に一時的に保存する（ステップＳ１３８）。

フォーカスレンズ１０６を移動させてサンプリングを行うと、デフォーカス量コントロールを選択した場合と同様に、取得した画像データを用いてコントラスト情報のピークの位置を合焦位置として検出し（ステップＳ１４０）、フォーカスレンズ１０６を移動させて、ＣＭＯＳ素子１０８に光を入射することによって、被写体に合焦した合焦画像を撮影する（ステップＳ１４２）。そして、撮影した合焦画像の露光量をｍ／８倍の量にする（ステップＳ１４４）。撮影した合焦画像はメモリ１３４に一時的に記憶する。

合焦画像の撮影が完了すると、続いて非合焦画像を取得する。本発明の第１の実施形態においては、非合焦画像は、デフォーカス量コントロールを選択した場合と同様に、合焦位置から遠近どちら側の画像データを使用するかを決定し、メモリ１３４に保存した画像データから、上記ステップＳ１１０で決定した効果レベルに対応するものを選択する（ステップＳ１４６）。

画像データの選択が終わると、選択した画像データの露光量をｎ／８倍する（ステップＳ１４８）。画像データをそのまま合成すると画像の明度がオーバーしてしまうからである。

以上、ステップＳ１１２でデフォーカス比率コントロールを選択した場合の処理の流れについて説明した。

このように、合焦画像と非合焦画像を撮影および取得すると、合焦画像と非合焦画像を合成して、ソフトフォーカス効果を有する画像を得る（ステップＳ１５０）。画像を合成する際には、画像合成部１１８において、２枚の画像間の位置ずれを補正し、２枚の画像が一致するように合成を行う。２枚の画像間の位置ずれを補正して合成する方法として、例えば画像のエッジや特徴点を抽出して、それらの座標が一致するように合成する方法がある。

図５は、本発明の第１の実施形態にかかる合成画像の例を示す説明図である。図５の（ａ）は合焦画像のみの例を示し、図５の（ｂ）は合焦画像と非合焦画像を１：１で合成した場合の例を示し、図５の（ｃ）は合焦画像と非合焦画像をｍ：ｎ（ｍ＞ｎ）の比率で合成した場合の例を示す。図５の（ｃ）は、図５の（ｂ）より合焦画像の割合が多いため、図５の（ｂ）に比べてはっきりとした画像となる。このように、合焦画像と非合焦画像の合成比率を変化させることで、ソフトフォーカス効果の度合いを変えることができる。

なお、本実施形態においては、ステップＳ１１２でデフォーカス比率コントロールを選択した際に、最初に合焦画像と非合焦画像の選択比率を決定していたが、本発明はかかる例に限定されないことは言うまでもない。

また、本実施形態においては撮像素子としてＣＭＯＳ素子１０８を用いているが、ＣＭＯＳ素子の替わりにＣＣＤ素子を用いてもよく、ＣＭＯＳ素子の替わりにＣＣＤ素子を用いた場合に、非合焦画像として合焦位置で取得した画像データを拡大したものを用いてもよい。ＣＣＤ素子は画像データの読み出しに時間がかかるため、画素を間引いて画像データを取得することが多い。この際に、画素を間引いて取得した画像データを拡大縮小処理部１５６で拡大することで、非合焦画像のようなぼけた状態の画像を得ることができる。このように取得した画像データを非合焦画像として合焦画像と合成することで、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。

図６は、本発明の第１の実施形態にかかる合成画像の別の例を示す説明図である。図６の（ａ）は、撮像素子中の全画素のデータを読み出す全画素読み出しモードでの合焦画像の例を示し、図６の（ｂ）は撮像素子中のデータを、画素を間引いて読み出す間引きモードでの合焦画像を拡大した例を示す。図６の（ｂ）に示したように、間引きモードで読み出した画像データを拡大すると、合焦画像であっても、非合焦画像のように全体がぼんやりした画像となる。そして、図６の（ａ）の画像と図６の（ｂ）の画像とを、位置合わせを行って合成することで、図６の（ｃ）の画像に示したように、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。

合成して得られた画像は、圧縮処理部１２０で適切な形式の画像データに圧縮する圧縮処理が行われ、ＬＣＤドライバ１２２を通じてＬＣＤ１２４に表示されるようにしてもよい。また、圧縮処理が施された画像は、メディアコントローラ１３８を通じて記録メディア１４０に保存されるようにしてもよい。

なお、上記の撮像方法はコンピュータプログラムによって実行されてもよい。ＣＰＵ１２８が、撮像装置１００の内部に記録されたコンピュータプログラムを呼び出すことによって、上記の撮像方法を実行してもよい。

以上説明したように、本発明の第１の実施形態によれば、合焦画像と非合焦画像を、位置合わせを行って合成することにより、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。そして、非合焦画像はオートフォーカス処理を行う際に取得する画像データを使用することで、ソフト効果レベルに対応した任意の非合焦画像を得ることができ、また合焦画像の撮影を行った後に非合焦画像の撮影を行った場合に比べ、合成画像を得るまでの時間を短縮することができる。

（第２の実施形態）
本発明の第１の実施形態においては、オートフォーカス処理中の画像を非合焦画像として使用して、合焦画像と非合焦画像とを位置合わせを行って合成することで、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる撮像装置および撮像方法について説明した。本発明の第２の実施形態においては、１回のシャッタボタンの操作で、合焦画像を撮影した後にフォーカスレンズを移動させて非合焦画像を撮影し、合焦画像と非合焦画像とを位置合わせを行って合成することで、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる撮像装置および撮像方法について説明する。

なお、本発明の第２の実施形態にかかる撮像装置は、本発明の第１の実施形態にかかる撮像装置と同一の構成を有するため、詳細な説明は割愛する。ここでは、本発明の第２の実施形態にかかる撮像方法について詳細に説明する。

本発明の第２の実施形態においては、画面上の複数の箇所に合焦位置を検出するための合焦状態検知部を有する、マルチＡＦを使用する場合について説明する。そして、本発明の第２の実施形態においては、画面上の４箇所に合焦状態検知部（ＡＦ領域）を設けて、合焦位置を検出するマルチＡＦを使用する場合について説明する。図７は、本発明の第２の実施形態にかかるマルチＡＦによる撮影距離とコントラストの関係の一例を示す説明図である。

図７に示したように、画面上の４箇所で合焦状態検知部を用いて合焦位置を検出する合焦状態検知部をマルチＡＦを使用するため、撮影距離とコントラストとの関係は符号２０２ａ、２０２ｂ、２０２ｃおよび２０２ｄで示したように４種類得られる。この４種類の撮影距離とコントラストとの関係を用いて合焦位置を算出する。

マルチＡＦの場合には、最も近距離側でコントラストのピークを検出したＡＦ領域に含まれる被写体を主被写体とするのが一般的である（近距離優先）。図７に示した関係では、符号２０２ｄに示したコントラストはピークを検出することができず、符号２０２ｃに示したコントラストが撮像装置に最も近い位置でピークを示しているため、符号２０２ｃに示したコントラストを有するＡＦ領域に含まれる被写体を主被写体として認定する。

ソフトフォーカス効果を有する画像は、全体が均一にぼけて写っている必要がある。本発明の第２の実施形態においては、フォーカスレンズを移動させて非合焦画像を撮影するが、フォーカスレンズを移動させた結果、主被写体以外の被写体にピントが合ってしまうと、ソフトフォーカス効果を有する画像としては適切ではない。そのため、ソフトフォーカス効果を有する画像を得るために、画像全体が均一にぼける方向にフォーカスレンズを移動させたほうが望ましい。

図７に示した撮影距離とコントラストとの関係においては、コントラストのピークの位置を挟んだ前後の所定の距離が、主被写体として判定できる距離である。所定の距離Ｌ_１とＬ_２は、例えば以下の数式１および数式２で求めることができる。

ここで、δは許容錯乱半径を、Ｄは撮像装置１００の撮像面から合焦被写体までの撮影距離を、ｆはフォーカスレンズの焦点距離を、Ｆは絞り値（Ｆナンバー）をそれぞれ示す。そして、Ｌ_１を前方被写界深度、Ｌ_２は後方被写界深度という。また、本実施形態においては、撮像素子（本実施形態においてはＣＭＯＳ素子）の画素間ピッチをｄとした場合に、δの値はδ＝２ｄとする。つまり、ピントが合って見える範囲はＤ−Ｌ_１〜Ｄ＋Ｌ_２の間である。

フォーカスレンズを移動させすぎても、合焦画像と非合焦画像との合成時に支障が生じる。フォーカスレンズを移動させすぎて撮影したぼけ量の大きい画像はエッジも不鮮明になるため、合焦画像との位置合わせが困難になるからである。従って、フォーカスレンズの移動量には予め制限を持たせておくことが望ましい。本発明の第２の実施形態においては、この制限量を１５Ｆδとする。もちろん制限量はかかる例に限られない。

次に、本発明の第２の実施形態にかかる撮像方法について、より詳細に説明する。

図８は、本発明の第２の実施形態にかかる撮像方法について説明する流れ図である。以下、図８を用いて本発明の第２の実施形態にかかる撮像方法について、より詳細に説明する。

本発明の第２の実施形態にかかる撮像方法では、最初に、本発明の第２の実施形態にかかる撮像方法と同様に、撮像装置１００の操作部１３３を操作して、ソフトフォーカス撮影におけるソフト効果レベルを設定する（ステップＳ２１０）。第２の実施形態にかかる撮像方法においては、例えば、ソフト効果レベルを「弱」「弱め」「強め」「強」の４種類の中から選択することができる。もちろん、ソフト効果レベルの組み合わせはこの例に限られない。操作部１３３の操作で決定されたソフト効果レベルは、効果設定部１５８によって設定される。

ソフト効果レベルを入力すると、次に非合焦画像を得るためのデフォーカスコントロール手段を決定する（ステップＳ２１２）。本発明の第２の実施形態においては、デフォーカスコントロール手段は、（イ）ソフト効果レベルに応じて合焦画像を得られるフォーカスレンズ１０６の位置からの距離を変更するデフォーカス量コントロールと、（ロ）ソフト効果レベルに応じて合焦画像と非合焦画像の合成比率を変更するデフォーカス比率コントロールの２種類を選択することができる。デフォーカス量コントロールとデフォーカス比率コントロールのどちらを選択するかは、撮影動作の前にあらかじめ定めていてもよく、撮影動作を行う度に設定してもよい。

まず、（イ）のデフォーカス量コントロールを選択した場合の流れについて説明する。ステップＳ２１２において、デフォーカスコントロール手段としてデフォーカス量コントロールを選択すると、ステップＳ２１０で設定したソフト効果レベルに基づくフォーカスレンズ１０６の移動量を合成比率設定部１６０で設定する（ステップＳ２１４）。

表３は、本発明の第２の実施形態にかかる、ソフト効果レベルとフォーカスレンズ１０６の移動量との関係を示す表である。ステップ２１０で設定したソフト効果レベルに基づいて、表３の条件に合致するようにフォーカスレンズ１０６を移動させる。

フォーカスレンズ１０６の移動量を設定すると、次にＣＰＵ１２８でシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ２１６）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。

シャッタボタン１３３が押されていると判断すれば、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ２１８）。フォーカシング処理は、第１の実施形態と同様に、フォーカスレンズ１０６を近距離で合焦する位置から遠距離で合焦する位置へ向けて移動させながらサンプリングすることによって行う。そして、フォーカシング処理によってサンプリングした画像のコントラストの、最も撮像装置１００に近い位置に存在するピークを検出することによって、被写体の合焦位置を検出する（ステップＳ２２０）。本発明の第２の実施形態においても、第１の実施形態同様に、コントラスト情報のピーク位置の検出は合焦位置検出部１５２が行う。

コントラスト情報のピークの位置を検出すると、ピークの位置に対応する画像データを取得した場所にフォーカスレンズ１０６を移動させて、ＣＭＯＳ素子１０８に光を入射することによって、被写体に合焦した合焦画像を撮影する（ステップＳ２２２）。この際の露光量は、適正な露光量の半分の量とする。撮影した合焦画像はメモリ１３４に一時的に記憶する。

合焦画像の撮影が完了すると、続いて非合焦画像の撮影を行う。非合焦画像の撮影の際には、まず、フォーカスレンズ１０６を被写体に近い側と遠い側のどちらに移動させればソフトフォーカス効果を得られる画像となるかどうかを判断し、フォーカスレンズ１０６の移動方向を決定する（ステップＳ２２４）。フォーカスレンズ１０６の移動方向を決定すると、ステップＳ２１４で決定したフォーカスレンズ１０６の移動量に従ってフォーカスレンズを移動させる（ステップＳ２２６）。

フォーカスレンズ１０６の移動が終わると、非合焦画像の撮影を行う（ステップＳ２２８）。非合焦画像は、メモリ１３４に一時的に保存する。この際の露光量は、適正な露光量の半分の量とすることが望ましい。通常の露光量で撮影を行って合焦画像と合成すると画像の明度がオーバーしてしまうからである。

以上、ステップＳ２１２で（イ）のデフォーカス量コントロールを選択した場合の処理の流れについて説明した。次に、ステップＳ２１２で（ロ）のデフォーカス比率コントロールを選択した場合の処理の流れについて説明する。

ステップＳ２１２で（ロ）のデフォーカス比率コントロールを選択した場合は、最初にステップＳ２１０で決定した効果レベルに対応する、合焦画像と非合焦画像の合成比率を、合成比率設定部１６０で設定する（ステップＳ２３２）。表４は、デフォーカス比率コントロールの場合の、効果レベルと画像の合成比率の一例を示す説明図である。なお、効果レベルと画像の合成比率は表４の例に限られない。

合焦画像と非合焦画像の合成比率を設定すると、ＣＰＵ１２８でシャッタボタン１３３が押されているかどうかの判断を行う（ステップＳ２３４）。シャッタボタン１３３が押されていなければ、シャッタボタン１３３が押されているかどうかの判断処理を繰り返し行い、シャッタボタン１３３が押されていれば次の処理に移る。

シャッタボタン１３３が押されたら、次に被写体に合焦するためのフォーカシング処理を行う（ステップＳ２３６）。フォーカシング処理は、ステップＳ２１２でデフォーカス量コントロールを選択した場合のフォーカシング処理（ステップＳ２１８）と同様であるため、詳細な説明は割愛する。そして、フォーカシング処理によってサンプリングした画像のコントラストの、最も撮像装置１００に近い位置に存在するピークを検出することによって、被写体の合焦位置を算出する（ステップＳ２３８）。本発明の第２の実施形態においては、コントラスト情報のピークの検出は合焦位置検出部１５２が行う。

コントラスト情報のピークの位置を算出すると、ピークの位置に対応する画像データを取得した場所にフォーカスレンズ１０６を移動させて、被写体に合焦した合焦画像を撮影する（ステップＳ２４０）。撮影した合焦画像は、画像の露光量をｍ／８倍し（ステップＳ２４２）、メモリ１３４に一時的に記憶する。画像の露光量をｍ／８倍するのは、画像の合成を行った際に画像の明度がオーバーしないようにするためである。

合焦画像の撮影が完了すると、続いて非合焦画像を撮影する。本発明の第２の実施形態においても、非合焦画像は、デフォーカス量コントロールを選択した場合と同様に、まずフォーカスレンズ１０６を被写体に近い側と遠い側のどちらに移動させればソフトフォーカス効果を得られる画像となるかどうかを判断し、フォーカスレンズ１０６の移動方向を決定する（ステップＳ２４４）。フォーカスレンズ１０６の移動方向を決定すると、決定した方向にフォーカスレンズを移動させて、非合焦画像の撮影を行う（ステップＳ２４６）。撮影した非合焦画像は、画像の露光量をｎ／８倍し（ステップＳ２４８）、メモリ１３４に一時的に記憶する。画像の露光量をｎ／８倍するのは、画像の合成を行った際に画像の明度がオーバーしないようにするためである。

このように、合焦画像と非合焦画像との撮影が完了すると、メモリ１３４に一時的に記憶した合焦画像と非合焦画像を合成して、ソフトフォーカス効果を有する画像を得る（ステップＳ２５０）。画像を合成する際には、画像合成部１１８において、２枚の画像間の位置ずれを補正し、２枚の画像が一致するように合成を行う。２枚の画像間の位置ずれを補正して合成する方法として、例えば画像のエッジや特徴点を抽出して、それらの座標が一致するように合成する方法がある。

なお、本実施形態においては、合焦画像の露光量をｍ／８倍し、さらに非合焦画像の露光量をｎ／８倍することで、合焦画像と非合焦画像とを合成した際に画像の明度がオーバーしないようにしているが、本発明はかかる例に限られない。例えば、自動露光を行って算出されたシャッタ速度よりも短い時間で複数枚の画像の撮影を行い、複数枚の画像を被写体が一致するように合成するようにしてもよい。

撮像装置を用いて撮影した画像のぶれを抑える方法として、手ぶれを起こしにくい高速のシャッタ速度で複数枚撮影し、撮影した画像を被写体が一致するように合成する電子的補正方法がある。電子的補正方法では、例えば自動露光によって得られたシャッタ速度よりも短いシャッタ速度で画像を複数枚撮影し、その画像を被写体が一致するように合成することで、ぶれを抑えた画像を得ることができる。

以下に電子的補正方法の一例を示す。自動露光を行い、適正ＡＥ算出部１５４での算出の結果、絞り値がＦ２．８、シャッタ速度が１／８秒に設定された場合、シャッタ速度が１／８秒では、三脚を用いずに手持ちで撮影を行うと、撮影画像の手ぶれを抑えるのは困難である。従って、例えばシャッタ速度を１／６４秒にして８枚を撮影し、撮影した画像を被写体が一致するように合成することで、シャッタ速度が１／８秒で撮影した場合の画像と同等の明度を得つつ、撮影画像の手ぶれを抑えた画像を撮影することができる。

そこで、１／６４秒のシャッタ速度で撮影した画像の比率を、ソフト効果レベルによって変更することで、異なるソフトフォーカス効果を有する画像を撮影することができる。例えば、本実施形態に示した例では、ソフト効果レベルを「弱」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を５枚、非合焦画像を３枚撮影し、撮影した合焦画像を非合焦画像とを合成する。同様に、ソフト効果レベルを「弱め」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を４枚、非合焦画像を４枚撮影し、ソフト効果レベルを「強め」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を３枚、非合焦画像を５枚撮影し、ソフト効果レベルを「強」に設定した場合においては、１／６４秒のシャッタ速度で合焦画像を２枚、非合焦画像を６枚撮影する。このように、合焦画像と非合焦画像の撮影枚数の組を変化させることで、様々なソフトフォーカス効果を有する画像を撮影することができる、

以上説明したように、本発明の第２の実施形態によれば、１回のシャッタボタンの操作で合焦画像と非合焦画像とを撮影し、合焦画像と非合焦画像を、位置合わせを行って合成することにより、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。そして、非合焦画像は画像全体がぼける方向にフォーカスレンズを移動させて撮影を行うことで、画像全体がぼんやりとした、ソフトフォーカス撮影を行った場合と同等の効果を有する撮影画像を得ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、合焦画像と非合焦画像の２枚を合成してソフトフォーカス効果を有する画像を生成したが、本発明はかかる例に限定されず、３枚以上の画像を合成してもよい。例えば、非合焦画像を２種類用意して、合焦画像と２種類の非合焦画像の３枚を合成してソフトフォーカス効果を有する画像を生成してもよい。合成する画像の枚数を増やすことで、ソフトフォーカス効果をより高めることができる。

また、本発明の第１の実施形態では、スキャニングを行う際にメモリ１３４にスキャニングを行った画像を順次記憶させていたが、ピーク位置よりも遠い位置でスキャニングして得られ、画像の合成に使用しない画像は破棄するようにしてもよい。画像の合成に使用しない画像を破棄することで、メモリ１３４の使用量を節約することができる。

本発明の第１の実施形態にかかる撮像装置の構成について説明する説明図である。本発明の第１の実施形態にかかるＣＰＵの構成について説明する説明図である。本発明の第１の実施形態にかかるオートフォーカス処理について説明する説明図である。本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。本発明の第１の実施形態にかかる合成画像の例を示す説明図である。本発明の第１の実施形態にかかる合成画像の別の例を示す説明図である。本発明の第２の実施形態にかかるマルチＡＦによる撮影距離とコントラストの関係の一例を示す説明図である。本発明の第２の実施形態にかかる撮像方法について説明する流れ図である。

符号の説明

１００撮像装置
１０６フォーカスレンズ
１０８ＣＭＯＳ素子
１１８画像合成部
１２８ＣＰＵ
１３４メモリ
１５２合焦位置検出部
１５４適正ＡＥ算出部
１５６拡大縮小処理部
１５８効果設定部
１６０合成比率設定部

Claims

撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、前記撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、前記被写体の合焦位置を検出する撮像部と；
前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を記憶する画像記憶部と；
前記合焦位置に対する所望の非焦点度を予め所定数設定しておく効果設定部と；
ソフトフォーカス効果の効果度に対応して、前記合焦位置の画像と前記効果設定部で設定された各前記非焦点度に対応する画像との合成比率を設定する合成比率設定部と；
前記合焦位置の画像と前記効果設定部で設定された前記非焦点度に対応する画像とを位置合わせして前記合成比率により合成する画像合成部と；
を含み、
前記撮像部は、前記撮像素子の結像面上で複数の合焦検知位置を設定しておき、前記合焦位置の検出時に各前記合焦検知位置から得られる合焦レベルを分析し、
前記画像合成部は、前記撮像部による前記合焦レベルの分析結果に基づいて、画面全体が均一にぼける方向に前記合焦位置に対する遠近方向を選択し、選択した方向で撮影された前記被写体の画像のうち前記効果設定部により設定された各前記非焦点度に対応する画像を、前記画像記憶部から読み出すことを特徴とする、撮像装置。
前記画像記憶部は、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を全画素分の画像データとして記憶しておくことを特徴とする、請求項１に記載の撮像装置。
前記画像記憶部は、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像のうち、前記合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、前記合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶しておくことを特徴とする、請求項１に記載の撮像装置。
前記合成比率設定部は、前記効果設定部で設定された非焦点度レベルに基づいて、前記フォーカスレンズが前記合焦位置から外れる程度を設定し、
前記画像合成部は、前記合成比率設定部で設定された前記程度に対応する画像を前記非焦点度に対応する画像として読み出して、前記合焦位置の画像と合成することを特徴とする、請求項１に記載の撮像装置。
前記合成比率設定部は、前記効果設定部で設定された非焦点度レベルに基づいて、合成比率の程度を設定し、
前記画像合成部は、前記前記合成比率設定部で設定された合成比率により前記合焦位置の位置と非焦点度に対応する画像を合成することを特徴とする、請求項１に記載の撮像装置。
撮像光学系に含まれるフォーカスレンズを焦点調整方向に駆動させながら、前記撮像光学系を介して撮像素子の結像面上に順次結像される被写体の画像に基づいて、前記被写体の合焦位置を検出する撮像ステップと；
前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を記憶する画像記憶ステップと；
前記合焦位置に対する所望の非焦点度を予め所定数設定しておく効果設定ステップと；
ソフトフォーカス効果の効果度に対応して、前記合焦位置の画像と前記効果設定ステップで設定された各前記非焦点度に対応する画像との合成比率を設定する合成比率設定ステップと；
前記合焦位置の画像と前記効果設定ステップで設定された前記非焦点度に対応する画像とを位置合わせして前記合成比率により合成する画像合成ステップと；
を含み、
前記撮像ステップでは、前記撮像素子の結像面上で複数の合焦検知位置を設定しておき、前記合焦位置の検出時に各前記合焦検知位置から得られる合焦レベルを分析し、
前記画像合成ステップでは、前記撮像ステップによる前記合焦レベルの分析結果に基づいて、画面全体が均一にぼける方向に前記合焦位置に対する遠近方向を選択し、選択した方向で撮影された前記被写体の画像のうち前記効果設定部により設定された各前記非焦点度に対応する画像を、前記画像記憶ステップで記憶しておいた複数の前記画像の中から読み出すことを特徴とする、撮像方法。
前記画像記憶ステップでは、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像を全画素分の画像データとして記憶しておくことを特徴とする、請求項６に記載の撮像方法。
前記画像記憶ステップでは、前記合焦位置の検出時に前記撮像素子から順次出力される前記被写体の画像のうち、前記合焦位置の画像のみ全画素分の画像データとして記憶しておく一方、前記合焦位置の画像以外の画像を所定の画素間引きした画像データとして記憶しておくことを特徴とする、請求項６に記載の撮像方法。
前記合成比率設定ステップは、前記効果設定ステップで設定された非焦点度レベルに基づいて、前記フォーカスレンズが前記合焦位置から外れる程度を設定し、
前記画像合成ステップは、前記前記合成比率設定ステップで設定された前記程度に対応する画像を前記非焦点度に対応する画像として読み出して、前記合焦位置の画像と合成することを特徴とする、請求項６に記載の撮像方法。
前記合成比率設定ステップは、前記効果設定ステップで設定された非焦点度レベルに基づいて、合成比率の程度を設定し、
前記画像合成ステップは、前記設定された合成比率により前記合焦位置の画像と非焦点度に対応する画像を合成することを特徴とする、請求項６に記載の撮像方法。