JP5686587B2 - 合焦装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置で用いられる合焦装置、その制御方法、およびプログラムに関し、特に、電子スチルカメラ又はビデオなどで用いられるオートフォーカスに関する。

一般に、電子スチルカメラなどの撮像装置において、画像処理によって撮影画像（撮像画像ともいう）に特殊効果を施すことがある（例えば、特許文献１参照）。この特殊効果を用いて、画像領域にぼかし処理を施したぼかし領域と、ぼかし処理を施さない解像領域とを設定する。これによって、ぼかし領域にぼかし処理を施せば所謂ジオラマ風の画像撮影ができるようになる。

ジオラマ風の画像撮影の際には、解像領域の解像感を良好にするためにも、解像領域内における被写体にピントを合わせることが望ましい。

撮像装置において、被写体にピントを合わせる際には、ＣＣＤ（電荷結合素子）などの撮像素子から得られる輝度信号の高域周波数成分が最大になる撮影レンズの位置を合焦位置とするようにしている。

例えば、測距範囲の全域に亘って撮影レンズを駆動しつつ、撮像素子から得られる輝度信号の高域周波数成分に応じた評価値（以下、焦点評価値と呼ぶ）をその都度に記憶する。そして、焦点評価値のうちの最大値に相当する撮影レンズ位置を合焦位置とすることが行われている。

このようにして合焦位置を求める手法はスキャン方式と呼ばれている。ここで、画像領域における焦点評価値を取得するために設定する焦点検出領域は一般にオートフォーカス（ＡＦ）枠と呼ばれている。

ジオラマ風の画像を撮影する際には、解像領域の設定位置および設定サイズに応じて、画像領域においてピントを合わせたい領域の位置およびサイズが変化する。このため、ピントを合わせたい領域に対して、適切にＡＦ枠を設定する必要がある。

ところで、ソフトフォーカス画像を得る際、所望の加算比率でファインスキャンデータ（元画像）とボケ画像データ（ぼかし画像）とを合成して、ソフトフォーカス画像を所望のソフトフォーカス強度で出力するようにしたものがある（例えば、特許文献１参照）。

また、任意の位置においてぼけ効果を付加しつつ、かつ自然な撮影画像を得るため、合焦したい位置とぼけ効果を付加したい位置を指定して、両位置についてオートフォーカス動作によって被写体のズームレンズからの距離を測定するようにしたものがある。そして、ここでは、測定結果に基づいて開口径を制御して、ぼけ効果を付加したい位置の被写体を被写界深度外とするようにしている（例えば、特許文献２参照）。

特開２０００−６９２７７号公報 特開２００３−１２５２８１号公報

ところが、特許文献１においては、画像領域に解像領域とぼかし領域とを設定することは行われておらず、画像の全体に対してぼかし処理を施している。このため、解像領域においてＡＦ枠を適切に設定する必要がない。

一方、特許文献２においては、オートフォーカス動作によって被写体のズームレンズからの距離を測定するようにしているものの、画像領域に解像領域とぼかし領域とを設定しておらず、解像領域においてピントを合わせることは行われていない。

いずれにしても、特許文献１および２ともに、画像領域に解像領域とぼかし領域とを設定していないため、ＡＦ枠の設定については考慮されていない。しかし、ジオラマ風の画像を撮影する際、解像領域の設定位置および設定サイズに応じて、画像領域においてピントを合わせたい領域の位置およびサイズが変化するため、ピントを合わせたい領域に対して適切にＡＦ枠を設定する必要がある。

したがって、本発明の目的は、ジオラマ風の画像撮影において、解像領域の設定に応じてユーザの所望位置に適切にピントを合わせることができる合焦装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による合焦装置は、フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置において、前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定手段と、予め設定された縮小率によって前記画像データをオリジナルデータとして縮小した後、再び拡大して元の画像サイズに戻してボケ画像データとし、当該ボケ画像データを前記オリジナルデータと合成して、前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理手段と、前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定手段と、前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御手段とを有することを特徴とする。

本発明による制御方法は、フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置を制御するための制御方法において、前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定ステップと、予め設定された縮小率によって前記画像データをオリジナルデータとして縮小した後、再び拡大して元の画像サイズに戻してボケ画像データとし、当該ボケ画像データを前記オリジナルデータと合成して、前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理ステップと、前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定ステップと、前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御ステップとを有することを特徴とする。

本発明による制御プログラムは、フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置を制御するための制御プログラムにおいて、前記合焦装置が備えるコンピュータに、前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定ステップと、予め設定された縮小率によって前記画像データをオリジナルデータとして縮小した後、再び拡大して元の画像サイズに戻してボケ画像データとし、当該ボケ画像データを前記オリジナルデータと合成して、前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理ステップと、前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定ステップと、前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御ステップとを実行させることを特徴とする。

本発明によれば、ジオラマ風の画像撮影において、解像領域の設定に応じてユーザの所望位置に適切にピントを合わせることができるという効果がある。

本発明の実施の形態による合焦装置が用いられた撮像装置の一例を示すブロック図である。 図１に示す画像処理部の構成を示すブロック図である。 図１に示すカメラにおけるジオラマ風撮影の動作を説明するためのフローチャートである。 図１に示すシステム制御部で行われるＡＦ枠の幅設定を説明するための図であり、（ａ）は解像領域に設定されたＡＦ枠を示す図、（ｂ）はＡＦ枠と所定の閾値との関係を示す図、（ｃ）はＡＦ枠と所定の閾値および最小値との関係を示す図、（ｄ）はＡＦ枠の幅変更を示す図である。 図１に示すシステム制御部で行われるＡＦ枠の数の設定を説明するための図であり、（ａ）は画像領域の垂直方向に１枠を設定した状態を示す図、（ｂ）は画像領域の垂直方向に２枠を設定した状態を示す図、（ｃ）は画像領域の垂直方向に３枠を設定した状態を示す図である。 図３で説明したＡＦ動作（焦点調節制御）について詳細に説明するためのフローチャートである。 画像合成の効果を説明するための図であり、（ａ）は合成画像の一例を示す図、（ｂ）は画像とボケ度合いとの関係を示す図である。

以下、本発明の実施の形態による合焦装置の一例が用いられた撮像装置の一例について説明する。

図１は、本発明の実施の形態による合焦装置が用いられた撮像装置の一例を示すブロック図である。なお、図１においては、撮像装置として電子スチルカメラ（以下、単にカメラと呼ぶ）を例に挙げて説明するが、ビデオカメラなどの他の撮像装置にも同様に適用できるものである。

図１を参照して、カメラは撮影レンズ１０１を有しており、この撮影レンズ１０１にはズーム機構（図示せず）が備えられている。撮影レンズ１０１の後段には絞りおよびシャッター１０２が配置され、この絞りおよびシャッター１０２はＡＥ（自動露出）処理部１０３の制御下で撮影レンズ１０１から入射する光量を制御（調整）する。

絞りおよびシャッター１０２の後段にはフォーカスレンズ１０４が配置され、このフォーカスレンズ１０４はＡＦ（自動焦点：オートフォーカス）処理部１０５の制御下で光軸に沿って駆動され、撮像素子１０６に焦点を合わせる。なお、ＡＥ処理部１０３およびＡＦ処理部１０５はシステム制御部１１２によって制御される。

撮像素子（例えば、ＣＣＤ）１０６に結像した光学像（被写体像）は、撮像素子によって電気信号（アナログ画像信号）に変換されて、Ａ／Ｄ変換部１０７に与えられる。Ａ／Ｄ変換部１０７は撮像素子１０６の出力ノイズを除去するＣＤＳ回路（図示せず）及びＡ／Ｄ変換前に非線形増幅を行うための非線形増幅回路を備えている。

Ａ／Ｄ変換部１０７によってアナログ画像信号はデジタル画像信号に変換されて、画像処理部１０８に与えられる。画像処理部１０８ではデジタル画像信号に対して所定の画像処理を行って、画像データを生成する。そして、この画像データは一旦内部記憶部１２０に記憶される。内部記憶部１２０は、画像処理部１０８における画像処理のための一時的に記憶領域として用いられる。なお、画像処理部１０８はシステム制御部１１２によって制御される。

画像処理部１０８から出力される画像データはフォーマット変換部１０９で所定のフォーマット変換が行われた後、高速な内蔵メモリ（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）１１０に記録される。このＤＲＡＭ１１０は一時的な画像記憶メモリであり、例えば、高速バッファとして又は画像の圧縮伸張処理における作業用メモリとして用いられる。

カメラは画像記録部１１１を有しており、この画像記録部１１１は、例えば、メモリーカードなどの記録媒体と記録媒体用のインターフェースとを備えている。さらに、カメラは、カメラ全体の制御を司るシステム制御部１１２を有し、システム制御部１１２は撮影シーケンスなどに応じて制御を行う。

図示のように、システム制御部１１２には、画像表示部１１４、操作部１１５、撮影モードスイッチ（ＳＷ）１１６、メインスイッチ（ＳＷ）１１７、第１のスイッチ（ＳＷ１）１１８、および第２のスイッチ（ＳＷ２）１１９が接続されている。そして、画像表示部１１４には画像表示用メモリ（ＶＲＡＭ）１１３が接続されている。

画像表示部１１４はシステム制御部１１２の制御下において、画像表示を行うとともに、ユーザ操作の補助のための表示、そして、カメラ状態の表示を行う。操作部１１５はユーザによって操作され、例えば、システム制御部１１２に対して各種指令を送る。

操作部１１５は、例えば、メニュースイッチ、ズームレバー、動作モード切り換えスイッチ、およびタッチパネルを有している。メニュースイッチの操作によって、カメラの撮影機能および画像再生時の設定など各種の設定が行われる。ズームレバーの操作によって、撮影レンズ１０１のズーム動作がシステム制御部１１２に対して指示される。モード切り換えスイッチの操作によって撮影モードおよび再生モードの切り換えが行われる。また、タッチパネル上の操作（タッチ）に応じて画像の特定位置がシステム制御部１１２に対して指示される。

撮影モードスイッチ１１６の操作によって、各種撮影モードの設定が行われ、例えば、撮影モードスイッチ１１６の操作によって、後述するジオラマ風撮影モードが選択される。メインスイッチ１１７の操作によってカメラに電源が投入され、第１のスイッチ（撮影スタンバイスイッチ）１１８の操作によってＡＦおよびＡＥ等の撮影スタンバイ動作が行われる。そして、第２のスイッチ（撮影スイッチ）１１９の操作によって撮影が行われる。

図２は図１に示す画像処理部１０８の構成を示すブロック図である。

図２を参照して、画像処理部１０８は、輝度信号処理部２０１および色信号処理部２０２を有している。輝度信号処理部２０１はデジタル画像信号を受けて、デジタル画像信号に含まれる輝度信号に対して輝度信号処理を行う。色信号処理部２０２はデジタル画像信号を受けて、デジタル画像信号に含まれる色信号に対して色信号処理を行う。

輝度信号処理および色信号処理が行われたデジタル画像信号は画像縮小部２０３に与えられる。画像縮小部２０３は、画像縮小処理を行う前にデジタル画像信号（オリジナルデータとも呼ぶ）を内部記憶部１２０に一時的に記憶する。これによって、画像合成部２０５が後述する画像合成を行う際にオリジナルデータを用いることができる。

画像縮小部２０３は、オリジナルデータを縮小オリジナルデータとする。続いて、この縮小オリジナルデータは、画像拡大部２０４拡大処理された後、画像合成部２０５において内部記憶部１２０に記録されたオリジナルデータと合成処理されて合成オリジナルデータとされる。

なお、画像縮小部２０３における縮小処理および画像拡大部２０４における拡大処理の際においても、必要に応じて内部記憶部１２０に処理済みの画像データが一時記憶される。そして、画像圧縮部２０６は、合成オリジナルデータを圧縮してフォーマット変換部１０９に与える。

図３は、図１に示すカメラにおけるジオラマ風撮影の動作を説明するためのフローチャートである。

図１および図３を参照して、まず、撮影モードスイッチ１１６によってジオラマ風撮影モードが設定されると、システム制御部１１２は、操作部１１５から入力されるボケ度合い又は予め設定されたボケ度合いに応じて縮小率を決定する（ステップＳ３０１）。

続いて、操作部１１５から画像領域においてぼかし処理を施さない領域（以下解像領域と呼ぶ）の位置および幅がシステム制御部１１２に入力される（ステップＳ３０２）。これによって、システム制御部１１２は解像領域の位置および幅（大きさ）に基づいてＡＦ（オートフォーカス）枠を画像領域に設定する（ステップＳ３０３）。

図４は、図１に示すシステム制御部１１２で行われるＡＦ枠の幅設定を説明するための図である。そして、図４（ａ）は解像領域に設定されたＡＦ枠を示す図であり、図４（ｂ）はＡＦ枠と所定の閾値との関係を示す図である。また、図４（ｃ）はＡＦ枠と所定の閾値および最小値との関係を示す図であり、図４（ｄ）はＡＦ枠の幅変更を示す図である。

前述のように、操作部１１５から解像領域の位置および幅を入力すると、図４（ａ）に示すように、システム制御部１１２は、解像領域の位置および幅に応じて画像領域４０１に解像領域４０２を設定する。続いて、システム制御部１１２は、例えば、解像領域４０２にＡＦ枠（焦点検出領域）４０３ａ〜４０３ｃを設定する。図４（ａ）においては、解像領域４０２の幅に対して所定の割合の幅を有するＡＦ枠を、図中水平方向に３枠設定している。

ここで、ＡＦ枠４０３ａ〜４０３ｃ内の画素数が少ないと、焦点評価値のＳ／Ｎの低下によって合焦位置検出の精度が保証できなくなる恐れがある。よって、ＡＦ枠４０３ａ〜４０３ｃの幅に関して設定可能な最小値ＭｉｎＷｉｄ（最小の大きさ）が設定される。

そして、図４（ｂ）に示すように、システム制御部１１２はＡＦ枠４０３ａ〜４０３ｃの幅と所定の第０の閾値Ｔｈｒ０（予め規定された所定の閾値）とを比較する。解像領域４０２の幅（大きさ）が第０の閾値Ｔｈｒ０以上（所定の閾値以上）であると、システム制御部１１２はＡＦ枠４０３ａ〜４０３ｃの幅を解像領域４０２の幅に応じて可変とする。

一方、解像領域４０２の幅が第０の閾値Ｔｈｒ０を下回った場合には（所定の閾値未満）、図４（ｃ）に示すように、システム制御部１１２はＡＦ枠４０３ａ〜４０３ｃの幅を最小値ＭｉｎＷｉｄに設定する。

但し、図４（ｃ）に示すように、解像領域４０２の幅に対してＡＦ枠４０３ａ〜４０３ｃの幅の方が広い場合には、システム制御部１１２が画像表示部１１４にＡＦ枠４０３ａ〜４０３ｃを表示する際にその見栄えがよくない。この場合には、図４（ｄ）に示すように、システム制御部１１２はＡＦ枠の幅を変更して、解像領域４０２に収まる幅のＡＦ枠４０４ａ〜４０４ｃを画像表示部に表示する。この際には、焦点調節制御を行うためのＡＦ枠の幅と表示用ＡＦ枠の幅とが異なることになる。

図５は、図１に示すシステム制御部１１２で行われるＡＦ枠の数の設定を説明するための図である。そして、図５（ａ）は画像領域の垂直方向に１枠を設定した状態を示す図であり、図５（ｂ）は画像領域の垂直方向に２枠を設定した状態を示す図である。また、図５（ｃ）は画像領域の垂直方向に３枠を設定した状態を示す図である。

システム制御部１１２は、さらに、解像領域の幅に応じて、垂直方向におけるＡＦ枠の数を設定する。例えば、解像領域４０２の幅と所定の第１および第２の閾値Ｔｈｒ１およびＴｈｒ２（但し、Ｔｈｒ１＜Ｔｈｒ２）の比較結果に応じて、システム制御部１１２は以下のようにしてＡＦ枠の数を設定する。

図５（ａ）に示すように、解像領域４０２の幅＜Ｔｈｒ１の場合には、図５（ａ）に示すように、システム制御部１１２は垂直方向に１枠を設定する。なお、図示の例では、水平方向には３つのＡＦ枠４０３ａ〜４０３ｃが設定される。Ｔｈｒ１＜解像領域４０２の幅＜Ｔｈｒ２の場合には、図５（ｂ）に示すように、システム制御部１１２は垂直方向に２枠を設定する。図示の例では、水平方向にそれぞれＡＦ枠４０３ａ〜４０３ｃとＡＦ枠４０３ｄ〜４０３ｆが設定される。

Ｔｈｒ２＜解像領域４０２の幅の場合には、図５（ｃ）に示すように、システム制御部１１２は垂直方向に３枠を設定する。図示の例では、水平方向にそれぞれＡＦ枠４０３ａ〜４０３ｃと、ＡＦ枠４０３ｄ〜４０３ｆと、ＡＦ枠４０３ｇ〜４０３ｉが設定される。

このようにして、システム制御部１１２は解像領域４０２の幅の変化に応じて、ピントを合わせたい被写体の存在する可能性のある領域にＡＦ枠の設定を行うことになる。

再び、図１および図３を参照して、上述のようにして、ＡＦ枠の設定が行われると、前述のオリジナルデータが内部記憶部１２０に一時記憶される（ステップＳ３０４）。続いて、画像処理部１０８では画像縮小部２０３（図２）がシステム制御部１１２において決定された縮小率に応じてオリジナルデータを縮小する（ステップＳ３０５）。

次に、画像拡大部２０４（図２）は縮小したオリジナルデータを拡大して元の画像サイズに戻して、これによって、オリジナルデータよりもぼけた画像である画像データ（ボケ画像データと呼ぶ）を生成する（ステップＳ３０６）。そして、画像合成部２０５（図２）はオリジナルデータをトリミングしてトリミング画像データとする（ステップＳ３０７）。

さらに、画像合成部２０５はボケ画像データにトリミング画像データを合成する。つまり、画像合成部２０５はボケ画像をトリミング画像に貼り付ける（ステップＳ３０８）。これによって、画像領域の上下がぼけて、その中心部に解像感が残った画像が生成することになる。

なお、オリジナルデータを貼り付ける際には、ぼけた画像とオリジナル画像（つまり、トリミング画像）とをなだらかに混合することによって貼付境界部を目立たなくする。

続いて、システム制御部１１２は第１のスイッチ１１８がオン（ＯＮ）であるか否かを調べる（ステップＳ３０９）。そして、第１のスイッチ１１８がＯＮであると（ステップＳ３０９において、ＹＥＳ）、システム制御部１１２は後述するＡＦ動作を実行して（ステップＳ３１０）、処理を終了する。ＡＦ動作では、システム制御部１１２は、上述のようにして設定したＡＦ枠内において焦点調節制御を行う。

一方、第１のスイッチ１１８がＯＮでないと（ステップＳ３０９において、ＮＯ）、システム制御部１１２はステップＳ３０１に戻って処理を続行する。

図６は、図３で説明したＡＦ動作（焦点調節制御）について詳細に説明するためのフローチャートである。

図１および図６を参照して、焦点調節制御が開始されると、システム制御部１１２はＡＦ処理部１０５を制御してＡＦ枠を用いてスキャン動作を行う（ステップＳ６０１）。このスキャン動作においては、まず、ＡＦ処理部１０５はフォーカスレンズ１０４をスキャン開始位置（駆動開始位置）に移動する。ここでは、例えば、スキャン開始位置を無限遠の位置、スキャン終了位置（駆動終了位置）をフォーカスレンズが移動可能な最至近位置とする。

ＡＦ処理部１０５はスキャン開始位置からスキャン終了位置に向かってフォーカスレンズ１０４を移動させつつ、複数のフォーカスレンズ位置に対応する各ＡＦ枠の焦点評価値を取得する。

続いて、システム制御部１１２は各ＡＦ枠において焦点評価値が最大となるフォーカスレンズ位置（以下、ピーク位置と呼ぶ）を求める（ステップＳ６０２）。つまり、システム制御部１１２はフォーカスレンズ１０４の位置に応じてＡＦ枠（焦点検出領域）の各々において、撮像素子１０６から順次得られる画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を得る。そして、システム制御部１１２は各ＡＦ枠におけるピーク位置に信頼性があるかについて判定する（ステップＳ６０３）。

ここでは、各ＡＦ枠における焦点評価値と予め設定した閾値とを比較して、その比較結果に応じて被写体のコントラストが十分でかつスキャンした範囲内に被写体が存在すると判定できた場合に、ピーク位置に信頼性があるとする。

次に、システム制御部１１２は信頼性があると判定したＡＦ枠から、合焦位置決定に用いるＡＦ枠を選択する（ステップＳ６０４）。ＡＦ枠の選択に当たっては、システム制御部１１２は、信頼性があると判定した全てのＡＦ枠の中からピーク位置が最も近側に位置するＡＦ枠を選択する。なお、ピーク位置が最も近側に位置するＡＦ枠を選択するとともに、当該ピーク位置から所定の深度内にピーク位置があるＡＦ枠を選択するようにしてもよい。

解像領域を設定してぼかし処理を行わない撮影モードおいて、複数のＡＦ枠を設定した際には、画像領域の中央に被写体が存在する確率が高いので、複数のＡＦ枠の中で中央に位置するＡＦ枠が優先的に選択される。

次に、システム制御部は、選択されたＡＦ枠が存在するか否かについて調べる（ステップＳ６０５）。選択されたＡＦ枠が存在すると（ステップＳ６０５において、ＹＥＳ）、システム制御部１１２は、選択されたＡＦ枠に係るピーク位置に基づいて合焦位置を決定する（ステップＳ６０６）。そして、システム制御部１１２はＡＦ処理部１０５を制御して合焦点位置にフォーカスレンズ１０４を駆動する（ステップＳ６０７）。

ここで、選択ＡＦ枠（選択焦点検出領域）が１つである場合には、選択ＡＦ枠のピーク位置を最終的な合焦位置とする。また、選択ＡＦ枠（選択焦点検出領域）が複数存在する場合には、複数の選択ＡＦ枠のピーク位置の平均位置を最終的な合焦位置とする。

次に、システム制御部１１２は画像表示部１１４に合焦を示す合焦表示を行って（ステップＳ６０８）、焦点調節制御を終了する。

一方、選択されたＡＦ枠が存在しないと（ステップＳ６０５において、ＮＯ）、システム制御部１１２は、ＡＦ処理部１０５を制御して被写体の存在確率が高い所定位置（定点）にフォーカスレンズ１０４を駆動する（ステップＳ６０９）。そして、システム制御部１１２は画像表示部１１４に非合焦を示す非合焦表示を行って（ステップＳ６１０）、焦点調節制御を終了する。

図７は画像合成の効果を説明するための図であり、図７（ａ）は合成画像の一例を示す図、図７（ｂ）は画像とボケ度合いとの関係を示す図である。

図７（ａ）において、解像領域７０１はオリジナル画像を貼り付けた領域であり、ぼかし領域７０２および７０３は縮小および拡大により画像をぼかした領域である。ぼかし領域におけるぼかし量は図３に示すステップＳ３０６で説明した縮小率によって決定される。

図７（ｂ）では、その縦軸が画像の垂直方向に対応し、横軸がぼけ度合いに対応する。そして、図７（ｂ）は図７（ａ）に対応している。図７（ｂ）に示すように、ぼかし領域７０２および７０３においては、符号７０４で示すように、解像領域７０１とぼかし領域７０２および７０３との境界部がなだらかに混合される。

さらに、解像領域７０１とぼかし領域７０２および７０３との境界部を混合する範囲を可変として、境界部を広くすることによって、画像表示部１１４に画像表示した際には、ぼかし範囲の見えに差が少なくなる。

上述のように、上記の実施の形態によれば、解像領域とぼかし領域とを設定した際、解像領域においてユーザ所望の被写体に確実にピントを合わせることができる。

上述の説明から明らかなように、図１において、システム制御部１１２および操作部１１５が解像領域設定手段として機能する。また、システム制御部１１２および画像処理部１０８がぼかし処理手段として機能する。そして、システム制御部１１２は焦点検出領域設定手段として機能し、システム制御部１１２およびＡＦ処理部１０５は制御手段として機能する。

また、図１に示す例においては、フォーカスレンズ１０４、ＡＦ処理部１０５、撮像素子１０６、Ａ／Ｄ変換部１０７、画像処理部１０８、システム制御部１１２、操作部１１５、および撮影モードスイッチ１１６などが合焦装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、上記実施の形態では、所定の移動範囲においてフォーカスレンズを移動させてスキャン動作を行う、所謂、スキャン方式のＡＦ動作について説明した。しかしながら、焦点評価値が増加する方向にフォーカスレンズを動かし、焦点評価値が最大になる位置を合焦位置とする山登り方式（コンティニュアスＡＦともいう）におけるＡＦ枠の設定を上述のように解像領域の大きさに応じて行ってもよい。

また、上記の実施の形態の機能を制御方法として、この制御方法を、合焦装置に実行させるようにすればよい。また、上述の実施の形態の機能を有する制御プログラムを、合焦装置が備えるコンピュータに実行させるようにしてもよい。

この際、制御方法及び制御プログラムは、少なくとも解像領域設定ステップ、ぼかし処理ステップ、焦点検出領域設定ステップ、および制御ステップ有することになる。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０４ フォーカスレンズ
１０５ ＡＦ処理部
１０６ 撮像素子
１０８ 画像処理部
１１２ システム制御部
１１４ 画像表示部
１１５ 操作部
１１６ 撮影モードスイッチ
１１８ 撮影スタンバイスイッチ
１１９ 撮影スイッチ

Claims (15)

1. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置において、
   前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定手段と、
   予め設定された縮小率によって前記画像データをオリジナルデータとして縮小した後、再び拡大して元の画像サイズに戻してボケ画像データとし、当該ボケ画像データを前記オリジナルデータと合成して、前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理手段と、
   前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定手段と、
   前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御手段とを有することを特徴とする合焦装置。
2. 前記焦点検出領域設定手段は、前記解像領域設定手段によって設定された前記解像領域の大きさに応じて、前記焦点検出領域の大きさを設定することを特徴とする請求項１に記載の合焦装置。
3. 前記焦点検出領域設定手段は、前記解像領域設定手段によって設定された前記解像領域の大きさに応じて、前記焦点検出領域の数を決定することを特徴とする請求項１又は２に記載の合焦装置。
4. 前記焦点検出領域にはその大きさについて予め設定可能な最小の大きさが規定されており、
   前記焦点検出領域設定手段は、前記解像領域の大きさが所定の閾値未満であると、前記焦点検出領域の大きさを前記最小の大きさとすることを特徴とする請求項１乃至３のいずれか１項に記載の合焦装置。
5. 前記最小の大きさは、前記焦点検出領域の画素数に応じて決定されることを特徴とする請求項４記載の合焦装置。
6. 前記制御手段は、前記フォーカスレンズを所定の駆動開始位置から駆動終了位置まで移動させつつ、前記フォーカスレンズの位置に応じて前記焦点検出領域の各々において前記画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を得て、当該ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域におけるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に移動させるよう制御し、前記ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域が複数存在する場合は、前記ピーク位置が最も近側に位置する焦点検出領域を選択焦点検出領域として、該選択焦点検出領域におけるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に駆動することを特徴とする請求項１乃至５のいずれか１項に記載の合焦装置。
7. 前記制御手段は、前記フォーカスレンズを所定の駆動開始位置から駆動終了位置まで移動させつつ、前記フォーカスレンズの位置に応じて前記焦点検出領域の各々において前記画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を得て、当該ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域におけるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に移動させるよう制御し、前記ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域が複数存在する場合は、前記ピーク位置が最も近側に位置する焦点検出領域を選択焦点検出領域とするとともに、当該ピーク位置から所定の範囲内にピーク位置がある焦点検出領域も選択焦点検出領域として、これら選択焦点検出領域のピーク位置の平均位置を最終的な合焦位置とすることを特徴とする請求項１乃至請求項５のいずれか１項に記載の合焦装置。
8. 前記ぼかし処理手段によるぼかし処理を行わないで撮影を行う際、前記焦点検出領域設定手段によって解像領域に複数の焦点検出領域が設定されると、前記制御手段は、複数の前記焦点検出領域の中で中心に位置する焦点検出領域における前記画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に移動させることを特徴とする請求項１乃至５のいずれか１項に記載の合焦装置。
9. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置において、
   前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定手段と、
   前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理手段と、
   前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定手段と、
   前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御手段とを有し、
   前記焦点検出領域にはその大きさについて予め設定可能な最小の大きさが規定されており、
   前記焦点検出領域設定手段は、前記解像領域の大きさが所定の閾値未満であると、前記焦点検出領域の大きさを前記最小の大きさとすることを特徴とする合焦装置。
10. 前記最小の大きさは、前記焦点検出領域の画素数に応じて決定されることを特徴とする請求項９記載の合焦装置。
11. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置において、
    前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定手段と、
    前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理手段と、
    前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定手段と、
    前記フォーカスレンズを所定の駆動開始位置から駆動終了位置まで移動させつつ、前記フォーカスレンズの位置に応じて前記焦点検出領域の各々において前記画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を得て、当該ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域におけるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に移動させるよう制御し、前記ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域が複数存在する場合は、前記ピーク位置が最も近側に位置する焦点検出領域を選択焦点検出領域として、該選択焦点検出領域におけるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に駆動する制御手段とを有することを特徴とする合焦装置。
12. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置において、
    前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定手段と、
    前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理手段と、
    前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定手段と、
    前記フォーカスレンズを所定の駆動開始位置から駆動終了位置まで移動させつつ、前記フォーカスレンズの位置に応じて前記焦点検出領域の各々において前記画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を得て、当該ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域におけるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に移動させるよう制御し、前記ピーク位置における高域周波数成分が予め規定された閾値以上である焦点検出領域が複数存在する場合は、前記ピーク位置が最も近側に位置する焦点検出領域を選択焦点検出領域とするとともに、当該ピーク位置から所定の範囲内にピーク位置がある焦点検出領域も選択焦点検出領域として、これら選択焦点検出領域のピーク位置の平均位置を最終的な合焦位置とする制御手段とを有することを特徴とする合焦装置。
13. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置において、
    前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定手段と、
    前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理手段と、
    前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定手段と、
    前記ぼかし処理手段によるぼかし処理を行わないで撮影を行う際、前記焦点検出領域設定手段によって解像領域に複数の焦点検出領域が設定されると、複数の前記焦点検出領域の中で中心に位置する焦点検出領域における前記画像データに含まれる輝度信号の高域周波数成分が最大となるピーク位置を合焦位置として前記フォーカスレンズを合焦位置に移動させる制御手段とを有することを特徴とする合焦装置。
14. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置を制御するための制御方法において、
    前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定ステップと、
    予め設定された縮小率によって前記画像データをオリジナルデータとして縮小した後、再び拡大して元の画像サイズに戻してボケ画像データとし、当該ボケ画像データを前記オリジナルデータと合成して、前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理ステップと、
    前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定ステップと、
    前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御ステップとを有することを特徴とする制御方法。
15. フォーカスレンズをその光軸に沿って移動させて焦点調節を行って、被写体像を撮像素子に結像させる合焦装置を制御するための制御プログラムにおいて、
    前記合焦装置が備えるコンピュータに、
    前記被写体像を含む画像データで規定される画像領域に対してぼかし処理を施すぼかし領域と前記ぼかし処理を施さない解像領域とを設定する解像領域設定ステップと、
    予め設定された縮小率によって前記画像データをオリジナルデータとして縮小した後、再び拡大して元の画像サイズに戻してボケ画像データとし、当該ボケ画像データを前記オリジナルデータと合成して、前記ぼかし領域に対して前記ぼかし処理を行うぼかし処理ステップと、
    前記フォーカスレンズの焦点調節を行う際、前記被写体像を含む画像データで規定される画像領域に、前記解像領域の大きさに応じて複数の焦点検出領域を設定する焦点検出領域設定ステップと、
    前記フォーカスレンズを移動させながら前記焦点検出領域の各々における前記画像データを比較し、この比較結果に基づき前記フォーカスレンズの焦点調節を行う制御ステップとを実行させることを特徴とする制御プログラム。

Images