JP5680861B2 - 自動合焦装置及びその制御方法、並びに撮像装置 - Google Patents

Description

本発明は、自動合焦装置及びその制御方法、並びに撮像装置に関する。

従来、画像処理を用いて撮像画像に特殊効果を適用する技術がある。例えば、特許文献１には、撮像画像に対して、ぼかした撮像画像を合成することにより、ソフトフォーカスのような効果を得る技術が開示されている。

一方、特許文献２には、合焦したい位置とぼかしたい位置を指定し、ぼかしたい位置が被写界深度外となるようにレンズの開口径を制御することで、任意の位置にぼけ効果を付加して撮像する技術が開示されている。

また、画像内でぼかす領域（ぼけ領域）と、ピントが合っており、かつぼかさない領域（以下、解像領域と呼ぶ）を設けると、ジオラマ風（ミニチュア風）の画像を生成することができる。このようなジオラマ風の画像を生成する場合、解像領域における解像度の高さと、ぼけ領域のぼけの大きさの対比が大きいほど、ジオラマ感が高い画像が得られるため、解像領域内の被写体にピントを合わせて撮像することが望ましい。

特開２０００−６９２７７号公報 特開２００３−１２５２８１号公報

特許文献１の技術は、画像内に解像領域を設定するという思想がなく、撮像画像の全体をぼかした画像を合成しているため、ジオラマ風の画像を生成する際の合焦位置に関しては特に考慮されていない。

また、特許文献２では、合焦させたい位置を指定することは開示しているが、画像内に解像領域を設定するという思想がないため、解像領域内で合焦させることに関しては何ら考慮されていない。

本発明はこのような従来技術の課題に鑑みなされたものであり、撮像画像に対してぼかし処理を適用する撮影モードにおいて、簡単な操作により適切な位置で自動焦点検出を行うことのできる自動合焦装置およびその制御方法を提供する。

本発明に係る自動合焦装置は、撮像画像の一部である焦点検出領域に基づいて自動焦点検出を行う自動合焦装置であって、撮像画像にぼかし処理を適用する、予め定められた撮像モードが設定されている場合に、撮像画像中の位置の指定を受け付ける受付手段と、撮像画像にぼかし処理を適用しない領域を設定し、受付手段の受け付けた位置の指定に基づいて撮像画像に焦点検出領域を設定する設定手段と、設定手段によって設定された焦点検出領域に基づいて自動焦点検出を行う焦点検出手段とを有し、設定手段は、ぼかし処理を適用しない領域の中で、かつ受付手段の受け付けた位置の指定に基づいて撮像画像に焦点検出領域を設定することを特徴とする。

このような構成により、本発明によれば、撮像画像に対してぼかし処理を適用する撮影モードにおいて、簡単な操作により適切な位置で自動焦点検出を行うことのできる自動合焦装置およびその制御方法が実現できる。

本発明の実施形態に係る自動合焦装置を用いた撮像装置としての電子カメラの構成例を示すブロック図。 図１における画像処理部の機能構成例を示すブロック図。 本発明の実施形態に係る撮像装置の、ジオラマ風撮影モードにおける動作を説明するためのフローチャート。 本発明の第１の実施形態に係る撮像装置のＡＦ枠設定方法を説明する図。 図２の画像合成部の合成動作を説明する図。 本発明の第２の実施形態に係る撮像装置のＡＦ枠設定方法を説明する図。

以下、図１〜図５を参照しながら本発明の例示的な実施形態を説明する。
図１は本発明の実施形態に係る自動合焦装置を用いた撮像装置としての電子カメラの構成例を示すブロック図である。電子カメラ１００において、撮像レンズ１０１は、例えばズーム機構を有する。絞り及びシャッター１０２は、撮像素子１０６に入射する光量をＡＥ処理部１０３の制御に従って制御する。フォーカスレンズ１０４は、ＡＦ処理部１０５の制御に従って移動し、撮像レンズ１０１の焦点を調節する。撮像素子１０６は、撮像レンズ１０１及びフォーカスレンズ１０４が結像する光学被写体像を画素単位の電気信号に変換して出力する。Ａ／Ｄ変換部１０７は、撮像素子１０６が出力する電気信号のＡ／Ｄ変換を行い、デジタルデータを出力する。Ａ／Ｄ変換部１０７は、電気信号のノイズを除去する二重相関サンプリング（ＣＤＳ）回路やＡ／Ｄ変換前に行う非線形増幅回路を含む。画像処理部１０８は、内部記憶部１２０を用いて、Ａ／Ｄ変換部１０７の出力するデジタルデータや、記録媒体から読み出された画像データなどに対して色補間、ホワイトバランス処理、符号化／復号化処理などの画像処理を行う。

フォーマット変換部１０９は、ＹＵＶ−ＲＧＢ変換など、信号フォーマットの変換を行う。内蔵メモリ（以下、ＤＲＡＭとする）１１０は、ランダムアクセスメモリなど、高速に読み書き可能な内蔵メモリである。内部記憶部１２０とＤＲＡＭ１１０は共通のメモリ空間内の異なる領域であってよい。

画像記録部１１１は、メモリーカードなどの着脱可能な記録媒体（図示せず）を装着可能なリーダライタである。システム制御部１１２は、電子カメラ１００の全体的な制御を行う。システム制御部１１２は例えばマイクロプロセッサであり、内部の不揮発性メモリに記録された制御プログラムを実行して電子カメラ１００の各部を制御することにより、後述する自動合焦動作を含む電子カメラ１００の動作を実現する。画像表示用メモリ（以下ＶＲＡＭと記す）１１３は、画像表示部１１４に表示する画像データ（撮像された画像のほか、メニュー画面や各種補助表示などの画像のデータを含む）を記憶する。

画像表示部１１４は、ＬＣＤなどの表示装置であり、ＶＲＡＭ１１３に記憶された画像データを表示する。操作部１１５は、電子カメラ１００に対してユーザが指示を与えるための入力デバイスである。撮像モードスイッチ１１６は、ジオラマ風撮像モードなど、電子カメラ１００が有する複数の撮像モードの１つを選択するためのスイッチである。なお、ジオラマ風撮像モードとは、上述の通り、撮像画像に対してぼかし処理を適用する画像処理を行う撮像モードである。より具体的には、撮像画像と、この撮像画像にぼかし処理を適用した画像とを合成した合成画像を生成する撮像モードである。メインスイッチ１１７は、電子カメラ１００の電源をオン／オフするためのスイッチである。ＳＷ１ １１８及びＳＷ２ １１９はシャッターボタンの半押し時と全押し時にそれぞれオンするスイッチである。ＳＷ１ １１８がオンすると、システム制御部１１２はＡＦやＡＥ等の撮像スタンバイ動作を開始する。また、ＳＷ１ １１８がオンした後にＳＷ２ １１９がオンすると、システム制御部１１２は本撮像動作を開始する。

操作部１１５には、図示しないが、電子カメラ１００が一般に備えるスイッチやボタンなどが含まれる。例えば、電子カメラ１００の各種設定を行うためのメニュースイッチ、撮像レンズ１０１のズームを指示するためのズームレバー、撮像モード／再生モード切り替えスイッチ、画像表示部１１４上の特定位置を指示するためのタッチパネルなどが含まれる。

図２は、図１における画像処理部１０８の構成例を示す機能ブロック図である。
輝度信号処理部２０１では、輝度信号処理を適用する。色信号処理部２０２では、色信号処理を適用する。輝度信号処理部２０１及び色信号処理部２０２を経た輝度信号データ及び色信号データは、画像縮小部２０３に入力される。画像縮小部２０３は、まず、画像縮小処理前の画像データ（オリジナルデータ）を内部記憶部１２０に一時的に記憶し、記憶したオリジナルデータを変更せずに画像縮小処理を行う。これにより、画像合成部２０５における画像合成時にオリジナルデータが使用できる。画像拡大部２０４では、画像縮小部２０３で縮小した画像を拡大する。後述するように、画像縮小部２０３による縮小処理と、画像拡大部２０４による拡大処理との組み合わせにより、撮像画像に対してぼかし処理を適用する。なお、画像をぼかす方法は縮小と拡大の組み合わせに限定されず、一般的な画像処理ソフトウェアにおいて実現されているような周知の技術を利用することが可能である。

画像合成部２０５では、オリジナルデータと拡大画像を合成する。画像縮小部２０３での縮小処理時及び画像拡大部２０４での拡大処理時においても、必要に応じて内部記憶部１２０に処理画像を一時記憶する。画像圧縮部２０６では、画像合成部２０５で合成された画像を圧縮してフォーマット変換部１０９に入力する。

以下、本実施形態における電子カメラ１００にジオラマ風撮像モードが設定された際の動作について、図３を用いて詳細に説明する。なお、電子カメラ１００は、一般的な電子カメラと同様、撮像モードのスタンバイ状態においては、撮像と撮像画像の表示とを連続的に行うことにより、画像表示部１１４を電子ビューファインダ（ＥＶＦ）として機能させているものとする。

Ｓ３０１で合焦制御手段としてのシステム制御部１１２は、例えば画像表示部１１４にぼけ度合いの入力用ＧＵＩを表示し、ユーザにぼけ度合いの指定を要求する。ぼけ度合いの指定方法（予め定められた強弱の段階を選択する、スライドバーで強弱を指定するなど）は任意である。そして、システム制御部１１２は、操作部１１５からの入力に基づいて、ぼけ度合いが強いほど画像が小さく縮小されるように縮小率を決定する。なお、ぼけ度合いは、ジオラマ風画像の効果が一般的に得られるぼけ度合いとして予め定められた設定に従ってシステム制御部１１２が自動で設定してもよい。この場合、ぼけ度合いの設定を省略し、縮小率を直接決定するようにしてもよい。

Ｓ３０２でシステム制御部１１２は、例えば画像表示部１１４に、ぼかし処理を施さない領域（解像領域）を指定するためのＧＵＩを表示し、ユーザに解像領域の指定を要求する。ここでは、解像領域は画像の複数の水平ラインから構成されるものとする（つまり、解像領域の水平方向の大きさは画像の水平方向の大きさに等しい）。そして、画像の垂直方向における解像領域の位置と幅（高さ）の指定を受け付け可能であるとする。指定方法は任意であるが、例えば受付手段としての操作部１１５にタッチパネルが含まれる場合には、ＥＶＦとして機能している画像表示部１１４上で撮像画像中の所望の一点の指定を受け付けることができる。そして、指定された位置を中心として上下に所定の幅を有する領域を初期設定し、さらに、方向キー等による幅の指定を受け付けてもよい。あるいは、方向キーによる垂直方向の中心座標の指定を受け付け、さらに幅の大きさの指定を受け付ける手順であってもよい。幅については予め定められた値とし、Ｓ３０２では単に垂直方向の中心位置の指定のみを受け付けるようにしてもよい。

解像領域の位置と幅が決定されると、システム制御部１１２は、Ｓ３０３でＡＦ枠を設定する。ここで、システム制御部１１２は、指定された解像領域内の被写体に対して焦点検出が行われるようにＡＦ枠を設定する。

Ｓ３０３におけるＡＦ枠設定の詳細について図４を用いてさらに説明する。
Ｓ３０２において解像領域の位置（例えば画像の上端からの解像領域の垂直方向の中心までの距離ｙ）及び幅（高さ）ｈが決定されると、システム制御部１１２は画像４０１内に解像領域４０２を設定する。

Ｓ３０３では、設定された解像領域４０２の垂直方向及び水平方向の中心位置Ｏと、ＡＦ枠４０３の中心位置が一致するようにＡＦ枠を設定する。なお、ＡＦ枠４０３の中心位置は、少なくとも解像領域４０２の垂直方向の中心位置と一致するようにしてもよい。基本的には、解像領域４０２内の被写体に合焦するように自動焦点検出が行われさえすれば、ＡＦ枠４０３の全体が解像領域４０２に含まれる必要はないし、両者の中心位置がずれていてもよい。ここで、ＡＦ枠４０３のサイズ、特に垂直方向のサイズは、所定のサイズ（例えば解像領域の垂直方向の幅の初期値）に固定してもよいし、解像領域４０２の垂直方向の幅以下となるように設定してもよい。これにより、解像領域を設定すると同時に、解像領域内にＡＦ枠が設定され、解像領域がどの位置に設定されても、解像領域内の被写体に合焦させることが可能になる。

Ｓ３０４でＡＥ処理部１０３は、画像処理部１０８（の輝度信号処理部２０１及び色信号処理部２０２）が出力する画像からＡＥ処理を行う。ここで、ＡＥ処理においては、画面全体の出力に基づいて露出を決定してもよいし、Ｓ３０３で設定したＡＦ枠内の画像のみに基づいて露出を決定するなど、ＡＦ枠位置に基づいて露出を決定してもよい。

Ｓ３０５で画像縮小部２０３は、入力した画像データ（オリジナルデータ）を内部記憶部１２０に一時記憶する。Ｓ３０６で画像縮小部２０３は、Ｓ３０１で決定された縮小率に従って画像データを間引くなどして画像を縮小し、縮小画像データを画像拡大部２０４へ出力する。Ｓ３０７で画像拡大部２０４は、縮小画像データを補間するなどにより画像を拡大し、元の画像サイズに戻すことにより、オリジナルデータよりぼけた画像を生成し、画像合成部２０５へ出力する。

Ｓ３０８で画像合成部は、内部記憶部１２０に記憶されたオリジナルデータのうち、解像領域としてＳ３０２で指定された領域を含む領域をトリミングする。トリミングする領域の大きさ、ぼけた画像と混合する領域の大きさによって決定することができる。Ｓ３０９で画像合成部２０５は、Ｓ３０７で画像拡大部２０４が生成したぼけ画像にＳ３０８でトリミングした解像領域の画像を合成することにより、解像領域の上下がぼけて中心部に解像感が残った画像を生成できる。尚、トリミングした解像領域のオリジナルデータを合成する際に、ぼけた画像とオリジナル画像をなだらかに混合することにより貼付境界部を目立たなくさせる。

システム制御部１１２は、このようにして生成した画像を、フォーマット変換部１０９、ＤＲＡＭ１１０、ＶＲＡＭ１１３を通じて画像表示部１１４に順次表示する。これにより、ユーザは、指定したぼけの度合いや解像領域の位置、幅が意図した効果を得ているかどうかを画像表示部１１４上で確認することができる。

Ｓ３１０でシステム制御部１１２は、ＳＷ１ １１８の状態を調べ、オンであればステップＳ３１１で撮像準備動作を開始する。この際、焦点検出手段としてのシステム制御部１１２は、ＡＦ動作を、Ｓ３０３で設定したＡＦ枠において行う。ＡＦ枠に対する焦点検出動作は、周知の任意の方法を採用することができるため、詳細についての説明は省略する。例えば、ＡＦ処理部１０５を通じてフォーカスレンズ１０４の位置を変えながら、画像処理部１０８が出力する画像のＡＦ枠に対応する領域のコントラスト評価値が最大となるフォーカスレンズ１０４の位置をシステム制御部１１２が探索する。あるいは、位相差検出方式や、外測センサを用いる方法などを用いてもよい。

以後、システム制御部１１２は、従前と同様に本撮像指示（ＳＷ２ １１９のオン）を待機し、ＳＷ２ １１９がオンすると本撮像処理を行う。本撮像処理においては、画像データの解像度が異なること、最終的に画像データを画像記録部１１１を通じて記録することを除き、Ｓ３０５〜Ｓ３０９で説明した通りの動作を実行する。
なお、Ｓ３１０においてＳＷ１ １１８がオフであれば、Ｓ３０４からの処理を繰り返し実行する。

図５は合成画像のぼけ度合いを模式的に示した図である。
図５（ａ）は、合成画像のぼけ度合いの変化を模式的に示している。領域５０１はオリジナル画像の混合比が１００％の領域（解像領域）である。領域５０２ａ、５０３ａは、縮小、拡大によりぼかした画像とオリジナル画像が混合され、混合比が変化する領域である。また、領域５０２ｂ、５０３ｂはぼかした画像の混合比が１００％の領域（ぼけ領域）である。

図５（ｂ）は縦軸に画像の垂直方向、横軸にぼけ度合いをとったグラフであり、図（ａ）に対応している。このように、５０３では５０４のように解像領域からぼけ領域に至る境界部では、オリジナル画像とぼけ画像との混合比を滑らかに変化させて合成する。
さらに、解像領域とぼけ領域の境界部を混合する領域（５０２ａ，５０３ａ）を可変とし、広くすることにより画像表示部上でのぼかし範囲の見えの差が少なくなる。
なお、指定されたぼけ度合いの画像に加え、より小さいぼけ度合いの画像を生成し、合成に用いてもよい。

以上説明したように、本実施形態の自動合焦装置は、ジオラマ風撮像モードが設定された場合、ぼかさない領域として設定された解像領域に対して自動焦点検出領域を自動的に設定する。そのため、ぼかさない領域として指定された解像領域における被写体に合焦した画像を元にジオラマ風画像を生成できるため、解像領域とぼけ領域とのぼけ度合いの差が明確になり、効果の高い画像を容易に得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第１の実施形態において、ユーザは解像領域の位置と幅を指定可能であったが、ＡＦ枠の位置は指定できなかった。これに対し、本実施形態では、ユーザがＡＦ枠の位置も指定可能であることを特徴とする。

具体的には、撮像画像中の一点が指定されると、システム制御部１１２が、指定された点を垂直方向の幅の中心とする解像領域を設定すると共に、指定された点を中心とするＡＦ枠を設定する。

撮像画像中の一点を指定する方法に特に制限はないが、例えば操作部１１５に画像表示部１１４上に設けられたタッチパネルが含まれる場合には、タッチパネルを介して画像表示部１１４上の一点を指定することで、撮像画像中の一点を指定することができる。あるいは、方向キーでカーソルを移動して、所望の位置で実行ボタンを押下するといった方法であってもよい。

すなわち、図３のＳ３０２において、図６に示す画像表示部１１４の表示画面６０１の点６０２が指定されたとすると、システム制御部１１２は、点６０２を垂直方向の幅の中心として、所定幅（もしくはユーザが指定した幅）の解像領域６０３を設定する。そして、システム制御部１１２は、点６０２を中心とするＡＦ枠６０４を設定する。
これにより、ユーザは、操作部１１５から撮像画像中でピントを合わせたい点を指定することで、解像領域の指定とＡＦ枠の指定とを同時に行うことが可能になる。

なお、上述の実施形態では、まず解像領域が設定され、それに基づいてＡＦ枠が設定される場合について説明したが、設定の順番は逆転してもよい。つまり、解像領域とＡＦ枠の一方が設定されて、それに基づいて解像領域とＡＦ枠の他方が設定されるようにしてもよい。また、解像領域の設定とＡＦ枠の設定は同時でもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 撮像画像の一部である焦点検出領域に基づいて自動焦点検出を行う自動合焦装置であって、
   撮像画像にぼかし処理を適用する、予め定められた撮像モードが設定されている場合に、撮像画像中の位置の指定を受け付ける受付手段と、
   撮像画像に前記ぼかし処理を適用しない領域を設定し、前記受付手段の受け付けた位置の指定に基づいて該撮像画像に前記焦点検出領域を設定する設定手段と、
   前記設定手段によって設定された前記焦点検出領域に基づいて自動焦点検出を行う焦点検出手段とを有し、
   前記設定手段は、前記ぼかし処理を適用しない領域の中で、かつ前記受付手段の受け付けた位置の指定に基づいて前記撮像画像に前記焦点検出領域を設定することを特徴とする自動合焦装置。
2. 前記予め定められた撮像モードが、前記撮像画像と、当該撮像画像にぼかし処理を適用した画像とを合成することにより合成画像を生成する撮像モードであることを特徴とする請求項１記載の自動合焦装置。
3. 前記受付手段が、前記撮像画像中の一点の指定を受け付け、前記設定手段は、前記指定された一点を少なくとも垂直方向における中心として、前記ぼかし処理を適用しない領域を設定し、次いで、前記ぼかし処理を適用しない領域の中に前記焦点検出領域を設定することを特徴とする請求項１または請求項２に記載の自動合焦装置。
4. 前記受付手段が、前記撮像画像中の一点の指定を受け付け、前記設定手段は、前記指定された一点を少なくとも垂直方向における中心として前記ぼかし処理を適用しない領域を設定し、前記ぼかし処理を適用しない領域の中に、前記指定された一点を垂直方向及び水平方向における中心とした前記焦点検出領域を設定することを特徴とする請求項１または請求項２に記載の自動合焦装置。
5. 前記設定手段が、前記ぼかし処理を適用しない領域の水平方向及び垂直方向の中心位置と、前記焦点検出領域の水平方向及び垂直方向における中心位置とが一致するように前記ぼかし処理を適用しない領域及び前記焦点検出領域を設定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の自動合焦装置。
6. 順次取得される前記撮像画像を順次表示する表示手段をさらに有し、
   前記受付手段は、前記表示手段に表示される撮像画像に基づいて前記指定を受け付けることを特徴とする請求項１乃至請求項５のいずれか１項に記載の自動合焦装置。
7. 順次取得される前記撮像画像に基づいて露出制御を行う露出制御手段をさらに有することを特徴とする請求項６に記載の自動合焦装置。
8. 前記露出制御手段は、前記焦点検出領域に対応する領域の画像に基づいて露出を決定することを特徴とする請求項７に記載の自動合焦装置。
9. 撮像レンズを有し、
   請求項１乃至請求項８のいずれか１項に記載の自動合焦装置を用いて前記撮像レンズの自動焦点検出を行うことを特徴とする撮像装置。
10. 本撮像の指示を行う指示手段をさらに有し、
    前記撮像装置は、前記本撮像の指示が前記指示手段で行われた後、前記自動合焦装置を用いて自動焦点検出した結果に基づいて前記撮像レンズの焦点調節を行って撮像された撮像画像に対してぼかし処理を適用した画像を記録媒体に記録し、
    前記ぼかし処理は、前記設定手段によって設定された前記ぼかし処理を適用しない領域には適用されないことを特徴とする請求項９に記載の撮像装置。
11. 撮像画像の一部である焦点検出領域に基づいて自動焦点検出を行う自動合焦装置の制御方法であって、
    撮像画像にぼかし処理を適用する、予め定められた撮像モードが設定されている場合に、ユーザによる撮像画像中の位置の指定を受け付ける受付工程と、
    設定手段が、撮像画像に前記ぼかし処理を適用しない領域を設定し、前記受付手段の受け付けた位置の指定に基づいて該撮像画像に前記焦点検出領域を設定する設定工程と、
    焦点検出手段が、前記設定手段によって設定された前記焦点検出領域において自動焦点検出を行う焦点検出工程とを有し、
    前記設定手段は、前記設定工程において、前記ぼかし処理を適用しない領域の中で、かつ前記受付手段の受け付けた位置の指定に基づいて前記撮像画像に前記焦点検出領域を設定することを特徴とする自動合焦装置の制御方法。

Images