JP6045280B2

JP6045280B2 - 撮像装置

Info

Publication number: JP6045280B2
Application number: JP2012224055A
Authority: JP
Inventors: 眞悟加藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-10-09
Filing date: 2012-10-09
Publication date: 2016-12-14
Anticipated expiration: 2032-10-09
Also published as: JP2014077830A

Description

本発明は、撮像装置等に関する。

代表的なオートフォーカス（AF: Auto-Focus）手法としてコントラストＡＦ（例えば山登り法によるピント調整）と位相差ＡＦが知られている。位相差ＡＦはコントラストＡＦよりもスムーズで高速なＡＦ動作が期待できるため、常にピントを合わせ続ける必要がある場合には、位相差ＡＦが最適である。例えば、立体（３Ｄ）映像やステレオ映像は、視差を利用した対象物の奥行きに関する映像情報を有しているため、映像を見ながら物品を移動させる等の遠隔操作に好適であり、距離感覚を持ちつつ操作することができる。このような操作を行う際には、ＡＦにより常にピントが合い続けていることが重要である。

位相差ＡＦの手法として、例えば特許文献１には、撮像素子の撮像用画素の中に位相差検出用画素を６行毎に設け、その位相差検出用画素により得られた信号に基づいて位相差を検出する手法が開示されている。

特開２０１２−１２４７６６号公報

さて、位相差ＡＦでは、位相差を適切に検出できないと被写体にフォーカスが合わない可能性があるため、高信頼度の位相差検出を行う必要があるという課題がある。

例えば、位相差検出は相関演算により行うが、その相関演算では画像の平坦部等で正しく位相差を算出できない場合がある。これを解決する手法として、例えば特許文献１のように複数の位相差検出ポイントを設け、各ポイントで検出された位相差の中から信頼度の高い位相差を選択する手法が考えられる。しかしながら、この手法では、位相差検出ポイントが離散的に設けられているため、例えばエッジ部のような位相差検出に適した部分がポイント上に結像するとは限らず、正しく位相差を算出できない可能性がある。

本発明の幾つかの態様によれば、高信頼度の位相差検出が可能な撮像装置及びフォーカス制御方法等を提供できる。

本発明の一態様は、第１画像と、前記第１画像に対して視差を有する第２画像と、を視差画像として取得する撮像部と、前記視差画像のうち少なくとも一方の画像からコントラスト値を算出するコントラスト値算出部と、前記視差画像のうち少なくとも一方の画像に対し複数の領域を設定し、複数の前記領域ごとの前記コントラスト値に基づいて、複数の前記領域ごとの位相差を検出する検出位置を決定する検出位置決定部と、複数の前記検出位置ごとの複数の前記位相差を検出する位相差検出部と、前記位相差に基づいて前記撮像部のフォーカス制御を行うフォーカス制御部と、複数の前記位相差の中から前記フォーカス制御に用いる位相差を選択する位相差選択部と、を備え、前記検出位置決定部は、複数の前記領域としてａ個の領域を設定し、前記ａ個の領域の各領域における前記コントラスト値の分散を算出し、前記ａ個の領域のうち前記分散が小さい方からｂ個の領域（ｂ＜ａ）を選択し、前記位相差検出部は、前記ｂ個の領域での前記検出位置に対応するｂ個の位相差を相関演算により算出し、前記相関演算の信頼度情報を前記ｂ個の位相差の各位相差について求め、前記位相差選択部は、前記ｂ個の位相差のうち、前記信頼度情報が表す信頼度が最も高い位相差を前記フォーカス制御用の位相差として選択する撮像装置に関係する。

第１実施形態における撮像装置の構成例。第１実施形態における撮像装置が行うＡＦ制御処理のフローチャート。第２実施形態におけるコントラストマップ生成部の動作説明図。第２実施形態におけるコントラストマップ生成部の動作説明図。第２実施形態における検出位置決定部の動作説明図。第２実施形態における検出位置決定部の動作説明図。第２実施形態における位相差検出部の詳細な構成例。第２実施形態における位相差検出部の動作説明図。第２実施形態における位相差検出部の動作説明図。第２実施形態における撮像装置が行うＡＦ制御処理のフローチャート。第３実施形態における撮像装置の構成例。第３実施形態におけるコントラストマップ生成部の動作説明図。第３実施形態における表示制御部の動作説明図。第３実施形態における撮像装置が行うＡＦ制御処理のフローチャート。第４実施形態における撮像装置の第１構成例。第４実施形態における撮像装置の第２構成例。第４実施形態における撮像部の詳細な構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．第１実施形態
位相差ＡＦ（AF: Auto-Focus）では、例えばＳＡＤ（Sum of Absolute Difference）演算等の相関演算により位相差を検出する。このような相関演算では、エッジ成分を含んだ部分では精度良く位相差が算出できるが、エッジ成分のないグラデーション部分や、スポンジのような空孔が密集している凹凸が連続する部分では、正しく位相差が算出できない場合がある。正しく位相差を算出できないと被写体にフォーカスが合わないため、位相差ＡＦでは高信頼度の位相差検出を必要とするという課題がある。

このような課題を解決する手法として、位相差演算でのシフト値とそのシフト値におけるＳＡＤ値により表されるＳＡＤカーブの形状（信頼度）に基づいて、算出された位相差情報を使用してよいかを判断する手法がある。また、画像に位相差検出ポイントを多数設け、その各ポイントについて位相差を算出し、その多数の位相差の中から高い信頼度を有する位相差情報を選択する手法がある（例えば特許文献１）。この手法では、１回の撮像でより正確な位相差情報を得ることが可能である。

しかしながら、この手法では、複数の位相差検出ポイントを設けていても、あくまでもその配置は離散的であるため、位相差算出に適した画像部分が位相差検出ポイント上に結像するとは限らない。位相差算出に適した画像部分を位相差検出ポイント上に結像させるために、ポイントの個数を増やす手法が考えられるが、ポイントの個数を増やすと位相差算出回路のコストと算出時間が増えるという課題がある。

また、特許文献１のように撮像素子の撮像用画素の中に位相差検出用画素を設け、その位相差検出用画素を位相差検出ポイントとする手法では、位相差検出画素が画素欠陥となるという課題がある。即ち、撮像素子上には撮像用画素と位相差検出用画素が混在しているので、位相差検出画素を周囲の撮影画素から補間したデータに置き換える必要がある。そのため、通常の撮像素子よりも解像度的に不利であるという課題がある。また、撮像用画素と位相差検出用画素の混在する専用の撮像素子を使用しなければならない。

以上のような課題を解決できる本実施形態について、以下に説明する。まず第１実施形態について説明する。

図１に第１実施形態における撮像装置の構成例を示す。この撮像装置は、撮像部１０、コントラスト値算出部２０、検出位置決定部３０、位相差検出部４０、ＡＦ制御部５０、レンズ駆動部６０を含む。

図２のフローチャートを用いて、この撮像装置が行う処理について説明する。図２に示すように、まず撮像部１０が、視差を有する第１画像及び第２画像を視差画像として取得する（ステップＳ１）。なお以下では、撮像部１０が有する撮像素子の水平走査方向に視差がある場合を例にとり、第１画像を左画像とし、第２画像を右画像として説明する。

次に、コントラスト値算出部２０が、左画像及び右画像の少なくとも一方の画像からコントラスト値を算出する（ステップＳ２）。なお以下では右画像からコントラスト値を算出する場合を例にとり説明する。例えば、コントラスト値算出部２０は、右画像を複数のサブブロックに分割し、各サブブロックでのコントラスト値（例えばサブブロック内でのコントラスト平均値）を算出し、そのコントラスト値をコントラストマップとして不図示のメモリに記憶する。なお本実施形態ではこれに限定されず、例えば各画素位置でのコントラスト値を算出してもよい。また、必ずしもコントラスト値をコントラストマップとして保存する必要はなく、位相差の検出位置を決定するための統計値（例えば水平走査方向での最大値等）を求め、その統計値が求まったら順次コントラスト値をメモリから消去してもよい。

次に、検出位置決定部３０が、コントラスト値に基づいて位相差の検出位置を決定する（ステップＳ３）。具体的には、コントラスト値が高い方が相関演算による位相差検出の精度が高いと考えられるため、右画像の中で相対的にコントラスト値が高いと判断される位置を位相差の検出位置に決定する。例えば後述のように、右画像の中でコントラスト値が最大の位置や、コントラスト値の重心位置等を、位相差の検出位置に決定する。

次に、位相差検出部４０が、決定された検出位置での右画像と左画像の位相差を検出する（ステップＳ４）。具体的には、検出位置の決定に用いた右画像を参照画像とし、左画像を探索画像として相関演算を行い、検出位置での位相差を検出する。相関演算では、例えば右画像から検出位置近傍の画像を取り出し、その画像を左画像上で検出位置を基準にシフトさせて各シフト量での相関値（例えばＳＡＤ値）を求め、相関値がピーク値（例えばＳＡＤ値の場合には最小値）となるシフト量を相関値として検出する。

次に、ＡＦ制御部５０が、検出された位相差に基づいてレンズ駆動部６０を制御し、撮像部１０のフォーカスを調整する（ステップＳ５）。例えば、ＡＦ制御部５０は、被写体にフォーカスが合うレンズ駆動量を位相差に基づいて算出し、そのレンズ駆動量で撮像部１０のフォーカスレンズを駆動し、被写体にフォーカスを合わせる。或は、ＡＦ制御部５０は、位相差のシフト方向に応じて、撮像部１０のフォーカスレンズを被写体にフォーカスが合う方向に所定のレンズ駆動量だけ移動させ、複数回の位相差ＡＦで被写体にフォーカスが合うようにしてもよい。

以上の実施形態によれば、図１に示すように撮像装置は撮像部１０とコントラスト値算出部２０と検出位置決定部３０と位相差検出部４０とＡＦ制御部５０（フォーカス制御部）とを備える。図２で説明したように、撮像部１０は、右画像（第１画像）と右画像に対して視差を有する左画像（第２画像）とを視差画像として取得する。コントラスト値算出部２０は、その視差画像のうち少なくとも一方の画像（本実施形態の例では右画像）からコントラスト値ＣＴＶを算出する。検出位置決定部３０は、そのコントラスト値ＣＴＶに基づいて、右画像と左画像との位相差を検出する検出位置を決定する。位相差検出部４０は、その検出位置における右画像と左画像の位相差を検出する。ＡＦ制御部５０は、その位相差に基づいて撮像部１０のフォーカス制御を行う。

さて、従来のように離散的な複数の位置を位相差の検出位置にした場合には、その離散的な位置に位相差検出に適した被写体領域が結像しない可能性があるという課題や、その複数の位置について相関演算を行うため処理負荷が大きいという課題がある。また、特許文献１のように撮像素子に位相差検出用画素を設ける手法では、位相差検出画素が画素欠陥となるという課題がある。

この点、本実施形態では、コントラスト値ＣＴＶに基づいて位相差の検出位置を決定するため、画像内において位相差検出に適した任意の位置を位相差の検出位置として決定することができる。これにより、離散的でなく任意の画素位置で位相差を検出することができるため、位相差の検出信頼度が向上し、安定した高精度の位相差ＡＦを実現できる。また、決定した検出位置でのみ相関演算を行うため、位相差検出回路のコストや演算時間を最小限に抑制できる。また、位相差検出画素を設ける必要がないため、画素補間を行う必要がなくなり、高精細な画像を撮像することができる。また、位相差検出画素を設けた特殊な撮像素子を用意する必要がなく、例えば一般的なＲＧＢ撮像素子等を用いることができる。

また本実施形態では、コントラスト値算出部２０は、視差画像のうち少なくとも一方の画像（本実施形態の例では右画像）にＡＦ対象領域を設定し、そのＡＦ対象領域におけるコントラスト値ＣＴＶを算出する。検出位置決定部３０は、ＡＦ対象領域において相対的に高コントラスト値である位置を検出し、その相対的に高コントラスト値である位置を位相差の検出位置として決定する。例えば、相対的に高コントラスト値である位置は、ＡＦ対象領域内でのコントラスト値の最大値に対応する位置や、ＡＦ対象領域内でのコントラスト値の重心位置である。

このようにすれば、例えばエッジ成分のないグラデーション部分などの低コントラスト領域ではなく、位相差検出に適していると考えられる高コントラスト領域に位相差の検出位置を設定することができる。これにより、高信頼度の位相差ＡＦを実現することが可能になる。

２．第２実施形態
次に、第２実施形態について説明する。なお、第１実施形態と同様の構成要素や動作・処理については適宜、説明を省略する。例えば、第２実施形態の撮像装置は図１の撮像装置と同様に構成できる。なお以下では視差方向が水平走査方向であり、右画像からコントラスト値を算出する場合を例に説明するが、視差方向は水平走査方向以外の方向であってもよいし、左画像からコントラスト値を算出してもよい。

図３に示すように、コントラスト値算出部２０は、右画像に対してＡＦ対象領域を設定し、そのＡＦ対象領域をＭ×Ｎ個のサブブロックに分割する。各サブブロックは、ｎ×ｍ個の画素で構成される。図３には、水平走査方向であるｘ方向にＭ＝１０個、垂直走査方向であるｙ方向にＮ＝６個のサブブロックに分割した例を示す。ここでＡＦ対象領域は、例えば右画像内の所定領域であってもよいし、或は右画像全体であってもよい。

コントラスト値算出部２０は、各サブブロックについて下式（１）によりコントラスト値ＣＴＶを算出する。ここで、ｉはサブブロック内におけるｘ方向の画素位置を表し、ｊはサブブロック内におけるｙ方向の画素位置を表す。Ｄ_ｉｊは、位置（ｉ，ｊ）の画素での輝度値であり、下式（２）により求める。Ｒ_ｉｊ、Ｇ_ｉｊ、Ｂ_ｉｊは、それぞれ赤色、緑色、青色の画素値である。

なおコントラスト値の算出手法は上記手法に限定されず、種々の手法を用いることが可能である。例えば、画像の高周波成分を抽出する種々のフィルタ処理（例えば１次元又は２次元のハイパスフィルタ処理やバンドパスフィルタ処理）によりコントラスト値を算出してもよいし、微分画像を求めることによりコントラスト値を算出してもよい。

図４に示すように、コントラスト値算出部２０は、各サブブロックのコントラスト値ＣＴＶによりコントラストマップを生成する。コントラストマップは、サブブロックの位置（例えばサブブロックの中心のｘｙ座標）とコントラスト値ＣＴＶを対応付けたデータを不図示のメモリに記憶したものである。なお図４では、コントラスト値ＣＴＶが高いサブブロックほど濃いハッチングで表している。

図５に示すように、検出位置決定部３０は、コントラストマップにおいてｘ方向に並ぶコントラスト値の中からｘ方向最大値Ｄｘｍａｘを検出する。図５の例では、ｘ方向に１０個のコントラスト値が並んでおり、ｙ方向の各位置についてｘ方向最大値Ｄｘｍａｘを求めることにより、６個のＤｘｍａｘが求められる。また検出位置決定部３０は、コントラストマップにおいてｙ方向に並ぶコントラスト値の中からｙ方向最大値Ｄｙｍａｘを検出する。図５の例では、ｙ方向に６個のコントラスト値が並んでおり、ｘ方向の各位置についてｙ方向最大値Ｄｙｍａｘを求めることにより、１０個のＤｙｍａｘが求められる。

検出位置決定部３０は、Ｄｘｍａｘの中から最大値を検出し、その最大値に対応するｙ方向の位置（例えば最大値に対応するサブブロックの中心位置）を求める。また、Ｄｙｍａｘの中から最大値を検出し、その最大値に対応するｘ方向の位置（例えば最大値に対応するサブブロックの中心位置）を求める。そして、検出位置決定部３０は、求めたｘ方向及びｙ方向の位置を、位相差の検出位置として出力する。

なお、上記ではコントラスト値が最大である位置を検出位置として採用する場合について説明したが、本実施形態ではこれに限定されない。例えば、コントラスト値の重心位置を検出位置として採用してもよい。

具体的には、図６に示すように、検出位置決定部３０は下式（３）によりｘ方向の重心位置ＧＰｘを求め、下式（４）によりｙ方向の重心位置ＧＰｙを求め、位置（ＧＰｘ，ＧＰｙ）を位相差の検出位置として出力する。ここで、ｋは、ｘ方向にＭ個並ぶサブブロックのナンバリングを表し、ｌはｙ方向にＮ個並ぶサブブロックのナンバリングを表す。Ｄｙａｄｄ_ｋは、ｘ方向にｋ番目でｙ方向にＮ個並ぶサブブロックのコントラスト値を加算した値であり、Ｄｘａｄｄ_ｌは、ｙ方向にｌ番目でｘ方向にＭ個並ぶサブブロックのコントラスト値を加算した値である。ｘ_ｋは、ｘ方向にｋ番目のサブブロックの位置（例えばサブブロックの中心位置）であり、ｙ_ｌは、ｙ方向にｌ番目のサブブロックの位置（例えばサブブロックの中心位置）である。

このようにコントラスト値の重心位置を位相差の検出位置とすることで、画像のノイズに対して強くなり、安定した位相差ＡＦを実現することが可能となる。即ち、例えば平坦部等の実際には被写体のコントラストが低い部分でノイズにより画像のコントラスト値が局所的に高くなった場合であっても、コントラスト値の重心位置を求めることにより被写体の高コントラストな部分を位相差の検出位置として検出できる。

図７に、位相差検出部４０の詳細な構成例を示す。この位相差検出部４０は、読み出し位置シフト指示部２００、画像取得部２１０（映像信号取得部）、ＳＡＤ演算部２２０、最小値検出部２３０、シフト量保持部２４０、信頼度検出部２５０を含む。

画像取得部２１０は、図８に示すように、ＳＡＤ演算に用いる探索画像を左画像から取得し、ＳＡＤ演算に用いる参照画像を右画像から取得する。探索画像は、検出位置決定部３０で決定された検出位置（ｘｄ，ｙｄ）を中心として水平走査方向（視差方向）に連続する１２８画素である。参照画像は、検出位置（ｘｄ，ｙｄ）を中心として水平走査方向（視差方向）に連続する６４画素である。

ＳＡＤ演算部２２０は、参照画像と探索画像から下式（５）によりＳＡＤ値を求める。ここで、ｓは、探索画像に対する参照画像のシフト量であり、探索画像の中心と参照画像の中心が一致する場合を基準（ｓ＝０）とする。ＳＡＤ（ｓ）は、シフト量ｓにおけるＳＡＤ値である。ｘ’は、参照画像内での画素位置を表し、ＳＰ_ｘ’は、参照画像の画素位置ｘ’での画素値を表す。ｘ’＋ｓは、探索画像内での画素位置を表し、参照画像と探索画像をシフト量ｓだけずらして重ねたときの、画素位置ｘ’に対応する画素位置である。ＴＰ_ｘ’＋ｓは、探索画像の画素位置ｘ’＋ｓでの画素値を表す。

図９に示すように、読み出し位置シフト指示部２００は、シフト量ｓを１ずつ変化させながら出力し、ＳＡＤ演算部２２０は、そのシフト量ｓでのＳＡＤ値ＳＡＤ（ｓ）を求める。最小値検出部２３０は、ＳＡＤ（ｓ）の最小値を検出し、シフト量保持部２４０は、検出された最小値のシフト量ｓ’を保持し、そのシフト量ｓ’を位相差として出力する。

信頼度検出部２５０は、ＳＡＤ値カーブの谷の形状（鋭角さ）を数値化し、その数値を信頼度情報として出力する。例えば、信頼度検出部２５０は、ＳＡＤ値の最小値ＳＡＤ（ｓ’）に対して差が２以上であるＳＡＤ値のＳＡＤ（ｓ）を検出し、その検出したＳＡＤ（ｓ）のシフト量ｓとシフト量ｓ’との差ｐｘｎ（ピクセル数）を信頼度として出力する。この場合、ピクセル数ｐｘｎが小さいほどＳＡＤ値カーブの谷の落ち方が鋭角であり、位相差ｓ’の信頼度が高い。

ＡＦ制御部５０は、映像の各フレームで検出される位相差ｓ’に基づいて、各フレームで撮像部１０のレンズ位置を位相差ｓ’をゼロにする方向に少しずつ移動させる。具体的には、ＡＦ制御部５０は、現在フレームでの位相差ｓ’の符号がプラスの場合（例えばフォーカスの合っている位置が被写体よりも遠い場合）には、位相差ｓ’を小さくする方向（フォーカスの合っている位置を近づける方向）にレンズ位置を所定量だけ移動させる。一方、現在フレームでの位相差ｓ’の符号がマイナスの場合（例えばフォーカスの合っている位置が被写体よりも近い場合）には、位相差ｓ’を大きくする方向（フォーカスの合っている位置を遠ざける方向）にレンズ位置を所定量だけ移動させる。そして、複数フレームをかけて、位相差ｓ’がゼロとなるようにレンズ位置を制御する。この動作において、ＡＦ制御部５０は、信頼度情報が表す信頼度が所定信頼度より低い（例えばピクセル数ｐｘｎが所定値より大きい）場合には、そのフレームでのレンズ位置移動を行わない。

このようにすれば、位相差ＡＦの誤動作を抑制し、突然ピントがずれるような不自然な映像を表示させないようにできる。即ち、１回のレンズ移動で位相差ｓ’をゼロにするようなＡＦ制御を行った場合、位相差ｓ’が誤検出されると、被写体にピントが合わないレンズ位置に間違って移動させる可能性がある。この点、本実施形態によれば、所定値ずつ複数フレームをかけてレンズを移動させるため、仮に位相差ｓ’の誤検出があった場合であっても、少ししかレンズが移動せず、誤検出の影響を最小限にとどめることが可能である。

図１０に、第２実施形態の撮像装置が行うＡＦ制御処理のフローチャートを示す。図１０に示すように、まず撮像部１０が、視差画像（右画像、左画像）のＲＧＢ画素値データを取得する（ステップＳ２０）。

次に、コントラスト値算出部２０が、視差画像のＲＧＢ画素値データを輝度値データに変換する（ステップＳ２１）。次に、コントラスト値算出部２０が、視差画像の少なくとも一方（例えば右画像）の輝度値データから各サブブロックのコントラスト値を算出する（ステップＳ２２）。

次に、検出位置決定部３０が、コントラスト値のｙ方向最大値Ｄｙｍａｘを算出し、そのＤｙｍａｘのうちの最大値を、ｘ方向での最大値として検出し、そのｘ方向での最大値に対応するサブブロックのｘ位置を位相差の検出位置のｘ位置として出力する（ステップＳ２３）。次に、検出位置決定部３０が、コントラスト値のｘ方向最大値Ｄｘｍａｘを算出し、そのＤｘｍａｘのうちの最大値を、ｙ方向での最大値として検出し、そのｙ方向での最大値に対応するサブブロックのｙ位置を位相差の検出位置のｙ位置として出力する（ステップＳ２４）。

次に、位相差検出部４０が、位相差の検出位置に基づいて左画像から探索画像（検出位置を中心とする１２８画素）を取得する（ステップＳ２５）。次に、位相差検出部４０が、位相差の検出位置に基づいて右画像から参照画像（検出位置を中心とする６４画素）を取得する（ステップＳ２６）。次に、位相差検出部４０が、探索画像の読み出し開始位置（シフト量ｓ）をシフトしながら、ＳＡＤ値ＳＡＤ（ｓ）を算出し、ＳＡＤ（ｓ）が最小となるシフト量ｓを位相差ｓ’として検出する（ステップＳ２７）。

次に、ＡＦ制御部５０が、位相差ｓ’の符号がプラスの場合には、位相差ｓ’を小さくする方向にレンズ位置を所定量だけ移動させ、位相差ｓ’の符号がマイナスの場合には、位相差ｓ’を大きくする方向にレンズ位置を所定量だけ移動させる（ステップＳ２８）。

以上の実施形態によれば、コントラスト値算出部２０は、ＡＦ対象領域（オートフォーカス対象領域）のコントラストマップを生成する。検出位置決定部３０は、そのコントラストマップにおけるコントラスト値ＣＴＶの最大値を検出し、その最大値に対応する位置を相対的に高コントラスト値である位置として検出する。或は、検出位置決定部３０は、コントラストマップにおけるコントラスト値ＣＴＶの重心位置を求め、その重心位置を相対的に高コントラスト値である位置として検出する。

このようにすれば、ＡＦ対象領域において相対的に高コントラスト値である位置を検出でき、その相対的に高コントラスト値である位置を、視差画像の位相差を検出する検出位置として決定することができる。

また本実施形態では、撮像部１０は、視差画像を動画像として撮像する。位相差検出部４０は、その動画像の各フレームについて位相差ｓ’を検出する。ＡＦ制御部５０（フォーカス制御部）は、撮像部１０のフォーカスが合っている位置と被写体との遠近関係を位相差ｓ’に基づいて判断し、その判断の結果に基づいて、撮像部１０のフォーカスが合っている位置を被写体に近づける方向に撮像部１０のフォーカスレンズを所定量だけ移動させる制御を行う。そして、その所定量だけ移動させる制御を各フレームで繰り返すことにより被写体にフォーカスを合わせる。

このようにすれば、上述したように、位相差ＡＦの誤動作を抑制し、突然ピントがずれるような不自然な映像を表示させないようにできる。

３．第３実施形態
次に、第３実施形態について説明する。なお、第１、第２実施形態と同様の構成要素や動作・処理については適宜、説明を省略する。

図１１に、第３実施形態における撮像装置の構成例を示す。この撮像装置は、撮像部１０、コントラスト値算出部２０、検出位置決定部３０、位相差検出部４０、ＡＦ制御部５０、レンズ駆動部６０、位相差選択部７０、表示制御部８０を含む。

図１２に示すように、コントラスト値算出部２０は、ＡＦ対象領域を複数（ａ個）のブロックＢＬ１〜ＢＬ６に分割する。図１２には、ａ＝２×３のブロックに分割する例を示す。各ブロックは、Ｍ×Ｎ個のサブブロックに分割され、各サブブロックはｎ×ｍ画素で構成される。コントラスト値算出部２０は、各ブロックについてコントラストマップを生成し、そのコントラストマップを検出位置決定部３０に出力する。

検出位置決定部３０は、コントラストマップに基づいて各ブロックについて位相差の検出位置を決定する。検出位置決定部３０は、下式（６）により各ブロックについてｙ方向最大値Ｄｙｍａｘの分散値ＹＤＳを求め、その分散値ＹＤＳが小さい順に検出位置をソーティングする。ここで、ｋは、ｘ方向にＭ個並ぶサブブロックのナンバリングを表す。Ｄｙｍａｘ_ｋは、ｘ方向にｋ番目でｙ方向にＮ個並ぶサブブロックのコントラスト値のうちの最大値である。

検出位置決定部３０は、分散値ＹＤＳが小さい方から順に複数（ｂ個、ｂ＜ａ）の検出位置を選択し、位相差検出部４０に出力する。図１１には、ｂ＝３の検出位置を出力する例を示す。

分散値ＹＤＳが小さいほどｙ方向最大値Ｄｙｍａｘの分布ばらつきが小さいので、位相差検出に適したブロックである可能性が高い。例えば、同じような形状が繰り返し並ぶ領域や、高ノイズの領域では、コントラスト値の山が複数並び、分散値ＹＤＳが大きいと考えられる。そのため、分散値ＹＤＳが小さい順にソーティングすることで、位相差検出により適した検出位置を選択することが可能となる。

なお上記では分散値ＹＤＳが小さい順にソーティングする場合について説明したが、本実施形態ではこれに限定されない。例えば、分散値ＹＤＳの逆数とコントラスト値の最大値とを重み付け係数を掛けて加算し、その加算値が大きい順にソーティングし、加算値が大きい方から順に複数の検出位置を選択してもよい。

位相差検出部４０は、第１〜第３の検出部４１〜４３を含む。検出部４１〜４３には、検出位置決定部３０で選択された３つの検出位置が１つずつ入力される。検出部４１〜４３は、入力された検出位置について位相差と信頼度を求め、その位相差と信頼度を位相差選択部７０に出力する。

位相差選択部７０は、３つの位相差の中から信頼度が最も高い位相差を選択し、その位相差をＡＦ制御部５０に出力する。

なお上記では信頼度に基づいて自動的にフォーカス制御用の位相差を選択する場合について説明したが、本実施形態ではこれに限定されない。例えば、ユーザからの選択指示に基づいてフォーカス制御用の位相差を選択してもよい。具体的には、位相差選択部７０は、位相差検出部４０からの３つの位相差に対応する検出位置の情報を表示制御部８０に出力する。図１３に示すように、表示制御部８０は、その３つの検出位置を表す表示ＡＰ１〜ＡＰ３（例えば矩形枠）を表示画像に重畳し、不図示の表示部に表示させる制御を行う。そして、不図示の操作部を介してユーザが検出位置を選択し、その選択された検出位置の位相差を位相差選択部７０がＡＦ制御部５０に出力する。

このようにユーザ指示に基づいて検出位置を決定することで、ユーザが所望しない位置にオートフォーカスされることを防ぐことができる。また、分散値ＹＤＳが小さい順に複数の候補位置を表示させることで、位相差を高信頼度に検出できる候補の中からユーザが所望する適切な場所を選択することが可能になる。

図１４に、第３実施形態の撮像装置が行うＡＦ制御処理のフローチャートを示す。図１４に示すように、まず撮像部１０が、視差画像（右画像、左画像）のＲＧＢ画素値データを取得する（ステップＳ４０）。

次に、コントラスト値算出部２０が、視差画像のＲＧＢ画素値データを輝度値データに変換する（ステップＳ４１）。次に、コントラスト値算出部２０が、視差画像の少なくとも一方（例えば右画像）に複数のブロックＢＬ１〜ＢＬ６を設定し、その複数のブロックＢＬ１〜ＢＬ６のうち選択したブロックについて、各サブブロックのコントラスト値を輝度データから算出する（ステップＳ４２）。

次に、検出位置決定部３０が、コントラスト値のｙ方向最大値Ｄｙｍａｘを算出し、そのＤｙｍａｘのうちの最大値を、ｘ方向での最大値として検出し、そのｘ方向での最大値に対応するサブブロックのｘ位置を位相差の検出位置のｘ位置として求める。また、分散値ＹＤＳを算出する（ステップＳ４３）。次に、検出位置決定部３０が、コントラスト値のｘ方向最大値Ｄｘｍａｘを算出し、そのＤｘｍａｘのうちの最大値を、ｙ方向での最大値として検出し、そのｙ方向での最大値に対応するサブブロックのｙ位置を位相差の検出位置のｙ位置として求める（ステップＳ４４）。

次に、検出位置決定部３０が、複数のブロックＢＬ１〜ＢＬ６の全てについて位相差の検出位置と分散値ＹＤＳを求めたか否かを判断する（ステップＳ４５）。位相差の検出位置と分散値ＹＤＳを求めていないブロックが存在する場合には、コントラスト値算出部２０が、新たにブロックを選択し、ステップＳ４２を再び実行する。全てのブロックについて位相差の検出位置と分散値ＹＤＳを求めていた場合には、検出位置決定部３０が、複数のブロックＢＬ１〜ＢＬ６の分散値ＹＤＳを小さい順にソーティングし、分散値ＹＤＳが小さい順に複数の検出位置を出力する（ステップＳ４６）。

次に、位相差検出部４０が、複数の検出位置から１つの検出位置を選択し、その選択した検出位置について左画像から探索画像（検出位置を中心とする１２８画素）を取得する（ステップＳ４７）。次に、位相差検出部４０が、選択した検出位置について右画像から参照画像（検出位置を中心とする６４画素）を取得する（ステップＳ４８）。次に、位相差検出部４０が、探索画像の読み出し開始位置（シフト量ｓ）をシフトしながら、ＳＡＤ値ＳＡＤ（ｓ）を算出し、ＳＡＤ（ｓ）が最小となるシフト量ｓを位相差ｓ’として検出する。また位相差検出部４０が、ＳＡＤ（ｓ）のカーブ形状から信頼度を求める（ステップＳ４９）。

次に、位相差検出部４０が、ステップＳ４６で出力された複数の検出位置の全てについて位相差と信頼度を求めたか否かを判断する（ステップＳ５０）。位相差と信頼度を求めていない検出位置が存在する場合には、位相差検出部４０が再びステップＳ４７を実行する。全ての検出位置について位相差と信頼度を求めていた場合には、位相差選択部７０が、複数の位相差の中から最も信頼度が高い１つの位相差を選択し、ＡＦ制御部５０に出力する（ステップＳ５１）。

次に、ＡＦ制御部５０が、位相差の符号がプラスの場合には、位相差を小さくする方向にレンズ位置を所定量だけ移動させ、位相差の符号がマイナスの場合には、位相差を大きくする方向にレンズ位置を所定量だけ移動させる（ステップＳ５２）。

以上の実施形態によれば、検出位置決定部３０は、視差画像のうち少なくとも一方の画像（本実施形態の例では右画像）に複数の領域ＢＬ１〜ＢＬ６を設定し、その複数の領域ＢＬ１〜ＢＬ６ごとの（各領域での）コントラスト値に基づいて、複数の領域ＢＬ１〜ＢＬ６ごとの検出位置を決定する。位相差検出部４０は、その複数の検出位置ごとの複数の位相差ｓ’を検出する。位相差選択部７０は、その複数の位相差ｓ’の中からフォーカス制御に用いる位相差を選択する。

このようにすれば、位相差の検出位置の候補として複数の位置を決定し、その複数の候補の中から位相差検出により適した検出位置を選択することが可能になる。これにより、位相差が検出不可となる可能性や、位相差の誤検出可能性を低下させることが可能となり、より安定的な位相差ＡＦを実現できる。例えば、視差が大きい場合には、複数の領域ＢＬ１〜ＢＬ６のうち幾つかの領域において右画像と左画像に同一被写体が写らない可能性がある。このような場合であっても、各領域で検出位置を決定し、その中から適切な検出位置を選択できるため、位相差の検出が可能となる。

また本実施形態では、検出位置決定部３０は、複数の領域ＢＬ１〜ＢＬ６としてａ個（本実施形態の例ではａ＝６）の領域を設定し、そのａ個の領域の各領域におけるコントラスト値の分散値ＹＤＳを算出し、そのａ個の領域のうち分散値ＹＤＳが小さい方からｂ個の領域（ｂ＜ａ、本実施形態の例ではｂ＝３）を選択する。位相差検出部４０は、そのｂ個の領域での検出位置に対応するｂ個の位相差を相関演算により算出する。

このようにすれば、位相差検出により適していると考えられる高分散値の検出位置だけ相関演算を行うことができ、位相差検出に適さない低分散値の検出位置について無駄な相関演算を省略できる。これにより、位相差検出部の回路規模縮小や演算時間の短縮を実現することが可能である。

また本実施形態では、撮像装置は、複数の検出位置を表す情報ＡＰ１〜ＡＰ３を視差画像のうち少なくとも一方の画像（例えば第４実施形態のような３Ｄ画像や、或は右画像及び左画像の一方など）に重畳して表示部に表示する制御を行う表示制御部８０を備える。位相差選択部７０は、複数の検出位置のうち、ユーザにより選択された検出位置に対応する位相差をフォーカス制御に用いる位相差として選択する。

このようにすれば、上述したように、ユーザ指示に基づいて検出位置を決定することで、ユーザが所望しない位置にオートフォーカスされることを防ぐことができる。

４．第４実施形態
次に、第４実施形態について説明する。なお、第１〜第３実施形態と同様の構成要素や動作・処理については適宜、説明を省略する。

図１５に、第４実施形態における撮像装置の第１構成例を示す。この撮像装置は、撮像部１０、検出位置決定部３０、位相差検出部４０、ＡＦ制御部５０、レンズ駆動部６０、コントラストマップ生成部１００、３Ｄ化回路１１０、３Ｄ表示モニタ１２０を含む。

図１６に、第４実施形態における撮像装置の第２構成例を示す。この撮像装置は、撮像部１０、検出位置決定部３０、位相差検出部４０、ＡＦ制御部５０、レンズ駆動部６０、位相差選択部７０、コントラストマップ生成部１００、３Ｄ化回路１１０、３Ｄ表示モニタ１２０、文字重畳回路１３０、操作部１５０を含む。

コントラストマップ生成部１００は、第２実施形態等で説明した手法と同様にして、右画像の輝度値からコントラストマップを生成し、そのコントラストマップを検出位置決定部３０に出力する。

３Ｄ化回路１１０は、左画像と右画像に対して水平操作方向の位置調整を行い、その位置調整後の左画像と右画像を交互に切り替えて出力する。

３Ｄ表示モニタ１２０は、３Ｄ化回路１１０から交互に出力される左画像と右画像を表示する。３Ｄ表示モニタ１２０は、偏光メガネや液晶シャッタメガネ等の専用メガネをかけることで左画像（左視点画像）と右画像（右視点画像）とを個別に見ることができる表示装置である。なお、３Ｄ表示モニタ１２０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示装置や、レンチキュラレンズを使用する立体表示装置であってもよい。

文字重畳回路１３０は、３Ｄ化回路１１０から出力される画像に対して、位相差選択部７０から出力される複数の検出位置を表す表示を、３Ｄ化回路１１０から出力される画像に対して重畳し、その重畳後の画像を３Ｄ表示モニタ１２０に出力する。

操作部１５０は、３Ｄ表示モニタ１２０に表示された複数の検出位置の中から、フォーカスを合わせる検出位置を選択する操作を行うための操作部である。例えば、操作部１５０は、マウスやボタン、タッチパネル等により構成できる。

図１７に、撮像部１０の詳細な構成例を示す。撮像部１０は、フォーカスレンズＬＮ１と、左右一対のズーム光学系ＬＮ２、ＬＮ３と、左右一対の結像レンズＬＮ４、ＬＮ５と、左右一対の撮像素子ＩＳ１、ＩＳ２と、左右一対の撮像制御部ＣＵ１、ＣＵ２（カメラコントロールユニット）と、を含む。撮像素子ＩＳ１、ＩＳ２は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサにより構成され、例えばベイヤ配列のＲＧＢ撮像素子等の一般的な撮像素子を用いることができる。

フォーカスレンズＬＮ１、ズーム光学系ＬＮ２、ＬＮ３、結像レンズＬＮ４、ＬＮ５により被写体像が撮像素子ＩＳ１、ＩＳ２に結像され、その結像された被写体像を撮像素子ＩＳ１、ＩＳ２が撮像する。撮像制御部ＣＵ１、ＣＵ２は、撮像素子ＩＳ１、ＩＳ２からの画像信号に対して、オフセット処理や、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正処理等の画像処理を行う。撮像制御部ＣＵ１、ＣＵ２は、画像処理後の画像を右画像、左画像として出力する。

このような撮像部１０では、ズーム倍率に関わらず、ピント状態に応じて結像位置の変位が生じる。即ち、ピントが被写体よりも前側の場合には、左画像の結像に対して右画像の結像が左側にシフトし、ピントが被写体よりも前側に移動するほどシフト量が大きくなる。一方、ピントが被写体よりも後側の場合には、左画像の結像に対して右画像の結像が右側にシフトし、ピントが被写体よりも後側に移動するほどシフト量が大きくなる。被写体にピントが合っている場合には右画像と左画像の結像位置は同じである。

上記のような撮像装置は、例えば脳外科用の双眼顕微鏡等に適用することが想定される。脳外科用の双眼顕微鏡では、奥行き数ｃｍ程度の比較的狭い範囲内でピント調整できればよいため、右画像と左画像の視差が比較的小さいことが予想される。例えば、奥行き数ｃｍ内の手前側にピントがある場合に、奥行き数ｃｍ内の奥側にオートフォーカスしたいとする。このような場合であっても、奥側の被写体の視差はそれほど大きくならないため、右画像と左画像には、ほぼ同じ被写体領域が写っていると考えられる。

位相差ＡＦでは位相差の検出位置において右画像と左画像に同じ被写体が写っている必要があるが、視差が大きくない場合には、画像内の任意の位置を検出位置として選んだとしても、その位置において右画像と左画像に同じ被写体が写っている可能性が非常に高いと考えられる。そのため、本実施形態のようにコントラスト値が高い位置を画像内の任意の位置から選んだとしても、その任意の位置で位相差を検出することが可能であり、コントラスト値が高い位置で位相差ＡＦを行うため、高品質な位相差ＡＦを実現可能である。このように、本実施形態は、脳外科用の双眼顕微鏡等に適用した場合に非常に有効であると期待される。

なお、本実施形態は脳外科用の双眼顕微鏡等に限定されず、例えば一般的な双眼カメラや双眼ビデオカメラ等にも適用できる。

ここで、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、位相差検出部、撮像装置等の構成、動作や、コントラスト値算出手法、検出位置決定手法、位相差検出手法、ＡＦ制御手法等は、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０撮像部、２０コントラスト値算出部、３０検出位置決定部、
４０位相差検出部、４１〜４３検出部、
５０ＡＦ制御部（フォーカス制御部）、６０レンズ駆動部、
７０位相差選択部、８０表示制御部、
１００コントラストマップ生成部、１１０３Ｄ化回路、
１２０３Ｄ表示モニタ、１３０文字重畳回路、１５０操作部、
２００読み出し位置シフト指示部、２１０画像取得部、
２２０ＳＡＤ演算部、２３０最小値検出部、２４０シフト量保持部、
２５０信頼度検出部、
ＢＬ１〜ＢＬ６複数のブロック（複数の領域）、ＣＴＶコントラスト値、
Ｄｘｍａｘｘ方向最大値、Ｄｙｍａｘｙ方向最大値、
ＬＮ１フォーカスレンズ、ｐｘｎピクセル数（信頼度情報）、
ｓ’ 位相差、ｘ水平走査方向、ｙ垂直走査方向、ｘｄ，ｙｄ検出位置

Claims

第１画像と、前記第１画像に対して視差を有する第２画像と、を視差画像として取得する撮像部と、
前記視差画像のうち少なくとも一方の画像からコントラスト値を算出するコントラスト値算出部と、
前記視差画像のうち少なくとも一方の画像に対し複数の領域を設定し、複数の前記領域ごとの前記コントラスト値に基づいて、複数の前記領域ごとの位相差を検出する検出位置を決定する検出位置決定部と、
複数の前記検出位置ごとの複数の前記位相差を検出する位相差検出部と、
前記位相差に基づいて前記撮像部のフォーカス制御を行うフォーカス制御部と、
複数の前記位相差の中から前記フォーカス制御に用いる位相差を選択する位相差選択部と、
を備え、
前記検出位置決定部は、複数の前記領域としてａ個の領域を設定し、前記ａ個の領域の各領域における前記コントラスト値の分散を算出し、前記ａ個の領域のうち前記分散が小さい方からｂ個の領域（ｂ＜ａ）を選択し、
前記位相差検出部は、前記ｂ個の領域での前記検出位置に対応するｂ個の位相差を相関演算により算出し、前記相関演算の信頼度情報を前記ｂ個の位相差の各位相差について求め、
前記位相差選択部は、前記ｂ個の位相差のうち、前記信頼度情報が表す信頼度が最も高い位相差を前記フォーカス制御用の位相差として選択することを特徴とする撮像装置。
請求項１において、
複数の前記検出位置を表す情報を前記視差画像の前記少なくとも一方の画像に重畳して表示部に表示する制御を行う表示制御部を備え、
前記位相差選択部は、
複数の前記検出位置のうち、ユーザにより選択された検出位置に対応する前記位相差を前記フォーカス制御用の位相差として選択することを特徴とする撮像装置。
請求項１又は２において、
前記撮像部は、
前記視差画像を動画像として撮像し、
前記位相差検出部は、
前記動画像の各フレームについて前記位相差を検出し、
前記フォーカス制御部は、
前記撮像部のフォーカスが合っている位置と被写体との遠近関係を前記位相差に基づいて判断し、前記判断の結果に基づいて、前記撮像部のフォーカスが合っている位置を前記被写体に近づける方向に前記撮像部のフォーカスレンズを所定量だけ移動させる制御を行い、前記所定量だけ移動させる制御を前記各フレームで繰り返すことにより前記被写体にフォーカスを合わせることを特徴とする撮像装置。