JP5738606B2 - 撮像装置 - Google Patents

Description

本発明は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置に関する。

現在の撮像装置（例えば、デジタルカメラ）はオートフォーカス機能を有しており、簡単にフォーカスの合った画像が撮れるようになっている。

オートフォーカスの方法に位相差方式がある。

位相差方式の簡単な原理を、図１２Ａ〜図１２Ｃを用いて説明する。

図１２Ａ〜図１２Ｃは、被写体から位相差センサへの光路を示した図である。なお、レンズ１で集光された光の一部が、図示していないハーフミラーにより、位相差センサ側に分岐しているものとする。また、撮像面は撮像用のエリアセンサの受光面と等距離であるものとする。

図１２Ａにおいて、撮像面を通過した光は、コンデンサレンズ３０１で集光され、瞳分割用絞り３０２によって光路ａと光路ｂとに分割された後、それぞれの光はレンズ３０３ａ，３０３ｂによりセンサ３０４ａ，３０４ｂに集光される。３０５ａ，３０５ｂは、合焦時のセンサ３０４ａ，３０４ｂの出力例である。

図１２Ｂは、前ピンの時の図であり、瞳分割用絞り３０２を介してレンズ３０３に入射する角度が浅くなる為、像の重心は合焦位置よりも内側に結像し、図１２Ｃに示すように後ピンの場合は、入射角が深くなる為、像の重心が合焦位置よりも外側に結像する。

合焦時のセンサ出力３０５ａ，３０５ｂを基準とした時、前ピンと後ピンではセンサ出力３０５ａ，３０５ｂの位相差（ずれ量）の方向が逆になり、その位相差の大きさはデフォーカス量によって決まる。その為、センサ出力３０５ａ，３０５ｂの位相差を検出することで、デフォーカス量が判り、それに応じてレンズ位置を変更することでフォーカス合わせができる。

位相差の検出は、例えば、センサ出力３０５ａに対しセンサ３０５ｂの出力をずらしながら相関演算を行い、最も相関が高くなったときのずらし量を位相差とする。更に正確な位置を求める場合は、相関の高いずらし量の前後何点かの相関値より近似式を算出し、相関値のピークとなる地点をサブピクセル単位で求める。

図１３Ａ〜図１３Ｃは、相関演算として、画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。

図１３Ａは、被写体のコントラストが高い場合の相関演算結果の例で、Dの位置が最も相関が高く、この位置が位相差となる。

図１３Ｂは、被写体のコントラストが低い場合の相関演算結果の例で、相関演算結果の差が小さく、ノイズによって結果が変化してしまう。

図１３Ｃは、被写体が周期的な縞模様の相関演算結果の場合の例で、相関の高い所が離散的にあり、どの位置を位相差とするべきか判別が付かないことを示している。

位相差方式は上述のように、幾つかの不得手なパターンは有るが、デフォーカス量が即座に判別できる為、高速なオートフォーカス動作が行えるという特徴が有る。

また、最近では撮像用のエリアセンサの撮像画素の一部にオートフォーカス用の位相差センサとしての位相差検出用画素を内蔵したエリアセンサも作られてきている。

図１４は、位相差検出用画素を内蔵した撮像用のエリアセンサの撮像画素の一部を示す図である。

白地の画素は撮像画素（撮影画素）を示し、縦縞の画素及び横縞の画素は位相差検出用画素を示している。

図１５Ａに示すようにオンチップマイクロレンズの光軸の移動により撮像画素の感度領域を偏心させる方法、図１５Ｂに示すように撮像素子内の配線層を利用して開口部をオンチップマイクロレンズの中心線に対して偏心させる方法、図１５Ｃに示すようにオンチップマイクロレンズの外側に遮光マスクを貼り付けマイクロレンズの中心線に対して偏心させた位置に配線層の開口部を持たせる方法等により、位相差検出用画素に瞳分割機能を付与することができる。図１４に示すように、これらの位相差検出用画素をエリアセンサにおける撮像素子群の間に所定の間隔で配置している。

この位相差検出用画素から出力される信号に基づいて、撮影レンズの異なる位置を通過した光束による一対の像のずれ量を検出することにより、瞳分割位相差方式のデフォーカス量の検出を行う。

このようなオートフォーカス機能を持った撮像装置でも、必ずしもユーザーの意図した部分にフォーカスが合うとは限らず、意図しない部分にフォーカスを合わせてしまう場合が有る。

この対応として、マニュアルフォーカスモードを装備しユーザーが自分の意図する部分に自分でフォーカスを合わせができる撮像装置も出されている。

この時、ユーザーはファインダーや撮像装置の背面のディスプレイ等を見ながらフォーカス合わせを行う事になる。

しかし、画像の状態から合焦／非合焦の判断をするのは難しい為、判断の補助となる情報表示方法が各種提案されている。

例えば、撮像装置に内蔵している位相差センサの出力からデフォーカス量を求め、そのデフォーカス量に応じてエリアセンサの複数の所定部分それぞれに対応する撮像画像を上下又は左右にずらす方法がある（例えば、特許文献１参照）。ユーザーは、意図する部分の撮像画像のずれが無くなるように、フォーカスレンズの位置の調整を行う。

また、例えば、デフォーカス量をバーグラフとして撮像装置のディスプレイに表示する方法がある（例えば、特許文献２参照）。ユーザーは、バーグラフが大きくなる方向にフォーカスレンズの位置の調整を行う。

また、例えば、位相差センサが存在する複数の所定部分それぞれに、合焦状態であるか否かを示す図形を撮像装置のディスプレイに表示し、デフォーカス量に応じて、その図形の色を変化させる方法がある（例えば、特許文献３参照）。ユーザーは、意図する部分の表示が合焦表示となるように、フォーカスレンズの位置の調整を行う。

特開２００９−２７６４２６号公報 特開２００８−０７９１２４号公報 特開２００８−１７０６４５号公報

しかしながら、上述したように、デフォーカス量に応じてエリアセンサの複数の所定部分それぞれに対応する撮像画像を上下又は左右にずらす方法では、撮像画像に写る被写体によって合焦状態が判りにくい場合がある。例えば、隣り合う撮像画像に写る被写体において、滑らかに変化している部分やエッジが斜めになっている部分が存在する場合、その隣り合う撮像画像がずれているのか、ずれていないのかが分り難い。

また、上述したように、デフォーカス量をバーグラフとして撮像装置のディスプレイに表示する方法では、フォーカスレンズの合焦位置を知る為に、一旦合焦位置を超えないと認識できないのでフォーカスレンズの位置合わせに時間を要し、シャッタチャンスを逃す場合がある。

また、上述したように、合焦状態であるか否かを示す図形を撮像装置のディスプレイに表示し、デフォーカス量に応じて、その図形の色を変化させる方法では、図形の色の変化の差だけで、実際のデフォーカス量を判断することが難しい。そのため、ユーザーは、どの位フォーカスレンズを移動させればよいか判らず、フォーカスレンズの位置合わせに時間を要し、シャッタチャンスを逃す場合がある。また、例えば、僅かにフォーカスレンズの位置を移動させて肌が滑らかに見えるように撮像する場合など、積極的にフォーカスレンズを合焦位置からずらすことで、柔らかな画質とすることもできるが、上述したように、合焦状態であるか否かを示す図や前ピンか後ピンかを示す図を撮像装置のディスプレイに表示する方法では、現在のフォーカスレンズの位置が合焦位置からどのくらい離れているかが判らない為、このような積極的にフォーカスレンズの位置をずらして撮像する方法には対応できない。

そこで、本発明は、ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置であって、位相差センサと、フォーカス情報出力手段と、合成手段と、表示手段とを備える。

前記位相差センサは、前記被写体像を瞳分割して得られる１対の撮像信号を出力する。

前記フォーカス情報出力手段は、前記位相差センサから出力される１対の撮像信号の位相差に基づいて、フォーカス情報を出力する。

前記合成手段は、前記フォーカス情報出力手段から出力されるフォーカス情報を前記撮像画像に合成する。

前記表示手段は、前記合成手段により合成された撮像画像を表示する。

本発明は、被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置において、ユーザーの操作によるフォーカスレンズの位置調整をより簡単に行うことができる。

本発明の第1実施形態の撮像装置を示す図である。 第１実施形態の撮像装置の表示部に表示される画面例を示す図である。 本発明の第２実施形態の撮像装置を示す図である。 本発明の第３実施形態の撮像装置を示す図である。 第３実施形態の撮像装置の表示部に表示される画面例を示す図である。 本発明の第４実施形態の撮像装置を示す図である。 フォーカス情報としてのバーグラフの表示例を示す図である。 フォーカス情報としての数値の表示例を示す図である。 位相比較部の回路構成例を示す図である。 Ｌ画像とＲ画像を示す図である。 波形生成部の回路構成例を示す図である。 合焦時の被写体から位相差センサへの光路を示した図である。 前ピン時の被写体から位相差センサへの光路を示した図である。 後ピン時の被写体から位相差センサへの光路を示した図である。 画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。 画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。 画素毎の差分の絶対値を累積加算値とした場合のグラフを示す図である。 位相差センサの画素を内蔵したエリアセンサの受光部の一部を示す図である。 マイクロレンズの光軸に対して受光部の感度領域を偏心させる方法を示す図である。 撮像素子内の配線層を利用して開口部をマイクロレンズの中心線に対して偏心させる方法を示す図である。 マイクロレンズの外側に遮光マスクを貼り付け、マイクロレンズの中心線に対して偏心させた位置に開口部を持たせる方法を示す図である。

＜第１実施形態＞

図１は、本発明の第1実施形態の撮像装置を示す図である。なお、通常、撮像装置を構成する各ブロックは、処理結果をＤＲＡＭ等の一次記憶部に書き込んだり、一次記憶部から必要なデータを読み出して処理したりするが、本実施例では各ブロックの繋がりを判りやすくする為一次記憶部への書き込み動作や一次記憶部からの読み出し動作を省略している。

図１に示す第１実施形態の撮像装置は、レンズ１と、ハーフミラー２と、エリアセンサ３と、位相差センサ４と、Bayer補間部５と、圧縮部６と、記憶部７と、伸張部８と、位相比較部９と、レンズ駆動部１０と、波形生成部１１（フォーカス情報出力手段）と、合成部１２（合成手段）と、表示部１３（表示手段）と、表示位置指示部１４（指定手段）とを備えている。

レンズ１は、フォーカスレンズであって、図示していない被写体からの光を集光し、ハーフミラー２により分岐し、エリアセンサ３及び位相差センサ４にそれぞれ被写体像を結像させる。

位相差センサ４は、表示部１３において予め設定される複数の表示エリアに対応する位置にそれぞれ配置され、被写体像を瞳分割した１対の撮像信号を出力する。

位相比較部９は、位相差センサ４から出力される１対の撮像信号の位相差に基づいて、被写体にフォーカスを合わせるために必要なレンズ１の移動量としてのデフォーカス量を算出する。

オートフォーカスモードが設定されている場合、レンズ駆動部１０は、デフォーカス量に応じてレンズ１を移動させて被写体にフォーカスを合わせる。

エリアセンサ３は、前面にモザイクカラーフィルタが貼り付けられた単板エリアセンサである。

Bayer補間部５は、エリアセンサ３から出力されるBayer画像を補間して３版カラー画像を生成する。この３版カラー画像は合成部1２を介して表示部1３に表示される。

ユーザーは、表示部１３に表示される画像を見ながら構図調整をし、好みのタイミングでシャッタを押して静止画を撮影する。また、ユーザーがシャッタを押し静止画撮影の指示をすると、Bayer補間部５から出力される３版カラー画像は圧縮部６にてデータ圧縮され、記憶部７に保存される。ユーザーの操作により不図示の操作部から３版カラー画像の再生指示が入力されると、記憶部７に保存された３版カラー画像は、伸張部８で伸張された後、表示部1３に表示される。

表示位置指示部１４は、表示部１３において予め設定される複数の表示エリアのうちユーザーにより指定される１以上の表示エリアの位置情報（デフォーカス量を知りたい表示エリアの位置情報）を波形生成部１１に出力する。このユーザーによる表示エリアの指定方法としては、例えば、表示部１３に備えられるタッチパネルにおいて、ユーザーが表示エリアをタッチする方法でもよいし、ダイヤルやプッシュスイッチ等で指定候補の表示エリアを順次移動させたり表示エリアの決定を行ったりする方法でもよい。

波形生成部１１は、位相差センサ４から出力される複数の１対の撮像信号のうち表示位置指示部１４から出力される位置情報に対応する１対の撮像信号の位相差に基づいて、被写体像の合焦に必要なレンズ１の操作量を示すフォーカス情報を出力する。例えば、波形生成部１１は、撮像信号の輝度を縦軸、撮像信号を出力する画素位置を横軸とする座標に撮像信号の位相差を示す目盛りを設け、一対の位相差センサ出力を表示する。尚、各波形は識別のために互いに異なる色で表示してもよい。

合成部１２は、波形生成部１１から出力されるフォーカス情報と、Bayer補間部５から出力される３版カラー画像とを合成して、表示部１３に表示する。

図２は、表示部１３に表示される画像１００の例を示す図である。なお、図２中のＡ１〜Ａ９の十字の位置にそれぞれ対応して位相差センサ４が配置されているものとする。

図２に示す例ではＡ４の縦方向の表示エリア（以下、表示エリアＡ４という）とＡ８の横方向の表示エリア（以下、表示エリアＡ８という）とが強調表示されており、それら表示エリアがユーザーにより指定されていることを示している。

１対の波形１０１（実線の波形１０１と破線の波形１０１）は表示エリアＡ４の波形であり、１対の波形１０２（実線の波形１０２と破線の波形１０１）は表示エリアＡ８の波形である。

これらの波形には上述したように１対の波形の位相差（撮像信号の位相差）を示す目盛りが付いており、積極的にデフォーカスを利用する場合の目安として利用できる。

目盛りのピッチは、例えば、エリアセンサ３の１画素単位としてもよいし、限界解像度に応じたピッチ（例えばレンズの限界解像度）としてもよい。なお、限界解像度は、レンズ情報、ズーム位置情報、及び、絞り位置情報などによって、予め定めたテーブルを参照して決める。また、目盛りのピッチは、例えば、撮像画像を記憶部７に保存する際の撮像画像の解像度での画素ピッチとしてもよい。また、目盛りのピッチは、ユーザーにより任意の値に設定されてもよい。また、目盛りの中央部と位相差センサ４の中央部とを一致させて１対の波形を表示させてもよい。また、目盛りの中央部に１対の波形のそれぞれの最大の振幅がくるように１対の波形を表示させてもよい。

波形生成部１１は、位相差センサ４から出力される１対の撮像信号をそのままグラフ化してもよいし、位相差センサ４から出力される１対の撮像信号に対して振幅調整やノイズ除去等を行った後でグラフ化してもよい。
また、レンズ操作をしていない場合は、位相差センサ出力を複数フレームを利用してノイズ除去を強く行い、レンズ操作中の場合やカメラが大きく動いている場合はフレーム間でのノイズ除去の強度を弱める、又はフレーム内でのノイズ除去のみとする。
更に、合焦或いはそれに近いエリアが有る場合は、フレーム間ノイズ除去の強度を強め、精度が高く変化の緩やかな表示を行う等、状況に応じてノイズ除去方法を変えても良い。

ユーザーは、指定した表示エリアの被写体にフォーカスを合わせたい場合、その表示エリアに対応する１対の波形が互いに一致するように、表示部１３を確認しながらレンズ１の位置調整の操作を行えばよい。また、ユーザーは、指定した表示エリアの被写体を若干ぼかしたい場合、その表示エリアに対応する１対の波形が所望な幅互いにずれるように、表示部１３の目盛りを参考にしながらレンズ１の位置調整の操作を行えばよい。

このように、第１実施形態の撮像装置では、位相差センサ４から出力される１対の撮像信号のそれぞれの波形を被写体像の合焦に必要なレンズ１の操作量を示すフォーカス情報として表示部１３に表示させる構成であるため、ユーザーが表示部１３に表示される１対の波形を確認しながらレンズ１の操作を簡単に行うことができる。そのため、ユーザーは、フォーカスを合わせるためのレンズ１の操作や積極的にデフォーカスさせるためのレンズ１の操作を簡単に行うことができる。

＜第２実施形態＞

図３は、本発明の第２実施形態の撮像装置を示す図である。なお、図３において、図１に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。

第２実施形態の撮像装置において、第１実施形態の撮像装置と異なる点は、エリアセンサ１５に位相差センサを内蔵している点である。例えば、この位相差センサは、図１５Ａに示すように、入射光の角度を互いに反対方向に制限する遮光部を持った１対の画素を複数組備えて構成され、それら各１対の画素がエリアセンサ１５の中に並べられている。なお、位相差センサの出力は入射光の角度を制限している為、撮像画像を生成するための撮像信号としては使えない。そこで、位相差センサの出力を、その位相差センサの周囲に位置するエリアセンサ１５の画素から出力される撮像信号で補間する。すなわち、例えば、補間部１６は、エリアセンサ１５における位相差センサの位置を予め記憶部（不図示）に記憶させておき、位相差センサから撮像画像を生成するための撮像信号を出力する際、その位相差センサの周囲に位置する同色のエリアセンサ１５の各画素の出力の平均値を、その位相差センサから出力される撮像画像生成用の撮像信号として出力する。なお、単純な平均値ではなく、周囲の画素からエッジ方向を検出し、各画素の重みを変更するような補間方法を採用してもよい。

波形生成部１１は、エリアセンサ１５内の位相差センサから出力される複数の１対の撮像信号のうち表示位置指示部１４から出力される位置情報に対応する１対の撮像信号のそれぞれの波形を、被写体像の合焦に必要なレンズ１の操作量を示すフォーカス情報として合成部１２に出力する。

その他の動作は、第１実施形態の撮像装置と同様である。

このように構成される第２実施形態の撮像装置においても、ユーザーによるレンズ１の操作をより簡単に行うことができる。

また、第２実施形態の撮像装置は、エリアセンサ１５に位相差センサが内蔵されているため、第１実施形態の撮像装置に比べて、ハーフミラー２などを省略することできる分、構成を簡略化することができる。

＜第３実施形態＞

図４は、本発明の第３実施形態の撮像装置を示す図である。図４において、図１に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。

第１実施形態の撮像装置では位相差センサ４から出力される１対の撮像信号を示す波形を表示部１３に表示する構成であるが、このときの波形は被写体に依存しており、場合によっては１対の波形の位相差が見難い場合もある。

そこで、第３実施形態の撮像装置では、単純な１対の基本波形を予め用意しておき、その１対の基本波形を位相比較部９から出力されるデフォーカス量に応じて互いにずらして表示部１３に表示する。

波形解析部１８（波形解析手段）は、位相差センサ４から出力される複数の１対の撮像信号のうち表示位置指示部１４から出力される位置情報に対応する１対の撮像信号の特徴部分を解析し、その解析結果に応じた１対の基本波形を出力する。例えば、波形解析部１８は、位相差センサ４から出力される撮像信号を２値化してエッジ（２値化後の値が切り替わるところ）を数えた後、そのエッジ数に基づいて、予め記憶部に記憶されている複数種類の１対の基本波形の中から１つを選択し波形生成部１７に出力する。

図５は、第３実施形態の撮像装置の表示部１３の表示画面の一例を示す図である。

図５に示す例において、表示エリアＡ４ではエッジ数が２，表示エリアＡ６ではエッジ数が１の為、それぞれ、エッジ数２に対応する１対の基本波形、エッジ数１に対応する１対の基本波形が選択され表示されている。

基本波形のエッジ数を多くすると見難くなるので、エッジ数が２以上のときは、エッジを２つ有する基本波形が選択されるようにしてもよい。

波形生成部１７（位相比較手段）は、表示位置指示部１４から出力される位置情報に対応する１対の撮像信号の位相差に応じたデフォーカス量を位相比較部９から受け取り、そのデフォーカス量に応じて、波形解析部１８から出力される１対の基本波形を互いにずらし、その１対の基本波形を被写体像の合焦に必要なレンズ１の操作量を示すフォーカス情報として合成部１２に出力する。

その他の動作は、第１実施形態の撮像装置と同様である。

なお、波形解析部１８において予め用意される１対の基本波形は１種類であってもよい。

また、波形解析部１８において予め用意される１対の基本波形はユーザーにより設定されてもよい。

また、位相比較部９において、位相差センサ４から出力される１対の撮像信号の信頼性（フォーカスを合わせるための情報として十分であるか否か）を評価し、信頼性が低い場合、その評価結果をフォーカス情報に含めて表示部１３に表示させてもよい。これにより、表示部１３に表示されるフォーカス情報がフォーカスを合わせるための情報として信頼性が低いことをユーザーに知らせることができる。

例えば、位相比較部９は、位相差センサ４から出力される１対の撮像信号の振幅が予め設定されている閾値以下である場合、被写体が低コントラストであると判断して、信頼性が低い旨の評価結果を出力する。また、位相比較部９は、位相差センサ４から出力される１対の撮像信号に基づいて被写体像が縞模様であると判断した場合、例えば、図１０Ｃに示すように、相関の高い位相が最も相関の高い位相に集中せず、離散的な位置にばらつく場合、被写体が縞模様であると判断して、信頼性が低い旨の評価結果を出力する。

波形生成部１７は、波形解析部１８から信頼性が低い旨の評価結果が出力されると、その評価結果をフォーカス情報に含めて合成部１２に出力する。例えば、波形生成部１７は、１対の基本波形の色を変更する、１対の基本波形の振幅を小さくする、又は、１対の基本波形を点滅させる。

このように、位相差センサ４から出力される１対の撮像信号の信頼性が低い場合にその旨を表示部１３に表示することができるため、表示エリアの変更やフォーカス合わせに適した被写体が表示エリアに入るように撮像装置の向きを変えることをユーザーに促すことができる。

なお、位相差センサ４は、第２実施形態の撮像装置のように、エリアセンサ３に内蔵されていてもよい。

このように構成される第３実施形態の撮像装置においても、ユーザーによるレンズ１の操作をより簡単に行うことができる。

＜第４実施形態＞

図６は、本発明の第４実施形態の撮像装置を示す図である。図６において、図１に示す構成と同じ構成には同一の符号を付し、その構成の説明を省略する。

第４実施形態の撮像装置において、第１実施形態の撮像装置と異なる点は、表示位置指示部１４を省略している点である。そのため、第４実施形態の撮像装置では、例えば、図７に示すように、表示部１３において予め設定される複数の表示エリア全てのフォーカス情報をバーグラフとして表示部１３に表示する。また、例えば、図８に示すように、表示部１３において予め設定される複数の表示エリア全てのフォーカス情報を数値として表示部１３に表示してもよい。

波形生成部１９では、位相比較部９から出力されるデフォーカス量に応じて、バーグラフ又は数値を生成する。

例えば、位相差センサ４から出力される撮像信号の振幅をＳ、許容値（許容錯乱円に相当）をＲ、倍率をＴ、結果（バーグラフにおけるバーの幅、又は、数値）をＰとする場合、Ｐ＝（Ｓ÷Ｒ）×倍率を計算することにより結果Ｐを求めることができる。なお、許容値Ｒは予め定めておく。結果Ｐは位相差センサ４の画素単位であるので、この単位での許容値Ｒを定めておく。また、許容値Ｒはレンズ１とその絞り値によって変更される。また、倍率を例えば「５」とする場合、合焦範囲は±５となる。

バーグラフを表示部１３に表示する際、最も位相差の小さいものを基準にバーグラフの表示範囲を統一してもよい。例えば、全てのバーグラフの表示範囲を±３０とし、バーグラフの中央部の合焦範囲を±１０としてもよい。これにより、表示エリア毎にバーグラフの表示範囲が異なる場合に比べて、ユーザーがデフォーカス量を勘違いしてレンズ１の駆動を制御してしまうことを防止することができる。

また、例えば、バーグラフの表示範囲を±１００とし、そのうち、±１０の表示範囲を（エリアセンサ３の画素ピッチ）：（バーグラフのバーのピッチ）＝１：１で表示し、それ以外の表示範囲をバーのピッチの倍率を変えて表示する、又は、バーのピッチを対数スケールで変化させて表示する等、バーを不均一なスケールで表示してもよい。これにより、バーの先端が合焦範囲に近づく程、バーのスケールを拡大させることができるため、ユーザーはフォーカスの調整を細かく行うことができる。

図７に示す例では、バーグラフの中央部の色をその他のところの色と異なるようにして、その部分を合焦範囲としている。バーはデフォーカス量の変化に伴ってバーグラフの左端から伸びるように変化し、バーの先端が合焦範囲に有るとき、フォーカスが合っていることを示す。また、バーの先端が、合焦範囲よりも左側に有れば前ピン、合焦範囲よりも右側に有れば後ピンであることを示す。

なお、第４実施形態の撮像装置に上記波形解析部１８を追加し、信頼性が低い評価結果が波形解析部１８から波形生成部１９に出力される場合、バーグラフのバーの色や数値の色を変えてユーザーにバーグラフや数値の信頼性が低いことを知らせるように構成してもよい。

また、合焦状態、前ピン、後ピンでバーグラフや数値の色を変更してもよい。

また、図８に示す例では、±５を合焦範囲１０５とし、数値が−５未満となるとき、前ピンであることを示し、数値が＋５を超えるとき、後ピンであることを示し、数値が大きい程、合焦位置から離れていることを示している。

なお、位相差センサ４は、第２実施形態の撮像装置のように、エリアセンサ３に内蔵されていてもよい。

このように構成される第４実施形態の撮像装置においても、ユーザーによるレンズ１の操作をより簡単に行うことができる。

次に、第１〜３実施形態の撮像装置における位相比較部９について説明する。

図９は、位相比較部９の回路構成例を示す図である。なお、位相差センサにおいて、右側を遮光して左側から光が入射される画素群から出力される撮像信号をＬ（１対の撮像信号のうちの一方の撮像信号）、左側を遮光して右側から光が入射される画素群から出力される撮像信号をR（１対の撮像信号のうちの他方の撮像信号）とする。

図９に示す位相比較部９は、ＲＡＭ９０１と、複数のレジスタ９０２（９０２＿１〜９０２＿ｎ）と、複数のレジスタ９０３（９０３＿１〜９０３＿ｎ）と、複数の減算器９０４（９０４＿１〜９０４＿ｎ）と、複数の絶対値演算部９０５（９０５＿１〜９０５＿ｎ）と、加算部９０６と、最大値最小値保存部９０７と、遅延部９０８、９０９と、カウンタ９１０と、結合部９１１と、ソート保存部９１２とを備える。

図９に示す位相比較部９は、図１０に示すように、Ｌ撮像信号が示すＬ画像の中央のｎ画素からなる撮像画像を基準画像として、Ｒ撮像信号が示すＲ画像のｎ＋２ａ画素からなる撮像画像との間で相関演算を行う。

まず、位相差センサから出力されるＲ撮像信号（画素）は、一旦ＲＡＭ９０１に保存され、位相差センサから出力されるＬ撮像信号（画素）は、レジスタ９０２＿１〜９０２＿ｎに順次保持される。また、最大値最小値保存部９０７は、Ｌ撮像信号の最大輝度値と最小輝度値を検出する。

次に、不図示の制御回路（ＣＰＵ）がこの最大輝度値と最小輝度値を読み込み、最大輝度値から最小輝度値を減算した値が予め定めた閾値以下である場合、信頼性が低いと見なす。

次に、Ｒ撮像信号をＲＡＭ９０１から読み出され、レジスタ９０３＿１〜９０３＿ｎに順次保持される。新たなＲ撮像信号がレジスタ９０３＿１に保持されると、レジスタ９０３＿１に保持されていたＲ撮像信号がレジスタ９０３＿２に保持される。また、レジスタ９０３＿２に保持されていたＲ撮像信号がレジスタ９０３＿３に保持される。このようにＲ撮像信号の転送が繰り返され、レジスタ９０３＿ｎに保持されていたＲ撮像信号は捨てられる。Ｌ撮像信号についても同様である。

カウンタ９１０は、Ｌ撮像信号及びＲ撮像信号がレジスタ９０２＿１及びレジスタ９０３＿１に転送された回数をカウントする。

カウンタ９１０の初期値を−（ｎ＋ａ）としておけば、カウンタ９１０のカウント値を位相差とすることができる。カウント値がゼロになると、Ｌ撮像画像とＲ撮像画像との位相が一致したことを示す。

減算部９０４でＬ撮像信号とＲ撮像信号との差分を算出し、絶対値演算部９０５で絶対値化する、更にその総和を加算部９０６で算出し相関値を算出する。この相関値を、遅延部９０８，９０９で遅延させ、結合部９１１で、前後のＬ撮像信号及びＲ撮像信号での相関値と位相差を示すカウンタ値を纏めたデータの組とし、ソート保存部９１２にて相関値の小さい順（高い順）にソートして保存する。

また、不図示の制御回路は、このソート結果を読み込み、例えば、上位１０個のカウンタ値（位相差）の相関値の最大と最小の差分を計算し、その結果が予め定めた閾値以上の場合、信頼性が低いと見なす。

また、位相比較部９は、ソート保存部９１２に保存される相関値が高いデータの組における、その相関値と前後の相関値と近似式とを用いて、相関値の最も高くなる位相差を算出する。例えば、近似式として２次曲線を用いる場合、相関値の最も高い値をＣ、１つ前の撮像信号の相関値をＡ、１つ後の撮像信号の相関値をＢとし、ΔＡ＝Ａ−Ｃ、ΔＢ＝Ｂ−Ｃとすると、近似式から相関値がピークとなる位置ΔＸ（相関値の最も高かった位置からのずれ量：デフォーカス量）は、下記数１により求められる。

なお、相関演算の精度向上の為に、Ｌ撮像信号及びＲ撮像信号にそれぞれ予めフィルタ処理を行ってもよい。また、Ｒ画像に対してＬ画像の位置をずらしながら相関演算を行ってもよい。更に、Ｌ画像も一度ＲＡＭ９０１に保存し、Ｌ画像の中で高周波成分の高い部分を基準画像とし、その前後のＲ画像との相関を取るようにしてもよい。高周波成分の高い部分の検出方法は、例えば、Ｌ画像にハイパスフィルタ処理を行い、その絶対値、又は、絶対値の前後ｎ画素の加算値の最も高い部分を中心に基準領域を設定する等により検出できる。

次に、第１及び第２実施形態の撮像装置における波形生成部１１について説明する。

まず、位相差センサ４から出力される１対の撮像信号を１対の波形として直接合成部１２に出力する場合の波形生成部１１について説明する。

例えば、波形生成部１１は、表示部１３の表示エリアの画素数と等しい数の画素を、その表示エリアに対応する位相差センサ４の中央部から抜き出して、その抜き出した各画素を１対の波形として合成部１２に出力するように構成してもよい。

また、例えば、波形生成部１１は、位相差センサ４から出力される１対の撮像信号において、相関演算値の傾きの大きな部分の前後を１対の波形として合成部１２に出力するように構成してもよい。

図１１は、１対の撮像信号において、相関演算値の傾きの大きな部分の前後を１対の波形として出力する場合の波形生成部１１の回路構成例を示す図である。

図１１に示す波形生成部１１は、データ遅延部２００と、減算部２０１と、絶対値演算部２０２と、閾値比較部２０３と、読み出し位置制御部２０４と、ＲＡＭ２０５、２０６と、波形生成部２０７、２０８とを備える。

まず、データ遅延部２００、減算部２０１、及び絶対値演算部２０２により、順次入力されるＬ撮像信号（Ｌ Ｄａｔａ）の傾きの絶対値を求める。

次に、閾値比較部２０３は、求められた絶対値が予め定めた閾値を超えたか否かを判断する。

次に、絶対値が閾値を超えたと判断されると、読み出し位置制御部２０４は、そのとき入力されたＬ撮像信号を中心にしてその前後のＬ撮像信号をＲＡＭ２０５に書き込むとともに、そのとき入力されたＲ撮像信号を中心にしてその前後のＲ撮像信号をＲＡＭ２０６に書き込む。

そして、波形生成部２０７、２０８は、ＲＡＭ２０５、２０６にそれぞれ書き込まれたＬ撮像信号及びＲ撮像信号（１対の撮像信号において、傾きの大きな部分の前後）を１対の波形として合成部１２に出力する。

合成部１２は、例えば、Ｒ撮像信号を青、Ｌ撮像信号を緑、Ｌ撮像信号とＲ撮像信号とが重なった部分を黄色として、表示部１３に表示する。これにより、重なった部分の視認性を向上させることができる。

また、例えば、波形生成部１１は、Ｌ撮像信号の予め設定される範囲（例えば、Ｌ撮像信号全体の１／３）において振幅の最大値と最小値を検索し、それらを結ぶ傾きが最も大きい部分を中心にしてその前後を１対の波形として合成部１２に出力するように構成してもよい。なお、表示部１３に表示される１対の波形の振幅の調整方法としては、波形の相関演算値の最大値、最小値を抽出し、その最大値、最小値が表示部１３における１対の波形の表示スペースの上端、下端となるように、１対の波形の振幅のゲインとオフセットを調整する。信頼性が低い場合は、１対の波形の振幅を小さくして表示する。また、表示部１３に表示される１対の波形は、あまり頻繁に更新されると見づらい為、波形生成部１１に入力される１対の撮像信号をフレーム単位で間引いてもよい。

次に、表示部１３に表示される１対の波形の表示スケールを、位相比較部９から出力されるデフォーカス量に基づいて変更する場合の波形生成部１１について説明する。

例えば、波形生成部１１は、１対の波形の表示スケールを、デフォーカス量に基づいて詳細スケール又は広域スケールに変更する。なお、頻繁に表示スケールが変わると見づらいため、デフォーカス量に一定のヒステリシスを設けた範囲の閾値で表示スケールを変更してもよい。

なお、このとき表示部１３に表示される１対の波形は、上述したように、１対の波形において、相関演算値の変化の大きい部分としてもよい。

また、このとき表示部１３に表示される１対の波形の振幅の調整方法としては、上述したように、波形の相関演算値の最大値、最小値が表示部１３における１対の波形の表示スペースの上端、下端となるように、１対の波形の振幅のゲインとオフセットを調整する。

また、このとき表示部１３に表示される１対の波形の更新レートも、上述したように、フレーム単位で間引いてもよいが、表示スケールに応じて更新レートを変更してもよい。例えば、表示スケールが詳細スケールの場合、レンズ１の位置調整が微調整となるので更新レートを早くする。

次に、データ遅延部２００、減算部２０１、及び絶対値演算部２０２により求められる相関演算値をフォーカス情報として合成部１２に出力する場合の波形生成部１１について説明する。

例えば、波形生成部１１は、相関演算値を、位相差がゼロとなるときの相関演算値データを中心にしてその前後の相関演算値を１対の波形として合成部１２に出力する。

このとき表示部１２に表示される波形の表示スケールは不均一とすることがよい。位相差ゼロ付近は細かいピッチで、位相差ゼロ付近から離れた部分は荒いピッチで波形表示する。例えば、上述したバーグラフのように、表示スケールを変化させる。なお、ピッチが細かく、画素単位以下のピッチとなる場合、波形生成部１１に入力されるデータのピッチは画素のピッチとなるが、その間のデータは、例えば、スプライン補間で補間してもよい。

次に、第３実施形態の撮像装置における波形生成部１７について説明する。

例えば、波形生成部１７は、デフォーカス量に基づいて、表示部１３に表示させる１対の基本波形の表示スケールや振幅を変更してもよい。

また、例えば、波形生成部１７は、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との差分が予め設定される閾値よりも大きい場合、フレームを間引くことにより表示部１２に表示される１対の基本波形の更新レートを落としてもよい。また、例えば、波形生成部１７は、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との差分が予め設定される閾値よりも小さい場合、前回のフレームにおけるデフォーカス量と今回のフレームにおけるデフォーカス量との加算平均をした結果に基づいて１対の基本波形を互いにずらすようにしてもよい。これにより、安定した波形表示を行うことができる。

また、例えば、波形生成部１７は、上述したように、１対の基本波形の更新レートを表示スケールに応じて変更してもよい。

また、例えば、波形生成部１７は、１対の基本波形の一方の基本波形を基準として他方の基本波形をずらしてもよいし、１対の基本波形の中間位置を基準にそれぞれの基本波形をずらしてもよい。

なお、第１〜第４実施形態の撮像装置は、例えば、デジタルカメラなどとして構成されてもよいし、顕微鏡用の撮像装置や内視鏡用の撮像装置として構成されてもよい。

また、第１〜第４実施形態の撮像装置では、瞳分割を左右にマスクした場合において、位相差センサが水平方向に並んでいる場合を説明したが、瞳分割を上下にマスクした場合において、位相差センサが垂直方向に並んでいるものを採用してもよい。

１ レンズ
２ ハーフミラー
３ エリアセンサ
４ 位相差センサ
５ Bayer補間部
６ 圧縮部
７ 記憶部
８ 伸張部
９ 位相比較部
１０ レンズ駆動部
１１ 波形生成部
１２ 合成部
１３ 表示部
１４ 表示位置指示部
１５ エリアセンサ
１６ 補間部
１７ 波形生成部
１８ 波形解析部
１９ 波形生成部

Claims (8)

1. 被写体像から得られる撮像信号により生成される撮像画像を表示する機能を有する撮像装置であって、
   前記被写体像を瞳分割して得られる１対の撮像信号を出力する位相差センサと、
   前記位相差センサから出力される１対の撮像信号の位相差に基づいて、フォーカス情報を出力するフォーカス情報出力手段と、
   前記フォーカス情報出力手段から出力されるフォーカス情報を前記撮像画像に合成する合成手段と、
   前記合成手段により合成された撮像画像を表示する表示手段と、
   予め記憶手段に記憶される複数の１対の基本波形のうち前記位相差センサから出力される１対の撮像信号の特徴部分の評価結果に基づく１対の基本波形を選択し、その選択した１対の基本波形を前記位相差センサから出力される１対の撮像信号の代わりに前記フォーカス情報出力手段に出力する波形解析手段と、
   前記位相差センサから出力される１対の撮像信号に基づいて、フォーカスレンズの位置を調整するためのデフォーカス量を求めて出力する位相比較手段と、
   を備え、
   前記フォーカス情報出力手段は、前記波形解析手段から出力される１対の基本波形の位相を前記位相比較手段から出力されるデフォーカス量に応じて互いにずらし、その１対の基本波形を前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記波形解析手段は、前記位相差センサから出力される１対の撮像信号の振幅が閾値以下である場合、又は、前記位相差センサから出力される１対の撮像信号に基づいて前記被写体像が縞模様であると判断した場合、前記１対の撮像信号の信頼性が低い旨を示す評価結果を出力し、
   前記フォーカス情報出力手段は、前記波形解析手段から出力される評価結果を前記フォーカス情報に含めて前記合成手段に出力することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記フォーカス情報出力手段は、前記撮像信号の輝度を縦軸、前記撮像信号を出力する画素位置を横軸とする座標により表される前記１対の撮像信号それぞれの波形を、前記１対の撮像信号の位相差を示す目盛り上に並べたものを前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記フォーカス情報出力手段は、前記１対の撮像信号の位相差を示す数値及び前記被写体像の合焦時の前記１対の撮像信号の位相差の数値の範囲を前記フォーカス情報として前記合成手段に出力することを特徴とする撮像装置。
5. 被写体像から得られる撮像信号により生成される撮像画像を表示する撮像装置の制御方法であって、
   前記被写体像を瞳分割して得られる１対の撮像信号を出力する位相差センサから出力される１対の撮像信号の位相差に基づいて、フォーカス情報を出力し、
   前記フォーカス情報を前記撮像画像に合成し、
   前記合成された撮像画像を表示する際に、
   予め記憶される複数の１対の基本波形のうち前記位相差センサから出力される１対の撮像信号の特徴部分の評価結果に基づく１対の基本波形を選択し、その選択した１対の基本波形を前記位相差センサから出力される１対の撮像信号の代わりに前記フォーカス情報として出力し、
   前記位相差センサから出力される１対の撮像信号に基づいて、フォーカスレンズの位置を調整するためのデフォーカス量を求めて出力し、
   前記フォーカス情報として出力される１対の基本波形の位相を前記デフォーカス量に応じて互いにずらし、その１対の基本波形を前記フォーカス情報として合成して出力することを特徴とする撮像装置の制御方法。
6. 請求項５に記載の撮像装置の制御方法であって、
   前記位相差センサから出力される１対の撮像信号の振幅が閾値以下である場合、又は、前記位相差センサから出力される１対の撮像信号に基づいて前記被写体像が縞模様であると判断した場合、前記１対の撮像信号の信頼性が低い旨を示す評価結果を出力し、
   前記出力される評価結果を前記フォーカス情報に含めて合成して出力することを特徴とする撮像装置の制御方法。
7. 請求項５に記載の撮像装置の制御方法であって、
   前記撮像信号の輝度を縦軸、前記撮像信号を出力する画素位置を横軸とする座標により表される前記１対の撮像信号それぞれの波形を、前記１対の撮像信号の位相差を示す目盛り上に並べたものを前記フォーカス情報として合成して出力することを特徴とする撮像装置の制御方法。
8. 請求項５に記載の撮像装置の制御方法であって、
   前記１対の撮像信号の位相差を示す数値及び前記被写体像の合焦時の前記１対の撮像信号の位相差の数値の範囲を前記フォーカス情報として合成して出力することを特徴とする撮像装置の制御方法。