JP4329694B2 - 撮像装置 - Google Patents

Description

本発明は、被写界を撮像して画像を生成する撮像装置に関する。

従来より、撮像装置において、被写体像の画像を分割し、分割した領域ごとに被写体までの距離情報などを検出して付加し、この情報を用いて画像に画像処理を施す技術が考えられている（例えば、特許文献１参照）。特許文献１の発明では、距離に応じて画像にぼかし処理を施している。
特開２０００−２５９８２３号公報

しかし、上述した発明では、距離情報などを検出する際に、撮影レンズの焦点距離が長い場合は比較的精度良く検出可能であるのに対し、撮影レンズの焦点距離が短い場合は精度良く検出することができないという問題がある。そのため、一眼レフカメラのようにレンズ交換可能な撮像装置や、ズームレンズを備えたカメラの場合、撮影レンズの焦点距離が短い場合には適切な制御を行うことができない場合がある。

本発明は、撮影レンズの焦点距離に応じた距離情報の精度の変化を考慮して、被写体の状況を適切に解析することができる撮像装置を提供することを目的とする。

請求項１に記載の撮像装置は、撮影レンズと、前記撮影レンズの焦点距離を検出する焦点距離検出部と、被写界の複数点における被写体までの距離情報を検出する距離情報検出部と、前記被写界の情報を取得する取得部と、前記撮影レンズを介して前記被写界を撮像し、画像を生成する撮像部と、前記取得部により取得した前記被写界の情報に基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像を複数の領域にグループ化するグループ化部と、前記焦点距離に応じて前記距離情報の信頼度を決定し、前記距離情報検出部により検出された前記距離情報と、前記信頼度を示す情報とを、前記グループ化部によりグループ化された前記領域ごとに付加する情報付加部と、前記グループ化部によるグループ化の結果と、前記情報付加部により付加された前記距離情報および前記信頼度を示す情報とに基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像における被写体の状況を解析する解析部とを備えたことを特徴とする。

請求項２に記載の撮像装置は、撮影レンズと、前記撮影レンズの焦点距離を検出する焦点距離検出部と、被写界の複数点における被写体までの距離情報を検出する距離情報検出部と、前記撮影レンズを介して前記被写界を撮像し、画像を生成する撮像部と、前記撮像部により生成された前記画像に基づいて、その画像を複数の領域にグループ化するグループ化部と、前記焦点距離に応じて前記距離情報の信頼度を決定し、前記距離情報検出部により検出された前記距離情報と、前記信頼度を示す情報とを、前記グループ化部によりグループ化された前記領域ごとに付加する情報付加部と、前記グループ化部によるグループ化の結果と、前記情報付加部により付加された前記距離情報および前記信頼度を示す情報とに基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像における被写体の状況を解析する解析部とを備えたことを特徴とする。

請求項３に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記撮影レンズは繰出し可能なレンズであり、前記撮影レンズのレンズ繰出し量を検出する繰出し量検出部と、前記被写界の複数点における焦点調節状態を示す焦点検出値を検出する焦点検出部とを備え、前記距離情報検出部は、前記被写界の複数点における前記焦点検出値と、前記繰出し量検出部により検出された前記レンズ繰出し量とに基づいて、前記距離情報を検出することを特徴とする。

請求項４に記載の撮像装置は、請求項３に記載の撮像装置において、前記解析部は、前記グループ化の結果と、前記距離情報と、前記信頼度を示す情報とに加えて、前記焦点検出値に基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像における被写体の状況を解析することを特徴とする。
請求項５に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記撮影レンズは繰出し可能なレンズであり、前記撮影レンズのレンズ繰出し量を検出する繰出し量検出部と、前記被写界の複数点において、前記取得部により取得された前記被写界の情報または前記撮像部により生成された前記画像のコントラストに基づいて、焦点調節を行う焦点調節部とを備え、前記距離情報検出部は、前記焦点調節部による焦点調節によって合焦状態になった際に前記繰出し量検出部により検出された前記レンズ繰出し量に基づいて、前記距離情報を検出することを特徴とする。

請求項６に記載の撮像装置は、請求項３または請求項５に記載の撮像装置において、前記繰出し量検出部により検出された前記レンズ繰出し量ごとの誤差を検出する誤差検出部をさらに備え、前記情報付加部は、前記誤差検出部により検出された誤差が大きいほど、前記信頼度を小さくすることを特徴とする。
請求項７に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記情報付加部は、前記焦点距離検出部により検出された前記焦点距離が長いほど、前記信頼度を大きくし、前記焦点距離が短いほど、前記信頼度を小さくすることを特徴とする。

請求項８に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記情報付加部は、前記距離情報検出部により検出された前記距離情報が示す距離が短いほど、前記信頼度を大きくし、前記距離情報が示す距離が長いほど、前記信頼度を小さくすることを特徴とする。
請求項９に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記情報付加部は、前記グループ化部によりグループ化された前記領域のうち、前記距離情報検出部により前記距離情報を検出する点を含まない領域については、所定の距離情報を付加するとともに、前記信頼度を、前記焦点距離に応じて決定する信頼度よりも小さくすることを特徴とする。

請求項１０に記載の撮像装置は、請求項１または請求項２に記載の撮像装置において、前記情報付加部は、前記グループ化部によりグループ化された前記領域のうち、前記距離情報検出部による前記距離情報の検出が不可能である領域については、所定の距離情報付加するとともに、前記信頼度を、前記焦点距離に応じて決定する信頼度よりも小さくすることを特徴とする。

本発明によれば、撮影レンズの焦点距離に応じた距離情報の精度の変化を考慮して、被写体の状況を適切に解析することができる撮像装置を提供することができる。

以下、図面を用いて本発明の実施形態について説明する。以下の各実施形態では、本発明の撮像装置の一例として、デジタルカメラを用いて説明を行う。なお、本発明の技術を銀塩カメラや動画撮影機能を備えたカメラに適用するようにしても良い。
《第１実施形態》
図１は、第１実施形態のカメラ１００の機能ブロック図である。カメラ１００は一眼レフデジタルカメラである。図１に示すように、カメラ１００は、レンズ部分と本体部分とからなり、レンズ部分は、繰出し可能な撮影レンズ１、絞り２、撮影レンズ１を駆動するレンズ駆動部３、撮影レンズ１の焦点距離を検出する距離検出部４、絞り２を制御する絞り制御部５、レンズ部分の各部を制御するレンズ側マイコン６を備える。また、カメラ１００は、レンズ部分と本体部分とを電気的に接続する電気接点７を備える。

レンズ駆動部３は、焦点調節のために撮影レンズ１を繰出し、距離検出部４は、撮影レンズ１のレンズ繰出し量を検出し、撮影レンズ１が像を結ぶ距離を検出する。以上説明した各機能は、レンズ側マイコン６によって制御される。
また、カメラ部分は、撮影レンズ１からの光束を分岐するためのクイックリターンミラー１１、焦点板１２、ペンタプリズム１３を備えるとともに、ペンタプリズム１３からの光束を分岐するためのハーフミラー１４を備える。さらに、ハーフミラー１４からの光束を構図確認に用いるための接眼レンズ１５、後述する被写体の情報の取得するための再結像レンズ１６、撮像素子１７を備える。

また、カメラ部分は、画像を撮像するための撮像素子１８、シャッタ１９を備えるとともに、焦点検出に用いる光束を導くサブミラー２０を備える。また、各部の制御に関わるボディ側マイコン２１、焦点検出部２２、シャッタ１９を制御するシャッタ制御部２３、ＲＯＭ２４、ＲＡＭ２５を備えるとともに、画像を記録するための外部記憶装置２６を備える。また、撮像素子１７により取得した情報をＡ／Ｄ変換するＡ／Ｄ変換器２７、撮像素子１７を駆動する撮像素子駆動部２８を備えるとともに、撮像素子１８により得られた画像に画像処理を施すための画像処理部２９、撮像素子１８により取得した情報をＡ／Ｄ変換するＡ／Ｄ変換器３０、撮像素子１８を駆動する撮像素子駆動部３１を備える。

被写体からの光束は撮影レンズ１および絞り２を通過して、クイックリターンミラー１１に導かれる。撮影時にはクイックリターンミラー１１が跳ね上がるとともに、シャッタ１９が開放され、被写体からの光束は撮影レンズ１により撮像素子１８の撮像面上に結像される。そして、撮像素子１８からの画像信号はＡ／Ｄ変換器３０によってデジタル信号化され、画像処理部２９によって画像処理が施された後に、ＲＡＭ２５に記憶される。

撮影時以外、すなわち構図確認中などには、クイックリターンミラー１１は下がり、被写体からの光束の一部は、クイックリターンミラー１１により反射され、焦点板１２上に結像する。この像はペンタプリズム１３を介してハーフミラー１４に導かれ、ハーフミラー１４を透過した光束は接眼レンズ１５に到達する。ユーザは、接眼レンズ１５を介してこの像を観察することにより、構図を確認することができる。一方、ハーフミラー１４により反射された光束は、再結像レンズ１６を介して撮像素子１７上に結像する。

撮像素子１７は、画像撮像用の撮像素子１８とは別に設けられ、被写体の画像を生成することが可能なＣＣＤエリアセンサやＣＭＯＳエリアセンサである。なお、撮像素子１７は、１万画素から数十万画素程度の画素数を持つカラーイメージセンサである。この撮像素子１７は、クイックリターンミラー１１が下がり、シャッタ１９が閉じていて撮像素子１８による撮像が行われていない状態でも、被写体の画像を生成することができる。さらに、撮像素子１７は、露出制御用センサ、ホワイトバランス制御用センサなどの測光／測色センサおよび後述する被写体解析用センサを兼ねる。被写体解析用センサとして人物など被写体を識別するためには、従来からある千画素程度の露出制御用センサでは画素数が不足しており、上記画素数が必要である。

撮像素子１７からの画像信号はＡ／Ｄ変換器２７によってデジタル信号化され、ＲＡＭ２５に記憶される。なお、撮像素子１７により生成される画像の測光値および測色値は、請求項の「被写界の情報」に対応する。
ところで、撮影時以外、すなわち構図確認中などに、下がった状態のクイックリターンミラー１１を透過した、被写体からの光束の一部は、サブミラー２０によって焦点検出部２２に導かれる。焦点検出部２２は、撮影レンズ１を通過する光束を用いて、視差を有する被写体の２像を１対のイメージセンサアレー上に導き、イメージセンサアレーの画像出力から像の相対的ずれ量を算出して合焦状態を判別する、いわゆる位相差方式の焦点検出を行う。焦点検出部２２は、焦点検出値として、被写体像がカメラ１００の像面からどの程度ずれているかを示すデフォーカス量を、被写界の複数の測距点（請求項の「被写界の複数点」に対応する。）において検出する。図２Ａに複数の測距点Ｔ１〜Ｔ１１を示す。

ここまで説明した各部は、基本的に、ボディ側マイコン２１によって制御される。ボディ側マイコン２１の各制御プログラムは、ＲＯＭ２４に記憶されている。また撮像素子１８により生成されて、ＲＡＭ２５に記憶された画像は、メモリカードなどの外部記憶装置２６などにファイルとして出力され、ユーザの利用に供される。また、ボディ側マイコン２１は、電気接点７を介して、レンズ側マイコン６と相互に接続される。そして、ボディ側マイコン２１は、電気接点７を介して、レンズ側マイコン６を制御する。

なお、撮影レンズ１およびレンズ駆動部３は、請求項の「撮影レンズ」に対応し、距離検出部４、レンズ側マイコン６は、請求項の「焦点距離検出部」および「繰出し量検出部」に対応する。また、ボディ側マイコン２１は、請求項の「距離情報検出部」、「グループ化部」、「情報付加部」、「解析部」および「誤差検出部」に対応し、撮像素子１７、ボディ側マイコン２１、Ａ／Ｄ変換器２７、撮像素子駆動部２８は、請求項の「取得部」に対応する。また、絞り２、絞り制御部５、レンズ側マイコン６、撮像素子１８、シャッタ１９、ボディ側マイコン２１、シャッタ制御部２３、画像処理部２９、Ａ／Ｄ変換器３０、撮像素子駆動部３１は、請求項の「撮像部」に対応し、ボディ側マイコン２１、焦点検出部２２は、請求項の「焦点検出部」に対応する。なお、この対応付けは一例である。

以上説明した構成のカメラ１００の動作について、図３に示すフローチャートを用いて説明する。
ステップＳ１において、ボディ側マイコン２１は、ユーザにより不図示のレリーズボタンが半押しされたか否かを判定する。
ボディ側マイコン２１は、不図示のレリーズボタンが半押しされるまで待機し、半押しされると、ステップＳ２において、焦点検出部２２を介して焦点検出を行う。具体的には、前述した位相差方式の焦点検出を行い、図２に示した複数の測距点Ｔ１〜Ｔ１１においてデフォーカス量を検出する。

ステップＳ３において、ボディ側マイコン２１は、オートフォーカス演算を行う。具体的には、ステップＳ１において検出したデフォーカス量を基に、撮影レンズ１をどれだけ駆動すれば合焦するかを演算する。
ステップＳ４において、ボディ側マイコン２１は、レンズ側マイコン６を介してレンズ駆動部３を制御し、ステップＳ３の演算結果にしたがって焦点調節を行う。

ステップＳ５において、ボディ側マイコン２１は、焦点距離を検出する。すなわち、ボディ側マイコン２１は、距離検出部４を介して、ステップＳ４における撮影レンズ１の繰出し量を検出して、その時点で撮影レンズ１が像を結ぶ距離を算出する。なお、レンズのなかには、一部のレンズ群を移動させて焦点調節を行うものもあり、この場合には、移動するレンズ群の移動量を検出して像を結ぶ距離を算出する。本明細書中では、この移動量も繰出し量と呼ぶこととする。

ボディ側マイコン２１は、繰出し量と焦点距離との関係を予めテーブルとして記憶しておき、テーブル参照によって焦点距離を検出するようにすれば良い。なお、繰出し量は、撮影レンズ１の距離環にエンコーダなどを設けて検出する。
なお、ステップＳ５の時点では、焦点の合っている被写体までの距離が求められるだけで、背景など他の距離にある被写体までの距離は求められていない。

ステップＳ６において、ボディ側マイコン２１は、各測距点における被写体距離を検出する。ボディ側マイコン２１は、以下の手順で被写体距離を検出する。すなわち、撮影レンズ１の焦点距離をｆ、ステップＳ５において距離検出部４の出力に基づいて検出した焦点距離をＬ、求めたい測距点での被写体距離をＸ、求めたい測距点において、ステップＳ２で検出したデフォーカス量をＤ、撮影レンズ１のレンズ像空間主点から撮像面までの距離をＫとおくと、薄肉レンズの結像式から以下の式が成り立つ。

この（式１）からＫを消去して、距離Ｘを求める。

以上の演算を行うことにより各測距点における被写体距離を検出することができる。なお、この被写体距離Ｘは、請求項の「被写体までの距離情報」に対応する。
ステップＳ７において、ボディ側マイコン２１は、撮像素子駆動部２８および撮像素子１７を介して、被写界の情報を取得する。すなわち、撮像素子１７により画像を生成し、Ａ／Ｄ変換器３０によってＡ／Ｄ変換をした後、ＲＡＭ２５に記録する。

ステップＳ８において、ボディ側マイコン２１は、ステップＳ７で取得した被写界の情報に対してグループ化を行う。すなわち、ステップＳ７生成した画像に基づいて、この画像を複数の領域にグループ化する。具体的には、画像から、色情報や輝度情報を抽出し、似た色の被写体のある領域、あるいは近い輝度の被写体の存在する領域をグループ化する。これにより画像内において、異なる被写体と推定される部分ごとに概ねグループ化することができる。図２Ｂにグループ化の例を示す。図２Ｂでは、背景上部分のグループＡ１、人物の顔部分のグループＡ２、背景左下部分のグループＡ３、人物の体部分のグループＡ４、背景右下部分のグループＡ５にグループ化された例を示す。

ステップＳ９において、ボディ側マイコン２１は、情報を付加する。ボディ側マイコン２１は、まず、ステップＳ８でグループ化した領域ごとに、付加情報として、その領域に存在する測距点（例えば、図２ＢのグループＡ４であれば、測距点Ｔ１０）においてステップＳ６で求めた被写体距離を付加する。
そして、付加した情報がどの程度信頼できるかを示す信頼度を示す情報を付加する。このとき撮影レンズ１の焦点距離が長いほど信頼度を大きくし、撮影レンズ１の焦点距離が短いほど信頼度を小さくする。これは、撮影レンズ１の焦点距離が短い場合には、被写界深度が深くなって、位相差方式による焦点検出が難しく精度が低くなり、また、逆に撮影レンズ１の焦点距離が長い場合には、焦点検出の精度が高くなることを考慮するためである。

また、ステップＳ６で検出した被写体距離が短いほど信頼度を大きくし、ステップＳ６で検出した被写体距離が短いほど信頼度を小さくする。これは、同じ焦点距離であれば被写体距離が長い場合よりも短い場合のほうが、焦点検出が容易なため、被写体距離の検出の精度が高くなることを考慮するためである。
このように焦点距離および被写体距離を考慮して、精度良く被写体距離を検出できる条件では、信頼度を大きくし、被写体距離を検出できる精度が低くなる条件では、信頼度を小さくして、グループ化した領域ごとに情報を付加する。

また、もしある測距点において、被写体にコントラストが無い（例えば、空の部分など）などの原因で、焦点検出が不可能な場合、被写体距離の検出も不可能である。グループ化した領域のうち、このような測距点が存在する領域については、同じ領域に他の測距点が存在すれば、その情報を用いる。また、グループ化した領域に存在する測距点の全てにおいて焦点検出が不可能な場合は、予め決められた値を被写体距離として代入し、信頼度を、前述した手順で求められる信頼度よりも小さくする。

また、グループ化した領域に測距点が存在しない場合は、予め決められた値を被写体距離として代入し、信頼度を、前述した手順で求められる信頼度よりも小さくする。
また、前述した距離検出部４に付随して、検出された繰出し量がどの程度の誤差を含んでいるかをテーブルとして記憶しておき、この誤差が大きいほど、前述した信頼度を小さくするようにしても良い。このように誤差を加味することにより、エンコーダ誤差や被写界深度の変化に伴う誤差など、撮影レンズ１に固有の誤差を加味して信頼度を決めることができる。

ステップＳ１０において、ボディ側マイコン２１は、ステップＳ８におけるグループ化の結果と、ステップＳ９において付加された情報とに基づいて、被写体の状況を解析する。まず、ボディ側マイコン２１は、ステップＳ５で検出した焦点距離に基づいて、グループ化した領域のうち、主要被写体が含まれる領域を推定する。そして、その領域に隣接しており、かつ、被写体距離が近い領域も主要被写体の一部と認識して、グループ化した領域を主要被写体を含む部分と含まない部分とに分ける。

例えば、ステップＳ８のグループ化の結果、人物の顔部分のグループＡ２と人物の体部分のグループＡ４は別のグループにグループ化されたが、被写体距離を用いて解析を行うことにより、人物の顔部分のグループＡ２も人物の体部分のグループＡ４も主要被写体であると認識することができる。
また、被写体距離に基づいて解析を行うことで、グループ化した領域のうち、他の領域より被写体距離が短い領域を前景として認識し、他の領域より被写体距離が長い領域を背景として認識することができる。

なお、これらの解析をするときに、付加された信頼度が大きい場合には、解析結果を重視する制御を行い、付加された信頼度が小さい場合には、解析結果に依存しない制御の比重を高くするようにする。
ステップＳ１１において、ボディ側マイコン２１は、解析の結果を各部に出力する。すなわち、ボディ側マイコン２１は、後述する撮影時のオートフォーカス演算、露出演算、ホワイトバランス制御、階調制御などの動作を行う各部に出力する。

ステップＳ１２において、ボディ側マイコン２１は、露出演算を行って絞りとシャッタ速度とを決定する。なお、露出演算に用いる測光値はステップＳ７で取得した被写界の情報（画像）を用いて演算する。この際、ステップＳ１０における解析の結果に基づいて、被写体の状況に応じた最適な制御を行う。ステップＳ１０における解析の結果、主要被写体の領域を推定可能であるので、この領域に対して、特に良好な露出を与えるような露出制御値を計算する。また背景の領域を推定可能であるので、この領域に対して、背景に向いた露出制御値を計算する。

ステップＳ１３において、ボディ側マイコン２１は、ユーザにより不図示のレリーズボタンが全押しされたか否かを判定する。
ボディ側マイコン２１は、不図示のレリーズボタンが全押しされない場合には、ステップＳ２に戻り、ステップＳ２からステップＳ１２までの動作を繰り返し行う。なお、２回目以降については、それまでに得られた情報も用いて各演算を行う。このようにして変化する被写体状況に追従して、適切な制御を行う。ただし、ステップＳ２からステップＳ１２の順番は厳密なものでなく、必要な情報が得られていれば順番の一部が前後しても良い。

一方、不図示のレリーズボタンが全押しされると、ステップＳ１４において、ボディ側マイコン２１は、各部を介して撮像を行う。すなわち、ボディ側マイコン２１は、クイックリターンミラー１１を跳ね上げるとともに、レンズ側マイコン６および絞り制御部５を介して絞り２を絞り込み、さらに、シャッタ制御部２３を介してシャッタ１９を開放し、撮像素子駆動部３１を介して撮像素子１８による撮像を行う。そして、撮像素子１８により生成した画像を、Ａ／Ｄ変換器３０によりデジタル化して、ＲＡＭ２５に記録するとともに、シャッタ制御部２３を介してシャッタ１９を閉じる。なお、シャッタ１９は、機械的なシャッタでも良いし、電子シャッタでも良い。そして、ボディ側マイコン２１は、クイックリターンミラー１１を下げる。

ステップＳ１５において、ボディ側マイコン２１は、画像処理部２９を介して、画像処理を行う。このとき、ステップＳ１１において、画像処理部２９に出力された解析結果に基づいて画像処理を行う。したがって、被写体の状況に応じた最適な画像処理を行うことができる。例えば、ステップＳ１０における解析の結果、主要被写体の領域を推定可能であるので、この領域が良好に再現されるようホワイトバランスゲイン、階調カーブを採用することができる。また背景の領域を推定可能であるので、この領域に対して、背景として好ましいホワイトバランス、階調カーブを採用することができる。

ステップＳ１６において、ボディ側マイコン２１は、画像を圧縮して外部記憶装置２６に記録する。
以上説明したように、第１実施形態によれば、撮影レンズの焦点距離を検出するとともに、被写界の複数点における被写体までの距離情報を検出する。そして、被写界の情報を取得するとともに、撮影レンズを介して被写界を撮像し、画像を生成する。さらに、被写界の情報に基づいて、被写界の情報または撮像により生成した画像を複数の領域にグループ化するとともに、焦点距離に応じて距離情報の信頼度を決定して、グループ化した領域ごとに付加する。そして、グループ化の結果と、距離情報および信頼度を示す情報とに基づいて、被写界の情報または撮像により生成した画像における被写体の状況を解析する。したがって、撮影レンズの焦点距離に応じた距離情報の精度の変化を考慮して、被写体の状況を適切に解析することができる。そして、解析結果を各部の制御に反映させることにより、レンズ交換やズーミングによる焦点距離の変化に応じて、各部において最適な制御を行うことができ、良好な画像を生成することができる。

また、第１実施形態によれば、繰出し可能なレンズである撮影レンズのレンズ繰出し量を検出するとともに、被写界の複数点における焦点調節状態を示す焦点検出値を検出する。そして、被写界の複数点における焦点検出値と、レンズ繰出し量とに基づいて、距離情報を検出する。したがって、より精度良く距離情報を検出することができる。
また、第１実施形態によれば、グループ化の結果と、距離情報と、信頼度を示す情報とに加えて、焦点検出値に基づいて、被写界の情報または撮像により生成した画像における被写体の状況を解析する。したがって、被写体の状況をより適切に解析することができる。

また、第１実施形態によれば、レンズ繰出し量ごとの誤差を検出し、検出した誤差が大きいほど、信頼度を小さくする。したがって、撮影レンズに固有の誤差を加味して適切な解析を行うことができる。
また、第１実施形態によれば、検出した焦点距離が長いほど、信頼度を大きくし、検出した焦点距離が短いほど、信頼度を小さくするとともに、検出した距離情報が示す距離が短いほど、信頼度を大きくし、距離情報が示す距離が長いほど、信頼度を小さくする。したがって、撮影レンズの焦点距離に応じた距離情報の精度の変化を考慮して、被写体の状況を適切に解析することができる。

また、第１実施形態によれば、グループ化した領域のうち、距離情報を検出する点を含まない領域については、所定の距離情報を付加するとともに、信頼度を、焦点距離に応じて決定する信頼度よりも小さくする。したがって、グループ化により距離情報を検出する点を含まない領域が存在する場合でも、被写体の状況を適切に解析することができる。
また、第１実施形態によれば、グループ化した領域のうち、距離情報の検出が不可能である領域については、所定の距離情報付加するとともに、信頼度を、焦点距離に応じて決定する信頼度よりも小さくする。したがって、グループ化により距離情報の検出が不可能である領域が存在する場合でも、被写体の状況を適切に解析することができる。

《第２実施形態》
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態のカメラ２００はコンパクトタイプのデジタルカメラである。図４に示すように、カメラ２００は、第１実施形態のカメラ１００と同様の構成を備える。したがって、以下では、第１実施形態と同様の部分については、第１実施形態と同様の符号を用いて説明を行う。

第２実施形態のカメラ２００は、図４に示すように、第１実施形態と同様の繰出し可能な撮影レンズ１、絞り２、撮影レンズ１を駆動するレンズ駆動部３、撮影レンズ１の焦点距離を検出する距離検出部４、絞り２を制御する絞り制御部５を備える。また、第１実施形態と同様に、画像を撮像するための撮像素子１８、撮像素子１８により得られた画像に画像処理を施すための画像処理部２９、撮像素子１８により取得した情報をＡ／Ｄ変換するＡ／Ｄ変換器３０、撮像素子１８を駆動する撮像素子駆動部３１を備える。また、第１実施形態と同様に、ＲＯＭ２４、ＲＡＭ２５、外部記憶装置２６を備えるとともに、各部を制御するマイコン５０を備える。

カメラ２００は、第１実施形態のカメラ１００と異なり、露出制御用センサ、ホワイトバランス制御用センサおよび後述する被写体解析用センサを兼ねるセンサ（第１実施形態の撮像素子１７）を備えないので、露出制御やオートフォーカス、および被写体解析用の情報を、撮像素子１８により生成される画像に基づいて得る構成である。
また、カメラ２００は、撮影レンズ１の繰出し量を変化させながら、撮像素子１８により画像を生成し、その画像のコントラストを、被写界のなかの複数点において評価する、いわゆる山登り方式の焦点検出を行う。

被写体からの光束は撮影レンズ１および絞り２を通過して、撮像素子１８上に結像する。そして、撮像素子１８からの画像信号はＡ／Ｄ変換器３０によってデジタル信号化され、画像処理部２９によって画像処理が施された後に、ＲＡＭ２５に記憶される。そして、ＲＡＭ２５に記憶された画像は、メモリカードなどの外部記憶装置２６などにファイルとして出力され、ユーザの利用に供される。

ここまで説明した各部は、マイコン５０によって制御される。マイコン５０の各制御プログラムは、ＲＯＭ２４に記憶されている。
なお、撮影レンズ１およびレンズ駆動部３は、請求項の「撮影レンズ」に対応し、距離検出部４、マイコン５０は、請求項の「焦点距離検出部」および「繰出し量検出部」に対応する。また、マイコン５０は、請求項の「距離情報検出部」、「グループ化部」、「情報付加部」、「解析部」および「焦点調節部」に対応し、絞り２、絞り制御部５、撮像素子１８、画像処理部２９、Ａ／Ｄ変換器３０、撮像素子駆動部３１、マイコン５０は、請求項の「撮像部」に対応する。なお、この対応付けは一例である。

以上説明した構成のカメラ２００の動作について、図５に示すフローチャートを用いて説明する。
ステップＳ２１において、マイコン５０は、ユーザにより不図示のレリーズボタンが半押しされたか否かを判定する。
マイコン５０は、不図示のレリーズボタンが半押しされるまで待機し、半押しされると、ステップＳ２２において、撮像素子１８を介して、予備撮像を開始する。すなわち、撮像素子１８は、垂直方向に画素を間引いた画像を所定の速度（例えば３０フレーム／１秒）で連続して出力する。出力された画像は、Ａ／Ｄ変換器３０でデジタル化されＲＡＭ２５に記録される。なお、この予備撮像により生成された画像は、後述するオートフォーカス演算、露出制御、画像処理などの制御に用いられる。また、この画像を、不図示の表示部にスルー画として表示するようにしても良い。

ステップＳ２３において、マイコン５０は、予備撮像により生成された画像のコントラスト評価値を算出する。すなわち、画像内の測距点に対応する部分のコントラスト評価値を算出する。
ステップＳ２４において、マイコン５０は、ステップＳ２３で算出したコントラスト評価値を、それ以前に算出したコントラスト評価値と比較する。

ステップＳ２５において、マイコン５０は、合焦状態であるか否かを判定する。コントラスト評価値が最大になる状態が合焦状態であり、マイコン５０は、ステップＳ２４における比較結果に基づいて、合焦状態であるか否かの判定と行う。
合焦状態でない場合、ステップＳ２６において、マイコン５０は、レンズ駆動部３を制御し、ステップＳ２４における比較結果にしたがって焦点調節を行う。そして、ステップＳ２３に戻り、最新の予備撮像により生成された画像におけるコントラスト評価値の算出を行う。以上説明したステップＳ２３からステップＳ２６の動作を繰り返して、合焦状態に至るまで焦点調節を行う。

そして、合焦状態であると判定されると、ステップＳ２７において、マイコン５０は、焦点距離を検出する。すなわち、マイコン５０は、距離検出部４を介して、合焦状態における撮影レンズ１の繰出し量を検出して、その時点で撮影レンズ１が像を結ぶ距離（焦点距離）を算出する。なお、繰出し量と焦点距離との関係を予めテーブルとして記憶しておき、テーブル参照によって焦点距離を検出するようにすれば良い。なお、繰出し量は、レンズ駆動部３として例えばステッピングモータを用いた場合は、マイコン５０からレンズ駆動部３に送った信号パルス数などから求めるようにすれば良い。

ステップＳ２８において、マイコン５０は、各測距点における被写体距離を検出する。マイコン５０は、各測距点において、ステップＳ２３で求めたコントラスト評価値が最大になる状態であるときの焦点距離をステップＳ２７と同様に求め、被写体距離とする。
ステップＳ２９において、マイコン５０は、最新の予備撮像により生成された画像に対してグループ化を行う。すなわち、最新の予備撮像により生成された画像に基づいて、この画像を第１実施形態のステップＳ８と同様に、複数の領域にグループ化する。

ステップＳ３０において、マイコン５０は、情報を付加する。マイコン５０は、まず、ステップＳ２９でグループ化した領域ごとに、付加情報として、その領域に存在する測距点においてステップＳ２８で求めた被写体距離を付加する。
そして、付加した情報がどの程度信頼できるかを示す信頼度を示す情報を付加する。このとき撮影レンズ１の焦点距離が長いほど信頼度を大きくし、撮影レンズ１の焦点距離が短いほど信頼度を小さくする。これは、撮影レンズ１の焦点距離が短い場合には、被写界深度が深くなって、山登り方式による焦点検出が難しく精度が低くなり、また、逆に撮影レンズ１の焦点距離が長い場合には、被写界深度が浅くなって、合焦状態でないときの画像のボケ量が大きいため、焦点検出の精度が高くなることを考慮するためである。

また、ステップＳ２８で検出した被写体距離が短いほど信頼度を大きくし、ステップＳ２８で検出した被写体距離が短いほど信頼度を小さくする。これは、被写体距離が長い場合よりも短い場合のほうが、合焦状態でないときの画像のボケ量が大きくなり、焦点検出が容易なため、被写体距離の検出の精度が高くなることを考慮するためである。
このように焦点距離および被写体距離を考慮して、精度良く被写体距離を検出できる条件では、信頼度を大きくし、被写体距離を検出できる精度が低くなる条件では、信頼度を小さくして、グループ化した領域ごとに情報を付加する。

ステップＳ３１において、マイコン５０は、ステップＳ２９におけるグループ化の結果と、ステップＳ３０において付加された情報とに基づいて、被写体の状況を解析する。まず、マイコン５０は、ステップＳ２７で検出した焦点距離に基づいて、グループ化した領域のうち、主要被写体が含まれる領域を推定する。そして、第１実施形態のステップＳ１０と同様に、その領域に隣接しており、かつ、被写体距離が近い領域も主要被写体の一部と認識して、グループ化した領域を主要被写体を含む部分と含まない部分とに分ける。

また、被写体距離に基づいて解析を行うことで、グループ化した領域のうち、他の領域より被写体距離が短い領域を前景として認識し、他の領域より被写体距離が長い領域を背景として認識することができる。
なお、これらの解析をするときに、付加された信頼度が大きい場合には、解析結果を重視する制御を行い、付加された信頼度が小さい場合には、解析結果に依存しない制御の比重を高くするようにする。

ステップＳ３２において、マイコン５０は、解析の結果を各部に出力する。すなわち、マイコン５０は、後述する撮影時のオートフォーカス演算、露出演算、ホワイトバランス制御、階調制御などの動作を行う各部に出力する。
ステップＳ３３において、マイコン５０は、ユーザにより不図示のレリーズボタンが全押しされたか否かを判定する。

マイコン５０は、不図示のレリーズボタンが全押しされない場合には、ステップＳ２３に戻り、ステップＳ２３からステップＳ３２までの動作を繰り返し行う。なお、２回目以降については、それまでに得られた情報も用いて各演算を行う。このようにして変化する被写体状況に追従して、適切な制御を行う。ただし、ステップＳ２３からステップＳ３２の順番は厳密なものでなく、必要な情報が得られていれば順番の一部が前後しても良い。

一方、不図示のレリーズボタンが全押しされると、ステップＳ３４において、マイコン５０は、各部を介して本撮像を行う。すなわち、マイコン５０は、撮像素子駆動部３１を介して撮像部１８による撮像を行う。そして、撮像素子１８により生成した画像を、Ａ／Ｄ変換器３０によりデジタル化して、ＲＡＭ２５に記録する。
このとき、マイコン５０は、ステップＳ３２において出力された解析結果に基づいて露出制御を行う。すなわち、ステップＳ３１における解析の結果、主要被写体の領域を推定可能であるので、この領域に対して、特に良好な露出を与えるような露出制御を行う。また背景の領域を推定可能であるので、この領域に対して、背景に向いた露出制御を行う。また、マイコン５０は、ステップＳ３２において出力された解析結果に基づいて本撮影時のオートフォーカスを行う。すなわち、ステップＳ３１における解析の結果、背景領域がどのように拡がっているかを考慮し、背景の部分をオートフォーカスに採用しないようにすることで、背景にオートフォーカスが引張られて主要被写体がピンぼけしてしまうことを防ぐようにする。

ステップＳ３５において、マイコン５０は、画像処理部２９を介して、画像処理を行う。このとき、ステップＳ３２において、画像処理部２９に出力された解析結果に基づいて画像処理を行う。したがって、被写体の状況に応じた最適な画像処理を行うことができる。例えば、ステップＳ３１における解析の結果、主要被写体の領域を推定可能であるので、この領域が良好に再現されるようホワイトバランスゲイン、階調カーブを採用することができる。また背景の領域を推定可能であるので、この領域に対して、背景として好ましいホワイトバランス、階調カーブを採用することができる。

ステップＳ３６において、マイコン５０は、画像を圧縮して外部記憶装置２６に記録する。
以上説明したように、第２実施形態によれば、撮影レンズの焦点距離を検出するとともに、被写界の複数点における被写体までの距離情報を検出する。そして、撮影レンズを介して被写界を撮像し、画像を生成する。さらに、撮像により生成した画像に基づいて、その画像を複数の領域にグループ化するとともに、焦点距離に応じて距離情報の信頼度を決定し、グループ化した領域ごとに付加する。そして、グループ化の結果と、距離情報および信頼度を示す情報とに基づいて、撮像により生成した画像における被写体の状況を解析する。したがって、撮影レンズの焦点距離に応じた距離情報の精度の変化を考慮して、被写体の状況を適切に解析することができる。そして、解析結果を各部の制御に反映させることにより、レンズ交換やズーミングによる焦点距離の変化に応じた距離情報の精度の変化を考慮して、各部において最適な制御を行うことができ、良好な画像を生成することができる。

また、第２実施形態によれば、繰出し可能なレンズである撮影レンズのレンズ繰出し量を検出するとともに、被写界の複数点において、撮像により生成した画像のコントラストに基づいて、焦点調節を行う。そして、焦点調節によって合焦状態になった際に検出したレンズ繰出し量に基づいて、距離情報を検出する。したがって、より精度良く距離情報を検出することができる。

第１実施形態の電子カメラ１００の構成を示すブロック図である。 測距点およびグループ化について説明する図である。 第１実施形態の電子カメラ１００の動作を示すフローチャートである。 第２実施形態の電子カメラ２００の構成を示すブロック図である。 第２実施形態の電子カメラ２００の動作を示すフローチャートである。

符号の説明

１ 撮影レンズ
２ 絞り
３ レンズ駆動部
４ 距離検出部
５ 絞り制御部
６ レンズ側マイコン
７ 電気接点
１１ クイックリターンミラー
１２ 焦点板
１３ ペンタプリズム
１４ ハーフミラー
１５ 接眼レンズ
１６ 再結像レンズ
１７，１８ 撮像素子
１９ シャッタ
２０ サブミラー
２１ ボディ側マイコン
２２ 焦点検出部
２３ シャッタ制御部
２４ ＲＯＭ
２５ ＲＡＭ
２６ 外部記憶装置
２７，３０ Ａ／Ｄ変換器
２８，３１ 撮像素子駆動部
２９ 画像処理部
５０ マイコン
１００，２００ カメラ

Claims (10)

1. 撮影レンズと、
   前記撮影レンズの焦点距離を検出する焦点距離検出部と、
   被写界の複数点における被写体までの距離情報を検出する距離情報検出部と、
   前記被写界の情報を取得する取得部と、
   前記撮影レンズを介して前記被写界を撮像し、画像を生成する撮像部と、
   前記取得部により取得した前記被写界の情報に基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像を複数の領域にグループ化するグループ化部と、
   前記焦点距離に応じて前記距離情報の信頼度を決定し、前記距離情報検出部により検出された前記距離情報と、前記信頼度を示す情報とを、前記グループ化部によりグループ化された前記領域ごとに付加する情報付加部と、
   前記グループ化部によるグループ化の結果と、前記情報付加部により付加された前記距離情報および前記信頼度を示す情報とに基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像における被写体の状況を解析する解析部と
   を備えたことを特徴とする撮像装置。
2. 撮影レンズと、
   前記撮影レンズの焦点距離を検出する焦点距離検出部と、
   被写界の複数点における被写体までの距離情報を検出する距離情報検出部と、
   前記撮影レンズを介して前記被写界を撮像し、画像を生成する撮像部と、
   前記撮像部により生成された前記画像に基づいて、その画像を複数の領域にグループ化するグループ化部と、
   前記焦点距離に応じて前記距離情報の信頼度を決定し、前記距離情報検出部により検出された前記距離情報と、前記信頼度を示す情報とを、前記グループ化部によりグループ化された前記領域ごとに付加する情報付加部と、
   前記グループ化部によるグループ化の結果と、前記情報付加部により付加された前記距離情報および前記信頼度を示す情報とに基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像における被写体の状況を解析する解析部と
   を備えたことを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記撮影レンズは繰出し可能なレンズであり、
   前記撮影レンズのレンズ繰出し量を検出する繰出し量検出部と、
   前記被写界の複数点における焦点調節状態を示す焦点検出値を検出する焦点検出部とを備え、
   前記距離情報検出部は、前記被写界の複数点における前記焦点検出値と、前記繰出し量検出部により検出された前記レンズ繰出し量とに基づいて、前記距離情報を検出する
   ことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記解析部は、前記グループ化の結果と、前記距離情報と、前記信頼度を示す情報とに加えて、前記焦点検出値に基づいて、前記取得部により取得した前記被写界の情報または前記撮像部により生成された前記画像における被写体の状況を解析する
   ことを特徴とする撮像装置。
5. 請求項１または請求項２に記載の撮像装置において、
   前記撮影レンズは繰出し可能なレンズであり、
   前記撮影レンズのレンズ繰出し量を検出する繰出し量検出部と、
   前記被写界の複数点において、前記取得部により取得された前記被写界の情報または前記撮像部により生成された前記画像のコントラストに基づいて、焦点調節を行う焦点調節部とを備え、
   前記距離情報検出部は、前記焦点調節部による焦点調節によって合焦状態になった際に前記繰出し量検出部により検出された前記レンズ繰出し量に基づいて、前記距離情報を検出する
   ことを特徴とする撮像装置。
6. 請求項３または請求項５に記載の撮像装置において、
   前記繰出し量検出部により検出された前記レンズ繰出し量ごとの誤差を検出する誤差検出部をさらに備え、
   前記情報付加部は、前記誤差検出部により検出された誤差が大きいほど、前記信頼度を小さくする
   ことを特徴とする撮像装置。
7. 請求項１または請求項２に記載の撮像装置において、
   前記情報付加部は、前記焦点距離検出部により検出された前記焦点距離が長いほど、前記信頼度を大きくし、前記焦点距離が短いほど、前記信頼度を小さくする
   ことを特徴とする撮像装置。
8. 請求項１または請求項２に記載の撮像装置において、
   前記情報付加部は、前記距離情報検出部により検出された前記距離情報が示す距離が短いほど、前記信頼度を大きくし、前記距離情報が示す距離が長いほど、前記信頼度を小さくする
   ことを特徴とする撮像装置。
9. 請求項１または請求項２に記載の撮像装置において、
   前記情報付加部は、前記グループ化部によりグループ化された前記領域のうち、前記距離情報検出部により前記距離情報を検出する点を含まない領域については、所定の距離情報を付加するとともに、前記信頼度を、前記焦点距離に応じて決定する信頼度よりも小さくする
   ことを特徴とする撮像装置。
10. 請求項１または請求項２に記載の撮像装置において、
    前記情報付加部は、前記グループ化部によりグループ化された前記領域のうち、前記距離情報検出部による前記距離情報の検出が不可能である領域については、所定の距離情報付加するとともに、前記信頼度を、前記焦点距離に応じて決定する信頼度よりも小さくする
    ことを特徴とする撮像装置。
    

Images