JP5168424B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置におけるデータの記録制御に関する。

従来、被写界に設定された複数の焦点検出領域について、各焦点検出領域に対応する被写体までの距離に関する距離情報をそれぞれ取得する撮像装置が知られている。たとえば、特許文献１には、各焦点検出領域についてデフォーカス情報を取得し、撮影レンズのピント調節を行うカメラが開示されている。

特開２００２−７２２８３号公報

特許文献１に開示されるような従来の撮像装置では、被写体までの距離情報は撮影レンズのピント調節のために利用される程度であり、あまり有効に活用されていない。

請求項１に記載の撮像装置は、撮影者の操作に応じて被写体像の撮影画像データを取得して記録媒体に記録することにより撮影を行う撮影手段と、被写界に設定された複数の焦点検出領域について、各焦点検出領域に対応する被写体までの距離に関する距離情報をそれぞれ所定時間の間継続して取得する距離情報取得手段と、距離情報の時間に応じた変化に基づいて、被写界への侵入物を検出する侵入物検出手段と、侵入物検出手段により侵入物が検出された場合に、侵入物が検出された旨をあらわす検出結果を、撮影画像データに関連付けて記録媒体に記録する記録制御手段と、被写界内で主要被写体を抽出する抽出手段とを備え、記録制御手段は、距離情報取得により取得された距離に基づく、侵入物と主要被写体との間の距離が、所定時間における時間経過と共に離れておらず、主要被写体の近傍に留まっている場合には、侵入物検出手段により侵入物が検出されても、検出結果を記録媒体に記録しないことを特徴とする。
請求項２に記載の撮像装置は、請求項１において、距離情報取得手段は、各焦点検出領域に対応する被写体までの距離に関する距離情報を、被写体像の撮影画像データを取得してから、所定時間の間継続して取得することを特徴とする。
請求項３に記載の撮像装置は、請求項１または請求項２において、記録制御手段は、侵入物の被写界への侵入方向または大きさに基づいて、記録媒体への撮影画像データの記録を許可または禁止することを特徴とする。

本発明によれば、侵入物と主要被写体との間の距離の変化に応じて撮影時に様々なデータの記録制御を行うことができる。

撮像装置の構成の一例を示すブロックダイアグラムである。 撮影モードに設定されたときに実行される処理のフローチャートである。 撮影処理を行う際に実行される処理のフローチャートである。 侵入物除去処理を行う際に実行される処理のフローチャートである。 被写界に設定された焦点検出領域の例を示す図である。 動きベクトルを算出する方法を説明するための図である。 クロップ領域を決定する方法を説明するための図である。

１．構成
以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による撮像装置の構成の一例を示すブロックダイアグラムである。図１において、撮像装置は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路５と、操作部材７と、撮像素子駆動回路８と、信号処理回路９と、データ処理回路１０と、圧縮／伸張回路１１と、モニタ１３と、表示制御回路１４と、測光回路１５と、振れ検出センサ１６と、ＡＦセンサ１７とを有し、さらに記録媒体１２が設けられている。

記録媒体１２は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどにより構成される。なお、記録媒体１２は、撮像装置に内蔵されるものであっても、着脱可能に装着されるものであってもよい。また、撮像装置の外部に設けられるものであってもよい。その場合、記録媒体１２と撮像装置とは有線または無線で電気的に接続される。

撮影レンズ２は、ＡＦセンサ１７により検出されるデフォーカス量に応じて、撮影レンズ２のピント調節を行うフォーカスレンズを含む。なお、ＡＦセンサ１７は、周知の位相差検出方式によりデフォーカス量を検出する。また、撮影レンズ２は周知のズーム用操作部材の操作によって撮影レンズ２のズーム調節を行うズームレンズを含む。

さらに、撮影レンズ２は不図示の振れ補正用レンズを含む。この振れ補正用レンズは、振れ検出センサ１６の出力に基づいて、レンズ駆動回路３により、撮影レンズ２の光軸に直交する方向に駆動される。これにより、撮像素子１上に結像される被写体像の位置が撮像装置の振れを打ち消す方向にシフトされ、振れ補正が行われる。

周知のＣＣＤやＣＭＯＳなどで構成される撮像素子１は、撮影レンズ２により結像された被写体像に基づいて、画素ごとに電荷を蓄積し、蓄積した電荷量に応じた電気信号を画像信号として信号処理回路９へ出力する。これにより、撮像素子１において被写体像の撮像が行われ、その被写体像が電気信号に変換されて出力される。

撮像素子駆動回路８は、制御回路５から出力される指令に応じて、所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１へ供給する。この駆動信号が供給されることにより、撮像素子１において、電荷の蓄積や、蓄積された電荷量の読み出しが制御される。

制御回路５は、測光回路１５により検出された被写体の測光データに基づいて、被写界の明るさの情報を求め、この明るさの情報に基づいて、撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、撮像素子１より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１から出力される信号から求めるようにしてもよい。この場合には、撮像素子１が測光回路１５として機能する。

撮像素子１から出力された画像信号は、信号処理回路９において入力される。信号処理回路９は、制御回路５からの指令に応じて、入力された画像信号に基づいて、増幅、直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換等の各種信号処理を行う。そして、信号処理後に得られたデータを撮影画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０は、制御回路５からの指令に応じて、信号処理回路９から出力された撮影画像データを圧縮／伸張回路１１に出力すると共に、モニタ１３に再生画像を表示させるために必要な解像度変換処理、すなわち画素数の変換を行う。そして、解像度変換処理後の撮影画像データを表示制御回路１４へ出力する。

表示制御回路１４は、制御回路５からの指令に応じて、データ処理回路１０から出力された撮影画像データに所定の信号処理（たとえば撮影メニューやカーソルなど所定のオーバーレイ画像のデータを重畳する処理）を施した後、モニタ１３へ出力する。

圧縮／伸張回路１１は、制御回路５からの指令に応じて、データ処理回路１０から出力された撮影画像データに対して、所定の画像圧縮方式による圧縮処理を行い、圧縮後の撮影画像データを記録媒体１２へ出力する。

操作部材７は、レリーズボタンを含む。撮影者がこのレリーズボタンにより撮影操作を行うと、その撮影操作に応じて、制御回路５から撮像素子駆動回路８、信号処理回路９、データ処理回路１０および圧縮／伸張回路１１に対して、撮影指令が出力される。この撮影指令が制御回路５から出力されると、撮像素子駆動回路８、信号処理回路９、データ処理回路１０および圧縮／伸張回路１１において、上記のような処理や制御がそれぞれ実行される。これにより、撮像素子１により出力された画像信号に基づく被写体像の撮影画像データが取得され、記録媒体１２に記録される。このようにして、撮像装置において被写体像が撮影される。なお、被写体像が撮影されて撮影画像データが記録媒体１２に記録されたときには、上記のように表示制御回路１４からモニタ１３へ解像度変換処理後の撮影画像データが出力され、その被写体像の再生画像がモニタ１３に表示される。

モニタ１３には、記録媒体１２において既に記録されている撮影画像データに基づいて、撮影済みの被写体像の再生画像を表示することもできる。このように撮影済みの被写体像の再生画像を表示するモードは、再生モードと呼ばれている。

撮像装置において再生モードが選択されると、圧縮／伸張回路１１は、制御回路５からの指令に応じて記録媒体１２に記録されている撮影画像データを読み出し、その読み出した撮影画像データに対して圧縮を解除するための復号化処理を施した上で、復号化後の撮影画像データをデータ処理回路１０へ出力する。データ処理回路１０は、圧縮／伸張回路１１から出力された復号化後の撮影画像データに対して解像度変換処理を行い、表示制御回路１４へ出力する。この解像度変換処理後の撮影画像データが表示制御回路１４からモニタ１３へ出力されることにより、モニタ１３において撮影済みの被写体像の再生画像が表示される。

振れ検出センサ１６は、撮像装置の筺体内に設けられており、たとえば角速度センサ、ジャイロセンサ等により構成される。振れ検出センサ１６は、撮像装置の動き、すなわち撮像装置の筺体の振れを少なくとも光軸と直交する二方向について検出し、検出した振れ量に応じた検出信号を制御回路５へ出力する。制御回路５は、この検出信号に基づいて、筺体の振れに伴って生じる撮像素子１の撮像面における被写体像の移動が打ち消されるように、前述のような振れ補正を行う。

２．全体動作
次に、以上説明した撮像装置が撮影を行う際の全体動作について説明する。操作部材７の操作により、撮影を行うための撮影モードに設定されると、制御回路５において、図２に示すフローチャートの処理が実行される。ステップＳ１０において、制御回路５は、操作部材７のレリーズボタンが撮影者によって半押し操作されたか否かを判定する。半押し操作が行われ、その半押し操作に基づく半押し操作信号が操作部材７から制御回路５へ入力されると、制御回路５は次のステップＳ２０へ進む。

ステップＳ２０において、制御回路５は、被写界に設定された複数の焦点検出領域について、各焦点検出領域に対するデフォーカス情報をそれぞれ取得する。このデフォーカス情報は、ＡＦセンサ１７によって検出されたデフォーカス量に基づいて定められるものである。なお、デフォーカス量は、撮影レンズ２のピント位置に対する被写体位置のずれの大きさ、すなわちピント位置を基準とした被写体までの距離に関する量を表している。したがって、デフォーカス量に基づくデフォーカス情報を取得することにより、各焦点検出領域に対応する被写体までの距離に関する距離情報を取得することができる。取得したデフォーカス情報は、制御回路５に備えられたメモリにより一時的に記憶される。

図５は、被写界に設定された焦点検出領域の例を示している。この例では、符号２０ａ〜２０ｋに示す合計１１個の焦点検出領域が被写界に対して設定されている。この焦点検出領域のそれぞれについて、ＡＦセンサ１７によりデフォーカス量が検出され、デフォーカス情報が取得される。なお、ここで挙げたのは焦点検出領域の設定形態の一例であるため、他の形態により焦点検出領域を設定することとしてもよい。

ステップＳ３０において、制御回路５は、ステップＳ２０で取得したデフォーカス情報の時間に応じた変化に基づいて、動きベクトルの算出を行う。このとき、前述のメモリにより一時的に記憶された過去のデフォーカス情報と、現在のデフォーカス情報とに基づいて、各焦点検出領域におけるデフォーカス情報の時間に応じた変化が求められる。このデフォーカス情報の変化に基づいて、被写体像の動きの速さや方向と、被写体像の大きさとを表す動きベクトルを算出する。

ステップＳ３０において動きベクトルを算出する方法を、図６の例により以下に説明する。被写体２１を撮影しようとした際に、図６（ａ）〜（ｆ）に示すように、侵入物２２が被写界内を右から左に横切ったとする。なお、図６（ａ）〜（ｆ）では、図５と同様の焦点検出領域２０ａ〜２０ｋが被写界に対して設定されており、全ての焦点検出領域２０
ａ〜２０ｋから所定の検出タイミングでデフォーカス量が検出されている。

上記のような状況において、図６（ａ）のときには、特に中央の焦点検出領域２０ｆに対して検出されたデフォーカス量に基づいて、被写体２１までの距離を表すデフォーカス情報が取得される。図６（ｂ）のように、侵入物２２が被写界内に進入したときには、被写体２１までの距離を表すデフォーカス情報に加えて、特に右端の焦点検出領域２０ｋに対して検出されたデフォーカス量に基づいて、侵入物２２までの距離を表すデフォーカス情報が取得される。図６（ｃ）のように、侵入物２２が被写体２１の前にいるときには、特に焦点検出領域２０ｆおよび２０ｇに対して検出されたデフォーカス量に基づいて、侵入物２２までの距離を表すデフォーカス情報が取得される。

図６（ｄ）のように、侵入物２２が被写体２１の前を通り過ぎたときには、特に焦点検出領域２０ｃおよび２０ｄに対して検出されたデフォーカス量に基づいて、侵入物２２までの距離を表すデフォーカス情報が取得される。図６（ｅ）のように、侵入物２２が被写界の端にいるときには、特に焦点検出領域２０ａに対して検出されたデフォーカス量に基づいて、侵入物２２までの距離を表すデフォーカス情報が取得される。図６（ｆ）のように、侵入物２２が被写界から消えたときには、図６（ａ）と同様に、特に焦点検出領域２０ｆに対して検出されたデフォーカス量に基づいて、被写体２１までの距離を表すデフォーカス情報が取得される。

以上説明したように取得されたデフォーカス情報によれば、侵入物２２が被写界内を移動するのにしたがって、その侵入物２２に対応する焦点検出領域の位置が時間に応じて変化していることが分かる。したがって、このようなデフォーカス情報の時間に応じた変化から、侵入物２２の動きの速さや光軸方向の位置変化を含めた３次元的な移動方向を求めることができる。さらに、侵入物２２に対応する焦点検出領域の範囲から、侵入物２２の大きさを求めることができる。ステップＳ３０では、これらの情報を求めることにより、動きベクトルの算出を行う。

なお、デフォーカス量を検出する際のＡＦセンサ１７による焦点検出エリアの数は、撮像素子１が本撮影を行うときの画素数よりも少ない。したがって、本撮影により得られた撮影画像の時間に応じた変化に基づいて動きベクトルを算出する場合と比べて、ステップＳ３０では、より高速な処理で動きベクトルを算出することができる。

あるいは、ステップＳ２０において、被写体までの距離に関する距離情報としてデフォーカス情報を取得する代わりに、被写体までの距離情報そのものを取得することとしてもよい。すなわち、ＡＦセンサ１７によって検出されたデフォーカス量と、そのときの撮影レンズ２のピント位置とに基づいて、被写体までの距離を焦点検出領域ごとに算出することにより、各焦点検出領域に対応する被写体までの距離情報をそれぞれ取得することができる。ステップＳ３０では、こうして取得された距離情報の時間に応じた変化に基づいて、上記と同様の方法により動きベクトルを算出することができる。

なお、以上説明したようにしてデフォーカス情報を取得し、そのデフォーカス情報に基づいて動きベクトルを算出しているときには、並行してオートフォーカス動作を行うことができる。すなわち、ステップＳ２０で取得したデフォーカス情報に基づいて、動きベクトルの算出に加えて、前述のように撮影レンズ２のピント調節を行うことができる。このとき、シングルサーボＡＦとコンティニュアスＡＦのどちらを行ってもよい。なお、シングルサーボＡＦでは、ピントが合ったら焦点が固定される。一方、コンティニュアスＡＦでは、被写体の動きに応じてピント調節が継続して行われる。

あるいは、上記のようなオートフォーカス動作を行わずに、撮影者が手動で焦点調節を
行うマニュアルフォーカス動作としてもよい。この場合、ＡＦセンサ１７は、デフォーカス情報を取得して動きベクトルを算出するために利用され、オートフォーカス動作には用いられない。このようなフォーカス調整中の光学像は、不図示の光学ファインダで、撮影者が確認することができる。

ステップＳ４０において、制御回路５は、操作部材７のレリーズボタンが撮影者により全押し操作されたか否かを判定する。全押し操作が行われ、その全押し操作に基づく全押し操作信号が操作部材７から制御回路５へ入力されると、制御回路５はステップＳ５０へ進む。一方、全押し操作信号が入力されなかった場合には、制御回路５はステップＳ１０へ戻る。

以上説明したステップＳ１０〜Ｓ４０の処理により、半押し操作が行われている間は、デフォーカス情報が連続的に取得され、動きベクトルが算出される。なお、算出された動きベクトルは、制御回路５において予め定められたメモリ容量に応じた時間分が記憶される。このメモリ容量を超えると、古い動きベクトルから順に廃棄され、新しい内容に更新される。

ステップＳ５０において、制御回路５は、被写体像を撮影するための撮影処理を行う。この撮影処理は、撮影者の全押し操作に応じて実行される。これにより、被写体像が撮影され、その撮影画像データが取得される。

制御回路５は、本撮影処理において取得した撮影画像データと、被写界内に存在する被写体や侵入物までの距離の時間的な変化を表す距離変化データとを、記録媒体１２に記録する。この距離変化データは、ステップＳ３０において算出した動きベクトルの内容に基づいて定められるものであり、撮影画像データに関連付けて記憶される。これにより、各焦点検出領域に対応する被写体までの距離に関する距離情報の変化に基づく距離変化データを、撮影画像データに関連付けて、記録媒体１２に記録する。なお、撮影処理の具体的な内容については、後で図３のフローチャートにより詳しく説明する。

ステップＳ７０において、制御回路５は、撮影時に被写界内に侵入物が検出されたか否かを判定する。後で説明する図３のステップＳ５１０を実行することにより、撮影時に侵入物が検出され、その侵入物の検出結果がステップＳ５６０において記録されていた場合は、ステップＳ８０へ進む。一方、侵入物の検出結果が記録されていない場合は、撮影時に侵入物が検出されていないと判定して図２のフローチャートを終了する。

ステップＳ８０において、制御回路５は、撮影画像から検出された侵入物を取り除くための侵入物除去処理を実行する。この侵入物除去処理の具体的な内容は、後で図４のフローチャートにより詳しく説明する。ステップＳ８０を実行したら、制御回路５は、図２のフローチャートを終了する。以上説明したようにして、撮影時の動作が行われる。

３．撮影処理
次に、図２のステップＳ５０で実行する撮影処理の内容について、図３のフローチャートにより説明する。ステップＳ５０５において、制御回路５は、被写界内で主要被写体領域を抽出する。この主要被写体領域の抽出は、たとえば、オートフォーカス用の焦点検出領域の設定位置に基づいて主要被写体の位置を判断し、所定値以下のデフォーカス量が検出された焦点検出領域の範囲を主要被写体領域として抽出することにより、行うことができる。または、人物の顔を認識する顔認識処理の結果などに基づいて主要被写体の領域を抽出しても良い。ステップＳ５１０において、制御回路５は、図２のステップＳ３０で算出された動きベクトルに基づいて、被写界への侵入物の有無を判断する。すなわち、ステップＳ２０においてデフォーカス情報として取得した被写体までの距離に関する距離情報
の変化に基づいて、被写界への侵入物の有無を判断する。ここでは、主要被写体以外の物体について時間に応じて変化するデフォーカス情報が取得されることにより、その物体の動きベクトルが算出されていた場合には、その物体が侵入物として検出される。ステップＳ５１０で、被写界への侵入物があると判断された場合は、ステップＳ５２０の処理へ進む。一方、ステップＳ５１０で被写界への侵入物がないと判断された場合にはステップＳ５５０の処理へ進む。

ステップＳ５２０において、制御回路５は、ステップＳ５１０において検出された侵入物に関して、その侵入物の存在領域と主要被写体領域との間における、撮影レンズ２の光軸方向での両者の位置関係や、撮影レンズ２の光軸と垂直な面内での両者の位置関係や、侵入物の動きベクトルなどが、予め定められた所定の条件を満たすか否かを判定する。
ここで所定の条件とは、侵入物が主要被写体を遮る状態である、またはそうなる可能性が高い両者（侵入物と主要被写体）の位置関係や動き関係を満たす条件のことであり、予めカメラ内のメモリに設定されているものである。
このステップＳ５２０の判定を行うことにより、撮影動作を行う時点で、主要被写体領域が侵入物の陰になる可能性があるか否か、あるいはステップＳ５２０の判断時点で、侵入物が実際に主要被写体の領域内に存在しているか否かを判断することができる。たとえばレンズ光軸方向における侵入物までの撮影距離が主要被写体までの撮影距離に比べて短く、且つレンズ光軸に垂直な面内において侵入物が主要被写体の領域に向かって進んでいる、という被写界状態での撮影において、その侵入物が撮影時点で主要被写体領域を隠す（主要被写体が侵入物の陰になる）可能性があるか否か、あるいは既に隠しているかを自動的に判断する。
ステップＳ５２０において、上記所定の条件を満たす、と判定されるのは、この判定動作に続く撮影動作によって得られる撮影画像（撮影画面）内にその侵入物が存在し、かつ当該侵入物による主要被写体の隠れが発生する、と推察される場合である。ステップＳ５２０で肯定判定された場合には、引き続くステップＳ５４０の動作に移行する。
一方、撮影される画像内に侵入物が存在するが、その侵入物による主要被写体の隠れは発生しないと推察される場合には、ステップＳ５２０で否定判定（所定の条件を満たさない）されて、ステップＳ５５０に移行する。
ステップＳ５２０における上記のような判定動作は、主要被写体と侵入物のそれぞれに対応して取得されたデフォーカス情報と、前述の動きベクトルとに基づいて行う。
なお、上記の所定の条件としては、撮影距離に関する条件を除外して、侵入物が主要被写体領域に向かって進んでおり、撮影時点で侵入物が主要被写体領域に侵入する可能性（主要被写体が侵入物の陰になる可能性）があるか否か、あるいはステップＳ５２０の判断時点で、侵入物が実際に主要被写体の領域内に存在するか否か、のみを判断するものであっても良い。

ステップＳ５４０において、制御回路５は、ステップＳ５０５でその領域を抽出された主要被写体が、ステップＳ５１０で検出した侵入物の陰に継続して隠れているか否か、あるいは、このステップＳ５４０の後で実行される撮影動作（撮影画像の取得動作）の時点で、その撮影画像の主要被写体領域に侵入物による隠れが発生する可能性が継続しているか否かを判定する。
侵入物までの撮影距離が主要被写体までの撮影距離よりも短く、且つその侵入物が主要被写体の領域内に向かって進んでおり、撮影時点に主要被写体領域が侵入物の陰に隠れる可能性がステップＳ５２０の判断時点から継続している場合、或いはステップＳ５２０の判断時点から侵入物が実際に主要被写体の領域内に存在する状態が継続しているような場合には、ステップＳ５４０での判断動作を繰り返し行う（すなわち次のステップＳ５５０における撮影動作への移行を禁止する）。
そして、主要被写体が侵入物の陰に隠れなくなったら、あるいはその可能性がなくなったら、ステップＳ５４０を否定判断して、次のステップＳ５５０へ進む。
なお、上記ステップＳ５４０での判定動作は、ステップＳ５２０での判定動作と同様に、主要被写体と侵入物のそれぞれに対応して取得されたデフォーカス情報と、前述の動きベクトルとに基づいて行う。

以上説明したように、ステップＳ５１０において被写界への侵入物が検出されると、その検出結果に応じて、ステップＳ５２０およびＳ５４０の処理により、次のステップＳ５５０における被写体像の撮影が許可または禁止される。すなわち、検出された侵入物の進入方向や大きさが所定の条件を満たしており、さらにその侵入物の陰に主要被写体が隠れる場合は、主要被写体が隠れなくなるまで撮影が禁止される。それ以外の場合は、侵入物が検出されても撮影が許可される。これにより、撮影者がレリーズボタンを全押し操作したときに、記録媒体１２への撮影画像データの記録が侵入物の状態に応じて許可または禁止される。

なお、ステップＳ５２０において、パンニングやチルティング時における撮像装置の動きに対応する進入方向については、撮影を禁止する進入方向から除外することが好ましい。すなわち、振れ検出センサ１６によって撮像装置に例えば横方向の動きが生じていることが検出された場合、被写体が静止していたとしても、その被写体は被写界に対して横方向から進入してくるように動く。したがって、このような場合には、侵入物が撮像装置の移動方向から被写界へ進入してきた場合であっても、ステップＳ５２０の判定対象から除外して、撮影を許可するようにする。

ステップＳ５５０において、制御回路５は、撮影を実行する。このとき、前述のように制御回路５は、撮像素子駆動回路８、信号処理回路９、データ処理回路１０および圧縮／伸張回路１１に対して、撮影指令をそれぞれ出力する。撮像素子駆動回路８は、この撮影指令に応じて、撮像素子１へ撮影を実行するための駆動信号を出力する。撮像素子１は、撮像素子駆動回路８からの駆動信号を受けて、測光回路１５による測光データに基づいて決定された本撮影用の露出条件にしたがって電荷蓄積を行い、蓄積された電荷量に応じた画像信号を出力する。

信号処理回路９は、撮像素子１から出力された画像信号に対して前述のような信号処理を施し、それを撮影画像データとしてデータ処理回路１０へ出力する。データ処理回路１０は、信号処理回路９から出力された撮影画像データを圧縮／伸張回路１１へ出力すると共に、解像度変換処理を行って表示制御回路１４へ出力する。これにより、撮影によって得られた被写体像の撮影画像データが圧縮／伸張回路１１から記録媒体１２に出力され、記録媒体１２において記録されると共に、その被写体像の撮影画像がモニタ１３において表示される。

ステップＳ５６０において、制御回路５は、ステップＳ５２０の判定による判断の結果を、侵入物検出結果として撮影画像データに関連付けて記録媒体１２に記録する。すなわち、ステップＳ５２０において、否定判定がなされた場合に、侵入物がある旨について、撮影画像データに関連付けて記録媒体１２に記録する。このような構成とすれば、当該撮影画像データを読み出したときに、その撮影画像データに関連付けて記録された侵入物検出結果に基づいて、後述するクロップ処理を行う対象画像を特定することができる。

ステップＳ５６０を実行したら、制御回路５は、図３のフローチャートを終了する。以上説明したようにして、撮影処理が行われる。

４．侵入物除去処理
次に、図２のステップＳ８０で実行する侵入物除去処理の内容について、図４のフローチャートにより説明する。ステップＳ８１０において、制御回路５は、図３のステップＳ
５６０で記録された侵入物の検出結果に基づいて、本撮影により得られた撮影画像データにおいてクロップ領域を決定する。すなわち、主要被写体に侵入物による隠れが発生しないまでも、撮影画像内に侵入物が存在すると判定された場合（ステップＳ５２０が否定判定された場合）に、侵入物のうつっている領域を除外した画像を生成するクロップ処理を行う。なお、クロップ領域とは、撮影画像において侵入物が写ってしまっている不要な部分を除外した部分のこと（記録すべき部分のこと）である。

ステップＳ８１０においてクロップ領域を決定する方法を、図７の例により以下に説明する。侵入物２２が被写体２１の前を通り過ぎた後に、図６（ｅ）の状態で撮影を行うことにより、図７に示すような撮影画像が取得されたとする。この場合、図３のフローチャートに示す各処理が制御回路５によって撮影時に実行されることにより、焦点検出領域２０ａの位置において侵入物２２が検出され、その検出結果が撮影画像データと関連付けて記録媒体１２に記録される。

制御回路５は、ステップＳ８１０においてクロップ領域を決定する際に、上記のようにして記録された侵入物２２の検出結果を記録媒体１２から読み出すことで、侵入物２２が焦点検出領域２０ａにおいて検出されたと判断することができる。その結果、例えば図７の斜線で示されるような侵入物２２（焦点検出領域２０ａ）を含む不要な領域を除いたクロップ領域２３が決定される。なお、クロップ領域２３は、不要な部分を除外する前の撮影画像のアスペクト比と同じアスペクト比となるように設定されることが望ましい。

ステップＳ８２０において、制御回路５は、クロップ処理を実行するか否かを判定する。この判定は、撮影者が予め設定したクロップ処理の実行条件にしたがって行われる。たとえば、クロップ処理を実行するか否かを撮影者に予め選択させることにより、クロップ処理の実行条件を設定することができる。あるいは、ステップＳ８１０においてクロップ領域が決定された場合は、自動的にクロップ処理を実行するように設定してもよい。クロップ処理を実行する場合はステップＳ８３０へ進み、実行しない場合はステップＳ８５０へ進む。

ステップＳ８３０へ進んだ場合、ステップＳ８３０において、制御回路５は、クロップ処理を実行する。こうしてクロップ処理を実行したら、次のステップＳ８４０において、制御回路５は、クロップ処理後の撮影画像データを記録媒体１２に記録する。これにより、侵入物の存在する領域が取り除かれたクロップ領域の撮影画像データが、記録媒体１２において記録される。なお、このときクロップ処理を実行する前の元の撮影画像データを記録媒体１２にそのまま残してもよいし、消去してもよい。また、ステップＳ８３０において、クロップ処理を実行せずに、次のステップＳ８４０において、ステップＳ８１０で決定されたクロップ領域を特定するデータ（クロップ領域を示す撮影画面上の位置を特定するデータ）を、クロップ処理を実行する前の元の撮影画像データに関連づけて、記録媒体１２に記録する構成としてもよい。

一方、ステップＳ８５０へ進んだ場合、ステップＳ８５０において、制御回路５は、ステップＳ８１０で決定したクロップ領域を特定するデータを、撮影画像データに関連付けて記録媒体１２に記録する。これにより、本実施形態の撮像装置、あるいはパーソナルコンピュータ等において当該撮影画像データを読み出したときに、クロップ処理が実行されていない撮影画像中にクロップ処理を行う候補領域を表示して、クロップ処理を行う領域をユーザに調整させることもできる。

ステップＳ８４０またはＳ８５０を実行したら、制御回路５は、図４のフローチャートを終了する。以上説明したようにして、侵入物除去処理が行われる。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）制御回路５は、撮影者の操作に応じて被写体像の撮影画像データを取得して記録媒体１２に記録することにより撮影を行う（ステップＳ５０）。この撮影を行う前に、制御回路５は、被写界に設定された複数の焦点検出領域について、デフォーカス情報を取得する（ステップＳ２０）ことにより、各焦点検出領域に対応する被写体までの距離に関する距離情報をそれぞれ取得する。そして、このデフォーカス情報の時間に応じた変化に基づいて動きベクトルを算出し（ステップＳ３０）、算出した動きベクトルに基づいて様々なデータの記録制御（例えば上述の如く、画像データの記録を許可したり禁止したり、更には侵入物の検出結果を記録したりしなかったり、など）を行うことにより、ステップＳ２０においてデフォーカス情報として取得された距離情報の変化に基づくデータの記録を記録媒体１２に対して行うこととした。このようにしたので、被写体までの距離が変化したときに、その変化に応じて撮影時に上述の如き様々なデータの記録制御を行うことができる。

（２）制御回路５は、動きベクトルの内容に基づいて定められる距離変化データを、撮影画像データに関連付けて記録媒体１２に記録する（ステップＳ５０）。こうすることにより、ステップＳ２０においてデフォーカス情報として取得された距離情報の時間に応じた変化に基づく距離変化データを、撮影画像データに関連付けて記録媒体１２に記録することとした。このようにしたので、撮影画像データを記録媒体１２から読み出すときに、対応する距離変化データの内容から撮影時における被写体までの距離の変化の様子を容易に知ることができる。

（３）制御回路５は、ステップＳ３０で算出した動きベクトルに基づいて被写界への侵入物を検出し（ステップＳ５１０）、その侵入物の動きベクトル、あるいは侵入物と主要被写体との位置関係が所定の条件を満たすか否かの判断結果を撮影画像データに関連付けて記録媒体１２に記録する（ステップＳ５６０）。これにより、デフォーカス情報として取得された距離情報の変化に基づいて被写界への侵入物を検出し、その検出結果を記録することとした。このようにしたので、記録媒体１２から撮影画像データを読み出す際に、撮影時に侵入物が検出されたか否かを容易に判断することができる。

（４）制御回路５は、ステップＳ５２０における侵入物に関する判定結果に応じて、被写体像の撮影を許可または禁止することとした。このようにしたので、侵入物によって主要被写体が遮られているときに撮影が誤って行われてしまうのを防止することができる。なお、ステップＳ５４０における侵入物に関する判定結果にかかわらず、撮影動作を行い、侵入物の検出結果に基づいて、記録媒体１２への撮影画像データの記録を許可または禁止する構成としてもよい。

（５）制御回路５は、ステップＳ５６０で記録された侵入物の検出結果に基づいて、撮影画像データにおいてクロップ領域（侵入物を除外した領域）を決定し（ステップＳ８１０）、決定されたクロップ領域を撮影画像データに関連付けて記録媒体１２に記録する（ステップＳ８５０）こととした。このようにしたので、当該撮影画像データを記録媒体１２から読み出したときに、クロップ領域を抽出して撮影画像を表示することができる。

（６）また、制御回路５は、ステップＳ８１０において決定されたクロップ領域を撮影画像データから抽出することにより、クロップ処理を行う（ステップＳ８３０）。このクロップ処理によりクロップ領域のみが抽出された撮影画像データを記録媒体１２に記録する（ステップＳ８４０）こととした。このようにしたので、当該撮影画像データを記録媒体１２から読み出して表示することにより、クロップ領域のみが抽出された撮影画像を表示することができる。

＜変形例＞
（１）一般的に大きさ（被写界画面内での面積）の大きい侵入物の侵入方向（進行方向）は、被写界内での横方向であることが多い。このため、上記実施形態の図３のステップＳ５１０の被写界内への侵入物の検出方向を横方向のみに限定し、被写界の横方向から侵入する侵入物のみを検出する構成にしても良い。このような構成とすれば、侵入物の検出をより迅速に行うことができる。

（２）上記実施形態の図３のステップＳ５２０で使用する所定の条件として、撮影画像に対する侵入物の影響の大きさ（度合い）を考慮するようにしても良い。即ち、主要被写体の大きさ（面積）に対する侵入物の相対的な大きさ（面積）や、主要被写体に対する侵入物の相対的な位置に基づいて、ステップＳ５２０での判定動作を行うようにしても良い。例えば侵入物が昆虫などのような比較的小さいもの（主要被写体に対して相対的にかなり小さい）ものである場合や、あるいは侵入物の存在位置が撮影画面内（被写界内）の端の方であって被写界内での主要被写体との相対距離が大きい場合には、撮影画像に対する侵入物の影響度が小さいと判断し、ステップＳ５２０を否定判定する構成にしても良い。

（３）上記実施形態の図３のステップＳ５２０、Ｓ５４０の処理は、必ずしも実行する必要はなく、省略しても良い。例えば、カメラのドラフト状態ではＳ５２０、Ｓ５４０の動作を禁止するものとしておき、撮影者が、侵入物によって主要被写体が隠されている間は撮影を禁止したいと思って、切り替え操作（ステップＳ５２０、Ｓ５４０の動作が実行されるようにカメラの動作設定を切り替える操作）を行った場合のみＳ５２０、Ｓ５４０の動作を実行するように構成しても良い。なおステップＳ５２０、５４０の処理を禁止した場合には、後のステップＳ５６０ではステップＳ５１０の検出結果を記録することになる。
このような構成にした場合には、主要被写体上に侵入物による隠れが発生する場合であっても、撮影／記録動作が行われることになるが、ステップＳ５２０、Ｓ５４０の処理を行わない分、迅速な撮影／記録動作を行うことができる。なおステップＳ５６０で記録された侵入物の検出結果を使って、撮影／記録された画像の中から撮影失敗画像の候補として、侵入物の存在する画像を一括して容易に抽出することができる。

（４）上記実施形態の図３のステップＳ５２０、Ｓ５４０では、例えば侵入物までの撮影距離が主要被写体までの撮影距離に比べて短く、且つ侵入物が主要被写体の領域に向かって進んでおり、撮影時点で主要被写体が侵入物の陰になる可能性があるか否か、或いはステップＳ５２０の判断時点で侵入物が実際に主要被写体の領域内に存在しているか否か、を判断する構成とした。
このような構成に代えて、侵入物までの撮影距離が主要被写体までの撮影距離に比べて短いか否かの情報のみに基づいてステップＳ５２０、Ｓ５４０での判断を行うようにしても良い。そしてこの場合には、この条件が満足されなくなるまでステップＳ５４０の処理を繰り返すことになる。
このような構成に代えたとしても、カメラのＡＦモードが、至近被写体に優先的に合焦する、いわゆる至近優先ＡＦモードに設定されていたとしても、主要被写体に合焦せずにそれより至近距離に存在する侵入物に合焦した失敗画像を撮影してしまう、という虞を抑制することができる。

（５）上記実施形態の図３において、ステップＳ５２０、Ｓ５４０を実行した上で、ステップＳ５６０において、ステップＳ５１０での侵入物の検出結果を記録媒体１２に記録する構成にしても良い。この侵入物検出結果は、本撮影によって得られた撮影画像データに関連付けて記録媒体１２に記録される。このような構成であれば、記録媒体１２に記録された撮影画像データを読み出す際に、その画像の撮影の際に侵入物の検出がなされたか否か、を容易に識別することができ、且つ記録した画像の中から侵入物の存在する画像を容
易に抽出することができる。

（６）上記実施形態の図３のステップＳ５６０において、制御回路５が、ステップＳ５４０の判定結果に基づいて、侵入物検出結果を記録するか否かを決定するようにしても良い。即ち、ステップＳ５４０において、主要被写体が侵入物の陰に隠れると判断された場合には、その侵入物の検出結果を撮影画像データに関連付けて記録媒体１２に記録する。一方、そのステップＳ５４０において主要被写体が侵入物の陰に隠れないと判断された場合には、その侵入物の検出結果を記録媒体１２に記録しないようにする。なおこの構成において、ステップＳ５４０の判断自体は実行するが、ここで肯定判定されても否定判定されてもステップＳ５５０に進むようにする。
このように構成すれば、当該撮影データを読み出したときに侵入物検出結果が記録されていれば、その撮影画像では主要被写体が侵入物の陰に隠れていると容易に判断することができ、記録画像の中で主要被写体が侵入物の陰に隠れている画像を容易に抽出することができる。
また上記実施形態の図３のステップＳ５６０において、制御回路５は、ステップＳ５４０の判定による判断の結果そのものを、侵入物検出結果として撮影画像データに関連付けて記録媒体１２に記録する構成としても良い。なおこの場合も、ステップＳ５４０の判断結果に関わらず（肯定判定であっても）ステップＳ５５０に進むようにする。
このような構成にすれば、当該撮影データを読み出したときに、その撮影画像データに関連付けて記録された侵入物検出結果に基づいて、主要被写体が侵入物の陰に隠れているか否かの判断を容易に行うことができると共に、記録画像の中で主要被写体が侵入物の陰に隠れている画像を容易に抽出することができる。

（７）上記実施形態の図３のステップＳ５６０において、制御回路５は、ステップＳ５１０、Ｓ５２０、Ｓ５４０のそれぞれの判断の結果を、侵入物検出結果として撮影画像データに関連付けて記録媒体１２に記録する構成としても良い。なおこの場合にも、ステップＳ５４０の判断結果に関わらずステップＳ５５０に進むようにする。
このように構成すれば、撮影画像データに関連付けられて記録されているステップＳ５１０、Ｓ５２０、Ｓ５４０の判断結果をもとに、侵入物が存在するが主要被写体には侵入物による隠れが発生していない撮影画像、主要被写体に侵入物による隠れが発生している撮影画像、などというように、上記各判断ステップで設定された判定条件に応じた撮影画像を、それぞれ分離して抽出することができる。

（８）ステップＳ５１０において侵入物が検出されても、ステップＳ５２０において所定の条件を満たさないと判定された場合や、ステップＳ５４０の処理により主要被写体が侵入物の陰に隠れなくなるまで撮影が禁止された場合には、その侵入物を検出結果の記録対象から除外するようにしてもよい。すなわち、被写界への進入方向や侵入物の大きさにより、その侵入物が主要被写体を遮らないと判断された場合や、ステップＳ５５０において被写体像が撮影される前に侵入物が被写界の外に移動した場合は、その侵入物を検出結果の記録対象から除外することができる。このようにすれば、撮影に影響しなかった侵入物の検出結果を記録対象から除外して、不要な侵入物検出結果の記録を避けることができる。

（９）クロップ領域が設定不可能な場合、たとえば撮影時に検出された侵入物が主要被写体に重なっているような場合には、上記実施形態の図４のステップＳ８１０においてクロップ領域を設定せずにそのまま図４のフローチャートを終了して侵入物除去処理を中止するようにしても良い。あるいは、クロップ領域が設定できない旨を撮影画像データに関連付けて記録媒体に記録することとしても良い。なおこのように構成する際には、図３のステップＳ５４０での判断結果に関わらずステップＳ５５０に進むように、図３のフローチャートを構成しておく。

（１０）上記実施形態においては、撮像素子１とＡＦセンサ１７とが別部品で構成される例について説明したが、例えば特開２０００−１５６８２３号公報に開示されるように、撮像素子１とＡＦセンサ１７とを同部品で構成するようにしても良い。

（１１）撮影動作による撮影画像データ取得の後も、所定時間の間、デフォーカス情報の取得を行う構成としても良い。侵入物と主要被写体との距離が、撮影画像データの取得後に時間経過と共に離れている場合には、侵入物は、主要被写体とは無関係の被写界を横切る侵入物と判断する。一方、侵入物と主要被写体との間の距離が、撮影画像データの取得後に時間経過と共に離れておらず、主要被写体領域の近傍に留まっている場合には、侵入物は時間的に遅れて被写界に入ってきた主要被写体の一部であると判断し、上記ステップＳ５１０，Ｓ５２０，Ｓ５４０において侵入物がある旨の判断がなされていても、その判断結果を記録媒体１２に記録しない構成とすることができる。

なお、以上説明した実施の形態は、あくまで本発明の実施の形態の一例である。したがって、発明を解釈する際、上記の記載事項と特許請求の範囲の記載事項の対応関係には何ら限定も拘束もされない。また、発明の特徴が損なわれない限り、本発明は上記の記載内容に限定されるものでもない。

１：撮像素子、２：撮影レンズ、３：レンズ駆動回路、５：制御回路、７：操作部材、
８：撮像素子駆動回路、９：信号処理回路、１０：データ処理回路、
１１：圧縮／伸張回路、１２：記録媒体、１３：モニタ、１４：表示制御回路、
１５：測光回路、１６：振れ検出センサ、１７：ＡＦセンサ

Claims (3)

1. 撮影者の操作に応じて被写体像の撮影画像データを取得して記録媒体に記録することにより撮影を行う撮影手段と、
   被写界に設定された複数の焦点検出領域について、各焦点検出領域に対応する被写体までの距離に関する距離情報をそれぞれ所定時間の間継続して取得する距離情報取得手段と、
   前記距離情報の時間に応じた変化に基づいて、前記被写界への侵入物を検出する侵入物検出手段と、
   前記侵入物検出手段により前記侵入物が検出された場合に、前記侵入物が検出された旨をあらわす検出結果を、前記撮影画像データに関連付けて前記記録媒体に記録する記録制御手段と、
   前記被写界内で主要被写体を抽出する抽出手段とを備え、
   前記記録制御手段は、前記距離情報取得により取得された距離に基づく、前記侵入物と前記主要被写体との間の距離が、前記所定時間における時間経過と共に離れておらず、前記主要被写体の近傍に留まっている場合には、前記侵入物検出手段により前記侵入物が検出されても、前記検出結果を前記記録媒体に記録しないことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記距離情報取得手段は、前記各焦点検出領域に対応する被写体までの距離に関する距離情報を、被写体像の撮影画像データを取得してから、所定時間の間継続して取得することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記記録制御手段は、前記侵入物の前記被写界への侵入方向または大きさに基づいて、前記記録媒体への撮影画像データの記録を許可または禁止することを特徴とする撮像装置。