JP4586611B2 - 撮像装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、撮影した画像から、ユーザにとって撮影上の障害物である被写体を除去するための技術に関する。

カメラによる撮影は通常、撮影したい物体を決めて行われる。しかし、その物体は必ずしも望ましい状況で撮影できるとは限らない。例えばその物体の手前に、撮影範囲外にするのが困難な別の物体が存在していることがある。このことから、撮影したくない物体を撮影画像から除去する画像処理を行うことが創案されている。その画像処理方法としては、例えば特許文献１に記載されたものがある。ここでは説明上、便宜的に、ユーザが撮影したい物体を「主被写体」、その手前に存在する撮影を望まない別の物体を「障害被写体」とそれぞれ呼ぶことにする。

上記特許文献１に記載された従来の画像処理方法（デジタルカメラ）では、撮影位置や角度を異ならせて複数回、撮影を行い、それによって得られた複数の撮影画像を合成することにより、障害被写体を除去した画像を生成している。撮影位置や角度によって、撮影画像中における主被写体と障害被写体の位置関係が変化し、その変化によって障害被写体が主被写体上に重なっている部分が変化する。そのことを利用して、撮影画像の合成を行っている。

撮影位置や角度を異ならせて複数回、撮影を行えるように、特許文献１に記載された従来のデジタルカメラは、複数の撮像部を十分な距離、離して実装させている。しかし、そのようなカメラは、非常に大型なものとなるだけでなく、製造コストも非常に高くなる。このようなことから現実的ではない。

一方、ユーザに場所を移動させて、その複数回の撮影を行わせるようなことも考えられる。しかし、そのようなことは、ユーザは煩雑な作業を行わなければならない、主被写体の撮影に適する場所が非常に狭ければ移動しての撮影は行えない、といった理由から望ましくないと言える。このようなことから、ユーザに煩雑な作業を行わせることなく、障害被写体を除去した撮影画像を得られるようにすることが重要であると考えられる。
特開平１１−２７２８５５号公報

本発明の課題は、ユーザに煩雑な作業を行わせることなく、除去したい被写体を除去した撮影画像を得られる撮像装置、画像処理方法、及び、プログラムを提供することにある。

本発明の請求項１は、フォーカスレンズと、このフォーカスレンズの位置を移動させる移動手段と、撮像手段と、前記移動手段が前記フォーカスレンズの位置を移動させた結果、合焦した第１の被写体を含む第１の画像を撮像するよう前記撮像手段を制御する第１の撮像制御手段と、この第１の撮像制御手段による撮像の後、前記フォーカスレンズの位置を当該装置側へ移動させた結果、合焦した第２の被写体を含む第２の画像を撮像するよう前記撮像手段を制御する第２の撮像制御手段と、前記第１の撮像制御手段による撮像時の前記フォーカスレンズの位置情報を含んだ第１の情報と前記第２の撮像制御手段による撮像時の前記フォーカスレンズの位置情報を含んだ第２の情報とを取得する情報取得手段と、この情報取得手段により取得されたこれらの情報に基いて、合焦の違いにより発生する合焦時の１画素に対応する非合焦時の当該１画素の拡がりを示す錯乱円の半径を取得する錯乱円半径取得手段と、この錯乱円半径取得手段により取得された半径に基いて、前記第２の画像における第２の被写体の領域を前記第１の画像に存在するべき錯乱円の画素の成分に変換する変換手段と、この変換手段により変換された前記錯乱円の画素の成分を前記第１の画像から除去する除去手段と、この除去手段により除去された画素の成分を補うように明るさを補正する補正手段とを具備することを特徴とする。

また、請求項２の発明は、請求項１記載の発明において、前記除去手段は、前記第１の画像の前記第１の被写体の領域に存在する前記錯乱円の画素の成分を除去することを特徴とする。
また、請求項３の発明は、請求項１又は２記載の発明において、前記補正手段は、前記第１の被写体の領域に存在する画素について、明るさを補正することを特徴とする。
また、請求項４の発明は、請求項１乃至３の何れか記載の発明において、前記情報取得手段が取得し得る情報と前記錯乱円の半径を表す係数とを対応付けて予め記憶した記憶手段を更に備え、前記錯乱円半径取得手段は、前記情報取得手段によって取得された第１の情報と第２の情報とに基づき対応する前記錯乱円の半径を表す係数を前記記憶手段から抽出することによりこれを取得することを特徴とする。
また、請求項５の発明は、請求項１乃至４の何れか記載の発明において、外部からの操作により前記第２の被写体の指定を検出する検出手段を更に備え、前記第２の撮像制御手段は、前記検出手段により指定が検出された前記第２の被写体に合焦して前記第２の画像を撮像するよう制御することを特徴とする。
また、請求項６の発明は、請求項５記載の発明において、前記撮像手段により撮像された被写体を表示する表示手段を更に備え、前記検出手段は、前記表示手段により表示された被写体の指定を検出することにより前記第２の被写体の指定を検出することを特徴とする。
また、請求項７の発明は、請求項１乃至６記載の何れか記載の発明において、前記情報取得手段が取得する情報には、前記レンズ位置情報の他、絞り情報が含まれることを特徴とする。
また、請求項８の発明は、合焦した第１の被写体を含む第１の画像を取得する第１の画像取得ステップと、この第１の画像取得ステップにて取得された第１の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第１の情報を取得する第１の情報取得ステップと、前記第１の画像の撮像の後に撮像され、前記第１の画像の撮像されたときのフォーカスレンズの位置よりも手前に移動させた場合に合焦した第２の被写体を含む第２の画像を取得する第２の画像取得ステップと、この第２の画像取得ステップにて取得された第２の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第２の情報を取得する第２の情報取得ステップと、前記第１の情報取得ステップにて取得された前記第１の情報と前記第２の情報取得ステップにて取得された前記第２の情報とに基いて、合焦の違いにより発生する合焦時の１画素に対応する非合焦時の当該１画素の拡がりを示す錯乱円の半径を取得する錯乱円半径取得ステップと、この錯乱円半径取得ステップにて取得された半径に基いて、前記第２の画像における第２の被写体の領域を前記第１の画像に存在するべき錯乱円の画素の成分に変換する変換ステップと、この変換ステップにて変換された前記錯乱円の画素の成分を前記第１の画像から除去する除去ステップと、この除去ステップにて除去された画素の成分を補うように明るさを補正する補正ステップとを含むことを特徴とする。
また、請求項９の発明は、コンピュータを、合焦した第１の被写体を含む第１の画像を取得する第１の画像取得手段、この第１の画像取得手段によって取得された第１の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第１の情報を取得する第１の情報取得手段、前記第１の画像の撮像の後に撮像され、前記第１の画像の撮像されたときのフォーカスレンズの位置よりも手前に移動させた場合に合焦した第２の被写体を含む第２の画像を取得する第２の画像取得手段、この第２の画像取得手段によって取得された第２の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第２の情報を取得する第２の情報取得手段、前記第１の情報取得手段によって取得された前記第１の情報と前記第２の情報取得手段によって取得された前記第２の情報とに基いて、合焦の違いにより発生する合焦時の１画素に対応する非合焦時の当該１画素の拡がりを示す錯乱円の半径を取得する錯乱円半径取得手段、この錯乱円半径取得手段によって取得された半径に基いて、前記第２の画像における第２の被写体の領域を前記第１の画像に存在するべき錯乱円の画素の成分に変換する変換手段、この変換手段によって変換された前記錯乱円の画素の成分を前記第１の画像から除去する除去手段、この除去手段によって除去された画素の成分を補うように明るさを補正する補正手段として機能させることを特徴とする。

本発明によれば、ユーザに煩雑な作業を行わせることなく、除去したい被写体を除去した撮影画像を得られる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態によるデジタルカメラの構成を示す図である。

このデジタルカメラ（以降「カメラ」と略記）は、ズーム機能とオートフォーカス機能とを備えたものであって、それを実現するためのレンズブロック１を有している。
レンズブロック１には、光軸方向に移動可能に配置されたズームレンズ及びフォーカスレンズからなる沈胴式のレンズ群１１（光学系）と、このレンズ群１１におけるズーム位置用及びフォーカス位置用の位置検出センサ１２，１３と、ズームレンズを移動するズームモータ１４及びフォーカスレンズを移動するフォーカスモータ１５と、図示しない絞りを開閉する絞り用アクチュエータ１６と、機械式のシャッターを開閉するシャッター用アクチュエータ１７と、が設けられている。また、上記の各モータ１４、１５及びアクチュエータ１６、１７は、ドライバーブロック２に設けられたズーム用（ＺＯＯＭ）、フォーカス用（Ｆｏｃｕｓ）、絞り用（Ｉｒｉｓ）、シャッター用（Ｓｈｕｔｔｅｒ）の各種ドライバー２１〜２４によって駆動される。

レンズコントロールブロック４３は、ＣＰＵ５の指示に従って、上記ドライバーブロック２の各種ドライバー２１〜２４の駆動制御を行う。それによりズームレンズやフォーカスレンズの位置や絞りの開度を変更させたり、或いはシャッターを開閉動作させる。ＣＰＵ５には、ズーム位置用及びフォーカス位置用の位置検出センサ１２、１３によって検出した各レンズの位置情報を逐次出力する。

また、カメラは、主として上記レンズ群１１の撮影光軸後方に配置された撮像素子であるＣＣＤ３１と、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）／ＡＤブロック３２と、及びＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）３３と、を備えたＣＣＤ撮像系ブロック３を有している。ＣＣＤ３１は、撮影時、レンズ群１１によって結像された光学像（画像）を光電変換するものであり、ＴＧ３３によって走査駆動され一定周期毎に光電変換出力を１画面分出力する。ＣＤＳ／ＡＤブロック３２は、ＣＣＤ３１から出力されたアナログの出力信号に対し、ＲＧＢの色成分毎に適宜ゲイン調整、相関二重サンプリングによるノイズ除去、及びデジタル信号への変換を行い、カラープロセス回路４に出力する。

カラープロセス回路４は、入力した撮像画像（デジタル信号）に対し画素補間処理を含むカラープロセス処理を施し、デジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を生成し、ＣＰＵ５へ出力する。

ＣＰＵ５は、送られたデジタル信号（撮影画像）をＤＲＡＭ６に一時保存するとともに画像表示部７に送る。画像表示部７は、ビデオエンコーダー、ＶＲＡＭ、液晶モニタ及びその駆動回路を含み、送られたデジタル信号に応じたビットマップイメージをビデオエンコーダーによって生成し、そのイメージすなわちＣＣＤ３１が光電変換した撮影画像を液晶モニタに表示させる。

キー入力部８は、電源キー、記録／再生の第１のモード切替スイッチ、記録モード時における通常／障害物除去の第２のモード切替スイッチ、シャッターキー、メニューキー、十字キー、フォーカスキー、ズームキー等の各種キーと、それらの状態変化を検出し、それに応じた操作信号をＣＰＵ５に送るサブＣＰＵ８１と、備えた構成となっている。フォーカスキー、ズームキーはそれぞれ２種類、存在する。

上記第１、及び第２のモード切替スイッチは共に、ユーザが変化させた状態を維持するタイプのものであり、他のキーは力の作用によって状態を変化させ、その力の解除によって元の状態に戻るタイプのものである。このようなことから、サブＣＰＵ８１は、第１、或いは第２のモード切替スイッチの状態変化を検出した場合に、その変化後の状態（モード）を示す状態信号をＣＰＵ５へ送る。他のキーでは、状態変化を検出した場合に、その旨を示す信号を送る。また、サブＣＰＵ８１は、図示しない電池を含む電源回路を制御するとともに、電池電圧を検出してその検出結果をＣＰＵ５に送る。シャッターキーへの操作によりサブＣＰＵ８１が出力する信号は「トリガー信号」と呼ぶことにする。そのトリガー信号は、記録モードの設定時のみ出力する。

ＣＰＵ５は、フラッシュメモリ４１に格納されたプログラムを読み出して実行することにより、カメラ全体の制御を行う。キー入力部８から入力する状態信号によりモード設定を行う。トリガー信号を入力すると、レンズコントロールブロック４３にシャッターの開閉動作を指示する。それにより、ブロック４３は、シャッター用のドライバー２１によりアクチュエータ１７を駆動させ、シャッターの開閉を行わせる。キー入力部８からフォーカスキー、或いはズームキーの操作が通知された場合には、そのキーのなかでユーザが操作したキーの種類により、フォーカスレンズ、或いはズームレンズの位置を移動させるべき方向を決定し、ブロック４３に指示して、その決定した方向に位置を移動させる。

一方、ＣＣＤ撮像系ブロック３に対しては、ＣＰＵ５はＴＧ３３にＣＣＤ３１の駆動を指示する。それにより、レンズブロック１によってＣＣＤ３１上に結像されている画像を取り込ませる。ＣＣＤ３１によって取り込まれた画像は、ＣＤＳ／ＡＤブロック３２によりＲＧＢの色成分毎にゲイン調整、ノイズ除去、デジタル信号（データ）への変換が行われた後、カラープロセス回路４に出力される。カラープロセス回路４は、それら色成分毎のデジタル信号を輝度信号（Ｙ）、色差信号（Ｃｂ、Ｃｒ）に変換してＣＰＵ５、及びＪＰＥＧ回路９にそれぞれ出力する。

ＪＰＥＧ回路９は、Ｙ、Ｃｂ、Ｃｒの信号（コンポーネント）毎に縦８画素×横８画素の基本ブロックと称する基本単位に分割し、ＤＣＴ（離散拡散変換）、符号化によって圧縮し、それによって得られた圧縮データ（１画像分）をＣＰＵ５に出力する。ＣＰＵ５は、その圧縮データを画像記憶部４２に出力して記憶させる。画像記憶部４２は、具体的には例えばカメラ本体に着脱自在に装着される不揮発性の半導体メモリカードにアクセスするカードインターフェースである。

再生モードは、画像記憶部４２に圧縮データとして記憶された画像の再生用のモードである。そのモードの設定時では、ＣＰＵ５は、画像記録部４２に記録された画像のなかでユーザがキー入力部８を操作して指定した画像を読み出し、ＪＰＥＧ回路９によって伸長させる。その伸長によって得られるＹ、Ｃｂ、Ｃｒの各信号をＪＰＥＧ回路９から受け取って画像表示部７に出力することにより、液晶表示モニタにユーザが所望の画像を表示させる。

上記記録モードでは、通常モードおよび障害物除去モードの何れかを第２のモード切替スイッチにより設定できるようになっている。通常モードは、ユーザの操作により撮影を行い、それによって得られた画像を記録するモードであり、障害物除去モードは、画像中に存在する被写体のなかから一つ以上の被写体を障害被写体として除去し、その除去後の画像を記録するモードである。本実施の形態では、除去の対象とする障害被写体として、ユーザが撮影を所望する被写体（主被写体）の手前に位置することで被写体となる障害物を想定している。

図３は、主被写体の撮影における障害被写体の影響を説明する図である。図３中、主被写体にはＳＢ、障害被写体にはＯＢ、像が結像する結像面にはＩＦ、レンズには３０１をそれぞれ付している。そのレンズ３０１は例えばレンズ群１１を構成するフォーカスレンズに相当する。ＣＣＤ３１（撮像素子）は結像面ＩＦ上に配置される。

図３に示すように、主被写体ＳＢの手前に障害被写体ＯＢが存在していても、その障害被写体ＯＢの位置や大きさによっては、主被写体ＳＢ上の障害被写体ＯＢが重なっている部分からの光はレンズ３０１の有効直径ＶＤ内に入って結像面ＩＦに届く。しかし、その届いた光は、主被写体ＳＢからのものと、障害被写体ＯＢからのものと、が混合した形となっている。このことから、障害被写体ＯＢの除去は、主被写体ＳＢにピントを合わせて撮影した画像から、その障害被写体ＯＢ由来の光の成分を取り除くことで行うようにしている。

主被写体ＳＢにピントを合わせての撮影では、その手前に位置する障害被写体ＯＢにはピントが合っていないのが普通である。そのため、撮影した画像において、障害被写体ＯＢ由来の光が影響を及ぼしている範囲やその程度等を特定するのは困難である。このことから、本実施の形態では、主被写体ＳＢにピントを合わせて撮影した画像（以降「画像１」と呼ぶ）の他に、障害被写体ＯＢにピントを合わせて撮影した画像（以降「画像２」と呼ぶ）を撮影するようにしている。それにより、障害被写体ＯＢ由来の光成分の除去は、画像２中の障害被写体像を切り出し、画像１の撮影条件で撮影した際のものに変換し、変換後の障害被写体像を画像１から減算する形で行っている。

周知のように、ピントが合っていない状態で撮影された物体の画像は、ピントを合わせ、他の撮影条件はそのままの状態で撮影されたときよりも広い範囲（領域）を占めるようになる。以降は変更させない撮影条件は特に言及しないこととする。

図７は、ピントの合わせ方による被写体の存在する領域の変化を説明する図である。その図７において、多数の小さな丸はそれぞれ画素を表している。ＡＥを付した１つの画素は、ピントが合った状態で撮影した被写体を表す画素のなかで注目している注目画素である。

ピントが合った状態では点で表される部分は、ピントがずれた状態では円となって広がってしまう。その円は錯乱円と呼ばれ、図７に示す例では、注目画素ＡＥを中心にして多数の画素を含む円で表している。画像２から切り出した障害被写体像の変換は、ピントが合った状態では注目画素ＡＥのみで表現される部分を、錯乱円に含まれる画素で表現することに相当する。その変換後の障害被写体像（以降「変換障害被写体像」と呼ぶ））を画像１から除去することにより、障害被写体ＯＢが写っていない画像を適切に生成することができる。

本実施の形態では、障害物除去モードの設定時では、主被写体ＳＢにピントを合わせてシャッターキーをユーザに操作させるようにしている。それにより、主被写体ＳＢにピントの合った画像１を撮影した後、障害被写体ＯＢにピントを合わせた画像２を続けて自動的に撮影するようにしている。

図４は、障害被写体ＯＢによる主被写体ＳＢから届く光量の変化を説明する図である。
障害被写体ＯＢが重なっている部分からの光の一部は、図４に示すように、その障害被写体ＯＢによって遮光される形となる。その部分からの光は、本来光が届くべき面積ＶＳのなかで障害被写体ＯＢにより光が届かない面積ＮＳが存在していると、光量は全体平均では（ＶＳ−ＮＳ）／ＶＳと減少しており、暗くなっている。それにより、変換障害被写体像を除去するだけでは、それを除去した部分とその周辺の境界が視認しやすくなっている。このことから、本実施の形態では、変換障害被写体像を除去する領域に対し、除去後に障害被写体ＯＢによる光の減少分を補う補正を併せて行っている。その補正を行うことにより、障害被写体像を画像１から除去した後の状態をより自然なものとさせている。

上述したようにして、画像１に写っている障害被写体像は、障害被写体ＯＢのピントの合った画像を用いて除去することから、ユーザが撮影場所を移動させなければならない必要性は回避される。このため、撮影場所を変えて複数回、撮影を行わなければならない場合と比較して、ユーザはより容易に撮影を行えるようになる。同じ撮影場所で複数回、撮影を行えば良いことから、カメラの構成としては、特許文献１に記載されたような構成を採用する必要性は回避される。

画像１から障害被写体像を除去する画像処理は、例えばＣＰＵ５が、ＤＲＡＭ６をワークに使用してフラッシュメモリ４１に格納されたプログラムを実行することにより、カラープロセス回路４から入力するＹ、Ｃｂ、Ｃｒの信号を対象に行う。その画像処理は、キー入力部８へのユーザの操作に応じて行う。

図２は、上記フラッシュメモリ４１のデータ格納構造を示す模式図である。フラッシュメモリ４１内部には、変換テーブル領域４１ａ、プログラム領域４１ｂ、及び各種メモリ領域４１ｃが確保されている。変換テーブル領域４１ａには、レンズ位置情報と絞り情報（絞りの開度を示す情報）の組み合わせと錯乱円の大きさを示す拡がり係数の関係を表す変換テーブルが格納されている。

図７に示すように、ピントの合った状態では１個の注目画素ＡＥで表現される部分はピントがずれた状態では錯乱円内の画素で表現される。その錯乱円の大きさは、レンズ３０１の有効直径（絞りによって変化する）ＶＤ、合焦位置からのずれ量によって決まる。本実施の形態では、ピントの合った障害被写体ＯＢの画像が、その後方に位置する主被写体ＳＢにピントを合わせたときの拡がり具合を計算するのであるから、拡がり係数はそれらにピントをそれぞれ合わせた状態でのレンズ位置の関数となる。このようなことから、上記変換テーブルを変換テーブル領域４１ａに用意している。

図３に示すように後方からの光が回り込むような障害被写体ＯＢは、主被写体ＳＢよりもかなり手前にあることが多いと考えられる。そのような位置にある障害被写体ＯＢにピントを合わせる場合、フォーカスレンズだけでなく、ズームレンズも移動させなければならないこともあり得る。そのズームレンズも移動させる場合は、フォーカスレンズ、ズームレンズのそれぞれの移動量から、フォーカスレンズのみを移動させた場合に相当する移動量を求める必要が生じる。ここでは便宜的に、変換テーブルはそれらのレンズの位置の組み合わせに対応したものとして説明を行う。

変換テーブルはレンズ３０１別に用意する必要があることから、レンズ交換が可能であれば交換可能なレンズ別に変換テーブルを変換テーブル領域４１ａに格納しておかなければならない。取り付けられたレンズに対応する変換テーブルを選択する必要がある。しかし、その選択は、取り付けられたレンズを認識する仕組みを用意する、そのレンズの識別情報をユーザに入力させる、といったことにより行わせることができる。

図５は、撮影処理のフローチャートである。記録モードの設定時に撮影のためにＣＰＵ５が実行する処理を抜粋してその流れを示したものである。その処理の流れは、フラッシュメモリ４１のプログラム領域４１ｂに格納されたプログラムをＣＰＵ５が実行することで実現される。次に図５を参照して、記録モードの設定時における動作について詳細に説明する。

先ず、ステップ５０１では、障害物除去モードを設定しているか否か判定する。第２のモード切替スイッチが障害物除去モードの設定を指示する状態となっていた場合、サブＣＰＵ８１からその旨がＣＰＵ５に通知されることから、判定はＹＥＳとなってステップ５０２に移行する。そうでない場合には、判定はＮＯとなり、通常モード用の撮影のための処理を行う。その処理についての詳細は省略する。

ステップ５０２では、主被写体ＳＢにピントを合わせた撮影を求めるメッセージを例えば画像表示部７の液晶モニタに表示させ、その撮影をユーザのシャッターキーへの操作により行う。続くステップ５０３では、その撮影によって得られた画像１をＤＲＡＭ６に保存し、その次のステップ５０４では、その撮影の際のフォーカスレンズ位置、ズームレンズ位置をレンズコントロールブロック４３から取得し、それらをレンズ位置情報１として、絞り情報と併せてＤＲＡＭ６に保存する。その後はステップ５０５に移行して、画像１を対象に、その画像１のなかでピントの合っている被写体の画像が存在する領域（合焦領域）を切り出す合焦領域切り出し処理を実行する。

図６は、その切り出し処理のフローチャートである。ここで図６を参照して、その切り出し処理について詳細に説明する。
先ず、ステップ６０１では、対象とする画像１を例えば８×８が素のブロックに分割する。次のステップ６０２では、各ブロックの輝度の高周波成分（図中「高域成分」と表記）を抽出する。その次に移行するステップ６０３では、一つのブロックに注目して、そのブロックで抽出した高周波成分が閾値より大きいか否か判定する。その高周波成分が閾値より大きい場合、判定はＹＥＳとなり、ステップ６０４でそのブロックを合焦領域としてマークした後、ステップ６０５に移行する。そうでない場合には、判定はＮＯとなり、次にそのステップ６０５に移行する。

ステップ６０５では、全ブロックをチェックしたか否か判定する。全てのブロックのチェックが終了した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなり、注目するブロックを未チェックの別のブロックに変えて、上記ステップ６０３の処理を行う。

このようにして、本実施の形態では、合焦領域はブロック単位で切り出すようにしている。その切り出しが完了することで、図５に示す撮影処理では、ステップ５０６に移行する。

ステップ５０６では、切り出したブロックを、主被写体ＳＢの画像が写っている目標被写体領域としてＤＲＡＭ６に保存する。障害被写体ＯＢの画像によって主被写体ＳＢの画像の少なくとも一部の高周波成分が低下していることも考えられることから、その目標被写体領域はそのことを考慮して特定するようにしている。

ステップ５０６に続くステップ５０７では、ピントの合った位置が手前に移動するように、レンズコントロールブロック４３に指示して、フォーカスレンズ、必要に応じてズームレンズを移動させる。その移動を所定量、行わせると、ステップ５０８に移行して、ピントの合う被写体が有るか否か判定する。そのような被写体が存在した場合、判定はＹＥＳとなってステップ５０９に移行する。そうでない場合には、判定はＮＯとなって上記ステップ５０７に戻る。

ステップ５０９では、再度、撮影を行い、次のステップ５１０では、その撮影によって得られた画像を画像２として保存する。その保存後はステップ５１１に移行して、画像２を対象にした合焦領域切り出し処理を実行する。ステップ５１２には、その実行後に移行する。

ステップ５１２では、その切り出し処理によって切り出した合焦領域が目標被写体領域と重なっているか否か判定する。それらが重なっている場合、判定はＹＥＳとなってステップ５１３に移行する。そうでない場合には、判定はＮＯとなって上記ステップ５０７に戻る。それにより、障害被写体ＯＢを想定したピント調節を継続させる。

ステップ５１３では、ステップ５１１の合焦領域切り出し処理を実行することで切り出した合焦領域を障害物領域として保存する。続くステップ５１４では、フォーカスレンズ、ズームレンズの各位置をレンズ位置情報２として保存する。その次のステップ５１５では、レンズ位置情報１、２、及び絞り情報に対応する拡がり係数を変換テーブルから抽出する。その抽出後に移行するステップ５１６では、抽出した拡がり係数を用いて、障害物領域の変換を行う。

その拡がり係数は、画素間の距離を単位として錯乱円の半径ａを示すものとしている。これは、拡がり係数は、対象とする１画素の成分が、半径ａに含まれるπａ²個の画素に拡散する形で拡がることを表している。本実施の形態では、その画素の成分が均等に拡散するとの想定から、πａ²個の画素にその成分を均等に分配する形で障害物領域の変換を行っている。

そのような分配は、各画素で行う。その分配と併せ、その分配を行う画素毎に、総分配量を求める。その総分配量は、上記想定では、目標被写体領域内の画素において、その成分に占める障害被写体像分の割合（≒（ＶＳ−ＮＳ）／ＶＳ。図４）を示すと考えられる。それにより、明るさ補正は、その割合分を補う形で行っている。

ステップ５１６に続くステップ５１７では、画像１から、ステップ５１６で変換した障害物領域の情報（成分）を除去し、その除去を行った領域に対し、上記明るさ補正を行う。次のステップ５１８では、その除去を行った除去領域とそれを行っていない非除去領域の境界線の特定を行い、その次のステップ５１９では、特定した境界線近傍の除去領域、非除去領域を対象に平均輪郭強度（２次微分の絶対値）を計算する。その計算後は、ステップ５２０に移行して、除去領域を対象にした輪郭強調を行う。

図８は、除去領域に行う輪郭強調を説明する図である。図８中、例えば「ｂ」を含むシンボルが表記した四角形は非除去領域を構成するブロック、「ａ」を含むシンボルを表記した四角形は除去領域を構成するブロック、をそれぞれ表している。

境界線Ｂの近傍に位置するブロックでは、障害被写体ＯＢが存在していなければ主被写体ＳＢの画像のみが存在する可能性が高いと考えられる。そうであれば、境界線Ｂの近傍に位置するそれら各領域のブロックの平均輪郭強度は概略等しくなると予想できる。このことから、本実施の形態では、除去領域の輪郭強度が非除去領域の輪郭強度と許容範囲と言える範囲内で一致させるように、除去領域に対する輪郭強調を行うようにしている。

ステップ５２０に続くステップ５２１では、境界線Ｂ近傍の輪郭強調した後の除去領域の平均輪郭強度と非除去領域のそれとの差が閾値以下か否か判定する。その閾値は許容範囲として予め設定したものである。このことから、それらの平均輪郭強度の差が許容範囲内であった場合、判定はＹＥＳとなり、最後に輪郭強調を行った画像（障害物領域の情報を除去した画像である）を画像記憶部４２に保存した後、一連の処理を終了する。その保存する画像は、ＪＰＥＧ回路９により圧縮データに変換させたものである。そうでない場合には、判定はＮＯとなって上記ステップ５２０に戻り、程度を変更して輪郭強調を再度、行う。

なお、障害被写体ＯＢは、異なる位置に複数、存在している場合がある。その障害被写体ＯＢが複数、異なる位置に存在していたとしても、障害被写体ＯＢ毎にその情報を画像１から除去すれば良いことから、基本的にはステップ５０７〜５１７の処理を障害被写体ＯＢ毎に実行することで対応できる。
＜第２の実施の形態＞
上記第１の実施の形態では、主被写体ＳＢに重なって写った障害被写体ＯＢにピントを合わせた画像の撮影を自動的に行っている。これに対し、第２の実施の形態は、障害被写体ＯＢをユーザに指定させて、指定された障害被写体ＯＢの画像成分のみを対象に除去を行うようにしたものである。

画像成分を除去すべき障害被写体ＯＢをユーザに指定させると、図９に示すように、ピント調整はその障害被写体ＯＢにのみ注目して行うことができる。そのため、ピント調整が容易、且つ迅速に行えることから、ユーザは障害被写体ＯＢを除去した画像をより早く得られるようになる。

第２の実施の形態によるカメラの構成は、基本的に第１の実施の形態におけるそれと同じである。動作も大部分は同じか、或いは基本的には同じである。このようなことから、第１の実施の形態の説明で付した符号をそのまま用いつつ、第１の実施の形態から異なる部分のみ説明する。

図１０は、第２の実施の形態における撮影処理のフローチャートである。その図１０において、第１の実施の形態と同じ、或いは基本的に同じステップの処理には同一の符号を付している。それにより、図１０を参照して、撮影処理において第１の実施の形態から異なる部分を詳細に説明する。

第２の実施の形態では、ステップ５０１の判定がＹＥＳとなると、次にステップ１００１に移行する。そのステップ１００１では、画像表示部７の液晶モニタに、シャッターキーを操作することで撮影される画像に加えて、障害被写体ＯＢ選択用のカーソルを表示させる。その後はステップ１００２に移行して、ユーザが除去すべき障害被写体ＯＢを選択するのを待つ。

そのカーソルは、上記十字キーへの操作に従って表示位置を移動させるようにしている。それにより、除去すべき障害被写体ＯＢの選択は、例えばカーソルをその障害被写体ＯＢ上に移動させた後、決定キーを操作することで行うようにさせている。そのように選択させるようにした場合には、その決定キーの操作により、ステップ１００２の判定はＹＥＳとなってステップ５０２に移行する。

第２の実施の形態では、ステップ５０６で目標被写体領域を保存した後にステップ１００３に移行する。そのステップ１００３では、ピントを合わせるべき物体をユーザが選択した障害被写体ＯＢに変更する。次のステップ１００４では、その障害被写体ＯＢにピントを合わせるために、レンズコントロールブロック４３に指示して、フォーカスレンズ、必要に応じてズームレンズを移動させる。その移動を所定量、行わせると、ステップ１００５に移行して、ユーザが選択した障害被写体ＯＢにピントが合ったか否か判定する。そのピントが合った場合、判定はＹＥＳとなってステップ５０９に移行する。そうでない場合には、判定はＮＯとなって上記ステップ１００４に戻る。

このようにして、第２の実施の形態では、ユーザが選択した障害被写体ＯＢにのみにピントを合わせるためにレンズを移動させ、その障害被写体ＯＢにピントを合わせた画像２を撮影し保存するようにしている。他に除去すべき障害被写体ＯＢの存在を考慮しないために、迅速にレンズを移動させての画像２の撮影を行うことができる。

なお、第２の実施の形態では、除去すべき障害被写体ＯＢをユーザに選択させるようにしているが、その障害被写体ＯＢの代わりに主被写体ＳＢをユーザに選択させるようにしても良い。主被写体ＳＢをユーザに選択させるようにした場合には、例えば障害被写体ＯＢにピントを合わせた画像２をユーザに撮影させ、その障害被写体ＯＢの先に位置する主被写体ＳＢにピントを合わせた画像１を自動的に撮影させるようにすれば良い。

除去すべき障害被写体ＯＢは、異なる位置に複数、存在している場合がある。その障害被写体ＯＢが複数、異なる位置に存在していたとしても、障害被写体ＯＢ毎にその情報を画像１から除去すれば良いことから、除去すべき障害被写体ＯＢ毎にその選択を行わせ、選択された障害被写体ＯＢ毎に、ステップ１００３〜５１７の処理を実行することで基本的に対応できる。
＜第３の実施の形態＞
上記第２の実施の形態では、ユーザが事前に選択した障害被写体ＯＢにピントを合わせた画像２の撮影のみを自動的に行うようにしている。第３の実施の形態は、撮影終了後に除去すべき障害被写体ＯＢをユーザに選択させるようにしたものである。そのために第３の実施の形態では、図１１に示すように、主被写体ＳＢの手前に位置する被写体が見つかる度に撮影を行うようにしている。

第３の実施の形態によるカメラの構成は、第２の実施の形態と同様に、基本的に第１の実施の形態におけるそれと同じである。動作も大部分は同じか、或いは基本的には同じである。このようなことから、第１の実施の形態の説明で付した符号をそのまま用いつつ、第１の実施の形態から異なる部分のみ説明する。

図１２は、第３の実施の形態における撮影処理のフローチャートである。その図１２において、第１の実施の形態と同じ、或いは基本的に同じステップの処理には同一の符号を付している。それにより、図１２を参照して、撮影処理において第１の実施の形態から異なる部分を詳細に説明する。

第３の実施の形態では、ステップ５０６で目標被写体領域を保存した後にステップ１２０１に移行する。そのステップ１２０１では、変数ｉに２を代入する。その後はステップ５０７に移行する。

ステップ５０９に続くステップ１２０２では、ステップ５０９で撮影した画像を、変数ｉに対応付けて保存する。次のステップ１２０３では、撮影時のフォーカスレンズ、ズームレンズの各位置を、変数ｉに対応付けて保存する。その後に移行するステップ１２０４では、各レンズの位置はこれ以上、ピントを手前に移動できない位置か否か判定する。各レンズがそのような位置であった場合、判定はＹＥＳとなってステップ１２０６に移行する。そうでない場合には、判定はＮＯとなり、ステップ１２０５で変数ｉの値をインクリメントした後、上記ステップ５０７に戻る。それにより、図１１に示すように、主被写体ＳＢの手前に位置する被写体にピントを合わせた画像を順次、撮影する。

ステップ１２０６では、例えば画像１を障害被写体ＯＢ選択用のカーソルと併せて画像表示部７の液晶モニタに表示させ、十字キーへの操作によってユーザに除去すべき障害被写体ＯＢを選択させる。次のステップ１２０７では、変数ｉに２を代入し、その次に移行するステップ１２０８では、変数ｉの値に対応付けた画像（図中「画像ｉ」と表記）に存在するその障害被写体ＯＢはピントが合っているか否か判定する。そのピントが合っている場合、判定はＹＥＳとなってステップ１２１０に移行し、その画像を画像２として選択する。その選択後は、ステップ５１１の処理に続けてステップ５１３の処理を実行する。一方、そうでない場合には、判定はＮＯとなり、ステップ１２０９で変数ｉの値をインクリメントした後、再度、上記ステップ１２０８の判定を行う。それにより、ユーザが選択した障害被写体ＯＢにピントが合った画像を探す。

なお、第３の実施の形態では、障害被写体ＯＢは一つだけユーザに選択させるようにしているが、複数の障害被写体ＯＢを選択できるようにしても良い。
また、本実施の形態（第１〜第３の実施の形態）では、主被写体ＳＢは一つのみを想定しているが、複数の主被写体ＳＢを想定して、主被写体ＳＢ毎に、それに重なって写っている障害被写体ＯＢの除去を行うようにしても良い。その除去のための画像処理は、カメラ自体が行っているが、その処理のために必要な画像や情報を提供して別の装置に行わせるようにしても良い。つまり、上述したような画像処理を行う画像処理装置をカメラとは別に用意しても良い。

第１の実施の形態によるデジタルカメラの構成を示す図である。 フラッシュメモリ４１のデータ格納構造を示す模式図である。 主被写体の撮影における障害被写体の影響を説明する図である。 障害被写体ＯＢによる主被写体ＳＢから届く光量の変化を説明する図である。 撮影処理のフローチャートである。 合焦領域切り出し処理のフローチャートである。 ピントの合わせ方による被写体の存在する領域の変化を説明する図である。 除去領域に行う輪郭強調を説明する図である。 障害被写体ＯＢを自動的に撮影する際の動作を説明する図である（第２の実施の形態）。 撮影処理のフローチャートである（第２の実施の形態）。 障害被写体ＯＢを自動的に撮影する際の動作を説明する図である（第３の実施の形態）。 撮影処理のフローチャートである（第３の実施の形態）。

符号の説明

１ レンズブロック
２ ドライバーブロック
３ ＣＣＤ撮像系ブロック
４ カラープロセス回路
５ ＣＰＵ
６ ＤＲＡＭ
７ 画像表示部
８ キー入力部
１１ レンズ群
１２、１３ 位置検出センサー
１４ ズームモータ
１５ フォーカスモータ
１６ アクチュエータ
２１〜２５ ドライバー
４１ フラッシュメモリ
４３ レンズコントロールブロック

Claims (9)

1. フォーカスレンズと、
   このフォーカスレンズの位置を移動させる移動手段と、
   撮像手段と、
   前記移動手段が前記フォーカスレンズの位置を移動させた結果、合焦した第１の被写体を含む第１の画像を撮像するよう前記撮像手段を制御する第１の撮像制御手段と、
   この第１の撮像制御手段による撮像の後、前記フォーカスレンズの位置を当該装置側へ移動させた結果、合焦した第２の被写体を含む第２の画像を撮像するよう前記撮像手段を制御する第２の撮像制御手段と、
   前記第１の撮像制御手段による撮像時の前記フォーカスレンズの位置情報を含んだ第１の情報と前記第２の撮像制御手段による撮像時の前記フォーカスレンズの位置情報を含んだ第２の情報とを取得する情報取得手段と、
   この情報取得手段により取得されたこれらの情報に基いて、合焦の違いにより発生する合焦時の１画素に対応する非合焦時の当該１画素の拡がりを示す錯乱円の半径を取得する錯乱円半径取得手段と、
   この錯乱円半径取得手段により取得された半径に基いて、前記第２の画像における第２の被写体の領域を前記第１の画像に存在するべき錯乱円の画素の成分に変換する変換手段と、
   この変換手段により変換された前記錯乱円の画素の成分を前記第１の画像から除去する除去手段と、
   この除去手段により除去された画素の成分を補うように明るさを補正する補正手段と
   を具備することを特徴とする撮像装置。
2. 前記除去手段は、前記第１の画像の前記第１の被写体の領域に存在する前記錯乱円の画素の成分を除去することを特徴とする請求項１記載の撮像装置。
3. 前記補正手段は、前記第１の被写体の領域に存在する画素について、明るさを補正することを特徴とする請求項１又は２記載の撮像装置。
4. 前記情報取得手段が取得し得る情報と前記錯乱円の半径を表す係数とを対応付けて予め記憶した記憶手段を更に備え、
   前記錯乱円半径取得手段は、前記情報取得手段によって取得された第１の情報と第２の情報とに基づき対応する前記錯乱円の半径を表す係数を前記記憶手段から抽出することによりこれを取得することを特徴とする請求項１乃至３の何れか記載の撮像装置。
5. 外部からの操作により前記第２の被写体の指定を検出する検出手段を更に備え、
   前記第２の撮像制御手段は、前記検出手段により指定が検出された前記第２の被写体に合焦して前記第２の画像を撮像するよう制御することを特徴とする請求項１乃至４の何れか記載の撮像装置。
6. 前記撮像手段により撮像された被写体を表示する表示手段を更に備え、
   前記検出手段は、前記表示手段により表示された被写体の指定を検出することにより前記第２の被写体の指定を検出することを特徴とする請求項５記載の撮像装置。
7. 前記情報取得手段が取得する情報には、前記レンズ位置情報の他、絞り情報が含まれることを特徴とする請求項１乃至６の何れかに記載の撮像装置。
8. 合焦した第１の被写体を含む第１の画像を取得する第１の画像取得ステップと、
   この第１の画像取得ステップにて取得された第１の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第１の情報を取得する第１の情報取得ステップと、
   前記第１の画像の撮像の後に撮像され、前記第１の画像の撮像されたときのフォーカスレンズの位置よりも手前に移動させた場合に合焦した第２の被写体を含む第２の画像を取得する第２の画像取得ステップと、
   この第２の画像取得ステップにて取得された第２の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第２の情報を取得する第２の情報取得ステップと、
   前記第１の情報取得ステップにて取得された前記第１の情報と前記第２の情報取得ステップにて取得された前記第２の情報とに基いて、合焦の違いにより発生する合焦時の１画素に対応する非合焦時の当該１画素の拡がりを示す錯乱円の半径を取得する錯乱円半径取得ステップと、
   この錯乱円半径取得ステップにて取得された半径に基いて、前記第２の画像における第２の被写体の領域を前記第１の画像に存在するべき錯乱円の画素の成分に変換する変換ステップと、
   この変換ステップにて変換された前記錯乱円の画素の成分を前記第１の画像から除去する除去ステップと、
   この除去ステップにて除去された画素の成分を補うように明るさを補正する補正ステップと
   を含むことを特徴とする画像処理方法。
9. コンピュータを、
   合焦した第１の被写体を含む第１の画像を取得する第１の画像取得手段、
   この第１の画像取得手段によって取得された第１の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第１の情報を取得する第１の情報取得手段、
   前記第１の画像の撮像の後に撮像され、前記第１の画像の撮像されたときのフォーカスレンズの位置よりも手前に移動させた場合に合焦した第２の被写体を含む第２の画像を取得する第２の画像取得手段、
   この第２の画像取得手段によって取得された第２の画像の、撮像されたときのフォーカスレンズの位置情報を含んだ第２の情報を取得する第２の情報取得手段、
   前記第１の情報取得手段によって取得された前記第１の情報と前記第２の情報取得手段によって取得された前記第２の情報とに基いて、合焦の違いにより発生する合焦時の１画素に対応する非合焦時の当該１画素の拡がりを示す錯乱円の半径を取得する錯乱円半径取得手段、
   この錯乱円半径取得手段によって取得された半径に基いて、前記第２の画像における第２の被写体の領域を前記第１の画像に存在するべき錯乱円の画素の成分に変換する変換手段、
   この変換手段によって変換された前記錯乱円の画素の成分を前記第１の画像から除去する除去手段、
   この除去手段によって除去された画素の成分を補うように明るさを補正する補正手段
   として機能させることを特徴とするプログラム。