JP4586578B2 - デジタルカメラ及びプログラム - Google Patents

Description

本発明は、デジタルカメラ及びプログラムに関する。

デジタルカメラは、ＣＣＤ（Charge Coupled Device）等の撮像素子、被写体像を撮像素子に結像するレンズ、撮像素子により光電変換されたアナログ情報をデジタルの画像データに変換するＡ／Ｄ変換器、画像データを適正な色、サイズ、圧縮率に変換する情報処理部、撮像した画像データを蓄積するメモリ、画像データを記憶メディアに書き込む記録部等により構成されている。

この種のデジタルカメラを用いて被写体が撮像される場合、撮像された画像データ中に、人物の手前にある金網等の画像データも含まれる。また、デジタルカメラがズーム機能を有し、被写界深度が浅い被写体領域が撮像される場合でも、金網等の画像データはぼけることはあっても消えることはない。
金網等の画像データを除去する方法として、パーソナルコンピュータ等を用いて、撮像した被写体の画像データから金網等の画像データのみを手作業で修正（レタッチ）する方法がある。一方、動く被写体に対応する画像データだけを、撮像された複数の画像データからそれぞれ除去する手法が開示されている（特許文献１参照）。この手法では、まず、被写体は、撮像素子により３回以上連続して撮像される。この後、例えば、１回目に撮像された画像データ（基準データ）の画素値が、２回目以降の画像データの画素値とそれぞれ比較される。この比較結果により、動く被写体に対応する画像データが特定され、特定された画像データは除去される。
特開平１１−４３７７号公報

しかしながら、上述したように撮像した被写体の画像データから金網等の画像データを手作業で修正（レタッチ）した場合、手間と時間がかかってしまうという問題があった。 また、特許文献１の手法では、撮像された複数の画像データにおいて画素値が一致しない画像データを、動く被写体に対応する画像データとして除去している。この方式では、画素値が一致しない画像データは、動きのある被写体（人物等）に対応する画像データに限られる。このため、この方式では、静止した被写体のうち人物の手前にある金網等の不要な画像データを除去できない。

本発明の目的は、レタッチ等の手間のかかる作業をすることなく、不要な部分画像を除去するデジタルカメラ及びプログラムを提供することである。

請求項１記載のデジタルカメラは、カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像する撮像手段と、前記撮像手段により撮像された複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する第１の移動量算出手段と、前記第１の移動量算出手段により部分画像毎に算出された移動量を用いて、該部分画像のうち、焦点が合わされた部分被写体に対応する部分画像の移動量より大きい移動量の部分画像を除去した画像に基づいた合成画像を生成する画像生成手段とを備えることを特徴とする。
請求項２記載のデジタルカメラは、カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像する撮像手段と、前記撮像手段により撮像された複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する第１の移動量算出手段と、前記第１の移動量算出手段により部分画像毎に算出された移動量を用いて、該部分画像のうち、前記カメラ本体までの距離が、焦点が合わされた部分被写体までの距離より小さい部分被写体に対応する部分画像を除去した画像に基づいた合成画像を生成する画像生成手段とを備えることを特徴とする。

請求項７記載のプログラムは、カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像することで得られた複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する移動量算出工程と、前記移動量算出工程により部分画像毎に算出された移動量を用いて、該部分画像のうち、焦点が合わされた部分被写体に対応する部分画像の移動量より大きい移動量の部分画像を除去した画像に基づいた合成画像を生成する画像生成工程とをコンピュータに実行させることを特徴とする。
請求項８記載のプログラムは、カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像することで得られた複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する移動量算出工程と、前記移動量算出工程により部分画像毎に算出された移動量を用いて、該部分画像のうち、前記カメラ本体までの距離が、焦点が合わされた部分被写体までの距離より小さい部分被写体に対応する部分画像を除去した画像に基づいた合成画像を生成する画像生成工程とをコンピュータに実行させることを特徴とする。

本発明によれば、手間のかかる作業をすることなく、不要な部分画像を除去することができる。

以下、本発明の実施形態を図面を用いて説明する。
図１は本発明のデジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態を示している。デジタルカメラ１００は、レンズ系１０（合焦手段）、絞り１２、シャッター１４、ＣＣＤ１６（撮像手段）、Ａ／Ｄ変換回路１８、閃光発光回路２０、ＣＰＵ２２、ＲＡＭ２４、ＲＯＭ２６、Ｉ／Ｆ(Interface)回路２８、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６、液晶モニター３８、操作部４０、バス４２、ＲＡＭ２４及びスロット４６を有している。

レンズ系１０は、デジタルカメラ１００の本体までの距離がそれぞれ異なる部分被写体（後述）で構成される被写体に焦点を合わせるフォーカスレンズ及び被写体像をズームするためのズームレンズ等を含む複数枚のレンズで構成される。フォーカスレンズ及びズームレンズは、レンズ駆動用ドライバ３６により光軸方向の位置が調節される。絞り１２は、レンズ系１０とシャッター１４の間に配置される。絞り１２は、絞りドライバ３４によって駆動される。絞り１２の絞り値は、レンズ系１０を通過した光の光量を絞るように調節される。

シャッター１４は、レンズ系１０からＣＣＤ１６への光路を遮る位置に配置されるシャッター膜（図示せず）を有している。シャッター１４は、シャッタードライバ３２によって駆動され、レンズ系１０を通過した光によってＣＣＤ１６が露光される時間を調節する。シャッター膜は、後述するシャッタースイッチＳＷ２が押下げされたときに、レンズ系１０からＣＣＤ１６への光路を確保するために開く。

ＣＣＤ１６は、シャッター１４を介してレンズ系１０に対向する位置に配置されている。ＣＣＤ１６は、ＣＣＤドライバ３０により駆動され、レンズ系１０より結像される複数の部分被写体像を連続して撮像することが可能である。
Ａ／Ｄ変換回路１８は、ＣＰＵ２２の制御によりＣＣＤ１６により撮像された画像をＡ／Ｄ変換し、画像データを生成する。閃光発光回路２０は、暗時や逆光などの状況下で、ＣＰＵ２２によって駆動され、被写体に対して補助光を照射する。

ＣＰＵ２２は、ＲＯＭ２６のプログラムを実行することによって、デジタルカメラ１００内のバス４２で接続された各回路の動作を制御する。例えば、ＣＰＵ２２は、シャッタースイッチＳＷ２や操作部４０からの入力に基づいて、自動焦点調整や自動露光等の制御を行う。
ＲＡＭ２４は、ＣＣＤ１６により撮像された画像データ等を一時的に格納する。ＲＯＭ２６は、デジタルカメラ１００を動作するためにＣＰＵ２２により実行されるプログラムを格納している。なお、ＲＯＭ２６は、ＣＰＵ２２に搭載される内蔵ＲＯＭ（図示せず）で代用することも可能である。

Ｉ／Ｆ回路２８は、図示しない端子を介して、デジタルカメラ１００をパーソナルコンピュータ（ＰＣ）等の外部機器に接続する。液晶モニター３８は、液晶パネル（図示せず）及び液晶パネルの駆動用ドライバ回路（図示せず）等で構成される。液晶モニター３８は、デジタルカメラ１００の背面（レンズ系１０の取り付け部と反対面）に配置されている。

液晶モニター３８には、シャッタースイッチＳＷ２（後述）の押し下げ前及び押し下げ後に、ＣＣＤ１６により撮像される画像や各種設定画面が表示される。すなわち、液晶モニター３８は、レンズ系１０により結像される複数の部分被写体の画像を映すファインダーとしても利用される。撮影者は、液晶モニター３８に映し出された複数の部分被写体の画像を見ることによって、被写体の構図等を正確に判断できる。

操作部４０は、スイッチＳＷ１、ＳＷ２及びＳＷ３を含む各種スイッチ（図示せず）を有している。各種スイッチの操作は、ＣＰＵ２２により認識される。主電源スイッチＳＷ１は、デジタルカメラ１００の電源をオン又はオフする。シャッタースイッチＳＷ２は、被写体を撮影する時に撮影者により押下げられる。選択スイッチＳＷ３は、液晶モニター３８の表示画面に応じて、画像や露光時間等を選択するためのスイッチである。

記憶メディア４４は、フラッシュメモリ等で構成され、デジタルカメラ１００の電源がオフの間もデータを保持する。記憶メディア４４は、スロット４６を介してバス４２に接続される。記憶メディア４４は、ＣＣＤ１６により撮像された画像データ等を格納する。 図２は、撮像時の振動によりＣＣＤ１６の撮像面に結像された複数の部分被写体が移動した距離の詳細を示している。レンズ系１０（図１）によりＣＣＤ１６の撮像面に結像される被写体の位置は、撮像時の振動（例えば、手ブレ）により移動する場合がある。この例では、部分被写体Ａ、Ｂで構成される被写体が連続して撮像される。本実施形態において、部分被写体とは、ＣＣＤ１６の撮像面までの距離がそれぞれ異なる被写体を指す。部分被写体Ａは、ＣＣＤ１６の撮像面から部分被写体Ｂより近い位置に位置している。部分被写体Ａは、例えば、金網や電線であり、撮像面から距離ｌａだけ離れて位置している。一方、部分被写体Ｂは、レンズ系１０により焦点が合わされた人物等の主要被写体であり、撮像面から部分被写体Ａまでの距離ｌａより大きい距離ｌｂだけ撮像面から離れている。レンズ系１０の瞳位置から撮像面までは、距離ｌｏだけ離れている。図のデジタルカメラ１００の位置１では、部分被写体Ａ、Ｂは、レンズ系１０により撮像面の相異なる位置にそれぞれ結像されている。

この例では、撮像時の振動（手ブレ等）により、デジタルカメラ１００の位置は、図の垂直方向に位置１から位置２へ距離Ｄだけ移動する。デジタルカメラ１００が移動する間に、部分被写体Ａ、Ｂは、例えば、連続して２回撮像される。位置１、２でそれぞれ撮像された２つの静止画像（以下、フレーム）は、ＣＰＵ２２によって、後述するフレーム１、２としてＲＡＭ２４に格納される。デジタルカメラ１００の手ブレによる移動に応じて、部分被写体Ａが撮像面に結像された位置は、距離ｄａだけ垂直方向に移動する。一方、部分被写体Ｂが撮像面に結像された位置は、距離ｄａより小さい距離ｄｂだけ垂直方向に移動する。距離ｄａ、ｄｂは、以下の式（１）、（２）でそれぞれ表される。

ｄａ＝Ｄ・（ｌｏ／ｌａ）・・・（１）
ｄｂ＝Ｄ・（ｌｏ／ｌｂ）・・・（２）
式（１）、（２）より、距離ｌａ、ｌｂは、距離ｄａ、ｄｂとそれぞれ反比例する。例えば、ｌａ＝１ｍ、ｌｂ＝１０ｍ、ｌｏ＝４０ｍｍ、Ｄ＝５ｍｍとすると、ｄａ＝５×（４０／（１×１０００））＝０．２ｍｍ、ｄｂ＝５×（４０／（１０×１０００））＝０.０２ｍｍとなる。

例えば、ＣＣＤ１６の画素サイズを２.５μｍとすると、距離ｄａに対応する移動画素数は、０．２／（２．５／１０００）＝８０pixel、また、距離ｄｂに対応する移動画素数は、０．０２／（２．５／１０００）＝８pixelとして算出される。撮像面に結像された位置が撮像時の手ブレにより移動する距離は、部分被写体から撮像面（デジタルカメラ１００）までの距離が近いほど大きい。この距離ｄａ、ｄｂは、連続して撮像されるフレーム１、２間で、部分被写体Ａ、Ｂに対応する画素ブロック（後述）がそれぞれ移動した量（動きベクトル量）に等しい。

図３は、図２に示した部分被写体に対応する画素ブロックが移動した量である動きベクトル量の算出方法を示している。図３（ａ）は、ＣＣＤ１６により、部分被写体Ａ（図２）を含む被写体が、例えば、５回連続して撮像されたフレームを示している。複数のフレームの番号は、撮像された順番を示している。この例では、フレームは、画素に対応する座標値をそれぞれ有している。撮像時の手ブレによって、部分被写体Ａに対応する画像Ａ（図の塗りつぶし部分）は相対的に移動する。換言すると、撮像時の手ブレによって、画像Ａの座標値はフレーム毎に変化する。この例では、画像Ａは、複数の画素で構成される画素ブロック（部分画像）のいずれかに含まれる。画素ブロックは、フレームをマトリックス状に区画して構成されている。画像Ａの座標値は、画像Ａを含む画素ブロックを構成するいずれかの画素の座標値として認識される。画素ブロックが奇数個（例えば、１５×１５ピクセル）の画素で構成されている場合、画像Ａの座標値は、対応する画素ブロックの中心に位置する画素の座標値として認識される。

ＣＰＵ２２による画像Ａの動きベクトル量の算出方法を、図３（ｂ）を用いて説明する。まず、連続して撮像されたフレーム１〜５は、ＣＰＵ２２によりＲＡＭ２４に格納される。複数のフレーム１〜５は、例えば、１５×１５ピクセルの画素で構成される複数の画素ブロックにそれぞれ細分化される。この後、ＣＰＵ２２は、フレーム１において画像Ａが含まれる画素ブロック（図の破線部分）と、フレーム１に隣り合うフレーム２に含まれる各画素ブロックとを順次比較する。

この比較によって、フレーム１において画像Ａが含まれる画素ブロックと最も類似する画素ブロックがフレーム２から検出される。画像Ａが含まれる画素ブロックの座標値（Ｘ１、Ｙ１）から、最も類似する画素ブロックの座標値（Ｘ２、Ｘ２）までの距離及び移動方向を求めることで、画像Ａの動きベクトル量は算出される。この例では、フレーム１を構成する他の画素ブロックについても、同様に、動きベクトル量が算出される。フレーム１を構成する画素ブロック毎に算出された動きベクトル量は、ＲＡＭ２４にそれぞれ格納される。

この後、上述したフレーム１、２と同様の比較が、フレーム２〜５の連続する２フレームを用いて行われる。上述と同様に、フレーム２〜５を構成する画素ブロック毎に算出された動きベクトル量は、ＲＡＭ２４に格納される。動きベクトル量は、図２で述べたように、画素ブロックに対応する部分被写体からデジタルカメラ１００（ＣＣＤ１６の撮像面）までの距離に反比例する。このため、図２の部分被写体Ａ（金網や電線等）の画像を含む画素ブロックに対応する動きベクトル量は、部分被写体Ｂ（人物等）の画像を含む画素ブロックに対応する動きベクトル量に比べて大きい。本実施形態では、ＣＰＵ２２は、上述した動きベクトル量に基づいて、撮影者にとって不要な部分被写体である金網や電線等の画像を含む画素ブロックをフレーム１〜５からそれぞれ除去する。

図４及び図５は、撮像時の振動によりフレーム毎に移動した画像の具体例を示している。この例では、デジタルカメラ１００を用いて、複数の部分被写体（金網、人物及び林等の背景）で構成される被写体が撮像される。金網は、デジタルカメラ１００から最も近く位置している。人物は、レンズ系１０により焦点が合わされた主要被写体であり、金網よりもデジタルカメラ１００から離れて位置している。背景（林等）は、人物よりもデジタルカメラ１００から離れて位置している。

例えば、被写体は、図３と同様に、フレーム１〜５の順番で連続して撮像される。この例では、フレーム１が基本フレームとして設定される。なお、フレーム３〜５は、図示を省略する。例えば、最初に撮像された基本フレームでは、金網の一部は、人物の鼻（顔の黒い部分）の下に位置している（図４）。次に撮像されたフレーム２では、撮像時の手ブレにより、金網の一部は、人物の鼻と重複して位置している。これに対して、人物や林の位置は、ほとんど移動していない（図５）。図３で述べたように、複数の部分被写体（金網、人物及び背景）の画像がフレーム毎に移動する量（動きベクトル量）は、複数の部分被写体からデジタルカメラ１００までの距離に反比例する。このため、デジタルカメラ１００までの距離が最も近い金網の画像がフレーム毎に移動する距離は、他の部分被写体（人物及び背景）の画像が移動する距離に比べて大きい。

フレーム１〜５は、図３で述べたように、ＣＰＵ２２によって複数の部分被写体の画像を含む画素ブロック（例えば、１５×１５ピクセル）にそれぞれ細分化され、各画素ブロックに対応する動きベクトル量がそれぞれ算出される。
図６は、複数の部分被写体の画像を含む画素ブロックに対応する動きベクトル量を示している。図３で述べたように、複数のフレームを構成する画素ブロック毎に算出された動きベクトル量は、各画素ブロックにそれぞれ対応付けてＲＡＭ２４に格納される。この例では、フレーム１（基本フレーム）の詳細を説明する。

図は、各画素ブロックに細分化された基本フレームを示している。図の矢印は、金網の画像を含む画素ブロックに対応する動きベクトル量を示している。一方、人物及び林等の背景の画像に対応する動きベクトル量は、上述したように、金網の画像を含む画素ブロックに対応する動きベクトル量に比べて小さい。このため、図示を省略している。
図７は、画素ブロックに対応する動きベクトル量の相関関係を示している。図中の画素ブロックの濃淡は、画素ブロックに対応する動きベクトル量の大きさを示している。この例では、動きベクトル量の大きい金網の画像を含む画素ブロックの色を最も濃く示している。一方、動きベクトル量の小さい人物及び林等の背景の画像に対応する画像を含む画素ブロックの色を、金網の画像を含む画素ブロックの色に比べてぞれぞれ淡く示している。

図８は、図４及び図５で述べたフレーム１〜５を用いて合成した合成画像を示している。本実施形態では、ＣＰＵ２２は、所定値を超える動きベクトル量に対応する画素ブロックをフレーム１〜５からそれぞれ除去する。一般的に、所定値を超える動きベクトル量に対応する画素ブロックには、人物（図４）よりデジタルカメラ１００に近い位置にある金網（図４）の画像が含まれる。よって、ＣＰＵ２２は、金網の画像を含む画素ブロックのみをフレーム１〜５からそれぞれ除去した後、フレーム１〜５を合成したフレームである合成フレーム（合成画像）を生成する。このため、金網の画像が取り除かれた合成フレームを自動的に取得できる。

図９は、本発明を適用していないデジタルカメラでフレーム１〜５を合成する例を示している。この例では、人物の画像を含む画素ブロックの座標値がフレーム１〜５で一致するようにして合成されることで、合成フレームは生成される。図３で述べたように、金網の画像を含む画素ブロックの座標値がフレーム毎に移動した量は、人物の画像を含む画素ブロックの座標値が移動した量に比べて大きい。このため、この例では、フレーム１〜５は、撮影者にとって不要な金網の画像が複数存在した状態で合成される。

図１０及び図１１は、デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態における画像生成動作を表している。図１０及び図１１に示す動作は、ＣＰＵ２２（第１の移動量算出手段、画像生成手段及び時間設定手段）がＲＯＭ２６に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００において、ＣＰＵ２２は、液晶モニター３８を駆動し、図１で述べたシャッター膜が開いている時間である露光時間を、連続して撮像されるフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）に設定する（第１設定動作）か、あるいは、連続して撮像されるフレームを合成した合成フレームに対して最適な露光時間（例えば、複数のフレーム１〜５全体に対して１秒、すなわち、１フレーム当たり２００msec程度）に設定する（第２設定動作）か否かを撮影者が選択スイッチＳＷ３を操作して選択するための画面を表示する。この後、処理はステップＳ１０２に移行する。

ステップＳ１０２において、ＣＰＵ２２は、撮影者がスイッチＳＷ３を操作して、「露光時間をフレーム毎に最適な露光時間に設定」を選択したことを検出すると、処理はステップＳ１０４に移行する。一方、ＣＰＵ２２は、「露光時間を合成フレームに対して最適な露光時間に設定」を選択したことを検出すると、処理は図１１のステップＳ１２０に移行する。

ステップＳ１０４において、ＣＰＵ２２は、撮影者によってシャッタースイッチＳＷ２が半押下げされるのを待つ。シャッタースイッチＳＷ２の半押下げが検出されると、処理はステップＳ１０６に移行する。ステップＳ１０４は、シャッタースイッチＳＷ２の半押下げが検出されるまで繰り返される。
ステップＳ１０６において、ＣＰＵ２２は、レンズ駆動用ドライバ３６を介してレンズ系１０を駆動して、主要被写体（例えば、人物）に焦点を合わせる。この後、処理はステップＳ１０８に移行する。

ステップＳ１０８において、ＣＰＵ２２は、撮影者によってシャッタースイッチＳＷ２が更に押下げされるのを待つ。シャッタースイッチＳＷ２の更なる押下げが検出されると、処理はステップＳ１１０に移行する。ステップＳ１０８は、シャッタースイッチＳＷ２の更なる押下げが検出されるまで繰り返される。
ステップＳ１１０において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（人物、金網及び背景等）で構成される被写体からの反射光を画素毎に受光する。この時、ＣＰＵ２２は、シャッター１４のシャッター膜を、連続して撮像されるフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）開けて、ＣＣＤ１６を露光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（この例では、５回）連続して光電変換させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ１１２に移行する。

ステップＳ１１２において、ＣＰＵ２２は、Ａ／Ｄ変換回路１８にてＡ／Ｄ変換された複数のフレーム（例えば、図３のフレーム１〜５）をＲＡＭ２４に格納する。ＣＰＵ２２は、図３で述べたように、格納された複数のフレームを用いて、画素ブロック毎に動きベクトル量を算出し、算出した動きベクトル量をＲＡＭ２４に格納する。この後、処理はステップＳ１１４に移行する。

ステップＳ１１４において、ＣＰＵ２２は、主要被写体（例えば、人物）の画像を含む画素ブロックに対応する動きベクトル量より大きく、かつ、所定値を超える動きベクトル量に対応する画素ブロックを、フレーム１〜５からそれぞれ除去する。このように、本実施形態では、フレームから不要な部分被写体（例えば、金網）の画像を含む画素ブロックのみが除去される。この後、処理はステップＳ１１６に移行する。

ステップＳ１１６において、ＣＰＵ２２は、基本フレームから除去された画素ブロックを、例えば、図３に示したフレーム３の同じ座標値に対応する画素ブロックに置き換えることで合成フレームを生成する。この例のように、露光時間がフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）に設定される場合、フレーム１〜５の輝度（明るさ）はそれぞれ最適に保たれる。このため、ＣＰＵ２２によって生成される合成フレームの輝度を最適にできる。そして、デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態における画像生成動作が終了する。

一方、ステップＳ１０２で「露光時間を合成フレームに対して最適な露光時間に設定」を選択したことを検出する場合、図１１のステップＳ１０４〜Ｓ１０８が実行され、ステップＳ１１８に移行する。
ステップＳ１１８において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（人物、金網及び背景等）で構成される被写体からの反射光を画素毎に受光する。この時、ＣＰＵ２２は、シャッター１４のシャッター膜を、連続して撮像されるフレームを合成した合成フレームに対して最適な露光時間（例えば、複数のフレーム１〜５全体に対して１秒間）開けて、ＣＣＤ１６を露光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（この例では、５回）連続して光電変換させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ１２０に移行する。

ステップＳ１２０において、ＣＰＵ２２は、Ａ／Ｄ変換回路１８にてＡ／Ｄ変換された複数のフレーム（例えば、図３のフレーム１〜５）をＲＡＭ２４に格納する。ＣＰＵ２２は、図３で述べたように、格納された複数のフレームを用いて、画素ブロック毎に動きベクトル量を算出し、算出した動きベクトル量をＲＡＭ２４に格納する。この後、処理はステップＳ１２２に移行する。

ステップＳ１２２において、ＣＰＵ２２は、所定値を超える動きベクトル量に対応し、かつ、主要被写体（例えば、人物）の画像を含む画素ブロックに対応する動きベクトル量より大きい動きベクトル量に対応する画素ブロックをフレーム１〜５からそれぞれ除去し、除去した複数のフレームを重ね合わせることで合成フレームを生成する。本実施形態では、露光時間がフレーム１〜５全体に対して最適な露光時間に設定されるため、各フレームの露光時間は短い時間（例えば、１秒未満。一般的に、高速に連続して撮影可能なカメラでは、１秒間に５〜８コマ撮影となるため、それぞれの露光時間は１３０msec程度）に設定される。一般的に、露光時間が長秒時（例えば、１秒を超える時間）に設定された状態で、高い輝度を有する部分被写体（太陽や電球等）が撮像される場合、フレームの輝度は過度になりやすい。本実施形態では、フレーム毎の露光時間が短い時間（例えば、１秒未満）に設定されるため、例えば、太陽や電球等が撮像される場合であっても、生成される合成フレームの輝度を適切にできる。この後、処理はステップＳ１２４に移行する。

ステップＳ１２４において、ＣＰＵ２２は、合成フレームにおいて、フレーム１〜５で除去された画素ブロック（合成フレームの一部）を構成する画素の輝度値を上げる。フレーム１〜５で除去された画素ブロックを構成する画素の輝度値は、合成フレーム内の他の画素の輝度値に比べて小さい。例えば、フレーム１のみで画素ブロックが除去された場合、除去された画素ブロックを構成する画素に対するゲインは、５／（５−１）＝１.２５となる。このように、合成フレームの一部を構成する画素の輝度値は上げられる。そして、デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態における画像生成動作が終了する。

以上、第１の実施形態では、ＣＰＵ２２は、撮影者にとって不要な部分被写体（例えば、金網）の画像を含む画素ブロックを、複数のフレーム（例えば、フレーム１〜５）から確実に除去できる。このため、撮影者は、手間のかかる修正（レタッチ）作業により、複数のフレーム内から金網の画像を取り除く必要がない。
ＣＰＵ２２は、フレームから不要な部分被写体（例えば、金網）の画像を含む画素ブロックのみを除去する。このため、主要被写体を引き立てるために必要な部分被写体（例えば、林等の背景）の画像をフレームに残すことができる。

ＣＰＵ２２は、高い輝度を有する部分被写体（太陽や電球等）が撮像されない場合は、露光時間をフレーム毎に最適な露光時間に設定し、高い輝度を有する部分被写体が撮像される場合は、露光時間をフレーム毎に最適な露光時間に設定できる。このため、生成される合成フレームの輝度（明るさ）を常に適切にできる。
図１２は本発明のデジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態を示している。第１の実施形態で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。デジタルカメラ２００は、ＣＣＤ変位機構４８（光軸変位手段）が新たに形成されていることを除き、第１の実施形態のデジタルカメラ１００と同じである。ＣＣＤ変位機構４８は、ＣＰＵ２２によって制御される。ＣＣＤ変位機構４８は、光電変換時の振動を強制的に発生させるために、ＣＣＤ１６を駆動して、ＣＣＤ１６の受光面を光軸と直交する方向に移動させる。

図１３及び図１４は、デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作を表している。この実施形態では、図１２に示したＣＰＵ２２が実行するためのＲＯＭ２６に格納されているプログラムが、デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態と相違する。図１３及び図１４は、第１の実施形態（図１０及び図１１）のステップＳ１１０、Ｓ１１８がステップＳ２００、Ｓ２０２にそれぞれ置き換えられた点を除いて、図１０及び図１１と同じである。

上述した図１０及び図１１と同じ処理については、詳細な説明を省略する。また、図１３及び図１４に示す動作は、ＣＰＵ２２（第１の移動量算出手段及び画像生成手段）がＲＯＭ２４に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００において、ＣＰＵ２２は、液晶モニター３８を駆動し、図１で述べたシャッター膜が開いている時間である露光時間を、連続して撮像されるフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）に設定する（第１設定動作）か、あるいは、連続して撮像されるフレームを合成した合成フレームに対して最適な露光時間（例えば、複数のフレーム１〜５全体に対して１秒、すなわち、１フレーム当たり２００msec程度）に設定する（第２設定動作）か否かを撮影者が選択スイッチＳＷ３を操作して選択するための画面を表示する。この後、処理はステップＳ１０２に移行する。

ステップＳ１０２〜Ｓ１０８が実行され、処理はステップＳ２００に移行する。ステップＳ２００において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（人物、金網及び背景等）で構成される被写体からの反射光を画素毎に受光する。この時、ＣＰＵ２２は、シャッター１４のシャッター膜を、連続して撮像されるフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）開けて、ＣＣＤ１６を露光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（この例では、５回）連続して光電変換させる。この時、ＣＰＵ２２は、振動を強制的に発生させるために、ＣＣＤ変位機構４８を制御して、ＣＣＤ１６の受光面を光軸と直交する方向に移動させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ１１２に移行する。

ステップＳ１１２〜Ｓ１１６が実行された後、デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作が終了する。一方、ステップＳ１０２で「露光時間を合成フレームに対して最適な露光時間に設定」を選択したことを検出する場合、図１４のステップＳ１０４〜Ｓ１０８が実行され、処理はステップＳ２０２に移行する。

ステップＳ２０２において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（人物、金網及び背景等）で構成される被写体からの反射光を画素毎に受光する。この時、ＣＰＵ２２は、シャッター１４のシャッター膜を、連続して撮像されるフレームを合成した合成フレームに対して最適な露光時間（例えば、複数のフレーム１〜５全体に対して１秒間）開けて、ＣＣＤ１６を露光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（この例では、５回）連続して光電変換させる。この時、ＣＰＵ２２は、振動を強制的に発生させるために、ＣＣＤ変位機構４８を制御して、ＣＣＤ１６の受光面を光軸と直交する方向に移動させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ１２０に移行する。ステップＳ１２０〜Ｓ１２４が実行された後、デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作が終了する。

以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、ＣＰＵ２２は、ＣＣＤ１６による光電変換時、ＣＣＤ１６の受光面を光軸と直交する方向に強制的に移動させる。ＣＰＵ２２は、強制的に移動させることで算出された動きベクトル量に基づいて、合成フレームを生成する。よって、撮影者は、手ブレ等の偶発的に起こる振動に依ることなく、自身にとって不要な金網の画像が取り除かれた合成フレームを自動的に取得できる。

図１５は本発明のデジタルカメラ及びデジタルカメラの画像処理方法の第３の実施形態を示している。第１の実施形態で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。デジタルカメラ３００は、レンズ系変位機構５０（光軸変位手段）が新たに形成されていることを除き、第１の実施形態のデジタルカメラ１００と同じである。レンズ系変位機構５０は、ＣＰＵ２２によって制御される。レンズ系変位機構５０は、光電変換時の振動を強制的に発生させるために、レンズ系１０を駆動して、光軸をＣＣＤ１６の受光面と平行する方向に移動させる。

図１６及び図１７は、デジタルカメラ及びデジタルカメラの画像処理方法の第３の実施形態における画像生成動作を表している。この実施形態では、図１５に示したＣＰＵ２２が実行するためのＲＯＭ２６に格納されているプログラムが、デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態と相違する。図１６及び図１７は、第１の実施形態（図１０及び図１１）のステップＳ１１０、Ｓ１１８がステップＳ３００、Ｓ３０２にそれぞれ置き換えられた点を除いて、図１０及び図１１と同じである。

上述した図１０及び図１１と同じ処理については、詳細な説明を省略する。また、図１６及び図１７に示す動作は、ＣＰＵ２２（第１の移動量算出手段及び画像生成手段）がＲＯＭ２４に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００において、ＣＰＵ２２は、液晶モニター３８を駆動し、図１で述べたシャッター膜が開いている時間である露光時間を、連続して撮像されるフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）に設定する（第１設定動作）か、あるいは、連続して撮像されるフレームを合成した合成フレームに対して最適な露光時間（例えば、複数のフレーム１〜５全体に対して１秒、すなわち、１フレーム当たり２００msec程度）に設定する（第２設定動作）か否かを撮影者が選択スイッチＳＷ３を操作して選択するための画面を表示する。この後、処理はステップＳ１０２に移行する。

ステップＳ１０２〜Ｓ１０８が実行され、処理はステップＳ３００に移行する。ステップＳ３００において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（人物、金網及び背景等）で構成される被写体からの反射光を画素毎に受光する。この時、ＣＰＵ２２は、シャッター１４のシャッター膜を、連続して撮像されるフレーム毎に最適な露光時間（例えば、１フレーム当たり１秒）開けて、ＣＣＤ１６を露光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（この例では、５回）連続して光電変換させる。この時、ＣＰＵ２２は、振動を強制的に発生させるために、レンズ系変位機構５０を制御して、光軸をＣＣＤ１６の受光面と平行する方向に移動させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ１１２に移行する。

ステップＳ１１２〜Ｓ１１６が実行された後、デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作が終了する。一方、ステップＳ１０２で「露光時間を合成フレームに対して最適な露光時間に設定」を選択したことを検出する場合、図１７のステップＳ１０４〜Ｓ１０８が実行され、処理はステップＳ３０２に移行する。

ステップＳ３０２において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（人物、金網及び背景等）で構成される被写体からの反射光を画素毎に受光する。この時、ＣＰＵ２２は、シャッター１４のシャッター膜を、連続して撮像されるフレームを合成した合成フレームに対して最適な露光時間（例えば、複数のフレーム１〜５全体に対して１秒間）開けて、ＣＣＤ１６を露光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（この例では、５回）連続して光電変換させる。この時、ＣＰＵ２２は、振動を強制的に発生させるために、レンズ系変位機構５０を制御して、光軸をＣＣＤ１６の受光面と平行する方向に移動させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ１２０に移行する。ステップＳ１２０〜Ｓ１２４が実行された後、デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作が終了する。

以上、第３の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、ＣＰＵ２２は、ＣＣＤ１６による光電変換時、光軸をＣＣＤ１６の受光面と平行する方向に強制的に移動させる。ＣＰＵ２２は、強制的に移動させることで算出された動きベクトル量に基づいて、合成フレームを生成する。よって、撮影者は、手ブレ等の偶発的に起こる振動に依ることなく、自身にとって不要な金網の画像が取り除かれた合成フレームを自動的に取得できる。

図１８は、デジタルカメラ及びデジタルカメラの画像処理方法の第４の実施形態における画像生成動作を表している。この実施形態では、図１に示したＣＰＵ２２が実行するためのＲＯＭ２６に格納されているプログラムが、デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態と相違する。その他の構成は、デジタルカメラの第１の実施形態の図１と同じである。また、図１８に示す動作は、ＣＰＵ２２（画像生成手段、回数算出手段、第１及び第２の移動量算出手段）がＲＯＭ２４に格納されたプログラムを実行することによって実現される。

まず、ステップＳ４００において、ＣＰＵ２２は、後述する補助フレーム（補助画像）を取得するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（例えば、人物、金網及び背景）で構成される被写体からの反射光を画素毎に受光する。本実施形態において、補助フレームとは、撮影者が被写体の構図を決めるために用いる画像を指す。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、複数回（例えば、３回以上）連続して光電変換させる。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ４０２に移行する。 ステップＳ４０２において、ＣＰＵ２２は、Ａ／Ｄ変換された複数の補助フレームをＲＡＭ２４にそれぞれ格納する。ＣＰＵ２２は、図３と同様に、複数の補助フレームを用いて、画素ブロック（部分画像）毎に動きベクトル量を算出し、算出した動きベクトル量をＲＡＭ２４に格納する。この後、処理はステップＳ４０４に移行する。

ステップＳ４０４において、ＣＰＵ２２は、所定値を超える動きベクトル量に対応する画素ブロックを、複数の補助フレームからそれぞれ除去する。除去した後で、ＣＰＵ２２は、例えば最初に撮像された補助フレーム１で除去された画素ブロックに対応するビットデータを”０”に、補助フレーム１で除去されなかった画素ブロックに対応するビットデータを”１”に設定する。ＣＰＵ２２は、補助フレーム１で除去された画素ブロックを他の補助フレームの同じ座標値の画素ブロックに順次置き換えることで、補助フレーム１で除去された画素ブロックに対応するビットデータを”０”から”１”に順次変換する。例えば、この変換は、補助フレーム１で除去された画素ブロックに対応するビットデータが全て”０”から”１”に変換されるまで実行される。この例では、補助フレーム１で除去された画素ブロックに対応するビットデータは、２、３番目にそれぞれ撮像された補助フレーム２、３のみを用いて”０”から”１”に変換される。この例では、ＣＰＵ２２は、補助フレーム１及び、ビットデータの変換に用いられた補助フレーム２、３を合計した数量から、合成フレームを生成するために必要なＣＣＤ１６の撮像回数（この例では、３回）を算出する。この後、処理はステップＳ４０６に移行する。

ステップＳ４０６において、ＣＰＵ２２は、撮影者によってシャッタースイッチＳＷ２（撮像開始手段）が押下げされるのを待つ。シャッタースイッチＳＷ２の押下げ（撮像要求）が検出されると、処理はステップＳ４０８に移行する。シャッタースイッチＳＷ２の押下げが検出されないと、処理はステップＳ４００に移行する。
ステップＳ４０８において、ＣＰＵ２２は、合成フレームを生成するために、ＣＣＤドライバ３０、シャッタードライバ３２、絞りドライバ３４、レンズ駆動用ドライバ３６をそれぞれ制御して、ＣＣＤ１６、シャッター１４、絞り１２、レンズ系１０を駆動し、複数の部分被写体（例えば、人物、金網及び背景）で構成される被写体からの反射光を画素毎に受光する。ＣＰＵ２２は、ＣＣＤドライバ３０を制御してＣＣＤ１６を駆動し、受光した反射光を、算出した撮像回数（この例では、３回）のみ連続して光電変換させる。このため、ＣＣＤ１６は、合成フレームの生成に必要な撮像回数以上、被写体からの反射光を光電変換することはない。ＣＰＵ２２は、Ａ／Ｄ変換回路１８を制御して、ＣＣＤ１６が光電変換したアナログ量をデジタル量に変換させる。この後、処理はステップＳ４１０に移行する。

ステップＳ４１０において、ＣＰＵ２２は、Ａ／Ｄ変換回路１８にてＡ／Ｄ変換されたフレーム１〜３のみをＲＡＭ２４に格納する。このように、合成フレームを生成するために必要なフレームのみがＲＡＭ２４に格納される。ＣＰＵ２２は、図３と同様に、格納された複数のフレームを用いて、画素ブロック毎に動きベクトル量を算出し、算出した動きベクトル量をＲＡＭ２４に格納する。この後、処理はステップＳ４１２に移行する。

ステップＳ４１２において、ＣＰＵ２２は、所定値を超える動きベクトル量に対応する画素ブロックをフレーム１〜３からそれぞれ除去する。ＣＰＵ２２は、例えば最初に撮像されたフレーム１から除去された画素ブロックを、フレーム２、３の同じ座標値の画素ブロックに置き換えて合成フレームを生成する。そして、デジタルカメラ及びデジタルカメラの画像処理方法の第４の実施形態における画像生成動作が終了する。

以上、本実施形態では、第１の実施形態と同様な効果を得ることができる。更に、ＣＣＤ１６は、必要な撮像回数以上、被写体からの反射光を光電変換することはない。このため、撮影者によりシャッタースイッチＳＷ２が押下げられてから合成フレームが取得されるまでの時間が短縮され、撮像された複数のフレームを格納するＲＡＭ２４の記憶容量を節約できる。

なお、上述した第１〜４の実施形態では、ＣＰＵ２２は、動きベクトル量に基づいて、不要な部分被写体（例えば、金網）の画像を含む画素ブロックを除去する例について述べた。本発明は、かかる実施形態に限定されるものではない。ＣＰＵ２２は、焦点が合わされた主要被写体（例えば、人物）からデジタルカメラ本体までの絶対距離を算出するものでもよい。ＣＰＵ２２は、この絶対距離及び動きベクトル量から、他の部分被写体（金網等）の絶対距離を算出し、算出された絶対距離に基づいて、不要な部分被写体（例えば、金網）の画像を含む画素ブロックを除去してもよい。また、ＣＰＵ２２は、撮影者により画素ブロックを除去するか否かが決定されるために、複数の部分被写体（人物や金網等）の絶対距離を液晶モニター３８に表示するものでもよい。

上述した第１〜４の実施形態では、ＣＰＵ２２は、フレーム１〜５を、１５×１５ピクセルの画素から構成される画素ブロックにそれぞれ細分化する例について述べた。本発明は、かかる実施形態に限定されるものではない。ＣＰＵ２２は、８×８ピクセル等のように更に小さい画素ブロックにそれぞれ細分化されるものでもよい。
上述した第１〜４の実施形態では、ＣＰＵ２２は、シャッター１４を制御して、ＣＣＤ１６が露光される時間を調節する例について述べた。本発明は、かかる実施形態に限定されるものではない。ＣＣＤ１４は、レンズ系１０を通過した光によって露光される時間を調節する電子シャッター機能を搭載しているものでもよい。

上述した第４の実施形態では、ＣＰＵ２２は、複数の補助フレームに基づいて算出された撮像回数だけＣＣＤ１６に被写体を撮像させる例について述べた。本発明は、かかる実施形態に限定されるものではない。ＣＰＵ２２は、実験・経験的に決められた撮像回数だけＣＣＤ１６に被写体を撮像させるものでもよい。
上述した第１〜３の実施形態では、ＣＰＵ２２は、基本フレームから除去された画素ブロックを、フレーム３の同じ座標値に対応する画素ブロックに置き換えることで合成フレームを生成する例について述べた。本発明は、かかる実施形態に限定されるものではない。ＣＰＵ２２は、画素ブロックが除去されたフレーム１〜５の画素値を平均し、平均した画素値を有するフレームを合成フレームとして生成するものでもよい。

以上、本発明について詳細に説明してきたが、上記の実施形態及びその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

本発明は、レタッチ等の手間のかかる作業をすることなく、不要な部分画像を除去するデジタルカメラ及びプログラムに関する。

本発明のデジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態を示すブロック図である。 撮像時の振動によりＣＣＤ１６の撮像面に結像された複数の部分被写体が移動した距離の詳細を示す説明図である。 図２に示した部分被写体に対応する画素ブロックが移動した量である動きベクトル量の算出方法を示す説明図である。 撮像時の振動によりフレーム毎に移動した画像（中間調画像を含む）の具体例を示す説明図である。 撮像時の振動によりフレーム毎に移動した画像（中間調画像を含む）の具体例を示す説明図である。 複数の部分被写体の画像を含む画素ブロックに対応する動きベクトル量を示す説明図である（中間調画像を含む）。 画素ブロックに対応する動きベクトル量の相関関係を示す説明図である（中間調画像を含む）。 図４及び図５で述べたフレーム１〜５を用いて合成した合成画像（中間調画像を含む）を示す説明図である。 本発明を適用していないデジタルカメラでフレーム１〜５を合成する例を示す説明図である（中間調画像を含む）。 デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態における画像生成動作を示すフローチャートである。 デジタルカメラ及びデジタルカメラの画像処理方法の第１の実施形態における画像生成動作を示すフローチャートである。 本発明のデジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態を示すブロック図である。 デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作を示すフローチャートである。 デジタルカメラ及びデジタルカメラの画像処理方法の第２の実施形態における画像生成動作を示すフローチャートである。 本発明のデジタルカメラ及びデジタルカメラの画像処理方法の第３の実施形態を示すブロック図である。 デジタルカメラ及びデジタルカメラの画像処理方法の第３の実施形態における画像生成動作を示すフローチャートである。 デジタルカメラ及びデジタルカメラの画像処理方法の第３の実施形態における画像生成動作を示すフローチャートである。 デジタルカメラ及びデジタルカメラの画像処理方法の第４の実施形態における画像生成動作を示すフローチャートである。

符号の説明

１０ レンズ系
１２ 絞り
１４ シャッター
１６ ＣＣＤ
１８ Ａ／Ｄ変換回路
２０ 閃光発光回路
２２ ＣＰＵ
２４ ＲＡＭ
２６ ＲＯＭ
２８ Ｉ／Ｆ回路
３０ ＣＣＤドライバ
３２ シャッタードライバ
３４ 絞りドライバ
３６ レンズ駆動用ドライバ
３８ 液晶モニター
４０ 操作部
４２ バス
４４ 記憶メディア
４６ スロット
４８ ＣＣＤ変位機構
５０ レンズ系変位機構
１００、２００、３００、４００ デジタルカメラ

Claims (8)

1. カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像する撮像手段と、
   前記撮像手段により撮像された複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する第１の移動量算出手段と、
   前記第１の移動量算出手段により部分画像毎に算出された移動量を用いて、該部分画像のうち、焦点が合わされた部分被写体に対応する部分画像の移動量より大きい移動量の部分画像を除去した画像に基づいた合成画像を生成する画像生成手段とを備えることを特徴とするデジタルカメラ。
2. カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像する撮像手段と、
   前記撮像手段により撮像された複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する第１の移動量算出手段と、
   前記第１の移動量算出手段により部分画像毎に算出された移動量を用いて、該部分画像のうち、前記カメラ本体までの距離が、焦点が合わされた部分被写体までの距離より小さい部分被写体に対応する部分画像を除去した画像に基づいた合成画像を生成する画像生成手段とを備えることを特徴とするデジタルカメラ。
3. 請求項１又は請求項２に記載のデジタルカメラにおいて、
   連続して撮像される画像毎に前記撮像手段の露光時間を適切な時間に設定する第１設定動作を実施する第１時間設定手段を備え、
   前記第１設定動作が実施されると、前記画像生成手段は、前記合成画像を生成する際に、前記複数の画像のうち前記部分画像が除去された基本画像において、前記基本画像から除去された部分画像の領域を、前記基本画像以外の画像における前記基本画像から除去された部分画像の領域に対応する領域で置き換えることを特徴とするデジタルカメラ。
4. 請求項１又は請求項２に記載のデジタルカメラにおいて、
   前記合成画像に対して前記撮像手段の露光時間を適切な時間に設定するために、各画像の露光時間を少なく設定する第２設定動作を実施する第２時間設定手段を備え、
   前記第２設定動作が実施されると、前記画像生成手段は、前記合成画像を生成する際に、前記部分画像を前記複数の画像からそれぞれ除去して、部分画像が除去された複数の画像を重ね合わせることを特徴とするデジタルカメラ。
5. 請求項１から請求項４のいずれか１項記載のデジタルカメラにおいて、
   前記撮像手段により複数の画像を撮像するときに、前記カメラ本体に振動を強制的に発生させるために、前記撮像手段の受光面と前記受光面に対する光軸とを相対的に変位させる光軸変位手段を有することを特徴とするデジタルカメラ。
6. 請求項１から請求項５のいずれか１項記載のデジタルカメラにおいて、
   前記被写体の撮像を、撮像者からの撮像要求に同期して開始する撮像開始手段と、
   前記撮像手段に含まれ、前記被写体の構図を決定する補助画像を取得するために、前記撮像要求前に前記被写体を連続して撮像する補助撮像手段と、
   前記補助撮像手段により撮像された複数の補助画像を比較して、補助撮像時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量をそれぞれ算出する第２の移動量算出手段と、
   前記第２の移動量算出手段により算出された移動量を用いて、前記合成画像を生成するために必要な撮像回数を算出する回数算出手段とを備え、
   前記撮像手段は、前記被写体を、前記回数算出手段により算出された回数を連続して撮像することを特徴とするデジタルカメラ。
7. カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像することで得られた複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する移動量算出工程と、
   前記移動量算出工程により部分画像毎に算出された移動量を用いて、該部分画像のうち、焦点が合わされた部分被写体に対応する部分画像の移動量より大きい移動量の部分画像を除去した画像に基づいた合成画像を生成する画像生成工程とをコンピュータに実行させることを特徴とするプログラム。
8. カメラ本体までの距離がそれぞれ異なる部分被写体で構成される被写体を連続して複数回撮像することで得られた複数の画像のうち異なる画像間において複数回撮像する時のカメラ本体の振動に伴い前記部分被写体に対応する部分画像が移動した移動量を部分画像毎に算出する移動量算出工程と、
   前記移動量算出工程により部分画像毎に算出された移動量を用いて、該部分画像のうち、前記カメラ本体までの距離が、焦点が合わされた部分被写体までの距離より小さい部分被写体に対応する部分画像を除去した画像に基づいた合成画像を生成する画像生成工程とをコンピュータに実行させることを特徴とするプログラム。

Images