<第1の実施形態>
本発明の第1実施形態について、図面を参照して説明する。以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオカメラなどの撮影装置を例に挙げて説明する。撮影装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。
以下では、「撮像」と「撮影」を同義で使用する。さらに、「画像信号」を単に「画像」と記載する場合があるが、両者は同義である。
(撮像装置の構成)
図1は、第1実施形態に係る撮像装置1の内部構成を示すブロック図である。
図1において、撮像装置1は、入射される光を電気信号に変換するCCD又はCMOSセンサなどのイメージセンサ(固体撮像素子)2と、被写体の光学像をイメージセンサ2に結像させるレンズ部3と、イメージセンサ2から出力されるアナログ電気信号である画像信号を増幅する増幅回路(図示せず)及び当該画像信号をデジタルの画像信号に変換するA/D(Analog/Digital)変換回路(図示せず)を備えたAFE(Analog Front End)4と、AFE4から出力される複数フレーム分のデジタル画像信号をフレーム単位で一時的に格納するフレームメモリ5と、外部から入力された音声信号を電気信号に変換するマイクロフォン(以下、マイクと記載する。)6と、AFE4からの画像信号に対して画像処理を施す画像処理部7と、マイク6からのアナログの音声信号をデジタル信号に変換し、音声処理を施す音声処理部8と、静止画を撮影する場合は画像処理部7からの画像信号に対してJPEG(Joint Photographic Experts Group)圧縮方式など、動画を撮影する場合は画像処理部7からの画像信号と音声処理部8からの音声信号とに対してMPEG(Moving Picture Experts Group)圧縮方式などの圧縮符号化処理を施す圧縮処理部9を備える。
また、撮像装置1は、圧縮処理部9で圧縮符号化された圧縮符号化信号をSDカードなどの外部メモリ22に記録するドライバ部10と、ドライバ部10で外部メモリ22から読み出した圧縮符号化信号を伸長して復号する伸張処理部11と、伸長処理部11で復号されて得られた画像信号をアナログ信号に変換する画像信号出力部12と、画像信号出力部12で変換された画像信号に基づく画像の表示を行うLCD等を有する表示部13と、伸張処理部11からのデジタルの音声信号をアナログの音声信号に変換して出力する音声信号出力部13と、音声信号出力部13からのアナログの音声信号を再生するスピーカ部15と、を備える。
また、撮像装置1は、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するTG(Timing Generator)16と、撮像装置内全体の駆動動作を制御するCPU(Central Processing Unit)17と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ18と、静止画撮影用のシャッタボタンを含むユーザからの指示が入力される操作部19と、CPU17と各ブロックとの間でデータのやりとりを行うためのバス20と、メモリ18と各ブロックとの間でデータのやりとりを行うためのバス21と、を備える。
図2は、レンズ部3の内部構成図である。レンズ部3は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズを備えて構成される光学系35と、絞り32と、ドライバ34を有している。ドライバ34は、ズームレンズ30及びフォーカスレンズ31の移動並びに絞り32の開口量(換言すると、開口部の大きさである。)の調節を実現するためのモータ等から構成される。
撮像装置1は、「自動的にフォーカスレンズ31の位置を制御することにより、被写体を表す光学像をイメージセンサ2の撮像面(受光面と呼ぶこともできる。)に結像させる」いわゆるAF(Auto Focus)機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点がイメージセンサ2の撮像面上の点と一致する。
AF機能は、例えば、次のようにして実現される。即ち、画像処理部7が備えるAF評価値検出部(図示せず)が画像信号中の輝度信号から所定の高域周波数成分を抽出する。CPU17が、その高域周波数成分のレベル(換言すると大きさである)に応じてドライバ34を介してフォーカスレンズ31の位置を制御することにより、被写体を表す光学像をイメージセンサ2の撮像面に結像させる。
以下では、被写体を表す光学像をイメージセンサ2の撮像面に結像させることを被写体にピントを合わせると記載する。
そして、被写体を表す光学像が結像する点(焦点と呼ぶこともできる)がイメージセンサ2の撮像面上の点と一致している状態をピントが合っていると記載する。ただし、一致していない状態であっても、被写体が鮮明に撮影される範囲にある場合(換言すると、イメージセンサ2の撮像面が焦点深度内に位置する場合)は、ピントが合っていると記載する。逆に、ピントが合っていない場合をピントがぼけていると記載する。
撮像装置1は、いわゆるマニュアル操作によっても被写体にピントを合わせることができる。即ち、撮影者から操作部19に対してピント合わせの操作が行なわれた場合に、CPU17が当該操作に従ってドライバ34を介してフォーカスレンズ31の位置を調節する。これにより、撮影者は所望の被写体にピントを合わせることができる。
撮像装置1は、「自動的に絞り32の開口量、イメージセンサ2の露光時間及びAFE4の増幅率を制御することにより、撮影画像の明るさを略一定に保つ」いわゆるAE(Automatic Exposure)機能を備えている。
AE機能は、例えば、次のようにして実現される。即ち、画像処理部7が備えるAE評価値検出部(図示せず)が、AFE4から出力される画像信号中の全画素における輝度信号を積算する。次に、CPU17が、かかる積算値(AE評価値という。)が予め定められた目標値に保たれるように、ドライバ34を介して絞り32の開口量及びイメージセンサ2の露光時間を制御するか、或いはAFE4による画像信号の増幅率を制御する。こうしてAE機能が実現される。
イメージセンサ2に入射する光学像が同じである場合、絞り32の開口量が大きくなるに従って、イメージセンサ2への単位時間当たりの入射光量は増大し、輝度信号の値は増大する。尚、絞り32の開口量を最大にしてもAE評価値が上記目標値未満にしかならない場合は、CPU17はAFE12の増幅回路の増幅率を調整してAE評価値を目標値に保つ。
撮像装置1は、いわゆるマニュアル操作によっても絞り32の開口量を調節することができる。即ち、撮影者から操作部19に対して絞り32の開口量を変更する操作(換言すると、被写界深度を変更する操作)が行なわれた場合に、CPU17が、当該操作に従ってドライバ34を介して絞り32の開口量を調節する。これにより、撮影者は所望の被写界深度で撮影することができる。
開口量を変更する操作が開口量を大きくする操作の場合は被写界深度が浅くなり、開口量を変更する操作が開口量を小さくする操作の場合は被写界深度が深くなる。
尚、撮像装置1は、撮影者の操作により絞り32の開口量が変更された場合であっても、上記したAE機能によりイメージセンサ2の露光時間を調節することにより、AFE4から出力される画像信号の輝度を一定に保つことができる。
撮像装置1では、撮影者から操作部19に対してズーム倍率を変更する操作が行なわれた場合には、CPU17が、当該操作に従ってドライバ34を介してズームレンズ30を光軸に沿って移動させる、いわゆるズーム制御を行う。これにより、イメージセンサ2による撮影の画角が変更される(換言すれば、イメージセンサ2の撮像面上に形成される被写体の像が拡大または縮小される)。
図3(A)及び図3(B)は、同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された2つの撮影画像を表す。図3(A)の撮影画像100及び図3(B)の撮影画像103は、同じ撮影対象を2回撮影することにより得られる。
ここで撮影対象とは、撮影画像として取得される予定の被写体群である。
撮影画像100及び103の各々は、人物101と人物101以外の建造物や樹木及び池等の背景102から成る撮影対象を表す撮影画像である。
撮影画像100及び103はいずれも、同一の被写体である人物101にピントが合わされて撮影された撮影画像である。
また、撮影画像100は、被写界深度が比較的浅くなるように絞り32の開口量が調節されて撮影された撮影画像である。よって撮影画像100では、背景102はピントがぼけており、背景102は不鮮明でぼけた画像となっている。つまり、被写界深度が浅ければ、背景102の鮮鋭度が低下する。
一方、撮影画像103は、撮影画像100の場合よりも被写界深度が深くなるように、絞り32の開口量が調節されて撮影された画像である。よって、撮影画像103では、背景102に対してもピントが合うこととなり、背景102は鮮明な画像となっている。つまり、被写界深度が深ければ、背景102の鮮鋭度が増大する。
このように、同じ撮影対象を2回撮影することにより得られた2つの撮影画像であって、両者とも特定の被写体にピントが合わされて撮影されており、かつ、特定の被写体を除く被写体(即ち、背景)に対し、一方はピントがぼけた状態で、他方はピントが合った状態で撮影されているものを、本実施形態では、「同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された2つの撮影画像」と呼ぶこととする。
本実施形態ではまた、両者とも特定の被写体にピントが合わされて撮影されており、かつ、背景に対しては、両者ともピントがぼけた状態であるが、ピントのぼけ具合が互いに異なる2つの撮像画像も、「同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された2つの撮影画像」と呼ぶこととする。
さらに、同一の被写体に対しピントが合わされ、かつ、被写界深度が異なるように撮影された複数の撮影画像の各々を、単に「被写界深度の異なる撮影画像」と呼ぶこととする。
図1の撮像装置1は、イメージセンサ2のサイズやレンズ部3を構成するレンズの口径が小さい場合であっても、画像処理部7における画像処理により、撮影画像から特定の被写体が背景よりも強調された画像(以下、特定被写体強調画像と記載する。)を比較的簡易に生成することができる。具体的には、撮像装置1は、同じ撮影対象を連続して2回撮影することにより、例えば、図3(A)に示す撮影画像100及び図3(B)に示す撮影画像103を取得する。そして、この2つの撮影画像から特定被写体強調画像を生成することができる。
以下、画像処理部7の内部構成及び特定被写体強調画像生成処理について説明する。
(画像処理部7の内部構成及び特定被写体強調画像生成処理)
図4は、画像処理部7が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。
図4は、特に、背景102がぼけて見え、特定被写体である人物101が浮き立ったように見えるという視覚的効果を奏する特定被写体強調画像を生成する処理を示している。
撮像装置1が特定被写体強調画像を生成する場合、画像処理部7には、被写界深度の異なる2つ(2フレーム分)の撮影画像がそれぞれ入力画像1及び入力画像2として入力される。
以下では、入力画像1として図3(A)の撮影画像100が入力され、入力画像2として図3(B)の撮影画像103が入力されることを想定する。
撮影画像100(以下、第1画像100と記載する。)及び撮影画像103(以下、第2画像103と記載する。)は、撮像装置1により連続して撮影され、フレームメモリ5に一旦格納され、そして画像処理部7へ出力された2フレーム分の撮影画像である。
画像処理部7は、第1画像100と第2画像103との位置合わせを行う画像位置合わせ部104、画像位置合わせ部104から出力される第1画像100に含まれる輝度信号の高域成分(以下、画像に含まれる輝度信号の高域成分を、単に「画像の高域成分」と記載する。)を抽出する高域成分抽出部105、画像位置合わせ部104から出力される第2画像103の高域成分を抽出する高域成分抽出部106、高域成分抽出部105から出力される第1画像100の高域成分と高域成分抽出部106から出力される第2画像103の高域成分との差分信号を算出する差分算出部107、第1画像100に対して画像処理を施して図5(A)に示す第3画像111を生成する画像処理部108、第1画像100と第3画像111とを合成する画像合成部110、画像合成部110による第1画像100と第3画像111との合成処理の合成度合いを差分算出部107からの差分信号に基づいて算出する加算比率算出部109から構成される。
画像位置合わせ部104は、撮影画像とこれに対応する画素との位置関係が、第1画像100と第2画像103との間でずれている場合に、このずれを検出し第2画像103に対してずれを補正する。このような位置関係のずれは、例えば手ぶれが原因で生じる。尚、第1画像100に対してずれ補正処理を行うこととしてもよい。画像位置合わせ部104による画像位置合わせ処理の詳細については後述する。
高域成分抽出部105は、例えばカットオフ周波数がナイキスト周波数の10分の1以上となる特性のHPF(High Pass Filter)で構成される。
高域成分抽出部105は、HPF処理を施すことにより、高域成分を画素毎に抽出する。
同様に、高域成分抽出部106は、位置ずれ補正がなされた第2画像103の輝度信号に対しHPF処理を施し、高域成分を画素毎に抽出する。
差分算出部107は、第1画像100の高域成分と第2画像103の高域成分の差分(第1画像100と第2画像103との間の鮮鋭度の相違の大きさ)を画素毎に算出する。
上述したように、第1画像100および第2画像103はいずれも、人物101にピントが合っている。そして、第1画像100では背景102にもピントが合っているが、第2画像103では背景102にはピントが合っていない。従って、第1画像100における背景102の画像の高域成分と第2画像103における背景102の画像の高域成分との差分は、第1画像100における人物101の画像の高域成分と第2画像103における人物101の画像の高域成分との差分よりも大きい値となる。
つまり、第1画像100における背景102の鮮鋭度と第2画像103における背景102の鮮鋭度との相違は、第1画像100における人物101の鮮鋭度と第2画像103における人物101の鮮鋭度との相違よりも大きくなる。
画像処理部108は、第1画像100に対して画像処理を施す。図4では、第1画像100に、ぼかし効果を奏する処理(以下、ぼかし処理と記載する。)を施す。
図5(A)に示す第3画像111は、画像処理部108が第1画像100にぼかし処理を施した後のイメージ図である。
尚、ぼかし処理は、CG-ARTS協会から発行されている「デジタル画像処理」(第2版第2印刷)の108頁から110頁に記載されているように、例えば、隣接する画素信号の濃淡変化を滑らかにする平均化フィルタ等による平滑化処理によって実現され、或いは同131頁から133頁に記載されているように、画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周波成分を除去するようなLPF(Low Pass Filter)処理によって実現することができる。即ち、図5(A)に示す第3画像111は、例えば、第1画像100に平均化フィルタ処理やLPF処理を施すことによって得られる。
加算比率算出部109は、差分算出部107の差分結果に基づいて、第1画像100と第3画像103との合成度合いを表わす加算比率Kを、画素毎に導出する。
図6は、第1画像100の高域成分と第2画像103の高域成分の画素毎の差分値の大きさと加算比率Kとの関係を表わす関数のグラフである。
尚、当該高域成分の差分値の大きさが本発明の「相違度」に相当し、かかる差分値の大きさが大きい程、相違度が高くなることになる。この相違度としては、本実施例で用いた高域成分の差分値の大きさのように2つの画像信号の異なり度合いを示すものであればよく、他にも、例えば前記第1画像100の高域成分と前記第2画像103の高域成分との相関関数を相違度として使用することもできる。
図6において、加算比率Kは、高域成分の差分値の大きさが閾値α以下である場合に“1”を示し、高域成分の差分値の大きさが閾値αより大きくなるにつれて線形的に小さくなる。
加算比率算出部109は、図6に示す関数に従って、高域成分の差分値の大きさから加算比率Kを算出するが、高域成分の差分値に対する加算比率Kをテーブルとして画像処理部7に予め備えることとしてもよい。
画像合成部110は、第1画像100および第3画像111を加算比率算出部109によって導出された加算比率Kに基づいて合成し、出力画像つまり特定被写体強調画像を生成する。
図5(B)に示す第4画像112は、画像合成部110から出力される特定被写体強調画像のイメージ図である。
画像合成部110は、具体的には、下記の数式(1)に従う加重加算処理によって、出力画像として第4画像112を画素毎に生成する。
第4画像112=(第1画像100×加算比率K)
+(第3画像111×(1−加算比率K)) …(1)
第1画像100における人物101の画像および第3画像103における人物101の画像については、高域成分の差分値が小さくなる。このため、人物101の画像に対応する画素の加算比率Kは、“1”または“1”に近い値となる。従って、数式1によれば、第4画像112における人物101の画像は、第1画像100における人物101の画像とほぼ等しくなる。
一方、第1画像100における背景102の画像および第2画像103における背景102の画像については、高域成分の差分値が閾値αより大きくなるにつれて、加算比率Kがゼロに近づく。従って、第1画像100における背景102の画像に第3画像111における背景102の画像が混合されることとなり、第4画像112における背景102の画像は第1画像100における背景102の画像よりもぼかし効果が大きい画像となる。
この結果、第4画像112における背景102は、第1画像100における背景102よりもぼけ味のある画像となり、第4画像112は人物101が浮き立って見える画像となる。
尚、上記では、第1画像100の高域成分と位置ずれ補正後の第2画像103の高域成分との差分を算出している。しかし、第1画像100と位置ずれ補正後の第2画像103の高域成分の相違度合いが算出できればいいので、差分を算出することに代えて、第1画像100の高域成分と位置ずれ補正後の第2画像103の高域成分と間の比率を算出することとしてもよい。
また、上記では、画像処理部108が第1画像100にぼかし処理を施して第3画像111を生成し、画像合成部110が第1画像100と第3画像111とを合成して第4画像112を生成する。しかし、第2画像にぼかし処理を施して生成した画像を第3’画像(図示せず)とし、第2画像103と第3’画像を合成することとしても、同様の効果を奏する画像を取得することができる。
ここで、図6において、加算比率Kの閾値αは、高域成分の差分値を第1画像100と第3画像111との合成度合いである加算比率Kに反映した場合に、合成処理後の第4画像112上で観者が当該差分値の影響を認識できるかどうかという観点から決定される。即ち、観者がその差分値の影響を第4画像112上で認識不可能となる値の最大値を閾値αとしている。
同様に、図6のグラフの勾配(傾き)についても、観者が差分値の変化の度合いを第4画像112上で認識できるかどうかという観点から決定される。
従って、図5では、閾値αより大きくなるにつれて線形的に小さくなる関数を示しているが、線形的でなくとも、高域成分の差分値の増加に従って逓減するような関数としてもよい。
(画像位置合わせ処理部104の内部構成及び位置合わせ処理)
図7は、画像位置合わせ処理部104の内部構成及び画像位置合わせ処理を説明する図である。
画像位置合わせ処理部104は、入力された第1画像100および第2画像103の各々から輝度信号を抽出する輝度信号抽出部201、抽出された輝度信号に基づいて第1画像100および第2画像103の間の位置ずれを検出する位置ずれ検出部202、検出された位置ずれに基づいて第1画像100に対して位置ずれ補正処理を施す位置ずれ補正部203を備える。
例えば入力画像の各画素がRGB形式に従う信号値IR、IG、IBを有する場合、輝度信号抽出部201は、各画素における輝度信号の大きさYを下記の数式(2)により算出して出力する。
Y=0.299IR+0.587IG+0.114IB …(2)
位置ずれ検出部202は、第1画像100の輝度信号及び第2画像103の輝度信号が入力されると、例えば、周知の手法である代表点マッチング法に基づいて、第1画像100と第2画像103との間の動きベクトルを検出する。
位置ずれ補正部203は、位置ずれ検出部202により算出された第1画像100と第2画像103との動きベクトルがMであるすると、第1画像100の画素全体を動きベクトルMを打ち消す方向に移動させる。
図8及び図9は位置ずれ補正部203による位置ずれ補正処理を説明するための図である。
図8は、第1画像100と第2画像103との間の動きベクトルMの水平成分及び垂直成分を表わしている。
図8において、第1画像100と第2画像103との間に発生した動きベクトルMがM(Xm,Ym)であるとする。図9は、第1画像100における画素P(X,Y)に対応する画像の位置が、動きベクトルMの発生により、第2画像103における画素P'(X+Xm,Y+Ym)へ移動したことを示している。
従って、位置ずれ補正部203は、第2画像103上の画素位置P'(X+Xm,Y+Ym)を第1画像100上の画素位置P(X,Y)へ移動させる。
即ち、第2画像103上の画素位置P'(X+Xm,Y+Ym)の輝度値が画素位置P(X,Y)における輝度値となるように第2画像103の輝度信号を変換することで、位置ずれ補正を行う。
撮像装置1は、静止画撮影において、通常の静止画撮影モードの他、上記したような特定被写体強調画像を生成するための特定被写体強調撮影モードを有している。
撮影者が特定被写体撮影モードで撮影すると、撮像装置1は、被写界深度を変更して連続して撮影することにより被写界深度の異なる複数の撮影画像を取得するとともに、これら被写界深度の異なる複数の撮影画像から特定被写体強調画像を生成する。そして、取得した被写界深度の異なる複数の撮影画像、及び生成した特定被写体強調画像を外部メモリ22に記録する。
具体的には、撮影者により操作部19に対する撮影操作が行われると、撮像装置1は、AF機能により撮影者が注目する被写体(人物101)にピントを合わせる。続いて、AE機能により絞り32の開口量の調整、イメージセンサ2の露光時間(シャッタスピード)の調整及びAWB(Auto White Balance)機能による色相の調整を行なった後、撮影(第1撮影)を行う。
ここで、AWB機能とは、撮像装置1が、被写体に照射される光の光源を判定し、当該光源に応じて白色の色相を自動的に決定するとともに、当該白色の色相に応じてその他色の色相を決定する機能である。
撮像装置1は、第1撮影に続いて、第1撮影よりも被写界深度が深くなるように絞り32の開口量の調整し、撮影(第2撮影)を行う。
尚、第1撮影と第2撮影との間でどの程度被写界深度を異ならせるかは、撮影者が好み応じて予め設定することができる。
撮像装置1は、第1撮影および第2撮影の後、第1撮影によって得られた画像(図3(A)の撮影画像100。)及び第2撮影によって得られた画像(図3(B)の撮影画像103。)に基づいて特定被写体強調画像(図5(B)の第4画像112。)を生成し、合計3つの画像を外部メモリ22に記録する。
尚、第1撮影と第2撮影の撮影順序を逆にしてもよい。
また、前記第1撮影によって得られた画像と異なる被写界深度を有する画像を取得するために、前記第2撮影に加えて第3、第4・・・と複数回の撮影を行なうこととしてもよい。この場合、CPU17が、フレームメモリ5に蓄積された複数の被写界深度の異なる撮影画像のうちから、特定被写体強調画像の生成に適した2つを選択することとなる。
(撮像装置1による撮影動作)
次に、本実施形態に係る撮像装置1を用いて特定被写体が強調された画像を取得する方法について説明する。
図10は、撮像装置1が、第1画像100(図3(A)の撮影画像100)と第2画像103(図3(B)の撮影画像103)を取得し、特定被写体が強調された図5(B)の 第4画像112を生成するまでの一連の処理を示すフローチャートである。
なお、これらのフローチャートに対応する制御プログラムは、図示しないフラッシュメモリに記憶される。また、以下で述べる各ステップの動作には、CPU17が必ず関与する。
撮像装置1の電源がONされると、ステップS101へ進む。
ステップS101では、撮影者が撮像装置1の動作モードを選択する。撮像装置1は、動画及び静止画を撮影する撮影モードと既に撮影され外部メモリ22に記録された撮影画像を再生する再生モードを有する。
ここでは、撮影者により撮影モードが選択され、さらに特定被写体強調撮影モードが選択されているものとする。
ステップS102では、撮像装置1は、プレビューモードへ移行する。
プレビューモードでは、レンズ部3を経由してイメージセンサ2の光電変換によって得られたアナログの画像信号がAFE4においてデジタルの画像信号に変換されて画像処理部7へ出力される。そして、画像処理部7において、当該デジタルの画像信号は、ホワイトバランス処理等の画像処理が施され、画像信号出力部12を経て表示部13に表示される。
ステップS103では、撮影者の操作に応答して撮影対象の構図やズーム倍率が調整される。
ステップS104では、CPU17は、操作部19のシャッタボタンがいわゆる半押しされたかどうかを判定する。
撮像装置1の操作部19には、静止画撮影のためのシャッタボタン(図示せず)が備えられている。シャッタボタンは2段階スイッチとなっており、撮影者がシャッタボタンを略半分まで押し込むと第1スイッチがONされる。シャッタボタンが最後まで押し込まれる(以下、シャッタボタンを最後まで押し込むことを「全押し」と記載する。)と第2スイッチがONされる。
シャッタボタンが半押しされたと判断されると、ステップS105へ進む。そうでなければステップS102へ戻り、撮像装置1はプレビューモードを継続する。ステップS105では、撮影対象に対して第1撮影条件(通常撮像条件)を設定する。第1撮影条件の設定では、撮像装置1が、AF機能により撮影者が注目する被写体(人物101)にピントを合わせるとともに、AE機能により絞り32の開口量の設定、イメージセンサ2の露光時間(シャッタスピード)の設定及びAWB機能による色相の設定を行なう。
ステップS106では、撮像装置1のCPU17が、現在の静止画撮影モードが通常撮影モードか、それとも特定被写体強調撮影モードかを判断する。特定被写体強調撮影モードであればステップS107へ進み、そうでなければステップS108へ進む。
ステップS107では、撮像装置1が、撮影対象に対して第2撮影条件(小絞り撮像条件)を設定する。第2撮影条件の設定では、撮像装置1は、第1撮影条件よりも絞り32の開口量を小さく、即ち被写界深度を深くなるように設定する。
尚、第2撮影条件については、第1撮影条件からどの程度絞り32の開口量を小さくするかについて、予め撮影者が設定可能とすることもできる。これにより、撮影者は、人物101の強調度合いを好みに応じて変更することができる。
ステップS108では、CPU17は、シャッタボタンが全押しされたかどうかを判断する。ステップS109では、CPU17は、シャッタボタンの操作が解除されたかどうかを判断する。
シャッタボタンが全押しされたと判断した場合は、ステップS110へ進む。シャッタボタンの操作が解除されたと判断した場合は、ステップS102へ戻る。
ステップS110では、撮像装置1は、ステップS105で設定された第1撮影条件で被写界を撮影し、これによって取得された第1画像100をフレームメモリ5に格納する。
ステップS111では、撮像装置1のCPU17が、現在の静止画撮影モードが通常撮影モードか、それとも特定被写体強調撮影モードかを判断する。特定被写体強調撮影モードであれば、ステップS112へ進み、そうでなければステップS114へ進む。
ステップS112では、撮像装置1は、ステップS107で設定された第2撮影条件で被写界を撮影し、これによって取得された第2画像103をフレームメモリ5に格納する。
ステップS113では、画像処理部7によって特定被写体強調画像生成処理が施され、特定被写体強調画像である第4画像112が生成される。処理が完了すると、ステップS114へ進む。
尚、特定被写体強調画像生成処理については後述する。
ステップS114では、CPU17の制御の下、画像処理部7によって撮影画像あるいは撮影画像及び特定被写体強調画像に対し画像処理が施され、続いて圧縮処理部9により圧縮処理が施され、外部メモリ22に格納される。そして、ステップS102へ戻る。
(特定被写体強調画像生成処理)
図12は、撮像装置1が、第1画像100と第2画像103から第4画像112を生成するまでの一連の処理を示すフローチャートである。
ステップS201では、フレームメモリ5から出力された第1画像100および第2画像103の位置ずれを検出し、位置ずれがある場合には、第2画像103に対して位置ずれ補正処理を施す。その後、ステップS202へ進む。
ステップS202では、第1画像100及び位置ずれ補正後の第2画像103の高域成分を算出する。その後、ステップS203へ進む。
ステップS203では、第1画像100の高域成分と位置ずれ補正後の第2画像103の高域成分との差分を算出し、算出された差分を参照して加算比率Kを導出する。
ステップS204では、第1画像100に対してぼかし処理を施して図5(A)の第3画像111を生成する。その後、ステップS205へ進む。
ステップS205では、加算比率Kに応じて、第1画像100と第3画像111とを加重加算することにより、人物101が強調された第4画像112を生成する。
以上に述べたように、図10ないし図12に示す処理を行うことにより、撮影者は、背景102をぼかすとともに人物101を強調して、その結果人物101が浮き立ったような“ぼけ味”のある第4画像112を取得することができる。
<第2の実施形態>
次に、第2の実施形態について説明する。図13は、第2の実施形態に係る画像処理部7が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。
第2の実施形態では、背景102の輝度を低減する処理を施し、その結果、人物101の輝度が相対的に高くなって、人物101が浮き立って見える撮影画像を取得する方法を示す。
図13において、図4と同一の番号を付している部位は、第1の実施形態の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
画像処理部113は、図3(A)の第1画像100に対して、輝度を低減する効果を奏する処理(以下、輝度低減処理と記載する。)を施す。
第1画像100の各画素における輝度値は、上述した数式(2)で表すことができる。
画像処理部113は、輝度低減処理として、第1画像100の各画素に対し、輝度を一定の割合で低減する処理を施す。
図14(A)に示す第5画像114は、第1画像100に輝度低減処理が施されて生成された画像のイメージ図である。
画像合成部110は、第1画像100および第5画像114を加算比率算出部109によって導出された加算比率Kに基づいて数式(3)の加重加算処理により合成し、図14(B)に示す第6画像115を出力画像として生成する。
第6画像115=(第1画像100×加算比率K)
+(第5画像114×(1−加算比率K)) …(3)
この結果、第6画像115における背景102は、第1画像100における背景102よりも輝度が低減された画像となる。これにより人物101が浮き立って見える画像となる。
次に、第6画像115を取得するためのフローチャートについて説明する。
図12は、第1実施形態のおける第4画像112を取得するためのフローチャートを示しているが、同図を用いて、本第2実施形態の第6画像115を取得する場合について説明する。この場合、図12のフローチャートのステップS204では、第1画像100に対するぼかし処理に代えて、「第1画像100に対して、輝度低減処理を施し第5画像114を生成する」処理が実行される。
また、上述の説明では、画像処理部113は第1画像100に輝度低減処理を施して輝度が低減された第5画像114を生成し、画像合成部110は第1画像100と第5画像114を合成している。しかし、画像処理部113が第2画像103に輝度低減処理を施して第5’画像(図示せず)を生成し、画像合成部110が第5’画像と第2画像103とを合成することとしても、同様の効果を奏する画像を取得することができる。
これにより、撮影者は、背景102の輝度を低減し、人物101が強調されて浮き立って見える第6画像115を取得することができる。
<第3の実施形態>
次に、第3の実施形態について説明する。図15は、第3の実施形態に係る画像処理部7が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。
第3の実施形態では、背景102の彩度を低減する処理を施し、その結果、人物101の彩度が背景102に対して相対的に高くなって、人物101が浮き立って見える撮影画像を取得する方法を示す。
図15において、図4と同一の番号を付している部位は、第1の実施形態の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
画像処理部116は、第1画像100に対して、彩度を低減する効果を奏する処理(以下、彩度低減処理と記載する。)を施す。
ここで、彩度とは、色の鮮やかさ、色の純度を意味し、彩度が高いと純粋な色に近づき、反対に彩度が低いと濁った色(グレー)に近づく。彩度の値の範囲は0〜100%である。図16に色相環図を示す。色相環とは色相を環状に配置したものである。図中において彩度は矢印の長さで表現される。即ち、第1画像100における各画素の色差信号をRY、BYとすると、第1画像100における各画素の彩度は数式(4)により算出される。
従って、画像処理部113は、彩度低減処理として、第1画像100の各画素に対し、各画素の彩度を一定の割合で低減する処理を施す。
図17(A)に示す第7画像117は、第1画像100に彩度低減処理が施されて生成された画像のイメージ図である。
画像合成部110は、第1画像100および第7画像117を加算比率算出部109によって導出された加算比率Kに基づいて数式(5)の加重加算処理により合成し、図16(B)に示す第8画像118を出力画像として生成する。
第8画像118=(第1画像100×加算比率K)
+(第7画像117×(1−加算比率K)) …(5)
この結果、第8画像118における背景102は、第1画像100における背景102よりも彩度が低減された画像となる。これにより人物101が浮き立って見える画像となる。
次に、第8画像118を取得するためのフローチャートについて説明する。
図12は、第1実施形態のおける第4画像112を取得するためのフローチャートを示しているが、同図を用いて、本第3実施形態の第8画像118を取得する場合について説明する。この場合、図12のフローチャートのステップS204では、第1画像100に対するぼかし処理に代えて、「第1画像100に対して、彩度低減処理を施し第7画像117を生成する」処理が実行される。
また、上述の説明では、画像処理部113は第1画像100に彩度低減処理を施して彩度が低減された第7画像117を生成し、画像合成部110は第1画像100と第7画像117を合成している。しかし、画像処理部113が第2画像103に輝度低減処理を施して第7’画像(図示せず)を生成し、画像合成部110が、第7’画像と第2画像103とを合成することとしても、同様の効果を奏する画像を取得することができる。
これにより、撮影者は、背景102の彩度を低減し、人物101が強調されて浮き立って見える第8画像118を取得することができる。
<第2の実施形態の変形>
図18は、第2の実施形態の変形例を説明する図である。
尚、図18において、図4と同一の番号を付している部位は、第1の実施形態の場合と同一の機能及び動作を有する部位であるためその機能及び動作の説明は省略する。
図18において、画像処理部119は、第1画像100に対して、輝度を高くする効果を奏する処理(以下、輝度増加処理と記載する。)を施す。
図19(A)に示す第9画像120は、第1画像100に対し輝度増加処理を施した場合のイメージ図である。
画像合成部110は、第9画像120と図14(A)に示す輝度低減処理が施された第5画像114とを加算比率算出部109によって導出された加算比率Kに基づいて数式(6)の加重加算処理により合成し、図19(B)に示す第10画像121を出力画像として生成する。
第10画像121=(第9画像120×加算比率K)
+(第5画像114×(1−加算比率K)) …(6)
この結果、第10画像121における人物102は、第1画像100における人物102よりも輝度の高い画像となる。これにより人物101が浮き立って見える画像となる。
次に、第10画像121を取得するためのフローチャートについて説明する。
図12は、第1実施形態のおける第4画像112を取得するためのフローチャートを示しているが、同図を用いて、本第2実施形態の変形例における第10画像121を取得する場合について説明する。この場合、図12のフローチャートのステップS204では、第1画像100に対するぼかし処理に代えて、「第1画像100に対して、輝度低減処理及び輝度増加処理を施し第5画像114及び第9画像120を生成する」処理が実行される。さらに、ステップS205では、「第5画像114と第9画像120とを加重加算する」処理が実行される。
また、上述の説明では、画像処理部113及び119は、第1画像100に対して輝度低減処理及び輝度増加処理をそれぞれ施し、第5画像114及び第9画像120をそれぞれ生成する。また、画像合成部110は、第5画像114と第9画像120とを合成する。しかし、画像処理部113及び119は、第2画像103に対して輝度低減処理及び輝度増加処理をそれぞれ施し、第5’画像(図示せず)及び第9’画像(図示せず)をそれぞれ生成するようにしてもよく、画像合成部110は第5’画像と第9’画像とを合成するようにしてもよい。これによって、同様の効果を奏する画像を取得することができる。
これにより、撮影者は、人物101の輝度がアップされ、この結果浮き立って見える第10画像121を取得することができる。
<第3の実施形態の変形>
図20は、第3の実施形態の変形例を説明する図である。
尚、図20において、図4と同一の番号を付している部位は、第1の実施形態の場合と同一の機能及び動作を有する部位であるためその機能及び動作の説明は省略する。
図20において、画像処理部122は、第1画像100に対して、彩度を高くする効果を奏する処理(以下、彩度増加処理と記載する。)を施す。
図21(A)に示す第11画像123は、第1画像100に対し彩度増加処理を施した場合のイメージ図である。
画像合成部110は、第11画像123と図17(A)に示す彩度低減処理が施された第7画像117とを加算比率算出部109によって導出された加算比率Kに基づいて数式(7)の加重加算処理により合成し、図21(B)に示す第12画像124を出力画像として生成する。
第12画像124=(第11画像123×加算比率K)
+(第7画像117×(1−加算比率K)) …(7)
この結果、第12画像124における人物102は、第1画像100における人物102よりも彩度の高い画像となる。これにより人物101が浮き立って見える画像となる。
次に、第12画像124を取得するためのフローチャートについて説明する。
図12は、第1実施形態のおける第4画像112を取得するためのフローチャートを示しているが、同図を用いて、本第3実施形態の変形例における第12画像124を取得する場合について説明する。この場合、図12のフローチャートのステップS204では、第1画像100に対するぼかし処理に代えて、「第1画像100に対して、彩度低減処理及び彩度増加処理を施し第7画像117及び第11画像123を生成する」処理が実行される。さらに、ステップS205では、「第7画像117と第11画像123を加重加算する」処理が実行される。
また、上述の説明では、画像処理部116及び122は、第1画像100に対して彩度低減処理及び彩度増加処理をそれぞれ施し、第7画像117及び第11画像123をそれぞれ生成する。また、画像合成部110は、第7画像117と第11画像123とを合成する。しかし、画像処理部116及び122は、第2画像103に対して彩度低減処理及び彩度増加処理をそれぞれ施し、第7’画像(図示せず)及び第11’画像(図示せず)をそれぞれ生成するようにしてもよく、画像合成部110は第7’画像と第11’画像とを合成するようにしてもよい。これによって、同様の効果を奏する画像を取得することができる。
これにより、撮影者は、人物101の彩度がアップされ、この結果浮き立って見える第12画像124を取得することができる。
以上に述べたように、本発明の実施形態によると、撮像装置1は、被写界深度の異なる2つの撮影画像として入力画像1及び入力画像2を取得し、取得された2つの撮影画像を画像処理部7へ入力する。画像処理部7は、例えば、入力画像1に対して、ぼかし処理、輝度低減処理、彩度低減処理等の入力画像1の画像信号のレベル(画像信号の大きさを)を低減する処理を施す。そして、画像処理部7は、入力画像1と入力画像2との相違度を算出するとともに、当該相違度に応じて、入力画像1と当該入力画像1に対して画像信号レベルを低減する処理が施された画像を画素毎に加算する。具体的には、相違度が高いほど、画像信号レベルを低減する処理が施された画像の割合が大きくなるように加算する。この結果、背景102のみをぼかす、輝度を低減する或いは彩度を低減することができ、これにより人物101が強調され、浮き立って見える撮影画像を取得することができる。
また、本発明の実施形態の変形として、例えば、入力画像1に対して、輝度低減処理又は彩度低減処理等の入力画像1の画像信号のレベルを低減する処理を施す一方、輝度増加処理又は彩度増加処理等の入力画像1の画像信号のレベルを増加する処理も施すこととしている。
そして、画像処理部7は、入力画像1と入力画像2の相違度に応じて、入力画像1に対して画像信号レベルを増加する処理が施された画像と入力画像1に対して画像信号レベルを低減する処理が施された画像とを画素毎に加算する。具体的には、相違度が高いほど、画像信号レベルを低減する処理が施された画像の割合が大きくなるように加算する。逆に、相違度が低いほど、画像信号レベルを増加する処理が施された画像の割合が大きくなるように加算する。この結果、背景102のみをぼかす、輝度を低減する或いは彩度を低減することができ、これにより人物101が強調され、浮き立って見える撮影画像を取得することができる。
尚、上記実施の形態では、画像信号のレベルを低減する処理の例として、ぼかし処理、輝度低減処理、彩度低減処理について記載したが、画像信号のレベルを低減することができる処理であればこれらに限られることはないし、ぼかし処理,輝度低減処理および彩度低減処理のうちの2つの処理あるいは全ての処理を同時に実行するようにしてもよい。
同様に、画像信号のレベルを増加する処理として、輝度増加処理又は彩度増加処理を記載したが、画像信号のレベルを増加することができる処理であればこれらに限られることはない。
また、上述の実施形態では、撮影モードの下で特定被写体強調画像生成処理を実行するようにしているが、特定被写体強調画像生成処理は再生モードの下で実行するようにしてもよい。この場合、図11に示すフローチャートは図22に示すように部分的に修正する必要があり、さらに再生モードでは図23に示すフローチャートに従って処理を実行する必要がある。
図22を参照して、ステップS112の処理が完了すると、ステップS115に進む。ステップS115では、通常撮像処理によって得られた通常絞り画像と小絞り撮像処理によって得られた小絞り画像とを格納したMPF(Multi Picture Format)ファイルを作成し、作成されたMPFファイルを外部メモリ22に記録する。ステップS115の処理が完了すると、ステップS102に戻る。
図23を参照して、ステップS116では外部メモリ22に記録されたMPFファイルを指定し、ステップS117では指定されたMPFファイルから通常絞り画像と小絞り画像とを再生する。ステップS113では、再生された通常絞り画像および小絞り画像に注目して、特定被写体強調画像生成処理を実行する。これによって生成された合成画像は、ステップS118で表示される。
また、上述の実施形態では、図4に示す画像処理部108によるぼかし量,図13に示す画像処理部113による輝度の低減量,図15に示す画像処理部116による彩度の低減量は、いずれも一様とされる。しかし、ぼかし量,輝度低減量または彩度低減量に多様性を持たせ、互いに異なるぼかし量,輝度低減量または彩度低減量を有する画像を入力画像1と合成するようにしてもよい。この場合、画像処理部7は図24に示すように構成する必要がある。
図24によれば、入力画像1は、画像処理部125a〜125cに並列的に与えられる。画像処理部125a〜125cは、互いに異なるぼかし量に従うぼかし処理、互いに異なる輝度低減量に従う輝度ダウン処理、或いは互いに異なる彩度低減量に従う彩度ダウン処理を実行する。また、画像合成部110は、入力画像1と画像処理部125a〜125cから出力された画像とを、加算比率算出部109の出力を参照して合成する。
さらに、図4に示す画像処理部7では、ぼかし処理を画像処理部108で行う一方、合成処理を画像合成部110で行うようにしている。しかし、図25に示すように、画像処理部108および画像合成部110をLPF127に置換し、加算比率算出部109をカットオフ周波数算出部126に置換し、LPF127のカットオフ特性をカットオフ周波数算出部126によって算出されたカットオフ周波数に基づいて制御するようにしてもよい。
この場合、カットオフ周波数は図26に示す要領で変化する。つまり、カットオフ周波数は、差分算出部107によって算出された差分信号の低下に応じて低下する。差分信号の大きさが閾値βを下回る範囲では、カットオフ周波数は“Fc”に設定される。これによって、特定被写体が強調された合成画像がLPF127から出力される。
<第4の実施形態>
次に、第4の実施形態について説明する。図27は、第1の実施形態に係る画像処理部7が備える構成のうち、特定被写体強調画像生成処理を行う部分の構成及び特定被写体強調画像生成処理を説明する図である。
第4の実施形態では、通常撮像条件の下で得られる通常絞り画像および小絞り撮像条件の下で得られる小絞り画像の他に、デフォーカス撮像条件(ピントが極端に外れた撮像条件)の下で得られるデフォーカス画像が用いられる。
図27において、図4と同一の番号を付している部位は、第1の実施形態の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。
画像位置合わせ部128は、画像位置あわせ部104と同じ構成を有し、通常絞り画像とデフォーカス画像との位置合わせを行う。画像位置合わせ部から出力された通常絞り画像およびデフォーカス画像は、画像合成部110によって合成される。合成処理にあたっては、加算比率算出部109によって算出された加算比率Kが参照される。
次に、本実施形態に係る撮像装置1を用いて特定被写体が強調された画像を取得する方法について説明する。
図28〜図29は、撮像装置1が、通常絞り画像,小絞り画像およびデフォーカス画像を取得し、取得したこれらの画像を外部メモリ22に記録するまでの一連の処理を示すフローチャートである。また、図30は、外部メモリ22に記録された通常絞り画像,小絞り画像およびデフォーカス画像に基づいて特定被写体が強調された合成画像を作成し表示するまでの一連の処理を示すフローチャートである。
なお、これらのフローチャートに対応する制御プログラムは、図示しないフラッシュメモリに記憶される。また、以下で述べる各ステップの動作には、CPU17が必ず関与する。
図28を参照して、ステップS301では動作モードをプレビューモードに設定し、ステップS302では撮影者の操作に応答してズーム倍率や絞り量を制御する。ステップS303ではAF制御、AE制御およびAWB制御を実行し、ステップS304ではシャッタボタンが半押しされたか否かを判別する。ステップS304でNOであればステップS302に戻り、ステップS304でYESであればステップS305に進む。
ステップS305では、図10に示すステップS105と同じ要領で通常撮像条件(第1撮像条件)を設定する。ステップS306では、図10に示すステップS107と同じ要領で小絞り撮像条件(第2撮像条件)を設定する。ステップS307では、ピントが被写体から大きく外れたデフォーカス撮像条件(第3撮像条件)を設定する。
なお、ステップS305〜307のいずれにおいても、フォーカスは、被写界内の共通の被写体(特定被写体)に合わせられる。また、ステップS307で設定される絞り量は、ステップS305で設定される絞り量と同じである。
ステップS308ではシャッタボタンが全押しされたか否かを判別し、ステップS309ではシャッタボタンの操作が解除されたか否かを判別する。ステップS308でYESであればステップS310に進み、ステップS309でYESであればステップS302に戻る。
ステップS310では動作モードを静止画撮影モードに設定し、ステップS311では第1撮像条件を参照して通常絞り画像を撮影する。ステップS312では第2撮像条件を参照して小絞り画像を撮影し、ステップS313では第3撮像条件を参照してデフォーカス画像を撮影する。ステップS314では、こうして得られた通常絞り画像、小絞り画像およびデフォーカス画像をMPFファイルに格納し、MPFファイルファイルを外部メモリ22に記録する。ステップS314の処理が完了すると、ステップS301に戻る。
図30を参照して、ステップS401では、外部メモリ22に記録されたMPFファイルを指定する。ステップS402では、通常絞り画像、小絞り画像およびデフォーカス画像を指定されたMPFファイルから再生する。通常絞り画像および小絞り画像は、ステップS403で位置合わせ部104による位置合わせ処理を施される。
ステップS404では、位置合わせ部104から出力された通常絞り画像の高域成分を高域成分抽出部105によって抽出し、位置合わせ部104から出力された小絞り画像の高域成分を高域成分抽出部106によって抽出する。抽出された高周波成分の差分は、差分算出部107によって算出される。ステップS405では、算出された差分を参照した加算比率Kの算出処理を加算比率算出部109によって実行する。これによって、加算比率テーブルが作成される。
一方、ステップS406では、再生された通常絞り画像およびデフォーカス画像に位置合わせ部104による位置合わせ処理を施す。ステップS407では、位置合わせ部104から出力された通常絞り画像およびデフォーカス画像を画像合成部110によって合成する。このとき、ステップS405で作成された加算比率テーブルが参照される。画像合成部110から出力された合成画像は、ステップS408で表示部13から出力される。