JP6300514B2 - 撮像装置、および撮像装置の制御方法 - Google Patents

Description

本発明は、特に、主要被写体と背景とを含む画像を取得するために用いて好適な撮像装置、および撮像装置の制御方法に関する。

従来、複数枚の画像を撮影している間に撮影制御を変更することによって、より高画質な画像を得ることができるカメラが提案されている。近年では、ストロボを発光した撮影画像とストロボを非発光にした撮影画像とを連続で撮影してこれらの画像を合成する撮影機能が提案されている。

このように撮影中に撮影制御を変更する技術として、例えば特許文献１には、連写中に構図が変わった場合に露出補正を禁止する方法について開示されている。また、特許文献２には、連写中に発光及び非発光の状態に応じて、予め記憶されている発光用のホワイトバランス（以下、ＷＢ）ゲイン或いは非発光用のＷＢゲインの何れかを用いる方法について開示されている。

特開２００６−３２５０６７号公報 特許第４９９４５４７号公報

しかしながら、従来の方法によって撮影中に撮影制御を変更すると、背景の色味と主要被写体の色味とを夫々最適にできないという問題がある。例えば、一般的に星空はやや寒色傾向が好ましく暖色に寄ると違和感のある画像となってしまうが、ストロボを発光して撮影した人物などは、寒色に寄せると人肌の色バランスが崩れてしまう。また、星空を写す際に空の露出がアンダー傾向になってしまうと小さな星が写り込まないため、星雲等を撮影する場合には露出をプラス側に補正するのが好ましいが、主要被写体が露出オーバーとなってしまうという問題がある。

本発明は前述の問題点に鑑み、発光部を発光させた状態で撮影した画像と発光させていない状態で撮影した画像とを合成する撮像装置において、背景の撮影条件を独立して適切に補正可能な撮像装置を提供することを目的としている。

本発明に係る撮像装置は、撮像手段と、前記撮像手段の露出を制御する露出制御手段と、第１の露光時間にてストロボ発光の有無を切り替えてそれぞれ撮影した第１の画像データおよび第２の画像データと、前記第１の露光時間よりも長い第２の露光時間にてストロボ非発光で撮影した第３の画像データとを取得するよう前記撮像手段を制御する撮像制御手段と、前記第１の画像データと第２の画像データの少なくとも一方を用いて表示手段に画像表示する表示制御手段と、前記表示制御手段により画像表示されている状態で、ユーザが前記第３の画像データのホワイトバランスゲインを設定できる設定手段と、前記第１の画像データと第２の画像データのうちストロボ発光で撮影された画像データから前記第１の画像データと前記第２の画像データのホワイトバランスゲインを算出する算出手段と、前記第１の画像データ、第２の画像データおよび第３の画像データについて、ホワイトバランス補正の処理を行う処理手段と、前記処理手段により処理された前記第１の画像データと第２の画像データの差分に基づいて、前記第１の画像データと第２の画像データのうちストロボ発光で撮影された画像データから第１の被写体に対応する領域を特定するとともに、前記処理手段により処理された前記第３の画像データから第２の被写体に対応する領域を特定し、それぞれの領域を合成して最終画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、発光部を発光させた状態で撮影した画像と発光させていない状態で撮影した画像とを合成する撮像装置において、背景の撮影条件を独立して適切に補正可能である。したがって、撮影者の意図した星空写真等を撮影することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態において、合成画像を生成する処理手順の一例を示すフローチャートである。 ストロボが発光または非発光の状態で複数枚撮影された画像を説明するための図である。

以下、図面を参照しながら本発明の実施形態を説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
撮影光学系１２１は、レンズ、絞り、シャッター機構などを備え、被写体からの光束を撮像素子１０１に導く。また、撮影光学系１２１は、フォーカシング、ズーミング、防振駆がそれぞれ可能なようにフォーカスレンズ、ズームレンズ、シフトレンズを駆動可能なレンズ駆動機構も有する。撮像素子１０１はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等からなる。そして、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われたセンサを有し、カラー撮影が可能な構成となっている。また、上記のセンサと一体または後段にＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路を有し、撮影光学系１２１から得られる光束を電気信号に変換し、さらにデジタルの画像信号に変換してメモリ１０２等に出力する。

ＣＰＵ１１４は、画像全体が明るくなるような露出値（シャッター速度、絞り値）を計算するとともに、ある被写体に合焦するようにフォーカスレンズの駆動量を計算する。ＣＰＵ１１４で計算された露出値およびフォーカスレンズの駆動量は制御回路１１３に送られ、制御回路１１３は、各値に基づいてそれぞれ露出制御や駆動制御など撮像制御を行う。また、ＣＰＵ１１４は、画像処理回路１１５をも制御する。画像処理回路１１５の詳細については後述する。

発光部１１９は、制御回路１１３によって撮像素子１０１による撮像に同期して発光するストロボである。発光部１１９としてはその他、オンであれば連続して周期的に発光がなされるようなものでもよい。ホワイトバランス（ＷＢ）制御部１０３は、ユーザが操作部１１８を介して設定したホワイトバランスゲイン（ＷＢゲイン）値を用いた補正（マニュアルＷＢ補正）を行う。あるいはメモリ１０２に記憶された画像信号の情報に基づいて算出したＷＢゲイン値を用いて、メモリ１０２に記憶された画像信号に対してＷＢ補正（オートＷＢ補正）を行う。ＷＢゲインの算出方法としては、画像信号を用いた公知の方法を適用してよい。本実施形態では、画像中の白とみなす領域を抽出し、当該領域の色評価値が適切な白になるようにＲ、Ｂ信号のゲインを算出する。本実施形態では、通常の撮影モードにおいてはオートＷＢ補正とマニュアルＷＢ補正とのいずれかを選択可能とする。後述する星空と人物とを撮影するモードにおいては、ストロボを発光させて撮影された画像にはオートＷＢ補正を実行し、ストロボを発光させず、相対的に長秒で撮影された画像にはマニュアルＷＢ補正を実行する。

色マトリックス回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限するための回路である。ＣＳＵＰ（Chroma Suppress）回路１０６は、ＬＰＦ回路１０５で帯域制限された画像信号（色差信号）のうち、飽和部分の偽色信号を抑圧するための回路である。

一方、ＷＢ制御部１０３によりＷＢ補正された画像信号は輝度信号（Ｙ）生成回路１１１にも出力される。輝度信号（Ｙ）生成回路１１１は、ＷＢ補正された画像信号から輝度信号Ｙを生成し、エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙとを、ＲＧＢ信号に変換し、ガンマ補正回路１０８は階調補正を施す。その後、色輝度変換回路１０９は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。圧縮回路１１０は、ＹＵＶ信号を例えばＪＰＥＧ方式で圧縮して外部または内部の記録媒体１２０に画像信号として記録する。

上述した１０３〜１１５の回路が行う画像処理は、その一部あるいは全部の処理をソフトウェアモジュールによって達成しても良い。

図３は、ストロボが発光または非発光の状態で複数枚撮影された画像を説明するための図である。
図３において、画像３０１は、ストロボを発光して短時間の露光により撮影された画像を示し、画像３０２は、ストロボを非発光にして短時間の露光により撮影された画像を示している。

画像３０１は、ストロボを発光して撮影を行っており、且つ短時間の露光であるため、人物等の近距離の主要被写体を明瞭に写すことができるが、遠方の背景や星空は露光不足により暗く沈み込んでしまう。画像３０２は、ストロボを非発光にし、且つ短時間の露光で撮影されているため、近距離の主要被写体と遠方の背景等とが共に露光不足となり全体に暗い画像となっている。ここで、画像３０１と画像３０２との差分をとることにより、主要被写体の領域のみ切り出すことが可能となる。

一方、画像３０３は、ストロボを非発光にして長時間の露光で撮影された画像を示している。画像３０３はストロボを非発光にして撮影されているため、近距離の主要被写体は露光不足となるが、長時間の露光で撮影されているため、星空のような僅かな光の被写体を捉えることができる。

そこで、画像処理回路１１５は、画像３０１と画像３０２との差分から取得される主要被写体領域の画像と、画像３０３とを合成する。これにより、１枚の画像に鮮明な近距離の主要被写体と背景の星空とを同時に収めることが可能となる。

図２は、本実施形態に係る撮像装置１００による星空と人物とを同時に撮影するためのモードにおいて、撮影から合成画像を生成するまでの処理手順の一例を示すフローチャートである。なお、ステップＳ２０１からＳ２０６が撮影処理の手順であり、ステップＳ２０７からＳ２１５が現像処理の手順になっている。各ステップの処理はＣＰＵ１１４あるいはＣＰＵ１１４の指示により各部で行われる。
まず、ステップＳ２０１において、撮像素子１０１で所定のレートで順次撮影される画像が表示制御部１１６によって表示部１１７に順次表示されるライブビュー撮影（ＬＶ撮影）状態において行われる。所定のレートは、前記撮像素子の撮影可能なレートと撮影された画像データの被写体の明るさに基づいて決定される。このＬＶ撮影状態でレリーズスイッチ後の３枚の撮影の露出条件の決定処理を行う。具体的には、ＣＰＵ１１４の制御により撮像素子１０１を用いて測光し、図３に示したような３枚の画像を撮影するために、シャッタースピード、絞り値、ＩＳＯ感度、ストロボ発光量などそれぞれについての露出の条件を求める。

また、ステップＳ２０１では、ユーザからのＬＶ画像及び最終画像の背景についてのＷＢゲインの決定、調整を受け付ける。本実施形態では、ＬＶ撮影状態において、ユーザが画像を視認しながら予め星空撮影用に定められている色温度に対応するＷＢゲイン値への調整が可能となっている。具体的には、調整軸（Ｂｌｕｅ−Ａｍｂｅｒ）、調整量等を有する調整アイコンによって、調整が反映されたＬＶ画像を視認しながら３枚目の背景領域に対応する画像データのホワイトバランスの調整が可能である。これは、露出条件等の撮影パラメータが違うとしても画像の色味としては露出量によらずほぼ等しいため、ＬＶ画像を視認しながらユーザが決めるＷＢゲインが、最終画像の背景のＷＢゲインとしても適切なものであることに起因して設定可能としたものである。

次に、ステップＳ２０２において、１枚目（第１の画像データ）の撮影を行う。具体的には図３の画像３０１に相当する撮影であり、制御回路１１３の制御によってストロボを発光して短時間の露光で撮影を行う。そして、ステップＳ２０３において、２枚目（第２の画像データ）の撮影を行う。具体的には図３の画像３０２に相当する撮影であり、ストロボを発光せずに短時間の露光で撮影を行う。

次に、ステップＳ２０４において、撮影者が不図示の操作部を操作してＣＰＵ１１４がステップＳ２０１で決定した露出の条件を補正する指示を受けたか否かを判定する。この判定の結果、露出の条件を変更する指示があった場合はステップＳ２０５に進み、所定時間内に露出の条件を変更する指示がなかった場合はステップＳ２０６に進む。ステップＳ２０５においては、ＣＰＵ１１４は、操作部からの指示に応じてステップＳ２０１で決定した露出の条件を基準に露出の条件を補正してその値を設定する。

次に、ステップＳ２０６において、３枚目（第３の画像データ）の撮影を行う。具体的には図３の画像３０３に相当する撮影であり、ストロボを発光せずに長時間の露光で撮影を行う。以上のように撮影処理を終了し、次に、現像処理の手順に移行する。

次に、ステップＳ２０７において、ＷＢ制御部１０３は、ステップＳ２０２で取得した１枚目の撮影画像のホワイトバランスを整えるＷＢゲイン値を算出する。
続いて、ステップＳ２０８において、１枚目の撮影画像の現像処理を行う。まず、算出したＷＢゲイン値に基づいてホワイトバランス処理を行う。そして前述したように所定の色系信号処理及び輝度系信号処理を行って画像処理したＹＵＶ信号の画像データを生成する。１枚目の撮影画像はストロボを発光しているため、ホワイトバランスはストロボ光に合わせて調整される。したがって、１枚目の現像後の画像はストロボ光が照射された近距離の主要被写体の色味が正しく再現されている。

次に、ステップＳ２０９において、２枚目の撮影画像の現像処理を行う。ステップＳ２０３で取得した２枚目の撮影画像に対して、ステップＳ２０８と同様の手順により所定の画像処理を施して画像データを生成する。このとき、ホワイトバランスではステップＳ２０７で求めたＷＢゲイン値を利用する。２枚目の撮影画像は、ストロボが非発光であって且つ露光時間が短いため、主要被写体および背景が共に露出不足である暗い画像となり、２枚目の撮影画像からＷＢゲイン値を設定することが困難である。そのため、共通のＷＢゲイン値を用いる。また、後述の処理により主要被写体の領域を切り出すためには、１枚目の撮影画像と２枚目の撮影画像とでＷＢゲイン値を揃えておくと、主要被写体を切り出しやすくすることができる。

次に、ステップＳ２１０において、画像処理回路１１５は、ステップＳ２０８およびＳ２０９で得られた１枚目の撮影画像と２枚目の撮影画像との差分を取って被写体領域を切り出す。１枚目の撮影画像と２枚目の撮影画像との差は、ストロボ発光の有無により近距離の主要被写体が写り込んでいるかどうかである。２枚の撮影画像の差分を取ることにより近距離の主要被写体の領域を切り出すことができる。

次に、ステップＳ２１１において、ＷＢ制御部１０３は、ステップＳ２０６で得られた３枚目の撮影画像のホワイトバランスを整えるＷＢゲイン値を決定する。なお、ＷＢゲイン値は、予め星空の背景を撮影するのに適した色温度に対応する値に固定されていてもよいし、前述したように、ライブビュー撮影時に取得される画像データに基づいて算出されるＷＢゲイン値でもよい。
ステップＳ２１２において、ＣＰＵ１１４は、撮影者の操作により操作部１１８から３枚目の撮影画像のＷＢゲイン値を調整する指示を受けたか否かを判定する。この判定の結果、調整する指示を受けた場合はステップＳ２１３に進み、調整する指示を受けていない場合はステップＳ２１４に進む。

ステップＳ２１３においてはＷＢ制御部１０３が、操作部１１８へのユーザの操作によって指示された調整値に応じて、３枚目の撮影画像に対するＷＢゲイン値を基準に調整し、新たなＷＢゲイン値を設定する。そして、ステップＳ２１４において、３枚目の撮影画像の現像処理を行う。ステップＳ２０６で得られた３枚目の撮影画像に対して所定の画像処理を施して画像データを生成する。このとき、ホワイトバランスではステップＳ２１１又はステップＳ２１３で算出されたＷＢゲイン値を利用する。また、色マトリックス回路１０４による色バランスや色の濃さ、エッジ強調回路１１２によるエッジ強調、その他のノイズや階調補正等の現像処理の設定は、ステップＳ２０８及びＳ２０９で行われた現像処理と別の設定を適用する。このようにステップＳ２１４で生成された画像データは背景の画像に相当する。

次に、ステップＳ２１５において、画像処理回路１１５により、ステップＳ２１０で得られた近距離の主要被写体領域の画像とステップＳ２１５で得られた背景の画像とを合成する。具体的には、主要被写体領域に対応する領域ではステップＳ２１０で得られた画像データの合成比率を支配的にし、背景領域ではステップＳ２１５で得られた画像データの合成比率を支配的にして合成を行う。この処理では、ステップＳ２１５で得られた背景の画像に対して、ステップＳ２１０で得られた主要被写体領域の画像を組み合わせて合成することにより、背景と主要被写体とを含む合成画像を生成する。そして、処理を終了する。

図２に示した処理手順では、背景に相当する領域においては撮影者の意図を反映できるように、露出およびホワイトバランスの条件を変更可能にしている。これにより、撮影者の意図をより反映した合成画像を生成することができる。

以上のように本実施形態によれば、ストロボを発光して撮影された主要被写体は、主要被写体にとって適正な露出及び色味で表現され、一方、星空などの背景には、背景に適した露出及び色味で表現される。このように、撮影者の意図をより反映した画像を得ることが可能となる。また、発光部による発光の影響を受ける主被写体の領域の露出、色味とは別に背景の画像に対して色信号処理及び輝度信号処理を変更できるようにした。これにより、例えば長時間の露光による画像のノイズを低減するためにエッジの強調を弱くし、外光の影響を軽減するためにグリーン等の特定のカラーチャネルの彩度を落とすこともできる。

なお、本実施形態においては、３枚の画像を撮影して画像を合成しているが、これに限定されるものではなく、主要被写体と背景とに分離して撮影する場合に、背景となる画像のみ露出及びＷＢ制御を変更することが可能である。また、本実施形態では、３枚目の画像の現像処理を行う時に色マトリックスやエッジ強調など条件を変更したが、逆に１枚目および２枚目の画像の現像処理を行う時にのみこれらの条件を変更するようにしてもよい。

（その他の実施形態）
前述した実施形態では、デジタルスチルカメラなどの撮像装置に適用した例を説明したが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Personal Digital Assistant）、あるいはその他のカメラ機能を備えた様々な情報機器に対して本発明を同様に適用することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像素子
１０３ ＷＢ制御部
１１３ 制御回路
１１４ ＣＰＵ
１１５ 画像処理回路

Claims (4)

1. 撮像手段と、
   前記撮像手段の露出を制御する露出制御手段と、
   第１の露光時間にてストロボ発光の有無を切り替えてそれぞれ撮影した第１の画像データおよび第２の画像データと、前記第１の露光時間よりも長い第２の露光時間にてストロボ非発光で撮影した第３の画像データとを取得するよう前記撮像手段を制御する撮像制御手段と、
   前記第１の画像データと第２の画像データの少なくとも一方を用いて表示手段に画像表示する表示制御手段と、
   前記表示制御手段により画像表示されている状態で、ユーザが前記第３の画像データのホワイトバランスゲインを設定できる設定手段と、
   前記第１の画像データと第２の画像データのうちストロボ発光で撮影された画像データから前記第１の画像データと前記第２の画像データのホワイトバランスゲインを算出する算出手段と、
   前記第１の画像データ、第２の画像データおよび第３の画像データについて、ホワイトバランス補正の処理を行う処理手段と、
   前記処理手段により処理された前記第１の画像データと第２の画像データの差分に基づいて、前記第１の画像データと第２の画像データのうちストロボ発光で撮影された画像データから第１の被写体に対応する領域を特定するとともに、前記処理手段により処理された前記第３の画像データから第２の被写体に対応する領域を特定し、それぞれの領域を合成して最終画像を生成する生成手段と、
   を有することを特徴とする撮像装置。
2. 前記第１の被写体は主要被写体であり、前記第２の被写体は背景であることを特徴とする請求項１に記載の撮像装置。
3. 撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段の露出を制御する露出制御ステップと、
   第１の露光時間にてストロボ発光の有無を切り替えてそれぞれ撮影した第１の画像データおよび第２の画像データと、前記第１の露光時間よりも長い第２の露光時間にてストロボ非発光で撮影した第３の画像データとを取得するよう前記撮像手段を制御する撮像制御ステップと、
   前記第１の画像データと第２の画像データの少なくとも一方を用いて表示手段に画像表示する表示制御ステップと、
   前記表示制御ステップにより画像表示されている状態で、ユーザが前記第３の画像データのホワイトバランスゲインを設定できる設定ステップと、
   前記第１の画像データと第２の画像データのうちストロボ発光で撮影された画像データから前記第１の画像データと前記第２の画像データのホワイトバランスゲインを算出する算出ステップと、
   前記第１の画像データ、第２の画像データおよび第３の画像データについて、ホワイトバランス補正の処理を行う処理ステップと、
   前記処理ステップにて処理された前記第１の画像データと第２の画像データの差分に基づいて、前記第１の画像データと第２の画像データのうちストロボ発光で撮影された画像データから第１の被写体に対応する領域を特定するとともに、前記処理ステップにて処理された前記第３の画像データから第２の被写体に対応する領域を特定し、それぞれの領域を合成して最終画像を生成する生成ステップと、
   を有することを特徴とする撮像装置の制御方法。
4. 前記第１の被写体は主要被写体であり、前記第２の被写体は背景であることを特徴とする請求項３に記載の撮像装置の制御方法。

Images