JPWO2019208155A1 - 画像処理装置、方法、及びプログラム並びに撮像装置 - Google Patents

画像処理装置、方法、及びプログラム並びに撮像装置 Download PDF

Info

Publication number
JPWO2019208155A1
JPWO2019208155A1 JP2020516173A JP2020516173A JPWO2019208155A1 JP WO2019208155 A1 JPWO2019208155 A1 JP WO2019208155A1 JP 2020516173 A JP2020516173 A JP 2020516173A JP 2020516173 A JP2020516173 A JP 2020516173A JP WO2019208155 A1 JPWO2019208155 A1 JP WO2019208155A1
Authority
JP
Japan
Prior art keywords
image
emission
light
distribution information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020516173A
Other languages
English (en)
Other versions
JP6810299B2 (ja
Inventor
祐也 西尾
祐也 西尾
智紀 増田
智紀 増田
智大 島田
智大 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6810299B2 publication Critical patent/JP6810299B2/ja
Publication of JPWO2019208155A1 publication Critical patent/JPWO2019208155A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

被写体に当たっている光の明るさに応じて明暗差が調整されたＨＤＲ画像を取得することができる画像処理装置、方法、及びプログラム並びに撮像装置を提供する。画像処理装置は、アンダー露出によって撮像された第１非発光画像と、オーバー露出によって撮像された第２非発光画像と、第１非発光画像と同じ露出条件の発光画像とを取得する画像取得部２２１と、被写体の距離の分布を示す距離分布情報を取得する距離分布情報取得部２２０Ａと、発光画像、第１、第２非発光画像、及び距離分布情報に基づいて被写体に照射されている光の光強度分布情報を算出する光強度分布情報算出部２２０Ｂと、光強度分布情報に基づいて第１、第２非発光画像の合成比率を決定する合成比率決定部２２０Ｃと、合成比率にしたがって第１、第２非発光画像を合成する画像合成部２２０Ｄと、を備える。

Description


本発明は画像処理装置、方法、及びプログラム並びに撮像装置に係り、特に露出の異なる複数枚の画像を合成してダイナミックレンジを広げるハイダイナミックレンジ合成（ＨＤＲ（High-dynamic-range）合成）を行う技術に関する。

デジタルカメラなどでダイナミックレンジの広い被写体を撮像すると、ハイライト部の領域ではイメージセンサの出力が飽和し、いわゆる「白飛び」が発生し、シャドウ部の領域ではイメージセンサの出力の階調が失われ、いわゆる「黒つぶれ」が発生することがある。

被写体の持つダイナミックレンジをより広く画像で表現する方法の１つとして、ＨＤＲ処理を行うことが知られている。ＨＤＲ処理では、例えば、適正露光に対して露光量を落として撮像した画像（アンダー露光画像）と露光量を上げて撮像した画像（オーバー露光画像）を取得し、暗い被写体が撮像されている画素はオーバー露光画像の画素を、明るい被写体が撮像されている画素はアンダー露光画像の画素を用いることで（実際はどちらかだけでなく混合することもある）、白飛び及び黒つぶれの少ないＨＤＲ画像を作成する。

従来、異なる露光で撮像した複数の画像から１枚のＨＤＲ画像を生成する装置として、特許文献１、２に記載のものがある。

特許文献１に記載の撮像システムは、同一の被写体に対して異なる露光条件で撮像した複数の画像（長時間露光画像と短時間露光画像）から、長時間露光画像に係る輝度信号のうちの露光オーバーとなる領域（非適正露光域）以外の領域（適正露光域）の輝度信号を取得し、短時間露光画像に係る輝度信号の場合には、長時間露光画像における非適正露光域に対応する輝度信号を取得する。そして、各画像の適正露光域を合成することにより、広ダイナミックレンジ画像を生成している。

また、特許文献１に記載の撮像システムは、長時間露光画像及び短時間露光画像から主要被写体領域を推定し、推定した主要被写体領域に重点的に階調幅が配分されるように階調補正を行い、階調補正後の各画像の適正露光域を合成することで、適正露光域内の主要被写体に対する階調を豊かにしている。

一方、特許文献２に記載の撮像装置は、長時間露光する画素群と短時間露光する画素群とを有する１つの撮像素子を備え、撮像素子から読み出した第１画素群の画像データと第２画素群の画像データとを合成し、ＨＤＲ画像を生成している。

また、特許文献２には、長時間露光データであるフラッシュ画像データと、短時間露光データであるノンフラッシュ画像データとの混合比率を、被写体までの距離の推定値に応じて調整しながら加算し、１枚の合成画像を得る記載がある。これにより、背景画像の雰囲気を残したまま主要被写体の高ＳＮ比（Signal to Noise Ratio）の画像を得るようにしている。

特開２００２−２３２７７７号公報 特開２００９−２０６９２５号公報

特許文献１には、ＨＤＲ画像を生成する際の長時間露光画像と短時間露光画像との混合比率に関する明確な記載がないが、長時間露光画像の非適正露光域に対応する輝度信号については、短時間露光画像に係る輝度信号を使用するため、輝度信号の大きさにより長時間露光画像と短時間露光画像との混合比率を決めている、一般的なＨＤＲ合成であると考えられる。したがって、後述するように主要被写体の一部に影があると、影の領域が暗いままになるという問題がある。

一方、特許文献２に記載の発明は、長時間露光データであるフラッシュ画像データと、短時間露光データであるノンフラッシュ画像データとの混合比率を、被写体までの距離の推定値に応じて調整しながら加算し、１枚の合成画像を生成している。また、特許文献２に記載の発明は、フラッシュ画像データとノンフラッシュ画像データとを合成するものであり、露出条件が異なる非発光画像（ノンフラッシュ画像）を合成するものではない。

このように特許文献１、２には、いずれも同一の被写体に対して異なる露光条件で撮像した複数の画像を合成し、ＨＤＲ画像を生成する際に、被写体に照射されている光の強度に応じて複数の画像の合成比率を調整する記載がない。

とろこで、一般的なＨＤＲ処理のように、オーバー画像の画素値を使うかアンダー画像の画素値を使うかを、イメージセンサから得られる輝度値によって決める場合、被写体に当たっている光の強さによらず、同じＨＤＲ処理が実施され、以下のような問題が発生する。

例えば、図２１に示すように、人物の顔の左半分に日光が当たる日向領域Ａとなり、右半分が日陰領域Ｂとなる場合を想定する。この場合、「強い光が当たっている黒い髪(1)」と、「影になっている肌(2)」とが同じ輝度値、又は略同じ輝度値になる場合、ＨＤＲ合成に同じようにオーバー画像が使われてしまい、影になっている肌(2)が明るくなるだけでなく、黒い髪(1)も明るい色になってしまうという問題が発生する。

本発明はこのような事情に鑑みてなされたもので、被写体に当たっている光の明るさに応じて明暗差が調整された、階調特性に優れたＨＤＲ画像を取得することができる画像処理装置、方法、及びプログラム並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、同一の被写体を撮像した画像であって、フラッシュ光の非発光下においてそれぞれ異なる露出条件により撮像された複数の非発光画像と、フラッシュ光の発光下において複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像とを取得する画像取得部と、被写体の距離の分布を示す距離分布情報を取得する距離分布情報取得部と、発光画像、発光画像と同じ露出条件により撮像された非発光画像、及び距離分布情報に基づいて、被写体に照射されている光の光強度分布情報を算出する光強度分布情報算出部と、光強度分布情報に基づいて複数の非発光画像の合成比率を決定する合成比率決定部と、合成比率にしたがって複数の非発光画像を合成し、ダイナミックレンジが拡大された合成画像を生成する画像合成部と、を備える。

本発明の一の態様によれば、発光画像、発光画像と同じ露出条件により撮像された非発光画像、及び距離分布情報に基づいて、被写体に照射されている光の光強度分布情報を算出する。そして、算出した光強度分布情報に基づいて複数の非発光画像の合成比率を決定し、決定した合成比率にしたがって複数の非発光画像を合成することによって、ダイナミックレンジが拡大された合成画像（ＨＤＲ画像）を生成する。このようにして生成されたＨＤＲ画像は、被写体のもつ明暗が損なわれずに、被写体に当たっている光の明るさに応じて明暗差が調整された、階調特性に優れたＨＤＲ画像となる。

本発明の他の態様に係る画像処理装置において、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定し、画像合成部は、複数の非発光画像のそれぞれ対応する画素又は領域毎に決定した合成比率を適用して複数の非発光画像を合成することが好ましい。

本発明の更に他の態様に係る画像処理装置において、複数の非発光画像に対応する複数の露出条件は、適正露出の露出条件よりもアンダー露出の露出条件とオーバー露出の露出条件とを含むことが好ましい。これにより、白飛び及び黒つぶれの少ないＨＤＲ画像を作成することができる。

本発明の更に他の態様に係る画像処理装置において、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、光強度分布情報に基づいて光強度が大きい画素又は領域では複数の非発光画像のうちの最も露出値が小さい露出条件によって撮像された第１非発光画像の混合率を、複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では第２非発光画像の混合率を第１非発光画像の混合率よりも大きくすることが好ましい。

即ち、光強度が大きい画素（強い光が当たっている被写体に対応する画素）又は領域では、第１非発光画像の混合率を、第２非発光画像の混合率よりも大きくすることで、白飛びの少ないＨＤＲ画像を生成し、光強度が小さい画素（弱い光が当たっている被写体に対応する画素）又は領域では、第２非発光画像の混合率を、第１非発光画像の混合率よりも大きくすることで、黒つぶれの少ないＨＤＲ画像を生成する。

本発明の更に他の態様に係る画像処理装置において、合成比率決定部は、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、光強度分布情報に基づいて光強度分布情報のうちの最小光強度と最大光強度との間において、光強度が増加した場合、第２非発光画像の混合率を単調減少させることが好ましい。光強度分布情報のうちの最小光強度と最大光強度との間において、光強度が増加した場合、第２非発光画像の混合率を単調減少させる（第１非発光画像の混合率を単調増加させる）ことによって、光強度の増減に応じて連続的に混合率を変化させたＨＤＲ合成を行うことができる。尚、最小光強度は、光強度分布情報の中の最小値に限らず、例えば、最小値から一定値だけオフセットした値の光強度でもよく、同様に最大光強度は、光強度分布情報の中の最大値に限らず、例えば、最大値から一定値だけオフセットした値の光強度でもよい。単調減少は、リニアに減少する場合も含むことは言うまでもない。

本発明の更に他の態様に係る画像処理装置において、光強度分布情報に基づいて光強度の度数分布又は頻度分布を示す分布情報を作成する分布情報作成部を備え、合成比率決定部は、作成された分布情報に基づいて度数又は頻度の高い第１頂点に対応する第１光強度と、度数又は頻度の高い第２頂点に対応する第２光強度であって、第１光強度よりも大きい第２光強度とを求め、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、第１光強度以下の光強度の場合には第２非発光画像の混合率を最大値にし、第２光強度以上の光強度の場合には第２非発光画像の混合率を最小値にし、第１光強度よりも大きく第２光強度よりも小さい光強度の場合には第２非発光画像の混合率を最大値と最小値との間において単調減少させることが好ましい。

例えば、晴れた日の日中屋外では、日光が当たっていない暗い被写体（日陰の被写体）から日光が当たっている明るい被写体（日向の被写体）まで、ダイナミックレンジの広い被写体が撮像対象になり、この場合の撮像対象は、日陰の被写体と、日向の被写体とに大別することができる。このようなシーンの光強度分布情報に基づいて光強度の度数分布又は頻度分布を示す分布情報を作成すると、その分布情報には、２つ山（２つの頂点となる第１頂点と第２頂点）が存在する。第１頂点は、日陰の被写体に対応する被写体領域の光強度分布情報の度数又は頻度に対応する頂点であり、第２頂点は、日向の被写体に対応する被写体領域の光強度分布情報の度数又は頻度に対応する頂点である。

そして、第１頂点に対応する光強度（第１光強度）と、第２頂点に対応する光強度（第２光強度）とを求め、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、第１光強度以下の光強度の場合には第２非発光画像の混合率を最大値にし、第２光強度以上の光強度の場合には第２非発光画像の混合率を最小値にする。第１光強度以下の光強度の領域は、日陰の領域と考えられ、第２光強度以上の領域は、日向の領域と考えられるからである。また、第１光強度と第２光強度の間の光強度の場合は、第２非発光画像の混合率を最大値と最小値との間において単調減少させ、光強度の増減に応じて連続的に混合率を変化させる。尚、晴れた日の日中屋外のシーンに限らず、日光が屋内の一部に差し込むシーン、人工光源により照明されている領域と影になっている領域とが存在するシーンなどの場合も上記のように光強度の度数分布又は頻度分布を示す分布曲線は、２つの頂点が存在し得る。

本発明の更に他の態様に係る画像処理装置において、光強度分布情報に基づいて光強度の度数分布又は頻度分布を示す分布情報を作成する分布情報作成部を備え、合成比率決定部は、作成された分布情報に基づいて度数又は頻度の低い底点に対応する光強度を求め、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、底点に対応する光強度を閾値にして、閾値以下の光強度の場合には第２非発光画像の混合率を最大値にし、閾値を超える光強度の場合には第２非発光画像の混合率を最小値にすることが好ましい。

上記と同様に、晴れた日の日中屋外のシーンの場合、光強度の度数分布又は頻度分布を示す分布情報には、２つの山の間の谷（底点）が存在する。そこで、光強度の度数分布又は頻度分布を示す分布情報から底点を求め、この底点に対応する光強度を閾値にして、閾値以下の光強度の場合には第２非発光画像の混合率を最大値（第１非発光画像の混合率を最小値）にし、閾値を超える光強度の場合には第２非発光画像の混合率を最小値（第２非発光画像の混合率を最大値）にすることが好ましい。尚、閾値前後の一定範囲の光強度に対しは、光強度の大きさに応じて、第２非発光画像の混合率を最大値と最小値との間において連続的に混合率を変化させる場合も含む。

本発明の更に他の態様に係る画像処理装置において、複数の非発光画像のうちの少なくとも１つの非発光画像の画像内の輝度の分布を示す輝度分布情報を算出する輝度分布情報算出部を備え、合成比率決定部は、光強度分布情報及び輝度分布情報に基づいて複数の非発光画像の合成比率を決定することが好ましい。

これにより、光強度分布情報のみならず、従来の輝度分布情報を加味して複数の非発光画像の合成比率を決定することができる。

本発明の更に他の態様に係る画像処理装置において、発光画像におけるフラッシュ光が到達していない画素又は領域を検出する検出部を備え、合成比率決定部は、フラッシュ光が到達していない画素又は領域に対する合成比率を決定する際に、輝度分布情報のみに基づいて複数の非発光画像の合成比率を決定することが好ましい。

フラッシュ光が到達していない画素又は領域は、その画素又は領域に対応する光強度が不明になる。したがって、この場合には従来と同様に輝度分布情報に基づいて複数の非発光画像の合成比率を決定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、合成比率決定部は、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、画素又は領域の位置を示すパラメータをｉ、複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率をαｉ、輝度分布情報に基づく第２非発光画像の混合率であって、輝度が高いほど小さい値となる混合率をβｉとすると、光強度分布情報及び輝度分布情報に基づく第２非発光画像の混合率γｉを、次式、

γｉ＝αｉ×βｉにより算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、発光画像の露出条件は、複数の非発光画像に対応する複数の露出条件のうちの最も露出値が小さい露出条件であることが好ましい。これにより、発光画像を撮像する場合のフラッシュ光の発光量を大きくすることができ、フラッシュ光未到達画素を最小限にすることができる。

本発明の更に他の態様に係る撮像装置は、被写体を異なる露出条件により撮像可能な撮像部と、フラッシュ光を発光するフラッシュ発光部と、フラッシュ発光部から発光されるフラッシュ光を制御するフラッシュ制御部と、上述した画像処理装置と、を備え、画像取得部は、フラッシュ発光部から発光されるフラッシュ光の非発光下において、撮像部によりそれぞれ異なる露出条件により撮像された複数の非発光画像と、フラッシュ発光部から発光されるフラッシュ光の発光下において、撮像部により複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像とを取得する。

本発明の更に他の態様に係る撮像装置において、フラッシュ制御部は、フラッシュ発光部からフラッシュ光を調光発光させ、調光発光下において撮像部が撮像した調光画像と調光発光せずに撮像部が撮像した画像とに基づいて調光発光したフラッシュ光が到達していない領域が検出された場合、調光発光したフラッシュ光が到達している領域が飽和しない最大の発光量を算出し、発光画像を取得する際に算出した最大の発光量においてフラッシュ発光部からフラッシュ光を本発光させることが好ましい。このようにして本発光時の発光量を決定することによって、フラッシュ光未到達画素を最小限にすることができる。

本発明の更に他の態様に係る撮像装置において、フラッシュ制御部は、被写体の平均反射率と距離分布情報取得部が取得した距離分布情報とに基づいて最大の発光量を算出することが好ましい。これにより、フラッシュ光が到達する領域が白飛びしない、最大の発光量を算出することができる。

本発明の更に他の態様に係る撮像装置において、フラッシュ制御部は、フラッシュ発光部からフラッシュ光を調光発光させ、調光発光下において撮像部が撮像した調光画像と調光発光せずに撮像部が撮像した画像とに基づいて調光画像の全領域にフラッシュ光が到達していることが検出された場合、画像取得部は、調光画像を発光画像として取得することが好ましい。

調光画像の全領域にフラッシュ光が到達している場合、全領域の光強度分布情報を算出することができ、改めて本発光する必要がないからである。

本発明の更に他の態様に係る撮像装置において、フラッシュ制御部は、フラッシュ発光部からフラッシュ光を調光発光させ、調光発光下において撮像部が撮像した調光画像と調光発光せずに撮像部が撮像した画像とに基づいて調光画像にフラッシュ光が到達していない領域が検出され、かつ距離分布情報に基づいてフラッシュ光が到達していない領域の距離が、フラッシュ発光部から発光されるフラッシュ光の最大発光量の到達距離よりも遠い場合、画像取得部は、調光画像を発光画像として取得することが好ましい。

調光発光のフラッシュ光が到達していない領域の距離が、フラッシュ光の最大発光量の到達距離よりも遠い場合、本発光してもフラッシュ光未到達画素にフラッシュ光を到達させることができず、改めた本発光する必要がないからである。

本発明の更に他の態様に係る画像処理方法は、同一の被写体を撮像した画像であって、フラッシュ光の非発光下においてそれぞれ異なる露出条件により撮像された複数の非発光画像を取得するステップと、フラッシュ光の発光下において複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像を取得するステップと、被写体の距離の分布を示す距離分布情報を取得するステップと、発光画像、発光画像と同じ露出条件により撮像された非発光画像、及び距離分布情報に基づいて、被写体に照射されている光の光強度分布情報を算出するステップと、光強度分布情報に基づいて複数の非発光画像の合成比率を決定するステップと、合成比率にしたがって複数の非発光画像を合成し、ダイナミックレンジが拡大された合成画像を生成するステップと、を含む。

本発明の更に他の態様に係る画像処理方法において、合成比率を決定するステップは、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、光強度分布情報に基づいて光強度が大きい画素又は領域では複数の非発光画像のうちの最も露出値が小さい露出条件によって撮像された第１非発光画像の混合率を、複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では第２非発光画像の混合率を第１非発光画像の混合率よりも大きくすることが好ましい。

本発明の更に他の態様に係る画像処理プログラムは、同一の被写体を撮像した画像であって、フラッシュ光の非発光下においてそれぞれ異なる露出条件により撮像された複数の非発光画像を取得する機能と、フラッシュ光の発光下において複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像を取得する機能と、被写体の距離の分布を示す距離分布情報を取得する機能と、発光画像、発光画像と同じ露出条件により撮像された非発光画像、及び距離分布情報に基づいて、被写体に照射されている光の光強度分布情報を算出する機能と、光強度分布情報に基づいて複数の非発光画像の合成比率を決定する機能と、合成比率にしたがって複数の非発光画像を合成し、ダイナミックレンジが拡大された合成画像を生成する機能と、をコンピュータに実現させる。

本発明の更に他の態様に係る画像処理プログラムにおいて、合成比率を決定する機能は、複数の非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、光強度分布情報に基づいて光強度が大きい画素又は領域では複数の非発光画像のうちの最も露出値が小さい露出条件によって撮像された第１非発光画像の混合率を、複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では第２非発光画像の混合率を第１非発光画像の混合率よりも大きくすることが好ましい。

本発明によれば、被写体に当たっている光の明るさ（光強度）に応じて、複数の非発光画像の合成比率を決定してＨＤＲ合成するようにしたため、被写体のもつ明暗が損なわれずに、被写体に当たっている光の明るさに応じて明暗差が調整された、階調特性に優れたＨＤＲ画像を取得することができる

図１は本発明に係る撮像装置を斜め前方から見た斜視図である。 図２は撮像装置の背面図である。 図３は撮像装置の内部構成の実施形態を示すブロック図である。 図４はイメージセンサの構成例を示す正面図である。 図５は本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第１実施形態を示す機能ブロック図である。 図６は光強度分布情報Ｓｉと第２非発光画像の混合率αｉとの関係を示すグラフである。 図７は光強度分布情報Ｓｉと第２非発光画像の混合率αｉとの他の関係を示すグラフである。 図８は光強度分布情報Ｓｉと第２非発光画像の混合率αｉとの更に他の関係を示すグラフである。 図９は、本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第２実施形態を示す機能ブロック図である。 図１０は光強度の度数分布の一例を示す度数分布図である。 図１１は光強度分布情報Ｓｉと第２非発光画像の混合率αｉとの更に他の関係を示すグラフである。 図１２は図１０に示した光強度の度数分布と同様の度数分布図である。光強度の度数分布の一例を示す度数分布図である。 図１３は光強度分布情報Ｓｉと第２非発光画像の混合率αｉとの更に他の関係を示すグラフである。 図１４は発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第３実施形態を示す機能ブロック図である。 図１５は発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第４実施形態を示す機能ブロック図である。 図１６は発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第５実施形態を示す機能ブロック図である。 図１７は本発明に係る画像処理方法の実施形態を示すフローチャートである。 図１８は図１７のステップＳ１２における詳細な動作を示すフローチャートである。 図１９は本発明に係る撮像装置の一実施形態であるスマートフォンの外観図である。 図２０はスマートフォンの構成を示すブロック図である。 図２１は従来のＨＤＲ合成の課題を説明するために用いた図である。

以下、添付図面にしたがって本発明に係る画像処理装置、方法、及びプログラム並びに撮像装置の好ましい実施形態について説明する。

＜撮像装置の外観＞

図１は、本発明に係る撮像装置を斜め前方から見た斜視図であり、図２は撮像装置の背面図である。

図１に示すように撮像装置１０は、交換レンズ１００と、交換レンズ１００が着脱可能なカメラ本体２００とから構成されたミラーレスのデジタル一眼カメラである。

図１において、カメラ本体２００の前面には、交換レンズ１００が装着される本体マウント２６０と、光学ファインダのファインダ窓２０等が設けられ、カメラ本体２００の上面には、主としてシャッタレリーズスイッチ２２、シャッタスピードダイヤル２３、露出補正ダイヤル２４、電源レバー２５、及び内蔵フラッシュ３０が設けられている。

また、図２に示すようにカメラ本体２００の背面には、主として液晶モニタ２１６、光学ファインダの接眼部２６、ＭＥＮＵ／ＯＫキー２７、十字キー２８、再生ボタン２９等が設けられている。

液晶モニタ２１６は、撮影モード時にライブビュー画像を表示したり、再生モード時に撮像した画像を再生表示する他、各種のメニュー画面を表示する表示部として機能し、またユーザに対して各種の情報を通知する通知部として機能する。ＭＥＮＵ／ＯＫキー２７は、液晶モニタ２１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キー２８は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするマルチファンクションキーとして機能する。また、十字キー２８の上キー及び下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向及び逆方向送り）ボタンとして機能する。また、液晶モニタ２１６に表示された複数の被写体から焦点調節を行う任意の被写体を指定する操作部としても機能する。

また、ＭＥＮＵ／ＯＫキー２７、十字キー２８、及び液晶モニタ２１６に表示されるメニュー画面を使用することで、１枚の静止画を撮像する静止画撮像モードの他に、静止画を連続撮影する連写モード、連写モードの一種であり、ダイナミックレンジを広げるＨＤＲ合成に使用する複数枚の画像を撮像するＨＤＲ撮像モード、動画を撮像する動画撮像モードを含む各種の撮像モードの設定を行うことができる。

再生ボタン２９は、記録した静止画又は動画を液晶モニタ２１６に表示させる再生モードに切り替えるためのボタンである。

＜撮像装置の内部構成＞

［交換レンズ］

図３は、撮像装置１０の内部構成の実施形態を示すブロック図である。

撮像装置１０を構成する撮像光学系として機能する交換レンズ１００は、カメラ本体２００の通信規格に沿って製造されたものであり、後述するようにカメラ本体２００との間で通信を行うことができる交換レンズである。この交換レンズ１００は、撮像光学系１０２、フォーカスレンズ制御部１１６、絞り制御部１１８、レンズ側ＣＰＵ（Central Processing Unit）１２０、フラッシュＲＯＭ(Read Only Memory)１２６、レンズ側通信部１５０、及びレンズマウント１６０を備える。

交換レンズ１００の撮像光学系１０２は、フォーカスレンズを含むレンズ群１０４及び絞り１０８を含む。

フォーカスレンズ制御部１１６は、レンズ側ＣＰＵ１２０からの指令にしたがってフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。絞り制御部１１８は、レンズ側ＣＰＵ１２０からの指令にしたがって絞り１０８を制御する。

レンズ側ＣＰＵ１２０は、交換レンズ１００を統括制御するもので、ＲＯＭ１２４及びＲＡＭ(Random Access Memory)１２２を内蔵している。

フラッシュＲＯＭ１２６は、カメラ本体２００からダウンロードされたプログラム等を格納する不揮発性のメモリである。

レンズ側ＣＰＵ１２０は、ＲＯＭ１２４又はフラッシュＲＯＭ１２６に格納された制御プログラムに従い、ＲＡＭ１２２を作業領域として、交換レンズ１００の各部を統括制御する。

レンズ側通信部１５０は、レンズマウント１６０がカメラ本体２００の本体マウント２６０に装着されている状態で、レンズマウント１６０に設けられた複数の信号端子（レンズ側信号端子）を介してカメラ本体２００との通信を行う。即ち、レンズ側通信部１５０は、レンズ側ＣＰＵ１２０の指令にしたがって、レンズマウント１６０及び本体マウント２６０を介して接続されたカメラ本体２００の本体側通信部２５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行い、撮像光学系１０２の各光学部材のレンズ情報（フォーカスレンズの位置情報、焦点距離情報及び絞り情報等）を、カメラ本体２００に通知する。

また、交換レンズ１００は、フォーカスレンズの位置情報、及び絞り情報を検出する検出部（図示せず）を備えている。ここで、絞り情報とは、絞り１０８の絞り値（Ｆ値）、絞り１０８の開口径等を示す情報である。

レンズ側ＣＰＵ１２０は、カメラ本体２００からのレンズ情報のリクエストに応えるために、検出されたフォーカスレンズの位置情報及び絞り情報を含む各種のレンズ情報をＲＡＭ１２２に保持することが好ましい。また、レンズ情報は、カメラ本体２００からのレンズ情報の要求があると検出され、又は光学部材が駆動されるときに検出され、又は一定の周期（動画のフレーム周期よりも十分に短い周期）で検出され、検出結果を保持することができる。

［カメラ本体］

図３に示す撮像装置１０を構成するカメラ本体２００は、イメージセンサ２０１、イメージセンサ制御部２０２、アナログ信号処理部２０３、Ａ／Ｄ（Analog/Digital）変換器２０４、画像入力コントローラ２０５、デジタル信号処理部２０６、ＲＡＭ２０７、圧縮伸張処理部２０８、メディア制御部２１０、メモリカード２１２、表示制御部２１４、液晶モニタ２１６、本体側ＣＰＵ２２０、操作部２２２、時計部２２４、フラッシュＲＯＭ２２６、ＲＯＭ２２８、ＡＦ(Autofocus)制御部２３０、ＡＥ（Auto Exposure)制御部２３２、ホワイトバランス補正部２３４、無線通信部２３６、ＧＰＳ(Global Positioning System)受信部２３８、電源制御部２４０、バッテリ２４２、本体側通信部２５０、本体マウント２６０、内蔵フラッシュ３０（図１）を構成するフラッシュ発光部２７０、フラッシュ制御部２７２、フォーカルプレーンシャッタ（ＦＰＳ：focal-plane shutter）２８０、及びＦＰＳ制御部２９６を備える。

＜イメージセンサの構成＞

イメージセンサ２０１は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ２０１は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

図４はイメージセンサ２０１の構成を示す正面図である。

図４に示すようにイメージセンサ２０１は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に２次元状に配列された光電変換素子（受光セル）により構成された複数の画素を有するイメージセンサであって、交換レンズ１００を介して入射する光束を、以下に示す瞳分割手段により瞳分割して選択的に受光する第１画素ＳＡ、第２画素ＳＢを含んで構成されている。

図４に示すようにイメージセンサ２０１は、瞳分割手段として瞳結像レンズ（マイクロレンズ）２０１Ａによる瞳像分離方式が適用されている。

瞳像分離方式は、１つのマイクロレンズ２０１Ａに対して複数（本例では２つ）の画素（第１画素ＳＡ，第２画素ＳＢ）が割り当てられており、１つのマイクロレンズ２０１Ａに入射する瞳像は、マイクロレンズ２０１Ａにより瞳分割され、２つ（一対）の第１画素ＳＡ，第２画素ＳＢにより受光される。従って、マイクロレンズ２０１Ａへの光の入射角度に応じて瞳像が分離され、それぞれ対応する一対の第１画素ＳＡ，第２画素ＳＢにより受光される。

一対の第１画素ＳＡ，第２画素ＳＢは、位相差ＡＦに使用可能な一対の位相差画素に相当する。また、一対の第１画素ＳＡ，第２画素ＳＢの各画素から得られる画素値を加算した画素値は、瞳分割されていない通常画素の画素値と同等になるため、一対の第１画素ＳＡ，第２画素ＳＢは、通常画素（１画素）として扱うことができる。

図４に示すようにイメージセンサ２０１の一対の第１画素ＳＡ、第２画素ＳＢには、赤

（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）のうちのいずれか１色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置されている。図４に示すカラーフィルタ配列は、一般的なベイヤー配列であるが、カラーフィルタ配列はこれに限定されるものではなく、例えば、Ｔｒａｎｓ（登録商標）配列等の他のカラーフィルタ配列でもよい。

図３に戻って、交換レンズ１００の撮像光学系１０２によってイメージセンサ２０１の受光面に結像された被写体の光学像は、イメージセンサ２０１によって電気信号に変換される。イメージセンサ２０１の各画素（図４に示した第１画素ＳＡ、第２画素ＳＢ）には、入射する光量に応じた電荷が蓄積され、イメージセンサ２０１からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。即ち、第１画素ＳＡ、第２画素ＳＢに蓄積された電荷量に対応する信号（第１画素ＳＡ，第２画素ＳＢの各画素値）は、独立して読み出し可能である。

イメージセンサ制御部２０２は、本体側ＣＰＵ２２０の指令にしたがってイメージセンサ２０１から画像信号の読み出し制御を行う。また、イメージセンサ制御部２０２は、静止画の撮像が行われる場合には、ＦＰＳ２８０の開閉により露光時間が制御された後、ＦＰＳ２８０が閉じた状態でイメージセンサ２０１の全ラインを読み出す。また、本例のイメージセンサ２０１及びイメージセンサ制御部２０２は、少なくとも１つ以上のライン毎や画素毎に順次露光動作を行う（即ち、ライン毎や画素毎に順次リセットを行い、電荷の蓄積を開始し、蓄積した電荷を読み出す方式である）、いわゆるローリングシャッタ方式にて駆動することができ、特にＦＰＳ２８０を開放した状態でローリングシャッタ方式にて動画の撮像、又はライブビュー画像の撮像を行う機能を有する。

アナログ信号処理部２０３は、イメージセンサ２０１で被写体を撮像して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部２０３は、サンプリングホールド回路、色分離回路、ＡＧＣ（Automatic Gain Control）回路等を含んで構成されている。ＡＧＣ回路は、撮像時の感度（ＩＳＯ感度(ＩＳＯ：International Organization for Standardization)）を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。Ａ／Ｄ変換器２０４は、アナログ信号処理部２０３から出力されたアナログの画像信号をデジタルの画像信号に変換する。

静止画又は動画の撮像時にイメージセンサ２０１、アナログ信号処理部２０３、及びＡ／Ｄ変換器２０４を介して出力されるＲＧＢの画素毎の画像データ（モザイク画像データ）は、画像入力コントローラ２０５からＲＡＭ２０７に入力され、一時的に記憶される。

尚、イメージセンサ２０１がＣＭＯＳ型イメージセンサである場合、アナログ信号処理部２０３及びＡ／Ｄ変換器２０４は、イメージセンサ２０１内に内蔵されていることが多い。

デジタル信号処理部２０６は、ＲＡＭ２０７に格納されている画像データに対して、各種のデジタル信号処理を施す。デジタル信号処理部２０６は、ＲＡＭ２０７に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理、同時化処理とも言う）、ＲＧＢ／ＹＣｒＣｂ変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びＲＡＭ２０７に記憶させる。尚、デモザイク処理とは、例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサの場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理であり、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。

ＲＧＢ／ＹＣｒＣｂ変換処理は、同時化されたＲＧＢデータを輝度データ（Ｙ）及び色差データ（Ｃｒ、Ｃｂ）に変換する処理である。

圧縮伸張処理部２０８は、静止画又は動画の記録時に、一旦ＲＡＭ２０７に格納された非圧縮の輝度データＹ及び色差データＣｂ，Ｃｒに対して圧縮処理を施す。静止画の場合には、例えばＪＰＥＧ(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばＨ．２６４形式で圧縮する。圧縮伸張処理部２０８により圧縮された画像データは、メディア制御部２１０を介してメモリカード２１２に記録される。また、圧縮伸張処理部２０８は、再生モード時にメディア制御部２１０を介してメモリカード２１２から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。

メディア制御部２１０は、圧縮伸張処理部２０８で圧縮された画像データを、メモリカード２１２に記録する制御を行う。また、メディア制御部２１０は、メモリカード２１２から、圧縮された画像データを読み出す制御を行う。

表示制御部２１４は、ＲＡＭ２０７に格納されている非圧縮の画像データを、液晶モニタ２１６に表示させる制御を行う。液晶モニタ２１６は、液晶表示デバイスにより構成されているが、液晶モニタ２１６の代わりに有機エレクトロルミネッセンスなどの表示デバイスによって構成してもよい。

液晶モニタ２１６にライブビュー画像を表示させる場合には、デジタル信号処理部２０６で連続的に生成されたデジタルの画像信号が、ＲＡＭ２０７に一時的に記憶される。表示制御部２１４は、このＲＡＭ２０７に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して、液晶モニタ２１６に順次出力する。これにより、液晶モニタ２１６に撮像画像がリアルタイムに表示され、液晶モニタ２１６を電子ビューファインダとして使用することができる。

シャッタレリーズスイッチ２２は、静止画や動画の撮像指示を入力するための撮像指示部であり、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。

静止画撮像モードの場合、シャッタレリーズスイッチ２２が半押しされることによってＳ１オンの信号、半押しから更に押し込む全押しがされることによってＳ２オンの信号が出力され、Ｓ１オン信号が出力されると、本体側ＣＰＵ２２０は、ＡＦ制御（自動焦点調節）及びＡＥ制御（自動露出制御）などの撮影準備処理を実行し、Ｓ２オン信号が出力されると、静止画の撮像処理及び記録処理を実行する。

尚、ＡＦ制御及びＡＥ制御は、それぞれ操作部２２２によりオートモードが設定されている場合に自動的に行われ、マニュアルモードが設定されている場合には、ＡＦ制御及びＡＥ制御が行われないことは言うまでもない。

また、動画撮像モードの場合、シャッタレリーズスイッチ２２が全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、動画の記録を開始する動画記録モードになり、動画の画像処理及び記録処理を実行し、その後、シャッタレリーズスイッチ２２が再び全押しされることによってＳ２オンの信号が出力されると、カメラ本体２００は、スタンバイ状態になり、動画の記録処理を一時停止する。

尚、シャッタレリーズスイッチ２２は半押しと全押しとからなる２段ストローク式のスイッチの形態に限られず、1回の操作でＳ１オンの信号、Ｓ２オンの信号を出力しても良く、それぞれ個別のスイッチを設けてＳ１オンの信号、Ｓ２オンの信号を出力しても良い。

また、タッチ式パネル等により操作指示を行う形態では、これら操作手段としてタッチ式パネルの画面に表示される操作指示に対応する領域をタッチすることで操作指示を出力するようにしても良く、撮影準備処理や撮像処理を指示するものであれば操作手段の形態はこれらに限られない。

撮像により取得された静止画又は動画は、圧縮伸張処理部２０８により圧縮され、圧縮された画像データは、撮像日時、ＧＰＳ情報、撮像条件（Ｆ値、シャッタスピード、ＩＳＯ感度等）の所要の付属情報が、ヘッダに付加された画像ファイルとされた後、メディア制御部２１０を介してメモリカード２１２に格納される。

本体側ＣＰＵ２２０は、カメラ本体２００全体の動作及び交換レンズ１００の光学部材の駆動等を統括制御するもので、シャッタレリーズスイッチ２２を含む操作部２２２等からの入力に基づき、カメラ本体２００の各部及び交換レンズ１００を制御する。

時計部２２４は、タイマとして、本体側ＣＰＵ２２０からの指令に基づいて時間を計測する。また、時計部２２４は、カレンダとして、現在の年月日及び時刻を計測する。

フラッシュＲＯＭ２２６は、読み取り及び書き込みが可能な不揮発性メモリであり、設定情報を記憶する。

ＲＯＭ２２８には、本体側ＣＰＵ２２０が実行するカメラ制御プログラム、本発明に係る合成用画像撮像モードでの撮像を実行させる画像位置合わせ補助プログラム、イメージセンサ２０１の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されている。本体側ＣＰＵ２２０は、ＲＯＭ２２８に格納されたカメラ制御プログラム、あるいは画像位置合わせ補助プログラムにしたがい、ＲＡＭ２０７を作業領域としながらカメラ本体２００の各部、及び交換レンズ１００を制御する。

自動焦点調節部として機能するＡＦ制御部２３０は、位相差ＡＦの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて、フォーカスレンズが移動すべき位置（合焦位置）指令を、本体側ＣＰＵ２２０及び本体側通信部２５０を介して交換レンズ１００に通知する。

ここで、ＡＦ制御部２３０は、位相差検出部とデフォーカス量算出部とを含む。位相差検出部は、イメージセンサ２０１のＡＦ領域（ユーザが指定した主要被写体が存在する領域、顔検出等により自動的に検出される主要被写体の領域、又はデフォルトで設定された領域等）内の、同色のカラーフィルタが配設された第１画素ＳＡからなる第１画素群と、第１画素ＳＡからなる第２画素群からそれぞれ画素データ（第１画素値及び第２画素値）を取得し、これらの第１画素値及び第２画素値に基づいて位相差を検出する。この位相差は、第１画素群の複数の第１画素値と第２画素群の複数の第２画素値の相関が最大になるとき（複数の第１画素値と複数の第２画素値の差分絶対値の積算値が最小になるとき）の第１画素値と第２画素値との間の瞳分割方向のシフト量から算出することができる。

デフォーカス量算出部は、位相差検出部により検出された位相差と、交換レンズ１００の現在のＦ値（光線角度）に対応する係数とを乗算することによりデフォーカス量を算出する。

ＡＦ制御部２３０により算出されたデフォーカス量に対応するフォーカスレンズの位置指令は、交換レンズ１００に通知され、フォーカスレンズの位置指令を受け付けた交換レンズ１００のレンズ側ＣＰＵ１２０は、フォーカスレンズ制御部１１６を介してフォーカスレンズを移動させ、フォーカスレンズの位置（合焦位置）を制御する。

ＡＥ制御部２３２は、被写体の明るさ（被写体輝度）を検出する部分であり、被写体輝度に対応するＡＥ制御及びＡＷＢ（Auto White Balance）制御に必要な数値（露出値（ＥＶ値（exposure value）））を算出する。ＡＥ制御部２３２は、イメージセンサ２０１を介して取得した画像の輝度、画像の輝度の取得時のシャッタスピード及びＦ値によりＥＶ値を算出する。

本体側ＣＰＵ２２０は、ＡＥ制御部２３２から得たＥＶ値に基づいて所定のプログラム線図からＦ値、シャッタスピード及びＩＳＯ感度を決定し、ＡＥ制御を行うことができる。

ホワイトバランス補正部２３４は、ＲＧＢデータ（Ｒデータ、Ｇデータ及びＢデータ）の色データ毎のホワイトバランスゲイン（ＷＢ（White Balance）ゲイン)Ｇr,Ｇg,Ｇbを算出し、Ｒデータ、Ｇデータ及びＢデータに、それぞれ算出したＷＢゲインＧr,Ｇg,Ｇbを乗算することによりホワイトバランス補正を行う。ここで、ＷＢゲインＧr,Ｇg,Ｇbの算出方法としては、被写体の明るさ（ＥＶ値）によるシーン認識（屋外、屋内の判定等）及び周囲光の色温度等に基づいて被写体を照明している光源種を特定し、予め光源種毎に適切なＷＢゲインが記憶されている記憶部から特定した光源種に対応するＷＢゲインを読み出す方法が考えられるが、少なくともＥＶ値を使用してＷＢゲインＧr,Ｇg,Ｇbを求める他の公知の方法が考えられる。

無線通信部２３６は、Wi-Fi（Wireless Fidelity）（登録商標）、Bluetooth（登録商標）等の規格の近距離無線通信を行う部分であり、周辺のデジタル機器（スマートフォン、等の携帯端末）との間で必要な情報の送受信を行う。

ＧＰＳ受信部２３８は、本体側ＣＰＵ２２０の指示にしたがって、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、カメラ本体２００の緯度、経度、及び高度からなるＧＰＳ情報を取得する。取得されたＧＰＳ情報は、撮像された画像の撮像位置を示す付属情報として画像ファイルのヘッダに記録することができる。

電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、バッテリ２４２から供給される電源電圧をカメラ本体２００の各部に与える。また、電源制御部２４０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して、バッテリ２４２から供給される電源電圧を交換レンズ１００の各部に与える。

レンズ電源スイッチ２４４は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して交換レンズ１００に与える電源電圧のオン及びオフの切り替えとレベルの切り替えを行う。

本体側通信部２５０は、本体側ＣＰＵ２２０の指令にしたがって、本体マウント２６０及びレンズマウント１６０を介して接続された交換レンズ１００のレンズ側通信部１５０との間で、リクエスト信号、回答信号の送受信（双方向通信）を行う。尚、本体マウント２６０には、図１に示すように複数の端子２６０Ａが設けられており、交換レンズ１００がカメラ本体２００に装着（レンズマウント１６０と本体マウント２６０とが接続）されると、本体マウント２６０に設けられた複数の端子２６０Ａ（図１）と、レンズマウント１６０に設けられた複数の端子（図示せず）とが電気的に接続され、本体側通信部２５０とレンズ側通信部１５０との間で双方向通信が可能になる。

内蔵フラッシュ３０（図１）は、例えば、ＴＴＬ（Through The Lens)自動調光方式のフラッシュであり、フラッシュ発光部２７０と、フラッシュ制御部２７２とから構成されている。

フラッシュ制御部２７２は、フラッシュ発光部２７０から発光するフラッシュ光の発光量（ガイドナンバー）を調整する機能を有する。即ち、フラッシュ制御部２７２は、本体側ＣＰＵ２２０からのフラッシュ撮像指示に同期してフラッシュ発光部２７０から、発光量の小さいフラッシュ光をプリ発光（調光発光）させ、交換レンズ１００の撮像光学系１０２を介して入射する反射光（周囲光を含む）に基づいて本発光するフラッシュ光の発光量を決定し、決定した発光量のフラッシュ光を、フラッシュ発光部２７０から発光（本発光）させる。尚、ＨＤＲ撮像モードが選択されている場合、フラッシュ制御部２７２は、通常のフラッシュ発光画像の撮像とは異なる発光制御を行うが、その詳細については後述する。

ＦＰＳ２８０は、撮像装置１０のメカシャッタを構成し、イメージセンサ２０１の直前に配置される。ＦＰＳ制御部２９６は、本体側ＣＰＵ２２０からの入力情報（Ｓ２オン信号、シャッタスピード等）に基づいてＦＰＳ２８０の先幕、後幕の開閉を制御し、イメージセンサ２０１における露光時間（シャッタスピード）を制御する。

次に、ＨＤＲ撮像モードによりダイナミックレンジを広げるＨＤＲ合成に使用する露出の異なる複数の画像を撮像し、撮像した複数の画像のＨＤＲ合成を行う撮像装置１０の制御について説明する。

［ＨＤＲ処理の第１実施形態］

図５は、本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第１実施形態を示す機能ブロック図であり、主としてＨＤＲ撮像モードにより撮像されたＨＤＲ合成用の複数の画像に基づいてＨＤＲ合成用の画像処理（ＨＤＲ処理）を実行する場合の機能ブロック図である。

ＨＤＲ撮像モードによる撮像を行う場合、主として本体側ＣＰＵ２２０が、ＨＤＲ撮像モードによる撮像用の制御を統括制御するとともに、図５に示すように距離分布情報取得部２２０Ａ，光強度分布情報算出部２２０Ｂ，合成比率決定部２２０Ｃ及び画像合成部２２０Ｄとして機能する。

即ち、ＨＤＲ撮像モードによる撮像を行う場合、本体側ＣＰＵ２２０は、フラッシュ光の非発光下でそれぞれ異なる露出条件による複数（本例では２つ）の非発光画像の撮像と、フラッシュ光の発光下で複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件による発光画像の撮像とを実行する。

ここで、複数の非発光画像に対応する複数の露出条件は、適正露出の露出条件よりもアンダー露出の露出条件とオーバー露出の露出条件とを含む。本例では、本体側ＣＰＵ２２０は、ＡＥ制御部２３２により算出されたＥＶ値に応じて定まる適正露出に対して、アンダー露出、及びオーバー露出の２つの露出条件にて２つの非発光画像の撮像を行わせる。尚、適正露出に対するアンダー露出、オーバー露出となる露出補正値（例えば、±３ＥＶ）は、ユーザが任意に設定できるようにしてもよいし、被写界の明るさ（ＥＶ値）に応じて自動的に設定できるようにしてもよい。

また、本体側ＣＰＵ２２０は、フラッシュ光の発光下で複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件（本例では、アンダー露出の露出条件）にて発光画像の撮像を実行する。

尚、２つの非発光画像と１つの発光画像は、それぞれ同一の被写体に対して撮像された画像であり、可能な限り撮像間隔を短くして連続して撮像された連写画像であることが好ましい。

図５において、画像取得部２２１は、フラッシュ光の非発光下で撮像部（交換レンズ１００、イメージセンサ２０１）により、それぞれアンダー露出で撮像された非発光画像（第１非発光画像）と、オーバー露出で撮像された非発光画像（第２非発光画像）と、フラッシュ発光部２７０から発光されるフラッシュ光の発光下で、第１非発光画像の露出条件と同じ露出条件で撮像部により撮像された発光画像とを取得する部分である。

画像取得部２２１は、例えば画像入力コントローラ２０５を介して一時的にＲＡＭ２０７に保持された第１非発光画像、第２非発光画像及び発光画像を、ＲＡＭ２０７から取得してもよいし、撮像部により撮像された第１非発光画像、第２非発光画像及び発光画像を画像入力コントローラ２０５を介して直接取得してもよい。

また、本例の画像入力コントローラ２０５は、図４に示したイメージセンサ２０１の一対の第１画素ＳＡ，第２画素ＳＢの画素値を加算して、１つのマイクロレンズ２０１Ａ当り１画素の画素値とした、第１非発光画像、第２非発光画像、及び発光画像の他に、第１非発光画像、第２非発光画像、及び発光画像のうちのいずれかの画像の、第１画素ＳＡのみの画素群からなる第１画像と第２画素ＳＢのみの画素群からなる第２画像とを取得する。尚、第１画像と第２画像とは、被写体距離に応じて位相差をもつ位相差画像である。

距離分布情報取得部２２０Ａは、画像取得部２２１から互いに位相差をもつ位相差画像である第１画像と第２画像とを取得し、これらの第１画像及び第２画像に基づいて画像内の被写体の距離の分布を示す距離分布情報を取得する。

即ち、距離分布情報取得部２２０Ａは、第１画像内の特徴となる特徴点と、各特徴点に対応する第２画像内の特徴点とのずれ量（位相差）を算出し、算出した位相差と現在の絞り１０８のＦ値に基づいて各特徴点のデフォーカス量を算出し、更に算出した各特徴点のデフォーカス量と現在の交換レンズ１００（撮像光学系１０２のフォーカスレンズ）のレンズ位置とから各特徴点（被写体）の距離を算出する。例えば、デフォーカス量がゼロの特徴点は、現在のフォーカスレンズのレンズ位置にて合焦する合焦距離にあり、各特徴点のデフォーカス量が、前ピン側又は後ビン側にずれるにしたがって、各特徴点の距離は、合焦距離よりも遠側又は近側に移動した距離となる。

光強度分布情報算出部２２０Ｂは、画像取得部２２１から同じ露出条件により撮像された発光画像及び第１非発光画像を取得し、距離分布情報取得部２２０Ａから画像内の被写体の距離の分布を示す距離分布情報を取得する。そして、取得した発光画像、第１非発光画像及び距離分布情報に基づいて、被写体に照射されている光（フラッシュ光ではなく、環境光）の強度を示す指標の分布情報である光強度分布情報を算出する。

以下、光強度分布情報算出部２２０Ｂによる光強度分布情報の算出方法について詳述する。

第１非発光画像の各画素の座標を示すパラメータをｉとし、画素ｉの輝度値をＹｉ、発光画像の同じ座標の画素ｉの輝度値をＹＬｉ、その座標の距離情報ｄｉ（＝撮像装置１０からそこに写っている被写体との距離）としたとき、光強度分布情報Ｓｉを、次式、

［数１］

Ｓｉ＝Ｙｉ／｛（ＹＬｉ−Ｙｉ）×（ｄｉ ２）｝

により定義する。パラメータｉは、画素の座標を示すパラメータに限らず、画像を複数の領域に分割した各領域の位置を示すパラメータでも良い。この場合、輝度値Ｙｉ、ＹＬｉ、距離情報ｄｉ、及び光強度分布情報Ｓｉも、領域ｉ毎の輝度値（代表輝度値）、距離情報、及び光強度分布情報である。

以下、［数１］式を説明する。

第１非発光画像のＹｉは、そこにある被写体に当たっている光の強さをＢｉ、被写体の反射率をＲｉ、イメージセンサ２０１による光電変換係数をＫとすると、第１非発光画像のＹｉは、次式により表わされる。

［数２］

Ｙｉ＝Ｂｉ×Ｒｉ×Ｋ

発光画像のＹＬｉは、被写体に当たっているフラッシュ光の強さをＦｉとすると、次式により表わされる。

［数３］

ＹＬｉ＝（Ｂｉ＋Ｆｉ）×Ｒｉ×Ｋ

Ｆｉは、フラッシュ発光部２７０から単位距離は離れた場所でのフラッシュ光の強さをＦｓとすると、光の減衰に関する逆２乗の法則より、次式により表わされる。

［数４］

Ｆｉ＝Ｆｓ／（ｄｉ ２）

光強度分布情報の［数１］式は、［数２］式〜［数４］式により、［数５］式のように変形できる。

［数５］

Ｓｉ＝Ｙｉ／｛（ＹＬｉ−Ｙｉ）×（ｄｉ ２）｝ ＝（Ｂｉ×Ｒｉ×Ｋ）／［｛（Ｂｉ＋Ｆｉ）×Ｒｉ×Ｋ−（Ｂｉ×Ｒｉ×Ｋ）｝×（ｄｉ ２）］＝（Ｂｉ／｛Ｆｉ×（ｄｉ ２）｝＝Ｂｉ／Ｆｓ

画素ｉによらず、Ｆｓは一定なので、光強度分布情報Ｓｉは、画素ｉ（＝1〜N(N:画素数)ごとの被写体に当たっている光強度Ｂｉを相対的に比較できる指数といえる。

合成比率決定部２２０Ｃは、光強度分布情報に基づいて複数の非発光画像（第１非発光画像と第２非発光画像）の合成比率を決定する。光強度分布情報Ｓｉの値が大きい箇所は強く光が当たっているので、アンダー画像である第１非発光画像を使うことが好ましく、光強度分布情報Ｓｉの値が小さい箇所は光があまり当たっていないので、オーバー画像である第２非発光画像を使うことが好ましい。

次に、合成比率決定部２２０Ｃによる合成比率の決定方法について説明する。

＜合成比率の第１決定方法＞

合成比率決定部２２０Ｃは、複数の非発光画像のそれぞれ対応する画素毎に合成比率を決定する際に、光強度分布情報Ｓｉに基づいて光強度が大きい画素では複数の非発光画像のうちの最も露出値が小さい露出条件で撮像された第１非発光画像の混合率を、複数の非発光画像のうちの最も露出値が大きい露出条件で撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素では第２非発光画像の混合率を第１非発光画像の混合率よりも大きくする。尚、画像を複数の領域に分割した領域毎に合成比率を決定してもよい。

図６から図７は、それぞれ光強度分布情報Ｓｉと第２非発光画像の混合率αｉとの関係を示すグラフである。

図６に示すように合成比率決定部２２０Ｃは、第２非発光画像の混合率をαｉとし、図６に示すように光強度分布情報Ｓｉの最小値をＳmin.、最大値をＳmax.とすると、最も簡単には、最小値Ｓmin.〜最大値Ｓmax.の光強度分布情報Ｓｉにより、混合率αｉ（＝０〜１）を線形補間することで、第１非発光画像と第２非発光画像との合成比率を決定する。この場合、第１非発光画像の混合率は、（１−αｉ）となり、第１非発光画像と第２非発光画像との合成比率は、（１−αｉ）：αｉとなる。

また、合成比率決定部２２０Ｃは、図７に示すように混合率αｉに最小値αmin.（＞０）と最大値αmax.（＜１）を設け、最小値Ｓmin.〜最大値Ｓmax.の光強度分布情報Ｓｉにより、混合率αｉを最小値αmin.〜最大値αmax.の範囲で線形補間することで、第１非発光画像と第２非発光画像との合成比率を決定することができる。

更に、合成比率決定部２２０Ｃは、図８に示すように混合率αｉに最小値αmin.（＞０）と最大値αmax.（＜１）を設け、最小値Ｓmin.〜最大値Ｓmax.の光強度分布情報Ｓｉにより、混合率αｉを最小値αmin.〜最大値αmax.の範囲で非線形補間（混合率αｉが単調減少するように非線形補間）することで、第１非発光画像と第２非発光画像との合成比率を決定することができる。

図５に戻って、画像合成部２２０Ｄは、合成比率決定部２２０Ｃにより決定された合成比率にしたがって、アンダー露出の第１非発光画像とオーバー露出の第２非発光画像とを合成し、ダイナミックレンジが拡大された合成画像（ＨＤＲ画像）を生成する。即ち、画像合成部２２０Ｄは、第１非発光画像と第２非発光画像のそれぞれ対応する画素毎に決定した合成比率を適用して、第１非発光画像と第２発光画像とを合成する。尚、画像を複数に分割した領域毎に合成比率が決定される場合には、第１非発光画像と第２非発光画像のそれぞれ対応する領域毎に決定した合成比率を適用して、第１非発光画像と第２発光画像とを合成し、ＨＤＲ画像を生成する。

このようにして生成されたＨＤＲ画像は、被写体のもつ明暗が損なわれずに、被写体に当たっている光の明るさに応じて明暗差が調整された、階調特性に優れたＨＤＲ画像となる。

［ＨＤＲ処理の第２実施形態］

図９は、本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第２実施形態を示す機能ブロック図である。尚、図９において、図５に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図９に示す第２実施形態の本体側ＣＰＵ２２０は、分布情報作成部２２０Ｅの機能が追加されている点で、図５に示した第１実施形態と相違する。

分布情報作成部２２０Ｅは、光強度分布情報算出部２２０Ｂにより算出された光強度分布情報Ｓｉに基づいて光強度の度数分布を示す分布情報（例えば、度数分布図や度数分布表）を算出する。

図１０は、光強度の度数分布の一例を示す度数分布図である。

例えば、晴れた日の日中屋外では、日光が当たっていない暗い被写体（日陰の被写体）

から日光が当たっている明るい被写体（日向の被写体）まで、ダイナミックレンジの広い被写体が撮像対象になり、この場合の撮像対象は、日陰の被写体と、日向の被写体とに大別することができる。このようなシーンの光強度分布情報に基づいて生成した光強度の度数分布図には、図１０に示すように２つの山（２つの頂点となる第１頂点Ｐ１と第２頂点Ｐ２）が存在する。第１頂点Ｐ１は、日陰の被写体に対応する被写体領域の光強度分布情報の度数に対応する頂点であり、第２頂点Ｐ２は、日向の被写体に対応する被写体領域の光強度分布情報の度数に対応する頂点である。

また、晴れた日の日中屋外のシーンに限らず、日光が屋内の一部に差し込むシーン、人工光源により照明されている領域と影になっている領域とが存在するシーンなどの場合も上記のように光強度の度数分布図には、２つの頂点が存在し得る。

尚、本例では、光強度の度数分布を示す分布情報を作成するが、光強度の頻度分布を示す分布情報を作成してもよいし、度数分布又は頻度分布を曲線近似した分布情報を作成してもよい。

図９に示す合成比率決定部２２０Ｃは、分布情報作成部２２０Ｅが作成した分布情報に基づいて、図１０に示すように光強度の度数の高い第１頂点Ｐ１に対応する第１光強度（Ｓdark)と、光強度の度数の高い第２頂点Ｐ２に対応する第２光強度（Ｓblight)とを求める。

そして、合成比率決定部２２０Ｃは、第１非発光画像及び第２非発光画像のそれぞれ対応する画素毎に合成比率を決定する際に、図１１に示すように第１光強度（Ｓdark)以下の光強度の場合には第２非発光画像の混合率αｉを最大値αmax.にし、第２光強度（Ｓblight)以上の光強度の場合には第２非発光画像の混合率αｉを最小値αmin.にし、第１光強度（Ｓdark)よりも大きく第２光強度（Ｓblight)よりも小さい光強度の場合には第２非発光画像の混合率αｉを最大値αmax.と最小値αmin.との間で線形に減少（単調減少）させる。

第１光強度（Ｓdark)以下の光強度を有する画素又は領域は、日陰の領域と考えられ、オーバー露出の第２非発光画像の混合率αｉを最大値αmax.にすることが好ましく、一方、第２光強度（Ｓblight)以上の光強度を有する画素又は領域は、日向の領域と考えられ、オーバー露出の第２非発光画像の混合率αｉを最小値αmin.（アンダー露出の第１非発光画像の混合率を最大値）にすることが好ましい。これにより、ハイライト部やシャドウ部の階調を豊かにすることができる。

図１２は、図１０に示した光強度の度数分布と同様の度数分布図である。

図１２に示す度数分布図には、度数が高くなる２つの山が存在するため、２つの山の間で度数が低くなる谷（底点Ｖ）が存在する。

図９に示す合成比率決定部２２０Ｃの他の実施形態では、分布情報作成部２２０Ｅが作成した分布情報に基づいて、図１２に示すように光強度の度数の低い底点Ｖに対応する光強度（Ｓt）を求める。

そして、合成比率決定部２２０Ｃは、第１非発光画像及び第２非発光画像のそれぞれ対応する画素毎に合成比率を決定する際に、図１３に示すように光強度（Ｓt）を閾値にして、閾値以下の光強度の場合には第２非発光画像の混合率αｉを最大値αmax.にし、閾値を超える光強度の場合には第２非発光画像の混合率αｉを最小値αmin.（アンダー露出の第１非発光画像の混合率を最大値）にする。

尚、閾値となる光強度（Ｓt）の前後の一定範囲ΔＳの光強度に対しては、光強度の大きさに応じて、第２非発光画像の混合率を最大値αmax.と最小値αmin.との間で連続的に混合率を変化させる場合も含む。

［ＨＤＲ処理の第３実施形態］

図１４は、本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第３実施形態を示す機能ブロック図である。尚、図１４において、図５に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１４に示す第３実施形態の本体側ＣＰＵ２２０は、輝度分布情報算出部２２０Ｆの機能が追加されている点で、図５に示した第１実施形態と相違する。

輝度分布情報算出部２２０Ｆは、複数の非発光画像（第１非発光画像、第２非発光画像）のうちの少なくとも１つの非発光画像の画像内の輝度の分布を示す輝度分布情報を算出する部分である。輝度分布情報は、例えば、第１非発光画像の輝度信号からなる画像として作成し、又は画像を分割した領域毎の輝度（代表輝度）を示す情報として作成することができる。

図１４に示す合成比率決定部２２０Ｃは、光強度分布情報算出部２２０Ｂが算出した光強度分布情報及び輝度分布情報算出部２２０Ｆが算出した輝度分布情報に基づいて複数の非発光画像（第１非発光画像、第２非発光画像）の合成比率を決定する。

具体的には、合成比率決定部２２０Ｃは、第１非発光画像及び第２非発光画像のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、画素又は領域の位置を示すパラメータをｉ、光強度分布情報に基づく第２非発光画像の混合率をαｉ、輝度分布情報に基づく第２非発光画像の混合率であって、輝度が高いほど小さい値となる混合率をβｉとすると、光強度分布情報及び輝度分布情報に基づく第２非発光画像の混合率γｉを、次式、

［数６］

γｉ＝αｉ×βｉにより算出する。この場合、第１非発光画像の混合率は、（１−γｉ）となり、第１非発光画像と第２非発光画像との合成比率は、（１−γｉ）：γｉとなる。

［ＨＤＲ処理の第４実施形態］

図１５は、本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第４実施形態を示す機能ブロック図である。尚、図１５において、図１４に示した第３実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１５に示す第４実施形態の本体側ＣＰＵ２２０は、フラッシュ光未到達画素検出部２２０Ｇの機能が追加されている点で、図１４に示した第３実施形態と相違する。

フラッシュ光未到達画素検出部２２０Ｇは、第１非発光画像の画素ｉの輝度値Ｙｉと発光画像の同じ座標の画素ｉの輝度値をＹＬｉとの差分（ＹＬｉ−Ｙｉ）を算出し、差分（ＹＬｉ−Ｙｉ）が０になる画素ｉを、フラッシュ光未到達画素として検出する。

図１５に示す合成比率決定部２２０Ｃは、光強度分布情報算出部２２０Ｂが算出した光強度分布情報及び輝度分布情報算出部２２０Ｆが算出した輝度分布情報に基づいて複数の非発光画像（第１非発光画像、第２非発光画像）の合成比率を決定するが、フラッシュ光未到達画素検出部２２０Ｇによりフラッシュ光未到達画素が検出されると、そのフラッシュ光未到達画素に対する合成比率を決定する際に、輝度分布情報のみに基づいて複数の非発光画像の合成比率を決定する。

被写体の背景などが遠くにあると、フラッシュ光が届かず、（ＹＬｉ−Ｙｉ）が０になり、［数１］式に示した光強度分布情報Ｓｉを算出することできなくなり、その結果、光強度分布情報Ｓｉに基づく第２非発光画像の混合率αｉも求めることができなくなるからである。

したがって、この場合には、輝度分布情報のみに基づいて複数の非発光画像の合成比率を決定することで、フラッシュ光が届かない被写体に対しても妥当な合成比率を決めることができる。

具体的には、合成比率決定部２２０Ｃは、［数６］式により光強度分布情報及び輝度分布情報に基づく第２非発光画像の混合率γｉを算出しているが、フラッシュ光が届かない画素（フラッシュ光未到達画素）が、フラッシュ光未到達画素検出部２２０Ｇにより検出されると、フラッシュ光未到達画素の第２非発光画像の混合率αｉを１とすることで、輝度分布情報に基づく第２非発光画像の混合率βｉのみで第２非発光画像の混合率γｉを求める。

尚、フラッシュ光未到達画素検出部２２０Ｇは、フラッシュ光未到達画素を検出する場合に限らず、画像を複数の領域に分割した場合、フラッシュ光未到達領域を検出する検出部として機能させてもよい。

また、フラッシュ光未到達画素検出部２２０Ｇは、フラッシュ制御部２７２が、フラッシュ発光部２７０から発光させるフラッシュ光の発光量の制御にも使用されるが、フラッシュ制御部２７２による発光量制御の詳細については後述する。

［ＨＤＲ処理の第５実施形態］

図１６は、本発明に係る画像処理装置として機能する本体側ＣＰＵ２２０の第５実施形態を示す機能ブロック図である。尚、図１６において、図５に示した第１実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１６に示す第４実施形態の本体側ＣＰＵ２２０は、第１実施形態に示した距離分布情報取得部２２０Ａを有しておらず、外部の距離分布情報取得部２２３から距離分布情報を取得している。

距離分布情報取得部２２３は、例えば、複数の受光素子が２次元状に配列された距離画像センサにより構成することができる。距離画像センサとしては、ＴＯＦ（Time Of Flight)方式により距離画像を取得するものが考えられる。ＴＯＦ方式は、被写体に光を照射し、その反射光をセンサで受光するまでの時間を測定することにより被写体までの距離を求める方式であり、パルス光を被写体に照射し、その反射光を複数の画素を有する距離画像センサにより受光し、距離画像センサの画素毎の受光量（受光強度）から被写体の距離画像を取得する方式と、高周波で変調した光を被写体に照射し、照射時点から反射光を受光するまでの位相ずれを検出することにより距離画像を取得する方式とが知られている。

また、距離分布情報取得部２２３としては、３次元レーザ計測器、ステレオカメラ等を適用することができる。尚、距離分布情報取得部２２３を使用する場合、イメージセンサ２０１は、本例のようなイメージセンサに限らず、距離計測が不能なイメージセンサでもよい。

［画像処理方法］

図１７は、本発明に係る画像処理方法の実施形態を示すフローチャートである。以下、主として図５等に示した各部の機能を有する本体側ＣＰＵ２２０によるＨＤＲ処理の動作について説明する。

図１７において、本体側ＣＰＵ２２０の距離分布情報取得部２２０Ａは、画像内の被写体の距離の分布を示す距離分布情報を取得する（ステップＳ１０）。本例では、距離分布情報取得部２２０Ａは、画像取得部２２１から互いに位相差をもつ位相差画像である第１画像と第２画像とを取得し、これらの第１画像及び第２画像に基づいて画像内の被写体の距離の分布を示す距離分布情報を取得する。

また、画像取得部２２１により、同一の被写体をそれぞれ異なる撮像条件で撮像した画像であって、フラッシュ光の非発光下でそれぞれ異なる露出条件により撮像された複数の非発光画像（第１非発光画像と第２非発光画像）、及びフラッシュ光の発光下で複数の非発光画像のうちのいずれかの非発光画像（本例では、アンダー露出の第１非発光画像の露出条件）と同じ露出条件により撮像された発光画像を取得する（ステップＳ１２）。

次に、ステップＳ１２における詳細な動作について、図１８に示すフローチャートにより説明する。

図１８において、フラッシュ制御部２７２は、ステップＳ１０で取得された距離分布情報に基づいてフラッシュ発光部２７０から発光させる調光画像用の調光発光量を決定する

（ステップＳ１００）。調光発光量は、画角内の被写体の平均反射率が１８％と仮定して、距離分布から白飛びしない最大の発光量として計算する。

次に、フラッシュ制御部２７２は、フラッシュ発光部２７０から、算出した調光発光量のフラッシュ光を発光させ、本体側ＣＰＵ２２０は、調光発光下で第１非発光画像と同じ露出条件（アンダー露出）で撮像された調光画像を取得する（ステップＳ１０２）。

続いて、本体側ＣＰＵ２２０は、フラッシュ光未到達画素検出部２２０Ｇ（図１５）の検出出力によりフラッシュ光が到達していない画素又は領域があるかを判別する（ステップＳ１０４）。尚、フラッシュ光未到達画素検出部２２０Ｇは、調光画像と同じ露出条件で撮像されているライブビュー画像の１フレームの画像（非発光画像）を取得し、調光画像と非発光画像とを比較してフラッシュ光未到達画素又は領域を検出する。

ステップＳ１０４によりフラッシュ光が全領域に到達していると判別されると（「No」

の場合）、本体側ＣＰＵ２２０は、調光画像に白飛びしている領域があるか否かを判別する（ステップＳ１０６）。調光画像内に最大画素値（８ビットで画素値が表されている場合は、２５５）の領域がある場合、その領域は白飛びしている領域として判別することができる。

ステップＳ１０６により調光画像内に白飛びしている領域がないと判別されると（「No」の場合）、調光画像を発光画像として取得する（ステップＳ１０８）。この場合改めて発光画像を撮像する必要がなく、撮像枚数を減らすことができる。

ステップＳ１０６により調光画像内に白飛びしている領域があると判別されると（「Yes」の場合）、フラッシュ制御部２７２は、白飛びしている領域が白飛びしない最大発光量を算出し、算出した最大発光量を、発光画像を取得するときの本発光量とする（ステップＳ１１０）。

一方、ステップＳ１０４によりフラッシュ光が到達していない領域があると判別されると（「Yes」の場合）、本体側ＣＰＵ２２０は、フラッシュ光が到達していない領域は、フラッシュ光の最大到達距離よりも近いか否かを判別する（ステップＳ１１２）。尚、フラッシュ光が到達していない領域の距離は、距離分布情報から取得することができ、フラッシュ光の最大到達距離は、フラッシュ発光部２７０のガイドナンバーとＦ値とにより求めることができる。

ステップＳ１１２によりフラッシュ光が到達していない領域が、フラッシュ光の最大到達距離よりも遠いと判別されると（「No」の場合）、図１５に示した合成比率決定部２２０Ｃは、フラッシュ光が到達していない領域の混合率αｉ（［数６］式に示した第２非発光画像の混合率αｉ）を１にする（ステップＳ１１４）。これにより、フラッシュ光が到達していない領域の第２非発光画像の混合率γｉは、輝度分布情報に基づく第２非発光画像の混合率βｉのみで決定されることになる。

一方、ステップＳ１１２によりフラッシュ光が到達していない領域が、フラッシュ光の最大到達距離よりも近いと判別されると（「Yes」の場合）、フラッシュ制御部２７２は、フラッシュ光が到達した領域が白飛びしない最大発光量を算出し、算出した最大発光量を、発光画像を取得するときの本発光量とする（ステップＳ１１６）。

フラッシュ制御部２７２は、ステップＳ１１０又はステップＳ１１６により本発光量を算出すると、算出した本発光量でフラッシュ発光部２７０からフラッシュ光を本発光させ、画像取得部２２１は、本発光下で第１非発光画像の露出条件と同じ露出条件で撮像部（交換レンズ１００及びイメージセンサ２０１）により撮像された発光画像を取得する（ステップＳ１１８）。

上記のようにして発光画像を取得すると、続いて発光画像と同じ露出条件（アンダー露出）で撮像される非発光画像（第１非発光画像）と、オーバー露出で撮像される第２非発光画像とを取得する。

図１７に戻って、光強度分布情報算出部２２０Ｂは、非発光画像（アンダー露出の第１非発光画像）と発光画像と距離分布情報取得部２２０Ａにより取得した距離分布情報に基づいて、［数１］式により光強度分布情報Ｓｉを算出する（ステップＳ１４）。

合成比率決定部２２０Ｃは、ステップＳ１４で算出された光強度分布情報Ｓｉに基づいて複数の非発光画像（第１非発光画像、第２非発光画像）をＨＤＲ合成するための合成比率を決定する（ステップＳ１６）。例えば、合成比率決定部２２０Ｃは、複数の非発光画像（第１非発光画像と第２非発光画像）のそれぞれ対応する画素又は領域毎に合成比率を決定する際に、光強度分布情報Ｓｉに基づいて光強度が大きい画素又は領域では、アンダー露出の第１非発光画像の混合率を、オーバー露出の第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では第２非発光画像の混合率を第１非発光画像の混合率よりも大きくする。

画像合成部２２０Ｄは、ステップＳ１６で決定された合成比率に基づいて第１非発光画像と第２非発光画像とのＨＤＲ合成を行い、ＨＤＲ画像を生成する（ステップＳ１８）。

本実施形態の撮像装置１０は、ミラーレスのデジタル一眼カメラであるが、これに限らず、一眼レフカメラ、レンズ一体型の撮像装置、デジタルビデオカメラ等でもよく、また、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞

図１９は、本発明の撮像装置の一実施形態であるスマートフォン５００の外観を示すものである。図１９に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、係る筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２０は、図１９に示すスマートフォン５００の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、基地局と移動通信網とを介した移動無線通信を行う無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記録部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信、Ｗｅｂデータ及びストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１９に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。また、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１９に示すように、例えば、スピーカ５３１、マイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１９に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記録部５５０は、主制御部５０１の制御プログラム、制御データ、アプリケーションソフトウェア（本発明に係る画像処理プログラムを含む）、通信相手の名称及び電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記録部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５６２により構成される。尚、記録部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記録媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、及びＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）、ＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、又はオーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達し、又はスマートフォン５００の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、及び高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサ及びジャイロセンサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記録部５５０が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能及びアプリケーション処理機能を備える。

アプリケーション処理機能は、記録部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係るＨＤＲ合成を行う画像処理機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じてアイコンに対する操作、及びウィンドウの入力欄に対する文字列の入力を受け付け、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域及びソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図１に示した撮像装置１０に相当する。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１９に示すようにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、或いは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。さらには、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサ（ジャイロセンサ）と併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記録部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

［その他］

本実施形態では、ＨＤＲ合成を行う画像処理装置（本体側ＣＰＵ２２０）は、撮像装置に内蔵されたものであるが、本発明に係る画像処理装置は、例えば、本発明に係る画像処理プログラムを実行する撮像装置とは別体のパーソナルコンピュータ、携帯端末等であってもよい。この場合、複数の非発光画像、発光画像及び距離分布情報等を、ＨＤＲ合成用の情報として入力する必要がある。

また、複数の非発光画像は、アンダー露出の第１非発光画像、オーバー露出の第２非発光画像の２つの非発光画像に限らず、同一の被写体をそれぞれ異なる撮像条件で撮像した３以上の非発光画像でもよい。この場合、合成比率決定部は、３以上の非発光画像の合成比率を決定することになる。

また、本実施形態において、例えば、本体側ＣＰＵ２２０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

更にまた、本発明は、撮像装置又はコンピュータにインストールされることにより、本発明に係る撮像装置又は画像処理装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された記録媒体を含む。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置

２０ ファインダ窓

２２ シャッタレリーズスイッチ

２３ シャッタスピードダイヤル

２４ 露出補正ダイヤル

２５ 電源レバー

２６ 接眼部

２７ ＭＥＮＵ／ＯＫキー

２８ 十字キー

２９ 再生ボタン

３０ 内蔵フラッシュ

１００ 交換レンズ

１０２ 撮像光学系

１０４ レンズ群

１０８ 絞り

１１６ フォーカスレンズ制御部

１１８ 絞り制御部

１２０ レンズ側ＣＰＵ

１２２、２０７ ＲＡＭ

１２４、２２８ ＲＯＭ

１２６ フラッシュＲＯＭ

１５０ レンズ側通信部

１６０ レンズマウント

２００ カメラ本体

２０１ イメージセンサ

２０１Ａ マイクロレンズ

２０２ イメージセンサ制御部

２０３ アナログ信号処理部

２０４ Ａ／Ｄ変換器

２０５ 画像入力コントローラ

２０６ デジタル信号処理部

２０８ 圧縮伸張処理部

２１０ メディア制御部

２１２ メモリカード

２１４ 表示制御部

２１６ 液晶モニタ

２２０ 本体側ＣＰＵ

２２０Ａ 距離分布情報取得部

２２０Ｂ 光強度分布情報算出部

２２０Ｃ 合成比率決定部

２２０Ｄ 画像合成部

２２０Ｅ 分布情報作成部

２２０Ｆ 輝度分布情報算出部

２２０Ｇ フラッシュ光未到達画素検出部

２２１ 画像取得部

２２２ 操作部

２２３ 距離分布情報取得部

２２４ 時計部

２２６ フラッシュＲＯＭ

２３０ ＡＦ制御部

２３２ ＡＥ制御部

２３４ ホワイトバランス補正部

２３６ 無線通信部

２３８ ＧＰＳ受信部

２４０ 電源制御部

２４２ バッテリ

２４４ レンズ電源スイッチ

２５０ 本体側通信部

２６０ 本体マウント

２６０Ａ 端子

２７０ フラッシュ発光部

２７２ フラッシュ制御部

２９６ ＦＰＳ制御部

５００ スマートフォン

５０１ 主制御部

５０２ 筐体

５１０ 無線通信部

５２０ 表示入力部

５２１ 表示パネル

５２２ 操作パネル

５３０ 通話部

５３１ スピーカ

５３２ マイクロホン

５４０ 操作部

５４１ カメラ部

５５０ 記録部

５５１ 内部記憶部

５５２ 外部記憶部

５６０ 外部入出力部

５６２ 外部記憶部

５７０ 受信部

５７０ ＧＰＳ受信部

５８０ モーションセンサ部

５９０ 電源部

Ｓ１０〜Ｓ１８、Ｓ１００〜Ｓ１１８ ステップ

Ｓｉ 光強度分布情報

ＹＬｉ 輝度値

Ｙｉ 輝度値

ｄｉ 距離情報

αｉ、βｉ、γｉ 混合率

Claims (20)


  1. 同一の被写体を撮像した画像であって、フラッシュ光の非発光下においてそれぞれ異なる露出条件により撮像された複数の非発光画像と、フラッシュ光の発光下において前記複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像とを取得する画像取得部と、

    前記被写体の距離の分布を示す距離分布情報を取得する距離分布情報取得部と、

    前記発光画像、前記発光画像と同じ露出条件により撮像された前記非発光画像、及び前記距離分布情報に基づいて、前記被写体に照射されている光の光強度分布情報を算出する光強度分布情報算出部と、

    前記光強度分布情報に基づいて前記複数の非発光画像の合成比率を決定する合成比率決定部と、

    前記合成比率にしたがって前記複数の非発光画像を合成し、ダイナミックレンジが拡大された合成画像を生成する画像合成部と、

    を備えた画像処理装置。

  2. 前記合成比率決定部は、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定し、

    前記画像合成部は、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記決定した合成比率を適用して前記複数の非発光画像を合成する、請求項１に記載の画像処理装置。

  3. 前記複数の非発光画像に対応する複数の露出条件は、適正露出の露出条件よりもアンダー露出の露出条件とオーバー露出の露出条件とを含む請求項１又は２に記載の画像処理装置。

  4. 前記合成比率決定部は、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、前記光強度分布情報に基づいて光強度が大きい画素又は領域では前記複数の非発光画像のうちの最も露出値が小さい露出条件によって撮像された第１非発光画像の混合率を、前記複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では前記第２非発光画像の混合率を前記第１非発光画像の混合率よりも大きくする、請求項１から３のいずれか１項に記載の画像処理装置。

  5. 前記合成比率決定部は、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、前記光強度分布情報に基づいて前記光強度分布情報のうちの最小光強度と最大光強度との間において、前記光強度が増加した場合、前記第２非発光画像の混合率を単調減少させる、請求項４に記載の画像処理装置。

  6. 前記光強度分布情報に基づいて前記光強度の度数分布又は頻度分布を示す分布情報を作成する分布情報作成部を備え、

    前記合成比率決定部は、前記作成された分布情報に基づいて度数又は頻度の高い第１頂点に対応する第１光強度と、度数又は頻度の高い第２頂点に対応する第２光強度であって、前記第１光強度よりも大きい第２光強度とを求め、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、前記第１光強度以下の光強度の場合には前記第２非発光画像の混合率を最大値にし、前記第２光強度以上の光強度の場合には前記第２非発光画像の混合率を最小値にし、前記第１光強度よりも大きく前記第２光強度よりも小さい光強度の場合には前記第２非発光画像の混合率を前記最大値と前記最小値との間において単調減少させる、請求項４に記載の画像処理装置。

  7. 前記光強度分布情報に基づいて前記光強度の度数分布又は頻度分布を示す分布情報を作成する分布情報作成部を備え、

    前記合成比率決定部は、前記作成された分布情報に基づいて度数又は頻度の低い底点に対応する光強度を求め、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、前記底点に対応する光強度を閾値にして、前記閾値以下の光強度の場合には前記第２非発光画像の混合率を最大値にし、前記閾値を超える光強度の場合には前記第２非発光画像の混合率を最小値にする、請求項５に記載の画像処理装置。

  8. 前記複数の非発光画像のうちの少なくとも１つの非発光画像の画像内の輝度の分布を示す輝度分布情報を算出する輝度分布情報算出部を備え、

    前記合成比率決定部は、前記光強度分布情報及び前記輝度分布情報に基づいて前記複数の非発光画像の合成比率を決定する、請求項１から７のいずれか１項に記載の画像処理装置。

  9. 前記発光画像における前記フラッシュ光が到達していない画素又は領域を検出する検出部を備え、

    前記合成比率決定部は、前記フラッシュ光が到達していない画素又は領域に対する前記合成比率を決定する際に、前記輝度分布情報のみに基づいて前記複数の非発光画像の合成比率を決定する、請求項８に記載の画像処理装置。

  10. 前記合成比率決定部は、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、画素又は領域の位置を示すパラメータをｉ、前記複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率をαｉ、前記輝度分布情報に基づく前記第２非発光画像の混合率であって、輝度が高いほど小さい値となる混合率をβｉとすると、前記光強度分布情報及び前記輝度分布情報に基づく前記第２非発光画像の混合率γｉを、次式、

    γｉ＝αｉ×βｉにより算出する、請求項８又は９に記載の画像処理装置。

  11. 前記発光画像の露出条件は、前記複数の非発光画像に対応する複数の露出条件のうちの最も露出値が小さい露出条件である、請求項１から１０のいずれか１項に記載の画像処理装置。

  12. 被写体を異なる露出条件により撮像可能な撮像部と、

    フラッシュ光を発光するフラッシュ発光部と、

    前記フラッシュ発光部から発光される前記フラッシュ光を制御するフラッシュ制御部と、

    請求項１から１１のいずれか１項に記載の画像処理装置と、を備え、

    前記画像取得部は、前記フラッシュ発光部から発光されるフラッシュ光の非発光下において、前記撮像部によりそれぞれ異なる露出条件により撮像された前記複数の非発光画像と、前記フラッシュ発光部から発光されるフラッシュ光の発光下において、前記撮像部により前記複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された前記発光画像とを取得する、撮像装置。

  13. 前記フラッシュ制御部は、前記フラッシュ発光部からフラッシュ光を調光発光させ、前記調光発光下において前記撮像部が撮像した調光画像と前記調光発光せずに前記撮像部が撮像した画像とに基づいて前記調光発光したフラッシュ光が到達していない領域が検出された場合、前記調光発光したフラッシュ光が到達している領域が飽和しない最大の発光量を算出し、前記発光画像を取得する際に前記算出した最大の発光量によって前記フラッシュ発光部からフラッシュ光を本発光させる、請求項１２に記載の撮像装置。

  14. 前記フラッシュ制御部は、被写体の平均反射率と前記距離分布情報取得部が取得した前記距離分布情報とに基づいて前記最大の発光量を算出する、請求項１３に記載の撮像装置。

  15. 前記フラッシュ制御部は、前記フラッシュ発光部からフラッシュ光を調光発光させ、前記調光発光下において前記撮像部が撮像した調光画像と前記調光発光せずに前記撮像部が撮像した画像とに基づいて前記調光画像の全領域にフラッシュ光が到達していることが検出された場合、前記画像取得部は、前記調光画像を前記発光画像として取得する、請求項１２に記載の撮像装置。

  16. 前記フラッシュ制御部は、前記フラッシュ発光部からフラッシュ光を調光発光させ、前記調光発光下において前記撮像部が撮像した調光画像と前記調光発光せずに前記撮像部が撮像した画像とに基づいて前記調光画像にフラッシュ光が到達していない領域が検出され、かつ前記距離分布情報に基づいて前記フラッシュ光が到達していない領域の距離が、前記フラッシュ発光部から発光されるフラッシュ光の最大発光量の到達距離よりも遠い場合、前記画像取得部は、前記調光画像を前記発光画像として取得する、請求項１２に記載の撮像装置。

  17. 同一の被写体を撮像した画像であって、フラッシュ光の非発光下においてそれぞれ異なる露出条件により撮像された複数の非発光画像を取得するステップと、

    フラッシュ光の発光下において前記複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像を取得するステップと、

    前記被写体の距離の分布を示す距離分布情報を取得するステップと、

    前記発光画像、前記発光画像と同じ露出条件により撮像された前記非発光画像、及び前記距離分布情報に基づいて、前記被写体に照射されている光の光強度分布情報を算出するステップと、

    前記光強度分布情報に基づいて前記複数の非発光画像の合成比率を決定するステップと、

    前記合成比率にしたがって前記複数の非発光画像を合成し、ダイナミックレンジが拡大された合成画像を生成するステップと、

    を含む画像処理方法。

  18. 前記合成比率を決定するステップは、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、前記光強度分布情報に基づいて光強度が大きい画素又は領域では前記複数の非発光画像のうちの最も露出値が小さい露出条件によって撮像された第１非発光画像の混合率を、前記複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では前記第２非発光画像の混合率を前記第１非発光画像の混合率よりも大きくする、請求項１７に記載の画像処理方法。

  19. 同一の被写体を撮像した画像であって、フラッシュ光の非発光下においてそれぞれ異なる露出条件により撮像された複数の非発光画像を取得する機能と、

    フラッシュ光の発光下において前記複数の非発光画像のうちのいずれかの非発光画像の露出条件と同じ露出条件により撮像された発光画像を取得する機能と、

    前記被写体の距離の分布を示す距離分布情報を取得する機能と、

    前記発光画像、前記発光画像と同じ露出条件により撮像された前記非発光画像、及び前記距離分布情報に基づいて、前記被写体に照射されている光の光強度分布情報を算出する機能と、

    前記光強度分布情報に基づいて前記複数の非発光画像の合成比率を決定する機能と、

    前記合成比率にしたがって前記複数の非発光画像を合成し、ダイナミックレンジが拡大された合成画像を生成する機能と、

    をコンピュータに実現させる画像処理プログラム。

  20. 前記合成比率を決定する機能は、前記複数の非発光画像のそれぞれ対応する画素又は領域毎に前記合成比率を決定する際に、前記光強度分布情報に基づいて光強度が大きい画素又は領域では前記複数の非発光画像のうちの最も露出値が小さい露出条件によって撮像された第１非発光画像の混合率を、前記複数の非発光画像のうちの最も露出値が大きい露出条件によって撮像された第２非発光画像の混合率よりも大きくし、光強度が小さい画素又は領域では前記第２非発光画像の混合率を前記第１非発光画像の混合率よりも大きくする、請求項１９に記載の画像処理プログラム。
JP2020516173A 2018-04-26 2019-04-05 画像処理装置、方法、及びプログラム並びに撮像装置 Active JP6810299B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018085582 2018-04-26
JP2018085582 2018-04-26
PCT/JP2019/015046 WO2019208155A1 (ja) 2018-04-26 2019-04-05 画像処理装置、方法、及びプログラム並びに撮像装置

Publications (2)

Publication Number Publication Date
JP6810299B2 JP6810299B2 (ja) 2021-01-06
JPWO2019208155A1 true JPWO2019208155A1 (ja) 2021-03-25

Family

ID=68294051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516173A Active JP6810299B2 (ja) 2018-04-26 2019-04-05 画像処理装置、方法、及びプログラム並びに撮像装置

Country Status (2)

Country Link
JP (1) JP6810299B2 (ja)
WO (1) WO2019208155A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327800B (zh) * 2020-01-08 2022-02-01 深圳深知未来智能有限公司 一种适应复杂光照环境的全天候车载视觉系统及方法
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
TWI757015B (zh) * 2020-12-29 2022-03-01 財團法人工業技術研究院 取像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2008205935A (ja) * 2007-02-21 2008-09-04 National Univ Corp Shizuoka Univ 画像合成における露光比決定方法
WO2017065949A1 (en) * 2015-10-16 2017-04-20 CapsoVision, Inc. Single image sensor for capturing mixed structured-light images and regular images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2008205935A (ja) * 2007-02-21 2008-09-04 National Univ Corp Shizuoka Univ 画像合成における露光比決定方法
WO2017065949A1 (en) * 2015-10-16 2017-04-20 CapsoVision, Inc. Single image sensor for capturing mixed structured-light images and regular images

Also Published As

Publication number Publication date
WO2019208155A1 (ja) 2019-10-31
JP6810299B2 (ja) 2021-01-06

Similar Documents

Publication Publication Date Title
CN101610363B (zh) 在数字图像处理装置中对图像背景进行模糊的设备和方法
JP6302554B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2019183819A1 (zh) 拍照方法、拍照装置和移动终端
JP6272486B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
JP6921972B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
US11032483B2 (en) Imaging apparatus, imaging method, and program
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2019111659A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP6534780B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6998454B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
CN116055855B (zh) 图像处理方法及其相关设备
JP7352034B2 (ja) 撮像装置、撮像指示方法、及び撮像指示プログラム
KR101128518B1 (ko) 디지털 이미지 처리장치의 촬영방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201106

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201210

R150 Certificate of patent or registration of utility model

Ref document number: 6810299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250