JPWO2019064757A1 - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
JPWO2019064757A1
JPWO2019064757A1 JP2019544273A JP2019544273A JPWO2019064757A1 JP WO2019064757 A1 JPWO2019064757 A1 JP WO2019064757A1 JP 2019544273 A JP2019544273 A JP 2019544273A JP 2019544273 A JP2019544273 A JP 2019544273A JP WO2019064757 A1 JPWO2019064757 A1 JP WO2019064757A1
Authority
JP
Japan
Prior art keywords
dynamic range
range expansion
image
expansion processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019544273A
Other languages
English (en)
Other versions
JP6911135B2 (ja
Inventor
太郎 斎藤
太郎 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019064757A1 publication Critical patent/JPWO2019064757A1/ja
Application granted granted Critical
Publication of JP6911135B2 publication Critical patent/JP6911135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本発明は、被写体像のブレを抑制し、設定されたフレームレートを維持しながら、暗いシーンおよび明るいシーンにおいて適切なダイナミックレンジ拡大処理をすることができる撮像装置、撮像方法、およびプログラムを提供することを目的とする。撮像装置は、撮像部と、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部（３０１）と、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部（３０３）と、１フレーム期間の時間と、複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部による処理を実行させる制御部（３０５）と、を備える。

Description

本発明は、撮像装置、撮像方法、およびプログラムに関し、特に動画におけるダイナミックレンジ拡大処理の技術に関する。
デジタルカメラなどによりダイナミックレンジの広い被写体についての撮像画像を取得すると、明部の白飛びまたは暗部の黒つぶれが発生することがある。被写体の持つダイナミックレンジをより広く撮像画像で表現させる方法の１つとして、ダイナミックレンジ拡大処理（ＨＤＲ(High Dynamic Range)）がある。
ダイナミックレンジ拡大処理の一つの方法として、露光条件が異なる複数枚の撮像画像を取得して、１枚の合成画像を得ることにより、ダイナミックレンジが拡大された画像を取得する方法がある。
また、ダイナミックレンジ拡大処理の他の方法として、暗部の黒つぶれまたは明部の白飛びが少なくなるトーンカーブを入力信号にかけることにより出力信号の明るさを適正にする処理がある。
例えば、特許文献１では、ブレ低減優先の広ダイナミックレンジ画像または解像度優先の広ダイナミックレンジ画像を選択して取得することを目的とした技術が記載されている。具体的には、特許文献1に記載された技術は、複数の画素群を有し、画素群ごとに異なる露光時間で一回露光を行って複数枚の画素群別画像を生成する第１の撮像、および、複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で連続して複数回露光を行って複数枚の高解像度画像を生成する第２の撮像とを使い分け、取得した複数枚の画像を合成することにより、所望の広ダイナミックレンジ画像を取得する技術が記載されている。
また例えば、特許文献２では、被写体の動き量に応じて、面間ＨＤＲと面内ＨＤＲとを制御する技術が記載されている。面間ＨＤＲは、連続して撮像された複数の画像を合成してダイナミックレンジが拡大された撮像画像を得る技術である。面内ＨＤＲは、所定の単位領域（例えば行）ごとに露光時間（電荷蓄積時間）を異ならせて読み出しを行うことにより、１フレーム分の撮像によって露光量の異なる複数の画像を取得し、それらを合成することによりダイナミックレンジを拡大した画像を得る技術である。
特開２０１０−２３９２７７号公報 特開２０１４−１４６８５０号公報
特許文献１および特許文献２には、異なる露光時間で複数枚の撮像画像を取得し１枚の合成画像を得ることによって、ダイナミックレンジ拡大処理を行う方法が記載されている。この方法は、シーンが明るく露光時間が短い場合には、画質の良い画像を取得することができる有効な手段であるが、シーンが暗く露光時間を長くする必要がある場合には複数枚の撮像画像を取得するために露光時間をさらに長くする必要があり、被写体像のブレが発生してしまう可能性がある。
また、特許文献１および特許文献２に記載されているような、複数枚の撮像画像から１枚の合成画像を得るダイナミックレンジ拡大処理の方法のみを採用するデジタルカメラでは、ユーザ設定または仕様に定められた１フレーム期間の時間を越えて露光が行われる場合がある。例えば、特許文献１および特許文献２に記載されているダイナミックレンジ拡大処理の方法では、暗いシーンを撮像する場合に、光量を得るために露光時間を長くした複数の撮像画像を得なければならず、合計露光時間は１フレーム期間の時間を越えてしまう場合が発生し得る。
本発明はこのような事情に鑑みてなされ、その目的は、被写体像のブレを抑制し、設定されたフレームレートを維持しながら、暗いシーンおよび明るいシーンにおいて適切なダイナミックレンジ拡大処理をすることができる撮像装置、撮像方法、およびプログラムを提供することである。
上記目的を達成するために、本発明の一の態様である撮像装置は、被写体の動画を撮像する撮像部と、動画のフレームレートに対応させて撮像部に露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行させる制御部と、を備える。
本態様によれば、撮像装置は、動画のフレームレートに対応させて撮像部に露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理が行われる第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を有している。したがって、本態様は、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とを使い分けることにより、被写体のブレが抑制された、暗いシーンまたは明るいシーンに応じた適切なダイナミックレンジ拡大処理を行うことができる。また、制御部により、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部でのダイナミックレンジ拡大処理が制御される。したがって、本態様は、設定されたフレームレートを維持しつつ、適切なダイナミックレンジ拡大処理を行うことができる。
好ましくは、第１のダイナミックレンジ拡大処理部は、露光時間を変えることにより露光条件を変える。
本態様によれば、露光時間を変えて撮像された複数の撮像画像に基づいてダイナミックレンジ拡大処理が行われる。
好ましくは、制御部は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間との比較結果に基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行させる。
本態様によれば、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理の実行が制御される。
好ましくは、制御部は、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部にダイナミックレンジ拡大処理を実行させ、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間より短い場合には、第２のダイナミックレンジ拡大処理部にダイナミックレンジ拡大処理を実行させる。
本態様によれば、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部がダイナミックレンジ拡大処理を行う。一方、本態様によれば、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間より短い場合には、第２のダイナミックレンジ拡大処理部がダイナミックレンジ拡大処理を行う。
好ましくは、第１のダイナミックレンジ拡大処理部は、撮像部に第１の撮像画像および第１の撮像画像よりも露光時間が短い第２の撮像画像を撮像させ、第１の撮像画像および第２の撮像画像から合成画像を生成する。
本態様によれば、第１のダイナミックレンジ拡大処理部により、撮像部に第１の撮像画像および第１の撮像画像よりも露光時間が短い第２の撮像画像を撮像させ、第１の撮像画像および第２の撮像画像から合成画像が生成される。
好ましくは、第１のダイナミックレンジ拡大処理部は、撮像部に、第１の撮像画像、第１の撮像画像よりも露光時間が短い第２の撮像画像、および第２の撮像画像よりも露光時間が短い第３の撮像画像を撮像させ、第１の撮像画像、第２の撮像画像、第３の撮像画像から合成画像を生成する。
本態様によれば、第１のダイナミックレンジ拡大処理部により、撮像部に、第１の撮像画像、第１の撮像画像よりも露光時間が短い第２の撮像画像、および第２の撮像画像よりも露光時間が短い第３の撮像画像を撮像させ、第１の撮像画像、第２の撮像画像、第３の撮像画像から合成画像が生成される。
好ましくは、第１のダイナミックレンジ拡大処理部は、ＩＳＯ感度を変えることにより露光条件を変える。
本態様によれば、第１のダイナミックレンジ拡大処理部により、ＩＳＯ感度を変えて撮像された複数の撮像画像に基づいて、ダイナミックレンジ拡大処理が行われる。
好ましくは、撮像部により撮像される撮像画像のＩＳＯ感度を変更するＩＳＯ感度変更部を備え、制御部は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間とに基づいて、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部に実行させる。
本態様によれば、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間とに基づいて、ダイナミックレンジ拡大処理が制御される。
好ましくは、撮像装置は、撮像部により撮像される撮像画像のＩＳＯ感度を変更するＩＳＯ感度変更部を備え、制御部は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部に実行させる。
本態様によれば、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理の実行が制御される。
好ましくは、制御部は、１フレーム期間の時間が、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部の複数の撮像画像のうちの少なくとも１枚の撮像画像の撮像を、ＩＳＯ感度変更部によりＩＳＯ感度を変更して行う。
本態様によれば、１フレーム期間の時間が、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部の複数の撮像画像のうちの少なくとも１枚の撮像画像の撮像を、ＩＳＯ感度変更部によりＩＳＯ感度を変更して行う。
好ましくは、撮像部には減光手段が設けられており、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部は、減光手段が設けられた撮像部により撮像された撮像画像に基づいてダイナミックレンジ拡大処理を実行する。
本態様によれば、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部は、減光手段が設けられた撮像部により撮像された撮像画像に基づいてダイナミックレンジ拡大処理を実行する。
好ましくは、減光手段は、ＮＤフィルタである。
好ましくは、撮像部には出し入れが可能なＮＤフィルタが設けられており、第１のダイナミックレンジ拡大処理部は、ＮＤフィルタが設けられた撮像部により撮像された撮像画像、およびＮＤフィルタが設けられていない撮像部により撮像された撮像画像から合成画像を生成する。
本態様によれば、ＮＤフィルタが設けられた撮像部により撮像された撮像画像、およびＮＤフィルタが設けられていない撮像部により撮像された撮像画像から合成画像が生成される。
好ましくは、制御部は、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の切り替え箇所を記録する。
本態様によれば、制御部により、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の切り替え箇所が記録される。
好ましくは、制御部は、切り替え箇所を動画のファイルのヘッダーまたは、動画のファイルとは別ファイルに記録する。
本態様によれば、制御部により、切り替え箇所を動画のファイルのヘッダーまたは、動画のファイルとは別ファイルに記録される。
好ましくは、制御部は、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第１の切り替え後、所定時間経過後に、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第２の切り替えを行う。
本態様によれば、制御部により、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第１の切り替え後、所定時間経過後でなければ、次のダイナミックレンジ拡大処理の切り替えが行われない。
好ましくは、第１のダイナミックレンジ拡大処理部は、異なるフレームにおいて撮像された複数の撮像画像により合成画像を生成する。
本態様によれば、第１のダイナミックレンジ拡大処理部により、異なるフレームにおいて撮像された複数の撮像画像により合成画像が生成される。
好ましくは、制御部は、撮像部の撮像において、シャッタースピードが可変であるか否かを判定し、シャッタースピードが可変である場合に、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部に実行させる。
本態様によれば、制御部により、シャッタースピードが可変であるか否かが判定され、シャッタースピードが可変である場合に本発明のダイナミックレンジ拡大処理が行われる。
本発明の他の態様である撮像方法は、被写体の動画を撮像する撮像部と、動画のフレームレートに対応させて撮像部において露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を備える撮像装置の撮像方法であって、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行を制御するステップ、を含む。
本発明の他の態様であるプログラムは、被写体の動画を撮像する撮像部と、動画のフレームレートに対応させて撮像部において露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を備える撮像装置の撮像方法をコンピュータに実行させるプログラムであって、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行を制御するステップ、を含む撮像方法をコンピュータに実行させる。
本発明によれば、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理を使い分けることにより、被写体のブレが抑制された、暗いシーンまたは明るいシーンに応じた適切なダイナミックレンジ拡大処理を行うことができ、制御部により、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部でのダイナミックレンジ拡大処理が制御されるので、設定されたフレームレートを維持しつつ、適切なダイナミックレンジ拡大処理を行うことができる。
図１はデジタルカメラの正面斜視図である。 図２はデジタルカメラの背面斜視図である。 図３はデジタルカメラの制御処理系を示すブロック図である。 図４は画像処理部の機能を示すブロック図である。 図５は１フレーム期間の時間と露光時間との関係に関して説明する図である。 図６はＭ−ＨＤＲ処理における合成画像を生成する例を示す図である。 図７はＳ−ＨＤＲ処理における補正画像を生成する例を示す図である。 図８は第１のダイナミックレンジ拡大処理と第２のダイナミックレンジ拡大処理との制御に関して説明する図である。 図９はデジタルカメラの動作を示すフロー図である。 図１０はデジタルカメラの制御処理系を示すブロック図である。 図１１は露光時間とＩＳＯ感度との関係を示した図である。 図１２は１フレーム期間の時間と露光時間の合計時間との関係を示す図である。 図１３はデジタルカメラの動作を示すフロー図である。 図１４はデジタルカメラの動作を示すフロー図である。 図１５はデジタルカメラの制御処理系を示すブロック図である。 図１６は露光条件が異なる複数の撮像画像の取得に関して説明する図である。 図１７は合成画像の生成に関して説明する図である。 図１８はスマートフォンの外観を示す図である。 図１９はスマートフォンの構成を示すブロック図である。
以下、添付図面にしたがって本発明の撮像装置、撮像方法、およびプログラムの好ましい実施の形態について説明する。
図１は、本発明の撮像装置であるデジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。
デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４およびカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱可能に設けられてもよい。
カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６および電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮像指示を受け付ける撮像指示部であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチにより構成されている。電源スイッチ７は、デジタルカメラ２の電源のオンおよびオフの切り換え指示をユーザから受け付ける電源切換部である。
カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮像待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮像画像またはメモリ記憶画像の再生時には再生画像表示部として機能する。
操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮像画像を得るための撮像モード（オート撮像モード、マニュアル撮像モードおよび連写モード等）、画像を再生表示する再生モード等がある。
オート撮像モードは、焦点調節を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能、絞り値およびシャッタ速度を自動的に設定する自動露出（ＡＥ：Auto Exposure）機能等が使用されるモードであり、マニュアル撮像モードは、焦点調節、絞り値およびシャッタ速度等を、ユーザが操作部９を使用して適宜設定可能にするモードである。
一方、十字キーおよび実行キーは、表示部８にメニュー画面または設定画面を表示したり、メニュー画面または設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。
カメラ本体３の底部（図示省略）には、外部メモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。外部メモリ１０は、カメラ本体３に着脱可能に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。外部メモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されず、磁気媒体等の任意の記憶方式の記憶媒体を外部メモリ１０として用いることが可能である。
＜第１の実施形態＞
図３は、本実施形態のデジタルカメラ２の制御処理系を示すブロック図である。
被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１によって受光される。レンズ部１２は、撮像レンズ（レンズ群）および絞りを含む撮像光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。なお、デジタルカメラ２は連続する画像データを取得することにより、動画を取得する。また、レンズ部１２、レンズ鏡筒４、メカニカルシャッタ２０、撮像素子２１、およびＡＤ変換部２３から撮像部５０が構成される。
メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。
画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。
一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)またはＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。また、動画データは、ＡＶＩ（Audio Video Interleave）およびＭＰ４等の任意の動画形式により、メインメモリ２４に記憶される。
外部メモリ１０に保存されている画像データを再生する再生モードにおいて、外部メモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にメインメモリ２４に保存される。そして撮像画像の確認表示と同様の手順により、表示制御部３５によってメインメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。
デジタルカメラ２のＡＦ処理機能は、シャッタボタン６の第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。
ＡＥ検出機能は、シャッタボタン６の第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。
システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部（ＡＦ処理機能およびＡＥ検出機能）もコントロールする。
例えば、システム制御部２５は、オート撮像モード時にシャッタボタン６が半押しされると、レンズ駆動部２７を介してレンズ部１２のフォーカスレンズを至近から無限遠側に移動させ、且つ、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。また、システム制御部２５は、オート撮像モード時にシャッタボタン６が半押しされると、ＡＥ検出機能を動作させ、ＡＥ検出機能から入力する積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞りの絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定し、シャッタボタン６が全押しされると、決定した絞り値に基づいて絞りを制御し、且つ、決定したシャッタ速度に基づいてシャッタ駆動部２６を介してメカニカルシャッタ２０を制御し、また、図示しない撮像素子駆動部を介して撮像素子２１での電荷蓄積時間を制御する。
また、システム制御部２５は、フラッシュ発光部５を制御してフラッシュ光の発光および非発光をコントロールする。本例のフラッシュ発光部５は、例えば、白色のフラッシュ光を発光するキセノン管と、キセノン管と発光窓との間に出し入れされる１または２以上のカラーフィルタとを有し、システム制御部２５は、キセノン管の発光時間を調整することによりフラッシュ光の発光量を調整し、カラーフィルタを出し入れすることよりフラッシュ光の発光色を調整する。なお、フラッシュ発光部５は、キセノン管の替わりに、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の発光ダイオードを使用してもよく、この場合には、ＲＧＢの発光ダイオードに流す電流量により発光量を調整し、また、ＲＧＢの発光ダイオードの発光量の比率を調整することにより、任意の色のフラッシュ光を発光させることができる。
さらにシステム制御部２５は、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。
さらにまた、システム制御部２５は、シャッタボタン６、電源スイッチ７および操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。また、システム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオンおよびオフをコントロールする。
システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムおよびデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムおよびデータ類を読み出すことができ、また、新たなプログラムおよびデータ類を制御メモリ３０に保存することができる。
図４は、本実施形態における画像処理部３１の機能を示すブロック図である。本実施形態の画像処理部３１は、第１のダイナミックレンジ拡大処理部３０１、第２のダイナミックレンジ拡大処理部３０３、および制御部３０５を備える。
第１のダイナミックレンジ拡大処理部３０１は、露光条件が異なる複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う（Ｍ−ＨＤＲ処理）。露光条件が異なる複数の撮像画像は、動画のフレームレートに対応して撮像が行われ、例えばデジタルカメラ２に設定されたフレームレートの１フレーム期間に、撮像部５０により、撮像される。
第１のダイナミックレンジ拡大処理部３０１は、例えば露光時間を変えることにより露光条件を変えて、撮像部５０に複数の撮像画像を取得させる。すなわち、第１のダイナミックレンジ拡大処理部３０１は、露光時間が異なる複数の撮像画像に基づいて合成画像を生成することにより、ダイナミックレンジ拡大処理を行う（Ｍ−ＨＤＲ（ＳＳ）処理）。
また第１のダイナミックレンジ拡大処理部３０１は、例えばＩＳＯ感度を変えることにより露光条件を変えて、撮像部５０に複数の撮像画像を取得させる。すなわち、第１のダイナミックレンジ拡大処理部３０１は、ＩＳＯ感度が異なる複数の撮像画像に基づいて合成画像を生成することにより、ダイナミックレンジ拡大処理を行う（Ｍ−ＨＤＲ（感度）処理）。
図５は、１フレーム期間の時間と露光時間との関係に関して説明する図である。図５には、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の場合における、１フレーム期間に通常画像とＨＤＲ用画像の露光時間が示されている。動画においてＭ−ＨＤＲ処理を行う方法として、このブランクの時間内にＨＤＲ用画像を取得し、２枚以上の画像を合成することにより実現する方法が提案されている。ここで、通常画像とは、シーンに合わせた露光条件で撮像された画像のことである。また、ＨＤＲ用画像とは、シーンに合わせた露光条件よりもアンダーな露光条件で撮像された画像のことである。すなわち、露光条件を露光時間により変えている場合には、ＨＤＲ用画像の露光時間は、通常画像より短くなる。また、露光条件をＩＳＯ感度により変えている場合には、ＨＤＲ用画像のＩＳＯ感度は、通常画像より低くなる。
動画撮像を行う場合には、予め設定されたフレームレートまたはユーザにより選択されたフレームレートにより、撮像が行われる。例えば、フレームレートが３０ｆｐｓの場合には、１フレーム期間の時間は３３．３ｍｓであり、フレームレートが６０ｆｐｓの場合には、１フレーム期間の時間は１６．７ｍｓである。
そして例えば、絞りと感度が固定で、３０ｆｐｓで記録している場合、各フレームの露光時間は晴天下では０．３ｍｓ（１／３０００秒）で、日陰では１６．７ｍｓ（１／６０秒）の露光時間にするといった具合に変動させることにより、記録される明るさを一定に保っている。また、露光時間の長さによっては、フレーム間には露光をしていない空白の時間（ブランク）が存在する。
図６は、Ｍ−ＨＤＲ処理における合成画像を生成する例を示す図である。図６（Ａ）には、通常画像におけるダイナミックレンジ（被写体の明るさ）と信号量の関係が示されており、図６（Ｂ）には、ＨＤＲ用画像におけるダイナミックレンジ（被写体の明るさ）と信号量の関係が示されている。
図６（Ａ）に示された通常画像は、ＨＤＲ用画像に比べて露光時間が長い。したがって、通常画像は、白飛びとなる画素が多く、ダイナミックレンジが狭い。一方、通常画像は、黒つぶれが少なく、暗部のノイズの影響が抑制されている。
図６（Ｂ）に示されたＨＤＲ用画像は、通常画像に比べて露光時間が短い。したがって、ＨＤＲ用画像は、白飛びとなる画素が少なく、ダイナミックレンジが広い。一方、ＨＤＲ用画像は、黒つぶれが多く、暗部のノイズの影響が多い。
図６（Ｃ）には、第１のダイナミックレンジ拡大処理で行われる合成画像の生成に関して模式的に示した図である。第１のダイナミックレンジ拡大処理で行われる合成画像の生成は、公知の技術が適用されて行われる。例えば、合成画像の生成では、明部は露光時間が短いＨＤＲ用画像がメインに使用することにより、ダイナミックレンジが広い合成画像が生成される。また、合成画像の生成では、暗部は露光時間が長い通常画像をメインに使用することにより、暗部でのノイズの影響が抑制された合成画像が生成される。なお、図６（Ｃ）の斜線の領域は、通常画像がメインに使用される領域が示されており、斜線がない領域はＨＤＲ用画像がメインに使用される領域が示されている。
第２のダイナミックレンジ拡大処理部３０３は、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う（Ｓ−ＨＤＲ処理）。この場合、撮像部５０により、１フレーム期間に１枚の撮像画像が撮像される。第２のダイナミックレンジ拡大処理部３０３では、公知の技術により、撮像画像の信号の出力値を補正する。例えば、第２のダイナミックレンジ拡大処理部３０３は、暗部の黒つぶれと明部の白飛びとが少なくなるようにトーンカーブを信号にかける補正を行う。なお、第２のダイナミックレンジ拡大処理部３０３が撮像部５０に撮像させる撮像画像は、通常画像よりも露光量が少ないＨＤＲ用画像であることが好ましい。ＨＤＲ用画像の信号の出力値を補正する方が、階調が豊かな補正画像を生成することができる。
図７は、Ｓ−ＨＤＲ処理における補正画像の生成の例を示す図である。図７（Ａ）および図７（Ｂ）は、図６（Ａ）および図６（Ｂ）に対応し、図７（Ａ）は露光時間が長い露光条件で撮像された通常画像であり、図７（Ｂ）は露光時間が短い露光条件で撮像されたＨＤＲ用画像である。
例えば、Ｓ−ＨＤＲ処理を行う場合には、撮像部５０により、ＨＤＲ用画像が撮像される。そして、ＨＤＲ用画像に対してトーンカーブがかけられて、補正画像が生成される。図７（Ｃ）には、図７（Ｂ）に示されたＨＤＲ用画像に対して、暗部では信号量を持ち上げる補正がされており、明部では、白飛びを抑制するように持ち上げる程度を抑制した補正が行われている。
制御部３０５は、第１のダイナミックレンジ拡大処理部３０１または第２のダイナミックレンジ拡大処理部３０３によるダイナミックレンジ拡大処理の実行を制御する。すなわち、制御部３０５において、撮像部５０により取得された画像に対してＭ−ＨＤＲ処理またはＳ−ＨＤＲ処理の実行を制御する。具体的には、制御部３０５は、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部３０１における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部３０１または第２のダイナミックレンジ拡大処理部３０３によるダイナミックレンジ拡大処理を実行させる。
例えば制御部３０５は、１フレーム期間の時間と第１のダイナミックレンジ拡大処理部３０１における複数の撮像画像を行う場合の露光時間の合計時間との比較結果に基づいて、第１のダイナミックレンジ拡大処理部３０１、または、第２のダイナミックレンジ拡大処理部３０３にダイナミックレンジ拡大処理を実行させてもよい。具体例として、制御部３０５は、１フレーム期間の時間と露光時間の合計時間とを大小比較し、１フレーム期間の時間が長い（大きい）場合には第１のダイナミックレンジ拡大処理部３０１にダイナミックレンジ拡大処理を行わせ、１フレーム期間の時間が短い（小さい）場合には第２のダイナミックレンジ拡大処理部３０３にダイナミックレンジ拡大処理を行わせてもよい。
また例えば制御部３０５は、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部３０１における複数の撮像画像の撮像を行う場合の露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部３０１にダイナミックレンジ拡大処理（Ｍ−ＨＤＲ処理）を実行させる。一方、制御部３０５は、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部３０１における複数の撮像画像の撮像を行う場合の露光時間の合計時間より短い場合には、第２のダイナミックレンジ拡大処理部３０３にダイナミックレンジ拡大処理（Ｓ−ＨＤＲ処理）を実行させる。
図８は、Ｍ−ＨＤＲ処理とＳ−ＨＤＲ処理との制御に関して説明する図である。
例えばフレームレートが３０ｆｐｓの場合、１フレーム期間の時間は３３．３ｍｓである。そして、２枚の画像を使うＭ−ＨＤＲ処理において、ＩＳＯ感度を固定して、１Ｅｖ分のＤＲを広げるためには、露光時間が短い画像（ＨＤＲ用画像）と露光時間が長い画像（通常画像）の露光比が１：２になる様に、１１ｍｓ：２２ｍｓの露光時間が必要とされる。ＨＤＲ用画像および通常画像の合計の露光時間が３３ｍｓ（３０ｆｐｓにおける１フレーム期間の時間）以下の場合（図８（Ａ））は、制御部３０５は、第１のダイナミックレンジ拡大処理部３０１に拡大処理を実行させる。
一方、制御部３０５は、暗いシーンの撮像であり、露光時間が、ＨＤＲ用画像で２２ｍｓ、通常画像で４４ｍｓとなり合計露光時間が６６ｍｓとなってしまう場合（図８（Ｂ））には、露光時間の合計時間が１フレーム期間の時間よりも長いので、第２のダイナミックレンジ拡大処理部３０３にＳ−ＨＤＲ処理を行わせる。
このように制御部３０５は、明るいシーンでは、露光時間の合計が１フレーム期間の時間以下の場合には、第１のダイナミックレンジ拡大処理部３０１にＭ−ＨＤＲ処理を行わせる。一方制御部３０５は、暗いシーンでは、１フレーム期間の時間が露光時間の合計より短い場合には、Ｍ−ＨＤＲ処理では同じフレームの表示時間が延びてしまう（フレームレートの変更の発生）ので、第２のダイナミックレンジ拡大処理部３０３にＳ−ＨＤＲ処理を行わせる。
なお図８は、第１のダイナミックレンジ拡大処理部３０１により、２枚の撮像画像から１枚の合成画像が生成される場合である。具体的には、第１のダイナミックレンジ拡大処理部３０１により、撮像部５０に第１の撮像画像および第１の撮像画像よりも露光時間が短い第２の撮像画像を撮像させ、第１の撮像画像および第２の撮像画像から合成画像が生成される例である。一方、第１のダイナミックレンジ拡大処理部３０１により３枚の撮像画像から１枚の合成画像が生成されてもよい。具体的には、第１のダイナミックレンジ拡大処理部３０１により、撮像部５０に、第１の撮像画像、第１の撮像画像よりも露光時間が短い第２の撮像画像、および第２の撮像画像よりも露光時間が短い第３の撮像画像を撮像させ、第１の撮像画像、第２の撮像画像、および第３の撮像画像から合成画像が生成されてもよい。
また制御部３０５は、撮像部５０の撮像において、シャッタースピードが可変であるか否かの判定を行った後に、本実施形態のダイナミックレンジ拡大処理を実行してもよい。すなわち、制御部３０５は、シャッタースピードが可変である場合に、第１のダイナミックレンジ拡大処理部３０１または第２のダイナミックレンジ拡大処理部３０３にダイナミックレンジ拡大処理の実行を行わせる。
次に、本実施形態の撮像工程に関して説明する。図９は、デジタルカメラ２の動作を示すフロー図である。
先ず制御部３０５により、デジタルカメラ２において、シャッタースピードの変更が可能であるか否かが判定される（ステップＳ１０１）。ユーザがシャッタースピードの変更を不可と設定している場合には、シャッタースピードの変更が伴う場合が発生するので、本実施形態のダイナミックレンジ拡大処理は制御部３０５により停止される。
一方、シャッタースピードの変更が可能な場合には、本実施形態の処理が実行される。そして、制御部３０５はデジタルカメラ２に設定されたフレームレート、および撮像するシーンに合わせた露光時間を取得する（ステップＳ１０２）。具体的には、制御部３０５はユーザが設定したフレームレートまたはデジタルカメラ２に予め設定されたフレームレートを取得する。また制御部３０５は、例えば、システム制御部２５において自動的に決定された露光時間を取得する。システム制御部２５は予め設定された条件の下ＡＥにより、ライブビュー画像を基にして、通常画像とＨＤＲ用画像との露光時間を算出する。そして、制御部３０５は、Ｍ−ＨＤＲ処理の合計露光時間とデジタルカメラ２に設定された１フレーム期間の時間との比較を行い、撮像画像に対してＳ−ＨＤＲ処理を行うか、Ｍ−ＨＤＲ処理を行うかの判定を行う（ステップＳ１０３：制御ステップ）。そして、Ｍ−ＨＤＲ処理の合計時間が１フレーム期間の時間よりも長い場合には、Ｓ−ＨＤＲ処理が行われる（ステップＳ１０４）。すなわち、第２のダイナミックレンジ拡大処理部３０３は、撮像部５０に１枚の撮像画像を取得させて、その取得された撮像画像に例えばトーンカーブをかけて補正を行い、Ｓ−ＨＤＲ処理を実行する。
一方、Ｍ−ＨＤＲ処理の合計時間が１フレーム期間の時間以下である場合には、Ｍ−ＨＤＲ処理が行われる（ステップＳ１０５）。すなわち、第１のダイナミックレンジ拡大処理部３０１は、撮像部５０に複数の撮像画像を取得させて、その取得された複数の撮像画像を合成して、Ｍ−ＨＤＲ処理を実行する。
その後、制御部３０５により、撮像部５０で撮像した被写体の動画の記録が終了したか否かに関して、判定される（ステップＳ１０６）。そして、記録終了と判定された場合には、本実施形態の処理は終了する。一方、記録が終了していない場合には、再びシャッタースピードの変更が可能か否かの判定が行われる（ステップＳ１０１）。
上記実施形態において、システム制御部２５および画像処理部３１といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
＜第２の実施形態＞
次に、本発明の第２の実施形態であるデジタルカメラ２に関して説明する。
図１０は、本実施形態のデジタルカメラ２の制御処理系を示すブロック図である。なお、図３で既に説明した箇所は、同じ符号を付し説明は省略する。
本実施形態のデジタルカメラ２では、システム制御部２５に、ＩＳＯ感度変更部３０７を備える。
ＩＳＯ感度変更部３０７は、撮像部５０で撮像される撮像画像のＩＳＯ感度を変更する。すなわち、ＩＳＯ感度変更部３０７は、撮像素子２１、プロセス処理部２２、および／またはＡＤ変換部２３を制御することにより、撮像部５０で取得される画像のＩＳＯ感度を変更する。
ダイナミックレンジ拡大処理のために、露光量を調整するには、露光時間を変更する以外に、感度を変更する方法が考えられる。露光量を変える場合には、露光量が多い画像と露光量が少ない画像のシャッタースピードは同じとなるため、シャッタースピードにより露光量を変える場合よりも、適用できるシャッタースピード範囲が限定される。一方で、ＨＤＲ用画像の感度設定が半分（ダイナミックレンジの拡大量が１ＥＶの場合）になるため、ノイズ量も半減し、シャッタースピード方式のＭ−ＨＤＲ（ＳＳ）処理よりも画質が向上する。
したがって、シャッタースピードに余裕のある範囲では、感度により露光量を調整したＭ−ＨＤＲ（感度）処理を使用し、感度により対応できない領域はシャッタースピードにより調整したＭ−ＨＤＲ（ＳＳ）処理を使用し、シャッタースピードでも対応できない領域はＳ−ＨＤＲ処理を使用する。
具体的に制御部３０５は、ＩＳＯ感度変更部３０７により感度を下げて撮像する場合の１フレーム期間の時間を取得する。そして制御部３０５は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部３０１における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部３０７により感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間とに基づいて、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部３０１または第２のダイナミックレンジ拡大処理部３０３に実行させる。
例えば制御部３０５は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部３０１における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部３０７によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間との比較結果に基づいて、第１のダイナミックレンジ拡大処理部３０１、または、第２のダイナミックレンジ拡大処理部３０３にダイナミックレンジ拡大処理を実行させてもよい。具体例として、制御部３０５は、１フレーム期間の時間と露光時間の合計時間とを大小比較し、１フレーム期間の時間が長い（大きい）場合には第１のダイナミックレンジ拡大処理部３０１にダイナミックレンジ拡大処理を行わせ、１フレーム期間の時間が短い（小さい）場合には第２のダイナミックレンジ拡大処理部３０３にダイナミックレンジ拡大処理を行わせてもよい。
また例えば制御部３０５は、１フレーム期間の時間が、ＩＳＯ感度変更部３０７により感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部３０１の複数の撮像画像のうちの少なくとも１枚の撮像画像の撮像を、ＩＳＯ感度変更部３０７によりＩＳＯ感度を変更して行う。
図１１は、Ｍ−ＨＤＲ（感度）処理、Ｍ−ＨＤＲ（ＳＳ）処理、およびＳ−ＨＤＲ処理における露光時間とＩＳＯ感度との関係を示した図である。なお、図１１に示した例は、フレームレートが３０ｆｐｓであり、ＩＳＯ感度がＩＳＯ３２００に設定した場合である。
例えば、Ｍ−ＨＤＲ（感度）処理の場合には、通常画像の露光時間とＨＤＲ用画像の露光時間とは同じシャッタースピード１６ｍｓで撮像し、感度を通常画像の感度ではＩＳＯ３２００とＨＤＲ用画像の感度ではＩＳＯ１６００と変更する。これにより、露光条件の異なる２枚の撮像画像を撮像部５０に撮像させる。
また、Ｍ−ＨＤＲ（ＳＳ）処理の場合には、通常画像の感度およびＨＤＲ用画像の感度は等しくＩＳＯ３２００と設定し、通常画像の露光時間とＨＤＲ用画像の露光時間とのシャッタースピードをそれぞれ２２ｍｓと１１ｍｓに設定する。
また、Ｓ−ＨＤＲ処理の場合には、撮像部５０に、ＩＳＯ感度３２００またはＩＳＯ感度１６００により、露光時間３３ｍｓで１枚の撮像画像を取得させる。
図１２は、図１１で示した条件による撮像において、１フレーム期間の時間と露光時間の合計時間との関係を示す図である。Ｍ−ＨＤＲ（感度）処理の場合には、１６ｍｓの露光時間により２回の撮像が行われ、露光時間の合計は３２ｍｓとなる。Ｍ−ＨＤＲ（ＳＳ）処理の場合には、２２ｍｓの露光時間の撮像が行われ、且つ１１ｍｓの露光時間の撮像が行われるので、露光時間の合計は３３ｍｓとなる。Ｓ−ＨＤＲ処理の場合には、３３ｍｓの露光時間の撮像が１回行われる。
Ｍ−ＨＤＲ（感度）処理およびＭ−ＨＤＲ（ＳＳ）処理において、露光時間の合計時間が１フレーム期間の時間以下の場合には、ＩＳＯ感度を変更できる場合にはＭ−ＨＤＲ（感度）処理を行い、合計露光時間と１フレーム期間の合計時間との関係において露光時間に余裕が無い場合には、Ｍ−ＨＤＲ（ＳＳ）処理を行い、Ｍ−ＨＤＲ（ＳＳ）処理では対応できない場合（露光時間が長い場合）にはＳ−ＨＤＲ処理が行われる。
次に、本実施形態の撮像工程に関して説明する。図１３は、デジタルカメラ２の動作を示すフロー図である。
先ず、制御部３０５により、デジタルカメラ２において、シャッタースピードの変更が可能であるか否かが判定される（ステップＳ２０１）。ユーザがシャッタースピードの変更を不可と設定している場合には、シャッタースピードのスピードの変更が伴う場合が発生するので、本実施形態の処理は制御部３０５により停止される。
一方、シャッタースピードの変更が可能な場合には、本実施形態の処理が実行される。そして、制御部３０５はデジタルカメラ２に設定されたフレームレート、および撮像するシーンに合わせた露光時間を取得する（ステップＳ２０２）。その後、制御部３０５により、Ｍ−ＨＤＲ（感度）処理の合計露光時間よりも１フレーム期間の時間が長いか否かの判定がされる（ステップＳ２０３）。そして、１フレーム期間の時間がＭ−ＨＤＲ（感度）処理の合計露光時間以上と判定された場合には、制御部３０５は、ＩＳＯ感度が下げられるか否かの判定を行う（ステップＳ２０４）。
制御部３０５は、ＩＳＯ感度が下げられる場合には、第１のダイナミックレンジ拡大処理部３０１により、撮像画像をＭ−ＨＤＲ（感度）処理を実行する（ステップＳ２０５）。
一方、ＩＳＯ感度が下げられない場合には、制御部３０５は、Ｍ−ＨＤＲ（ＳＳ）処理の合計露光時間が１フレーム期間の時間よりも短いか否かを判定する（ステップＳ２０６）。制御部３０５は、１フレーム期間の時間がＭ−ＨＤＲ（ＳＳ）処理の合計露光時間以上の場合には、Ｍ−ＨＤＲ（ＳＳ）処理を行う（ステップＳ２０７）。また、制御部３０５は、１フレーム期間の時間がＭ−ＨＤＲ処理の合計露光時間より短い場合には、Ｓ−ＨＤＲ処理を行う（ステップＳ２０８）。
その後、制御部３０５により、撮像部５０で撮像した被写体の動画の記録が終了したか否かに関して、判定される（ステップＳ２０９）。そして、記録が終了と判定された場合には、本実施形態の処理は終了する。一方、記録が終了していない場合には、再びシャッタースピードの変更が可能か否かの判定が行われる（ステップＳ２０１）。
次に、本実施形態の撮像工程に関して、その他の例に関して説明する。本例においては、Ｍ−ＨＤＲ（感度）処理とＳ−ＨＤＲ処理との切り替えが行われる。すなわち、制御部３０５は、第１のダイナミックレンジ拡大処理部３０１によりＭ−ＨＤＲ（感度）処理が行われない場合には、第２のダイナミックレンジ拡大処理部３０３によりＳ−ＨＤＲ処理を行わせる。
図１４は、本例のデジタルカメラ２の動作を示すフロー図である。
先ず、制御部３０５により、デジタルカメラ２において、シャッタースピードの変更が可能であるか否かが判定される（ステップＳ３０１）。
シャッタースピードの変更が可能な場合には、本例の処理が実行される。そして、制御部３０５はデジタルカメラ２に設定されたフレームレート、および撮像するシーンに合わせた露光時間を取得する（ステップＳ３０２）。その後、制御部３０５により、Ｍ−ＨＤＲ（感度）処理の合計露光時間よりも１フレーム期間の時間が長いか否かの判定がされる（ステップＳ３０３）。そして、１フレーム期間の時間がＭ−ＨＤＲ（感度）処理の合計露光時間以上と判定された場合には、制御部３０５は第１のダイナミックレンジ拡大処理部３０１により、Ｍ−ＨＤＲ（感度）処理を撮像画像に実行する（ステップＳ３０４）。
一方、１フレーム期間の時間がＭ−ＨＤＲ（感度）処理の合計露光時間より短いと判定された場合には、制御部３０５は、第２のダイナミックレンジ拡大処理部３０３によりＳ−ＨＤＲ処理を撮像画像に対して実行する（ステップＳ３０５）。
その後、制御部３０５により、撮像部５０で撮像した被写体の動画の記録が終了したか否かに関して、判定される（ステップＳ３０６）。そして、記録が終了と判定された場合には、本例の処理は終了する。一方、記録が終了していない場合には、再びシャッタースピードの変更が可能か否かの判定が行われる（ステップＳ３０１）。
＜第３の実施形態＞
次に、本発明の第３の実施形態であるデジタルカメラ２に関して説明する。図１５は、本実施形態のデジタルカメラ２の制御処理系を示すブロック図である。
撮像部５０には、減光手段の一例としてＮＤフィルタ５１が設けられている。ＮＤフィルタ５１は、撮像部５０に対して出し入れが可能であることが好ましい。ＮＤフィルタ５１は、ＮＤフィルタ駆動部５３により、撮像部５０に対して出し入れされる。ＮＤフィルタ駆動部５３はシステム制御部２５により制御される。なお、減光手段の他の例として、エレクトロクロミック素子など電気的に透過率が可変なものを使用することも考えられる。
本実施形態の第１のダイナミックレンジ拡大処理部３０１または第２のダイナミックレンジ拡大処理部３０３は、ＮＤフィルタ５１が設けられた撮像部５０により撮像された撮像画像に基づいてダイナミックレンジ拡大処理を実行する。すなわち、第１のダイナミックレンジ拡大処理部３０１は、ＮＤフィルタ５１が設けられた撮像部５０により撮像された撮像画像、およびＮＤフィルタ５１が設けられていない撮像部５０により撮像された撮像画像から合成画像を生成する。
ここでＮＤフィルタ５１の利用形態に関して説明する。非常に明るいシーンでは、デジタルカメラ２のシャッタースピードの変更（露光時間の制御）とＩＳＯ感度の制御との露光量の調整だけでは、露光条件を変えた複数の撮像画像を取得することができない場合が発生する（図１６を参照）。
図１６は、露光条件が異なる複数の撮像画像の取得に関して説明する図である。図１６に示した場合では、最低ＩＳＯ感度がＩＳＯ１００であり、最速シャッタースピードが１／８０００秒であるデジタルカメラ２を使用した場合である。
Ｍ−ＨＤＲ（感度）処理を行う場合には、通常画像が最速シャッタースピードで露光時間が０．１２５ｍｓであり、ＩＳＯ感度がＩＳＯ１００で撮像される。一方で、ＨＤＲ用画像が同じ露光時間で撮像された場合には、ＩＳＯ感度をＩＳＯ５０にしなければならないが、デジタルカメラ２の最低感度はＩＳＯ１００であり、ＩＳＯ５０に設定することができない。
そこで、デジタルカメラ２にＮＤフィルタ５１を備え、Ｍ−ＨＤＲ（感度）処理のＨＤＲ用画像のみにＮＤフィルタ５１を入れることにより、Ｍ−ＨＤＲ（感度）処理の実行を可能とする。
一方、Ｍ−ＨＤＲ（ＳＳ）処理では、通常画像の露光時間が最速シャッタースピードで露光時間が０．１２５ｍｓとなっているので、ＨＤＲ用画像の露光時間を０．０６２５ｍｓと設定をしなければならないが、最速のシャッタースピードは１／８０００である。したがって、このような露光条件で、通常画像を撮像した場合には、Ｍ−ＨＤＲ（ｓｓ）処理は実行できない。
また、ＮＤフィルタ５１を入れてＳ−ＨＤＲ処理による実行は可能であるが、Ｓ−ＨＤＲ処理の場合は、全体の光量が落ちて信号が減るため、Ｓ／Ｎ比が悪化してしまう。したがって、Ｍ−ＨＤＲ（感度）処理であれば、ＨＤＲ用画像にだけＮＤフィルタ５１の効果がかかるため、ノイズが抑制される点で有利である。
＜応用例１＞
次に、本発明の応用例１に関して説明する。本例では、ダイナミックレンジ拡大処理の切り替え箇所が記録される。
具体的には、制御部３０５は、第１のダイナミックレンジ拡大処理部３０１で行われるＭ−ＨＤＲ処理と第２のダイナミックレンジ拡大処理部３０３で行われるＳ−ＨＤＲ処理とのダイナミックレンジ拡大処理の切り替え箇所を記録する。例えば、制御部３０５は、切り替え箇所を動画のファイルのヘッダーまたは、動画のファイルとは別ファイルに記録する。
ダイナミックレンジの広い露光量小の画像（ＨＤＲ用画像）から、トーンカーブにより補正を行うことにより補正画像を生成するＳ−ＨＤＲ処理を使用する場合、暗部のノイズがＭ−ＨＤＲ処理よりも悪くなる。これは、暗い画像になるため、ノイズ量は変わらないのに対して、信号量が減ってしまうためである。したがって、Ｍ−ＨＤＲ処理された動画とＳ−ＨＤＲ処理された動画では、ノイズ感が変わってきてしまう。よって、ユーザが撮像後の動画に対してノイズリダクション処理（ノイズ低減処理）を行う場合には、画質を確認しながらノイズリダクション処理を調整することも可能であるが、ダイナミックレンジ拡大処理が切り替わった箇所が明示されることにより、より正確で迅速なノイズリダクション処理を行うことができる。
そこで、Ｍ−ＨＤＲ処理とＳ−ＨＤＲ処理とで処理方式が変わったことを、動画ファイルのヘッダー領域、または、別ファイルに情報を出力することにより、ユーザが後からノイズ低減処理などをかけ易くする。
また、デジタルカメラ２にノイズリダクション機能を備え、画像処理部３１の制御部３０５により、ダイナミックレンジの拡張量に応じて、自動でノイズリダクションの強度が調整されてもよい。例えば、１ＥＶではノイズリダクションの強度を２倍にし、２ＥＶではノイズリダクションの強度を４倍にしてもよい。
さらに、制御部３０５は、第１のダイナミックレンジ拡大処理部３０１と第２のダイナミックレンジ拡大処理部３０３とのダイナミックレンジ拡大処理の第１の切り替え後、所定時間経過後に、第１のダイナミックレンジ拡大処理部３０１と第２のダイナミックレンジ拡大処理部３０３とのダイナミックレンジ拡大処理の第２の切り替えを行う。このように、所定時間の間、ダイナミックレンジ拡大処理の第１の切り替えを停止する。これにより、ノイズ量が頻繁に切り替わることによるユーザに不快感を与えないようにする。ここで、一定時間とは、例えば、１０秒間、３０秒間、または１分間である。
＜応用例２＞
次に、本発明の応用例２に関して説明する。本例の第１のダイナミックレンジ拡大処理部３０１は、異なるフレームにおいて撮像された複数の撮像画像により合成画像を生成する。
図１７は、本例の合成画像の生成に関して説明する図である。図１７に示す場合では、第１のフレームにおいて通常画像１とＨＤＲ用画像１とが撮像され、第２のフレームにおいて通常画像２とＨＤＲ用画像２とが撮像され、第３のフレームにおいて通常画像３とＨＤＲ用画像３とが撮像されるように各フレームにおいて順次通常画像とＨＤＲ用画像とが撮像されている。そして、第１のダイナミックレンジ拡大処理部３０１は、合成画像１を通常画像１とＨＤＲ用画像１とにより生成し、合成画像２をＨＤＲ用画像１と通常画像２とにより生成し、合成画像３を通常画像２とＨＤＲ用画像２とにより生成し、合成画像４をＨＤＲ用画像２と通常画像３とにより生成している。
このように、合成画像を生成することにより、より多くの合成画像を生成することが可能となり、動画のフレームレートを上げることが可能となる。
＜スマートフォンの構成＞
図１８は、スマートフォン１０１の外観を示す図である。図１８に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、かかる筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。
図１９は、図１８に示すスマートフォン１０１の構成を示すブロック図である。図１９に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部１２０は、主制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。
表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
図１８に示すように、本発明のデジタルカメラ２の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１８に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１８に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱可能な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的または間接的に接続するためのものである。
スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。
ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、および高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。かかる検出結果は、主制御部１００に出力されるものである。
電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮像するデジタルカメラ２である。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１８に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り換えて単独にて撮像してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮像してもよい。
また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画または動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。
上述の画像処理部３１およびシステム制御部２５は、例えば主制御部１００によって実現可能である。
本発明の一の態様である撮像装置は、被写体の動画を撮像する撮像部と、動画のフレームレートに対応させて撮像部に露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行させる制御部と、を備える。
本態様によれば、撮像装置は、動画のフレームレートに対応させて撮像部に露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理が行われる第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を有している。したがって、本態様は、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とを使い分けることにより、被写体のブレが抑制された、暗いシーンまたは明るいシーンに応じた適切なダイナミックレンジ拡大処理を行うことができる。また、制御部により、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部でのダイナミックレンジ拡大処理が制御される。したがって、本態様は、設定されたフレームレートを維持しつつ、適切なダイナミックレンジ拡大処理を行うことができる。
好ましくは、第１のダイナミックレンジ拡大処理部は、露光時間を変えることにより露光条件を変える。
本態様によれば、露光時間を変えて撮像された複数の撮像画像に基づいてダイナミックレンジ拡大処理が行われるので、ノイズ感が同等の複数の撮像画像によりダイナミックレンジ拡大処理が行われ、画質の良い合成画像を得ることができる。
好ましくは、制御部は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間との比較結果に基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行させる。
本態様によれば、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理の実行が制御される。これにより、本態様は、適切なダイナミックレンジ拡大処理を行うことができる。
好ましくは、制御部は、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部にダイナミックレンジ拡大処理を実行させ、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間より短い場合には、第２のダイナミックレンジ拡大処理部にダイナミックレンジ拡大処理を実行させる。
本態様によれば、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部がダイナミックレンジ拡大処理を行う。これにより、本態様は、適切なダイナミックレンジ拡大処理が行われた画質の良い撮像画像を得ることができる。一方、本態様によれば、１フレーム期間の時間が第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間より短い場合には、第２のダイナミックレンジ拡大処理部がダイナミックレンジ拡大処理を行う。これにより、本態様は、被写体のブレが抑制され、設定されたフレームレートを維持してダイナミックレンジ拡大処理が行われた撮像画像を得ることができる。
好ましくは、第１のダイナミックレンジ拡大処理部は、撮像部に第１の撮像画像および第１の撮像画像よりも露光時間が短い第２の撮像画像を撮像させ、第１の撮像画像および第２の撮像画像から合成画像を生成する。
本態様によれば、第１のダイナミックレンジ拡大処理部により、撮像部に第１の撮像画像および第１の撮像画像よりも露光時間が短い第２の撮像画像を撮像させ、第１の撮像画像および第２の撮像画像から合成画像が生成される。これにより本態様は、露光時間が長い第１の撮像画像の暗部と、露光時間が短い第２の撮像画像の明部とを合成することにより、ダイナミックレンジ拡大処理が行われた合成画像を得ることができ、得られた合成画像は暗部および明部において豊かな階調を持つ。
好ましくは、第１のダイナミックレンジ拡大処理部は、撮像部に、第１の撮像画像、第１の撮像画像よりも露光時間が短い第２の撮像画像、および第２の撮像画像よりも露光時間が短い第３の撮像画像を撮像させ、第１の撮像画像、第２の撮像画像、第３の撮像画像から合成画像を生成する。
本態様によれば、第１のダイナミックレンジ拡大処理部により、撮像部に、第１の撮像画像、第１の撮像画像よりも露光時間が短い第２の撮像画像、および第２の撮像画像よりも露光時間が短い第３の撮像画像を撮像させ、第１の撮像画像、第２の撮像画像、第３の撮像画像から合成画像が生成される。これにより本態様は、露光時間が長い第１の撮像画像の暗部と、露光時間が中間である第２の撮像画像の中間部と、露光時間が短い第３の撮像画像の明部とを合成することにより、ダイナミックレンジ拡大処理が行われた合成画像を得ることができ、得られた合成画像は暗部、中間部、および明部において豊かな階調を持つ。
好ましくは、第１のダイナミックレンジ拡大処理部は、ＩＳＯ感度を変えることにより露光条件を変える。
本態様によれば、第１のダイナミックレンジ拡大処理部により、ＩＳＯ感度を変えて撮像された複数の撮像画像に基づいて、ダイナミックレンジ拡大処理が行われる。これにより、本態様は、ＩＳＯ感度を下げた撮像画像がダイナミックレンジ拡大処理に使用されるノイズが抑制され画質の良い画像を得ることができる。
好ましくは、撮像部により撮像される撮像画像のＩＳＯ感度を変更するＩＳＯ感度変更部を備え、制御部は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間とに基づいて、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部に実行させる。
本態様によれば、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間とに基づいて、ダイナミックレンジ拡大処理が制御される。これにより、本態様は、ＩＳＯ感度が変更される場合であっても、フレームレートを維持した、適切なダイナミックレンジ拡大処理を行うことができる。
好ましくは、撮像装置は、撮像部により撮像される撮像画像のＩＳＯ感度を変更するＩＳＯ感度変更部を備え、制御部は、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部に実行させる。
本態様によれば、１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理の実行が制御される。これにより、本態様は、適切なダイナミックレンジ拡大処理を行うことができる。
好ましくは、制御部は、１フレーム期間の時間が、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部の複数の撮像画像のうちの少なくとも１枚の撮像画像の撮像を、ＩＳＯ感度変更部によりＩＳＯ感度を変更して行う。
本態様によれば、１フレーム期間の時間が、ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の露光時間も含めた、露光時間の合計時間以上の場合には、第１のダイナミックレンジ拡大処理部の複数の撮像画像のうちの少なくとも１枚の撮像画像の撮像を、ＩＳＯ感度変更部によりＩＳＯ感度を変更して行う。これにより、本態様は、ＩＳＯ感度を下げて撮像することによりノイズが抑制された撮像画像が取得され、その画像に基づいてダイナミックレンジ拡大処理が実行されるので、画質の良い合成画像を得ることができる。
好ましくは、撮像部には減光手段が設けられており、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部は、減光手段が設けられた撮像部により撮像された撮像画像に基づいてダイナミックレンジ拡大処理を実行する。
本態様によれば、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部は、減光手段が設けられた撮像部により撮像された撮像画像に基づいてダイナミックレンジ拡大処理を実行する。これにより、本態様は、撮像装置の最速のシャッタースピードおよび最低ＩＳＯ感度を超える明るいシーンでも、ダイナミックレンジ拡大処理の実行が可能となる。
好ましくは、減光手段は、ＮＤフィルタである。
好ましくは、撮像部には出し入れが可能なＮＤフィルタが設けられており、第１のダイナミックレンジ拡大処理部は、ＮＤフィルタが設けられた撮像部により撮像された撮像画像、およびＮＤフィルタが設けられていない撮像部により撮像された撮像画像から合成画像を生成する。
本態様によれば、ＮＤフィルタが設けられた撮像部により撮像された撮像画像、およびＮＤフィルタが設けられていない撮像部により撮像された撮像画像から合成画像が生成される。これにより、本態様は、撮像装置の最速のシャッタースピードおよび最低ＩＳＯ感度を超える明るいシーンでも、ダイナミックレンジ拡大処理の実行が可能となる。
好ましくは、制御部は、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の切り替え箇所を記録する。
本態様によれば、制御部により、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の切り替え箇所が記録される。これにより、本態様は、動画が撮像された後に、ダイナミックレンジ拡大処理の切り替え箇所が正確且つ迅速に把握される。例えば、撮像後に動画を編集する場合には、ダイナミックレンジ拡大処理の切り替え箇所を記録により正確且つ迅速に把握できることにより、ユーザに利便性を提供することが可能である。
好ましくは、制御部は、切り替え箇所を動画のファイルのヘッダーまたは、動画のファイルとは別ファイルに記録する。
本態様によれば、制御部により、切り替え箇所を動画のファイルのヘッダーまたは、動画のファイルとは別ファイルに記録されるので、動画が撮像された後に、ダイナミックレンジ拡大処理の切り替え箇所が正確且つ迅速に把握される。
好ましくは、制御部は、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第１の切り替え後、所定時間経過後に、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第２の切り替えを行う。
本態様によれば、制御部により、第１のダイナミックレンジ拡大処理部と第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第１の切り替え後、所定時間経過後でなければ、次のダイナミックレンジ拡大処理の切り替えが行われない。これにより、本態様は、ダイナミックレンジ拡大処理が頻繁に切り替わることに伴う、ノイズ感が頻繁に変わることを抑制して、見やすい動画を生成することができる。
好ましくは、第１のダイナミックレンジ拡大処理部は、異なるフレームにおいて撮像された複数の撮像画像により合成画像を生成する。
本態様によれば、第１のダイナミックレンジ拡大処理部により、異なるフレームにおいて撮像された複数の撮像画像により合成画像が生成されるので、より多くの合成画像を得ることができる。
好ましくは、制御部は、撮像部の撮像において、シャッタースピードが可変であるか否かを判定し、シャッタースピードが可変である場合に、ダイナミックレンジ拡大処理を、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部に実行させる。
本態様によれば、制御部により、シャッタースピードが可変であるか否かが判定され、シャッタースピードが可変である場合に本発明のダイナミックレンジ拡大処理が行われる。これにより、本態様は、ユーザのシャッタースピードの意図を反映させた動画撮像を行うことができる。
本発明の他の態様である撮像方法は、被写体の動画を撮像する撮像部と、動画のフレームレートに対応させて撮像部において露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を備える撮像装置の撮像方法であって、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行を制御するステップ、を含む。
本発明の他の態様であるプログラムは、被写体の動画を撮像する撮像部と、動画のフレームレートに対応させて撮像部において露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を備える撮像装置の撮像方法であって、フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理部における複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理部または第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行を制御するステップ、を含む撮像方法をコンピュータに実行させる。
上記記載から、以下の付記項１に記載の撮像装置を把握することができる。
［付記項１］
被写体の動画を撮像する撮像部と、
動画のフレームレートに対応させて撮像部に露光条件が異なる複数の撮像画像を撮像させ、複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理プロセッサと、
動画のフレームレートに対応させて撮像部に１枚の撮像画像を撮像させ、１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理プロセッサと、
フレームレートの１フレーム期間の時間と、第１のダイナミックレンジ拡大処理プロセッサにおける複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、第１のダイナミックレンジ拡大処理プロセッサまたは第２のダイナミックレンジ拡大処理プロセッサによるダイナミックレンジ拡大処理を実行させる制御プロセッサと、
を備える撮像装置。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２ デジタルカメラ
３ カメラ本体
４ レンズ鏡筒
５ フラッシュ発光部
６ シャッタボタン
７ 電源スイッチ
８ 表示部
９ 操作部
１０ 外部メモリ
１２ レンズ部
２０ メカニカルシャッタ
２１ 撮像素子
２２ プロセス処理部
２３ ＡＤ変換部
２４ メインメモリ
２５ システム制御部
２６ シャッタ駆動部
２７ レンズ駆動部
２８ 電源制御部
２９ 電源
３０ 制御メモリ
３１ 画像処理部
３２ 圧縮伸張部
３３ 記憶制御部
３５ 表示制御部
３６ ユーザインタフェース
５０ 撮像部
５１ ＮＤフィルタ
５３ ＮＤフィルタ駆動部
１００ 主制御部
１０１ スマートフォン
１０２ 筐体
１１０ 無線通信部
１２０ 表示入力部
１２１ 表示パネル
１２２ 操作パネル
１３０ 通話部
１３１ スピーカ
１３２ マイクロホン
１４０ 操作部
１４１ カメラ部
１５０ 記憶部
１５１ 内部記憶部
１５２ 外部記憶部
１６０ 外部入出力部
１７０ ＧＰＳ受信部
１８０ モーションセンサ部
１９０ 電源部
３０１ 第１のダイナミックレンジ拡大処理部
３０３ 第２のダイナミックレンジ拡大処理部
３０５ 制御部
３０７ ＩＳＯ感度変更部

Claims (20)

  1. 被写体の動画を撮像する撮像部と、
    前記動画のフレームレートに対応させて前記撮像部に露光条件が異なる複数の撮像画像を撮像させ、前記複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、
    前記動画のフレームレートに対応させて前記撮像部に１枚の撮像画像を撮像させ、前記１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、
    前記フレームレートの１フレーム期間の時間と、前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行させる制御部と、
    を備える撮像装置。
  2. 前記第１のダイナミックレンジ拡大処理部は、前記露光時間を変えることにより前記露光条件を変える請求項１に記載の撮像装置。
  3. 前記制御部は、前記１フレーム期間の時間と、前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の前記露光時間の合計時間との比較結果に基づいて、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行させる請求項１または２に記載の撮像装置。
  4. 前記制御部は、前記１フレーム期間の時間が前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の前記露光時間の合計時間以上の場合には、前記第１のダイナミックレンジ拡大処理部にダイナミックレンジ拡大処理を実行させ、前記１フレーム期間の時間が前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の前記露光時間の合計時間より短い場合には、前記第２のダイナミックレンジ拡大処理部にダイナミックレンジ拡大処理を実行させる請求項１から３のいずれか１項に記載の撮像装置。
  5. 前記第１のダイナミックレンジ拡大処理部は、前記撮像部に第１の撮像画像および前記第１の撮像画像よりも前記露光時間が短い第２の撮像画像を撮像させ、前記第１の撮像画像および前記第２の撮像画像から前記合成画像を生成する請求項１から４のいずれか１項に記載の撮像装置。
  6. 前記第１のダイナミックレンジ拡大処理部は、前記撮像部に、第１の撮像画像、前記第１の撮像画像よりも前記露光時間が短い第２の撮像画像、および前記第２の撮像画像よりも前記露光時間が短い第３の撮像画像を撮像させ、前記第１の撮像画像、前記第２の撮像画像、前記第３の撮像画像から前記合成画像を生成する請求項１から４のいずれか１項に記載の撮像装置。
  7. 前記第１のダイナミックレンジ拡大処理部は、ＩＳＯ感度を変えることにより前記露光条件を変える請求項１から６のいずれか１項に記載の撮像装置。
  8. 前記撮像部により撮像される撮像画像のＩＳＯ感度を変更するＩＳＯ感度変更部を備え、
    前記制御部は、前記１フレーム期間の時間と、前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の、前記ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の前記露光時間も含めた、前記露光時間の合計時間とに基づいて、ダイナミックレンジ拡大処理を、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部に実行させる請求項７に記載の撮像装置。
  9. 前記撮像部により撮像される撮像画像のＩＳＯ感度を変更するＩＳＯ感度変更部を備え、
    前記制御部は、前記１フレーム期間の時間と、前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の、前記ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の前記露光時間も含めた、前記露光時間の合計時間との比較結果に基づいて、ダイナミックレンジ拡大処理を、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部に実行させる請求項７に記載の撮像装置。
  10. 前記制御部は、前記１フレーム期間の時間が、前記ＩＳＯ感度変更部によりＩＳＯ感度を下げて撮像する場合の前記露光時間も含めた、前記露光時間の合計時間以上の場合には、前記第１のダイナミックレンジ拡大処理部の前記複数の撮像画像のうちの少なくとも１枚の撮像画像の撮像を、前記ＩＳＯ感度変更部によりＩＳＯ感度を変更して行う請求項８または９に記載の撮像装置。
  11. 前記撮像部には減光手段が設けられており、
    前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部は、前記減光手段が設けられた前記撮像部により撮像された撮像画像に基づいてダイナミックレンジ拡大処理を実行する請求項１から１０のいずれか１項に記載の撮像装置。
  12. 前記減光手段は、ＮＤフィルタである請求項１１に記載の撮像装置。
  13. 前記撮像部には出し入れが可能な前記ＮＤフィルタが設けられており、
    前記第１のダイナミックレンジ拡大処理部は、前記ＮＤフィルタが設けられた前記撮像部により撮像された撮像画像、および前記ＮＤフィルタが設けられていない前記撮像部により撮像された撮像画像から前記合成画像を生成する請求項１２に記載の撮像装置。
  14. 前記制御部は、前記第１のダイナミックレンジ拡大処理部と前記第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の切り替え箇所を記録する請求項１から１３のいずれか１項に記載の撮像装置。
  15. 前記制御部は、前記切り替え箇所を前記動画のファイルのヘッダー、または前記動画の前記ファイルとは別ファイルに記録する請求項１４に記載の撮像装置。
  16. 前記制御部は、前記第１のダイナミックレンジ拡大処理部と前記第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第１の切り替え後、所定時間経過後に、前記第１のダイナミックレンジ拡大処理部と前記第２のダイナミックレンジ拡大処理部とのダイナミックレンジ拡大処理の第２の切り替えを行う請求項１から１５のいずれか１項に記載の撮像装置。
  17. 前記第１のダイナミックレンジ拡大処理部は、異なるフレームにおいて撮像された前記複数の撮像画像により前記合成画像を生成する請求項１から１６のいずれか１項に記載の撮像装置。
  18. 前記制御部は、シャッタースピードが可変であるか否かを判定し、前記シャッタースピードが可変である場合に、ダイナミックレンジ拡大処理を、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部に実行させる請求項１から１７のいずれか１項に記載の撮像装置。
  19. 被写体の動画を撮像する撮像部と、前記動画のフレームレートに対応させて前記撮像部において露光条件が異なる複数の撮像画像を撮像させ、前記複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、前記動画のフレームレートに対応させて前記撮像部に１枚の撮像画像を撮像させ、前記１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を備える撮像装置の撮像方法であって、
    前記フレームレートの１フレーム期間の時間と、前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行を制御するステップ、を含む撮像方法。
  20. 被写体の動画を撮像する撮像部と、前記動画のフレームレートに対応させて前記撮像部において露光条件が異なる複数の撮像画像を撮像させ、前記複数の撮像画像から１枚の合成画像を生成することにより、ダイナミックレンジ拡大処理を行う第１のダイナミックレンジ拡大処理部と、前記動画のフレームレートに対応させて前記撮像部に１枚の撮像画像を撮像させ、前記１枚の撮像画像の信号の出力値を補正することにより、ダイナミックレンジ拡大処理を行う第２のダイナミックレンジ拡大処理部と、を備える撮像装置の撮像方法をコンピュータに実行させるプログラムであって、
    前記フレームレートの１フレーム期間の時間と、前記第１のダイナミックレンジ拡大処理部における前記複数の撮像画像の撮像を行う場合の露光時間の合計時間とに基づいて、前記第１のダイナミックレンジ拡大処理部または前記第２のダイナミックレンジ拡大処理部によるダイナミックレンジ拡大処理を実行を制御するステップ、を含む撮像方法をコンピュータに実行させるプログラム。
JP2019544273A 2017-09-29 2018-06-26 撮像装置、撮像方法、およびプログラム Active JP6911135B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017190536 2017-09-29
JP2017190536 2017-09-29
PCT/JP2018/024136 WO2019064757A1 (ja) 2017-09-29 2018-06-26 撮像装置、撮像方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019064757A1 true JPWO2019064757A1 (ja) 2020-11-05
JP6911135B2 JP6911135B2 (ja) 2021-07-28

Family

ID=65901491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544273A Active JP6911135B2 (ja) 2017-09-29 2018-06-26 撮像装置、撮像方法、およびプログラム

Country Status (4)

Country Link
US (1) US11032483B2 (ja)
JP (1) JP6911135B2 (ja)
CN (1) CN111095912B (ja)
WO (1) WO2019064757A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7232014B2 (ja) * 2018-11-06 2023-03-02 キヤノン株式会社 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
CN110213498B (zh) * 2019-05-29 2021-04-23 Oppo广东移动通信有限公司 图像生成方法和装置、电子设备、计算机可读存储介质
CN112217999B (zh) * 2020-09-23 2022-02-18 浙江大华技术股份有限公司 一种宽动态模式的调整方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264738A (ja) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd デジタルカメラ
JP2012119761A (ja) * 2010-11-29 2012-06-21 Sanyo Electric Co Ltd 電子機器、画像処理方法及びプログラム
JP2015033020A (ja) * 2013-08-02 2015-02-16 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP2010239277A (ja) 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP5439197B2 (ja) * 2010-01-15 2014-03-12 オリンパスイメージング株式会社 撮像装置、撮像方法、および、撮像プログラム
KR101700362B1 (ko) * 2010-08-16 2017-01-31 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
JP5797003B2 (ja) * 2011-05-10 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5877693B2 (ja) * 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム
TWI521964B (zh) * 2012-02-13 2016-02-11 宏達國際電子股份有限公司 曝光値調整裝置、曝光値調整方法及其電腦程式產品
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
JP6118118B2 (ja) 2013-01-25 2017-04-19 キヤノン株式会社 撮像装置およびその制御方法
JP6159105B2 (ja) * 2013-03-06 2017-07-05 キヤノン株式会社 撮像装置及びその制御方法
CN103400342A (zh) * 2013-07-04 2013-11-20 西安电子科技大学 基于混合色阶映射及压缩系数的高动态范围图像重构方法
CN103873781B (zh) * 2014-03-27 2017-03-29 成都动力视讯科技股份有限公司 一种宽动态摄像机实现方法及装置
JP6734649B2 (ja) * 2015-12-28 2020-08-05 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264738A (ja) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd デジタルカメラ
JP2012119761A (ja) * 2010-11-29 2012-06-21 Sanyo Electric Co Ltd 電子機器、画像処理方法及びプログラム
JP2015033020A (ja) * 2013-08-02 2015-02-16 キヤノン株式会社 撮像装置、撮像方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
WO2019064757A1 (ja) 2019-04-04
JP6911135B2 (ja) 2021-07-28
CN111095912B (zh) 2021-08-06
US20200204722A1 (en) 2020-06-25
CN111095912A (zh) 2020-05-01
US11032483B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
US10165243B2 (en) Image processing device, imaging device, image processing method, and program
JP5683745B2 (ja) 画像表示装置及び方法
KR20190073518A (ko) 광학 촬영 방법 및 장치
JP6302555B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10021361B2 (en) Image processing device, imaging device, image processing method, and program
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
JP6911135B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6921972B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6534780B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
WO2022071270A1 (ja) 撮像装置、撮像方法、及び撮像プログラム
JPWO2019193889A1 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210707

R150 Certificate of patent or registration of utility model

Ref document number: 6911135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150