JP5316625B2 - 画像合成装置、及びプログラム - Google Patents

画像合成装置、及びプログラム Download PDF

Info

Publication number
JP5316625B2
JP5316625B2 JP2011247704A JP2011247704A JP5316625B2 JP 5316625 B2 JP5316625 B2 JP 5316625B2 JP 2011247704 A JP2011247704 A JP 2011247704A JP 2011247704 A JP2011247704 A JP 2011247704A JP 5316625 B2 JP5316625 B2 JP 5316625B2
Authority
JP
Japan
Prior art keywords
image
image data
unit
data
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011247704A
Other languages
English (en)
Other versions
JP2013106141A (ja
Inventor
佳嗣 真鍋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011247704A priority Critical patent/JP5316625B2/ja
Priority to US13/670,717 priority patent/US8988548B2/en
Priority to CN2012104457962A priority patent/CN103108192A/zh
Publication of JP2013106141A publication Critical patent/JP2013106141A/ja
Application granted granted Critical
Publication of JP5316625B2 publication Critical patent/JP5316625B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像のダイナミックレンジの補正が可能な画像合成装置及びプログラムに関する。
近年、撮像等により得られた画像の鑑賞に対する品質を向上させる目的で、当該画像のデータに対して各種画像処理が施されるようになっている。
このような画像処理の一種として、ハイダイナミックレンジ合成が知られている（特許文献１参照）。ハイダイナミックレンジ合成とは、それぞれ露出値を異ならせた略同一画角の複数の画像のデータを画素加算合成することで、幅広いダイナミックレンジを表現する画像のデータを生成する画像処理をいう。
なお、以下、特段の説明が無い場合、このような合成処理を加えた画像を、「ハイダイナミックレンジ合成画像（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ合成画像）」、又は、「ＨＤＲ合成画像」と呼ぶ。
特開２００６−３４５５０９号公報
しかしながら、上述の合成処理は撮像時の画角の再現性を高めることがその目的であるため、その目的外で過度に色空間の各パラメータを調整し、かつ、現実感を失わせないような画像を得たい場合、その撮像画像が本来有する色彩を保ちつつ、新たな描画処理を実行しなければならないという問題がある。
本発明は、このような状況に鑑みてなされたものであり、撮像画像に基づいて、過度に色空間の各パラメータを調整しながらも、撮像画像が本来有する色彩感を失わせないような画像を生成することを目的とする。
上記目的を達成するため、本発明の一態様の画像合成装置は、
露光時間を変えて順次撮像された複数の画像データのうちの何れかの画像データにおける、特定の色を有する画素領域の明るさに関する数値を取得する情報取得手段と、
この情報取得手段によって取得された数値を調整し、調整された前記数値に基づき、前記複数の画像データを画素加算する際の合成比率を設定する調整手段と、
前記設定された合成比率に基づいて、前記複数の画像データの加算の度合いを変えて、前記複数の画像データを画素加算することにより、ダイナミックレンジを拡大させた合成画像データを生成する合成手段と、
を備えることを特徴とする。
本発明によれば、撮像画像に基づいて、過度に色空間の各パラメータを調整し、かつ、現実感を失わせないような画像を生成することができる。
本発明の一実施形態に係る撮像装置の回路構成図である。 図１の画像合成装置の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。 図２の画像合成装置のＹＵＶ／ＨＳＶ変換部により変換された適正露出ＨＳＶ画像を示す図である。 図２の画像合成装置の色領域設定部により作成された色マップのうち、緑色に対応する色領域を示す色マップ（緑）を示す図である。 図２の画像合成装置の画像処理部が実行する画像合成処理の流れの一例を示すフローチャートである。 図１の画像合成装置の機能的構成のうち、画像加工処理を実行するための機能的構成を示す機能ブロック図である。 図２の画像合成装置の画像処理部２０が実行する画像加工処理の流れの一例を示すフローチャートである。 図６の画像合成装置の強調画像生成部が実行するＹ成分強調処理の流れの一例を示すフローチャートである。 図６の画像合成装置の強調画像生成部が実行するＵＶ成分強調処理の流れの一例を示すフローチャートである。
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の画像合成装置の一実施形態のハードウェア構成を示すブロック図である。
画像合成装置１は、撮像装置として構成されている。具体的には、画像合成装置１は、撮像部１１と、駆動制御部１２と、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ；相関二重サンプリング回路）／ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ；アナログ／デジタル変換器）１３と、キー入力部１４と、表示部１５と、画像記録部１６と、プログラムメモリ１７と、ＲＡＭ１８と、制御部１９と、画像処理部２０と、ドライブ２１と、を備えている。これらはバスラインを介して接続されている。
キー入力部１４は、撮影者の記録指示を検出するためのシャッターキー３１を備えている。
撮像部１１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサと、このイメージセンサ上に設けられたＲＧＢのカラーフィルタと、ドライバと、を内蔵する。ドライバは、後述の駆動制御部１２の制御により、光の強度を電荷の蓄積として一定時間保持し、アナログの信号に変換してＣＤＳ／ＡＤＣ１３に出力する。
撮像部１１は、シャッターキー３１、制御部１９、及び駆動制御部１２を経由した撮影者の撮影指示を検出することで、露光条件（シャッタースピード、若しくは絞り値）を変えながら、露出アンダー、適正露出、露出オーバーを含む複数の画像（カラー画像）についてのアナログの信号（以下、「撮像信号」と呼ぶ）をＣＤＳ／ＡＤＣ１３に出力する。
ＣＤＳ／ＡＤＣ１３は、ＣＤＳと、ゲイン調整アンプ（ＡＧＣ；Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）と、Ａ／Ｄ変換器（ＡＤＣ）と、を含むように構成されている。
撮像信号が撮像部１１から出力されてＣＤＳ／ＡＤＣ１３に入力されると、ＣＤＳは撮像信号を保持し、ゲイン調整アンプは撮像信号を増幅し、Ａ／Ｄ変換器は、増幅後の撮像信号をデジタルの信号（以下、「撮像画像」のデータと呼ぶ）に変換して出力する。
なお、ゲイン調整アンプの調整に関わる制御についても、駆動制御部１２からの指示に基いて実行される。このため、露光条件（シャッタースピード、若しくは絞り値）を同じくして複数枚の撮像画像のデータが取得された場合でも、ＲＧＢのゲイン調整アンプや画像の色味を順次変えることによって、複数の条件の異なる撮像画像のデータが生成される。
キー入力部１４は、上述のシャッターキー３１の他、撮像画像のデータの取得や記録を目的とする撮影モードへの切換や、表示の切換等を検出するための各種キーを備えている。
表示部１５は、後述の画像処理部２０により画像合成処理が施された撮像画像を表示する。
画像記録部１６は、後述の画像処理部２０により画像合成処理が施され、さらにＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式で圧縮符号化された撮像画像のデータを、画像ファイルの形態で記録する。
プログラムメモリ１７は、制御部１９や画像処理部２０にて実行されるプログラムを記憶する。プログラムは、必要に応じて制御部１９により、プログラムメモリ１７により読み出される。
ＲＡＭ１８は、各種処理により発生する処理中のデータを一時的に保持する。制御部１９は撮像装置全体の処理動作を制御する。
画像処理部２０は、ＪＰＥＧ方式で圧縮符号化／復号伸長化処理や、本発明に係る画像合成処理等、各種画像処理を実行する。
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア４１が適宜装着される。
ドライブ２１によってリムーバブルメディア４１から読み出されたプログラムは、必要に応じてプログラムメモリ１７にインストールされる。
また、リムーバブルメディア４１は、画像記録部１６に記録されている撮像画像のデータ等の各種データも、画像記録部１６と同様に記憶することができる。即ち、リムーバブルメディア４１は、内蔵メモリとしての画像記録部１６に対して提供するための、新たな画像のデータを記憶する画像提供媒体として機能する。
次に画像合成処理を実行する機能について、図２の機能ブロック図を用いて説明する。
図２は、図１の画像合成装置１の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。
本実施形態でいう画像合成処理とは、露出が各々異なる複数の撮像画像のデータを合成することで、合成ＹＵＶ画像のデータを生成する処理をいう。
具体的には、画像合成処理において、撮像部１１及びＣＤＳ／ＡＤＣ１３を経て、露光条件（シャッタースピード、絞り値、若しくは、ゲイン調整値）を変えながら連写されて取得された複数の撮像画像のデータが、ＹＵＶ色空間で規定される輝度成分を示す輝度信号（Ｙ）と、それ以外の成分、具体的には色差成分のうち青色の色差信号（Ｃｂ：“Ｂ−Ｙ”、以下単に「Ｕ」と呼ぶ）と、同色差成分のうち赤色の色差信号（Ｃｒ：“Ｒ−Ｙ”以下単に「Ｖ」と呼ぶ）とに分離された後、画素加算合成される。その結果、過度に色空間の各パラメータが調整されていても現実感を失わせないような合成ＹＵＶ画像のデータが得られる、という効果を奏することが可能になる。
特に、画像合成処理では、単純に画像全体が一律にコントラストや彩度について強調されるように画素加算合成されるのではなく、自然界に存在する植物や生物に含まれる特定の色を有する領域については、画素単位で適応的に調整された輝度値を用いて、画素単位に比率を変更して画素加算合成される。その結果、上述の効果がより顕著なものとなり、かつ、より過度に色空間の各パラメータを調整しても、自然味のある撮像画像のデータが得られる。
画像合成処理が実行される場合には、図２に示すように、画像合成装置１の画像処理部２０において、ＹＵＶ／Ｙ変換部５１と、ＹＵＶ／ＨＳＶ変換部５２と、情報取得部５３と、画像調整部５４と、εフィルタ部５５と、合成部５６と、が機能する。
ただし、図２は例示であり、画像処理部２０の機能の少なくとも一部を制御部１９に委譲してもよいし、逆に、制御部１９の機能の少なくとも一部を画像処理部２０に委譲してもよい。
本実施形態では、露出条件が各々異なる複数の撮像画像のデータとして、図２に示すように、適正露出値の画像（以下、「適正露出値画像」と呼ぶ）、適正露出値を超えた露出値の画像（以下、「露出値オーバー画像」と呼ぶ）、及び適正露出値未満の露出値の画像（以下、「露出値アンダー画像」と呼ぶ）の各データが画像処理部２０に入力される。
ここで、適正な露出値とは、必ずしも撮像時の条件として適正な露出値であることを意味せず、露出値オーバー画像及び露出値アンダー画像の各々を撮像した時に用いた２つの露出値の間の中間的な露出値も含まれる。
なお、適正露出値画像、露出値オーバー画像、及び露出値アンダー画像の各データの共有元は、本実施形態では撮像部１１及びＣＤＳ／ＡＤＣ１３であるが、特にこれに限定されず、リムーバブルメディア４１であってもよいし、図１には図示しないが他の装置と通信可能な機能を有する画像合成装置１であれば、他の装置であってもよい。
ＹＵＶ／Ｙ変換部５１は、本実施形態では適正露出値画像のデータについて、ＹＵＶ色空間で規定される、輝度成分を示す輝度信号（Ｙ）と、それ以外の成分、具体的には青色成分の差分信号（Ｕ）と、赤色成分の差分信号（Ｖ）との３要素の成分のうち、Ｙ成分のみを分離して出力する。
このようにしてＹＵＶ／Ｙ変換部５１により適正露出値画像のデータからＹ成分のみが分離されて、当該ＹＵＶ／Ｙ変換部５１から出力されたデータを、以下、「適正露出値Ｙ画像のデータ」と呼ぶ。適正露出値Ｙ画像のデータは、画像調整部５４に供給される。
即ち、ＹＵＶ／Ｙ変換部５１は、適正露出値ＹＵＶ画像のデータから、輝度値に関する情報のみを適正露出値Ｙ画像のデータとして抽出し、画像調整部５４に供給する。
ＹＵＶ／ＨＳＶ変換部５２は、本実施形態では適正露出値画像のデータの形態を、ＹＵＶ色空間で規定される画像データ（ＹＵＶ画像データ）から、ＨＳＶ色空間で規定される画像データ（ＨＳＶ画像データ）に変換して出力する。このようにしてＹＵＶ／ＨＳＶ変換部５２からＨＳＶ画像データの形態で出力される適正露出値画像のデータを、以下、「適正露出値ＨＳＶ画像のデータ」と呼ぶ
具体的には、ＹＵＶ／ＨＳＶ変換部５２は、ＹＵＶ画像データの形態の適正露出値画像のデータから、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒｔｉｏｎ／Ｃｈｒｏｍａ）及び明度（Ｖ：Ｂｒｉｇｈｔｎｅｓｓ Ｌｉｇｈｔｎｅｓｓ Ｖａｌｕｅ）の３つの成分を抽出し、これらの３つの成分を適正露出値ＨＳＶ画像のデータとして出力する。
適正露出値ＨＳＶ画像のデータは、情報取得部５３に供給される。
情報取得部５３は、ＹＵＶ／ＨＳＶ変換部５２から出力された適正露出値ＨＳＶ画像のデータに含まれる、特定の色を有する画素領域の明るさに関する数値を取得する。本実施形態においては、撮像画像本来の色彩感を残すべき特定の色として、自然界の樹木の葉の色、即ち緑色が採用されている。
このように、適正露出値ＨＳＶ画像のデータに含まれる、特定の色を有する画素領域の明るさに関する数値を取得する場合には、図２に示すように、画像合成装置１の情報取得部５３において、色領域判定部６１と、色領域設定部６２と、が機能する。
色領域判定部６１は、ＹＵＶ／ＨＳＶ変換部５２から出力された適正露出値ＨＳＶ画像のデータに対し、画素単位毎に色レベルを算出する。色領域判定部６１は、画素単位毎に算出した色レベルに基づいて、各色に対応する色領域を判定する。色領域判定部６１は、判定した色領域の情報を色領域設定部６２に供給する。
色領域設定部６２は、色領域判定部６１において判定された色領域に基づいて、判定された各色毎の各画素値からなる複数の色マップｎを作成する（ｎは１以上の整数を表す）。
以下、色領域設定部６２による色マップの作成の詳細について、図３及び図４を参照して説明する。
図３は、緑色の葉１０１を含む、ＹＵＶ／ＨＳＶ変換部５２により変換された適正露出ＨＳＶ画像の一例を示す図である。
図４は、色領域設定部６２により作成された色マップのうち、緑色に対応する色領域を示す色マップ（緑）の一例を示す図である。
色領域設定部６２は、ＹＵＶ／ＨＳＶ変換部５２から出力された適正露出ＨＳＶ画像のデータのうち、特定の色について、各画素で色相に関する色レベル（Ｈ）と、彩度に関する色レベル（Ｓ）と、明度に関する色レベル（Ｖ）との３つの成分を抽出する。そして、色領域設定部６２は、各画素において、下記の式（１）に基づいて最終色レベルを算出する。
最終色レベル＝（色レベル（Ｈ）×色レベル（Ｓ）×色レベル（Ｖ））／（２５５×２５５）・・・（１）
本実施形態においては、色領域設定部６２は、緑色について、各画素で色相に関する緑色レベル（Ｈ）と、彩度に関する緑色レベル（Ｓ）と、明度に関する緑色レベル（Ｖ）の３つの成分を抽出する。そして、色領域設定部６２は、各画素において、式（１）に基づき、緑色についての最終色（緑）レベルを算出する。そして、色領域設定部６２は、各画素で算出した緑色の最終色レベルに基づいて、当該緑色に対応する色領域を作成する。
図４においては、図３の緑色の葉１０１に対応する各画素の領域１０２が、緑色に対応する色領域として示されている。
後述の画像調整部５４が色領域設定部６２により作成された複数の色マップｎを解析することにより、各色における輝度値を取得することができる。色領域設定部６２は、色毎に作成した複数の色マップｎの情報を画像調整部５４に供給する。
図２の画像調整部５４は、適正露出Ｙ画像のデータを処理対象として、情報取得部５３の色領域設定部６２により作成された複数の色マップｎの情報に基づき、特定の色に対する輝度値に、予め設定された値を加算又は減算することにより、特定の色に対する輝度値を調整する。なお、このようにして画像調整部５４により、特定の色に対する輝度値が調整された後の適正露出Ｙ画像のデータを、以下、「調整後Ｙ画像のデータ」と呼ぶ。
例えば、「緑色」のように、後述の画像加工処理で、撮像画像本来の色彩感を残すため、過度に明るくなるのを抑えたい色の場合、画像調整部５４は、適正露出値Ｙ画像の該当する色領域部分を暗くするように調整することで、明るい露出画像、即ち、露出値オーバーＹＵＶ画像の合成比率を下げることができる。
具体的には、画像調整部５４は、適正露出値Ｙ画像のデータのうち緑色の色領域部分のデータ（輝度を示すピクセル値）に、緑色に対応する色マップのピクセル値を加算することで、当該色領域成分を調整する。
より具体的には、画像調整部５４は、適正露出値Ｙ画像のデータのうち緑色の色領域部分のデータ（輝度を示すピクセル値）を、１段階下げるように減算する。これにより、画像調整部５４により得られた調整後Ｙ画像のデータは、適正露出値Ｙ画像のデータと比較して、緑色の領域が若干暗くなる。
これに対し、後述の画像加工処理で、撮像画像本来の色彩感を残すため、過度に暗くなるのを抑えたい色の場合、画像調整部５４は、適正露出値Ｙ画像の該当する色領域部分を明るくするように調整することで、暗い露出画像、即ち、露出値アンダーＹＵＶ画像の合成比率を下げることができる。
具体的には、画像調整部５４は、適正露出値Ｙ画像のデータのうち暗くなるのを抑えたい色の色領域部分のデータ（輝度を示すピクセル値）に、暗くなるのを抑えたい色に対応する色マップのピクセル値を減算することで、当該色領域成分を調整する。
より具体的には、画像調整部５４は、適正露出値Ｙ画像のデータのうち暗くなるのを抑えたい色の色領域部分のデータ（輝度を示すピクセル値）を、１段階上げるように加算する。これにより、画像調整部５４により得られた調整後Ｙ画像のデータは、適正露出値Ｙ画像のデータと比較して、暗くなるのを抑えたい色の領域が若干明るくなる。画像調整部５４は、調整後Ｙ画像のデータをεフィルタ部５５に供給する。画像調整部５４は、本願発明の調整手段に相当する。
εフィルタ部５５は、画像調整部５４から供給された調整後Ｙ画像のデータに対して、εフィルタをかけることによって、平均化された画像のデータを生成し、生成した画像のデータを合成部５６に供給する。ここで、εフィルタ部５５から出力される画像のデータ、即ち、調整後Ｙ画像のデータに対してεフィルタをかけることによって得られる画像のデータは、後述するように、画像加工処理用のデータとして用いられる。そこで、以下、当該データを「合成マップ」と呼ぶ。
合成部５６は、εフィルタ部５５から出力された合成マップに基づき適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各データを画素加算合成することによって、合成ＹＵＶ画像のデータを生成する。
なお、合成部５６が実行する合成処理の種類は、特に限定されないが、従来のＨＤＲ合成画像のデータを生成するための合成処理と比較して、ダイナミックレンジ拡大効果を強めにした合成処理を採用するとよい。
また、その効果を強める手法も、特に限定されず、例えば、撮影時に露出値アンダーと露出値オーバー差（振り幅）を大きくする、合成枚数を増やす、その他色味等のゲインパラメータを変更する等の手法を採用することができる。
本実施形態では、合成部５６は、合成処理として、次のような一連の処理を実行するものとする。
本実施形態では、合成マップ、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各データの各々が個別に合成部５６に入力される。
合成部５６は、特定の色について輝度値が調整された合成マップに基づいて、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各データを画素加算合成することによって、合成画像のデータを生成する。このようにして生成される合成画像のデータを、以下、「ＨＤＲ合成ＹＵＶ画像のデータ」と呼び、ＨＤＲ合成ＹＵＶ画像のデータが生成される一連の処理を、以下、「ＹＵＶ成分合成処理」と呼ぶ。このようなＹＵＶ成分合成処理により生成された合成ＹＵＶ画像のデータは、白飛びや黒つぶれがなく、かつ広いダイナミックレンジを持ったＹＵＶ成分となる。
ここで、本実施形態では、ＹＵＶ成分合成処理において、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各々のデータは、合成マップに基づく所定の合成比率に従って画素加算合成される。
合成マップに基づく合成比率とは、２以上の画像のデータが画素加算合成される場合、各々の画像のデータの混合の割合をいう。
例えば、合成マップにおいて明るい領域については、露出値アンダーＹＵＶ画像の合成比率を大きくする。具体的には、合成マップにおいて明るい領域については、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各々のデータの合成比率の各々を、７０％、０％、３０％とする。そして、適正露出値ＹＵＶ画像のデータの７０％と、露出値アンダーＹＵＶ画像のデータの３０％とが混合された結果得られるデータが、合成ＹＵＶ画像のデータになる。
なお、露出値オーバーＹＵＶ画像のデータを合成に用いない場合は、混合比率は０％にする。
これに対し、合成マップにおいて暗い領域については、露出値オーバーＹＵＶ画像の合成比率を大きくする。具体的には、合成マップにおいて暗い領域については、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各々のデータの合成比率の各々を、７０％、３０％、０％とする。そして、適正露出値ＹＵＶ画像のデータの７０％と、露出値オーバーＹＵＶ画像のデータの３０％とが混合された結果得られるデータが、合成ＹＵＶ画像のデータになる。
なお、露出値オーバーＹＵＶ画像のデータを合成に用いない場合は、混合比率は０％にする。
このように、特定の色に対し輝度（コントラスト）が調整されたＨＤＲ合成ＹＵＶ画像のデータが得られる。したがって、これらをあわせたＨＤＲ合成画像のデータは、従来よりも、白飛びや黒つぶれの少ない幅広いダイナミックレンジを持ち、かつ、彩度も適切に調整された画像のデータになる。さらに、過度に色空間の各パラメータを調整しても、自然味のある画像を生成することができる。
このようにして、合成部５６からは、生成された合成ＹＵＶ画像のデータが出力される。
画像処理部２０は、合成部５６から出力される合成ＹＵＶ画像のデータに対してコントラストの強調処理及び彩度の強調処理を、それぞれ施す。
画像処理部２０は、コントラストの強調処理として、合成ＹＵＶ画像のデータに対して、図示しないが、２種類の周波数帯域（例えば低域及び中域）でアンシャープマスク処理をそれぞれ施すことによって、局所的にコントラストを強調する。
２種類の周波数帯域（例えば低域及び中域）でアンシャープマスク処理をそれぞれ施す際には、合成ＹＵＶ画像のデータの平滑化が行われる。
このような平滑化のために用いるフィルタは、特に限定されず、通常のＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を採用してもよいが、エッジ保存型のεフィルタやバイラテラルフィルタを採用すると好適である。局所的にコントラスト成分を強調する際に発生するアンダーシュートやオーバーシュートを低減させることができるからである。
また、画像処理部２０は、彩度の強調処理として、合成ＹＵＶ画像のデータに対して、所定のゲイン（以下、「ＵＶゲイン」と呼ぶ）を強調量として用いて、彩度を強調する処理を実行する。
この場合の彩度を強調する処理は、全体強調処理と部分強調処理との２種類に大別される。
全体強調処理とは、画像全体の印象を派手にするように、彩度を強調する処理をいう。
部分強調処理とは、Ｙ成分強調処理用の強調量と連動させた強調量を用いて、彩度を強調する処理をいう。
なお、以下、コントラストの強調処理用の強調量を、「コントラスト強調量」と呼ぶ。一方、彩度の強調処理用の強調量を、「彩度強調量」と呼ぶ。彩度強調量は、さらに、全体強調処理で用いられる強調量と、部分強調処理で用いられる強調量とに大別され、前者を、以下、「全体彩度強調量」と呼び、後者を、以下、「部分彩度強調量」と呼ぶ。
この場合、コントラスト強調量と部分彩度強調量とが連動することになる。これにより、コントラスト強調部分の色のりが向上し、立体感が生まれた画像を得ることが可能になる。
次に、図５のフローチャートを参照して、このような機能的構成を有する図２の画像合成装置が実行する画像合成処理について説明する。
図５は、画像合成処理の流れの一例を示すフローチャートである。
ステップＳ１１において、画像処理部２０は、露出値が各々異なる複数の画像のデータを取得する。具体的には、画像処理部２０は、適正露出値画像、露出値オーバー画像、及び露出値アンダー画像のデータを取得する。
ステップＳ１２において、ＹＵＶ／Ｙ変換部５１は、画像処理部２０において取得された適正露出値ＹＵＶ画像を適正露出値Ｙ画像に変換する。具体的には、ＹＵＶ／Ｙ変換部５１は、適正露出値ＹＵＶ画像のデータからＹ成分のみを分離して出力する。
ステップＳ１３において、ＹＵＶ／ＨＳＶ変換部５２は、画像処理部２０において取得された適正露出値ＹＵＶ画像を適正露出値ＨＳＶ画像に変換する。具体的には、ＹＵＶ／ＨＳＶ変換部５２は、適正露出値ＹＵＶ画像のデータから、色相、彩度及び明度の３つの成分を抽出し、これらの３つの成分を適正露出値ＨＳＶ画像のデータとして出力する。
ステップＳ１４において、情報取得部５３の色領域判定部６１は、ステップＳ１３において出力された適正露出値ＨＳＶ画像のデータに対し、画素単位毎に色レベルを算出する。
ステップＳ１５において、情報取得部５３の色領域判定部６１は、ステップＳ１４において算出した色レベルに基づいて、各色に対応する色領域を判定する。
ステップＳ１６において、情報取得部５３の色領域設定部６２は、ステップＳ１５において判定された色領域に基づいて、判定された各色毎の各画素値からなる複数の色マップｎを作成する。
ステップＳ１７において、画像調整部５４は、適正露出Ｙ画像のデータを処理対象として、ステップＳ１６において作成された複数の色マップｎの情報に基づき、特定の色に対する輝度値を調整する。
ステップＳ１８において、εフィルタ部５５は、輝度値が調整された調整後Ｙ画像から平均化された画像のデータを生成し、合成マップを出力する。
ステップＳ１９において、合成部５６は、ステップＳ１８において出力された合成マップに基づき、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像、及び露出値アンダーＹＵＶ画像の各画像のデータを画素加算合成し、合成ＹＵＶ画像のデータを生成する。
即ち、合成部５６は、露出値が各々異なる複数の画像のデータを画素加算合成することによって、合成ＹＵＶ画像のデータを生成する。
具体的には、本実施形態では、適正露出値画像、露出値オーバー画像、及び露出値アンダー画像の各データが、ステップＳ１１の処理で取得されて、ステップＳ１９の処理で画素加算合成されることによって、合成ＹＵＶ画像のデータが生成される。
次に画像加工処理を実行する機能について、図６の機能ブロック図を用いて説明する。
図６は、このような画像合成装置１の機能的構成のうち、画像加工処理を実行するための機能的構成を示す機能ブロック図である。
本実施形態で詳述する画像加工処理とは、処理対象となる画像同士を画素加算合成し、さらに、その合成後、コントラストや鮮やかさ（彩度）を強調させる処理をいう。
また上記合成処理においては、撮像部１１、ＣＤＳ／ＡＤＣ部１３を経て、露光条件（シャッタースピード、絞り値、若しくは、ゲイン調整値）を変えながら連写されて取得された複数の画像について、これらの画像のデータの各々が、ＹＵＶ色空間で規定される輝度成分を示す輝度信号（Ｙ）と、それ以外の成分、具体的には色差成分のうち青色の色差信号（Ｕ）と、同色差成分のうち赤色の色差信号（Ｖ）との３要素の成分のうち、Ｙ成分（輝度成分）とＵＶ成分（各色差成分）とに分離され、この分離後の複数のＹ成分について画素加算合成され、また分離後の複数のＵＶ成分についても個別に画素加算合成される。
また、上記の合成処理により生成されたＨＤＲ合成画像のデータの輝度信号（Ｙ）と、青色成分の色差信号（Ｕ）と、赤色成分の色差信号（Ｖ）との３要素の成分のうち、Ｙ成分についてはコントラストを強調する処理を、ＵＶ成分については彩度（鮮やかさ）を強調する処理をそれぞれ個別に実行する。このような処理の結果、過度に色空間の各パラメータが調整されていても現実感を失わせないようなＨＤＲ合成画像のデータが得られる、という効果を奏することが可能になる。
特に、上記の処理では、単純に画像全体が一律にコントラストや彩度について強調されるのではなく、画素単位で適応的に設定された強調量を用いて、画素単位に強調される。これにより、当該効果がより顕著なものとなる。
図６の例では、画像合成装置１は、上記で説明したＹＵＶ／Ｙ変換部５１〜合成部５６を含む処理部と、画像生成部１１２と、ノイズ低減部１１３と、を備えている。
本実施形態では、露出条件が各々異なる複数の画像のデータとして、図６に示すように、適正露出値の画像（以下、「適正露出値画像」と呼ぶ）、適正露出値を超えた露出値の画像（以下、「露出値オーバー画像」と呼ぶ）、及び適正露出値未満の露出値の画像（以下、「露出値アンダー画像」と呼ぶ）の各データについて、図２を用いた上記説明にてＹＵＶ／Ｙ変換部５１〜合成部５６にて処理される。
画像生成部１１２には、Ｙ成分強調処理を実行するＹ強調部１３１と、ＵＶ成分強調処理を実行するＵＶ強調部１３２とが設けられている。
Ｙ強調部１３１は、Ｙ成分強調処理として、ＨＤＲ合成Ｙ画像のデータに対して、２種類の周波数帯域（例えば低域及び中域）でアンシャープマスク処理をそれぞれ施すことによって、局所的にコントラストを強調する。
２種類の周波数帯域（例えば低域及び中域）でアンシャープマスク処理をそれぞれ施す際には、ＨＤＲ合成Ｙ画像のデータの平滑化が行われる。
このような平滑化のために用いるフィルタは、特に限定されず、通常のＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を採用してもよいが、エッジ保存型のεフィルタやバイラテラルフィルタを採用すると好適である。局所的にコントラスト成分を強調する際に発生するアンダーシュートやオーバーシュートを低減させることができるからである。
このようなＹ強調部１３１による一連の処理を、以下、「Ｙ成分強調処理」と呼ぶ。
Ｙ強調部１３１は、Ｙ成分強調処理を実行すべく、合成Ｙ画像取得部１４１と、εフィルタ部１４２Ａ，１４２Ｂと、コントラスト成分作成部１４３Ａ，１４３Ｂと、コントラスト合成部１４４と、Ｙ成分コントラスト強調部１４５と、を備えている。ただし、これらのＹ強調部１３１の各要素の機能等については、後述する図７のフローチャートを参照したＹ成分強調処理の流れの説明の際に適宜説明する。
ＵＶ強調部１３２は、ＵＶ成分強調処理として、ＨＤＲ合成ＵＶ画像のデータに対して、所定のゲイン（以下、「ＵＶゲイン」と呼ぶ）を強調量として用いて、彩度を強調する処理を実行する。
この場合の彩度を強調する処理は、全体強調処理と部分強調処理との２種類に大別される。
全体強調処理とは、画像全体の印象を派手にするように、彩度を強調する処理をいう。
部分強調処理とは、Ｙ成分強調処理用の強調量と連動させた強調量を用いて、彩度を強調する処理をいう。
なお、以下、Ｙ成分強調処理用の強調量を、「コントラスト強調量」と呼ぶ。一方、ＵＶ成分強調処理用の強調量、即ちＵＶゲインを用いる強調量を、「彩度強調量」と呼ぶ。彩度強調量は、さらに、全体強調処理で用いられる強調量と、部分強調処理で用いられる強調量とに大別され、前者を、以下、「全体彩度強調量」と呼び、後者を、以下、「部分彩度強調量」と呼ぶ。
この場合、コントラスト強調量と部分彩度強調量とが連動することになる。これにより、コントラスト強調部分の色のりが向上し、立体感が生まれた画像を得ることが可能になる。
このようなＵＶ強調部１３２による一連の処理を、以下、「ＵＶ成分強調処理」と呼ぶ。
ＵＶ強調部１３２は、ＵＶ成分強調処理を実行すべく、合成ＵＶ画像取得部１５１と、ＵＶゲイン全体彩度強調部１５２と、コントラスト強調量取得部１５３と、ＵＶゲイン部分彩度強調部１５４と、を備えている。ただし、これらのＵＶ強調部１３２の各要素の機能等については、後述する図７のフローチャートを参照したＵＶ成分強調処理の流れの説明の際に適宜説明する。
このようなＹ強調部１３１及びＵＶ強調部１３２が設けられた画像生成部１１２にはまた、強調後ＹＵＶ画像取得部１３３が設けられている。
強調後ＹＵＶ画像取得部１３３は、Ｙ強調部１３１によりＹ成分強調処理が施されたＨＤＲ合成Ｙ画像のデータと、ＵＶ強調部１３２によりＵＶ成分強調処理が施されたＨＤＲ合成ＵＶ画像のデータとの組み合わせ（以下、「強調後ＹＵＶ画像のデータ」と呼ぶ）を取得する。
強調後ＹＵＶ画像取得部１３３により取得された強調後ＹＵＶ画像のデータは、ノイズ低減部１１３に供給される。
ノイズ低減部１１３は、強調後ＹＵＶ画像のデータに対して、ノイズを低減させる任意の処理（以下、「ノイズ低減処理」と呼ぶ）を施す。
これにより、画像生成部１１２の強調処理により発生したノイズやトーンジャンプを改善させることができる。また、この場合、ノイズ低減のレベルを意図的に強めることで、光沢感のある画像を得ることができる。
次に、図７のフローチャートを参照して、このような機能的構成を有する図６の画像合成装置１が実行する画像加工処理について説明する。
図７は、画像加工処理の流れの一例を示すフローチャートである。
ステップＳ３１において、画像生成部１１２のＹ強調部１３１は、ＹＵＶ／Ｙ変換部５１〜合成部５６で行なわれた図５の処理で生成されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成Ｙ画像のデータに対してＹ成分強調処理を施す。
ステップＳ３２において、画像生成部１１２のＵＶ強調部１３２は、上記図５の処理で生成されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成ＵＶ画像のデータに対してＵＶ成分強調処理を施す。
なお、ステップＳ３１のＹ成分強調処理の詳細については図８のフローチャートを参照して、ステップＳ３２のＵＶ成分強調処理の詳細については図９のフローチャートを参照して、それぞれ個別に後述する。
ステップＳ３３において、強調後ＹＵＶ画像取得部１３３は、ステップＳ３１のＹ成分強調処理が施されたＨＤＲ合成Ｙ画像のデータと、ステップＳ３２のＵＶ成分強調処理が施されたＨＤＲ合成ＵＶ画像のデータとの組み合わせを、強調後ＹＵＶ画像のデータとして取得する。
ステップＳ３４において、ノイズ低減部１１３は、ステップＳ３３の処理で取得された強調後ＹＵＶ画像のデータに対して、ノイズ低減処理を施す。
ノイズ低減処理が施された強調後ＹＵＶ画像のデータが、ノイズ低減部１１３から外部に出力されると、画像加工処理は終了となる。
次に、このような画像加工処理のうち、ステップＳ３１のＹ成分強調処理と、ステップＳ３２のＵＶ成分強調処理との各々の詳細について、その順番で個別に説明する。
はじめに、図８のフローチャートを参照して、ステップＳ３１のＹ成分強調処理の詳細について説明する。
図８は、Ｙ成分強調処理の流れの一例を示すフローチャートである。
ステップＳ５１において、図６のＹ強調部１３１の合成Ｙ画像取得部１４１は、合成部５６から出力されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成Ｙ画像のデータを取得する。
ステップＳ５２において、Ｙ強調部１３１は、ＨＤＲ合成Ｙ画像の各々を構成する画素のうち、所定の位置（座標）に配置された画素を、処理の対象として注目すべき画素（以下、「注目画素」と呼ぶ）として設定する。
ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）が、εフィルタ部１４２Ａ，１４２Ｂ及びコントラスト成分作成部１４３Ａ，１４３Ｂの各々に供給されると、処理はステップＳ５３に進む。
ステップＳ５３において、εフィルタ部１４２Ａ，１４２Ｂ及びコントラスト成分作成部１４３Ａ，１４３Ｂは、ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）から、２種類の周波数（中域及び低域）の各々のεフィルタを用いて、注目画素の２種類のコントラスト成分を作成する。
本実施形態では、２種類のコントラスト成分のうち一方の種類は、フィルタサイズが小さめの中域強調のεフィルタが用いられて生成される。そこで、このような種類のコントラスト成分を、以下、「中域用コントラスト成分」と呼ぶ。
一方、２種類のコントラスト成分のうち他方の種類は、フィルタサイズが大きめの低域強調のεフィルタが用いられて生成される。そこで、このような種類のコントラスト成分を、以下、「低域用コントラスト成分」と呼ぶ。
本実施形態では、中域用コントラスト成分は、εフィルタ部１４２Ａ及びコントラスト成分作成部１４３Ａにより、次のような一連の処理が実行されることで生成される。
即ち、εフィルタ部１４２Ａは、ＨＤＲ合成Ｙ画像の注目画素のデータに対して中域強調のεフィルタをかけて、その結果得られるデータ（以下、「εフィルタ後データ」と呼ぶ）をコントラスト成分作成部１４３Ａに供給する。
コントラスト成分作成部１４３Ａは、ＨＤＲ合成Ｙ画像の注目画素のデータと、注目画素のεフィルタ後データとの差分を取ることによって、注目画素の中域用コントラスト成分を作成する。即ち、次の式（２）が演算されることで、注目画素の中域用コントラスト成分が作成される。
Y_contrast_1 ＝ Y_HDR − Y_ε_1 ・・・（２）
式（２）において、Y_contrast_1は、注目画素の中域用コントラスト成分を示している。Y_HDRは、ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）を示している。Y_ε_1は、中域用のεフィルタを用いて生成された、注目画素のεフィルタ後データを示している。
一方、本実施形態では、低域用コントラスト成分は、εフィルタ部１４２Ｂ及びコントラスト成分作成部１４３Ｂにより、次のような一連の処理が実行されることで生成される。
即ち、εフィルタ部１４２Ｂは、ＨＤＲ合成Ｙ画像の注目画素のデータに対して低域強調のεフィルタをかけて、その結果得られるεフィルタ後データをコントラスト成分作成部１４３Ｂに供給する。
コントラスト成分作成部１４３Ａは、ＨＤＲ合成Ｙ画像の注目画素のデータと、注目画素のεフィルタ後データとの差分を取ることによって、注目画素の低域用コントラスト成分を作成する。即ち、次の式（３）が演算されることで、注目画素の低域用コントラスト成分が作成される。
Y_contrast_2 ＝ Y_HDR − Y_ε_2 ・・・（３）
式（３）において、Y_contrast_2は、注目画素の低域用コントラスト成分を示している。Y_HDRは、式（２）と同様に、ＨＤＲ合成Ｙ画像の注目画素のデータ（画素値）を示している。Y_ε_2は、低域用のεフィルタを用いて生成された、注目画素のεフィルタ後データを示している。
このようにして生成された注目画素の２種類のコントラスト成分、即ち、コントラスト成分作成部１４３Ａにより生成された注目画素の中域用コントラスト成分と、コントラスト成分作成部１４３Ｂにより生成された注目画素の低域用コントラスト成分とは、コントラスト合成部１４４に供給される。これにより、処理はステップＳ５４に進む。
ステップＳ５４において、コントラスト合成部１４４は、注目画素の２種類のコントラスト成分、即ち、注目画素の中域用コントラスト成分及び低域用コントラスト成分を画素加算合成することで、注目画素の合成コントラスト成分を作成する。
即ち、次の式（４）が演算されることで、注目画素の合成コントラスト成分が作成される。
Y_contrast ＝ Y_contrast_1 ＋ Y_contrast_2 ・・・（４）
式（４）において、Y_contrastは、注目画素の合成コントラスト成分を示している。Y_contrast_1は、上述の式（２）で演算された注目画素の中域用コントラスト成分を示している。Y_contrast_2は、上述の式（３）で演算された注目画素の低域用コントラスト成分を示している。
このようにしてコントラスト合成部１４４により生成された注目画素の合成コントラスト成分は、Ｙ成分コントラスト強調部１４５に供給される。これにより、処理はステップＳ５５に進む。
ステップＳ５５において、Ｙ成分コントラスト強調部１４５は、注目画素の合成コントラスト成分に対して、調節及び制限を施す。
具体的には、本実施形態では、注目画素の合成コントラスト成分に対する調節は、次の式（５）に従って行われる。
Y_contrast ＝ Y_contrast × (Y_gain_lev/100) × (Y_adj_lev/100)
・・・（５）
式（５）において、左辺のY_contrastは、調節後の注目画素の合成コントラスト成分を示している。一方、右辺のY_contrastは、調節前の注目画素の合成コントラスト成分を示している。
また、式（５）において、Y_gain_levは、ＨＤＲ合成Ｙ画像のデータ全体に対して一律に設定されたゲイン（以下、「Ｙゲイン」と呼ぶ）のレベル（％）を示している。一方、Y_adj_levは、ＨＤＲ合成Ｙ画像の注目画素のデータに対して個別に設定された調整量（以下、「Ｙ調整量」と呼ぶ）のレベル（％）を示している。
また、本実施形態では、注目画素の合成コントラスト成分に対する制限は、注目画素の合成コントラスト成分が０未満のとき（If(Y_contrast > 0)）、次の式（６）に従って行われ、それ以外のとき（Else）、次の式（７）に従って行われる。
Y_contrast = fMin(Y_contrast , Y_contrast_max_lev) ・・・（６）
Y_contrast = fMax(Y_contrast , |Y_contrast_max_lev|) ・・・（７）
式（６）と式（７）において、左辺のY_contrastは、制限後の注目画素の合成コントラスト成分を示している。一方、右辺のY_contrastは、制限前の注目画素の合成コントラスト成分を示している。
また、式（６）と式（７）において、Y_contrast_max_levは、合成コントラスト成分として予め設定された上限のレベルを示している。式（６）におけるfMin(α,β)は、αとβのうちの最小値を出力する関数を示している。一方、式（７）におけるfMax(α,β)は、αとβのうちの最大値を出力する関数を示している。
次に、ステップＳ５６において、Ｙ成分コントラスト強調部１４５は、ＨＤＲ合成Ｙ画像の注目画素のデータに対して、ステップＳ５５の処理で調節及び制限が施された後の注目画素の合成コントラスト成分を加算する。
これにより、ＨＤＲ合成Ｙ画像の注目画素のデータに対して、ステップＳ５５の処理で調節及び制限が施された注目画素の合成コントラスト成分だけ、コントラストが強調されたことになる。
具体的には、次の式（８）が演算されることで、ＨＤＲ合成Ｙ画像の注目画素のデータに対してコントラストが強調されることになる。
Y_result ＝ Y_HDR ＋ Y_contrast ・・・（８）
式（８）において、Y_resultは、コントラスト強調後の注目画素のデータ（コントラスト強調後の注目画素の画素値）を示している。一方、Y_HDRは、コントラスト強調前の注目画素のデータ（コントラスト強調前の注目画素の画素値）を示している。また、Y_contrastは、式（５）による調整並びに式（６）若しくは式（７）による制限が施された後の注目画素の合成コントラスト成分であって、コントラスト強調量を示している。
ステップＳ５７において、Ｙ強調部１３１は、全ての画素を注目画素に設定したか否かを判定する。
ＨＤＲ合成Ｙ画像を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップＳ５７においてＮＯであると判定されて、処理はステップＳ５２に戻され、それ以降の処理が繰り返される。
即ち、ＨＤＲ合成Ｙ画像を構成する画素が注目画素として順次設定される毎に、ステップＳ５２乃至Ｓ５７のループ処理が繰り返し実行されて、注目画素して設定された画素のデータが、コントラストが強調されるように更新されていく。ただし、そのコントラストの強調度合は、上述の如く、注目画素して設定された画素の更新前のデータY_HDRの値に応じて適応的に可変する。
そして、最後の画素がステップＳ５２の処理で注目画素に設定されて、ステップＳ５３乃至Ｓ５６の処理が実行されると、ＨＤＲ合成Ｙ画像を構成する全画素が更新されたので（全画素の画素値が、上述の式（７）の値Y_resultに更新されたので）、次のステップＳ５７においてＹＥＳであると判定されて、Ｙ成分強調処理は終了となる。
これにより、図７の画像加工処理のうち、ステップＳ３１のＹ成分強調処理が終了し、ステップＳ３２のＵＶ成分強調処理が実行される。
そこで、以下、図９のフローチャートを参照して、ステップＳ３２のＵＶ成分強調処理の詳細について説明する。
図９は、ＵＶ成分強調処理の流れの一例を示すフローチャートである。
ステップＳ７１において、図６のＵＶ強調部１３２の合成ＵＶ画像取得部１５１は、合成部５６から出力されたＨＤＲ合成画像のデータのうち、ＨＤＲ合成ＵＶ画像のデータを取得する。
ステップＳ７２において、ＵＶ強調部１３２は、ＨＤＲ合成ＵＶ画像の各々を構成する画素のうち、所定の位置（座標）に配置された画素を注目画素として設定する。
ここで、本実施形態では、ＵＶ強調部１３２は、Ｙ強調部１３１と非同期で実行しているが（後述するように同期で実行することも可）、説明の便宜上、ＨＤＲ合成ＵＶ画像の注目画素と同一位置（座標）に配置された、ＨＤＲ合成Ｙ画像内の画素を、以下、「ＨＤＲ合成Ｙ画像の注目画素」と呼ぶ。即ち、以下、ＨＤＲ合成ＵＶ画像の注目画素と、ＨＤＲ合成Ｙ画像の注目画素とは、同一位置（座標）の各々対応する画素であるものとして、以下の説明を行う。
ステップＳ７３において、ＵＶゲイン全体彩度強調部１５２は、ＨＤＲ合成ＵＶ画像の注目画像のデータに対して、全体彩度強調量を用いた全体強調処理を施す。
具体的には本実施形態では、次の式（９）及び式（１０）が演算されることで、ＨＤＲ合成ＵＶ画像の注目画像のデータに対して全体強調処理が施される。
U_HDR’ ＝ U_HDR × UV_gain_lev_al/100 ・・・（９）
V_HDR’ ＝ V_HDR × UV_gain_lev_al/100 ・・・（１０）
式（９）において、U_HDR’は、全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。一方、U_HDRは、全体強調処理が施される前のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。
式（１０）において、V_HDR’は、全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。一方、V_HDRは、全体強調処理が施される前のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。
式（９）と式（１０）において、UV_gain_lev_alは、ＨＤＲ合成ＵＶ画像の全体に一律に設定された全体彩度強調量としての、ＵＶ全体ゲイン（％）を示している。
ステップＳ７４において、コントラスト強調量取得部１５３は、Ｙ成分強調処理においてＨＤＲ合成Ｙ画像の注目画素に対して用いられたコントラスト強調量を取得する。
具体的には、次の式（１１）が演算されて、コントラスト強調量が取得される。
Y_emphasis_Lev = |Y_contrast| ・・・（１１）
式（１１）において、左辺のY_emphasis_Levは、取得されたコントラスト強調量を示している。右辺のY_contrastは、上述の式（５）による調整並びに式（６）若しくは式（７）による制限が施された後の注目画素の合成コントラスト成分であって、上述の式（８）において、コントラスト強調前の注目画素のデータ（画素値Y_HDR）に加えられた補正量である。
ステップＳ７４において、ＵＶゲイン部分彩度強調部１５４は、ステップＳ７２の処理で全体強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のデータに対して、ステップＳ７３の処理で取得されたコントラスト強調量に連動する部分彩度強調量を用いて、部分強調処理を施す。
具体的には本実施形態では、次の式（１２）が演算されることで、全体強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＵ成分値に対してさらに、部分強調処理が施される。
U_result ＝ U_HDR’
＋ U_HDR×(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100
×UV_adj_lev/100 ・・・（１２）
式（１２）において、左辺のU_resultは、全体強調処理及び部分強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。
右辺のU_HDR’は、上述の式（９）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。U_HDR’は、上述の式（９）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＵ成分値を示している。
UV_gain_lev_partは、ＵＶ部分ゲイン（％）を示している。Y_emphasis_levは、上述の式（１１）によって取得されたコントラスト強調量、即ち合成Ｙ画像の注目画素のデータに対してＹ成分強制処理が施された際に用いられたコントラスト強調量を示している。Y_contrast_max_levは、合成コントラスト成分として予め設定された上限のレベルを示している。
即ち、(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100が、コントラスト強調量と連動した部分彩度強調量（％）を示している。
UV_adj_levは、ＨＤＲ合成ＵＶ画像の注目画素のデータに対して個別に設定された調整量（以下、「ＵＶ調整量」と呼ぶ）のレベル（％）を示している。
また、本実施形態では、次の式（１４）が演算されることで、全体強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＶ成分値に対してさらに、部分強調処理が施される。
V_result ＝ V_HDR’
＋ V_HDR×(UV_gain_lev_part×Y_emphasis_lev /Y_contrast_max_lev)/100
× UV_adj_lev/100 ・・・（１３）
式（１３）において、左辺のV_resultは、全体強調処理及び部分強調処理が施されたＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。
右辺のV_HDR’は、上述の式（１０）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。V_HDR’は、上述の式（１０）により全体強調処理が施された後のＨＤＲ合成ＵＶ画像の注目画像のＶ成分値を示している。
また、式（１４）においても、式（１２）と同様に、(UV_gain_lev_part×Y_emphasis_lev/Y_contrast_max_lev)/100が、コントラスト強調量と連動した部分彩度強調量（％）として用いられている。
ステップＳ７６において、ＵＶ強調部１３２は、全ての画素を注目画素に設定したか否かを判定する。
ＨＤＲ合成ＵＶ画像を構成する画素のうち、注目画素に未だ設定されていない画素が存在する場合、ステップＳ７６においてＮＯであると判定されて、処理はステップＳ７２に戻され、それ以降の処理が繰り返される。
即ち、ＨＤＲ合成ＵＶ画像を構成する画素が注目画素として順次設定される毎に、ステップＳ７２乃至Ｓ７６のループ処理が繰り返し実行されて、注目画素して設定された画素のデータが、彩度が強調されるように更新されていく。ただし、その彩度の強調度合は、上述の如く、コントラストの強調度合に連動し、かつ、注目画素して設定された画素の更新前のデータU_HDR及びV_HDRの値に応じて適応的に可変する。
そして、最後の画素がステップＳ７２の処理で注目画素に設定されて、ステップＳ７３乃至Ｓ７６の処理が実行されると、ＨＤＲ合成ＵＶ画像を構成する全画素が更新されたので（全画素の画素値が、上述の式（１２）の値U_result及び式（１４）の値V_resultに更新されたので）、次のステップＳ７６においてＹＥＳであると判定されて、ＵＶ成分強調処理は終了となる。
これにより、図７の画像加工処理のうち、ステップＳ３２のＵＶ成分強調処理が終了し、処理はステップＳ３３に進む。即ち、ステップＳ３１のＹ成分強調処理が施されたＨＤＲ合成Ｙ画像のデータと、ステップＳ３２のＵＶ成分強調処理が施されたＨＤＲ合成ＵＶ画像のデータとの組み合わせが、強調後ＹＵＶ画像のデータとして、強調後ＹＵＶ画像取得部１３３によって取得される。
なお、以上説明した画像加工処理の流れは、例示に過ぎない。
例えば、上述の例では、ステップＳ３１のＹ成分強調処理の後、ステップＳ３２のＵＶ成分強調処理が実行されたが、これらの処理の順番は特に限定されない。ただし、ステップＳ３２のＵＶ成分強調処理で、ステップＳ３１のＹ成分強調処理で用いられたコントラスト強調量（式（１１）のコントラスト強調量Y_emphasis_lev）を取得できる必要がある。
以上説明したように、ＨＤＲ合成画像のデータが、Ｙ成分からなるＨＤＲ合成Ｙ画像のデータと、ＵＶ成分からなるＨＤＲ合成ＵＶ画像のデータとに分離されている場合、図６のＹ強調部１３１は、所定のコントラスト強調量を用いて、ＨＤＲ合成Ｙ画像のデータを強調する。一方、ＵＶ強調部１３２は、Ｙ強調部１３１のコントラスト強調量に連動して可変する彩度強調量を用いて、ＨＤＲ合成ＵＶ画像のデータを強調する。
これにより、過度に色空間の各パラメータが調整されていても現実感を失わせないようなＨＤＲ合成画像のデータが得られる、という効果を奏することが可能になる。
特に、Ｙ強調部１３１が、ＨＤＲ合成Ｙ画像内の所定の位置（座標）の画素のデータを、位置毎に異なるコントラスト強調量を用いて強調し、ＵＶ強調部１３２が、ＨＤＲ合成ＵＶ画像内の所定の位置（座標）の画素のデータを、当該位置（座標）と同一のＨＤＲ合成Ｙ画像内の位置用のコントラスト強調量に連動して可変する彩度強調量を用いて強調することによって、当該効果が顕著なものとなる。
以上のように構成される本実施形態の画像合成装置は、情報取得部５３と、画像調整部５４と、合成部５６と、を備えている。
情報取得部５３は、露光時間を変えて順次撮像された複数の画像データのうちの一の画像データにおける、特定の色を有する画素領域の明るさに関する数値を取得する。
画像調整部５４は、情報取得部５３によって取得された数値を調整する。
合成部５６は、この画像調整部５４によって調整された数値で一の画像データの特定の色を有する画素領域の明るさを調整し、この調整された一の画像データに、複数の画像データのうちの他の画像データを合成して、ダイナミックレンジを拡大させた合成画像データを生成する。
このように、特定の色を有する画素領域については、明るさに関する数値が調整される。そして、調整された数値を有する画像が他の画像と合成されて、ダイナミックレンジが拡大された画像が生成される。即ち、過度に色空間の各パラメータが調整される場合であっても、特定の色については、自然の状態の色に保っておきたい場合がある。このような場合、全ての色に対して、パラメータが調整されてしまっては、当該色を保有するオブジェクトにおいては、自然な色味が失われることとなる。したがって、特定の色については、明るさに関する数値を調整することで、過度に色空間の各パラメータを調整し、かつ、現実感を失わせないような画像を生成することができる。また、より過度に色空間の各パラメータを調整しても、自然味のある画像を生成することができる。
また、本実施形態の画像合成装置１の画像調整部５４は、情報取得部５３によって取得された数値に予め設定された値を加算又は減算することにより調整する。
このように、特定の色を有する画素領域については、予め設定された明るさに関する数値が加算又は減算される。したがって、自然な雰囲気を残しておきたい特定の色を有するオブジェクトについては、予め明るさに関する数値を設定しておくことで、過度にパラメータを調整しても、自然味のある画像を生成することができる。
また、本実施形態の画像合成装置１は、ＹＵＶ／ＨＳＶ変換部５２をさらに備える。ＨＵＶ／ＨＳＶ変換部５２は、一の画像データ（適正露出値ＹＵＶ画像のデータ）について、色相に関するパラメータを含む色空間の画像データ（適正露出値ＨＳＶ画像のデータ）に変換する。情報取得部５３は、このＹＵＶ／ＨＳＶ変換部５２によって変換された画像データに含まれる特定の色相で表現される画素領域を特定する。そして、情報取得部５３は、特定の色（例えば、緑色）を有する画素領域の明るさに関する数値を取得する。
このように、ＹＵＶ色空間により表されている画像をＨＳＶ空間で表すことにより、色相毎の彩度や明度を明確にすることができる。そして、特定の色相を有する明るさに関する数値、即ち、輝度値を容易に取得することができる。したがって、自然な雰囲気を残しておきたい特定の色についての明るさに関する数値を容易に取得することで、自然味のある画像を容易に生成することができる。
また、本実施形態の画像合成装置１において取得される、特定の色とは自然界に存在する植物や生物に含まれる色である。
植物の葉の緑色や、人間の肌の肌色等、特に有機物等は、自然の状態の色に保っておきたい場合がある。したがって、特に、このような自然界に存在するオブジェクトが有する特定の色については、過度にパラメータを調整しても、自然味のある画像を生成することができる。
また、本実施形態の画像合成装置１において、露光時間を変えて順次撮影された画像が奇数枚である場合、一の画像データとは、その順次撮像された画像のうちの露出的に中間で撮影された画像データである。
このように、露光時間が異なる画像が複数枚ある場合には、露出的に中間で撮影された画像データを用いることで、露出条件が平均的な画像に基づいて明るさに関する数値を調整することができる。これにより、露出値が偏重された画像データに基づいて、明るさに関する数値が調整されることを防止することができる。
また、本実施形態の画像合成装置１において、露光時間を変えて順次撮影された画像が偶数枚である場合、一の画像データとは、その順次撮像された画像のうちの相対的に明るい方の画像データである場合には、その画像データを暗くするよう調整して得られたデータであり、その順次撮像された画像のうち相対的に暗い方の画像データである場合には、その画像データを明るくするよう調整して得られたデータである。
このように、露光時間を変えて順次撮影された画像が偶数枚である場合には、露出条件が平均的な露出条件となるよう、各画像の明るさに関する数値を調整する。これにより、露出値が偏重された画像に基づいて、明るさに関する数値が調整されることを防止することができる。
また、本実施形態の画像合成装置１は、Ｙ強調部１３１と、ＵＶ強調部１３２と、をさらに備える。
Ｙ強調部１３１は、合成部５６により生成された合成画像データが、所定の色空間において規定される輝度成分からなる合成Ｙ画像のデータと、その他の成分からなる合成ＵＶ画像のデータとに分離されている場合、所定の第１強調量を用いて、合成Ｙ画像のデータを強調する。
ＵＶ強調部１３２は、Ｙ強調部１３１の第１強調量に連動して可変する第２強調量を用いて、合成ＵＶ画像のデータを強調する。
このように、特定の色については、明るさに関する数値が調整されているので、この調整後の画像に対し、過度に色空間の各パラメータを調整した場合であっても、現実感を失わせないような画像を生成することができる。また、より過度に色空間の各パラメータを調整しても、自然味のある画像を生成することができる。
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、色領域設定部６２は、色領域判定部６１において判定された全ての色毎の各画素値とした複数の色マップｎを作成しているがこれに限られるものではない。例えば、特定の色（例えば、緑色）に関する各画素値とした色マップのみを作成することができる。
また、本実施形態においては、色領域設定部６２は、色毎に作成した複数の色マップｎを画像調整部５４に供給しているがこれに限られるものではない。即ち、特定の色（例えば、緑色）に関する色マップのみを画像調整部５４に供給することができる。
また、例えば、色領域判定部６１は、適正露出値ＨＳＶ画像に基づいて画素単位毎に色レベルを算出しているが、これに限られるものではない。例えば、露出値アンダーＹＵＶ画像に基づいて変換された露出値アンダーＨＳＶ画像と、露出値オーバーＹＵＶ画像に基づいて変換された露出値オーバーＨＳＶ画像の２枚の画像に基づき合成する場合には、色領域判定部６１は、露出値アンダーＨＳＶ画像と、露出値オーバーＨＳＶ画像の２枚を平均化した疑似適正露出値ＨＳＶ画像のデータに対し、画素単位毎に色レベルを算出することができる。
また、例えば、色領域設定部６２は、露光時間を変えて順次撮影された露出値アンダーＹＵＶ画像、適正露出値ＹＵＶ画像、露出値オーバーＹＵＶ画像のうち、適正露出値ＹＵＶ画像に基づいて変換された適正露出値ＨＳＶ画像に基づいて画素単位毎に色レベルを算出しているが、これに限られるものではない。例えば、露光時間を変えて順次撮像された画像が奇数枚である場合には、その順次撮像された画像のうちの中間で撮像されたＹＵＶ画像に基づいて変換されたＨＳＶ画像に基づいて画素単位毎に色レベルを算出することができる。また、例えば、露光時間を変えて順次撮像された画像が偶数枚である奇数枚である場合には、その順次撮像された画像のうちの明るい方の画像である場合には、その画像を暗くするよう調整し、暗い方の画像である場合には、その画像を明るくするよう調整して得たＹＵＶ画像に基づいて変換されたＨＳＶ画像に基づいて画素単位毎に色レベルを算出することができる。
また、例えば、情報取得部５３は、適正露出値ＹＵＶ画像のデータにおける、特定の色を有する画素領域の輝度値の情報を取得しているがこれに限られるものではない。例えば、適正露出値ＹＵＶ画像のデータにおける、特定の色を有する画素領域の彩度の情報を取得することもできる。
また、例えば、上述した実施形態では、Ｙ強調部１３１によるＹ成分強調処理において、アンシャープマスク処理を施す際の平滑化のために用いるフィルタは、εフィルタが採用された。
しかしながら、このようなフィルタは、上述の如く特にεフィルタに限定されず、例えば、局所的にコントラスト成分を強調する際に発生するアンダーシュートやオーバーシュートを意図的に出した画像を生成したい場合には、通常のＬＰＦを採用することもできる。
また例えば、上述した実施形態では、コントラストを強調するためのＹ成分強調処理においては、２種類の周波数（低域と中域）が採用されたが、特にこれに限定されず、３種類以上でもよい。例えば低域と中域に加えてさらに、高域を採用することで、高域を強調して、シャープネスを向上させることも可能になる。
なお、上述した実施形態では、部分強調処理において処理対象となる画像において顔画像領域が存在した場合を考慮していないが、公知の顔画像領域検出技術を用いて顔画像領域を検出させ、この検出された顔画像の存在を考慮し、強調量の少ない部分強調処理の制御を行ってもよい。このようにすると、過度な強調により顔（特に肌色領域）の色味や質感等と失わせるという問題を解消することができる。
より具体的には、顔画像領域を検出した場合にＹ画像に適用させるコントラスト強調量、及び、ＵＶ画像に適用させる彩度強調量を予め設定しておく。なお、これらの強調量はこれまでに説明したコントラスト強調量及び彩度強調量より少なく、詳細には８０パーセント程度に抑えられたものでよい。
そして、顔画像領域を検出すると、上述のステップＳ３３〜ステップＳ３４でコントラスト強調量と彩度強調量で部分強調処理された画像と、顔画像領域を検出した場合に適用されるコントラスト強調量と彩度強調量で部分強調処理された画像とを生成する。
さらに、これらの画像同士を画素単位でαブレンディングして合成画像を得る。この場合検出された顔画像領域とその周辺領域については、顔画像領域を検出した場合に適用されるコントラスト強調量と彩度強調量で部分強調処理された画像の比率が高くなるように合成し、それ以外の領域については上述のステップＳ３３〜ステップＳ３４でコントラスト強調量と彩度強調量で部分強調処理された画像の比率が高くなるように合成することができる。
また例えば、上述した実施形態では、露出値が各々異なる複数の画像のデータとして、３枚の画像のデータが画素加算合成されたが、合成対象の画像のデータ数は、特にこれに限定されない。即ち、本発明は、２枚以上の任意の数の画像のデータを画素加算合成する場合に広く適用することができる。
また、画像合成処理の対象となる各種画像のデータは、上述の各図に示される具体例に特に限定されない。例えば合成対象となる複数の画像のデータが撮像される際の露出値の設定は、上述の各図に示される具体例に限定されず、露出値が各々異なれば任意でよい。
また、上述の実施形態では特に言及しなかったが、露出値が各々異なる複数の画像のデータは、画素加算合成されることを考慮すると、位置ズレが予め補正されていると好適である。
本発明の画像合成装置は、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、スマートフォン、プリンタ、テレビジョン受像機、ビデオカメラ、携帯ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像合成装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア４１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のプログラムメモリ１７や、図示せぬハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
露光時間を変えて順次撮像された複数の画像データのうちの一の画像データにおける、特定の色を有する画素領域の明るさに関する数値を取得する情報取得手段と、
この情報取得手段によって取得された数値を調整する調整手段と、
この調整手段によって調整された数値で前記一の画像データの特定の色を有する画素領域の明るさを調整し、この調整された前記一の画像データに、前記複数の画像データのうちの他の画像データを合成して、ダイナミックレンジを拡大させた合成画像データを生成する合成手段と、
を備えることを特徴とする画像合成装置。
［付記２］
前記調整手段は、前記情報取得手段によって取得された数値に予め設定された値を加算又は減算することにより調整する、
ことを特徴とする付記１に記載の画像合成装置。
［付記３］
前記一の画像データについて、色相に関するパラメータを含む色空間の画像データに変換する変換手段をさらに備え、
前記情報取得手段は、この変換手段によって変換された画像データに含まれる特定の色相で表現される画素領域を特定して、前記特定の色を有する画素領域の明るさに関する数値を取得する、
ことを特徴とする付記１又は２に記載の画像合成装置。
［付記４］
前記特定の色とは自然界に存在する植物や生物に含まれる色である、
ことを特徴とする付記１乃至３の何れか１つに記載の画像合成装置。
［付記５］
露光時間を変えて順次撮影された画像が奇数枚である場合、前記一の画像データとは、その順次撮像された画像のうちの露出的に中間で撮影された画像データであることを特徴とする付記１乃至４の何れか１つに記載の画像合成装置。
［付記６］
露光時間を変えて順次撮影された画像が偶数枚である場合、前記一の画像データとは、
その順次撮像された画像のうちの相対的に明るい方の画像データである場合には、その画像データを暗くするよう調整して得られた画像データであり、
その順次撮像された画像のうちの相対的に暗い方の画像データである場合には、その画像データを明るくするよう調整して得られた画像データである、
ことを特徴とする付記１乃至４の何れか１つに記載の画像合成装置。
［付記７］
前記合成手段により生成された合成画像データが、所定の色空間において規定される輝度成分からなる第１の画像データと、その他の成分からなる第２の画像データとに分離されている場合、所定の第１強調量を用いて、前記第１の画像データを強調する第１の強調手段と、
前記第１の強調手段の前記第１強調量に連動して可変する第２強調量を用いて、前記第２の画像データを強調する第２の強調手段と、
を備えることを特徴とする付記１乃至６の何れか１つに記載の画像合成装置。
［付記８］
合成画像データを生成する画像合成装置を制御するコンピュータに、
露光時間を変えて順次撮像された複数の画像データのうちの一の画像データにおける、特定の色を有する画素領域の明るさに関する数値を取得する情報取得機能、
この情報取得機能によって取得された数値を調整する調整機能、
この調整機能によって調整された数値で前記一の画像データの特定の色を有する画素領域の明るさを調整し、この調整された前記一の画像データに、前記複数の画像データのうちの他の画像データを合成して、ダイナミックレンジを拡大させた合成画像データを生成する合成機能、
を含む画像合成処理を実行させるプログラム。
１・・・画像合成装置、１１・・・撮像部、１２・・・駆動制御部、１３・・ＣＤＳ／ＡＤＣ部、１４・・・キー入力部、１５・・・表示部、１６・・・画像記録部、１７・・・プログラムメモリ、１８・・・ＲＡＭ、１９・・・制御部、２０・・・画像処理部、２１・・・ドライブ、３１・・・シャッターキー、４１・・・リムーバブルメディア、５１・・・ＹＵＶ／Ｙ変換部、５２・・・ＹＵＶ／ＨＳＶ変換部、５３・・・情報取得部、５４・・・画像調整部、５５・・・εフィルタ部、５６・・・合成部、６１・・・色領域判定部、６２・・・色領域設定部、１１２・・・画像生成部、１１３・・・ノイズ低減部、１３１・・・Ｙ強調部、１３２・・・ＵＶ強調部、１３３・・・強調後ＹＵＶ画像取得部、１４１・・・合成Ｙ画像取得部、１４２Ａ・・・εフィルタ部、１４２Ｂ・・・εフィルタ部、１４３Ａ・・・コントラスト成分作成部、１４３Ｂ・・・コントラスト成分作成部、１４４・・・コントラスト合成部、１４５・・・Ｙ成分コントラスト強調部、１５１・・・合成ＵＶ画像取得部、１５２・・・ＵＶゲイン全体彩度強調部、１５３・・・コントラスト強調量取得部、１５４・・・ＵＶゲイン部分彩度強調部

Claims (8)

  1. 露光時間を変えて順次撮像された複数の画像データのうちの何れかの画像データにおける、特定の色を有する画素領域の明るさに関する数値を取得する情報取得手段と、
    この情報取得手段によって取得された数値を調整し、調整された前記数値に基づき、前記複数の画像データを画素加算する際の合成比率を設定する調整手段と、
    前記設定された合成比率に基づいて、前記複数の画像データの加算の度合いを変えて、前記複数の画像データを画素加算することにより、ダイナミックレンジを拡大させた合成画像データを生成する合成手段と、
    を備えることを特徴とする画像合成装置。
  2. 前記調整手段は、前記情報取得手段によって取得された数値に予め設定された値を加算又は減算することにより調整する、
    ことを特徴とする請求項１に記載の画像合成装置。
  3. 前記何れかの画像データについて、色相に関するパラメータを含む色空間の画像データに変換する変換手段をさらに備え、
    前記情報取得手段は、この変換手段によって変換された画像データに含まれる特定の色相で表現される画素領域を特定して、前記特定の色を有する画素領域の明るさに関する数値を取得する、
    ことを特徴とする請求項１又は２に記載の画像合成装置。
  4. 前記特定の色とは自然界に存在する植物や生物に含まれる色である、
    ことを特徴とする請求項１乃至３の何れか１項に記載の画像合成装置。
  5. 露光時間を変えて順次撮影された画像が奇数枚である場合、前記何れかの画像データとは、その順次撮像された画像のうちの露出的に中間で撮影された画像データであることを特徴とする請求項１乃至４の何れか１項に記載の画像合成装置。
  6. 露光時間を変えて順次撮影された画像が偶数枚である場合、前記何れかの画像データとは、
    その順次撮像された画像のうちの相対的に明るい方の画像データである場合には、その画像データを暗くするよう調整して得られた画像データであり、
    その順次撮像された画像のうちの相対的に暗い方の画像データである場合には、その画像データを明るくするよう調整して得られた画像データである、
    ことを特徴とする請求項１乃至４の何れか１項に記載の画像合成装置。
  7. 前記合成手段により生成された合成画像データが、所定の色空間において規定される輝度成分からなる第１の画像データと、その他の成分からなる第２の画像データとに分離されている場合、所定の第１強調量を用いて、前記第１の画像データを強調する第１の強調手段と、
    前記第１の強調手段の前記第１強調量に連動して可変する第２強調量を用いて、前記第２の画像データを強調する第２の強調手段と、
    を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像合成装置。
  8. 合成画像データを生成する画像合成装置を制御するコンピュータに、
    露光時間を変えて順次撮像された複数の画像データのうちの何れかの画像データにおける、特定の色を有する画素領域の明るさに関する数値を調整し、調整された前記数値に基づき、前記複数の画像データを画素加算する際の合成比率を設定する調整機能、
    前記設定された合成比率に基づいて、前記複数の画像データの加算の度合いを変えて、前記複数の画像データを画素加算することにより、ダイナミックレンジを拡大させた合成画像データを生成する合成機能、
    を含む画像合成処理を実行させるプログラム。
JP2011247704A 2011-11-11 2011-11-11 画像合成装置、及びプログラム Expired - Fee Related JP5316625B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011247704A JP5316625B2 (ja) 2011-11-11 2011-11-11 画像合成装置、及びプログラム
US13/670,717 US8988548B2 (en) 2011-11-11 2012-11-07 Image composition apparatus and storage medium storing a program
CN2012104457962A CN103108192A (zh) 2011-11-11 2012-11-09 图像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011247704A JP5316625B2 (ja) 2011-11-11 2011-11-11 画像合成装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013106141A JP2013106141A (ja) 2013-05-30
JP5316625B2 true JP5316625B2 (ja) 2013-10-16

Family

ID=48280282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011247704A Expired - Fee Related JP5316625B2 (ja) 2011-11-11 2011-11-11 画像合成装置、及びプログラム

Country Status (3)

Country Link
US (1) US8988548B2 (ja)
JP (1) JP5316625B2 (ja)
CN (1) CN103108192A (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
US9460118B2 (en) * 2014-09-30 2016-10-04 Duelight Llc System, method, and computer program product for exchanging images
JP6234165B2 (ja) * 2013-10-28 2017-11-22 キヤノン株式会社 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
JP6415037B2 (ja) * 2013-11-12 2018-10-31 キヤノン株式会社 撮像装置、クライアント装置、撮像装置の制御方法、クライアント装置の制御方法、及びプログラム
TWI551141B (zh) * 2013-12-24 2016-09-21 shi-jie Huang A high dynamic range image synthesizing apparatus and a method thereof for performing exposure mapping based on individual pixels
CN105187712B (zh) * 2014-03-03 2018-04-24 努比亚技术有限公司 应用于移动终端的拍摄方法
CN105187711B (zh) * 2014-03-24 2017-10-13 努比亚技术有限公司 移动终端及其拍摄方法
WO2015146471A1 (ja) * 2014-03-24 2015-10-01 富士フイルム株式会社 撮影装置
US10171745B2 (en) * 2014-12-31 2019-01-01 Dell Products, Lp Exposure computation via depth-based computational photography
JP2016163052A (ja) * 2015-02-26 2016-09-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
KR101645542B1 (ko) * 2015-03-09 2016-08-08 연세대학교 산학협력단 노출 융합 장치 및 방법, 그리고 그를 이용한 이미지 처리 장치
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
JP6789877B2 (ja) * 2017-04-28 2020-11-25 キヤノン株式会社 情報処理装置、画像処理システム、制御システム及び情報処理方法
JP6929174B2 (ja) * 2017-09-13 2021-09-01 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
US11089234B2 (en) 2018-10-02 2021-08-10 Shinyfields Limited Systems and methods of image enhancement
KR20200111446A (ko) * 2019-03-19 2020-09-29 삼성전자주식회사 합성 이미지를 생성하는 전자 장치 및 방법
CN113395459A (zh) * 2020-03-13 2021-09-14 西安诺瓦星云科技股份有限公司 动态范围调整系统及方法
CN112257729B (zh) * 2020-11-13 2023-10-03 腾讯科技（深圳）有限公司 图像识别方法、装置、设备及存储介质
US20220414847A1 (en) * 2021-06-29 2022-12-29 Qualcomm Incorporated High dynamic range image processing
CN114255179B (zh) * 2021-12-09 2024-09-06 河北地质大学 地震图像噪声压制方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP2001268345A (ja) * 2000-03-17 2001-09-28 Ricoh Co Ltd 画像合成装置
JP2003046848A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像システムおよび撮像プログラム
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
US7480421B2 (en) 2005-05-23 2009-01-20 Canon Kabushiki Kaisha Rendering of high dynamic range images
JP2008099018A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 信号データ補正装置、信号データ補正方法、及び撮像装置
JP5370056B2 (ja) * 2008-11-04 2013-12-18 オムロン株式会社 画像処理装置
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8849028B2 (en) * 2012-02-06 2014-09-30 Apple Inc. Color selection tool for selecting a custom color component

Also Published As

Publication number Publication date
JP2013106141A (ja) 2013-05-30
US8988548B2 (en) 2015-03-24
US20130120607A1 (en) 2013-05-16
CN103108192A (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
JP5316625B2 (ja) 画像合成装置、及びプログラム
JP5136665B2 (ja) 画像処理装置、及びプログラム
KR101247646B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP5157753B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
US9832378B2 (en) Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
RU2544793C2 (ru) Устройство обработки изображений и способ управления таковыми
JP5105209B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4526445B2 (ja) 撮像装置
JP4869653B2 (ja) 画像処理装置
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
JP2009272983A (ja) 画像処理装置および方法並びにプログラム
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
KR101180409B1 (ko) 히스토그램 정규화와 감마 보정 합성을 통하여 저조도 영상을 개선하는 방법 및 장치
JP2020149589A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2007158446A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4377733B2 (ja) 色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラム
JP2009284269A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2004326493A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP5881350B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2004289606A (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130624

R150 Certificate of patent or registration of utility model

Ref document number: 5316625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees