JPWO2013054446A1 - 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 - Google Patents

画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 Download PDF

Info

Publication number
JPWO2013054446A1
JPWO2013054446A1 JP2012558101A JP2012558101A JPWO2013054446A1 JP WO2013054446 A1 JPWO2013054446 A1 JP WO2013054446A1 JP 2012558101 A JP2012558101 A JP 2012558101A JP 2012558101 A JP2012558101 A JP 2012558101A JP WO2013054446 A1 JPWO2013054446 A1 JP WO2013054446A1
Authority
JP
Japan
Prior art keywords
image
exposure
likelihood
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012558101A
Other languages
English (en)
Other versions
JP5365823B2 (ja
Inventor
平井　義人
義人 平井
健 三浦
健 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Application granted granted Critical
Publication of JP5365823B2 publication Critical patent/JP5365823B2/ja
Publication of JPWO2013054446A1 publication Critical patent/JPWO2013054446A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する装置である。この装置は、画像入力部１０、尤度算出部１３、露出推定部１４及び合成部１６を備える。画像入力部１０は、第１画像及び第２画像を入力する。尤度算出部１３は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部１４は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部１６は、露出変換関数を用いて第１画像及び第２画像を合成する。

Description

本発明は、画像合成装置、画像合成方法、画像合成プログラム及び記録媒体に関するものである。
従来、画像合成装置として、ハイダイナミックレンジ合成（ＨＤＲ（High Dynamic Range）合成）を行うものが知られている（特許文献１参照）。この装置は、異なる露出条件にて順次撮像された複数の画面を合成することによって、映像信号のダイナミックレンジを見かけ上拡大させている。これにより、逆光時などにおいて発生していた「白とび」又は「黒つぶれ」（輝度レベルが著しく高い又は低い部分）を解消する。また、この装置では、手ぶれによって生じる複数の画面間の撮像時の経時的な位置ずれに対応して、複数の画面の各々の座標変換を行った後にＨＤＲ合成を行う。具体的には、画像の動き情報を用いて、２つの画面の共通エリア部分を用いてＨＤＲ合成を行う。これにより、被写体に対する画面（撮像素子）の位置ずれ（画面ぶれ）を解消する。
特許第３１１０７９７号公報
ところで、被写体が動体である場合には、順次撮像された複数の画像において被写体位置が異なる位置となる。このため、特許文献１記載の画像合成装置にあっては、被写体が移動して色が変化している場合であっても露出が異なることで色が変化しているものとして合成する。よって、適切な合成画像を生成できないおそれがある。当技術分野においては、被写体が移動した場合であっても適切な合成画像を生成することができる画像合成装置、画像合成方法及び画像合成プログラム並びに当該画像合成プログラムを格納した記録媒体が望まれている。
すなわち、本発明の一側面に係る画像合成装置は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する装置である。この装置は、入力部、尤度算出部、露出推定部及び合成部を備える。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。
この画像構成装置では、第１画像と第２画像との露出を合わせる前に、第１画像と第２画像との差分に基づいて各画素における動被写体尤度を算出する。そして、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。このように、露出を合わせる際に動被写体尤度が考慮されるため、例えば被写体の動きで色が変化している可能性がある領域を除いて露出を合わせることができる。よって、適切な合成画像を生成することが可能となる。
一実施形態においては、画像処理装置は、第１画像及び第２画像の画素値を正規化する正規化部をさらに備え、尤度算出部は、正規化された第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出してもよい。このように構成することで、各画素における動被写体尤度を適切に算出することができる。
一実施形態においては、尤度算出部は、第１画像の解像度をそれぞれ段階的に変更することで得られる複数の第１処理画像、及び、第２画像の解像度をそれぞれ段階的に変更することで得られる複数の第２処理画像を用いて、各画素の差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の動被写体尤度を算出してもよい。このように構成することで、各画素の動被写体尤度を精度良く算出することができる。
一実施形態においては、尤度算出部は、第１画像と第２画像との差分の信頼度、及び第１処理画像又は第２処理画像の画像サイズもしくは解像度に基づいて、解像度ごとに得られた差分を重み付けしてもよい。このように構成することで、各画素の動被写体尤度をさらに精度良く算出することができる。
一実施形態においては、露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点を選択してもよい。このように構成することで、例えば被写体の動きが含まれる可能性がある領域を除いて露出変換関数を導出するためのサンプリング点を選択することができるので、露出変換関数を精度良く推定することが可能となる。よって、適切な合成画像を生成することができる。
一実施形態においては、露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点の重みを決定してもよい。このように構成することで、露出変換関数を導出するためのサンプリング点に動被写体尤度に応じた重みを設定することができるので、露出変換関数を精度良く推定することが可能となる。よって、適切な合成画像を生成することができる。
一実施形態においては、露出推定部は、各画素の動被写体尤度が高いほど露出変換関数を導出するためのサンプリング点の重みを小さく決定してもよい。このように構成することで、被写体の動きが含まれる可能性が高い領域から取得された露出変換係数のためのサンプリング点については重みを小さく設定することができるので、露出変換関数を精度良く推定することが可能となる。よって、適切な合成画像を生成することができる。
一実施形態においては、合成部は、第１画像及び第２画像の差分に基づいて各画素における動被写体尤度を算出し、該動被写体尤度及び露出変換関数を用いて第１画像及び第２画像を合成してもよい。このように構成することで、被写体の動きを考慮して合成することができるので、適切な合成画像を生成することが可能となる。
一実施形態においては、合成部は、第１画像又は第２画像の元の輝度値の大きさに基づいて、第１画像及び第２画像の画素値の合成比を示す輝度ベースマスクを生成してもよい。そして、合成部は、第１画像及び第２画像の差分に基づいて、第１画像及び第２画像の画素値の合成比を示す被写体ぶれマスクを生成してもよい。さらに、合成部は、輝度ベースマスク及び被写体ぶれマスクを結合させて、第１画像及び第２画像の画素値を合成する合成マスクを生成してもよい。
このように構成することで、露出をあわせた状態で、第１画像及び第２画像の差分に基づいて、輝度値を基準に合成する輝度ベースマスクとは異なる被写体ぶれマスクを生成することができる。このため、被写体ぶれが発生する領域のみを異なる処理で合成させることが可能となる。よって、被写体ぶれを抑制させた合成画像を生成することができる。
一実施形態においては、合成部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出し、該動被写体尤度に基づいて被写体ぶれマスクを生成してもよい。このように構成することで、動被写体尤度に基づいて被写体ぶれが発生する領域を特定して被写体ぶれマスクを生成することができる。
一実施形態においては、合成部は、第１画像の解像度をそれぞれ段階的に変更することで得られる複数の第１処理画像、及び、第２画像の解像度をそれぞれ段階的に変更することで得られる複数の第２処理画像を用いて、各画素の差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の動被写体尤度を算出し、該動被写体尤度に基づいて被写体ぶれマスクを生成してもよい。このように構成することで、各画素の動被写体尤度を精度良く算出することができる。
一実施形態においては、合成部は、動被写体尤度が所定の閾値以下となる画素が隣接する領域を検出し、各領域に対して識別ラベルを付与し、領域ごとに被写体ぶれマスクを生成してもよい。このように構成することで、画像内で異なる動きをする動体が存在した場合であっても適切に合成することができる。
一実施形態においては、合成部は、被写体ぶれマスクとして、第１画像及び第２画像のうち強制的に輝度値の低い画素値を選択させる第１マスク、又は、第１画像及び第２画像のうち強制的に輝度値の高い画素値を選択させる第２マスクを生成してもよい。このように構成することで、被写体が動いている可能性のある領域については、第１画像及び第２画像の何れか一方の画像を強制的に選択させることができる。よって、被写体が動くことで合成後の画像において被写体が２重や３重にずれて表示されることを回避することが可能となる。
一実施形態においては、合成部は、輝度ベースマスクに対して、第１マスクを反転させたマスクを乗算し、又は、第２マスクを加算することで、合成マスクを生成してもよい。このように構成することで、被写体のぶれを適切に補正する合成マスクを生成することができる。
一実施形態においては、画像処理装置は、第１画像と第２画像との間の画素の動き情報を取得する動き情報取得部をさらに備えてもよい。そして、尤度算出部は、動き情報に基づいて第１画像及び第２画像を補正し、補正後の第１画像及び第２画像を用いて各画素の動被写体尤度を算出してもよい。このように構成することで、撮像素子が被写体に対して相対的に動く場合であっても、撮像素子の動きを補正して各画素の動被写体尤度を算出することができる。
一実施形態においては、第１画像は、露出条件の異なる画像同士が合成された画像であってもよい。このように構成することで、露出条件の異なる複数の画像を順次合成して最終的な合成画像を生成することができる。
また、本発明の他の側面に係る画像処理方法は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する方法である。この方法では、第１画像及び第２画像を入力する。そして、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。そして、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。さらに、露出変換関数を用いて第１画像及び第２画像を合成する。
また、本発明のさらに他の側面に係る画像合成プログラムは、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成するようにコンピュータを動作させるプログラムである。このプログラムは、コンピュータを、入力部、尤度算出部、露出推定部及び合成部として動作させる。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。
また、本発明のさらに他の側面に係る記録媒体は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記録した記録媒体である。このプログラムは、コンピュータを、入力部、尤度算出部、露出推定部及び合成部として動作させる。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。
本発明の他の側面に係る画像合成方法、画像合成プログラム及び記録媒体によれば、上述した画像合成装置と同様の効果を奏する。
本発明の種々の側面及び実施形態によれば、被写体が移動した場合であっても適切な合成画像を生成することができる画像合成装置、画像合成方法及び画像合成プログラム並びに当該画像合成プログラムを格納した記録媒体が提供される。
一実施形態に係る画像合成装置を搭載した携帯端末の機能ブロック図である。 図１の画像合成装置が搭載される携帯端末のハードウェア構成図である。 図１に示す画像合成装置の前処理動作を示すフローチャートである。 動き検出を説明する概要図である。 差分画像を説明する概要図である。 多重解像度を用いて差分画像を導出する例を説明する概要図である。 露出変換関数の一例を示すグラフである。 輝度変換関数を説明する概要図である。 図１に示す画像合成装置の合成動作を示すフローチャートである。 合成処理の流れを説明する概要図である。 合成マスクを説明する概要図である。（Ａ）は、露出変換関数の一例を示すグラフである。（Ｂ）は、露出変換関数同士を繋ぎ合わせる際の重みの一例を示すグラフである。 輝度ベースマスクを説明する概要図である。（Ａ）は、入力画像の一例である。（Ｂ）は、輝度ベースマスクの一例である。 差分画像の被写体ぶれ領域のラベリングを説明する概要図である。（Ａ）は、差分画像の一例である。（Ｂ）は、ラベリングした差分画像の一例である。 被写体ぶれマスクの生成処理の流れを説明する概要図である。 合成マスクの生成処理の流れを説明する概要図である。
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
本実施形態に係る画像合成装置は、露出条件の異なる複数の画像を合成して一つの合成画像を生成する装置である。この画像合成装置は、例えば、異なる露出条件で順次撮像された複数の画像を合成して、映像信号のダイナミックレンジを見かけ上拡大させるＨＤＲ合成を行う場合に採用される。本実施形態に係る画像合成装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像合成装置の一例として、カメラ機能を備えた携帯端末に搭載される画像合成装置を説明する。
図１は、本実施形態に係る画像合成装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１及びＲＡＭ（Random Access Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像合成装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像合成装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。
図１に示すように、携帯端末２は、カメラ２０、画像合成装置１及び表示部２１を備えている。カメラ２０は、画像を撮像する機能を有している。カメラ２０として、例えばＣＭＯＳの画素センサ等が用いられる。カメラ２０は、例えばユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有している。すなわち、カメラ２０は、一枚の静止画像だけでなく複数毎の静止画像（連続するフレーム画像）を取得する機能を有している。さらに、カメラ２０は、連続する各フレーム画像の露出条件を変更して撮像する機能を有している。すなわち、カメラ２０によって連続撮像された各画像は、それぞれ露出条件の異なる画像となる。カメラ２０は、例えば撮像されたフレーム画像を撮像の度に画像合成装置１へ出力する機能を有している。
画像合成装置１は、画像入力部１０、前処理部１１、動き補正部１５及び合成部１６を備えている。
画像入力部１０は、カメラ２０により撮像されたフレーム画像を入力する機能を有している。画像入力部１０は、例えばカメラ２０により撮像されたフレーム画像を撮像の度に入力する機能を有している。また、画像入力部１０は、入力フレーム画像を、携帯端末２に備わる記憶装置に保存する機能を有している。
前処理部１１は、ＨＤＲ合成前の前処理を行う。前処理部１１は、動き情報取得部１２、尤度算出部１３及び露出推定部１４を備えている。
動き情報取得部１２は、画像間の画素の動き情報を取得する機能を有している。例えば、入力フレーム画像を第１画像及び第２画像とすると、第１画像及び第２画像間の画素の動き情報を取得する。動き情報としては、例えば動きベクトルが用いられる。また、動き情報取得部１２は、３以上の入力画像が画像入力部１０により入力された場合には、入力画像を露出順にソートし、露出条件の近い入力画像間で動き情報を取得してもよい。露出条件の近い画像同士を比較して動きを検出することにより、画像間の露出の差によって動きの検出精度が低下することを回避することができる。そして、動き情報取得部１２は、複数の入力画像の中から、動き情報を合わせる基準画像を選択してもよい。基準画像としては、例えば複数の入力画像の中で最も有効画素が多い画像を採用する。ここで、有効画素とは、黒つぶれ又は白飛びしていない画素である。黒つぶれ又は白飛びは、輝度値を基準として判定される。また、動き情報取得部１２は、２つの入力画像を用いて動き情報を取得する場合には、２つの入力画像のうち露出の高い入力画像から特徴点を抽出し、それに対する対応点を露出の低い画像から求めてもよい。このように動作することで、露出の低い画像においては特徴点として抽出された点が露出の高い画像においては白飛びしていることにより、動き情報が取得できないことを回避することができる。なお、ジャイロセンサ等から動き情報を取得してもよい。動き情報取得部１２は、動き情報を尤度算出部１３へ出力する機能を有している。
尤度算出部１３は、各画素における被写体の動きの尤度（動被写体尤度）を算出する機能を有している。動被写体尤度が大きいほど、被写体に動きがある可能性が高く、合成画像がぶれる領域となる可能性が高いことを意味する。尤度算出部１３は、動き情報を用いて入力画像間の画面の動きを補正する。その後、尤度算出部１３は、２つの入力画像において対応する画素の画素値を正規化する。例えば、尤度算出部１３は、近傍画素の画素値に基づいてＬｏｃａｌ Ｔｅｒｎａｒｙ Ｐａｔｔｅｒｎｓ（ＬＴＰ）を求める。画素値としては、ＲＧＢ３色が用いられ、近傍画素としては２４近傍が用いられる。そして、尤度算出部１３は、正規化された画像間の差分を用いて動被写体尤度を算出する。例えば、正規化された画素値の差分、すなわち注目画素のＬＴＰにおける符号の不一致割合を、注目画素の動被写体尤度として算出する。
また、尤度算出部１３は、２つの入力画像を多重解像度化して動被写体尤度を算出してもよい。例えば、尤度算出部１３は、各入力画像（第１画像及び第２画像）の解像度をそれぞれ段階的に変更することで、解像度の異なる複数の画像（第１処理画像及び第２処理画像）を作成する。そして、尤度算出部１３は、同一の解像度において、第１処理画像及び第２処理画像の差分画像を作成する。この差分画像とは、第１処理画像と第２処理画像との差分であり、具体的には画素値の差分である。そして、尤度算出部１３は、解像度ごとに得られた差分画像を重み付けすることによって各画素の動被写体尤度を算出する。重み（信頼度）としては、各画素のＬＴＰにおける符号の不一致割合が用いられる。例えば、ＬＴＰにおいて、有意に差があるペアの数が用いられる。また、重みは、第１処理画像又は第２処理画像の画像サイズ又は解像度によってさらに重み付けされてもよい。すなわち、画像サイズが大きいほど又は解像度が大きいほど、重みを大きくしてもよい。尤度算出部１３は、各画素の動被写体尤度を露出推定部１４へ出力する機能を有している。
露出推定部１４は、入力画像間の露出条件を合わせる露出変換関数を推定する機能を有している。露出変換関数とは、各入力画像の露出を基準画像相当に露出変換するための関数である。露出推定部１４は、３以上の入力画像が入力された場合には、露出条件の近い入力画像間で露出条件をあわせてもよい。露出条件の近い画像同士を比較して露出を合わせることにより、画像間の露出の差によって推定の精度が低下することを回避することができる。
露出推定部１４は、例えば、動き情報を用いて入力画面間の動きを補正する。そして、動き補正後の２つの入力画像において、同一の箇所から輝度値を組としてサンプリングし、その関係をプロットする。入力画像の座標としては例えばＨａｌｔｏｎ数列が用いられる。なお、露出推定部１４は、所定の値以上の輝度値や所定の値以下の輝度値をサンプリング点として採用しなくてもよい。例えば、１０〜２４５の範囲に含まれる輝度値をサンプリング点として採用する。露出推定部１４は、例えば、プロットの結果をフィッティングすることにより、露出変換関数を推定する。例えば、第１画像のサンプリング点ｉにおける元の輝度値をＫｉ、露出変換関数をｆ（Ｋｉ）、第２画像のサンプリング点ｉにおける元の輝度値をＵｉとした場合、以下の誤差関数ｅを用いて、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法によりフィッティングしてもよい。
なお、露出推定部１４は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリングを行う。露出推定部１４は、例えば、各画素の動被写体尤度に基づいてサンプリング点を選択する。例えば、露出推定部１４は、段階的に閾値を設けて、動被写体尤度の小さい画素から輝度値をサンプリングする。また、露出推定部１４は、動被写体尤度に基づいて、サンプリング点に重みを付けてもよい。例えば、以下の誤差関数ｅを最小化させてフィッティングしてもよい。
式２において、ｗｉは重みである。ここで、動被写体尤度が高い画素ほど、重みｗｉを小さく設定する。このように、露出推定部１４が各画素の動被写体尤度に基づいて露出変換関数を算出することで、信頼度の低いサンプリング点のデータほど露出変換関数の導出に影響を与えないようにすることができる。なお、露出変換関数は、変換後の入力画像が表現可能な範囲に収まるように変更されてもよい。
動き補正部１５は、動き情報を用いて入力画面間の動きを補正する機能を有している。合成部１６は、合成マスクを用いて入力画像同士あるいは、既に合成された画像と入力画像とを合成する。合成マスクは、画像同士を合成（αブレンド）する際の合成比（重み）を画像化したものである。合成部１６は、３以上の入力画像がある場合には、まず合成マスクに従って２つの入力画像を合成し、合成画像と残りの入力画像との合成マスクを生成して合成を行う。合成部１６は、輝度ベースマスク及び被写体ぶれマスクを結合して合成マスクを生成する。輝度ベースマスクは、画像同士を合成する際の重みを輝度値に基づいて決定することで、白飛びや黒つぶれの領域を合成に用いることを回避するためのマスクである。被写体ぶれマスクは、被写体が移動する画像を合成した際に、被写体が２重３重に重なって表示される現象（ゴースト現象）を回避するためのマスクである。
合成部１６は、入力画像の元の輝度値に基づいて重みを算出し、輝度ベースマスクを生成する。重みは、例えば以下の算出式で求める。
上記算出式により、重みが適切に決定されるとともに、輝度的な不連続性が軽減される。なお、空間的な不連続性を軽減するために、合成マスクに対してぼかし処理を施してもよい。
合成部１６は、入力画像間の差分に基づいて重みを算出し、被写体ぶれマスクを生成する。合成部１６は、入力画像間の画素値の差分から、動被写体尤度を算出する。入力画像間の画素値の差分及び動被写体尤度については、上述した尤度算出部１３と同様に動作することで得ることができる。そして、尤度算出部１３は、動被写体尤度が所定の閾値以下となる画素が隣接する被写体ぶれ領域を検出し、各被写体ぶれ領域に対して識別ラベルを付与し、被写体ぶれ領域ごとに被写体ぶれマスクを生成する。なお、所定の閾値は、要求仕様に応じて適宜変更可能である。閾値を大きく設定すると、連続領域を抽出しやすくすることができる。被写体ぶれ領域ごとにマスクを生成することにより、被写体ぶれ領域ごとに白飛び領域あるいは黒つぶれ領域を回避するように情報量の多い画像から画素を選択することができる。すなわち、この被写体ぶれマスクとしては、合成する画像同士のうち強制的に輝度値の低い画素値を選択させるｌｏ_ｍａｓｋ（第１マスク）、又は、合成する画像同士のうち強制的に輝度値の高い画素値を選択させるｈｉ_ｍａｓｋ（第２マスク）が存在する。合成部１６は、基本的には、情報量の多い高露出の画像から画素値を選択させる第２マスクを生成する。しかしながら、合成部１６は、高露出の画像において被写体ぶれ領域が白飛び領域に影響される場合には、第１マスクを生成する。具体的には、以下の何れかの条件を満たす場合には第１マスクを生成する。第１の条件としては、合成する２つの画像のうち、高露出の画像の白飛びの面積が低露出の画像の黒つぶれ領域の面積よりも大きい場合である。第２の条件としては、合成する２つの画像のうち高露出の画像において、被写体ぶれ領域内の白飛び領域の面積が１０％以上の場合である。なお、合成する２つの画像のうち高露出の画像において、被写体ぶれ領域と隣接する領域が白飛び領域である場合を条件としてもよい。
合成部１６は、輝度ベースマスク及び被写体ぶれマスクを結合させて合成マスクを生成する。例えば、合成部１６は、輝度ベースマスクに対して、第１マスクを反転させたマスクを乗算する。また、合成部１６は、輝度ベースマスクに対して、第２マスクを加算する。合成部１６は、全ての入力画像を合成し、最終的な合成画像を表示部２１へ出力する。表示部２１は、合成画像を表示する。表示部２１として例えばディスプレイ装置が用いられる。
次に、画像合成装置１の動作を説明する。図３は、ＨＤＲ合成の前処理を説明するフローチャートである。図３に示す制御処理は、例えばユーザによってＨＤＲ合成モードが選択され、カメラ２０が複数の画像を連続撮像した場合に開始する。
まず、画像入力部１０が画像フレームを入力する（Ｓ１０）。以下では、説明理解の容易性を考慮して、５つの入力画像Ｉ０〜Ｉ４を入力したものとして説明する。Ｓ１０の処理が終了すると、露出順ソート処理へ移行する（Ｓ１２）。
Ｓ１２の処理では、動き情報取得部１２が入力画像Ｉ０〜Ｉ４を露出順にソートする。動き情報取得部１２は、例えば輝度値の平均値を用いてソートする。ここでは、入力画像Ｉ０〜Ｉ４の数字が小さくなるほど輝度値が小さいものとする。この場合、入力画像Ｉ０〜Ｉ４は、数字の順にソートされる。Ｓ１２の処理が終了すると、動き情報取得処理へ移行する（Ｓ１４）。
Ｓ１４の処理では、動き情報取得部１２が、入力画像Ｉ０〜Ｉ４のそれぞれの画像間の動き情報を取得する。図４は、動き情報の取得処理を説明する概要図である。図４に示すように、入力画像Ｉ０〜Ｉ４が左から右に向けて順に平均輝度値が大きくなるように並べられているとする。まず、動き情報取得部１２は、入力画像Ｉ０〜Ｉ４の中から基準画像を設定する。ここでは、入力画像Ｉ２を基準画像とする。次に、露出条件の近い入力画像同士の動き情報を取得する（例えば、入力画像Ｉ０と入力画像Ｉ１、入力画像Ｉ１と入力画像Ｉ２等）。動き情報取得部１２は、２つの入力画像のうち、露出の高い入力画像で特徴点を抽出して、抽出された特徴点に対する対応点を露出の低い入力画像から抽出する。この動き情報によって、露出条件の近い入力画像同士を同一次元の座標に変換する変換行列を求めることができる。なお、図４では、露出条件の近い入力画像同士のうち、露出の低い画像を露出の高い画像へあわせるための変換行列ｍ１０，ｍ２１，ｍ３２，ｍ４３を示している。次に、変換行列ｍ１０，ｍ２１，ｍ３２，ｍ４３を用いて、基準画像Ｉ２以外の他の入力画像Ｉ０，Ｉ１，Ｉ３，Ｉ４の座標を基準画像Ｉ２相当の座標へ変形させる変換行列を算出する。図４に示すように、入力画像Ｉ０を基準画像Ｉ２へ変換させる変換行列は、ｍ１０*ｍ２１である。入力画像Ｉ１を基準画像Ｉ２へ変換させる変換行列は、ｍ１０である。入力画像Ｉ３を基準画像Ｉ２へ変換させる変換行列は、（ｍ３２）−１である。入力画像Ｉ４を基準画像Ｉ２へ変換させる変換行列は、（ｍ３２*ｍ４３）−１である。以下では変換後の入力画像をＩ０’〜Ｉ４’として説明する。Ｓ１４の処理が終了すると、動被写体尤度算出処理へ移行する（Ｓ１６）。
Ｓ１６の処理では、尤度算出部１３が、入力画像Ｉ０’〜Ｉ４’のそれぞれの画像間の動被写体尤度を算出する。図５は、入力画像Ｉ０’と入力画像Ｉ１’との画像間における動被写体尤度を算出する例である。なお、図５では、画素値としてＲ値を用いる場合を示している。図５に示すように、尤度算出部１３は、入力画像Ｉ０’の注目画素（Ｒ値＝４２）の８近傍の画素値（Ｒ値）を取得する。そして、注目画素の画素値と８近傍の画素値を用いて正規化する。例えば、ＬＴＰを用いる。注目画素の画素値と８近傍の画素値との差が±５の範囲であれば０、＋５より大きい場合には１、−５より小さい場合には−１とする。尤度算出部１３は、入力画像Ｉ１’についても、同様に正規化する。図中では、入力画像Ｉ０’の注目画素に対応する入力画像Ｉ１’の画素において正規化している。次に、正規化された画素の画素値を比較すると、差分が生じていることがわかる。差分の大きさ（符号の不一致度合い）に応じて当該画素の色を黒から白へ変化させた画像として表したものが差分画像Ｘである。この差分画像は、各画素の動被写体尤度が画像化されたものである。なお、８近傍に限定されることはなく、２４近傍であってもよい。また、Ｒ値のみに限られずＧ値及びＢ値についても同様に処理してもよい。
差分画像Ｘの領域Ｃ１に示す平滑領域の動被写体尤度の精度を向上させるために、尤度算出部１３は、多重解像度を用いて動被写体尤度を求めてもよい。図６は、多重解像度を用いて動被写体尤度を求める一例である。まず、尤度算出部１３は、入力画像Ｉ０’と入力画像Ｉ１’との解像度を段階的に変更させた複数の画像を生成する。そして、同一の解像度同士で差分画像を生成する。この差分画像は、単純に画素値を差し引いたものである。図６では、入力画像Ｉ０’と入力画像Ｉ１’とを６段階に多重化した場合を示している。それぞれの差分画像がＸ１〜Ｘ６であり、数字が大きくなるほど低い解像度の差分画像となる。また、解像度が低いほど画像サイズが小さくなる。この差分画像を信頼度で重み付けして最終的な差分画像を算出する。信頼度は、例えば、上述したＬＴＰの差分において有意な差のあるペアの数に画像サイズ（又は解像度）を乗算したものを用いる。例えば、図５に示すＬＴＰの場合には有意な差のあるペアの数は１となる。このように、画素ごとにペアの数と画像サイズとを掛けあわせて、差分画像Ｘ１〜Ｘ６に対応する重み画像（重みを画像化したもの）を算出する。そして、差分画像Ｘ１〜Ｘ６と重み画像とを用いて最終的な差分画像を算出する。尤度算出部１３は、上述した手法と同様の手法で、入力画像Ｉ１’〜Ｉ４’までの差分画像を算出する。Ｓ１６の処理が終了すると、露出変換関数推定処理へ移行する（Ｓ１８）。
Ｓ１８の処理では、露出推定部１４が露出変換関数を推定する。露出推定部１４は、変換前の輝度値をｘ、変換後の輝度値をｙとすると露出変換関数を以下の数式で表すことができる。
ここで、（ａ，ｂ）は露出変換パラメータである。露出変換パラメータ（ａ，ｂ）を導出することで露出変換関数を求めることができる。以下では、動き補正後の入力画像Ｉ０’と入力画像Ｉ１’との露出変換関数を求める場合を説明する。露出推定部１４は、入力画像の点（ｘ，ｙ）において、露出の低い入力画像Ｉ０’の輝度値と露出の低い入力画像Ｉ１’の輝度値の組みをいくつかサンプリングして、その関係をプロットする。ここで、Ｓ１６の処理で取得した差分画像に基づいて、サンプリングする点を選択する。例えば、動被写体尤度の高い領域からはサンプリングしないように設定する。すなわち動被写体尤度の低いものからサンプリングするように設定する。そして、例えば動被写体尤度が高いほど低い重みを割り当てて、式２を用いて露出変換関数を推定する。これにより、例えば図７に示すようなフィッティングが行われる。尤度算出部１３は、上述した手法と同様の手法で、入力画像Ｉ１’〜Ｉ４’間の露出変換関数を推定する。なお、輝度値が０に近いデータ又は２５５に近いデータを除いてもよい。
図８は、上記の露出変換関数の推定処理を説明する概要図である。なお、図８では、露出条件の近い入力画像同士のうち、露出の低い画像を露出の高い画像へあわせるための露出変換パラメータ（ａ１０，ｂ１０）、（ａ２１，ｂ２１）、（ａ３２，ｂ３２）、（ａ４３，ｂ４３）を示している。最終的な合成画像が表現可能な範囲に収まるように、最も露出の低い入力画像Ｉ０’の露出変換パラメータ（Ａ０，Ｂ０）のＡ０を１．０に設定することで、変換結果が１．０を超えないようにしてもよい。ここでは、入力画像Ｉ０’の露出変換後の画像を、入力画像Ｉ０’’として表示している。また、最も露出の低い入力画像Ｉ０’に対する基準画像Ｉ２’の露出変換パラメータを（Ａ２，Ｂ２）とすると、Ａ０を１．０に設定すると同時にＢ２を１．０とすることで、ゲインが１／Ａ２のときに色味が入力画像と等しくなるように設定してもよい。尤度算出部１３は、上述した処理をＲＧＢチャネルごとに別々に行う。Ｓ１８の処理が終了すると図３に示す前処理を終了する。
以上で図３に示す制御処理を終了する。図３に示す制御処理を実行することで、露出変換関数を推定する前に、被写体ぶれを検出することで、被写体ぶれ領域からサンプリングすることを回避したり、被写体ぶれ領域からサンプリングされたデータの影響を重み付けにより小さくすることができる。このため、露出変換関数を精度良く推定することができる。また、従来のＨＤＲ技術であれば、被写体ぶれの補正は、露出合わせが行われていないと正確に行うことができず、また逆に露出合わせは被写体ぶれの修正が行われていないと正確にできない。しかし、露出変換関数を推定する前に簡易的に被写体ぶれ（被写体の動き）を検出することで、上記デットロック関係を解消することができる。
次に、画像合成装置１の合成動作を説明する。図９は、ＨＤＲ合成を説明するフローチャートである。図９に示す制御処理は例えば図３に示す制御処理が終了すると開始する。
図９に示すように、動き補正部１５が実際に動きを補正する（Ｓ２０）。この処理では、図３のＳ１４の処理と同様に、動き補正部１５が、変換行列を用いて、露出変換後の入力画像Ｉ０’’〜Ｉ４’’の動きを補正する。なお、要求される精度に応じてサブピクセル補間アルゴリズム等を用いることができるようにしてもよい。Ｓ２０の処理が終了すると、輝度ベースマスク生成処理及び被写体ぶれ領域抽出処理へ移行する（Ｓ２２及びＳ２４）。
Ｓ２２の処理では、合成部１６が輝度ベースマスクを生成する。図１０は、合成処理の流れを説明する概要図である。図１０に示すように、露出の低い入力画像Ｉ０’’から順に、入力画像Ｉ１’’〜Ｉ４’’を置き換えていくことで合成する。すなわち、最初は、入力画像Ｉ０’’に対して入力画像Ｉ１’’をどの程度合成させるかを定める輝度ベースマスクを生成する。この輝度ベースマスクは、入力画像Ｉ１’’の元の輝度値から重みを算出する。例えば、白飛び領域の付近の重みを０とする。このように重みを設定して、露出の低い画像へ露出の高い画像を重ねるように合成させることで、対象のピクセルに対して情報量の多い入力画像を必ず選択させることができる。図１１の（Ａ）は、入力輝度に対するピクセル値の関係を示すグラフである。図１１の（Ａ）に示すように、関数ｆ０〜ｆ３は、輝度値に基づいてどちらの画像の画素値を採用するかを示すグラフである。関数ｆ０〜ｆ３は、数字が大きくなるほど露出が大きい画像に適用されるものである。例えば、最も露出の低い入力画像Ｉ０’’が入力されると、関数ｆ０が適用されて全ての画素値が採用される。次に、入力画像Ｉ１’’が入力されると、関数ｆ０と関数ｆ１とが適用される。このため、Ｓ０〜Ｓ５の輝度値の範囲では、入力画像Ｉ１’’が採用され、Ｓ６以上の輝度値の範囲では、入力画像Ｉ０’’が採用される。Ｓ５〜Ｓ６の輝度値の範囲は、（Ｂ）に示す重みでブレンドされた合成値で採用される。なお、便宜上γ補正は省略している。次に入力画像Ｉ２’’が入力されると、関数ｆ０〜ｆ２が適用される。このため、Ｓ０〜Ｓ３の輝度値の範囲では、入力画像Ｉ２’’が採用され、Ｓ４〜Ｓ５の輝度値の範囲では、入力画像Ｉ１’’が採用され、Ｓ６以上の輝度値の範囲では、入力画像Ｉ０’’が採用される。Ｓ３〜Ｓ４及びＳ５〜Ｓ６の輝度値の範囲は、（Ｂ）に示す重みでブレンドされた合成値で採用される。次に入力画像Ｉ３’’が入力されると、関数ｆ０〜ｆ３が適用される。このため、Ｓ０〜Ｓ１の輝度値の範囲では、入力画像Ｉ３’’が採用され、Ｓ２〜Ｓ３の輝度値の範囲では、入力画像Ｉ２’’が採用され、Ｓ４〜Ｓ５の輝度値の範囲では、入力画像Ｉ１’’が採用され、Ｓ６以上の輝度値の範囲では、入力画像Ｉ０’’が採用される。Ｓ１〜Ｓ２、Ｓ３〜Ｓ４及びＳ５〜Ｓ６の輝度値の範囲は、（Ｂ）に示す重みでブレンドされた合成値で採用される。このように、露出の高い画像が優先的に採用される。また、白とび領域部分については露出の低い画像が採用されるとともに、境界部分を滑らかにブレンドする。上記図１１の（Ａ）に示すグラフを画像化した輝度ベースマスクの一例を図１２に示す。図１２の（Ａ）は入力画像を示し、（Ｂ）は当該入力画像の輝度ベースマスクである。図１２の（Ｂ）では、１００％入力画像の画素値を利用する場合には白とし、１００％入力画像の画素値を利用しない場合には黒として表現している。Ｓ２２の処理が終了すると、合成マスク生成処理へ移行する（Ｓ３２）。
一方、Ｓ２４の処理では、合成部１６が被写体ぶれ領域を抽出する。例えば、合成部１６が、図３のＳ１６の処理と同様に差分画像を算出し、動被写体尤度が所定値以上の領域を被写体ぶれ領域として抽出する。図１３の（Ａ）は、被写体ぶれ領域を含む差分画像の一例である。Ｓ２４の処理が終了すると、ラベリング処理へ移行する（Ｓ２６）。
Ｓ２６の処理では、合成部１６が被写体ぶれ領域をラベリングする。合成部１６は、連続する被写体ぶれ領域に対して一つのラベルＲｎを設定する。図１３の（Ｂ）は、連続領域をラベリングした例である。Ｓ２６の処理が終了すると、各領域の基準画像の選択処理へ移行する（Ｓ２８）。
Ｓ２８の処理では、合成部１６が被写体ぶれ領域ごとに基準画像を設定する。合成部１６は、基準画像として基本的に高露出の画像を優先させる。例えば、入力画像Ｉ０’’と入力画像Ｉ１’’とを合成する場合には、基準画像として入力画像Ｉ１’’が選択される。ただし、入力画像Ｉ１’’において被写体ぶれ領域が白飛び領域に影響される場合には、基準画像として入力画像Ｉ０’’が選択される。Ｓ２８の処理が終了すると、被写体ぶれマスク生成処理へ移行する（Ｓ３０）。
Ｓ３０の処理では、合成部１６が被写体ぶれ領域ごとに被写体ぶれマスクを生成する。合成部１６は、基準画像として高露出の画像を優先させる場合には第２マスクを生成する。一方、基準画像として低露出の画像を優先させる場合には第１マスクを生成する。図１４は、Ｓ２４〜Ｓ３０の一連の処理を説明する概要図である。図１４に示すように、入力画像Ｉ０’’と入力画像Ｉ１’’とを合成する際に、差分画像Ｘを求め、差分画像の領域ごとに、第１マスク（ｌｏ_ｍａｓｋ）又は第２マスク（ｈｉ_ｍａｓｋ）が生成される。すなわち、被写体が動く領域については、被写体ぶれマスクを用いることで一枚の画像のみから画素値を入力させることで、上述したゴースト現象を回避することができる。Ｓ３０の処理が終了すると、合成マスク生成処理へ移行する（Ｓ３２）。
Ｓ３２の処理では、合成部１６が輝度ベースマスク及び被写体ぶれマスクに基づいて合成マスクを生成する。図１５は、合成マスクの生成処理を説明する概要図である。図１５に示すように、ｌｏ_ｍａｓｋを反転させた画像を輝度ベースマスクに乗算する。また、ｈｉ_ｍａｓｋを輝度ベースマスクに加算する。このように結合させることで、合成マスクが生成される。Ｓ３２の処理が終了すると、合成処理へ移行する（Ｓ３４）。
Ｓ３４の処理では、合成部１６がＳ３２の処理で作成された合成マスクに従って合成処理を行う。なお、合成済み画像の輝度値Ｐ０と露出変換関数を適用させた入力画像の輝度値Ｐ１を重みａで合成する場合、合成後の輝度値Ｐ２は以下の数式で求めることができる。
このとき、露出の最も低い画像については全領域をそのまま合成する。Ｓ３４の処理が終了すると、入力画像確認処理へ移行する（Ｓ３６）。
Ｓ３６の処理では、合成部１６が全ての入力画像を合成したか否かを判定する。全ての入力画像を合成していない場合には、Ｓ２２及びＳ２４の処理へ移行する。そして、例えば、図１０に示すように、入力画像Ｉ０’’と入力画像Ｉ１’’との合成画像Ｏ０と、新たな入力画像Ｉ０’’との合成処理が行われる。一方、全ての入力画像を合成した場合には、図９に示す制御処理を終了する。
図９に示す制御処理を実行することで、被写体ぶれの補正されたＨＤＲ合成画像が生成される。
次に、携帯端末（コンピュータ）２を上記画像合成装置１として機能させるための画像合成プログラムを説明する。
画像合成プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、動き情報取得モジュール、尤度算出モジュール、露出推定モジュール、動き補正モジュール及び合成モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像合成装置１の画像入力部１０、動き情報取得部１２、尤度算出部１３、露出推定部１４、動き補正部１５及び合成部１６の機能とそれぞれ同様である。
画像合成プログラムは、例えば、ＲＯＭ等の記録媒体または半導体メモリによって提供される。また、画像合成プログラムは、データ信号としてネットワークを介して提供されてもよい。
以上、本実施形態に係る画像合成装置１、画像合成方法及び画像合成プログラムによれば、第１画像と第２画像との露出を合わせる前に、第１画像と第２画像との差分に基づいて各画素における被写体の動きの尤度を算出する。そして、被写体の動きの尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。このように、露出を合わせる際に被写体の動きの尤度が考慮されるため、例えば被写体の動きで色が変化している可能性がある領域を除いて露出を合わせることができる。よって、適切な合成画像を生成することが可能となる。さらに、被写体ぶれマスクを用いて被写体ぶれ（ゴースト的な表示）の発生を回避し、クリアな画像とすることができる。
なお、上述した実施形態は本発明に係る画像合成装置の一例を示すものである。本発明に係る画像合成装置は、実施形態に係る画像合成装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置を変形し、又は他のものに適用したものであってもよい。
例えば、上述した各実施形態では、カメラ２０がフレーム画像を取得する例を説明したが、別の機器からネットワークを介して送信された画像であってもよい。また、合成画像を表示せずに記録のみする場合には、表示部２１を備えなくてもよい。
また、上述した各実施形態に係る画像合成装置１を、手ぶれ補正装置とともに動作させてもよい。
１…画像合成装置、１０…画像入力部（入力部）、１２…動き情報取得部、１３…尤度算出部、１４…露出推定部、１５…動き補正部、１６…合成部。
すなわち、本発明の一側面に係る画像合成装置は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する装置である。この装置は、入力部、尤度算出部、露出推定部及び合成部を備える。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点を選択する。
この画像構成装置では、第１画像と第２画像との露出を合わせる前に、第１画像と第２画像との差分に基づいて各画素における動被写体尤度を算出する。そして、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。このように、露出を合わせる際に動被写体尤度が考慮されるため、例えば被写体の動きで色が変化している可能性がある領域を除いて露出を合わせることができる。よって、適切な合成画像を生成することが可能となる。また、例えば被写体の動きが含まれる可能性がある領域を除いて露出変換関数を導出するためのサンプリング点を選択することができるので、露出変換関数を精度良く推定することが可能となる。よって、適切な合成画像を生成することができる。
また、本発明の他の側面に係る画像合成装置は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する装置である。この装置は、入力部、尤度算出部、露出推定部及び合成部を備える。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点の重みを決定する。このように構成することで、露出変換関数を導出するためのサンプリング点に動被写体尤度に応じた重みを設定することができるので、露出変換関数を精度良く推定することが可能となる。よって、適切な合成画像を生成することができる。
また、本発明の他の側面に係る画像処理方法は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する方法である。この方法では、第１画像及び第２画像を入力する。そして、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。そして、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。さらに、露出変換関数を用いて第１画像及び第２画像を合成する。そして、露出変換関数を推定する際には、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点を選択する。あるいは、露出変換関数を推定する際には、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点の重みを決定する。
また、本発明のさらに他の側面に係る画像合成プログラムは、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成するようにコンピュータを動作させるプログラムである。このプログラムは、コンピュータを、入力部、尤度算出部、露出推定部及び合成部として動作させる。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。そして、露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点を選択する。あるいは、露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点の重みを決定する。
また、本発明のさらに他の側面に係る記録媒体は、露出条件の異なる第１画像及び第２画像を用いて合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記録した記録媒体である。このプログラムは、コンピュータを、入力部、尤度算出部、露出推定部及び合成部として動作させる。入力部は、第１画像及び第２画像を入力する。尤度算出部は、第１画像及び第２画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部は、動被写体尤度に基づいて第１画像と第２画像との露出条件を合わせる露出変換関数を推定する。合成部は、露出変換関数を用いて第１画像及び第２画像を合成する。そして、露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点を選択する。あるいは、露出推定部は、各画素の動被写体尤度に基づいて、露出変換関数を導出するためのサンプリング点の重みを決定する。

Claims (19)

  1. 露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する画像合成装置であって、
    前記第１画像及び前記第２画像を入力する入力部と、
    前記第１画像及び前記第２画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部と、
    前記動被写体尤度に基づいて、前記第１画像と前記第２画像との露出条件を合わせる露出変換関数を推定する露出推定部と、
    前記露出変換関数を用いて前記第１画像及び前記第２画像を合成する合成部と、
    を備える画像合成装置。
  2. 前記尤度算出部は、前記第１画像及び前記第２画像の画素値を正規化し、正規化された前記第１画像及び前記第２画像の差分に基づいて、各画素における前記動被写体尤度を算出する請求項１に記載の画像合成装置。
  3. 前記尤度算出部は、
    前記第１画像の解像度をそれぞれ段階的に変更することで得られる複数の第１処理画像、及び、前記第２画像の解像度をそれぞれ段階的に変更することで得られる複数の第２処理画像を用いて、各画素の差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の前記動被写体尤度を算出する請求項１又は２に記載の画像合成装置。
  4. 前記尤度算出部は、前記第１画像と前記第２画像との差分の信頼度、及び前記第１処理画像又は前記第２処理画像の画像サイズもしくは解像度に基づいて、解像度ごとに得られた差分を重み付けする請求項３に記載の画像合成装置。
  5. 前記露出推定部は、各画素の前記動被写体尤度に基づいて、前記露出変換関数を導出するためのサンプリング点を選択する請求項１〜４の何れか一項に記載の画像合成装置。
  6. 前記露出推定部は、各画素の前記動被写体尤度に基づいて、前記露出変換関数を導出するためのサンプリング点の重みを決定する請求項１〜５の何れか一項に記載の画像合成装置。
  7. 前記露出推定部は、各画素の前記動被写体尤度が高いほど前記露出変換関数を導出するためのサンプリング点の重みを小さく決定する請求項６に記載の画像合成装置。
  8. 前記合成部は、
    前記第１画像及び前記第２画像の差分に基づいて各画素における動被写体尤度を算出し、該動被写体尤度及び前記露出変換関数を用いて前記第１画像及び前記第２画像を合成する請求項１〜７の何れか一項に記載の画像合成装置。
  9. 前記合成部は、
    前記第１画像又は前記第２画像の元の輝度値の大きさに基づいて、前記第１画像及び前記第２画像の画素値の合成比を示す輝度ベースマスクを生成し、
    前記第１画像及び前記第２画像の差分に基づいて、前記第１画像及び前記第２画像の画素値の合成比を示す被写体ぶれマスクを生成し、
    前記輝度ベースマスク及び前記被写体ぶれマスクを結合させて、前記第１画像及び前記第２画像の画素値を合成する合成マスクを生成する請求項１〜８の何れか一項に記載の画像合成装置。
  10. 前記合成部は、
    前記第１画像及び前記第２画像の差分に基づいて、各画素における動被写体尤度を算出し、
    該動被写体尤度に基づいて前記被写体ぶれマスクを生成する請求項９に記載の画像合成装置。
  11. 前記合成部は、
    前記第１画像の解像度をそれぞれ段階的に変更することで得られる複数の第１処理画像、及び、前記第２画像の解像度をそれぞれ段階的に変更することで得られる複数の第２処理画像を用いて、各画素の差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の前記動被写体尤度を算出し、該動被写体尤度に基づいて前記被写体ぶれマスクを生成する請求項１０に記載の画像合成装置。
  12. 前記合成部は、
    前記動被写体尤度が所定の閾値以下となる画素が隣接する領域を検出し、各領域に対して識別ラベルを付与し、領域ごとに前記被写体ぶれマスクを生成する請求項１１に記載の画像合成装置。
  13. 前記合成部は、
    前記被写体ぶれマスクとして、前記第１画像及び前記第２画像のうち強制的に輝度値の低い画素値を選択させる第１マスク、又は、前記第１画像及び前記第２画像のうち強制的に輝度値の高い画素値を選択させる第２マスクを生成する請求項９〜１２の何れか一項に記載の画像合成装置。
  14. 前記合成部は、
    前記輝度ベースマスクに対して、前記第１マスクを反転させたマスクを乗算し、又は、前記第２マスクを加算することで、前記合成マスクを生成する請求項１３に記載の画像合成装置。
  15. 前記第１画像と前記第２画像との間の画素の動き情報を取得する動き情報取得部をさらに備え、
    前記尤度算出部は、前記動き情報に基づいて前記第１画像及び前記第２画像を補正し、補正後の前記第１画像及び前記第２画像を用いて各画素の前記動被写体尤度を算出する請求項１〜１４の何れか一項に記載の画像合成装置。
  16. 前記第１画像は、露出条件の異なる画像同士が合成された画像からなる請求項１〜１５の何れか一項に記載の画像合成装置。
  17. 露出条件の異なる第１画像及び第２画像を用いて合成画像を生成する画像合成方法であって、
    前記第１画像及び前記第２画像を入力し、
    前記第１画像及び前記第２画像の差分に基づいて、各画素における動被写体尤度を算出し、
    前記動被写体尤度に基づいて前記第１画像と前記第２画像との露出条件を合わせる露出変換関数を推定し、
    前記露出変換関数を用いて前記第１画像及び前記第２画像を合成する、
    画像合成方法。
  18. 露出条件の異なる第１画像及び第２画像を用いて合成画像を生成するようにコンピュータを動作させる画像合成プログラムであって、
    前記第１画像及び前記第２画像を入力する入力部、
    前記第１画像及び前記第２画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部、
    前記動被写体尤度に基づいて前記第１画像と前記第２画像との露出条件を合わせる露出変換関数を推定する露出推定部、及び
    前記露出変換関数を用いて前記第１画像及び前記第２画像を合成する合成部として前記コンピュータを動作させる画像合成プログラム。
  19. 露出条件の異なる第１画像及び第２画像を用いて合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記録した記録媒体であって、
    前記第１画像及び前記第２画像を入力する入力部、
    前記第１画像及び前記第２画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部、
    前記動被写体尤度に基づいて前記第１画像と前記第２画像との露出条件を合わせる露出変換関数を推定する露出推定部、及び
    前記露出変換関数を用いて前記第１画像及び前記第２画像を合成する合成部として前記コンピュータを動作させる画像合成プログラムを記録した記録媒体。
JP2012558101A 2011-10-14 2011-10-14 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 Active JP5365823B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/073713 WO2013054446A1 (ja) 2011-10-14 2011-10-14 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2013042040A Division JP5364887B2 (ja) 2013-03-04 2013-03-04 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2013175399A Division JP5610245B2 (ja) 2013-08-27 2013-08-27 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP5365823B2 JP5365823B2 (ja) 2013-12-11
JPWO2013054446A1 true JPWO2013054446A1 (ja) 2015-03-30

Family

ID=48081519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012558101A Active JP5365823B2 (ja) 2011-10-14 2011-10-14 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Country Status (6)

Country Link
US (2) US9129414B2 (ja)
EP (2) EP2688288B1 (ja)
JP (1) JP5365823B2 (ja)
KR (2) KR101609491B1 (ja)
CN (2) CN103168462B (ja)
WO (2) WO2013054446A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9508173B2 (en) 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
US9576341B2 (en) * 2013-10-30 2017-02-21 Ricoh Imaging Company, Ltd. Image-processing system, imaging apparatus and image-processing method
US9210335B2 (en) * 2014-03-19 2015-12-08 Konica Minolta Laboratory U.S.A., Inc. Method for generating HDR images using modified weight
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP5847228B2 (ja) * 2014-04-16 2016-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2015196122A1 (en) * 2014-06-19 2015-12-23 Contentguard Holdings, Inc. Rendering content using obscuration techniques
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
JP6485204B2 (ja) * 2015-05-14 2019-03-20 リコーイメージング株式会社 撮影装置、画像ファイル生成装置、画像ファイル処理装置及びプログラム
JP6648914B2 (ja) * 2015-06-16 2020-02-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
CN105187730B (zh) * 2015-07-31 2018-08-07 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
US10122936B2 (en) * 2015-09-02 2018-11-06 Mediatek Inc. Dynamic noise reduction for high dynamic range in digital imaging
US10755395B2 (en) * 2015-11-27 2020-08-25 Canon Medical Systems Corporation Dynamic image denoising using a sparse representation
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6877109B2 (ja) * 2016-04-13 2021-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109417592B (zh) * 2016-07-01 2020-12-29 麦克赛尔株式会社 拍摄装置、拍摄方法及拍摄程序
JP6715463B2 (ja) * 2016-09-30 2020-07-01 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラムおよび記録媒体
CN107330867B (zh) * 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
JP2019028537A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 画像処理装置および画像処理方法
KR102138483B1 (ko) 2017-10-31 2020-07-27 가부시키가이샤 모르포 화상 합성 장치, 화상 합성 방법, 화상 합성 프로그램 및 기억 매체
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7098980B2 (ja) * 2018-03-16 2022-07-12 株式会社リコー 撮像装置、画像処理装置および画像処理方法
KR102628911B1 (ko) * 2019-01-07 2024-01-24 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
KR102649032B1 (ko) * 2019-04-26 2024-03-20 엘지전자 주식회사 자율주행 차량의 영상 처리 방법
US11430134B2 (en) * 2019-09-03 2022-08-30 Nvidia Corporation Hardware-based optical flow acceleration
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和系统、存储介质、计算设备
CN112233127B (zh) * 2020-10-15 2022-09-16 上海圭目机器人有限公司 一种用于弯道拼接图像的下采样方法
CN113409201B (zh) * 2021-06-01 2024-03-19 平安科技（深圳）有限公司 图像增强处理方法、装置、设备及介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3927888A1 (de) 1989-08-24 1991-02-28 Philips Patentverwaltung Wechselrichteranordnung
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
JPH10191136A (ja) 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US6370270B1 (en) * 1999-01-06 2002-04-09 National Instruments Corporation System and method for sampling and/or placing objects using low discrepancy sequences
KR20010103394A (ko) * 2000-05-10 2001-11-23 박정관 신분증 인식 기술을 이용한 고객 정보 관리 시스템 및 방법
JP3731729B2 (ja) 2000-12-20 2006-01-05 松下電器産業株式会社 画像合成回路
JP4257165B2 (ja) * 2003-08-19 2009-04-22 株式会社日立製作所 撮像装置及び方法
JP2005130054A (ja) 2003-10-21 2005-05-19 Sharp Corp 撮像装置およびその駆動方法
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
KR101086402B1 (ko) * 2004-08-30 2011-11-25 삼성전자주식회사 영상 분할 방법
EP1797722B1 (en) * 2004-10-05 2019-05-29 Vectormax Corporation Adaptive overlapped block matching for accurate motion compensation
JP2006148550A (ja) 2004-11-19 2006-06-08 Konica Minolta Opto Inc 画像処理装置及び撮像装置
JP4638361B2 (ja) 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
CN101627408B (zh) * 2007-03-13 2012-08-22 奥林巴斯株式会社 图像信号处理装置、图像信号处理方法
JP5133085B2 (ja) 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
JP4851392B2 (ja) 2007-05-30 2012-01-11 富士通株式会社 画像合成装置と画像合成方法および画像合成プログラム
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
KR101442610B1 (ko) * 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP2009276956A (ja) * 2008-05-14 2009-11-26 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2010045510A (ja) 2008-08-11 2010-02-25 Panasonic Corp 画像処理装置及び画像処理方法
KR101534317B1 (ko) * 2008-10-10 2015-07-06 삼성전자주식회사 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치
US20100091119A1 (en) 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8040258B2 (en) * 2009-04-07 2011-10-18 Honeywell International Inc. Enhanced situational awareness system and method
US8390698B2 (en) * 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
JP2010258885A (ja) 2009-04-27 2010-11-11 Ricoh Co Ltd 撮像装置及び画像処理方法
KR101551690B1 (ko) * 2009-06-26 2015-09-09 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
JP2011171842A (ja) 2010-02-16 2011-09-01 Olympus Corp 画像処理装置及び画像処理プログラム
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5633550B2 (ja) * 2012-09-05 2014-12-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5364887B2 (ja) 2013-03-04 2013-12-11 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Also Published As

Publication number Publication date
US9129414B2 (en) 2015-09-08
EP2688288A1 (en) 2014-01-22
WO2013054607A1 (ja) 2013-04-18
CN103493473B (zh) 2018-01-16
CN103168462B (zh) 2016-09-28
US20140212065A1 (en) 2014-07-31
US9626750B2 (en) 2017-04-18
CN103168462A (zh) 2013-06-19
CN103493473A (zh) 2014-01-01
KR101643122B1 (ko) 2016-07-26
EP2688288A4 (en) 2015-04-08
EP2693738B1 (en) 2019-04-17
WO2013054446A1 (ja) 2013-04-18
US20140079333A1 (en) 2014-03-20
EP2688288B1 (en) 2018-05-16
KR101609491B1 (ko) 2016-04-05
EP2693738A4 (en) 2015-10-14
EP2693738A1 (en) 2014-02-05
KR20140093237A (ko) 2014-07-25
KR20160039701A (ko) 2016-04-11
JP5365823B2 (ja) 2013-12-11

Similar Documents

Publication Publication Date Title
JP5365823B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP5610245B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
CN108668093B (zh) Hdr图像的生成方法及装置
JP3880553B2 (ja) 画像処理方法および装置
JP5767485B2 (ja) 画像処理装置及び制御方法
JP5896788B2 (ja) 画像合成装置及び画像合成方法
JP6326180B1 (ja) 画像処理装置
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
WO2015184208A1 (en) Constant bracketing for high dynamic range operations (chdr)
WO2011099647A1 (ja) 画像処理装置
US8903195B2 (en) Specification of an area where a relationship of pixels between images becomes inappropriate
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7133979B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
JP2008072604A (ja) 画像処理方式、装置、メディア、プログラム
CN114979500A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
JP5364887B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP5720034B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4544064B2 (ja) 撮像装置、撮像方法及びプログラム
JP2018190201A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021071906A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5232186B2 (ja) 画像処理装置
JP2015177529A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130827

R150 Certificate of patent or registration of utility model

Ref document number: 5365823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250