JP7212128B2 - 画像処理方法、装置及び記憶媒体 - Google Patents

画像処理方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP7212128B2
JP7212128B2 JP2021177390A JP2021177390A JP7212128B2 JP 7212128 B2 JP7212128 B2 JP 7212128B2 JP 2021177390 A JP2021177390 A JP 2021177390A JP 2021177390 A JP2021177390 A JP 2021177390A JP 7212128 B2 JP7212128 B2 JP 7212128B2
Authority
JP
Japan
Prior art keywords
image
images
sub
brightness
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021177390A
Other languages
English (en)
Other versions
JP2022168818A (ja
Inventor
鵬 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2022168818A publication Critical patent/JP2022168818A/ja
Application granted granted Critical
Publication of JP7212128B2 publication Critical patent/JP7212128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Description

本開示は、画像技術分野に関し、特に、画像処理方法、装置及び記憶媒体に関する。
ハイダイナミックレンジイメージング(High Dynamic Range Imaging、HDRI又はHDR)は、コンピュータグラフィックス及び映画撮影技術において、普通のデジタル画像技術よりも大きい露光ダイナミックレンジ(すなわち、より大きい明暗差)を実現するための一連の技術である。ハイダイナミックレンジイメージングは、実世界で太陽光が最も暗い影に直射するような広い範囲の輝度を正確に表示することを目的とする。
ハイダイナミックレンジイメージングは、同一のシーン、異なる露光度での複数の写真を撮影し、それらを合理的に結合することを中心的な思想とする。現在、ハイダイナミックレンジイメージング領域のほとんどは、従来の画像アルゴリズムによって実現されており、典型的な結合方法は、画像特徴ピラミッドに基づいて結合する。しかしながら、従来の画像アルゴリズム画像を処理する過程において、陰や逆光の人物像シーンに対する結合効果が比較的悪く、人の顔が暗すぎて、シャープ化が深刻で、輝度や肌の色が不自然である。
本開示は、画像処理方法、装置及び記憶媒体を提供する。
本開示の実施例の第1の態様によれば、画像処理方法を提供し、前記画像処理方法は、
収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
選択可能に、前記方法は、
Mフレームの前記処理対象画像の輝度情報に基づいて、Mフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Mフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む。
選択可能に、前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップは、
前記標準露光画像における各画像領域の第1の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定するステップと、
前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む。
選択可能に、前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップは、
前記第1の平均輝度値と前記第2の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む。
選択可能に、調整された結合サブ画像に基づいて、目標画像を得るステップは、
N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む。
選択可能に、設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップは、
前記輝度調整パラメータに基づいて、第N-1層に位置する結合サブ画像の輝度を調整するステップを含む。
本開示の実施例の第2の態様によれば、画像処理装置を提供し、前記画像処理装置は、
収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するように構成される構築モジュールであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数である構築モジュールと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第1の決定モジュールと、
前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るように構成される結合モジュールと、
設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するように構成されている調整モジュールと、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第2の決定モジュールと、を含む。
選択可能に、前記装置は、
Mフレームの前記処理対象画像の輝度情報に基づいて、Mフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Mフレームの前記処理対象画像から標準露光画像を決定するように構成される第3の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第4の決定モジュールと、をさらに含む。
選択可能に、前記第4の決定モジュールは、さらに
前記標準露光画像における各画像領域の第1の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定し、
前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される。
選択可能に、前記第4の決定モジュールは、さらに、
前記第1の平均輝度値と前記第2の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される。
選択可能に、前記第2の決定モジュールは、さらに、
N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される。
選択可能に、前記調整モジュールは、さらに、
前記輝度調整パラメータに基づいて、第N-1層に位置する結合サブ画像の輝度を調整するように構成される。
本開示の実施例の第3の態様によれば、画像処理装置を提供し、前記画像処理装置は、
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含み、
前記プロセッサは、実行時に、上記第1の態様内のいずれかの画像処理方法におけるステップを実現するように構成される。
本開示の実施例の第4の態様によれば、前記記憶媒体における命令が画像処理装置のプロセッサによって実行される場合、前記装置が第1の態様のいずれかの画像処理方法におけるステップを実行できるようにする非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
本開示の実施例により提供される技術案は、以下の有益な効果を含むことができる。
本開示の実施例では、処理対象画像を結合し、結合サブ画像を得た後、設定された輝度調整パラメータに基づいて結合サブ画像の輝度を調整することができ、例えば、輝度調整パラメータに基づいて結合サブ画像に対して輝度向上処理を行うか、又は輝度調整パラメータに基づいて結合サブ画像の輝度を低下させることができ、このようにして、調整された結合サブ画像に基づいて目標画像を構築する過程において、最終的に得られた目標画像の輝度をより適切にすることができる。
以上の一般的な説明及び以下の詳細な説明は、例示的かつ説明的なものに過ぎず、本開示を限定するものではないことを理解すべきである。
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本開示に適合する実施例を示し、明細書とともに本開示の原理を説明することに用いられる。
例示的な一実施例に係る画像処理方法のフロー概略図である。 例示的な一実施例に係るラプラスピラミッドの概略図である。 例示的な一実施例に係る線形区分の概略図である。 例示的な一実施例に係る別の画像処理方法のフロー概略図である。 例示的な一実施例に係る画像処理装置のブロック図である。 例示的な一実施例に係る画像処理装置1200のブロック図である。 例示的な一実施例に係る別の画像処理装置1300のブロック図である。
ここで、例示的な実施例を説明し、その例を図面に示す。以下の説明が図面に関連する場合、異なる図面における同じ数字は、別段の表示がない限り、同じ又は類似の要素を表す。以下の例示的な実施例に記載された実施形態は、本開示と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に記載された本開示のいくつかの態様に合致する装置及び方法の一例に過ぎない。
本開示の実施例には、画像処理方法が提供され、図1は、例示的な一実施例に係る画像処理方法のフロー概略図であり、図1に示すように、当該方法は、主に以下のステップを含む。
ステップ101において、収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立し、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数であり、
ステップ102において、各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定し、
ステップ103において、前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得て、
ステップ104において、設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整し、
ステップ105において、調整された結合サブ画像に基づいて、目標画像を得る。
本開示の実施例に係る画像処理方法を携帯端末又は固定端末を含む電子機器に適用することができ、ここで、携帯端末は、携帯電話、タブレット、ノートパソコンなどを含み、固定端末は、パーソナルコンピュータを含む。他の選択可能な実施例において、当該画像処理方法は、サーバ及び処理センタなどを含むネットワーク側の装置において実行することができる。
別のいくつかの実施例において、当該電子機器が画像収集モジュールを有してもよく、ここで、画像収集モジュールは、画像収集機能を有するカメラであってもよい。
実現の過程では、画像収集モジュールに基づいてMフレームの処理対象画像を収集することができ、ここで、各フレームの処理対象画像の露光度が異なる。別のいくつかの実施例において、当該電子機器以外の他の電子機器によってMフレームの処理対象画像を予め収集し、実現の過程では、他の電子機器によって収集されたMフレームの処理対象画像を当該電子機器に入力することができる。つまり、電子機器に付属する画像収集モジュールに基づいて処理対象画像の収集を行うことができるし、当該電子機器以外の他の電子機器に基づいて処理対象画像の収集を行うこともできる。
電子機器が携帯電話であることを例として、実現の過程では、携帯電話に付属する画像収集モジュールに基づいてMフレームの処理対象画像を収集し、M個の第1の画像集合を構築することができる。いくつかの実施例において、Mが正整数、例えば、4であってもよく、すなわち、4フレームの処理対象画像を収集することができる。
ここで、第1の画像集合が処理対象画像のラプラスピラミッドであってもよい。つまり、本開示の実施例において、Mフレームの処理対象画像が得られた後、各フレームの処理対象画像に対してラプラスピラミッドを構築することができる。処理対象画像のラプラスピラミッドは、ピラミッド状に配列され、解像度が段階的に変化し、同一のフレームの処理対象画像(オリジナル画像)からの一連の画像集合であり、ステップダウンサンプリングによって取得することができる。
図2は、例示的な一実施例に係るラプラスピラミッドの概略図であり、図2に示すように、第1の画像集合がラプラスピラミッドであり、Nが4であることを例として、ラプラスピラミッドの底部が処理対象画像の高解像度表示であり、頂部が低解像度表示である。第1層(頂部)の解像度が32×32であり、第2層の解像度が64×64であり、第3層の解像度が128×128であり、第4層(底部)の解像度が256×256である。
別のいくつかの実施例において、先ず処理対象画像に対してガウス平滑化処理を行い、処理対象画像に対してガウス平滑化処理を行った後、ステップダウンサンプリングによって当該処理対象画像のラプラスピラミッドを取得することもできる。
本開示の実施例において、第1の画像集合が得られた後、各フレームの処理対象画像の輝度情報に基づいて、第1の画像集合における各層の処理対処画像に対応する結合重みを決定することができる。ここで、輝度情報は、処理対象サブ画像の輝度値、コントラスト、飽和度などの情報を含むことができる。例えば、処理対象画像の輝度値、コントラスト、飽和度などの特徴に基づいて、第1の画像集合における各層の処理対象画像に対応する結合重みを計算することができる。例えば、各層の処理対象サブ画像の結合重みを個別に計算するか、又は解像度が最も大きい一層の処理対象サブ画像の結合重みを計算してから、ダウンサンプリングを行い、他の層の結合重みを取得することができる。
別のいくつかの実施例において、第1の画像集合における各層の処理対象サブ画像に対応する結合重みが得られた後、各層の結合重みに対して正規化処理を行うこともできる。いくつかの実施例において、重み曲線が、平均値及び分散値が異なるガウス曲線である。別のいくつかの実施例において、結合重みに対して正規化処理を行った後、各層の処理対象サブ画像が1つの結合重みに対応し、これにより、各層の処理対象サブ画像に対応する結合重みに基づいて、各フレームの処理対象画像の重みのガウスピラミッドを取得することができ、Mフレームの処理対象画像がM個の重みを有するガウスピラミッドに対応する。
本開示の実施例において、第1の画像集合における各層の処理対象サブ画像に対応する結合重みが得られた後、異なる処理対象画像の特徴と詳細を結合するように、M個の第1の画像集合における対応する階層の処理対象サブ画像に対して結合重みに基づいて結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を取得することができる。
例えば、結合重みに基づいて、第1の画像集合における各層の処理対象画像に対して重み付けを行い、重み付けされた処理対象サブ画像を合計し、各層の結合サブ画像を取得することができ、すなわち、対応するラプラスピラミッドを取得することができる。つまり、本開示において、重みのガウスピラミッド及び処理対象画像のラプラスピラミッドの各層に対して重み合計を行うことにより、結合画像のラプラスピラミッドを取得することができる。
本開示の実施例において、結合重みに基づいてM個の第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を実行する過程において、設定された輝度調整パラメータに基づいてN個の結合サブ画像における少なくとも1つの結合サブ画像の輝度を調整し、調整された結合サブ画像に基づいて目標画像を取得することができる。
別のいくつかの実施例において、結合重みに基づいてM個の第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行った後、設定された輝度調整パラメータに基づいて、N個の結合サブ画像における少なくとも1つの画像の輝度を調整し、調整された結合サブ画像に基づいて、目標画像を取得することができる。
本開示の実施例において、処理対象画像を結合し、結合サブ画像が得られた後、設定された輝度調整パラメータに基づいて結合サブ画像の輝度を調整することができ、例えば、輝度調整パラメータに基づいて結合サブ画像に対して輝度向上処理を行うか、又は輝度調整パラメータに基づいて結合サブ画像の輝度を低下させることができ、このようにして、調整された結合サブ画像に基づいて目標画像を構築する過程において、最終的に得られた目標画像の輝度をより適切にすることができる。
いくつかの実施例において、設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップは、
前記輝度調整パラメータに基づいて、第N-1層に位置する結合サブ画像の輝度を調整するステップを含む。
ここで、Nが4である場合を例として、図2に示すように、図2における後ろから第2層(N-1層)の結合サブ画像の輝度を調整することができ、後ろから第2層の解像度が比較的高いので、解像度が高い結合サブ画像の輝度を調整することは、解像度が比較的低い結合サブ画像の輝度を調整するよりも、最終的に得られた目標画像の輝度をより適切なものにした上で、最終的に得られた目標画像の鮮鋭度をより高くすることができる。
もちろん、別のいくつかの実施例において、第N-2層に位置する結合サブ画像の輝度を調整するか、又は第N-3層の結合サブ画像の輝度を調整するか、又は第N-1層及び第N-2層に位置する結合サブ画像の輝度を同時に調整することができる。具体的な調整方式は、結合サブ画像の階層又は必要に応じて設定することができ、ここでは具体的に限定しない。
いくつかの実施例において、前記方法は、
Mフレームの前記処理対象画像の輝度情報に基づいて、Mフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Mフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む。
ここで、Mフレームの処理対象画像が得られた後、Mフレームの処理対象画像の輝度情報に基づいて、Mフレームの処理対象画像をソートし、ソート結果に基づいてMフレームの処理対象画像から標準露光画像を決定することができる。ここで、輝度情報は、処理対象サブ画像の輝度値、コントラスト、飽和度などの情報を含むことができる。
輝度情報が処理対象画像の輝度値であることを例として、処理対象画像の輝度値に基づいて、Mフレームの処理対象画像をソートし、ソート結果に基づいて処理対象画像から標準露光画像を決定することができる。例えば、設定位置にソートされた処理対象画像を標準露光画像として決定することができ、ここで、設定位置は、中間位置などを含むことができる。いくつかの実施例において、設定位置は、必要に応じて設定することができ、例えば、経験に基づいて設定するか、又は履歴データに基づいて設定することができる。
ここで、Mが5であり、すなわち、5フレームの処理対象画像がある場合を例として、ここで、第1の処理対象画像の輝度値が5ルクス(lux)であり、第2の処理対象画像の輝度値が4ルクスであり、第3の処理対象画像の輝度値が7ルクスであり、第4の処理対象画像の輝度値が2ルクスであり、第5の処理対象画像の輝度値が3ルクスである。第2の処理対象画像が中間位置にあるので、第2の処理対象画像を標準露光画像として決定することができる。
本開示の実施例において、標準露光画像が決定された後、標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、輝度調整パラメータを決定することができる。ここで、現在調整対象の結合サブ画像が第N-1層に位置する結合サブ画像であってもよいし、もちろん、他の階層に位置する結合サブ画像であってもよいし、ここで具体的に限定しない。
本開示の実施例において、設定位置にある処理対象画像の輝度が比較的適切なので、設定位置の処理対象画像を標準露光画像として決定し、標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、輝度調整パラメータを一括して決定することにより、輝度調整パラメータをより正確にすることができる。
別のいくつかの実施例において、標準露光画像の輝度情報と調整対象の結合サブ画像の輝度情報とのマッピング関係を予め確立することもできる。これにより、実現中、標準露光画像が決定された場合、標準露光画像の輝度情報及び予め確立されたマッピング関係に基づいて、輝度調整パラメータを決定し、当該輝度調整パラメータに基づいて調整対象の結合サブ画像の輝度を調整することができる。
いくつかの実施例において、前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップは、
前記標準露光画像における各画像領域の第1の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定するステップと、
前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む。
ここで、標準露光画像における各画像領域の第1の平均輝度値、及び現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定し、第1の平均輝度値及び第2の平均輝度値に基づいて輝度調整パラメータを決定することができる。平均値を計算することにより、得られた輝度調整パラメータをより均一にし、調整された結合サブ画像の輝度をより適切にすることができる。
別のいくつかの実施例において、画像処理アルゴリズムに基づいて標準露光画像における第1の目標領域(例えば、顔領域)の第3の平均輝度値を決定し、画像処理アルゴリズムに基づいて現在の調整対象の結合サブ画像における第2の目標領域(例えば、顔領域)の第4の平均輝度値を決定し、第3の平均輝度値及び第4の平均輝度値に基づいて輝度調整パラメータを決定することもできる。これにより、目標領域の輝度を目的に合わせて調整することができ、例えば、目標領域の輝度がより自然になるように、顔の輝度を調整することができる。
いくつかの実施例において、前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップは、
前記第1の平均輝度値と前記第2の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む。
本開示の実施例において、第1の平均輝度値と第2の平均輝度値との差を輝度調整パラメータとして決定した後、輝度調整パラメータに基づいてN個の結合サブ画像における少なくとも1つの結合サブ画像の輝度を調整する際に、当該少なくとも1つの結合サブ画像の輝度及び当該輝度調整パラメータを直接加算し、目標輝度値を得て、当該少なくとも1つの結合サブ画像の輝度を当該目標輝度値に調整することができる。つまり、当該結合サブ画像の輝度値を当該標準露光画像の輝度値と同じになるように調整することができる。
いくつかの実施例において、調整された結合サブ画像に基づいて、目標画像を得るステップは、
N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む。
ここで、N個の画像における少なくとも1つの結合サブ画像の輝度を調整した後、結合画像に対応するラプラスピラミッドを取得することができ、この場合、結合画像に対応するラプラスピラミッドの最上層から回帰し、最小解像度からアップサンプリングして上位層の特徴と重畳し、結合画像を取得することができる。
本開示の実施例において、結合画像の再構築中、ある層(例えば、第N-1層)で結合サブ画像に対して区分された線形輝度向上を行うことができ、図3は、例示的な一実施例に係る線形区分の概略図であり、図3に示すように、横座標が調整対象の結合サブ画像の輝度値であり、縦座標が標準露光画像の輝度値である。本開示の実施例において、調整対象の結合サブ画像の輝度がより適切になるように、調整対象の結合サブ画像に対して区分された線形マッピングを行うことができる。区分された線形輝度向上では、調整対象の結合サブ画像における顔領域の平均輝度及び標準露光画像における顔領域の平均輝度によって区分されたノードを決定し、当該ノードの後に調整対象の結合サブ画像の輝度を調整することができる。例えば、調整対象の結合サブ画像の輝度を標準露光画像の輝度と同じになるように調整する。
別のいくつかの実施例において、標準露光画像の輝度情報と調整対象の結合サブ画像の輝度情報とのマッピング関係を予め確立することもできる。これにより、実現中、標準露光画像が決定された場合、標準露光画像の輝度情報及び予め確立されたマッピング関係に基づいて、輝度調整パラメータを決定し、当該輝度調整パラメータに基づいて調整対象の結合サブ画像の輝度を調整することができる。
ここで、標準露光画像の輝度情報と調整対象の結合サブ画像の輝度情報とのマッピング関係は、以下のように表すことができ、
y=ax+b (1)
式(1)において、yは調整対象の結合サブ画像の輝度情報を表し、xは標準露光画像の輝度情報を表し、aは変化係数であり、bは定数項である。
ここで、a及びbの数値を必要に応じて設定することができ、例えば、a=1、b=0であり、a=1、b=0である場合、調整対象の結合サブ画像の輝度情報を標準露光画像の輝度情報の輝度情報と同じになるように調整することができる。
本開示の実施例において、結合画像が得られた後、結合画像及び標準露光画像に対して結合処理を行い、目標画像を取得することができ、例えば、結合画像のラプラスピラミッド及び標準露光画像のラプラスピラミッドを構築し、結合画像及び標準露光画像の輝度情報に基づいてラプラスピラミッドにおける各層の結合対象サブ画像の結合重みを取得し、各層の結合対象サブ画像の結合重みに基づいて結合画像及び標準露光画像に対して重み付け結合処理を行い、目標画像を取得することができる。これにより、結合画像及び標準露光画像の特徴及び詳細を結合し、目標画像がより自然になるようにすることができる。
図4は、例示的な一実施例に係る別の画像処理方法のフロー概略図であり、図4に示すように、当該方法は主に以下のステップを含む。
ステップ401において、Mフレームの処理対象画像を入力する。
実現の過程では、画像収集モジュールに基づいてMフレームの処理対象画像を収集することができ、ここで、各フレームの処理対象画像の露光度が異なる。別のいくつかの実施例において、当該電子機器以外の他の電子機器によってMフレームの処理対象画像を予め収集し、実現の過程では、他の電子機器によって収集されたMフレームの処理対象画像を当該電子機器に入力することができる。つまり、電子機器に付属する画像収集モジュールに基づいて処理対象画像の収集を行うことができるし、当該電子機器以外の他の電子機器に基づいて処理対象画像の収集を行うこともできる。
ステップ402において、各フレームの処理対象画像のラプラスピラミッドを構築する。
本開示の実施例において、Mフレームの処理対象画像が得られた後、各フレームの処理対象画像に対してラプラスピラミッドを構築することができる。処理対象画像のラプラスピラミッドは、ピラミッド状に配列され、解像度が段階的に変化し、同一のフレームの処理対象画像(オリジナル画像)からの一連の画像集合であり、ステップダウンサンプリングによって取得することができる。
ステップ403において、各フレームの処理対象画像の輝度情報に基づいて、ラプラスピラミッドにおける各層の処理対象サブ画像に対応する結合重みを決定する。
ここで、輝度情報は、処理対象サブ画像の輝度値、コントラスト、飽和度などの情報を含むことができる。例えば、処理対象画像の輝度値、コントラスト、飽和度などの特徴に基づいて、第1の画像集合における各層の処理対象画像に対応する結合重みを計算することができる。例えば、各層の処理対象サブ画像の結合重みを個別に計算するか、又は解像度が最も大きい一層の処理対象サブ画像の結合重みを計算してから、ダウンサンプリングを行い、他の層の結合重みを取得することができる。
ステップ404において、結合重みに基づいて、ラプラスピラミッドにおける各層の処理対象サブ画像に対して重み付け結合を行い、結合画像のラプラスピラミッドを取得する。
本開示の実施例において、第1の画像集合における各層の処理対象サブ画像に対応する結合重みが得られた後、異なる処理対象画像の特徴及び詳細を結合するように、M個の第1の画像集合における対応する階層の処理対象サブ画像に対して結合重みに基づいて結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を取得することができる。
ステップ405において、結合画像のラプラスピラミッドを再構築し、再構築中に、区分された線形輝度向上を行い、結合画像を取得する。
本開示の実施例において、結合重みに基づいてM個の第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行う中、設定された輝度調整パラメータに基づいて、N個の結合サブ画像における少なくとも1つの結合サブ画像の輝度を調整し、調整された結合サブ画像に基づいて、結合画像を取得することができる。
ステップ406において、結合画像及び標準露光画像に対して結合処理を行い、目標画像を取得する。
本開示の実施例において、結合画像が得られた後、結合画像及び標準露光画像に対して結合処理を行い、目標画像を取得することができ、例えば、結合画像のラプラスピラミッド及び標準露光画像のラプラスピラミッドを構築し、結合画像及び標準露光画像の輝度情報に基づいてラプラスピラミッドにおける各層の結合対象サブ画像の結合重みを取得し、各層の結合対象サブ画像の結合重みに基づいて結合画像及び標準露光画像に対して重み付け結合処理を行い、目標画像を取得することができる。これにより、結合画像及び標準露光画像の特徴及び詳細を結合し、目標画像がより自然になるようにすることができる。
図5は、例示的な一実施例に係る画像処理装置のブロック図であり、図5に示すように、当該画像処理装置500は、電子機器に適用され、
収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するように構成される構築モジュール501であって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数である構築モジュール501と、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第1の決定モジュール502と、
前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るように構成される結合モジュール503と、
設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するように構成されている調整モジュール504と、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第2の決定モジュール505と、を主に含む。
いくつかの実施例において、前記装置400は、
Mフレームの前記処理対象画像の輝度情報に基づいて、Mフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Mフレームの前記処理対象画像から標準露光画像を決定するように構成される第3の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第4の決定モジュールと、をさらに含む。
いくつかの実施例において、前記第4の決定モジュールは、さらに、
前記標準露光画像における各画像領域の第1の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定し、
前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される。
いくつかの実施例において、前記第4の決定モジュールは、さらに、
前記第1の平均輝度値と前記第2の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される。
いくつかの実施例において、前記第2の決定モジュール505は、さらに、
N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される。
いくつかの実施例において、前記調整モジュール504は、さらに、
前記輝度調整パラメータに基づいて、第N-1層に位置する結合サブ画像の輝度を調整するように構成される。
上記実施例における装置について、各モジュールが操作を実行する具体的な形態は、当該方法に関連する実施例において詳細に説明したが、ここで詳細に説明しない。
図6は、例示的な一実施例に係る画像処理装置1200のブロック図である。例えば、装置1200が携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療デバイス、フィットネスデバイス、携帯情報端末などであってもよい。
図6を参照して、装置1200は、処理コンポーネント1202、メモリ1204、電源コンポーネント1206、マルチメディアコンポーネント1208、オーディオコンポーネント1210、入力/出力(I/O)インタフェース1212、センサコンポーネント1214、及び通信コンポーネント1216の1つ又は複数を含むことができる。
処理コンポーネント1202は、通常、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作など、装置1200の全体的な操作を制御する。処理コンポーネント1202は、命令を実行して上記方法の全部又は一部のステップを完成するための1つ又は複数のプロセッサ1220を含むことができる。また、処理コンポーネント1202は、処理コンポーネント1202と他のコンポーネントとの間のインタラクションを容易にするための1つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント1202は、マルチメディアコンポーネント1208と処理コンポーネント1202との間のインタラクションを容易にするためのメディアモジュールを含むことができる。
メモリ1204は、デバイス1200での操作を支援するように、様々なデータを記憶するように構成される。これらのデータの例は、連絡先データ、電話帳データ、メッセージ、画像、動画などの装置1200で操作するためのいずれかのアプリケーション又は方法の命令を含む。メモリ1204は、スタティックランダムアクセスメモリ(SRAM)、電気消去可能プログラマブル読み出し専用メモリ(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、ディスク、光ディスクなどの任意のタイプの一時的又は非一時的な記憶媒体、又はそれらの組み合わせによって実現することができる。
電源コンポーネント1206は、装置1200の様々なコンポーネントに電力を提供する。電源コンポーネント1206は、電源管理システム、1つ又は複数の電源、及び装置1200の電力の生成、管理及び分配に関連する他のコンポーネントを含むことができる。
マルチメディアコンポーネント1208は、前記装置1200とユーザとの間に1つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ(LCD)及びタッチパネル(TP)を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャーを検知するための1つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスライド動作の境界線を検知するだけではなく、前記タッチ又はスライド操作に関連する持続時間及び圧力も検出する。いくつかの実施例において、メディア1208は、1つのフロントカメラ及び/又はリアカメラを含む。フロントカメラ及び/又はリアカメラは、デバイス1200が、撮影モード又はビデオモードなどの操作モードにある場合、外部のメディアデータを受信することができる。各フロントカメラ及びリアカメラは、1つの固定する光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有してもよい。
オーディオコンポーネント1210は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオコンポーネント1210は、1つのマイクロフォン(MIC)を含み、マイクロフォンは、装置1200が呼び出しモード、記録モード及び音声認識モードなどの操作モードにある場合、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ1204に記憶されるか、又は通信コンポーネント1216を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント1210は、オーディオ信号を出力するためのスピーカーをさらに含む。
I/Oインタフェース1212は、処理コンポーネント1202と周辺インタフェースモジュールとの間にインタフェースを提供し、上記周辺インタフェースモジュールは、キーパッド、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、起動ボタン及びロックボタンを含むが、これらに限定されない。
センサコンポーネント1214は、装置1200のために様々な方面の状態評価を提供するための1つ又は複数のセンサを含む。例えば、センサコンポーネント1214は、デバイス1200のオン/オフ状態、コンポーネントの相対的な位置付けを検出することができ、例えば、前記コンポーネントが装置1200のディスプレイ及びキーパッドであり、センサコンポーネント1214は、装置1200又は装置1200の1つのコンポーネントの位置変化、ユーザと装置1200との接触の有無、装置1200の方位又は加速/減速及び装置1200の温度変化を検出することもできる。センサコンポーネント1214は、物理的接触が一切ない場合、近傍の物体の存在を検出するための接近センサを含むことができる。センサコンポーネント1214は、撮像アプリケーションで使用するためのCMOS又はCCD画像センサなどの光センサをさらに含むことができる。いくつかの実施例において、当該センサコンポーネント1214は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含むことができる。
通信コンポーネント1216は、装置1200と他のデバイスとの有線又は無線方式の通信を容易にするように構成される。装置1200は、WiFi、2G又は3G、又はそれらの組み合わせなどの通信標準に基づく無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント1216は、放送チャンネルを介して外部放送管理システムからの放送信号又は放送に関連する情報を受信する。例示的な一実施例において、前記通信コンポーネント1216は、近距離通信を容易にするために、近距離通信(NFC)モジュールをさらに含む。例えば、NFCモジュールは、無線周波数認識(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術、及び他の技術に基づいて実現することができる。
例示的な実施例において、装置1200は、上記方法を実現するために、1つ又は複数のアプリケーション特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現することができる。
例示的な実施例において、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体、例えば、命令を含むメモリ1204をさらに提供し、上記命令は、上記方法を完成するように、装置1200のプロセッサ1220によって実行することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD-ROM、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。
非一時的なコンピュータ読み取り可能な記憶媒体は、前記記憶媒体における命令が画像処理装置のプロセッサによって実行される場合、画像処理装置が1つの画像処理方法を実行することを可能にし、前記方法は、
収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
図7は、例示的な一実施例に係る別の画像処理装置1300のブロック図である。例えば、装置1300は、サーバとして提供されてもよい。図7を参照すると、装置1300は、1つ又は複数のプロセッサ、及び処理コンポーネント1322によって実行可能な命令を記憶するためのメモリ1332によって表されるメモリリソース、例えば、アプリケーションをさらに含む処理コンポーネント1322を含む。メモリ1332に記憶されているアプリケーションは、それぞれが一群の命令に対応する1つ又は複数のモジュールを含むことができる。また、処理コンポーネント1322は、上記画像処理方法を実行するように、命令を実行するように構成され、前記方法は、
収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
装置1300は、装置1300の電源管理を実行するように構成される1つの電源コンポーネント1326、装置1300をネットワークに接続するように構成される1つの有線又は無線ネットワークインタフェース1350、1つ又は複数の(I/O)インタフェース1358をさらに含むことができる。装置1300は、Windows ServerTM、Mac OS XTM、UnixTM、Linux(登録商標)TM、FreeBSDMなどのメモリ1332に記憶されている操作システムを実行することができる。
当業者であれば、明細書を考慮して本明細書に開示された開示を実践した後、本開示の他の実施形態を容易に想到し得る。本開示は、本開示のいかなる変形、用途又は適応的な変化をカバーすることを意図し、これらの変形、用途又は適応的な変化は、本開示の一般的な原理に従い、本開示に開示されていない当分野における周知技術又は慣用的な技術手段を含む。明細書及び実施例は、単なる例示的なものとして見なされ、本開示の真の範囲及び精神は、本開示の請求項によって示される。
本開示は、以上に説明され、図面に示された正確な構造に限定されず、その範囲を逸脱することなく、様々な修正及び変更が可能であることを理解すべきである。本開示の範囲は、添付された特許請求の範囲のみによって限定される。

Claims (14)

  1. 画像処理方法であって、
    収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数であるステップと、
    各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
    前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るステップと、
    設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップと、
    調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む、
    ことを特徴とする画像処理方法。
  2. Mフレームの前記処理対象画像の輝度情報に基づいて、Mフレームの前記処理対象画像をソートするステップと、
    ソート結果に基づいて、Mフレームの前記処理対象画像から標準露光画像を決定するステップと、
    前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップは、
    前記標準露光画像における各画像領域の第1の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定するステップと、
    前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む、
    ことを特徴とする請求項2に記載の方法。
  4. 前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップは、
    前記第1の平均輝度値と前記第2の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む、
    ことを特徴とする請求項3に記載の方法。
  5. 調整された結合サブ画像に基づいて、目標画像を得るステップは、
    N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
    前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む、
    ことを特徴とする請求項2に記載の方法。
  6. 設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するステップは、
    前記輝度調整パラメータに基づいて、第N-1層に位置する結合サブ画像の輝度を調整するステップを含む、
    ことを特徴とする請求項1~5のいずれか一項に記載の方法。
  7. 画像処理装置であって、
    収集されたMフレームの処理対象画像に基づいて、M個の第1の画像集合を確立するように構成される構築モジュールであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたN個の処理対象サブ画像を含む前記第1の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、M及びNがいずれも正整数である構築モジュールと、
    各フレームの前記処理対象画像の輝度情報に基づいて、各前記第1の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第1の決定モジュールと、
    前記結合重みに基づいて、M個の前記第1の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたN個の結合サブ画像を得るように構成される結合モジュールと、
    設定された輝度調整パラメータに基づいて、N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整するように構成されている調整モジュールと、
    調整された結合サブ画像に基づいて、目標画像を得るように構成される第2の決定モジュールと、を含む、
    ことを特徴とする画像処理装置。
  8. Mフレームの前記処理対象画像の輝度情報に基づいて、Mフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
    ソート結果に基づいて、Mフレームの前記処理対象画像から標準露光画像を決定するように構成される第3の決定モジュールと、
    前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第4の決定モジュールと、をさらに含む、
    ことを特徴とする請求項7に記載の装置。
  9. 前記第4の決定モジュールは、さらに、
    前記標準露光画像における各画像領域の第1の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第2の平均輝度値を決定し、
    前記第1の平均輝度値及び前記第2の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される、
    ことを特徴とする請求項8に記載の装置。
  10. 前記第4の決定モジュールは、さらに、
    前記第1の平均輝度値と前記第2の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される、
    ことを特徴とする請求項9に記載の装置。
  11. 前記第2の決定モジュールは、さらに、
    N個の前記結合サブ画像における少なくとも1つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
    前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される、
    ことを特徴とする請求項8に記載の装置。
  12. 前記調整モジュールは、さらに、
    前記輝度調整パラメータに基づいて、第N-1層に位置する結合サブ画像の輝度を調整するように構成される、
    ことを特徴とする請求項7~11のいずれか一項に記載の装置。
  13. 画像処理装置であって、
    プロセッサと、
    プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含み、
    前記プロセッサは、実行時に、上記請求項1~6のいずれか一項に記載の画像処理方法におけるステップを実現するように構成される、
    ことを特徴とする画像処理装置。
  14. 非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体における命令が画像処理装置のプロセッサによって実行される場合、前記装置が上記請求項1~6のいずれか一項に記載の画像処理方法におけるステップを実行できるようにする、
    非一時的なコンピュータ読み取り可能な記憶媒体。
JP2021177390A 2021-04-26 2021-10-29 画像処理方法、装置及び記憶媒体 Active JP7212128B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110455875.0 2021-04-26
CN202110455875.0A CN113191994B (zh) 2021-04-26 2021-04-26 图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
JP2022168818A JP2022168818A (ja) 2022-11-08
JP7212128B2 true JP7212128B2 (ja) 2023-01-24

Family

ID=76979165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021177390A Active JP7212128B2 (ja) 2021-04-26 2021-10-29 画像処理方法、装置及び記憶媒体

Country Status (5)

Country Link
US (1) US11989864B2 (ja)
EP (1) EP4083903B1 (ja)
JP (1) JP7212128B2 (ja)
KR (1) KR102600849B1 (ja)
CN (1) CN113191994B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224901A (ja) 2008-03-13 2009-10-01 Yamaha Corp 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム
US20130335596A1 (en) 2012-06-15 2013-12-19 Microsoft Corporation Combining multiple images in bracketed photography
JP2014068330A (ja) 2012-09-05 2014-04-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884989B2 (en) * 2009-12-23 2014-11-11 Indian Institute Of Technology Bombay System and method for fusing images
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
US9600741B1 (en) * 2015-03-18 2017-03-21 Amazon Technologies, Inc. Enhanced image generation based on multiple images
CN108335279B (zh) * 2017-01-20 2022-05-17 微软技术许可有限责任公司 图像融合和hdr成像
US10122943B1 (en) * 2017-05-05 2018-11-06 Motorola Mobility Llc High dynamic range sensor resolution using multiple image sensors
CN107845128B (zh) * 2017-11-03 2021-09-03 安康学院 一种多尺度细节融合的多曝光高动态图像重建方法
CN108833804A (zh) * 2018-09-20 2018-11-16 Oppo广东移动通信有限公司 成像方法、装置和电子设备
CN109218628B (zh) * 2018-09-20 2020-12-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
US11151731B2 (en) * 2019-08-06 2021-10-19 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
WO2021056538A1 (zh) 2019-09-29 2021-04-01 深圳市大疆创新科技有限公司 一种图像处理方法及设备
CN110889403A (zh) * 2019-11-05 2020-03-17 浙江大华技术股份有限公司 文本检测方法以及相关装置
CN112651918A (zh) * 2021-01-15 2021-04-13 北京小米松果电子有限公司 图像处理方法及装置、电子设备、存储介质
CN112651899B (zh) * 2021-01-15 2024-09-03 北京小米松果电子有限公司 图像处理方法及装置、电子设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224901A (ja) 2008-03-13 2009-10-01 Yamaha Corp 画像のダイナミックレンジ圧縮方法、画像処理回路、撮像装置およびプログラム
US20130335596A1 (en) 2012-06-15 2013-12-19 Microsoft Corporation Combining multiple images in bracketed photography
JP2014068330A (ja) 2012-09-05 2014-04-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tom Mertens et al.,"Exposure Fusion",15th Pacific Conference on Computer Graphics and Applications (PG'07),IEEE,2007年,pp.382-390,<URL: https://ieeexplore.ieee.org/document/4392748>
Zhengguo Li et al.,"Detail-Enhanced Multi-Scale Exposure Fusion",IEEE Transactions on Image Processing,2017年03月,Volume 26, Issue 3,pp.1243 - 1252,<URL: https://ieeexplore.ieee.org/document/7817878>

Also Published As

Publication number Publication date
US20220343474A1 (en) 2022-10-27
US11989864B2 (en) 2024-05-21
EP4083903B1 (en) 2024-04-03
JP2022168818A (ja) 2022-11-08
EP4083903A1 (en) 2022-11-02
CN113191994A (zh) 2021-07-30
KR20220147003A (ko) 2022-11-02
CN113191994B (zh) 2023-11-21
KR102600849B1 (ko) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111418201B (zh) 一种拍摄方法及设备
CN111669493B (zh) 一种拍摄方法、装置与设备
CN112150399B (zh) 基于宽动态范围的图像增强方法及电子设备
JP6834056B2 (ja) 撮影モバイル端末
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
EP3697079A1 (en) Image capturing method and apparatus, and terminal
US11847769B2 (en) Photographing method, terminal, and storage medium
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
CN113905182B (zh) 一种拍摄方法及设备
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
CN112785537A (zh) 图像处理方法、装置以及存储介质
JP7212128B2 (ja) 画像処理方法、装置及び記憶媒体
CN116320769A (zh) 曝光调整方法、装置、电子设备及可读存储介质
CN107451972B (zh) 图像增强方法、装置及计算机可读存储介质
RU2785789C1 (ru) Фотографирование с использованием обработки режима ночной съемки и пользовательский интерфейс
US20240005521A1 (en) Photographing method and apparatus, medium and chip
CN116416141A (zh) 图像处理方法及装置、设备、存储介质
CN114066909A (zh) 图像处理方法及装置
CN116805976A (zh) 视频处理方法、装置及存储介质
CN117670693A (zh) 图像的处理方法、装置及存储介质
CN118803431A (zh) 图像选帧方法及装置、电子设备、存储介质
CN116416505A (zh) 图像处理模型的训练方法、图像处理方法、装置及存储介质
WO2019072222A1 (zh) 一种图像处理方法、装置与设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230112

R150 Certificate of patent or registration of utility model

Ref document number: 7212128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150