JP7093441B2 - 画像処理方法、装置及び記憶媒体 - Google Patents

画像処理方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP7093441B2
JP7093441B2 JP2021053241A JP2021053241A JP7093441B2 JP 7093441 B2 JP7093441 B2 JP 7093441B2 JP 2021053241 A JP2021053241 A JP 2021053241A JP 2021053241 A JP2021053241 A JP 2021053241A JP 7093441 B2 JP7093441 B2 JP 7093441B2
Authority
JP
Japan
Prior art keywords
frequency band
subband information
decomposition
decomposition subband
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021053241A
Other languages
English (en)
Other versions
JP2022027438A (ja
Inventor
翠蓮 左
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2022027438A publication Critical patent/JP2022027438A/ja
Application granted granted Critical
Publication of JP7093441B2 publication Critical patent/JP7093441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H04N1/486—Picture signal generators with separate detectors, each detector being used for one specific colour component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、モバイル端末のデータ処理技術分野に関し、特に画像処理方法、装置及び記憶媒体に関する。
撮像技術の継続的な発展に伴い、従来型のイメージングセンサはイメージング中の新しいニーズを満たすことができなくなり、様々な新しいイメージングセンサが登場し、画像センサの異なるチャンネル間で収集された画像の優位性を効果的に結合し、出力画像の品質を向上させることができる。
現在、モバイル端末に採用されている一般的なセンサはＲＧＧＢアレイレイアウトである。従来のＲＧＧＢ配列のセンサのＲ、Ｇ、Ｂチャンネルが狭帯域のスペクトルエネルギーしか通過できないため、センサが収集できるエネルギーが少なく、低照度で画像撮影を行う場合、画像の輝度が低くて信号対雑音比が低いという問題がある。
関連技術に存在する課題を克服するために、本開示は、画像処理方法、装置及び記憶媒体を提供する。
本開示の実施例の第１の態様によれば、画像処理方法を提供し、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するステップと、
前記赤緑青チャンネル画像の第１のグレースケール成分画像を決定し、及び前記白チャンネル画像の第２のグレースケール成分画像を決定するステップと、
前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップであって、前記第１の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応し、前記第２の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応するステップと、
前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップと、
前記第３の分解サブバンド情報に基づいて画像再構成を行って、第３のグレースケール成分画像を取得し、前記第３のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するステップと、を含む。
一実施形態において、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップは、
画像マルチスケール分解方法を採用して、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップを含み、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
一実施形態において、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
同一の分解層での前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報の同じ周波数帯域を、前記第３の分解サブバンド情報のこの分解層での対応する周波数帯域とするステップと、
前記第３の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第３の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算するステップと、を含む。
一実施形態において、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第３の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含む。
一実施形態において、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第１の行列と第２の行列との和であり、前記第１の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第２の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
一実施形態において、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第３の行列と第４の行列との和であり、前記第３の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第４の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第５の行列と第６の行列との和であり、前記第５の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第６の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップと、を含み、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第７の行列と第８の行列との和であり、前記第７の行列が、第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第１の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第８の行列が、第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第２の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第１の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第１のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第１の分散に基づいて計算して取得されるものであり、
前記第２の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第２のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第２の分散に基づいて計算して取得されるものであり、
第１のグレースケール成分画像と第２のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は１であり、第１のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第１の分散とは正の相関を示し、第２のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第２の分散とは正の相関を示す。
本開示の実施例の第２の態様によれば、画像処理装置を提供し、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュールと、
前記赤緑青チャンネル画像の第１のグレースケール成分画像を決定し、及び前記白チャンネル画像の第２のグレースケール成分画像を決定するように構成される第１の決定モジュールと、
前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するように構成される第２の決定モジュールであって、前記第１の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応し、前記第２の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応する第２の決定モジュールと、
前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される第３の決定モジュールと、
前記第３の分解サブバンド情報に基づいて画像再構成を行って、第３のグレースケール成分画像を取得し、前記第３のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュールと、を含む。
一実施形態において、前記第２の決定モジュールは、さらに
画像マルチスケール分解方法を採用して、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定する、という方法を用いて、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
一実施形態において、前記第３の決定モジュールは、さらに、
同一の分解層での前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報の同じ周波数帯域を、前記第３の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第３の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第３の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される。
一実施形態において、前記第３の決定モジュールは、さらに、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第３の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するよう構成される。
一実施形態において、前記第３の決定モジュールは、さらに、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第１の行列と第２の行列との和であり、前記第１の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第２の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
一実施形態において、前記第３の決定モジュールは、さらに、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第３の行列と第４の行列との和であり、前記第３の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第４の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第３の決定モジュールは、さらに、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第５の行列と第６の行列との和であり、前記第５の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第６の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
一実施形態において、前記第３の決定モジュールは、
前記第３の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第７の行列と第８の行列との和であり、前記第７の行列が、第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第１の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第８の行列が、第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第２の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第１のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第１の分散に基づいて計算して取得されるものであり、
前記第２の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第２のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第２の分散に基づいて計算して取得されるものであり、
ここで、第１のグレースケール成分画像と第２のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は１であり、第１のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第１の分散とは正の相関を示し、第２のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第２の分散とは正の相関を示す。
本開示の実施例の第３の態様によれば、画像処理装置を提供し、
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記方法を実行するように構成される。
本開示の実施例の第４の態様によれば、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体の命令がモバイル端末のプロセッサによって実行される際に、モバイル端末が前記方法を実行できるようにする。
本開示の実施例により提供される技術的手段は、以下の有益な効果を含むことができる。対象画像からＲＧＢチャンネル画像の第１のグレースケール成分画像とＷチャンネル画像の第２のグレースケール成分画像を抽出し、２つのグレースケール成分画像の分解サブバンド情報を融合させ、Ｗチャンネル画像の情報を利用してＲＧＢチャンネル画像を補償し、低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる。
なお、上記一般的な説明及び以下の詳細な説明は、単に例示及び解釈するためのものであり、本開示を限定するものではない。
ここの図面は、本明細書に組み込まれて本明細書の一部を構成し、本開示に適する実施例を示しており、明細書と共に、本開示の原理を説明することに用いられる。
一例示的な実施例により示される画像処理方法のフローチャートである。 一例示的な実施例により示されるＲＧＢＷチャンネル画像に対して画像抽出を行う概略図である。 一例示的な実施例により示される画像処理装置の構成図である。 一例示的な実施例により示される画像処理装置の構成図である。
ここで、例示的な実施例を詳細に説明し、その例が図面に示される。以下の説明が図面に関するものである場合、特に明記しない限り、異なる図面における同一の数字は、同一のまたは類似の要素を指す。以下の例示的な実施例に記載される実施例は、本開示と一致するすべての実施例を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述される本発明の一部と一致する装置の例に過ぎない。
本開示の実施例は、画像処理方法を提供する。図１を参照すると、図１は一例示的な実施例により示される画像処理方法のフローチャートである。図１に示すように、この方法は、ステップＳ１１～ステップＳ１５を含む。
ステップＳ１１、対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出する。
ステップＳ１２、赤緑青チャンネル画像の第１のグレースケール成分画像を決定し、及び白チャンネル画像の第２のグレースケール成分画像を決定する。
ステップＳ１３、第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、第２のグレースケール成分画像の第２の分解サブバンド情報を決定し、第１の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応し、第２の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応する。
ステップＳ１４、第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定する。
ステップＳ１５、第３の分解サブバンド情報に基づいて画像再構成を行って、第３のグレースケール成分画像を取得し、第３のグレースケール成分画像に基づいて、対象画像に対応するカラー画像を構築する。
本実施例では、対象画像からＲＧＢチャンネル画像の第１のグレースケール成分画像とＷチャンネル画像の第２のグレースケール成分画像を抽出し、２つのグレースケール成分画像の分解サブバンド情報を融合させ、Ｗチャンネル画像の情報を利用してＲＧＢチャンネル画像を補償し、低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる。
一実施形態において、ステップＳ１１における対象画像は、赤（Ｒ）原色画素、緑（Ｇ）原色画素、青（Ｂ）原色画素及び白（Ｗ）画素を備えた画像センサによって収集されたオリジナルのＲＡＷ形式の画像であってもよく、この画像センサで収集されたオリジナルのＲＡＷ形式の画像にはＲＧＢチャンネル画像とＷチャンネル画像とを含むことができる。例示的に、この画像センサはＲＧＢＷアレイレイアウトを備えた画像センサであってもよく、当該画像センサはＲＧＢＷチャンネル画像を収集することができ、ここで、ＲＧＢＷチャンネル画像は、各ピクセルが赤（Ｒ）原色画素、緑（Ｇ）原色画素、青（Ｂ）原色画素及び白（Ｗ）画素からなる画像を指す。ＲＧＧＢアレイレイアウトに基づくセンサと比較して、ＲＧＢＷアレイレイアウトのセンサは、一部のＧチャンネルをＷ（ｗｈｉｔｅ）チャンネルに交換する。
対象画像がＲＧＢＷチャンネル画像である場合に、ステップＳ１１では、ＲＧＢＷチャンネル画像からＲＧＢチャンネル画像（すなわち赤緑青チャンネル画像）及びＷチャンネル画像（すなわち白チャンネル画像）を抽出することができ、例示的に、ＲＧＢチャンネル画像は、例えばベイヤー（Ｂａｙｅｒ）ＲＧＢ形式の画像である場合、ステップＳ１１ではＲＧＢＷアレイ配列のＲＧＢＷチャンネル画像データをベイヤー（Ｂａｙｅｒ）ＲＧＢ形式の画像とＷチャンネル画像との２つのデータに分割することができる。ＲＧＢＷチャンネル画像がベイヤーＲＧＢ形式の画像とＷチャンネル画像に分割された場合、対角線位置にある同じタイプのピクセルの値をｂｉｎｎｉｎｇ操作し、すなわち加算後２で割る操作を採用することができる。図２に示すように、サイズ４＊４のＲＧＢＷチャンネル画像を入力し、分割した後、それぞれサイズ２＊２のベイヤーＲＧＢ形式の画像と白チャンネル画像を得る。ベイヤーＲＧＢ形式の画像と白チャンネル画像はそれぞれ別々の画像処理パス（ＩＳＰ ｐｉｐｅｌｉｎｅ）を介して処理し、それぞれ処理されたＹＵＶ画像を出力する。２つのＹＵＶ画像からそれぞれＹチャンネルの画像を抽出して、対応するグレースケール成分画像を取得する。後続の処理では、グレースケール成分画像に基づいて画像融合処理を行うことができる。
ＲＧＢチャンネル画像にはＲ成分、Ｇ成分及びＢ成分が含まれる。ＲＧＢチャンネル画像には複数の構成方式があり、例えば図２に示す２＊２の各ＲＧＧＢ形式のＲＧＢチャンネル画像には１つのＲ成分、１つのＢ成分及び２つのＧ成分が含まれる。他の形式のＲＧＢチャンネル画像には、１つのＲ成分、２つのＢ成分及び１つのＧ成分が含まれてもよいし、２つのＲ成分、１つのＢ成分及び１つのＧ成分が含まれてもよい。かつ成分のレイアウト方式が図２に示すレイアウト方式と異なる。
ステップＳ１２では、画像マルチスケール分解方法によってグレースケール成分画像の分解サブバンド情報を決定することができる。画像マルチスケール分解方法は、原画像を異なるスケールの複数の画像に分解することに用いられ、分解された異なる分解画像が異なる周波数帯域の画像情報を表す。例えば、ステップＳ１２では、第１の画像マルチスケール分解方法によって第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、第２の画像マルチスケール分解方法によって第２のグレースケール成分画像の第２の分解サブバンド情報を決定する。第１の画像マルチスケール分解方法と第２の画像マルチスケール分解方法は同じまたは異なる。
ステップＳ１５では、第３のグレースケール成分画像に基づいて、対象画像に対応するカラー画像を構築するステップは、第３のグレースケール成分画像のＲＧＢチャンネル画像に対応するＹＵＶ画像における色度成分画像及び彩度成分画像を用いて、新しいＹＵＶ画像を構築し、または、第３のグレースケール成分画像のＲＧＢチャンネル画像に対応するＹＵＶ画像における色度成分画像及び彩度成分画像を用いて、新しいＹＵＶ画像を構築し、ＹＵＶ画像をＲＧＢ画像に変換するステップを含むことができる。
本実施例では、ＲＧＢＷアレイレイアウトを備えた画像センサからオリジナルのＲＡＷ形式の画像を収集し、オリジナルのＲＡＷ形式の画像からＲＧＢチャンネル画像とＷチャンネル画像を抽出し、ＲＧＢチャンネル画像の第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、Ｗチャンネル画像の第２のグレースケール成分画像の第２の分解サブバンド情報を決定し、２つの分解サブバンド情報を融合させ、Ｗチャンネル画像の情報を利用してＲＧＢチャンネル画像を補償し、低照度での画像の信号対雑音比を向上させ、画像全体の輝度を向上させ、画像品質を向上させる。
本実施例を用いてＲＧＢＷチャンネル画像を処理する場合、融合した画像（例えば融合したＲＧＢ画像）の信号対雑音比を効果的に向上させ、画像全体の輝度を向上させ、画像品質を向上させることができる。具体的な分析は次のとおりである。従来のＲＧＧＢ構造の画像センサに比べて、ＲＧＢＷ構造の画像センサのＷチャンネルは、フルカラースペクトルのエネルギーを通過できるため、同じ露光時間で、Ｗチャンネルがより高い輝度を得ることができる。ＲＧＢＷ画像センサのＲＧＢチャンネルとＷチャンネルの一般的な融合方法は次のとおりである。ＲＧＢＷアレイレイアウトのセンサで収集された画像をＲＧＢチャンネル画像とＷチャンネル画像に分割し、ＲＧＢチャンネル画像とＷチャンネル画像をそれぞれ画像処理パス（ＩＳＰ ｐｉｐｅｌｉｎｅ）によって処理し、処理されたＹＵＶ形式の画像を出力し、ＲＧＢチャンネル画像に対応するＹＵＶ画像におけるＹチャンネル画像の重みを０．５にし、Ｗチャンネル画像に対応するＹＵＶ画像におけるＹチャンネル画像の重みも０．５にし、２つのＹチャンネル画像に対して画像融合を行い、融合したＹチャンネル画像のＲＧＢチャンネル画像に対応するＹＵＶ画像における色度成分画像及び彩度成分画像を新しいＲＧＢ画像に構築し、さらにＲＧＢチャンネル情報とＷチャンネル情報を融合させるという目的を達成する。このようなＲＧＢチャンネル画像に対応するＹチャンネル画像及びＷチャンネル画像に対応するＹチャンネル画像に同じ重みを直接使用するという方式は、画像コントラストの著しい低下と画像細部の損失を招き、画像品質への影響が大きい。したがって、本実施例の方法によってＲＧＢＷ画像を処理した後、融合した画像（例えば融合したＲＧＢ画像）の信号対雑音比を効果的に向上させ、画像全体の輝度を向上させ、画像品質を向上させることができる。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつ、マルチスケール画像処理アルゴリズムは、ウェーブレット変換に基づくマルチスケール画像処理アルゴリズムであってもよいし、ラプラシアンピラミッドに基づくマルチスケール画像処理アルゴリズムであってもよい。
画像マルチスケール処理アルゴリズムは、画像マルチスケール分解アルゴリズムと、画像マルチスケール再構成アルゴリズムと、を含み、画像マルチスケール再構成アルゴリズムは、画像マルチスケール分解アルゴリズムの逆アルゴリズムである。
ウェーブレット変換のマルチスケール画像処理アルゴリズムには、異なるウェーブレットベースを使用でき、例えば使用可能なウェーブレットベースは、Ｈａａｒ、Ｄａｕｂｅｃｈｉｅｓ、Ｂｉｏｒｔｈｏｇｏｎａｌ（双直交）、Ｃｏｉｆｌｅｔ、Ｓｙｍｌｅｔ、Ｍｏｒｌｅｔ及びＭｅｘｉｃａｎ Ｈａｔのいずれかを含むことができる。
ウェーブレット変換のマルチスケール画像分解アルゴリズムでは、第１の分解層で、画像を１つの低周波数帯域サブ画像と３つの高周波数帯域サブ画像に分解し、１つの低周波数帯域ウェーブレット係数行列と３つの高周波数帯域ウェーブレット係数行列を取得する。後続の分解層では、前の分解層内の低周波数帯域の画像を１つの低周波数帯域サブ画像と３つの高周波数帯域サブ画像に分解し続け、順番に類推する。
ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって画像のマルチスケール係数を計算する方法は、以下を含むことができる。
画像を１つの低周波数帯域サブ画像と３つの高周波数帯域サブ画像に分解し、１つの低周波数帯域ウェーブレット係数行列と３つの高周波数帯域ウェーブレット係数行列を取得する。低周波数帯域ウェーブレット係数行列がＬＬ周波数帯域に対応し、ＬＬ周波数帯域は画像の低周波数情報を含む周波数帯域である。３つの高周波数帯域ウェーブレット係数行列はそれぞれＨＨ周波数帯域、ＬＨ周波数帯域及びＨＬ周波数帯域に対応する。ここで、ＨＨ周波数帯域は画像の対角の高周波数情報を含む周波数帯域であり、ＬＨ周波数帯域は画像の水平方向の高周波数情報を含む周波数帯域であり、ＨＬ周波数帯域は画像の垂直方向の高周波数情報を含む周波数帯域である。
これによって、第１の分解層には１つの低周波数帯域ウェーブレット係数行列が含まれ、低周波数帯域画像での各ピクセルの係数が含まれ、ＸLL、1（ｉ，ｊ）を用いて第１の分解層のＬＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表し、ｉは対応する画像内の現在の画素の行の位置を表し、ｊは対応する画像内の現在の画素の列の位置を表す。
第１の分解層は、ＸHH,1（ｉ，ｊ）、ＸLH,1（ｉ，ｊ）及びＸHL,1（ｉ，ｊ）の３つの高周波数帯域ウェーブレット係数行列をさらに含む。
ここで、ＸHH,1（ｉ，ｊ）は、第１の分解層のＨＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表し、ＸLH,1（ｉ，ｊ）は、第１の分解層のＬＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表し、ＸHL,1（ｉ，ｊ）は、第１の分解層のＨＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。他の分解層の各周波数帯域の係数の表現方式は同様である。
第２の分解層では、続いて第１の分解層で取得された低周波数帯域ウェーブレット画像を１つの低周波数帯域サブ画像と３つの高周波数帯域サブ画像に分解し、１つの低周波数帯域ウェーブレット係数行列と３つの高周波数帯域ウェーブレット係数行列を取得する。
これによって、第２の分解層には、ＸLL,2（ｉ，ｊ）と記された１つの低周波数帯域ウェーブレット係数行列と、それぞれＸHH,2（ｉ，ｊ）、ＸLH,2（ｉ，ｊ）及びＸHL,2（ｉ，ｊ）と記された３つの高周波数帯域ウェーブレット係数行列とが含まれる。
第３の分解層では、続いて第２の分解層で取得された低周波数帯域ウェーブレット画像を１つの低周波数帯域サブ画像と３つの高周波数帯域サブ画像に分解し、１つの低周波数帯域ウェーブレット係数行列と３つの高周波数帯域ウェーブレット係数行列を取得する。
これによって、第３の分解層には、ＸLL,3（ｉ，ｊ）と記された１つの低周波数帯域ウェーブレット係数行列と、それぞれＸHH,3（ｉ，ｊ）、ＸLH,3（ｉ，ｊ）及びＸHL,3（ｉ，ｊ）と記された３つの高周波数帯域ウェーブレット係数行列とが含まれる。
これによって類推する。
画像ピラミッド方法の原理は以下のとおりである。原画像をマルチスケールのピラミッド画像シーケンスに分解し、低解像度の画像が上層にあり、高解像度の画像が下層にあり、上層画像のサイズが前の層の画像のサイズの１／４である。すべての画像のピラミッドを対応する層において一定の規則で融合させると、合成ピラミッドを得ることができ、その合成ピラミッドをピラミッドが生成される逆のプロセスに従って再構成して、融合ピラミッドを得る。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつ、ステップＳ１２において第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップは、
画像マルチスケール分解方法を採用して、第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップを含み、第１の分解サブバンド情報と第２の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
例えば、Ｈａａｒウェーブレットベースのウェーブレット変換に基づく画像マルチスケール分解方法によって、第１のグレースケール成分画像を３層分解して、３つの分解層を取得し、各分解層が４つの周波数帯域の周波数帯域係数に対応する。
一例示において、ウェーブレット変換に基づくマルチスケール画像処理アルゴリズムによって、ＸRGB HH,1（ｉ，ｊ）、ＸRGB LH,1（ｉ，ｊ）、ＸRGB HL,1（ｉ，ｊ）、ＸRGB HH,2（ｉ，ｊ）、ＸRGB LH,2（ｉ，ｊ）、ＸRGB HL,2（ｉ，ｊ）、ＸRGB HH,3（ｉ，ｊ）、ＸRGB LH,3（ｉ，ｊ）、ＸRGB HL,3（ｉ，ｊ）、ＸRGB LL,3（ｉ，ｊ）を含む、ベイヤーＲＧＢ形式の画像に対応するＹチャンネル画像のマルチスケール分解サブバンド情報を計算する。第１の分解層におけるＸRGB LL,1（ｉ，ｊ）が第２の分解層における４つの係数に分解されるため、ＲＧＢチャンネル画像のマルチスケール分解サブバンド情報にはＸRGB LL,1（ｉ，ｊ）が含まれておらず、同様に、第２の分解層におけるＸRGB LL,2（ｉ，ｊ）が第３の分解層における４つの係数に分解されるため、ＲＧＢチャンネル画像のマルチスケール分解サブバンド情報にはＸRGB LL,2（ｉ，ｊ）が含まれていない。
ここで、ＸRGB HH,1（ｉ，ｊ）はＲＧＢチャンネル画像の第１の分解層のＨＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸRGB LH,1（ｉ，ｊ）はＲＧＢチャンネル画像の第１の分解層のＬＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸRGB HL,1（ｉ，ｊ）はＲＧＢチャンネル画像の第１の分解層のＨＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸRGB LL,1（ｉ，ｊ）はＲＧＢチャンネル画像の第１の分解層のＬＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。他の分解層の各周波数帯域の係数の表現方式は同様である。
ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって、ＸW HH,1（ｉ，ｊ）、ＸW LH,1（ｉ，ｊ）、ＸW HL,1（ｉ，ｊ）、ＸW HH,2（ｉ，ｊ）、ＸW LH,2（ｉ，ｊ）、ＸW HL,2（ｉ，ｊ）、ＸW HH,3（ｉ，ｊ）、ＸW LH,3（ｉ，ｊ）、ＸW HL,3（ｉ，ｊ）、ＸW LL,3（ｉ，ｊ）を含む、Ｗチャンネル画像に対応するＹチャンネル画像のマルチスケール分解サブバンド情報を計算する。
ＸW HH,1（ｉ，ｊ）はＷチャンネル画像の第１の分解層のＨＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸW LH,1（ｉ，ｊ）はＷチャンネル画像の第１の分解層のＬＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸW HL,1（ｉ，ｊ）はＷチャンネル画像の第１の分解層のＨＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸW LL,1（ｉ，ｊ）はＷチャンネル画像の第１の分解層のＬＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。他の分解層の各周波数帯域の係数の表現方式は同様である。
別の実施形態では、異なる画像マルチスケール分解方法を採用して、第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び第２のグレースケール成分画像の第２の分解サブバンド情報を決定する。例えば、第１の分解方法を採用して第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、第２の分解方法を採用して第２のグレースケール成分画像の第２の分解サブバンド情報を決定する。第１の分解方法と第２の分解方法はすべて同じウェーブレットベースに基づくウェーブレット変換であるが、第１の分解方法の分解層数と第２の分解方法の分解層数とは異なる。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつステップＳ１４における第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、以下のステップを含むことができる。
ステップＳ１４１、同一の分解層での前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報の同じ周波数帯域を、前記第３の分解サブバンド情報のこの分解層での対応する周波数帯域とする。
ステップＳ１４２、前記第３の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第３の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する。
一実施形態において、ステップＳ１４１の前に、第１の分解サブバンド情報に対応する第１の分解層数と各分解層に対応する周波数帯域数を決定し、第２の分解サブバンド情報に対応する第２の分解層数と各分解層に対応する周波数帯域数を決定するステップＳ１４０をさらに含むことができる。
第１の分解サブバンド情報と第２の分解サブバンド情報における分解層数が異なる場合、または分解層数が同じであるが少なくとも１つの分解層内の対応する周波数帯域の数量が同じである場合、ステップＳ１４１では同一の分解層での第１の分解サブバンド情報及び第２の分解サブバンド情報の同じ周波数帯域を決定することができる。
例えば、一例示において、
ステップＳ１４０では、第１の分解サブバンド情報に対応する第１の分解層数は３であり、各分解層は４つの周波数帯域に対応する。第１の分解層に対応する周波数帯域はそれぞれ第１の分解層でのＬＬ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域であり、第２の分解層に対応する４つの周波数帯域はそれぞれ第２の分解でのＬＬ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域であり、第３の分解層に対応する４つの周波数帯域はそれぞれ第３の分解層でのＬＬ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域である。
第２の分解サブバンド情報に対応する第２の分解層数は２であり、各分解層は４つの周波数帯域に対応する。第１の分解層に対応する周波数帯域はそれぞれ第１の分解層でのＬＬ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域であり、第２の分解層に対応する４つの周波数帯域はそれぞれ第２の分解層でのＬＬ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域である。
当該例示において、ステップＳ１４１では、同一の分解層で第１の分解サブバンド情報及び第２の分解サブバンド情報の同じ周波数帯域が、第１の分解層での４つの周波数帯域、及び第２の分解層での４つの周波数帯域を含むことができると決定することによって、第３の分解サブバンド情報が２つの分解層を含み、各分解層が４つの周波数帯域を含むと決定する。
一実施形態において、第１の分解サブバンド情報と第２の分解サブバンド情報における分解層数が同じであるとともに、各分解層数に対応する周波数帯域数も同じである場合、第３の分解サブバンド情報内の分解層数が第１の分解サブバンド情報または第２の分解サブバンド情報の分解層数であると決定し、第３の分解サブバンド情報内の各分解層に対応する周波数帯域数が第１の分解サブバンド情報または第２の分解サブバンド情報内の対応する分解層における周波数帯域数であると決定する。
ステップＳ１４２では、第３の分解サブバンド情報における１つの周波数帯域の周波数帯域係数行列を計算する場合、第１の分解サブバンド情報と第２の分解サブバンド情報における同一の周波数帯域に対応する周波数帯域係数行列を用いて計算することができる。例えば、
第１の分解サブバンド情報における第１の分解層のＨＨ周波数帯域の周波数帯域係数行列、及び第２の分解サブバンド情報における第１の分解層のＨＨ周波数帯域の周波数帯域係数行列を用いて、第３の分解サブバンド情報における第１の分解層のＨＨ周波数帯域の周波数帯域係数行列を計算する。
第１の分解サブバンド情報における第２の分解層のＬＬ周波数帯域の周波数帯域係数行列、及び第２の分解サブバンド情報における第２の分解層のＬＬ周波数帯域の周波数帯域係数行列を用いて、第３の分解サブバンド情報における第２の分解層のＬＬ周波数帯域の周波数帯域係数行列を計算する。
本開示の実施例は、画像処理方法を提供し、この方法は図１に示す方法を含み、かつステップＳ１４における、第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
前記第３の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含むことができる。
本実施例では、異なる場合には、第３の分解サブバンド情報内の異なる１つまたは複数の周波数帯域を設定高周波数帯域として設定することができる。
一実施形態において、第１の分解サブバンド情報と第２の分解サブバンド情報は、ウェーブレット変換に基づく画像マルチスケール分解方法に基づいて取得された分解サブバンド情報である。設定高周波数帯域は第１の分解層におけるＨＨ周波数帯域である。
設定高周波数帯域に対して、Ｗチャンネル画像の第２の分解サブバンド情報に対応する設定高周波数帯域の周波数帯域係数行列を第３の分解サブバンド情報の設定高周波数帯域の周波数帯域係数行列とする。すなわち第１の分解層におけるＨＨ周波数帯域に対して、
ＸF HH,1（ｉ，ｊ）＝ＸW HH,1（ｉ，ｊ）
ここで、ＸF HH,1（ｉ，ｊ）は第３の分解サブバンド情報における第１の分解層のＨＨ周波数帯域に対応する分解画像における（ｉ，ｊ）ピクセルでの周波数帯域係数を表す。第３の分解サブバンド情報における他の分解層及び他の周波数帯域に対応する周波数帯域係数はこれと同様である。
第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する。
一例示において、第１の分解層におけるＬＨ周波数帯域に対して、
ＸF LH,1（ｉ，ｊ）＝［ＸW LH,1（ｉ，ｊ）＋ＸRGB LH,1（ｉ，ｊ）］／２
第１の分解層におけるＨＬ周波数帯域に対して、
ＸF HL,1（ｉ，ｊ）＝［ＸW HL,1（ｉ，ｊ）＋ＸRGB HL,1（ｉ，ｊ）］／２
第２の分解層におけるＨＨ周波数帯域、すなわち第１の分解層におけるＬＬ周波数帯域でのＨＨ周波数帯域に対して、
ＸF HH,2（ｉ，ｊ）＝［ＸW HH,2（ｉ，ｊ）＋ＸRGB HH,2（ｉ，ｊ）］／２
第２の分解層におけるＬＨ周波数帯域、すなわち第１の分解層におけるＬＬ周波数帯域でのＬＨ周波数帯域に対して、
ＸF LH,2（ｉ，ｊ）＝［ＸW LH,2（ｉ，ｊ）＋ＸRGB LH,2（ｉ，ｊ）］／２
第２の分解層におけるＨＬ周波数帯域、すなわち第１の分解層におけるＬＬ周波数帯域でのＨＬ周波数帯域に対して、
ＸF HL,2（ｉ，ｊ）＝［ＸW HL,2（ｉ，ｊ）＋ＸRGB HL,2（ｉ，ｊ）］／２
第３の分解層におけるＨＨ周波数帯域、すなわち第２の分解層におけるＬＬ周波数帯域でのＨＨ周波数帯域に対して、
ＸF HH,3（ｉ，ｊ）＝［ＸW HH,3（ｉ，ｊ）＋ＸRGB HH,3（ｉ，ｊ）］／２
第３の分解層におけるＬＨ周波数帯域、すなわち第２の分解層におけるＬＬ周波数帯域でのＬＨ周波数帯域に対して、
ＸF LH,3（ｉ，ｊ）＝［ＸW LH,3（ｉ，ｊ）＋ＸRGB LH,3（ｉ，ｊ）］／２
第３の分解層におけるＨＬ周波数帯域、すなわち第２の分解層におけるＬＬ周波数帯域でのＨＬ周波数帯域に対して、
ＸF HL,3（ｉ，ｊ）＝［ＸW HL,3（ｉ，ｊ）＋ＸRGB HL,3（ｉ，ｊ）］／２
第３の分解層におけるＬＬ周波数帯域、すなわち第２の分解層におけるＬＬ周波数帯域でのＬＬ周波数帯域に対して、
ＸF LL,3（ｉ，ｊ）＝［ＸW LL,3（ｉ，ｊ）＋ＸRGB LL,3（ｉ，ｊ）］／２
ここで、ＸF HH,3（ｉ，ｊ）は第３の分解サブバンド情報の第３の分解層のＨＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸF LH,3（ｉ，ｊ）は第３の分解サブバンド情報の第３の分解層のＬＨ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸF HL,3（ｉ，ｊ）は第３の分解サブバンド情報の第３の分解層のＨＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。ＸF LL,3（ｉ，ｊ）は第３の分解サブバンド情報の第３の分解層のＬＬ周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する係数を表す。
一実施形態において、設定高周波数帯域に対応する周波数帯域が第１の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、及びＨＬ周波数帯域を含むと決定する。
設定高周波数帯域に対して、Ｗチャンネル画像の第１の分解サブバンドに対応する設定高周波数帯域の周波数帯域係数行列を第３の分解サブバンドの設定高周波数帯域の周波数帯域係数行列とする。すなわち第１の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、及びＨＬ周波数帯域に対して、
ＸF HH,1（ｉ，ｊ）＝ＸW HH,1（ｉ，ｊ）
ＸF LH,1（ｉ，ｊ）＝ＸW LH,1（ｉ，ｊ）
ＸF HL,1（ｉ，ｊ）＝ＸW HL,1（ｉ，ｊ）
設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつステップＳ１４における、第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第１の行列と第２の行列との和であり、前記第１の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第２の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含むことができ、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
例えば、
ウェーブレット変換の分解層数が３層である場合、設定高周波数帯域は第１の分解層におけるＨＨ周波数帯域である。Ｗチャンネル画像の第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数が０．９８であり、高周波数帯域を除く周波数帯域での対応する重み係数は０．５、または０．６、または０．５５などである。
一例示において、設定高周波数帯域は第１の分解層におけるＨＨ周波数帯域である。
第１の分解層におけるＨＨ周波数帯域、
ＸF HH,1（ｉ，ｊ）＝０．９８＊ＸW HH,1（ｉ，ｊ）＋０．０２＊ＸRGB HH,1（ｉ，ｊ）
第１の分解層におけるＬＨ周波数帯域に対して、
ＸF LH,1（ｉ，ｊ）＝０．６＊ＸW LH,1（ｉ，ｊ）＋０．４＊ＸRGB LH,1（ｉ，ｊ）
第１の分解層におけるＨＬ周波数帯域に対して、
ＸF HL,1（ｉ，ｊ）＝０．６＊ＸW HL,1（ｉ，ｊ）＋０．４＊ＸRGB HL,1（ｉ，ｊ）
これによって類推する。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつステップＳ１４における第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第３の行列と第４の行列との和であり、前記第３の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第４の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含むことができ、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
例えば、ウェーブレット変換の分解層数が３層である場合、第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
例えば、第１の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域及びＨＨ周波数帯域に対応する重み係数はいずれも第２の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域に対応する重み係数より大きい。
第２の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域に対応する重み係数はいずれも第３の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域、及びＨＨ周波数帯域に対応する重み係数より大きい。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつステップＳ１４における第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
第３の分解サブバンド情報における設定高周波数帯域に対して、第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定する操作と、
前記第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第５の行列と第６の行列との和であり、前記第５の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第６の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する操作とを実行するステップと、を含むことができ、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
例えば、
ウェーブレット変換の分解層数が３層である場合、高周波数帯域は第１の分解層におけるＨＨ周波数帯域であると決定する。Ｗチャンネル画像の第２の分解サブバンド情報における第１の分解層におけるＨＨ周波数帯域の周波数帯域係数を第３の分解サブバンド情報における第１の分解層におけるＨＨ周波数帯域の周波数帯域係数とする。
第１の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域及びＨＨ周波数帯域に対応する重み係数はいずれも第２の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域及びＨＨ周波数帯域に対応する重み係数より大きい。
第２の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域及びＨＨ周波数帯域に対応する重み係数はいずれも第３の分解層におけるＨＨ周波数帯域、ＬＨ周波数帯域、ＨＬ周波数帯域及びＨＨ周波数帯域に対応する重み係数より大きい。
本開示の実施例は、画像処理方法を提供し、この方法は、図１に示す方法を含み、かつステップＳ１４における第１の分解サブバンド情報及び第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
前記第３の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第７の行列と第８の行列との和であり、前記第７の行列が、第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第１の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第８の行列が、第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第２の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
前記第１の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第１のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第１の分散に基づいて計算して取得されるものであり、
前記第２の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第２のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第２の分散に基づいて計算して取得されるものであり、
ここで、第１のグレースケール成分画像と第２のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は１であり、第１のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第１の分散とは正の相関を示し、第２のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第２の分散とは正の相関を示す。
ここで、１ピクセルに対応する第１の分散と第２の分散は、いずれも各ピクセルを中心とした設定サイズの領域（例えば３＊３の領域、または５＊５の領域、または７＊７の領域）内の画素値の分散値である。
一実施例において、各ピクセルに対応する第１の分散と第２の分散との比は、対応するピクセルでの第１のグレースケール成分画像のこの周波数帯域での分解画像におけるこのピクセルに対応する重み係数と、第２のグレースケール成分画像のこの周波数帯域での分解画像における対応するピクセルに対応する重み係数との比に等しい。
例えば、第１の分解層におけるＨＨ周波数帯域は以下のとおりである。
［ＴW HH,1（ｉ，ｊ）］／［ＴRGB HH,1（ｉ，ｊ）］＝［ＤW HH,1（ｉ，ｊ）］／［ＤRGB HH,1（ｉ，ｊ）］
ここで、ＴW HH,1（ｉ，ｊ）は、第１の分解層のＨＨ周波数帯域における、第２のグレースケール成分画像のこの周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する重み係数を指す。
ＴRGB HH,1（ｉ，ｊ）は、第１の分解層におけるＨＨ周波数帯域における、第２のグレースケール成分画像のこの周波数帯域の分解画像における（ｉ，ｊ）ピクセルに対応する重み係数を指す。
ＤW HH,1（ｉ，ｊ）は、第１の分解層におけるＨＨ周波数帯域における、第２のグレースケール成分画像のこの周波数帯域の分解画像における（ｉ，ｊ）ピクセルでの第２の分散を指す。
ＤRGB HH,1（ｉ，ｊ）は、第１の分解層におけるＨＨ周波数帯域における、第１のグレースケール成分画像のこの周波数帯域の分解画像における（ｉ，ｊ）ピクセルでの第１の分散を指す。
例えば、ウェーブレット変換の分解層数が２層である場合、ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって、ＸRGB HH,1（ｉ，ｊ）、ＸRGB LH,1（ｉ，ｊ）、ＸRGB HL,1（ｉ，ｊ）、ＸRGB HH,2（ｉ，ｊ）、ＸRGB LH,2（ｉ，ｊ）、ＸRGB HL,2（ｉ，ｊ）、ＸRGB LL,2（ｉ，ｊ）を含む第１のグレースケール成分画像の第１の分解サブバンド情報を計算する。
ウェーブレット変換の分解層数が２層である場合、ウェーブレット変換に基づくマルチスケール画像分解アルゴリズムによって、ＸW HH,1（ｉ，ｊ）、ＸW LH,1（ｉ，ｊ）、ＸW HL,1（ｉ，ｊ）、ＸW HH,2（ｉ，ｊ）、ＸW LH,2（ｉ，ｊ）、ＸW HL,2（ｉ，ｊ）、ＸW LL,2（ｉ，ｊ）を含む第２のグレースケール成分画像の第２の分解サブバンド情報を計算する。
１周波数帯域の１ピクセルに対して、このピクセルに対応する第１の分散及び第２の分散に基づいて、対応するピクセルで第１のグレースケール成分画像のこの周波数帯域の分解画像におけるこのピクセルに対応する重み係数、及び第２のグレースケール成分画像のこの周波数帯域の分解画像におけるこのピクセルに対応する重み係数を決定し、例えば、第１の分解層におけるＨＨ周波数帯域に対する計算方式は以下のとおりである。
ＸF HH,1（ｉ，ｊ）＝ＴW HH,1（ｉ，ｊ）＊ＸW HH,1（ｉ，ｊ）＋ＴRGB HH,1（ｉ，ｊ）＊ＸRGB HH,1（ｉ，ｊ）
第１の分解層におけるＬＨ周波数帯域に対する計算方式は以下のとおりである。
ＸF LH,1（ｉ，ｊ）＝ＴW LH,1（ｉ，ｊ）＊ＸW LH,1（ｉ，ｊ）＋ＴRGB LH,1（ｉ，ｊ）＊ＸRGB LH,1（ｉ，ｊ）
第１の分解層における他の周波数帯域及び第２の分解層における各周波数帯域に対する計算方式は上記計算方式と同様である。
上記実施例における装置に関して、ここで各モジュールが操作を実行する具体的な方式は、当該方法の実施例において詳細に説明されるので、ここでは詳細な説明は省略する。
本開示の実施例は、画像処理装置を提供する。図３を参照すると、図３は一例示的な実施例により示される画像処理装置の構成図である。図３に示すように、この装置は、
対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュール３０１と、
前記赤緑青チャンネル画像の第１のグレースケール成分画像を決定し、及び前記白チャンネル画像の第２のグレースケール成分画像を決定するように構成される第１の決定モジュール３０２と、
前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するように構成される第２の決定モジュール３０３であって、前記第１の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応し、前記第２の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応する第２の決定モジュール３０３と、
前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される第３の決定モジュール３０４と、
前記第３の分解サブバンド情報に基づいて画像再構成を行って、第３のグレースケール成分画像を取得し、前記第３のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュール３０５と、を含む。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第２の決定モジュール３０３は、さらに
画像マルチスケール分解方法を採用して、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定する、という方法を用いて、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第３の決定モジュール３０４は、
同一の分解層での前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報の同じ周波数帯域を、前記第３の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
前記第３の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第３の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第２の決定モジュール３０３は、さらに、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
前記第３の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値は、前記第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第２の決定モジュール３０３は、さらに、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第１の行列と第２の行列との和であり、前記第１の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第２の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第２の決定モジュール３０３は、
前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第３の行列と第４の行列との和であり、前記第３の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第４の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第２の決定モジュール３０３は、さらに、
前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定すし、
前記第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第５の行列と第６の行列との和であり、前記第５の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第６の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す。
本開示の実施例は、画像処理装置を提供し、この装置は、図３に示す装置を含み、かつ、
前記第２の決定モジュール３０３は、さらに、
前記第３の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第７の行列と第８の行列との和であり、前記第７の行列が、第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第１の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第８の行列が、第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第２の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
前記第１の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第１のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第１の分散に基づいて計算して取得されるものであり、
前記第２の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第２のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第２の分散に基づいて計算して取得されるものであり、
ここで、第１のグレースケール成分画像と第２のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は１であり、第１のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第１の分散とは正の相関を示し、第２のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第２の分散とは正の相関を示す。
本開示の実施例は、画像処理装置を提供し、この装置は、
プロセッサと、
前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
前記プロセッサは、前記方法を実行するように構成される。
本開示の実施例は、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体の命令がモバイル端末のプロセッサによって実行される際に、モバイル端末が前記方法を実行できるようにする。
図４は一例示的な実施例により示される画像処理装置４００の構成図である。例えば、装置４００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング送受装置、ゲームコンソール、タブレット装置、医療装置、フィットネス装置、パーソナルデジタルアシスタントなどであってもよい。
図４を参照し、装置４００は、処理コンポーネント４０２、メモリ４０４、電源コンポーネント４０６、マルチメディアコンポーネント４０８、オーディオコンポーネント４１０、入力／出力（Ｉ／Ｏ）インターフェース４１２、センサコンポーネント４１４、及び通信コンポーネント４１６のうち１つ又は複数を含むことができる。
処理コンポーネント４０２は、通常、装置４００の全体の操作、例えば、表示、電話の呼び出し、データ通信、カメラ操作、及び記録操作に関連する操作を制御する。処理コンポーネント４０２は、上記方法の実施例における全部又は一部のステップを完成するために、命令を実行する１つ或複数のプロセッサ７２０を含むことができる。また、処理コンポーネント４０２は、処理コンポーネント４０２と他のユニットとの間のインタラクションを容易にするように、１つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント４０２は、マルチメディアコンポーネント４０８と処理コンポーネント４０２との間のインタラクションを容易にするように、マルチメディアモジュールを含むことができる。
メモリ４０４は、各種タイプのデータを記憶して装置４００での操作をサポートするように構成される。これらのデータの例は、装置４００で操作するためのあらゆるアプリケーションプログラム又は方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャ、及びビデオなどを含む。メモリ４０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク又は光ディスクのような、任意タイプの揮発性又は非揮発性記憶装置又はこれらの組み合わせによって実現することができる。
電源コンポーネント４０６は、装置４００の各種のユニットに電力を提供する。電源コンポーネント４０６は、電源管理システムと、１つ又は複数の電源と、装置４００の電力の生成、管理及び配分に関連する他のユニットとを含んでもよい。
マルチメディアコンポーネント４０８は、前記装置４００とユーザとの間に１つの出力インターフェースを提供するスクリーンを含む。一部の実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）とを含んでもよい。スクリーンがタッチパネルを含む場合に、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチパネルをタッチ及びスライドするジェスチャを感知する１つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスライド動作の境界を感知することができるほか、前記タッチ又はスライド操作に関する持続時間及び圧力を感知することができる。一部の実施例において、マルチメディアコンポーネント４０８は、フロントカメラ及び／又はバックカメラを含む。装置４００が操作モードにあり、例えば、撮影モード又はビデオモードにある場合に、フロントカメラ及び／又はバックカメラは、外部のマルチメディアのデータを受信することができる。各フロントカメラ及びバックカメラは、１つの固定的な光学レンズシステムであってもよく、又は焦点距離と光学ズーム機能を備えてもよい。
オーディオコンポーネント４１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント４１０は、１つのマイク（ＭＩＣ）を含む。装置４００が操作モード、例えば、呼び出しモード、記録モード及び音声認識モードにある場合に、マイクは、外部のオーディオ信号を受信するように構成される。受信したオーディオ信号は、さらにメモリ４０４に記憶され、又は通信コンポーネント４１６を介して送信される。一部の実施例において、オーディオコンポーネント４１０は、オーディオ信号を出力する１つのスピーカをさらに含む。
Ｉ／Ｏインターフェース４１２は、処理コンポーネント４０２とペリフェラルインターフェースモジュールとの間のインターフェースを提供する。上記ペリフェラルインターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、開始ボタン、及びロックボタンなどを含むが、これらに限定されない。
センサコンポーネント４１４は、各方面の状態評価を装置４００に提供する１つ又は複数のセンサを含む。例えば、センサコンポーネント４１４は、装置４００のオン／オフ状態、及びユニットの相対的位置決めを検出することができ、例えば、前記ユニットが装置４００のディスプレイ及びキーパッドである。センサコンポーネント４１４は、さらに、装置４００又は装置４００の１つユニットの位置変化、ユーザと装置４００との接触の有無、装置４００の方位又は加速／減速、及び装置４００の温度変化を検出することができる。センサコンポーネント４１４は、物理的接触が一切ない場合に近くの物体の存在を検出するように構成される近接センサを含むことができる。センサコンポーネント４１４は、光センサ、例えば、結像応用に使用されるＣＭＯＳ又はＣＣＤイメージセンサをさらに含むことができる。一部の実施例において、該センサコンポーネント４１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ、又は温度センサを含むことができる。
通信コンポーネント４１６は、装置４００と他の装置との間の有線又は無線通信を容易にするように構成される。装置４００は、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせなどの通信規格に基づいた無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント４１６は、ブロードキャストチャネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例において、前記通信コンポーネント４１６は、短距離通信を容易にするための近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ結合（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及び他の技術に基づいて実現することができる。
例示的な実施例において、装置４００は、上記方法を実行するための１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子ユニットによって実現することができる。
例示的な実施例において、命令を含む非一時的なコンピュータ可読記憶媒体、例えば、命令を含むメモリ４０４も提供され、上記命令は、上記方法を実行するために、装置４００のプロセッサ７２０によって実行することができる。例えば、非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピ－ディスク、光データ記憶装置などであってもよい。
当業者は、明細書を考慮してここに記載の発明を実践した後、本発明の他の実施案を容易に想到し得る。本出願は、本開示のあらゆる変形、用途又は適応的な変化を含むことを旨とし、これらの変形、用途又は適応的変化は本発明の一般的な原理に従い、かつ本発明で開示されていない本技術分野における周知知識又は慣用されている技術手段を含む。明細書と実施例は単なる例示的なものとみなされ、本発明の真の範囲と主旨は以下の特許請求の範囲に指摘される。
なお、本発明は、すでに前文で説明されていて図面に示された正確な構造に限定されず、その原理及び趣旨から逸脱しない限り、各種の補正、変化を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲のみにより限定される。

Claims (18)

  1. 画像処理方法であって、
    対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するステップと、
    前記赤緑青チャンネル画像の第１のグレースケール成分画像を決定し、及び前記白チャンネル画像の第２のグレースケール成分画像を決定するステップと、
    前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップであって、前記第１の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応し、前記第２の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応するステップと、
    前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップと、
    前記第３の分解サブバンド情報に基づいて画像再構成を行って、第３のグレースケール成分画像を取得し、前記第３のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するステップと、を含む、
    ことを特徴とする画像処理方法。
  2. 前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップは、
    画像マルチスケール分解方法を採用して、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するステップを含み、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである、
    ことを特徴とする請求項１に記載の画像処理方法。
  3. 前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
    同一の分解層での前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報の同じ周波数帯域を、前記第３の分解サブバンド情報のこの分解層での対応する周波数帯域とするステップと、
    前記第３の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第３の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を算出するステップと、を含む、
    ことを特徴とする請求項１に記載の画像処理方法。
  4. 前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
    前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
    前記第３の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定するステップと、を含む、
    ことを特徴とする請求項１または３に記載の画像処理方法。
  5. 前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
    前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第１の行列と第２の行列との和であり、前記第１の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第２の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい、
    ことを特徴とする請求項１または３に記載の画像処理方法。
  6. 前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
    前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第３の行列と第４の行列との和であり、前記第３の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第４の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップを含み、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
    ことを特徴とする請求項１または３に記載の画像処理方法。
  7. 前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
    前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定するステップと、
    前記第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第５の行列と第６の行列との和であり、前記第５の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第６の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定するステップと、を含み、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
    ことを特徴とする請求項１または３に記載の画像処理方法。
  8. 前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するステップは、
    前記第３の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第７の行列と第８の行列との和であり、前記第７の行列が、第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第１の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第８の行列が、第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第２の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定するステップを含み、
    前記第１の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第１のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第１の分散に基づいて計算して取得されるものであり、
    前記第２の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第２のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第２の分散に基づいて計算して取得されるものであり、
    第１のグレースケール成分画像と第２のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は１であり、第１のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第１の分散とは正の相関を示し、第２のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第２の分散とは正の相関を示す、
    ことを特徴とする請求項１または３に記載の画像処理方法。
  9. 画像処理装置であって、
    対象画像から赤緑青チャンネル画像及び白チャンネル画像を抽出するように構成される抽出モジュールと、
    前記赤緑青チャンネル画像の第１のグレースケール成分画像を決定し、及び前記白チャンネル画像の第２のグレースケール成分画像を決定するように構成される第１の決定モジュールと、
    前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するように構成される第２の決定モジュールであって、前記第１の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応し、前記第２の分解サブバンド情報は少なくとも１つの分解層を含み、各分解層は少なくとも１つの周波数帯域を含み、各周波数帯域は１つの周波数帯域係数行列に対応する第２の決定モジュールと、
    前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される第３の決定モジュールと、
    前記第３の分解サブバンド情報に基づいて画像再構成を行って、第３のグレースケール成分画像を取得し、前記第３のグレースケール成分画像に基づいて、前記対象画像に対応するカラー画像を構築するように構成される構築モジュールと、を含む、
    ことを特徴とする画像処理装置。
  10. 前記第２の決定モジュールは、さらに、
    画像マルチスケール分解方法を採用して、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定する、という方法を用いて、前記第１のグレースケール成分画像の第１の分解サブバンド情報を決定し、及び、前記第２のグレースケール成分画像の第２の分解サブバンド情報を決定するように構成され、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報における分解層の数量は同じであり、各分解層における周波数帯域の数量は同じである、
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 前記第３の決定モジュールは、さらに、
    同一の分解層での前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報の同じ周波数帯域を、前記第３の分解サブバンド情報のこの分解層での対応する周波数帯域とし、
    前記第３の分解サブバンド情報における各分解層での各周波数帯域に対して、前記第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列及び前記第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列に基づいて、前記第３の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列を計算する、
    という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される、
    ことを特徴とする請求項９に記載の画像処理装置。
  12. 前記第３の決定モジュールは、さらに、
    前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を、前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
    前記第３の分解サブバンド情報における前記設定高周波数帯域以外の各周波数帯域に対して、第３の分解サブバンド情報内の各周波数帯域の周波数帯域係数行列における各ピクセルに対応する係数値が、前記第１の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値と、前記第２の分解サブバンド情報内の対応する周波数帯域の周波数帯域係数行列における対応するピクセルの係数値との平均値であると決定する、
    という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成される、
    ことを特徴とする請求項９または１１に記載の画像処理装置。
  13. 前記第３の決定モジュールは、さらに
    前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第１の行列と第２の行列との和であり、前記第１の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第２の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の設定高周波数帯域での対応する重み係数は前記設定高周波数帯域以外の周波数帯域での対応する重み係数より大きい、
    ことを特徴とする請求項９または１１に記載の画像処理装置。
  14. 前記第３の決定モジュールは、さらに、
    前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第３の行列と第４の行列との和であり、前記第３の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第４の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
    ことを特徴とする請求項９または１１に記載の画像処理装置。
  15. 前記第３の決定モジュールは、さらに、
    前記第３の分解サブバンド情報における設定高周波数帯域に対して、前記第２の分解サブバンド情報における設定高周波数帯域の周波数帯域係数行列を前記第３の分解サブバンド情報における対応する設定高周波数帯域の周波数帯域係数行列として決定し、
    前記第３の分解サブバンド情報における設定高周波数帯域以外の各周波数帯域に対して、前記第３の分解サブバンド情報の各周波数帯域での周波数帯域係数行列が、第５の行列と第６の行列との和であり、前記第５の行列が、前記第１の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であり、前記第６の行列が、前記第２の分解サブバンド情報の対応する周波数帯域での対応する重み係数と周波数帯域係数行列との積であると決定する、
    という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
    前記第１の分解サブバンド情報と前記第２の分解サブバンド情報との同一の周波数帯域での対応する重み係数の和は１であり、前記第２の分解サブバンド情報の周波数帯域での対応する重み係数と周波数帯域が属する分解層の層数とは負の相関を示す、
    ことを特徴とする請求項９または１１に記載の画像処理装置。
  16. 前記第３の決定モジュールは、さらに、
    前記第３の分解サブバンド情報における各周波数帯域の周波数帯域係数行列が、第７の行列と第８の行列との和であり、前記第７の行列が、第１の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第１の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であり、前記第８の行列が、第２の分解サブバンド情報における対応する周波数帯域の周波数帯域係数行列と第２の分解サブバンド情報における対応する周波数帯域の重み係数行列とのドット積行列であると決定する、という方法を用いて、前記第１の分解サブバンド情報及び前記第２の分解サブバンド情報に基づいて、第３の分解サブバンド情報を決定するように構成され、
    前記第１の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第１のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第１の分散に基づいて計算して取得されるものであり、
    前記第２の分解サブバンド情報における各周波数帯域の重み係数行列における各ピクセルの重み係数値は、前記第２のグレースケール成分画像の対応する周波数帯域での分解画像における各ピクセルに対応する第２の分散に基づいて計算して取得されるものであり、
    第１のグレースケール成分画像と第２のグレースケール成分画像との同じ周波数帯域での分解画像における同じピクセルに対応する重み係数の和は１であり、第１のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第１の分散とは正の相関を示し、第２のグレースケール成分画像の各周波数帯域での分解画像における各ピクセルに対応する重み係数と、対応するピクセルに対応する第２の分散とは正の相関を示す、
    ことを特徴とする請求項９または１１に記載の画像処理装置。
  17. 画像処理装置であって、
    プロセッサと、
    前記プロセッサによって実行可能なコンピュータ命令が記憶されているメモリと、を含み、
    前記プロセッサは、前記請求項１～８のいずれか一項に記載の方法を実行するように構成される、
    ことを特徴とする画像処理装置。
  18. 非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記記憶媒体の命令がモバイル端末のプロセッサによって実行される際に、モバイル端末が前記請求項１～８のいずれか一項に記載の方法を実行できるようにする、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
JP2021053241A 2020-07-29 2021-03-26 画像処理方法、装置及び記憶媒体 Active JP7093441B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010747369.4A CN114066784A (zh) 2020-07-29 2020-07-29 一种图像处理方法、装置和存储介质
CN202010747369.4 2020-07-29

Publications (2)

Publication Number Publication Date
JP2022027438A JP2022027438A (ja) 2022-02-10
JP7093441B2 true JP7093441B2 (ja) 2022-06-29

Family

ID=75277805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021053241A Active JP7093441B2 (ja) 2020-07-29 2021-03-26 画像処理方法、装置及び記憶媒体

Country Status (5)

Country Link
US (1) US11900637B2 (ja)
EP (1) EP3945713A1 (ja)
JP (1) JP7093441B2 (ja)
KR (1) KR102563468B1 (ja)
CN (1) CN114066784A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022122682A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389165A (zh) 2018-02-02 2018-08-10 成都西纬科技有限公司 一种图像去噪方法
JP2020504831A (ja) 2017-12-05 2020-02-13 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． インタフェース画像の表示方法、装置及びプログラム
CN111353982A (zh) 2020-02-28 2020-06-30 贝壳技术有限公司 一种深度相机图像序列筛选方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195465B1 (en) * 1994-09-21 2001-02-27 Ricoh Company, Ltd. Method and apparatus for compression using reversible wavelet transforms and an embedded codestream
JP2004228952A (ja) * 2003-01-23 2004-08-12 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体
KR100607144B1 (ko) * 2003-12-29 2006-08-01 엘지.필립스 엘시디 주식회사 액정 디스플레이 장치
JP4837503B2 (ja) * 2006-09-12 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
KR20110006112A (ko) * 2009-07-13 2011-01-20 삼성전자주식회사 카메라 시스템에서 디스플레이 패널의 백라이트를 제어하는 장치 및 그 방법
FR2975804B1 (fr) * 2011-05-27 2022-06-17 Lvmh Rech Procede de caracterisation du teint de la peau ou des phaneres
US9111339B1 (en) * 2013-07-31 2015-08-18 Marvell International Ltd. System and method for reducing noise from an image
JP2016014727A (ja) * 2014-07-01 2016-01-28 株式会社ジャパンディスプレイ 表示装置、電子機器及び画像表示方法
US10186023B2 (en) * 2016-01-25 2019-01-22 Qualcomm Incorporated Unified multi-image fusion approach
CN106355569A (zh) * 2016-08-29 2017-01-25 努比亚技术有限公司 图像生成装置及方法
CN106447641A (zh) * 2016-08-29 2017-02-22 努比亚技术有限公司 图像生成装置及方法
WO2018040751A1 (zh) * 2016-08-29 2018-03-08 努比亚技术有限公司 图像生成装置及方法、图像处理设备及存储介质
CN109360182A (zh) * 2018-10-31 2019-02-19 广州供电局有限公司 图像融合方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020504831A (ja) 2017-12-05 2020-02-13 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． インタフェース画像の表示方法、装置及びプログラム
CN108389165A (zh) 2018-02-02 2018-08-10 成都西纬科技有限公司 一种图像去噪方法
CN111353982A (zh) 2020-02-28 2020-06-30 贝壳技术有限公司 一种深度相机图像序列筛选方法及装置

Also Published As

Publication number Publication date
EP3945713A1 (en) 2022-02-02
CN114066784A (zh) 2022-02-18
US20220036590A1 (en) 2022-02-03
KR20220014801A (ko) 2022-02-07
KR102563468B1 (ko) 2023-08-04
JP2022027438A (ja) 2022-02-10
US11900637B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
TWI696146B (zh) 影像處理方法、裝置、電腦可讀儲存媒體和行動終端
WO2020093837A1 (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
US10827140B2 (en) Photographing method for terminal and terminal
WO2021036991A1 (zh) 高动态范围视频生成方法及装置
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
US11475243B2 (en) Training method and device for an image enhancement model, and storage medium
CN108391060B (zh) 一种图像处理方法、图像处理装置和终端
JP5775977B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
CN110944160B (zh) 一种图像处理方法及电子设备
CN113850367B (zh) 网络模型的训练方法、图像处理方法及其相关设备
CN104380727B (zh) 图像处理装置和图像处理方法
US20180352201A1 (en) Image processing method, device, terminal and storage medium
US20220207676A1 (en) Photographing method, terminal, and storage medium
CN107025441B (zh) 肤色检测方法及装置
CN110266954A (zh) 图像处理方法、装置、存储介质及电子设备
CN116744120B (zh) 图像处理方法和电子设备
US11222235B2 (en) Method and apparatus for training image processing model, and storage medium
US10951816B2 (en) Method and apparatus for processing image, electronic device and storage medium
JP7093441B2 (ja) 画像処理方法、装置及び記憶媒体
CN115526774A (zh) 图像插值方法、装置、存储介质及电子设备
CN113674685A (zh) 像素阵列的控制方法、装置、电子设备和可读存储介质
CN111835941A (zh) 图像生成方法及装置、电子设备、计算机可读存储介质
US20220405896A1 (en) Image processing method and apparatus, model training method and apparatus, and storage medium
WO2022027444A1 (zh) 事件检测方法、装置、可移动平台及计算机可读存储介质
CN117440241A (zh) 一种视频处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220617

R150 Certificate of patent or registration of utility model

Ref document number: 7093441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150