JP7297010B2 - 画像処理方法、端末デバイスにおけるイメージシグナルプロセッサ - Google Patents

Description

（関連出願の相互参照）
本願は、２０２０年５月２２日に出願された欧州特許出願第ＥＰ２０１７６１０１２号に基づいており、それへの優先権を主張し、その内容は、それら全体が参照によって本明細書中に援用される。

（技術分野）
本開示は、画像処理方法に関しており、特に、画像のトーンマッピングプロセス、方法を実行するためのイメージシグナルプロセッサ（ＩＳＰ）、およびそのようなＩＳＰを備えている端末に関している。

（背景）
今日、デジタルカメラおよび画像センサは、現実に存在するダイナミックレンジのうちの限定された範囲のみを捕捉し得る。さらに、捕捉された画像のためのモバイルデバイスディスプレイ、コンピュータディスプレイ、ＴＶ等の視認環境は、デジタルカメラおよび画像センサが捕捉し得るダイナミックレンジより遥かに狭いダイナミックレンジをサポートし得る。

この問題を和らげるために、トーンマッピングプロセスが、捕捉された画像データに適用される。トーンマッピングは、比較的高いダイナミックレンジを表す画像ピクセルを比較的低いダイナミックレンジを有する視認環境（すなわち、表示媒体）にマッピングするプロセスである。これを行う間、トーンマッピングプロセスは、実世界シーンに可能な限り近く表現されるように画像を提供する役割を担う。ここで、トーンマッピングは、画像データの捕捉から視認者に提示される最終画像までの間の画像処理のうちの重要なブロックの１つであり、トーンマッピングは、現実世界の元の高いダイナミックレンジをより低いダイナミックレンジディスプレイに表示される画像にうまく変換／マッピングするために画像のコントラストおよび輝度を変更する役割を担う。

とりわけ、ピラミッドベースのトーンマッピングアルゴリズムが、画像のダイナミックレンジを高めるために良く知られている。したがって、画像データは、複数のＮレベルまたはＮ層に分解される。ガウシアンピラミッドアルゴリズムにおける第１のレベルは、例えば、初期画像のガウシアンフィルタリングされた画像であり、低減させられた解像度を有する。第２のレベルは、第１のレベルのガウシアンフィルタリングされた画像であり、第１のレベルに対して低減させられた解像度を有し、同様に、最も上のレベルまで続く。ラプラシアンフィルタ等の他のフィルタが、初期画像データを複数のレベルに分解するためにガウシアンフィルタの代わりに用いられ得る。続いて、１つ以上のレベルのコントラストが、適宜、適合され、その後、レベルは、最も上のレベルから始まり、折り畳まれて、高められたダイナミックレンジを有する最終画像を形成する。しかしながら、デジタル画像センサおよび画像視認媒体（すなわち、ディスプレイ）の限定されたダイナミックレンジに起因して、露光不足の暗い影領域を犠牲にしてハイライトを焼き／飽和させることを避けるために、シーンは、通常、露光不足である。したがって、既知のマッピングアルゴリズムは、詳細の喪失および不十分なダイナミックレンジを有する最終画像という受け入れがたい結果を導出する。

（概要）
本開示の目的は、画像処理方法、とくに、最終画像のダイナミックレンジを向上させるためのトーンマッピング方法を提供することである。

上で与えられる問題は、請求項１の画像処理方法、請求項１４のイメージシグナルプロセッサ（ＩＳＰ）および請求項１５の端末デバイスによって解決される。

本開示による画像処理方法、特に画像トーンマッピングアルゴリズムは：好ましくは画像センサから初期画像データを入手するステップと；画像データを複数のＮ個の画像ピラミッド層に分解するステップと；ｋ＝Ｎ画像ピラミッド層（すなわち最上層）をｋ＝Ｎ－１画像ピラミッド層と共に折り畳み、中間層を創出するステップであって、ｋ＝Ｎ，．．．，１である、ステップと；中間層を次の画像ピラミッド層と共に折り畳み、新たな中間層を創出するステップと、最後の中間層をｋ＝１画像ピラミッド層と共に折り畳んで最終画像を生成するまで、このステップを繰り返すステップとを含む。

ここで、ｋ＝Ｎ画像ピラミッド層は、最上層としても示され、ｋ＝１画像ピラミッド層は、最下層としても示される。折り畳むことは、最上層ｋ＝Ｎ画像ピラミッド層がｋ＝Ｎ－１画像ピラミッド層と共に折り畳まれることから始まる。これらの層を折り畳むことによって、中間層が創出される。この中間層は、新たな中間層を創出するための次のｋ＝Ｎ－２画像ピラミッド層を折り畳んで新たな中間層を生成するステップの開始点であり、新たな中間層は、次の折り畳みステップの開始層であり、以下同様である。この工程は、ｋ＝１画像ピラミッド層（すなわち、最下層）が到達されるまで続けられる。このステップにおいて、最終画像を生成するために、最後の中間層が最下層（すなわち、ｋ＝１画像ピラミッド層）と共に折り畳まれる。ここで、Ｎは、２より大きい整数である。

本開示によるトーンマッピング演算子は、中間層のうちの少なくとも１つに適用される。したがって、上で言及されるＮ個の画像ピラミッド層を折り畳むステップによって生成される中間層のうちの少なくとも１つのトーンが、変化させられ、または操作される。トーンマッピング演算子を中間層に適用することによって、最終画像の見栄えは、初期画像データの所望のトーン（明るい、中位のトーン、または影がある）を与えることにより、最終画像において直感的かつユーザが満足するように調整され得る。したがって、本開示のトーンマッピング演算子によって、影領域が明るくされ得、比較的明るい領域内の暗い物体は、アーチファクトもコントラストの喪失も生み出すことなくそのまま残り得る。

少なくともいくつかの実施形態において、トーンマッピング演算子は、少なくとも２つ以上の中間層、さらに好ましくは中間層の各々に適用される。したがって、トーンマッピングは、所望の結果を達成するために中間層にわたって分配される。ここで、トーンマッピングは、制御アルゴリズムによって分配され得、制御アルゴリズムは、画像のヒストグラム等の画像統計を介して画像のコンテンツを分析し得るか、または、ＡＩベースの画像分類／分析を実施し得る。

少なくともいくつかの実施形態において、トーンマッピング演算子は、最終画像の見栄えにさらに適合させるために、初期画像データおよび／または最終画像に適用される。加えて、または、あるいは、トーンマッピング演算子は、最上層（すなわち、ｋ＝Ｎ画像ピラミッド層）に適用される。

少なくともいくつかの実施形態において、コントラストマニピュレーションが、複数のＮ個の画像ピラミッド層のうちの少なくとも１つに、好ましくは２つ以上に、より好ましくは各々に適用される。加えて、または、あるいは、コントラストマニピュレーションは、少なくとも１つの中間層に、好ましくは複数の中間層に、より好ましくは中間層の各々に適用される。したがって、少なくとも１つの画像ピラミッド層または中間層にコントラストマニピュレーションを適用することによって、最終画像のコントラストが操作され得、および／または、最終画像のダイナミックレンジがさらに高められ得る。

少なくとも１つの実施形態において、トーンマッピング演算子は、それぞれの中間層のサブ領域に局所的に適用される。ここで、画像データのサブ領域は、全体の画像の領域より小さい領域である。特に、トーンマッピング演算子は、それぞれの中間層のうちの１つの中間層の複数のサブ領域に適用される。あるいは、トーンマッピング演算子は、全てのそれぞれの中間層に全体的に適用される。したがって、局所的または全体的なトーンマッピングは、最終画像の結果を細かく制御するために実行可能である。ここで、中間層のうちの１つ以上に局所的トーンマッピングを適用する一方で、全体的なトーンマッピングが少なくとも１つ以上の他の中間層に適用されることが可能である。したがって、局所的トーンマッピングおよび全体的なトーンマッピングは、自由に選択され、異なる中間層に適用され得る。

少なくともいくつかの実施形態において、コントラストマニピュレーションは、画像ピラミッド層および／または中間層のサブ領域に局所的に適用される。ここで、画像ピラミッド層および／または中間層のサブ領域は、全体の画像ピラミッド層および／または中間層の領域より小さい領域である。特に、コントラストマニピュレーションは、それぞれの画像ピラミッド層および／または中間層の複数のサブ領域に適用される。あるいは、コントラストマニピュレーションは、全てのそれぞれの画像ピラミッド層および／または中間層に全体的に適用される。したがって、局所的または全体的なコントラストマニピュレーションは、最終画像の結果を細かく制御するために実行可能である。ここで、中間層のうちの１つ以上および／または画像ピラミッド層のうちの１つ以上に局所的コントラストマニピュレーションを適用する一方で、全体的なコントラストマニピュレーションが、１つ以上の他の中間層および／または画像ピラミッド層に適用されることが可能である。したがって、局所的コントラストマニピュレーションおよび全体的なコントラストマニピュレーションは、好ましくは上で言及される輝度マニピュレーションに加えて、自由に選択され、異なる中間層および／または画像ピラミッド層に適用され得る。

少なくともいくつかの実施形態において、トーンマッピング演算子は、さらに、最終画像に適用される。加えて、または、あるいは、トーンマッピング演算子は、初期画像データに適用される。

少なくともいくつかの実施形態において、コントラストマニピュレーションは、さらに、最終画像に適用される。加えて、または、あるいは、コントラストマニピュレーションは、初期画像データに適用される。加えて、または、あるいは、コントラストマニピュレーションは、最上層（すなわち、ｋ＝Ｎ画像ピラミッド層）に適用される。

少なくともいくつかの実施形態において、折り畳むことは、
Ｉｍｇ_ｋ（ｉ，ｊ）＝Ｌ_ｋ（ｉ，ｊ）， （ｋ＝Ｔｏｐ＿ｌｅｖｅｌ）
ｋ＝Ｎ－１，．．．，１、および、
Ｎ画像ピラミッド層に関して、Ｉｍｇ_ｋ（ｉ，ｊ）＝Ｕｐｓｃａｌｅ（Ｉｍｇ_ｋ＋１（ｉ，ｊ））＋Ｌ_ｋ（ｉ，ｊ）
によって実施される。

ここで、Ｌ_ｋ（ｉ，ｊ）は、ｋ画像ピラミッド層の画像ピラミッド層であり、ＵＰＳＣＡＬＥは、ｋ＋１画像ピラミッド層とｋ画像ピラミッド層との間の解像度適合関数であり、ＩＭＧ_ｋ（ｉ，ｊ）は、それぞれの中間層であり、ＩＭＧ_ｋ＝１は、最終画像である。ここで、ｉ，ｊは、画像内のそれぞれのピクセルの位置を説明している。

少なくともいくつかの実施形態において、トーンマッピングが中間層ＩＭＧ_ｋのうちの１つに適用される場合、トーンマッピングは、
Ｉｍｇ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（Ｉｍｇ_ｋ（ｉ，ｊ））
によって適用される。

トーンマッピングが画像ピラミッド層Ｌ_ｋ（ｉ，ｊ）のうちの１つに直接的に適用される場合、トーンマッピングは、Ｌ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（Ｌ_Ｋ（ｉ，ｊ））によって適用される。

少なくともいくつかの実施形態において、画像データは、ラプラシアンピラミッドに分解される。ここで、ラプラシアンピラミッドにおいて、好ましくは、ｋ＝１画像ピラミッド層は、初期画像データのラプラシアンフィルタリングされた低減させられた解像度を有する画像であり、次の画像ピラミッド層から最上層までは、それぞれの以前の層のラプラシアンフィルタリングされた低減させられた解像度を有する画像である。もちろん、異なるフィルタが、初期画像データをそれぞれの画像ピラミッドに分解するために用いられ得る。特に、異なるフィルタは、初期画像データと共同して、分解する間に用いられ得る。

少なくともいくつかの実施形態において、画像は、複数の画像ピラミッド層に分解され、ピラミッドにおける最上層（すなわち、ｋ＝Ｎ画像ピラミッド層）は、元の画像の低解像度表現である一方で、下の他の層はエッジ情報を担持している。いくつかの例は、ラプラシアンおよびウェブレット変換ベースのピラミッドである。

少なくともいくつかの実施形態において、トーンマッピング演算子は、輝度マニピュレーションとして実装される。

少なくともいくつかの実施形態において、輝度マニピュレーションは、ガンマ関数（例えば、ｏｕｔ＝ｉｎ^{Ｇａｍｍａ}によって与えられる）（ガンマ補正としても知られている）、または、コントラスト強化シグモイド関数（例えば、

（ｐは、所与の／予め設定されたパラメータである）によって与えられる）等の所定の関数によって与えられる関数関係のうちの１つとして実装される。ここで、「ｉｎ」は、それぞれの関数関係の入力ピクセルを説明しており、「ｏｕｔ」は、それぞれの関数関係の出力ピクセルを説明している。

少なくともいくつかの実施形態において、適用されるトーンマッピング演算子、特に、適用される輝度マニピュレーションは、高／低コントラストシーン、縦方向シーンまたは横方向シーン、室内シーン、光源、動いている物体等のシーンコンテンツの１つ以上のパラメータに依存して決定される。したがって、トーンマッピング演算子または輝度マニピュレーションは、最終画像の所望の結果を達成するために、ユーザの要求および／または所与の状況に細かく調整され得る。

少なくともいくつかの実施形態において、適用されるトーンマッピング演算子、特に適用される輝度マニピュレーションは、低／高ダイナミックレンジ、低／高ルクス、画像センサのトータルゲイン、画像センサのノイズ、輝度のヒストグラム、およびユーザの好み等の環境特性の１つ以上に依存して決定される。したがって、トーンマッピング演算子または輝度マニピュレーションは、最終画像の所望の結果を達成するために、ユーザおよび／または所与の状況の要求に細かく調整され得る。

少なくともいくつかの実施形態において、輝度マニピュレーションは、ルックアップテーブル（ＬＵＴ）として実装される。ここで、ルックアップテーブルは、関数関係として予め定義され得るか、または、シーンコンテンツ、環境特性、画像センサのトータルゲイン、画像センサのノイズ、輝度のヒストグラム、およびユーザの好みのうちの１つ以上に依存して生成され得る。したがって、ルックアップテーブルによる速成手法が、輝度マニピュレーションをそれぞれの中間層またはそれぞれの画像ピラミッド層に適用するために提供される。

少なくともいくつかの実施形態において、初期画像データと最終画像との間のトータルトーンマッピング、特にトータル輝度マニピュレーションが、１つ以上の中間層へのトーンマッピングの間で分配される。したがって、トータルトーンマッピング、特にトータル輝度マニピュレーションは、少なくとも２つの中間層の間で分配され得る。ここで、トータルトーンマッピング、特にトータル輝度マニピュレーションは、同一のトーンマッピング／輝度マニピュレーションが各中間層に適用されるように、均等に分配され得る。あるいは、少なくとも２つのトーンマッピングまたは輝度マニピュレーションは均等でなく、したがって、トータル輝度マニピュレーションは、最終画像の所望の結果を達成するために、さらなる要求を満たし、より高い自由度を提供するように均等でなく分配される。ここで、分配は、初期画像データの全体輝度等のシーンコンテンツにより決定され得る。少なくともいくつかの実施形態において、より明るい画像のために、輝度マニピュレーションは、均等に分配され得る一方で、暗い画像のために、輝度マニピュレーションは、異なる中間層の間で不均等に分配され得る。ここで、トータルトーンマッピングは、制御アルゴリズムによって分配され得、制御アルゴリズムは、画像のヒストグラム等の画像統計を介して画像のコンテンツを分析することもあるし、ＡＩベースの画像分類／分析を実施することもある。さらに、輝度マニピュレーションのために、層にわたってＬＵＴを分配するための能力を有することは、明るく修正するか、中くらいのトーンに修正するか、または影のあるように修正するかを決定するための能力を可能にするのみならず、画像分析に基づいてそれらおよび上述される特徴の局所性を制御することも可能にする。例えば、決定に基づく画像コンテンツ分析が、影のある小さな細部が抑制されるべきであるが、より大きい細部が強化されるべきことを示唆する場合、それは、提案される解決策によって可能である。

さらに、本開示の目的は、上で説明される方法のステップを実行するように構成されているイメージシグナルプロセッサ（ＩＳＰ）を提供することである。

さらに、本開示の目的は、端末デバイスを提供することであり、端末デバイスは、既に説明された方法のステップを実行するように構成されているＩＳＰと、画像センサとを備え、画像センサは、画像データを入手するようにＩＳＰに接続され、さらなる処理のためにＩＳＰに画像データを提供する。
本発明は、例えば以下を提供する。
（項目１）
画像処理方法であって、前記方法は、
画像センサから初期画像データを入手することと、
前記画像データを複数のＮ個の画像ピラミッド層に分解することと、
ｋ＝Ｎ画像ピラミッド層をｋ＝Ｎ－１画像ピラミッド層と共に折り畳み、中間層を創出することであって、ｋ＝Ｎ，．．．，１である、ことと、
前記中間層を次の画像ピラミッド層と共に折り畳み、新たな中間層を創出することと、最後の中間層をｋ＝１画像ピラミッド層と共に折り畳んで最終画像を生成するまで、このステップを繰り返すことと、
を含み、
トーンマッピング演算子が、前記中間層のうちの少なくとも１つに適用される、方法。
（項目２）
前記トーンマッピング演算子は、前記中間層の各々に適用され、および／または、前記トーンマッピング演算子は、前記複数のＮ個の画像ピラミッド層の各々に適用される、上記項目に記載の方法。
（項目３）
前記トーンマッピング演算子は、前記それぞれの中間層および／または前記それぞれの画像ピラミッド層のサブ領域に局所的に適用される、上記項目のいずれかに記載の方法。
（項目４）
前記トーンマッピング演算子は、前記全てのそれぞれの中間層に全体的に適用される、上記項目のいずれかに記載の方法。
（項目５）
前記トーンマッピング演算子は、前記最終画像および／または前記画像データおよび／またはｋ＝Ｎ画像ピラミッド層に適用される、上記項目のいずれかに記載の方法。
（項目６）
折り畳むことは、
ＩＭＧ_ｋ（ｉ，ｊ）＝ＵＰＳＣＡＬＥ（ＩＭＧ_ｋ＋１（ｉ，ｊ））＋Ｌ_ｋ（ｉ，ｊ）， （ｋ＝Ｎ－１，．．．，１）および、
Ｎ画像ピラミッド層に関して、ＩＭＧ_ｋ（ｉ，ｊ）＝Ｌ_ｋ（ｉ，ｊ）
によって実施され、Ｌ_ｋ（ｉ，ｊ）は、ｋ画像ピラミッド層の画像ピラミッド層であり、ＵＰＳＣＡＬＥは、ｋ＋１画像ピラミッド層とｋ画像ピラミッド層との間の解像度適合関数であり、ＩＭＧ_ｋ（ｉ，ｊ）は、前記それぞれの中間層であり、ＩＭＧ_ｋ＝１は、前記最終画像である、上記項目のいずれかに記載の方法。
（項目７）
前記トーンマッピング演算子は、
ＩＭＧ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（ＩＭＧ_ｋ（ｉ，ｊ））、および／または、
Ｌ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（Ｌ_Ｋ（ｉ，ｊ））
によって適用される、上記項目のいずれかに記載の方法。
（項目８）
前記画像データは、ラプラシアンピラミッドに分解され、ｋ＝１画像ピラミッド層は、前記画像データの低減させられた解像度を有するラプラシアンフィルタリングされた画像であり、前記次の画像ピラミッド層は、以前の画像ピラミッド層の低減させられた解像度を有するラプラシアンフィルタリングされた画像である、上記項目のいずれかに記載の方法。
（項目９）
前記トーンマッピング演算子は、輝度マニピュレーションとして実装される、上記項目のいずれかに記載の方法。
（項目１０）
前記輝度マニピュレーションは、関数関係、ガンマ関数、コントラスト強化シグモイド関数のうちの１つとして実装される、上記項目のいずれかに記載の方法。
（項目１１）
前記輝度マニピュレーションは、シーンコンテンツ、環境特性、前記画像センサのトータルゲイン、前記画像センサのノイズ、輝度のヒストグラム、およびユーザの好みのうちの１つ以上に依存して決定される、上記項目のいずれかに記載の方法。
（項目１２）
前記輝度マニピュレーションは、ルックアップテーブルとして実装される、上記項目のいずれかに記載の方法。
（項目１３）
前記画像データと前記最終画像との間のトータルトーンマッピングは、前記中間層のうちの２つ以上の前記トーンマッピング間で均等に分配される、上記項目のいずれかに記載の方法。
（項目１４）
上記項目のいずれかに記載の方法を実行するように構成されているイメージシグナルプロセッサ（ＩＳＰ）。
（項目１５）
上記項目のいずれかに記載のＩＳＰと、画像センサとを備えている端末デバイスであって、前記画像センサは、前記画像データを入手し、前記ＩＳＰに前記画像データを提供するために前記ＩＳＰに接続されている、端末デバイス。
（摘要）
画像処理方法、イメージシグナルプロセッサおよび端末デバイスが提供される。方法は：画像センサから初期画像データを入手することと；画像データを複数のＮ個の画像ピラミッド層に分解することと；ｋ＝Ｎ画像ピラミッド層をｋ＝Ｎ－１画像ピラミッド層と共に折り畳み、中間層を創出することであって、ｋ＝Ｎ，．．．，１である、ことと；中間層を次の画像ピラミッド層と共に折り畳み、新たな中間層を創出することと、最後の中間層をｋ＝１画像ピラミッド層と共に折り畳んで最終画像を生成するまでこのステップを繰り返すことと；を備え、トーンマッピング演算子が、中間層のうちの少なくとも１つに、および／または、複数の画像ピラミッド層（ｋ＝Ｎ－１，．．．，２）のうちの少なくとも１つに適用される。

（図面の簡単な説明）
本開示は、添付の図を参照してさらに説明される。

図１は、ピラミッドベースのトーンマッピングプロセスの例を例証している。

図２は、本開示による第１の実施形態を例証している。

図３は、本開示による第２の実施形態を例証している。

図４は、本開示によるルックアップテーブルの実証を例証している。

図５は、本開示による輝度マニピュレーションの分配を例証している。

図６Ａ－図６Ｃは、本開示による結果の比較を例証している。

図７は、図６Ａ～図６Ｃの比較の詳細な分析を例証している。

図８Ａ－図８Ｃは、本開示による最終画像の実施形態を例証している。

図９は、本開示のある実施形態によるデバイスを例証している。

（詳細な説明）
図１は、ピラミッドベースのトーンマッピングプロセスの例を示しており、その例は、好ましくは画像センサからの初期画像データである入力画像から始まるラプラシアンピラミッドベースのトーンマッピングプロセスとして実装され得る。この画像データは、複数のＮ個の画像ピラミッド層を有する画像ピラミッドに分解される。図１の与えられる例では、Ｎ＝４であり、ラプラシアンピラミッドベースの画像ピラミッドに関して、ラプラシアンフィルタが、ｋ＝１（すなわち、最下層）のために、入力画像の初期画像データに適用される。続いて、ラプラシアンフィルタが、次のｋ＝２画像ピラミッド層を生成するために、ダウンサンプリングステップと組み合わせて最下層に適用される。このステップは、ｋ＝Ｎの最も上のレベルが到達されるまでさらに実行される。ここで、数Ｎは、入力画像の解像度に依存し得るか、または、演算能力等の他のパラメータに依存して選択され得る。その後、ラプラシアン画像ピラミッドは、最も上のレベルから始まり、レベルごとに最も下のレベルまで折り畳まれ、折り畳むプロセス中、輝度マニピュレーションが、折り畳むプロセス中に生成される中間レベルに適用される。ラプラシアン画像ピラミッドの全ての層が折り畳まれると、向上したダイナミックレンジを備えている最終画像が生成され、影領域が明るくされ、比較的明るい領域内の暗い物体は、画像におけるコントラストの劣化なくそのまま残っている。

図２は、本開示の方法の概略的表現を示しており、方法は、好ましくは画像センサから初期画像データを入手する第１のステップＳ０１を有する。

ステップＳ０２において、初期画像データが、複数のＮ個の画像ピラミッド層に分解される。

ステップＳ０３において、第１のｋ＝Ｎ画像ピラミッド層が、ｋ＝Ｎ－１画像ピラミッド層と共に折り畳まれ、中間層を創出する。続いて、中間層は、ｋ＝Ｎ－２の次の画像ピラミッド層と共に折り畳まれ、新たな中間層を創出し、最後の中間層をｋ＝１画像ピラミッド層と共に折り畳むまで、このステップをｋ＝Ｎ，．．．，１について繰り返して、最終画像を生成し、トーンマッピング演算子が、中間層のうちの少なくとも１つに適用される。
ラプラシアンピラミッドの折り畳みは、
Ｉｍｇ_ｋ（ｉ，ｊ）＝Ｕｐｓｃａｌｅ（Ｉｍｇ_ｋ＋１（ｉ，ｊ））＋Ｌ_ｋ（ｉ，ｊ） （ｋ＝Ｎ－１，．．．，１）
Ｉｍｇ_ｋ（ｉ，ｊ）＝Ｌ_ｋ（ｉ，ｊ）（ここで、ｋ＝Ｎ（すなわち、最上層））
によって説明される。

ここで、Ｌ_ｋ（ｉ，ｊ）は、好ましくは、ｋ画像ピラミッド層のラプラシアン画像ピラミッド層であり、ＵＰＳＣＡＬＥは、ｋ＋１画像ピラミッド層とｋ画像ピラミッド層との間の解像度適合関数であり、ＩＭＧ_ｋ（ｋ＝Ｎ，．．．，１）は、それぞれの中間層であり、ＩＭＧ_ｋ＝１は、最終画像である。さらに、ｉ，ｊは、それぞれの画像のピクセルインデックスを示す。

画像ピラミッドの折り畳み中、あるレベルを折り畳み、その中間層を生成した後、次のレベルとの折り畳みが続けられる前に、中間レベルのトーンマッピングが適用される。この追加のステップは、
Ｉｍｇ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（Ｉｍｇ_ｋ（ｉ，ｊ））
によって提供される。

ここで、トーンマッピング演算子は、中間層のうちの１つにのみ適用され得る。少なくともいくつかの実施形態において、トーンマッピング演算子は、複数の中間層に、好ましくは中間層の各々に適用される。この場合、以前の中間層との画像ピラミッド層の折り畳みの前、トーンマッピング演算子が、中間層に適用される。この状況が、図３に概略的に描写されており、ステップＳ０３１において、ｋ＝Ｎ画像ピラミッド層が、ｋ＝Ｎ－１画像ピラミッド層と共に折り畳まれ、中間層を創出する。ステップＳ０３２において、第１のトーンマッピング演算子が、中間層に適用される。その後、操作された中間層が、ステップＳ０３３においてｋ＝Ｎ－２画像ピラミッド層と共に折り畳まれ、新たな中間層を創出する。ステップＳ０３４において、さらなるトーンマッピング演算子が、次の画像層と共に新たな中間層を折り畳む前、新たな中間層に適用される。これらのステップは、最終画像であるｋ＝１の最下層が到達されるまで繰り返される。したがって、以前の中間層をそれぞれのピラミッド画像層と共に折り畳むことによって新たな中間層を創出する各ステップの後、トーンマッピング演算子がこの中間層に適用される。

ここで、トーンマッピング演算子は、輝度マニピュレーションとして実装され得る。輝度マニピュレーションは、関数関係、ガンマ関数（ガンマ補正としても知られている）、またはコントラスト強化シグモイド関数のうちの１つとして提供され得る。

少なくともいくつかの実施形態において、輝度マニピュレーションは、ルックアップテーブル（ＬＵＴ）として提供される。

図４に描写されているように、輝度マニピュレーションは、輝度制御によって提供され得、輝度制御は、各層のために個々に適用されるべきＬＵＴを生成するように構成されている。ここで、輝度制御は、ユーザの好みまたはアプリケーションの手動制御、チューニング／構成パラメータのみならず、ルクス、ゲイン、露光情報、ヒストグラム等のフレーム情報を考慮し得る。一緒にしたこの情報から、輝度制御は、個々の層に適用されるＬＵＴを生成する。しかしながら、本開示は、特定のＬＵＴまたは輝度マニピュレーションに限定されない。

所望される結果を達成するために画像に適用される全体またはトータル輝度マニピュレーションは、異なる層の間で分配され得る。これは、図５に示されている。図５の最も上に、画像に適用されるべきトータル輝度マニピュレーションが例として描写されている。異なるＬＵＴが、上で説明されるように実装され得る。このトータル輝度マニピュレーションは、１つ以上の中間層の輝度マニピュレーションの間で分配される。ここで、トータル輝度マニピュレーションは、異なる層の間で均一に分配され得る。あるいは、トータル輝度マニピュレーションは、異なる中間層に異なるように適用され得る。この場合、異なる層のためのＬＵＴは、異なっている。

図６Ａは、本開示による方法の例を示しており、方法は、中間層間で分配された輝度マニピュレーションを用いて、左から右へ徐々に影領域を強化し、輝度マニピュレーションは、画像ピラミッド折り畳み中に適用される。ここで、画像のコントラストが保存され、影領域のみが明るくされ、それによって、ダイナミックレンジを高め、ユーザが満足する現実のシーンの表現を提供する。

比較として、図６Ｂは、ラプラシアンピラミッドの最上層のみに適用される輝度マニピュレーションを用いた影領域の強化を左から右への段階的に示しており、それは、輝度の不均一な分配およびアーチファクト（すなわち、露光不足領域）をもたらす。同様に、図６Ｃは、完全なピラミッド折り畳み後の最終画像にのみ輝度マニピュレーションを用いた影領域の強化を左から右へ段階的に示しており、それは、画像のダイナミックレンジを高めることなく画像を明るくする。

図７Ａは、図６Ａの中央の画像（中位の明るさ）と右の画像（最も明るい）との間のレシオ画像を示している。ここで、グレー領域は、暗いピクセルを有する元の画像と比較して大きな差異を有するピクセルが僅かに影響を受けていることを示している。同様に、図７Ｂは、図６Ｂの中央の画像（中位の明るさ）と右の画像（最も明るい）との間のレシオ画像を示しており、図７Ｃは、図６Ｃの中央の画像（中位の明るさ）と右の画像（最も明るい）との間のレシオ画像を示している。この比較から理解され得るように、本開示による方法では、折り畳む間、中間層に輝度マニピュレーションを適用することによって、明るい領域／影領域がよく切り離され、したがって、輝度マニピュレーションは、暗い領域のみに影響を及ぼし、一方で、より明るい領域は変化させられずに残っており、それによって、コントラストを保存する。図７Ａに示されるように、本開示は、他の代替物（それぞれ、図６Ｂ、図６Ｃ、および図７Ｂ、図７Ｃに示される）より優れている。図７Ｂおよび図７Ｃにおいて視認可能であるように、露光不足領域が見られ、コントラストが喪失している。図８Ａ、図８Ｂおよび図８Ｃは、それぞれ、図６Ａ、図６Ｂおよび図６Ｃに関して説明される方法による最終画像を示している。図８Ａは、コントラストの喪失のない高いダイナミックレンジを有し、画像内の細部の喪失または露光不足領域のない均等に分配された輝度を有する本開示の結果を示している。図８Ｂおよび図８Ｃは、暗い後光またはコントラストの悪化を被っている一方で、図８Ａに示されている本開示の方法は、アーチファクトもコントラストの喪失もなく輝度を操作することが可能である。

ここで、図９を参照すると、図９は、上で説明される方法を実装するデバイス１０を示している。少なくともいくつかの実施形態において、上で言及される方法は、イメージシグナルプロセッサ（ＩＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、汎用プロセッサまたはグラフィカルプロセッサ等のプロセッサ１２において実装される。さらに、方法は、ハードウェア実装またはソフトウェア実装され得る。少なくともいくつかの実施形態において、プロセッサ１０は、画像センサ１４に接続されている。画像センサ１４は、ＣＣＤセンサまたはカメラであり得る。画像センサ１４によって、初期画像データが入手され得る。画像センサ１４からのこの初期画像データは、プロセッサ１２に伝送され、本開示によって処理される。少なくともいくつかの実施形態において、プロセッサは、最終画像を表示するためのディスプレイ１６にさらに接続されている。

デバイス１０は、デジタルカメラ、スマートフォン、タブレット、ラップトップ、またはコンピュータ等の任意の種類の端末によって実装され得る。さらに、図９において、画像センサ１４、プロセッサ１２およびディスプレイ１６が１つのデバイス１０として実装されるように示されているが、個々のモジュールが、複数のデバイスとして実装され得る。したがって、画像センサ１４は、例えば写真を撮影するためのスマートフォンとして実装され得る。そして、画像センサ１４によって入手された初期画像データは、通信接続によってサーバまたは任意の他の演算デバイスに伝送され得る。サーバまたは他の演算デバイスは、本開示による方法を実行するためのプロセッサ１２を備え得る。そして、最終画像が、最終画像を表示するためのディスプレイ１６を備えているスマートフォン、タブレット、または任意の他のデバイスに伝送され得る。ここで、サーバまたは他の演算デバイスからの最終画像は、初期画像データを入手した同じデバイス、または別のデバイスに伝送され得る。少なくともいくつかの実施形態において、最終画像は、好ましくはクラウトストレージまたは任意の他のストレージデバイスに記憶され、その後、要求に応じて最終画像を表示するためのディスプレイデバイスに送達され得る。

Claims (14)

1. 画像処理方法であって、前記方法は、
   画像センサから初期画像データを入手することと、
   前記画像データを複数のＮ個の画像ピラミッド層に分解することと、
   ｋ＝Ｎ画像ピラミッド層をｋ＝Ｎ－１画像ピラミッド層と共に折り畳み、中間層を創出することであって、ｋ＝Ｎ，．．．，１である、ことと、
   前記中間層を次の画像ピラミッド層と共に折り畳み、新たな中間層を創出することと、最後の中間層をｋ＝１画像ピラミッド層と共に折り畳んで最終画像を生成するまで、このステップを繰り返すことと、
   を含み、
   トーンマッピング演算子が、前記中間層のうちの少なくとも１つに適用され、
   折り畳むことは、
   ＩＭＧ _ｋ （ｉ，ｊ）＝ＵＰＳＣＡＬＥ（ＩＭＧ _ｋ＋１ （ｉ，ｊ））＋Ｌ _ｋ （ｉ，ｊ），
   （ｋ＝Ｎ－１，．．．，１）および、
   Ｎ画像ピラミッド層に関して、ＩＭＧ _ｋ （ｉ，ｊ）＝Ｌ _ｋ （ｉ，ｊ）
   によって実施され、Ｌ _ｋ （ｉ，ｊ）は、ｋ画像ピラミッド層の画像ピラミッド層であり、ＵＰＳＣＡＬＥは、ｋ＋１画像ピラミッド層とｋ画像ピラミッド層との間の解像度適合関数であり、ＩＭＧ _ｋ （ｉ，ｊ）は、前記それぞれの中間層であり、ＩＭＧ _ｋ＝１ は、前記最終画像である、
   方法。
2. 前記トーンマッピング演算子は、前記中間層の各々に適用されるか、または、前記中間層の各々および前記複数のＮ個の画像ピラミッド層の各々に適用される、請求項１に記載の方法。
3. 前記トーンマッピング演算子は、前記それぞれの中間層のサブ領域に局所的に適用されるか、または、前記それぞれの中間層のサブ領域および前記それぞれの画像ピラミッド層のサブ領域に局所的に適用される、請求項１または２に記載の方法。
4. 前記トーンマッピング演算子は、前記全てのそれぞれの中間層に全体的に適用される、請求項１に記載の方法。
5. 前記トーンマッピング演算子は、前記最終画像および／または前記画像データおよび／またはｋ＝Ｎ画像ピラミッド層にさらに適用される、請求項１～４のうちのいずれか一項に記載の方法。
6. 前記トーンマッピング演算子は、
   ＩＭＧ _ｋ （ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（ＩＭＧ _ｋ （ｉ，ｊ））
   によって適用されるか、または、前記トーンマッピング演算子は、
   ＩＭＧ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（ＩＭＧ_ｋ（ｉ，ｊ））および
   Ｌ_ｋ（ｉ，ｊ）＝ＴｏｎｅＭａｐｐｉｎｇ（Ｌ_Ｋ（ｉ，ｊ））
   によって適用される、請求項１～５のうちのいずれか一項に記載の方法。
7. 前記画像データは、ラプラシアンピラミッドに分解され、ｋ＝１画像ピラミッド層は、前記画像データの低減させられた解像度を有するラプラシアンフィルタリングされた画像であり、前記次の画像ピラミッド層は、以前の画像ピラミッド層の低減させられた解像度を有するラプラシアンフィルタリングされた画像である、請求項１～６のうちのいずれか一項に記載の方法。
8. 前記トーンマッピング演算子は、輝度マニピュレーションとして実装される、請求項１～７のうちのいずれか一項に記載の方法。
9. 前記輝度マニピュレーションは、関数関係、ガンマ関数、コントラスト強化シグモイド関数のうちの１つとして実装される、請求項８に記載の方法。
10. 前記輝度マニピュレーションは、シーンコンテンツ、環境特性、前記画像センサのトータルゲイン、前記画像センサのノイズ、輝度のヒストグラム、およびユーザの好みのうちの１つ以上のパラメータに依存して決定される、請求項８または９に記載の方法。
11. 前記輝度マニピュレーションは、ルックアップテーブルとして実装される、請求項８～１０のうちのいずれか一項に記載の方法。
12. 前記画像データと前記最終画像との間のトータルトーンマッピングは、前記中間層のうちの２つ以上の前記トーンマッピング間で均等に分配される、請求項１～１１のうちのいずれか一項に記載の方法。
13. 請求項１～１２のうちのいずれか一項に記載の方法を実行するように構成されているイメージシグナルプロセッサ（ＩＳＰ）。
14. 請求項１３に記載のＩＳＰと、画像センサとを備えている端末デバイスであって、前記画像センサは、前記画像データを入手し、前記ＩＳＰに前記画像データを提供するために前記ＩＳＰに接続されている、端末デバイス。

Images