JPH11505357A - ピクセルレベルの明度調整のための装置および方法 - Google Patents

Abstract

(57)【要約】 高解像度画像のピクセルの輝度ＩＭ_HIを調整するための方法は，８×８ブロックのようなスーパーピクセルにピクセルをグループ分けすることにより原主題の低解像度画像を形成する。低解像度輝度補正値δ_LOが，スーパーピクセルの輝度をあらかじめ定められた暗しきい値Ｔ_Dと予め定められた明しきい値Ｔ_Bの双方と比較することにより各スーパーピクセルに対して決定される。前記低解像度輝度補正値δ_LOを修正して，スーパーピクセルのアイラインドの形成と各アイランド中のスーパーピクセル間でδ_LOを円滑にすることにより各スーパーピクセルに対してδ’_LOを生成する。最終的に，高解像輝度補正値δ_LOが，δ_HIがピクセル輝度ＩＭ_HIと低解像度輝度補正値δ_LOの双方の函数として一連の数学的コンピュータ処理により生成されるようにしながら，輝度ＩＭ_HIをＴ_DとＴ_Bの双方に比較することにより原主題の高解像画像のピクセルに対して計算される。原画像の各ピクセルは対応する高解像度輝度補正値δ_HIにより調整され，輝度調整画像が再現される。

Description

【発明の詳細な説明】 ピクセルレベルの明度調整のための装置および方法 発明の分野 本発明は，一般的に写真画像の質を増大させるための方法と装置に関するもの であり，より詳しくは，ピクセルレベルの明度調整によりデジタル画像を向上す ることに関するものである。 発明の背景 画像を得ようとするものは誰でも，原主題もしくは情景，あるいは原主題もし くは情景の少なくとも最も重要であると考えられる状態を忠実に再現する永久記 録を持ちたいと考える。再現の質はハードコピーを原情景と視覚的に比較するこ とにより判定される。この判定をするにあたって，観察者はハードコピーの様々 な点の明るさを原情景の対応する点の明るさと部分的に比較し，そして再現性の 質について主観的意見を形づくる。題材の正確なトーンの再現は，ハードコピー の各点の明るさが原情景の対応する点の明るさのトーンに等しいことを必要とす る。しかし，技術に熟知した者が良く知るように，題材の正確なトーンの再現を 達成するのは非常に困難なことであり，容易なことでない。というのは，プリン タからのハードコピー媒体，および他の装置（電子カメラ，スキャナー，モニタ ー等のような）からのメディアは概して原画が作られた明るさレベル以下の明る さレベルで観測されるからである。即ち，原写真は通常，原情景のそれの約１／ １００以下である。また，大部分のハードコピーもしくは電子メディアは，通常 自然に存在するトーンの範囲を捉える性能に限界がある。それにもかかわらず， 媒質上で感知できる画像の明るさが原情報の明るさに類似して現れるなら，主題 のトーンの満足な再現が部分的には得られる。 先の条件が満足されることを保証することは，部分的に，情景の輝度範囲を媒 質のトーンスケールに正確にマッチングさせること，強調されるべき特定の情景 の性質，全体的な情景の照明条件，および媒質再現特性を考慮に入れること。情 景の輝度範囲を媒質のトーンスケールに合わせる問題はジェームス・アール・ロ イアック（Ｊａｍｅｓ Ｒ．Ｂｏｙａｃｋ）及びアンドリュー．ケー．ジエンガ ー（Ａｎｄｒｅｗ Ｋ．Ｊｕｅｎｇｅｒ）により１９９５年３月３１日に出願さ れた米国特許出願第０８／４１４，７５０号の情景解析方法で述べられている。 特に，画像がブロックに分割され，そしてある複数のブロックは区画に結合され る。平均輝度ブロック値は各ブロックに対して決定され，そして各区画について ，最大および最小平均輝度ブロック値の間の差が決定される。もし，差が予め定 められたしきい値を越えるなら，その区画はアクティブ区画と呼ばれ，平均輝度 区画値が最大および最小平均輝度ブロック値から求められる。画像の全てのアク ティブ区画は平均輝度区画値に対してヒストグラムにプロットされ，それから， ヒストグラムは，対象の平均輝度区画値が目的のアプリケーションのトーン再現 性能に対応する目的のウィンドーの中に落ちるようにある決められた規範により シフトされる。情景解析の結果は大きいスケールの輝度調整により画像の明るさ の全体的バランスをとることができる。 典型的な静止画像のある領域は，情景解析に従う輝度調整を必要とする。これ らの調整はディテールのロスおよび続く画像品質の低下を防ぐために画像におい て対象の特徴的な領域をハイライトして強調する。例えば，明領域に近接して大 きく濃淡を付けられた領域をもつ情景は，暗もしくは明領域の一方もしくは双方 の画像品質の低下なしに現像もしくは表示することが困難である。このタイプの 輝度調整は，１９９３年８月１０日にミユニイ・ウオーバ（Ｍｕｎｉｂ Ｗｏｂ ｅｒ）に発行された米国特許第５，２３５，４３４号に記載されている。 その米国特許第５，２３５，４３４号の方法は画像補償ステージに関する第１ のパスを含み，画像は複数のピクセル群に分割され，各群はスーパーピクセルと 称される。各スーパーピクセルは個々に処理され，全てが予め定められた暗もし くは明しきい値を越えるものの集りであるスーパーピクセルの大きいグループ（ 例えば領域）の部分であるかどうかが決められる。各スーパーピクセルは，与え られたスーパーピクセルの中にある全てのピクセルに対するＳＩＺＥ値とＡＶＥ ＲＡＧＥ輝度値が与えられる。 画像補償ステージの第２パスにおいて，スーパーピクセルの各領域に対する輝 度調整量は，対応するＳＩＺＥとＡＶＥＲＡＧＥ値の双方に関係して決定される 。 小および中間領域に対して，スーパーピクセルの境界に沿って人工物の発生する のを防ぐために円滑函数が適用される。 さらに，輝度調整は，ピクセルレベルにおいてもときに必要である。かくして ，本発明は，大きい領域の輝度平均に依存しないデジタル画像のピクセルレベル 輝度調整に対する改良された装置および方法に向けられる。これと他の目的は， 以下の記載，図面および特許請求の範囲から見て明らかになる。 発明の要約 高解像度画像におけるピクセルの輝度ＩＭ_HIを調整するための方法は，８×８ ブロックのようなスーパーピクセルにピクセルをグループ分けすることにより原 情景の低解像度画像をまず形成する。低解像度輝度補正値δ_LOは，予め定められ た暗しきい値Ｔ_Dおよびあらかじめ定められた明しきい値Ｔ_Bの双方にスーパーピ クセルの輝度を比較することにより各スーパーピクセルに対して決定される。低 解像度ルミネッセンス補正値δ_LOはスーパーピクセルのアイランドを形成し，そ して各アイランド中のスーパーピクセル間でδ_LOを円滑化することによりスーパ ーピクセルに対してδ’_LOを生成するように修正される。最終的に，原高解像度 画像の各ピクセルについて、高解像度輝度補正値δ_HIが各ピクセルの輝度ＩＭ_HI をＴ_D，Ｔ_Bの両者と比較することにより得られる。ここで、δ_HIはピクセル輝度 ＩＭ_HIと低解像度輝度補正値δ_LOとの関数として、一連の数学的演算により得ら れることを銘記すべきである。原画像の各ピクセルは、対応する高解像度輝度補 正値δ_HIにより調整され、それにより輝度調整された画像が生成される。 図面の簡単な説明 第１図は，本発明に従うピクセルレベル輝度調整のための装置を含む情景のデ ジタル画像データを圧縮するためのシステムのブロック図である。 第２図は，ピクセルレベル輝度調整のための本発明の方法のブロック図である 。 第３図は，ある与えられた暗しきい値Ｔ_Dより低い輝度値をもつスーパーピク セルを明るくするための第２図の方法のブロック１００の部分のフロー図である 。 第４図は，ある与えられた明しきい値Ｔ_Bより高い輝度値をもつスーパーピク セルを暗くするための第２図の方法のブロック１００の部分のフロー図である。 第５Ａ図〜第５Ｅ図は，１から５のＳＩＺＥ（ｉ，ｊ）値に対応する異なる大 きさのスーパーピクセルを示す。 第６図は第２図の方法のブロック２００のフロー図である。 第７Ａ図は画像のＳＩＺＥＩ値（ｉ，ｊ）を示す図である。 第７Ｂ図は画像のＤＯＭＡＩＮ値（ｉ，ｊ）を示す図である。 第８図は第２図の方法のブロック３００のフロー図である。 第９図は，高解像度ピクセル輝度ＩＭ_HI（ｍ，ｎ）が暗しきい値Ｔ_Dより大き くかつ明しきい値Ｔ_Bより小さい時に生じるブロック３３０の中のステップのフ ロー図である。 第１０図は，高解像度ピクセルに対してＡＶＧ_BとＡＶＧ_Dのレベルをセットす るためのブロック３６０の中のステップのフロー図である。 第１１図は，ピクセルの輝度ＩＭ_HI（ｍ，ｎ）が暗しきい値Ｔ_Dより小さい時 に高解像度ピクセルを明るくするためのブロック３４０の中のステップのフロー 図である。 第１２図は，ピクセルの輝度ＩＭ_HI（ｍ，ｎ）が明しきい値Ｔ_Bより大きい時 に高解像度ピクセルを暗くするためのブロック３４０の中のステップのフロー図 である。 望ましい実施例の詳細な説明 １．ピクセルレベル輝度調整のシステム 第１図は，画像１２をとりこみし，後で表示するためにその画像を圧縮し記憶 して，その記憶された画像を復号して，原画像表示するシステム１０の望ましい １実施例である。図において，画像１２は図示のように周囲光（矢印１６）によ り照明されて地面に影を映す木１４を含む。対象２０は影１８の中にある。図示 の画像１２は大きいダイナミックレンジをもつ。対象２０は部分的にもしくは完 全に影１８の中にあって，もし本発明がなければ，いくつかの情報は通常失われ る。対象２０は明領域（図示せず）にあっても良く，そして発明の原理は，後に 説明されるように対象を可視にするのにも同様に適用できることが理解されるで あろう。 画像１２はＣＣＤカメラ２２のような入力装置によりとりこまれる，そして画 像処理装置もしくは圧縮段階２４により処理される。カメラ２２はデジタル画像 信号を生成する圧縮段階２４のアナログ−デジタルコンバータ２６に直接接続さ れる。記憶装置２８はデータを受信して記憶し，そして中央処理装置３０は画像 信号を記憶装置２８にクロックし，かつ他の装置の動作を制御する。 記憶画像データはデジタル情報を一連の係数に変換するＤＣＴ３２離散コサイ ン変換器に供給される。変換されたデータは，それ以後，良い画像品質に比較的 重要でないと考えられるある種の高周波係数を除去する視感度マトリックスフィ ルタ３４に結合される。例えば，人の目にすぐに感じられないような，高周波カ ラー情報がフィルターで取り除かれて，情報が後の処理のために単純化される。 変換されてフィルターされたデジタルデータは，その後，離散的な有効レベルの ある与えられた範囲にデジタルデータの選択されたレベルを収める量子化装置３ ６で量子化される。量子化データは，それから公知の符号化技術により量子化デ ータを圧縮するハフマンコード化装置により符号化される。もし必要なら，ハフ マンコード化装置以外の符号化アルゴリスムが使用できることが理解されるべき である。符号化された情報は，それからスタティックＲＡＭ（ＳＲＡＭ）４０の ような記憶装置に記憶される。 もし，望まれるなら，後の時点で，ＳＲＡＭ４０の情報は，適当な伝送路４３ により画像処理装置もしくは伸張段階４２に与えられる。ここに，ハフマン復合 化装置４４は逆量子化装置４６に結合されるデータを復合する。本発明に従って ，記憶装置４８に記憶されるデータは，画像補償段階５０に結合される。画像補 償段階５０は電気的に影１８の中にある画像１２の各ピクセルの明るさを選択的 に調整するように本発明の方法に従ったデータを処理し，それにより画像を増強 し，失われた情報を取り戻す。補償されたデータは逆ＤＣＴ手段５２によりデジ タルデータに変換される。デジタルデータは，表示装置５６に結合されるデジタ ル−アナログコンバータ５４によりアナログ信号に変換される。原画像１２の修 正された画像は，増強されて表示装置５４において，木１６’および影１８’と 共に，増強され明瞭に見える対象２０’を含む画像１２’として再生される。圧 縮段階４２のＣＰＵ５８は図示のように各種装置を制御し，後述の如くデータを 処理する。 第１図に図示される全システム１０は，計算量を減らして画像１２を選択的に 調整する処理をスピードアップするように設計された処理技術を使用する。画像 圧縮段階５０において，各ブロックのピクセルは，ＤＣＴ３２により変換されて 一連の係数の形態の情報となる。本発明で使用される技術に従えば，ＤＣＴ領域 の各ブロックのピクセルの第１係数は，ＤＣ（直流）値として表わされ，ピクセ ルの近似的明るさレベルを表わす。データが伸張されるとき，同様のフォーマッ トに記憶される。もし，ＤＣ値が暗しきい値Ｔ_Dと明しきい値Ｔ_Bとにより定義さ れるような明るさの許容レベル内にあるなら，そのブロックのピクセルの輝度レ ベルは修正されない。ある条件下で，もし，ＤＣ値が明レベルの許容範囲外にあ るなら，ピクセルは輝度情報を引き出すように修正される。本発明に従えば，記 憶装置４８に記憶されているピクセルの各ブロックに対してＤＣＴ領域において ＤＣ値（すなわち，輝度値）をδ_LOだけ修正もしくは選択的に変更するアルゴリ スムもしくは処理が使用される。 画像補償段階５０は，圧縮段階２４において，視感度マトリックスフィルタ３ ４と量子化装置３６との間もしくは直接にＡ／Ｄコンバータ２６の後に接続して も有効に使用できることを理解するべきである。これは，特に，画像圧縮能力を 持たない複数の受信器にＴＶ画像のような修正された画像を形成して送信するこ とが望まれるような場合に有効である。 修正された画像は伸張段階４２においてさらに画像調整を必要とすることなく 簡単に伸張される。 ２．ピクセルレベル輝度調整の方法 本発明のピクセルレベル輝度調整方法は，第２図に示されるように３つの部分 から構成されると考えられる。第１の部分１００は，パラメータＳＩＺＥ（ｉ， ｊ）とδ_LOを決定する。ＳＩＺＥ（ｉ，ｊ）は輝度Ｓ０（ｉ，ｊ）を持つ特定の スーパーピクセルをテストするのに使用されるスーパーピクセルの領域のサイズ を決定する整数値であり，それは必要な輝度調整量を評価するのに考慮される。 スーパーピクセルの低解像度輝度値ＩＭ_LO（ｉ，ｊ）とスーパーピクセルの低解 像度輝度補正値δ_LOはそれぞれ米国特許第５，２３５，４３４号で計算される値 Ｓ０（ｉ，ｊ）とＡＶＥＲＡＧＥ（ｉ，ｊ）に等しい。低解像度輝度補正値δ_LO は，各スーパーピクセルについて計算され，そのスーパーピクセル内の各低解像 度ピクセルに適用される。本発明の輝度調整方法の第２の部分は，輝度調整を必 要とするピクセルのアイランドを生成し，生成されたアイランドに基づいて修正 された低解像度輝度補正値δ’_LOを決定する。本発明の輝度調整方法の第３の部 分は，高解像度輝度補正値δ_HIを計算し，高解像度画像ＩＭ_HIの各ピクセルに対 する輝度値にそれを加算して高解像度輝度調整された画像ＩＭ’_HIを生成する。 第１部分，ブロック１００の詳細ステップは，スーパーピクセル輝度Ｓ０（ｉ ，ｊ）と暗しきい値Ｔ_Dと比較することによりＳ１（ｉ，ｊ）を決定するための 第３図に示され３ステップと，スーパーピクセル輝度Ｓ０（ｉ，ｊ）と明しきい 値Ｔ_Bを比較することによりＳ１（ｉ，ｊ）を決定するための第４図に示される ステップを含む。いいかえると，低解像度画像ＩＭ_LOのＳ０（ｉ，ｊ）は，スー パーピクセルが暗すぎて明るくすることが必要とされるかどうかをテストする第 ３図のステップと，スーパーピクセルが明るすぎて暗くする必要があるかどうか をテストする第４図のステップとの両者を通じてテストする必要がある。 方程式(1)は，対象とするスーパーピクセルの輝度レベルが許容可能な範囲に あるかどうかを決定するのに有効である。Ｓ０（ｉ，ｊ）は，Ｘ行，とＹ列を含 む低解像度画像のｉ行，ｊ列に，（０≦ｉ＜Ｘ，０≦ｊ＜Ｙｉ，ｊ，ＸおよびＹ は整数）の対象スーパーピクセルの輝度として定義される。方程式(1)において 定義されようにＳ１（ｉ，ｊ）は，スーパーピクセルの輝度Ｓ０（ｉ，ｊ）があ る決められた輝度しきい値より大きいか，等しいか，小さいかどうかの指標であ る。 方程式(1)で有用な第１のしきい値は，ある与えられたスーパーピクセルに対 して許容可能な最小輝度として定義される暗しきい値Ｔ_Dである。方程式(1)の他 の有用なしきい値は，ある与えられたスーパーピクセルに対して許容できる最大 輝度として定義される明しきい値Ｔ_Bである。任意のスーパーピクセルの輝度値 が暗しきい値Ｔ_D以下である時，そのスーパーピクセルの輝度は暗しきい値Ｔ_Dの 方向に向かって引き上げられる。同様に，任意のスーパーピクセルの輝度値が明 しきい値Ｔ_Bより大きい時，スーパーピクセルの輝度値は明しきい値Ｔ_B に向かって引き下げられる。値Ｓ１（ｉ，ｊ）は負，正もしくは０として定義さ れる。もし，輝度Ｓ０（ｉ，ｊ）が暗しきい値Ｔ_Dに比較され，その時，Ｓ１（ ｉ，ｊ）の正の値はスーパーピクセルの輝度が暗しきい値Ｔ_D以下であり，Ｓ０ （ｉ，ｊ）は引き上げられなければならないことを意味する。もし，輝度Ｓ０（ ｉ，ｊ）が明しきい値Ｔ_Bに比較され，その時，Ｓ１（ｉ，ｊ）の負の値はスー パーピクセルの輝度が明しきい値Ｔ_Bより上にあり，Ｓ０（ｉ，ｊ）を引き下げ ねばならないことを意味する。 第２図のブロック１００は第１に，第３図のステップに従って対象のスーパー ピクセルを明るくすることを必要とするかどうかを決定する。もし，Ｓ１（ｉ， ｊ）がゼロより小さいか，あるいは等しければ，その時，スーパーピクセルの輝 度Ｓ０（ｉ，ｊ）は，ある定められた暗しきい値Ｔ_Dより大きいか，あるいは等 しく，そのスーパーピクセルに対してルミネッセンス調整は必要でない。低解像 度輝度補正値δ_LOとＳＩＺＥ（ｉ，ｊ）はともにブロック１３２においてゼロに 等しくセットされる。しかし，もしＳ１（ｉ，ｊ）がブロック１２０においてゼ ロより大きければ，その時輝度Ｓ０（ｉ，ｊ）は暗しきい値Ｔ_Dより低く，スー パーピクセルは明るくしなければならない。この時点で，どの程度の明るさが必 要であるかを決定する必要である。これは，そのスーパーピクセルの回りの領域 を大きくする，すなわち，対象のスーパーピクセルを囲むピクセルの検索の半径 を大きくして，ブロック１２２，１２４，１２６，１２８において、回りの低解 像度ピクセルの各々を暗しきい値Ｔ_Dについて個々にテストすることによりなさ れる。スーパーピクセルに対する平均低解像度輝度補正値δ_LOは，ブロック１３ ４，１３６，１３８，１４０において，回りの全ての低解像度ピクセルの輝度を 平均することによって決められる。 ブロック１２２は，第５Ｂ図に示されるように３×３グループの全低解像度ピ クセルに対してゼロより大きいかどうかを確かめる。もし，ブロック１２２にお いて第５Ｂ図の低解像度ピクセルについて一つでも否であれば，ブロック１３４ において，ＳＩＺＥ（ｉ，ｊ）は１に等しくセットされ，低解像度輝度補正値δ_LO はＳ１（ｉ，ｊ）に等しくセットされる。もしブロック１２２において第５Ｂ 図の全低解像度ピクセルについて真であれば，ブロック１２４において，回り の低解像度ピクセルの大きいグループについてテストされる。もし，ブロック１ ２４において第５Ｃ図のピクセルについて一つでも否であれば，その時ブロック １３６においてＳＩＺＥ（ｉ，ｊ）を２に等しくセットし，そして低解像度輝度 補正値δ_LOは方程式(2)に従って３×３領域内で全低解像度ピクセルの値の１／ ９に等しい値にセットする。 もし，ブロック１２４において第５Ｃ図の全ピクセルに対して真であれば，ブ ロック１２６においてさらに大きい回りの低解像度ピクセルのグループについて テストする。もし，ブロック１２６において，第５Ｄ図の低解像度ピクセルにつ いて１つでも否であれば，ブロック１３８においてＳＩＺＥ（ｉ，ｊ）を３に等 しくセットし，低解像度輝度補正値δ_LOは方程式(3)に従って５×５領域の全低 解像度ピクセルの平均値に等しい値にセットされる。 もし，ブロック１２６において，第５Ｄ図の全ピクセルに対して真であれば， ブロック１２８において，更に大きい回りの低解像度ピクセルのグループについ てテストする。もし，ブロック１２８において，第５Ｅ図の低解像度ピクセルの １つでも否であれば，ブロック１４０においてＳＩＺＥ（ｉ，ｊ）を４に等しく セットし，低解像度輝度補正値δ_LOは方程式(4)に従って，７×７の領域の全低 解像度ピクセルの平均値に等しい値にセットされる。 もし，ブロック１２８において第５Ｅ図の全低解像度ピクセルについて真であ れば，ブロック１３０においてはＳＩＺＥ（ｉ，ｊ）を５に等しくセットし，そ して，方程式(5)に示される９×９の全低解像度ピクセルの平均値に等しい値に 低解像輝度補正値δ_LOをセットする。 ブロック１３２，１３４，１３６，１３８および１４０の出力は，方程式(6) で与えられるような円滑化函数を生成するブロック１４２に供給される。 輝度Ｓ０（ｉ，ｊ）は，次の式で与えられるように円滑化函数に従って調整さ れる。 Ｓ０（ｉ，ｊ）＝Ｓ０（ｉ，ｊ）＋｛ＳＭＯＯＴＨ（ｋ）^*δ_LO（ｉ，ｊ）｝ スーパーピクセルが暗すぎ，そして，明るくされる必要があるかどうかが決定 され（第３図に対応して上記で説明したように）ると，その次に，スーパーピク セルが明るすぎて暗くする必要があるかどうかを決定しなければならない。これ は，第４図のフロー図に従ってなされる。ブロック１５０において，もしＳ１（ ｉ，ｊ）がゼロより大きいか等しければ，その時スーパーピクセル輝度Ｓ０（ｉ ，ｊ）はある定められた明るさのしきい値Ｔ_Bより大きいか等しく，輝度調整は そのスーパーピクセルに対して必要でない。低解像度輝度補正δ_LOとＳＩＺＥ（ ｉ，ｊ）はともにブロック１６２においてゼロに等しい。しかし，もし，Ｓ１（ ｉ，ｊ）がブロック１５０においてゼロより小さければ，その時輝度Ｓ０（ｉ， ｊ）は明しきい値Ｔ_Bより大きく，スーパーピクセルは暗くされねばならない。 このときは，どの程度に暗くする必要があるかを対象のスーパーピクセルに対し て決定する。これは，対象のスーパーピクセルを囲むピクセルのサーチ半径を大 きくすることによりスーパーピクセルを囲む近領域のサイズを大きくし，それか らブロック１５２，１５４，１５６と１５８において，周囲の各低解像度ピクセ ルを個々に明しきい値Ｔ_Sについて判定することによりなされる。対象のスーパ ーピクセルに対するブロック１６４，１６６，１６８，１７０と１６０における 平均低解像度輝度補正値δ_LOはスーパーピクセルの全低解像度ピクセルの 輝度を平均することにより決定される。 ブロック１５２は，第５Ｂ図において示されるように３×３グループの全低解 像度ピクセルに対してゼロより小さい。もし，ブロック１５２がこれらのピクセ ルの一つでも偽であれば，その時，ＳＩＺＥ（ｉ，ｊ）は−１に等しくセットさ れ，そして低解像度輝度補正値δ_LOはブロック１６４でＳ１（ｉ，ｊ）に等しく セットされる。もし，ブロック１５２が第５Ｂ図の全低解像度ピクセルについて 真であれば，大きい領域の周辺低解像度ピクセルについてブロック１５４を判定 する。ブロック１５４は，第５Ｃ図の２５の全低解像度ピクセルに対してＳ１が ゼロより小さいかを判定する。もし，ブロック１５４が第５Ｃ図の全低解像度ピ クセルの１つでも偽であれば，その時ブロック１６６は−２に等しくＳＩＺＥ（ ｉ，ｊ）をセットし，そして低解像度輝度補正値δ_LOを，方程式(2)に従って３ ×３領域の中の全低解像度ピクセルの値の１／９に等しくセットする。 もし，ブロック１５４が第５Ｃ図の全低解像度ピクセルに対して真であれば， その時，低解像度ピクセルを囲む大きいグループはブロック１５６で判定される 。もし，ブロック１５６が第５Ｄ図の低解像度ピクセルの一つでも偽であれば， その時，ブロック１６８はＳＩＺＥ（ｉ，ｊ）を−３に等しくセットし，そして 低解像度輝度補正値δ_LOを方程式(3)に従って全５×５の低解像度ピクセルの平 均値に等しくセットする。もしブロック１５６が第５Ｄ図の全ピクセルに対して 真であれば，その時，低解像度ピクセルを囲む大きいグループはブロック１５８ で判定される。ブロック１５８は第５図Ｅの低解像度ピクセルのひとつでも偽で あれば，その時ブロック１７０はＳＩＺＥ（ｉ，ｊ）を−４に等しくセットし， そして低解像度輝度補正値δ_LOは方程式(4)に従って７×７の低解像度のピクセ ルの平均値に等しくセットする。もし，ブロック１５８が第５Ｅ図の全ピクセル に対して真であれば，その時，ブロック１６０はＳＩＺＥ（ｉ，ｊ）を−５に等 しくセットし，そして方程式(5)で示されるように９×９の全低解像度ピクセル の平均値に等しくセットする。 ブロック１６２，１６４，１６６，１６８と１７０への出力は全て方程式(6) で与えられるような円滑化函数を生成するブロック１７３に供給される。輝度Ｓ ０（ｉ，ｊ）はその時 Ｓ０（ｉ，ｊ）＝Ｓ０（ｉ，ｊ）＋ＳＭＯＯＴＨ（ｋ）^*δ_LO（ｉ，ｊ）を満 足ようにブロック１７２で調整される。 第６図で示される本発明の輝度調整方法の第２の部分２００は，修正された低 解像度輝度補正値δ’_LOを決定するのと同様に全てが輝度調整を要求する隣接領 域のアイランドを生成する。第１に，ＳＩＺＥ（ｉ，ｊ）はブロック２０２の各 領域に対して２進化される。例えば，ＤＯＭＡＩＮ（ｉ，ｊ）には次のルールに 従って０もしくは１に等しい値が与えられる，すなわち，もしＳＩＺＥ（ｉ，ｊ ）＝０であば，その時ＤＯＭＡＩＮ（ｉ，ｊ）は０に等しく，もしＳＩＺＥ（ｉ ，ｊ）≠０であれば，ＤＯＭＡＩＮ（ｉ，ｊ）は１に等しくされる。言い換える と，ＤＯＭＡＩＮ（ｉ，ｊ）は輝度補正を必要とするスーパーピクセルのロケー ションにおいて１にセットされる。この例は第７Ａ図と第７Ｂ図に示される。第 ７Ａ図は画像のスーパーピクセルに対するＳＩＺＥ値を示し，そして第７Ｂ図は スーパーピクセルに対して対応するＤＯＭＡＩＮ値を示す。例えば，第７Ａ図は 領域７０４の１要素に対して値ＳＩＺＥ＝−３を示す。第７Ｂ図のブロック７０ ４の対応する要素は値ＤＯＭＡＩＮ＝１を持つ。というのは上記の規則に従って ，ＳＩＺＥ≠０であるからである。第７Ａ図の領域７０４の他の要素は値ＳＩＺ Ｅ＝−２を持ち，そして再び，上記のルールに従って，ＳＩＺＥ≠０で第７Ｂ図 のブロック７０４の対応する要素は値ＤＯＭＡＩＮ＝１を持つ。第７Ａ図の各ス ーパーピクセルに対するＳＩＺＥの２進化の結果は第７Ｂ図のスーパーピクセル ＤＯＭＡＩＮ値として示される。 ブロック２０８は例えば，ＤＯＭＡＩＮ（ｉ，ｊ）＝１である隣接領域のアイ ランドを生成して番号付け，即ちラベルする。もし，アイランドのあらゆる要素 が１もしくはそれ以上のアイランドの他要素に接続されるならば，それらのスー パーピクセルの集合はアイランドを形成する。第７Ｂ図は，各アイランドがある 数でラベルされる３つのアイランド（この場合，７０２，７０４と７０６）の場 合を例として示す。第７Ｂ図のＩＳＬＡＮＤＵＭ７０６は４つの隣接要素即ちス ーパーピクセルのアイランドである。ＩＳＬＡＮＤＵＭ７０４は２つの隣接スー パーピクセルのアイランドである。ＩＳＬＡＮＤＵＭ７０４は二つのスーパーピ クセルのアイランドである。そして，ＩＳＬＡＮＤＵＭ７０２は一つのスーパー ピクセルのアイランドである。 各アイランドを生成してラベルを付けした後，ブロック２１０は２つのラベル 付けされたパラメータＩＳＬＡＮＳＩＺＥとＡＶＧ_ISLを生成する。ＩＳＬＡＮ ＤＳＩＺＥは各アイランドに対して計算され，そして与えられたアイランド内で ＳＩＺＥ（ｉ，ｊ）の最大値により定義される。 ここに（ｉ，ｊ）∈ＩＳＬＡＮＤＵＭである。例えば，示されるように，もし 第７Ａ図のＩＳＬＡＮＤＵＭ７０６の４つの要素が１，３，２と２の値をもつな らば，その時，ＩＳＬＡＮＤＵＭ７０６についてはＩＳＬＡＮＤＳＩＺＥ＝３で ある。値ＡＶＧ_ISLが，各別々のアイランドについて計算され，そしてアイラン ドにおいて要素数により分割された各アイランドに対する低解像度輝度補正値δ_LO の和として定義される。数学的に各ＩＳＬＡＮＤＵＭに対して， ここに（ｉ，ｊ）∈ＩＳＬＡＮＤＵＭである。 ブロック２１２において，修正された低解像度輝度補正値δ’_LOは画像の隣接 領域間で円滑な遷移を与えるための円滑化函数を使用して生成される。そのよう な円滑化函数の一つは方程式(9)に示される。 ここに，Ｒは１より小さい有理数である。このように，各領域に対する修正低 解像輝度補正値δ’_LOは次のように定義される。 本発明の輝度調整方法の第３の部分３００は，第８図に詳細に示され，高解像 度ピクセル画像ＩＭ_HIに対する輝度ＩＭ_HI（ｍ，ｎ）に加算される。高解像度補 正値δ_HIを計算し，それにより高解像度輝度調整画像ＩＭ’_HIを生成する。ここ に，０≦ｍ＜ＸＤＩＭおよび０≦ｎ＜ＹＤＩＭである。定数ＸＤＩＭ，ＹＤＩＭ ，Ｔ_D，Ｔ_B，ＳＬＯＰＥ_BとＳＬＯＰＥ_Dはブロック３２０で初期化される。ＸＤ ＩＭの値は画像の高解像度ピクセルの列の全数である。Ｔ_Dは予め定められた暗 しきい値である。Ｔ_Bは予め定められた明しきい値である。ＳＬＯＰＥ_BはＴ_Bよ り大きい輝度をもつ明るいピクセルと調整されたピクセルの間の遷移もしくは円 滑化に関係する。そしてＳＬＯＰＥ_DはＴ_Bより大きい輝度をもつ暗いピクセルと 隣接ピクセル間の遷移もしくは円滑化に関係する。 高解像度の画像の各ピクセルは，ブロック３３２と３２２の間のループを介し てブロック３００で判定される。変数ｍとｎは，ブロック３３２の条件が真にな るまでループを通じて各パスの後のブロック３２２もしくは３３２のいずれかで インクリメントされ，ブロック３３２の条件が真になった時点において，画像の 中のあらゆるピクセルの判定を終り処理はブロック３４０に進む。 もし，決定ブロック３２４で判定される位置（ｍ，ｎ）にある対象のピクセル が，ＳＩＺＥ＝０の領域の中にあるなら，その時ピクセルの輝度ＩＭ_HI（ｍ，ｎ ）は暗しきい値Ｔ_Dより大きいかもしくは等しくかつ明しきい値Ｔ_Bより小さいか もしくは等しい。この後の処理はブロック３３０に続く。しかし，もし，ブロッ ク３２４において，ＳＩＺＥ≠０であるなら，その時ブロック３２６はＳＩＺＥ ＞０かどうかを確かめる。もし，ブロック３２６が真であれば，その時，与えら れた高解像度ピクセルの輝度ＩＭ_HI（ｍ，ｎ）が低すぎるのであり（例えば，暗 しきい値Ｔ_Dより小さい）そして高解像度ピクセルはブロック３４０で明るくさ れる。もし，ブロック３２６が偽であれば，その時ＳＩＺＥ＜０であって与えら れた高解像度ピクセルの輝度ＩＭ_HI（ｍ，ｎ）が高すぎるのであり（例えば，し きい値Ｔ_Bより大きい），その時ピクセルはブロック３５０で暗くされる。一度 ，高解像度画像ＩＭ_HIの各ピクセルが上記のように処理されると，全ての適切な 補正値δ_HIを含み，完全な画像をブロック３２８で再生することができる。 第９図は，高解像度ピクセルの輝度が暗しきい値Ｔ_Dより大きいかもしくは等 しくかつ明しきい値Ｔ_Bより小さいか等しい時のブロック３３０に含まれるステ ップである。ブロック３６０はＡＶＧ_BとＡＶＧ_Dの双方をゼロにセットし，そし て高解像度画像ＩＭ_HI｛ＸＤＩＭ，ＹＤＩＭ｝の各ピクセルに対して特定の近 傍でループする。ＡＶＧ_Dは判定されたピクセルがＳＩＺＥ＝０とＳＩＺＥ＝１ の間の遷移領域にあることを示す変数である。ＡＶＧ_Bは判定されるピクセルが ＳＩＺＥ＝０とＳＩＺＥ＝−１の間の遷移領域の中にあることを示す変数である 。ＡＶＧ_DとＡＶＧ_B共に対応するδ_LOの値に非ゼロをセットされる。ブロック３ ６０の詳細は第１０図に示され，ここにＡＶＧ_BおよびＡＶＧ_Dともにブロック３ ６１でまずゼロに初期化される。決定ブロック３６２は，３×３の近傍のピクセ ルの平均輝度ＡＶＧ_D（主体の高解像度ピクセルがその中央に置かれる）が低解 像度輝度補正値δ_LOより小さいかどうかを決定する。もし，ブロック３６２が真 であれば，その時平均輝度ＡＶＧ_Dはブロック３６６において低解像度補正値δ_{L O} に等しくセットされる。もし，ブロック３６２が偽であれば，その時決定ブロ ック３６４は３×３近傍のピクセルの平均輝度ＡＶＧ_Bが低解像度輝度補正値δ_{L O} よ大きいかどうかを決定する。もし，ブロック３６４が真であれば，その時， 平均輝度ＡＶＧ_Bはブロック３６８で低解像度補正値δ_LOに等しくセットされる 。 一度，ＡＶＧ_BとＡＶＧ_Dがブロック３６０にセットされると，その時，第９図 に示される決定ブロック３７１はＡＶＧ_D≠０もしくはＡＶＧ_B≠０のいずれかで あるかどうかを決定する。もしブロック３７１が偽であれは，その時処理はブロ ック３３２に続く。しかし，もしブロック３７１が真であれば，その時変数Ｐ_D とＰ_Bはブロック３７０にセットされる。Ｐ_Dは対象のピクセルと暗しきい値Ｔ_D の間の輝度の差の評価値である。 変数ＦＫ，ＦＫ５，ＦＫ１，Ｐ_DおよびＰ_Bがピクセル間の滑らかな遷移を保証 するためにδ_LOをフェザーリングするのに使用される。フェザーリングは画像の 部分をなめらかに結合することとして定義され，例えば，その間の滑らかな遷移 を確実にし乍ら画像の部分を積分することを言う。ＦＫ，ＦＫ１およびＦＫ５は 異なるＳＩＺＥ値をもつ領域の中でのフェザーリングとし使用される。 一度，Ｐ_DとＰ_Bがブロック３７０にセットされると，決定ブロック３７２はピ クセル輝度値ＩＭ_HI（ｍ，ｎ）が暗しきい値Ｔ_Dより小さくかつＰ_Dより小さいか もしくは等しいかどうかを決定する。もしブロック３７２が真であれば，その時 ブロック３７６はＡＶＧ_Dにより高解像度ピクセル輝度値ＩＭ_HI（ｍ，ｎ）を調 整する。もしブロック３７２が真であれば，その時，決定ブロック３７３は高解 像度ピクセル輝度値ＩＭ_HI（ｍ，ｎ）が暗しきい値Ｔ_Dより小さくかつＰ_Dより大 きいかどうかを決定する。もしブロック３７３が真であれば，ブロック３７７は 修正暗レベル輝度平均ＭＯＤＡＶＧ_Dによりピクセル輝度ＩＭ_HI（ｍ，ｎ）を調 整する。 もしブロック３７３が偽であれば，その時決定ブロック３７４はピクセル輝度 値ＩＭ_HI（ｍ，ｎ）が明しきい値Ｔ_Bより大きくかつＰ_Bより大きいかもしくは等 しいかどうかを決定する。もしブロック３７４が真であれば，その時ブロック３ ７８は平均明レベル輝度ＡＶＧ_Bによりピクセル輝度値ＩＭ_HI（ｍ，ｎ）を調整 する。もし，ブロック３７４が偽であれば，決定ブロック３７５はピクセル輝度 値ＩＭ_HI（ｍ，ｎ）が明しきい値Ｔ_Bより大きくかつＰ_Bより小さいかどうかを決 定する。もし，ブロック３７５が真であれば，ブロック３７９は修正輝度平均Ｍ ＯＤＡＶＧ_Bによりピクセル輝度値ＩＭ_HI（ｍ，ｎ）を調整する。 もし，ブロック３７５が真であれば，方法はブロック３３２で続けられる。 第８図に戻って，もし高解像度ピクセルの輝度値が暗すぎれば，例えば，暗し きい値Ｔ_D以下であれば，その時そのピクセルはδ_HIによりその輝度レベルを上 げることによりブロック３４０で明るくされる。動作の詳細は，第１１図のフロ ー図で示される。ブロック３８０はＦＫ＝ａｂｓ（ＳＩＺＥ（ｉ，ｊ））；ＦＫ １＝（ＦＫ−１）／４；ＦＫ５＝（ＦＫ−５）／４；およびＰ_D＝Ｔ_D−（δ_LO／ ＳＬＯＰＥ_D）をセットする。これらの変数の全部は予め定義されている。 決定ブロック３８２において，もし対象の高解像度輝度値が暗しきい値Ｔ_Dよ り小さくかつＰ_Dより小さいかもしくは等しければ，その時ブロック３８６は元 の輝度値にδ_LOを加えることにより輝度値を調整する。もし，ブロック３８２の 判定が偽であれば，決定ブロック３８４は輝度が暗しきい値Ｔ_Dより小さくかつ Ｐ_Dより大きいかどうかを確かめる。もしブロック３８４が真であれば，ブロッ ク３８７はＩＭ_HI（ｍ，ｎ）にＭＯＤδ_LO1を加えることにより対応するピクセ ルの輝度値を調整する。 ブロック３８４が偽であるなら，決定ブロック３８５は高解像度ピクセル輝度 がしきい値Ｔ_Dより大きいかもしくは等しくかつＳＩＺＥ≧１かどうかを決定す る。もしブロック３８５が真であれば，その時高解像度ピクセル輝度は元のピク セル輝度にＭＯＤδ_LO2を加えることにより調整する。 もしブロック３８５が偽で有れば，その時処理は３３２に続く。 もし，高解像度ピクセルの輝度値が明るすぎるなら，例えば，明しきい値Ｔ_B 以上であれば，その時そのピクセルはその輝度レベルを引き下げることによりブ ロック３５０で暗くされる。この動作の詳細は，第１２図のフロー図で示される 。ブロック３９０はＦＫ＝ａｂｓ（ＳＩＺＥ（ｉ，ｊ））；ＦＫ１＝（ＦＫ−１ ）／４；そしてＦＫ５＝（ＦＫ−５）／４をセットする。また，Ｐ_B＝Ｔ_B−（δ_LO ／ＳＬＯＰＥ_B）である。 決定ブロック３９２は，高解像度ピクセル輝度が明しきい値Ｔ_Bより大きくか つＰ_Bより大きいかもしくは等しいかどうかを決定する。もし，ブロック３９２ が真であれば，高解像度ピクセル輝度はブロック３９５の高解像度ピクセル輝度 にδ_LOを加えることにより調整される。もし，ブロック３９２が偽でれば，決定 ブロック３９３は高解像度ピクセル輝度が明しきい値Ｔ_Bより大きくかつＰ_Bより 小さいかどうかを決定する。もしブロック３９３が真であれば，その時高解像度 ピクセル輝度は，元のピクセル輝度値に修正補正値ＭＯＤδ_LO3を加えることに よりブロック３９６で調整される。 もしブロック３９３が真でなければ，決定ブロック３９４はピクセル輝度が明 しきい値Ｔ_Bより小さいかもしくは等しくかつＳＩＺＥ≦−１かどうかを決定す る。もしブロック３９４が真であれば，そのとき高解像度ピクセル輝度は，元の 高解像度ピクセル輝度に修正された補正値ＭＯＤδ_LO4を加えることによりブロ ック３９７で調整される。 もしブロック３９４が偽であれば，処理はブロック３３２に進む。 本発明の方法の第３の部分３００は，元の各ピクセルに対して高解像度補正値 δ_HIを計算すること（第２図に示されるように）に注目されたい。画像の各ピク セルは，この後に，δ_HIにより調整されて新しい輝度値調整された画像が形成さ れる。高解像度補正値δ_HIは明細書と図面を通して多くの異なる方法で定義され ることが理解される。例えば，第９図で，δ_HIはブロック３７６のＡＶＧ_D，ブ ロック３７７のＭＯＤＡＶＧ_D，ブロック３７８のＡＶＧ_Bおよびブロック３７９ のＭＯＤＡＶＧ_Bとして定義される。第１１図と第１２図において，δ_HIはブロ ック３８６と３９５でδ_LOとして定義され，ブロック３８７と３９６においてＭ ＯＤδ_LO1として，そしてブロック３８８と３９４においてＭＯＤδ_LO2として定 義される。 現在において考えられる望ましい実施例で本発明が説明されたが，本発明から 離れることなくさまざまな変更と修正ができることが発明に熟達したものにあき らかであり，そして請求の範囲は本発明の精神と範囲において各種の変更と修正 をも含むことを意図する。

Claims (1)

1. 【特許請求の範囲】 １．スーパーピクセルにピクセルをグループ化することにより高解像度画像に ついての低解像度画像を形成し， 予め定められたしきい値を越える輝度値を持つ選択された該スパーピクセルに 対して，各選択された該スーパーピクセルを囲むスーパーピクセルの平均輝度値 によりゼロでない低解像度輝度補正値δ_LOを生成し， 各隣接する選択された該スーパーピクセルのアイランドを形成することにより 各選択された該スーパーピクセルに対して修正された低解像度輝度補正値δ_LO’ を生成し，そして各アイランド内の隣接する選択された該スーパービクセル間で 円滑化処理δ_LOを行い， 各該ピクセルの輝度値ＩＭ_HIを該予め定められたしきい値と比較することによ り高解像度画像の各ピクセルに対して高解像度輝度補正値δ_HIを生成し，そして ＩＭ_HIおよびδ_LOの双方の函数としてδ_HIを生成し， そして各該ピクセルの輝度値ＩＭ_HIと対応する高解像度輝度補正値δ_HIとを結 合することにより輝度値を調整された画像を生成する各ステップを含むことを特 徴とする高解像度画像のピクセル輝度値ＩＭ_HIを調整する方法。 ２．予め定められた該しきい値は暗しきい値Ｔ_Dと明しきい値Ｔ_Bの一つである ことを特徴とする請求項１に記載の高解像度画像のピクセル輝度値ＩＭ_HIを調整 する方法。 ３．予め定められたピクセルのクラス分けに従ってスーパーピクセルに該ピク セルをグループ化することにより該画像の低解像度バージョンを作成し， 各スーパーピクセルの輝度値を予め定められたしきい値と比較することにより 各該スーパーピクセルに対して低解像度補正値δ_LOを生成し， 近傍のスーパーピクセル間で円滑化処理することにより各該ピクセルに対して 修正された低解像度補正値δ_LO’を生成し， 該対応するスーパーピクセルの輝度値およびδ_LOの双方の函数として該ピクセ ルの各々に対して高解像度補正値δ_HIを生成し，そして 各ピクセルに対してδ_HIと輝度値を結合することにより画像のピクセルの調整 された輝度値を生成することの各ステップを含むことを特徴とする画像の輝度し きい値を調整する方法。 ４．予め定められた該しきい値は暗しきい値Ｔ_Dおよび明しきい値Ｔ_Bの一つで あることを特徴とする請求項３に記載の画像の輝度しきい値を調整する方法。 ５．ピクセルをスーパーピクセルにグループ化することにより高解像度画像に ついて低解像度画像を形成するための手段と， 各該選択されたスーパーピクセルを囲むスーパーピクセルの平均輝度値により ，予め定められたしきい値を越える輝度値を持つ選択された該スーパーピクセル に対してゼロでない低解像度輝度補正値δ_LOを生成するための手段と， 隣接する該選択されたスーパーピクセルのアイランドを形成することにより各 該選択されたスーパーピクセルに対して修正された低解像度補正値δ_LO’を生成 し，そして各アイランド内の該隣接する選択されたスーパーピクセル間でδ_LOを 円滑化するための手段と， 画像の各該ピクセルの輝度値ＩＭ_HIを該予め定められたしきい値と比較するこ とにより高解像度画像の各ピクセルに対して輝度高解像度輝度補正値δ_HIを生成 し，そして対応する値ＩＭ_HIとδ_LOの双方の函数としてδ_HIを生成するための手 段と， 各該ピクセルの該輝度値ＩＭ_HIを対応する高解像度輝度補正値δ_HIと結合する ことにより輝度を調整された画像を生成するための手段と，を含むことを特徴と する画像のピクセルレベル輝度調整システム。 ６．該予め定められたしきい値は暗しきい値Ｔ_Dと明しきい値Ｔ_Bの一つである ことを特徴とする請求項５に記載の画像のピクセルレベル輝度調整システム。