JP6030896B2

JP6030896B2 - 階調削減装置及びプログラム

Info

Publication number: JP6030896B2
Application number: JP2012203354A
Authority: JP
Inventors: 康孝松尾; 境田　慎一; 慎一境田; 俊枝三須; 俊輔岩村
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-09-14
Filing date: 2012-09-14
Publication date: 2016-11-24
Anticipated expiration: 2032-09-14
Also published as: JP2014059643A

Description

本発明は、原画像の階調を削減する階調削減装置及びそのプログラムに関するものである。

ｎ×ｎ画素からなるブロックに分割された画像信号に基づいて、ブロック内の画素平均と偏差を求め、これらを閾値判定して平均値又は偏差信号のいずれか一方を削減して、ブロック内の階調数を減少させることで情報量を削減するような画像符号化装置及び画像復号装置が知られている（例えば、特許文献１参照）。

また、画像の階調値(輝度値)ごとの度数を示すヒストグラムを調べ、階調削減を行う際に、度数が高い階調値ほど多くの階調を割り当てるようにするLloyd-Max法が知られている（例えば、非特許文献１及び２参照）。

特許第３６５８０９６号公報

S.P.Lloyd, "Least squares quantization in PCM", IEEE Trans. Information Theory, vol.IT-28, pp.129-136, March 1982 J.Max, "Quantizing for minimum distortion", IEEE Trans. Information Theory, vol.IT-7, pp.7-12, March 1960

しかし、従来のビット誤差丸め処理などによる単純な階調削減や、特許文献１に記載の階調削減装置は、画像ごとの特徴を考慮した階調削減法ではないため、画像劣化が大きかった。

一方、従来のLloyd-Max法は、度数が高い階調値に多くの階調を割り当てて階調削減を行うため、原画像と階調削減画像との誤差を最小化するという観点からは最適な階調削減方法といえる。しかし、Lloyd-Max法では視覚的かつ信号処理の観点からは最適な階調削減とはいえなかった。なぜなら、Lloyd-Max法では例えば雑音が支配的な階調値においても、その度数が高ければ多くの階調を割り当てて階調削減を行ってしまうからである。

かかる事情に鑑みてなされた本発明の目的は、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことが可能な階調削減装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る階調削減装置は、原画像を周波数分解して複数の周波数帯域成分を生成する周波数分解部と、前記周波数帯域成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合に基づいて複数の雑音閾値を決定する雑音閾値決定部と、前記周波数帯域成分及び前記雑音閾値から原画像の孤立点を検出し、原画像から該孤立点を除去した雑音除去画像を前記雑音閾値ごとに生成する雑音除去画像生成部と、前記雑音除去画像のヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する階調削減初期情報生成部と、前記訓練データ及び前記階調変換テーブルを初期値として用いるLloyd-Max法により前記原画像の階調を削減した階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成する階調削減部と、前記階調削減画像に前記逆量子化テーブルをそれぞれ適用し、原画像と同じ階調数である階調復元画像を生成する階調復元画像生成部と、原画像との差分が最小となる階調復元画像に対応する雑音閾値を補助情報として出力するとともに、前記階調削減部により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する階調削減画像決定部と、を備えることを特徴とする。

さらに、本発明に係る階調削減装置において、前記周波数帯域成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合に基づいて複数のグラデーション閾値を決定するグラデーション閾値決定部と、前記周波数帯域成分及び前記グラデーション閾値から原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成するグラデーション画像生成部と、を更に備え、前記階調削減初期情報生成部は、前記雑音除去画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを前記訓練データとして生成し、前記階調削減画像決定部は、原画像との差分が最小となる階調復元画像に対応する雑音閾値及びグラデーション閾値を補助情報として出力することを特徴とする。

さらに、本発明に係る階調削減装置において、前記雑音除去画像生成部は、前記周波数帯域成分のうちの空間最高周波数帯域成分について、前記雑音閾値を超える要素の階調値を１、前記雑音閾値以下の要素の階調値を０とする２値化画像を生成し、前記２値化画像の階調値が１である要素について、該要素を中心とする所定の判定領域内の階調値の合計値が所定の閾値以下である場合には、当該要素に対応する原画像の画素を孤立点と判定することを特徴とする。

また、本発明に係る階調削減装置は、原画像を周波数分解して複数の周波数帯域成分を生成する周波数分解部と、前記周波数帯域成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合に基づいて複数のグラデーション閾値を決定するグラデーション閾値決定部と、前記周波数帯域成分及び前記グラデーション閾値から原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成するグラデーション画像生成部と、前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する階調削減初期情報生成部と、前記訓練データ及び前記階調変換テーブルを初期値として用いるLloyd-Max法により前記原画像の階調を削減した階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成する階調削減部と、前記階調削減画像に前記逆量子化テーブルをそれぞれ適用し、原画像と同じ階調数である階調復元画像を生成する階調復元画像生成部と、原画像との差分が最小となる階調復元画像に対応するグラデーション閾値を補助情報として出力するとともに、前記階調削減部により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する階調削減画像決定部と、を備えることを特徴とする。

さらに、本発明に係る階調削減装置において、前記グラデーション画像生成部は、前記周波数帯域成分の全帯域成分に対する空間低周波数帯域成分のパワーの割合が前記グラデーション閾値を超える領域をグラデーション領域と決定することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記階調削減装置として機能させることを特徴とする。

本発明によれば、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができるようになる。

本発明の実施例１の階調削減装置の構成例を示すブロック図である。本発明の実施例１の階調削減装置における周波数分解部による処理を説明する図である。本発明の実施例１の階調削減装置における雑音除去画像生成部の構成例を示すブロック図である。本発明の実施例１の階調削減装置における孤立点検出部による孤立点判定処理を説明する図である。本発明の実施例１の階調削減装置における階調削減初期情報生成部の構成例を示すブロック図である。本発明の実施例２の階調削減装置の構成例を示すブロック図である。本発明の実施例２の階調削減装置におけるグラデーション画像生成部の構成例を示すブロック図である。本発明の実施例２の階調削減装置における階調削減初期情報生成部の構成例を示すブロック図である。本発明の実施例３の階調削減装置の構成例を示すブロック図である。本発明の実施例３の階調削減装置における階調削減初期情報生成部の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

まず、本発明の実施例１の階調削減装置について説明する。実施例１の階調削減装置は、原画像の雑音を考慮して原画像の階調を削減する。図１は、実施例１の階調削減装置の構成例を示すブロック図である。図１に示すように、階調削減装置１は、周波数分解部１０と、雑音閾値決定部２０と、雑音除去画像生成部３０と、階調削減初期情報生成部４０と、階調削減部５０と、階調復元画像生成部６０と、階調削減画像決定部７０と、を備える。

周波数分解部１０は、原画像を周波数分解（例えば、ウェーブレットパケット分解）して、複数の周波数帯域成分を生成し、雑音閾値決定部２０及び雑音除去画像生成部３０に出力する。以下では、説明の便宜上、周波数分解成分（周波数帯域成分）のように周波数帯域毎に分解された画像を構成する最小単位を「要素」と称し、原画像のように周波数分解されていない画像を構成する最小単位を「画素」と称して、両者を区別することとする。

図２は、周波数分解部１０による空間方向の周波数分解処理を説明する図である。図２では、原画像を空間方向に２階ウェーブレットパケット分解した場合の分解図を示しており、太線は１階ウェーブレットパケット分解の各周波数帯域を示している。図２に示すウェーブレットパケット分解の例では、低周波側、高周波側を空間方向に均等に周波数分解している。この分解図では空間周波数成分を、水平方向においては右側ほど高周波成分とし、垂直方向においては下側ほど高周波成分としている。よって、図２に示すように、左上は空間最低周波数帯域成分（周波数分解部１０により生成された複数の周波数分解成分のうち最も周波数が低い帯域成分）となり、右下は空間最高周波数帯域成分（周波数分解部１０により生成された複数の周波数分解成分のうち最も周波数が高い帯域成分）となる。なお、空間方向に加えて時間方向に周波数分解を行ってもよい。

図２では説明の便宜上、デシメーション有りでウェーブレットパケット分解を行った場合の分解図を示しているが、後述する孤立点検出部３０１にて原画像の画素単位で孤立点（雑音）を除去することができるようにするために、周波数分解部１０はデシメーション無し（すなわち、周波数帯域成分の画像サイズの縮小無し）で周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。

雑音閾値決定部２０は、周波数分解部１０により生成された周波数分解成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合（以下、「空間最高周波数帯域成分の割合」という）を、各要素位置について算出する。そして、雑音閾値決定部２０は、空間最高周波数帯域成分の割合の平均値を基準として、複数の空間最高周波数帯域成分の割合を雑音閾値として決定し、雑音除去画像生成部３０に出力する。例えば、０％から、空間最高周波数帯域成分の割合の平均値までをｎ等分した複数の値を雑音閾値として決定する。この場合、空間最高周波数帯域成分の割合の平均値が１０％、ｎ＝５とすると、２％、４％、６％、８％、１０％が雑音閾値となる。

雑音除去画像生成部３０は、周波数分解部１０により生成された周波数帯域成分、及び雑音閾値決定部２０により決定された雑音閾値を用いて原画像の孤立点を検出し、該孤立点を雑音とみなす。そして、原画像から雑音が除去された雑音除去画像を生成し、階調削減初期情報生成部４０に出力する。

図３は、雑音除去画像生成部３０の構成例を示すブロック図である。図３に示すように、雑音除去画像生成部３０は、孤立点検出部３０１と、再構成部３０２と、を備える。

孤立点検出部３０１は、周波数分解部１０により生成された周波数帯域成分を解析して原画像の孤立点を検出する。具体的には、孤立点検出部３０１は、空間最高周波数帯域成分の割合を各要素位置について算出する。そして、孤立点検出部３０１は、雑音閾値決定部２０により決定された複数の雑音閾値のうちの１つを選択し、算出した空間最高周波数帯域成分の割合が選択した雑音閾値Ｔｈ_１を超える要素の値を１とし、雑音閾値Ｔｈ_１以下の要素の値を０とする２値化画像Ｂを生成する。

孤立点検出部３０１は、２値化画像Ｂの要素値が１である要素について、該要素を中心とする所定の判定領域内の要素値の合計値と、所定の閾値Ｔｈ_２とを比較する。２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ_２を超える場合には、当該要素は孤立点要素ではないと判定し、２値化画像Ｂの判定領域内の要素値の合計値が閾値Ｔｈ_２以下である場合には、当該要素を孤立点要素と判定し、孤立点要素に対応する原画像の画素を孤立点と判定する。

図４は、孤立点検出部３０１による孤立点判定処理を説明する図である。図４に示す例では、判定領域は３×３要素である。閾値Ｔｈ_２を１とすると、２値化画像Ｂの要素値が１となる要素素の周囲の８要素の要素値が０であるときのみ、２値化画像Ｂの要素値が１である要素を孤立要素とみなす。よって、閾値Ｔｈ_２＝１の場合、図中の要素Ｐ１は孤立点要素であると判定され、要素Ｐ２と要素Ｐ３は孤立点要素と判定されない。

そして、孤立点検出部３０１は、各周波数帯域成分について、孤立点要素であると判定した要素位置の要素値を０とし、再構成部３０２に出力する。ただし、直流成分に雑音が含まれる場合には孤立点要素として検出されないおそれがあるため、直流成分を有する空間最低周波数帯域成分については階調値を変更しないようにするのが好適である。

再構成部３０２は、孤立点検出部３０１から入力される孤立点検出後の周波数帯域成分を用いて再構成処理を行い、雑音除去画像を生成し、階調削減初期情報生成部４０に出力する。例えば、周波数分解部１０においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、孤立点検出後の周波数帯域成分をｎ階ウェーブレットパケット再構成する。

階調削減初期情報生成部４０は、雑音除去画像生成部３０により生成された雑音除去画像のヒストグラムを訓練データとして生成するとともに、階調削減ビット数に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調削減部５０に出力する。なお、階調削減ビット数はユーザにより指定されるものとする。

図５は、階調削減初期情報生成部４０の構成例を示すブロック図である。図５に示すように、階調削減初期情報生成部４０は、ヒストグラム生成部４０１と、階調変換テーブル生成部４０２と、を備える。

ヒストグラム生成部４０１は、雑音除去画像生成部３０により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを訓練データとして生成し、階調削減部５０に出力する。

階調変換テーブル生成部４０２は、階調削減ビット数に応じて階調変換テーブルを生成し、階調削減部５０に出力する。階調変換テーブルは、原画像の色深度がｎビット（階調数２^ｎ）、階調削減ビット数がｍビットの場合、ｎビットを（ｎ−ｍ）ビットに線形変換する階調変換テーブルである。

階調削減部５０は、階調削減初期情報生成部４０により生成された訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により、原画像の階調を削減した階調削減画像を生成する。階調削減部５０は、訓練データの度数に応じて各階調の量子化ステップを決定して階調削減画像を生成した後、階調削減画像を逆階調変換して原画像と同じ階調数の画像を生成する。そして、原画像と逆階調変換した画像との差分値が所定の閾値以下となるまで、訓練データ、及び階調変換テーブルを更新し、階調削減処理を繰り返し行う。Lloyd-Max法によれば、度数の高い階調ほど量子化ステップを小さくするため、原画像と階調削減画像との誤差を小さくすることができる。Lloyd-Max法の詳細については、非特許文献１及び２を参照されたい。

また、階調削減部５０は、生成した階調削減部を元の階調数に復元するための逆量子化テーブルを生成し、階調復元画像生成部６０に出力する。ここで、逆量子化テーブルとは、階調削減画像を生成した際の階調変換テーブルの入力値を出力値とし、階調変換テーブルの出力値を入力値としたテーブルである。ただし、階調変換テーブルは１つの出力値に対して複数の入力値が対応するため、階調変換テーブルの入力値のうちから選択した１つの値（例えば、入力値の平均値を四捨五入した値、又は入力値の中央値）を逆量子化テーブルの出力値とする。例えば、階調削減部５０は、下記の表１の階調変換テーブルから、表２の逆量子化テーブルを生成する。

階調復元画像生成部６０は、階調削減部５０から入力される階調削減画像に、階調削減部５０から入力される逆量子化テーブルを適用し、原画像と同じ階調数である階調復元画像を生成する。そして、階調復元画像を階調削減画像決定部７０に出力する。

上述した雑音除去画像生成部３０、階調削減初期情報生成部４０、階調削減部５０、及び階調復元画像生成部６０の処理は、雑音閾値決定部２０により決定された雑音閾値ごとに行われる。よって、雑音閾値決定部２０により決定された雑音閾値がｎ個の場合には、階調復元画像生成部６０によりｎ種類の階調復元画像が生成される。

階調削減画像決定部７０は、原画像と、階調復元画像生成部６０から入力されるｎ種類の階調復元画像との差分を算出する。そして、原画像との差分が最小となる階調復元画像に対応する雑音閾値を、補助情報として外部に出力する。また、階調削減画像決定部７０は、階調削減部５０により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して外部に出力する。

上述したように、実施例１の階調削減装置１は、周波数分解部１０にて、原画像を周波数分解して複数の周波数帯域成分を生成し、雑音閾値決定部２０にて、空間最高周波数帯域成分の割合に基づいて複数の雑音閾値を決定し、雑音除去画像生成部３０にて、周波数帯域成分及び雑音閾値から原画像の孤立点を検出し、原画像から該孤立点を除去した雑音除去画像を雑音閾値ごとに生成し、階調削減初期情報生成部４０にて、雑音除去画像のヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する。そして、階調削減部５０にて、訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成し、階調復元画像生成部６０にて、階調削減画像に逆量子化テーブルをそれぞれ適用して階調復元画像を生成し、階調削減画像決定部７０にて、原画像との差分が最小となる階調復元画像に対応する雑音閾値を補助情報として出力するとともに、階調削減部５０により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する。

このように、実施例１の階調削減装置１によれば、雑音を考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができる。特に、階調削減を行う際に雑音を平滑化することで、雑音成分による主観画質劣化を低減することができる。また、雑音を平滑化することで符号化効率を向上させることができる。さらに、階調削減画像決定部７０が階調削減画像に加えて補助情報を出力することにより、該補助情報及び階調削減画像を用いて階調を復元することができるようになる。

なお、上述した階調削減装置１として機能させるためにコンピュータを好適に用いることができる。そのようなコンピュータは、階調削減装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

次に、本発明の実施例２の階調削減装置について説明する。実施例２の階調削減装置は、原画像のグラデーションを考慮して原画像の階調を削減する。

図６は、実施例２の階調削減装置の構成例を示すブロック図である。図６に示すように、階調削減装置２は、周波数分解部１０と、グラデーション閾値決定部８０と、グラデーション画像生成部９０と、階調削減初期情報生成部４１と、階調削減部５０と、階調復元画像生成部６０と、階調削減画像決定部７０と、を備える。実施例２の階調削減装置２は、実施例１の階調削減装置１と比較して、雑音閾値決定部２０及び雑音除去画像生成部３０に代えて、グラデーション閾値決定部８０及びグラデーション画像生成部９０を備え、階調削減初期情報生成部４０に代えて階調削減初期情報生成部４１を備える点が相違する。

周波数分解部１０は、実施例１と同様に、原画像を周波数分解（例えば、ウェーブレットパケット分解）して複数の周波数帯域成分を生成し、グラデーション閾値決定部８０、及びグラデーション画像生成部９０に出力する。

なお、周波数分解部１０は、後述するグラデーション領域検出部９０１にて原画像の画素単位でグラデーション領域を検出することができるようにするために、デシメーション無しで周波数分解を行い、生成される各周波数帯域成分の画像サイズを同一としてもよい。

グラデーション閾値決定部８０は、周波数分解部１０により生成された周波数分解成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合（以下、「空間最低周波数帯域成分の割合」という）を、各要素位置について算出する。そして、グラデーション閾値決定部８０は、空間最低周波数帯域成分の割合の平均値を基準として、複数の空間最低周波数帯域成分の割合をグラデーション閾値として決定し、グラデーション画像生成部９０に出力する。例えば、空間最低周波数帯域成分の割合の平均値から１００％までをｎ等分した複数の値をグラデーション閾値として決定する。この場合、空間最低周波数帯域成分の割合平均値が９０％、ｎ＝５とすると、９０％、９２％、９４％、９６％、９８％がグラデーション閾値となる。

グラデーション画像生成部９０は、周波数分解部１０により生成された周波数帯域成分、及びグラデーション閾値決定部８０により決定されたグラデーション閾値を用いて、原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。そして、グラデーション画像を階調削減初期情報生成部４１に出力する。

図７は、グラデーション画像生成部９０の構成例を示すブロック図である。図７に示すように、グラデーション画像生成部９０は、グラデーション領域検出部９０１と、再構成部９０２と、を備える。

グラデーション領域検出部９０１は、周波数分解部１０により生成された周波数帯域成分を解析して原画像のグラデーション領域を検出する。具体的には、グラデーション領域検出部９０１は、空間最低周波数帯域成分の割合を各要素位置について算出する。そして、グラデーション領域検出部９０１は、グラデーション閾値決定部８０により決定された複数のグラデーション閾値のうちの１つを選択し、算出した空間最低周波数帯域成分の割合が選択したグラデーション閾値を超える領域をグラデーション領域と決定する。そして、グラデーション領域のみからなる画像を、再構成部９０２に出力する。

再構成部９０２は、グラデーション領域検出部９０１から入力されるグラデーション領域検出後の周波数帯域成分を用いて再構成処理を行い、グラデーション画像を生成し、階調削減初期情報生成部４１に出力する。例えば、周波数分解部１０においてｎ階ウェーブレットパケット分解を行って周波数帯域成分を生成していた場合には、グラデーション領域検出後の周波数帯域成分をｎ階ウェーブレット再構成する。

階調削減初期情報生成部４１は、原画像、及びグラデーション画像生成部９０により生成されたグラデーション画像に基づいて訓練データを生成するとともに、削減ビット数に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調削減部５０に出力する。

図８は、階調削減初期情報生成部４１の構成例を示すブロック図である。図８に示すように、階調削減初期情報生成部４１は、ヒストグラム生成部４１１と、重み付け部４１２と、階調変換テーブル生成部４１３と、を備える。

ヒストグラム生成部４１１は、原画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部４１２に出力する。

重み付け部４１２は、グラデーション画像生成部９０により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部４１１により生成された原画像のヒストグラムに対して、グラデーション画像の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調削減部５０に出力する。例えば、グラデーション画像のヒストグラムの度数を、所定の１を超える値（例えば、１．２）を乗じた値に変更する。なお、度数の高い階調値ほど重みを大きくするようにしてもよい。重み付けをしたヒストグラムを訓練データとすることにより、階調削減部５０にて階調削減を行う際に、グラデーション領域により多くの階調を割り当てることができる。

階調変換テーブル生成部４１３は、階調削減ビット数に応じて階調変換テーブルを生成し、階調削減部５０に出力する。階調変換テーブルは、原画像の色深度がｎビット（階調数２^ｎ）、階調削減ビット数がｍビットの場合、ｎビットを（ｎ−ｍ）ビットに線形変換する階調変換テーブルである。

階調削減部５０は、実施例１と同様に、階調削減初期情報生成部４１により生成された訓練データ及び階調変換テーブルを初期値として用いたＬｌｏｙｄ−Ｍａｘ法により、原画像の階調を削減した階調削減画像を生成するとともに、逆量子化テーブルを生成する。

上述したグラデーション画像生成部９０、階調削減初期情報生成部４１、階調削減部５０、及び階調復元画像生成部６０の処理は、グラデーション閾値決定部８０により決定されたグラデーション閾値ごとに行われる。よって、グラデーション閾値決定部８０により決定されたグラデーション閾値がｍ個の場合には、階調復元画像生成部６０によりｍ種類の階調復元画像が生成される。

階調削減画像決定部７０は、原画像と、階調復元画像生成部６０から入力されるｍ種類の階調復元画像との差分を算出する。そして、差分が最小となる階調復元画像に対応するグラデーション閾値を、補助情報として外部に出力する。また、階調削減画像決定部７０は、階調削減部５０により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して外部に出力する。

上述したように、実施例２の階調削減装置２は、周波数分解部１０にて、原画像を周波数分解して複数の周波数帯域成分を生成し、グラデーション閾値決定部８０にて、空間最低周波数帯域成分の割合に基づいて複数のグラデーション閾値を決定し、グラデーション画像生成部９０にて、周波数帯域成分及びグラデーション閾値から原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成し、階調削減初期情報生成部４１にて、原画像のヒストグラムに対してグラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する。そして、階調削減部５０にて、訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成し、階調復元画像生成部６０にて、階調削減画像に逆量子化テーブルをそれぞれ適用して階調復元画像を生成し、階調削減画像決定部７０にて、原画像との差分が最小となる階調復元画像に対応するグラデーション閾値を補助情報として出力するとともに、階調削減部５０により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する。

このように、実施例２の階調削減装置２によれば、グラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができる。特に、階調削減を行う際にグラデーション階調に多くの階調を割り当てることで、階調復元時の擬似輪郭の発生を抑制することができる。さらに、階調削減画像決定部７０が階調削減画像に加えて補助情報を出力することにより、該補助情報及び階調削減画像を用いて階調を復元することができるようになる。さらに、階調削減画像決定部７０が階調削減画像に加えて補助情報を出力することにより、該補助情報及び階調削減画像を用いて階調を復元することができるようになる。

なお、上述した階調削減装置２として機能させるためにコンピュータを好適に用いることができる。そのようなコンピュータは、階調削減装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

次に、本発明の実施例３の階調削減装置について説明する。実施例３の階調削減装置は、原画像の雑音及びグラデーションの双方を考慮して原画像の階調を削減する。

図９は、実施例３の階調削減装置の構成例を示すブロック図である。図９に示すように、階調削減装置３は、周波数分解部１０と、雑音閾値決定部２０と、雑音除去画像生成部３０と、グラデーション閾値決定部８０と、グラデーション画像生成部９０と、階調削減初期情報生成部４２と、階調削減部５０と、階調復元画像生成部６０と、階調削減画像決定部７０と、を備える。実施例３の階調削減装置３は、実施例１の階調削減装置１と比較して、グラデーション閾値決定部８０、及びグラデーション画像生成部９０を更に備え、階調削減初期情報生成部４０に代えて階調削減初期情報生成部４２を備える点が相違する。

周波数分解部１０は、実施例１と同様に、原画像を周波数分解（例えば、ウェーブレットパケット分解）して複数の周波数帯域成分を生成する。そして、周波数帯域成分を雑音閾値決定部２０、雑音除去画像生成部３０、グラデーション閾値決定部８０、及びグラデーション画像生成部９０に出力する。周波数帯域成分を雑音閾値決定部２０、雑音除去画像生成部３０、グラデーション閾値決定部８０、及びグラデーション画像生成部９０については実施例１又は実施例２で説明した通りであるため、説明を省略する。

階調削減初期情報生成部４２は、雑音除去画像生成部３０により生成された雑音除去画像、及びグラデーション画像生成部９０により生成されたグラデーション画像に基づいて訓練データを生成するとともに、削減ビット数に基づく階調変換テーブルを生成する。そして、訓練データ及び階調変換テーブルを階調削減部５０に出力する。

図１０は、階調削減初期情報生成部４２の構成例を示すブロック図である。図１０に示すように、階調削減初期情報生成部４２は、ヒストグラム生成部４２１と、重み付け部４２２と、階調変換テーブル生成部４２３と、を備える。

ヒストグラム生成部４２１は、雑音除去画像生成部３０により生成された雑音除去画像について階調値ごとの度数を示すヒストグラムを生成し、重み付け部４２２に出力する。

重み付け部４２２は、グラデーション画像生成部９０により生成されたグラデーション画像の階調値を検出し、ヒストグラム生成部４２１により生成された雑音除去画像のヒストグラムに対して、グラデーション画像の階調値の度数が高くなるように重み付けする。そして、重み付けしたヒストグラムを訓練データとして階調削減部５０に出力する。例えば、グラデーション画像の階調値の度数を、所定の１を超える値（例えば、１．２）を乗じた値に変更する。なお、度数の高いグラデーション画像の階調値ほど重みを大きくするようにしてもよい。重み付けしたヒストグラムを訓練データとすることにより、階調削減部５０にて階調削減を行う際に、グラデーション領域により多くの階調を割り当てることができる。

階調変換テーブル生成部４２３は、階調削減ビット数に応じて階調変換テーブルを生成し、階調削減部５０に出力する。階調変換テーブルは、原画像の色深度がｎビット（階調数２^ｎ）、階調削減ビット数がｍビットの場合、ｎビットを（ｎ−ｍ）ビットに線形変換する階調変換テーブルである。

雑音除去画像生成部３０は、雑音閾値決定部２０により決定された雑音閾値ごとに雑音除去画像を生成する。また、グラデーション画像生成部９０は、グラデーション閾値決定部８０により決定されたグラデーション閾値ごとにグラデーション画像を生成する。よって、雑音閾値決定部２０により決定された雑音閾値がｎ個、グラデーション画像生成部９０により決定されたグラデーション閾値がｍ個の場合には、階調削減初期情報生成部４２によりｎ×ｍ種類の訓練データが生成され、階調復元画像生成部６０によりｎ×ｍ種類の階調復元画像が生成される。

階調削減画像決定部７０は、原画像と、階調復元画像生成部６０から入力されるｎ×ｍ種類の階調復元画像との差分を算出する。そして、差分が最小となる階調復元画像に対応する雑音閾値及びグラデーション閾値を、補助情報として出力する。また、階調削減画像決定部７０は、階調削減部５０により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択し、出力する。

上述したように、実施例３の階調削減装置３は、周波数分解部１０にて、原画像を周波数分解して複数の周波数帯域成分を生成し、雑音閾値決定部２０にて、空間最高周波数帯域成分の割合に基づいて複数の雑音閾値を決定し、雑音除去画像生成部３０にて、周波数帯域成分を解析して原画像の孤立点を検出し、原画像から孤立点を除去した雑音除去画像を生成する。また、グラデーション閾値決定部８０にて、空間最低周波数帯域成分の割合に基づいて複数のグラデーション閾値を決定し、グラデーション画像生成部９０にて、周波数帯域成分を解析して原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成する。階調削減初期情報生成部４２にて、雑音除去画像のヒストグラムに対し、グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する。そして、階調削減部５０にて、訓練データ及び階調変換テーブルを初期値として用いるLloyd-Max法により階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成し、階調復元画像生成部６０にて、階調削減画像に逆量子化テーブルをそれぞれ適用して階調復元画像を生成し、階調削減画像決定部７０にて、原画像との差分が最小となる階調復元画像に対応する雑音閾値及びグラデーション閾値を補助情報として出力するとともに、階調削減部５０により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する。

このように、実施例３の階調削減装置３によれば、雑音及びグラデーションを考慮して階調変換することにより、視覚的かつ信号処理的に優れ、画像ごとに最適化された階調削減を行うことができる。特に、階調削減を行う際に、雑音を平滑化し、且つグラデーション階調に多くの階調を割り当てることで、雑音成分による主観画質劣化を低減し、且つ階調復元時の擬似輪郭の発生を抑制することができる。さらに、階調削減画像決定部７０が階調削減画像に加えて補助情報を出力することにより、該補助情報及び階調削減画像を用いて階調を復元することができるようになる。

なお、上述した階調削減装置３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、階調削減装置３の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例では周波数分解としてウェーブレット分解を用いているが、これに限られるものではない。

このように、本発明は、階調を削減する任意の用途に有用である。例えば、スーパーハイビジョンのように解像度が高いため十分な光量が得られない場合に雑音成分が多くなる画像を階調削減したり、１２ビット階調を８ビット階調以下に大きく階調削減したりする用途に特に有用である。

１，２，３階調削減装置
１０周波数分解部
２０雑音閾値決定部
３０雑音除去画像生成部
４０，４１，４２階調削減初期情報生成部
５０階調削減部
６０階調復元画像生成部
７０階調削減画像決定部
８０グラデーション閾値決定部
９０グラデーション画像生成部
３０１孤立点検出部
３０２，９０２再構成部
４０１，４１１，４２１ヒストグラム生成部
４０２，４１３，４２３階調変換テーブル生成部
４１２，４２２重み付け部
９０１グラデーション領域検出部

Claims

原画像を周波数分解して複数の周波数帯域成分を生成する周波数分解部と、
前記周波数帯域成分の全帯域成分に対する空間最高周波数帯域成分のパワーの割合に基づいて複数の雑音閾値を決定する雑音閾値決定部と、
前記周波数帯域成分及び前記雑音閾値から原画像の孤立点を検出し、原画像から該孤立点を除去した雑音除去画像を前記雑音閾値ごとに生成する雑音除去画像生成部と、
前記雑音除去画像のヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する階調削減初期情報生成部と、
前記訓練データ及び前記階調変換テーブルを初期値として用いるLloyd-Max法により前記原画像の階調を削減した階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成する階調削減部と、
前記階調削減画像に前記逆量子化テーブルをそれぞれ適用し、原画像と同じ階調数である階調復元画像を生成する階調復元画像生成部と、
原画像との差分が最小となる階調復元画像に対応する雑音閾値を補助情報として出力するとともに、前記階調削減部により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する階調削減画像決定部と、
を備えることを特徴とする階調削減装置。
前記周波数帯域成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合に基づいて複数のグラデーション閾値を決定するグラデーション閾値決定部と、
前記周波数帯域成分及び前記グラデーション閾値から原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成するグラデーション画像生成部と、を更に備え、
前記階調削減初期情報生成部は、前記雑音除去画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを前記訓練データとして生成し、
前記階調削減画像決定部は、原画像との差分が最小となる階調復元画像に対応する雑音閾値及びグラデーション閾値を補助情報として出力することを特徴とする、請求項１に記載の階調削減装置。
前記雑音除去画像生成部は、前記周波数帯域成分のうちの空間最高周波数帯域成分について、前記雑音閾値を超える要素の階調値を１、前記雑音閾値以下の要素の階調値を０とする２値化画像を生成し、前記２値化画像の階調値が１である要素について、該要素を中心とする所定の判定領域内の階調値の合計値が所定の閾値以下である場合には、当該要素に対応する原画像の画素を孤立点と判定することを特徴とする、請求項１又は２に記載の階調削減装置。
原画像を周波数分解して複数の周波数帯域成分を生成する周波数分解部と、
前記周波数帯域成分の全帯域成分に対する空間最低周波数帯域成分のパワーの割合に基づいて複数のグラデーション閾値を決定するグラデーション閾値決定部と、
前記周波数帯域成分及び前記グラデーション閾値から原画像のグラデーション領域を検出し、該グラデーション領域のみからなるグラデーション画像を生成するグラデーション画像生成部と、
前記原画像のヒストグラムに対して、前記グラデーション画像の階調値の度数が高くなるように重み付けしたヒストグラムを訓練データとして生成するとともに、階調を削減するための階調変換テーブルを生成する階調削減初期情報生成部と、
前記訓練データ及び前記階調変換テーブルを初期値として用いるLloyd-Max法により前記原画像の階調を削減した階調削減画像を生成するとともに、該階調削減画像を元の階調数に復元するための逆量子化テーブルを生成する階調削減部と、
前記階調削減画像に前記逆量子化テーブルをそれぞれ適用し、原画像と同じ階調数である階調復元画像を生成する階調復元画像生成部と、
原画像との差分が最小となる階調復元画像に対応するグラデーション閾値を補助情報として出力するとともに、前記階調削減部により生成された複数の階調削減画像のうち、原画像との差分が最小となる階調復元画像に対応する階調削減画像を選択して出力する階調削減画像決定部と、
を備えることを特徴とする階調削減装置。
前記グラデーション画像生成部は、前記周波数帯域成分の全帯域成分に対する空間低周波数帯域成分のパワーの割合が前記グラデーション閾値を超える領域をグラデーション領域と決定することを特徴とする、請求項２、４、又は請求項２に従属する請求項３に記載の階調削減装置。
コンピュータを、請求項１から５のいずれか一項に記載の階調削減装置として機能させるためのプログラム。