JP4281135B2

JP4281135B2 - 画質改善方法及び画質改善装置

Info

Publication number: JP4281135B2
Application number: JP33938598A
Authority: JP
Inventors: 洋一三宅; 公佳宮田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1998-11-30
Filing date: 1998-11-30
Publication date: 2009-06-17
Anticipated expiration: 2018-11-30
Also published as: JP2000163569A

Description

【０００１】
【発明の属する技術分野】
この発明は，画像中に混入されたノイズを除去することにより画質を補正する方法および装置に関するものである。
【０００２】
【従来の技術】
図１７は例えば，画像工学の基礎（安居院猛, 中嶋正之，昭晃堂， pp.30，1988）に示された従来のノイズ除去手法である。ノイズを除去して画質補正を実行しようとするディジタル画像データに対して３画素×３画素の平均化フィルタを作用させ，画像に混入しているノイズの振幅を平均化させることにより，ノイズを目立たなくさせて画質改善を図っている。
【０００３】
また，平均化フィルタに代えて，中央値フィルタなどを作用させてノイズを除去する手法も良く知られている。
【０００４】
さらに，画像データをフーリエ変換等の直交変換により周波数領域に変換し，周波数領域においてノイズを除去するWienerフィルタ等の手法も用いられている。
【０００５】
主成分分析はデータの冗長性を削減し，オリジナルデータをより低次元で表現することが可能な手法として多くの分野で用いられている。画像処理の分野においても画像圧縮などに適用されている例があるが，ノイズ除去のために適用した例はない。
【０００６】
【発明が解決しようとする課題】
【０００７】
画像データは被写体本来の情報を表している信号の成分と，様々な理由により混入されるノイズの成分とが混在している。ノイズ成分は画質劣化の要因となるため，ノイズ除去は画質を改善するためには非常に重要な画像処理技術である。
【０００８】
従来のノイズ除去手法は平滑化フィルタに代表されるように，ノイズを信号と平均化することにより目立たなくし，その結果として観察時の画質を改善していた。しかし，厳密な意味ではノイズは除去されたのではなく，信号に隠蔽されただけである。さらに平滑化フィルタにより信号成分はエッジなどの情報を失うこととなり，これを復元させるためにエッジ強調処理を行うと，隠蔽したはずのノイズが再び顕在化し，画質改善の効果を失うばかりか，更なる画質劣化を誘発する要因ともなっていた。
【０００９】
この発明は上記のような問題点を解決するためになされたもので，ノイズが混入されて画質が劣化している画像から，鮮鋭性を損なうことなくノイズを除去し，画質を改善するするとともに，主成分分析により画像の冗長性を削減し，画像データを圧縮することを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係る画質改善方法は，画像を構成する３次元のＲＧＢ空間のディジタル値を、前記ＲＧＢ空間の単位面と同一平面内にあって前記単位面の重心を原点として直交するｐｑ座標軸および前記ＲＧＢ空間の原点と前記単位面の重心を通るｏ座標軸で表される３次元のｏｐｑ空間のディジタル値に変換するディジタル値空間変換工程と、このディジタル値空間変換工程により変換された前記ｏｐｑ空間のディジタル値を複数の色カテゴリ領域に分割する色カテゴリ領域分割工程と、この色カテゴリ領域分割工程により前記色カテゴリ領域ごとに分割された前記ディジタル値に主成分分析を適用し、該主成分分析の結果得られた第１から第３までの主成分によりディジタル画像を記述する主成分分析工程と、この主成分分析工程により得られた前記第１から第３までの主成分の前記画像に対する累積寄与率を計算する累積寄与率計算工程と、この累積寄与率計算工程により計算された前記第１から第３までの主成分の累積寄与率に基づいて、累積寄与率が予め設定された累積寄与率を越える主成分次元ｍ（１≦ｍ≦３）を選択する主成分次元選択工程と、この主成分次元選択工程により選択された前記主成分次元ｍに基づいて、前記第１から第ｍまでの主成分を用いて前記色カテゴリ領域ごとのディジタル画像を再構成する画像再構成工程と、この画像再構成工程が前記色カテゴリ領域ごとに再構成したディジタル画像を統合して補正画像を得る画像統合工程とを有するものである。
【００１９】
この発明に係る画質改善装置は，画像を構成する３次元のＲＧＢ空間のディジタル値を、前記ＲＧＢ空間の単位面と同一平面内にあって前記単位面の重心を原点として直交するｐｑ座標軸および前記ＲＧＢ空間の原点と前記単位面の重心を通るｏ座標軸で表される３次元のｏｐｑ空間のディジタル値に変換するディジタル値空間変換手段と、このディジタル値空間変換手段により変換された前記ｏｐｑ空間のディジタル値を複数の色カテゴリ領域に分割する色カテゴリ領域分割手段と、この色カテゴリ領域分割手段により前記色カテゴリ領域ごとに分割された前記ディジタル値に主成分分析を適用し、該主成分分析の結果得られた第１から第３までの主成分によりディジタル画像を記述する主成分分析手段と、この主成分分析手段により得られた前記第１から第３までの主成分の前記画像に対する累積寄与率を計算する累積寄与率計算手段と、この累積寄与率計算手段により計算された前記第１から第３までの主成分の累積寄与率に基づいて、累積寄与率が予め設定された累積寄与率を越える主成分次元ｍ（１≦ｍ≦３）を選択する主成分次元選択手段と、この主成分次元選択手段により選択された前記主成分次元ｍに基づいて、前記第１から第ｍまでの主成分を用いて前記色カテゴリ領域ごとのディジタル画像を再構成する画像再構成手段と、この画像再構成手段が前記色カテゴリ領域ごとに再構成したディジタル画像を統合して補正画像を得る画像統合手段とを有するものである。
【００２０】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１の装置の概略を示す構成図である。図１において，１は画像データ１００を入力する画像入力手段，２は画像入力手段１で入力された画像データ１００の主成分を演算する主成分分析手段，３は主成分分析手段２で分析された主成分データ２００を基に画像の再構成に用いる主成分次元数３００の選択をする主成分次元選択手段，４は主成分次元選択手段で選択された主成分次元数３００から画像データ４００を再構成する画像再構成手段である。
なお、４００は再構成された画像データである。
【００２１】
主成分分析手段２で実行する主成分分析は多変量解析手法の一種である。多変量解析手法は多変量の測定値が得られたとき，線形変換によって変量間の相関をなくし，より少ない変量によって測定対象の特徴を記述しようとする手法である。今，ある画像データの画素値を表すｋ種（ｋ≧２）の変量（１_x，２_x， … ｋ_x）がｎ組（1_xj，2_xj，…，K_xj）（j = 1，2，…，n）得られたとする。画像を記述するための新しい変量ｚを以下のようにこれらの変量ｉ_xの１次結合で表すことを考える。
ｚ= ａ₁１_x+ ａ₂２_x + … + ａ_kｋ_x ・・・ (1)
【００２２】
この時，係数ａ_i（i = 1，2，…，K）をΣａ_i ² = 1の条件のもとでｚの分布が最大になるように定めると，変量ｚは第１主成分と呼ばれれ，係数ａ = (ａ₁, ａ₂, …, ａ_k)は第１主成分ベクトルと呼ばれる。第１主成分ベクトルは分布の分散が最大の方向となる。いま，第１主成分ｚを１_z，第１主成分ベクトルａを１と書くと，第α主成分α_zおよび第α主成分ベクトルα_aは以下の２つの条件を満たすように決定される。コンピュータによる実際の演算には，ラグランジュの未定係数法などを用いる。
（条件１） α_aα_at＝ 1
（条件２）第α主成分α_zはβ_z（α≠β）と無相関で，その分散ｖ{α_z}がｖ{α_z}≧ｖ{β_z}（α≧β）を満足する。
【００２３】
図２は，２変数の場合を例としたディジタル値と主成分との関係を表している。横軸はＲデータ，縦軸はＧデータを示している。黒点は画素データを表しており，ＲＧ平面内に分布している。このような分布を持つ画像データに対して主成分分析を行うと図中に示されている第１主成分軸と第２主成分軸が得られる。各主成分は前述の通りＲＧデータの１次結合で表されている。ここに示す例では，第１主成分はその画像の持つ情報，即ち信号成分を最も良く表している変数であり，第２主成分がノイズ成分となる。黒丸で示されている画像データには信号成分とともにノイズ成分も含まれているが，第１主成分軸へ射影される事によりノイズ成分は除去される。ここに示す例の通り，画像データに対して主成分分析を適用し，ノイズ成分を多く含んでいる主成分を削除した後に画像を再構成することにより，ノイズを除去することが可能となる。
【００２４】
図２は２次元データを例として説明しているが，ディジタル画像データは一般的にＲＧＢの３次元であり，この画像データから主成分分析により計算される主成分の次元も３次元である。図２に示した例と同様に，計算された第１主成分は信号成分を最もよく表しており，第２主成分，第３主成分になるにしたがってノイズ成分が多く含まれるようになる。
【００２５】
Ｄをディジタル画像のある１画素のベクトルデータ，ｐ_iを第ｉ主成分ベクトルとすると，再構成された画素ベクトルＤ■は式(2)から(7)により求められる。
【００２６】
【数１】

【００２７】
ここで，０はゼロベクトル，ｉは削減した結果の次元であり，ｔは転置を表している。Ｐ₁は第１主成分だけを用いて画像を再構成する際に用いられる変換行列，Ｐ₂，Ｐ₃はそれぞれ第２主成分，第３主成分を用いて画像を再構成する際に用いられる変換行列である。式(2)により表される画素データは選択された主成分次元だけを用いるように式(4)から(6)のいずれかの変換行列を用いる。第１主成分だけを用いて画像を再構成するときにはi = 1となり，式(4)の変換行列が用いられる。第２主成分まで用いるならば式(5)，第３主成分までを用いるならば式(6)に示す変換行列がそれぞれ用いられる。
【００２８】
主成分次元選択手段３での、ノイズ削減のための主成分の次元を決定する方法は主成分分析手段２での演算結果である画像の主成分データ２００の累積寄与率を算出し、この累積寄与率が予め設定された累積寄与率を越えた次元までを選択する。この累積寄与率はもとの画像データの情報をどの程度表現しているかを表す指標である。
【００２９】
次に動作について説明する。画像入力手段１で入力された画像データ１００はまず主成分分析手段２により主成分が演算され，その結果として画像の主成分データ２００が算出される。この主成分データ２００はディジタル値からの１次結合として算出される。補正画像は主成分次元の選択手段３により累積寄与率を用いて定められた上位の主成分だけを用いて画像再構成手段４でディジタル値へと変換され，画像データ４００が再構成される。
【００３０】
続いて本実施の形態における効果について説明する。上位の主成分は本来画像の有している情報を記述している変数であり，以上のように，上位の主成分だけを用いて画像を再構成するようにしているので，下位の主成分に多く含まれているノイズを除去することができる。除去するのはノイズ成分だけであり，本来画像の持つエッジなどの信号は保持されるので，鮮鋭性を損なうことなくノイズを除去することが可能となり画質を改善することができる。
【００３１】
なお、ノイズ除去のためには，画像の再構成に使用する主成分の次元を決定しなければならない。しかしこの際，効果的にノイズ成分を除去するためには，削減する主成分をどのように決定するかが重要である。第３主成分までを用いて画像を再構成するとノイズ除去の効果は皆無となる。第１主成分のみを使って低次元近似を行った場合，ノイズ除去効果は高くなるが，低次元近似による情報損失も大きくなり，両者はトレードオフの関係となる。本実施の形態においては累積寄与率を用いて画像再構成に使用する主成分の次元を決定することにより，経験によらず自動的に本手法を適用してノイズを除去できる。
【００３２】
実施の形態２．
上記の実施の形態１では，画像全体に対して主成分分析を実行するようにしたものであるが，次に画像を空間的に領域分割した後に本手法を適用する実施の形態を示す。
【００３３】
図３は，このような場合の，空間的領域分割の例を示している。Ｈ画素×Ｖ画素からなる入力画像は，任意の大きさｈ画素×ｖ画素の小領域に分割される。分割された小領域に対してそれぞれ個別に実施の形態１に示す手法を適用する。
【００３４】
次に動作について説明する。まず，画質補正対象の画像を空間的に領域分割する。次に分割された各領域毎に主成分分析を適用し，実施の形態１と同様にノイズと見なす下位の主成分を削除する。最後に上位の成分を用いて各領域毎に画像データを再構成する。
【００３５】
次に効果について説明する。一般的に画像処理する時，画像劣化は画像の位置に依存せずに一様に劣化しているとの仮定に基づいて行われる。しかしながら，実際には画像入力装置のレンズ系における周辺光量の低下などの理由により，画像の位置により劣化の程度は異なっている。このような場合にも画像を空間的な小領域に分割し，各々の領域毎に適用しているため本実施の形態により画質を改善することができる。
【００３６】
実施の形態３．
上記の実施の形態２は，空間的に画像を分割したものであるが，画像を画像データの深さ方向すなわちディジタル値空間で分割し，分割された各々の領域毎に適用してもよい。
【００３７】
図４は，このような場合の，ディジタル値方向における領域分割して画質を改善する装置の概略を示す構成図である。図４において，１は画像データを入力する画像入力手段，５は画像入力手段１で入力された画像データをディジタル値方向に小領域に分割する領域分割手段、６は領域分割手段５で分割された小領域毎に画像データの主成分を演算する領域毎主成分分析手段，７は領域毎主成分分析手段６で分析された主成分データを基に画像の再構成に用いる主成分次元数の選択をする領域毎主成分次元選択手段，４は領域毎主成分次元選択手段７で選択された主成分次元数から画像データを再構成する画像再構成手段である。
【００３８】
ディジタル値方向における領域分割して画質を改善する手順は次のとおりである。まず画像入力手段１で入力された画質補正対象の画像データに対して領域分割手段５でディジタル値空間において領域分割を行う。次に，領域毎主成分分析手段６で各々の領域において主成分分析を適用した後，領域毎主成分次元選択手段７で各々の領域においてノイズを除去する。最後に，画像再構成手段４により主成分データから画像を再構成する。
なお、領域毎主成分次元選択手段７で各々の領域におけるノイズを除去する方法は実施の形態１で述べた方法と同様である。
【００３９】
図５は例として，２次元データに対して行った領域分割を用いた主成分分析の模式図である。横軸はＲデータ，縦軸はＧデータであり，黒点は画素データである。画像には人物や背景などの様々な物体が含まれているため，画素データはＲＧ平面で物体毎にいくつかの集合をなすように分布する。図５では例として２つの集合が示されている。これらの集合をディジタル値空間において異なる領域として分割し，各々の領域において主成分分析を適用した結果として得られた主成分が図中に示されている。領域１における第１主成分がＰ₁₁，第２主成分がＰ₁₂であり，領域２における第１主成分がＰ₂₁，第２主成分がＰ₂₂である。
【００４０】
ＲＧＢ３チャネルで構成される画像データに対しても同様にディジタル値空間において領域分割を行うことができる。カラー画像の領域分割には様々な手法が用いられているが，ここではディジタルＲＧＢ値に基づいて入力画像をRed，Green，Blue，Skin，Gray，Blackの６つの色カテゴリへ領域分割し，その後，各カテゴリにおいて主成分分析を行う例を挙げる。
【００４１】
ディジタル値空間における領域分割はＲＧＢ値から次式によりｏｐｑ値へと変換して行われる。
【００４２】
【数２】

【００４３】
この変換により得られたｐｑ座標軸はＲＧＢディジタル値空間の単位面と同一平面内にあり，単位面の重心を原点として直交している。ｏ軸はＲＧＢ空間の原点と単位面の重心を通っている。このｏｐｑ座標系を用いた領域分割は以下の手順で行われる。まず原点から単位面の各辺への垂線を境界としてRed，Green，Blueの領域を決定する。また，単位面の重心，即ち原点を中心とした半径rg内の領域をGray領域とし，Gray領域内でｏ≦K_thとなる領域をBlack領域とする。最後に，予め統計的に定められた肌色領域を近似する確率楕円内の領域をSkin領域とする。以上の手法により，入力画像は６つの色カテゴリへと領域分割される。図６は，このような場合の，ディジタル値方向における領域分割の説明図である。図７はディジタル値空間において分割された領域の例を示している。
【００４４】
次に動作について説明する。図８は領域分割を用いた場合の手順を説明している図である。まず，入力された画像データが上記手法により図示のようにＳ個の領域に分割される。次に，分割された各々の領域において主成分分析を行い，続いてノイズ成分を削除して画像を再構成する。最後に，各領域を統合して補正画像を得る。
【００４５】
続いて効果について説明する。一般的に，画像には多くの被写体が含まれているが，画像データ全体に対して主成分分析を行うのではなく，小領域に分割した後に行う方がより低次元で元の情報を表すことができる。低次元で近似できることは，すなわちノイズ除去の効果が高いことを意味している。
【００４６】
例えば，Red領域における第１主成分は赤軸とみなすことができる。この赤軸からずれているほどノイズである可能性が高くなる。
【００４７】
実施の形態４．
画像の領域分割を行う際には，画像の有する統計的性質や，画像中の被写体の形状などの特徴量を用いることにより適応的に領域分割を行うことが可能となり，ノイズ除去の効果を向上させることが可能となる。
【００４８】
実施の形態４の構成は図４に示す前記実施の形態３の構成図と同様である。前記実施の形態３では、領域分割手段５は入力画像データをディジタル値方向に小領域に分割したが、実施の形態４では画像の有する統計的性質や，画像中の被写体の形状などの特徴量を用いて小領域に分割する
【００４９】
次に動作について説明する。図９は，このような場合の，形状を考慮した領域分割の手順である。まず画像入力手段１で画像データを入力する（Ｓ１）。次に入力された画質補正対象の画像データに対して領域分割手段５で形状等に着目して小領域に領域分割を行う（Ｓ２）。続いて，領域毎主成分分析手段６で各々の領域において主成分分析を適用し（Ｓ３）た後，領域毎主成分次元選択手段７で各々の領域においてノイズを除去する（Ｓ４）。最後に，画像再構成手段４により選択された主成分だけを用いて画像を再構成する（Ｓ５）。
【００５０】
形状等に着目した領域分割は，例えば画像データからエッジ検出オペレータを作用させることにより画像のエッジを抽出し，抽出されたエッジで作られる閉領域を一つの領域とするなどの手法を用いる。これを画像全体に対して適用し，必要に応じて孤立点除去等の処理を行う。
【００５１】
テクスチャに着目した領域分割も有効である。テクスチャは閉領域における統計的性質に基づいて判別することができ，領域分割に際して同一の統計的性質を有する領域は同一のテクスチャを有する領域として空間的に隣接していなくても同一領域として分類する。図１０は，このような場合の，形状を考慮した行われた領域分割の例である。
【００５２】
続いて効果について説明する。形状等の特徴を用いることにより領域分割の精度を向上させることができるため，画質を改善することが可能となる。
【００５３】
実施の形態５．
実施の形態３では画像データを構成している３つのディジタル値を用いて領域分割を行ったが，所定の手段を用いてディジタル値空間から色空間へ変換し，この色空間において画像を分割する方法について説明する。
【００５４】
図１１は，実施の形態５による装置の概略を示す構成図である。図１１において，１は画像データを入力する画像入力手段，８は入力画像データを所定の手法により色空間へと変換する色空間変換手段、５は変換された色空間において領域分割を行い小領域に分割する領域分割手段、６は領域分割手段５で分割された小領域毎に画像データの主成分を演算する領域毎主成分分析手段，７は領域毎主成分分析手段６で分析された主成分データを基に画像の再構成に用いる主成分次元数の選択をする領域毎主成分次元選択手段，９はディジタル値空間に変換するディジタル値空間変換手段、４は領域毎主成分次元選択手段７で選択され、ディジタル値空間変換手段９によりディジタル値に変換された主成分次元数から画像データを再構成する画像再構成手段である。
【００５５】
次に動作について説明する。図１２は，このような場合の，色空間への変換手順を示している。ここでは色空間として三刺激値ＸＹＺ空間を考える。三刺激値ＸＹＺは国際照明委員会によって定められた表色のための空間である。まず画像データを構成しているＲ，Ｇ，Ｂのディジタル値から，式(12)に示されるモニタの特性式を用いて各原色の発光輝度Ｌ_R，Ｌ_G，Ｌ_Bを算出する。式(12)において，k_r1，k_g1，k_b1はディジタル値と発光輝度とを近似する曲線の回帰係数である。続いて式(13)に示される加法混色モデルを用いて，各原色の発光輝度から三刺激値Ｘ，Ｙ，Ｚへ変換する。式(13)において，ｍ₁₁からｍ₃₃までの係数はモニタの原色の三刺激値から決定される係数である。
【００５６】
【数３】

【００５７】
ディジタル値空間から三刺激値空間への変換は，式(12)および(13)に示される通り，画像表示装置の赤，緑，青の各原色の三刺激値と，各原色におけるディジタル値に対する発光輝度との関係から定式化することができる。必要に応じて，数式によらずルックアップテーブルを用いてディジタル値から三刺激値への変換を行ってもよい。
【００５８】
続いて効果について説明する。ディジタル値は画像装置の駆動信号であるため，色情報を直接与えるものではなく，そのためのパラメータにすぎない。三刺激値は色を表すための変数であるため，三刺激値を用いることにより人間の視覚に基づいた領域分割を行うことができる。このため，人間の視覚に合致するように画質を改善することが可能となる。
【００５９】
実施の形態６．
主成分次元選択手段において，分割された各々の領域において個別に決定するか，あるいは一様に決定するかを選択できるように構成してもよい。図１３は，このような場合の，画像再構成に用いる主成分次元を各領域毎に決定する手段の構成図である。
【００６０】
図１３において，１は画像データを入力する画像入力手段，５は画像入力手段１で入力された画像データを小領域に分割する領域分割手段、６は領域分割手段５で分割された小領域毎に画像データの主成分を演算する領域毎主成分分析手段，１０は画像データ全体に同一の主成分次元を用いるか、領域毎に主成分次元を選択するか切替える主成分次元選択切替手段、７は領域毎主成分分析手段６で分析された主成分データを基に画像の再構成に用いる主成分次元数を領域毎に選択する領域毎主成分次元選択手段，１１は画像データ全体に用いる同一の主成分次元数を選択する一括主成分次元選択手段，４は領域毎主成分次元選択手段７又は一括主成分次元選択手段１１で選択された主成分次元数から画像データを再構成する画像再構成手段である。
【００６１】
領域毎主成分次元選択手段７は領域毎に累積寄与率を算出し、オペレータにより入力されるか，あるいは予め設定された累積寄与率の閾値と比較し，閾値を越えたところまでの主成分次元を用いる。
【００６２】
続いて効果について説明する。画像には非常に様々な情報が含まれており，領域分割を行ったとしても各々の領域毎に信号成分とノイズ成分の存在比率は異なる。したがって領域毎に再構成のための主成分次元を決定することにより，画像に適応したノイズ除去ができるようになり画質が改善される。
一括して主成分次元を決定する場合には、領域毎に主成分次元を決定する必要がなく簡易に主成分次元を決定することができる。一括して主成分次元を決定する場合においても領域分割を行うことにより画質を改善することができる。
【００６３】
実施の形態７．
本方法では画像を信号成分とノイズ成分とに分離し，ノイズ成分だけを除去している。このためこの方法により信号は劣化しないため，本方法を他の画質改善の前処理あるいは後処理として作用させることにより画質を改善することが可能となる。図１４は，このような場合の，本方法を前処理として適用している手順である。
【００６４】
次に動作について説明する。画像データを入力する（Ｓ１）。入力された画像データに対して主成分分析を行い（Ｓ３），画像の再構成に用いる主成分次元数を選択する（Ｓ４）。選択された主成分だけを用いてノイズを除去して画像を再構成する（Ｓ５）。その後，エッジ強調処理を適用する（Ｓ６）。
【００６５】
続いて効果について説明する。一般的な画像では，ノイズ混入とともに画像の鮮鋭性も損なわれているため，ノイズ除去と鮮鋭化の両立が望まれる。しかし，従来の手法ではノイズを除去するために鮮鋭性が劣化し，本来の鮮鋭性劣化と相乗して著しく鮮鋭性を損なっていた。これを改善するためには強度のエッジ強調処理が必要である。本手法では，ノイズ除去に伴う鮮鋭性の低下が発生しないため，本手法を適用した後にエッジ強調を行うことで，ノイズが強調されることなく画質を改善することが可能となる。
【００６６】
実施の形態８．
領域毎に本方法を適用する際には，領域分割が適切に行われなければならない。特に，ランダムドット状のノイズが混入しているときには，それを信号と見なすかノイズと見なすかが画質改善結果に影響を及ぼす。本画質改善方法では，領域分割に際してのみ劣化画像に対して平滑化処理等を行っても，実際のノイズ除去は本手法によれば鮮鋭性を劣化させない。図１５は，このような場合の，領域分割のために平滑化処理を行う装置の概略を示す構成図である。
【００６７】
図１５において，１は画像データを入力する画像入力手段，１２は画像入力手段１で入力された画像データの劣化画像に対して平滑化処理を行う平滑化処理手段、１３は平滑化された画像データに対して前記実施の形態のいずれかの手法で領域分割を行う領域分割手段、１４は領域分割手段１３で分割された各画素位置における領域をラベリングし、記憶するラベリング手段、６は領域分割手段１３で分割された小領域毎にラベリング手段１４で処理されたラベリンを基に画像入力手段１で入力された画像データの主成分を演算する領域毎主成分分析手段，７は領域毎主成分分析手段６で分析された主成分データを基に画像の再構成に用いる主成分次元数の選択をする領域毎主成分次元選択手段，４は領域毎主成分次元選択手段７で選択された主成分次元数から画像データを再構成する画像再構成手段である。
【００６８】
次に動作について説明する。入力された劣化画像に対して平滑化処理を行う。平滑化された画像データに対して前記実施の形態のいずれかの手法で領域分割を行い，各画素位置における領域を記憶する。同じ領域として分割された平滑化前の画像データから領域の属する画素の集合を作成し，各々の集合毎に主成分分析を適用する。
【００６９】
続いて効果について説明する。本画質改善手法では鮮鋭性を劣化させないという特徴を活かし，領域分割のためだけに平滑化処理を行う。その結果，ランダムドット状のノイズに影響されることなく，適切な領域分割が可能となり，ノイズを除去することができる。
【００７０】
実施の形態９．
実施の形態１から実施の形態８に記載の画質改善方法を反復して適用することによりノイズ除去の効果を高めることができる。図１６は，このような場合の，反復して本方法を適用する際の手順である。
【００７１】
次に動作について説明する。画像データを入力する（Ｓ１）。入力された画像データに対して主成分分析を行い（Ｓ３），画像の再構成に用いる主成分次元数を選択する（Ｓ４）。選択された主成分だけを用いてノイズを除去して画像を再構成する（Ｓ５）。この（Ｓ５）の結果を新たな入力画像と見なして，本画質改善方法を反復して実行する。このとき，反復毎に領域分割の方法を代えてもよい。この反復は予め設定された評価値を満たすまで繰り返される。評価値としては原画像と補正画像の平均二乗誤差や，累積寄与率などを用いてもよい。
なお、画質改善方法は実施の形態１から実施の形態８の方法を適用する。
【００７２】
続いて効果について説明する。入力画像は一般的にＲＧＢの３次元データであり，この画像の主成分は同様に３次元まで算出される。したがって，ノイズを除去するには第１主成分を用いるか，あるいは第２主成分までを用いるかして画像を再構成する。しかし，混入されているノイズが複雑に作用しているならば，１回だけ本方法を適用してもノイズを十分に除去できない場合がある。このような場合には，本方法を反復して適用することでノイズ除去の効果を高めることができる。反復して本方法を適用しても，本方法は鮮鋭性を劣化させない。
【００７３】
【発明の効果】
以上のように，この発明によれば、画像データを信号成分とノイズ成分とに分離し，本来画像の有している情報を記述している変数である上位の主成分だけを用いて画像を再構成するようにしているので，下位の主成分に多く含まれているノイズを除去することができる。除去するのはノイズ成分だけであり，本来画像の持つエッジなどの信号は保持されるので，鮮鋭性を損なうことなくノイズを除去することが可能となり画質を改善することができる。
【００７４】
また，ノイズは信号に隠蔽されるのではないため，エッジ強調処理などの他の画像処理方法と本方法とを併用することに弊害は生じない。
【００８０】
この発明によれば、画像の再構成に使用する主成分の次元を決定に累積寄与率を用いて画像再構成に使用する主成分の次元を決定することにより，経験によらず自動的に本手法を適用してノイズを除去できる。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示す概略構成図。
【図２】実施の形態１における２変数の場合を例としたディジタル値と主成分との関係を表す説明図。
【図３】実施の形態２における画像を空間的に領域分割例を示す説明図。
【図４】実施の形態３における画像をディジタル値方向に領域分割する手順を示す説明図。
【図５】２次元データに対する領域分割を用いた主成分分析の模式図。
【図６】ディジタル値方向における領域分割の説明図。
【図７】ディジタル値空間における分割された領域例を示す説明図。
【図８】実施の形態３における領域分割を用いた手順を示す説明図。
【図９】実施の形態４における形状を考慮した領域分割を用いた手順を示す説明図。
【図１０】実施の形態４における形状を考慮した領域分割例の説明図。
【図１１】実施の形態５におけるディジタル値空間から変換した色空間における領域分割の手順を示す説明図。
【図１２】実施の形態５におけるディジタル値空間から色空間への変換手順を示す説明図。
【図１３】実施の形態６における画像再構成に用いる主成分次元を各領域毎に決定する概略構成図。
【図１４】実施の形態７におけるエッジ強調処理の前処理に適用する手順を示す説明図。
【図１５】実施の形態８における領域分割に平滑化処理を行う手法の手順を示す説明図。
【図１６】実施の形態９における画質改善手法を反復して適用する際の手順を示す説明図。
【図１７】従来のノイズ除去手法の説明図である。
【符号の説明】
１：画像入力手段，２：主成分分析手段，３：主成分次元選択手段，
４：画像再構成手段、５：領域分割手段、６：領域毎主成分分析手段，
７：領域毎主成分次元選択手段，８：色空間変換手段、
９：ディジタル値空間変換手段、１０：主成分次元選択切替手段、
１１：一括主成分次元選択手段，１２：平滑化処理手段、１３：領域分割手段、
１４：ラベリング手段、
１００：画像データ、２００：主成分データ、３００：主成分次元数、
４００：画像データ。

Claims

画像を構成する３次元のＲＧＢ空間のディジタル値を、前記ＲＧＢ空間の単位面と同一平面内にあって前記単位面の重心を原点として直交するｐｑ座標軸および前記ＲＧＢ空間の原点と前記単位面の重心を通るｏ座標軸で表される３次元のｏｐｑ空間のディジタル値に変換するディジタル値空間変換工程と、
このディジタル値空間変換工程により変換された前記ｏｐｑ空間のディジタル値を複数の色カテゴリ領域に分割する色カテゴリ領域分割工程と、
この色カテゴリ領域分割工程により前記色カテゴリ領域ごとに分割された前記ディジタル値に主成分分析を適用し、該主成分分析の結果得られた第１から第３までの主成分によりディジタル画像を記述する主成分分析工程と、
この主成分分析工程により得られた前記第１から第３までの主成分の前記画像に対する累積寄与率を計算する累積寄与率計算工程と、
この累積寄与率計算工程により計算された前記第１から第３までの主成分の累積寄与率に基づいて、累積寄与率が予め設定された累積寄与率を越える主成分次元ｍ（１≦ｍ≦３）を選択する主成分次元選択工程と、
この主成分次元選択工程により選択された前記主成分次元ｍに基づいて、前記第１から第ｍまでの主成分を用いて前記色カテゴリ領域ごとのディジタル画像を再構成する画像再構成工程と、
この画像再構成工程が前記色カテゴリ領域ごとに再構成したディジタル画像を統合して補正画像を得る画像統合工程と
を有することを特徴とする画質改善方法。
画像を構成する３次元のＲＧＢ空間のディジタル値を、前記ＲＧＢ空間の単位面と同一平面内にあって前記単位面の重心を原点として直交するｐｑ座標軸および前記ＲＧＢ空間の原点と前記単位面の重心を通るｏ座標軸で表される３次元のｏｐｑ空間のディジタル値に変換するディジタル値空間変換手段と、
このディジタル値空間変換手段により変換された前記ｏｐｑ空間のディジタル値を複数の色カテゴリ領域に分割する色カテゴリ領域分割手段と、
この色カテゴリ領域分割手段により前記色カテゴリ領域ごとに分割された前記ディジタル値に主成分分析を適用し、該主成分分析の結果得られた第１から第３までの主成分によりディジタル画像を記述する主成分分析手段と、
この主成分分析手段により得られた前記第１から第３までの主成分の前記画像に対する累積寄与率を計算する累積寄与率計算手段と、
この累積寄与率計算手段により計算された前記第１から第３までの主成分の累積寄与率に基づいて、累積寄与率が予め設定された累積寄与率を越える主成分次元ｍ（１≦ｍ≦３）を選択する主成分次元選択手段と、
この主成分次元選択手段により選択された前記主成分次元ｍに基づいて、前記第１から第ｍまでの主成分を用いて前記色カテゴリ領域ごとのディジタル画像を再構成する画像再構成手段と、
この画像再構成手段が前記色カテゴリ領域ごとに再構成したディジタル画像を統合して補正画像を得る画像統合手段と
を有することを特徴とする画質改善装置。