JP6423162B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6423162B2 JP6423162B2 JP2014049505A JP2014049505A JP6423162B2 JP 6423162 B2 JP6423162 B2 JP 6423162B2 JP 2014049505 A JP2014049505 A JP 2014049505A JP 2014049505 A JP2014049505 A JP 2014049505A JP 6423162 B2 JP6423162 B2 JP 6423162B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- noise
- quantization
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 249
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000013139 quantization Methods 0.000 claims description 146
- 238000012937 correction Methods 0.000 claims description 143
- 230000000694 effects Effects 0.000 claims description 135
- 238000000034 method Methods 0.000 claims description 113
- 230000008569 process Effects 0.000 claims description 108
- 238000011156 evaluation Methods 0.000 claims description 106
- 238000004364 calculation method Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000000873 masking effect Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 50
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 230000006866 deterioration Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
フィルタ18は、マクロブロック内の各画素の画素値をCURR(i,j)として、下記式(1)で示される演算を行うことにより、各画素の重み付き平均値GAUS(i,j)を算出する。
演算部19は、下記式(2)で示される演算を行うことにより、各画素の画素値CURR(i,j)と、各画素の重み付き平均値GAUS(i,j)との差分絶対値和を算出する。そして、下記式(3)で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎のノイズ値NOISE(MB)を算出する。
図3は、設定部21による量子化値QP(PIC)の設定処理を説明するための図である。演算部19は、入力画像内の全てのマクロブロックに関するノイズ値NOISE(MB)の平均値として、ノイズ値NOISE(PIC)を算出する。設定部21は、ノイズ値NOISE(PIC)毎の最適な量子化値QP(PIC)を記述したルックアップテーブルを保持している。設定部21は、重み付き平均値GAUS(i,j)と画素数とのヒストグラム内における、重み付き平均値GAUS(i,j)の分布範囲で、当該ルックアップテーブルを正規化する。そして、正規化後のルックアップテーブルを用いることにより、ノイズ値NOISE(PIC)に対応する量子化値を、入力画像に関する量子化値QP(PIC)として設定する。図3に示すように、設定部21は、ノイズ値NOISE(PIC)が高いほど高い量子化値QP(PIC)を設定する。
図4〜8は、設定部23によるスケーリングマトリクスSM(PIC)の設定処理を説明するための図である。まず設定部23は、設定部21と同様の手法によって量子化値QP(PIC)を求める。
画像処理装置1においては、8行×8列のマクロブロックに対して、4画素ずらした位置から次のマクロブロックを抽出して画像データD1とすることにより、マクロブロックのオーバーラップ処理が行われる。なお、画素のずらし幅は4画素に限らず、任意のずらし幅を設定することができる。ずらし幅が小さくなるほど、処理時間は長くなるが、画質は向上する。
演算部20は、下記式(4)で示される演算を行うことにより、重み付き平均値のマクロブロック内平均値AVE_BLKを算出する。次に、下記式(5)で示される演算を行うことにより、各画素の重み付き平均値GAUS(i,j)と、ブロック内平均値AVE_BLKとの差分絶対値和を算出する。そして、下記式(6)で示される演算を行うことにより、当該差分絶対値和のマクロブロック内平均値として、マクロブロック毎の活発性評価値ACT(MB)を算出する。
図10は、設定部22による量子化値QP(MB)の第1の設定処理を説明するための図である。設定部22は、量子化値QP(PIC)と活発性評価値ACT(MB)とに基づいて、量子化値QP(MB)を設定する。設定部22は、活発性評価値ACT(MB)毎の最適な量子化値QP(MB)を記述したルックアップテーブルを保持している。図10の(A)及び(B)に示すように、設定部22は、活発性評価値ACT(MB)とマクロブロック数とのヒストグラム内における、活発性評価値ACT(MB)の分布範囲で、当該ルックアップテーブルを正規化する。図10の(B)に示すように、当該ルックアップテーブルによると、活発性評価値ACT(MB)が高いほど低い量子化値QP(MB)が設定される。また、図10の(C)に示すように、設定部22は、量子化値QP(PIC)を中心として、量子化値QP(PIC)よりも値ΔHだけ大きい上限量子化値QPHと、量子化値QP(PIC)よりも値ΔLだけ小さい下限量子化値QPLとを設定する。そして、設定部22は、図10の(B)の量子化値QP(MB)が上限量子化値QPHを超えるマクロブロック、つまり活発性評価値ACT(MB)が低レベル(値A1未満)のマクロブロックに関しては、上限量子化値QPHを量子化値QP(MB)として設定する。また、図10の(B)の量子化値QP(MB)が上限量子化値QPH以下かつ下限量子化値QPL以上のマクロブロック、つまり活発性評価値ACT(MB)が中レベル(値A1以上かつ値A2以下)のマクロブロックに関しては、図10の(B)の量子化値QP(MB)をそのまま量子化値QP(MB)として設定する。また、図10の(B)の量子化値QP(MB)が下限量子化値QPL未満のマクロブロック、つまり活発性評価値ACT(MB)が高レベル(値A2超)のマクロブロックに関しては、下限量子化値QPLを量子化値QP(MB)として設定する。
図11は、設定部22による量子化値QP(MB)の第2の設定処理を説明するための図である。設定部22は、量子化値QP(PIC)とノイズ値NOISE(MB)とに基づいて、量子化値QP(MB)を設定する。設定部22は、下記式(7)で示される演算を行うことにより、ノイズ値NOISE(MB)に基づいて量子化値QP(MB)を算出する。図11に示すように、設定部22は、ノイズ値NOISE(MB)が高いほど高い量子化値QP(MB)を設定する。
図13〜15は、設定部24によるスケーリングマトリクスSM(MB)の設定処理を説明するための図である。設定部24は、スケーリングマトリクスSM(PIC)と活発性評価値ACT(MB)とに基づいて、スケーリングマトリクスSM(MB)を設定する。
演算部19は、入力画像内の全てのマクロブロックに関するノイズ値NOISE(MB)の平均値として、ノイズ値NOISE(PIC)を算出し、当該ノイズ値NOISE(PIC)をCPU2に入力する。また、演算部20は、入力画像内の全てのマクロブロックに関する活発性評価値ACT(MB)の平均値として、活発性評価値ACT(PIC)を算出し、当該活発性評価値ACT(PIC)をCPU2に入力する。
上記実施の形態では、量子化値QP(PIC)及び量子化値QP(MB)の双方に基づいて量子化値を設定し、スケーリングマトリクスSM(PIC)及びスケーリングマトリクスSM(MB)の双方に基づいて補正値を設定したが、量子化値QP(PIC)のみに基づいて量子化値を設定し、スケーリングマトリクスSM(PIC)のみに基づいて補正値を設定することもできる。
上記実施の形態では、量子化値QP(PIC)及び量子化値QP(MB)の双方に基づいて量子化値を設定し、スケーリングマトリクスSM(PIC)及びスケーリングマトリクスSM(MB)の双方に基づいて補正値を設定したが、量子化値QP(MB)のみに基づいて量子化値を設定し、スケーリングマトリクスSM(MB)のみに基づいて補正値を設定することもできる。
上記実施の形態では、入力画像の各色成分に対して独立にノイズ除去処理を実行したが、全て(又は一部の複数)の色成分に対して統合的なノイズ除去処理を行うこともできる。
上記実施の形態では、専用LSI等のハードウェアによって画像処理装置1を構成する例について説明したが、ROM等の記録媒体に記録されたプログラムをCPU2が読み出して実行することにより、画像処理装置1と同様の機能をCPU2がソフトウェア処理によって実現する構成としても良い。
上記実施の形態に係る画像処理装置1及び上記第1の変形例に係る画像処理装置1によれば、設定部21(第1の量子化値設定部)は、入力画像全体のノイズ値NOISE(PIC)に基づいて入力画像毎の量子化値QP(PIC)(第1の量子化値)を設定し、量子化部12は、画像データD2(第2画像データ)に対して量子化処理を実行することにより画像データD3(第3画像データ)を生成する。このように、入力画像全体のノイズ値NOISE(PIC)に基づいて設定した量子化値QP(PIC)を用いて量子化処理を実行することにより、入力画像全体のノイズレベルに応じて適切なノイズ除去処理を実行することができる。その結果、画質の劣化を回避しつつ高いノイズ除去効果を実現することが可能となる。また、ノイズ除去効果の向上を企図して空間フィルタを複数回適用する場合と比較すると、処理時間を短縮できるとともに、中間値を格納するテンポラルメモリが不要となるため回路規模を削減することが可能となる。
11 変換部
12 量子化部
13 補正部
17 設定部
18 フィルタ
19,20 演算部
21〜24 設定部
Claims (20)
- 入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理装置であって、
入力画像から所定のブロック単位で抽出した空間領域の第1画像データを、複数の周波数成分を含む周波数領域の第2画像データに変換する変換部と、
第2画像データに対して量子化処理を実行することにより、第3画像データを生成する量子化部と、
第1画像データに基づいて、ブロック毎のノイズ値を算出する第1の演算部と、
入力画像全体のノイズ値に基づいて、量子化処理に用いる入力画像毎の第1の量子化値を設定する第1の量子化値設定部と、
を備える、画像処理装置。 - 第3画像データに対して周波数成分毎に補正処理を実行することにより、第4画像データを生成する補正部と、
入力画像全体の第2画像データに基づいて、補正処理に用いる入力画像毎の第1の補正値を設定する第1の補正値設定部と、
をさらに備える、請求項1に記載の画像処理装置。 - 各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記第1の演算部は、各画素の画素値と、各画素の平滑値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎のノイズ値を算出する、請求項1又は2に記載の画像処理装置。 - 前記第1の量子化値設定部は、ノイズ値が高いほど高い第1の量子化値を設定する、請求項1〜3のいずれか一つに記載の画像処理装置。
- 第1画像データに基づいて、ブロック毎の活発性評価値を算出する第2の演算部と、
第1の量子化値と、ブロック毎の活発性評価値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する第2の量子化値設定部と、
をさらに備える、請求項1〜4のいずれか一つに記載の画像処理装置。 - 各画素の画素値と、当該画素に隣接する複数の周辺画素の画素値とに基づいて、各画素の平滑値を算出する平滑化処理部をさらに備え、
前記第2の演算部は、各画素の平滑値と、平滑値のブロック内平均値との差分絶対値和を算出し、当該差分絶対値和のブロック内平均値として、ブロック毎の活発性評価値を算出する、請求項5に記載の画像処理装置。 - 前記第2の量子化値設定部は、
活発性評価値が低レベルのブロックに関しては、第1の量子化値より高い量子化値を、第2の量子化値として設定し、
活発性評価値が高レベルのブロックに関しては、第1の量子化値より低い量子化値を、第2の量子化値として設定する、請求項5又は6に記載の画像処理装置。 - 第1の量子化値と、ブロック毎のノイズ値とに基づいて、量子化処理に用いるブロック毎の第2の量子化値を設定する第2の量子化値設定部をさらに備える、請求項1〜4のいずれか一つに記載の画像処理装置。
- 前記第2の量子化値設定部は、第1の量子化値を上限値として、ノイズ値が高いほど高い第2の量子化値を設定する、請求項8に記載の画像処理装置。
- 前記第1の補正値設定部は、入力画像における周波数成分値間の比率が、ノイズを含まない理想画像における周波数成分値間の比率に等しくなるように、入力画像における各周波数成分値を変換するための変換値を、第1の補正値として設定する、請求項2に記載の画像処理装置。
- 第1画像データに基づいて、ブロック毎の活発性評価値を算出する第2の演算部と、
第1の補正値と、ブロック毎の活発性評価値とに基づいて、補正処理に用いるブロック毎の第2の補正値を設定する第2の補正値設定部と、
をさらに備える、請求項2又は10に記載の画像処理装置。
- 前記第2の補正値設定部は、
周波数成分別に任意の乗数が設定されたマスクを、活発性評価値に応じて複数種類保持しており、
前記第2の演算部によって算出された活発性評価値に対応するマスクを用いて第1の補正値のマスキングを行うことによって、第2の補正値を設定する、請求項11に記載の画像処理装置。 - 前記第2の補正値設定部は、
活発性評価値が低レベルのブロックに関しては、低周波成分においては第1の補正値を第2の補正値として設定し、中周波成分及び高周波成分においては略ゼロ値を第2の補正値として設定し、
活発性評価値が中レベルのブロックに関しては、低周波成分及び中周波成分においては第1の補正値を第2の補正値として設定し、高周波成分においては略ゼロ値を第2の補正値として設定し、
活発性評価値が高レベルのブロックに関しては、低周波成分、中周波成分、及び高周波成分において第1の補正値を第2の補正値として設定する、請求項12に記載の画像処理装置。 - 入力画像全体のノイズ値と、入力画像全体の活発性評価値とに基づいて、ノイズ除去処理の実行の要否を判定する判定部をさらに備える、請求項1〜13のいずれか一つに記載の画像処理装置。
- 前記判定部は、入力画像全体のノイズ値を、入力画像全体の活発性評価値で除算することによってノイズ強度を算出し、当該ノイズ強度が所定のしきい値未満である場合にはノイズ除去処理の実行を不要と判定し、当該ノイズ強度が当該しきい値以上である場合にはノイズ除去処理の実行を必要と判定する、請求項14に記載の画像処理装置。
- 前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、
出力画像のうち複数のブロックが重複する画像部分については、重複する複数のブロックから求めた最適値が当該画像部分の画像データとして出力される、請求項1〜15のいずれか一つに記載の画像処理装置。 - 前記変換部及び前記量子化部は、入力画像から部分的に重複するように抽出された複数のブロックに関して順次に処理を行い、
出力画像のうち複数のブロックが重複する画像部分については、今回のブロックに関する処理における当該画像部分の出力データが、次回のマクロブロックに関する処理における当該画像部分の入力データとして使用される、請求項1〜15のいずれか一つに記載の画像処理装置。 - 入力画像は複数の色成分を有し、
前記画像処理装置は、各色成分に対して独立にノイズ除去処理を実行する、請求項1〜17のいずれか一つに記載の画像処理装置。 - 入力画像は複数の色成分を有し、
前記画像処理装置は、複数の色成分に対して統合的にノイズ除去処理を実行する、請求項1〜17のいずれか一つに記載の画像処理装置。 - 入力画像に対してノイズ除去処理を実行することにより、出力画像を生成する画像処理方法であって、
入力画像から所定のブロック単位で抽出した空間領域の第1画像データを、複数の周波数成分を含む周波数領域の第2画像データに変換するステップと、
第2画像データに対して量子化処理を実行することにより、第3画像データを生成するステップと、
第1画像データに基づいて、ブロック毎のノイズ値を算出するステップと、
入力画像全体のノイズ値に基づいて、量子化処理に用いる入力画像毎の第1の量子化値を設定するステップと、
を備える、画像処理方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049505A JP6423162B2 (ja) | 2014-03-12 | 2014-03-12 | 画像処理装置及び画像処理方法 |
US14/636,794 US9552628B2 (en) | 2014-03-12 | 2015-03-03 | Image processor |
US15/388,821 US9881361B2 (en) | 2014-03-12 | 2016-12-22 | Image processing method |
US15/388,959 US9916642B2 (en) | 2014-03-12 | 2016-12-22 | Image processor |
US15/874,346 US20180144445A1 (en) | 2014-03-12 | 2018-01-18 | Image processor |
US15/874,303 US10395344B2 (en) | 2014-03-12 | 2018-01-18 | Image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014049505A JP6423162B2 (ja) | 2014-03-12 | 2014-03-12 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015176161A JP2015176161A (ja) | 2015-10-05 |
JP6423162B2 true JP6423162B2 (ja) | 2018-11-14 |
Family
ID=54255361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014049505A Expired - Fee Related JP6423162B2 (ja) | 2014-03-12 | 2014-03-12 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6423162B2 (ja) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0563989A (ja) * | 1991-08-30 | 1993-03-12 | Fuji Xerox Co Ltd | 画像信号の符号化装置 |
JPH066748A (ja) * | 1992-06-19 | 1994-01-14 | Ricoh Co Ltd | デジタル電子スチルカメラ |
JPH0638189A (ja) * | 1992-07-15 | 1994-02-10 | Matsushita Electric Ind Co Ltd | 画像符号化方法 |
JPH0715631A (ja) * | 1993-06-29 | 1995-01-17 | Nippon Telegr & Teleph Corp <Ntt> | 画像信号雑音除去方法および装置 |
US5729631A (en) * | 1993-11-30 | 1998-03-17 | Polaroid Corporation | Image noise reduction system using a wiener variant filter in a pyramid image representation |
JP4020966B2 (ja) * | 1995-12-21 | 2007-12-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像内のノイズ減少方法 |
JP3209171B2 (ja) * | 1998-01-08 | 2001-09-17 | 日本電気株式会社 | 動画像符号化装置 |
JP2002099912A (ja) * | 2000-09-21 | 2002-04-05 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法,画像処理装置および画像処理プログラム記録媒体 |
JP3880862B2 (ja) * | 2002-01-29 | 2007-02-14 | 富士フイルムホールディングス株式会社 | 撮像装置 |
KR100584552B1 (ko) * | 2003-01-14 | 2006-05-30 | 삼성전자주식회사 | 동영상 부호화 및 복호화 방법과 그 장치 |
JP4074323B2 (ja) * | 2006-09-05 | 2008-04-09 | オリンパス株式会社 | 再生システムおよび再生プログラム |
JP5091880B2 (ja) * | 2009-01-16 | 2012-12-05 | 日本放送協会 | 動画像ノイズ除去装置および動画像ノイズ除去プログラム |
-
2014
- 2014-03-12 JP JP2014049505A patent/JP6423162B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015176161A (ja) | 2015-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4290193B2 (ja) | 画像処理装置 | |
JP2008511048A (ja) | 画像処理方法、及び画像処理用コンピュータソフトウェア | |
US9014503B2 (en) | Noise-reduction method and apparatus | |
JP2009071621A (ja) | 画像処理装置及びデジタルカメラ | |
JP2005167399A (ja) | 画像ノイズ除去方法 | |
JP4066367B2 (ja) | 画像ノイズ除去方法 | |
JP4641784B2 (ja) | 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム | |
JP2006140818A (ja) | 画像ノイズ除去方法 | |
JP5701640B2 (ja) | 画像処理装置 | |
KR101456445B1 (ko) | Hsv 색상 공간에서 영상의 안개 제거 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 | |
US10395344B2 (en) | Image processing method | |
Albu et al. | One scan shadow compensation and visual enhancement of color images | |
JP2011015277A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体 | |
JP6423162B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6378903B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6423163B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6624061B2 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
WO2017098832A1 (ja) | 画像処理装置及びプログラム | |
US9154716B2 (en) | Image processing apparatus and method for smoothing pixel values according to a divergence of pixel candidates | |
JP5860298B2 (ja) | 画像処理装置及びプログラム | |
JP5135134B2 (ja) | 画像処理装置及びその方法 | |
JP2009081526A (ja) | 撮像装置 | |
JP7057694B2 (ja) | 画像雑音除去装置及びプログラム | |
Toda et al. | High dynamic range rendering method for YUV images with global luminance correction | |
CN105684410A (zh) | 图像压缩扩展装置和图像形成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6423162 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |