JP6249913B2 - ノイズ除去装置、ノイズ除去方法及び画像符号化装置 - Google Patents
ノイズ除去装置、ノイズ除去方法及び画像符号化装置 Download PDFInfo
- Publication number
- JP6249913B2 JP6249913B2 JP2014187776A JP2014187776A JP6249913B2 JP 6249913 B2 JP6249913 B2 JP 6249913B2 JP 2014187776 A JP2014187776 A JP 2014187776A JP 2014187776 A JP2014187776 A JP 2014187776A JP 6249913 B2 JP6249913 B2 JP 6249913B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- block
- noise removal
- image
- orthogonal transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
この発明は、符号化対象のブロックである符号化ブロックに重畳されているノイズを除去するノイズ除去装置及びノイズ除去方法と、ノイズ除去装置を実装している画像符号化装置とに関するものである。
画像符号化装置は、テレビの画像データやビデオカメラなどで撮影された画像データを、通信路（例えば、インターネット、衛星回線など）を介して送受信する際に、通信路の帯域幅に合わせて画像データを圧縮する機能を備えている。
また、それらの画像データを磁気ディスクなどの媒体に記録する際に、媒体の容量に合わせて画像データを圧縮する機能を備えている。
また、それらの画像データを磁気ディスクなどの媒体に記録する際に、媒体の容量に合わせて画像データを圧縮する機能を備えている。
画像データを圧縮する際の方式として、例えば、ＭＰＥＧ−２やＨ．２６４などの国際標準方式が存在しており、例えば、インターネットでの画像配信、デジタル放送、デジタルビデオカメラなどの幅広い分野で利用されている。
ＭＰＥＧ−２やＨ．２６４などの方式では、画像における時間方向の相関性や空間方向の相関性を利用することで、高い圧縮率を実現している。
例えば、時間方向の相関性を利用するものとしては、フレーム間予測を用いて、ピクチャ間で差分をとることによって、画像における時間方向の冗長性を削減する手法がある。
また、空間方向の相関性を利用するものとしては、近隣画素間で差分をとるイントラ予測や直交変換を実施することで、空間方向の冗長性を削減する手法がある。
ＭＰＥＧ−２やＨ．２６４などの方式では、画像における時間方向の相関性や空間方向の相関性を利用することで、高い圧縮率を実現している。
例えば、時間方向の相関性を利用するものとしては、フレーム間予測を用いて、ピクチャ間で差分をとることによって、画像における時間方向の冗長性を削減する手法がある。
また、空間方向の相関性を利用するものとしては、近隣画素間で差分をとるイントラ予測や直交変換を実施することで、空間方向の冗長性を削減する手法がある。
ＭＰＥＧ−２やＨ．２６４では、時間方向の冗長性を削減する手法や空間方向の冗長性を削減する手法を組み合わせることによって高い圧縮性能を実現しているが、２０１３年に誕生したＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式では、イントラ予測や動き補償予測などのアルゴリズムを従来よりも高度化することで更に高い圧縮性能を実現しており、画像のデータサイズを１／３００以下に圧縮することが可能である。
したがって、画像における時間方向の相関性や空間方向の相関性が高い場合には、高い圧縮率を実現することができるが、時間方向や空間方向の相関性が低い画像が入力されることもある。
例えば、夜間や悪天候下での撮影では、カメラをゲインアップして撮影することが多いが、このような撮影では、画像にランダムノイズが重畳するため、時間方向や空間方向の相関性が著しく低下することがある。
時間方向や空間方向の相関性が著しく低下している画像については、時間方向の相関性や空間方向の相関性を利用することができないため、圧縮性能が大幅に低下してしまって、画像の画質や圧縮率が低くなることがある。
例えば、夜間や悪天候下での撮影では、カメラをゲインアップして撮影することが多いが、このような撮影では、画像にランダムノイズが重畳するため、時間方向や空間方向の相関性が著しく低下することがある。
時間方向や空間方向の相関性が著しく低下している画像については、時間方向の相関性や空間方向の相関性を利用することができないため、圧縮性能が大幅に低下してしまって、画像の画質や圧縮率が低くなることがある。
そこで、画像符号化を実施する前に、帯域制限フィルタやメディアンフィルタなどを用いて、入力された画像に重畳されているノイズを除去するノイズ除去処理を実施する方法を採用すれば、時間方向や空間方向の相関性の著しい低下を避けることができる。
また、カメラをゲインアップして撮影された画像が入力された場合、イントラ予測を強制的に選択する方法（フレーム間予測を選択しない方法）を採用すれば、ノイズ成分の蓄積による画質劣化を防止することができる（例えば、特許文献１を参照）。
ただし、フレーム間予測の使用を制限することによる圧縮性能の低下や、ノイズに伴うイントラ予測性能の低下が避けられないため、良好な画質や圧縮率を得ることできないケースがある。
なお、以下の特許文献２には、画像の符号化に伴って発生する歪みを除去する技術が開示されているが、入力された画像に重畳されているノイズを除去するものではない。
また、カメラをゲインアップして撮影された画像が入力された場合、イントラ予測を強制的に選択する方法（フレーム間予測を選択しない方法）を採用すれば、ノイズ成分の蓄積による画質劣化を防止することができる（例えば、特許文献１を参照）。
ただし、フレーム間予測の使用を制限することによる圧縮性能の低下や、ノイズに伴うイントラ予測性能の低下が避けられないため、良好な画質や圧縮率を得ることできないケースがある。
なお、以下の特許文献２には、画像の符号化に伴って発生する歪みを除去する技術が開示されているが、入力された画像に重畳されているノイズを除去するものではない。
従来の画像符号化装置は以上のように構成されているので、入力された画像に重畳されているノイズを除去するノイズ除去処理を実施すれば、時間方向や空間方向の相関性の著しい低下を避けることができる。しかし、ノイズ除去処理を実施することで、画像がぼけてしまうなどの副作用が生じてしまうことがあるが、適応的にノイズ除去処理の実施の是非を決定することができないため、ノイズ除去処理の実施によって却って画質が低下してしまうことがあるという課題があった。
この発明は上記のような課題を解決するためになされたもので、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非を決定して、画像の画質の低下を抑えることができるノイズ除去装置、ノイズ除去方法及び画像符号化装置を得ることを目的とする。
この発明に係るノイズ除去装置は、入力された画像を構成する符号化対象のブロックである符号化ブロックと、その符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、その差分の直交変換結果である直交変換係数の絶対値和を算出する絶対値和算出手段と、絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段とを設け、ノイズ除去手段が、実行判定手段の判定結果がノイズ除去処理を実行すべき旨を示していれば、符号化ブロックに対するノイズ除去処理を実行するようにしたものである。
この発明によれば、絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段を設け、ノイズ除去手段が、実行判定手段の判定結果がノイズ除去処理を実行すべき旨を示していれば、符号化ブロックに対するノイズ除去処理を実行するように構成したので、画像の画質の低下を抑えることができる効果がある。
実施の形態１．
図１はこの発明の実施の形態１によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図２はこの発明の実施の形態１によるノイズ除去装置のＳＡＴＤ算出部１４を示す構成図である。
図１及び図２において、符号化制御部１は１以上のピクチャを含む画像データが入力されると、１つのピクチャ毎に、符号化処理が実施される際の処理単位となる符号化ブロック（符号化対象のブロック）の最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部１は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な１以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
図１はこの発明の実施の形態１によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図２はこの発明の実施の形態１によるノイズ除去装置のＳＡＴＤ算出部１４を示す構成図である。
図１及び図２において、符号化制御部１は１以上のピクチャを含む画像データが入力されると、１つのピクチャ毎に、符号化処理が実施される際の処理単位となる符号化ブロック（符号化対象のブロック）の最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部１は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な１以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部１は直交変換部３が直交変換する際の変換ブロックサイズを決定して、その変換ブロックサイズを示す変換ブロック情報を直交変換部３及び逆直交変換部７に出力するとともに、量子化部４が直交変換係数を量子化する際に用いる量子化スケーリングリスト（量子化マトリクス）を示す量子化パラメータを決定して、その量子化パラメータを量子化部４及び逆量子化部６に出力する処理を実施する。
さらに、符号化制御部１は直交変換部３が直交変換する際の変換ブロックサイズを決定して、その変換ブロックサイズを示す変換ブロック情報を直交変換部３及び逆直交変換部７に出力するとともに、量子化部４が直交変換係数を量子化する際に用いる量子化スケーリングリスト（量子化マトリクス）を示す量子化パラメータを決定して、その量子化パラメータを量子化部４及び逆量子化部６に出力する処理を実施する。
減算部２はフレームメモリ１７より読み出した符号化ブロックから、切換スイッチ１３より出力された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）を減算して、その減算結果である差分画像を示す予測差分信号を直交変換部３に出力する処理を実施する。
直交変換部３は符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、減算部２から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換などの直交変換処理）を実施して直交変換係数を算出する処理を実施する。
直交変換部３は符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、減算部２から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換などの直交変換処理）を実施して直交変換係数を算出する処理を実施する。
量子化部４は符号化制御部１から出力された量子化パラメータが示す量子化スケーリングリストを参照して、直交変換部３から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして可変長符号化部５及び逆量子化部６に出力する処理を実施する。
なお、減算部２、直交変換部３及び量子化部４から圧縮手段が構成されている。
なお、減算部２、直交変換部３及び量子化部４から圧縮手段が構成されている。
可変長符号化部５は量子化部４から出力された圧縮データと、符号化制御部１により決定された符号化モード、イントラ予測パラメータ又はインター予測パラメータ、変換ブロック情報及び量子化パラメータと、インター予測部１２から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データのビット列であるビットストリームを生成する処理を実施する。なお、可変長符号化部５は可変長符号化手段を構成している。
逆量子化部６は符号化制御部１から出力された量子化パラメータが示す量子化スケーリングリストを参照して、量子化部４から出力された圧縮データ（量子化後の直交変換係数）を逆量子化し、直交変換部３から出力された直交変換係数に相当する直交変換係数を逆直交変換部７に出力する処理を実施する。
逆直交変換部７は符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、逆量子化部６から出力された直交変換係数を逆直交変換することで、減算部２から出力された予測差分信号に相当する局所復号予測差分信号を求める処理を実施する。
加算部８は逆直交変換部７から出力された局所復号予測差分信号と、切換スイッチ１３から出力された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）とを加算して、フレームメモリ１７より読み出した符号化ブロックに相当する局所復号画像を算出する処理を実施する。
逆直交変換部７は符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、逆量子化部６から出力された直交変換係数を逆直交変換することで、減算部２から出力された予測差分信号に相当する局所復号予測差分信号を求める処理を実施する。
加算部８は逆直交変換部７から出力された局所復号予測差分信号と、切換スイッチ１３から出力された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）とを加算して、フレームメモリ１７より読み出した符号化ブロックに相当する局所復号画像を算出する処理を実施する。
ループフィルタ９は加算部８により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
フレームメモリ１０はループフィルタ９から出力されたフィルタ処理後の局所復号画像を格納する記録媒体である。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
フレームメモリ１０はループフィルタ９から出力されたフィルタ処理後の局所復号画像を格納する記録媒体である。
イントラ予測部１１はフレームメモリ１７より読み出した符号化ブロックに対して、加算部８により算出された局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
また、イントラ予測部１１は各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いるイントラ予測画像を生成する処理を実施する。ＳＡＴＤについては後述する。
また、イントラ予測部１１は各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いるイントラ予測画像を生成する処理を実施する。ＳＡＴＤについては後述する。
インター予測部１２はフレームメモリ１７より読み出した符号化ブロックとフレームメモリ１０に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成する処理を実施する。
また、インター予測部１２は各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いるインター予測画像を生成する処理を実施する。
なお、イントラ予測部１１及びインター予測部１２から予測ブロック生成手段が構成されている。
また、インター予測部１２は各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いるインター予測画像を生成する処理を実施する。
なお、イントラ予測部１１及びインター予測部１２から予測ブロック生成手段が構成されている。
切換スイッチ１３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、イントラ予測部１１により生成されたイントラ予測画像を減算部２及び加算部８に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、インター予測部１２により生成されたインター予測画像を減算部２及び加算部８に出力する処理を実施する。
ＳＡＴＤ算出部１４はブロックサイズ設定部１４ａ、ブロック分割部１４ｂ及び総和算出部１４ｃから構成されている。
ＳＡＴＤ算出部１４のブロックサイズ設定部１４ａは予め複数のブロックサイズの設定を受け付ける処理部である。この実施の形態１では、ブロックサイズとして、例えば、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素の４種類が設定されているものとする。
ブロック分割部１４ｂはブロックサイズ設定部１４ａにより設定されているブロックサイズ毎に、符号化制御部１から出力された符号化ブロックを当該ブロックサイズの分割ブロックに分割する処理を実施する。
総和算出部１４ｃはブロック分割部１４ｂにより分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）との差分を離散アダマール変換（直交変換）して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出し、その符号化ブロックにおける分割ブロックの個数分の絶対値和の総和をＳＡＴＤとして算出する処理を実施する。なお、ＳＡＴＤ算出部１４は絶対値和算出手段を構成している。
ＳＡＴＤ算出部１４のブロックサイズ設定部１４ａは予め複数のブロックサイズの設定を受け付ける処理部である。この実施の形態１では、ブロックサイズとして、例えば、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素の４種類が設定されているものとする。
ブロック分割部１４ｂはブロックサイズ設定部１４ａにより設定されているブロックサイズ毎に、符号化制御部１から出力された符号化ブロックを当該ブロックサイズの分割ブロックに分割する処理を実施する。
総和算出部１４ｃはブロック分割部１４ｂにより分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）との差分を離散アダマール変換（直交変換）して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出し、その符号化ブロックにおける分割ブロックの個数分の絶対値和の総和をＳＡＴＤとして算出する処理を実施する。なお、ＳＡＴＤ算出部１４は絶対値和算出手段を構成している。
実行判定部１５はＳＡＴＤ算出部１４により算出されたＳＡＴＤに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令をノイズ除去部１６に出力する処理を実施する。なお、実行判定部１５は実行判定手段を構成している。
ノイズ除去部１６は実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。なお、ノイズ除去部１６はノイズ除去手段を構成している。
フレームメモリ１７は実行判定部１５の判定結果がノイズ除去処理を実行すべき旨を示していれば、ノイズ除去部１６によりノイズ除去処理が実施された符号化ブロックを格納し、実行判定部１５の判定結果がノイズ除去処理を実行すべきでない旨を示していれば、ノイズ除去部１６によるノイズ除去処理が実施されていない符号化ブロックを格納する記録媒体である。
図１の例では、ノイズ除去部１６がフレームメモリ１７の前段に配置されているが、ノイズ除去部１６がフレームメモリ１７の後段に配置されていてもよい。
ノイズ除去部１６は実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。なお、ノイズ除去部１６はノイズ除去手段を構成している。
フレームメモリ１７は実行判定部１５の判定結果がノイズ除去処理を実行すべき旨を示していれば、ノイズ除去部１６によりノイズ除去処理が実施された符号化ブロックを格納し、実行判定部１５の判定結果がノイズ除去処理を実行すべきでない旨を示していれば、ノイズ除去部１６によるノイズ除去処理が実施されていない符号化ブロックを格納する記録媒体である。
図１の例では、ノイズ除去部１６がフレームメモリ１７の前段に配置されているが、ノイズ除去部１６がフレームメモリ１７の後段に配置されていてもよい。
図１の例では、画像符号化装置の構成要素である符号化制御部１、減算部２、直交変換部３、量子化部４、可変長符号化部５、逆量子化部６、逆直交変換部７、加算部８、ループフィルタ９、フレームメモリ１０、イントラ予測部１１、インター予測部１２、切換スイッチ１３、ＳＡＴＤ算出部１４、実行判定部１５、ノイズ除去部１６及びフレームメモリ１７のそれぞれが専用のハードウェアで構成（フレームメモリ１０，１７以外の構成要素は、例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなどで構成）されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置をコンピュータで構成する場合、フレームメモリ１０，１７をコンピュータのメモリ上に構成するとともに、符号化制御部１、減算部２、直交変換部３、量子化部４、可変長符号化部５、逆量子化部６、逆直交変換部７、加算部８、ループフィルタ９、イントラ予測部１１、インター予測部１２、切換スイッチ１３、ＳＡＴＤ算出部１４、実行判定部１５及びノイズ除去部１６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図３はこの発明の実施の形態１によるノイズ除去装置の処理内容（ノイズ除去方法）を示すフローチャートである。
画像符号化装置をコンピュータで構成する場合、フレームメモリ１０，１７をコンピュータのメモリ上に構成するとともに、符号化制御部１、減算部２、直交変換部３、量子化部４、可変長符号化部５、逆量子化部６、逆直交変換部７、加算部８、ループフィルタ９、イントラ予測部１１、インター予測部１２、切換スイッチ１３、ＳＡＴＤ算出部１４、実行判定部１５及びノイズ除去部１６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図３はこの発明の実施の形態１によるノイズ除去装置の処理内容（ノイズ除去方法）を示すフローチャートである。
次に動作について説明する。
図１の画像符号化装置は、ノイズ除去装置を実装していることが特徴であり、ノイズ除去装置以外の部分は、Ｈ．２６４やＨＥＶＣなどに規定されている一般的な画像符号化装置と同様である。
この実施の形態１では、特に扱う符号化方式を限定するものではないが、ＨＥＶＣに準拠している画像符号化装置を例に説明する。
図１の画像符号化装置は、ノイズ除去装置を実装していることが特徴であり、ノイズ除去装置以外の部分は、Ｈ．２６４やＨＥＶＣなどに規定されている一般的な画像符号化装置と同様である。
この実施の形態１では、特に扱う符号化方式を限定するものではないが、ＨＥＶＣに準拠している画像符号化装置を例に説明する。
１以上のピクチャを含む画像データが入力されると、その画像データが符号化制御部１に入力される。
ＨＥＶＣでは、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）が基本の処理単位として規定されており、ＣＴＵのサイズとして、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素の４種類が定義されている。
符号化制御部１は、入力された画像データに含まれている各ピクチャをＣＴＵ単位に分割し、分割したピクチャである符号化ブロックをイントラ予測部１１、インター予測部１２及びＳＡＴＤ算出部１４に出力する。
この実施の形態１では、説明の便宜上、６４×６４画素の符号化ブロックをイントラ予測部１１、インター予測部１２及びＳＡＴＤ算出部１４に出力するものとする。
ＨＥＶＣでは、ＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）が基本の処理単位として規定されており、ＣＴＵのサイズとして、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素の４種類が定義されている。
符号化制御部１は、入力された画像データに含まれている各ピクチャをＣＴＵ単位に分割し、分割したピクチャである符号化ブロックをイントラ予測部１１、インター予測部１２及びＳＡＴＤ算出部１４に出力する。
この実施の形態１では、説明の便宜上、６４×６４画素の符号化ブロックをイントラ予測部１１、インター予測部１２及びＳＡＴＤ算出部１４に出力するものとする。
また、符号化制御部１は、選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、その符号化ブロックに適用する符号化モードを選択する。
選択手法の例としては、選択可能な１以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
選択手法の例としては、選択可能な１以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
符号化制御部１は、符号化ブロックの符号化モードとして、イントラ符号化モードを選択すると、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、そのイントラ予測パラメータをイントラ予測部１１に出力する。
一方、符号化ブロックの符号化モードとして、インター符号化モードを選択すると、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定し、そのインター予測パラメータをインター予測部１２に出力する。
なお、予測パラメータの決定処理自体はＨＥＶＣで規定されているため詳細な説明を省略する。
一方、符号化ブロックの符号化モードとして、インター符号化モードを選択すると、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定し、そのインター予測パラメータをインター予測部１２に出力する。
なお、予測パラメータの決定処理自体はＨＥＶＣで規定されているため詳細な説明を省略する。
また、符号化制御部１は、直交変換部３が直交変換する際の変換ブロックサイズを決定して、その変換ブロックサイズを示す変換ブロック情報を直交変換部３及び逆直交変換部７に出力するとともに、量子化部４が直交変換係数を量子化する際に用いる量子化スケーリングリスト（量子化マトリクス）を示す量子化パラメータを決定して、その量子化パラメータを量子化部４及び逆量子化部６に出力する。変換ブロックサイズ及び量子化パラメータの決定処理についても、ＨＥＶＣで規定されているため詳細な説明を省略する。
イントラ予測部１１は、符号化制御部１から符号化ブロック及びイントラ予測パラメータを受けると、後段のＳＡＴＤ算出部１４が、各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出できるようにするため、６４×６４画素の符号化ブロックを図４のように分割する。
イントラ予測部１１は、６４×６４画素の符号化ブロックを図４のように分割すると、８×８画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、８×８画素の６４個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
イントラ予測部１１は、６４×６４画素の符号化ブロックを図４のように分割すると、８×８画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、８×８画素の６４個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
また、イントラ予測部１１は、１６×１６画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、１６×１６画素の１６個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
また、イントラ予測部１１は、３２×３２画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、３２×３２画素の４個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
さらに、イントラ予測部１１は、６４×６４画素の符号化ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、６４×６４画素の１個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
この段階で、イントラ予測部１１が生成しているイントラ予測画像は、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるイントラ予測画像ではないため、圧縮データの算出に用いるイントラ予測画像よりも簡易な方法で生成するようにしてもよい。
また、イントラ予測部１１は、３２×３２画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、３２×３２画素の４個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
さらに、イントラ予測部１１は、６４×６４画素の符号化ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、６４×６４画素の１個のイントラ予測画像をＳＡＴＤ算出部１４に出力する。
この段階で、イントラ予測部１１が生成しているイントラ予測画像は、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるイントラ予測画像ではないため、圧縮データの算出に用いるイントラ予測画像よりも簡易な方法で生成するようにしてもよい。
インター予測部１２は、符号化制御部１から符号化ブロック及びインター予測パラメータを受けると、後段のＳＡＴＤ算出部１４が、各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出できるようにするため、６４×６４画素の符号化ブロックを図４のように分割する。
インター予測部１２は、６４×６４画素の符号化ブロックを図４のように分割すると、８×８画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、８×８画素の６４個のインター予測画像をＳＡＴＤ算出部１４に出力する。
インター予測部１２は、６４×６４画素の符号化ブロックを図４のように分割すると、８×８画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、８×８画素の６４個のインター予測画像をＳＡＴＤ算出部１４に出力する。
また、インター予測部１２は、１６×１６画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、１６×１６画素の１６個のインター予測画像をＳＡＴＤ算出部１４に出力する。
また、インター予測部１２は、３２×３２画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、３２×３２画素の４個のインター予測画像をＳＡＴＤ算出部１４に出力する。
さらに、インター予測部１２は、６４×６４画素の符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、６４×６４画素の１個のインター予測画像をＳＡＴＤ算出部１４に出力する。
この段階で、インター予測部１２が生成しているインター予測画像は、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるインター予測画像ではないため、圧縮データの算出に用いるインター予測画像よりも簡易な方法で生成するようにしてもよい。
また、インター予測部１２は、３２×３２画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、３２×３２画素の４個のインター予測画像をＳＡＴＤ算出部１４に出力する。
さらに、インター予測部１２は、６４×６４画素の符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、６４×６４画素の１個のインター予測画像をＳＡＴＤ算出部１４に出力する。
この段階で、インター予測部１２が生成しているインター予測画像は、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるインター予測画像ではないため、圧縮データの算出に用いるインター予測画像よりも簡易な方法で生成するようにしてもよい。
この実施の形態１では、符号化制御部１により選択された符号化モードがイントラ符号化モードであって、符号化制御部１からイントラ予測パラメータを受けたときに、イントラ予測部１１が、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）の算出に用いる各ブロックサイズでのイントラ予測画像を生成する例を示しているが、符号化制御部１により選択された符号化モードがインター符号化モードであっても、常に、イントラ予測部１１が、各ブロックサイズでのイントラ予測画像を生成するようにしてもよい。
一方、符号化制御部１により選択された符号化モードがインター符号化モードであって、符号化制御部１からインター予測パラメータを受けたときに、インター予測部１２が、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出に用いる各ブロックサイズでのインター予測画像を生成する例を示しているが、符号化制御部１により選択された符号化モードがイントラ符号化モードであっても、常に、インター予測部１２が、各ブロックサイズでのインター予測画像を生成するようにしてもよい。
一方、符号化制御部１により選択された符号化モードがインター符号化モードであって、符号化制御部１からインター予測パラメータを受けたときに、インター予測部１２が、ＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出に用いる各ブロックサイズでのインター予測画像を生成する例を示しているが、符号化制御部１により選択された符号化モードがイントラ符号化モードであっても、常に、インター予測部１２が、各ブロックサイズでのインター予測画像を生成するようにしてもよい。
ＳＡＴＤ算出部１４のブロック分割部１４ｂは、符号化制御部１から６４×６４画素の符号化ブロックを受けると、ブロックサイズ設定部１４ａにより設定されているブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出するため、６４×６４画素の符号化ブロックを図４のように分割する。
ＳＡＴＤ算出部１４の総和算出部１４ｃは、ブロック分割部１４ｂが６４×６４画素の符号化ブロックを分割すると、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）との差分を離散アダマール変換し、下記の式（１）に示すように、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出して、その符号化ブロックにおける分割ブロックの個数分の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和の総和をＳＡＴＤとして算出する（図３のステップＳＴ１）。
ＳＡＴＤ算出部１４の総和算出部１４ｃは、ブロック分割部１４ｂが６４×６４画素の符号化ブロックを分割すると、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）との差分を離散アダマール変換し、下記の式（１）に示すように、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出して、その符号化ブロックにおける分割ブロックの個数分の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和の総和をＳＡＴＤとして算出する（図３のステップＳＴ１）。
具体的には、まず、総和算出部１４ｃは、符号化ブロックにおける８×８画素の分割ブロック毎に、当該分割ブロックと８×８画素の予測ブロック（イントラ予測部１１又はインター予測部１２から出力された６４個の予測画像（イントラ予測画像、インター予測画像）のうち、当該分割ブロックと画像の位置が同じ予測画像）との差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）を求め、８×８画素のブロック内で、その変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出する。
総和算出部１４ｃは、８×８画素の６４個のブロックについて、変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をＳＡＴＤ８として算出する。
総和算出部１４ｃは、８×８画素の６４個のブロックについて、変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をＳＡＴＤ８として算出する。
次に、総和算出部１４ｃは、符号化ブロックにおける１６×１６画素の分割ブロック毎に、当該分割ブロックと１６×１６画素の予測ブロック（イントラ予測部１１又はインター予測部１２から出力された１６個の予測画像（イントラ予測画像、インター予測画像）のうち、当該分割ブロックと画像の位置が同じ予測画像）との差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）を求め、１６×１６画素のブロック内で、その変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出する。
総和算出部１４ｃは、１６×１６画素の１６個のブロックについて、変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をＳＡＴＤ１６として算出する。
総和算出部１４ｃは、１６×１６画素の１６個のブロックについて、変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をＳＡＴＤ１６として算出する。
次に、総和算出部１４ｃは、符号化ブロックにおける３２×３２画素の分割ブロック毎に、当該分割ブロックと３２×３２画素の予測ブロック（イントラ予測部１１又はインター予測部１２から出力された４個の予測画像（イントラ予測画像、インター予測画像）のうち、当該分割ブロックと画像の位置が同じ予測画像）との差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）を求め、３２×３２画素のブロック内で、その変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出する。
総和算出部１４ｃは、３２×３２画素の４個のブロックについて、変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をＳＡＴＤ３２として算出する。
総和算出部１４ｃは、３２×３２画素の４個のブロックについて、変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をＳＡＴＤ３２として算出する。
次に、総和算出部１４ｃは、６４×６４画素の符号化ブロックと６４×６４画素の予測ブロック（イントラ予測部１１又はインター予測部１２から出力された予測画像）との差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）を求め、６４×６４画素のブロック内で、その変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和をＳＡＴＤ６４として算出する。
ここでは、ＳＡＴＤ算出部１４の総和算出部１４ｃが、差分の直交変換として、離散アダマール変換を実施している例を示しているが、差分の直交変換は離散アダマール変換に限るものではなく、例えば、差分を離散コサイン変換するものであってもよいし、差分を離散サイン変換するものであってもよい。
なお、ＳＡＴＤの値には画像の空間方向の相関性が反映されるため、空間方向の相関が高いほどＳＡＴＤの値が小さくなり、空間方向の相関が低いとＳＡＴＤの値が大きくなる。
一般に、複数の符号化モードのうち、ＳＡＴＤの値が小さい符号化モードを選択すれば、高い圧縮性能が得られ易くなるので、符号化制御部１が符号化ブロックの符号化モードを決定する際、ＳＡＴＤを評価指標として用いることが可能である。
なお、ＳＡＴＤの値には画像の空間方向の相関性が反映されるため、空間方向の相関が高いほどＳＡＴＤの値が小さくなり、空間方向の相関が低いとＳＡＴＤの値が大きくなる。
一般に、複数の符号化モードのうち、ＳＡＴＤの値が小さい符号化モードを選択すれば、高い圧縮性能が得られ易くなるので、符号化制御部１が符号化ブロックの符号化モードを決定する際、ＳＡＴＤを評価指標として用いることが可能である。
自然画などの多くの画像では、ブロックサイズを細かく分割する程、ブロック内にテクスチャが残らなくなるため、ブロックサイズが小さくなる程、ＳＡＴＤの値が低下していく傾向がある。
一方、画像にランダムノイズが一様に重畳されている場合、画像の単位面積当りのノイズ存在確率は、ブロックサイズが異なっても変わらないため、ブロックサイズを小さくしてもＳＡＴＤの値が大きく低下しない。即ち、ブロックサイズが異なっていても、ＳＡＴＤが近い値になる傾向がある。
一方、画像にランダムノイズが一様に重畳されている場合、画像の単位面積当りのノイズ存在確率は、ブロックサイズが異なっても変わらないため、ブロックサイズを小さくしてもＳＡＴＤの値が大きく低下しない。即ち、ブロックサイズが異なっていても、ＳＡＴＤが近い値になる傾向がある。
実行判定部１５は、ＳＡＴＤ算出部１４が、各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出すると、下記の式（２）〜（４）に示すように、各ＳＡＴＤの間の比率Ｒ６４／３２，Ｒ３２／１６，Ｒ１６／８を算出する（ステップＳＴ２）。
実行判定部１５は、各ＳＡＴＤの間の比率Ｒ６４／３２，Ｒ３２／１６，Ｒ１６／８を算出すると、下記の式（５）に示すように、その比率Ｒ６４／３２と予め設定された閾値Ｔｈ１を比較し、その比率Ｒ６４／３２が閾値Ｔｈ１より大きければ（ステップＳＴ３：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。即ち、ノイズ除去処理を実行すべきでないと判定する。閾値Ｔｈ１としては、例えば、１．２５などの値が予め設定される。
Ｒ６４／３２≦Ｔｈ１ （５）
実行判定部１５は、その比率Ｒ６４／３２が閾値Ｔｈ１以下であれば（ステップＳＴ３：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式（６）に示すように、その比率Ｒ３２／１６と予め設定された閾値Ｔｈ２を比較する。
Ｒ３２／１６≦Ｔｈ２ （６）
実行判定部１５は、その比率Ｒ３２／１６が閾値Ｔｈ２より大きければ（ステップＳＴ４：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。閾値Ｔｈ２としては、例えば、１．２５などの値が予め設定される。
Ｒ６４／３２≦Ｔｈ１ （５）
実行判定部１５は、その比率Ｒ６４／３２が閾値Ｔｈ１以下であれば（ステップＳＴ３：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式（６）に示すように、その比率Ｒ３２／１６と予め設定された閾値Ｔｈ２を比較する。
Ｒ３２／１６≦Ｔｈ２ （６）
実行判定部１５は、その比率Ｒ３２／１６が閾値Ｔｈ２より大きければ（ステップＳＴ４：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。閾値Ｔｈ２としては、例えば、１．２５などの値が予め設定される。
実行判定部１５は、その比率Ｒ３２／１６が閾値Ｔｈ２以下であれば（ステップＳＴ４：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式（７）に示すように、その比率Ｒ１６／８と予め設定された閾値Ｔｈ３を比較する。
Ｒ１６／８≦Ｔｈ３ （７）
実行判定部１５は、その比率Ｒ１６／８が閾値Ｔｈ３より大きければ（ステップＳＴ５：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し（ステップＳＴ６）、その比率Ｒ１６／８が閾値Ｔｈ３以下であれば（ステップＳＴ５：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する（ステップＳＴ７）。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Ｔｈ３としては、例えば、１．２５などの値が予め設定される。
実行判定部１５は、符号化に影響を与えるほどの過度のノイズが重畳されていると判定すると、ノイズ除去処理の実行指令をノイズ除去部１６に出力する。
Ｒ１６／８≦Ｔｈ３ （７）
実行判定部１５は、その比率Ｒ１６／８が閾値Ｔｈ３より大きければ（ステップＳＴ５：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し（ステップＳＴ６）、その比率Ｒ１６／８が閾値Ｔｈ３以下であれば（ステップＳＴ５：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する（ステップＳＴ７）。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Ｔｈ３としては、例えば、１．２５などの値が予め設定される。
実行判定部１５は、符号化に影響を与えるほどの過度のノイズが重畳されていると判定すると、ノイズ除去処理の実行指令をノイズ除去部１６に出力する。
ノイズ除去部１６は、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行し、ノイズ除去処理後の符号化ブロックをフレームメモリ１７に格納する（ステップＳＴ８）。
ここで、ノイズ除去処理としては、例えば、帯域制限フィルタやメディアンフィルタなどを用いて、符号化ブロックに重畳されているノイズを除去する方法が考えられる。このノイズ除去処理を実施することで、時間方向や空間方向の相関性の著しい低下を避けることができる。
ノイズ除去部１６がノイズ除去処理を実施する際、常に同じフィルタを用いるようにしてもよいが、ノイズレベルの大きさに応じて、フィルタを代えるようにしてもよい。例えば、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が予め設定された閾値（例えば、ブロックサイズが４×４画素でのＳＡＴＤ４（ＳＡＴＤ４の算出方法はＳＡＴＤ８等の算出方法と同様であるため説明を省略する）を任意の整数で除算した値が閾値として用いられるが、具体的には、１０２４などの値が閾値として用いられる）より大きければ、ノイズレベルが大きいと判断して、狭帯域のフィルタを用いる一方、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が上記閾値以下であれば、符号化に影響を与えるものの、さほどノイズレベルが大きくないと判断して、比較的高帯域のフィルタを用いるようにしてもよい。
ここでは、ＳＡＴＤ８と閾値を比較する例を示しているが、ＳＡＴＤ８の代わりに、ＳＡＴＤ１６，ＳＡＴＤ３２又はＳＡＴＤ６４と閾値を比較するようにしてもよい。
ここで、ノイズ除去処理としては、例えば、帯域制限フィルタやメディアンフィルタなどを用いて、符号化ブロックに重畳されているノイズを除去する方法が考えられる。このノイズ除去処理を実施することで、時間方向や空間方向の相関性の著しい低下を避けることができる。
ノイズ除去部１６がノイズ除去処理を実施する際、常に同じフィルタを用いるようにしてもよいが、ノイズレベルの大きさに応じて、フィルタを代えるようにしてもよい。例えば、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が予め設定された閾値（例えば、ブロックサイズが４×４画素でのＳＡＴＤ４（ＳＡＴＤ４の算出方法はＳＡＴＤ８等の算出方法と同様であるため説明を省略する）を任意の整数で除算した値が閾値として用いられるが、具体的には、１０２４などの値が閾値として用いられる）より大きければ、ノイズレベルが大きいと判断して、狭帯域のフィルタを用いる一方、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が上記閾値以下であれば、符号化に影響を与えるものの、さほどノイズレベルが大きくないと判断して、比較的高帯域のフィルタを用いるようにしてもよい。
ここでは、ＳＡＴＤ８と閾値を比較する例を示しているが、ＳＡＴＤ８の代わりに、ＳＡＴＤ１６，ＳＡＴＤ３２又はＳＡＴＤ６４と閾値を比較するようにしてもよい。
ノイズ除去部１６は、実行判定部１５からノイズ除去処理の実行指令を受けなければ、符号化ブロックに重畳されているノイズの除去処理を実行せずに、その符号化ブロックをフレームメモリ１７に格納する。
したがって、符号化に影響を与えるほどの過度のノイズが重畳されていない状況下では、ノイズ除去処理が実施されないので、ノイズ除去処理の実施に伴う画像のぼけなどの副作用の発生を避けることができる。
したがって、符号化に影響を与えるほどの過度のノイズが重畳されていない状況下では、ノイズ除去処理が実施されないので、ノイズ除去処理の実施に伴う画像のぼけなどの副作用の発生を避けることができる。
イントラ予測部１１は、ノイズ除去装置の処理が完了すると、符号化制御部１からイントラ予測パラメータを受けていれば、フレームメモリ１７から符号化ブロックを読み出し、その符号化ブロックに対して、加算部８から出力された局所復号画像を参照しながら、そのイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成し、そのイントラ予測画像を切換スイッチ１３に出力する。イントラ予測画像の生成処理自体は、ＨＥＶＣで規定されているため詳細な説明を省略する。
インター予測部１２は、ノイズ除去装置の処理が完了すると、符号化制御部１からインター予測パラメータを受けていれば、フレームメモリ１７から符号化ブロックを読み出し、その符号化ブロックとフレームメモリ１０に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索する。
インター予測部１２は、動きベクトルを探索すると、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、そのインター予測画像を切換スイッチ１３に出力する。また、その動きベクトルを可変長符号化部５に出力する。インター予測画像の生成処理自体は、ＨＥＶＣで規定されているため詳細な説明を省略する。
インター予測部１２は、動きベクトルを探索すると、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、そのインター予測画像を切換スイッチ１３に出力する。また、その動きベクトルを可変長符号化部５に出力する。インター予測画像の生成処理自体は、ＨＥＶＣで規定されているため詳細な説明を省略する。
切換スイッチ１３は、符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、イントラ予測部１１により生成されたイントラ予測画像を減算部２及び加算部８に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、インター予測部１２により生成されたインター予測画像を減算部２及び加算部８に出力する。
減算部２は、ノイズ除去装置の処理が完了すると、フレームメモリ１７から符号化ブロックを読み出し、その符号化ブロックから、切換スイッチ１３より出力された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）を減算し、その減算結果である差分画像を示す予測差分信号を直交変換部３に出力する。
直交変換部３は、減算部２から予測差分信号を受けると、符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換などの直交変換処理）を実施して、その直交変換結果である直交変換係数を量子化部４に出力する。
直交変換部３は、減算部２から予測差分信号を受けると、符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換などの直交変換処理）を実施して、その直交変換結果である直交変換係数を量子化部４に出力する。
量子化部４は、直交変換部３から直交変換係数を受けると、符号化制御部１から出力された量子化パラメータが示す量子化スケーリングリストを参照して、その直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして可変長符号化部５及び逆量子化部６に出力する。
可変長符号化部５は、量子化部４から出力された圧縮データと、符号化制御部１により決定された符号化モード、イントラ予測パラメータ（または、インター予測パラメータ）、変換ブロック情報及び量子化パラメータと、インター予測部１２から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、符号化データのビット列であるビットストリームを生成し、そのビットストリームを外部に出力する。
可変長符号化部５は、量子化部４から出力された圧縮データと、符号化制御部１により決定された符号化モード、イントラ予測パラメータ（または、インター予測パラメータ）、変換ブロック情報及び量子化パラメータと、インター予測部１２から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、符号化データのビット列であるビットストリームを生成し、そのビットストリームを外部に出力する。
逆量子化部６は、量子化部４から圧縮データ（量子化後の直交変換係数）を受けると、符号化制御部１から出力された量子化パラメータが示す量子化スケーリングリストを参照して、その圧縮データ（量子化後の直交変換係数）を逆量子化することで、直交変換部３から出力された直交変換係数に相当する直交変換係数を求め、その直交変換係数を逆直交変換部７に出力する。
逆直交変換部７は、逆量子化部６から直交変換係数を受けると、符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その直交変換係数を逆直交変換することで、減算部２から出力された予測差分信号に相当する局所復号予測差分信号を求め、その局所復号予測差分信号を加算部８に出力する。
逆直交変換部７は、逆量子化部６から直交変換係数を受けると、符号化制御部１から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その直交変換係数を逆直交変換することで、減算部２から出力された予測差分信号に相当する局所復号予測差分信号を求め、その局所復号予測差分信号を加算部８に出力する。
加算部８は、逆直交変換部７から局所復号予測差分信号を受けると、その局所復号予測差分信号と、切換スイッチ１３より出力された予測ブロック（イントラ予測部１１により生成されたイントラ予測画像、または、インター予測部１２により生成されたインター予測画像）とを加算することで、フレームメモリ１７より読み出した符号化ブロックに相当する局所復号画像を求め、その局所復号画像をループフィルタ９及びイントラ予測部１１に出力する。
ループフィルタ９は、加算部８から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像をフレームメモリ１０に格納する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ループフィルタ９は、加算部８から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像をフレームメモリ１０に格納する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
以上で明らかなように、この実施の形態１によれば、ブロックサイズ設定部１４ａに設定されているブロックサイズ毎に、符号化制御部１から出力された符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部１４ｂと、ブロック分割部１４ｂにより分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出し、その符号化ブロックにおける分割ブロックの個数分の絶対値和の総和をＳＡＴＤとして算出する総和算出部１４ｃと、総和算出部１４ｃにより算出されたＳＡＴＤに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令をノイズ除去部１６に出力する実行判定部１５とを設け、ノイズ除去部１６が、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行するように構成したので、画像の画質の低下を抑えることができる効果を奏する。
即ち、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非が決定されるため、画像の画質の低下を抑えることができる効果を奏する。
即ち、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非が決定されるため、画像の画質の低下を抑えることができる効果を奏する。
実施の形態２．
上記実施の形態１では、実行判定部１５が、各ＳＡＴＤの間の比率Ｒ６４／３２，Ｒ３２／１６，Ｒ１６／８を算出し、各ＳＡＴＤの間の比率Ｒ６４／３２，Ｒ３２／１６，Ｒ１６／８と、予め設定された閾値Ｔｈ１，Ｔｈ２，Ｔｈ３とを比較して、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するものを示したが、ＳＡＴＤ算出部１４により算出された各々のブロックサイズでのＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４の大きさに基づいて、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するようにしてもよく、上記実施の形態１と同様の効果を奏することができる。
図５はこの発明の実施の形態２によるノイズ除去装置の処理内容（ノイズ除去方法）を示すフローチャートである。
上記実施の形態１では、実行判定部１５が、各ＳＡＴＤの間の比率Ｒ６４／３２，Ｒ３２／１６，Ｒ１６／８を算出し、各ＳＡＴＤの間の比率Ｒ６４／３２，Ｒ３２／１６，Ｒ１６／８と、予め設定された閾値Ｔｈ１，Ｔｈ２，Ｔｈ３とを比較して、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するものを示したが、ＳＡＴＤ算出部１４により算出された各々のブロックサイズでのＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４の大きさに基づいて、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するようにしてもよく、上記実施の形態１と同様の効果を奏することができる。
図５はこの発明の実施の形態２によるノイズ除去装置の処理内容（ノイズ除去方法）を示すフローチャートである。
次に動作について説明する。
実行判定部１５以外は、上記実施の形態１と同様であるため、ここでは、主に実行判定部１５の処理内容を説明する。
ＳＡＴＤ算出部１４のブロック分割部１４ｂは、フレームメモリ１７から６４×６４画素の符号化ブロックを読み出すと、上記実施の形態１と同様に、ブロックサイズ設定部１４ａに設定されているブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出するため、６４×６４画素の符号化ブロックを図４のように分割する。
ＳＡＴＤ算出部１４の総和算出部１４ｃは、ブロック分割部１４ｂが６４×６４画素の符号化ブロックを分割すると、上記実施の形態１と同様に、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出し、上記の式（１）に示すように、その符号化ブロックにおける分割ブロックの個数分の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和の総和をＳＡＴＤとして算出する（図５のステップＳＴ１）。
なお、画像にノイズが一様に重畳されている場合は、ブロックサイズを小さくしても、ＳＡＴＤの値が大きく低下しないという傾向がある。
実行判定部１５以外は、上記実施の形態１と同様であるため、ここでは、主に実行判定部１５の処理内容を説明する。
ＳＡＴＤ算出部１４のブロック分割部１４ｂは、フレームメモリ１７から６４×６４画素の符号化ブロックを読み出すと、上記実施の形態１と同様に、ブロックサイズ設定部１４ａに設定されているブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出するため、６４×６４画素の符号化ブロックを図４のように分割する。
ＳＡＴＤ算出部１４の総和算出部１４ｃは、ブロック分割部１４ｂが６４×６４画素の符号化ブロックを分割すると、上記実施の形態１と同様に、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を離散アダマール変換して、その離散アダマール変換の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和を算出し、上記の式（１）に示すように、その符号化ブロックにおける分割ブロックの個数分の変換係数Ｄｉｆｆ（ｘ，ｙ）の絶対値和の総和をＳＡＴＤとして算出する（図５のステップＳＴ１）。
なお、画像にノイズが一様に重畳されている場合は、ブロックサイズを小さくしても、ＳＡＴＤの値が大きく低下しないという傾向がある。
実行判定部１５は、ＳＡＴＤ算出部１４が、各々のブロックサイズ（８×８画素、１６×１６画素、３２×３２画素、６４×６４画素）でのＳＡＴＤ（ＳＡＴＤ８、ＳＡＴＤ１６、ＳＡＴＤ３２、ＳＡＴＤ６４）を算出すると、下記の式（８）に示すように、ブロックサイズが６４×６４画素でのＳＡＴＤ６４と予め設定された閾値Ｔｈ４を比較し、そのＳＡＴＤ６４が閾値Ｔｈ４より小さければ（ステップＳＴ１１：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。即ち、ノイズ除去処理を実行すべきでないと判定する。閾値Ｔｈ４としては、例えば、１×６４×６４×２５６などの値が予め設定される。
ＳＡＴＤ６４≧Ｔｈ４ （８）
ＳＡＴＤ６４≧Ｔｈ４ （８）
実行判定部１５は、そのＳＡＴＤ６４が閾値Ｔｈ４以上であれば（ステップＳＴ１１：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式（９）に示すように、ブロックサイズが３２×３２画素でのＳＡＴＤ３２と予め設定された閾値Ｔｈ５を比較する。
ＳＡＴＤ３２≧Ｔｈ５ （９）
実行判定部１５は、そのＳＡＴＤ３２が閾値Ｔｈ５より小さければ（ステップＳＴ１２：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。閾値Ｔｈ５としては、例えば、４×３２×３２×２５６などの値が予め設定される。
ＳＡＴＤ３２≧Ｔｈ５ （９）
実行判定部１５は、そのＳＡＴＤ３２が閾値Ｔｈ５より小さければ（ステップＳＴ１２：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。閾値Ｔｈ５としては、例えば、４×３２×３２×２５６などの値が予め設定される。
実行判定部１５は、そのＳＡＴＤ３２が閾値Ｔｈ５以上であれば（ステップＳＴ１２：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式（１０）に示すように、ブロックサイズが１６×１６画素でのＳＡＴＤ１６と予め設定された閾値Ｔｈ６を比較する。
ＳＡＴＤ１６≧Ｔｈ６ （１０）
実行判定部１５は、そのＳＡＴＤ１６が閾値Ｔｈ６より小さければ（ステップＳＴ１３：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。閾値Ｔｈ６としては、例えば、１６×１６×１６×２５６などの値が予め設定される。
ＳＡＴＤ１６≧Ｔｈ６ （１０）
実行判定部１５は、そのＳＡＴＤ１６が閾値Ｔｈ６より小さければ（ステップＳＴ１３：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する（ステップＳＴ６）。閾値Ｔｈ６としては、例えば、１６×１６×１６×２５６などの値が予め設定される。
実行判定部１５は、そのＳＡＴＤ１６が閾値Ｔｈ６以上であれば（ステップＳＴ１３：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式（１１）に示すように、ブロックサイズが８×８画素でのＳＡＴＤ８と予め設定された閾値Ｔｈ７を比較する。
ＳＡＴＤ８≧Ｔｈ７ （１１）
実行判定部１５は、そのＳＡＴＤ８が閾値Ｔｈ７より小さければ（ステップＳＴ１４：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し（ステップＳＴ６）、そのＳＡＴＤ８が閾値Ｔｈ７以上であれば（ステップＳＴ１４：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する（ステップＳＴ７）。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Ｔｈ７としては、例えば、６４×８×８×２５６などの値が予め設定される。
ＳＡＴＤ８≧Ｔｈ７ （１１）
実行判定部１５は、そのＳＡＴＤ８が閾値Ｔｈ７より小さければ（ステップＳＴ１４：Ｎｏの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し（ステップＳＴ６）、そのＳＡＴＤ８が閾値Ｔｈ７以上であれば（ステップＳＴ１４：Ｙｅｓの場合）、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する（ステップＳＴ７）。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Ｔｈ７としては、例えば、６４×８×８×２５６などの値が予め設定される。
実行判定部１５は、符号化に影響を与えるほどの過度のノイズが重畳されている判定すると、上記実施の形態１と同様に、ノイズ除去処理の実行指令をノイズ除去部１６に出力する。
ノイズ除去部１６は、実行判定部１５からノイズ除去処理の実行指令を受けると、上記実施の形態１と同様に、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行し、ノイズ除去処理後の符号化ブロックをフレームメモリ１７に格納する（ステップＳＴ８）。
ノイズ除去部１６は、実行判定部１５からノイズ除去処理の実行指令を受けると、上記実施の形態１と同様に、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行し、ノイズ除去処理後の符号化ブロックをフレームメモリ１７に格納する（ステップＳＴ８）。
実施の形態３．
図６はこの発明の実施の形態３によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図６において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像内容変化通知部２１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像の変化量を監視し、その変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨をノイズ除去部２２に通知する処理を実施する。なお、画像内容変化通知部２１は画像内容変化通知手段を構成している。
ノイズ除去部２２は図１のノイズ除去部１６と同様に、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部２２はノイズ除去処理の実行を開始した後、実行判定部１５の判定結果がノイズ除去処理を実行すべきでない旨の判定結果に変化しても、画像内容変化通知部２１から画像内容が大きく変化している旨の通知を受けるまでの間はノイズ除去処理の実行を継続する。なお、ノイズ除去部２２はノイズ除去手段を構成している。
図６はこの発明の実施の形態３によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図６において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像内容変化通知部２１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像の変化量を監視し、その変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨をノイズ除去部２２に通知する処理を実施する。なお、画像内容変化通知部２１は画像内容変化通知手段を構成している。
ノイズ除去部２２は図１のノイズ除去部１６と同様に、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部２２はノイズ除去処理の実行を開始した後、実行判定部１５の判定結果がノイズ除去処理を実行すべきでない旨の判定結果に変化しても、画像内容変化通知部２１から画像内容が大きく変化している旨の通知を受けるまでの間はノイズ除去処理の実行を継続する。なお、ノイズ除去部２２はノイズ除去手段を構成している。
次に動作について説明する。
ノイズ除去部２２は、図１のノイズ除去部１６と同様に、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理を実行する。
一方、実行判定部１５により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合（ノイズ除去処理を実行すべきでないと判定された場合）、符号化ブロックに対するノイズ除去処理を実行しない。
ノイズ除去部２２が、実行判定部１５の判定結果にしたがってノイズ除去処理の実行を開始すると、ＳＡＴＤの値が低下するため、実行判定部１５の判定結果が、過度のノイズが重畳されていないとする判定に変化する。この判定結果を受けて、直ちにノイズ除去処理の実行を停止するようにすると、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態に陥ることがある。
ノイズ除去部２２は、図１のノイズ除去部１６と同様に、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理を実行する。
一方、実行判定部１５により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合（ノイズ除去処理を実行すべきでないと判定された場合）、符号化ブロックに対するノイズ除去処理を実行しない。
ノイズ除去部２２が、実行判定部１５の判定結果にしたがってノイズ除去処理の実行を開始すると、ＳＡＴＤの値が低下するため、実行判定部１５の判定結果が、過度のノイズが重畳されていないとする判定に変化する。この判定結果を受けて、直ちにノイズ除去処理の実行を停止するようにすると、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態に陥ることがある。
そこで、この実施の形態３では、ノイズ除去処理の実行開始と実行停止の繰り返しを防ぐため、画像内容変化通知部２１及びノイズ除去部２２を実装している。
画像内容変化通知部２１は、入力された画像の変化量を監視する。例えば、入力された画像の変化量として、入力された画像の最新フレームを構成している複数の画素と、前フレームを構成している複数の画素との差分絶対値和を求める。
画像内容変化通知部２１は、フレーム毎に画像の変化量を求め、例えば、シーンチェンジなどが発生して、その画像の変化量が予め設定された基準量より大きくなると、画像内容が大きく変化している旨をノイズ除去部２２に通知する。
ここでは、入力された画像の変化量として差分絶対値和を求める例を示しているが、符号化制御部１により同一のピクチャ内で、符号化モードとしてイントラ符号化モードが選択された符号化ブロックの数をカウントし、そのカウント値が予め設定された閾値以上であれば、画像内容が大きく変化していると判断するようにしてもよい。
画像内容変化通知部２１は、入力された画像の変化量を監視する。例えば、入力された画像の変化量として、入力された画像の最新フレームを構成している複数の画素と、前フレームを構成している複数の画素との差分絶対値和を求める。
画像内容変化通知部２１は、フレーム毎に画像の変化量を求め、例えば、シーンチェンジなどが発生して、その画像の変化量が予め設定された基準量より大きくなると、画像内容が大きく変化している旨をノイズ除去部２２に通知する。
ここでは、入力された画像の変化量として差分絶対値和を求める例を示しているが、符号化制御部１により同一のピクチャ内で、符号化モードとしてイントラ符号化モードが選択された符号化ブロックの数をカウントし、そのカウント値が予め設定された閾値以上であれば、画像内容が大きく変化していると判断するようにしてもよい。
ノイズ除去部２２は、実行判定部１５からノイズ除去処理の実行指令を受けると、図１のノイズ除去部１６と同様に、符号化ブロックに対するノイズ除去処理を実行する。
ノイズ除去部２２は、符号化ブロックに対するノイズ除去処理の実行を開始すると、その後に、実行判定部１５により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合でも、符号化ブロックに対するノイズ除去処理の実行を継続する。
ノイズ除去部２２は、画像内容変化通知部２１から画像内容が大きく変化している旨の通知を受けると、符号化ブロックに対するノイズ除去処理の実行を停止する。
これにより、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態の発生を防ぐことができる。
ノイズ除去部２２は、符号化ブロックに対するノイズ除去処理の実行を開始すると、その後に、実行判定部１５により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合でも、符号化ブロックに対するノイズ除去処理の実行を継続する。
ノイズ除去部２２は、画像内容変化通知部２１から画像内容が大きく変化している旨の通知を受けると、符号化ブロックに対するノイズ除去処理の実行を停止する。
これにより、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態の発生を防ぐことができる。
実施の形態４．
図７はこの発明の実施の形態４によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図７において、図１と同一符号は同一または相当部分を示すので説明を省略する。
静止画像判定部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像が静止画像であるか否かを判定する処理を実施する。なお、静止画像判定部２３は静止画像判定手段を構成している。
ノイズ除去部２４は図１のノイズ除去部１６又は図６のノイズ除去部２２と同様に、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部２４は、静止画像判定部２３の判定結果が静止画像である旨を示していれば、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。なお、ノイズ除去部２４はノイズ除去手段を構成している。
図７はこの発明の実施の形態４によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図７において、図１と同一符号は同一または相当部分を示すので説明を省略する。
静止画像判定部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像が静止画像であるか否かを判定する処理を実施する。なお、静止画像判定部２３は静止画像判定手段を構成している。
ノイズ除去部２４は図１のノイズ除去部１６又は図６のノイズ除去部２２と同様に、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部２４は、静止画像判定部２３の判定結果が静止画像である旨を示していれば、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。なお、ノイズ除去部２４はノイズ除去手段を構成している。
次に動作について説明する。
上記実施の形態１，２では、実行判定部１５からノイズ除去処理の実行指令を受けると、入力された画像が静止画像であっても、符号化ブロックに対するノイズ除去処理の実行を開始している。
しかし、入力された画像が静止画像である場合、仮にノイズが重畳されていても圧縮性能や画質が著しく低下することが少ない。このため、この実施の形態４では、入力された画像が静止画像である場合、ノイズ除去処理の実行に伴う画像ぼけなどの副作用の発生を防ぐことを優先し、ノイズ除去処理の実行を開始しないようにする。
具体的には、以下の通りである。
上記実施の形態１，２では、実行判定部１５からノイズ除去処理の実行指令を受けると、入力された画像が静止画像であっても、符号化ブロックに対するノイズ除去処理の実行を開始している。
しかし、入力された画像が静止画像である場合、仮にノイズが重畳されていても圧縮性能や画質が著しく低下することが少ない。このため、この実施の形態４では、入力された画像が静止画像である場合、ノイズ除去処理の実行に伴う画像ぼけなどの副作用の発生を防ぐことを優先し、ノイズ除去処理の実行を開始しないようにする。
具体的には、以下の通りである。
静止画像判定部２３は、入力された画像の変化量を監視する。例えば、入力された画像の変化量として、入力された画像の最新フレームを構成している複数の画素と、前フレームを構成している複数の画素との差分絶対値和を求める。
静止画像判定部２３は、フレーム毎に画像の変化量を求め、その画像の変化量が予め設定された下限値より小さい場合、入力された画像が静止画像であると判定する。
ノイズ除去部２４は、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理の実行を開始するが、静止画像判定部２３の判定結果が静止画像である旨を示していれば、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。したがって、入力された画像が静止画像でない場合に限り、符号化ブロックに対するノイズ除去処理を実行する。
静止画像判定部２３は、フレーム毎に画像の変化量を求め、その画像の変化量が予め設定された下限値より小さい場合、入力された画像が静止画像であると判定する。
ノイズ除去部２４は、実行判定部１５からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理の実行を開始するが、静止画像判定部２３の判定結果が静止画像である旨を示していれば、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。したがって、入力された画像が静止画像でない場合に限り、符号化ブロックに対するノイズ除去処理を実行する。
実施の形態５．
上記実施の形態４では、入力された画像が静止画像である場合、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないものを示したが、ノイズ除去部２４が、インター予測部１２によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する分散値算出手段を構成し、その動きベクトルの分散値が予め設定された閾値より小さければ、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにしてもよい。
上記実施の形態４では、入力された画像が静止画像である場合、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないものを示したが、ノイズ除去部２４が、インター予測部１２によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する分散値算出手段を構成し、その動きベクトルの分散値が予め設定された閾値より小さければ、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにしてもよい。
具体的には、以下の通りである。
ノイズ除去部２４は、インター予測部１２によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する（例えば、ｎピクチャ分の動きベクトルの分散値を算出する）。
例えば、入力画像がＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）の場合、非常に細やかなテクスチャが存在することがあるため、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもＳＡＴＤの値が大きくなることがあるが、ピクチャ内で動きベクトルが一定方向に揃いやすい傾向がある。このため、動きベクトルの分散値を監視（ピクチャ内で動きベクトルが一定方向に揃っているか否かを監視）することで、入力された画像が、ＣＧ又はそれに類する画像であるか否かを判別することができる。
ノイズ除去部２４は、動きベクトルの分散値を算出すると、その動きベクトルの分散値と予め設定された閾値を比較し、その動きベクトルの分散値が当該閾値より小さければ、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにする。
ノイズ除去部２４は、インター予測部１２によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する（例えば、ｎピクチャ分の動きベクトルの分散値を算出する）。
例えば、入力画像がＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）の場合、非常に細やかなテクスチャが存在することがあるため、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもＳＡＴＤの値が大きくなることがあるが、ピクチャ内で動きベクトルが一定方向に揃いやすい傾向がある。このため、動きベクトルの分散値を監視（ピクチャ内で動きベクトルが一定方向に揃っているか否かを監視）することで、入力された画像が、ＣＧ又はそれに類する画像であるか否かを判別することができる。
ノイズ除去部２４は、動きベクトルの分散値を算出すると、その動きベクトルの分散値と予め設定された閾値を比較し、その動きベクトルの分散値が当該閾値より小さければ、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにする。
このように、動きベクトルの分散値が閾値より小さい場合、実行判定部１５からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにすることで、ノイズの誤検出の影響を防ぐことができる。
即ち、入力画像がＣＧ又はそれに類する画像である場合、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもＳＡＴＤの値が大きくなることがある。このため、ノイズが重畳されていないにもかかわらず、実行判定部１５が、過度のノイズが重畳されていると誤判定して、ノイズ除去処理の実行指令を出力することがある。この結果、ノイズ除去処理の実行に伴う画像ぼけなどの副作用が発生することがある。
しかし、この実施の形態５では、入力画像がＣＧ又はそれに類する画像であるために、動きベクトルの分散値が閾値より小さくなると、ノイズ除去処理の実行を開始しないように構成しているので、ノイズの誤検出に伴うノイズ除去処理の実行を回避して、画像ぼけなどの副作用の発生を防ぐことができる。
なお、入力された画像がＣＧ以外の画像である場合でも、動きベクトルが一定方向に揃うようなケースでは、仮にノイズが重畳されていても、圧縮性能や画質が低下することが少ないため、ノイズ除去処理の実行を回避しても特に問題はない。
即ち、入力画像がＣＧ又はそれに類する画像である場合、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもＳＡＴＤの値が大きくなることがある。このため、ノイズが重畳されていないにもかかわらず、実行判定部１５が、過度のノイズが重畳されていると誤判定して、ノイズ除去処理の実行指令を出力することがある。この結果、ノイズ除去処理の実行に伴う画像ぼけなどの副作用が発生することがある。
しかし、この実施の形態５では、入力画像がＣＧ又はそれに類する画像であるために、動きベクトルの分散値が閾値より小さくなると、ノイズ除去処理の実行を開始しないように構成しているので、ノイズの誤検出に伴うノイズ除去処理の実行を回避して、画像ぼけなどの副作用の発生を防ぐことができる。
なお、入力された画像がＣＧ以外の画像である場合でも、動きベクトルが一定方向に揃うようなケースでは、仮にノイズが重畳されていても、圧縮性能や画質が低下することが少ないため、ノイズ除去処理の実行を回避しても特に問題はない。
実施の形態６．
画像符号化装置では、一般的に、ブロックサイズによらずＳＡＴＤが同程度の値となるような場合、減算部２から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、大きなサイズの変換ブロックを選択するようなアルゴリズムを採用している。
一方、ノイズが重畳されており、ブロックノイズが検知され易くなっている状態では、変換ブロックのサイズが小さい方が主観的な画質が良くなる傾向がある。
画像符号化装置では、一般的に、ブロックサイズによらずＳＡＴＤが同程度の値となるような場合、減算部２から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、大きなサイズの変換ブロックを選択するようなアルゴリズムを採用している。
一方、ノイズが重畳されており、ブロックノイズが検知され易くなっている状態では、変換ブロックのサイズが小さい方が主観的な画質が良くなる傾向がある。
そこで、この実施の形態６では、直交変換部３及び逆直交変換部７は、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、符号化制御部１の指示の下、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、減算部２から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、小さなサイズの変換ブロックを用いるようにする。これにより、主観的な画質が高めることができる効果が得られる。
ここでは、ＳＡＴＤ８が大きい程、小さなサイズの変換ブロックを用いる例を示しているが、ＳＡＴＤ１６，ＳＡＴＤ３２又はＳＡＴＤ６４の大きさを評価し、ＳＡＴＤ１６等が大きい程、小さなサイズの変換ブロックを用いるようにしてもよい。
ここでは、ＳＡＴＤ８が大きい程、小さなサイズの変換ブロックを用いる例を示しているが、ＳＡＴＤ１６，ＳＡＴＤ３２又はＳＡＴＤ６４の大きさを評価し、ＳＡＴＤ１６等が大きい程、小さなサイズの変換ブロックを用いるようにしてもよい。
実施の形態７．
上記実施の形態６では、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、減算部２から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、小さなサイズの変換ブロックを用いるものを示したが、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、量子化部４が、符号化制御部１の指示の下、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、直交変換部３から出力された直交変換係数を量子化する際に用いる量子化スケーリングリスト（量子化マトリクス）の成分を大きくするようにしてもよい。このとき、逆量子化部６も同様に、量子化スケーリングリストの成分を大きくするようにする。
上記実施の形態６では、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、減算部２から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、小さなサイズの変換ブロックを用いるものを示したが、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、量子化部４が、符号化制御部１の指示の下、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、直交変換部３から出力された直交変換係数を量子化する際に用いる量子化スケーリングリスト（量子化マトリクス）の成分を大きくするようにしてもよい。このとき、逆量子化部６も同様に、量子化スケーリングリストの成分を大きくするようにする。
ここで、直交変換部３が用いる変換ブロックのサイズが例えば３２×３２の場合、直交変換部３から出力される直交変換係数は、３２×３２の直交変換マトリクスの各成分であり、量子化スケーリングリストは、３２×３２個の成分を有している。
量子化部４による直交変換係数の量子化は、直交変換マトリクスの成分である直交変換係数を、量子化スケーリングリストの成分で除算するものであり、その除算結果が圧縮データ（量子化後の直交変換係数）となる。
この実施の形態７では、量子化部４及び逆量子化部６は、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、符号化制御部１の指示の下、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、量子化スケーリングリストの成分を大きくすることで、圧縮データ（量子化後の直交変換係数）が小さくなるようにしている。
これにより、ノイズ除去部２４で、狭帯域の帯域制限フィルタを適用した場合と類似の効果を得ることができる。
量子化部４による直交変換係数の量子化は、直交変換マトリクスの成分である直交変換係数を、量子化スケーリングリストの成分で除算するものであり、その除算結果が圧縮データ（量子化後の直交変換係数）となる。
この実施の形態７では、量子化部４及び逆量子化部６は、実行判定部１５からノイズ除去処理の実行指令が出力されている場合、符号化制御部１の指示の下、ＳＡＴＤ算出部１４により算出されたＳＡＴＤ８が大きい程、量子化スケーリングリストの成分を大きくすることで、圧縮データ（量子化後の直交変換係数）が小さくなるようにしている。
これにより、ノイズ除去部２４で、狭帯域の帯域制限フィルタを適用した場合と類似の効果を得ることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
１ 符号化制御部、２ 減算部（圧縮手段）、３ 直交変換部（圧縮手段）、４ 量子化部（圧縮手段）、５ 可変長符号化部（可変長符号化手段）、６ 逆量子化部、７ 逆直交変換部、８ 加算部、９ ループフィルタ、１０ フレームメモリ、１１ イントラ予測部（予測ブロック生成手段）、１２ インター予測部（予測ブロック生成手段）、１３ 切換スイッチ、１４ ＳＡＴＤ算出部（絶対値和算出手段）、１４ａ ブロックサイズ設定部、１４ｂ ブロック分割部、１４ｃ 総和算出部、１５ 実行判定部（実行判定手段）、１６ ノイズ除去部（ノイズ除去手段）、１７ フレームメモリ、２１ 画像内容変化通知部（画像内容変化通知手段）、２２ ノイズ除去部（ノイズ除去手段）、２３ 静止画像判定部（静止画像判定手段）、２４ ノイズ除去部（ノイズ除去手段、分散値算出手段）。
Claims (10)
- 入力された画像を構成する符号化対象のブロックである符号化ブロックと、前記符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出する絶対値和算出手段と、
前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段と、
前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記符号化ブロックに対する前記ノイズ除去処理を実行するノイズ除去手段と
を備えたノイズ除去装置。 - 前記絶対値和算出手段は、
予め、複数のブロックサイズが設定されるブロックサイズ設定部と、
前記ブロックサイズ設定部により設定されているブロックサイズ毎に、前記符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部と、
前記ブロック分割部により分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、前記符号化ブロックにおける前記分割ブロックの個数分の前記絶対値和の総和を算出する総和算出部とから構成されており、
前記実行判定手段は、前記ブロックサイズ設定部により設定されているブロックサイズ毎に前記総和算出部により算出された絶対値和の総和の間の比率をそれぞれ算出し、前記比率の全てが予め設定された閾値より小さい場合、前記ノイズ除去処理を実行すべき旨を示す判定結果を前記ノイズ除去手段に出力することを特徴とする請求項１記載のノイズ除去装置。 - 前記絶対値和算出手段は、
予め、複数のブロックサイズが設定されるブロックサイズ設定部と、
前記ブロックサイズ設定部により設定されているブロックサイズ毎に、前記符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部と、
前記ブロック分割部により分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、前記符号化ブロックにおける前記分割ブロックの個数分の前記絶対値和の総和を算出する総和算出部とから構成されており、
前記実行判定手段は、前記ブロックサイズ設定部により設定されているブロックサイズ毎に前記総和算出部により算出された絶対値和の総和の全てが予め設定された閾値より大きい場合、前記ノイズ除去処理を実行すべき旨を示す判定結果を前記ノイズ除去手段に出力することを特徴とする請求項１記載のノイズ除去装置。 - 前記入力された画像の変化量を監視し、前記変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨を通知する画像内容変化通知手段を備え、
前記ノイズ除去手段は、前記ノイズ除去処理の実行を開始した後、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべきでない旨を示す判定結果に変化しても、前記画像内容変化通知手段から画像内容が大きく変化している旨の通知を受けるまでの間は、前記ノイズ除去処理の実行を継続することを特徴とする請求項１から請求項３のうちのいずれか１項記載のノイズ除去装置。 - 前記入力された画像が静止画像であるか否かを判定する静止画像判定手段を備え、
前記ノイズ除去手段は、前記静止画像判定手段の判定結果が静止画像である旨を示していれば、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していても、前記ノイズ除去処理を実行しないことを特徴とする請求項１から請求項４のうちのいずれか１項記載のノイズ除去装置。 - 前記符号化ブロックに対する予測処理で前記予測ブロックが生成される際に求められる動きベクトルの分散値を算出する分散値算出手段を備え、
前記ノイズ除去手段は、前記分散値算出手段により算出された分散値が予め設定された閾値より小さければ、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していても、前記ノイズ除去処理を実行しないことを特徴とする請求項１から請求項５のうちのいずれか１項記載のノイズ除去装置。 - 絶対値和算出手段が、入力された画像を構成する符号化対象のブロックである符号化ブロックと、前記符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、
実行判定手段が、前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、
ノイズ除去手段が、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記ノイズ除去処理を実行するノイズ除去方法。 - 入力された画像を構成する符号化対象のブロックである符号化ブロックに対する予測処理を実施して予測ブロックを生成する予測ブロック生成手段と、
前記符号化ブロックと前記予測ブロック生成手段により生成された予測ブロックとの差分を圧縮して、前記差分の圧縮データを出力する圧縮手段と、
前記圧縮手段から出力された圧縮データを可変長符号化する可変長符号化手段とを備えた画像符号化装置において、
前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出する絶対値和算出手段と、
前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段と、
前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記符号化ブロックに対するノイズ除去処理を実行し、ノイズ除去処理後の前記符号化ブロックを前記圧縮手段に出力するノイズ除去手段とを備えたことを特徴とする画像符号化装置。 - 前記圧縮手段は、
前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数を出力する直交変換部と、
前記直交変換部から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして前記可変長符号化手段に出力する量子化部とから構成されており、
前記直交変換部は、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示している場合、前記絶対値和算出手段により算出された直交変換係数の絶対値和が大きい程、前記差分を直交変換する際の変換ブロックとして、小さなサイズの変換ブロックを用いることを特徴とする請求項８記載の画像符号化装置。 - 前記圧縮手段は、
前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数を出力する直交変換部と、
前記直交変換部から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして前記可変長符号化手段に出力する量子化部とから構成されており、
前記量子化部は、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示している場合、前記絶対値和算出手段により算出された直交変換係数の絶対値和が大きい程、前記直交変換部から出力された直交変換係数を量子化する際に用いる量子化スケーリングリストの成分を大きくすることを特徴とする請求項８または請求項９記載の画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014187776A JP6249913B2 (ja) | 2014-09-16 | 2014-09-16 | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014187776A JP6249913B2 (ja) | 2014-09-16 | 2014-09-16 | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016063290A JP2016063290A (ja) | 2016-04-25 |
| JP6249913B2 true JP6249913B2 (ja) | 2017-12-20 |
Family
ID=55798231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014187776A Expired - Fee Related JP6249913B2 (ja) | 2014-09-16 | 2014-09-16 | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6249913B2 (ja) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2611598B2 (ja) * | 1992-03-20 | 1997-05-21 | 日本ビクター株式会社 | 画像圧縮装置 |
| JPH06233275A (ja) * | 1993-01-29 | 1994-08-19 | Sharp Corp | 雑音除去装置 |
| JPH06343167A (ja) * | 1993-06-01 | 1994-12-13 | Sanyo Electric Co Ltd | 動画像圧縮回路 |
| JPH07154788A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 映像信号の符号化装置 |
| KR20040062257A (ko) * | 2003-01-02 | 2004-07-07 | 삼성전자주식회사 | 움직임 보상에 기반한 개선된 노이즈 예측 방법 및 그장치와 이를 사용한 동영상 부호화 방법 및 그 장치 |
-
2014
- 2014-09-16 JP JP2014187776A patent/JP6249913B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016063290A (ja) | 2016-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101045199B1 (ko) | 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치 | |
| KR100874518B1 (ko) | 동화상 복호화 방법 및 장치 | |
| US8649431B2 (en) | Method and apparatus for encoding and decoding image by using filtered prediction block | |
| KR101482896B1 (ko) | 최적화된 디블록킹 필터 | |
| US8514935B2 (en) | Image coding apparatus, image coding method, integrated circuit, and camera | |
| AU2011316747A1 (en) | Internal bit depth increase in deblocking filters and ordered dither | |
| JP3365784B2 (ja) | 画像信号復号化装置 | |
| US9736485B2 (en) | Encoding apparatus, encoding method, and image capture apparatus | |
| JP5943733B2 (ja) | 画像符号化装置およびその制御方法ならびにプログラム | |
| US9930352B2 (en) | Reducing noise in an intraframe appearance cycle | |
| US8891622B2 (en) | Motion picture coding apparatus, motion picture coding method and computer readable information recording medium | |
| JP2005295215A (ja) | 動画像符号化装置 | |
| JP6249913B2 (ja) | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 | |
| JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
| Goto et al. | A study on improving image quality of highly compressed moving pictures | |
| KR100814715B1 (ko) | 동영상 부호화기, 복호화기 및 그 방법 | |
| JP2012209873A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| Kamisli et al. | Reduction of blocking artifacts using side information | |
| GOTO et al. | A Deblocking Method using Wavelet Transform for MPEG-II format | |
| JP2007006533A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
| JP2012209874A (ja) | 動画像復号化装置及び動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170123 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6249913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |