JP4001962B2 - ブロック歪低減装置及び方法 - Google Patents
ブロック歪低減装置及び方法 Download PDFInfo
- Publication number
- JP4001962B2 JP4001962B2 JP34886596A JP34886596A JP4001962B2 JP 4001962 B2 JP4001962 B2 JP 4001962B2 JP 34886596 A JP34886596 A JP 34886596A JP 34886596 A JP34886596 A JP 34886596A JP 4001962 B2 JP4001962 B2 JP 4001962B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- correction value
- distortion
- correction
- block distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画データや動画データ等の入力データをブロック化してＤＣＴ符号化等を施すようなブロック符号化におけるブロック歪を低減するためのブロック歪低減装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、ブロックＤＣＴ（離散コサイン変換）符号化等のブロック符号化が知られている。
【０００３】
このようなブロック符号化による画像データ等の圧縮／伸張の際には、ブロック歪（ブロック雑音）が発生することがあり、圧縮率が高くなるほど歪を発生させ易い。このブロック歪は、ＤＣＴ符号化等がブロック内の閉じた空間で変換を行っており、ブロック境界を越えた相関を考慮していないため、ブロック境界での連続性が保存できず、隣接ブロックとの境界部での再生データ値のずれが雑音として知覚されるものである。画像データをブロック符号化した場合に発生するブロック歪は、一種の規則性を有するため一般のランダム雑音に比べて知覚され易く、画質劣化の大きな要因となっている。
【０００４】
このブロック歪を低減するために、例えば、「井田、駄竹，“ＭＣ−ＤＣＴ符号化方式におけるノイズ除去フィルタ”，1990年電子情報学会春季全国大会講演論文集，7-35」の文献においては、画像本来の情報であるエッジを保存し、それらのノイズを除去するため、フィルタのon,offの決定に量子化ステップサイズを用いたり、処理していく方向を変えて複数回処理を行う技術が開示されている。また、「井澤，“画像のブロック符号化における適応形雑音除去フィルタの特性”，信州大学工学部紀要 第７４号、pp.89-100 」の文献においては、周辺ブロックまで抜き出してＤＣＴ変換を行いノイズ周波数成分を除去する技術が開示されている。
【０００５】
前者の方法では、処理が簡単な反面、画像の高周波成分が欠落してしまうため、後者の方法のような高周波成分の欠落のない補正が望まれている。
【０００６】
この他、ブロック境界でブロック歪が発生しているか否かを判別して、ブロック歪が発生しているときに、ブロック境界近傍の画素データを用いて補正を行う方法も研究されている。
【０００７】
【発明が解決しようとする課題】
ところで、ブロック境界に生じるブロック歪の段差が復号後の量子化ステップに等しいか数ステップ程度の微小振幅であるときには、ブロック歪の補正が有効に行えない場合がある。
【０００８】
すなわち、上述のようなブロック歪が微小振幅であり、ブロック境界周辺の画像データのレベルが平坦なときに、上記ブロック歪の補正を行った場合には、量子化の分解能の制限により、ブロック境界の隣接部に疑似エッジが発生することがある。また、ブロック歪の補正を行わないと、ブロック歪が除去されず、ブロック境界での段差がそのまま残ってしまう。
【０００９】
このブロック歪の段差が量子化ステップ程度であっても、ブロック境界周辺が平坦である場合には、歪がブロック境界に沿って縦あるいは横方向に並んで現れることにより、視覚的に目につき易い。
【００１０】
本発明は、このような実情に鑑みてなされたものであり、ブロック歪の段差が量子化ステップの１〜数ステップ程度の微小振幅の場合でも、ブロック歪の低減あるいは除去が効果的に行えるようなブロック歪低減装置及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、ブロック境界近傍であってブロック境界に対して垂直方向の隣接画素間の差分の平均値と、ブロック段差とに基づいてブロック歪か否かを判定し、ブロック歪を低減するための第２の補正値を求め、判定結果により第２の補正値で歪を補正する際に、隣接画素間の差分の平均値とブロック段差に基づく第１の補正値に、疑似ランダム信号を加算し、加算された補正値を丸め処理して第２の補正値を求めることにより、上述した課題を解決する。
【００１２】
上記補正値を疑似ランダム信号により変調するとは、例えば、補正値をランダムに切り換えることが挙げられ、ブロック境界からの距離に応じて上記補正値の切換発生確率を制御することが挙げられる。
【００１３】
取り扱う画像データは、輝度信号と色信号とを含み、ＤＣＴ（離散コサイン変換）等のブロック符号化が施された符号化画像データについて、逆ＤＣＴ等のブロック復号処理した際に生じるブロック歪を、本発明により低減する。
【００１４】
このブロック歪の低減は、上記輝度信号に対してのみ、上記色信号に対してのみ、あるいは上記輝度信号及び色信号の双方に対して施すことが挙げられる。また、上記画像データの水平方向のみの処理により、垂直方向のみの処理により、あるいは水平及び垂直の両方向の処理により、ブロック歪低減を施すことが挙げられる。
【００１５】
このようなブロック歪低減を施すことにより、ブロック境界近傍の画像データがランダムに変調された補正値で補正される。特に、ブロック歪が復号後の量子化ステップ程度の微小振幅の場合でも有効に歪低減が行える。
【００１６】
上記疑似ランダム信号は、画像の垂直同期信号によりリセットすることが好ましく、これにより、特に静止画像において動的なノイズが付加される悪影響を防止できる。
【００１７】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態となるブロック歪低減装置の概略構成を示すブロック図である。
【００１８】
この図１において、入力端子２０には、ブロック符号化を含む圧縮符号化が施された後に復号された画像データが供給される。このブロック符号化を用いた画像データの圧縮符号化方式の具体例としては、いわゆるＭＰＥＧの符号化規格が挙げられる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の動画像圧縮符号化の検討組織（Moving Picture Experts Group）の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【００１９】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、ピクチャ（フレーム又はフィールド）単位で、画像の時間及び空間方向の相関を利用して、圧縮符号化を行っており、空間方向の相関の利用は、ブロックＤＣＴ符号化を用いることで実現している。
【００２０】
このように、例えばブロックＤＣＴ符号化を含む圧縮符号化が施されて、シリアル伝送されたり記録再生された後に、デコーダ側で逆ＤＣＴされたデータが、図１の入力端子２０に供給される。
【００２１】
図１のアクティビティ及びブロック段差計算回路２１では、後述するように、ブロック境界近傍での隣接画素間の差分の平均値であるアクティビティact と、ブロック境界部での隣接画素間の差分であるブロック段差δb とが計算され、これらがブロック歪判定回路２２に送られる。
【００２２】
ブロック歪判定回路２２では、上記アクティビティact とブロック段差δb とを用いて、後述する条件判別を行って、ブロック歪であるか否かの判定を行なう。ブロック歪でないと判定された場合、このブロック歪判定回路２２からの制御信号により、ブロック歪補正回路２４は端子２０から入力されたデータを処理せずに、そのまま端子２５を介して出力する。ブロック歪であると判定された場合には、ブロック歪補正回路２４で補正処理を行って端子２５を介して出力する。
【００２３】
ここで、各画素の補正値計算回路２３では、後述するように、まず補正値αを求め、次にブロック境界に隣接する画素及びその近隣の画素に対応する各補正値を求める。
【００２４】
これらのアクティビティact や各画素に対応する補正値を計算する際、小数点以下の語長を制限せずに、Ｍ（最大長周期）系列発生器等を用いた疑似ランダム信号発生回路２７からの疑似ランダム信号を用いて丸め処理を行い、ブロック境界からの距離に応じてブロック段差を補正する確率を制御している。これは、補正値を疑似ランダム信号に応じて変調すること、あるいは補正値をランダムに切り換えることに相当し、後述するように、ブロック境界での疑似エッジの発生を抑え、ブロック段差を視覚上なめらかにつながったようにするためである。
【００２５】
端子２８からは、いわゆるマイコン等の制御回路より制御信号が送られ、ブロック歪補正回路２４においてブロック歪除去オン／オフの制御がなされる。また、疑似ランダム信号発生回路２７においては、端子２６からのＶＤ（垂直同期信号）によるリセットのオン／オフの制御がなされる。例えば、静止画像が入力された場合、ＶＤによるリセットをオンとする。このＶＤで疑似ランダム信号発生回路２７をリセットすることにより、画面間におけるＭ系列の発生パターンは同一となる。つまり、ある画素に着目した時、その画素に対する補正値は時間的に変化しないので、補正後の画像に動的なノイズが付加されるような不具合を防止することができる。
【００２６】
図２は、上記図１の各画素の補正値計算回路２３の内部構成の一例を示している。端子３０には図１のアクティビティ、ブロック段差計算回路２１からのアクティビティact や、ブロック段差δb が入力され、補正値α計算回路３２により上記補正値αが計算され、回路３３で各画素毎にウェイティングが施され、加算器３４で端子３１からの疑似ランダム信号と加算されて、端子３５より取り出され、図１のブロック歪補正回路２４に送られる。この構成の詳細な動作については後述する。
【００２７】
ここで、説明を簡略化するために、上記図１の構成における疑似ランダム信号による補正値のランダム切換を省いた図３の構成の場合のブロック歪低減の動作原理について、図３〜図７を参照しながら説明する。
【００２８】
先ず、図３のアクティビティ及びブロック段差計算回路２１においては、端子２０に供給された映像信号の画素データｐより、ブロック境界近傍での隣接画素間の差分の平均値であるアクティビティact と、ブロック境界部での隣接画素間の差分であるブロック段差δb とを求める。ここで、図４に示すように、ＤＣＴブロック境界の近傍の画素、すなわちブロック境界に隣接する画素及びその近隣の画素を、
p[i+4] p[i+5] p[i+6] p[i+7]｜p[i+8] p[i+9] p[i+10] p[i+11]
ただし、｜はブロック境界を表す。
【００２９】
とするとき、アクティビティact は、
により計算され、ブロック段差δb は、
δb ＝ p[i+8] - p[i+7] … (2)
により計算される。
【００３０】
次に、ブロック歪判定回路２２は、これらのアクティビティact とブロック段差δb とを用いて、
act ＜ ｜δb｜ ＜ Ｔh … (3)
の条件を満足するとき、ブロック歪であると判定する。この条件式(3) 中のＴh は、所定の閾値（スレッショルド値）である。
【００３１】
ブロック歪でないと判定されたときには、ブロック歪判定回路２２からの制御信号により、ブロック歪補正回路２４は端子２０から入力されたデータを処理せずにそのまま出力する。
【００３２】
これに対して、ブロック歪であると判定されたときは、各画素の補正値計算回路２３において、先ず補正値αを次の式(4) あるいは(5) により求める。
【００３３】
α ＝ δb − act ： δb ＞ ０ … (4)
α ＝ δb ＋ act ： δb ≦ ０ … (5)
次に、上記ブロック境界近傍の各画素について、
p'[i+4] ＝ p[i+4] ＋ α/16 … (6)
p'[i+5] ＝ p[i+5] ＋ α/8 … (7)
p'[i+6] ＝ p[i+6] ＋ α/4 … (8)
p'[i+7] ＝ p[i+7] ＋ α/2 … (9)
p'[i+8] ＝ p[i+8] − α/2 … (10)
p'[i+9] ＝ p[i+9] − α/4 … (11)
p'[i+10]＝ p[i+10]− α/8 … (12)
p'[i+11]＝ p[i+11]− α/16 … (13)
の式(6)〜(13) により求める。
【００３４】
ブロック歪補正回路２４では、ブロック境界に隣接する画素及びその近隣の画素に対して式(6)〜(13) に従って補正を行ない、ブロック歪を除去する。その結果、補正後のブロック境界の段差 p'[i+8]−p'[i+7] は下式(14)に示すように、上記アクティビティact の値と等しくなる。
【００３５】
このときのブロック境界の段差の一例を、図５に示す。この図５の（Ａ）が、上記補正前の状態を、また（Ｂ）が上記補正後の状態をそれぞれ示している。図５の縦軸は振幅すなわち画素データ値を、また横軸はＨ（水平）方向あるいはＶ（垂直）方向の画素位置を示し、図５の（Ａ）のブロック境界の段差δb が、図５の（Ｂ）のブロック境界の段差act に補正されている。
【００３６】
ところで、上記図３に示すような構成において、ブロック歪の段差が図６で示されるように、復号後の量子化ステップに等しい、つまり歪の段差の大きさが１でブロック境界周辺が平坦な時の補正について考えてみる。
【００３７】
このような歪段差が量子化ステップに等しい場合に、ブロック歪であると判定し補正を行なうと、量子化の分解能上、図７のように、ブロック境界の隣接部に疑似エッジＰＥが発生してしまう。
【００３８】
また、ブロック歪でないと判定されると、ブロック歪が除去されず、段差がそのまま残ってしまう。ブロック歪の段差はわずかに１ではあるが、ブロック境界周辺が平坦であることと、歪が縦あるいは横に並ぶことにより、視覚上目につく。
【００３９】
具体例を挙げて説明する。図６に示す信号が入力された場合、
act ＝ ０
δb ＝ −１
であり、上記スレッショルド値（閾値）Ｔh を例えば３２とすると、
act ＜ ｜δb｜ ＜ ３２
が成立し、ブロック歪であると判定される。このときの補正値αを上記式(5) より求めると、
となる。よって、上述したブロック境界近傍の各画素データの値を、上記式(6) 〜(13)を用いて小数点以下第１位で丸め処理を行なって計算すると、下記式(15)〜(22)のようになる。
【００４０】
【数１】
【００４１】
これらの式(15)〜(22)から、図７に示したように、p[i+7]、p[i+8]の画素のところで疑似エッジが発生する。
【００４２】
以上の説明のように、上記図３の構成に限らず、通常のブロック歪補正によっては、ブロック歪の段差が１の時はブロック歪の補正を効果的に行なうことができなかった。
【００４３】
これに対して、本実施の形態においては、上記図１の構成のように疑似ランダム信号発生回路２７を設け、上記アクティビティact や各画素に対応する補正値を計算回路２３で計算する際に、小数点以下の語長を制限せずに、Ｍ（最大長周期）系列発生器等を用いた疑似ランダム信号発生回路２７からの疑似ランダム信号を用いて丸め処理を行なうことにより、ブロック境界からの距離に応じてブロック段差を補正する確率を制御している。その結果、ブロック段差は視覚上なめらかにつながったように見える。
【００４４】
各画素の補正値計算回路２３の内部は、例えば上記図２のように構成されており、この図２の補正値計算回路３２で補正値αを計算する。その後、ウェイティング回路３３で各画素毎にウェイティングを施す。このウェイティングの具体例とは、補正値αを各画素に対応してビットシフトし、 α/16、α/8、α/4、α/2なる値を得るような処理である。
【００４５】
例えば、上記図６で示される信号が入力された場合には、α＝−１となるので、α/16、α/8、α/4、α/2 はそれぞれ下記(23)〜(26)に示した値となる。なお、２進数で小数点以下の値も併せて示した。
【００４６】
【数２】
【００４７】
また、図２の端子３１からは、例えば(27)〜(34)に示した３ビットのＭ系列信号等の疑似ランダム信号が入力される。この疑似ランダム信号の発生順序は、図１の疑似ランダム信号発生回路２７による。なお、１０進数表示は、上記各画素における補正値と桁合わせをしている。
【００４８】
【数３】
【００４９】
図２の加算器３４では、各画素の補正値とＭ系列等の疑似ランダム信号の加算が行なわれる。各画素ごとに具体的に説明する。
【００５０】
上記画素のp[i+7]及びp[i+8]はα/2の補正がなされるが、上記疑似ランダム信号の(31)〜(34)と加算される場合に桁上がりし、補正値は１となる。つまり、補正される確率は５０％である。
上記画素のp[i+6]及びp[i+9]はα/4の補正がなされるが、上記疑似ランダム信号の(33)、(34)と加算される場合に桁上がりし、補正値は１となる。つまり、補正される確率は２５％である。
上記画素のp[i+5]及びp[i+10]はα/8の補正がなされるが、上記疑似ランダム信号の(34)と加算される場合に桁上がりし、補正値は１となる。つまり、補正される確率は１２．５％である。
上記画素のp[i+4]及びp[i+11]はα/16の補正がなされるが、桁上がりをすることはないので、補正される確率は０％である。
【００５１】
これらの補正の様子を図８に示す。この図中で○印内にＡと記した点が平均的なレベルである。すなわち、上記各補正される確率に上記補正値１を掛けたものが、統計的に見て期待される補正値であり、この期待される補正値で補正した結果を上記平均的なレベルとして示している。この図８から明らかなように、ブロック境界の画素p[i+7]、p[i+8]では、補正される確率が５０％で、統計的に見た補正期待値は０．５であるが、ブロック境界から離れるに従って補正される確率が小さくなって、画素のp[i+4]、p[i+11]では補正なしとなっている。
【００５２】
以上のようにして、ブロック境界からの距離に応じて生成された補正値は、端子３５から出力される。
【００５３】
なお、本実施の形態では、ブロック段差の大きさが１の時について説明したが、前述のブロック歪判定及び補正アルゴリズムによれば、ブロック段差の大きさが１、あるいは復号後の量子化ステップに近いかどうかを特に区別せずに、ブロック歪補正を行なうことができる。また、本実施の形態における映像信号とは、輝度信号、色信号ともに適用可能であることは言うまでもない。
【００５４】
図９は、この発明に係る実施の形態となるブロック歪低減回路を適用できるビデオＣＤプレーヤーの概略的な構成を示す。
【００５５】
この図９において、ビデオＣＤやＣＤ−ＲＯＭ等のディスク１０１から、光ピックアップ１０２により読み出されたＲＦ信号は、ＲＦアンプ１０３に入力される。ここで増幅されたＲＦ信号は、ＥＦＭ（８−１４変調）復調回路１０４で復調され、シリアルデータとして、ディスク記録フォーマットのデコーダである例えばＣＤ−ＲＯＭデコーダ１０５に入る。
【００５６】
ＣＤ−ＲＯＭデコーダ１０５では、シリアルデータから例えばＭＰＥＧビットストリーム信号に変換し、ＭＰＥＧデコーダ１０６に送る。このＭＰＥＧは、上述したように、画像の時間及び空間方向の相関を利用して圧縮符号化を行うものであり、空間方向の相関性を利用するためにブロックＤＣＴ符号を採用している。ＭＰＥＧデコーダ１０６では、例えばＭＰＥＧ１フォーマットに従い復号を行っており、この復号の際に、逆量子化器１６１による逆量子化処理後に逆ＤＣＴ回路１６２による逆ＤＣＴ処理を施す。さらに、必要に応じて補間などの処理を行なった後出力する。
【００５７】
ＭＰＥＧデコーダ１０６から出力された映像信号は、ノイズリデューサとしてのブロック歪低減回路１０７に入力されるが、ここでの信号はＭＰＥＧ１での圧縮／伸張によるノイズが含まれているので、ブロック歪低減回路１０７でこれらのノイズ除去を行なう。このブロック歪低減回路１０７として、上述した図１に示すような本発明の実施の形態が適用される。
【００５８】
ブロック歪低減回路１０７での処理後、ＮＴＳＣエンコーダ１０８で同期信号の付加、色信号の変調などを行ないＮＴＳＣ映像信号を生成する。このＮＴＳＣ映像信号がＤ／Ａ変換器１０９を介して出力端子１１０に出力される。
【００５９】
ブロック歪低減回路１０７と関連して、マイクロコンピュータ等を用いた制御回路１１１が設けられ、制御回路１１１に対しては操作部１１２からの制御信号が供給される。操作部１１２には、ノイズリダクション、例えばブロック歪低減の制御スイッチが設けられており、ブロック歪低減のオン／オフの切り替えがなされる。
【００６０】
また、制御回路１１１は、Ｍ（最大長周期）系列発生器のような上記図１の疑似ランダム信号発生回路２７についての上記ＶＤ（垂直同期信号）によるリセットを制御する。これは、例えば静止画像が入力された場合、ＶＤによるリセットをオンとして、ＶＤで疑似ランダム信号発生回路２７をリセットすることにより、画面間における疑似ランダム信号の発生パターンを同一とすることができ、これによって、ある画素に着目した時、その画素に対する補正値は時間的に変化しないので、補正後の画像に動的なノイズが付加されるような不具合を防止することができる。
【００６１】
ここで、上述した本発明の実施の形態の変形例について説明する。
【００６２】
この変形例においては、上記式(6)〜(13) で示した補正式を、下記の式(35)〜(40)に変更する。
【００６３】
p'[i+5] ＝ p[i+5] ＋ α/8 … (35)
p'[i+6] ＝ p[i+6] ＋ α/4 … (36)
p'[i+7] ＝ p[i+7] ＋ 3α/8 … (37)
p'[i+8] ＝ p[i+8] − 3α/8 … (38)
p'[i+9] ＝ p[i+9] − α/4 … (39)
p'[i+10]＝ p[i+10]− α/8 … (40)
この変形例で、上記図６で示す信号が入力された場合、α/8、α/4、3α/8 はそれぞれ(41)〜(43)に示した値になる。
【００６４】
【数４】
【００６５】
上記図４に示す各画素p[i+7]及びp[i+8]は、3α/8 の補正がなされるが、上記式(32)〜(34)の疑似ランダム信号と加算される場合に桁上がりし、補正値は１となる。すなわち、補正される確率は３７．５％である。
【００６６】
このような変形例による補正を行う場合には、図１０で示すような補正結果が得られ、前述の図８よりもなめらかにブロック段差が補正される。
【００６７】
次に、本発明の他の実施の形態について、図１１及び図１２を参照しながら説明する。
ブロック歪の補正には、例えば図１１及び図１２に示すような構成を用いても本発明を適用することが可能である。図１１は図９におけるブロック歪低減回路１０７の要部を示し、図１２は図１１におけるブロック歪補正回路４０の具体例を示す。
【００６８】
これらの図１１及び図１２に示す実施の形態の補正方法について説明する。ブロック歪判定回路２２において、ブロック歪であると判定された場合、ブロック歪補正回路４０は、上記図４の各画素p[i+5]、p[i+6]、p[i+7]、p[i+8]、p[i+9]、p[i+10] に対してＬＰＦ（ローパスフィルタ）の処理を施し、端子２５に出力する。ブロック歪でないと判定された場合は、端子２０から入力されたデータを処理せずに、そのまま端子２５に出力する。
【００６９】
ブロック歪補正回路４０の内部の具体例を図１２を用いて説明する。
端子４３から入力される制御信号がＨ（ノイズリダクションオン）で、かつ端子４２からのブロック歪判定信号もＨ（ブロック歪であると判定）となる各信号が入力された時、切換スイッチ４７は、以下の処理が施された信号を選択し、端子４８に出力する。端子２０から供給される映像信号は、例えば下記の式(44)の伝達特性をもつＬＰＦの処理が施される。
【００７０】
Ｈ(ｚ) ＝（2＋3ｚ-1＋6ｚ-2＋3ｚ-3＋2ｚ-4）／16 … (44)
ｚ-1 は単位遅延演算子である。
【００７１】
このＬＰＦに図６で示す信号が入力されたとき、各画素p[i+5]、p[i+6]、p[i+7]、p[i+8]、p[i+9]、p[i+10]の応答は、以下の(45)〜(50)の値となる。ただし、p[i+7]＝m+1、p[i+8]＝m と置く。
【００７２】
また、端子４１からは、例えば(51)〜(66)に示した４ビットの疑似ランダム信号が入力される。なお、１０進表示は、上記各画素の応答値と桁合わせをしている。
【００７３】
【数５】
【００７４】
加算器４６では、ＬＰＦ処理された値と４ビットの疑似ランダム信号の加算が行なわれる。各画素ごとに具体的に説明する。
【００７５】
上記図４の画素p[i+6]は、上記(53)〜(66)の疑似ランダム信号と加算される場合に桁上がりする。すなわち、丸め処理された結果がm+1 になる確率は８７．５％である。
上記画素p[i+7]は、(56)〜(66)の疑似ランダム信号と加算される場合に桁上がりし、丸め処理された結果がm+1 になる確率は６８．７５％である。
上記画素p[i+8]は、(62)〜(66)の疑似ランダム信号と加算される場合に桁上がりし、丸め処理された結果がm+1 になる確率は３１．２５％である。
上記画素p[i+9]は、(65)〜(66)の疑似ランダム信号と加算される場合に桁上がりし、丸め処理された結果がm+1 になる確率は１２．５％である。
【００７６】
これらの補正の様子を図１３に示す。図中の丸印内にＡと記した点が平均的なレベルである。以上のようにしてブロック段差はなめらかに補正される。
【００７７】
なお、本発明は上述した実施の形態に限定されるものではなく、例えば、上記実施の形態においては、水平（Ｈ）方向の処理について述べたが、垂直（Ｖ）方向についても同様に適用可能である。また、ＶＤ（垂直同期信号）による疑似ランダム信号発生器のリセットは静止画像が入力されたときに限らず、動画像が入力された場合にも適用可能である。さらに、補正値αは上記実施の形態のみに限定されず、種々の方法により補正値を求めることができ、例えばブロック段差あるいはブロック歪そのものを補正値としてもよい。
【００７８】
【発明の効果】
本発明によれば、ブロック歪判定結果によりブロック歪補正値で歪を補正する際に、この補正値を疑似ランダム信号に応じて変調しているため、ブロック境界近傍の画像データがランダムに変調された補正値で補正され、ブロック境界での疑似エッジの発生が防止され、ブロック段差が視覚的に滑らかにつながったようになる。
【００７９】
上記補正値を疑似ランダム信号により変調するとは、例えば、補正値をランダムに切り換えることが挙げられ、ブロック境界からの距離に応じて上記補正値の切換発生確率を制御することが挙げられる。これにより、簡単な処理で、ブロック段差が隣接画素近傍も含めて滑らかにつながるように補正できる。
【００８０】
従って、本発明によれば、ブロックＤＣＴ符号化などを用いて画像圧縮／伸張した際に発生するブロック歪を除去する装置において、簡易な回路あるいは方法で復号後の量子化ステップと同等程度の微小振幅のブロック歪を効果的に除去することができる。
【００８１】
また、疑似ランダム信号発生をＶＤ（垂直同期信号）でリセットすることにより、特に静止画像において動的なノイズが付加される悪影響を防止できる。
【図面の簡単な説明】
【図１】本発明に係る実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図２】実施の形態のブロック歪低減装置に用いられる各画素の補正値計算回路の具体的な構成例を示すブロック図である。
【図３】本発明の実施の形態の前提となるブロック歪低減装置の概略構成を示すブロック図である。
【図４】ブロック歪補正のためのブロック境界近傍の画素を示す図である。
【図５】ブロック境界の段差の補正動作を説明するための図である。
【図６】ブロック境界の段差が１量子化ステップのときの画素データの一例を示す図である。
【図７】ブロック境界の段差が１量子化ステップのときの補正後の画素データの一例を示す図である。
【図８】本発明に係る実施の形態によるブロック歪低減が施されたときのブロック境界の画素データの一例を示す図である。
【図９】本発明に係る実施の形態となる画像データのブロック歪低減装置が用いられたデコーダシステムの概略構成を示すブロック図である。
【図１０】本発明に係る実施の形態の変形例によるブロック歪低減が施されたときのブロック境界の画素データの一例を示す図である。
【図１１】本発明に係る他の実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図１２】図１１の実施の形態のブロック歪低減装置に用いられるブロック歪補正回路の具体的な構成例を示すブロック図である。
【図１３】図１１の実施の形態によるブロック歪低減が施されたときのブロック境界の画素データの一例を示す図である。
【符号の説明】
２１ アクティビティ・ブロック段差計算回路、 ２２ ブロック歪判定回路、 ２３ 各画素の補正値計算回路、 ２４ ブロック歪補正回路、 ２７ 疑似ランダム信号発生回路
【発明の属する技術分野】
本発明は、静止画データや動画データ等の入力データをブロック化してＤＣＴ符号化等を施すようなブロック符号化におけるブロック歪を低減するためのブロック歪低減装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、ブロックＤＣＴ（離散コサイン変換）符号化等のブロック符号化が知られている。
【０００３】
このようなブロック符号化による画像データ等の圧縮／伸張の際には、ブロック歪（ブロック雑音）が発生することがあり、圧縮率が高くなるほど歪を発生させ易い。このブロック歪は、ＤＣＴ符号化等がブロック内の閉じた空間で変換を行っており、ブロック境界を越えた相関を考慮していないため、ブロック境界での連続性が保存できず、隣接ブロックとの境界部での再生データ値のずれが雑音として知覚されるものである。画像データをブロック符号化した場合に発生するブロック歪は、一種の規則性を有するため一般のランダム雑音に比べて知覚され易く、画質劣化の大きな要因となっている。
【０００４】
このブロック歪を低減するために、例えば、「井田、駄竹，“ＭＣ−ＤＣＴ符号化方式におけるノイズ除去フィルタ”，1990年電子情報学会春季全国大会講演論文集，7-35」の文献においては、画像本来の情報であるエッジを保存し、それらのノイズを除去するため、フィルタのon,offの決定に量子化ステップサイズを用いたり、処理していく方向を変えて複数回処理を行う技術が開示されている。また、「井澤，“画像のブロック符号化における適応形雑音除去フィルタの特性”，信州大学工学部紀要 第７４号、pp.89-100 」の文献においては、周辺ブロックまで抜き出してＤＣＴ変換を行いノイズ周波数成分を除去する技術が開示されている。
【０００５】
前者の方法では、処理が簡単な反面、画像の高周波成分が欠落してしまうため、後者の方法のような高周波成分の欠落のない補正が望まれている。
【０００６】
この他、ブロック境界でブロック歪が発生しているか否かを判別して、ブロック歪が発生しているときに、ブロック境界近傍の画素データを用いて補正を行う方法も研究されている。
【０００７】
【発明が解決しようとする課題】
ところで、ブロック境界に生じるブロック歪の段差が復号後の量子化ステップに等しいか数ステップ程度の微小振幅であるときには、ブロック歪の補正が有効に行えない場合がある。
【０００８】
すなわち、上述のようなブロック歪が微小振幅であり、ブロック境界周辺の画像データのレベルが平坦なときに、上記ブロック歪の補正を行った場合には、量子化の分解能の制限により、ブロック境界の隣接部に疑似エッジが発生することがある。また、ブロック歪の補正を行わないと、ブロック歪が除去されず、ブロック境界での段差がそのまま残ってしまう。
【０００９】
このブロック歪の段差が量子化ステップ程度であっても、ブロック境界周辺が平坦である場合には、歪がブロック境界に沿って縦あるいは横方向に並んで現れることにより、視覚的に目につき易い。
【００１０】
本発明は、このような実情に鑑みてなされたものであり、ブロック歪の段差が量子化ステップの１〜数ステップ程度の微小振幅の場合でも、ブロック歪の低減あるいは除去が効果的に行えるようなブロック歪低減装置及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、ブロック境界近傍であってブロック境界に対して垂直方向の隣接画素間の差分の平均値と、ブロック段差とに基づいてブロック歪か否かを判定し、ブロック歪を低減するための第２の補正値を求め、判定結果により第２の補正値で歪を補正する際に、隣接画素間の差分の平均値とブロック段差に基づく第１の補正値に、疑似ランダム信号を加算し、加算された補正値を丸め処理して第２の補正値を求めることにより、上述した課題を解決する。
【００１２】
上記補正値を疑似ランダム信号により変調するとは、例えば、補正値をランダムに切り換えることが挙げられ、ブロック境界からの距離に応じて上記補正値の切換発生確率を制御することが挙げられる。
【００１３】
取り扱う画像データは、輝度信号と色信号とを含み、ＤＣＴ（離散コサイン変換）等のブロック符号化が施された符号化画像データについて、逆ＤＣＴ等のブロック復号処理した際に生じるブロック歪を、本発明により低減する。
【００１４】
このブロック歪の低減は、上記輝度信号に対してのみ、上記色信号に対してのみ、あるいは上記輝度信号及び色信号の双方に対して施すことが挙げられる。また、上記画像データの水平方向のみの処理により、垂直方向のみの処理により、あるいは水平及び垂直の両方向の処理により、ブロック歪低減を施すことが挙げられる。
【００１５】
このようなブロック歪低減を施すことにより、ブロック境界近傍の画像データがランダムに変調された補正値で補正される。特に、ブロック歪が復号後の量子化ステップ程度の微小振幅の場合でも有効に歪低減が行える。
【００１６】
上記疑似ランダム信号は、画像の垂直同期信号によりリセットすることが好ましく、これにより、特に静止画像において動的なノイズが付加される悪影響を防止できる。
【００１７】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態となるブロック歪低減装置の概略構成を示すブロック図である。
【００１８】
この図１において、入力端子２０には、ブロック符号化を含む圧縮符号化が施された後に復号された画像データが供給される。このブロック符号化を用いた画像データの圧縮符号化方式の具体例としては、いわゆるＭＰＥＧの符号化規格が挙げられる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ29（International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 / Sub Committee 29：国際標準化機構／国際電気標準会議 合同技術委員会１／専門部会２９）の動画像圧縮符号化の検討組織（Moving Picture Experts Group）の略称であり、ＭＰＥＧ１標準としてISO11172が、ＭＰＥＧ２標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1及びISO13818-1が、映像の項目でISO11172-2及びISO13818-2が、また音声の項目でISO11172-3及びISO13818-3がそれぞれ標準化されている。
【００１９】
ここで、画像圧縮符号化規格としてのISO11172-2又はISO13818-2においては、画像信号を、ピクチャ（フレーム又はフィールド）単位で、画像の時間及び空間方向の相関を利用して、圧縮符号化を行っており、空間方向の相関の利用は、ブロックＤＣＴ符号化を用いることで実現している。
【００２０】
このように、例えばブロックＤＣＴ符号化を含む圧縮符号化が施されて、シリアル伝送されたり記録再生された後に、デコーダ側で逆ＤＣＴされたデータが、図１の入力端子２０に供給される。
【００２１】
図１のアクティビティ及びブロック段差計算回路２１では、後述するように、ブロック境界近傍での隣接画素間の差分の平均値であるアクティビティact と、ブロック境界部での隣接画素間の差分であるブロック段差δb とが計算され、これらがブロック歪判定回路２２に送られる。
【００２２】
ブロック歪判定回路２２では、上記アクティビティact とブロック段差δb とを用いて、後述する条件判別を行って、ブロック歪であるか否かの判定を行なう。ブロック歪でないと判定された場合、このブロック歪判定回路２２からの制御信号により、ブロック歪補正回路２４は端子２０から入力されたデータを処理せずに、そのまま端子２５を介して出力する。ブロック歪であると判定された場合には、ブロック歪補正回路２４で補正処理を行って端子２５を介して出力する。
【００２３】
ここで、各画素の補正値計算回路２３では、後述するように、まず補正値αを求め、次にブロック境界に隣接する画素及びその近隣の画素に対応する各補正値を求める。
【００２４】
これらのアクティビティact や各画素に対応する補正値を計算する際、小数点以下の語長を制限せずに、Ｍ（最大長周期）系列発生器等を用いた疑似ランダム信号発生回路２７からの疑似ランダム信号を用いて丸め処理を行い、ブロック境界からの距離に応じてブロック段差を補正する確率を制御している。これは、補正値を疑似ランダム信号に応じて変調すること、あるいは補正値をランダムに切り換えることに相当し、後述するように、ブロック境界での疑似エッジの発生を抑え、ブロック段差を視覚上なめらかにつながったようにするためである。
【００２５】
端子２８からは、いわゆるマイコン等の制御回路より制御信号が送られ、ブロック歪補正回路２４においてブロック歪除去オン／オフの制御がなされる。また、疑似ランダム信号発生回路２７においては、端子２６からのＶＤ（垂直同期信号）によるリセットのオン／オフの制御がなされる。例えば、静止画像が入力された場合、ＶＤによるリセットをオンとする。このＶＤで疑似ランダム信号発生回路２７をリセットすることにより、画面間におけるＭ系列の発生パターンは同一となる。つまり、ある画素に着目した時、その画素に対する補正値は時間的に変化しないので、補正後の画像に動的なノイズが付加されるような不具合を防止することができる。
【００２６】
図２は、上記図１の各画素の補正値計算回路２３の内部構成の一例を示している。端子３０には図１のアクティビティ、ブロック段差計算回路２１からのアクティビティact や、ブロック段差δb が入力され、補正値α計算回路３２により上記補正値αが計算され、回路３３で各画素毎にウェイティングが施され、加算器３４で端子３１からの疑似ランダム信号と加算されて、端子３５より取り出され、図１のブロック歪補正回路２４に送られる。この構成の詳細な動作については後述する。
【００２７】
ここで、説明を簡略化するために、上記図１の構成における疑似ランダム信号による補正値のランダム切換を省いた図３の構成の場合のブロック歪低減の動作原理について、図３〜図７を参照しながら説明する。
【００２８】
先ず、図３のアクティビティ及びブロック段差計算回路２１においては、端子２０に供給された映像信号の画素データｐより、ブロック境界近傍での隣接画素間の差分の平均値であるアクティビティact と、ブロック境界部での隣接画素間の差分であるブロック段差δb とを求める。ここで、図４に示すように、ＤＣＴブロック境界の近傍の画素、すなわちブロック境界に隣接する画素及びその近隣の画素を、
p[i+4] p[i+5] p[i+6] p[i+7]｜p[i+8] p[i+9] p[i+10] p[i+11]
ただし、｜はブロック境界を表す。
【００２９】
とするとき、アクティビティact は、
δb ＝ p[i+8] - p[i+7] … (2)
により計算される。
【００３０】
次に、ブロック歪判定回路２２は、これらのアクティビティact とブロック段差δb とを用いて、
act ＜ ｜δb｜ ＜ Ｔh … (3)
の条件を満足するとき、ブロック歪であると判定する。この条件式(3) 中のＴh は、所定の閾値（スレッショルド値）である。
【００３１】
ブロック歪でないと判定されたときには、ブロック歪判定回路２２からの制御信号により、ブロック歪補正回路２４は端子２０から入力されたデータを処理せずにそのまま出力する。
【００３２】
これに対して、ブロック歪であると判定されたときは、各画素の補正値計算回路２３において、先ず補正値αを次の式(4) あるいは(5) により求める。
【００３３】
α ＝ δb − act ： δb ＞ ０ … (4)
α ＝ δb ＋ act ： δb ≦ ０ … (5)
次に、上記ブロック境界近傍の各画素について、
p'[i+4] ＝ p[i+4] ＋ α/16 … (6)
p'[i+5] ＝ p[i+5] ＋ α/8 … (7)
p'[i+6] ＝ p[i+6] ＋ α/4 … (8)
p'[i+7] ＝ p[i+7] ＋ α/2 … (9)
p'[i+8] ＝ p[i+8] − α/2 … (10)
p'[i+9] ＝ p[i+9] − α/4 … (11)
p'[i+10]＝ p[i+10]− α/8 … (12)
p'[i+11]＝ p[i+11]− α/16 … (13)
の式(6)〜(13) により求める。
【００３４】
ブロック歪補正回路２４では、ブロック境界に隣接する画素及びその近隣の画素に対して式(6)〜(13) に従って補正を行ない、ブロック歪を除去する。その結果、補正後のブロック境界の段差 p'[i+8]−p'[i+7] は下式(14)に示すように、上記アクティビティact の値と等しくなる。
【００３５】
【００３６】
ところで、上記図３に示すような構成において、ブロック歪の段差が図６で示されるように、復号後の量子化ステップに等しい、つまり歪の段差の大きさが１でブロック境界周辺が平坦な時の補正について考えてみる。
【００３７】
このような歪段差が量子化ステップに等しい場合に、ブロック歪であると判定し補正を行なうと、量子化の分解能上、図７のように、ブロック境界の隣接部に疑似エッジＰＥが発生してしまう。
【００３８】
また、ブロック歪でないと判定されると、ブロック歪が除去されず、段差がそのまま残ってしまう。ブロック歪の段差はわずかに１ではあるが、ブロック境界周辺が平坦であることと、歪が縦あるいは横に並ぶことにより、視覚上目につく。
【００３９】
具体例を挙げて説明する。図６に示す信号が入力された場合、
act ＝ ０
δb ＝ −１
であり、上記スレッショルド値（閾値）Ｔh を例えば３２とすると、
act ＜ ｜δb｜ ＜ ３２
が成立し、ブロック歪であると判定される。このときの補正値αを上記式(5) より求めると、
【００４０】
【数１】
これらの式(15)〜(22)から、図７に示したように、p[i+7]、p[i+8]の画素のところで疑似エッジが発生する。
【００４２】
以上の説明のように、上記図３の構成に限らず、通常のブロック歪補正によっては、ブロック歪の段差が１の時はブロック歪の補正を効果的に行なうことができなかった。
【００４３】
これに対して、本実施の形態においては、上記図１の構成のように疑似ランダム信号発生回路２７を設け、上記アクティビティact や各画素に対応する補正値を計算回路２３で計算する際に、小数点以下の語長を制限せずに、Ｍ（最大長周期）系列発生器等を用いた疑似ランダム信号発生回路２７からの疑似ランダム信号を用いて丸め処理を行なうことにより、ブロック境界からの距離に応じてブロック段差を補正する確率を制御している。その結果、ブロック段差は視覚上なめらかにつながったように見える。
【００４４】
各画素の補正値計算回路２３の内部は、例えば上記図２のように構成されており、この図２の補正値計算回路３２で補正値αを計算する。その後、ウェイティング回路３３で各画素毎にウェイティングを施す。このウェイティングの具体例とは、補正値αを各画素に対応してビットシフトし、 α/16、α/8、α/4、α/2なる値を得るような処理である。
【００４５】
例えば、上記図６で示される信号が入力された場合には、α＝−１となるので、α/16、α/8、α/4、α/2 はそれぞれ下記(23)〜(26)に示した値となる。なお、２進数で小数点以下の値も併せて示した。
【００４６】
【数２】
また、図２の端子３１からは、例えば(27)〜(34)に示した３ビットのＭ系列信号等の疑似ランダム信号が入力される。この疑似ランダム信号の発生順序は、図１の疑似ランダム信号発生回路２７による。なお、１０進数表示は、上記各画素における補正値と桁合わせをしている。
【００４８】
【数３】
図２の加算器３４では、各画素の補正値とＭ系列等の疑似ランダム信号の加算が行なわれる。各画素ごとに具体的に説明する。
【００５０】
上記画素のp[i+7]及びp[i+8]はα/2の補正がなされるが、上記疑似ランダム信号の(31)〜(34)と加算される場合に桁上がりし、補正値は１となる。つまり、補正される確率は５０％である。
上記画素のp[i+6]及びp[i+9]はα/4の補正がなされるが、上記疑似ランダム信号の(33)、(34)と加算される場合に桁上がりし、補正値は１となる。つまり、補正される確率は２５％である。
上記画素のp[i+5]及びp[i+10]はα/8の補正がなされるが、上記疑似ランダム信号の(34)と加算される場合に桁上がりし、補正値は１となる。つまり、補正される確率は１２．５％である。
上記画素のp[i+4]及びp[i+11]はα/16の補正がなされるが、桁上がりをすることはないので、補正される確率は０％である。
【００５１】
これらの補正の様子を図８に示す。この図中で○印内にＡと記した点が平均的なレベルである。すなわち、上記各補正される確率に上記補正値１を掛けたものが、統計的に見て期待される補正値であり、この期待される補正値で補正した結果を上記平均的なレベルとして示している。この図８から明らかなように、ブロック境界の画素p[i+7]、p[i+8]では、補正される確率が５０％で、統計的に見た補正期待値は０．５であるが、ブロック境界から離れるに従って補正される確率が小さくなって、画素のp[i+4]、p[i+11]では補正なしとなっている。
【００５２】
以上のようにして、ブロック境界からの距離に応じて生成された補正値は、端子３５から出力される。
【００５３】
なお、本実施の形態では、ブロック段差の大きさが１の時について説明したが、前述のブロック歪判定及び補正アルゴリズムによれば、ブロック段差の大きさが１、あるいは復号後の量子化ステップに近いかどうかを特に区別せずに、ブロック歪補正を行なうことができる。また、本実施の形態における映像信号とは、輝度信号、色信号ともに適用可能であることは言うまでもない。
【００５４】
図９は、この発明に係る実施の形態となるブロック歪低減回路を適用できるビデオＣＤプレーヤーの概略的な構成を示す。
【００５５】
この図９において、ビデオＣＤやＣＤ−ＲＯＭ等のディスク１０１から、光ピックアップ１０２により読み出されたＲＦ信号は、ＲＦアンプ１０３に入力される。ここで増幅されたＲＦ信号は、ＥＦＭ（８−１４変調）復調回路１０４で復調され、シリアルデータとして、ディスク記録フォーマットのデコーダである例えばＣＤ−ＲＯＭデコーダ１０５に入る。
【００５６】
ＣＤ−ＲＯＭデコーダ１０５では、シリアルデータから例えばＭＰＥＧビットストリーム信号に変換し、ＭＰＥＧデコーダ１０６に送る。このＭＰＥＧは、上述したように、画像の時間及び空間方向の相関を利用して圧縮符号化を行うものであり、空間方向の相関性を利用するためにブロックＤＣＴ符号を採用している。ＭＰＥＧデコーダ１０６では、例えばＭＰＥＧ１フォーマットに従い復号を行っており、この復号の際に、逆量子化器１６１による逆量子化処理後に逆ＤＣＴ回路１６２による逆ＤＣＴ処理を施す。さらに、必要に応じて補間などの処理を行なった後出力する。
【００５７】
ＭＰＥＧデコーダ１０６から出力された映像信号は、ノイズリデューサとしてのブロック歪低減回路１０７に入力されるが、ここでの信号はＭＰＥＧ１での圧縮／伸張によるノイズが含まれているので、ブロック歪低減回路１０７でこれらのノイズ除去を行なう。このブロック歪低減回路１０７として、上述した図１に示すような本発明の実施の形態が適用される。
【００５８】
ブロック歪低減回路１０７での処理後、ＮＴＳＣエンコーダ１０８で同期信号の付加、色信号の変調などを行ないＮＴＳＣ映像信号を生成する。このＮＴＳＣ映像信号がＤ／Ａ変換器１０９を介して出力端子１１０に出力される。
【００５９】
ブロック歪低減回路１０７と関連して、マイクロコンピュータ等を用いた制御回路１１１が設けられ、制御回路１１１に対しては操作部１１２からの制御信号が供給される。操作部１１２には、ノイズリダクション、例えばブロック歪低減の制御スイッチが設けられており、ブロック歪低減のオン／オフの切り替えがなされる。
【００６０】
また、制御回路１１１は、Ｍ（最大長周期）系列発生器のような上記図１の疑似ランダム信号発生回路２７についての上記ＶＤ（垂直同期信号）によるリセットを制御する。これは、例えば静止画像が入力された場合、ＶＤによるリセットをオンとして、ＶＤで疑似ランダム信号発生回路２７をリセットすることにより、画面間における疑似ランダム信号の発生パターンを同一とすることができ、これによって、ある画素に着目した時、その画素に対する補正値は時間的に変化しないので、補正後の画像に動的なノイズが付加されるような不具合を防止することができる。
【００６１】
ここで、上述した本発明の実施の形態の変形例について説明する。
【００６２】
この変形例においては、上記式(6)〜(13) で示した補正式を、下記の式(35)〜(40)に変更する。
【００６３】
p'[i+5] ＝ p[i+5] ＋ α/8 … (35)
p'[i+6] ＝ p[i+6] ＋ α/4 … (36)
p'[i+7] ＝ p[i+7] ＋ 3α/8 … (37)
p'[i+8] ＝ p[i+8] − 3α/8 … (38)
p'[i+9] ＝ p[i+9] − α/4 … (39)
p'[i+10]＝ p[i+10]− α/8 … (40)
この変形例で、上記図６で示す信号が入力された場合、α/8、α/4、3α/8 はそれぞれ(41)〜(43)に示した値になる。
【００６４】
【数４】
上記図４に示す各画素p[i+7]及びp[i+8]は、3α/8 の補正がなされるが、上記式(32)〜(34)の疑似ランダム信号と加算される場合に桁上がりし、補正値は１となる。すなわち、補正される確率は３７．５％である。
【００６６】
このような変形例による補正を行う場合には、図１０で示すような補正結果が得られ、前述の図８よりもなめらかにブロック段差が補正される。
【００６７】
次に、本発明の他の実施の形態について、図１１及び図１２を参照しながら説明する。
ブロック歪の補正には、例えば図１１及び図１２に示すような構成を用いても本発明を適用することが可能である。図１１は図９におけるブロック歪低減回路１０７の要部を示し、図１２は図１１におけるブロック歪補正回路４０の具体例を示す。
【００６８】
これらの図１１及び図１２に示す実施の形態の補正方法について説明する。ブロック歪判定回路２２において、ブロック歪であると判定された場合、ブロック歪補正回路４０は、上記図４の各画素p[i+5]、p[i+6]、p[i+7]、p[i+8]、p[i+9]、p[i+10] に対してＬＰＦ（ローパスフィルタ）の処理を施し、端子２５に出力する。ブロック歪でないと判定された場合は、端子２０から入力されたデータを処理せずに、そのまま端子２５に出力する。
【００６９】
ブロック歪補正回路４０の内部の具体例を図１２を用いて説明する。
端子４３から入力される制御信号がＨ（ノイズリダクションオン）で、かつ端子４２からのブロック歪判定信号もＨ（ブロック歪であると判定）となる各信号が入力された時、切換スイッチ４７は、以下の処理が施された信号を選択し、端子４８に出力する。端子２０から供給される映像信号は、例えば下記の式(44)の伝達特性をもつＬＰＦの処理が施される。
【００７０】
Ｈ(ｚ) ＝（2＋3ｚ-1＋6ｚ-2＋3ｚ-3＋2ｚ-4）／16 … (44)
ｚ-1 は単位遅延演算子である。
【００７１】
このＬＰＦに図６で示す信号が入力されたとき、各画素p[i+5]、p[i+6]、p[i+7]、p[i+8]、p[i+9]、p[i+10]の応答は、以下の(45)〜(50)の値となる。ただし、p[i+7]＝m+1、p[i+8]＝m と置く。
【００７２】
【００７３】
【数５】
加算器４６では、ＬＰＦ処理された値と４ビットの疑似ランダム信号の加算が行なわれる。各画素ごとに具体的に説明する。
【００７５】
上記図４の画素p[i+6]は、上記(53)〜(66)の疑似ランダム信号と加算される場合に桁上がりする。すなわち、丸め処理された結果がm+1 になる確率は８７．５％である。
上記画素p[i+7]は、(56)〜(66)の疑似ランダム信号と加算される場合に桁上がりし、丸め処理された結果がm+1 になる確率は６８．７５％である。
上記画素p[i+8]は、(62)〜(66)の疑似ランダム信号と加算される場合に桁上がりし、丸め処理された結果がm+1 になる確率は３１．２５％である。
上記画素p[i+9]は、(65)〜(66)の疑似ランダム信号と加算される場合に桁上がりし、丸め処理された結果がm+1 になる確率は１２．５％である。
【００７６】
これらの補正の様子を図１３に示す。図中の丸印内にＡと記した点が平均的なレベルである。以上のようにしてブロック段差はなめらかに補正される。
【００７７】
なお、本発明は上述した実施の形態に限定されるものではなく、例えば、上記実施の形態においては、水平（Ｈ）方向の処理について述べたが、垂直（Ｖ）方向についても同様に適用可能である。また、ＶＤ（垂直同期信号）による疑似ランダム信号発生器のリセットは静止画像が入力されたときに限らず、動画像が入力された場合にも適用可能である。さらに、補正値αは上記実施の形態のみに限定されず、種々の方法により補正値を求めることができ、例えばブロック段差あるいはブロック歪そのものを補正値としてもよい。
【００７８】
【発明の効果】
本発明によれば、ブロック歪判定結果によりブロック歪補正値で歪を補正する際に、この補正値を疑似ランダム信号に応じて変調しているため、ブロック境界近傍の画像データがランダムに変調された補正値で補正され、ブロック境界での疑似エッジの発生が防止され、ブロック段差が視覚的に滑らかにつながったようになる。
【００７９】
上記補正値を疑似ランダム信号により変調するとは、例えば、補正値をランダムに切り換えることが挙げられ、ブロック境界からの距離に応じて上記補正値の切換発生確率を制御することが挙げられる。これにより、簡単な処理で、ブロック段差が隣接画素近傍も含めて滑らかにつながるように補正できる。
【００８０】
従って、本発明によれば、ブロックＤＣＴ符号化などを用いて画像圧縮／伸張した際に発生するブロック歪を除去する装置において、簡易な回路あるいは方法で復号後の量子化ステップと同等程度の微小振幅のブロック歪を効果的に除去することができる。
【００８１】
また、疑似ランダム信号発生をＶＤ（垂直同期信号）でリセットすることにより、特に静止画像において動的なノイズが付加される悪影響を防止できる。
【図面の簡単な説明】
【図１】本発明に係る実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図２】実施の形態のブロック歪低減装置に用いられる各画素の補正値計算回路の具体的な構成例を示すブロック図である。
【図３】本発明の実施の形態の前提となるブロック歪低減装置の概略構成を示すブロック図である。
【図４】ブロック歪補正のためのブロック境界近傍の画素を示す図である。
【図５】ブロック境界の段差の補正動作を説明するための図である。
【図６】ブロック境界の段差が１量子化ステップのときの画素データの一例を示す図である。
【図７】ブロック境界の段差が１量子化ステップのときの補正後の画素データの一例を示す図である。
【図８】本発明に係る実施の形態によるブロック歪低減が施されたときのブロック境界の画素データの一例を示す図である。
【図９】本発明に係る実施の形態となる画像データのブロック歪低減装置が用いられたデコーダシステムの概略構成を示すブロック図である。
【図１０】本発明に係る実施の形態の変形例によるブロック歪低減が施されたときのブロック境界の画素データの一例を示す図である。
【図１１】本発明に係る他の実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図１２】図１１の実施の形態のブロック歪低減装置に用いられるブロック歪補正回路の具体的な構成例を示すブロック図である。
【図１３】図１１の実施の形態によるブロック歪低減が施されたときのブロック境界の画素データの一例を示す図である。
【符号の説明】
２１ アクティビティ・ブロック段差計算回路、 ２２ ブロック歪判定回路、 ２３ 各画素の補正値計算回路、 ２４ ブロック歪補正回路、 ２７ 疑似ランダム信号発生回路
Claims (10)
- 画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減装置において、
ブロック境界近傍であってブロック境界に対して垂直方向の隣接画素間の差分の平均値と、ブロック段差とに基づいてブロック歪か否かを判定する判定手段と、
上記ブロック歪を低減するための第２の補正値を求める補正値算出手段と、
上記判定手段による判定結果により上記第２の補正値で歪を補正する補正手段と、
疑似ランダム信号発生手段とを有し、
上記補正値算出手段は、上記平均値と上記ブロック段差に基づく第１の補正値に、上記疑似ランダム信号発生手段からの疑似ランダム信号を加算する手段を有し、加算された第１の補正値を丸め処理して第２の補正値を求めること
を特徴とするブロック歪低減装置。 - 上記補正値算出手段は、ブロック境界からの距離に応じて上記第１の補正値に重み付けを施すことで、上記第２の補正値による補正の確率を制御すること
を特徴とする請求項１記載のブロック歪低減装置。 - 入力される画像データが輝度信号及び色信号からなり、上記輝度信号及び上記色信号の少なくとも一方に対して上記歪低減のための補正を施すこと
を特徴とする請求項１記載のブロック歪低減装置。 - 画像データの水平方向及び垂直方向の少なくとも一方に対して上記歪低減のための補正を施すこと
を特徴とする請求項１記載のブロック歪低減装置。 - 上記疑似ランダム信号発生手段は、画像データの垂直同期信号によりリセットされること
を特徴とする請求項１記載のブロック歪低減装置。 - 画像データのブロック符号化におけるブロック歪を低減するためのブロック歪低減方法において、
ブロック境界近傍であってブロック境界に対して垂直方向の隣接画素間の差分の平均値と、ブロック段差とに基づいてブロック歪であるかどうかを判定する判定工程と、
上記ブロック歪を低減するための第２の補正値を求める補正値算出工程と、
上記判定工程での判定結果により上記第２の補正値で歪を補正する補正工程と、
疑似ランダム信号を発生する工程とを有し、
上記補正値算出工程は、上記平均値と上記ブロック段差に基づく第１の補正値に、上記発生された疑似ランダム信号を加算し、加算された第１の補正値を丸め処理して第２の補正値を求めること
を特徴とするブロック歪低減方法。 - 上記補正値算出工程は、ブロック境界からの距離に応じて上記第１の補正値に重み付けを施すことで、上記第２の補正値による補正の確率を制御すること
を特徴とする請求項６記載のブロック歪低減方法。 - 入力される画像データが輝度信号及び色信号からなり、上記輝度信号及び上記色信号の少なくとも一方に対して上記歪低減のための補正を施すこと
を特徴とする請求項６記載のブロック歪低減方法。 - 画像データの水平方向及び垂直方向の少なくとも一方に対して上記歪低減のための補正を施すこと
を特徴とする請求項６記載のブロック歪低減方法。 - 上記疑似ランダム信号発生工程は、画像データの垂直同期信号によりリセットされること
を特徴とする請求項６記載のブロック歪低減方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34886596A JP4001962B2 (ja) | 1996-12-26 | 1996-12-26 | ブロック歪低減装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34886596A JP4001962B2 (ja) | 1996-12-26 | 1996-12-26 | ブロック歪低減装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10191332A JPH10191332A (ja) | 1998-07-21 |
| JP4001962B2 true JP4001962B2 (ja) | 2007-10-31 |
Family
ID=18399915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34886596A Expired - Fee Related JP4001962B2 (ja) | 1996-12-26 | 1996-12-26 | ブロック歪低減装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4001962B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006279308A (ja) | 2005-03-28 | 2006-10-12 | Toshiba Corp | 情報処理装置および画像処理方法 |
| JP4788465B2 (ja) * | 2006-04-28 | 2011-10-05 | 富士ゼロックス株式会社 | 復号化装置、復号化方法及びプログラム |
| US7916967B2 (en) | 2006-07-20 | 2011-03-29 | Panasonic Corporation | Image processing apparatus and image processing method |
| JP2009278666A (ja) * | 2009-08-25 | 2009-11-26 | Sharp Corp | 動画像復号装置及び復号方法 |
-
1996
- 1996-12-26 JP JP34886596A patent/JP4001962B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10191332A (ja) | 1998-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3800704B2 (ja) | 映像信号処理装置及び方法 | |
| US5136371A (en) | Digital image coding using random scanning | |
| JP3943333B2 (ja) | 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 | |
| US6078616A (en) | Methods and apparatus for error concealment utilizing temporal domain motion vector estimation | |
| JPH08237669A (ja) | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 | |
| WO1997049250A1 (en) | Device and method for encoding picture and device and method for decoding picture | |
| JP3961600B2 (ja) | ブロック歪低減方法及び装置 | |
| JP3750128B2 (ja) | 画像復号装置および画像復号方法、並びに、画像処理装置および画像処理方法 | |
| JPH08251422A (ja) | ブロック歪み補正器及び画像信号伸張装置 | |
| JP4001962B2 (ja) | ブロック歪低減装置及び方法 | |
| JP2723867B2 (ja) | 画像信号復号化装置 | |
| CA2246509A1 (en) | Method of adding information to video signal and information adding device | |
| JPH1146362A (ja) | 映像再生装置 | |
| JPH11196410A (ja) | 動画像符号化方法、動画像符号化装置及び動画像信号記録媒体 | |
| JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
| JP4590751B2 (ja) | 映像ノイズ除去装置 | |
| JP3896635B2 (ja) | 画像データ変換装置及び方法、予測係数生成装置及び方法 | |
| JPH06233266A (ja) | 映像符号化装置および映像復号化装置 | |
| JP3225667B2 (ja) | ディジタル信号の量子化器 | |
| JP3627256B2 (ja) | ディジタル画像信号の受信／再生装置および方法 | |
| JP3326828B2 (ja) | ディジタル画像信号受信／再生装置 | |
| JP3170929B2 (ja) | ディジタル信号の量子化器 | |
| JPH0779426A (ja) | スクランブル方式 | |
| JP2982232B2 (ja) | ディジタル画像信号の記録・再生装置及び記録・再生方法 | |
| JP3036182B2 (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050802 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050811 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |