JP4656452B2 - 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム - Google Patents

画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム Download PDF

Info

Publication number
JP4656452B2
JP4656452B2 JP2008132309A JP2008132309A JP4656452B2 JP 4656452 B2 JP4656452 B2 JP 4656452B2 JP 2008132309 A JP2008132309 A JP 2008132309A JP 2008132309 A JP2008132309 A JP 2008132309A JP 4656452 B2 JP4656452 B2 JP 4656452B2
Authority
JP
Japan
Prior art keywords
block
unit
class
image signal
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008132309A
Other languages
English (en)
Other versions
JP2009284090A (ja
Inventor
哲二郎 近藤
左近 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008132309A priority Critical patent/JP4656452B2/ja
Priority to US12/437,967 priority patent/US8358862B2/en
Publication of JP2009284090A publication Critical patent/JP2009284090A/ja
Application granted granted Critical
Publication of JP4656452B2 publication Critical patent/JP4656452B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Description

本発明は、直交変換を用いて符号化を行う画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラムに関する。詳しくは、再符号化した際の差分やブロックのアクティビティによってブロックの劣化度合いを特徴づけることで、ブロックの劣化度合いに応じた適切な歪み除去を行うことができるようにしたものである。
近年、直交変換を用いた符号化として、ＤＣＴ（離散コサイン変換）を用いたものがＪＰＥＧやＭＰＥＧ等で広く使われている。この符号化による歪みとして、ブロック間の段差が目立つブロック歪みや、エッジ付近で発生しやすいモスキートノイズがよく知られている。こうした歪みを除去する場合、ブロック歪みやモスキートノイズと思われる箇所にローパスフィルタを適用するなどして歪みを除去する。
しかしながら、ブロック歪みでないエッジ部分や、モスキートノイズでないディテール箇所にまで歪み除去を適用してしまうことがあり、画質の劣化につながっていた。この問題を解決するために、例えば特許文献１では、注目ブロックや隣接ブロックの平均値データをクラスコードとして、エッジやディテールを含むブロックとブロック歪みが出やすいブロックを切り分けている。これにより、それぞれに適した処理を行うことができる。また特許文献２では、ＤＣＴ係数の所定の位置において、係数の値に孤立したものがあるかどうかを調べることで、モスキートノイズ箇所を検出するものである。
特開平９−３３１５２６号公報 特開２００６−１２１１３１号公報
ところで、従来例に係る特許文献１によれば、エッジやディテールを含むブロックとブロック歪みが出やすいブロックを切り分けている。しかしながら、切り分けが適切に行われないと劣化が生じる問題がある。
また、特許文献２によれば、係数の値に孤立したものがあるかどうかを調べることでモスキートノイズ箇所を検出しているが、係数の値が孤立していなくても、モスキートノイズが発生する箇所もあり、ノイズ除去性能として不十分な場合がある。
そこで、本発明はこのような従来例に係る課題を解決したものであって、ブロックの劣化度合いに応じた適切な歪み除去を行うことができるようにした画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
上述した課題を解決するために、本発明に係る画像信号処理装置は、直交変換を用いる符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、保持している前記クラスごとの予測係数に基づいて、前記クラス決定部により決定されたクラスに対応した予測係数を発生する予測係数発生部と、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、前記予測タップ構築部により構築された予測タップと、前記予測係数発生部により発生された予測係数との積の和を演算して前記注目画素の画素値を算出する予測演算部とを備えるものである。
本発明に係る画像信号処理装置によれば、ブロック分割部は、直交変換を用いる符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割する。アクティビティ算出部は、このブロック分割部により分割された第２のブロック毎にアクティビティを算出する。再符号化部は、ブロック分割部により分割された第２のブロックに対して、直交変換を用いた再符号化を行う。再符号化差分算出部は、再符号化部により再符号化された第２のブロックと、直交変換を用いた符号化の第１のブロックとの差分値であって、符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する。
クラス決定部は、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティの分布から、符号化が行われた画像信号の劣化度合いに応じた第２のブロックのクラスを決定する。例えば、クラス決定部は、そのベクトルデータ変換部が、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティから成るベクトルデータを生成する。そして、クラスコード記憶部は、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティの分布を代表する代表ベクトルデータを記憶する。そして、最小値判定部は、クラスコード記憶部に記憶された代表ベクトルデータの中から、ベクトルデータ変換部のベクトルデータとのノルムが最も小さくなる代表ベクトルデータを判定して第２のブロックのクラスを決定する。これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができる。
上述した課題を解決するために、本発明に係る画像信号処理方法は、画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、前記符号化の処理単位である前記第１のブロックとは位置が異なる第２のブロックに前記符号化後の画像信号を分割するステップと、分割された第２のブロック毎にアクティビティを算出するステップと、前記第２のブロックに対して、前記直交変換を用いた符号化を再び行うステップと、再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、保持している前記クラスごとの予測係数に基づいて、決定したクラスに対応した予測係数を発生するステップと、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、構築した予測タップと前記予測係数との積の和を演算して前記注目画素の画素値を算出するステップとを有するものである。また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
上述した課題を解決するために、本発明に係る予測係数生成装置は、第１のブロックに分割された画像信号に直交変換を用いた符号化を行う符号化部と、前記符号化部により符号化された画像信号を復号化する復号化部と、前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、前記クラス決定部により決定されたクラス、前記予測タップ構築部により構築された予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出する予測係数演算部とを備えるものである。
本発明に係る予測係数生成装置によれば、符号化部は、第１のブロックに分割された画像信号に直交変換を用いた符号化を行う。復号化部は、この符号化部により符号化された画像信号を復号化する。ブロック分割部は、この符号化後の画像信号に対して、直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割する。アクティビティ算出部は、ブロック分割部により分割された第２のブロック毎にアクティビティを算出する。再符号化部は、ブロック分割部により分割された第２のブロックに対して、直交変換を用いた符号化を行う。再符号化差分算出部は、再符号化部により再符号化された第２のブロックと、直交変換を用いた符号化の第１のブロックとの差分値であって、符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する。クラス決定部は、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティの分布から、符号化が行われた画像信号の劣化度合いに応じた第２のブロックのクラスを決定する。予測タップ構築部は、第２のブロックにおける注目画素の画素値を算出するため、注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する。予測係数演算部は、クラス決定部により決定されたクラス、予測タップ構築部により構築された予測タップ及び第１のブロックに分割された画像信号の画素値から、クラス毎に、当該予測タップと予測係数を用いて得られる注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、差分を最小にする予測係数を算出する。
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うための予測係数を提供できる。この予測係数を用いて予測演算することにより、例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができるようになる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができるようになる。
上述した課題を解決するために、本発明に係る予測係数生成方法は、画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、符号化された前記画像信号を復号化するステップと、前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するステップと、分割された第２のブロック毎にアクティビティを算出するステップと、前記第２のブロックに対して前記直交変換を用いた符号化を再び行うステップと、再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、前記クラス、前記予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出するステップとを有するものである。また、この発明に係るプログラムは、上述の予測係数生成方法をコンピュータに実行させるためのものである。
本発明に係る画像信号処理装置、画像信号処理方法及びそのプログラムによれば、再符号化した際の差分やブロックのアクティビティによって、ブロックの劣化度合いを特徴づけることを行ものである。
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができる。
本発明に係る予測係数生成装置、予測係数生成方法及びそのプログラムによれば、再符号化した際の差分やブロックのアクティビティによって、ブロックの劣化度合いを特徴づけるための予測係数を生成するものである。
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うための予測係数を提供できる。この予測係数を用いて予測演算することにより、例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができるようになる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができるようになる。
続いて、図面を参照しながら本発明に係る画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラムの実施の形態について説明する。なお、以下の説明において、入力される画像信号はＤＣＴ（離散コサイン変換）による符号化が行われているものとする。図１は、本発明に係る画像処理装置１００の構成例を示すブロック図である。図１に示す画像処理装置１００は、再符号化した際の差分によってブロックの劣化度合いを特徴づけている。ＤＣＴは、その符号化の性質上、一度符号化した後に位相をずらして再度符号化すると、元の劣化度合いに応じて再符号化後の劣化が生じる性質がある。
画像処理装置１００は、ブロック分割部１０１、クラス分類部１０２Ａ、係数メモリ１０３及び予測演算部１０４を備えている。ブロック分割部１０１は、入力端子１０５から画像信号Ｖｉｎを入力する。この画像信号Ｖｉｎは、１度だけＤＣＴによる符号化が行われた画像信号である。ブロック分割部１０１では、入力した画像信号Ｖｉｎに施されたＤＣＴの処理ブロックとは異なる位置にブロックＢＬを分割する。なお、このブロックＢＬは、第２のブロックの一例である。
例えば、図２は、ブロック分割部１０１の動作例を示す概念図である。図２に示す破線の８×８のブロックＢＬ’は第１のブロックの一例であり、入力端子１０５から入力した画像信号Ｖｉｎに施されたＤＣＴの処理ブロックである。図２に示す実線の８×８ブロックＢＬは、ブロック分割部１０１によりブロックＢＬ’から水平方向に４画素ずらした位置に分割したブロックである。このように、ブロック分割部１０１は、入力した画像信号Ｖｉｎに施されたＤＣＴの処理ブロックＢＬ’とは異なる位置にブロックＢＬを分割する。
図１に戻り、ブロック分割部１０１で分割されたブロックＢＬは、クラス分類部１０２Ａと予測演算部１０４へ出力される。このクラス分類部１０２Ａは、ブロックＢＬからブロック毎のクラスを求める。
例えば、図３は、クラス分類部１０２Ａの構成例を示すブロック図である。図３に示すクラス分類部１０２Ａは、アクティビティ算出部１０２１、再符号化部１０２２、再符号化差分算出部１０２３及びクラス決定部１０２４を備えている。ブロックＢＬは、アクティビティ算出部１０２１、再符号化部１０２２および再符号化差分算出部１０２３へ出力される。
アクティビティ算出部１０２１では、ブロックＢＬ毎にアクティビティを算出する。例えば、アクティビティの算出には、注目画素Ｐi,jに対して、水平方向で＋１画素隣の画素Ｐi+1,j、水平方向で−１画素隣の画素Ｐi-1,j、垂直方向で＋１画素隣の画素Ｐi,j+1、垂直方向に−１画素隣の画素Ｐi,j-1を用いる。そして、以下の式（１）を用いてアクティビティを計算する。
式（１）の計算をブロックＢＬ内の全ての画素で行い、その結果を総和した以下の式（２）で求められる値を、ブロックＢＬのアクティビティＡｃｔとして出力する。このようにして、図３に示すアクティビティ算出部１０２１は、ブロックＢＬのアクティビティＡｃｔを求める。
続いて図３に示す再符号化部１０２２について説明する。図４は、再符号化部１０２２の構成例を示すブロック図である。図４に示す再符号化部１０２２は、符号化部１０２２１及び復号化部１０２２２を備えている。この符号化部１０２２１は、入力されるブロックＢＬに対してＤＣＴによる符号化を行い、符号化された信号ＢＬｅを出力する。ここでの符号化による量子化は、入力した信号をある程度削減するものであれば、任意の量子化を行うことが可能である。ここでは一例として、ＤＣＴのＱ値が５０の量子化を行う。復号化部１０２２２は、符号化された信号ＢＬｅを復号する。そして、復号化部１０２２２は、再符号化（２回符号化）されたブロックＢＬＥとして出力する。
図３に示す再符号化差分算出部１０２３は、ブロックＢＬ及びブロックＢＬＥを入力する。ここで、ブロックＢＬは、１度符号化されたブロックである。また、ブロックＢＬＥは、このブロックＢＬが、再符号化部１０２２で再度符号化されたブロックである。再符号化差分算出部１０２３は、ブロックＢＬとブロックＢＬＥの差分絶対値総和ＢＬｄ（以下単に差分ＢＬｄとも称する）を算出する。差分の算出には、ブロックＢＬの注目画素Ｐi,jに対して、ブロックＢＬＥの同じ画素位置における画素ＰＥi,jを用いて、以下の式（３）を用いて計算する。
ＤＣＴは、その符号化の性質上、一度符号化した後に位相をずらして再度符号化すると、元の劣化度合いに応じて再符号化後の劣化が生じる性質がある。この性質を利用して、再符号化した際の差分ＢＬｄによってブロックの劣化度合いを特徴づけることを行っている。
図５は、ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。図５に示す上段の結果は、符号化を行っていない、すなわち原画状態の画像１〜画像５にＤＣＴを行い、原画状態の画像１〜画像５とこの符号化後の画像１〜画像５とのＳＮ比を示している。
また、図５に示す下段の結果は、１度符号化された画像１〜画像５を水平方向に１画素ずらしてＤＣＴを行い、原画状態の画像１〜画像５と、この再符号化した画像１〜画像５とのＳＮ比を示している。例えば、画像１の符号化におけるＳＮ比は、「３４．７２ｄＢ」である。これに対して、画像１の再符号化におけるＳＮ比は、「３３．００ｄＢ」である。このように、画像１の再符号化におけるＳＮ比が、画像１の符号化におけるＳＮ比よりも小さくなっている。従って、一度符号化を行った後、位相をずらして再度符号化を行うと劣化が生じていることが分かる。また、画像２〜画像５に関しても同様な結果を示している。なお、この例で、ＤＣＴの量子化はＱ値が６０の場合を用いた。
図６は、位相をずらす量を変えた場合における、ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。この例では、図５に示した画像４に対して、ずらす位相を変えた場合における原画と再符号化のＳＮ比を示している。例えば、図６に示す水平位相ずれ量および垂直位相ずれ量が０の場合、再符号化によるＳＮ比は原画にＤＣＴを行った場合のＳＮ比と同じ値「３７．０２ｄＢ」になる。すなわち位相ずれが全く生じていない状態では、再符号化によるＳＮ比の変化がない。
これに対して、水平位相ずれ量が１〜４、垂直位相ずれ量が１〜４においては、ＳＮ比が小さくなり、再度符号化を行うと劣化が生じている。ところで、水平および垂直の位相ずれ量が１〜４において、この位相ずれ量１〜４の間で劣化の量に偏りがない。これにより、位相のずれ量がいくつであっても、原画とのＳＮ比においては、ほぼ同一の値になることが分かる。
続いて、原画に対しＤＣＴで符号化を行った符号化信号と、この符号化信号に対して位相をずらした後、ＤＣＴで再符号化を行った再符号化信号の関係を説明する。図７Ａは、符号化信号と再符号化信号との関係を示す模式図である。図７Ａに示すように、原画に対してＤＣＴで符号化を行って符号化信号を生成する。そして、この符号化信号に対してＤＣＴで符号化を行って再符号化信号を生成する。なお、この例では、原画に対するＤＣＴの量子化はＱ値が７５の場合を用い、位相のずれ量は水平方向に１画素、符号化信号に対するＤＣＴの量子化はＱ値が５０の場合を用いている。
図７Ｂは、原画と符号化信号の差分絶対値総和、及び符号化信号と再符号化信号の差分絶対値総和ＢＬｄの関係を示した図である。図７Ｂの横軸には、原画と符号化信号の差分絶対値総和を指定し、縦軸には、符号化信号と再符号化信号の差分絶対値総和ＢＬｄを指定している。
図７Ｂには、符号化信号に対して位相をずらした全てのブロックにおいて、原画と符号化信号の差分絶対値総和の値と、符号化信号と再符号化信号の差分絶対値総和の値をプロットした解析データに基づいて、そのプロット点の分布を領域Ｗ１として簡略化して示している。図７Ｂによれば、原画と符号化信号の差分絶対値総和と、符号化信号と再符号化信号の差分絶対値総和には右上がりの比例関係が生じている。
これにより、原画と符号化信号の差分絶対値総和が大きくなれば、符号化信号と再符号化信号の差分絶対値総和も大きくなることが分かる。従って、符号化信号が歪んでいるほど、位相をずらして再符号化した際の歪みが大きくなる傾向にあることが分かる。
しかし、図７Ｂにおいて、原画と符号化信号の差分絶対値総和が同じでも、再符号化信号との差分絶対値総和が異なる箇所が存在する。例えば、図７Ｂに示す原画と符号化信号の差分絶対値総和の値ｘ１に対して、再符号化信号との差分絶対値総和ＢＬｄには、ｙ１〜ｙ２の幅がある。これは、原画と符号化信号の差分絶対値総和が同じでも、再符号化の際のブロック内の波形に高周波成分が存在するか否かに依存するものである。一般に、ブロック内に高周波成分を含む場合、再符号化時にブロック内の高周波成分の影響で符号化信号と再符号化信号との差分が大きくなる。例えば、図７Ｂに示す値ｘ１に対して、差分ＢＬｄの値がｙ１の場合、ブロック内の波形に高周波成分がほとんど存在していない。また、値ｘ１に対して、差分ＢＬｄの値がｙ２の場合、ブロック内の波形に高周波成分が存在している。
このように、原画と符号化信号の差分絶対値総和が同じ値ｘ１でも、ブロック内に含まれる高周波成分によって、符号化信号と再符号化信号との差分絶対値総和の値には、ｙ１〜ｙ２の開きが生じる。
また、本発明に係る画像処理装置１００は、符号化が行われた画像信号Ｄｉｎを入力して歪み除去を行うので、図７Ｂに示す原画と符号化信号との差分絶対値総和は分からない。このため、符号化信号と再符号化信号との差分絶対値総和ＢＬｄだけでは、原画との差分が分からない。例えば、符号化信号と再符号化信号との差分絶対値総和ＢＬｄの値ｙ２だけでは、原画との差分が小さい（値ｘ１）のに、再符号化時にブロック内の高周波成分の影響で再符号化信号との差分が大きくなったブロックであるか分からない。また、この値ｙ２だけでは、原画との差分が大きくて（値ｘ２）、再符号化信号との差分も大きいブロックなのかの分からず、高周波成分の影響を受けているか否かの切り分けが行えない。
従って、再符号化の際に、どれくらい劣化が生じやすいかの指標も必要である。本発明では、この指標として、図３に示したアクティビティ算出部１０２１によるブロックのアクティビティＡｃｔを用いており、具体的には上述した式（１）、式（２）を用いることにしている。
図８は、図７と同様のブロックで、ブロックのアクティビティＡｃｔ、及び符号化信号と再符号化信号の差分絶対値総和ＢＬｄの関係を示した図である。図８の横軸には、ブロックのアクティビティＡｃｔを指定し、縦軸には、符号化信号と再符号化信号の差分絶対値総和ＢＬｄを指定している。
図８には、符号化信号に対して位相をずらした全てのブロックにおいて、ブロックのアクティビティＡｃｔの値と、符号化信号と再符号化信号の差分絶対値総和ＢＬｄの値をプロットした解析データに基づいて、そのプロット点の分布を領域Ｗ２として簡略化して示している。図８によれば、アクティビティＡｃｔと、符号化信号と再符号化信号の差分絶対値総和ＢＬｄには右上がりの比例関係が生じている。これにより、アクティビティＡｃｔが大きくなれば、位相をずらして再符号化した際の歪みが大きくなる傾向にあることが分かる。
また、アクティビティを指標に用いることで、高周波成分の影響を受けているか否かの切り分けを行うことができる。例えば、符号化信号と再符号化信号との差分絶対値総和の値ｙ３において、アクティビティの値ｘ３の場合、再符号化時にブロック内の高周波成分の影響を受けていないので、ブロックが歪んでいることが分かる。また、この値ｙ３において、アクティビティの値ｘ４の場合、再符号化時にブロック内の高周波成分の影響を受けているので、ブロックが歪んでいないことが分かる。
続いて、図９を参照して、図８に示したプロット点の分布を示す領域Ｗ２を、原画と符号化信号との差分絶対値総和の値によって分割した一例を説明する。
図９は、図８に示したプロット点の分布を示す領域Ｗ２を、原画と符号化信号との差分絶対値総和の値によって領域ｖ１〜ｖ４に分割した一例を示す説明図である。図９に示す領域ｖ１は、原画と符号化信号との差分絶対値総和が最も小さい領域である。領域ｖ２は、原画と符号化信号との差分絶対値総和が２番目に小さい領域である。領域ｖ３は、原画と符号化信号との差分絶対値総和が３番目に小さい領域である。領域ｖ４は、原画と符号化信号との差分絶対値総和が最も大きい領域である。
図９に示すように、同じアクティビティの値でも、再符号化信号の歪みが大きいほど、原画との歪みも大きいことが分かる。例えば、アクティビティの値ｘ５において、再符号化信号の歪みを示す値ｙ４は、原画と符号化信号との差分絶対値総和が２番目に小さい領域ｖ２に属している。また、再符号化信号の歪みを示す値ｙ５は、原画と符号化信号との差分絶対値総和がこの領域ｖ２より大きい領域ｖ３に属している。従って、同じアクティビティの値でも、再符号化信号の歪みが大きいほど、原画との歪みも大きいことが分かる。従って、符号化歪み除去を行うにあたり、対象とするブロックのアクティビティ、および再符号化による歪みを用いて、対象とするブロックの歪み量を特徴付けることを行う。
図３に戻り、アクティビティ算出部１０２１で算出されるブロックＢＬのアクティビティＡｃｔ、および再符号化差分算出部１０２３で算出されるブロックＢＬとブロックＢＬＥの差分ＢＬｄは、クラス決定部１０２４へ出力される。
続いて、クラス決定部１０２４の構成例について説明する。図１０は、クラス決定部１０２４の構成例を示すブロック図である。図１０に示すクラス決定部１０２４は、図３に示した再符号化差分算出部１０２３により算出された差分ＢＬｄと、アクティビティ算出部１０２１により算出されたアクティビティＡｃｔの分布からブロックＢＬ毎のクラスを決定する。クラス決定部１０２４は、第１のベクトルデータ変換部１０２４１、第１のクラスコードブック１０２４２及び第１の最小値判定部１０２４３を備えている。
第１のベクトルデータ変換部１０２４１は、ブロックＢＬのアクティビティＡｃｔ、ブロックＢＬとブロックＢＬＥの差分ＢＬｄを入力する。このベクトルデータ変換部１０２４１は、入力される複数の値を、ベクトルデータＶとしてまとめることを行う。なお後述する第１の最小値判定部１０２４３での判定において、特定のベクトルの影響が大きくならないように、入力される値の正規化も行う。ブロックＢＬのアクティビティＡｃｔのとり得る値の範囲は、ブロックＢＬとブロックＢＬＥの差分ＢＬｄのとり得る値の範囲に対し、およそ１０倍である。このため、ベクトルデータ変換部１０２４１は、以下の式（４）のように、ベクトルデータＶを生成する。
生成されたベクトルデータＶは、最小値判定部１０２４３へ出力される。最小値判定部１０２４３では、第１のクラスコード記憶部の一例であるクラスコードブック１０２４２に記憶されたベクトルデータＶｃの中から、ベクトルデータ変換部１０２４１のベクトルデータＶとのノルムが最も小さくなるベクトルデータＶｃを判定する。そして、最小値判定部１０２４３は、このベクトルデータＶｃの番号をクラスＣとして出力する。
このクラスコードブック１０２４２については後述するが、ベクトルデータＶと同じ次元数のベクトルデータが複数記録されているものである。ベクトルデータＶの各要素を、以下の式（５）、式（６）のように定義する。また、ベクトルデータＶとクラスコードブック１０２４２のベクトルデータＶｃのノルムＮｃを、以下の式（７）のように計算する。そしてノルムＮｃが最小となるＶｃを判定する。
次に、クラスコードブック１０２４２のＶｃの詳細について説明する。クラスコードブック１０２４２のＶｃは、画像全般におけるアクティビティＡｃｔと再符号化による差分絶対値総和ＢＬｄの分布から、分布を代表する任意の個数のベクトルデータを表すものとなる。
図１１は、クラスコードブック１０２４２のＶｃを決定する際の構成例を示すブロック図である。図１１に示すクラスコードブック決定部１０２５以外は、図３の構成と同一のものである。なお、入力されるブロックの信号は、ＤＣＴで符号化された任意の画像信号におけるブロックでよいため、ここではＢＬｔと記載する。図３と同様に、ブロックＢＬｔに対して、アクティビティＡｃｔ、および再符号化による差分ＢＬｄが計算され、クラスコードブック決定部１０２５へ出力される。
図１２は、クラスコードブック決定部１０２５の構成例を示すブロック図である。図１２に示すクラスコードブック決定部１０２５は、ベクトルデータ変換部１０２５１及び代表ベクトル決定部１０２５２を備えている。
クラスコードブック決定部１０２５では、アクティビティＡｃｔ、および再符号化による差分ＢＬｄは、ベクトルデータ変換部１０２５１へ出力される。なお、ベクトルデータ変換部１０２５１は、図１０におけるベクトルデータ変換部１０２４１と同様のものである。ベクトルデータ変換部１０２５１で変換されたベクトルデータＶは、代表ベクトル決定部１０２５２へ出力される。
代表ベクトル決定部１０２５２では、入力される全てのベクトルデータＶに対し、ベクトルデータＶの分布を最適に代表する任意の個数のベクトルデータＶｃを算出する。ベクトルデータＶｃの算出には、ベクトルデータＶに対し、例えばＬＢＧアルゴリズムを適用して、任意の個数のベクトルデータＶｃを算出する。ここで算出されるベクトルデータＶｃをクラスコードブックとして保持し、図１０におけるクラスコードブック１０２４２として用いることとする。
以上のような構成を用いることで、入力される画像信号のブロックＢＬの劣化度合いをクラスとして扱うことになり、後述する予測処理において、劣化度合いに応じた予測処理を行うことができる。
図１に戻り、係数メモリ１０３は予測係数発生部の一例であり、クラス分類部１０２Ａで決定されたクラスＣに対応した予測係数ｗｉを発生する。この予測係数ｗｉは、注目画素のブロックＢＬ内の位置によって異なる係数である。すなわちあるクラスＣにおいて、ブロックＢＬ内の位置が６４通りあるため、クラスＣの係数は６４個存在する。よってクラスＣの総個数がＣＮとすると、係数の総個数はＣＮ×６４個となる。なお、予測係数ｗｉの生成方法については後述する。
図１３は、予測演算部１０４の構成例を示すブロック図である。図１３に示す予測演算部１０４は、予測タップ構築部１０４１及び予測演算部１０４２を備えている。予測タップ構築部１０４１では、ブロックＢＬにおける注目画素を算出するための予測タップを構築する。
図１４に予測タップ構築部１０４１の動作例を示す。予測タップ構築部１０４１は、注目画素位置Ｐ１に対し、所定の画素を予測タップとして抽出する。例えば注目画素位置Ｐ１に対し、ひし形の予測タップを用いる場合、図１４に示す１３個の画素を抽出する。ここで抽出される画素はｘｉとして、図１３に示す予測演算部１０４２へ出力される。
予測演算部１０４２では、予測タップ構築部１０４１からの予測タップ画素ｘｉと、係数メモリ１０３から入力される予測係数ｗｉから、以下の式（８）を用いて、予測演算を行い、注目画素位置における出力画素値を算出する。ただしｍは予測タップの数である。
以上の処理を、ブロックＢＬ内の全ての画素に対して行い、また全てのブロックＢＬについても同様に行うことで、歪みが除去された出力画像Ｖｏｕｔが出力端子１０６から得られることになる。
このように、本発明に係る画像処理装置１００及び画像信号処理方法によれば、再符号化した際の差分やブロックのアクティビティによって、ブロックの劣化度合いを特徴づけることを行ものである。
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができる。
続いて、予測係数ｗｉを生成する方法について説明する。図１５は、予測係数生成装置２００の構成例を示すブロック図である。図１５に示す予測係数生成装置２００は、符号化部２０１、復号化部２０２、ブロック分割部２０３、クラス分類部２０４、予測タップ構築部２０５、正規方程式生成部２０６及び予測係数算出部２０７を備えている。なお、正規方程式生成部２０６及び予測係数算出部２０７は、予測係数演算部の一例である。
入力端子２０８から符号化が行われていない画像信号Ｖｓが入力される。次に画像信号Ｖｓに対し、符号化部２０１でＤＣＴによる符号化を行う。そして、復号化部２０２で符号化された信号を復号化し、符号化された画像信号Ｖｓｅを生成する。なお符号化部２０１におけるＤＣＴの量子化は任意のものでよく、ブロックに応じて変更してもよい。
符号化された画像信号Ｖｓｅに対し、ブロック分割部２０３で、ブロックに分割する。なおブロック分割部２０３は、図１におけるブロック分割部１０１と同様である。ブロック分割部２０３で分割されたブロックに対し、クラス分類部２０４で、ブロックＢＬのクラスＣを決定し、正規方程式生成部２０６へ送る。なおクラス分類部２０４は、図１におけるクラス分類部１０２Ａと同様である。
さらに予測タップ構築部２０５で、ブロックＢＬに対し、注目画素位置における予測タップｘiを構築し、正規方程式生成部２０６へ出力する。なお予測タップ構築部２０５は、図１３における予測タップ構築部１０４１と同様である。さらに正規方程式生成部２０６には、注目画素位置に対応する画像信号Ｖｓの画素値ｙも出力される。
正規方程式生成部２０６は、クラス分類部２０４から出力されるクラスＣ、およびブロックＢＬにおける注目画素毎に、画像信号Ｖｓの画素値ｙと、予測タップ構築部２０５で抽出される予測タップｘiを元に、以下の式（９）のような予測式を生成する。
ただしｙkは、画像信号Ｖｓの画素値で、同一の予測式となる画素の中でｋ番目の画素値を表しており、ｘkiは同一の予測式となる画素の中でｋ番目の予測タップｉの画素値、ｍは予測タップの数、ｗｉは予測係数を表す。よって予測式の生成に用いる画素数をＮとすると、以下の式（１０）のｗｉを予測係数としてもとめることができる。
よって、式（１０）から、以下の式（１１）のようにすることで、予測係数を算出することができる。
式（１１）を展開すると、以下の式（１２）、式（１３）を用いて、以下の式（１４）が算出される。
式（１４）は、一般に正規方程式とよばれている。以上のように正規方程式生成部２０６は、式（１４）の正規方程式を、クラスＣ、およびブロックＢＬにおける注目画素の位置毎に生成し、係数算出部２０７へ出力する。
係数算出部２０７では、正規方程式生成部２０６で生成された式（１４）の正規方程式を、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗｉについて解き、予測係数として出力する。出力された予測係数ｗｉは、図１における係数メモリ１０３に保持される。
このように、本発明に係る予測係数生成装置２００及び予測係数生成方法によれば、ブロックの劣化度合いを、再符号化した際の差分によって特徴づけることを行う。またブロックのアクティビティも同時に特徴量として用いることで、両者の値からクラス分類を行い、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。よって例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズを除去して、ディテールをつぶすことがない歪み除去を行うことが可能である。
また本発明のクラス分類手法は、図３に示したクラス分類部１０２Ａ以外にも複数存在するため、以下では、その詳細について説明する。図１６は、本発明に係る第２の実施形態としてのクラス分類部１０２Ｂの構成例を示すブロック図である。図１６に示すクラス分類部１０２Ｂには、図３に示したクラス分類部１０２Ａにブロック間差分算出部１０２６が追加されている。ブロック間差分算出部１０２６の追加に伴い、クラス決定部１０２７で扱うベクトルの次元数が増えたこと以外は、図３の構成と同様である。
図１７は、ブロック間差分算出部１０２６の動作例を示す説明図である。ブロックＢＬが図２に示したように分割されていた場合、ブロック間差分算出部１０２６は、図１７に示すように、複数のブロックＢＬに関し、互いに隣接するブロックＢＬの水平方向の境界における境界画素におけるブロック間差分Ｄｉｆを算出する。水平方向における境界となる画素の左側をＰＬ、右側をＰＲとすると、ブロック間差分算出部１０２６は、以下の式（１５）を用いて算出される。
上述した処理の構成を用いる理由として、本発明に係る第２の実施形態では、図３の構成に加え、ブロック間差分も特徴量として加えている。これにより、入力される画像信号に施されたＤＣＴの処理ブロックの水平方向の境界の劣化度合いも含めて歪み除去を行うことにある。
図１８Ａは、図８に対して、ブロック間差分Ｄｉｆも加えて、ブロックのアクティビティＡｃｔと、ブロック間差分Ｄｉｆ、および符号化信号と再符号化信号との差分絶対値総和ＢＬｄの値をプロットした解析データに基づいて、そのプロット点の分布を領域Ｗ３として簡略化して示している。図１８Ａの横軸にはブロック間差分Ｄｉｆを指定し、縦軸にはブロックのアクティビティＡｃｔを指定し、高さ方向の軸には符号化信号と再符号化信号の差分絶対値総和ＢＬｄを指定している。
図１８Ａによれば、ブロック間差分ＤｉｆおよびアクティビティＡｃｔの値が大きくなれば、再符号化による差分ＢＬｄも大きくなっていることが分かる。
続いて、図１８Ｂを参照して、図１８Ａに示したプロット点の分布を示す領域Ｗ３を、原画と符号化信号との差分絶対値総和の値によって分割した一例を説明する。
図１８Ｂは、図１８Ａに示したプロット点の分布を示す領域Ｗ３を、原画と符号化信号との差分絶対値総和の値によって領域ｖ５〜ｖ８に分割した一例を示す説明図である。図１８Ｂに示す領域ｖ５は、原画と符号化信号との差分絶対値総和が最も小さい領域である。領域ｖ６は、原画と符号化信号との差分絶対値総和が２番目に小さい領域である。領域ｖ７は、原画と符号化信号との差分絶対値総和が３番目に小さい領域である。領域ｖ８は、原画と符号化信号との差分絶対値総和が最も大きい領域である。
図１８Ｂによれば、同一のブロック間差分Ｄｉｆの値においても、ブロックのアクティビティＡｃｔや再符号化による差分ＢＬｄによって、原画と符号化信号との差分が異なることが分かる。従って、これら３つの特徴量を用いることで、ブロック境界の劣化度合いに応じた歪み除去を行うことが可能となることが分かる。
図１９は、クラス決定部１０２７の構成例を示すブロック図である。図１９に示すクラス決定部１０２７の構成は、図１０に示したクラス決定部１０２４と同様であるが、クラス分類部１０２Ｂでは、扱うベクトルデータの次元数がブロック間差分Ｄｉｆの分だけ１つ増えることになる。
第２のベクトルデータ変換部１０２７１は、入力される複数の値を、ベクトルデータＶとしてまとめることを行う。なお後述する第２の最小値判定部１０２７３での判定において、特定のベクトルの影響が大きくならないように、入力される値の正規化も行う。ブロックＢＬのアクティビティＡｃｔのとり得る値の範囲は、ブロックＢＬとブロックＢＬＥの差分ＢＬｄのとり得る値の範囲、および入力される画像信号に施されたＤＣＴの処理ブロックの水平方向の境界におけるブロック間差分Ｄｉｆに対し、およそ１０倍である。このため、第２のベクトルデータ変換部１０２７１は、以下の式（１６）のように、ベクトルデータＶを生成する。
生成されたベクトルデータＶは、第２の最小値判定部１０２７３へ出力される。最小値判定部１０２７３では、ベクトルデータ変換部１０２７１からのベクトルデータＶに対し、第２のクラスコードブック１０２７２から出力されるＶｃの中から、最もノルムの小さいＶｃを判定し、Ｖｃの番号Ｃをクラスとして出力する。
第２のクラスコード記憶部の一例であるクラスコードブック１０２７２については後述するが、ベクトルデータＶと同じ次元数のベクトルデータが複数記録されているものである。ベクトルデータＶの各要素を、上述の式（５）、式（６）、および以下の式（１７）のように定義し、ベクトルデータＶとクラスコードブック１０２７２のＶｃのノルムＮｃを、以下の式（１８）のように計算する。そしてノルムが最小となるＶｃを判定する。
次にクラスコードブック１０２７２のＶｃの詳細について説明する。クラスコードブック１０２７２のＶｃは、画像全般におけるアクティビティＡｃｔとブロック間差分Ｄｉｆと再符号化による差分ＢＬｄの分布から、分布を代表する任意の個数のベクトルデータを表すものとなる。
図２０は、クラスコードブック１０２７２のＶｃを決定する際の構成を示すブロック図である。図２０に示すクラスコードブック決定部１０２８以外は、図１６の構成と同一のものである。なお、入力されるブロックの信号は、ＤＣＴで符号化された任意の画像信号におけるブロックでよいため、ここではＢＬｔと記載する。図１６と同様に、ブロックＢＬｔに対して、アクティビティＡｃｔ、ブロック間差分Ｄｉｆ、および再符号化による差分ＢＬｄが計算され、クラスコードブック決定部１０２８へ出力される。
図２１は、クラスコードブック決定部１０２８の構成例を示すブロック図である。図２１に示すクラスコードブック決定部１０２８は、ベクトルデータ変換部１０２８１及び代表ベクトル決定部１０２８２を備えている。
クラスコードブック決定部１０２８では、アクティビティＡｃｔ、ブロック間差分Ｄｉｆ、および再符号化による差分ＢＬｄは、ベクトルデータ変換部１０２８１へ出力される。なおベクトルデータ変換部１０２８１は、図１９におけるベクトルデータ変換部１０２７１と同様のものである。ベクトルデータ変換部１０２８１で変換されたベクトルデータＶは、代表ベクトル決定部１０２８２へ出力される。
代表ベクトル決定部１０２８２では、入力される全てのベクトルデータＶに対し、ベクトルデータＶの分布を最適に代表する任意の個数のベクトルデータＶｃを算出する。ベクトルデータＶｃの算出には、ベクトルデータＶに対し、例えばＬＢＧアルゴリズムを適用して、任意の個数のベクトルデータＶｃを算出する。ここで算出されるベクトルデータＶｃをクラスコードブックとして保持し、図１９におけるクラスコードブック１０２７２として用いることとする。
また、クラス分類部１０２Ｂの構成に伴い、係数メモリ１０３に保持される予測係数ｗｉの作成は、図１５におけるクラス分類部２０４の構成を、クラス分類部１０２Ｂの構成に変えるだけであり、その他の動作は全て同じである。
このように、本発明に係る第２の実施形態としてのクラス分類部１０２Ｂでは、ブロックの劣化度合いを、再符号化した際の差分によって特徴づけることを行う。またブロックのアクティビティとブロック間差分も同時に特徴量として用いることで、３つの値からクラス分類を行い、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。従って、例えばモスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができ、モスキートノイズを除去してディテールをつぶすことがない歪み除去を行うことができる。さらに、ブロック境界においてブロック歪みが発生している箇所と、ブロック境界がエッジである箇所の切り分けも行うことができる。そして、ブロック歪みは除去し、エッジをつぶすことがない歪み除去を行うことができる。
図１３に示したクラス分類部１０２Ａ、および図１６に示したクラス分類部１０２Ｂの構成の違いから分かるように、ブロックＢＬの特徴量に応じて、クラス決定部１０２４やクラス決定部１０２７で用いるベクトルの次元数が決まっている。よってブロックＢＬの特徴量をさらに増やす場合は、増やした数に応じて、ベクトルの次元数が増えることになる。例えば、クラス分類部１０２Ｂの構成に加えて、垂直方向のブロック境界における差分も特徴量として追加する場合、図１のブロック分割部１０１で、水平方向に４画素、垂直方向に４画素ずらした位置でブロックＢＬを設定し、図１７と同様に、垂直方向でのブロック境界での差分を新たに加えればよい。
図２２は、本発明に係る第３の実施形態としてのクラス分類部１０２Ｃの構成例を示すブロック図である。波形クラス算出部１０２９とクラス統合部１０２ａが追加されたこと以外は、図１６に示したクラス分類部１０２Ｂの構成と同様である。またクラス決定部１０２７で決定されるクラスを、波形クラス算出部１０２９で算出されるクラスと分けて表記するため、クラス決定部１０２７で決定されるクラスをＣｂと表記している。
図２３は、波形クラス算出部１０２９の動作例を示す説明図である。波形クラス算出部１０２９は、注目画素とその周辺の画素における波形の特徴量からクラスを算出するため、例えば図２３に示す画素を抽出する。波形の特徴量としては、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いる。ＡＤＲＣでは、画素データの最大値をｍａｘ、最小値をｍｉｎ、ダイナミックレンジをＤＲ（ｍａｘ−ｍｉｎ＋1）再量子化ビット数をＰとすると、予測タップ画素ｘｉに対して、以下の式（１９）の演算より、再量子化コードＱｉが得られる。ただし式（１９）において[ ]は切り捨て処理を意味している。
そして、各画素データで得られる再量子化コードＱｉから、以下の式（２０）において、クラスＣｌが得られる。ただし画素データとして、Ｎａ個の画素データがあるとする。
クラス統合部１０２ａは、クラス決定部１０２７で決定されるクラスＣｂと、波形クラス算出部１０２９で決定されるクラスＣｌを統合してクラスを決定する。クラスＣｌの総クラスがＮｃｌである時、クラス統合部１０２ａは、以下に式（２１）を用いて、最終的なクラスＣを決定する。
すなわち、先のクラス分類部１０２Ａ、およびクラス分類部１０２Ｂに対し、クラス分類部１０２Ｃでは、注目画素における波形特徴量もクラスに用いた構造になっている。
またクラス分類部１０２Ｃに伴い、係数メモリ１０３に保持される予測係数ｗｉの作成は、図１５におけるクラス分類部２０４の構成を、クラス分類部１０２Ｃに変えるだけであり、その他の動作は全て同じである。
以上のようにクラス分類部１０２Ｃでは、クラス分類部１０２Ｂに対し、注目画素の波形特徴量もクラスに用いることで、注目画素周辺の波形情報を利用することができ、クラス分類部１０２Ｂと比べ、より性能の高い歪み除去を行うことができる。
このように、本発明に係る第３の実施形態としてのクラス分類部１０２Ｃでは、ブロックの劣化度合いを、再符号化した際の差分によって特徴づけることを行う。またブロックのアクティビティやブロック間差分、さらに注目画素の波形特徴も同時に特徴量として用いることで、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。また本発明では、直交変換による符号化としてＤＣＴを例に説明したが、他の直交変換を用いた符号化、例えばＤＳＴやスラント変換を用いた場合でも同様の特性を用いた歪み除去を行うことができる。
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２４に示す。図２４は、本発明に係るプログラムにより実行するコンピュータの一例である画像処理装置３００の構成例を示すブロック図である。この画像処理装置３００は、図２４に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２、通信部３１３、画像信号入力部３１４、画像信号出力部３１５が接続されている。
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されたりすると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４には、上述の画像処理装置１００と同様な処理を画像処理装置３００で実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号に基づき、出力画像を生成して、画像信号出力部３１５から出力する。
また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出して画像処理装置３００で実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムを画像処理装置３００で実行するものとしても良い。
図２５は、本発明に係るソフトウェアによる画像処理装置３００の動作例を示すフローチャートである。ステップＳＴ１０で、入力画像に対して、ブロック分割が行われる。次にステップＳＴ１１で、クラス分類が行われる。次にステップＳＴ１２で、クラスに応じた予測係数が読み出される。次にステップＳＴ１３で、予測演算が行われる。次にステップＳＴ１４で、全ての画素で処理が終了したかを判定し、終了していなければ、ステップＳＴ１１に戻り、処理を継続する。処理が終了していれば、画像を出力し処理を終了する。
図２６は、図２５のステップＳＴ１１におけるクラス分類の第１の構成におけるフローチャートである。ステップＳＴ１１０で、ブロックのアクティビティが算出される。次にステップＳＴ１１１でブロックを再符号化する。次にステップＳＴ１１２で、再符号化したデータを復号化する。次にステップＳＴ１１３で、再符号化の前後での差分を算出する。次にステップＳＴ１１４で、ステップＳＴ１１０とステップＳＴ１１３の結果からクラスを決定する。
図２７は、図２６のステップＳＴ１１４におけるクラス決定のフローチャートである。ステップＳＴ１１４０で、図２６におけるステップＳＴ１１０とステップＳＴ１１３の結果を、ベクトルデータに変換する。次にステップＳＴ１１４１で、クラスコードブックを読み出す。次にステップＳＴ１１４２で、ステップＳＴ１１４１で読み出したクラスコードブックの中から、ステップＳＴ１１４０で変換したベクトルデータに最もノルムが近いものを判定する。次にステップＳＴ１１４３で、ステップＳＴ１１４２で判定されたクラスコードブックの番号をクラスとして出力する。
図２８は、図２７におけるクラスコードブックの決定方法を示すフローチャートである。ステップＳＴ２０でブロックのアクティビティが算出される。次にステップＳＴ２１でブロックを再符号化する。次にステップＳＴ２２で、再符号化したデータを復号化する。次にステップＳＴ２３で、再符号化の前後での差分を算出する。次にステップＳＴ２４で、ステップＳＴ２０とステップＳＴ２３の結果をベクトルデータに変換する。次にステップＳＴ２５で、ステップＳＴ２４で得られたベクトルデータの分布から、ＬＢＧアルゴリズム等で、任意の個数の代表ベクトルを算出し、算出された代表ベクトルをクラスコードブックとして決定する。
図２９は、予測係数の生成を示すフローチャートである。ステップＳＴ３１で、入力画像に対して符号化を行う。次にステップＳＴ３２で、ステップＳＴ３１で符号化したデータを復号化する。次にステップＳＴ３３で、ステップＳＴ３２で復号化した画像に対し、ブロック分割が行われる。次にステップＳＴ３４、クラス分類が行われる。次にステップＳＴ３５で、クラス、およびブロック内の注目画素位置毎に、予測係数を算出するための正規方程式を生成する。次にステップＳＴ３６で、正規方程式を解くことで、予測係数を算出する。
図３０は、図２５のステップＳＴ１１におけるクラス分類の第２の構成におけるフローチャートである。ステップＳＴ１１５で、ブロックのアクティビティが算出される。次にステップＳＴ１１６で、入力に対して行われた符号化のブロック境界における差分を算出する。次にステップＳＴ１１７でブロックを再符号化する。次にステップＳＴ１１８で、再符号化したデータを復号化する。次にステップＳＴ１１９で、再符号化の前後での差分を算出する。次にステップＳＴ１１ａで、ステップＳＴ１１５とステップＳＴ１１６、およびステップＳＴ１１９の結果からクラスを決定する。なおクラス決定のフローチャートは、図２７と同様で、クラスコードブックの決定のフローチャートは、図２８と同様であり、扱うベクトルデータの次元数が１つ多いだけである。
図３１は、図２５のステップＳＴ１１におけるクラス分類の第３の構成におけるフローチャートである。ステップＳＴ１１ｂで、ブロックのアクティビティが算出される。次にステップＳＴ１１ｃで、入力に対して行われた符号化のブロック境界における差分を算出する。次にステップＳＴ１１ｄでブロックを再符号化する。次にステップＳＴ１１ｅで、再符号化したデータを復号化する。次にステップＳＴ１１ｆで、再符号化の前後での差分を算出する。次にステップＳＴ１１ｇで、ステップＳＴ１１ｂとステップＳＴ１１ｃ、およびステップＳＴ１１ｆの結果からクラスを決定する。次にステップＳＴ１１ｈで、注目画素における波形クラスを算出する。次にステップＳＴ１１ｉで、ステップＳＴ１１ｇとステップＳＴ１１ｉで決定されたクラスを統合し、最終的なクラスとして出力する。
直交変換を用いて符号化を行う画像信号処理装置などに適用して好適である。
本発明に係る第１の実施形態としての画像処理装置１００の構成例を示すブロック図である。 ブロック分割部１０１の動作例を示す概念図である。 第１の実施形態としてのクラス分類部１０２Ａの構成例を示すブロック図である。 再符号化部１０２２の構成例を示すブロック図である。 ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。 位相をずらす量を変えた場合における、ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。 符号化信号−再符号化信号の差分ＢＬｄと原画−符号化信号の差分の関係を示す説明図である。 符号化信号−再符号化信号の差分ＢＬｄとブロックのアクティビティＡｃｔの関係を示す説明図である。 図８に示したプロット点の分布を示す領域Ｗ２を、原画と符号化信号との差分絶対値総和の値によって領域ｖ１〜ｖ４に分割した一例を示す説明図である。 クラス決定部１０２４の構成例を示すブロック図である。 クラスコードブック１０２４２のＶｃを決定する際の構成例を示すブロック図である。 クラスコードブック決定部１０２５の構成例を示すブロック図である。 予測演算部１０４の構成例を示すブロック図である。 予測タップ構築部１０４１の動作例を示す説明図である。 予測係数生成装置２００の構成例を示すブロック図である。 本発明に係る第２の実施形態としてのクラス分類部１０２Ｂの構成例を示すブロック図である。 ブロック間差分算出部１０２６の動作例を示す説明図である。 符号化信号−再符号化信号の差分ＢＬｄとブロックのアクティビティＡｃｔとブロック間差分Ｄｉｆの関係を示す説明図である。 クラス決定部１０２７の構成例を示すブロック図である。 クラスコードブック１０２７２のＶｃを決定する際の構成例を示すブロック図である。 クラスコードブック決定部１０２８の構成例を示すブロック図である。 本発明に係る第３の実施形態としてのクラス分類部１０２Ｃの構成例を示すブロック図である。 波形クラス算出部１０２９の動作例を示す説明図である。 本発明に係るソフトウェアによる画像処理装置３００の構成例を示すブロック図である。 画像処理装置３００の動作例を示すフローチャートである。 図２５のステップＳＴ１１におけるクラス分類の第１の構成における動作例を示すフローチャートである。 図２６のステップＳＴ１１４におけるクラス決定の動作例を示すフローチャートである。 図２７におけるクラスコードブックの決定方法を示すフローチャートである。 予測係数の生成例を示すフローチャートである。 図２５のステップＳＴ１１におけるクラス分類の第２の構成における動作例を示すフローチャートである。 図２５のステップＳＴ１１におけるクラス分類の第３の構成における動作例を示すフローチャートである。
符号の説明
１０３・・・係数メモリ（予測係数発生部）、２０１・・・符号化部、２０２・・・復号化部、２０３・・・ブロック分割部、２０６・・・正規方程式生成部（予測係数演算部）、２０７・・・予測係数算出部（予測係数演算部）、１０２１・・・アクティビティ算出部、１０２２・・・再符号化部、１０２３・・・再符号化差分算出部、１０２４・・・クラス決定部、１０２６・・・ブロック間差分算出部、１０２９・・・波形クラス算出部、１０２ａ・・・クラス統合部、１０４１・・・予測タップ構築部、１０４２・・・予測演算部、１０２４１・・・第１のベクトルデータ変換部、１０２４２・・・第１のクラスコードブック（第１のクラスコード記憶部）、１０２４３・・・第１の最小値判定部、１０２７１・・・第２のベクトルデータ変換部、１０２７２・・・第２のクラスコードブック（第２のクラスコード記憶部）、１０２７３・・・第２の最小値判定部

Claims (10)

  1. 直交変換を用いる符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、
    前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、
    前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、
    前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、
    保持している前記クラスごとの予測係数に基づいて、前記クラス決定部により決定されたクラスに対応した予測係数を発生する予測係数発生部と、
    前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、
    前記予測タップ構築部により構築された予測タップと、前記予測係数発生部により発生された予測係数との積の和を演算して前記注目画素の画素値を算出する予測演算部とを備える画像信号処理装置。
  2. 前記クラス決定部は、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティから成るベクトルデータを生成する第１のベクトルデータ変換部と、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布を代表する代表ベクトルデータを記憶した第１のクラスコード記憶部と、
    前記クラスコード記憶部に記憶された代表ベクトルデータの中から、前記第１のベクトルデータ変換部のベクトルデータとのノルムが最も小さくなる代表ベクトルデータを判定する第１の最小値判定部とを備える請求項１に記載の画像信号処理装置。
  3. 前記ブロック分割部によって分割された複数の第２のブロックに関し、互いに隣接する第２のブロックの所定画素における差分値を算出するブロック間差分算出部を備え、
    前記クラス決定部は、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティと、前記ブロック間差分算出部により算出された差分値の分布から前記第２のブロックのクラスを決定する請求項１に記載の画像信号処理装置。
  4. 前記クラス決定部は、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティと、前記ブロック間差分算出部により算出された差分値から成るベクトルデータを生成する第２のベクトルデータ変換部と、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティと、前記ブロック間差分算出部により算出された差分値の分布を代表する代表ベクトルデータを記憶した第２のクラスコード記憶部と、
    前記クラスコード記憶部に記憶された代表ベクトルデータの中から、前記第２のベクトルデータ変換部のベクトルデータとのノルムが最も小さくなる代表ベクトルデータを判定する第２の最小値判定部とを備える請求項３に記載の画像信号処理装置。
  5. 前記第２のブロックにおける注目画素とその周辺の画素における波形の特徴量からクラスを算出する波形クラス算出部と、
    前記クラス決定部により決定されたクラスと前記波形クラス算出部により決定されたクラスを統合してクラスを決定するクラス統合部とを備え、
    前記予測係数発生部は、前記クラス統合部により決定されたクラスに対応した予測係数を発生する請求項４に記載の画像信号処理装置。
  6. 画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
    前記符号化の処理単位である前記第１のブロックとは位置が異なる第２のブロックに前記符号化後の画像信号を分割するステップと、
    分割された第２のブロック毎にアクティビティを算出するステップと、
    前記第２のブロックに対して、前記直交変換を用いた符号化を再び行うステップと、
    再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
    算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
    保持している前記クラスごとの予測係数に基づいて、決定したクラスに対応した予測係数を発生するステップと、
    前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
    構築した予測タップと前記予測係数との積の和を演算して前記注目画素の画素値を算出するステップとを有する画像信号処理方法。
  7. 画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
    前記符号化の処理単位である前記第１のブロックとは位置が異なる第２のブロックに前記符号化後の画像信号を分割するステップと、
    分割された第２のブロック毎にアクティビティを算出するステップと、
    前記第２のブロックに対して、前記直交変換を用いた符号化を再び行うステップと、
    再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
    算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
    保持している前記クラスごとの予測係数に基づいて、決定したクラスに対応した予測係数を発生するステップと、
    前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
    構築した予測タップと前記予測係数との積の和を演算して前記注目画素の画素値を算出するステップとを有する画像信号処理方法をコンピュータに実行させるためのプログラム。
  8. 第１のブロックに分割された画像信号に直交変換を用いた符号化を行う符号化部と、
    前記符号化部により符号化された画像信号を復号化する復号化部と、
    前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、
    前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、
    前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、
    前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、
    前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、
    前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、
    前記クラス決定部により決定されたクラス、前記予測タップ構築部により構築された予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出する予測係数演算部とを備える予測係数生成装置。
  9. 画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
    符号化された前記画像信号を復号化するステップと、
    前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するステップと、
    分割された第２のブロック毎にアクティビティを算出するステップと、
    前記第２のブロックに対して前記直交変換を用いた符号化を再び行うステップと、
    再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
    算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
    前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
    前記クラス、前記予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出するステップとを有する予測係数生成方法。
  10. 画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
    符号化された前記画像信号を復号化するステップと、
    前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するステップと、
    分割された第２のブロック毎にアクティビティを算出するステップと、
    前記第２のブロックに対して前記直交変換を用いた符号化を再び行うステップと、
    再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
    算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
    前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
    前記クラス、前記予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出するステップとを有する予測係数生成方法をコンピュータに実行させるためのプログラム。
JP2008132309A 2008-05-20 2008-05-20 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム Expired - Fee Related JP4656452B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008132309A JP4656452B2 (ja) 2008-05-20 2008-05-20 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
US12/437,967 US8358862B2 (en) 2008-05-20 2009-05-08 Image signal processing apparatus, image signal processing method, prediction coefficient generating apparatus, prediction coefficient generating method, and programs for causing computer to execute the methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008132309A JP4656452B2 (ja) 2008-05-20 2008-05-20 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
JP2009284090A JP2009284090A (ja) 2009-12-03
JP4656452B2 true JP4656452B2 (ja) 2011-03-23

Family

ID=41342169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008132309A Expired - Fee Related JP4656452B2 (ja) 2008-05-20 2008-05-20 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム

Country Status (2)

Country Link
US (1) US8358862B2 (ja)
JP (1) JP4656452B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201800588QA (en) * 2012-04-13 2018-02-27 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method and image decoding method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217111A (ja) * 1992-10-02 1994-08-05 Toshiba Corp 切貼り編集を含む画像の処理装置
JP2002223167A (ja) * 2001-01-25 2002-08-09 Sony Corp データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP2002335405A (ja) * 2001-05-10 2002-11-22 Sony Corp 画像データ処理装置および方法、記録媒体、並びにプログラム
JP2004056461A (ja) * 2002-07-19 2004-02-19 Sony Corp 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2004304575A (ja) * 2003-03-31 2004-10-28 Sony Corp 画像データの符号化装置および符号化方法、並びに画像データの復号化装置および復号化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3760517B2 (ja) 1996-04-11 2006-03-29 ソニー株式会社 画像信号処理装置および方法
JPH1051766A (ja) * 1996-08-05 1998-02-20 Mitsubishi Electric Corp 画像符号化データ変換装置
EP1083750A3 (en) * 1999-09-10 2009-09-23 NTT DoCoMo, Inc. Method and apparatus for transcoding coded video image data
US7035471B2 (en) * 2000-05-09 2006-04-25 Sony Corporation Data processing device and data processing method and recorded medium
US7082220B2 (en) * 2001-01-25 2006-07-25 Sony Corporation Data processing apparatus
JP4196929B2 (ja) 2004-10-19 2008-12-17 日本ビクター株式会社 ノイズ検出装置及びノイズ検出プログラム
US8326064B2 (en) * 2007-01-22 2012-12-04 Nec Corporation Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217111A (ja) * 1992-10-02 1994-08-05 Toshiba Corp 切貼り編集を含む画像の処理装置
JP2002223167A (ja) * 2001-01-25 2002-08-09 Sony Corp データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP2002335405A (ja) * 2001-05-10 2002-11-22 Sony Corp 画像データ処理装置および方法、記録媒体、並びにプログラム
JP2004056461A (ja) * 2002-07-19 2004-02-19 Sony Corp 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2004304575A (ja) * 2003-03-31 2004-10-28 Sony Corp 画像データの符号化装置および符号化方法、並びに画像データの復号化装置および復号化方法

Also Published As

Publication number Publication date
JP2009284090A (ja) 2009-12-03
US20090290804A1 (en) 2009-11-26
US8358862B2 (en) 2013-01-22

Similar Documents

Publication Publication Date Title
US9277247B2 (en) Method and device for interpolating images by using a smoothing interpolation filter
US7720153B2 (en) Video encoding apparatus, video encoding method, video encoding program, video decoding apparatus, video decoding method and video decoding program
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
CN103024382B (zh) 动态图像编码装置、方法以及动态图像解码装置、方法
JP2013211908A (ja) ビデオ圧縮方法
CN104506877A (zh) 图像解码装置以及图像解码方法
KR20180118254A (ko) 신규한 평면 예측 모드
CN102754440B (zh) 图像编码方法、图像编码装置以及摄像系统
JP4931214B2 (ja) 画像処理装置及びその方法
JP4235162B2 (ja) 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
KR20110086521A (ko) 영역 기반의 부호화/복호화 장치 및 방법
JP6171627B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
JP4844455B2 (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP4656452B2 (ja) 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
EP2320655A1 (en) Apparatus and method of compressing and restoring image using filter information
JP4844456B2 (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP6016488B2 (ja) 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
JP3896635B2 (ja) 画像データ変換装置及び方法、予測係数生成装置及び方法
JP4250553B2 (ja) 画像データ処理方法及び装置
JP2005123913A (ja) 解像度変換用フィルタ係数決定方法，画像解像度変換方法，画像解像度変換装置，映像再符号化方法，映像再符号化装置，解像度変換用フィルタ係数決定プログラム，画像解像度変換プログラム，映像再符号化プログラムおよびそれらのプログラムを記録した記録媒体
JP2012120108A (ja) 補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラム
JP5244479B2 (ja) 画像符号化装置及び画像符号化方法
JP2001285648A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP5812806B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5042172B2 (ja) 動画処理装置及び動画処理方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees