JP4747975B2 - 画像処理装置および方法、プログラム、並びに、記録媒体 - Google Patents

画像処理装置および方法、プログラム、並びに、記録媒体 Download PDF

Info

Publication number
JP4747975B2
JP4747975B2 JP2006193671A JP2006193671A JP4747975B2 JP 4747975 B2 JP4747975 B2 JP 4747975B2 JP 2006193671 A JP2006193671 A JP 2006193671A JP 2006193671 A JP2006193671 A JP 2006193671A JP 4747975 B2 JP4747975 B2 JP 4747975B2
Authority
JP
Japan
Prior art keywords
image
deblocking
encoded
decoded
encoding difficulty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006193671A
Other languages
English (en)
Other versions
JP2008022404A (ja
Inventor
潤一 田中
数史 佐藤
陽一 矢ヶ崎
和博 石谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006193671A priority Critical patent/JP4747975B2/ja
Priority to TW96119587A priority patent/TW200812395A/zh
Priority to PCT/JP2007/063948 priority patent/WO2008007757A1/ja
Priority to CN2007800267311A priority patent/CN101491104B/zh
Priority to US12/373,623 priority patent/US8625924B2/en
Priority to RU2009101022/07A priority patent/RU2479938C2/ru
Priority to BRPI0714048-7A priority patent/BRPI0714048A2/pt
Priority to KR20097000640A priority patent/KR101364919B1/ko
Publication of JP2008022404A publication Critical patent/JP2008022404A/ja
Application granted granted Critical
Publication of JP4747975B2 publication Critical patent/JP4747975B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

本発明は、画像処理装置および方法、プログラム、並びに、記録媒体に関し、画質を向上させることができるようにした画像処理装置および方法、プログラム、並びに、記録媒体に関する。
MPEG-2（Moving Picture Experts Group phase 2）方式により符号化した画像の画質劣化の一因としてブロックノイズがある。そこで、MPEG-4（Moving Picture Experts Group phase 4）方式、または、H.264／AVC（Advanced Video Coding）方式により画像を符号化する装置においては、ブロックノイズを除去するデブロッキング処理を行うデブロッキングフィルタが設けられている（例えば、特許文献１参照）。このデブロッキング処理により、特に低ビットレートの画像においても、画質の劣化を抑えることができる。
特許第３４８９７３５号公報
しかしながら、デブロッキング処理は、ブロック境界に対してローパスフィルタリング処理を施すため、ブロックノイズを除去できる一方、画像の模様などの詳細情報（以下、テクスチャとも称する）が失われてしまうという問題がある。
本発明は、このような状況に鑑みてなされたものであり、デブロッキング処理を適切に施すことにより、画質を向上させるようにするものである。
本発明の一側面の画像処理装置は、フレーム間予測を用いて符号化され、復号された第１の画像に対して、デブロッキング処理を施すデブロッキングフィルタと、前記第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化する符号化難易度算出手段とを含み、前記デブロッキングフィルタは、前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする。
前記第１の符号化難易度を、前記第１の画像を符号化した場合に発生する発生符号量と前記第１の画像に適用された量子化スケールの平均値とを用いて算出するようにすることができる。
前記第２の画像を、前記第１の画像が符号化される前の最も近い時間に符号化されたＩピクチャとすることができる。
前記第２の画像を、前記第１の画像のインター予測を行なう場合に参照されるＩピクチャとすることができる。
前記第１の閾値を、前記第１の画像のピクチャタイプによって決定するようにすることができる。
前記第１の画像および前記第２の画像を、H.264／AVC（Advanced Video Coding）方式により符号化または復号された画像とし、前記デブロッキングフィルタには、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、または、slice_beta_offset_div2の値を調整することにより、前記復号された第１の画像に対するデブロッキング処理の適用の有無、または、前記復号された第１の画像に適用するデブロッキング処理の強度を制御させることができる。
前記画像処理装置には、MPEG-4（Moving Picture Coding Experts Group phase4）、H.264／AVC（Advanced Video Coding）、または、VC-1（Video Codec 1）方式により画像を符号化または復号させることができる。
前記第１の画像を複数のブロックに分割し、前記ブロックごとに直交変換を施す直交変換手段をさらに設け、前記デブロッキングフィルタには、直交変換により得られる変換係数の前記画像内の全ブロックの総和が所定の第２の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用させるとともに、前記変換係数の総和が大きくなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くさせることができる。
本発明の一側面の画像処理方法、プログラム、または、記録媒体に記録されているプログラムは、フレーム間予測を用いて符号化され、復号された第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化し、前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くするステップを含む。
本発明の一側面においては、フレーム間予測を用いて符号化され、復号された第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度が正規化され、前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理が適用されるとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用されるデブロッキング処理の強度が強くされる。
本発明の一側面によれば、画像の特徴に応じて、デブロッキング処理を適切に施すことができる。また、本発明の一側面によれば、画質を向上させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置（例えば、図１の画像処理装置１０１）は、フレーム間予測を用いて符号化され、復号された第１の画像に対して、デブロッキング処理を施すデブロッキングフィルタ（例えば、図１のデブロッキングフィルタ１２４）と、前記第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化する符号化難易度算出手段（例えば、図１のレート制御部１１９）とを含み、前記デブロッキングフィルタは、前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする。
本発明の一側面の画像処理方法、プログラム、または、記録媒体に記録されているプログラムは、フレーム間予測を用いて符号化され、復号された第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化し（例えば、図３のステップＳ２１）、前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする（例えば、図３のステップＳ２２）ステップを含む。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
画像処理装置１０１は、入力された画像をH.264／AVC（Advanced Video Coding）方式により符号化し、符号化した画像を、例えば、後段の図示せぬ記録装置や伝送路などに出力する装置である。
画像処理装置１０１は、A/D（Analog/Digital）変換部１１１、画面並べ替えバッファ１１２、特徴量算出部１１３、加算器１１４、直交変換部１１５、量子化部１１６、可逆符号化部１１７、蓄積バッファ１１８、レート制御部１１９、予測誤差加算部１２０、逆量子化部１２１、逆直交変換部１２２、加算器１２３、デブロッキングフィルタ１２４、フレームメモリ１２５、イントラ予測部１２６、および、動き予測・補償部１２７を含むように構成される。また、特徴量算出部１１３は、アクティビティ算出部１４１および直交変換部１４２を含むように構成される。
A/D変換部１１１は、外部から入力されたアナログの画像をデジタルの画像にA/D変換し、変換後のデジタルの画像（以下、適宜、原画像とも称する）を画面並べ替えバッファ１１２に供給する。
画面並べ替えバッファ１１２は、A/D変換部１１１から供給された原画像を、GOP（Group Of Pictures）構造に基づいて並べ替え、順に、特徴量算出部１１３に供給する。
特徴量算出部１１３は、原画像の複雑さを表す特徴量を算出する。また、特徴量算出部１１３は、特徴量の算出が終わった原画像を、加算器１１４、イントラ予測部１２６、および、動き予測・補償部１２７に供給する。
特徴量算出部１１３を構成する要素のうち、アクティビティ算出部１４１は、図４を参照して後述するように、原画像を複数のブロックに分割し、ブロックごとの画素値の分散に基づいて、原画像の特徴量を算出する。アクティビティ算出部１４１は、算出した特徴量を示す情報をデブロッキングフィルタ１２４に供給する。
また、直交変換部１４２は、図５を参照して後述するように、原画像を複数のブロックに分割し、ブロックごとに直交変換を施すことにより得られる変換係数に基づいて、原画像の特徴量を算出する。直交変換部１４２は、算出した特徴量を示す情報をデブロッキングフィルタ１２４に供給する。
加算器１１４は、マクロブロックごとに、原画像に対してイントラ予測（フレーム内予測）を用いて予測したイントラ予測画像、および、インター予測（フレーム間予測、動き補償予測）を用いて予測したインター予測画像のうちいずれか一方の予測画像を、イントラ予測部１２６または動き予測・補償部１２７から取得する。加算器１１４は、マクロブロックごとに、原画像とイントラ予測画像またはインター予測画像との差分を取り、差分を取ることに得られた予測誤差からなる差分画像を直交変換部１１５および予測誤差加算部１２０に供給する。
直交変換部１１５は、差分画像に対して、所定の大きさのブロックごとに離散コサイン変換またはカルーネン・レーベ変換等の直交変換を施し、これにより得られた変換係数を量子化部１１６に供給する。
量子化部１１６は、レート制御部１１９により制御される量子化スケールを用いて、直交変換部１１５から供給された変換係数を量子化し、量子化した変換係数を可逆符号化部１１７および逆量子化部１２１に供給する。
可逆符号化部１１７は、イントラ予測に関する情報をイントラ予測部１２６から取得し、インター予測に関する情報を動き予測・補償部１２７から取得する。可逆符号変換部１１７は、量子化された変換係数、イントラ予測に関する情報、インター予測に関する情報などを所定の順序に配置し、配置したデータに対してCAVLC（Context-Adaptive Variable Length Coding）などの可変長符号化、または、CABAC（Context-Adaptive Binary Arithmetic Coding）などの算術符号化等の可逆符号化処理を施す。可逆符号化部１１７は、符号化したデータを蓄積バッファ１１８に供給して蓄積させる。
蓄積バッファ１１８は、可逆符号化部１１７から供給されたデータを、H.264／AVC方式で符号化された画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
レート制御部１１９は、蓄積バッファ１１８に記憶されている画像の符号量に基づいて、符号化する画像に割り当てられる時間当たりの符号量であるビットレートを制御する。例えば、レート制御部１１９は、MPEG-2 TestModel5（TM5）に規定されるレート制御方式を用いて、量子化部１１６が量子化を行うときに変換係数を除算する値である量子化スケールの値を制御することによりビットレートを制御する。また、レート制御部１１９は、図３を参照して後述するように、原画像の複雑さを表す特徴量として、符号化難易度を算出し、算出した符号化難易度をデブロッキングフィルタ１２４に供給する。
予測誤差加算部１２０は、図６を参照して後述するように、加算器１１４から供給される差分画像を構成する予測誤差に基づいて、画像の複雑さを表す特徴量を算出する。予測誤差加算部１２０は、算出した特徴量を示す情報をデブロッキングフィルタ１２４に供給する。
逆量子化部１２１は、量子化部１１６から供給された変換係数を逆量子化して逆直交変換部１２２に供給する。
逆直交変換部１２２は、逆量子化部１２１から供給された変換係数に対して逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施す。これにより、差分画像が復号される。逆直交変換部１２２は、復号した差分画像を加算器１２３に供給する。
加算器１２３は、差分画像の生成に用いられたイントラ予測画像またはインター予測画像を、イントラ予測部１２６または動き予測・補償部１２７から取得し、差分画像と取得したイントラ予測画像またはインター予測画像とを加算する。これにより、原画像が復号される。加算器１２３は、復号した画像（以下、適宜、復号画像と称する）をデブロッキングフィルタ１２４に供給する。
デブロッキングフィルタ１２４は、復号画像に対して、ブロック歪みを除去するためのデブロッキング処理を施す。なお、デブロッキングフィルタ１２４は、図３乃至図６を参照して後述するように、レート制御部１１９、予測誤差加算部１２０、アクティビティ算出部１４１、または、直交変換部１４２から取得した特徴量に基づいて、復号画像へのデブロッキング処理の適用の有無、または、復号画像に適用するデブロッキング処理の強度を制御する。デブロッキングフィルタ１２４は、デブロッキング処理を施した復号画像をフレームメモリ１２５に供給する。また、デブロッキングフィルタ１２４は、イントラ予測に用いる画像として、デブロッキング処理を施さない復号画像をそのままフレームメモリ１２５に供給する。
フレームメモリ１２５は、デブロッキングフィルタ１２４から供給される復号画像を、イントラ予測またはインター予測が行われる場合に参照される画像（以下、適宜、参照画像と称する）として記憶する。
イントラ予測部１２６は、マクロブロックごとに、フレームメモリ１２５に記憶されている同じフレーム内の当該マクロブロックに隣接する符号化済みの画素を用いて、原画像に対する予測画像を生成するイントラ予測を行う。なお、上述したように、イントラ予測には、デブロッキング処理を施す前の復号画像の画素が用いられる。
動き予測・補償部１２７は、マクロブロックごとに、フレームメモリ１２５に記憶されている他のフレームの参照画像を用いて、参照画像に対する原画像の動きベクトルを検出し、検出した動きベクトルを用いて参照画像に動き補償を施こすことにより、原画像に対するインター予測画像を生成するインター予測を行う。
なお、各マクロブロックに適用する予測モードは、例えば、図示せぬモード判定部により、Low Complexity Mode（高速モード）方式を用いて判定される。適用される予測モードがイントラ予測の予測モードである場合、図１に示されるように、フレームメモリ１２５とイントラ予測部１２６とが接続され、イントラ予測部１２６と加算器１１４および加算器１２３とが接続される。イントラ予測部１２６は、選択された予測モードに基づいてイントラ予測画像を生成し、生成したイントラ予測画像を加算器１１４および加算器１２３に供給する。また、イントラ予測部１２６は、イントラ予測を行ったマクロブロックのイントラ予測に関する情報として、適用した予測モードなどの情報を可逆符号化部１１７に供給する。
また、適用される予測モードがインター予測の予測モードである場合、図１には示されていないが、フレームメモリ１２５と動き予測・補償部１２７とが接続され、動き予測・補償部１２７と加算器１１４および加算器１２３とが接続される。動き予測・補償部１２７は、選択された予測モードに基づいてインター予測画像を生成し、生成したインター予測画像を加算器１１４および加算器１２３に供給する。また、イントラ予測部１２６は、インター予測を行ったマクロブロックのインター予測に関する情報として、適用した予測モード、検出した動きベクトル、参照した画像（ピクチャ）の番号などの情報を可逆符号化部１１７に供給する。
次に、図２のフローチャートを参照して、図１の画像処理装置１０１により実行される符号化処理について説明する。なお、この処理は、例えば、外部から画像処理装置１０１への画像の入力が開始されたとき、開始される。
ステップＳ１において、画像処理装置１０１は、画像の符号化を開始する。すなわち、図１を参照して上述した動作を、画像処理装置１０１の各部が開始することにより、入力された画像のH.264／AVC方式による符号化が開始される。また、図３乃至図６を参照して後述するデブロッキング制御処理も開始される。
ステップＳ２において、画像処理装置１０１は、全ての画像を符号化したかを判定する。ステップＳ２において、外部から入力された全ての画像を符号化したと判定されるまで、画像の符号化が実行され、外部から入力された全ての画像を符号化したと判定された場合、符号化処理は終了する。
次に、図３のフローチャートを参照して、図２を参照して上述した符号化処理中に画像処理装置１０１により実行されるデブロッキング制御処理の第１の実施の形態について説明する。
ステップＳ２１において、レート制御部１１９は、Complexityを算出する。具体的には、レート制御部１１９は、符号化済みの画像（ピクチャ）を蓄積バッファ１１８から取得する。レート制御部１１９は、以下の式（１）により、当該画像の複雑さを表す特徴量として符号化難易度Complexityを算出する。
Complexity＝PictureGeneratedBis×PictureAverageQuant ・・・（１）
ここで、PictureGeneratedBisは当該画像の発生符号量を示す。また、PictureAverageQuantは、当該画像に適用された量子化スケールの平均値を示し、以下の式（２）により算出される。
Figure 0004747975
ここで、MBNumは当該画像のマクロブロックの数を示す。また、Quantkは画像内のｋ番目のマクロブロックに適用された量子化スケールを示し、以下の式（３）により算出される。
Figure 0004747975
ここで、QPkは画像内のｋ番目のマクロブロックの量子化パラメータを示す。
すなわち、式（１）により求められるComplexityは、当該画像の発生符号量と量子化スケールの平均値とを乗じた値である。従って、Complexityは、画像の動きが少ないほど小さくなり、画像の動きが大きいほど大きくなる。
ステップＳ２２において、デブロッキングフィルタ１２４は、デブロッキング処理に関わるパラメータを調整する。具体的には、レート制御部１１９は、算出したComplexityを示す情報をデブロッキングフィルタ１２４に供給する。デブロッキングフィルタ１２４は、デブロッキング処理を施す画像のComplexityの値に応じて、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、および、slice_beta_offset_div2の値を調整する。
disable_deblocking_filter_idcは、デブロッキング処理の適用の有無を設定するためのパラメータであり、スライスごとに設定することが可能である。disable_deblocking_filter_idcは、デブロッキング処理を適用する場合、０に設定され、デブロッキング処理を適用しない場合、１に設定され、スライス境界においてデブロッキング処理を適用しない場合、２に設定される。
slice_alpha_c0_offset_div2は、スライスを４×４画素のブロックに分割した場合のブロック境界に適用されるデブロッキング処理の強度を調整するためのパラメータであり、スライスごとに設定することが可能である。slice_alpha_c0_offset_div2の設定範囲は、−６乃至＋６であり、値が小さくなるほど、適用されるデブロッキング処理の強度は弱くなり、値が大きくなるほど、適用されるデブロッキング処理の強度は強くなる。
slice_beta_offset_div2は、スライスを４×４画素のブロックに分割した場合のブロックの内部の画素に適用されるデブロッキング処理の強度を調整するためのパラメータであり、スライスごとに設定することが可能である。slice_beta_offset_div2の設定範囲は、−６乃至＋６であり、値が小さくなるほど、適用されるデブロッキング処理の強度は弱くなり、値が大きくなるほど、適用されるデブロッキング処理の強度は強くなる。
ステップＳ２２において、例えば、Complexityが所定の閾値Thcより小さい場合、disable_deblocking_filter_idcが１に設定される。すなわち、ブロックノイズがほとんど生じない非常に動きが少ない画像に対しては、デブロッキング処理が適用されなくなる。
また、例えば、Complexityが閾値Thc以上である場合、Complexityの値に応じて、slice_alpha_c0_offset_div2およびslice_beta_offset_div2の値が調整される。例えば、Complexityの値が小さくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が−６に近い値に設定され、Complexityの値が大きくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が＋６に近い値に設定される。すなわち、ブロックのノイズが生じにくい動きが少ない画像に対しては、適用されるデブロッキング処理の強度が弱められ、ブロックノイズが生じやすい動きが大きい画像に対しては、適用されるデブロッキング処理の強度が強められる。
ステップＳ２３において、デブロッキングフィルタ１２４は、デブロッキング処理を行い、デブロッキング制御処理は終了する。デブロッキング処理が施された復号画像は、参照画像としてフレームメモリ１２５に蓄積される。なお、disable_deblocking_filter_idcが１に設定されている場合、デブロッキング処理は施されない。
このように、Complexityに応じて、復号画像に対してデブロッキング処理が適切に施され、テクスチャが保持されたままブロックノイズが除去された参照画像が生成される。従って、参照画像を用いてインター予測符号化される画像の画質を向上させることができる。
なお、閾値Thcの値を、画像の種類、すなわち、Ｉピクチャ、Ｐピクチャ、および、Ｂピクチャのいずれであるかに基づいて変えるようにしてもよい。
また、フレーム間予測を用いて符号化された画像であるPピクチャおよびＢピクチャの符号化難易度を、当該画像より前にフレーム内予測を用いて符号化された画像であるＩピクチャのComplexityを用いて正規化し、正規化した値（Norm_Complexity）に基づいて、デブロッキング処理を制御するようにしてもよい。ＰピクチャのComplexityを正規化したNorm_ComplexityPpic、および、ＢピクチャのComplexityを正規化したNorm_ComplexityBpicは、以下の式（４）乃至式（８）により算出される。
ComplexityIpic＝PictureGeneratedBisIpic×PictureAverageQuantIpic ・・・（４）
ComplexityPpic＝PictureGeneratedBisPpic×PictureAverageQuantPpic ・・・（５）
ComplexityBpic＝PictureGeneratedBisBpic×PictureAverageQuantBpic ・・・（６）
Norm_ComplexityPpic＝ComplexityPpic÷ComplexityIpic ・・・（７）
Norm_ComplexityBpic＝ComplexityBpic÷ComplexityIpic ・・・（８）
なお、ComplexityIpic、PictureGeneratedBisIpic、PictureAverageQuantIpicは、それぞれＩピクチャの符号化難易度、発生符号量、量子化スケールの平均値を示し、ComplexityPpic、PictureGeneratedBisPpic、PictureAverageQuantPpicは、それぞれＰピクチャの符号化難易度、発生符号量、量子化スケールの平均値を示し、ComplexityBpic、PictureGeneratedBisBpic、PictureAverageQuantIBicは、それぞれＢピクチャの符号化難易度、発生符号量、量子化スケールの平均値を示している。
例えば、デブロッキング処理を施す画像がPピクチャまたはBピクチャである場合、Norm_Complexityが所定の閾値Thcnより小さい場合、disable_deblocking_filter_idcが１に設定される。すなわち、ブロックノイズがほとんど生じない非常に動きが少ない画像に対しては、デブロッキング処理が適用されなくなる。
また、例えば、Norm_Complexityが閾値Thcn以上である場合、Norm_Complexityの値に応じて、slice_alpha_c0_offset_div2およびslice_beta_offset_div2の値が調整される。例えば、Norm_Complexityの値が小さくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が−６に近い値に設定され、Norm_Complexityの値が大きくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が＋６に近い値に設定される。すなわち、ブロックのノイズが生じにくい動きが少ない画像に対しては、適用されるデブロッキング処理の強度が弱められ、ブロックノイズが生じやすい動きが大きい画像に対しては、適用されるデブロッキング処理の強度が強められる。
Norm_ComplexityPpicおよびNorm_ComplexityBpicは、Ｉピクチャの画像の動きを１とした場合の、ＰピクチャおよびＢピクチャの動きを示しており、各ピクチャの動きの複雑さをより正確に抽出することができるため、より適切にデブロッキング処理が施され、インター予測符号化される画像の画質をより向上させることができる。
なお、閾値Thcnの値を、画像の種類、すなわち、ＰピクチャおよびＢピクチャのいずれであるかに基づいて変えるようにしてもよい。
また、正規化に用いるIピクチャは、当該画像より前の最も近い時間に符号化されたIピクチャ、または、当該画像の符号化において参照されるIピクチャを用いるようにすることが望ましい。
また、Ｉピクチャについては、上述したように、Complexityに基づいて、デブロッキング処理が制御される。
次に、図４のフローチャートを参照して、図２を参照して上述した符号化処理中に画像処理装置１０１により実行されるデブロッキング制御処理の第２の実施の形態について説明する。
ステップＳ４１において、アクティビティ算出部１４１は、Activityを算出する。具体的には、アクティビティ算出部１４１は、以下の式（９）により、これから符号化される画像の複雑さを表す特徴量としてActivityを算出する。
Figure 0004747975
ここで、actkは、当該画像のk番目のマクロブロックのアクティビティを示し、以下の式（１０）により求められる。
Figure 0004747975
ここで、var sblkは、１個のマクロブロックを、８×８個の画素で構成される４個のサブブロックに分割し、その分割されたサブブロックの画素値の分散を表す値であり、以下の式（１１）および式（１２）により求められる。
Figure 0004747975
ここで、Pkはサブブロック内のk番目の画素の画素値を示す。
また、式（１０）のminsblk=1,8(var sblk)は、各サブブロックについてフレームDCT符号化モードの場合と、フィールドDCT符号化モードの２通りの場合についてvar sblkを求め、求めたvar sblkのうちの最小値を示す。
すなわち、式（９）により求められるActivityは、当該画像内の各マクロブロックのアクティビティの平均値であり、例えば、MPEG-2 TestModel5（TM5）に規定されるレート制御において使用される値である。従って、Activityは、画素値の変化が少ない画像ほど小さくなり、画素値の変化が大きい画像ほど大きくなる。
ステップＳ４２において、デブロッキングフィルタ１２４は、デブロッキング処理に関わるパラメータを調整する。具体的には、アクティビティ算出部１４１は、算出したActivityを示す情報をデブロッキングフィルタ１２４に供給する。デブロッキングフィルタ１２４は、デブロッキング処理を施す画像のActivityの値に応じて、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、および、slice_beta_offset_div2の値を調整する。
例えば、Activityが所定の閾値Thaより小さい場合、disable_deblocking_filter_idcが１に設定される。すなわち、ブロックノイズがほとんど生じない、画素値の変化が非常に少ない平坦な画像に対しては、デブロッキング処理が適用されなくなる。
また、例えば、Activityが閾値Tha以上である場合、Activityの値に応じて、slice_alpha_c0_offset_div2およびslice_beta_offset_div2の値が調整される。例えば、Activityの値が小さくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が−６に近い値に設定され、Activityの値が大きくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が＋６に近い値に設定される。すなわち、ブロックのノイズが生じにくい画素値の変化が少ない画像に対しては、適用されるデブロッキング処理の強度が弱められ、ブロックノイズが生じやすい画素値の変化の大きな複雑な画像に対しては、適用されるデブロッキング処理の強度が強められる。
ステップＳ４３において、上述した図３のステップＳ２３の処理と同様に、デブロッキング処理が行われ、デブロッキング制御処理は終了する。
このように、Activityに応じて、復号画像に対してデブロッキング処理が適切に施され、テクスチャが保持されたままブロックノイズが除去された参照画像が生成される。従って、参照画像を用いてインター予測符号化される画像の画質を向上させることができる。
また、Activityを用いる場合、画像を符号化する前に、画像の複雑さを表す特徴量を求めることができる。
さらに、上述したように、Activityは、MPEG-2 TestModel5（TM5）に規定されるレート制御において使用される値であるので、例えば、レート制御部１１９において算出するようにすることが可能である。
また、上述したActivity、すなわち、各マクロブロックのアクティビティの平均値以外に、例えば、各マクロブロックのアクティビティの合計値など、当該画像の画素値の分散の大きさを反映した値を用いるようにしてもよい。
次に、図５のフローチャートを参照して、図２を参照して上述した符号化処理中に画像処理装置１０１により実行されるデブロッキング制御処理の第３の実施の形態について説明する。
ステップＳ６１において、直交変換部１４２は、直交変換係数の総和を算出する。具体的には、直交変換部１４２は、これから符号化される画像を所定の大きさのブロックに分割する。なお、以下、４×４画素のブロックに分割し、直交変換としてアダマール変換を用いる例について説明する。直交変換部１４２は、以下の式（１３）により、各ブロックをアダマール変換する。
P'＝HTPH ・・・（１３）
ここで、Pはアダマール変換前の４×４画素の画素行列を示し、P'はアダマール変換後の４×４の変換係数行列を示す。また、Hは、以下の式（１４）に示される４次のアダマール行列を示し、HTは、４次のアダマール行列の転置行列を示す。
Figure 0004747975
直交変換部１４２は、各ブロックごとに、変換係数行列P'の座標（０，０）の変換係数（DC（直流）成分の変換係数）を除く変換係数の絶対値の和Phを算出する。すなわち、Phは、アダマール変換後のブロック内の変換係数のうち、符号量と相関のあるAC（交流）成分の変換係数の絶対値の和となる。さらに、直交変換部１４２は、画像内の全ブロックのPhの総和DCtotalを算出する。なお、DCtotalは、周波数成分が偏った単純な画像ほど小さくなり、周波数成分が分散した複雑な画像ほど大きくなる。
ステップＳ６２において、デブロッキングフィルタ１２４は、デブロッキング処理に関わるパラメータを調整する。具体的には、直交変換部１４２は、算出したDCtotalを示す情報をデブロッキングフィルタ１２４に供給する。デブロッキングフィルタ１２４は、デブロッキング処理を施す画像のDCtotalの値に応じて、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、および、slice_beta_offset_div2の値を調整する。
例えば、DCtotalが所定の閾値Thdより小さい場合、disable_deblocking_filter_idcが１に設定される。すなわち、ブロックノイズがほとんど生じない、周波数成分が偏った非常に単純な画像に対しては、デブロッキング処理が適用されなくなる。
また、例えば、DCtotalが閾値Thd以上である場合、DCtotalの値に応じて、slice_alpha_c0_offset_div2およびslice_beta_offset_div2の値が調整される。例えば、DCtotalの値が小さくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が−６に近い値に設定され、DCtotalの値が大きくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が＋６に近い値に設定される。すなわち、ブロックのノイズが生じにくい周波数成分が偏った単純な画像に対しては、適用されるデブロッキング処理の強度が弱められ、ブロックノイズが生じやすい周波数成分が分散した複雑な画像に対しては、適用されるデブロッキング処理の強度が強められる。
ステップＳ６３において、上述した図３のステップＳ２３の処理と同様に、デブロッキング処理が行われ、デブロッキング制御処理は終了する。
なお、以上の説明では、直交変換としてアダマール変換を用いる例を示したが、その他の直交変換、例えば、DCT（離散コサイン変換）などを用いるようにしてもよい。
また、直交変換の種類に関わらず、分割するブロックの大きさは、上述した４×４画素に限定されるものではなく、例えば、８×８画素など任意の大きさとすることができる。
このように、DCtotalに応じて、復号画像に対してデブロッキング処理が適切に施され、テクスチャが保持されたままブロックノイズが除去された参照画像が生成される。従って、参照画像を用いてインター予測符号化される画像の画質を向上させることができる。
また、DCtotalは、直交変換を施して、周波数成分に分解した変換係数の総和であるので、当該画像の符号化難易度との相関が高くなり、Activityより高い精度で画像の複雑さを表すことができる。
さらに、DCtotalを用いた場合、画像を符号化する前に、画像の複雑さを表す特徴量を求めることができる。
また、直交変換部１４２の代わりに、直交変換部１１５を用いて、直交変換係数を算出するようにすることが可能である。
さらに、上述したDCtotal、すなわち、AC成分の直交変換係数の総和以外に、例えば、AC成分の直交変換係数の平均値など、当該画像のAC成分の直交変換係数の大きさを反映した値を用いるようにしてもよい。
次に、図６のフローチャートを参照して、図２を参照して上述した符号化処理中に画像処理装置１０１により実行されるデブロッキング制御処理の第４の実施の形態について説明する。
ステップＳ８１において、予測誤差加算部１２０は、予測誤差の総和を算出する。具体的には、予測誤差加算部１２０は、これから符号化される画像、すなわち、加算器１１４により差分が行われている画像がＰピクチャまたはＢピクチャである場合、加算器１１４から供給される予測誤差を１ピクチャ分足し合わせる。これにより、予測誤差の総和Etが算出される。なお、Etは、画像の動きの予測が容易であるほど、すなわち、画像の動きが小さくかつ単純であるほど小さくなり、画像の動きの予測が難しいほど、すなわち、画像の動きが大きくかつ複雑であるほど大きくなる。
ステップＳ８２において、デブロッキングフィルタ１２４は、デブロッキング処理に関わるパラメータを調整する。具体的には、予測誤差加算部１２０は、算出した予測誤差の総和Etを示す情報をデブロッキングフィルタ１２４に供給する。デブロッキングフィルタ１２４は、Etの値に応じて、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、および、slice_beta_offset_div2の値を調整する。
例えば、Etが所定の閾値Theより小さい場合、disable_deblocking_filter_idcが１に設定される。すなわち、ブロックノイズがほとんど生じない、画像の動きがほとんどない画像に対しては、デブロッキング処理が適用されなくなる。
また、例えば、Etが閾値The以上である場合、Etの値に応じて、slice_alpha_c0_offset_div2およびslice_beta_offset_div2の値が調整される。例えば、Etの値が小さくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が−６に近い値に設定され、Etの値が大きくなるほど、slice_alpha_c0_offset_div2およびslice_beta_offset_div2が＋６に近い値に設定される。すなわち、ブロックのノイズが生じにくい画像の動きが小さくかつ単純な画像に対しては、適用されるデブロッキング処理の強度が弱められ、ブロックノイズが生じやすい画像の動きが大きくかつ複雑な画像に対しては、適用されるデブロッキング処理の強度が強められる。
ステップＳ８３において、上述した図３のステップＳ２３の処理と同様に、デブロッキング処理が行われ、デブロッキング制御処理は終了する。
このように、Etに応じて、復号画像に対してデブロッキング処理が適切に施され、テクスチャが保持されたままブロックノイズが除去された参照画像が生成される。従って、参照画像を用いてインター予測符号化される画像の画質を向上させることができる。
また、Etを用いた場合、画像を符号化する前に、画像の複雑さを表す特徴量を求めることができる。
さらに、上述したEt、すなわち、予測誤差の総和以外に、例えば、直交変換係数の平均値など、当該画像に対する予測誤差の大きさを反映した値を用いるようにしてもよい。
以上のようにして、画像の特徴に応じて、デブロッキング処理を適切に施すことができ、その結果、画像の主観画質を向上させることができる。
なお、以上の説明では、Complexity、Activity、DCtotal、および、Etを、それぞれ単独で用いて、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、および、slice_beta_offset_div2の値を調整する例を示したが、複数の値を用いて画像の複雑さを判定し、その結果に基づいて、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、および、slice_beta_offset_div2の値を調整するようにしてもよい。
また、以上の説明では、H.264／AVC方式により符号化を行う例を示したが、本発明は、インループのデブロッキングフィルタを用いる符号化方式、例えば、MPEG-4（Moving Picture Coding Experts Group phase4）、VC-1（Video Codec 1）方式などにより符号化を行う場合にも適用できる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ３００の構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記録部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
入出力インタフェース３０５に接続されている記録部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部３０９を介してプログラムを取得し、記録部３０８に記憶してもよい。
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記録部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である
本発明を適用した画像処理装置の一実施の形態を示すブロック図である。 図１の画像処理装置により実行される符号化処理を説明するためのフローチャートである。 図１の画像処理装置により実行されるデブロッキング制御処理の第１の実施の形態を説明するためのフローチャートである。 図２の画像処理装置により実行されるデブロッキング制御処理の第２の実施の形態を説明するためのフローチャートである。 図３の画像処理装置により実行されるデブロッキング制御処理の第３の実施の形態を説明するためのフローチャートである。 図４の画像処理装置により実行されるデブロッキング制御処理の第４の実施の形態を説明するためのフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。
符号の説明
１０１ 画像処理装置， １１３ 特徴量算出部， １１４ 加算器， １１５ 直交変換部， １１９ レート制御部， １２０ 予測誤差加算部， １２４ デブロッキングフィルタ， １２６ イントラ予測部， １２７ 動き予測・補償部， １４１ アクティビティ算出部， １４２ 直交変換部

Claims (11)

  1. フレーム間予測を用いて符号化され、復号された第１の画像に対して、デブロッキング処理を施すデブロッキングフィルタと、
    前記第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化する符号化難易度算出手段と
    を含み、
    前記デブロッキングフィルタは、前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする
    画像処理装置。
  2. 前記第１の符号化難易度は、前記第１の画像を符号化した場合に発生する発生符号量と前記第１の画像に適用された量子化スケールの平均値とを用いて算出される
    請求項１に記載の画像処理装置。
  3. 前記第２の画像は、前記第１の画像が符号化される前の最も近い時間に符号化されたＩピクチャである
    請求項１に記載の画像処理装置。
  4. 前記第２の画像は、前記第１の画像のインター予測を行なう場合に参照されるＩピクチャである
    請求項１に記載の画像処理装置。
  5. 前記第１の閾値は、前記第１の画像のピクチャタイプによって決定される
    請求項１に記載の画像処理装置。
  6. 前記第１の画像および前記第２の画像は、H.264／AVC（Advanced Video Coding）方式により符号化または復号された画像であり、
    前記デブロッキングフィルタは、disable_deblocking_filter_idc、slice_alpha_c0_offset_div2、または、slice_beta_offset_div2の値を調整することにより、前記復号された第１の画像に対するデブロッキング処理の適用の有無、または、前記復号された第１の画像に適用するデブロッキング処理の強度を制御する
    請求項１に記載の画像処理装置。
  7. MPEG-4（Moving Picture Coding Experts Group phase4）、H.264／AVC（Advanced Video Coding）、または、VC-1（Video Codec 1）方式により画像を符号化または復号する
    請求項１に記載の画像処理装置。
  8. 前記第１の画像を複数のブロックに分割し、前記ブロックごとに直交変換を施す直交変換手段を
    さらに含み、
    前記デブロッキングフィルタは、直交変換により得られる変換係数の前記画像内の全ブロックの総和が所定の第２の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記変換係数の総和が大きくなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする
    請求項１に記載の画像処理装置。
  9. 画像処理装置が、
    フレーム間予測を用いて符号化され、復号された第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化し、
    前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする
    ステップを含む画像処理方法。
  10. フレーム間予測を用いて符号化され、復号された第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化し、
    前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする
    ステップを含む処理をコンピュータに実行させるためのプログラム。
  11. フレーム間予測を用いて符号化され、復号された第１の画像が符号化される前にフレーム内予測を用いて符号化された第２の画像の第２の符号化難易度を用いて、前記第１の画像の第１の符号化難易度を正規化し、
    前記正規化された第１の符号化難易度が所定の第１の閾値以上である場合、前記復号された第１の画像にデブロッキング処理を適用するとともに、前記正規化された第１の符号化難易度が高くなるほど、前記第１の画像に適用するデブロッキング処理の強度を強くする
    ステップを含む処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006193671A 2006-07-14 2006-07-14 画像処理装置および方法、プログラム、並びに、記録媒体 Expired - Fee Related JP4747975B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2006193671A JP4747975B2 (ja) 2006-07-14 2006-07-14 画像処理装置および方法、プログラム、並びに、記録媒体
TW96119587A TW200812395A (en) 2006-07-14 2007-05-31 Image processing device, method, and program
CN2007800267311A CN101491104B (zh) 2006-07-14 2007-07-13 图像处理装置和方法
US12/373,623 US8625924B2 (en) 2006-07-14 2007-07-13 Image deblocking based on complexity
PCT/JP2007/063948 WO2008007757A1 (en) 2006-07-14 2007-07-13 Image processing device, method, and program
RU2009101022/07A RU2479938C2 (ru) 2006-07-14 2007-07-13 Устройство обработки изображения, способ и программа
BRPI0714048-7A BRPI0714048A2 (pt) 2006-07-14 2007-07-13 aparelho e método de processamento de imagem, e, programa para fazer com que um computador efetue processamento
KR20097000640A KR101364919B1 (ko) 2006-07-14 2007-07-13 화상 처리 장치 및 방법과 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006193671A JP4747975B2 (ja) 2006-07-14 2006-07-14 画像処理装置および方法、プログラム、並びに、記録媒体

Publications (2)

Publication Number Publication Date
JP2008022404A JP2008022404A (ja) 2008-01-31
JP4747975B2 true JP4747975B2 (ja) 2011-08-17

Family

ID=38923313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006193671A Expired - Fee Related JP4747975B2 (ja) 2006-07-14 2006-07-14 画像処理装置および方法、プログラム、並びに、記録媒体

Country Status (8)

Country Link
US (1) US8625924B2 (ja)
JP (1) JP4747975B2 (ja)
KR (1) KR101364919B1 (ja)
CN (1) CN101491104B (ja)
BR (1) BRPI0714048A2 (ja)
RU (1) RU2479938C2 (ja)
TW (1) TW200812395A (ja)
WO (1) WO2008007757A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
JP2010128969A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd アダマール変換回路
JP2010128968A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd アダマール変換回路
JP5435452B2 (ja) 2009-01-20 2014-03-05 株式会社メガチップス 画像処理装置および画像変換装置
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN102473240B (zh) * 2009-08-03 2015-11-25 摩托罗拉移动有限责任公司 编码视频内容的方法
EP2584781A4 (en) * 2010-06-17 2016-03-09 Sharp Kk IMAGE FILTER DEVICE, DECODING APPARATUS, ENCODING APPARATUS, AND DATA STRUCTURE
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
WO2012117955A1 (ja) 2011-02-28 2012-09-07 株式会社メガチップス 画像符号化装置
KR20140014214A (ko) * 2011-03-02 2014-02-05 게임 체인저스, 엘엘씨 분산형 마이크로 추력기를 이용하는 비행 제어 장치
US8861593B2 (en) * 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
JP2013034162A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
US9357235B2 (en) 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
US9510020B2 (en) 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
JP6120490B2 (ja) 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2013109773A1 (en) * 2012-01-17 2013-07-25 Futurewei Technologies, Inc. In-loop filtering for lossless coding mode in high efficiency video coding
EP2680581A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Method and apparatus for dynamic adaptation of video encoder parameters
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
JP6392572B2 (ja) 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP6357385B2 (ja) 2014-08-25 2018-07-11 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
KR102503900B1 (ko) 2015-10-05 2023-02-27 삼성전자주식회사 양자화 파라미터를 적응적으로 결정하는 인코더 및 이를 포함하는 애플리케이션 프로세서
JP6767691B2 (ja) * 2016-10-18 2020-10-14 パナソニックＩｐマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置
EP3547685A4 (en) 2016-11-28 2020-08-05 Nippon Hoso Kyokai CODING DEVICE, DECODING DEVICE, CODING METHODS, AND DECODING METHODS
CN107135396B (zh) * 2017-06-16 2020-08-28 北京奇艺世纪科技有限公司 一种运动估计方法和装置
US11516515B2 (en) * 2018-09-19 2022-11-29 Nippon Telegraph And Telephone Corporation Image processing apparatus, image processing method and image processing program
CN109714600B (zh) * 2019-01-12 2020-05-26 贵州佰仕佳信息工程有限公司 兼容性大数据采集系统

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02235491A (ja) * 1989-03-09 1990-09-18 Toshiba Corp 画像符号化方式
US5229864A (en) * 1990-04-16 1993-07-20 Fuji Photo Film Co., Ltd. Device for regenerating a picture signal by decoding
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP3165296B2 (ja) 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JP3208039B2 (ja) * 1995-03-09 2001-09-10 ケイディーディーアイ株式会社 画像符号化データのレート変換装置
KR960039992A (ko) * 1995-04-29 1996-11-25 배순훈 블록화 현상 제거 장치 및 이를 이용한 동영상 복호화기
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
KR0181067B1 (ko) * 1995-10-31 1999-05-01 배순훈 호환성을 갖는 동영상 부호화기
US6041145A (en) 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
EP0772365A3 (en) 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
JP3392307B2 (ja) * 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
JPH1066082A (ja) * 1996-08-16 1998-03-06 Sony Corp 映像データ圧縮装置およびその方法
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
BR0317962A (pt) * 2003-01-10 2005-11-29 Thomson Licensing Sa Aparelho decodificador e método para suavizar artefatos criados durante ocultação de erro
US20060104357A1 (en) * 2003-01-20 2006-05-18 Dzevdet Burazerovic Video coding
JP4221655B2 (ja) * 2003-03-06 2009-02-12 ソニー株式会社 符号化装置および符号化方法、プログラム、並びに記録媒体
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
US7792194B2 (en) * 2003-04-10 2010-09-07 Lefan Zhong MPEG artifacts post-processed filtering architecture
RU2305377C2 (ru) * 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
US20050024651A1 (en) * 2003-07-29 2005-02-03 Zhenghua Yu Adaptive complexity scalable post-processing method
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images
JP2005203905A (ja) * 2004-01-13 2005-07-28 Sony Corp 画像符号化装置、画像符号化方法並びに画像符号化プログラム
EP1730695A2 (en) * 2004-03-09 2006-12-13 Thomson Research Funding Corporation Reduced resolution update mode for advanced video coding
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CN1286322C (zh) * 2004-08-06 2006-11-22 联合信源数字音视频技术（北京）有限公司 一种低复杂度整数4×4离散余弦变换量化实现方法
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
EP1869894A1 (en) * 2005-04-14 2007-12-26 Thomson Licensing Method and apparatus for slice adaptive motion vector coding for spatial scalable video encoding and decoding
US7801385B2 (en) * 2005-05-10 2010-09-21 Intel Corporation Perceptual filter support techniques
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CN101228794B (zh) * 2005-07-21 2011-05-11 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
WO2007047271A2 (en) * 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding

Also Published As

Publication number Publication date
US8625924B2 (en) 2014-01-07
TW200812395A (en) 2008-03-01
TWI335763B (ja) 2011-01-01
BRPI0714048A2 (pt) 2012-12-11
KR101364919B1 (ko) 2014-02-20
CN101491104B (zh) 2011-07-06
KR20090039713A (ko) 2009-04-22
RU2009101022A (ru) 2010-07-20
JP2008022404A (ja) 2008-01-31
RU2479938C2 (ru) 2013-04-20
CN101491104A (zh) 2009-07-22
WO2008007757A1 (en) 2008-01-17
US20090263032A1 (en) 2009-10-22

Similar Documents

Publication Publication Date Title
JP4747975B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US10750177B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
US9872024B2 (en) Adaptive filtering based upon boundary strength
CN107347157B (zh) 视频解码装置
EP2755388B1 (en) Method, device, and program for encoding and decoding image
US9077968B2 (en) Image processing apparatus and method, and program
JP2014526853A (ja) 映像復号化装置
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
WO2013145174A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置
JP4232733B2 (ja) ノイズ低減方法
JP4150730B2 (ja) 画像符号化装置、および画像符号化方法
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2008061122A (ja) 制御装置、制御方法、符号化装置、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees