JP4629084B2 - 境界フィルタリング強度の決定方法、これを用いた非ブロック化フィルタリング方法及び装置 - Google Patents

境界フィルタリング強度の決定方法、これを用いた非ブロック化フィルタリング方法及び装置 Download PDF

Info

Publication number
JP4629084B2
JP4629084B2 JP2007299343A JP2007299343A JP4629084B2 JP 4629084 B2 JP4629084 B2 JP 4629084B2 JP 2007299343 A JP2007299343 A JP 2007299343A JP 2007299343 A JP2007299343 A JP 2007299343A JP 4629084 B2 JP4629084 B2 JP 4629084B2
Authority
JP
Japan
Prior art keywords
blocks
filtering strength
determined
boundary
boundary filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007299343A
Other languages
English (en)
Other versions
JP2008154221A (ja
Inventor
光勳 朴
▲ミン▼祐 朴
▲徳▼榮 徐
奎憲 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UNIVERSITY-INDUSTRY CO OPERATION GROUP OF KYUNG HEE UNIVERSITY
Original Assignee
UNIVERSITY-INDUSTRY CO OPERATION GROUP OF KYUNG HEE UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UNIVERSITY-INDUSTRY CO OPERATION GROUP OF KYUNG HEE UNIVERSITY filed Critical UNIVERSITY-INDUSTRY CO OPERATION GROUP OF KYUNG HEE UNIVERSITY
Publication of JP2008154221A publication Critical patent/JP2008154221A/ja
Application granted granted Critical
Publication of JP4629084B2 publication Critical patent/JP4629084B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像符号化／復号化に関し、より具体的には、境界フィルタリング強度（Ｂｏｕｎｄａｒｙ Ｆｉｌｔｅｒｉｎｇ Ｓｔｒｅｎｇｔｈ）を決定するための方法と、これを用いた非ブロック化フィルタリング方法及び装置に関するものである。
多視点ビデオコーディング（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）とは、複数のカメラから獲得した各ビューの映像ら、即ち、多視点映像を処理することである。複数のカメラらは同じオブジェクト（Ｏｂｊｅｃｔ）に対して距離及び／又は対向方向において一定の規則によって互いに離隔されて配置される。その結果、多視点映像はこれを構成する各ビューの映像間に高い相関関係が存在する。各ビューの映像間の高い相関関係を適切に用いれば、ＭＶＣにおいて符号化効率を顕著に向上させることができる。
現在、標準化作業が活発に進行中であるＭＶＣにおいては、既存の動映像コーディングに関する国際標準であるＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、Ｈ．２６４／ＡＶＣという）を基盤としながら、上述した多視点映像の特性を考慮して符号化効率を向上させる方法を模索している。例えば、Ｈ．２６４／ＡＶＣに規定されているジョイントスケーラブルビデオコーディング（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＪＳＶＣ）において、時間的スケーラビリティ（Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ）を支援するために遂行される方法である階層的なＢ−映像（Ｈｉｅｒａｒｃｈｉｃａｌ Ｂ−ｐｉｃｔｕｒｅｓ）コーディング処理をビュー内（Ｉｎｔｒａ−ｖｉｅｗ）予測コーディングにも適用している。また、ＭＶＣにおいては上述した多視点映像の特性を考慮してビュー間（Ｉｎｔｅｒ−Ｖｉｅｗ）予測処理も並行して遂行することによって、符号化効率の向上を成し遂げようとする。
図１は、現在、標準化が進行中であるＭＶＣにおけるビュー内予測及びビュー間予測関係を表す予測構造の一例を示した図面である。図１は、８つのビューが存在する場合の例であり、時間方向の映像グループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の大きさが８である場合である。図１において、Ｓ０、Ｓ１、Ｓ２、Ｓ３、...、Ｓ７は、各々一つのビューを表し、Ｔ０、Ｔ１、Ｔ ２、Ｔ ３、...、Ｔ１００は時間方向を表す。
図１を参照すると、各ビュー内ではＨ．２６４／ＡＶＣに規定されている階層的なＢ−映像構造が使われて時間方向への予測符号化を遂行していることがわかる。また、各ビューの最初の時間（Ｔ０）の映像らと、その以後に、時間方向に８フレームずつ離れている映像、即ち、時間方向の映像グループ（ＧＯＰ）の大きさだけ離れている映像ら（Ｔ８、Ｔ１６、Ｔ２４、...における映像）は、隣接するビューからの予測（ビュー間予測、Ｉｎｔｅｒ−ｖｉｅｗ Ｐｒｅｄｉｃｔｉｏｎ）のみを遂行している。例えば、時間Ｔ０、Ｔ８、Ｔ１６、Ｔ２４、...において、Ｓ２ビューはＳ０ビューから、Ｓ１ビューはＳ０ビューとＳ２ビューから、Ｓ４ビューはＳ２ビューから、Ｓ３ビューはＳ２ビューとＳ４ビューから、Ｓ６ビューはＳ４ビューから、Ｓ５ビューはＳ４ビューとＳ６ビューから、Ｓ７ビューは最後のビューであるためＳ６ビューから、予測を遂行する。
また、２度目ビュー（即ち、Ｓ１、Ｓ３、Ｓ５、Ｓ７）毎では、その以外の時間（Ｔ１、Ｔ２、Ｔ３、...、Ｔ７、Ｔ９、Ｔ１０、...）でも時間方向のビュー内予測（Ｔｅｍｐｏｒａｌ Ｉｎｔｒａ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）と共にビュー間予測も遂行する。即ち、時間方向のビュー内予測外にも、Ｓ１ビューはＳ０ビューとＳ２ビューから、Ｓ３ビューはＳ２ビューとＳ４ビューから、Ｓ５ビューはＳ４ビューとＳ６ビューから、ビュー間予測を遂行する。
ところが、同じ被写体から反射される光は方向に応じて相異するため、ＭＶＣにおいて符号化効率を極大化させるためにはこれを考慮するのが望ましい。より具体的に、被写体に対する距離及び／又は方向はカメラに応じて差があることがあるため、たとえ同じ時間に撮影した映像としても各カメラを通じて獲得した映像には明るさ（又は輝度）及び／又は色差の差が発生する。また、現在標準化作業が進行中であるＭＶＣにおいては、動き予測と、このような各ビュー映像間に存在する輝度及び／又は色差の差を共に補償することによって符号化効率を極大化させようとする。
一方、このような輝度補償や色差補償は、ビュー方向への予測符号化にのみ限定されなく、時間方向への予測符号化にも同一に適用できる。また、現在標準化作業が進行中であるＭＶＣにおけるビュー方向（Ｖｉｅｗ Ｄｉｒｅｃｔｉｏｎ）及び／又は時間方向（Ｔｅｍｐｏｒａｌ Ｄｉｒｅｃｔｉｏｎ）予測符号化においては、現在フレーム（又は現在ブロック）と参照フレーム（又は参照ブロック）間に存在する明るさ及び／又は色差の差である輝度変更値（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｈａｎｇｅ Ｖａｌｕｅ）及び／又は色差変更値（Ｃｈｒｏｍｉｎａｎｃｅ Ｃｈａｎｇｅ Ｖａｌｕｅ）を求めた後、上記明るさ及び／又は色差の差を参照フレームの映像に反映した以後に予測を遂行する輝度補償（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）及び／又は色差補償（Ｃｈｒｏｍｉｎａｎｃｅ Ｃｏｍｐｅｎｓａｔｉｏｎ）手順が含まれている。
ところが、現在標準化が進行中であるＭＶＣにおいて考慮されている輝度及び／又は色差補償手順は任意の大きさを有するブロック単位、例えばマクロブロック単位又はこれよりより小さい大きさのブロック単位に遂行される。また、このようなブロック単位の輝度及び／又は色差補償手順は、いわゆるブロッキング現象（Ｂｌｏｃｋｉｎｇ Ａｒｔｉｆａｃｔｓ）を引き起こす可能性が相当高い。従って、輝度補償及び／又は色差補償手順を遂行することによって引起こされるブロッキング現象を、除去するか、又は減少させる方法が要請されるが、現在標準化作業が進行中であるＭＶＣにおいてはこれについて考慮していない。
特許庁、コンピュータグラフィックス（アニメーション）Ｅ−３符号化、２００１年３月５日、標準技術集、［２００７年１１月１５日検索］、インターネット ＜ＵＲＬ：http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/gurafic/0030.html＞
本発明が解決しようとする技術的課題は、輝度補償及び／又は色差補償によって引起こされるブロッキング現象を、除去するか、又は減少させることができる境界フィルタリング強度の決定方法と、これを用いた非ブロック化フィルタリング方法及び装置を提供することである。
本発明が解決しようとする他の技術的課題は、既存の非ブロック化フィルタリング手順の形式をそのまま維持するだけでなく、これと共に輝度補償などによるブロッキング現象も共に、效率的に除去するか、減少させることができる境界フィルタリング強度の決定方法と、これを用いた非ブロック化フィルタリング方法及び装置を提供することである。
上記の技術的課題を達成するための本発明の一実施形態による非ブロック化フィルタリングのための境界フィルタリング強度の決定方法は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、該段階で上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、該段階で上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、該段階で上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階とを含む。
上記実施形態の一側面によれば、上記境界フィルタリング強度の決定段階は、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値の大きさが相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する過程を含まれていてもよい。また、この場合、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックに対する輝度変更値の大きさが相異すると判定される場合には、上記二つのブロックに対する輝度変更値の差を用いるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたと判定される場合には、そのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定してもよい。
上記の技術的課題を達成するための本発明の他の実施形態による非ブロック化フィルタリングのための境界フィルタリング強度の決定方法は、隣接した二つのブロックに対する境界フィルタリング強度を決定する方法であって、上記二つのブロックの各々に対して輝度補償モードに符号化されたか否かを判定する段階、及び上記判定結果に基づいて非ブロック化フィルタリング強度を決定する段階を含み、上記判定段階は上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合にのみ遂行することを特徴とする。
上記の技術的課題を達成するための本発明の一実施形態による非ブロック化フィルタリング方法は、隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順と、上記決定された境界フィルタリング強度に従って、上記二つのブロックの画素値に対するフィルタリングを適用するための手順とを含み、ここで上記境界フィルタリング強度を決定するための手順は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが各々輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階とを含む。
上記の技術的課題を達成するための本発明の一実施形態による非ブロック化フィルタリング装置は、隣接した二つのブロックに対する境界フィルタリング強度を決定するための境界フィルタリング強度決定部と、上記境界フィルタリング強度決定部から出力される境界フィルタリング強度に従って、上記二つのブロックの画素値に対するフィルタリングを適用するためのフィルタリング適用部とを含み、上記境界フィルタリング強度決定部における決定手順は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが各々輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階とを含む。
上記の技術的課題を達成するための本発明の他の実施形態による非ブロック化フィルタリング方法は、隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順と、上記境界フィルタリング強度決定手順で決定された境界フィルタリング強度に基づいてフィルタリングを遂行するフィルタリング適用手順とを含み、上記境界フィルタリング強度の決定手順は、上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合、上記二つのブロックに対して輝度補償モードに符号化されたか否かを判定する段階と、上記判定段階において、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が同じであると判定されるか、又は上記二つのブロックのうち輝度補償符号化されたブロックが一つもないと判定される場合、上記フィルタリング適用手順で境界フィルタリングを遂行しない値に境界フィルタリング強度を決定する段階とを含む。
上記の技術的課題を達成するための本発明のもう一つの実施形態による非ブロック化フィルタリングのための境界フィルタリング強度の決定方法は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、該段階で上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、該段階で上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、該段階で上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する段階と、該段階で上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異すると判定されるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化された場合、上記二つのブロックの輝度変更値の差又は上記一つのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定する段階とを含む。
上記実施形態の一側面によれば、上記輝度変更値の大きさ又は上記輝度変更値が所定大きさの臨界値以上である場合には第１の大きさの境界フィルタリング強度に決定し、上記臨界値より小さい場合には上記第１の大きさの場合より弱い強度にフィルタリングを遂行する第２の大きさの境界フィルタリング強度に決定してもよい。この場合、上記臨界値は５であり、上記第１の大きさは、上記二つのブロックのうち少なくとも一つがイントラ符号化され、かつ上記二つのブロック境界がマクロブロック境界と一致しない場合の境界フィルタリング強度と同一であり、上記第２の大きさは、上記二つのブロックが共にイントラモードに符号化されなく、かつ０ではない変換係数を有しないブロックであり、また上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償で参照するフレームが相異する場合の境界フィルタリング強度と同一であってもよい。
上記の課題解決手段によると、輝度補償及び／又は色差補償によって引起こされるブロッキング現象を除去するか、又は減少させることができる。特に、既存の非ブロック化フィルタリング手順の形式をそのまま維持するだけでなく、他の原因と共に輝度補償などによるブロッキング現象も共に、效率的に除去することによって画質を改善することができる。
以下、添付図面を参照して本発明の望ましい実施形態に対して詳細に説明する。後述する実施形態は本発明の技術的思想を説明するための目的であるため、本発明の技術的思想はこの実施形態によって限定されることと解釈されてはならない。本実施形態に対する説明及び図面において、それぞれの構成要素に付加された参照符号は、説明の便宜のために記載されたものである。
上述したように、ブロック単位に映像を符号化する場合にはブロッキング現象が現れるが、このようなブロッキング現象を除去するか、又は減少させる方法のうち一つとしてＨ．２６４／ＡＶＣ標準に規定されている非ブロック化フィルタリング手順（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒｉｎｇ Ｐｒｏｃｅｓｓ）がある。上記非ブロック化フィルタリング手順によれば、先ずフィルタリングの程度を分類するための境界フィルタリング強度（ｂＳ）決定手順を遂行し、ここで決定された境界フィルタリング強度に基づいて両ブロックの画素値をフィルタリングするフィルタリング適用手順を連続的に遂行する。ところが、この非ブロック化フィルタリング手順は、輝度補償及び／又は色差補償が考慮されない単一時点ビデオコーディング（Ｓｉｎｇｌｅ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に関することであるため、輝度補償及び／又は色差補償を遂行するＭＶＣなどの場合にもこれをそのまま適用するのは難しいという短所がある。
ところが、現在標準化が進行中であるＭＶＣにおいてはＨ．２６４／ＡＶＣ標準に規定されている既存の非ブロック化フィルタリング手順をそのまま適用することが考慮されている。図２は、ＭＶＣへの適用が考慮されている非ブロック化フィルタリング手順で境界フィルタリング強度（ｂＳ）を決定する手順を表すフローチャートである。以下、図２を参照してこれに対し簡略に説明する。
図２を参照すると、境界フィルタリング強度（ｂＳ）を決定するために先ず互いに隣接するブロックｐとｑのうち少なくとも一つのブロックがイントラ符号化されたか否かを判断する（Ｓ１０１）。ここでブロックｐ又はｑがイントラ符号化又はインタ符号化されたというのは、ブロックｐ又はｑがイントラ符号化されたマクロブロックであるか、又はこれに属するということを意味することができる。
また、ブロックｐとｑの相関関係は図３に示している。図３を参照すると、ブロックｐはブロック境界に対して左側又は上側に位置するブロックを表し、ブロックｑはブロック境界に対して右側又は下側に位置するブロックを表す。上記段階Ｓ１０１での判断結果、ブロックｐとｑのうちイントラ符号化されたブロックが一つ以上存在する場合には段階Ｓ１０２に進行し、反対に、ブロックｐとｑが共にインタ符号化された場合には段階Ｓ１０３に進行する。ここで、インタ符号化とは、現在フレームと時間が相異するか及び／又はビューが相異する再構成フレームの映像を参照フレームとして用いる予測符号化のことである。
段階Ｓ１０２、即ち段階Ｓ１０１でブロックｐとｑのうちイントラ符号化されたブロックが少なくとも一つ存在すると判断された場合には、ブロックｐとｑの境界がマクロブロック（Ｍａｃｒｏｂｌｏｃｋ、ＭＢ）の境界と一致するかを判断する（Ｓ１０２）。判断結果、ブロックｐとｑの境界がＭＢの境界と一致する場合には境界フィルタリング強度（ｂＳ）を４に決定する（Ｓ１０５）。反面、ブロックｐとｑの境界がＭＢの境界ではない場合には境界フィルタリング強度（ｂＳ）を３に決定する（Ｓ１０６）。境界フィルタリング強度（ｂＳ）が４である場合には後続するフィルタリング適用手順で最も強いフィルタリングが適用され、その値が小さいほどフィルタリングの強度は弱くなる。
段階Ｓ１０３、即ち段階Ｓ１０１でブロックｐとｑが共にインタ符号化されたブロックであると判断された場合には、ブロックｐとｑのうち少なくとも一つが直交変換係数を有するか否かを判断する（Ｓ１０３）。直交変換係数は、コーディングされた係数（Ｃｏｄｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）又は０ではない変換係数（Ｎｏｎ−ｚｅｒｏ Ｔｒａｎｓｆｏｒｍｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）ともいう。判断結果、直交変換係数を有するブロックが一つ以上存在する場合には境界フィルタリング強度（ｂＳ）を２に決定する（Ｓ１０７）。反面、直交変換係数を有するブロックが一つもない場合には段階Ｓ１０４に進行する。
段階Ｓ１０４ではブロックｐとｑに対して動きベクトルの一成分、即ちｘ軸成分又はｙ軸成分の差の絶対値が１と同じであるか、より大きいか、及び／又は動き補償における参照フレームが相異するかを判断する（Ｓ１０４）。ここで、'参照フレームが相異する'とは、参照フレーム自体が相異するということと参照フレームの個数が相異するということを全て含む。判断結果、動きベクトルの差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償における参照フレームが相異する場合には境界フィルタリング強度（ｂＳ）を１に決定する（Ｓ１０８）。反面、動きベクトルの差の絶対値が共に１より小さく、動き補償における参照フレームが同じである場合には、境界フィルタリング強度（ｂＳ）を０に決定する（Ｓ１０９）。境界フィルタリング強度（ｂＳ）が０とは、後続するフィルタリング適用手順でフィルタリングを遂行しないとのことである。
以上、説明した通り、ＭＶＣにおいて、現在適用することを考慮している非ブロック化フィルタリング手順における境界フィルタリング強度を決定する方法では、該当ブロックが輝度補償モード、又は色差補償モードに符号化されたかは全く考慮していない。反面、図１を参照して説明した通り、ＭＶＣにおけるビュー方向及び／又は時間方向予測符号化時には符号化効率を向上させるために輝度補償及び／又は色差補償を遂行する。このように、ビュー方向又は時間方向予測符号化時には輝度補償及び／又は色差補償を遂行する反面、非ブロック化フィルタリング手順でこれを全く考慮しないならば、上記非ブロック化フィルタリング手順を通じてブロッキング現象を完全に除去するか、又は效果的に減少させることができないという問題が発生する。
従って、後述する本発明の実施形態では、輝度補償モード及び／又は色差補償モードなどを用いて符号化するＭＶＣなどのような映像符号化／復号化手順において、輝度補償や色差補償などのようなブロック単位の符号化によって派生することができるブロッキング現象を一時に除去するか、又は減少させることができる方法及び装置を提案する。以下では、輝度値に対する非ブロック化フィルタリングに対して主に説明するが、本発明が輝度値に対する非ブロック化フィルタリングに対してのみ限定されることではないというのは当業者に自明である。
第１の実施形態
図４は、本発明の第１の実施形態による非ブロック化フィルタリング手順における境界フィルタリング強度を決定する方法の一例を示すフローチャートである。
図４を参照すると、先ず互いに隣接したブロックｐとブロックｑが共に輝度補償モード（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｍｏｄｅ、ＩＣモード）に符号化されながら両ブロックの輝度変更値（Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｈａｎｇｅ Ｖａｌｕｅ）が相異するか、又はブロックｐとブロックｑのうちいずれか一つのみ輝度補償モードに符号化されたか否かを判断する（Ｓ２０１）。ここで、輝度補償モードとは、ブロックｐとｑ自体又はこれを含むブロック（例えば、マクロブロック）に対するビュー方向又は時間方向予測符号化のために輝度補償が用いられた場合のことである。
判断結果、これに該当する場合、即ちブロックｐとｑが共に輝度補償モードに符号化されて両ブロックの輝度変更値が互いに相異するか、又はブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化された場合には、境界フィルタリング強度（ｂＳ）を０ではない任意の値（Ｋ１）に決定する（Ｓ２０２）。上記Ｋ１は、例えば、Ｈ．２６４／ＡＶＣ標準でのように１乃至４のうちいずれか一つの値であってもよい。反面、Ｓ２０１での判断結果、これに該当しない場合、例えば、ブロックｐとｑのうち輝度補償モードに符号化されたブロックがないか、又はブロックｐとｑが共に輝度補償モードに符号化されたとしても両ブロックの輝度変更値が同じである場合には、境界フィルタリング強度（ｂＳ）を０に決定する（Ｓ２０３）。ここで、境界フィルタリング強度（ｂＳ）が０とは、フィルタリング適用段階においてフィルタリングを遂行しないとのことである。
境界フィルタリング強度（ｂＳ）を示す上記Ｋ１は、いずれか一つの固定された値、例えば１乃至４のうちいずれか一つの値であってよい。又は、ブロックｐとｑが共に輝度補償モードである場合には、両ブロックの輝度変更値の差（即ち、両ブロックの輝度変更値の差分値の絶対値）又はブロックｐとｑのうちいずれか一つのみ輝度補償モードである場合には、そのブロックの輝度変更値の大きさ（絶対値）に応じて、上記Ｋ１値を２つ以上に可変的に決定してもよい。例えば、上記輝度変更値の差又は大きさが任意の臨界値、例えば５以上である場合には上記Ｋ１は３となり、上記差又は大きさが上記臨界値より小さい場合には、上記Ｋ１は１となるようにしてもよい。後述するように、臨界値を５とし、これを基準にＫ１を１又は３とした場合、ＭＶＣテスト映像を用いた実際シミュレーション結果で実質的な画質の改善が観察された。
図５は、本発明の第１の実施形態による非ブロック化フィルタリング手順で境界フィルタリング強度を決定する他の例を表すフローチャートである。以下で説明する例は、図４を参照して説明した例と比較する場合、境界フィルタリング強度を決定するための具体的な判断手順において多少差がある。
図５を参照すると、先ずブロックｐとｑのうち少なくとも一つが輝度補償モードであるか否かを判断する（Ｓ２１１）。判断結果、上記ブロックｐとｑのうち輝度補償モードであるブロックが一つもない場合には、境界フィルタリング強度（ｂＳ）を０に決定する（Ｓ２１４）。反面、輝度補償モードであるブロックが一つ以上存在する場合には、段階Ｓ２１２に進行する。段階Ｓ２１２では、ブロックｐとｑが共に輝度補償モードであり、また各ブロックの輝度変更値が互いに同じであるか否かを判断する（Ｓ２１２）。判断結果、これに該当しない場合には境界フィルタリング強度（ｂＳ）を０ではない任意の値（Ｋ１）に決定するが、これに該当する場合には境界フィルタリング強度（ｂＳ）を０に決定する。ここで、Ｋ１は一つの固定された値であるか、又は輝度変更値の差異や大きさに応じて変わってもよい。
第２の実施形態
上述した本発明の第１の実施形態による境界フィルタリング強度の決定手順と、これを用いる非ブロック化フィルタリング方法は、単に輝度補償によってもたらされるブロッキング現象のみを除去するか、又は減少させることができる。ところが、既存にも別個の非ブロック化フィルタリング手順が存在したという点を考慮すれば、映像の符号化／復号化手順で、上述した本発明の第１の実施形態と既存の非ブロック化フィルタリング手順をどのように結合するのかが問題になる。なぜならば、これによって符号化効率及び／又は映像の画質特性に相当な影響を及ぼすことができるためである。
上述した本発明の第１の実施形態と既存の非ブロック化フィルタリング手順の関係を結合する一つの方法として、既存の非ブロック化フィルタリング手順（例えば、Ｈ．２６４／ＡＶＣの非ブロック化フィルタリング手順）と、上記第１の実施形態による非ブロック化フィルタリング手順を並行して遂行することを考慮することができる。この場合、上記第１の実施形態による非ブロック化フィルタリング手順は既存の非ブロック化フィルタリング手順に対する前処理又は後処理として行われる。しなしながら、このような方法は符号化過程や復号化過程で非ブロック化フィルタリング手順を２回遂行しなければならないため、効率が多少落ちるだけでなく、２回の非ブロック化フィルタリングによってフィルタリング効果が相殺されてしまうおそれがある。
従って、このような問題点を解決するためには、既存の非ブロック化フィルタリング手順内で輝度補償如何を共に考慮する統合された非ブロック化フィルタリング手順を遂行するのが望ましい。例えば、既存の非ブロック化フィルタリング手順、より具体的には、境界フィルタリング強度を決定する時考慮する既存の判定事項と共に輝度補償モードに符号化されたかを共に考慮した後、フィルタリング適用手順はただ１回のみ遂行することによって、全体的に効率的な符号化を遂行することが可能である。
しかしながら、このような場合にも、既存の境界フィルタリング強度決定方法内で輝度補償符号化如何をいつ及び／又はいかなる方式に考慮するかの事項も効率的な符号化に影響を及ぼす事項である。既存の境界フィルタリング強度を決定するアルゴリズムと上述した第１の実施形態に含まれた判定事項を最適の方式に結合させることによって、非ブロック化フィルタリング効果を極大化させる必要がある。後述するように、本発明の第２の実施形態では既存の境界フィルタリング強度の決定アルゴリズムの最も最後の段階、即ちＨ．２６４／ＡＶＣ標準による境界フィルタリング強度の決定手順で境界フィルタリング強度（ｂＳ）が０となる場合にのみ、上述した第１の実施形態に含まれている判定事項である輝度補償符号化如何を別途に考慮する。併せて、本発明の第２の実施形態では、両ブロックの輝度変更値の差異又はいずれか一つのブロックの輝度変更値の大きさに基づいて境界フィルタリング強度を適切に決定することによって、より効率的に画質の改善を成し遂げようとする。
このように、本実施形態において、既存の境界フィルタリング強度の決定手順で特定の条件（Ｈ．２６４／ＡＶＣで境界フィルタリング強度が０になる条件）を満たす場合にのみ上述した第１の実施形態の適用を考慮する理由は、ブロッキング現象を除去又は減少させることと符号化効率を全部考慮する時、このような方法が最も効率的であるというのが実際シミュレーションデータによって確認されたためである。
本発明者がシミュレーションを通じて実際に獲得した実験データによる場合、ＭＶＣにおいて既存の非ブロック化フィルタリング手順をそのまま適用する場合には、境界フィルタリング強度が０になるブロックでブロッキング現象がめだつように現れると判明された。表１は、ＱＶＧＡ（Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）解像度を有するＭＶＣのテスト映像シークエンスのうち一つの映像シークエンスボールルーム（Ｂａｌｌｒｏｏｍ）を符号化する場合、上記映像シークエンスボールルームの１９１番目の映像を構成するブロックらのうち輝度補償されたブロックらの周辺境界で使われた境界フィルタリング強度の頻度を量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）によって表したものである。上記境界フィルタリング強度は、図２を参照して上記説明した境界フィルタリング強度の決定方法を用いて求めた。表１を参照すると、量子化パラメータの大きさに応じて、頻度が多少差はあるが、いずれの場合であっても境界フィルタリング強度が０又は１を有する場合が８０％以上になるということを分かる。また、輝度補償が適用されたブロックらのうち約４５乃至５０％程度が非ブロック化フィルタリングが適用されない値である境界フィルタリング強度が０ということがわかる。
Figure 0004629084
表１によれば、輝度補償が適用されたブロックらのうち約５０％程度がフィルタリングが適用されないが、このような場合にはブロッキング現象によって主観的な画質の低下が現れざるを得ない。また、本発明者がシミュレーションを通じて獲得した表１のテスト映像でも実際にこの部分でブロッキング現象が発見された。また、上記実験結果によれば、境界フィルタリング強度（ｂＳ）が１である場合にはブロッキング現象がほとんど現れないということを確認することができた。
このような結果は、他のテスト映像を用いたシミュレーションデータを通じても同一に確認することができた。例えば、上記映像シークエンスボールルームの１２番目映像でも同じ結果が現れ、またＱＶＧＡ解像度を有する映像シークエンスエグジット（Ｅｘｉｔ）の３番目ビューの１２番目映像でも境界フィルタリング強度が０になるブロックの周囲でブロッキング現象がめだつように現れるということを実験を通じて確認することができた。
従って、本発明によれば、互いに隣接する２ブロックが共にインタモードである場合にのみ上記ブロックの符号化時に輝度補償を遂行したか否かを考慮することによって境界フィルタリング強度を決定する。特に、本発明の望ましい一側面によれば、互いに隣接する２ブロックが共にインタ符号化された場合として既存の方法（Ｈ．２６４／ＡＶＣ標準）による場合、境界フィルタリング強度が０になる場合、即ち、２ブロックが共に直交変換係数を有せず、また上記２ブロックの動きベクトルの一成分、即ちｘ軸成分又はｙ軸成分の差の絶対値（以下、単純に'動きベクトルの差'という）が全部１より小さく、かつ動き補償手順で２ブロックが参照する映像（フレーム）が同じである場合にのみ、上記２ブロックが輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する。このような本発明の実施形態によれば、上記２ブロックのうち少なくとも一つがイントラモードである場合であるか、又は全てインタモードである場合であるとしても少なくとも一つのブロックが直交変換係数を有するか、又は直交変換係数を有するブロックが一つもないとしても２ブロックの動きベクトルの差が１以上になるか、又は動き補償手順で２ブロックが参照するフレームが相異する場合には、境界フィルタリング強度を決定するにあたって上記２ブロックが輝度補償モードに符号化されたか否かを判定しない。
以下では、上述した本発明の第２の実施形態による非ブロック化フィルタリング方法における境界フィルタリング強度の決定手順に関して、添付図面を参照して詳細に説明する。本実施形態は、全部Ｈ．２６４／ＡＶＣ標準に規定された非ブロック化フィルタリング手順に基づいたことであって、本実施形態によって決定された境界フィルタリング強度に基づいてフィルタリングを適用する具体的な方法も上記標準に規定された方法と同じ方法が適用されることができるが、本発明がこれに限定されるのではない。本明細書ではフィルタリングを適用する具体的な方法に対する詳細な説明は省略する。
図６ａ及び図６ｂは、本発明の第２の実施形態による非ブロック化フィルタリング手順で境界フィルタリング強度を決定する方法の一例を示すフローチャートである。
先ず図６ａを参照すると、先ずブロックｐとｑのうち少なくとも一つのブロックがイントラ符号化されたブロックであるか否かを判断する（Ｓ３０１）。ここでブロックｐ又はブロックｑがイントラ符号化されたか否かは、ブロックｐ又はブロックｑを含むマクロブロックがイントラ符号化されたか否かに応じて判断することができる。判断結果、イントラ符号化されたブロックが少なくとも一つ存在する場合には、段階Ｓ３０２に進行し、そうでない場合には、段階Ｓ３０３に進行する。段階Ｓ３０２では、ブロックｐとｑの境界がマクロブロックの境界と一致するかを判断する（Ｓ３０２）。判断結果、ブロックｐとｑの境界がマクロブロックの境界と一致すれば境界フィルタリング強度（ｂＳ）を４に決定し（Ｓ３０７）、そうでない場合には境界フィルタリング強度（ｂＳ）を３に決定する（Ｓ３０８）。また、段階Ｓ３０３ではブロックｐとｑのうち少なくとも一つのブロックが直交変換係数を有するか否かを判断する（Ｓ３０３）。判断結果、直交変換係数を有するブロックが少なくとも一つ存在する場合には境界フィルタリング強度（ｂＳ）を２に決定するが（Ｓ３０９）、そうでない場合には段階Ｓ３０４に進行する。段階Ｓ３０４ではブロックｐとｑの動きベクトルの差が１以上になるか、又は動き補償でブロックｐとｑが参照するフレームが相異するか否かを判断し（Ｓ３０４）、判断結果、これに該当する場合には境界フィルタリング強度（ｂＳ）を１に決定する（Ｓ３１０）。また、上記段階Ｓ３０４での判断結果、ブロックｐとｑの動きベクトルの差が１より小さく、動き補償におけるブロックｐとｑが参照するフレームが同じである場合には、従来とは違いブロック境界（ｂＳ）を無条件０に決定せず、図６ｂに手順が進行される。
次いで、図６ｂを参照すると、ブロックｐとｑのうち少なくとも一つのブロックが輝度補償モードに符号化されたブロックであるか否かを判断する（Ｓ３０５）。判断結果、輝度補償モードに符号化されたブロックが一つもない場合には境界フィルタリング強度（ｂＳ）を０に決定して手順を終了する（Ｓ３１２）。しなしながら、輝度補償を遂行したブロックが一つでも存在する場合には段階Ｓ３０６に進行する。
段階Ｓ３０６ではブロックｐとｑが共に輝度補償モードに符号化されたブロックであり、かつ各ブロックの輝度変更値が互いに同じであるか否かを判断する（Ｓ３０６）。判断結果、これに該当する場合には境界フィルタリング強度（ｂＳ）を０に決定して手順を終了する（Ｓ３１２）。反面、判断結果、これに該当しない場合、例えば、ブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化されるか、又はブロックｐとｑが共に輝度補償モードに符号化された場合であるとしても両ブロックの輝度変更値が相異する場合には境界フィルタリング強度（ｂＳ）を０ではない任意の値（Ｋ１）に決定する（Ｓ３１１）。
このように、本発明の第２の実施形態によれば、Ｈ．２６４／ＡＶＣ標準ではブロックｐとブロックｑに対する境界フィルタリング強度（ｂＳ）が０に決定されなければならない条件であるとしても、上記ブロックｐとｑが各々互いに相違する大きさの輝度変更値に全部輝度補償モードに符号化されたブロックであるか、又は上記ブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化されたブロックであるか否かを判断した後、境界フィルタリング強度を決定する。また、万一これに該当する場合には上記境界フィルタリング強度（ｂＳ）は０ではない所定大きさ（Ｋ１）の値に決定され、これに相応する勢いでフィルタリングを遂行する。しかしながら、これに該当しない場合には従来と同様に 境界フィルタリング強度を０に決定し、フィルタリングを遂行しない。
本実施形態の一側面によれば、上記Ｋ１は固定された一つの値であってもよく、この場合には後続するフィルタリング適用手順で常に同じ勢いでフィルタリングが遂行される。本実施形態の他の側面によれば、上記Ｋ１は特定条件に応じて値が変わり、フィルタリングの勢いが可変的であってもよい。例えば、ブロックｐとｑが共に輝度補償モードである場合には両ブロックの輝度変更値の差又はブロックｐとｑのうちいずれか一つのみ輝度補償モードである場合にはそのブロックの輝度変更値の大きさ（絶対値）を考慮し、境界フィルタリング強度を適応的に決定することができる。この場合、上記輝度変更値の差又は大きさが大きい場合にはフィルタリングを強く遂行し、小さい場合にはフィルタリングを弱く遂行してもよい。第１の実施形態で説明した通り、上記輝度変更値の差又は大きさが任意の臨界値、例えば５以上である場合には、上記Ｋ１が３になるようにして強いフィルタリングを遂行し、上記差又は大きさが５より小さい場合には上記Ｋ１は１になるようにして弱いフィルタリングを遂行することができる。
図７ａ及び図７ｂは、本発明の第２の実施形態による非ブロック化フィルタリング方法において境界フィルタリング強度を決定する手順の他の例を表すフローチャートである。
図７ａ及び図７ｂに示しているフローチャートにおいて、段階Ｓ３２１乃至Ｓ３２４での手順とＳ３２７乃至Ｓ３３０での手順とは、各々図６ａ及び図６ｂに示しているフローチャートの段階Ｓ３０１乃至Ｓ３０４での手順とＳ３０７乃至Ｓ３１０での手順とが同一であるため、以下ではその以外の手順についてのみ説明する。
図７ｂを参照すると、段階Ｓ３２４以後に段階Ｓ３２５に進行した場合、即ちブロックｐとｑが共にインタモードとして０ではない変換係数を有せず、またブロックｐとｑの動きベクトルのｘ軸成分（水平成分）の差の絶対値とｙ軸成分（垂直成分）の差の絶対値とが共に１より小さく、動き補償で参照するフレームが同じである場合、ブロックｐとｑが共に輝度補償モードに符号化され、また、この場合に各ブロックの輝度変更値が互いに相異するか、又はブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判断する（Ｓ３２５）。判断結果、これに該当しない場合には境界フィルタリング強度（ｂＳ）を０に決定し（Ｓ３３３）、これに該当する場合には段階Ｓ３２６に進行する。
また、段階Ｓ３２６では、万一、ブロックｐとｑのうち一つブロックのみ輝度補償を遂行した場合には、そのブロックの輝度変更値の大きさが任意の臨界値（Ｔ１）以上であるか、又はブロックｐとｑが共に輝度補償を遂行した場合には、両ブロックの輝度変更値の差が任意の臨界値（Ｔ１）以上であるか否か、を判断する（Ｓ３２６）。判断結果、上記輝度変更値の大きさ又は差が上記臨界値（Ｔ１）以上である場合には境界フィルタリング強度（ｂＳ）をＫ２に決定し（Ｓ３３１）、上記臨界値（Ｔ１）より小さい場合には境界フィルタリング強度（ｂＳ）をＫ２より小さいＫ１に決定する（Ｓ３３２）。この場合に上記臨界値（Ｔ１）は５であり、また、Ｋ１は１、Ｋ２は３であってもよいが、本実施形態がこれに限定されるのではない。
図８は、本発明の一実施形態による非ブロック化フィルタリング装置の概略的な構成を示すブロック図である。上記非ブロック化フィルタリング装置（１０）は、例えば、ＭＶＣのための符号器又は復号器に含まれる構成要素の一つであってよい。上記非ブロック化フィルタリング装置（１０）には、上記符号器又は復号器の逆量子化及び逆変換手段で出力された画素レジデュデータと予測画素データが合算されたデータが入力されてもよい。また、上記符号器又は復号器は、ビュー方向及び／又は時間方向予測符号化又は復号化時に輝度補償及び／又は色差補償を遂行するための手段を備えた装置である。
図８を参照すると、非ブロック化フィルタリング装置（１０）は、境界フィルタリング強度決定部（１２）とフィルタリング遂行部（１４）とを含む。境界フィルタリング強度決定部（１２）は、図４乃至図７を参照して説明した本発明の実施形態に従って、ブロックｐとブロックｑに対する境界フィルタリング強度（ｂＳ）を決定するための手段である。境界フィルタリング強度決定部（１２）には、境界フィルタリング強度を決定するにあたって必要な情報、例えば、Ｈ．２６４／ＡＶＣ標準に規定された情報（例えば、ブロックｐとｑがイントラ符号化されたか、又はインタ符号化されかに関する情報、直交変換係数を有しているかに関する情報、参照フレームに関する情報、動きベクトル値等）外にブロックｐとブロックｑに対して輝度補償を遂行したか否かを表す情報、及び／又は、輝度補償を遂行した場合には該当ブロックの輝度変更値などが共に入力され、決定された境界フィルタリング強度（ｂＳ）が出力される。境界フィルタリング強度決定部（１２）で境界フィルタリング強度を決定する具体的な方法は上記詳細に説明したため、ここでこれに対する説明は省略する。
フィルタリング遂行部（１４）は、境界フィルタリング強度決定部（１２）から入力される境界フィルタリング強度（ｂＳ）に基づいて、ブロックｐとブロックｑに対する非ブロック化フィルタリングを遂行する。フィルタリング遂行部（１４）でフィルタリングを遂行する具体的な方法は特別な制限がなく、例えばＨ．２６４／ＡＶＣ標準に規定された方法が同一に用いられてもよい。上述したように、フィルタリング遂行部（１４）には逆量子化及び逆変換されたブロックｐとｑのピクセル値が入力される。
以上、本発明の望ましい実施形態を添付図面を参照して詳細に説明した。しかしながら、本発明の技術的思想はこのような実施形態の記載によって限定されると解釈されてはならない。
多視点ビデオコーディングにおける予測構造の一例を示すブロック図である。 現在多視点ビデオコーディングにおいて適用が考慮されている境界フィルタリング手順を表すフローチャートである。 非ブロック化フィルタリングに用いられるブロックｐとブロックｑの関係を表す図面である。 本発明の第１の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの一例である。 本発明の第１の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの他の例である。 及び 本発明の第２の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの一例である。 及び 本発明の第２の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの他の例である。 本発明の一実施形態による非ブロック化フィルタリング装置の構成を示すブロック図である。
符号の説明
ｂＳ 境界フィルタリング強度
ｐ、ｑ ブロック


Claims (6)

  1. 隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階：
    上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階：
    上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）のｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階：及び
    上記動きベクトルの差の絶対値が１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階を含む非ブロック化フィルタリングのための境界フィルタリング強度の決定方法において、
    上記境界フィルタリング強度の決定段階は、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値の大きさが相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する過程を含むことを特徴とする非ブロック化フィルタリングのための境界フィルタリング強度の決定方法。
  2. 請求項１において、
    上記二つのブロックが共に輝度補償モードに符号化され、各ブロックに対する輝度変更値の大きさが相異すると判定される場合には、上記二つのブロックに対する輝度変更値の差を用いるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたと判定される場合には、そのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定することを特徴とする非ブロック化フィルタリングのための境界フィルタリング強度の決定方法。
  3. 隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順：及び上記境界フィルタリング強度決定手順で決定された境界フィルタリング強度に基づいてフ
    ィルタリングを遂行するフィルタリング適用手順を含み、
    上記境界フィルタリング強度の決定手順は、
    上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合、上記二つのブロックに対して輝度補償モードに符号化されたか否かを判定する段階：及び
    上記判定段階において、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が同じであると判定されるか、又は上記二つのブロックのうち輝度補償符号化されたブロックが一つもないと判定される場合、上記フィルタリング適用手順で境界フィルタリングを遂行しない値に境界フィルタリング強度を決定する段階を含む非ブロック化フィルタリング方法。
  4. 隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階：
    上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階：
    上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階：
    上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する段階：及び
    上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異すると判定されるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化された場合、上記二つのブロックの輝度変更値の差又は上記一つのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定する段階を含むことを特徴とする境界フィルタリング強度の決定方法。
  5. 請求項４において、
    上記輝度変更値の大きさ又は上記輝度変更値が所定大きさの臨界値以上である場合には第１の大きさの境界フィルタリング強度に決定し、上記臨界値より小さい場合には上記第１の大きさの場合より弱い強度にフィルタリングを遂行する第２の大きさの境界フィルタリング強度に決定することを特徴とする境界フィルタリング強度の決定方法。
  6. 請求項５において、
    上記臨界値は５であり、
    上記第１の大きさは、上記二つのブロックのうち少なくとも一つがイントラ符号化され、かつ上記二つのブロック境界がマクロブロック境界と一致しない場合の境界フィルタリング強度と同一であり、
    上記第２の大きさは、上記二つのブロックが共にイントラモードに符号化されなく、かつ０ではない変換係数を有しないブロックであり、また上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうちいずれか一つが１以上であるか、又は動き補償で参照するフレームが相異する場合の境界フィルタリング強度と同じであることを特徴とする境界フィルタリング強度の決定方法。
JP2007299343A 2006-12-15 2007-11-19 境界フィルタリング強度の決定方法、これを用いた非ブロック化フィルタリング方法及び装置 Expired - Fee Related JP4629084B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20060128877 2006-12-15
KR20060138693 2006-12-29
KR20070042897 2007-05-03

Publications (2)

Publication Number Publication Date
JP2008154221A JP2008154221A (ja) 2008-07-03
JP4629084B2 true JP4629084B2 (ja) 2011-02-09

Family

ID=39270468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007299343A Expired - Fee Related JP4629084B2 (ja) 2006-12-15 2007-11-19 境界フィルタリング強度の決定方法、これを用いた非ブロック化フィルタリング方法及び装置

Country Status (7)

Country Link
US (2) US8553771B2 (ja)
EP (1) EP1933566A3 (ja)
JP (1) JP4629084B2 (ja)
KR (2) KR100922275B1 (ja)
CN (2) CN101207817B (ja)
TW (1) TWI352544B (ja)
WO (1) WO2008072847A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370287B1 (ko) 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP5467637B2 (ja) * 2007-01-04 2014-04-09 トムソン ライセンシング マルチビュー・コード化ビデオにおける照度補償および／または色補償についてのコーディング・アーチファクトを低減する方法および装置
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
KR101051871B1 (ko) * 2009-08-24 2011-07-25 성균관대학교산학협력단 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법
JPWO2011074357A1 (ja) 2009-12-18 2013-04-25 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
CA3007527C (en) 2010-04-13 2020-06-23 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
KR20120003147A (ko) 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
CN105227958B (zh) 2010-07-20 2019-06-25 Sk电信有限公司 用于解码视频信号的解码装置
KR101826353B1 (ko) * 2010-07-20 2018-02-09 에스케이텔레콤 주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
CN101924938B (zh) * 2010-08-11 2012-09-05 上海交通大学 视频解码宏块预测与边界滤波中相邻块信息的处理方法
WO2012044074A2 (ko) * 2010-09-28 2012-04-05 삼성전자 주식회사 적응적 필터링 방법 및 장치
CN102098516B (zh) * 2011-03-07 2012-10-31 上海大学 多视点视频解码端去块滤波方法
US9729879B2 (en) * 2011-03-10 2017-08-08 Hfi Innovation Inc. Method and apparatus of deblocking filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
FR2974966A1 (fr) * 2011-05-05 2012-11-09 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
CN107295341B (zh) 2011-07-22 2020-02-28 Sk电信有限公司 视频编码方法
JP5698629B2 (ja) * 2011-09-08 2015-04-08 日本放送協会 画像処理装置、フィルタ処理方法及びプログラム
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
ES2694301T3 (es) * 2011-10-31 2018-12-19 Hfi Innovation Inc. Procedimiento y aparato de desbloqueo de filtro con decisión de intensidad de límite simplificada
KR20130050901A (ko) * 2011-11-08 2013-05-16 경희대학교 산학협력단 디블록킹 필터링의 경계 필터링 강도 결정 방법 및 장치
JP6046923B2 (ja) * 2012-06-07 2016-12-21 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9270993B2 (en) * 2012-09-10 2016-02-23 Apple Inc. Video deblocking filter strength derivation
CN104641649B (zh) * 2012-09-20 2018-01-30 索尼公司 图像处理装置和方法
CN105122796B (zh) * 2013-04-12 2019-03-29 寰发股份有限公司 三维或多视图编码及解码系统中照度补偿的方法
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
EP3026912A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information
WO2018066241A1 (en) * 2016-10-03 2018-04-12 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
CN110169062A (zh) * 2017-01-10 2019-08-23 瑞典爱立信有限公司 去块滤波控制
US11310535B2 (en) * 2017-07-05 2022-04-19 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control for illumination compensation
WO2020141885A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
MXPA04002265A (es) * 2002-07-11 2004-06-29 Matsushita Electric Ind Co Ltd Metodo de determinacion de resistencia de filtracion, metodo de codificacion de pelicula y metodo de decodificacion de pelicula.
US7010047B2 (en) 2002-10-11 2006-03-07 Ub Video Inc. Global brightness change compensation system and method
CN1240025C (zh) * 2003-04-25 2006-02-01 北京工业大学 基于视频内容的视频编码方法
KR100612849B1 (ko) * 2003-07-18 2006-08-14 삼성전자주식회사 영상 부호화 및 복호화 장치 및 방법
US8036271B2 (en) * 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
TWI290438B (en) * 2004-12-01 2007-11-21 Samsung Electronics Co Ltd A pipelined deblocking filter
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
US7162779B2 (en) * 2005-02-16 2007-01-16 Illinois Tool Works Inc. Water-resistant zipper with slider
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8115804B2 (en) * 2006-01-12 2012-02-14 Lg Electronics Inc. Processing multiview video
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP5467637B2 (ja) * 2007-01-04 2014-04-09 トムソン ライセンシング マルチビュー・コード化ビデオにおける照度補償および／または色補償についてのコーディング・アーチファクトを低減する方法および装置
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength

Also Published As

Publication number Publication date
CN101790091B (zh) 2012-07-25
US8553771B2 (en) 2013-10-08
KR100922275B1 (ko) 2009-10-15
CN101207817A (zh) 2008-06-25
KR100937794B1 (ko) 2010-01-20
KR20080056083A (ko) 2008-06-20
US20140003541A1 (en) 2014-01-02
TWI352544B (en) 2011-11-11
EP1933566A2 (en) 2008-06-18
KR20090097833A (ko) 2009-09-16
CN101790091A (zh) 2010-07-28
CN101207817B (zh) 2010-06-02
EP1933566A3 (en) 2011-05-25
JP2008154221A (ja) 2008-07-03
WO2008072847A1 (en) 2008-06-19
TW200833119A (en) 2008-08-01
US20080144722A1 (en) 2008-06-19

Similar Documents

Publication Publication Date Title
JP4629084B2 (ja) 境界フィルタリング強度の決定方法、これを用いた非ブロック化フィルタリング方法及び装置
KR101972407B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
EP3249925B1 (en) Method and apparatus of slice boundary filtering for high efficiency video coding
JP5672302B2 (ja) 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
KR101879890B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
CN104396249B (zh) 可伸缩视频编码的层间预测的方法和设备
JP4453518B2 (ja) 符号化及び復号装置並びに符号化及び復号方法
US20100215104A1 (en) Method and System for Motion Estimation
JP2009531980A (ja) デジタルビデオエンコーダの内部予測及びモード決定処理の計算を低減する方法
JP2009522937A (ja) 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
US10158869B2 (en) Parallel video decoding processing apparatus and operating method thereof
TW202103495A (zh) 解碼影像資料的方法、編碼影像資料的方法及儲存編碼影片資訊的非暫態電腦可讀取儲存媒介
US20120263225A1 (en) Apparatus and method for encoding moving picture
US20090279611A1 (en) Video edge filtering
JP2012238997A (ja) 画像処理装置及び画像処理方法
JP2004180248A (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees