JP5467637B2 - マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置 - Google Patents

マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置 Download PDF

Info

Publication number
JP5467637B2
JP5467637B2 JP2009544923A JP2009544923A JP5467637B2 JP 5467637 B2 JP5467637 B2 JP 5467637B2 JP 2009544923 A JP2009544923 A JP 2009544923A JP 2009544923 A JP2009544923 A JP 2009544923A JP 5467637 B2 JP5467637 B2 JP 5467637B2
Authority
JP
Japan
Prior art keywords
block
compensation
picture
illumination compensation
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009544923A
Other languages
English (en)
Other versions
JP2010516097A (ja
JP2010516097A5 (ja
Inventor
ビブハス パンデイツト,パービン
イン,ペン
スー,イエピン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010516097A publication Critical patent/JP2010516097A/ja
Publication of JP2010516097A5 publication Critical patent/JP2010516097A5/ja
Application granted granted Critical
Publication of JP5467637B2 publication Critical patent/JP5467637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Description

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組込まれる2007年1月4日に出願された米国仮出願第60/883,466号の利益を主張する。
本原理は、一般にはビデオ復号処理に関し、より詳細には、マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置に関する。
実際のシナリオでは、多数のカメラを含むマルチビュー・ビデオ・システムは、異種カメラまたは完全に較正されていないカメラを使用して構築されるであろう。このような場合、異なるカメラによって、あるシーンの同じ部分が撮影されるときに、ルミナンスおよびクロミナンスに差が生じる。さらに、カメラの距離やポジショニングもまた、異なる角度から視るときに、同じ表面が光を異なって反射する可能性がある点で、照度に影響を及ぼす。こうしたシナリオの下で、ルミナンスおよびクロミナンスの差は、クロスビュー予測の効率を低下させることになる。
照度補償(IC)は、マルチビュー素材をコード化するときに照度/色の差を補償するコーディング技法である。国際標準化機構/国際電気標準会議(ISO/IEC)動画専門家グループ4(MPEG−4)パート10高度ビデオ・コーディング(AVC)標準/国際電気通信連合・電気通信標準化部門(ITU−T)H.264勧告(以降で、「MPEG−4 AVC標準」)と比較すると、照度補償は、インター予測残差の直流(DC)成分について予測的コーディングを使用する。照度の変化についての予測子は、照度の差の強い空間的相関を調べるために、近傍ブロックから形成される。
局所的ICA(照度変化適応的(Illumination change−adaptive))MC(動き補償(motion compensation))法は、マルチビュー・シーケンスにおけるピクチャ間の局所的照度変化を補償することを目標とする。
照度変化適応的動き補償は、MPEG−4 AVC標準のマルチビュー・ビデオ・コーディング・エクステンションにおいて以下のマクロブロック・モード、すなわち、インター16×16モード、ダイレクト16×16モード(B_スキップを含む)およびP_スキップ・モードについて有効にされる。
mb_ic_flagが、現在のマクロブロック(MB)についてゼロに等しい場合、照度変化適応的動き補償は行なわれない。すなわち、従来の復号プロセスが行われる。そうでない場合、照度補償の差分値(DVIC)の差分パルス・コード変調(DPCM)値、すなわち、dpcm_of_dvicが使用され、提案される照度変化適応的動き補償は、以下のように行なわれる。
DVIC=dpcm_of_dvic+predDVIC
f’(i,j)={MR_R’’(x’,y’,i,j)+r(i+x’,j+y’)}+DVIC
式中、f’(i,j)は、デブロッキング・フィルタリング前の再構築されるパーティションを表し、r(i,j)は、参照フレームを表し、MR_R’’(i,j)は、再構築される残差信号を表す。予測子predDVICは、MPEG−4 AVC標準に規定される予測プロセスを使用することによって近傍ブロックから得られる。照度補償が双予測的コーディングで使用されるとき、1つだけのdpcm_of_dvicが送信され、照度補償値の再構築される差分値が予測信号に付加される。これは、前方向および後方向予測信号に対する照度補償の差分値について2つの同一の値を使用することに等価である。
照度変化適応的動き補償の場合、照度補償は、スキップ・モードとダイレクト・モードの両方について使用することができる。
Pスキップ・モードの場合、mb_ic_flagとdpcm_of_dvicは共に、近傍マクロブロックから導出される。シンタックスmb_ic_flagは、照度補償が、上マクロブロックまたは左マクロブロックのいずれかについて有効にされる場合、1にセットされる。上マクロブロックおよび左マクロブロックからの照度補償の差分値の平均値は、近傍マクロブロックが共に照度補償を使用する場合、現在のマクロブロックの照度補償パラメータとして使用される。1つだけの近傍マクロブロックが照度補償を使用する場合、そのマクロブロックの照度補償の差分値は、現在のマクロブロックのために使用される。
B_スライスに対するダイレクト_16×16モードおよびB_スキップ・モードの場合、mb_ic_flagとdpcm_of_dvicは共に、ビットストリーム内に存在する。
照度補償の差分値の予測プロセスがここで述べられるであろう。
照度補償の差分値は、各マクロブロックにおける局所的な照度変化を指す。照度補償の差分値の差分パルス・コード変調、すなわち、dpcm_of_dvicは、図3に示すように、近傍マクロブロックの照度補償の差分値から得られる予測子(predDVIC)を使用してビットストリームに書込まれる。図3を参照すると、現在の照度補償の差分値(DVIC)の予測に使用される近傍ブロックを示すブロックの例示的なレイアウトは、全体が参照数字300で示される。図3では、符号化される現在のマクロブロックは、参照数字310で示され、現在のマクロブロック310を予測するのに使用される近傍マクロブロックは、参照数字305で示される。
predDVICは、以下のステップを行なうことによって得られる。
(1)現在のマクロブロックの上マクロブロック「A」が、マクロブロック・ベースの照度変化適応的動き補償を使用して符号化され、その参照インデックスが、現在のマクロブロックの参照インデックスに等しい場合、predDVICは、マクロブロック「A」の照度補償の差分値にセットされ、プロセスは終了する。そうでない場合、次のステップに進む。
(2)現在のマクロブロックの左マクロブロック「B」が、マクロブロック・ベースの照度変化適応的動き補償を使用して符号化され、その参照インデックスが、現在のマクロブロックの参照インデックスに等しい場合、predDVICは、マクロブロック「B」の照度補償の差分値にセットされ、プロセスは終了する。そうでない場合、次のステップに進む。
(3)現在のマクロブロックの右上マクロブロック「C」が、マクロブロック・ベースの照度変化適応的動き補償を使用して符号化され、その参照インデックスが、現在のマクロブロックの参照インデックスに等しい場合、predDVICは、マクロブロック「C」の照度補償の差分値にセットされ、プロセスは終了する。そうでない場合、次のステップに進む。
(4)現在のマクロブロックの左上マクロブロック「D」が、マクロブロック・ベースの照度変化適応的動き補償を使用して符号化され、その参照インデックスが、現在のマクロブロックの参照インデックスに等しい場合、predDVICは、マクロブロック「D」の照度補償の差分値にセットされ、プロセスは終了する。そうでない場合、次のステップに進む。
(5)近傍マクロブロック「A」、「B」および「C」が、マクロブロック・ベースの照度変化適応的動き補償を使用して符号化され、これら3つのDVICが、中間値フィルタリングされる場合、predDVICは、中間値フィルタリングの結果にセットされ、プロセスは終了する。そうでない場合、次のステップに進む。
(6)predDVICはゼロにセットされ、プロセスは終了する。
このプロセスを使用することによって、照度補償の差分値についてのビット数が低減される可能性があり、その後、現在の照度補償の差分値の差分パルス・コード変調値が、エントロピー・コーダによって符号化される。このプロセスは、デコーダにおいて照度補償の差分値を再構築するために行なわれる。
照度補償が、マクロブロック・ベースでかつ16×16マクロブロックに関してだけ行われるため、照度補償がいくつかのブロック・アーチファクトをもたらすことが確認されている。
コーディング・アーチファクトを軽減するための従来の手法は、照度補償によって引き起こされる特定のタイプのアーチファクト用に設計されておらず、そのため、こうしたアーチファクトを完全に抑制することができない。照度補償は、マルチビュー・ビデオ・コーディングに新しく導入されたコーディング・ツールであるため、照度補償によって引き起こされるコーディング・アーチファクトに特に対処する解決策がまだ提案されていない。
従来技術のこれらのまた他の欠点および不都合は、本原理によって対処され、本原理は、マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置を対象とする。
本原理の一態様によれば、装置が提供される。この装置は、マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを符号化するエンコーダを含む。このエンコーダは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じてその少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なうデブロッキング・フィルタを有する。
本原理の他の態様によれば、方法が提供される。この方法は、マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを符号化するステップを含む。この符号化するステップは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じてその少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なうステップを含む。
本原理のその他の態様によれば、装置が提供される。この装置は、マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを復号処理するデコーダを含む。このデコーダは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なうデブロッキング・フィルタを有する。
本原理のさらにその他の態様によれば、方法が提供される。この方法は、マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを復号処理するステップを含む。この復号処理するステップは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じてその少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なうステップを含む。
本原理のこれらのまた他の態様、特徴および利点は、添付図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本原理は、以下の例示的な図によってよりよく理解されるであろう。
本原理の実施形態による、本原理が適用される照度補償および/または色補償についてのコーディング・アーチファクトが低減された例示的なビデオ・エンコーダについてのブロック図である。 本原理の実施形態による、本原理が適用される照度補償および/または色補償についてのコーディング・アーチファクトが低減された例示的なビデオ・デコーダについてのブロック図である。 本原理の実施形態による、本原理が適用される現在の照度補償の差分値(DVIC)の予測に使用される近傍ブロックを示すブロックの例示的なレイアウトについての図である。 本原理の実施形態による、照度補償および/または色補償から生じるアーチファクトを低減するためのデブロッキング・フィルタについて境界強度をセットする例示的な方法についてのフロー図である。 本原理の実施形態による、照度補償および/または色補償から生じるアーチファクトを低減するためのデブロッキング・フィルタについて境界強度をセットする他の例示的な方法についてのフロー図である。 本原理の実施形態による、照度補償および/または色補償から生じるアーチファクトを低減するためのデブロッキング・フィルタについて境界強度をセットする例示的な方法についてのフロー図である。 本原理の実施形態による、マルチビュー・ビデオ・コンテンツを符号化処理する例示的な方法についてのフロー図である。 本原理の実施形態による、マルチビュー・ビデオ・コンテンツを復号処理する例示的な方法についてのフロー図である。
本原理は、マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置を対象とする。
本説明は本原理を示す。そのため、本明細書で明示的に述べられないか、または、示されないが、本原理を具現化し、また、本原理の趣旨および範囲内に含まれる種々の配置構成を、当業者が考案することができることになることが理解されるであろう。
本明細書で述べられる全ての例および条件付き言語は、当技術を深めることに対して本発明者らによって与えられる本原理および概念について読者が理解するのを補助するという教示的な目的を意図し、また、具体的に述べられるこうした例および条件に対して制限がないものと考えられる。
さらに、本原理の原理、態様および実施形態を述べる本明細書の全ての説明ならびに本原理の特定の例は、本原理の構造的と機能的の両方の均等物を包含することが意図される。さらに、こうした均等物は、現在知られている均等物ならびに将来開発される均等物の両方、すなわち、構造によらず、同じ機能を実施する任意の開発される要素を含むことが意図される。
そのため、たとえば、本明細書で提示されるブロック図は、本原理を具現化する例証的な回路要素の概念図を表すことが当業者によって理解されるであろう。同様に、任意のフロー・チャート、フロー図、状態遷移図、擬似コードおよび同様なものは、コンピュータ読取り可能媒体において実質的に表され、また、コンピュータまたはプロセッサ(コンピュータまたはプロセッサが明示的に示されていても、いなくても)によって実行されてもよい種々のプロセスを表すことが理解されるであろう。
図に示す種々の要素の機能は、専用ハードウェアならびに適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェアの使用によって提供されてもよい。プロセッサによって提供されるとき、機能は、単一専用プロセッサか、単一共有プロセッサか、または、その一部が共有されてもよい複数の個々のプロセッサによって提供されてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを排他的に指すと考えられるべきではなく、また、限定することなく、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶する読取り専用メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)および不揮発性記憶装置を暗黙のうちに含んでもよい。
他のハードウェア(従来の、および/または、カスタムの)が含まれてもよい。同様に、図に示す任意のスイッチは概念的であるに過ぎない。それらの機能は、プログラム・ロジックの動作によるか、専用ロジックによるか、プログラム制御と専用ロジックの相互作用によるか、または、さらに手作業で実行されてもよく、特定の技法は、文脈からより具体的に理解されるように、実施者によって選択可能である。
本明細書の特許請求の範囲において、指定された機能を実施する手段として表現される任意の要素は、たとえば、a)その機能を実施する回路要素の組合せ、または、b)したがって、ファームウェア、マイクロコードまたは同様なものを含む任意の形態のソフトウェアであって、機能を実施するようにソフトウェアを実行するための適切な回路要素と組み合わされる、任意の形態のソフトウェアを含む、その機能を実施する任意の方法を包含することが意図される。特許請求の範囲によって規定される本原理は、述べられる種々の手段によって提供される機能が、特許請求の範囲が要求するように、組み合わされ、かつ、一緒にもたらされることに存在する。そのため、こうした機能を提供することができる任意の手段は、本明細書で示す手段と等価であることが考えられる。
本明細書において本原理の「一実施形態(one embodiment)」または「ある実施形態(an embodiment)」を参照することは、実施形態に関連して述べられる特定の特徴、構造、特性などが、本原理の少なくとも1つの実施形態に含まれることを意味する。そのため、本明細書全体を通して種々の場所に現れる「一実施形態では(in one embodiment)」または「ある実施形態では(in an embodiment)」という句の出現は、必ずしも全てが同じ実施形態を参照しているわけではない。
たとえば、「Aおよび/またはB(A and/or B)」の場合の、「および/または(and/or)」という用語の使用は、最初に挙げたオプション(A)の選択、2番目に挙げたオプション(B)の選択、または、両方のオプション(AとB)の選択を包含することが意図されることが理解される。さらなる例として「A、Bおよび/またはC(A,B and/or C)」の場合、こうした句は、最初に挙げたオプション(A)の選択、2番目に挙げたオプション(B)の選択、3番目に挙げたオプション(C)の選択、最初と2番目に挙げたオプション(AとB)の選択、最初と3番目に挙げたオプション(AとC)の選択、2番目と3番目に挙げたオプション(BとC)の選択、または、3つ全てのオプション(AとBとC)の選択を包含することが意図される。当技術分野および関連技術分野の専門家によって容易に明らかになるように、これは、多くの挙げられるアイテムについて敷衍されてもよい。
本原理の1つまたは複数の実施形態が、MPEG−4 AVC標準のマルチビュー・ビデオ・コーディング・エクステンションに関して本明細書で述べられるが、本原理は、MPEG−4 AVC標準およびそのエクステンションだけに限定されず、そのため、本原理の趣旨を維持しながら、マルチビュー・ビデオ・コーディングを行なう、他のビデオ・コーディング標準、勧告およびそのエクステンションに関して利用されてもよいことがさらに理解される。
さらに、MPEG−4 AVC復号プロセスにおいてアルファ・テーブルを索引付けするために、アルファ・テーブル・インデックスが使用されることが理解される。アルファ・テーブルは、4未満の境界強度Bsを有するエッジのフィルタリングで使用される。
図1を参照すると、照度補償および/または色補償についてのコーディング・アーチファクトを低減した例示的なビデオ・エンコーダは、全体が参照数字100で示される。
エンコーダ100は、変換器および量子化器110の入力部と信号伝送路で接続された出力部を有するコンバイナ105を含む。変換器および量子化器110の出力部は、エントロピー・コーダ115の入力部ならびに逆量子化器および逆変換器120の入力部と信号伝送路で接続される。逆量子化器および逆変換器120の出力部は、コンバイナ125の第1の非反転入力部と信号伝送路で接続される。コンバイナ125の出力部は、(再構築されるピクチャをデブロッキングするための)デブロッキング・フィルタ135の入力部と信号伝送路で接続される。デブロッキング・フィルタ135の出力部は、参照ピクチャ・バッファ140の入力部と信号伝送路で接続される。参照ピクチャ・バッファ140の出力部は、照度補償の差分値(DVIC)計算器および/または色補償の差分値(DVCC)計算器160の第1入力部と信号伝送路で接続される。DVIC計算器および/またはDVCC計算器160の出力部は、照度および/または色用の動き推定器および補償器155の入力部、動き補償器130の第1入力部ならびにコンバイナ150の非反転入力部と信号伝送路で接続される。照度および/または色用の動き推定器および補償器155の出力部は、動き補償器130の第2入力部と信号伝送路で接続される。動き補償器130の出力部は、コンバイナ125の第2の非反転入力部およびコンバイナ105の反転入力部と信号伝送路で接続される。
DVIC予測器および/またはDVCC予測器170の出力部は、コンバイナ150の反転入力部と信号伝送路で接続される。
コンバイナ105の非反転入力部、照度および/または色用の動き推定器および補償器155の第2の入力部、ならびに、DVIC計算器および/またはDVCC計算器160の第2の入力部は、入力ビデオ・シーケンスを受取るための、エンコーダ100への入力部として利用可能である。
エントロピー・コーダ115の出力部は、符号化された残差信号を出力するための、エンコーダ100の出力部として利用可能である。
照度および/または色用の動き推定器および補償器155の出力部は、動きベクトル(複数可)を出力するための、エンコーダ100の出力部として利用可能である。
コンバイナ150の出力部は、dpcm_of_dvicおよび/またはdpcm_of_dvcc(dpcmのオフセット)を出力するための、エンコーダ100の出力部として利用可能である。
モード選択器165の出力部は、16×16およびダイレクト・モード用のmb_ic_flagおよび/またはmb_cc_flagを出力するための、エンコーダ100の出力部として利用可能である。
動き補償器130の出力部は、動き補償された予測値を提供する。
図2を参照すると、照度補償および/または色補償についてのコーディング・アーチファクトが低減された例示的なビデオ・デコーダは、全体が参照数字200で示される。
デコーダ200は、逆量子化器および逆変換器210の入力部と信号伝送路で接続された出力部を有するエントロピー・デコーダ205を含む。逆量子化器および逆変換器210の出力部は、コンバイナ215の第1の非反転入力部と信号伝送路で接続される。コンバイナ215の出力部は、デブロッキング・フィルタ220の入力部と信号伝送路で接続される。デブロッキング・フィルタ220の出力部は、参照ピクチャ・バッファ235の入力部と信号伝送路で接続される。参照ピクチャ・バッファ235の出力部は、照度および/または色用の動き補償器225の第1入力部と信号伝送路で接続される。照度および/または色用の動き補償器225の出力部は、コンバイナ215の第2の非反転入力部と信号伝送路で接続される。
照度補償の差分値(DVIC)予測器および/または色補償の差分値(DVCC)予測器230の出力部は、コンバイナ270の第1の非反転入力部と信号伝送路で接続される。
エントロピー・デコーダ205の入力部は、入力ビデオ・ビットストリームを受取るための、デコーダ200の入力部として利用可能である。
照度および/または色用の動き補償器225の第2入力部は、動きベクトル(複数可)を受取るための、デコーダ200の入力部として利用可能である。
照度および/または色用の動き補償器225の第3入力部は、mb_ic_flagおよび/またはmb_cc_flagを受取るための、デコーダ200の入力部として利用可能である。
コンバイナ270の第2の非反転入力部は、dpcm_of_dvicおよび/またはdpcm_of_dvccを受取るための、デコーダ200の入力部として利用可能である。
先に述べたように、本原理は、マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置を対象とする。本原理の実施形態は、改良されたデブロッキング・フィルタリングを使用して照度補償および/または色補償についてのコーディング・アーチファクトを低減する。
デブロッキング・フィルタは、視覚的に不快なブロッキング・アーチファクトを抑制するための証明済みのツールである。デブロッキング・フィルタは、たとえばMPEG−4 AVC標準で使用されるように、予測ループで使用される場合、コーディング効率を増す可能性があることも証明されている。デブロッキング・フィルタは、ブロック境界の近くの再構築される画素にわたって平滑化する。有効なデブロッキング・フィルタは、信号の性質およびいくつかのコーディング・パラメータの値に従ってフィルタリング強度を調整する必要があることになる。
本原理のある実施形態によれば、本発明者らは、マルチビュー・ビデオ・コーディング(MVC)についてのデブロッキング・フィルタの設計に、照度補償情報および/または色補償情報を導入することを提案する。こうした情報が使用されて、デブロッキング・フィルタの強度を変更してもよく、デブロッキング・フィルタの長さを変更してもよく、および/または、異なるタイプのフィルタを選択するなどをしてもよい。すなわち、本原理は、デブロッキング・フィルタの上記のパラメータの適応に限定されず、また、本原理の教示が本明細書に与えられる限り、当技術分野および関連技術分野の専門家は、本原理の趣旨を維持しながら、本原理に従って適応されてもよい。これらのまた種々の他のデブロッキング・フィルタリング・パラメータを考えることになることが理解される。全ての場合の目標は、照度補償および/または色補償を使用することによって生じるブロック境界の周りのアーチファクトを低減することによって、復号処理されるピクチャの品質を向上することである。
ある実施形態に関して本明細書で述べられる、予測されるピクチャに適用されるデブロッキング技法は、どんな特定のデブロッキング・プロセスにも制限されず、そのため、任意のデブロッキング・プロセスが、本原理の趣旨を維持しながら、本原理の実施形態で使用されてもよいことが理解される。こうして、たとえば、1つまたは複数の例証的な実施形態が、MPEG−4 AVC標準で述べられるデブロッキング・フィルタリングに関して本明細書で述べられるが、本原理の教示が本明細書に与えられる限り、当技術分野および関連技術分野の専門家は、本原理の趣旨を維持しながら、本原理に従って他のデブロッキング手法を行なうことが容易にできることになる。
MPEG−4 AVC標準に記載されるデブロッキング・フィルタは、4×4ブロック間の全てのエッジに適用される。さらに、各エッジについて、デブロッキング・フィルタは、その長さに適応する能力を有する。フィルタ強度を制御するパラメータは、図4〜6に示すように、境界強度(Bs)と呼ばれる。境界強度の値は、各エッジ上に視覚的なブロックノイズを有する可能性、そのため、フィルタを大幅に弱める、または、小幅に弱める必要性を示す。境界強度Bsの高い値は、より強力なデブロッキング・フィルタリングが適用されることになることを示す。
本原理の一実施形態によれば、境界強度の計算は、また、マルチビュー・シーケンスを符号化する場合、新しい照度補償コーディング・ツールを考慮すべきである。図4〜6では、考えられる境界強度推定アルゴリズムが示され、そこでは、境界強度は、以下のコーディング・パラメータ、すなわち、照度補償モード、エッジ位置、ブロック・タイプ、コード化される係数の数、参照フレーム・インデックスおよび動き/差異ベクトルの差のうちの1つまたは複数によって調整される。一般に、照度補償および/または色補償を使用するインター予測化ブロックは、2つの近傍ブロックが異なる照度補償オフセットおよび/または色補償オフセットを使用する場合、より多くのブロックノイズを生じることになる。そのため、これらのエッジに関してより高い境界強度を割当てることによって、よりよいフィルタリング結果をもたらすことになる。
境界強度Bsをセットすることに関していくつかの例証的な条件が本明細書で述べられる。もちろん、本原理はこれらの条件だけに限定されず、本原理の教示が本明細書に与えられる限り、当技術分野および関連技術分野の専門家によって容易に考えられる他の条件が利用されてもよい。
一実施形態では、照度補償および/または色補償が、マクロブロックで使用されるか、されないかに基づいて、境界強度Bsが変更され得る。近傍の左マクロブロックか、近傍の上マクロブロックかまたは現在のマクロブロックのいずれか1つが照度補償および/または色補償を使用する場合、境界強度Bsが4にセットされ、最も強いフィルタとなる。この条件は、左および上マクロブロック境界エッジについてだけ調べられ、内部エッジについては調べられない。結果として、ブロッキング・アーチファクトが大幅に低減されることになる。
上記実施形態の変形である他の実施形態では、左マクロブロックと現在のマクロブロックの両方が照度補償および/または色補償を使用するときだけ、左マクロブロックのエッジについて、また、上マクロブロックと現在のマクロブロックの両方が照度補償および/または色補償を使用するときだけ、上マクロブロックのエッジについて、境界強度が4にセットされる。
境界強度Bsを4にセットすることの1つの不都合は、それにより、かなりのぼけおよびコーディング効率の減少が生じる可能性があることである。これを克服するため、境界強度Bsを4にセットする代わりに、照度補償および/または色補償の(上記と同様の)条件が満たされる場合、Bs機能によって戻される境界強度Bsが、1などのあるオフセットだけ増分されるだけである。上記例は境界強度Bsを4にセットすることを述べるが、こうした値は、例証のためであり、そのため、本原理の趣旨を維持しながら、1と4との間の任意の値が使用されてもよいことが理解される。
図4を参照すると、照度補償および/または色補償から生じるアーチファクトを低減するために、デブロッキング・フィルタについて境界強度をセットする例示的な方法は、全体が参照数字400で示される。
方法400は、機能ブロック405にコントロールを渡す開始ブロック402を含む。機能ブロック405は、ブロックpとブロックqとの間のブロック境界を決定し、決定ブロック410にコントロールを渡す。決定ブロック410は、ブロックpまたはブロックqがイントラ・コード化されているかどうか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIまたはSPであるかどうかを判定する。そうである場合(すなわち、ブロックpまたはブロックqのいずれかがイントラ・コード化されているか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIまたはSPである場合)、コントロールが決定ブロック415に渡される。そうでない場合(すなわち、ブロックpまたはブロックqのいずれもがイントラ・コード化されていないか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIでもSPでもない場合)、コントロールが決定ブロック430に渡される。
決定ブロック415は、ブロック境界がマクロブロック境界であるかどうかを判定する。そうである場合、コントロールが機能ブロック420に渡される。そうでない場合、コントロールが機能ブロック425に渡される。
機能ブロック420は、境界強度Bsを4にセットし、コントロールを終了ブロック499に渡す。
機能ブロック425は、境界強度Bsを3にセットし、コントロールを終了ブロック499に渡す。
決定ブロック430は、ブロック境界がマクロブロック境界であるかどうかを判定する。そうである場合、コントロールが決定ブロック435に渡される。そうでない場合、コントロールが決定ブロック445に渡される。
決定ブロック435は、ブロックpまたはブロックqが照度補償および/または色補償を使用するかどうかを判定する。そうである場合、コントロールが機能ブロック440に渡される。そうでない場合、コントロールが決定ブロック445に渡される。
機能ブロック440は、境界強度Bsを4にセットし、コントロールを終了ブロック499に渡す。
決定ブロック445は、ブロックpまたはブロックq(のいずれか)内で係数がコード化されたかどうかを判定する。そうである場合、コントロールが機能ブロック450に渡される。そうでない場合、コントロールが決定ブロック455に渡される。
機能ブロック450は、境界強度Bsを2にセットし、コントロールを終了ブロック499に渡す。
決定ブロック455は、ブロックpおよびブロックqが異なる参照フレームを有するかどうか、または、異なる数の参照フレームを有するかどうかを判定する。そうである場合、コントロールが機能ブロック470に渡される。そうでない場合、コントロールが決定ブロック460に渡される。
機能ブロック470は、境界強度Bsを1にセットし、コントロールを終了ブロック499に渡す。
決定ブロック460は、|V1(p,x)−V1(q,x)|>=1であるかどうか、または、|V1(p,y)−V1(q,y)|>=1であるかどうか、あるいは、双予測的である場合、|V2(p,x)−V2(q,x)|>=1であるかどうか、または、|V2(p,x)−V2(q,x)|>=1であるかどうかを判定する。そうである場合(すなわち、決定ブロック460にて指定された上記条件の任意のものが真である場合)、コントロールが機能ブロック470に渡される。そうでなければ(すなわち、決定ブロック460にて指定された上記条件のどれもが真でない場合)、コントロールが機能ブロック465に渡される。機能ブロック465は、境界強度をゼロにセットし、コントロールを終了ブロック499に渡す。
図5を参照すると、照度補償および/または色補償から生じるアーチファクトを低減するために、デブロッキング・フィルタについて境界強度をセットする他の例示的な方法は、全体が参照数字500で示される。
方法500は、機能ブロック505にコントロールを渡す開始ブロック502を含む。機能ブロック505は、ブロックpとブロックqとの間のブロック境界を決定し、決定ブロック510にコントロールを渡す。決定ブロック510は、ブロックpまたはブロックqがイントラ・コード化されているかどうか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIまたはSPであるかどうかを判定する。そうである場合(すなわち、ブロックpまたはブロックqのいずれかがイントラ・コード化されているか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIまたはSPである場合)、コントロールが決定ブロック515に渡される。そうでない場合(すなわち、ブロックpまたはブロックqのいずれもがイントラ・コード化されていないか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIでもSPでもない場合)、コントロールが決定ブロック530に渡される。
決定ブロック515は、ブロック境界がマクロブロック境界であるかどうかを判定する。そうである場合、コントロールが機能ブロック520に渡される。そうでない場合、コントロールが機能ブロック525に渡される。
機能ブロック520は、境界強度Bsを4にセットし、コントロールを決定ブロック575に渡す。
機能ブロック525は、境界強度Bsを3にセットし、コントロールを終了ブロック599に渡す。
決定ブロック530は、ブロック境界がマクロブロック境界であるかどうかを判定する。そうである場合、コントロールが決定ブロック575に渡される。そうでない場合、コントロールが決定ブロック545に渡される。
決定ブロック545は、ブロックpまたはブロックq(のいずれか)内で係数がコード化されたかどうかを判定する。そうである場合、コントロールが機能ブロック550に渡される。そうでない場合、コントロールが決定ブロック555に渡される。
機能ブロック550は、境界強度Bsを2にセットし、コントロールを決定ブロック575に渡す。
決定ブロック555は、ブロックpおよびブロックqが異なる参照フレームを有するかどうか、または、異なる数の参照フレームを有するかどうかを判定する。そうである場合、コントロールが機能ブロック570に渡される。そうでない場合、コントロールが決定ブロック560に渡される。
機能ブロック570は、境界強度Bsを1にセットし、コントロールを決定ブロック575に渡す。
決定ブロック560は、|V1(p,x)−V1(q,x)|>=1であるかどうか、または、|V1(p,y)−V1(q,y)|>=1であるかどうか、あるいは、双予測的である場合、|V2(p,x)−V2(q,x)|>=1であるかどうか、または、|V2(p,x)−V2(q,x)|>=1であるかどうかを判定する。そうである場合(すなわち、決定ブロック560にて指定された上記条件の任意のものが真である場合)、コントロールが機能ブロック570に渡される。そうでなければ(すなわち、決定ブロック560にて指定された上記条件のどれもが真でない場合)、コントロールが機能ブロック565に渡される。機能ブロック565は、境界強度をゼロにセットし、コントロールを終了ブロック599に渡す。
決定ブロック575は、マクロブロック境界が存在するかどうかを判定する。そうである場合、コントロールが決定ブロック580に渡される。そうでない場合、コントロールが機能ブロック590に渡される。
決定ブロック580は、ブロックpまたはブロックqが照度補償(IC)および/または色補償を使用するかどうかを判定する。そうである場合、コントロールが機能ブロック585に渡される。そうでない場合、コントロールが機能ブロック590に渡される。
機能ブロック585は、境界強度を修正し(たとえば、境界強度を1だけ増分し)、コントロールを終了ブロック599に渡す。
機能ブロック590は、現在セットされている境界強度を保持し、コントロールを終了ブロック599に渡す。
図6を参照すると、照度補償および/または色補償から生じるアーチファクトを低減するために、デブロッキング・フィルタについて境界強度をセットするさらに別の例示的な方法は、全体が参照数字600で示される。
方法600は、機能ブロック605にコントロールを渡す開始ブロック602を含む。機能ブロック605は、ブロックpとブロックqとの間のブロック境界を決定し、決定ブロック610にコントロールを渡す。決定ブロック610は、ブロックpまたはブロックqがイントラ・コード化されているかどうか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIまたはSPであるかどうかを判定する。そうである場合(すなわち、ブロックpまたはブロックqのいずれかがイントラ・コード化されているか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIまたはSPである場合)、コントロールが決定ブロック615に渡される。そうでない場合(すなわち、ブロックpまたはブロックqのいずれもがイントラ・コード化されていないか、あるいは、ブロックpおよびqのそれぞれのスライス・タイプがSIでもSPでもない場合)、コントロールが決定ブロック630に渡される。
決定ブロック615は、ブロック境界がマクロブロック境界であるかどうかを判定する。そうである場合、コントロールが機能ブロック620に渡される。そうでない場合、コントロールが機能ブロック625に渡される。
機能ブロック620は、境界強度Bsを4にセットし、コントロールを決定ブロック675に渡す。
機能ブロック625は、境界強度Bsを3にセットし、コントロールを終了ブロック699に渡す。
決定ブロック630は、ブロック境界がマクロブロック境界であるかどうかを判定する。そうである場合、コントロールが決定ブロック675に渡される。そうでない場合、コントロールが決定ブロック645に渡される。
決定ブロック645は、ブロックpまたはブロックq(のいずれか)内で係数がコード化されたかどうかを判定する。そうである場合、コントロールが機能ブロック650に渡される。そうでない場合、コントロールが決定ブロック655に渡される。
機能ブロック650は、境界強度Bsを2にセットし、コントロールを決定ブロック675に渡す。
決定ブロック655は、ブロックpおよびブロックqが異なる参照フレームを有するかどうか、または、異なる数の参照フレームを有するかどうかを判定する。そうである場合、コントロールが機能ブロック670に渡される。そうでない場合、コントロールが決定ブロック660に渡される。
機能ブロック670は、境界強度Bsを1にセットし、コントロールを決定ブロック675に渡す。
決定ブロック660は、|V1(p,x)−V1(q,x)|>=1であるかどうか、または、|V1(p,y)−V1(q,y)|>=1であるかどうか、あるいは、双予測的である場合、|V2(p,x)−V2(q,x)|>=1であるかどうか、または、|V2(p,x)−V2(q,x)|>=1であるかどうかを判定する。そうである場合(すなわち、決定ブロック660にて指定された上記条件の任意のものが真である場合)、コントロールが機能ブロック670に渡される。そうでなければ(すなわち、決定ブロック660にて指定された上記条件のどれもが真でない場合)、コントロールが機能ブロック665に渡される。機能ブロック665は、境界強度をゼロにセットし、コントロールを終了ブロック699に渡す。
決定ブロック675は、マクロブロック境界が存在するかどうかを判定する。そうである場合、コントロールが決定ブロック680に渡される。そうでない場合、コントロールが機能ブロック690に渡される。
決定ブロック680は、ブロックpまたはブロックqが照度補償(IC)および/または色補償を使用するかどうかを判定する。そうである場合、コントロールが機能ブロック685に渡される。そうでない場合、コントロールが機能ブロック690に渡される。
機能ブロック685は、インデックスAをインデックスBの値で修正し、コントロールを終了ブロック699に渡す。
機能ブロック690は、現在セットされている境界強度を保持し、コントロールを終了ブロック699に渡す。
図7を参照すると、マルチビュー・ビデオ・コンテンツを符号化する例示的な方法は、全体が参照数字700で示される。
方法700は、機能ブロック710にコントロールを渡す開始ブロック705を含む。決定ブロック710は、エンコーダ設定ファイルを読取り、コントロールを機能ブロック715に渡す。機能ブロック715は、view_direction、view_levelおよびview_idをユーザ定義値にセットし、コントロールを機能ブロック720に渡す。機能ブロック720は、シーケンス・パラメータ・セット(SPS)、ピクチャ・パラメータ・セット(PPS)、ビュー・パラメータ・セット(VPS)、スライス・ヘッダおよび/またはNALユニット・ヘッダ内にview_level、view_idおよびview_directionをセットし、コントロールを機能ブロック725に渡す。機能ブロック725は、ビューの数が変数Nに等しくなるよう、そのとき、変数i(ビュー数インデックス)およびj(ピクチャ数インデックス)がゼロに等しくなるようにさせ、コントロールを決定ブロック730に渡す。決定ブロック730は、iがNより小さいかどうかを判定する。そうである場合、コントロールが決定ブロック735に渡される。そうでない場合、コントロールが決定ブロック770に渡される。
決定ブロック735は、jが、ビューi内のピクチャの数より小さいかどうかを判定する。そうである場合、コントロールが機能ブロック740に渡される。そうでない場合、コントロールが機能ブロック790に渡される。
機能ブロック740は、現在のマクロブロックを符号化処理を開始し、コントロールを機能ブロック745に渡す。機能ブロック745は、マクロブロック・モードを選択し、コントロールを機能ブロック750に渡す。機能ブロック750は、現在のマクロブロックを符号化し、コントロールを決定ブロック755に渡す。決定ブロック755は、全てのマクロブロックが符号化されたかどうかを判定する。そうである場合、コントロールが機能ブロック760に渡される。そうでない場合、コントロールが機能ブロック740に戻される。
機能ブロック760は、変数jを増分し、コントロールを機能ブロック762に渡す。機能ブロック762は、再構築されるピクチャをデブロッキング・フィルタリングを行ない、コントロールを機能ブロック764に渡す。機能ブロック764は、再構築されるピクチャを復号済みピクチャ・バッファ(DPB)に記憶し、コントロールを機能ブロック765に渡す。機能ブロック765は、frame_num値およびピクチャ順序カウント(POC)値を増分し、コントロールを決定ブロック735に戻す。
決定ブロック770は、シーケンス・パラメータ・セット(SPS)、ピクチャ・パラメータ・セット(PPS)、および/またはビュー・パラメータ・セット(VPS)をインバンドで(in−band)送出するかどうかを判定する。そうである場合、コントロールが機能ブロック775に渡される。そうでない場合、コントロールが機能ブロック780に渡される。
機能ブロック775は、シーケンス・パラメータ・セット(SPS)、ピクチャ・パラメータ・セット(PPS)、および/またはビュー・パラメータ・セット(VPS)をファイルに(インバンドで)書込み、コントロールを機能ブロック785に渡す。
機能ブロック780は、シーケンス・パラメータ・セット(SPS)、ピクチャ・パラメータ・セット(PPS)、および/またはビュー・パラメータ・セット(VPS)をアウトオブバンドで(out−of−band)書込み、コントロールを機能ブロック785に渡す。
機能ブロック785は、ビットストリームをファイルに書込むか、または、ビットストリームをネットワークにわたってストリーミングし、コントロールを終了ブロック799に渡す。
機能ブロック790は、変数iを増分し、frame_num値およびピクチャ順序カウント(POC)値をリセットし、コントロールを決定ブロック730に戻す。
図8を参照すると、マルチビュー・ビデオ・コンテンツを復号処理する例示的な方法は、全体が参照数字800で示される。
方法800は、機能ブロック810にコントロールを渡す開始ブロック805を含む。機能ブロック810は、シーケンス・パラメータ・セット(SPS)、ピクチャ・パラメータ・セット(PPS)、ビュー・パラメータ・セット(VPS)、スライス・ヘッダおよび/またはNALユニット・ヘッダを解析してview_id、view_directionおよびview_levelを取り出し(parse)、コントロールを機能ブロック815に渡す。機能ブロック815は、view_direction、view_levelおよびview_idを使用して、現在のピクチャが復号処理される必要があるかどうかを判定し(依存性を調べる)、コントロールを決定ブロック820に渡す。決定ブロック820は、現在のピクチャが復号処理される必要があるかどうかを判定する。そうである場合、コントロールが機能ブロック830に渡される。そうでない場合、コントロールが機能ブロック825に渡される。
機能ブロック825は、次のピクチャを得、コントロールを機能ブロック810に戻す。
機能ブロック830は、スライス・ヘッダを取り出し、コントロールを機能ブロック835に渡す。機能ブロック835は、マクロブロック・モード、動きベクトルおよびref_idxを取り出し、コントロールを機能ブロック840に渡す。機能ブロック840は、現在のマクロブロックを復号処理し、コントロールを決定ブロック845に渡す。決定ブロック845は、全てのマクロブロックが復号処理されたかどうかを判定する。そうである場合、コントロールが機能ブロック847に渡される。そうでない場合、コントロールが機能ブロック835に戻される。
機能ブロック847は、再構築されるピクチャに関してデブロッキング・フィルタリングを行ない、コントロールを機能ブロック850に渡す。機能ブロック850は、現在のピクチャを復号済みピクチャ・バッファ(DPB)に挿入し、コントロールを決定ブロック855に渡す。決定ブロック855は、全てのピクチャが復号処理されたかどうかを判定する。そうである場合、コントロールが終了ブロック899に渡される。そうでない場合、コントロールが機能ブロック830に戻される。
本発明の多くの付随する利点/特徴(その一部は上述された)の一部の説明がここで与えられるであろう。たとえば、1つの利点/特徴は、マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを符号化するエンコーダを装置が含むことである。エンコーダは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて、少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なうデブロッキング・フィルタを有する。
別の利点/特徴は、上述したデブロッキング・フィルタを有するエンコーダを装置が有することであり、デブロッキング・フィルタのフィルタ強度は、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて適応する。
さらに別の利点/特徴は、デブロッキング・フィルタを有するエンコーダを装置が有することであり、デブロッキング・フィルタのフィルタ強度は、上述したように、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて適応し、フィルタ強度は、少なくとも1つのピクチャの特定のピクチャ内、または、少なくとも1つのピクチャのそれぞれの隣接するピクチャ内にある、2つの近傍ブロックの少なくとも1つが照度補償および色補償の少なくとも1つを使用するときに変更される。
さらに別の利点/特徴は、デブロッキング・フィルタを有するエンコーダを装置が有することであり、デブロッキング・フィルタのフィルタ強度は、上述したように、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて適応し、フィルタ強度は、国際標準化機構/国際電気標準会議動画専門家グループ4パート10高度ビデオ・コーディング標準/国際電気通信連合・電気通信標準化部門H.264勧告に相当する方法によって決定された後に1だけ増分される。
さらに、別の利点/特徴は、デブロッキング・フィルタを有するエンコーダを装置が有することであり、デブロッキング・フィルタのフィルタ強度は、上述したように、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて適応し、エンコーダは、少なくとも1つのピクチャの特定のピクチャ内、または、少なくとも1つのピクチャのそれぞれの隣接するピクチャ内にある2つの近傍ブロックが、異なるマルチビュー・ビデオ・コーディング予測タイプを有するときに、アルファ・テーブル・インデックス値を修正することによって少なくとも1つのピクチャを符号化する。
さらに、別の利点/特徴は、上述したデブロッキング・フィルタを有するエンコーダを装置が有することであり、デブロッキング・フィルタの長さは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて適応する。
同様に、別の利点/特徴は、上述したデブロッキング・フィルタを有するエンコーダを装置が有することであり、デブロッキング・フィルタのタイプは、照度補償および色補償の少なくとも1つが少なくとも1つのブロックについて使用されるという指示に応じて適応する。
本原理のこれらのまた他の特徴および利点は、本明細書の教示に基づいて当業者によって容易に確認されてもよい。本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサまたはその組合せの種々の形態で実施されてもよいことが理解される。
最も好ましくは、本原理の教示は、ハードウェアとソフトウェアの組合せとして実施される。さらに、ソフトウェアは、プログラム記憶ユニット上で具体的に具現化されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、任意の適したアーキテクチャを備える装置にアップロードされ、また、その装置によって実行されてもよい。好ましくは、装置は、1つまたは複数の中央処理ユニット(「CPU」)、ランダム・アクセス・メモリ(「RAM」)および入力/出力(「I/O」)インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上で実施される。コンピュータ・プラットフォームは、また、オペレーティング・システムおよびマイクロ命令コードを含んでもよい。本明細書で述べる種々のプロセスおよび機能は、CPUによって実行できる、マイクロ命令コードの一部、またはアプリケーション・プログラムの一部、あるいはそれらの任意の組合せのいずれかであってよい。さらに、さらなるデータ記憶ユニットおよび印刷ユニットなどの種々の他の周辺ユニットがコンピュータ・プラットフォームに接続されてもよい。
添付図面に示される構成システムコンポーネントおよび方法の一部は、好ましくはソフトウェアで実施されるため、システムコンポーネントまたはプロセス機能ブロック間の実際の接続は、本原理がプログラムされる方法に応じて異なってもよいことがさらに理解される。本明細書に教示が与えられる限り、当業者は、本原理の、これらのまた同様な実施態様または構成を考えることができるであろう。
例証的な実施形態が、添付図面を参照して本明細書で述べられたが、本原理がこれらの厳密な実施形態に限定されないこと、および、本原理の範囲または趣旨から逸脱することなく、当業者によって種々の変更および修正が、実施形態において行われてもよいことが理解される。全てのこれらの変更および修正は、添付特許請求の範囲に述べられる本原理の範囲内に含まれることが意図される。
110 変換器および量子化器
115 エントロピー・コーダ
120、210 逆量子化器および逆変換器
130 動き補償
135、220 デブロッキング・フィルタ
140 参照ピクチャ・バッファ
155 照度および/または色用の動き推定器および補償器
160 DVIC計算器および/またはDVCC計算器
165 モード選択器
170、230 DVIC予測器および/またはDVCC予測器
205 エントロピー・デコーダ
225 照度および/または色用の動き補償器
235 参照ピクチャ・バッファ

Claims (16)

  1. マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを符号化するエンコーダであって、当該エンコーダは、照度補償および色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという指示に応じて前記少なくとも1つのブロックに適応的デブロッキング・フィルタリングを行なうデブロッキング・フィルタを有する、前記エンコーダ、
    を備え、
    前記デブロッキング・フィルタに対する境界強度は、フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが該決定されたフィルタ強度は使用されない後に、前記指示に応じてあるオフセットだけ増分される、装置。
  2. 前記デブロッキング・フィルタのフィルタ強度は、前記照度補償および前記色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという前記指示に応じて適応化される、請求項1に記載の装置。
  3. 前記フィルタ強度は、2つの近傍ブロックの少なくとも1つが前記照度補償および前記色補償の少なくとも1つを使用するときに変更され、当該2つの近傍ブロックが、前記少なくとも1つのピクチャの特定のピクチャ内、または前記少なくとも1つのピクチャのそれぞれの隣接するピクチャ内にある、請求項2に記載の装置。
  4. 前記フィルタ強度は、当該フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが使用されない後に、1だけ増分される、請求項2に記載の装置。
  5. マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを符号化するステップであって、照度補償および色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという指示に応じて前記少なくとも1つのブロックに適応的デブロッキング・フィルタリングを行なう、前記ステップ、
    を含み、
    前記適応的デブロッキング・フィルタリングを行なうために使用されるデブロッキング・フィルタに対する境界強度は、フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが該決定されたフィルタ強度は使用されない後に、前記指示に応じてあるオフセットだけ増分される、方法。
  6. 前記適応的デブロッキング・フィルタリングを行なうために使用される前記デブロッキング・フィルタのフィルタ強度は、前記照度補償および前記色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという前記指示に応じて適応化される、請求項5に記載の方法。
  7. 前記フィルタ強度は、2つの近傍ブロックの少なくとも1つが前記照度補償および前記色補償の少なくとも1つを使用するときに変更され、当該2つの近傍ブロックが、前記少なくとも1つのピクチャの特定のピクチャ内、または前記少なくとも1つのピクチャのそれぞれの隣接するピクチャ内にある、請求項6に記載の方法。
  8. 前記フィルタ強度は、当該フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが使用されない後に、1だけ増分される、請求項6に記載の方法。
  9. マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを復号処理するデコーダであって、当該デコーダは、照度補償および色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという指示に応じて前記少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なうデブロッキング・フィルタを有する、前記デコーダ、
    を備え、
    前記デブロッキング・フィルタに対する境界強度は、フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが該決定されたフィルタ強度は使用されない後に、前記指示に応じてあるオフセットだけ増分される、装置。
  10. 前記適応的デブロッキング・フィルタリングを行なうために使用される前記デブロッキング・フィルタのフィルタ強度は、前記照度補償および前記色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという前記指示に応じて適応化される、請求項9に記載の装置。
  11. 前記フィルタ強度は、2つの近傍ブロックの少なくとも1つが前記照度補償および前記色補償の少なくとも1つを使用するときに変更され、当該2つの近傍ブロックが、前記少なくとも1つのピクチャの特定のピクチャ内、または前記少なくとも1つのピクチャのそれぞれの隣接するピクチャ内にある、請求項10に記載の装置。
  12. 前記フィルタ強度は、当該フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが使用されない後に、1だけ増分される、請求項10に記載の装置。
  13. マルチビュー・ビデオ・コンテンツの少なくとも1つのビューについて少なくとも1つのピクチャ内の少なくとも1つのブロックを復号処理するステップであって、照度補償および色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという指示に応じて前記少なくとも1つのブロックに関して適応的デブロッキング・フィルタリングを行なう、前記ステップ、
    を含み、
    前記適応的デブロッキング・フィルタリングを行なうために使用されるデブロッキング・フィルタに対する境界強度は、フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが該決定されたフィルタ強度は使用されない後に、前記指示に応じてあるオフセットだけ増分される、方法。
  14. 前記適応的デブロッキング・フィルタリングを行なうために使用される前記デブロッキング・フィルタのフィルタ強度は、前記照度補償および前記色補償の少なくとも1つが前記少なくとも1つのブロックについて使用されるという前記指示に応じて適応化される、請求項13に記載の方法。
  15. 前記フィルタ強度は、2つの近傍ブロックの少なくとも1つが前記照度補償および前記色補償の少なくとも1つを使用するときに変更され、当該2つの近傍ブロックが、前記少なくとも1つのピクチャの特定のピクチャ内、または前記少なくとも1つのピクチャのそれぞれの隣接するピクチャ内にある、請求項14に記載の方法。
  16. 前記フィルタ強度は、当該フィルタ強度がMPEG−4 AVC標準およびITU−T H.264勧告に対応する方法によって決定されるが使用されない後に、1だけ増分される、請求項14に記載の方法。
JP2009544923A 2007-01-04 2008-01-04 マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置 Active JP5467637B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88346607P 2007-01-04 2007-01-04
US60/883,466 2007-01-04
PCT/US2008/000083 WO2008085865A2 (en) 2007-01-04 2008-01-04 Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video

Publications (3)

Publication Number Publication Date
JP2010516097A JP2010516097A (ja) 2010-05-13
JP2010516097A5 JP2010516097A5 (ja) 2011-02-03
JP5467637B2 true JP5467637B2 (ja) 2014-04-09

Family

ID=39609255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009544923A Active JP5467637B2 (ja) 2007-01-04 2008-01-04 マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置

Country Status (6)

Country Link
US (1) US8532175B2 (ja)
EP (1) EP2116061A2 (ja)
JP (1) JP5467637B2 (ja)
KR (1) KR101490534B1 (ja)
CN (1) CN101578874B (ja)
WO (1) WO2008085865A2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
WO2008117963A1 (en) * 2007-03-23 2008-10-02 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
JP5413923B2 (ja) * 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
CN102098516B (zh) * 2011-03-07 2012-10-31 上海大学 多视点视频解码端去块滤波方法
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
KR102024516B1 (ko) 2011-06-30 2019-09-24 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
RU2493668C1 (ru) * 2012-03-15 2013-09-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе локальной коррекции яркости и контрастности опорных кадров без передачи дополнительных служебных данных
RS56675B1 (sr) 2012-06-11 2018-03-30 Samsung Electronics Co Ltd Postupak kodiranja video zapisa koji dele sao parametar prema komponenti boje
US9270993B2 (en) 2012-09-10 2016-02-23 Apple Inc. Video deblocking filter strength derivation
KR102186605B1 (ko) * 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
JP2015005899A (ja) * 2013-06-21 2015-01-08 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
WO2018132043A1 (en) * 2017-01-10 2018-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
US11310535B2 (en) 2017-07-05 2022-04-19 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control for illumination compensation
CN110870307A (zh) * 2017-07-06 2020-03-06 佳稳电子有限公司 同步影像的处理方法及其装置
WO2019088162A1 (ja) * 2017-11-06 2019-05-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
US10715810B2 (en) * 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
CN112203085B (zh) * 2020-09-30 2023-10-17 字节跳动(香港)有限公司 图像处理方法、装置、终端和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100265722B1 (ko) * 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
BRPI0303901B1 (pt) * 2002-07-11 2018-03-06 Godo Kaisha Ip Bridge 1 “Método de determinação de poder de filtragem para determinar um poder de filtragem para remover uma distorção de codificação entre blocos que constituem uma imagem, método de decodificação de imagem móvel para decodificar os dados de imagem móvel codificados, aparelho de determinação de poder de filtragem, e aparelho de codificação de imagem móvel”
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラblモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ/デコーダ
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
KR100922275B1 (ko) 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치

Also Published As

Publication number Publication date
CN101578874B (zh) 2011-12-07
KR20090106505A (ko) 2009-10-09
US20100183068A1 (en) 2010-07-22
CN101578874A (zh) 2009-11-11
JP2010516097A (ja) 2010-05-13
US8532175B2 (en) 2013-09-10
WO2008085865A3 (en) 2008-10-02
WO2008085865A2 (en) 2008-07-17
KR101490534B1 (ko) 2015-02-05
EP2116061A2 (en) 2009-11-11

Similar Documents

Publication Publication Date Title
JP5467637B2 (ja) マルチビュー・コード化ビデオにおける照度補償および/または色補償についてのコーディング・アーチファクトを低減する方法および装置
JP5535485B2 (ja) 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
JP5413923B2 (ja) 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
CA2997837C (en) Method and apparatus of advanced deblocking filter in video coding
CN111988606B (zh) 去区块滤波方法、相应地编码装置和存储介质
JP5124583B2 (ja) 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
JP5801363B2 (ja) 符号化及び復号化のための装置及び方法並びにコンピュータプログラム
JP5411147B2 (ja) ビット深さスケーラビリティのためのアーチファクト除去のための方法および装置
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
KR101841783B1 (ko) 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치
TWI751623B (zh) 具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置
KR101648818B1 (ko) 움직임 보상 보간 및 참조 픽쳐 필터링에 대한 국부적 적응형 필터링을 위한 방법 및 장치
US20090141814A1 (en) Method and Apparatus for Providing Reduced Resolution Update Mode for Multi-View Video Coding
KR101788292B1 (ko) 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR20120081121A (ko) 비디오 인코딩 및 디코딩에서의 크로마 성분에 대한 예측 픽셀의 적응성 필터링을 위한 방법 및 장치
KR20190065620A (ko) 양방향 필터를 사용하는 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121004

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130926

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140124

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5467637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250