JP5416271B2 - 多層映像配信のための適応補間フィルタ - Google Patents

多層映像配信のための適応補間フィルタ Download PDF

Info

Publication number
JP5416271B2
JP5416271B2 JP2012502327A JP2012502327A JP5416271B2 JP 5416271 B2 JP5416271 B2 JP 5416271B2 JP 2012502327 A JP2012502327 A JP 2012502327A JP 2012502327 A JP2012502327 A JP 2012502327A JP 5416271 B2 JP5416271 B2 JP 5416271B2
Authority
JP
Japan
Prior art keywords
layer video
video signal
filter
base layer
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012502327A
Other languages
English (en)
Other versions
JP2012521735A (ja
Inventor
イエ，ヤン
パハラワッタ，ペシャラ，ヴィ
トゥーラピス，アレクサンドロス
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2012521735A publication Critical patent/JP2012521735A/ja
Application granted granted Critical
Publication of JP5416271B2 publication Critical patent/JP5416271B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Description

この出願は、2009年4月20日に出願された米国仮出願第61/170,995号、2009年7月4日に出願された米国仮出願第61/223,027号、2010年1月14日に出願された米国仮出願第61/295,034号、及び2010年2月1日に出願された米国仮出願第61/300,427号の優先権を主張し、これらの全ての内容を援用する。
この開示は、画像処理及び映像圧縮に関する。より具体的には、この開示の実施例は、多層（multi-layered）映像配信に関する。多層映像配信の例示的な実施例は、2Dスケーラブル符号化、2Dコンパチブル3D（2D compatible 3D）及びフレームコンパチブル3D（frame compatible 3D）を含むが、これらに限定されない。
消費者の間での立体的（3D）コンテンツの急速な採用を容易にするために、理想的な家庭内3Dシステムは、既存の再生装置（セットトップボックス、DVD、Blu-rayディスクプレイヤ等）への最小の変更又は変更なしで実装され得るものであるべきである。これらはまた、既存の3D可能ディスプレイ（Samsung及びMitsubishiによるDLPディスプレイ（非特許文献１参照、非特許文献１の全ての内容を援用する）、或るプラズマディスプレイ、偏光に基づくフレーム順次式LCDディスプレイ等）と最大限に互換性があるべきである。
全解像度の3Dコンテンツへの要望は、１つのビューを表す基本レイヤ（下位レイヤ）と更なるビューを表すそれぞれの拡張レイヤ（上位レイヤ）とを有する２つ以上の階層を利用するMPEG-4のAVC/H.264映像符号化標準のMVC（Multiview Video Coding）拡張のような、いくつかのシステムに導いている（非特許文献３参照、非特許文献３の全ての内容を援用する）。これらのレイヤの全ては元の解像度内にある。
H.264/AVCへのSVC（Scalable Video Coding）の拡張（非特許文献２のAnnex G）は、2D映像符号化について多層映像符号化システムを規定している。SVC拡張は、様々な種類のスケーラビリティ（空間スケーラビリティ、品質スケーラビリティ、時間スケーラビリティ、又はこれらのいずれかの組み合わせ）を提供する。例えば、空間スケーラビリティでは、基本レイヤのビットストリームは、低空間解像度の映像信号を伝達し、拡張レイヤのビットストリームは、更なる情報を伝達することにより、基本レイヤのビットストリームと共に復号化された場合、高空間解像度の映像信号が取得できる。他の例として、品質スケーラビリティでは、拡張レイヤのビットストリームは、基本レイヤのビットストリームにより伝達される映像信号の品質を改善し得る更なる情報を伝達する。
D. C. Hutchison, "Introducing DLP 3-D TV", http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf Advanced video coding for generic audiovisual services, http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264, March 2003 Y. Vatis and J. Ostermann, "Comparison of complexity between two-dimensional non-separable adaptive interpolation filter and standard wiener filter", ITU-T SGI 6/Q.6 Doc. VCEG-AA11, Nice, France, Oct. 2005 S. Wittmann, T. Wedi, "Separable Adaptive Interpolation Filter for Video Coding," Proc. ICIP 2008, IEEE International Conference on Image Processing, San Diego, California, Oct. 2008 D. Rusanovskyy, K. Ugur, J. Lainema, "Adaptive Interpolation with Directional Filters," ITU-T SGI 6/Q.6 Doc. VCEG-AG21, Shenzhen, China, Oct. 2007 Y. Ye and M. Karczewicz, "Enhanced Adaptive Interpolation Filter," ITU-T/SG16/Q.6 document C.464, Geneva, Switzerland, Apr. 2008 Y. Vatis, B. Edler, D. T. Nguyen, and J. Ostermann, "Two-dimensional non-separable adaptive Wiener interpolation filter for H.264/AVC", ITU-T SGI 6/Q.6 Doc. VCEG-Z17, Busan, Korea, April 2005
以下の説明から明らかになるように、本願の教示は、SVCシステムのような2Dスケーラブル映像システムの符号化性能を更に改善することができる。
立体的データの配信のための水平サンプリング／サイドバイサイド配置を示す図 フレームコンパチブル3Dシステムアーキテクチャを示す図 符号化側でのフレームコンパチブル3Dシステムの図 復号化側でのフレームコンパチブル3Dシステムの図 水平サンプリング＋サイドバイサイド・パッキング配置の基本レイヤを前提とした拡張レイヤの予測処理を示す図 1D適応フィルタの例を示す図 この開示の実施例による拡張参照処理を示す図 符号化器での選択的参照処理を示す図 基本レイヤ映像のフィルタリングを示す図 多層フレームコンパチブル3D映像システムを示す図
この明細書の一部に組み込まれ、この明細書の一部を構成する添付図面は、この開示の１つ以上の実施例を示しており、例示的な実施例の説明と共に、この開示の原理及び実装を説明するのに役立つ。
この開示の実施例は、画像処理及び映像圧縮に関する。
全ての内容を援用する米国仮出願第61/170,995号は、映像圧縮又は後処理の用途に利用され得る画像又は映像信号の誘導処理（guided processing）を可能にするシステムを開示している。処理は、例えば、特定の所望の性能又は動作を生じ得る特定のフィルタ又は機構を用いたフィルタリング又は映像の補間（スケーリング）でもよい。
全ての内容を援用する米国仮出願61/223,027号は、FCFR（frame-compatible full-resolution）3Dシステムを開示している。様々なフィルタリング、サンプリング及び配置方法を使用して、フレームコンパチブル構成の様々な方法が可能になる。サンプリングは、例えば、水平、垂直又は５の目型（quincunx）でもよい。同様に、配置はサイドバイサイド（side-by-side）、オーバーアンダー（over-under）、ラインインターリーブ（line-interleaved）、チェッカーボード・パッキング（checkerboard packing）等でもよい。例示的なフレーム構成（水平サンプリング／サイドバイサイド配置）が図１に示されている。図１では、左ビューフレーム及び右ビューフレームが水平にサブサンプリングされ、サイドバイサイドで１つの映像フレームにパッキングされる。フレームサンプリング／配置の更なる例は、以下の選択肢を含む。更に、ビューはまた、非対称的にサブサンプリングされてもよい。
・５の目型サンプリング／チェッカーボード・インターリーブ配置（Checkerboard Interleaved Arrangement）
・水平サンプリング／列インターリーブ配置
・垂直サンプリング／行インターリーブ配置
・垂直サンプリング／オーバーアンダー配置
・５の目型サンプリング／サイドバイサイド配置
サブサンプリングは、フレーム解像度を低減するため、高品質3Dコンテンツのユーザ経験を低下させる可能性がある。サブサンプリングの間にフィルタリングが適用され、いくつかの潜在的な問題（例えば、エイリアシング（aliasing））を低減し、映像品質を改善してもよい。それにも拘らず、全解像度の立体的データ（立体的素材）の配信は、多くの用途における3Dシステムの高速の採用及び展開に関連している。
米国仮出願第61/233,027号（図２〜５参照）に記載のフレームコンパチブル3D（frame compatible 3D）システムの或る態様によれば、基本レイヤは、以前にサブサンプリングされて前述の様々なサンプリング方法及び配置のいずれかを使用して多重された２つのビューに対応する。全解像度の映像配信を実現するため、双方のビューについて高解像度に関する欠落した映像情報（例えば、いくつかの高周波数情報）を伝達するために、拡張レイヤが使用される。
基本及び拡張レイヤにより表される映像信号は、非常に相関している。従って、拡張レイヤの効率的な圧縮を促進するため、拡張レイヤの映像を符号化する際の予測として、基本レイヤで再構成された映像が使用されてもよい。更に、図２〜４に示すように、拡張レイヤの潜在的な予測として利用する前に、基本レイヤの情報を処理するための前処理段階が導入されてもよい。このような前処理は、グローバルな動き補償の訂正、システムにより使用されるサンプリング及び配置方法の特性を考慮した固定又は適応補間機構等を含んでもよい。
例えば、処理は、分離型又は非分離型の補間フィルタ、エッジ適応補間機構、ウェーブレット（wavelet）、バンドレット（bandlet）又はリッジレット（ridgelet）方法に基づくフィルタ等を含んでもよい。前処理方法の設計及び選択は、符号化器の判定の一部でもよく、コスト、複雑性及び符号化／品質性能のような様々な検討事項によるユーザ入力に基づいてもよい。
明瞭にするため且つ読みやすくするため、前述の米国仮出願第61/223,027号による3Dシステムアーキテクチャのハイレベルなブロック図が図２に示されている。参照処理ユニット（RPU：reference processing unit）（210）（例えば、3D RPU）は、符号化側に基本レイヤ映像符号化器（220）と拡張レイヤ映像符号化器（230）との間に示されており、RPU（240）（例えば、3D RPU）は、復号化側に基本レイヤ映像復号化器（250）と拡張レイヤ映像復号化器（260）との間に示されている。また、全ての内容を援用する米国仮出願第61/170,995をも参照のこと。参照処理ユニット（210）は、参照画像と、符号化される現在の画像とを取得し、参照画像の指示された処理を実行し、参照画像をできるだけ現在の画像に類似させる。このように、これらの２つの画像に存在し得る相関が利用される。
図２に示すように、3D RPU（210）は、以下に更に説明するメタデータ情報を生成する。概して、この前処理段階の役目は、基本レイヤの映像の特性を拡張レイヤの映像の特性により良く一致させるように処理及び調整することである。これは、例えば、フィルタリング（例えば、シャープニング、低域通過フィルタ）又は他の高度な方法（グローバル／領域の動き補償／テクスチャマッピング等）のような前処理機構を考慮することにより行われてもよい。この開示を通じて記載する方法はまた、１つより多くの拡張レイヤを有する3D映像システム及び2Dスケーラブル映像システムにも適用可能であることを、当業者は理解する。図１０は、このようなシステムの例（例えば、２つの拡張レイヤを有するフレームコンパチブル3D映像システム）を示している。
この開示の残りでは、補間フィルタに基づく技術について説明する。更に、補間と他の前処理ステップとを組み合わせる検討事項についても扱う。
第１の態様によれば、多層映像符号化システムが提供され、基本レイヤ映像符号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤの推定として拡張レイヤ映像符号化器に入力する符号化器処理モジュールとを有する。
第２の態様によれば、多層映像システムが提供され、基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤの推定として拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、拡張レイヤを再構成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールとを有する。
第３の態様によれば、多層映像復号化システムが提供され、基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファとを有する。
第４の態様によれば、多層映像システムが提供され、基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファとを有する。
第５の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタ（最も良く実行するフィルタ）を選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされた最も性能の良いフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
第６の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、予測された基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用することを有する。
第７の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、予測された基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ映像復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされた最も性能の良いフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
第８の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、符号化基準が固定フィルタリングにより満たされる場合、固定フィルタをシグナリングし、拡張レイヤ映像符号化のために固定フィルタと処理された基本レイヤ映像信号とを採用し、他の場合、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用することを有する。
第９の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、符号化基準が固定フィルタリングにより満たされる場合、固定フィルタをシグナリングし、拡張レイヤ映像符号化のために固定フィルタと処理された基本レイヤ映像信号とを採用し、他の場合、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
第１０の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択されたフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用することを有する。
第１１の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択されたフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する。
第１２の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、１つ以上のフィルタ特性基準を定め、一式のフィルタから、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択された複数のフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用することを有する。
第１３の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、１つ以上のフィルタ特性基準を定め、一式のフィルタから、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択された複数のフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
この開示の更なる態様は、この出願の詳細な説明、図面及び特許請求の範囲に示されている。
以下に、適応補間フィルタの導出処理の簡単な検討が行われる。これに続いて、フレーム若しくは2Dコンパチブル3D（2D compatible 3D）（立体又は複数ビュー）又は2Dスケーラブル配信システムの例示的なコンテクスト内で適応フィルタを適用する詳細について説明する。
1.適応補間フィルタの概要
以前から、動き予測処理の精度を広く改善するために、適応補間フィルタ（AIF：adaptive interpolation filter）が研究されている（非特許文献４〜７参照、非特許文献４〜７の全ての内容を援用する）。動き予測処理は、H.264/AVCのような多くの映像符号化システムにおいて時間的冗長度を低減するために使用されている（非特許文献３参照、非特許文献３の全ての内容を援用する）。この開示を通じて、適応フィルタはフィルタとして定義され、その係数は、所定の符号化基準に基づいて適応的に推定される。適応フィルタ係数は入来する映像信号の統計に基づいて導かれるため、これらは、基本レイヤから補間することにより、拡張レイヤの正確な予測信号を取得するために適用されてもよい。
一例として図６を参照すると、基本レイヤ（陰付きの画素）から拡張レイヤ（白色の画素）を補間するために1-Dフィルタが使用されることが仮定される。しかし、以下の処理は、如何なるタップ長の2-D非分離フィルタを導くために容易に拡張可能である。この開示を通じて、‘タップ長（tap length）’という用語は、フィルタタップの数を意味する。
Figure 0005416271
 ただし、h(n)は第nのフィルタ係数であり、Lはフィルタタップ長であり、FO=L/2-1はフィルタオフセットであり、
Figure 0005416271
 及びB(x,y)はそれぞれ位置（x,y）での補間された拡張レイヤの画素及び基本レイヤを示す。
フィルタ係数h(n)は、所定の歪み尺度を最小化することに基づいて適応的に導かれる。２乗誤差の和（Sum of Squared Error）が歪み尺度として使用されることを仮定すると、フィルタ係数は次の式を最小化することにより導かれる。
Figure 0005416271
 ただし、E(x,y)及び
Figure 0005416271
 はそれぞれ位置(x,y)での拡張レイヤの映像を表す実際の画素値及び補完された画素値（例えば、式(1)を用いる）である。
限定ではなく一例として、hopt(n)を導くため、符号化器は、予測誤差SSE（又は他の歪み尺度）を最小化するために線形最適化処理を使用してもよい。最終的に、最適なフィルタ係数は、次の式を解くことにより見つけられてもよい。
Figure 0005416271
 ただし
Figure 0005416271
 換言すると、RT・Rは、補間処理に関与する基本レイヤの映像フレームの全ての画素（
Figure 0005416271
 で示す）の間の自己相関行列であり、RT・Oは補間処理に関与する基本レイヤの映像の全ての画素（
Figure 0005416271
 で示す）と予測される全ての拡張レイヤの画素（
Figure 0005416271
 で示す）との間の相互相関である。
2.多層アプリケーションでのAIF及びその用途
適応補間フィルタ処理は、拡張レイヤの符号化のための予測を改善するために多層（multi-layered）システムにおいて使用されてもよい。この開示の実施例によれば、適応フィルタの最適な係数hopt(n)が導かれると、量子化され、符号化され、例えば、RPUユニットにおける予測処理を支援及び指示するためにシグナリングされるメタデータ情報の一部として、ビットストリームで送信される。この開示を通じて、“シグナリング（signaling）”という用語は、送信されるビットストリームの一部として符号化することを意味する。図２に示すように、このようなメタデータは、符号化器の参照処理ユニット（210）により導かれて送信され、復号化器の参照処理ユニット（240）により受信されて解釈される。他の実施例では、適応フィルタ係数はまた、周辺区画に使用されるフィルタを前提として、量子化の前に予測されてもよい。この開示を通じて、区画（partition）という用語は、画素のセグメントを示すことを意図しており、このセグメントのパラメータは、ビットストリームの画像の他のセグメントのものとは別々にシグナリングされてもよい。
適応フィルタのhopt(n)がフレーム（又は関心のある領域）で導かれた場合、これは全体フレームには最適であるが、フレームの全ての領域（関心のある領域内の全ての小領域）には最適でない可能性がある。更に、量子化は、最適な適応フィルタ係数hopt(n)に歪みを導入する。或る場合には、これは、適応フィルタに対して、特定の領域で特定の固定フィルタより大きい歪みを受けさせる。この開示を通じて、固定フィルタは、固定の係数を有するフィルタとして規定される。更に、適応フィルタ係数の送信に関連するビットオーバーヘッドは、些細なものではなくなる可能性があり、固定フィルタが（フィルタインデックスのみを示すことにより）かなり効率的にシグナリングされ得る。
図２を参照すると、この開示の実施例によれば、符号化器（220）は、以下のラグランジュレート歪みコスト（Lagrangian rate-distortion cost）のような所定の符号化基準に基づいて、使用する最善のフィルタを選択する。
Figure 0005416271
 ただし、Dadapt及びDfixはそれぞれ適応フィルタ及び固定フィルタを使用した場合の補間された拡張レイヤ信号と元の拡張レイヤ信号との間の歪み（例えば、２乗誤差の和、絶対差分の和、主観的品質尺度等）であり、radapt及びrfixはそれぞれ適応フィルタ係数及び固定フィルタインデックスを送信するために使用されるビットレート（すなわち、ビット数）であり、λはラグランジュ・ラムダファクタである。符号化器（220）は、Jfix≦Jadaptである場合に固定フィルタを使用することを判定してもよく、Jadapt＜Jfixである場合に適応フィルタを使用することを判定してもよい。判定はビットストリームでシグナリングされる。映像符号化の当業者は、式(7)及び(8)が単に一例としてレート歪みコストを使用しており、その代わりに又は追加でシステムの複雑性、主観的品質等を考慮したもののような他の符号化基準も使用されてもよいことを認識する。
この開示の更なる実施例によれば、様々な特性を有する複数の適応フィルタを含むフィルタ選択方法が提供される。限定ではなく一例として、1-D及び2-D適応フィルタが導かれ、フィルタ選択処理に含まれてもよい。他の実施例も考えられ、異なるタップ長及び／又は異なるフィルタ係数の対称性（以下に説明する）を有する適応フィルタも考慮されてもよい。更に他の実施例では、これらのフィルタの特定の１次結合が考慮されてもよい。
図２のフレームコンパチブル3Dシステムでは、基本レイヤ及び拡張レイヤは、双方のビューについての情報を含む。このような情報は、ルマ（luma）成分と２つのクロマ（chroma）成分とを含んでもよい。或る実施例によれば、適応補間フィルタは、個々のビュー及び個々の成分毎に導かれて別々にシグナリングされてもよく、双方のビュー及び／又は色成分の全て若しくは一部で併せて導かれてもよい（特に２つのクロマ成分は同じフィルタを共有してもよい）。更に、更なる実施例によれば、このような処理はまた、必要に応じて、RGBドメイン又は他の色空間で生じてもよい。また、このような処理は、映像コンテンツがプログレッシブであるかインターレースであるかに拘らず適用してもよい。
ビュー及び／又は色成分の間で同じ適応フィルタが共有され、その結果、係数のシグナリングに関連するビットオーバーヘッドが低減される実施例が考えられ得る。更に図２を参照すると、実施例によれば、符号化器（220）は、適応フィルタを或るビュー及び／又は色成分に適用し（これらは同じフィルタでもよく、異なるフィルタでもよい）、固定フィルタを残りのビュー及び／又は色成分に適用する（同様に、これらは同じフィルタでもよく、異なるフィルタでもよい）。このような判定（同じフィルタを共有するか異なるフィルタを使うか、適応フィルタを使用するか固定フィルタを使用するか等）は、符号化器（220）により行われ、復号化器（250）にシグナリングされてもよい。
一例として、２つのビューでのフィルタの判定について検討することができる。映像符号化の当業者は、同じ概念が複数の色成分にも同様に容易に拡張可能であることを認識する。同じフィルタ（適応又は固定）が双方のビューで使用される場合、レート歪みコスト（又は他の符号化基準）は、式(9)の形式になる。ただし、ビットオーバーヘッドは唯一のフィルタを送信するためのものである。或いは、異なるフィルタが２つのビューに適用されてもよい（双方のビューが異なる適応フィルタを使用する、双方のビューが異なる固定フィルタを使用する、又は１つのビューが適応フィルタを使用して他のビューが固定フィルタを使用する等）。後者の場合のレート歪みコストは、式(10)の形式になる。
Figure 0005416271
 更に図２を参照すると、符号化器（220）は、所望のレート歪みコストを提供するフィルタ構成を選択する。このような符号化器の判定がシーケンスレベル、画像レベル又は領域レベルで行われ得る実施例が考えられ得る。例えば、同じ適応フィルタは、１つの画像の双方のビュー及び／又は複数の色成分或いは１つの画像の１つの領域に使用されてもよく、異なる適応フィルタは、他の画像の各ビュー及び／又は各色成分或いは１つの画像の他の領域に使用されてもよい。
この開示の実施例によれば、フィルタ係数の送信に関連するビットオーバーヘッドを低減する更なる方法は、フィルタの対称性を実現することである。一例として、Lタップの1-D適応フィルタが使用される場合、以下の式は、固有のフィルタ係数の数を50%だけ低減する。
Figure 0005416271
 タップL×Kを有する2-D適応フィルタでは、フィルタの対称性は、とりわけ、横軸のみ（式(12)）、縦軸のみ（式(13)）、横軸及び縦軸の双方（式(14)）、対角線（式(15)）でもよい。3Dシステムでは、フィルタの対称性は、シーケンスレベル、画像レベル又は領域レベルで判定されてもよい。更に、１つのビューは１つの種類のフィルタの対称性を使用し、他のビューが他の種類のフィルタの対称性を使用してもよい。
Figure 0005416271
 この開示の或る実施例によれば、適切な補間フィルタ（固定又は適応）を選択する処理を高速化するための複数の方法が使用されてもよい。例えば、全体の基本レイヤフレーム又は関心のある全体の領域（映像フレームの一部でもよい）で適応フィルタ係数を導く代わりに、基本レイヤの映像の小領域又は複数の小領域が使用されてもよい。これは、式(3)の自己相関及び相互相関行列を取得するために必要な計算を低減する。他の例として、図２を参照すると、符号化器（220）は、まず、特定の固定フィルタを使用して予測品質を検査してもよい。固定フィルタの予測が十分正確である場合（例えば、予測誤差エネルギーが所定の閾値より小さい場合）、符号化器は、固定フィルタを直接使用し、適応フィルタを導いて適応フィルタ及び固定フィルタから最善のフィルタを選択する処理を完全に迂回してもよい。
更に図２を参照すると、この開示の他の実施例によれば、異なるフィルタリング方式が映像フレームの異なる領域に別々に適用される場合、符号化器（220）は、現在の領域についてフィルタの選択肢を絞るための指針として、周辺領域を使用してもよい。例えば、符号化器（220）は、特定の低い複雑性の画像分析を実行し、領域の特性を理解してもよい。現在の領域がその周辺と同様の特性を有する場合、周辺と同じフィルタが使用されてもよい。或いは、周辺領域で使用されるフィルタと同様のフィルタ特性を有する複数のフィルタが、現在の領域のフィルタの候補として評価されてもよい。周辺領域の識別に関して、空間的周辺（例えば、同じ映像の現在の領域の上、左、又は左上にある領域）と、時間的周辺（例えば、時間的に隣接する同じ位置にある領域であるが異なる映像の画像）との双方がこの目的のために考慮されてもよい。
“Buffered Adaptive Filters”という題で2010年1月14日に出願された前述の米国仮出願第61/295,034号に、バッファ適応フィルタ（BAF：buffered adaptive filter）方式について説明されている。この全ての内容を援用する。BAF方式では、前に送信されたフィルタがフィルタバッファに格納され、将来の映像信号の符号化のために使用される。どのようにフィルタバッファの容量を判定するか、フィルタバッファが一杯になった場合にどのように既存のフィルタを新たなフィルタと交換するか、どのようにフィルタバッファのフィルタの順序を配置するか等を含み、様々な動的バッファ管理方法の検討も説明されている。BAF方式の概念は、3D及びスケーラブル映像システムに直接拡張され得る。
この開示の実施例によれば、前に送信された適応補間フィルタは、１つ以上のフィルタバッファに格納され、将来の映像信号の符号化のための潜在的なフィルタの候補として選択されてもよい。更に、特定の固定フィルタもまた、フィルタバッファに格納されてもよい。フィルタバッファは、最大符号化効率及び／又は補間の複雑性の低減の検討事項に基づいて、フィルタの追加、削除、並び替え等が行われるように動的に管理される。フィルタバッファ管理コマンド（例えば、フィルタ追加／削除／並び替え）は、符号化器により明示的にシグナリングされてもよい。
或いは、図２を参照すると、符号化器（220）及び復号化器（250）は、フィルタバッファを管理するために前に合意したルールを使用してもよい。例えば、これらの双方は、フィルタ使用カウントに従って定期的にバッファ内のフィルタを並び替えてもよく（例えば、頻繁に使用されるフィルタが小さいインデックスを与えられる）、これらの双方は、バッファが一杯の場合に最後に使用されたフィルタを削除してもよい等である。フィルタバッファは、各ビュー及び／又は各色成分について併せて又は別々に維持管理されてもよい。また、フィルタバッファが基本レイヤ及び拡張レイヤについて併せて又は別々に維持管理される他の実施例も考えられ得る。
この開示の他の実施例によれば、拡張レイヤの予測の品質を改善するために、基本レイヤと拡張レイヤとの間で他の種類の処理が実行されてもよい。例えば、図７に示すように、補間フィルタ（720）及び動き予測（710）が、参照処理（705）の一部として実行されてもよい。例えば、3D映像システムでは、動き予測（710）は、場合によっては２つのビューの間の不一致を考慮するために使用される。説明を容易にするために、この拡張された参照処理方式は、図４の復号化器（400）の一部（405）として示されているが、同じ方式は、図３の符号化器（300）に示す参照処理ユニット（305）にも存在する。また、動き予測は、グローバルに（全体の画像で）実行されてもよく、ローカルに（画像の領域で）実行されてもよい。これらの処理ステップ（710、720）の順序は交換可能である。適応補間フィルタ（720）が導かれる前に動き予測（710）が適用される場合（図７に示す）、式(5)の画素値は
Figure 0005416271
 になる。これらは、動き予測（又は他の前処理ステップ）が実行される前の基本レイヤ映像信号を表す。換言すると、以下のようになる。
Figure 0005416271
 ただし、(mvx,mvy)は動きベクトルである。
動き予測が使用される場合、式(1)は式(17)に変更される。式(1)と同様に、一例として、1-Dフィルタが使用されることを仮定する。この開示の実施例によれば、参照処理ユニット（705）の中の動き予測はまた、サブピクセルの精度で実行されてもよい。この場合、動き補間は、サブピクセル値を取得するために使用される。動き補間の間に、簡単な固定フィルタ（H.264/AVC 6タップフィルタ、バイリニア・フィルタ等）が最初に使用されてもよい。動き予測の後に、式(17)及び式(2)〜(10)で前述した処理に従って、前述の適応フィルタ及びフィルタ選択処理が実行されてもよい。選択されたフィルタが変化しないまで、所定の品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこのような基準のいずれかの組み合わせで、動き予測処理とフィルタ選択処理との組み合わせが繰り返し実行されてもよい。更なる実施例では、符号化処理、事前符号化処理又は他の前処理からの完全な動き情報（例えば、動きベクトル、重み付けパラメータ、異なる予測参照を利用する区画についての情報）もまた、適応フィルタの計算で利用されてもよい。換言すると、動き補償されて補完された拡張レイヤの適応フィルタを導くために、式(17)は式(1)の代わりに検討される。
Figure 0005416271
 高度な映像符号化器は、符号化が実行される前に入力映像信号をより良く理解するために、しばしば画像及び映像分析を実行する。図２Ａ〜Ｂを参照すると、映像符号化器（220）が、入力画像を複数の領域に分割する画像セグメンテーションを適用し得る更なる実施例が考えられ得る。複数の領域のそれぞれは、特定の同様の特徴を処理する。次に、前述の適応フィルタ及びフィルタ選択処理は、領域に基づいて実行される。各領域は、使用する最善のフィルタを独立して選択してもよい。一例として、画像、ビュー又は色成分が４つの領域に区分され、領域0及び領域1が適応フィルタを選択し、領域2及び領域3が固定フィルタを選択することを仮定する。フィルタ選択が実行された後に、領域0及び領域1での映像信号のみを使用して適応フィルタを洗練することが有利になり得る。この理由は、適応フィルタがこれらの２つの領域内のみに適用されるからである。
この開示の実施例によれば、図３のフレームコンパチブル3Dシステム（300）を検討すると、拡張レイヤ映像ブロックを実際に符号化する間に、拡張レイヤ映像ブロックの予測ブロックは、RPU予測器（図３に示す参照処理ユニット（305）の出力であるアップサンプリングされた基本レイヤ）に基づいてもよく、拡張レイヤ内の時間予測器（すなわち、拡張レイヤ参照画像記憶装置（320）に格納された前に符号化された拡張レイヤの映像）に基づいてもよい。現在の拡張レイヤの画像が符号化された後に、ブロックに基づく符号化判定が、参照プロセッサ（305）にフィードバックされてもよい。参照プロセッサは、RPU予測器よりも時間予測器を使用するように選択したブロックをフィルタ計算処理から除外することにより、適応フィルタを洗練してもよい。洗練されたフィルタは、再び拡張レイヤの映像を符号化するために使用されてもよい。このような繰り返し処理は、実現可能な符号化利得が所定の閾値Tより小さくなるまで、若しくは最大数の繰り返しが実行されるまで、又は他の符号化基準が満たされるまで続いてもよい。この開示の更なる実施例によれば、前述の繰り返し処理を使用した2Dコンパチブル3Dシステム及び2Dスケーラブルシステムもまた考えられ得る。このような繰り返し処理の速度及び複雑性を改善する更に他の実施例について、以下に説明する。
前述の繰り返し処理は、適応フィルタの計算と、拡張レイヤの映像の完全な符号化との間に繰り返す。他の実施例では、拡張レイヤの完全な符号化を実行する代わりに、RPU予測器ではなく時間予測器を使用する可能性が高いブロック又は領域を識別するために、繰り返し処理の間に事前分析及び／又は高速モード判定が使用されてもよい。これらのブロック又は領域は、適応フィルタの計算から除外されてもよい。一例として、拡張レイヤの画像の２つの領域を識別するために事前分析が使用され、領域0は時間予測器を使用する可能性が高く、領域1はRPU予測器を使用する可能性が高いことを仮定する。次に、適応フィルタを計算するために、領域1からの映像信号のみが使用されてもよい。これらの適応フィルタは、レート歪み最適化に基づく全モード判定の代わりに高速モード判定が使用される“軽量（light-weight）”拡張レイヤ符号化パスを実行するために使用されてもよい。“軽量”符号化パスの符号化結果に基づいて、領域1は、RPU予測器を使用する可能性がある映像信号のより正確な推定を含むように洗練されてもよい。次に、適応フィルタはまた、洗練された領域1に基づいて洗練されてもよい。これらの洗練された適応フィルタは、より高度のモード判定を使用した他の符号化パスにフィードバックされる。繰り返し処理は、前述の１つ以上の基準が満たされるまで続いてもよい。図８は、選択的参照処理方法を示しており、参照処理で使用される選択されたブロック／領域は、事前分析又は高速モード判定（830）を実行することにより判定されてもよく、矢印（806）により示すようにレート歪み最適化ユニット（840）の出力を参照処理モジュール（805）に取り入れることにより判定されてもよい。
図９に示すようなこの開示の更なる実施例によれば、これまでに前述した適応フィルタ機構の全てはまた、基本レイヤの映像品質を改善するために基本レイヤの映像に適用されてもよい。このようなフィルタリングは、RPU（903）処理ループ（矢印（901）で示す）の外側に適用されてもよく、或いは、RPU（903）処理ループ（矢印（902）で示す）の内側に適用されてもよい。これにより、拡張レイヤの符号化のための予測信号を取得するために、フィルタリングされた基本レイヤの映像（より良い品質を有する）が補間の間に使用される。基本レイヤの映像がフィルタリングされると、拡張レイヤをフィルタリングする前述の検討事項の全て（符号化側のフィルタ選択及びシグナリング、バッファ適応フィルタ等）が同様に適用されてもよい。他の実施例では、RPU（903）処理で使用された適応フィルタの計算及びフィルタ（904）での適応フィルタの計算は、繰り返し判定されてもよい。
この開示の様々な実施例は、基本レイヤ及び拡張レイヤの双方の映像が第１のビュー及び第２のビューに関する映像信号を含むフレームコンパチブルの全解像度の3Dシステムの例を使用して説明されているが、この開示の教示は、他の3Dスケーラブルシステムにも2Dスケーラブルシステムにも容易に適用可能である。例えば、基本レイヤが第１のビューに関する映像信号を含み、拡張レイヤが第２のビューに関する映像信号を含む2Dコンパチブル3Dシステムでは、参照処理ユニットはまた、適応及び／又は固定フィルタリングを符号化された基本レイヤの映像に適用するために使用されてもよい。処理された基本レイヤの映像（第１のビューを表す）は、拡張レイヤの映像（第２のビューを表す）の符号化のための予測として使用されてもよい。2Dスケーラブルシステムでは、基本レイヤは、特定の解像度の2D画像についての情報を含んでもよく、拡張レイヤは、その解像度の増加を可能にする更なる情報を含んでもよく、参照処理ユニットは、3Dの場合に前述したものと同様の機構を使用して基本レイヤのサンプルから拡張レイヤのサンプルを予測する機構を提供してもよい。符号化基準に基づく最も性能の良いフィルタの選択、異なる色成分について別々に及び／又は併せて固定及び／又は適応フィルタを適用すること、適応フィルタのバッファ、符号化された基本レイヤの映像への動き予測（例えば、ビューの不一致の補償）の適用、適応フィルタの計算及び拡張レイヤの映像の符号化の繰り返し等を含むこの開示の様々な教示は、このようなシステムに容易に拡張可能である。更に、この開示の教示は、２つより多くのビューを含むマルチビュー符号化システムにも拡張可能である。例えば、複数のビューがフレームコンパチブルフォーマットに存在する場合、この教示が適用されてもよい。この教示はまた、米国仮出願61/223,027に記載のような、１つより多くの拡張レイヤが存在し得る3D立体及びマルチビュー符号化システムにも適用可能である。この場合、この開示に記載した教示を含む参照処理ユニットは、前に符号化されたレイヤから拡張レイヤ毎の予測を取得するために使用されてもよい。この開示の教示はまた、１つより多くの拡張レイヤを有する様々な3D映像システム及び2Dスケーラブル映像システムにも適用可能である。１つより多くの拡張レイヤを有するフレームコンパチブル3D立体システムの例は、図１０に示されている。
この開示の方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで実装されてもよい。ブロック、モジュール又はコンポーネントとして前述した特徴は、一緒に実装されてもよく（例えば、統合論理装置のような論理装置）、別々に実装されてもよい（例えば、別々の接続された論理装置）。この開示の方法のソフトウェアの部分は、実行されたときに、少なくとも部分的に前述の方法を実行する命令を有するコンピュータ可読媒体を有してもよい。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（RAM）及び／又は読み取り専用メモリ（ROM）を有してもよい。命令は、プロセッサ（例えば、デジタルシグナルプロセッサ（DSP）、特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA））により実行されてもよい。
本発明の実施例は、以下に示す１つ以上の例示的な実施例に関してもよい。
１．基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと
を有する多層映像符号化システム。
２．基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、前記拡張レイヤを再構成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールと
を有する多層映像システム。
３．前記符号化器処理モジュールは、前記基本レイヤ映像の出力をフィルタリングし、前記拡張レイヤ映像信号を推定する適応フィルタを有する、上記の実施例１又は２に記載の多層映像システム。
４．前記適応フィルタの係数は、前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器に入力される入力映像信号の統計に基づいて導かれる、上記の実施例３に記載の多層映像システム。
５．前記適応フィルタの係数は、前記拡張レイヤ映像信号と推定された拡張レイヤ映像信号との間の歪み尺度に基づいて導かれる、上記の実施例３に記載の多層映像システム。
６．前記歪み尺度は、２乗誤差の和、絶対差分の和、主観的品質尺度又はこれらの組み合わせから選択される、上記の実施例５に記載の多層映像システム。
７．入力映像信号の区画に対応するフィルタ係数は、前記区画の周辺区画について導かれたフィルタを使用して予測される、上記の実施例３に記載の多層映像システム。
８．前記適応フィルタの係数は、フレーム、関心のある領域、前記フレーム内の領域又は前記関心のある領域の一部で導かれる、上記の実施例３に記載の多層映像システム。
９．前記符号化器処理モジュールは、適応フィルタと固定フィルタとを有する、上記の実施例１又は２に記載の多層映像システム。
１０．前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、上記の実施例９に記載の多層映像システム。
１１．前記符号化基準は、ラグランジュレート歪みコストである、上記の実施例１０に記載の多層映像システム。
１２．前記符号化基準は、システムの複雑性、主観的品質又はこれらの組み合わせに基づく、上記の実施例１０に記載の多層映像システム。
１３．前記符号化器処理モジュールは、１次元適応フィルタ、２次元適応フィルタ、異なるタップ長を有する適応フィルタ及び異なる係数の対称性を有する適応フィルタのうち１つ以上を有する、上記の実施例３に記載の多層映像システム。
１４．前記符号化器処理モジュールは、符号化基準に基づいて、前記１次元適応フィルタ、前記２次元適応フィルタ、前記異なるタップ長を有する適応フィルタ、前記異なる係数の対称性を有する適応フィルタ及びこれらの一次結合の中から、最も性能の良いフィルタを選択する、上記の実施例１３に記載の多層映像システム。
１５．前記適応フィルタは、フィルタ係数の対称性を有する１次元である、上記の実施例３に記載の多層映像システム。
１６．前記適応フィルタは、フィルタ係数の対称性を有する２次元である、上記の実施例３に記載の多層映像システム。
１７．前記フィルタの対称性は、横軸のみ、縦軸のみ、横軸及び縦軸の双方、又は対角線のうち１つである、上記の実施例１６に記載の多層映像システム。
１８．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信する、上記の実施例１又は２に記載の多層映像システム。
１９．適応フィルタを更に有し、
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューのそれぞれについて、並びに前記第１のビュー及び前記第２のビューの各色成分について別々に導かれる、上記の実施例１８に記載の多層映像システム。
２０．前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューの双方について、及び／又は前記第１のビュー及び前記第２のビューの色成分の全て又は一部について併せて導かれる、上記の実施例１８に記載の多層映像システム。
２１．前記第１のビュー及び前記第２のビューのそれぞれ又は双方の２つのクロマ成分について同じフィルタが使用される、上記の実施例１８に記載の多層映像システム。
２２．前記符号化器処理モジュールは、固定フィルタを更に有する、上記の実施例１８に記載の多層映像システム。
２３．前記第１のビュー、前記第２のビュー、及び／又は前記第１のビュー及び前記第２のビューの各色成分のそれぞれについて、前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、上記の実施例２２に記載の多層映像システム。
２４．前記固定フィルタの性能が所定の閾値を満たす場合、前記適応フィルタの計算及び評価は、スキップされる、上記の実施例２３に記載の多層映像システム。
２５．前記最も性能の良いフィルタの選択は、シーケンスレベル、画像レベル及び領域レベルのうち１つ以上から選択されたレベルで実行される、上記の実施例２３に記載の多層映像システム。
２６．前記符号化基準は、レート歪みコスト関数である、上記の実施例２３に記載の多層映像システム。
２７．基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと
を有する多層映像符号化システム。
２８．基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像復号化システム。
２９．基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前記前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、前記基本レイヤ映像信号に基づいて前記拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像システム。
３０．前記１つ以上の符号化フィルタバッファは、固定フィルタを更に有する、上記の実施例２７又は２９に記載の多層映像システム。
３１．前記１つ以上の復号化フィルタバッファは、固定フィルタを更に有する、上記の実施例２８又は２９に記載の多層映像システム。
３２．前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、動的に管理されるフィルタバッファである、上記の実施例２７、２８又は２９に記載の多層映像システム。
３３．前記動的フィルタバッファは、フィルタの追加、フィルタの削除及びフィルタの並び替えのうち少なくとも１つを通じて動的に管理される、上記の実施例３２に記載の多層映像システム。
３４．フィルタバッファ管理コマンドは、前記基本レイヤ映像符号化器及び／又は前記拡張レイヤ映像符号化器によりシグナリングされる、上記の実施例３２又は３３に記載の多層映像システム。
３５．動的なフィルタバッファの管理は、前記符号化器処理モジュールと前記復号化器処理モジュールとの間で合意されたフィルタバッファ管理ルールに基づく、上記の実施例３２又は３３に記載の多層映像システム。
３６．前記フィルタバッファ管理ルールは、フィルタ使用カウントに従って符号化器のフィルタバッファ及び復号化器のフィルタバッファ内でフィルタの並び替えを有する、上記の実施例３５に記載の多層映像システム。
３７．より頻繁に使用されるフィルタが小さいインデックスを与えられる、上記の実施例３６に記載の多層映像システム。
３８．対応する符号化器のフィルタバッファ及び対応する復号化器のフィルタバッファが一杯になった場合、最後に使用されたフィルタが対応する符号化器のフィルタバッファ及び対応する復号化器のフィルタバッファから削除される、上記の実施例３３に記載の多層映像システム。
３９．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記第１のビュー又は前記第２のビューのそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
４０．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、１つ以上の色成分を示す映像信号を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記１つ以上の色成分のそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
４１．前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記基本レイヤ及び前記少なくとも１つの拡張レイヤのそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
４２．前記基本レイヤ映像信号は、処理された基本レイヤ映像信号を形成するように処理され、
前記適応フィルタは、前記処理された基本レイヤ映像信号に基づいて導かれる、上記の実施例１ないし４１のうちいずれか１つに記載の多層映像システム。
４３．前記処理された基本レイヤ映像信号は、前記基本レイヤ映像信号の動き予測である、上記の実施例４２に記載の多層映像システム。
４４．前記動き予測は、グローバル及び／又はローカルに実行される、上記の実施例４３に記載の多層映像システム。
４５．前記動き予測は、サブピクセルの精度で実行される、上記の実施例４３に記載の多層映像システム。
４６．得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、適応フィルタリングと動き予測との組み合わせが繰り返し実行される、上記の実施例４３に記載の多層映像システム。
４７．前記拡張レイヤは、前に符号化された拡張レイヤの映像に基づく現在の拡張レイヤの映像の時間予測器を更に有する、上記の実施例４に記載の多層映像システム。
４８．前記拡張レイヤの推定は、映像ブロックに基づき、或るブロックはRPU予測器に基づいて予測され、或るブロックは時間予測器に基づいて予測され、或るブロックはこれらの組み合わせに基づいて予測される、上記の実施例４７に記載の多層映像システム。
４９．繰り返しの拡張レイヤの符号化が実行され、
前記適応フィルタは、少なくとも部分的に、時間予測器に基づいて予測された拡張レイヤのブロック及び対応する基本レイヤのブロックを計算から除外することにより計算され、
計算された適応フィルタは、再び前記拡張レイヤを符号化するために使用され、
拡張レイヤの符号化は、実現可能な符号化利得が所定の閾値より小さくなるまで、又は特定の数の繰り返しが実行されるまで、再び繰り返される、上記の実施例４８に記載の多層映像システム。
５０．時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを識別するために、事前分析が実行される、上記の実施例４８に記載の多層映像システム。
５１．時間予測器を使用して予測される可能性のある前記識別された拡張ブロックは、少なくとも部分的に、前記適応フィルタの導出から除外される、上記の実施例５０に記載の多層映像システム。
５２．適応フィルタリングが前記基本レイヤの映像に適用され、
対応する適応フィルタの係数がシグナリングされる、上記の実施例３ないし５１のうちいずれか１つに記載の多層映像システム。
５３．前記基本レイヤの映像フィルタリングは、RPU処理ループの外側又は内側に適用される、上記の実施例５２に記載の多層映像システム。
５４．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
５５．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
５６．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
５７．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ映像復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
５８．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
５９．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
６０．前記符号化基準は、ラグランジュレート歪みコストである、上記の実施例５４ないし５９のうちいずれか１つに記載の多層映像方法。
６１．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の前記画像の現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
６２．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する多層映像方法。
６３．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
６４．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
６５．前記周辺領域は、時間的周辺、空間的周辺又は時間的及び空間的周辺である、上記の実施例６１ないし６４のうちいずれか１つに記載の多層映像方法。
６６．前記基本レイヤ映像信号及び前記拡張レイヤ映像信号のそれぞれは、第１のビュー及び第２のビューを有する、上記の実施例５５、５７、６０、６２又は６４に記載の多層映像方法。
６７．前記基本レイヤ及び前記少なくとも１つの拡張レイヤは、フレームコンパチブル3D映像信号、2Dコンパチブル3D映像信号又は2Dスケーラブル映像信号を受信する、上記の実施例１ないし２７又は２９ないし５３のうちいずれか１つに記載の多層映像システム。
６８．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化する符号化器。
６９．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化する装置。
７０．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化するシステム。
７１．コンピュータに対して上記の実施例５４ないし６８のうち１つ以上に記載の方法を実行させる一式の命令を含むコンピュータ可読媒体。
７２．映像信号を符号化するための上記の実施例５５、５６、５７、５９、６０、６２、６４、６５又は６６のうち１つ以上に記載の方法の使用。
７３．映像信号を復号化するための上記の実施例５５、５６、５７、５９、６０、６２、６４、６５又は６６のうち１つ以上に記載の方法の使用。
前述の例は、どのようにフレームコンパチブル3D配信のための適応補間フィルタの実施例を作って使用するかについて、当業者に完全な開示及び説明を与えるために提供されており、発明者がこの開示として考えるものの範囲を限定することを意図しない。この開示を実施する前述のモードの変更は、映像技術の当業者により使用されてもよく、特許請求の範囲内にあることを意図する。明細書に記載の全ての特許及び刊行物は、この開示が関係する当業者のレベルを示し得る。この開示で引用された全ての参考文献は、各参考文献の全てが個々に援用されるように、同じ程度まで援用する。
この開示は特定の方法又はシステムに限定されないことがわかる。特定の方法又はシステムは、当然に変更されてもよい。ここで用いられる用語は、特定の実施例を説明するためのもののみであり、限定を意図しないことがわかる。この明細書及び特許請求の範囲で用いられる単数形は、明確に別のものとして示さない限り、複数の指示対象を含む。“複数”という用語は、明確に別のものとして示されない限り、２つ以上の指示対象を含む。特に言及しない限り、ここで用いられる全ての技術及び科学用語は、この開示が関係する当業者により一般的に理解されるものと同じ意味を有する。
この開示の複数の実施例について説明した。それにも拘らず、この開示の要旨及び範囲から逸脱することなく、様々な変更が行われてもよいことがわかる。従って、他の実施例も、特許請求の範囲内にある。

Claims (39)

  1. 元の基本レイヤ映像信号及び少なくとも１つの元の拡張レイヤ映像信号を有する入力映像信号を受信するように構成された多層映像システムであって、
    前記元の基本レイヤ映像信号を受信するように構成された基本レイヤ映像符号化器を有する基本レイヤと、
    前記基本レイヤに関連し、前記少なくとも１つの元の拡張レイヤ映像信号のうち１つ以上を受信するようにそれぞれが構成された拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
    前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定信号として前記拡張レイヤ映像符号化器のうち少なくとも１つに入力する少なくとも１つの適応フィルタを有する符号化器処理モジュールと
    を有し、
    前記元の基本レイヤ映像信号及び前記少なくとも１つの拡張レイヤ映像信号は、複数の区画に分割されるように構成され、
    前記少なくとも１つの適応フィルタは、前記複数の区画の全セット又は一部の区画に適用するために選択され、
    前記少なくとも１つの適応フィルタは、フィルタ係数を有し、前記少なくとも１つの適応フィルタの前記フィルタ係数は、前記少なくとも１つの適応フィルタの適用の前に、前記全セット又は一部の区画の各区画内の画像情報と前記全セット又は一部の区画の各区画の周辺の１つ以上の区画内の画像情報とのうち少なくとも１つに基づいて調整され、
    前記少なくとも１つの拡張レイヤは、前に符号化された拡張レイヤの映像に基づく現在の拡張レイヤの映像の予測器を有する時間予測器と、前記少なくとも１つの適応フィルタを介して得られた基本レイヤから拡張レイヤへの予測についての情報を含むアップサンプリングされた基本レイヤの映像を有する参照処理ユニット（RPU）予測器とを有し、
    前記拡張レイヤの推定信号は、映像ブロックに基づき、前記拡張レイヤの或るブロックは前記RPU予測器に基づいて予測され、前記拡張レイヤの或るブロックは、前記時間予測器に基づいて予測される多層映像システム。
  2. 前記基本レイヤは、基本レイヤ映像復号化器を更に有し、
    前記少なくとも１つの拡張レイヤの各拡張レイヤは、拡張レイヤ映像復号化器を更に有し、
    前記多層映像システムは、
    前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、前記拡張レイヤを再構成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器のうち少なくとも１つに入力する復号化器処理モジュールを更に有し、
    前記基本レイヤ映像復号化器は、前記基本レイヤ映像符号化器の出力を受信するように構成され、各拡張レイヤ映像復号化器は、前記拡張レイヤ映像符号化器の１つ以上の出力を受信するように構成される、請求項１に記載の多層映像システム。
  3. 前記少なくとも１つの適応フィルタの前記フィルタ係数は、フレーム、関心のある領域、前記フレーム内の領域又は前記関心のある領域の一部で導かれる、請求項１又は２に記載の多層映像システム。
  4. 前記少なくとも１つの適応フィルタの前記フィルタ係数は、前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器に入力される入力映像信号の統計に基づいて導かれる、請求項３に記載の多層映像システム。
  5. 前記少なくとも１つの適応フィルタの前記フィルタ係数は、前記少なくとも１つの元の拡張レイヤ映像信号のそれぞれと推定された拡張レイヤ映像信号との間の歪み尺度に基づいて導かれる、請求項３に記載の多層映像システム。
  6. 入力映像信号の区画に対応する前記フィルタ係数は、前記区画の周辺区画について導かれたフィルタを使用して予測される、請求項３に記載の多層映像システム。
  7. 前記符号化器処理モジュールは、少なくとも１つの固定フィルタを更に有する、請求項１又は２に記載の多層映像システム。
  8. 前記少なくとも１つの固定フィルタは、前記複数の区画の特定の区画に適用され、前記少なくとも１つの適応フィルタの前記フィルタ係数は、適用の前に、前記少なくとも１つの適応フィルタが適用される前記全セット又は一部の区画の各区画に基づいて調整され、前記少なくとも１つの固定フィルタが適用される特定の区画に基づいて調整されない、請求項７に記載の多層映像システム。
  9. 前記符号化器処理モジュールは、１次元適応フィルタ、２次元適応フィルタ、異なるタップ長を有する適応フィルタ及び異なる係数の対称性を有する適応フィルタのうち１つ以上を有する、請求項３に記載の多層映像システム。
  10. 前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信する、請求項１又は２に記載の多層映像システム。
  11. 適応フィルタを更に有し、
    前記適応フィルタのフィルタ係数は、前記第１のビュー及び前記第２のビューのそれぞれについて、並びに前記第１のビュー及び前記第２のビューの各色成分について別々に導かれる、請求項１０に記載の多層映像システム。
  12. 前記適応フィルタのフィルタ係数は、前記第１のビュー及び前記第２のビューの双方について、及び／又は前記第１のビュー及び前記第２のビューの色成分の全て又は一部について併せて導かれる、請求項１０に記載の多層映像システム。
  13. 前記第１のビュー及び前記第２のビューのそれぞれ又は双方の２つのクロマ成分について同じフィルタが使用される、請求項１０に記載の多層映像システム。
  14. 元の基本レイヤ映像信号及び少なくとも１つの元の拡張レイヤ映像信号を有する入力映像信号を受信するように構成された多層映像符号化システムであって、
    前記元の基本レイヤ映像信号を受信するように構成された基本レイヤ映像符号化器を有する基本レイヤと、
    前記基本レイヤに関連し、前記少なくとも１つの元の拡張レイヤ映像信号のうち１つ以上を受信するようにそれぞれが構成された拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
    前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、前記元の基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する少なくとも１つの適応フィルタを有する符号化器処理モジュールと、
    前の信号について導かれた適応フィルタが格納されて将来の映像信号を符号化するように構成された１つ以上の符号化フィルタバッファと
    を有し、
    １つ以上の適応フィルタは、前記１つ以上の符号化フィルタバッファに追加可能であり、或いは前記１つ以上の符号化フィルタバッファから削除可能であり、或いは前記基本レイヤ映像信号への前記少なくとも１つの適応フィルタの適用に続いて前記１つ以上の符号化フィルタバッファ内で並び替え可能である多層映像符号化システム。
  15. 基本レイヤ映像復号化器を有する基本レイヤと、
    前記基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
    前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する少なくとも１つの適応フィルタを有する復号化器処理モジュールと、
    前の信号について導かれた適応フィルタが格納されて将来の映像信号を復号化するように構成された１つ以上の復号化フィルタバッファと
    を有し、
    １つ以上の適応フィルタは、前記１つ以上の復号化フィルタバッファに追加可能であり、或いは前記１つ以上の復号化フィルタバッファから削除可能であり、或いは前記基本レイヤ映像復号化器の出力への前記少なくとも１つの適応フィルタの適用に続いて前記１つ以上の復号化フィルタバッファ内で並び替え可能である多層映像復号化システム。
  16. 元の基本レイヤ映像信号及び元の拡張レイヤ映像信号を有する入力映像信号を受信するように構成された多層映像システムであって、
    前記元の基本レイヤ映像信号を受信するように構成された基本レイヤ映像符号化器及び前記基本レイヤ映像符号化器の出力を受信するように構成された基本レイヤ映像復号化器を有する基本レイヤと、
    前記基本レイヤに関連し、前記少なくとも１つの元の拡張レイヤ映像信号のうち１つ以上を受信するようにそれぞれが構成された拡張レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のうち１つ以上の出力を受信するようにそれぞれが構成された拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
    前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器のうち少なくも１つに入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
    前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、前記基本レイヤ映像信号に基づいて前記拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
    前の信号について導かれた適応フィルタが格納されて将来の映像信号を符号化するように構成された１つ以上の符号化フィルタバッファと、
    前の信号について導かれた適応フィルタが格納されて将来の映像信号を復号化するように構成された１つ以上の復号化フィルタバッファと
    を有し、
    第１の一式の適応フィルタは、前記１つ以上の符号化フィルタバッファに追加可能であり、或いは前記１つ以上の符号化フィルタバッファから削除可能であり、或いは前記基本レイヤ映像信号への前記少なくとも１つの適応フィルタの適用に続いて前記１つ以上の符号化フィルタバッファ内で並び替え可能であり、
    第２の一式の適応フィルタは、前記１つ以上の復号化フィルタバッファに追加可能であり、或いは前記１つ以上の復号化フィルタバッファから削除可能であり、或いは前記基本レイヤ映像復号化器の出力への前記少なくとも１つの適応フィルタの適用に続いて前記１つ以上の復号化フィルタバッファ内で並び替え可能である多層映像システム。
  17. 前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記第１のビュー又は前記第２のビューのそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
  18. 前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、１つ以上の色成分を示す映像信号を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記１つ以上の色成分のそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
  19. 前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記基本レイヤ及び前記少なくとも１つの拡張レイヤのそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
  20. 前記基本レイヤ符号化器の出力は、処理された基本レイヤ映像信号を形成するように処理され、
    前記適応フィルタは、前記処理された基本レイヤ映像信号に基づいて導かれる、請求項４ないし１４及び１６ないし１９のうちいずれか１項に記載の多層映像システム。
  21. 前記処理された基本レイヤ映像信号は、前記基本レイヤ符号化器の出力の動き予測である、請求項２０に記載の多層映像システム。
  22. 前記動き予測は、グローバル及び／又はローカルに実行される、請求項２１に記載の多層映像システム。
  23. 得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、適応フィルタリングと動き予測との組み合わせが繰り返し実行され、前記品質基準は、前記処理された基本レイヤ映像信号と前記元の拡張レイヤ映像信号との間の歪みを有する、請求項２１に記載の多層映像システム。
  24. 繰り返しの拡張レイヤの符号化が実行され、
    前記適応フィルタは、前記時間予測器に基づいて予測された拡張レイヤのブロック及び対応する基本レイヤのブロックを計算から完全に除外し、前記RPU予測器に基づいて予測される拡張レイヤのブロックのみを前記適応フィルタの計算で使用することにより計算され、
    計算された適応フィルタは、再び前記拡張レイヤを符号化するために使用され、
    拡張レイヤの符号化は、実現可能な符号化利得が所定の閾値より小さくなるまで、又は特定の数の繰り返しが実行されるまで、再び繰り返される、請求項４に記載の多層映像システム。
  25. 時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを識別するために、事前分析が実行され、前記適応フィルタは、少なくとも部分的に、時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを計算から除外することにより計算される、請求項４に記載の多層映像システム。
  26. 適応フィルタリングが前記基本レイヤの映像に適用され、
    対応する適応フィルタの係数がシグナリングされる、請求項３ないし２５のうちいずれか１項に記載の多層映像システム。
  27. 前記基本レイヤの映像フィルタリングは、基本レイヤから拡張レイヤへの予測の前又は後に適用可能である、請求項２６に記載の多層映像システム。
  28. 元の基本レイヤ映像信号及び少なくとも１つの拡張レイヤ映像信号を有する入力映像信号を提供し、
    前記元の基本レイヤ映像信号を基本レイヤ映像符号化し、符号化された基本レイヤ映像信号を形成し、
    前記符号化された基本レイヤ映像信号を処理し、処理された基本レイヤ映像信号を形成し、
    前記少なくとも１つの拡張レイヤ映像信号を拡張レイヤ映像符号化し、拡張レイヤ映像信号毎に、符号化された拡張レイヤ映像信号を形成し、
    前記処理された基本レイヤ映像信号を適応フィルタリングし、適応フィルタを使用して前記少なくとも１つの拡張レイヤ映像信号を推定し、
    前記処理された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記少なくとも１つの拡張レイヤ映像信号を推定し、
    符号化基準を定め、
    前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
    前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
    前記最も性能の良いフィルタをシグナリングし、前記シグナリングされる最も性能の良いフィルタは、拡張レイヤ映像復号化のために構成され、
    前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有し、
    前記元の基本レイヤ映像信号及び前記少なくとも１つの拡張レイヤ映像信号は、複数の区画に分割されるように構成され、
    前記適応フィルタのそれぞれは、前記複数の区画の全セット又は一部の区画に適用するために選択され、
    前記適応フィルタのそれぞれは、フィルタ係数を有し、特定の適応フィルタの前記フィルタ係数は、前記特定の適応フィルタの適用の前に、前記全セット又は一部の区画の各区画内の画像情報と前記全セット又は一部の区画の各区画の周辺の１つ以上の区画内の画像情報とのうち少なくとも１つに基づいて調整され、
    周辺の区画は、前記全セット又は一部の区画の時間的周辺からの区画と、前記全セット又は一部の区画の空間的周辺からの区画と、前記全セット又は一部の区画のレイヤ間周辺からの区画とを有し、
    前記レイヤ間周辺の画像情報は、前記全セット又は一部の区画に関連する少なくとも１つの拡張レイヤからのテクスチャ及び動き情報を有する多層映像方法。
  29. 元の基本レイヤ映像信号及び少なくとも１つの拡張レイヤ映像信号を有する入力映像信号を提供し、
    前記元の基本レイヤ映像信号を基本レイヤ映像符号化し、符号化された基本レイヤ映像信号を形成し、
    前記符号化された基本レイヤ映像信号を処理し、処理された基本レイヤ映像信号を形成し、
    前記少なくとも１つの拡張レイヤ映像信号を拡張レイヤ映像符号化し、拡張レイヤ映像信号毎に、符号化された拡張レイヤ映像信号を形成し、
    前記処理された基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
    前記予測された基本レイヤ映像信号を適応フィルタリングし、適応フィルタを使用して適応フィルタリングされた基本レイヤ映像信号を形成し、前記適応フィルタリングされた基本レイヤ映像信号は、前記少なくとも１つの拡張レイヤ映像信号を推定し、
    得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、動き予測と前記適応フィルタリングとを繰り返し実行し、前記品質基準は、前記適応フィルタリングされた基本レイヤ映像信号と元の拡張レイヤ映像信号との間の歪みを有し、
    前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記少なくとも１つの拡張レイヤ映像信号を推定し、
    符号化基準を定め、
    前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
    前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
    前記最も性能の良いフィルタをシグナリングし、前記シグナリングされる最も性能の良いフィルタは、拡張レイヤ映像復号化のために構成され、
    前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像方法。
  30. 元の基本レイヤ映像信号及び少なくとも１つの拡張レイヤ映像信号を有する入力映像信号を提供し、
    前記元の基本レイヤ映像信号を基本レイヤ映像符号化し、符号化された基本レイヤ映像信号を形成し、
    前記符号化された基本レイヤ映像信号を処理し、処理された基本レイヤ映像信号を形成し、
    前記少なくとも１つの拡張レイヤ映像信号を拡張レイヤ映像符号化し、拡張レイヤ映像信号毎に、符号化された拡張レイヤ映像信号を形成し、
    前記処理された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
    拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
    前記符号化基準が固定フィルタリングにより満たされる場合、
    前記固定フィルタをシグナリングし、
    前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
    他の場合、
    前記処理された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
    前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
    前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
    前記最も性能の良いフィルタをシグナリングし、前記シグナリングされる最も性能の良いフィルタは、拡張レイヤ映像復号化のために構成され、
    前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像方法。
  31. 元の基本レイヤ映像信号及び少なくとも１つの拡張レイヤ映像信号を有する入力映像信号を提供し、
    前記元の基本レイヤ映像信号を基本レイヤ映像符号化し、符号化された基本レイヤ映像信号を形成し、
    前記符号化された基本レイヤ映像信号を処理し、処理された基本レイヤ映像信号を形成し、
    前記少なくとも１つの拡張レイヤ映像信号を拡張レイヤ映像符号化し、拡張レイヤ映像信号毎に、符号化された拡張レイヤ映像信号を形成し、
    １つ以上の画像特性基準を定め、
    拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
    同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の前記画像の現在の領域について選択し、
    前記選択されたフィルタをシグナリングし、前記シグナリングされる最も性能の良いフィルタは、拡張レイヤ映像復号化のために構成され、
    前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有し、
    前記周辺領域は、時間的周辺及びレイヤ間周辺からの領域を有し、
    前記時間的周辺からの領域は、前記現在の領域と、前又は将来の拡張レイヤ映像の画像における前記現在の領域に隣接する領域とを有し、
    前記レイヤ間周辺は、前記現在の領域と、前記拡張レイヤ映像の画像に対応する基本レイヤ映像の画像の前記現在の領域に隣接する領域とを有する多層映像方法。
  32. 元の基本レイヤ映像信号及び少なくとも１つの拡張レイヤ映像信号を有する入力映像信号を提供し、
    前記元の基本レイヤ映像信号を基本レイヤ映像符号化し、符号化された基本レイヤ映像信号を形成し、
    前記符号化された基本レイヤ映像信号を処理し、処理された基本レイヤ映像信号を形成し、
    前記少なくとも１つの拡張レイヤ映像信号を拡張レイヤ映像符号化し、拡張レイヤ映像信号毎に、符号化された拡張レイヤ映像信号を形成し、
    １つ以上の画像特性基準を定め、
    拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
    １つ以上のフィルタ特性基準を定め、
    一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
    前記選択された複数のフィルタをシグナリングし、前記選択された複数のフィルタは、拡張レイヤ映像復号化のために構成され、
    前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有し、
    前記周辺領域は、時間的周辺及びレイヤ間周辺からの領域を有し、
    前記時間的周辺からの領域は、前記現在の領域と、前又は将来の拡張レイヤ映像の画像における前記現在の領域に隣接する領域とを有し、
    前記レイヤ間周辺は、前記現在の領域と、前記拡張レイヤ映像の画像に対応する基本レイヤ映像の画像の前記現在の領域に隣接する領域とを有する多層映像方法。
  33. 前記符号化された基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、
    前記基本レイヤ復号化された映像信号を処理し、
    拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
    前記少なくとも１つの符号化された拡張レイヤ映像信号を拡張レイヤ映像復号化することを更に有する、請求項２８ないし３２のうちいずれか１項に記載の多層映像方法。
  34. 前記周辺領域は、時間的周辺、空間的周辺又は時間的及び空間的周辺である、請求項３１ないし３３のうちいずれか１項に記載の多層映像方法。
  35. 前記基本レイヤ及び前記少なくとも１つの拡張レイヤは、フレームコンパチブル3D映像信号、2Dコンパチブル3D映像信号又は2Dスケーラブル映像信号を受信する、請求項１ないし１４又は１６ないし２７のうちいずれか１項に記載の多層映像システム。
  36. 請求項２８ないし３２又は３４のうち１項以上に記載の方法に従って映像信号を符号化する符号化器。
  37. 請求項２８ないし３２又は３４のうち１項以上に記載の方法に従って映像信号を符号化する装置。
  38. 請求項２８ないし３２又は３４のうち１項以上に記載の方法に従って映像信号を符号化するシステム。
  39. コンピュータに対して請求項２８ないし３２又は３４のうち１項以上に記載の方法を実行させる一式の命令を含むコンピュータ可読媒体。
JP2012502327A 2009-04-20 2010-04-20 多層映像配信のための適応補間フィルタ Active JP5416271B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US17099509P 2009-04-20 2009-04-20
US61/170,995 2009-04-20
US22302709P 2009-07-04 2009-07-04
US61/223,027 2009-07-04
US29503410P 2010-01-14 2010-01-14
US61/295,034 2010-01-14
US30042710P 2010-02-01 2010-02-01
US61/300,427 2010-02-01
PCT/US2010/031701 WO2010123862A1 (en) 2009-04-20 2010-04-20 Adaptive interpolation filters for multi-layered video delivery

Publications (2)

Publication Number Publication Date
JP2012521735A JP2012521735A (ja) 2012-09-13
JP5416271B2 true JP5416271B2 (ja) 2014-02-12

Family

ID=42370925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012502327A Active JP5416271B2 (ja) 2009-04-20 2010-04-20 多層映像配信のための適応補間フィルタ

Country Status (5)

Country Link
US (1) US9078008B2 (ja)
EP (1) EP2422520A1 (ja)
JP (1) JP5416271B2 (ja)
CN (1) CN102598660B (ja)
WO (1) WO2010123862A1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
US8265167B2 (en) * 2008-10-31 2012-09-11 Sprint Communications Company L.P. Application specific video format
US9270871B2 (en) 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US9218644B2 (en) * 2009-12-17 2015-12-22 Broadcom Corporation Method and system for enhanced 2D video display based on 3D video input
EP2529551B1 (en) * 2010-01-27 2022-03-16 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
US9503757B2 (en) 2010-02-01 2016-11-22 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
EP3923571B1 (en) * 2010-07-21 2023-07-19 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
US8780991B2 (en) * 2010-09-14 2014-07-15 Texas Instruments Incorporated Motion estimation in enhancement layers in video encoding
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
JP5748463B2 (ja) * 2010-12-02 2015-07-15 キヤノン株式会社 符号化装置およびプログラム
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
CN106454357A (zh) * 2011-01-09 2017-02-22 寰发股份有限公司 已处理视频数据的样本自适应补偿的方法和装置
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US9282314B2 (en) * 2011-02-24 2016-03-08 Vixs Systems, Inc. Stereoscopic video processing with separable 2D filter
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
CN107105263B (zh) * 2011-06-24 2019-04-26 株式会社Ntt都科摩 用于在帧间预测下执行的运动补偿的视频解码方法和装置
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
EP2756681A1 (en) * 2011-09-16 2014-07-23 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
EP2761877B8 (en) * 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
JP2013093662A (ja) * 2011-10-24 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
CN107241606B (zh) * 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
EP2801193B1 (en) * 2012-01-04 2016-10-26 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
WO2013130478A1 (en) 2012-02-29 2013-09-06 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
US8667548B2 (en) * 2012-03-11 2014-03-04 Broadcom Corporation Audio/video channel bonding architecture
US9094161B2 (en) * 2012-03-11 2015-07-28 Broadcom Corporation Channel bonding with multiple network types
KR101957904B1 (ko) 2012-03-12 2019-03-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US9071842B2 (en) * 2012-04-19 2015-06-30 Vixs Systems Inc. Detection of video feature based on variance metric
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
EP2870750A4 (en) * 2012-07-04 2016-03-23 Intel Corp REUSE OF INTER-IMAGE FILTER PARAMETERS FOR THREE-DIMENSIONAL VIDEO CODING
US8891906B2 (en) * 2012-07-05 2014-11-18 Intel Corporation Pixel-adaptive interpolation algorithm for image upscaling
US20150172715A1 (en) * 2012-07-09 2015-06-18 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding
CN104541506A (zh) * 2012-09-28 2015-04-22 英特尔公司 层间像素样本预测
CN103716622B (zh) * 2012-09-29 2017-02-08 华为技术有限公司 用于图像处理的方法和装置
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding
KR20150091043A (ko) * 2012-11-29 2015-08-07 엘지전자 주식회사 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
US9596465B2 (en) * 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
CN104183207B (zh) * 2013-05-23 2017-04-26 晨星半导体股份有限公司 影像显示方法以及影像显示装置
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
US9432676B2 (en) * 2013-10-29 2016-08-30 Broadcom Corporation RDO-based small transform coefficients suppression algorithm for HEVC
JP6419848B2 (ja) * 2014-06-30 2018-11-07 ディッシュ テクノロジーズ エル．エル．シー．ＤＩＳＨ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌ．Ｌ．Ｃ． 帯域幅最適化のための適応的データセグメント配信調停
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP6037521B2 (ja) * 2015-07-02 2016-12-07 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
EP3410723A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
MX2019014443A (es) 2017-05-31 2020-02-10 Interdigital Vc Holdings Inc Un metodo y un dispositivo para codificacion y decodificacion de imagenes.
EP3410711A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
WO2018219664A1 (en) * 2017-05-31 2018-12-06 Interdigital Vc Holdings, Inc. A method and a device for picture encoding and decoding
US11438587B2 (en) 2017-12-14 2022-09-06 Interdigital Vc Holdings, Inc. Method and apparatus for encoding a picture block
EP4221201A1 (en) 2018-01-29 2023-08-02 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
US11909974B2 (en) 2018-03-30 2024-02-20 Interdigital Vc Holdings, Inc. Chroma quantization parameter adjustment in video encoding and decoding
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
EP1631090A1 (en) 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
RU2369038C1 (ru) 2005-11-30 2009-09-27 Кабусики Кайся Тосиба Способ кодирования изображения/декодирования изображения, устройство кодирования изображения/декодирования изображения
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
EP2524504A1 (en) 2010-01-14 2012-11-21 Dolby Laboratories Licensing Corporation Buffered adaptive filters

Also Published As

Publication number Publication date
US20120027079A1 (en) 2012-02-02
CN102598660A (zh) 2012-07-18
WO2010123862A1 (en) 2010-10-28
CN102598660B (zh) 2015-04-29
JP2012521735A (ja) 2012-09-13
EP2422520A1 (en) 2012-02-29
US9078008B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5416271B2 (ja) 多層映像配信のための適応補間フィルタ
US11729420B2 (en) Intra-prediction method using filtering, and apparatus using the method
JP5693716B2 (ja) 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
JP5663093B2 (ja) 参照ピクチャー処理のための最適化されたフィルタ選択
JP2021141602A (ja) 多視点信号コーデック
US9282343B2 (en) Multiview and bitdepth scalable video delivery
EP2529551B1 (en) Methods and systems for reference processing in image and video codecs
JP6432662B2 (ja) 映像符号化装置、映像符号化方法及びプログラム
CN110999290B (zh) 使用跨分量线性模型进行帧内预测的方法和装置
JP2014524707A (ja) 非対称な空間解像度を持つ３次元ビデオ
WO2012047496A1 (en) Scalable frame compatible multiview encoding and decoding methods
JP2014171097A (ja) 符号化装置、符号化方法、復号装置、および、復号方法
KR20210015963A (ko) 인트라-예측을 위한 디바이스 및 방법
JP2024511636A (ja) インター予測にディープラーニングベースのインループフィルタを用いるビデオコーディング方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131009

TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131114

R150 Certificate of patent or registration of utility model

Ref document number: 5416271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250