JP5364820B2 - フィルタを選択する装置及び方法 - Google Patents

フィルタを選択する装置及び方法 Download PDF

Info

Publication number
JP5364820B2
JP5364820B2 JP2012156364A JP2012156364A JP5364820B2 JP 5364820 B2 JP5364820 B2 JP 5364820B2 JP 2012156364 A JP2012156364 A JP 2012156364A JP 2012156364 A JP2012156364 A JP 2012156364A JP 5364820 B2 JP5364820 B2 JP 5364820B2
Authority
JP
Japan
Prior art keywords
filter
preprocessing
image
filters
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012156364A
Other languages
English (en)
Other versions
JP2012231526A (ja
JP2012231526A5 (ja
Inventor
パハラワッタ，ペシャラ，ヴィ
レオンタリス，アサナシオス
トゥーラピス，アレクサンドロス
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2012231526A publication Critical patent/JP2012231526A/ja
Publication of JP2012231526A5 publication Critical patent/JP2012231526A5/ja
Application granted granted Critical
Publication of JP5364820B2 publication Critical patent/JP5364820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Description

本発明は前処理フィルタを選択する方法及びフィルタセレクタ等に関連する。
開示される発明はビデオアプリケーションに関連する。特に、本発明の実施形態は、ELデコーダ及びエンコーダにおいて行われるエンハンスメントレイヤ(EL)前処理に対するベースレイヤ(BL)の情報に基づいて前処理フィルタ及びフィルタパラメータを選択する方法及び装置に関連する。本方法及び装置は、例えば、空間的な又は時間的なスケーラブルビデオ符号化や、スケーラブル3Dビデオアプリケーション等のような様々なアプリケーションに適用可能である。
本発明の課題は、前処理フィルタを選択する方法及び装置を提供することである。
一実施例形態による方法は、
ビデオ配信を行うための前処理フィルタを選択する方法であって、
1つ以上の入力画像を複数の前処理フィルタに入力し、
前処理フィルタ各々について出力画像又はデータストリームを形成するように、前処理フィルタ各々の出力を処理し、
前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、
前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップ
を有する方法である。
ベースレイヤ(BL)のエンコーディング選択及びエンハンスメントレイヤ(EL)のエンコーディング選択を行うスケーラブルエンコーディングアーキテクチャを示す図。 図1に示すエンコーディングシステムに対応するデコーディングアーキテクチャを示す図。 前処理最適化を行う開ループ処理を説明するための図。 前処理最適化を行う閉ループ処理を説明するための図。 簡略化されたエンコーディングを行う別の閉ループ処理を説明するための図。 シーケンス/画像分析の段階が先行する前処理フィルタ部を示す図。 ELエンコーダから受信したフィードバックにより前処理フィルタを選択する様子を示す図。 先行する画像に使用されたフィルタに基づいて前処理フィルタパラメータが予測されるアーキテクチャを示す図。
前処理フィルタを選択する方法及び装置が開示される。
第1の実施形態により提供される方法は、ビデオ配信用の前処理フィルタを選択する方法であって、本方法は、1つ以上の入力画像を複数の前処理フィルタに入力し、前処理フィルタ各々の出力を処理し、前処理フィルタ各々について出力画像又はデータストリームを形成し、前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、前処理フィルタ各々について算出されたメトリックに基づいて、複数の前処理フィルタの中から前処理フィルタを選択するステップを有する方法である。
第2の実施形態により提供される方法は、ビデオ配信用の前処理フィルタを選択する方法であって、本方法は、入力画像を分析し、該入力画像の或る領域を選択し、選択した領域について前処理フィルタを新たに選択する必要があるか否かを判定し、新たに選択する必要があった場合には前処理フィルタを選択し、新たに選択する必要がなかった場合には以前に選択されている前処理フィルタを選択するステップを有する方法である。
第3の実施形態により提供されるビデオ配信用の前処理フィルタセレクタは、入力画像を受信する複数の前処理フィルタと、前処理フィルタ各々の出力を処理し、出力画像又はデータストリームを形成する処理モジュールと、前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出するメトリック算出モジュールと、歪モジュールにより前処理フィルタ各々について算出されたメトリックに基づいて、複数の前処理フィルタの中から前処理フィルタを選択する前処理フィルタセレクタとを有する前処理フィルタセレクタである。
第4の実施形態により提供されるエンコーダは、上記の方法に応じてビデオ信号をエンコードする。
第5の実施形態により提供される装置は、上記の方法に応じてビデオ信号をエンコードする。
第6の実施形態により提供されるシステムは、上記の方法に応じてビデオ信号をエンコードする。
第7の実施形態により提供されるコンピュータ読取可能な媒体は、コンピュータに上記の方法を実行させる一群の命令を含む。
第8の実施形態によれば、ビデオ信号をエンコードするために上記の方法が使用される。
スケーラブルビデオ配信法の1つは、元のビデオを低解像度にサブサンプリングし、サブサンプリングしたデータをベースレイヤ(BL)のビットストリームにエンコードすることである。デコードされたベースレイヤのビデオは、元の完全な解像度のビデオを予測するためにアップサンプリングされる。エンハンスメントレイヤ(EL)はこの予測又は予測信号(prediction)をリファレンスとして使用し、元の完全な解像度のビデオを復元するのに必要な残りの情報をエンコードする。解像度のサブサンプリングは空間的な、時間的な及び画素による単位の領域で実行されてもよい。この点については非特許文献1に記載されている。スケーラブルビデオ配信はビット深度スケーラビリティ(bitdepth scalability)だけでなく、3D又はマルチビュースケーラビリティ(multiview scalability)にも適用可能である。
開示される発明の実施形態及び図面は単独のエンハンスメントレイヤを示しているが、開示される発明は、デコードされたビデオの品質を更に改善するため、又はビデオ配信システムの機能/柔軟性/複雑さ等を改善するために1つより多いエンハンスメントレイヤが使用される場合にも適用可能である。
図1はそのようなスケーラブルビデオコーディングシステムの一例を示し、単なる一例として、唯1つのエンハンスメントレイヤが使用されている。BL(ベースレイヤ)−EL(エンハンスメントレイヤ)予測モジュール(110)は、再構築されたBLビデオからELを予測し、その予測又は予測信号(prediction)をELエンコーダ(120)にリファレンスとして入力する。
ステレオ又はマルチビュービデオデータ伝送の場合、既存のビデオ配信パイプラインを通じて通信するための1つの画像として、サブサンプリングは、異なる映像をインタリーブしたものでもよい。例えば、チェッカーボード方式、行毎の方式(line-by-line)、隣接方式(side-by-side)、上下方式(over-under)等は、2つの3D立体映像を配信用の1つの左/右インタリーブ画像にインタリーブする技術の具体例である。何れの場合においても、5点形(quincunx)、水平、垂直等の方式のような様々なサンプリング方式が使用されてもよい。
2008年12月25日付で出願され本願のリファレンス及び付録Aに組み入れられている米国仮出願第61/140,886号は、図1のBL-EL予測ブロック(110)において使用可能な様々なコンテンツ適応補間方法を示している。また、2009年4月20日付で出願され本願のリファレンス及び付録Bに組み入れられている米国仮出願第61/170,995号は、補間された画像領域及びコンテンツに依存して適合させる技術を開示しており、最適なフィルタがエンハンスメントレイヤデコーダにメタデータとして通知される。
図2はBL及びELの対応するデコーダアーキテクチャを示す。デコーダ側のBL-EL予測器(210)は通知された補間メタデータ(230)(図1の予測メタデータ(130)に対応する)とともにベースレイヤの再構築画像(220)を利用して、ELの予測又は予測信号(240)を生成する。予測メタデータ自体については2009年4月20日付けで出願され本願のリファレンスに組み入れられている米国仮出願第61/170,995号に詳細に説明されている。
再び図1を参照する。BL及びEL画像の作成の前に前処理モジュール(140)、(150)が先行している。前処理又は予備処理(pre-processing)は、圧縮効率や減衰アーチファクトを改善するために圧縮処理に先行して画像又はビデオに適用される。前処理モジュールは、例えば、サブサンプル画像からのエイリアシングのようなアーチファクトを除去するように設計されたダウンサンプリングフィルタを有する。ダウンサンプリングフィルタは、一定の有限インパルス応答フィルタ(FIR)(例えば、W.Li,J-R.Ohm,M.van der Schaar, H.Jiang and S.Li,“MPEG-4 Video Verification Model Version 18.0,”IEO/IEC JTC1/SC29/WG11 N3908, January 2001)、動き補償テンポラルフィルタ(例えば、E.Dubois and S.Sabri, “Noise Reduction in Image Sequences Using Motion-Compensated Temporal Filtering,”IEEE Trans. on Communications, Vol. COM-32, No.7, July 1984)、又は適応フィルタ(S.Chang, B.Yu, and M.Vetterli,“Adaptive Wavelet Thresholding for Image Denoising and Compression,”IEEE Trans. On Image Processing, vol.9, no.9, pp.1532-1546, September 2000)とすることができる。ダウンサンプリングフィルタは、特定のアップサンプリング/補間プロセスとともに最適化されてもよい(そのようなプロセスについては、例えば、Y.Tsaig,M.Elad, P.Milanfar, and G.Golub,“Variable Projection for Near-Optimal Filtering in Low Bit-Rate Coders,”IEEE Trans. on Circuits and Systems for Video Technology, vol.15, no.1, pp.154-160, January 2005)。
以下、添付図面とともに、或るレイヤから他のレイヤ(例えば、BLからEL)への予測処理に関する情報に基づいて、前処理フィルタ及びフィルタパラメータを選択する方法及び装置の具体例を説明する。特に、図3に示す例は、BL-EL予測がどのように実行されるかを説明するための図を示す。そのような説明は、圧縮後に構築された実際のBL画像からの予測に基づくものではなく、非圧縮画像からの予測に基づくものである(開ループ)。これに対して、図4に示す例は圧縮後に再構築されたBL画像からの予測に関連している(閉ループ)。しかしながら図5に示されているように、簡略化された圧縮を行って、フィルタ選択処理の複雑さを軽減してもよい。簡略化された圧縮は、完全な圧縮処理を近似し、圧縮処理で導入される符号化アーチファクト及びビットレートを考察できるようにする。
図3は、開示される発明による前処理部(プレプロセッサ)及び前処理最適化法を説明するための図を示す。オプション領域選択モジュール(310)は、入力の画像又はソース(320)を複数の領域に分割する。そのような領域選択モジュールの具体例については、2009年4月20日付けで出願された米国仮出願第61/170,995号に説明されており、本願のリファレンス及び付録Bに組み込まれている。入力画像を複数の領域に分割することは、領域のコンテンツの特徴に基づいて、各領域に異なる前処理及び適応的補間を実行可能にする。
各領域について、(330-1)、(330-2)、(330-3)、．．．、(330-N)として示されている一群のフィルタ1-Nの中で最適な前処理フィルタが探索される。前処理フィルタは、分離可能な又は分離可能でないフィルタ、FIRフィルタ(様々なサポート長を有する)、水平、垂直又はダイアゴナルフィルタのような方向性フィルタ、ウェーブレット又は離散コサイン変換ン(DCT)方式のフィルタのような周波数領域フィルタ、エッジアダプティブフィルタ、動き補償時間フィルタ等でもよい。
各フィルタ(330-i)の出力は、各自のサブサンプリングモジュール(340-1)、(340-2)、(340-3)、．．．、(340-N)においてBL用の解像度又は分解能にサブサンプリングされる。
前処理フィルタ及びサブサンプリングモジュールの他の形態も可能であることを当業者は認めるであろう。例えば、前処理フィルタ及びサブサンプリングモジュールが単独の素子に一緒に統合されてもよいし、図3に示すものとは異なり前処理フィルタがサブサンプリングモジュールの後に続いていてもよい。
3D立体スケーラブルビデオ符号化システムの場合、各フィルタのサブサンプルされた出力は3Dインタリーバに送付され、ベースレイヤビデオの一部をなすサブサンプルされた3Dインタリーブ画像を形成する。3Dインタリーバの具体例については米国特許第5,193,000号に示されており、その内容全体は本願のリファレンスに組み入れられる。一方、3Dでないケースの場合、デシメータが使用されてもよい。サブサンプリングされた画像は、例えば米国仮出願第61/140,886号及び米国仮出願第61/170,995号に示されているような方法を用いて適応的にアップサンプリングされる。3Dインタリーバ又はデシメータ及び適応アップサンプリング部は、図3において(350-1)、(350-2)、(350-3)、．．．、(350-N)のブロックのように概略的に示されている。図示されているように、適応補間部はフィルタリングされていない元の情報を用いて最適な補間フィルタを判定する。そのような情報は領域選択モジュール(310)からの出力されている。
歪算出モジュール(360-1)、(360-2)、(360-3)、．．．、(360-N)において、アップサンプリングされた画像が元の入力ソースと比較され、元の画像及び処理された画像の間の歪測定値又は歪指標が算出される。平均二乗誤差(MSE)、ピーク信号対雑音比(PSNR)その他の知覚的歪メトリック(人間の視覚系の性質にいっそう適合する計量値)のような歪メトリック又は歪計量値が歪測定値の計算に使用されてもよい。
フィルタ選択モジュール(370)は、前処理フィルタ(330-i)の歪属性を比較し、ビデオのその領域のエンコード処理に最適な前処理フィルタを選択する。その後、選択されたフィルタの出力はダウンサンプリングされ(385)、エンコーディング処理部(390)に送られる。代替的に、ブロック370は、フィルタの中から選択を行うのではなく、既にダウンサンプルしたフィルタの出力の中から選択を行ってもよい。その場合、ダウンサンプリングモジュール385は必要ではない。
フィルタ選択モジュール(370)は、テクスチャ(texture)、エッジ情報又は境界情報等のような領域に関する追加的な統計情報を領域選択部(310)からの入力として受信し、その入力はフィルタの判定に役立つ。例えば、領域に依存して、或るフィルタの歪推定値が他の値に対して増加する方向に重み付けされてもよい。
図1に示すような実際のシステムにおいて、BL-EL予測に関する適応補間がデコーダの再構築BL画像には行われるが元の前処理コンテンツには行われないという点において、図3に示す開ループ処理は最適なものではない。しかしながら開ループ処理は演算負担が少なくて済み、コンテンツの実際の符号化に先立って「個別に又はオフライン(offline)」で実行可能である。
図3に示す実施形態はスケーラブルアーキテクチャに固有のものでないことを当業者は認めるであろう。更に、そのような実施形態はELのみに対して、BLのみに対して、或いはEL及びEL双方に対して適用可能である。更に、必要に応じて異なる前処理部(プレセレクタ)がBL及びELに使用されてもよい。EL前処理の場合、例えばBLに含まれていなかったサンプルについてダウンサンプリングが更に行われてもよい。
図4は開示される発明の別の実施形態を示し、前処理最適化のための閉ループ処理が行われる。特に、各フィルタ(430-i)のサブサンプル出力にエンコードステップ処理部(450-i)が設けられている。エンコードステップ処理部(450-i)において、フィルタの出力の各々が完全にエンコード又は符号化され、その後、例えば図1に示す方式に従って再構築される(455-i)。スケーラブルビデオエンコード処理の場合、そのようなエンコード処理は、BLエンコード処理、BL-EL予測に関する適応補間処理、及びELエンコード処理を含む。図4は、ELフィルタ(435-11)．．．(435-1M)がBLフィルタ(430-1)に対して設けられ、以下同様にBLフィルタ(430-N)に至るまでELフィルタが同様に設けられ、BLフィルタ(430-N)に対してはELフィルタ(435-N1)．．．(435-NM)が設けられている。
モジュール(455-i)の出力におけるエンコード及び再構築されたビットストリームは、（i）歪計算(460-i)及び(ii)フィルタ選択モジュール(470)の入力(465)という2つの目的に使用される。特に、フィルタ選択モジュール(470)は、歪モジュール(460-i)の出力に従って、何れかの入力(465)を出力エンコードビットストリーム(490)として選択する。より具体的には、各領域について最小の歪を示すフィルタが前処理選択部(プレセレクタ)として選択される。
図4の実施形態によるフィルタの最適化は、歪だけでなく、ターゲット、目標値又は結果のビットレートを考慮することもできる。言い換えれば、選択されたフィルタに応じて、エンコーダは画像をエンコードする際に異なるビット数を必要としてもよい。すなわち、開示される発明の一実施形態によれば、最適なフィルタ選択において、エンコーディング後の歪及び/又は後処理(post-processing)に加えて、エンコード処理に必要なビットを考慮してもよい。これは、あるビットレートの制約の下で対象又が歪を最小化するようにする最適化問題として定立できる。これを行うのに可能な技法はラグランジアン最適化法(Lagrangian optimization)である。そのような処理は、フィルタ選択部(470)において行われ、i)Dモジュール(460-i)において算出された歪及びii)エンコードモジュール(450-i)から利用可能なビットレートを利用する。
より一般的には、いくつものタイプのメトリックの内の1つ以上に基づく最適化が実行されてもよい。そのようなメトリックは、上述したような歪及び/又はビットレートを含むが、コスト、電力、パワー、時間、演算負担及び/又はその他のタイプのメトリックに拡張可能である。
上述した方法は速度歪最適化フィルタ結果(rate-distortion optimal filter result)をもたらすが、非常に演算負担が大きい。そのような実施形態における演算負担を軽減するいくつかの方法を以下において説明する。
図5は代替例を示し、可能性のあるフィルタの選択肢各々について、真にエンコードされデコーダで再構築された画像を算出するのではなく、簡略化されたエンコード(550-i)及び再構築されたものが、真のデコーダ再構築の推定値として使用される。
例えば、完全なエンコード処理(575)は、フィルタの選択(570)が完了した後でしか実行されない。簡略化エンコーダ(550-i)は、例えば、完全なエンコーダ(575)からの動き及び再構築画像情報(577)を用いて更新可能である。例えば、簡略化されたエンコーダのリファレンス画像バッファ(図1の要素160，170)は、簡略化されたエンコーダにより再構築された画像を含むように更新されてもよい。同様に、先行する領域に関して完全なエンコーダで生成された動き情報は、簡略化されたエンコーダ(550-i)のディスパリティ(disparity)推定モジュールで使用可能である。一例として、簡略化エンコーダは、完全なエンコーダにより使用されるのと同じ量子化パラメータを用いるイントラのみのエンコードに基づいて、モデルを形成してもよい。或いは、簡略化エンコーダは、例えば量子化パラメータ・周波数モデルを形成することで、使用される量子化パラメータに対する周波数関係に基づくフィルタリングを行ってもよい。更に、より高い精度が必要な場合、簡略化エンコーダと完全なエンコーダとの間の相違が、モデルを更に更新するのに使用されてもよい。
フィルタ選択に先行するブロック(550-i)により実行される簡略化されたエンコード処理は、例えば、動き推定及び補償の複雑さを軽減するためにイントラのみのエンコードとしてもよい。一方、動き推定が行われる場合、サブピクセル動き推定(sub-pixel motion estimation)がディセーブルされてもよい。更なる代替例は、圧縮の際に可能な全ての符号化判定を調査するのではなく、より簡易な速度歪最適化法(a low complexity rate distortion optimization method)を使用するものである。ループフィルタ及び後処理フィルタのような追加的なフィルタは、ディセーブルにされる又は簡略化される。簡略化を行うため、フィルタを完全にオフにする或いはフィルタリングに使用されるサンプル数を制限してもよい。フィルタが頻繁には使用されないように及び/又はフィルタが特定のブロックエッジ又は境界について使用されるか否かを判定する簡略化処理を使用するように、フィルタパラメータが調整されてもよい。更に、何らかの彩度(chroma)成分に使用されるフィルタが、他の彩度成分又は光度(luma)成分に使用されるフィルタに応じて、ディセーブルに及び推定されてもよい。別の実施形態において、フィルタの選択は、領域全体を最適化するのではなく、一部の領域(例えば、各領域の中心部分)について最適化されてもよい。場合によっては、簡略化されたエンコーダは、より低い解像度又はより低い速度歪最適化(Rate Distortion Optimization: RDO)の複雑さによりエンコード処理を実行してもよい。更に、不均衡、視差、相違又はディスパリティ(disparity)の推定は、サブピクセル単位ではなく、完全なピクセルを単位としてディスパリティを測定するように制限されてもよい。更に、画像の光度(luma)成分のみがエンコードされ、彩度成分の歪及びレート(rate)が光度の関数として推定されてもよい。他の実施形態において、簡略化されたエンコード処理は、完全なエンコーダ(ブロック575)の先行する出力に基づいてブロック550-iの出力をモデル化する精密プロセス(precision process)を単に使用してもよい。
上記の選択肢の全ては簡略化されたエンコーダ(550-i)において使用可能である。換言すれば、簡略化されたエンコーダ(550-i)は図1に示されるエンコードモジュールの全てを備え、それらのモジュールの各々が上述したように簡略化され、完全なエンコーダの出力から出力が大幅に逸脱しないように維持してもよい。
図6は開示される発明の別の実施形態を示し、前処理フィルタステージ部(610)に先行してシーケンス/画像分析ステージ部(620)が設けられている。分析ステージ部(620)は、前処理フィルタのうち最適化に使用する一部分(630)を決定することができる。画像/シーケンス分析部(620)は、(空間的な領域で及び/又は時間的な期間にわたって)テクスチャ(texture)及び/又は分散(variance)の計算を行い、問題としている特定のアプリケーションに必要なフィルタのタイプを判定する。例えば、エンコード処理の前において、画像が滑らかな領域であれば、プレフィルタリング処理を一切必要としないかもしれない。また、ある領域は空間的及び時間的なフィルタリングの双方を必要とするが、他の領域は空間的又は時間的なフィルタリングの片方のみを必要とするかもしれない。ビット深度スケーラビリティの場合、トーンマッピング曲線(tonemapping curves)が各領域について最適化されてもよい。方向性フィルタ(directional filter)が使用される場合、画像分析モジュール(620)は、エッジ分析を行い、方向性フィルタが最適化に含められるべきか否かを判定し、含められるべき場合、フィルタリングを実行する支配的な方向を判定する。必要に応じて、これらの技法は領域選択モジュールに組み込まれてもよい。また、あるフィルタが所定の閾値を上回る速度歪パフォーマンスを示す場合、最適化において更なるフィルタは一切評価されないようにすることで、早期に終了する基準が使用されてもよい。そのような方法は、画像分析とともに簡易に結合可能であり、探索が実行されるフィルタ数を更に減らすことができる。
図7は開示される発明の更に別の実施形態を示し、前処理フィルタ選択部(710)が、エンハンスメントレイヤエンコーダ(720)から受信した追加的なフィードバック(740)を利用している。例えば、フィードバックは、BL-EL予測信号を生成するのに使用された適応アップサンプリングフィルタパラメータについての情報を含んでいてもよい。その場合、ダウンサンプリングフィルタ選択部は、先行する最適化処理ステージにより、最良に機能する適応アップサンプリングフィルタに適合することができる。これは、前処理に関する領域の選択にも貢献できる。
例えば、画像が複数の小さな領域に分割され、最初の段階において、各領域に異なる前処理フィルタが想定されてもよい。このような実施形態は、先行する画像分析が一切行われていないような簡易なシステムにおいて有用である。そのような場合、アップサンプリング情報(例えば、アップサンプラが複数の領域について同じアップサンプリングフィルタを選択したか否かの情報)は、最良のダウンサンプリングフィルタ選択がどのように動作すべきかを示すインジケータとして使用可能である。例えば、アップサンプリングフィルタが画像全体について同一であった場合、おそらくは、画像を複数の領域に分割する必要はなく、領域各々について別個にダウンサンプリングフィルタを最適化する必要はない。
しかしながら、モジュール(730)においてBLをエンコードした後に、BL-EL予測最適化が、複数の画像の領域の予測に関して同じアップサンプリングフィルタで十分であることを判定するかもしれない。その場合、プレプロセッサはそれらの領域に関して同一の又は同様な前処理フィルタを選択してもよい。これは、全体的な閉ループ最適化が実行される必要のある領域数を減らし、それ故に処理の演算時間を減らすことになる。より一般的には、このステップはBL/ELコンフィギュレーションとは異なるコンフィギュレーションにも適用可能である。
プレプロセッサ最適化の演算負担は、シーケンス中の先行する画像又は画像領域に使用されたフィルタに基づく前処理フィルタパラメータにより更に減少させることができる。図8はそのようなシステムの一例を示す。
例えば、プレプロセッサ最適化(810)はN個の画像/領域毎に一度実行され、Nは、一定値でもよいし或いは利用可能な演算リソース及び時間に基づく可変値でもよい。一実施形態において、過去に最適であったフィルタパラメータを使用するか否かの判断は、画像分析モジュール(820)から得られた情報に依存してもよい(例えば、図6の画像分析モジュール(620))。例えば、2つの画像又は2つの画像領域が非常に高い相関を示していた場合、フィルタパラメータは、その領域の一方について一度だけ最適化されればよく、他方の領域についてはそれを再利用/改善することができる。画像領域は、空間的に隣接していてもよいし、時間的に隣接していてもよいし、或いはマルチビューの場合、各々の映像に対応する画像領域であってもよい。例えば、2つの連続するビデオシーケンスを考察した場合、2つの画像同士の間の画素値の平均的な絶対差分は、時間的な相関の指標又は測定値(measure)として使用可能であり、その平均的な絶対差分が閾値より低かった場合、フィルタが再利用されてもよい(840)。
別の実施形態において、同じフィルタを再利用するか否かの判定は、デコード画像を再構築した後における元のビデオソースに対する歪計算値に基づいて行われてもよい。算出された歪が特定の閾値を上回っていた場合、又は算出された歪が先行する画像/領域の歪から大幅に増加していた場合に、プレプロセッサ最適化が実行される。
更に別の実施形態において、画像分析段階において又はビデオエンコード処理の最中に計算された動き情報(motion information)が、画像に含まれている領域の動きを判定するのに使用可能である。すなわち、先行する画像に使用されたフィルタパラメータは、対応する領域の動きに従う。
別の実施形態において、隣接する領域は、最適なフィルタの探索を実行する際のフィルタ群を決定するのに使用可能である。例えば、隣接する領域に関する最適化の結果が、可能性のあるN個のフィルタの内のM個の部分が他よりも優れていることを常に示していた場合、そのM個の部分のみが現在の画像領域の最適化に使用されてもよい。
現在の領域に使用されているフィルタは次の形式を使用することができる：
a*f(L,T,D,P)+b
ここで、Lは現在の領域の左側に対する画像領域について最適化されたフィルタを使用する場合のフィルタ値であり、Tは上側に対する画像領域について最適化されたフィルタを使用することに関連し、Pは先行する画像と同じ場所にある画像領域に関するものである。関数fは、平均、メジアンその他の指標(隣接する領域各々に対する現在の領域の類似性を考慮に入れることが可能な指標)を利用して各フィルタからのフィルタ値を合成する。変数a及びbは定数であってもよいし、或いは動きやテクスチャのような空間的/時間的な属性に依存して変化してもよい。より一般的には、考察されるフィルタは、既に選択されている隣接する領域におけるものであってもよい。ラスタスキャン(raster scan)を行う具体例は、上記のL、T、D、Pのみの場合である。
更に別の実施形態において、フィルタの速度歪パフォーマンスに加えて、フィルタの「リソース歪(resource-distortion)」パフォーマンスが考慮されてもよい。その場合、リソースは、利用可能なビットを含む概念であるが、それに限定されず、エンコード装置において利用可能な電力又はパワー、演算処理能力、時間的制約のあるアプリケーションの場合には遅延時間の制約等も含まれる。
更に別の実施形態において、歪指標(distortion measurement)は、複数の歪指標の組み合わせを含んでもよいし、或いは追加的な因子(伝送エラー、誤り隠蔽(error concealment)、ディスプレイ又は再生装置で使用されるその他の後処理)を考慮してもよい。
要するに、開示される実施形態による方法はビデオシーケンスの領域について適応的に前処理を施すのに使用可能である。本方法は、出力ビデオの速度歪特性を改善しつつ最適化処理の演算負担を最小化することを意図している。本方法は個々の実施形態により説明されたが、それらは簡易なスケーラブルビデオエンコーダにおいて組み合わせて使用されてもよい。
本願により開示された実施形態はスケーラブルビデオ配信の観点から説明されてきたが、開示される発明はスケーラブルビデオ配信以外の用途にも適用可能である。例えば、エンコードに先立って、帯域幅の要請を減らすためにビデオがダウンサンプリングされ、デコードの後に完全な解像度を得るために補間される製品に広く適用可能である。適応的な補間法が使用される場合、適応的な補間を行うためにダウンサンプリングが最適化されてもよい。そのようなスケーラブルではない用途の場合、出力は、ELエンコーダの出力ではなく、適応的にアップサンプルされた出力である。
別の応用例はインタレースビデオコーディング(interlaced video coding)であり、前処理フィルタは、デコーダにおいて解除されたインタレースに基づいて最適化されてもよい。更に、開示される発明はインタレースされたビデオコーディングと同様なスケーラブルでない3Dアプリケーションにも適用可能であり、その場合、左及び右映像がエンコード処理に先立って空間的又は時間的にダウンサンプル及びインタリーブされ、デコーダにおいて適応的に補間され、空間的又は時間的に完全な解像度を得る。この例の場合、右側及び左側の映像が互に予測可能である。別の例の場合、あるレイヤ又は層が、色空間表現、ビット深度及び/又はスケール(例えば、対数又は線形の尺度)が第1タイプであるフレームを含み、別のレイヤ又は層が、色空間表現、ビット深度及び/又はスケールが第2タイプであるフレームを含んでもよい。開示される発明は、あるレイヤにおけるサンプルから他のレイヤにおけるサンプルを予測及び圧縮する処理を最適化する際に使用されてもよい。
開示される発明による方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにより実現されてもよい。複数のブロック、複数のモジュール又は複数の素子として説明された要素は、(例えば、統合された論理装置のような論理装置において)一緒に実現されてもよいし、或いは(個別に接続された論理装置のように)別々に実現されてもよい。開示される発明による方法を実現するソフトウェアの部分は、実行された場合に、開示された方法の少なくとも一部をコンピュータに実行させる命令により形成され、その命令はコンピュータ読取可能な媒体に保存される。コンピュータ読取可能な媒体は、例えば、ランダムアクセスメモリ(RAM)及び/又はリードオンリメモリ(ROM)を含む概念である。命令はプロセッサにより実行され、プロセッサは例えばディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)又はフィールドプログラマブル論理アレイ(FPGA)等である。
以下、開示される発明による実施形態を例示的に列挙する。
［実施形態1］
ビデオ配信用の前処理フィルタを選択する方法であって、
1つ以上の入力画像を複数の前処理フィルタに入力し、
前処理フィルタ各々について出力画像又はデータストリームを形成するように、前処理フィルタ各々の出力を処理し、
前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、
前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップ
を有する方法。
［実施形態2］
当該方法はスケーラブルビデオ配信用の方法であり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより入力画像をエンコード及び再構築することを含む、実施形態1記載の方法。
［実施形態3］
前記前処理フィルタはベースレイヤ前処理フィルタであり、前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力を前記ベースレイヤの解像度に合わせてサブサンプリングする、実施形態2記載の方法。
［実施形態4］
前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力を3D方式でインタリーブする、実施形態1記載の方法。
［実施形態5］
前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力をデシメートする、実施形態1記載の方法。
［実施形態6］
前記出力画像又はビットストリームの前記メトリックが前記入力画像に対して算出される、実施形態1記載の方法。
［実施形態7］
前記出力画像又はデータストリームのメトリックを算出する場合において、前処理フィルタ各々について別様に歪を算出する、実施形態1記載の方法。
［実施形態8］
前記出力画像又はデータストリームのメトリックを算出する場合において、前記入力画像の選択された領域に応じて別様に前記メトリックを算出する、実施形態1記載の方法。
［実施形態9］
別様に前記メトリックを算出する場合において、1つ以上の領域を選択していた場合に生成された領域に関する統計値に基づいて前記メトリックを算出する、実施形態8記載の方法。
［実施形態10］
当該方法が前記ビデオ画像をエンコードする前に実行される、上記実施形態の何れか1項に記載の方法。
［実施形態11］
前記出力画像又はデータストリームを形成するように、前記前処理フィルタ各々の前記出力を処理する場合において、エンコードされた出力データストリームを形成するように前記前処理フィルタ各々の前記出力をエンコードする、実施形態1-10の何れか1項に記載の方法。
［実施形態12］
前記出力をエンコードする場合において、ベースレイヤのエンコーディング、エンハンスメントレイヤの予測に対するベースレイヤの適応的な補間、及びエンハンスメントレイヤのエンコーディングを行う、実施形態11記載の方法。
［実施形態13］
前記前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する場合において、選択された前記前処理フィルタに対応するエンコードされた前記出力データストリームを選択する、実施形態11又は12に記載の方法。
［実施形態14］
前記前処理フィルタを選択する前に第1段階のエンコーディングを実行し、前記前処理フィルタを選択した後に第2段階のエンコーディングを行うステップを更に有する、上記実施形態の何れか1項に記載の方法。
［実施形態15］
前記第1段階のエンコーディングが、前記前処理フィルタの前記出力を処理する場合に行われる、実施形態14記載の方法。
［実施形態16］
前記第1段階のエンコーディングが、簡略化されたエンコーディングである、実施形態14又は15に記載の方法。
［実施形態17］
前記第1段階のエンコーディングが、イントラのエンコーディングのみに限定されている、実施形態16に記載の方法。
［実施形態18］
前記第1段階のエンコーディングが、サブピクセル動き推定、ブロック化の解除、再度エンコーディングの内の1つ以上を実行せず、及び/又は低レート歪最適化処理及び低解像度エンコーディングの内の1つ以上を実行する、実施形態16又は17に記載の方法。
［実施形態19］
前記第1段階のエンコーディングの仕方が、前記第2段階のエンコーディングに基づいて更新される、実施形態14-18の何れか1項に記載の方法。
［実施形態20］
前記第1段階のエンコーディングの仕方が、前記第1段階のエンコーディングにおけるリファレンス画像バッファを更新することで更新される、実施形態19記載の方法。
［実施形態21］
前記1つ以上の入力画像における複数の領域が選択される、上記実施形態の何れか1項に記載の方法。
［実施形態22］
前記入力画像を前記複数の前処理フィルタに入力する前に前記入力画像を分析し、
前記入力画像が入力される前処理フィルタの数又は後に選択される領域の数を分析結果に基づいて減らすステップ
をさらに有する上記実施形態の何れか1項に記載の方法。
［実施形態23］
前記出力画像又はデータストリームのメトリックを算出する前に、前記出力画像又はデータストリームをエンコーディング又は再構築するステップ
をさらに有する上記実施形態の何れか1項に記載の方法。
［実施形態24］
当該方法がスケーラブルビデオ配信を行うためのものであり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより前記入力画像をエンコード及び再構築することを含み、
前記複数の前処理フィルタは、複数のベースレイヤフィルタ及びベースレイヤフィルタ各々に対する複数のエンハンスメントレイヤフィルタを含む、実施形態23記載の方法。
［実施形態25］
当該方法が、前記出力画像又はデータストリームをエンコードするステップを更に含み、前記前処理フィルタを選択する場合において、該エンコードによるフィードバックに基づいて前記前処理フィルタを選択する、上記実施形態の何れか1項に記載の方法。
［実施形態26］
当該方法がスケーラブルビデオ配信を行うためのものであり、前記エンコードするステップにおいて、ベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを行い、前記フィードバックは前記エンハンスメントレイヤのエンコーディングにより得られる、実施形態25記載の方法。
［実施形態27］
前記フィードバックによる信号が、ベースレイヤを生成してエンハンスメントレイヤの予測を行うのに使用される適応アップサンプリングフィルタパラメータについての情報を含む、実施形態26記載の方法。
［実施形態28］
前記入力画像が、同一の画像に属する異なる領域を含み、1つ以上の前記前処理フィルタが各領域について別個に選択される、実施形態25-27の何れか1項に記載の方法。
［実施形態29］
前記入力画像が、同一の画像に属する異なる領域を含み、1つ以上の前記前処理フィルタが各領域について別個に選択される、実施形態の何れか1項に記載の方法。
［実施形態30］
当該方法が、ビット深度、スケール及び/又は色空間表現が異なるビデオのスケーラブル配信のための方法である、実施形態2記載の方法。
［実施形態31］
当該方法が、スケーラブルでないビデオ配信のための方法である、実施形態1記載の方法。
［実施形態32］
前記スケーラブルでないビデオ配信が、エンコーディングに先立つサブサンプリングと、デコーディング後のビデオ補間とを含む、実施形態31記載の方法。
［実施形態33］
前記ビデオ補間が適応的なビデオ補間である、実施形態32記載の方法。
［実施形態34］
前記スケーラブルでないビデオ配信が、スケーラブルでない3Dビデオ配信である、実施形態31記載の方法。
［実施形態35］
前記スケーラブルでない3Dビデオ配信が、エンコーディングの前に左側及び右側の画像をサブサンプリング及びインタリーブし、デコーディングの際に前記左側及び右側の画像を適応的に補間することを含む、実施形態34記載の方法。
［実施形態36］
前記左側の画像が前記右側の画像から予測可能であり、かつ前記右側の画像が前記左側の画像から予測可能である、実施形態35記載の方法。
［実施形態37］
前記ビデオ配信が、インタレース処理を行うことを含むビデオエンコーディングと、インタレース処理を解除することを含むビデオデコーディングとを行うことを含み、前記出力画像又はデータストリームの前記メトリックが前記インタレース処理を解除することに基づく、実施形態1記載の方法。
［実施形態38］
前記ビデオ配信がマルチビュービデオ配信である、実施形態1記載の方法。
［実施形態39］
前記メトリックが、歪、ビットレート、電力、コスト、時間及び演算負担の内の1つ以上により表現される、上記実施形態の何れか1項に記載の方法。
［実施形態40］
前記歪が複数の歪メトリックの組み合わせにより表現される、実施形態39記載の方法。
［実施形態41］
ビデオ配信を行うための前処理フィルタを選択する方法であって、
入力画像を分析し、
該入力画像の或る領域を選択し、
選択した領域について前処理フィルタを新たに選択する必要があるか否かを判定し、
新たに選択する必要があった場合には前処理フィルタを選択し、
新たに選択する必要がなかった場合には以前に選択されている前処理フィルタの選択を維持するステップを
有する方法。
［実施形態42］
前処理の後に前記領域をエンコーディング及び再構築するステップを更に有する、実施形態41記載の方法。
［実施形態43］
当該方法がスケーラブルビデオ配信のための方法であり、前記エンコーディングがベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを含み、前記再構築がベースレイヤの再構築及びエンハンスメントレイヤの再構築を含む、実施形態42記載の方法。
［実施形態44］
前処理フィルタを新たに選択する必要があるか否かを判定する場合において、再構築された領域からのフィードバックに基づいて判定する、実施形態42又は43記載の方法。
［実施形態45］
前処理フィルタを新たに選択する必要があるか否かを判定する場合において、選択された領域の近傍に基づいて判定する、実施形態42-43の何れか1項に記載の方法。
［実施形態46］
ビデオ配信を行うための前処理フィルタセレクタであって、
入力画像を受信する複数の前処理フィルタと、
出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理する処理モジュールと、
前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出するメトリック算出モジュールと、
歪モジュールにより前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する前処理フィルタセレクタと
を有する前処理フィルタセレクタ。
［実施形態47］
当該前処理フィルタセレクタが前記入力画像の1つ以上の領域を選択する領域セレクタを更に有し、前記複数の前処理フィルタが、前記領域セレクタに接続されかつ選択された1つ以上の領域の画像を処理する、実施形態46記載の方法。
［実施形態48］
前記ビデオ配信がスケーラブルビデオ配信であり、ベースレイヤエンコーディング及びエンハンスメントレイヤエンコーディングを行うことを含む、実施形態46又は47に記載の前処理フィルタセレクタ。
［実施形態49］
前記ビデオ配信がスケーラブルでないビデオ配信である、実施形態46又は47に記載の前処理フィルタセレクタ。
［実施形態50］
前記メトリックが、歪、ビットレート及び複雑さの内の1つ以上により表現される、実施形態43-46の何れか1項に記載の前処理フィルタセレクタ。
［実施形態51］
実施形態1又は41に記載の方法によりビデオ信号をエンコードするエンコーダ。
［実施形態52］
実施形態1又は41に記載の方法によりビデオ信号をエンコードする装置。
［実施形態53］
実施形態1又は41に記載の方法によりビデオ信号をエンコードするシステム。
［実施形態54］
実施形態1又は41の何れか1項に記載の方法をコンピュータに実行させる一群の命令を含むコンピュータ読取可能な媒体。
［実施形態55］
ビデオ信号をエンコードするための実施形態1又は41の何れか1項に記載の方法の使用。
上記の実施形態は、開示される発明によるビデオアプリケーションのビデオ前処理用のフィルタ選択法を如何にして実現及び使用するかの説明を補完するためのものであり、発明者が開示した範囲を限定することは意図されていないことが、当業者には明らかであろう。本願による開示を実現する上記の実施形態の変形例が、当業者によりなされてもよく、そのような変形例は添付の特許請求の範囲内に包含されるように意図されている。本願において言及された特許及び出願の全ては開示される発明の技術水準を示す。本願において言及された全てのリファレンスは、各リファレンスがあたかも完全にそれぞれ組み込まれていた場合と同じ範囲をもたらすように組み込まれる。
開示される発明は具体的な方法やシステムに限定されず、当然に変更されてもよいことが理解されるであろう。本願において使用される用語は特定の実施形態を説明する観点から使用されているに過ぎず、本発明を限定するようには使用されていないことが理解されるであろう。本願及び特許請求の範囲において使用されているように、要素に付随する「ある」、「或る」、「該」、「その」等の用語は、特に断りのない限りその要素が複数個存在することを含むものとする。「複数の」という用語は、特に断りのない限り、2以上であることを含む。特に断りのない限り、本願において使用されている全ての技術用語及び具体的な用語は、開示される発明が関連する技術分野における通常の知識を有する者が通常使用する用語と共通する意味を有する。
以上、開示される発明について多くの実施形態が説明されてきた。しかしながら開示される発明の精神及び範囲から逸脱することなく、様々な変形例がなされてもよいことは明らかであろう。従って例示したもの以外の実施形態も特許請求の範囲に包含される。
［関連出願］
本願は、2009年4月20日付けで出願された米国仮出願第61/170,995号、2009年7月4日付けで出願された米国仮出願第61/223,027号及び2009年9月14日付けで出願された米国仮出願第61/242,242号による優先的な利益を享受し、それらの出願の内容は本願に組み入れられる。また、本願は2008件12月25日付けで出願された米国仮出願第61/140,886号にも関連し、その内容も補願に組み入れられる。
J.R. Ohm,"Advances in Scalable Video Coding,"Proceedings of the IEEE, vol.93, no.1, January 2005

Claims (10)

  1. ビデオ配信を行うための前処理フィルタを選択する装置であって、
    １つ以上の入力画像を複数の前処理フィルタに入力する手段であって、前記１つ以上の入力画像に属する入力画像の各々は少なくとも１つの領域に分割されている、手段と、
    前処理フィルタ各々について、出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理する手段と
    を有し、該出力を処理する手段は、前処理フィルタ各々について、
    前記１つ以上の入力画像に属する入力画像を第１の解像度でサブサンプリングすることで、サブサンプリングされた画像を取得し、
    サブサンプリングされた画像の適応的な補間により前記出力画像又はデータストリームを取得し、フィルタパラメータはサブサンプリングされた画像における異なる領域毎に異なり、当該装置は、
    前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出する手段と、
    前処理フィルタ各々について算出されたメトリック及び適応的な補間によるフィードバックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する手段と
    を有し、前記フィードバックは、前記補間に使用されるフィルタパラメータについての情報をもたらす、装置。
  2. 前記前処理フィルタ各々の出力を処理する前記手段において、前記前処理フィルタ各々の前記出力を３Ｄ方式でインタリーブする、請求項１記載の装置。
  3. 前記前処理フィルタ各々の出力を処理する前記手段において、前記前処理フィルタ各々の前記出力をデシメートする、請求項１記載の装置。
  4. 前記前処理フィルタを選択する前の第１段階のエンコーディング、及び前記前処理フィルタを選択した後の第２段階のエンコーディングである２つの段階を行う手段を更に有し、前記第１段階のエンコーディングの仕方は前記第２段階のエンコーディングに基づいて更新される、請求項１−３の何れか１項に記載の装置。
  5. 前記入力画像を前記複数のフィルタに入力する前に前記入力画像を分析する手段と、
    前記入力画像が入力されるフィルタの数又は後に選択される領域の数を分析結果に基づいて減らす手段と
    をさらに有する請求項１−４の何れか１項に記載の装置。
  6. ビデオ配信を行うための前処理フィルタを選択する方法であって、
    １つ以上の入力画像を複数の前処理フィルタに入力するステップであって、前記１つ以上の入力画像に属する入力画像の各々は少なくとも１つの領域に分割されている、ステップと、
    前処理フィルタ各々について、出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理するステップと
    を有し、該出力を処理するステップにおいて、前処理フィルタ各々について、
    前記１つ以上の入力画像に属する入力画像を第１の解像度でサブサンプリングすることで、サブサンプリングされた画像を取得し、
    サブサンプリングされた画像の適応的な補間により前記出力画像又はデータストリームを取得し、フィルタパラメータはサブサンプリングされた画像における異なる領域毎に異なり、当該方法は、
    前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出するステップと、
    前処理フィルタ各々について算出されたメトリック及び適応的な補間によるフィードバックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップと
    を有し、前記フィードバックは、前記補間に使用されるフィルタパラメータについての情報をもたらす、方法。
  7. 前記前処理フィルタ各々の出力を処理する前記ステップにおいて、前記前処理フィルタ各々の前記出力を３Ｄ方式でインタリーブする、請求項６記載の方法。
  8. 前記前処理フィルタ各々の出力を処理する前記ステップにおいて、前記前処理フィルタ各々の前記出力をデシメートする、請求項６記載の方法。
  9. 前記前処理フィルタを選択する前の第１段階のエンコーディング、及び前記前処理フィルタを選択した後の第２段階のエンコーディングである２つの段階を行うステップを更に有し、前記第１段階のエンコーディングの仕方は前記第２段階のエンコーディングに基づいて更新される、請求項６−８の何れか１項に記載の方法。
  10. 前記入力画像を前記複数のフィルタに入力する前に前記入力画像を分析するステップと、
    前記入力画像が入力されるフィルタの数又は後に選択される領域の数を分析結果に基づいて減らすステップと
    をさらに有する請求項６−９の何れか１項に記載の方法。
JP2012156364A 2009-04-20 2012-07-12 フィルタを選択する装置及び方法 Active JP5364820B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US17099509P 2009-04-20 2009-04-20
US61/170,995 2009-04-20
US22302709P 2009-07-04 2009-07-04
US61/223,027 2009-07-04
US24224209P 2009-09-14 2009-09-14
US61/242,242 2009-09-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012502326A Division JP5044057B2 (ja) 2009-04-20 2010-04-20 フィルタを選択する方法及び装置

Publications (3)

Publication Number Publication Date
JP2012231526A JP2012231526A (ja) 2012-11-22
JP2012231526A5 JP2012231526A5 (ja) 2013-01-10
JP5364820B2 true JP5364820B2 (ja) 2013-12-11

Family

ID=42543023

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012502326A Expired - Fee Related JP5044057B2 (ja) 2009-04-20 2010-04-20 フィルタを選択する方法及び装置
JP2012156364A Active JP5364820B2 (ja) 2009-04-20 2012-07-12 フィルタを選択する装置及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012502326A Expired - Fee Related JP5044057B2 (ja) 2009-04-20 2010-04-20 フィルタを選択する方法及び装置

Country Status (8)

Country Link
US (1) US20120033040A1 (ja)
EP (2) EP2663076B1 (ja)
JP (2) JP5044057B2 (ja)
CN (2) CN104954789A (ja)
DK (1) DK2663076T3 (ja)
ES (1) ES2602326T3 (ja)
HK (1) HK1214440A1 (ja)
WO (1) WO2010123855A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
WO2012044487A1 (en) 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
EP2522146B1 (en) 2010-01-06 2016-08-31 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts
USRE49308E1 (en) * 2010-09-29 2022-11-22 Electronics And Telecommunications Research Instit Method and apparatus for video-encoding/decoding using filter information prediction
US9363533B2 (en) * 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
CN106454357A (zh) * 2011-01-09 2017-02-22 寰发股份有限公司 已处理视频数据的样本自适应补偿的方法和装置
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
WO2012155553A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
JP5552092B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US20130004071A1 (en) * 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
CN104041023B (zh) * 2011-09-29 2016-09-14 杜比实验室特许公司 双层帧相容全分辨率立体3d视频输送
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
TWI461066B (zh) * 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
EP2803190B1 (en) 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
TWI606716B (zh) 2012-07-09 2017-11-21 Ｖｉｄ衡器股份有限公司 多層視訊編碼編解碼器架構
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
JP6141988B2 (ja) * 2012-09-28 2017-06-07 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングの適応型アップサンプリング
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
WO2014137175A1 (ko) * 2013-03-06 2014-09-12 삼성전자 주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
US8897378B2 (en) 2013-03-12 2014-11-25 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
WO2014163893A1 (en) * 2013-03-12 2014-10-09 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US20140269943A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
US20140267916A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
US9589206B2 (en) * 2013-12-05 2017-03-07 Hochschule Pforzheim Optimizing an image filter
JP2016005043A (ja) * 2014-06-13 2016-01-12 株式会社リコー 情報処理装置およびプログラム
WO2016145243A1 (en) * 2015-03-10 2016-09-15 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
WO2017083784A1 (en) 2015-11-11 2017-05-18 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
FR3087309B1 (fr) 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
EP3884666A1 (en) * 2018-12-24 2021-09-29 Google LLC Video stream adaptive filtering for bitrate reduction
KR102158007B1 (ko) * 2018-12-24 2020-09-22 서울과학기술대학교 산학협력단 하이브리드망 기반의 영상 전송 시스템 및 방법
US20200314423A1 (en) * 2019-03-25 2020-10-01 Qualcomm Incorporated Fixed filters with non-linear adaptive loop filter in video coding
US11445222B1 (en) 2019-09-30 2022-09-13 Isize Limited Preprocessing image data
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
EP3846475A1 (en) * 2020-01-05 2021-07-07 iSize Limited Preprocessing image data
EP3989587A1 (en) 2020-10-21 2022-04-27 Axis AB Image processing device and method of pre-processing images of a video stream before encoding
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device
US11917162B2 (en) * 2021-04-30 2024-02-27 Tencent America LLC Content-adaptive online training with feature substitution in neural image compression
EP4171033A1 (en) 2021-10-20 2023-04-26 Axis AB A method for encoding a video stream

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
CN1199468C (zh) * 2000-01-12 2005-04-27 皇家菲利浦电子有限公司 图像数据压缩
JP2001245298A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像符号化方法及び画像符号化プログラムを記憶した媒体
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
EP1631090A1 (en) * 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20070110155A1 (en) * 2005-11-15 2007-05-17 Sung Chih-Ta S Method and apparatus of high efficiency image and video compression and display
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US7881552B1 (en) * 2006-05-16 2011-02-01 Adobe Systems Incorporated Anti-flicker filter
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
JP2008109247A (ja) * 2006-10-24 2008-05-08 Matsushita Electric Ind Co Ltd ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ
US20100027622A1 (en) * 2006-10-25 2010-02-04 Gokce Dane Methods and apparatus for efficient first-pass encoding in a multi-pass encoder
EP1919209A1 (en) * 2006-10-31 2008-05-07 Sony Deutschland Gmbh Method and device for fast and effective noise reduction
MX2009006404A (es) * 2006-12-18 2009-06-23 Koninkl Philips Electronics Nv Compresion y descompresion de imagen.
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
EP2149262A4 (en) * 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
JP4709189B2 (ja) * 2007-07-23 2011-06-22 日本電信電話株式会社 スケーラブル動画像符号化方法，スケーラブル動画像符号化装置，およびそのプログラムとそれを記録したコンピュータ読み取り可能な記録媒体
WO2010120804A1 (en) * 2009-04-13 2010-10-21 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video

Also Published As

Publication number Publication date
CN104954789A (zh) 2015-09-30
EP2663076B1 (en) 2016-09-14
JP2012521734A (ja) 2012-09-13
DK2663076T3 (en) 2016-12-05
EP2663076A3 (en) 2014-03-05
WO2010123855A1 (en) 2010-10-28
CN102450009B (zh) 2015-07-22
JP2012231526A (ja) 2012-11-22
ES2602326T3 (es) 2017-02-20
CN102450009A (zh) 2012-05-09
EP2663076A2 (en) 2013-11-13
HK1214440A1 (zh) 2016-07-22
JP5044057B2 (ja) 2012-10-10
EP2422521B1 (en) 2013-07-03
US20120033040A1 (en) 2012-02-09
EP2422521A1 (en) 2012-02-29

Similar Documents

Publication Publication Date Title
JP5364820B2 (ja) フィルタを選択する装置及び方法
US9503757B2 (en) Filtering for image and video enhancement using asymmetric samples
KR100679031B1 (ko) 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
EP2675163A1 (en) Reference processing using advanced motion models for video coding
US20060120448A1 (en) Method and apparatus for encoding/decoding multi-layer video using DCT upsampling
US20150326896A1 (en) Techniques for hdr/wcr video coding
KR20070075222A (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP2014504459A (ja) 参照ピクチャー処理のための最適化されたフィルタ選択
JP2008503981A (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
WO2007020230A2 (fr) Procede de codage et de decodage d&#39;images video avec echelonnabilite spatiale
WO2007030716A2 (en) Bit-rate reduction of multimedia data streams
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
AU2005272279A1 (en) Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
JP2023073286A (ja) イントラ予測のためのデバイスおよび方法
KR101562343B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101810198B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Wu et al. An enhanced initialization method for rate control of H. 264 based on image quality balance
KR20190084929A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004246A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004247A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Singh et al. Optimization of standards for video compression tools over wireless networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130909

R150 Certificate of patent or registration of utility model

Ref document number: 5364820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250