JP5044057B2 - フィルタを選択する方法及び装置 - Google Patents

フィルタを選択する方法及び装置 Download PDF

Info

Publication number
JP5044057B2
JP5044057B2 JP2012502326A JP2012502326A JP5044057B2 JP 5044057 B2 JP5044057 B2 JP 5044057B2 JP 2012502326 A JP2012502326 A JP 2012502326A JP 2012502326 A JP2012502326 A JP 2012502326A JP 5044057 B2 JP5044057 B2 JP 5044057B2
Authority
JP
Japan
Prior art keywords
filter
encoding
image
data stream
downsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012502326A
Other languages
English (en)
Other versions
JP2012521734A (ja
Inventor
パハラワッタ，ペシャラ，ヴィ
レオンタリス，アサナシオス
トゥーラピス，アレクサンドロス
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2012521734A publication Critical patent/JP2012521734A/ja
Application granted granted Critical
Publication of JP5044057B2 publication Critical patent/JP5044057B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は前処理フィルタを選択する方法及びフィルタセレクタに関連する。
開示される発明はビデオアプリケーションに関連する。特に、本発明の実施形態は、ELデコーダ及びエンコーダにおいて行われるエンハンスメントレイヤ(EL)前処理に対するベースレイヤ(BL)の情報に基づいて前処理フィルタ及びフィルタパラメータを選択する方法及び装置に関連する。本方法及び装置は、例えば、空間的な又は時間的なスケーラブルビデオ符号化や、スケーラブル3Dビデオアプリケーション等のような様々なアプリケーションに適用可能である。
本発明の課題は、前処理フィルタを選択する方法及び装置を提供することである。
一実施例形態による方法は、
ビデオ配信を行うための前処理フィルタを選択する方法であって、
1つ以上の入力画像を複数の前処理フィルタに入力し、
前処理フィルタ各々について出力画像又はデータストリームを形成するように、前処理フィルタ各々の出力を処理し、
前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、
前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップ
を有する方法である。
ベースレイヤ(BL)のエンコーディング選択及びエンハンスメントレイヤ(EL)のエンコーディング選択を行うスケーラブルエンコーディングアーキテクチャを示す図。 図1に示すエンコーディングシステムに対応するデコーディングアーキテクチャを示す図。 前処理最適化を行う開ループ処理を説明するための図。 前処理最適化を行う閉ループ処理を説明するための図。 簡略化されたエンコーディングを行う別の閉ループ処理を説明するための図。 シーケンス/画像分析の段階が先行する前処理フィルタ部を示す図。 ELエンコーダから受信したフィードバックにより前処理フィルタを選択する様子を示す図。 先行する画像に使用されたフィルタに基づいて前処理フィルタパラメータが予測されるアーキテクチャを示す図。
前処理フィルタを選択する方法及び装置が開示される。
第1の実施形態により提供される方法は、ビデオ配信用の前処理フィルタを選択する方法であって、本方法は、1つ以上の入力画像を複数の前処理フィルタに入力し、前処理フィルタ各々の出力を処理し、前処理フィルタ各々について出力画像又はデータストリームを形成し、前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、前処理フィルタ各々について算出されたメトリックに基づいて、複数の前処理フィルタの中から前処理フィルタを選択するステップを有する方法である。
第2の実施形態により提供される方法は、ビデオ配信用の前処理フィルタを選択する方法であって、本方法は、入力画像を分析し、該入力画像の或る領域を選択し、選択した領域について前処理フィルタを新たに選択する必要があるか否かを判定し、新たに選択する必要があった場合には前処理フィルタを選択し、新たに選択する必要がなかった場合には以前に選択されている前処理フィルタを選択するステップを有する方法である。
第3の実施形態により提供されるビデオ配信用の前処理フィルタセレクタは、入力画像を受信する複数の前処理フィルタと、前処理フィルタ各々の出力を処理し、出力画像又はデータストリームを形成する処理モジュールと、前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出するメトリック算出モジュールと、歪モジュールにより前処理フィルタ各々について算出されたメトリックに基づいて、複数の前処理フィルタの中から前処理フィルタを選択する前処理フィルタセレクタとを有する前処理フィルタセレクタである。
第4の実施形態により提供されるエンコーダは、上記の方法に応じてビデオ信号をエンコードする。
第5の実施形態により提供される装置は、上記の方法に応じてビデオ信号をエンコードする。
第6の実施形態により提供されるシステムは、上記の方法に応じてビデオ信号をエンコードする。
第7の実施形態により提供されるコンピュータ読取可能な媒体は、コンピュータに上記の方法を実行させる一群の命令を含む。
第8の実施形態によれば、ビデオ信号をエンコードするために上記の方法が使用される。
スケーラブルビデオ配信法の1つは、元のビデオを低解像度にサブサンプリングし、サブサンプリングしたデータをベースレイヤ(BL)のビットストリームにエンコードすることである。デコードされたベースレイヤのビデオは、元の完全な解像度のビデオを予測するためにアップサンプリングされる。エンハンスメントレイヤ(EL)はこの予測又は予測信号(prediction)をリファレンスとして使用し、元の完全な解像度のビデオを復元するのに必要な残りの情報をエンコードする。解像度のサブサンプリングは空間的な、時間的な及び画素による単位の領域で実行されてもよい。この点については非特許文献1に記載されている。スケーラブルビデオ配信はビット深度スケーラビリティ(bitdepth scalability)だけでなく、3D又はマルチビュースケーラビリティ(multiview scalability)にも適用可能である。
開示される発明の実施形態及び図面は単独のエンハンスメントレイヤを示しているが、開示される発明は、デコードされたビデオの品質を更に改善するため、又はビデオ配信システムの機能/柔軟性/複雑さ等を改善するために1つより多いエンハンスメントレイヤが使用される場合にも適用可能である。
図1はそのようなスケーラブルビデオコーディングシステムの一例を示し、単なる一例として、唯1つのエンハンスメントレイヤが使用されている。BL(ベースレイヤ)−EL(エンハンスメントレイヤ)予測モジュール(110)は、再構築されたBLビデオからELを予測し、その予測又は予測信号(prediction)をELエンコーダ(120)にリファレンスとして入力する。
ステレオ又はマルチビュービデオデータ伝送の場合、既存のビデオ配信パイプラインを通じて通信するための1つの画像として、サブサンプリングは、異なる映像をインタリーブしたものでもよい。例えば、チェッカーボード方式、行毎の方式(line-by-line)、隣接方式(side-by-side)、上下方式(over-under)等は、2つの3D立体映像を配信用の1つの左/右インタリーブ画像にインタリーブする技術の具体例である。何れの場合においても、5点形(quincunx)、水平、垂直等の方式のような様々なサンプリング方式が使用されてもよい。
2008年12月25日付で出願され本願のリファレンス及び付録Aに組み入れられている米国仮出願第61/140,886号は、図1のBL-EL予測ブロック(110)において使用可能な様々なコンテンツ適応補間方法を示している。また、2009年4月20日付で出願され本願のリファレンス及び付録Bに組み入れられている米国仮出願第61/170,995号は、補間された画像領域及びコンテンツに依存して適合させる技術を開示しており、最適なフィルタがエンハンスメントレイヤデコーダにメタデータとして通知される。
図2はBL及びELの対応するデコーダアーキテクチャを示す。デコーダ側のBL-EL予測器(210)は通知された補間メタデータ(230)(図1の予測メタデータ(130)に対応する)とともにベースレイヤの再構築画像(220)を利用して、ELの予測又は予測信号(240)を生成する。予測メタデータ自体については2009年4月20日付けで出願され本願のリファレンスに組み入れられている米国仮出願第61/170,995号に詳細に説明されている。
再び図1を参照する。BL及びEL画像の作成の前に前処理モジュール(140)、(150)が先行している。前処理又は予備処理(pre-processing)は、圧縮効率や減衰アーチファクトを改善するために圧縮処理に先行して画像又はビデオに適用される。前処理モジュールは、例えば、サブサンプル画像からのエイリアシングのようなアーチファクトを除去するように設計されたダウンサンプリングフィルタを有する。ダウンサンプリングフィルタは、一定の有限インパルス応答フィルタ(FIR)(例えば、W.Li,J-R.Ohm,M.van der Schaar, H.Jiang and S.Li,“MPEG-4 Video Verification Model Version 18.0,”IEO/IEC JTC1/SC29/WG11 N3908, January 2001)、動き補償テンポラルフィルタ(例えば、E.Dubois and S.Sabri, “Noise Reduction in Image Sequences Using Motion-Compensated Temporal Filtering,”IEEE Trans. on Communications, Vol. COM-32, No.7, July 1984)、又は適応フィルタ(S.Chang, B.Yu, and M.Vetterli,“Adaptive Wavelet Thresholding for Image Denoising and Compression,”IEEE Trans. On Image Processing, vol.9, no.9, pp.1532-1546, September 2000)とすることができる。ダウンサンプリングフィルタは、特定のアップサンプリング/補間プロセスとともに最適化されてもよい(そのようなプロセスについては、例えば、Y.Tsaig,M.Elad, P.Milanfar, and G.Golub,“Variable Projection for Near-Optimal Filtering in Low Bit-Rate Coders,”IEEE Trans. on Circuits and Systems for Video Technology, vol.15, no.1, pp.154-160, January 2005)。
以下、添付図面とともに、或るレイヤから他のレイヤ(例えば、BLからEL)への予測処理に関する情報に基づいて、前処理フィルタ及びフィルタパラメータを選択する方法及び装置の具体例を説明する。特に、図3に示す例は、BL-EL予測がどのように実行されるかを説明するための図を示す。そのような説明は、圧縮後に構築された実際のBL画像からの予測に基づくものではなく、非圧縮画像からの予測に基づくものである(開ループ)。これに対して、図4に示す例は圧縮後に再構築されたBL画像からの予測に関連している(閉ループ)。しかしながら図5に示されているように、簡略化された圧縮を行って、フィルタ選択処理の複雑さを軽減してもよい。簡略化された圧縮は、完全な圧縮処理を近似し、圧縮処理で導入される符号化アーチファクト及びビットレートを考察できるようにする。
図3は、開示される発明による前処理部(プレプロセッサ)及び前処理最適化法を説明するための図を示す。オプション領域選択モジュール(310)は、入力の画像又はソース(320)を複数の領域に分割する。そのような領域選択モジュールの具体例については、2009年4月20日付けで出願された米国仮出願第61/170,995号に説明されており、本願のリファレンス及び付録Bに組み込まれている。入力画像を複数の領域に分割することは、領域のコンテンツの特徴に基づいて、各領域に異なる前処理及び適応的補間を実行可能にする。
各領域について、(330-1)、(330-2)、(330-3)、．．．、(330-N)として示されている一群のフィルタ1-Nの中で最適な前処理フィルタが探索される。前処理フィルタは、分離可能な又は分離可能でないフィルタ、FIRフィルタ(様々なサポート長を有する)、水平、垂直又はダイアゴナルフィルタのような方向性フィルタ、ウェーブレット又は離散コサイン変換ン(DCT)方式のフィルタのような周波数領域フィルタ、エッジアダプティブフィルタ、動き補償時間フィルタ等でもよい。
各フィルタ(330-i)の出力は、各自のサブサンプリングモジュール(340-1)、(340-2)、(340-3)、．．．、(340-N)においてBL用の解像度又は分解能にサブサンプリングされる。
前処理フィルタ及びサブサンプリングモジュールの他の形態も可能であることを当業者は認めるであろう。例えば、前処理フィルタ及びサブサンプリングモジュールが単独の素子に一緒に統合されてもよいし、図3に示すものとは異なり前処理フィルタがサブサンプリングモジュールの後に続いていてもよい。
3D立体スケーラブルビデオ符号化システムの場合、各フィルタのサブサンプルされた出力は3Dインタリーバに送付され、ベースレイヤビデオの一部をなすサブサンプルされた3Dインタリーブ画像を形成する。3Dインタリーバの具体例については米国特許第5,193,000号に示されており、その内容全体は本願のリファレンスに組み入れられる。一方、3Dでないケースの場合、デシメータが使用されてもよい。サブサンプリングされた画像は、例えば米国仮出願第61/140,886号及び米国仮出願第61/170,995号に示されているような方法を用いて適応的にアップサンプリングされる。3Dインタリーバ又はデシメータ及び適応アップサンプリング部は、図3において(350-1)、(350-2)、(350-3)、．．．、(350-N)のブロックのように概略的に示されている。図示されているように、適応補間部はフィルタリングされていない元の情報を用いて最適な補間フィルタを判定する。そのような情報は領域選択モジュール(310)からの出力されている。
歪算出モジュール(360-1)、(360-2)、(360-3)、．．．、(360-N)において、アップサンプリングされた画像が元の入力ソースと比較され、元の画像及び処理された画像の間の歪測定値又は歪指標が算出される。平均二乗誤差(MSE)、ピーク信号対雑音比(PSNR)その他の知覚的歪メトリック(人間の視覚系の性質にいっそう適合する計量値)のような歪メトリック又は歪計量値が歪測定値の計算に使用されてもよい。
フィルタ選択モジュール(370)は、前処理フィルタ(330-i)の歪属性を比較し、ビデオのその領域のエンコード処理に最適な前処理フィルタを選択する。その後、選択されたフィルタの出力はダウンサンプリングされ(385)、エンコーディング処理部(390)に送られる。代替的に、ブロック370は、フィルタの中から選択を行うのではなく、既にダウンサンプルしたフィルタの出力の中から選択を行ってもよい。その場合、ダウンサンプリングモジュール385は必要ではない。
フィルタ選択モジュール(370)は、テクスチャ(texture)、エッジ情報又は境界情報等のような領域に関する追加的な統計情報を領域選択部(310)からの入力として受信し、その入力はフィルタの判定に役立つ。例えば、領域に依存して、或るフィルタの歪推定値が他の値に対して増加する方向に重み付けされてもよい。
図1に示すような実際のシステムにおいて、BL-EL予測に関する適応補間がデコーダの再構築BL画像には行われるが元の前処理コンテンツには行われないという点において、図3に示す開ループ処理は最適なものではない。しかしながら開ループ処理は演算負担が少なくて済み、コンテンツの実際の符号化に先立って「個別に又はオフライン(offline)」で実行可能である。
図3に示す実施形態はスケーラブルアーキテクチャに固有のものでないことを当業者は認めるであろう。更に、そのような実施形態はELのみに対して、BLのみに対して、或いはEL及びEL双方に対して適用可能である。更に、必要に応じて異なる前処理部(プレセレクタ)がBL及びELに使用されてもよい。EL前処理の場合、例えばBLに含まれていなかったサンプルについてダウンサンプリングが更に行われてもよい。
図4は開示される発明の別の実施形態を示し、前処理最適化のための閉ループ処理が行われる。特に、各フィルタ(430-i)のサブサンプル出力にエンコードステップ処理部(450-i)が設けられている。エンコードステップ処理部(450-i)において、フィルタの出力の各々が完全にエンコード又は符号化され、その後、例えば図1に示す方式に従って再構築される(455-i)。スケーラブルビデオエンコード処理の場合、そのようなエンコード処理は、BLエンコード処理、BL-EL予測に関する適応補間処理、及びELエンコード処理を含む。図4は、ELフィルタ(435-11)．．．(435-1M)がBLフィルタ(430-1)に対して設けられ、以下同様にBLフィルタ(430-N)に至るまでELフィルタが同様に設けられ、BLフィルタ(430-N)に対してはELフィルタ(435-N1)．．．(435-NM)が設けられている。
モジュール(455-i)の出力におけるエンコード及び再構築されたビットストリームは、（i）歪計算(460-i)及び(ii)フィルタ選択モジュール(470)の入力(465)という2つの目的に使用される。特に、フィルタ選択モジュール(470)は、歪モジュール(460-i)の出力に従って、何れかの入力(465)を出力エンコードビットストリーム(490)として選択する。より具体的には、各領域について最小の歪を示すフィルタが前処理選択部(プレセレクタ)として選択される。
図4の実施形態によるフィルタの最適化は、歪だけでなく、ターゲット、目標値又は結果のビットレートを考慮することもできる。言い換えれば、選択されたフィルタに応じて、エンコーダは画像をエンコードする際に異なるビット数を必要としてもよい。すなわち、開示される発明の一実施形態によれば、最適なフィルタ選択において、エンコーディング後の歪及び/又は後処理(post-processing)に加えて、エンコード処理に必要なビットを考慮してもよい。これは、あるビットレートの制約の下で対象又が歪を最小化するようにする最適化問題として定立できる。これを行うのに可能な技法はラグランジアン最適化法(Lagrangian optimization)である。そのような処理は、フィルタ選択部(470)において行われ、i)Dモジュール(460-i)において算出された歪及びii)エンコードモジュール(450-i)から利用可能なビットレートを利用する。
より一般的には、いくつものタイプのメトリックの内の1つ以上に基づく最適化が実行されてもよい。そのようなメトリックは、上述したような歪及び/又はビットレートを含むが、コスト、電力、パワー、時間、演算負担及び/又はその他のタイプのメトリックに拡張可能である。
上述した方法は速度歪最適化フィルタ結果(rate-distortion optimal filter result)をもたらすが、非常に演算負担が大きい。そのような実施形態における演算負担を軽減するいくつかの方法を以下において説明する。
図5は代替例を示し、可能性のあるフィルタの選択肢各々について、真にエンコードされデコーダで再構築された画像を算出するのではなく、簡略化されたエンコード(550-i)及び再構築されたものが、真のデコーダ再構築の推定値として使用される。
例えば、完全なエンコード処理(575)は、フィルタの選択(570)が完了した後でしか実行されない。簡略化エンコーダ(550-i)は、例えば、完全なエンコーダ(575)からの動き及び再構築画像情報(577)を用いて更新可能である。例えば、簡略化されたエンコーダのリファレンス画像バッファ(図1の要素160，170)は、簡略化されたエンコーダにより再構築された画像を含むように更新されてもよい。同様に、先行する領域に関して完全なエンコーダで生成された動き情報は、簡略化されたエンコーダ(550-i)のディスパリティ(disparity)推定モジュールで使用可能である。一例として、簡略化エンコーダは、完全なエンコーダにより使用されるのと同じ量子化パラメータを用いるイントラのみのエンコードに基づいて、モデルを形成してもよい。或いは、簡略化エンコーダは、例えば量子化パラメータ・周波数モデルを形成することで、使用される量子化パラメータに対する周波数関係に基づくフィルタリングを行ってもよい。更に、より高い精度が必要な場合、簡略化エンコーダと完全なエンコーダとの間の相違が、モデルを更に更新するのに使用されてもよい。
フィルタ選択に先行するブロック(550-i)により実行される簡略化されたエンコード処理は、例えば、動き推定及び補償の複雑さを軽減するためにイントラのみのエンコードとしてもよい。一方、動き推定が行われる場合、サブピクセル動き推定(sub-pixel motion estimation)がディセーブルされてもよい。更なる代替例は、圧縮の際に可能な全ての符号化判定を調査するのではなく、より簡易な速度歪最適化法(a low complexity rate distortion optimization method)を使用するものである。ループフィルタ及び後処理フィルタのような追加的なフィルタは、ディセーブルにされる又は簡略化される。簡略化を行うため、フィルタを完全にオフにする或いはフィルタリングに使用されるサンプル数を制限してもよい。フィルタが頻繁には使用されないように及び/又はフィルタが特定のブロックエッジ又は境界について使用されるか否かを判定する簡略化処理を使用するように、フィルタパラメータが調整されてもよい。更に、何らかの彩度(chroma)成分に使用されるフィルタが、他の彩度成分又は光度(luma)成分に使用されるフィルタに応じて、ディセーブルに及び推定されてもよい。別の実施形態において、フィルタの選択は、領域全体を最適化するのではなく、一部の領域(例えば、各領域の中心部分)について最適化されてもよい。場合によっては、簡略化されたエンコーダは、より低い解像度又はより低い速度歪最適化(Rate Distortion Optimization: RDO)の複雑さによりエンコード処理を実行してもよい。更に、不均衡、視差、相違又はディスパリティ(disparity)の推定は、サブピクセル単位ではなく、完全なピクセルを単位としてディスパリティを測定するように制限されてもよい。更に、画像の光度(luma)成分のみがエンコードされ、彩度成分の歪及びレート(rate)が光度の関数として推定されてもよい。他の実施形態において、簡略化されたエンコード処理は、完全なエンコーダ(ブロック575)の先行する出力に基づいてブロック550-iの出力をモデル化する精密プロセス(precision process)を単に使用してもよい。
上記の選択肢の全ては簡略化されたエンコーダ(550-i)において使用可能である。換言すれば、簡略化されたエンコーダ(550-i)は図1に示されるエンコードモジュールの全てを備え、それらのモジュールの各々が上述したように簡略化され、完全なエンコーダの出力から出力が大幅に逸脱しないように維持してもよい。
図6は開示される発明の別の実施形態を示し、前処理フィルタステージ部(610)に先行してシーケンス/画像分析ステージ部(620)が設けられている。分析ステージ部(620)は、前処理フィルタのうち最適化に使用する一部分(630)を決定することができる。画像/シーケンス分析部(620)は、(空間的な領域で及び/又は時間的な期間にわたって)テクスチャ(texture)及び/又は分散(variance)の計算を行い、問題としている特定のアプリケーションに必要なフィルタのタイプを判定する。例えば、エンコード処理の前において、画像が滑らかな領域であれば、プレフィルタリング処理を一切必要としないかもしれない。また、ある領域は空間的及び時間的なフィルタリングの双方を必要とするが、他の領域は空間的又は時間的なフィルタリングの片方のみを必要とするかもしれない。ビット深度スケーラビリティの場合、トーンマッピング曲線(tonemapping
curves)が各領域について最適化されてもよい。方向性フィルタ(directional filter)が使用される場合、画像分析モジュール(620)は、エッジ分析を行い、方向性フィルタが最適化に含められるべきか否かを判定し、含められるべき場合、フィルタリングを実行する支配的な方向を判定する。必要に応じて、これらの技法は領域選択モジュールに組み込まれてもよい。また、あるフィルタが所定の閾値を上回る速度歪パフォーマンスを示す場合、最適化において更なるフィルタは一切評価されないようにすることで、早期に終了する基準が使用されてもよい。そのような方法は、画像分析とともに簡易に結合可能であり、探索が実行されるフィルタ数を更に減らすことができる。
図7は開示される発明の更に別の実施形態を示し、前処理フィルタ選択部(710)が、エンハンスメントレイヤエンコーダ(720)から受信した追加的なフィードバック(740)を利用している。例えば、フィードバックは、BL-EL予測信号を生成するのに使用された適応アップサンプリングフィルタパラメータについての情報を含んでいてもよい。その場合、ダウンサンプリングフィルタ選択部は、先行する最適化処理ステージにより、最良に機能する適応アップサンプリングフィルタに適合することができる。これは、前処理に関する領域の選択にも貢献できる。
例えば、画像が複数の小さな領域に分割され、最初の段階において、各領域に異なる前処理フィルタが想定されてもよい。このような実施形態は、先行する画像分析が一切行われていないような簡易なシステムにおいて有用である。そのような場合、アップサンプリング情報(例えば、アップサンプラが複数の領域について同じアップサンプリングフィルタを選択したか否かの情報)は、最良のダウンサンプリングフィルタ選択がどのように動作すべきかを示すインジケータとして使用可能である。例えば、アップサンプリングフィルタが画像全体について同一であった場合、おそらくは、画像を複数の領域に分割する必要はなく、領域各々について別個にダウンサンプリングフィルタを最適化する必要はない。
しかしながら、モジュール(730)においてBLをエンコードした後に、BL-EL予測最適化が、複数の画像の領域の予測に関して同じアップサンプリングフィルタで十分であることを判定するかもしれない。その場合、プレプロセッサはそれらの領域に関して同一の又は同様な前処理フィルタを選択してもよい。これは、全体的な閉ループ最適化が実行される必要のある領域数を減らし、それ故に処理の演算時間を減らすことになる。より一般的には、このステップはBL/ELコンフィギュレーションとは異なるコンフィギュレーションにも適用可能である。
プレプロセッサ最適化の演算負担は、シーケンス中の先行する画像又は画像領域に使用されたフィルタに基づく前処理フィルタパラメータにより更に減少させることができる。図8はそのようなシステムの一例を示す。
例えば、プレプロセッサ最適化(810)はN個の画像/領域毎に一度実行され、Nは、一定値でもよいし或いは利用可能な演算リソース及び時間に基づく可変値でもよい。一実施形態において、過去に最適であったフィルタパラメータを使用するか否かの判断は、画像分析モジュール(820)から得られた情報に依存してもよい(例えば、図6の画像分析モジュール(620))。例えば、2つの画像又は2つの画像領域が非常に高い相関を示していた場合、フィルタパラメータは、その領域の一方について一度だけ最適化されればよく、他方の領域についてはそれを再利用/改善することができる。画像領域は、空間的に隣接していてもよいし、時間的に隣接していてもよいし、或いはマルチビューの場合、各々の映像に対応する画像領域であってもよい。例えば、2つの連続するビデオシーケンスを考察した場合、2つの画像同士の間の画素値の平均的な絶対差分は、時間的な相関の指標又は測定値(measure)として使用可能であり、その平均的な絶対差分が閾値より低かった場合、フィルタが再利用されてもよい(840)。
別の実施形態において、同じフィルタを再利用するか否かの判定は、デコード画像を再構築した後における元のビデオソースに対する歪計算値に基づいて行われてもよい。算出された歪が特定の閾値を上回っていた場合、又は算出された歪が先行する画像/領域の歪から大幅に増加していた場合に、プレプロセッサ最適化が実行される。
更に別の実施形態において、画像分析段階において又はビデオエンコード処理の最中に計算された動き情報(motion information)が、画像に含まれている領域の動きを判定するのに使用可能である。すなわち、先行する画像に使用されたフィルタパラメータは、対応する領域の動きに従う。
別の実施形態において、隣接する領域は、最適なフィルタの探索を実行する際のフィルタ群を決定するのに使用可能である。例えば、隣接する領域に関する最適化の結果が、可能性のあるN個のフィルタの内のM個の部分が他よりも優れていることを常に示していた場合、そのM個の部分のみが現在の画像領域の最適化に使用されてもよい。
現在の領域に使用されているフィルタは次の形式を使用することができる：
a*f(L,T,D,P)+b
ここで、Lは現在の領域の左側に対する画像領域について最適化されたフィルタを使用する場合のフィルタ値であり、Tは上側に対する画像領域について最適化されたフィルタを使用することに関連し、Pは先行する画像と同じ場所にある画像領域に関するものである。関数fは、平均、メジアンその他の指標(隣接する領域各々に対する現在の領域の類似性を考慮に入れることが可能な指標)を利用して各フィルタからのフィルタ値を合成する。変数a及びbは定数であってもよいし、或いは動きやテクスチャのような空間的/時間的な属性に依存して変化してもよい。より一般的には、考察されるフィルタは、既に選択されている隣接する領域におけるものであってもよい。ラスタスキャン(raster scan)を行う具体例は、上記のL、T、D、Pのみの場合である。
更に別の実施形態において、フィルタの速度歪パフォーマンスに加えて、フィルタの「リソース歪(resource-distortion)」パフォーマンスが考慮されてもよい。その場合、リソースは、利用可能なビットを含む概念であるが、それに限定されず、エンコード装置において利用可能な電力又はパワー、演算処理能力、時間的制約のあるアプリケーションの場合には遅延時間の制約等も含まれる。
更に別の実施形態において、歪指標(distortion measurement)は、複数の歪指標の組み合わせを含んでもよいし、或いは追加的な因子(伝送エラー、誤り隠蔽(error concealment)、ディスプレイ又は再生装置で使用されるその他の後処理)を考慮してもよい。
要するに、開示される実施形態による方法はビデオシーケンスの領域について適応的に前処理を施すのに使用可能である。本方法は、出力ビデオの速度歪特性を改善しつつ最適化処理の演算負担を最小化することを意図している。本方法は個々の実施形態により説明されたが、それらは簡易なスケーラブルビデオエンコーダにおいて組み合わせて使用されてもよい。
本願により開示された実施形態はスケーラブルビデオ配信の観点から説明されてきたが、開示される発明はスケーラブルビデオ配信以外の用途にも適用可能である。例えば、エンコードに先立って、帯域幅の要請を減らすためにビデオがダウンサンプリングされ、デコードの後に完全な解像度を得るために補間される製品に広く適用可能である。適応的な補間法が使用される場合、適応的な補間を行うためにダウンサンプリングが最適化されてもよい。そのようなスケーラブルではない用途の場合、出力は、ELエンコーダの出力ではなく、適応的にアップサンプルされた出力である。
別の応用例はインタレースビデオコーディング(interlaced video coding)であり、前処理フィルタは、デコーダにおいて解除されたインタレースに基づいて最適化されてもよい。更に、開示される発明はインタレースされたビデオコーディングと同様なスケーラブルでない3Dアプリケーションにも適用可能であり、その場合、左及び右映像がエンコード処理に先立って空間的又は時間的にダウンサンプル及びインタリーブされ、デコーダにおいて適応的に補間され、空間的又は時間的に完全な解像度を得る。この例の場合、右側及び左側の映像が互に予測可能である。別の例の場合、あるレイヤ又は層が、色空間表現、ビット深度及び/又はスケール(例えば、対数又は線形の尺度)が第1タイプであるフレームを含み、別のレイヤ又は層が、色空間表現、ビット深度及び/又はスケールが第2タイプであるフレームを含んでもよい。開示される発明は、あるレイヤにおけるサンプルから他のレイヤにおけるサンプルを予測及び圧縮する処理を最適化する際に使用されてもよい。
開示される発明による方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにより実現されてもよい。複数のブロック、複数のモジュール又は複数の素子として説明された要素は、(例えば、統合された論理装置のような論理装置において)一緒に実現されてもよいし、或いは(個別に接続された論理装置のように)別々に実現されてもよい。開示される発明による方法を実現するソフトウェアの部分は、実行された場合に、開示された方法の少なくとも一部をコンピュータに実行させる命令により形成され、その命令はコンピュータ読取可能な媒体に保存される。コンピュータ読取可能な媒体は、例えば、ランダムアクセスメモリ(RAM)及び/又はリードオンリメモリ(ROM)を含む概念である。命令はプロセッサにより実行され、プロセッサは例えばディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)又はフィールドプログラマブル論理アレイ(FPGA)等である。
以下、開示される発明による実施形態を例示的に列挙する。
［実施形態1］
ビデオ配信用の前処理フィルタを選択する方法であって、
1つ以上の入力画像を複数の前処理フィルタに入力し、
前処理フィルタ各々について出力画像又はデータストリームを形成するように、前処理フィルタ各々の出力を処理し、
前処理フィルタ各々について該出力画像又はデータストリームのメトリックを算出し、
前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択するステップ
を有する方法。
［実施形態2］
当該方法はスケーラブルビデオ配信用の方法であり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより入力画像をエンコード及び再構築することを含む、実施形態1記載の方法。
［実施形態3］
前記前処理フィルタはベースレイヤ前処理フィルタであり、前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力を前記ベースレイヤの解像度に合わせてサブサンプリングする、実施形態2記載の方法。
［実施形態4］
前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力を3D方式でインタリーブする、実施形態1記載の方法。
［実施形態5］
前記前処理フィルタ各々の前記出力を処理する場合において、前記前処理フィルタ各々の前記出力をデシメートする、実施形態1記載の方法。
［実施形態6］
前記出力画像又はビットストリームの前記メトリックが前記入力画像に対して算出される、実施形態1記載の方法。
［実施形態7］
前記出力画像又はデータストリームのメトリックを算出する場合において、前処理フィルタ各々について別様に歪を算出する、実施形態1記載の方法。
［実施形態8］
前記出力画像又はデータストリームのメトリックを算出する場合において、前記入力画像の選択された領域に応じて別様に前記メトリックを算出する、実施形態1記載の方法。
［実施形態9］
別様に前記メトリックを算出する場合において、1つ以上の領域を選択していた場合に生成された領域に関する統計値に基づいて前記メトリックを算出する、実施形態8記載の方法。
［実施形態10］
当該方法が前記ビデオ画像をエンコードする前に実行される、上記実施形態の何れか1項に記載の方法。
［実施形態11］
前記出力画像又はデータストリームを形成するように、前記前処理フィルタ各々の前記出力を処理する場合において、エンコードされた出力データストリームを形成するように前記前処理フィルタ各々の前記出力をエンコードする、実施形態1-10の何れか1項に記載の方法。
［実施形態12］
前記出力をエンコードする場合において、ベースレイヤのエンコーディング、エンハンスメントレイヤの予測に対するベースレイヤの適応的な補間、及びエンハンスメントレイヤのエンコーディングを行う、実施形態11記載の方法。
［実施形態13］
前記前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する場合において、選択された前記前処理フィルタに対応するエンコードされた前記出力データストリームを選択する、実施形態11又は12に記載の方法。
［実施形態14］
前記前処理フィルタを選択する前に第1段階のエンコーディングを実行し、前記前処理フィルタを選択した後に第2段階のエンコーディングを行うステップを更に有する、上記実施形態の何れか1項に記載の方法。
［実施形態15］
前記第1段階のエンコーディングが、前記前処理フィルタの前記出力を処理する場合に行われる、実施形態14記載の方法。
［実施形態16］
前記第1段階のエンコーディングが、簡略化されたエンコーディングである、実施形態14又は15に記載の方法。
［実施形態17］
前記第1段階のエンコーディングが、イントラのエンコーディングのみに限定されている、実施形態16に記載の方法。
［実施形態18］
前記第1段階のエンコーディングが、サブピクセル動き推定、ブロック化の解除、再度エンコーディングの内の1つ以上を実行せず、及び/又は低レート歪最適化処理及び低解像度エンコーディングの内の1つ以上を実行する、実施形態16又は17に記載の方法。
［実施形態19］
前記第1段階のエンコーディングの仕方が、前記第2段階のエンコーディングに基づいて更新される、実施形態14-18の何れか1項に記載の方法。
［実施形態20］
前記第1段階のエンコーディングの仕方が、前記第1段階のエンコーディングにおけるリファレンス画像バッファを更新することで更新される、実施形態19記載の方法。
［実施形態21］
前記1つ以上の入力画像における複数の領域が選択される、上記実施形態の何れか1項に記載の方法。
［実施形態22］
前記入力画像を前記複数の前処理フィルタに入力する前に前記入力画像を分析し、
前記入力画像が入力される前処理フィルタの数又は後に選択される領域の数を分析結果に基づいて減らすステップ
をさらに有する上記実施形態の何れか1項に記載の方法。
［実施形態23］
前記出力画像又はデータストリームのメトリックを算出する前に、前記出力画像又はデータストリームをエンコーディング又は再構築するステップ
をさらに有する上記実施形態の何れか1項に記載の方法。
［実施形態24］
当該方法がスケーラブルビデオ配信を行うためのものであり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより前記入力画像をエンコード及び再構築することを含み、
前記複数の前処理フィルタは、複数のベースレイヤフィルタ及びベースレイヤフィルタ各々に対する複数のエンハンスメントレイヤフィルタを含む、実施形態23記載の方法。
［実施形態25］
当該方法が、前記出力画像又はデータストリームをエンコードするステップを更に含み、前記前処理フィルタを選択する場合において、該エンコードによるフィードバックに基づいて前記前処理フィルタを選択する、上記実施形態の何れか1項に記載の方法。
［実施形態26］
当該方法がスケーラブルビデオ配信を行うためのものであり、前記エンコードするステップにおいて、ベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを行い、前記フィードバックは前記エンハンスメントレイヤのエンコーディングにより得られる、実施形態25記載の方法。
［実施形態27］
前記フィードバックによる信号が、ベースレイヤを生成してエンハンスメントレイヤの予測を行うのに使用される適応アップサンプリングフィルタパラメータについての情報を含む、実施形態26記載の方法。
［実施形態28］
前記入力画像が、同一の画像に属する異なる領域を含み、1つ以上の前記前処理フィルタが各領域について別個に選択される、実施形態25-27の何れか1項に記載の方法。
［実施形態29］
前記入力画像が、同一の画像に属する異なる領域を含み、1つ以上の前記前処理フィルタが各領域について別個に選択される、実施形態の何れか1項に記載の方法。
［実施形態30］
当該方法が、ビット深度、スケール及び/又は色空間表現が異なるビデオのスケーラブル配信のための方法である、実施形態2記載の方法。
［実施形態31］
当該方法が、スケーラブルでないビデオ配信のための方法である、実施形態1記載の方法。
［実施形態32］
前記スケーラブルでないビデオ配信が、エンコーディングに先立つサブサンプリングと、デコーディング後のビデオ補間とを含む、実施形態31記載の方法。
［実施形態33］
前記ビデオ補間が適応的なビデオ補間である、実施形態32記載の方法。
［実施形態34］
前記スケーラブルでないビデオ配信が、スケーラブルでない3Dビデオ配信である、実施形態31記載の方法。
［実施形態35］
前記スケーラブルでない3Dビデオ配信が、エンコーディングの前に左側及び右側の画像をサブサンプリング及びインタリーブし、デコーディングの際に前記左側及び右側の画像を適応的に補間することを含む、実施形態34記載の方法。
［実施形態36］
前記左側の画像が前記右側の画像から予測可能であり、かつ前記右側の画像が前記左側の画像から予測可能である、実施形態35記載の方法。
［実施形態37］
前記ビデオ配信が、インタレース処理を行うことを含むビデオエンコーディングと、インタレース処理を解除することを含むビデオデコーディングとを行うことを含み、前記出力画像又はデータストリームの前記メトリックが前記インタレース処理を解除することに基づく、実施形態1記載の方法。
［実施形態38］
前記ビデオ配信がマルチビュービデオ配信である、実施形態1記載の方法。
［実施形態39］
前記メトリックが、歪、ビットレート、電力、コスト、時間及び演算負担の内の1つ以上により表現される、上記実施形態の何れか1項に記載の方法。
［実施形態40］
前記歪が複数の歪メトリックの組み合わせにより表現される、実施形態39記載の方法。
［実施形態41］
ビデオ配信を行うための前処理フィルタを選択する方法であって、
入力画像を分析し、
該入力画像の或る領域を選択し、
選択した領域について前処理フィルタを新たに選択する必要があるか否かを判定し、
新たに選択する必要があった場合には前処理フィルタを選択し、
新たに選択する必要がなかった場合には以前に選択されている前処理フィルタの選択を維持するステップを
有する方法。
［実施形態42］
前処理の後に前記領域をエンコーディング及び再構築するステップを更に有する、実施形態41記載の方法。
［実施形態43］
当該方法がスケーラブルビデオ配信のための方法であり、前記エンコーディングがベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを含み、前記再構築がベースレイヤの再構築及びエンハンスメントレイヤの再構築を含む、実施形態42記載の方法。
［実施形態44］
前処理フィルタを新たに選択する必要があるか否かを判定する場合において、再構築された領域からのフィードバックに基づいて判定する、実施形態42又は43記載の方法。
［実施形態45］
前処理フィルタを新たに選択する必要があるか否かを判定する場合において、選択された領域の近傍に基づいて判定する、実施形態42-43の何れか1項に記載の方法。
［実施形態46］
ビデオ配信を行うための前処理フィルタセレクタであって、
入力画像を受信する複数の前処理フィルタと、
出力画像又はデータストリームを形成するように前処理フィルタ各々の出力を処理する処理モジュールと、
前処理フィルタ各々について前記出力画像又はデータストリームのメトリックを算出するメトリック算出モジュールと、
歪モジュールにより前処理フィルタ各々について算出されたメトリックに基づいて、前記複数の前処理フィルタの中から前処理フィルタを選択する前処理フィルタセレクタと
を有する前処理フィルタセレクタ。
［実施形態47］
当該前処理フィルタセレクタが前記入力画像の1つ以上の領域を選択する領域セレクタを更に有し、前記複数の前処理フィルタが、前記領域セレクタに接続されかつ選択された1つ以上の領域の画像を処理する、実施形態46記載の方法。
［実施形態48］
前記ビデオ配信がスケーラブルビデオ配信であり、ベースレイヤエンコーディング及びエンハンスメントレイヤエンコーディングを行うことを含む、実施形態46又は47に記載の前処理フィルタセレクタ。
［実施形態49］
前記ビデオ配信がスケーラブルでないビデオ配信である、実施形態46又は47に記載の前処理フィルタセレクタ。
［実施形態50］
前記メトリックが、歪、ビットレート及び複雑さの内の1つ以上により表現される、実施形態43-46の何れか1項に記載の前処理フィルタセレクタ。
［実施形態51］
実施形態1又は41に記載の方法によりビデオ信号をエンコードするエンコーダ。
［実施形態52］
実施形態1又は41に記載の方法によりビデオ信号をエンコードする装置。
［実施形態53］
実施形態1又は41に記載の方法によりビデオ信号をエンコードするシステム。
［実施形態54］
実施形態1又は41の何れか1項に記載の方法をコンピュータに実行させる一群の命令を含むコンピュータ読取可能な媒体。
［実施形態55］
ビデオ信号をエンコードするための実施形態1又は41の何れか1項に記載の方法の使用。
上記の実施形態は、開示される発明によるビデオアプリケーションのビデオ前処理用のフィルタ選択法を如何にして実現及び使用するかの説明を補完するためのものであり、発明者が開示した範囲を限定することは意図されていないことが、当業者には明らかであろう。本願による開示を実現する上記の実施形態の変形例が、当業者によりなされてもよく、そのような変形例は添付の特許請求の範囲内に包含されるように意図されている。本願において言及された特許及び出願の全ては開示される発明の技術水準を示す。本願において言及された全てのリファレンスは、各リファレンスがあたかも完全にそれぞれ組み込まれていた場合と同じ範囲をもたらすように組み込まれる。
開示される発明は具体的な方法やシステムに限定されず、当然に変更されてもよいことが理解されるであろう。本願において使用される用語は特定の実施形態を説明する観点から使用されているに過ぎず、本発明を限定するようには使用されていないことが理解されるであろう。本願及び特許請求の範囲において使用されているように、要素に付随する「ある」、「或る」、「該」、「その」等の用語は、特に断りのない限りその要素が複数個存在することを含むものとする。「複数の」という用語は、特に断りのない限り、2以上であることを含む。特に断りのない限り、本願において使用されている全ての技術用語及び具体的な用語は、開示される発明が関連する技術分野における通常の知識を有する者が通常使用する用語と共通する意味を有する。
以上、開示される発明について多くの実施形態が説明されてきた。しかしながら開示される発明の精神及び範囲から逸脱することなく、様々な変形例がなされてもよいことは明らかであろう。従って例示したもの以外の実施形態も特許請求の範囲に包含される。
［関連出願］
本願は、2009年4月20日付けで出願された米国仮出願第61/170,995号、2009年7月4日付けで出願された米国仮出願第61/223,027号及び2009年9月14日付けで出願された米国仮出願第61/242,242号による優先的な利益を享受し、それらの出願の内容は本願に組み入れられる。また、本願は2008件12月25日付けで出願された米国仮出願第61/140,886号にも関連し、その内容も補願に組み入れられる。
J.R. Ohm,"Advances in Scalable Video Coding,"Proceedings of the IEEE, vol.93, no.1, January 2005

Claims (11)

  1. ビデオ配信を行うためのダウンサンプリングフィルタを選択する方法であって、
    1つ以上の入力画像が入力された複数のダウンサンプリングフィルタ各々から出力画像又はデータストリームを出力し、
    ベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを前記出力画像又はデータストリームに行いかつ少なくともループフィルタに基づく処理により再構築することで、エンコードされ再構築された画像又はデータストリームを形成し、
    ダウンサンプリングフィルタ各々について前記再構築された画像又はデータストリームのメトリックを算出し、
    ダウンサンプリングフィルタ各々について算出されたメトリック及び前記エンハンスメントレイヤのエンコーディングによるフィードバックに基づいて、前記複数のダウンサンプリングフィルタの中からダウンサンプリングフィルタを選択するステップ
    を有し、前記フィードバックは、エンハンスメントレイヤに対するベースレイヤに使用される適応アップサンプリングフィルタパラメータについての情報をもたらす、方法。
  2. 前記ダウンサンプリングフィルタ各々の前記出力を3D方式でインタリーブするステップを更に有する、請求項1記載の方法。
  3. 前記ダウンサンプリングフィルタを選択する場合において、選択したダウンサンプリングフィルタに対応するエンコードされた出力データストリームを選択する、請求項1記載の方法。
  4. 前記ダウンサンプリングフィルタを選択する前に第1段階のエンコーディングを実行し、前記ダウンサンプリングフィルタを選択した後に第2段階のエンコーディングを行うステップを更に有する、請求項1-3の何れか1項に記載の方法。
  5. 前記第1段階のエンコーディングが簡略化されたエンコーディングである、請求項4記載の方法。
  6. 前記第1段階のエンコーディングの仕方が、前記第1段階のエンコーディングにおけるリファレンス画像バッファを更新することで更新される、請求項4又は5に記載の方法。
  7. 前記出力画像又はデータストリームのメトリックを算出する前に、前記出力画像又はデータストリームをエンコーディング又は再構築するステップ
    をさらに有する請求項1-6の何れか1項に記載の方法。
  8. 当該方法がスケーラブルビデオ配信を行うためのものであり、該スケーラブルビデオ配信は、ベースレイヤ及び1つ以上のエンハンスメントレイヤにより前記入力画像をエンコード及び再構築することを含み、
    前記複数のフィルタは、複数のベースレイヤフィルタ及びベースレイヤフィルタ各々に対する複数のエンハンスメントレイヤフィルタを含む、請求項1記載の方法。
  9. 当該方法が、ビット深度、スケール及び/又は色空間表現が異なるビデオのスケーラブル配信のための方法である、請求項1記載の方法。
  10. 前記メトリックが、歪、ビットレート、電力、コスト、時間及び演算負担の内の1つ以上により表現される、請求項1-9の何れか1項に記載の方法。
  11. ビデオ配信を行うためのダウンサンプリングフィルタを選択する装置であって、
    1つ以上の入力画像が入力された複数のダウンサンプリングフィルタ各々から出力画像又はデータストリームを出力し、
    ベースレイヤのエンコーディング及びエンハンスメントレイヤのエンコーディングを前記出力画像又はデータストリームに行いかつ少なくともループフィルタに基づく処理により再構築することで、エンコードされ再構築された画像又はデータストリームを形成し、
    ダウンサンプリングフィルタ各々について前記再構築された画像又はデータストリームのメトリックを算出し、
    ダウンサンプリングフィルタ各々について算出されたメトリック及び前記エンハンスメントレイヤのエンコーディングによるフィードバックに基づいて、前記複数のダウンサンプリングフィルタの中からダウンサンプリングフィルタを選択する手段
    を有し、前記フィードバックは、エンハンスメントレイヤに対するベースレイヤに使用される適応アップサンプリングフィルタパラメータについての情報をもたらす、装置。
JP2012502326A 2009-04-20 2010-04-20 フィルタを選択する方法及び装置 Expired - Fee Related JP5044057B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US17099509P 2009-04-20 2009-04-20
US61/170,995 2009-04-20
US22302709P 2009-07-04 2009-07-04
US61/223,027 2009-07-04
US24224209P 2009-09-14 2009-09-14
US61/242,242 2009-09-14
PCT/US2010/031693 WO2010123855A1 (en) 2009-04-20 2010-04-20 Filter selection for video pre-processing in video applications

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012156364A Division JP5364820B2 (ja) 2009-04-20 2012-07-12 フィルタを選択する装置及び方法

Publications (2)

Publication Number Publication Date
JP2012521734A JP2012521734A (ja) 2012-09-13
JP5044057B2 true JP5044057B2 (ja) 2012-10-10

Family

ID=42543023

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012502326A Expired - Fee Related JP5044057B2 (ja) 2009-04-20 2010-04-20 フィルタを選択する方法及び装置
JP2012156364A Expired - Fee Related JP5364820B2 (ja) 2009-04-20 2012-07-12 フィルタを選択する装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012156364A Expired - Fee Related JP5364820B2 (ja) 2009-04-20 2012-07-12 フィルタを選択する装置及び方法

Country Status (8)

Country Link
US (1) US20120033040A1 (ja)
EP (2) EP2422521B1 (ja)
JP (2) JP5044057B2 (ja)
CN (2) CN104954789A (ja)
DK (1) DK2663076T3 (ja)
ES (1) ES2602326T3 (ja)
HK (1) HK1214440A1 (ja)
WO (1) WO2010123855A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
CN102860008B (zh) 2010-01-06 2016-05-11 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
CN103155568B (zh) 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的系统和方法
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts
USRE49308E1 (en) * 2010-09-29 2022-11-22 Electronics And Telecommunications Research Instit Method and apparatus for video-encoding/decoding using filter information prediction
KR102062821B1 (ko) * 2010-09-29 2020-01-07 한국전자통신연구원 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
WO2012092787A1 (en) * 2011-01-09 2012-07-12 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US8780996B2 (en) * 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
KR20120118779A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치
CN105120270B (zh) * 2011-05-16 2018-09-04 寰发股份有限公司 采用样本自适应偏移处理重构视频的方法及装置
JP5552092B2 (ja) * 2011-06-13 2014-07-16 日本電信電話株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US20130004071A1 (en) * 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
US20130163660A1 (en) * 2011-07-01 2013-06-27 Vidyo Inc. Loop Filter Techniques for Cross-Layer prediction
WO2013049179A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
TWI461066B (zh) * 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
US9756353B2 (en) 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
BR112015000480B1 (pt) * 2012-07-09 2023-02-07 Vid Scale, Inc Arquitetura de codec para codificação de vídeo de camada múltipla, método e sistema
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
TW201436531A (zh) * 2012-09-28 2014-09-16 Vid Scale Inc 多層視訊編碼適應性升取樣
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
US10034008B2 (en) 2013-03-06 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering
US8897378B2 (en) 2013-03-12 2014-11-25 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
WO2014163893A1 (en) * 2013-03-12 2014-10-09 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US20140269943A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
US20140267916A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
US10091419B2 (en) * 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
US9589206B2 (en) * 2013-12-05 2017-03-07 Hochschule Pforzheim Optimizing an image filter
JP2016005043A (ja) * 2014-06-13 2016-01-12 株式会社リコー 情報処理装置およびプログラム
CN112929670A (zh) 2015-03-10 2021-06-08 苹果公司 自适应色度下采样和色彩空间转换技术
US10715816B2 (en) 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
FR3087309B1 (fr) 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
KR102158007B1 (ko) * 2018-12-24 2020-09-22 서울과학기술대학교 산학협력단 하이브리드망 기반의 영상 전송 시스템 및 방법
CN113170121A (zh) * 2018-12-24 2021-07-23 谷歌有限责任公司 用于比特率减少的视频流自适应滤波
US20200314423A1 (en) * 2019-03-25 2020-10-01 Qualcomm Incorporated Fixed filters with non-linear adaptive loop filter in video coding
US11445222B1 (en) * 2019-09-30 2022-09-13 Isize Limited Preprocessing image data
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
EP3846477B1 (en) * 2020-01-05 2023-05-03 Isize Limited Preprocessing image data
EP3989587A1 (en) 2020-10-21 2022-04-27 Axis AB Image processing device and method of pre-processing images of a video stream before encoding
WO2022183358A1 (zh) 2021-03-02 2022-09-09 京东方科技集团股份有限公司 视频图像去交错方法和视频图像去交错装置
US11917162B2 (en) * 2021-04-30 2024-02-27 Tencent America LLC Content-adaptive online training with feature substitution in neural image compression
EP4171033A1 (en) * 2021-10-20 2023-04-26 Axis AB A method for encoding a video stream

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
WO2001052550A1 (en) * 2000-01-12 2001-07-19 Koninklijke Philips Electronics N.V. Image data compression
JP2001245298A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像符号化方法及び画像符号化プログラムを記憶した媒体
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
EP1631090A1 (en) * 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20070110155A1 (en) * 2005-11-15 2007-05-17 Sung Chih-Ta S Method and apparatus of high efficiency image and video compression and display
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US7881552B1 (en) * 2006-05-16 2011-02-01 Adobe Systems Incorporated Anti-flicker filter
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
JP2008109247A (ja) * 2006-10-24 2008-05-08 Matsushita Electric Ind Co Ltd ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ
BRPI0717322A2 (pt) * 2006-10-25 2015-02-10 Thomson Licensing Métodos e aparelho para codificação de primeira passagem eficiente um codificador de múltiplas passagens
EP1919209A1 (en) * 2006-10-31 2008-05-07 Sony Deutschland Gmbh Method and device for fast and effective noise reduction
CN101563926B (zh) * 2006-12-18 2011-11-16 皇家飞利浦电子股份有限公司 图像压缩与解压缩
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
EP2149262A4 (en) * 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
JP4709189B2 (ja) * 2007-07-23 2011-06-22 日本電信電話株式会社 スケーラブル動画像符号化方法，スケーラブル動画像符号化装置，およびそのプログラムとそれを記録したコンピュータ読み取り可能な記録媒体
JP2012523804A (ja) * 2009-04-13 2012-10-04 リアルディー インコーポレイテッド 向上した解像度の立体ビデオのエンコード、デコード、および配信

Also Published As

Publication number Publication date
WO2010123855A1 (en) 2010-10-28
ES2602326T3 (es) 2017-02-20
DK2663076T3 (en) 2016-12-05
HK1214440A1 (zh) 2016-07-22
CN102450009A (zh) 2012-05-09
CN104954789A (zh) 2015-09-30
EP2663076A3 (en) 2014-03-05
EP2422521B1 (en) 2013-07-03
JP2012231526A (ja) 2012-11-22
JP2012521734A (ja) 2012-09-13
JP5364820B2 (ja) 2013-12-11
CN102450009B (zh) 2015-07-22
EP2422521A1 (en) 2012-02-29
US20120033040A1 (en) 2012-02-09
EP2663076B1 (en) 2016-09-14
EP2663076A2 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
JP5044057B2 (ja) フィルタを選択する方法及び装置
US9503757B2 (en) Filtering for image and video enhancement using asymmetric samples
KR100679031B1 (ko) 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US10536731B2 (en) Techniques for HDR/WCR video coding
EP2675163A1 (en) Reference processing using advanced motion models for video coding
JP2014504459A (ja) 参照ピクチャー処理のための最適化されたフィルタ選択
KR20070075222A (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP2010507352A (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
JP2008503981A (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
WO2007020230A2 (fr) Procede de codage et de decodage d&#39;images video avec echelonnabilite spatiale
CA2576679C (en) Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP7293263B2 (ja) イントラ予測のためのデバイスおよび方法
KR101562343B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101810198B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR101700411B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Wu et al. An enhanced initialization method for rate control of H. 264 based on image quality balance
KR20190084929A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004246A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004247A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Zhao et al. Content-adaptive upsampling for scalable video coding
Singh et al. Optimization of standards for video compression tools over wireless networks

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R150 Certificate of patent or registration of utility model

Ref document number: 5044057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees