JP6005847B2 - スケーラブルなビデオコーディングのためのアダプティブフィルタリング - Google Patents

スケーラブルなビデオコーディングのためのアダプティブフィルタリング Download PDF

Info

Publication number
JP6005847B2
JP6005847B2 JP2015510605A JP2015510605A JP6005847B2 JP 6005847 B2 JP6005847 B2 JP 6005847B2 JP 2015510605 A JP2015510605 A JP 2015510605A JP 2015510605 A JP2015510605 A JP 2015510605A JP 6005847 B2 JP6005847 B2 JP 6005847B2
Authority
JP
Japan
Prior art keywords
filter
layer
image
adaptive
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015510605A
Other languages
English (en)
Other versions
JP2015519829A (ja
Inventor
シュイ,リードーン
ジャーン,ウエンハオ
チウ,イー−ジェン
ジアーン,ホーン
ハン,ユイ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2015519829A publication Critical patent/JP2015519829A/ja
Application granted granted Critical
Publication of JP6005847B2 publication Critical patent/JP6005847B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、スケーラブルなビデオコーデックに関する。スケーラブルなビデオコーデックは、ビット深度スケーラブルビデオコーデック、空間的スケーラブルビデオコーデック、時間的スケーラブルビデオコーデック、色空間スケーラブルビデオコーデック、カラーフォーマットスケーラブルビデオコーデック、等であってよい。
スケーラブルビデオコーデックは、顧客がどんなタイプのサービスを好むのかに基づいて、異なる顧客に対して異なる画像品質レベルを配布することを可能にする。より低品質のビデオサービスは、より高い品質のビデオサービスよりも高価なことがある。
ビット深度スケーラブルビデオコーダ(coder)においては、より低いビット深度が基本ライン層(baseline layer)と呼ばれ、より高いビット深度が強化層(enhancement layer)と呼ばれる。ビット深度がより大きいと、ビデオの品質はより良くなる。空間的スケーラブルビデオコーダにおいては、より低い画像解像度が基本ライン層と呼ばれ、より高い画像解像度が強化層と呼ばれる。画像解像度がより大きいと、ビデオの品質はより良くなる。他のスケーラビリティは、空間的スケーラビリティ、時間的スケーラビリティ、信号対雑音比(SNR)スケーラビリティ、カラーフォーマットスケーラビリティ、色域又は色空間スケーラビリティ、を含んでいる。
スケーラブルビデオコーデックにおいて、エンコーダとデコーダは一つのユニットとして提供され得る。いくつかのケースでは、エンコーダだけが提供され、他のケースでは、デコーダだけが提供されてよい。スケーラブルビデオコーダにより、システムは、少なくとも基本ライン層において動作することができる。このように、低コストシステムにおいては、基本ライン層だけが利用され、より高いコストの、より進んだシステムにおいては、一つまたはそれ以上の強化層が利用され得る。
基本ライン層から強化層を引き出すことが有利である。この目的のために、ビット深度スケーラブルビデオコーディングにおいて、逆トーンマッピングを利用することができ、基本ライン層のビット深度を強化層のビット深度にまで増加させる。いくつかのケースにおいては、例えば、基本ライン層はピクセル毎に8ビットであり、強化層はピクセル毎に10、12、又は、それ以上のビットであってよい。
いくつかの実施例が、以下の図面に関して説明される。
図1は、本発明の一つの実施例に従った、エンコーダ及びデコーダシステムを模式的に表している。 図2は、一つの実施例に従った、3層SVCビットストリームのためのデコーディングフローを表している。 図3は、一つの実施例において、エンコーダ側でアダプティブフィルタリングを用いた層間予測(inter−layer prediction)を示している。 図4は、本発明のさらに別の実施例に対するシステムを表している。 図5は、別の実施例に対する正面図である。
図1を参照すると、スケーラブルビデオコーデックは、エンコーダ10を含んでおり、ビデオ送信またはビデオストレージ14を通じてデコーダ12と通信する。図1は、別のコーデックからのデコーダを伴う一つのコーデックからのエンコーダを示している。
一つの実施例として、ネットワークコンピュータは、ネットワークを通じて別のコンピュータと通信してよい。それぞれのコンピュータは、エンコーダとデコーダの両方を含んでいるコーデックを有し得る。情報が、一つのノードにおいてエンコードされ、ネットワークを通じて他のノードに対して送信されるようにである。そして、他のノードは、エンコードされた情報をデコードする。
図1に示されたコーデックは、スケーラブルビデオコーデック(SVC)である。このことは、例えば、異なるビット深度、異なる画像サイズ、等といった異なる品質で、情報をエンコード及び/又はデコードすることができることを意味している。ビデオソース16と26は、エンコーダ10に接続されている。ビット深度スケーラビリティのために、ビデオソース16は、Nビットのビデオデータを使用する。一方、ビデオソース26は、Mビットのビデオデータを使用する。ここで、ビット深度Mは、ビット深度Nより大きい。空間的スケーラビリティのために、ビデオソース16は、より小さな画像サイズのビデオデータを使用し、一方、ビデオソース26は、より大きな画像サイズのビデオデータを提供する。他の実施例においては、2ビット深度または2画像サイズ以上の2つ以上のソースが提供され得る。
それぞれのケースにおいて、ビデオソースからの情報が、エンコーダに対して提供される。より低いビット深度であるビデオソース16の場合に、情報は、基本ラインエンコーダ18に対して提供される。より高いビット深度であるビデオソース26の場合には、強化層エンコーダ28が利用される。
図1の基本ラインエンコーダは、例えば、H.264(アドバンストビデオコーデック(AVC)およびMPEG−4パート10)またはHEVC(高効率ビデオコーデック)、圧縮規格、に適合している。K.264規格は、ジョイントビデオチーム(JVT)によって準備されてきたものであり、VCEG(ビデオコーディングエキスパートチーム)としても知られている、ITU−T SG16 Q.6、および、MPEG(モーションピクチャエキスパートグループ)として知られている、ISO−IEC JTC1/SC29/WG11(2003)を含んでいる。HEVC規格は、ジョイントコラブレイティブチームオンビデオコーディング(JCTVC)よって準備されてきたものであり、VCEGとMPEGも含んでおり、2013年1月までに完成される。H.264とHEVCは、いくつか例を挙げると、以下の領域におけるアプリケーションのために設計されている。デジタルTV放送、直接放送衛星ビデオ、デジタル加入者線ビデオ、インタラクティブストレージメディア、マルチメディアメッセージ、地上デジタルTV放送、および、リモートビデオ監視、の領域である。
一つの実施例はHEVCビデオコーディングに適合しているが、本発明が限定されるものではない。代わりに、実施例は、種々のビデオ圧縮システムにおいて使用されてよい。H.264/AVC、MPEG−2(ISO/IEC 13818−1(2000)、MPEG−2は国際標準化機構(ジュネーブ、スイス)から利用可能である)、および、VC1(SMPTE421M(2006)、SMPTE(ホワイトプレーンズ、ニューヨーク 10601)から利用可能である)を含むものである。
アダプティブフィルタリングは、一つの実施例において、ウイナーフィルタ(Wiener filter)によって達成することができる。ウイナーフィルタは、ソース信号とランダムノイズを通じてモデル化された予測信号の中での最小2乗平均を達成するフィルタである。”アダプティブフィルタリング”は、フィルタリングが、画像の一部分、画像全体、または、連続した複数の画像における、ピクセル輝度の分析と独立した、または、基づいたコンテンツであることを意味している。例えば、グラフィックスまたはストリームビュービデオである、受け取られたビデオ情報のタイプは、異なるタイプのビデオに対して、ウイナーフィルタにおける異なるタップを結果として生じる。このように、アダプティブフィルタタップは、所与の画像部分、画像、または一連の画像におけるそれぞれのピクセルの輝度に係る検査の結果である。
エンコーダは、デコーダによる使用のために、ビデオ送信またはビデオストレージ14を通じて情報を提供する。提供され得る情報は、基本ライン層(BL)ビデオストリーム、より低い層の画像処理情報(例えば、ビット深度スケーラビリティに対する逆トーンマッピング(ITM)情報、または、空間的スケーラビリティに対する画像アップデートスケール情報)、アダプティブフィルタリング24からのフィルタタップ、および、強化層(EL)ビデオストリーム、を含んでよい。この情報のいくつかは、パケットヘッダの中に含まれてもよい。例えば、逆トーンマッピング(ITM)または画像アップスケール情報およびフィルタタップ情報は、パケット化されたデータ送信における好適なヘッダにおいて提供されてよい。
ビデオコーデックにおいて、アダプティブウイナーフィルタは、2つの画像または画像領域間での違いを最小化することを目指しており、フィルタ係数がデコーダサイトに対して送信される。SVC強化層コーディングのために、Q(x、y)は、位置(x、y)における強化層入力ピクセルの値を示しており、P(x、y)は、位置(x、y)におけるプロセスされたより低い層の再構成されたプリフィルタリングピクセルの値を示している。オフセットを伴うアダプティブウイナーフィルタは、以下の等式(12)としてP(x,y)上で実行され、ポストフィルタピクセル値P□(x、y)を得る。ここで、Cm、nは、アダプティブフィルタリング係数を示しており、Offsetは、オフセット値を示している。
Figure 0006005847
、M、N、Nは、ウイナーフィルタタップの数量をコントロールするためのパラメータである。M、M、N、Nの異なる設定を用いて、フィルタは、対称フィルタまたは非対称フィルタであり得る。例えば、1次元フィルタまたは2次元フィルタである。
係数Cm、nとオフセット値Offsetは、エンコーダ側でアダプティブに生成されてよく、そして、強化層デコーディングのためにビットストリームへとコード化される。Cm、nとOffsetを生成するための一つの方法は、Q(x、y)とP□(x、y)との間の歪みの2乗和を最小にすることである。Cm、n及び/又はオフセット値は、強制的にゼロにされてよく、そして、残りのフィルタパラメータだけがエンコーダによって引き出されて、デコーダに送付される必要がある。オフセット値が強制的にゼロにされる場合、フィルタ等式(12)は等式(13)に変更される。ウイナーフィルタが使用されない場合、フィルタ等式(12)は等式(14)に変更される。
Figure 0006005847
Figure 0006005847
図3は、3層SVCビットストリーム、つまり1つの基本層と2つの強化層、についてデコーディングフローの一つの実施例を示している。スケーラビリティは、空間的スケーラビリティ、ビット深度スケーラビリティ、または、他のいくらかのスケーラビリティであってよい。ブロック52、「層間アダプティブフィルタリングL1」および「層間アダプティブフィルタリングL2」が、層間予測を改善するために、SVCデコーディングフローの中に追加されている。層間アダプティブフィルタは、処理されるより低い層の画像に適用され、その品質を改善する。3つの他のアダプティブフィルタリングブロック、つまりデコーディングフロー中の「アダプティブフィルタリングL0」、「アダプティブフィルタリングL1」および「アダプティブフィルタリングL2」は、一つの実施例においては標準的なアダプティブフィルタリングブロックであり、HEVC/H.265コーディング規格において使用されるように、出力ビデオの品質を改善する。「より低層の画像処理」は、空間的スケーラビリティに対するフレームアップスケーリング、ビット深度スケーラビリティに対するトーンマッピング、または、あらゆる処理なしの通過であってよい。
図2において、レイヤ0ビットストリームがエントロピデコーディング40に対してて提供される。エントロピデコードされたビットストリームは、逆量子化と変換42に対してて提供される。これが、ミキサ44に対して提供される。ミキサは、イントラ予測ユニット38または動作補償ユニット36のいずれかから、スイッチ56を介して入力を受け取る。レイヤ0ビットストリームの場合、スイッチはイントラ予測ユニット38に接続されている。イントラ予測ユニット38および逆量子化と変換ユニット42からのデータを混合した後で、ストリームは、非ブロック化フィルタリング46において非ブロック化される。最後に、48でアダプティブフィルタリングL0が生じて、レイヤ0出力ビデオを出力する。
レイヤ0出力ビデオは、次の層に対しても提供される。レイヤ1とラベル付けされた強化層デコーディングフロー32である。特に、レイヤ0出力ビデオは、層32におけるより低層の画像処理50に対して提供される。そして、ビデオは、層間アダプティブフィルタリングL1のブロック52に対して提供され、最後に、層間予測のブロック54に対して提供される。ここから、ビデオは、スイッチ56を介してミキサ44に対して伝えられる。層32からの出力は、レイヤ1出力ビデオと呼ばれるが、レイヤ2または強化層デコーディングフロー34における、より低層の画像処理50に対して提供される。その他、シーケンスはレイヤ1に関して説明されたものと同一である。最後に、レイヤ2出力が、示されているように、出力される。
図3は、エンコーダ側における強化層LXに対するアダプティブフィルタリングを用いた層間予測を示している。一つの実施例において、層間アダプティブフィルタリング60は、強化層入力画像Q(x、y)と処理されるより低層の出力画像P(x、y)50との間の相違を最小にすることを目指している。そして、出力された、フィルタされた画像P’(x、y)は、層間予測54のために使用される。
一つの実施例において、画像における全てのピクセルに一つのフィルタを適用することができる。そして、エンコーダは、フィルタをターンオンするか、ターンオフするかを決定することができ、決定結果を示すためにデコーダに対してフラグを送付する。一つのフィルタでは画像のいくつかのローカル領域での適用を欠き得ることを考慮すると、より良いコーディング効率を達成するためにローカルなアダプティブフィルタリングが適用されてよい。
ローカルなアダプティブフィルタリングにおいては、画像が複数の領域に分割され、そして、異なる領域に対して異なるフィルタリングスキームが適用される。一つの実施例においては、一つのフィルタだけが全体の画像に適用され、エンコーダは、それぞれの領域に対してフィルタすべきか否かを決定することができ、そして、エンコーダは、決定結果を示すためにデコーダに対してフラグを送付する。別の実施例においては、複数のフィルタが全体の画像に適用され、エンコーダは、それぞれの領域に対してフィルタすべきか否かを決定することができる。そして、フィルタすべき場合には、この領域をフィルタするためにどのフィルタ(つまり、フィルタテーブルインデックス)が使用されるべきかを決定し、エンコーダは、決定結果を示すためにデコーダに対してフラグを送付する。
画像を複数の領域に分割するための異なるクライテリアが存在する。いくつかの実施例においては、ピクセル位置に従って画像を異なる領域へと分割することができる。例えば、全体の画像をM×Nの領域へと均一に分割する。他のいくつかの実施例においては、ピクセル特性に従ってピクセルを異なるクラスに分類することによって画像を異なる領域へと分割することができる。ピクセル特性は、例えば、ピクセル値またはピクセルのエッジおよび勾配の情報であり、ピクセルの一つのクラスが一つの領域としてみなされる。他のいくつかの実施例においては、画像を複数の小さなブロックへと分割することによって画像を異なる領域へと分割することができ、そして、ブロック特性に従ってブロックを異なるクラスに分類する。ブロック特性は、例えば、ブロックに係るピクセル値の平均、またはブロックの平均エッジおよび勾配の情報であり、ブロックの一つのクラスが一つの領域としてみなされる。
いくつかの実施例において、強化層に係る層間アダプティブフィルタリングは、より低層の領域フィルタパラメータを再使用してよい。例えば、フィルタオン/オフのフラグとフィルタテーブルである。そして、それらの再使用された情報が、この強化層に対して送信される必要はない。他のいくつかの実施例において、エンコーダは、より低層のアダプティブフィルタリングパラメータを再使用するか否かをアダプティブに決定することができる。そして、再使用に伴い、より低層のフィルタパラメータを使用するか決定して、決定結果をデコードに対して送付する。
SVC層間予測は、処理されたより低層の再構成された画像にアダプティブフィルタを適用することによって改善され得る。ここで、より低層の再構成された画像の処理は、例えば、空間的スケーラビリティに対するフレームアップスケーリング、ビット深度スケーラビリティに対するトーンマッピング、または、あらゆる処理なしの通過であってよい。アダプティブフィルタリングは、強化層の入力ピクセルと処理されたより低層の再構成された画像との間の違い/歪みを削減することを目指している。
オフセットを伴うアダプティブウイナーフィルタは、アダプティブフィルタとして、強化層コーディングのSVC層間予測を改善するように動作し得る。ウイナーフィルタ係数とオフセット値は、エンコーダ側でアダプティブに生成することができ、そして、エンコードされて、デコーダに対して送信される。いくつかの実施例において、オフセット値は、強制的にゼロにされてよく、そして、ウイナーフィルタ係数だけがエンコーダ側で生成されて、デコーダに送付される必要がある。いくつかの実施例においては、ウイナーフィルタを適用することなく、フィルタリングのためにオフセット値だけを適用し、そして、オフセット値だけがエンコーダ側で生成されて、デコーダに送付される必要がある。いくつかの実施例においては、伝送バンド幅を節約するために、ウイナーフィルタ係数の一部分が強制的にゼロにされてよく、そして、残りの係数だけがエンコーダ側で生成されて、デコーダに送付される必要がある。
アダプティブフィルタは、全体画像に適用されてよい。つまり、画像における全てのピクセルが同一のフィルタを使用する。エンコーダは、全体の画像がフィルタされるべきか否かを決定することができ、そして、決定結果を示すためにデコーダに対してフラグを送付する。画像は、異なる領域へと分割され、そして、それぞれの領域にアダプティブフィルタが適用されてよい。そして、エンコーダは、どの領域がフィルタされるべきかを決定し、決定結果を示すためにデコーダに対してフラグを送付する。
画像は複数の領域へと分割され、そして、異なる領域に対して異なるアダプティブフィルタが適用される。エンコーダは、それぞれの領域に対するフィルタパラメータを引き出すことができ、次に、エンコードして、デコーダに対してデコーディングのためにパラメータを送付する。エンコーダは、また、それぞれの領域に対して、フィルタすべきか否かを決定することができ、そして、エンコーダは、決定結果を示すためにデコーダに対してフラグを送付する。
強化層フィルタ係数に係る予測コーディングが使用されてよい。フィルタ係数は、イントラ予測であってよく、つまり、同一のフィルタの他の係数の値から一つのフィルタの値を予測することによるものである。または、インター予測であってよく、つまり、他のフィルタの係数から一つのフィルタの値を予測することによるものである。他のフィルタは、この強化層画像に対して複数のフィルタが適用されている場合、同一の強化層に係る他のフィルタであってよい。または、より低層の画像に対して使用されるフィルタ、または、他のコード化された画像に対するフィルタであってよい。
フィルタ係数に対して複数の予測コーディング方法が使用されてよい。エンコーダは、どの予測コーディング方法が使用されるべきかを決定することができ、そして、エンコーダは、決定結果を示すためにデコーダに対してフラグを送付する。
画像は、ピクセル位置に従って、異なる領域へと分割することができる。例えば、全体の画像をM×Nの領域へと均一に分割する。画像は、他のいくつかのピクセル特性に従ってピクセルを異なるクラスに分類することによって、画像を異なる領域へと分割することができる。ピクセル特性は、例えば、ピクセル値またはピクセルのエッジおよび勾配の情報であり、ピクセルの一つのクラスが一つの領域としてみなされる。
画像を複数の小さなブロックへと分割し、そして、ブロック特性に従ってブロックを異なるクラスに分類することによって、画像を異なる領域へと分割することができる。ブロック特性は、例えば、ブロックに係るピクセル値の平均、またはブロックの平均エッジおよび勾配の情報である。そして、ブロックの一つのクラスが一つの領域としてみなされる。より低層のコーディングに対してアダプティブフィルタが適用される場合、強化層アダプティブフィルタリングに対してより低層のアダプティブフィルタに係るフラグをフィルタしている領域が、再使用されてよい。そのため、この強化層に対して独立領域のフィルタリングフラグを伝える必要はなく、いくつかの実施例において、いくらかの伝送バンド幅を節約している。ここで、より低層のアダプティブフィルタは、より低い強化層のインターレイヤ予測を改善するためのフィルタ、または、より低層の出力ビデオ品質を改善するためのフィルタであってよい。他のいくつかの実施例において、エンコーダは、より低層のアダプティブフィルタリングパラメータを再使用するか否かをアダプティブに決定することができる。そして、再使用が選択された場合、より低層のフィルタパラメータを使用するか決定して、決定結果をデコードに対して送付する。
図4は、システム700に係る一つの実施例を示している。実施例において、システム700は、メディアシステムであってよいが、このコンテクストに限定されるものではない。例えば、システム700は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント(PDA)、携帯電話、携帯電話/PDAの組合せ、テレビ、スマートデバイス(例えば、スマートフォン、スマートタブレットまたはスマートテレビ)、モバイルインターネットデバイス(MID)、メッセージングデバイス、データ通信デバイス、等であってよい。
実施例において、システム700は、ディスプレイ720に接続されたプラットフォーム702を含んでいる。プラットフォーム702は、コンテンツサービスデバイス730、コンテンツ配送デバイス740、または他の類似のコンテンツソースといった、コンテンツデバイスからコンテンツを受け取ってよい。ナビゲーションコントローラ750は、一つまたはそれ以上のナビゲーション機能を含んでおり、例えば、プラットフォーム702及び/又はディスプレイ720とインタラクションするために使用され得る。これらのコンポーネントのそれぞれは、以降に詳しく説明される。
実施例において、プラットフォーム702は、チップセット705、プロセッサ710、メモリ712、ストレージ714、グラフィックサブシステム715、アプリケーション716、グローバルポジショニングシステム(GPS)721、カメラ723、及び/又は、ラジオ718、に係るあらゆる組合せを含んでよい。チップセット705は、プロセッサ710、メモリ712、ストレージ714、グラフィックサブシステム715、アプリケーション716、及び/又は、ラジオ718、の間での相互コミュニケーションを提供する。例えば、チップセット705は、ストレージ714との相互コミュニケーションを提供することができるストレージアダプタ(図示なし)を含んでよい。
加えて、プラットフォーム702は、オペレーティングシステム770を含んでよい。プロセッサ772に対するインターフェイスが、オペレーティングシステムおよびプロセッサ710とインターフェイスすることができる。
ファームウェア790は、ブートシーケンスといった、機能を実施するように備えられてよい。ファームウェアがプラットフォーム702の外側からアップデートできるようにするアップデートモジュールが、備えられてよい。例えば、アップデートモジュールは、アップデートする試みが確実であるかを判断するためのコード、および、いつアップデートが必要であるかの決定を促進するために、ファームウェア790の最新のアップデートを特定するコードを含んでよい。
いくつかの実施例において、プラットフォーム702は、外部電源によって電力供給され得る。いくつかのケースでは、プラットフォーム702は、また、内部バッテリ780を含んでよく、外部電源を適用しない実施例において、もしくは、バッテリ電源または外部電源のいずれかを許可する実施例において、電源として動作する。
プロセッサ710は、複合命令セットコンピュータ(CSIC)又は縮小命令セットコンピュータ(RSIC)プロセッサ、x86命令セット互換プロセッサ、または、他のあらゆるマイクロプロセッサ又は中央処理ユニット(CPU)として実施されてよい。実施例において、プロセッサ710は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ、等を含んでよい。
メモリ712は、これらに限定されるわけではないが、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、または、スタティックRAM(SRAM)といった、揮発性メモリデバイスとして実施されてよい。
ストレージ714は、これらに限定されるわけではないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内蔵ストレージデバイス、外付けストレージデバイス、フラッシュメモリ、バッテリバックアップSDRAM(シンクロナスDRAM)、及び/又は、ネットワークアクセス可能ストレージデバイス、といった不揮発性ストレージデバイスとして実施されてよい。実施例において、ストレージ714は、例えば、複数のハードドライブが含まれている場合に、種々のデジタルメディアに対するプロテクションが拡張されたストレージパフォーマンスを改善するための技術を含んでよい。
グラフィックサブシステム715は、表示のために静止画または動画といった画像の処理を実行する。グラフィックサブシステム715は、例えば、グラフィック処理ユニットGPU)またはビジュアル処理ユニット(VPU)であってよい。グラフィックサブシステム715とディスプレイ720を通信可能に接続するために、アナログまたはデジタルインターフェイスが使用されてよい。例えば、ハイディフィニションマルチメディアインターフェイス(HDMI(登録商標))、ディスプレイポート、無線HDMI、及び/又は、無線HD準拠の技術、のいずれでもよい。グラフィックサブシステム715は、プロセッサ710またはチップセット705の中に統合されてよい。グラフィックサブシステム715は、チップセット705に対して通信可能に接続されたスタンドアロンのカードであってよい。
ここにおいて説明されるグラフィック及び/又はビデオ処理技術は、種々のハードウェアアーキテクチャの中で実施されてよい。例えば、グラフィック及び/又はビデオ機能が、チップセットの中に統合されてよい。代替的に、個別のラフィック及び/又はビデオプロセッサが使用されてもよい。さらに別の実施例として、グラフィック及び/又はビデオ機能は、マルチコアプロセッサを含む、汎用プロセッサによって実施されてよい。さらなる実施例において、機能は、家電デバイスにおいて実施されてよい。
ラジオ718は、種々の好適な無線通信技術を使用して、信号を送信および受信することができる一つまたはそれ以上のラジオを含んでいる。そうした技術は、一つまたはそれ以上の無線ネットワークにわたる通信を含んでよい。典型的な無線ネットワークは(これらに限定されるわけではないが)、無線ローカルエリアネットワーク(WLAN)、無線パーソナルエリアネットワーク(WPAN)、無線メトロポリタンエリアネットワーク(WMAN)、携帯電話ネットワーク、および、衛星ネットワーク、を含んでいる。そうしたネットワークにわたるコミュニケーションにおいて、ラジオ718は、あらゆるバージョンでの一つまたはそれ以上の適用可能な規格に従って動作し得る。
実施例において、ディスプレイ720は、あらゆるテレビ型のモニタまたはディスプレイを含んでよい。ディスプレイ720は、例えば、コンピュータディスプレイ画面、タッチ画面ディスプレイ、ビデオモニタ、テレビのようなデバイス、及び/又は、テレビ、を含んでいる。ディスプレイ720は、デジタル及び/又はアナログであってよい。実施例において、ディスプレイ720は、ホログラフィックディスプレイであってよい。ディスプレイ720は、また、透明なサーフェスであってよく、視覚投影を受け取る。そうした投射は、種々の形式の情報、画像、及び/又は、オブジェクトを伝えることができる。例えば、そうした投射は、モバイル拡張仮想現実(MAR)アプリケーションのためのビジュアルオーバーレイであってよい。一つまたはそれ以上のソフトウェアアプリケーション716の下で、プラットフォーム702は、ディスプレイ720上にユーザインターフェイス722を表示し得る。
実施例において、コンテンツサービスデバイス730は、あらゆる国内、国際、及び/又は、独立したサービスによってホストされてよく、従って、例えば、インターネットを介してプラットフォーム702にアクセス可能である。コンテンツサービスデバイス730は、プラットフォーム702及び/又はディスプレイ720に接続されてよい。プラットフォーム702及び/又はコンテンツサービスデバイス730は、ネットワーク760に接続されてよく、ネットワーク760に対して、または、ネットワークからのメディア情報を通信する(例えば、送信及び/又は受信)。コンテンツサービスデバイス730は、また、プラットフォーム702に対して、及び/又は、ディスプレイ720に対して接続されてよい。
実施例において、コンテンツサービスデバイス730は、以下のものを含んでよい。ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、インターネット可能装置またはデジタル情報及び/又はコンテンツ配送可能器具、および、ネットワーク760を介して又は直接的に、コンテンツプロバイダとプラットフォーム702及びディスプレイ720との間で単方向又は双方向にコンテンツを通信することができるあらゆる他の類似のデバイス、である。コンテンツが、ネットワーク760を介して、システム700におけるあらゆる一つのコンポーネントおよびコンテンツプロバイダに対して、又は、そこから単方向及び/又は双方向で通信され得ることが正しく理解されよう。コンテンツの実施例は、あらゆるメディア情報を含んでよく、例えば、ビデオ、音楽、医療およびゲーム情報、等を含んでいる。
コンテンツサービスデバイス730は、メディア情報、デジタル情報、及び/又は他のコンテンツを含むケーブルテレビプログラミングといったコンテンツを受け取る。コンテンツプロバイダの実施例は、あらゆるケーブル又は衛星テレビ、または、ラジオ、もしくは、インターネットのコンテンツプロバイダを含んでよい。提供された例は、本発明の実施例を限定することを意味するものではない。
実施例において、プラットフォーム702は、一つまたはそれ以上のナビゲーション機能を有するナビゲーションコントローラ750からコントロール信号を受け取る。コントローラ750のナビゲーション機能は、例えば、ユーザインターフェイス722とインタラクションするために使用されてよい。実施例において、ナビゲーションコントローラ750は、ポインティングデバイスであってよく、ユーザがコンピュータの中に空間的(例えば、連続かつ多次元の)データを入力できるようにするコンピュータハードウェアコンポーネント(特には、ヒューマンインターフェイスデバイス)であり得る。グラフィカルユーザインターフェイス(GUI)、および、テレビとモニタ、といった多くのシステムにより、ユーザは、肉体的なジェスチャを使用して、コンピュータまたはテレビに対してデータを提供することができる。
コントローラ750のナビゲーション機能の動きは、ポインタ、カーソル、フォーカスリング、又はディスプレイ上に表示される他の視覚的なインジケータの動きによって、ディスプレイ(例えば、ディスプレイ720)上にエコーされる。例えば、ソフトウェアアプリケーション716のコントロールの下で、ナビゲーションコントローラ750上に配置されたナビゲーション機能は、例えば、ユーザインターフェイス722上に表示される仮想ナビゲーション機能にマップされてよい。実施例において、コントローラ750は、分離したコンポーネントではなく、プラットフォーム702及び/又はディスプレイ720の中に統合されてよい。実施例は、しかしながら、ここにおいて示され、または、説明されたエレメント又はコンテクストに限定されるものではない。
実施例において、ドライバ(図示なし)は、ユーザが、プラットフォーム702を即座にターンオンおよびオフすることができる技術を含んでよい。例えば、イネーブルされた場合、初期ブートアップの後でボタンのタッチを用いるテレビのようなものである。プログラムロジックにより、プラットフォーム702は、プラットフォームがターン「オフ」された場合に、メディアアダプタ、または、他のコンテンツサービスデバイス730、もしくは、コンテンツ配送デバイス740に対して、コンテンツをストリームすることができる。加えて、チップセット705は、例えば、5.1サラウンドサウンドオーディオ及び/又はハイディフィニション7.1サラウンドサウンドオーディオのためのハードウェア及び/又はソフトウェアのサポートを含んでよい。ドライバは、統合されたグラフィックプラットフォームのためのグラフィックドライバを含んでよい。実施例において、グラフィックドライバは、ペリフェラルコンポーネントインターコネクト(PCI)エキスプレスのグラフィックカードを含んでよい。
種々の実施例においては、システム700において示されるあらゆる一つまたはそれ以上のコンポーネントが、統合されてよい。例えば、プラットフォーム702とコンテンツサービスデバイス730が統合されてよく、または、プラットフォーム702とコンテンツ配送デバイス740が統合されてよく、もしくは、例えば、プラットフォーム702、コンテンツサービスデバイス730、およびコンテンツ配送デバイス740が統合されてよい。種々の実施例において、プラットフォーム702とディスプレイ720は、統合されたユニットであってよい。例えば、ディスプレイ720とコンテンツサービスデバイス730が統合されてよく、または、ディスプレイ720とコンテンツ配送デバイス740が統合されてよい。これらの実施例は、本発明を限定することを意味するものではない。
種々の実施例において、システム700は、無線システム、有線システム、または、両方の組合せとして実施されてよい。無線システムとして実施される場合、システム700は、無線で共有されるメディアにわたり通信するために好適なコンポーネントとインターフェイスを含んでいる。一つまたはそれ以上の、アンテナ、送信器、受信器、トランシーバ、アンプ、フィルタ、コントロールロジック、等といったものである。無線で共有されるメディアの実施例は、RFスペクトラム等といった、無線スペクトラムの部分を含んでよい。有線システムとして実施される場合、システム700は、有線の通信メディアにわたり通信するために好適なコンポーネントとインターフェイスを含んでいる。入力/出力(I/O)アダプタ、I/Oアダプタを対応する有線の通信メディアと接続するための物理的コネクタ、ネットワークインターフェイスカード(NIC)、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ、等といったものである。有線の通信メディアは、電線、ケーブル、金属リード、プリント回路基板(PCB)、背面プレーン、スイッチファブリック、半導体材料、ツイストペア電線、同軸ケーブル、光ファイバ、等を含んでよい。
プラットフォーム702は、情報を通信するための一つまたはそれ以上のロジカルまたは物理的チャネルを確立してよい。情報は、メディア情報およびコントロール情報を含んでよい。メディア情報は、ユーザに向けたコンテンツを表しているあらゆるデータを参照してよい。コンテンツの実施例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール(「eメール」)メッセージ、音声メールメッセージ、英数字シンボル、グラフィック、イメージ、ビデオ、テキスト、等を含んでよい。音声会話からのデータは、例えば、スピーチ情報、沈黙時間、バックグランドノイズ、コンフォートノイズ、トーン、等であってよい。コントロール情報は、コマンド、インストラクション、または、自動化システムに向けたコントロールワードを表しているあらゆるデータを参照してよい。例えば、コントロール情報は、システムを通じてメディア情報を送るため、または、規定の方法でメディア情報を処理するようにノードに指示するためにに使用されてよい。実施例は、しかしながら、図4において示され、または、説明されたエレメント又はコンテクストに限定されるものではない。
上述のように、システム700は、種々の物理的スタイルまたはフォームファクタにおいて具現化されてよい。図5は、システム700が具現化されるスモールフォームファクタデバイス800の実施例を示している。実施例において、例えば、デバイス800は、無線機能を有するモバイルコンピューティングデバイスとして実施されてよい。モバイルコンピューティングデバイスは、処理システム、および、例えば、一つまたはそれ以上のバッテリといった、モバイル電源、を有するあらゆるデバイスを参照してよい。
上述のように、モバイルコンピューティングデバイスの実施例は、以下のものを含んでよい。パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント(PDA)、携帯電話、携帯電話/PDAの組合せ、テレビ、スマートデバイス(例えば、スマートフォン、スマートタブレットまたはスマートテレビ)、モバイルインターネットデバイス(MID)、メッセージングデバイス、データ通信デバイス、等である。
モバイルコンピューティングデバイスの実施例は、また、人間によって着られるように構成されたコンピュータを含んでよい。手首コンピュータ、指コンピュータ、指輪コンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、腕バンドコンピュータ、靴コンピュータ、衣服コンピュータ、および、他のウェアラブルコンピュータ、といったものである。実施例において、例えば、モバイルコンピューティングデバイスは、音声通信及び/又はデータ通信と同様にコンピュータアプリケーションを実行することができるスマートフォンとして実施されてよい。例として、スマートフォンとして実施されるモバイルコンピューティングデバイスを用いたいくつかの実施例が説明されるが、他のモバイルコンピューティングデバイスを用いても同様に他の実施例が実行され得ることが正しく理解され得る。
図5に示すように、デバイス800は、ハウジング802、ディスプレイ804、入力/出力(I/O)デバイス806、および、アンテナ808を含んでよい。デバイス800は、また、ナビゲーション機能812を含んでよい。ディスプレイ804は、モバイルコンピューティングデバイスに適した、情報を表示するためのあらゆる好適なディスプレイユニットを含んでよい。I/Oデバイス806は、モバイルコンピューティングデバイスの中に情報を入力するためのあらゆる好適なI/Oデバイスを含んでよい。I/Oデバイス806に対する実施例は、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識デバイスとソフトウェア、等を含んでよい。情報は、また、マイクロフォンによって、デバイス800の中に入力されてもよい。そうした情報は、音声認識デバイスによってデジタル化される。実施例は、このコンテクストに限定されるものではない。
種々の実施例は、ハードウェアエレメント、ソフトウェアエレメント、または、両方の組合せとして実施されてよい。ハードウェアエレメントの実施例は、プロセッサ、マイクロプロセッサ、回路、回路エレメント(例えば、トランジスタ、レジスタ、キャパシタ、インダクタ、等)、集積回路、特定アプリケーション用集積回路(ASIC)、プログラム可能ロジックデバイス(PLD)、デジタル信号プロセッサ(DSP)、フィールドでプログラム可能なゲートアレイ(FPGA)、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、等を含んでよい。ソフトウェアの実施例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス(API)、インストラクションセット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、バリュー、シンボル、または、これらのあらゆる組合せ、を含んでよい。一つの実施例が、ハードウェアエレメント及び/又はソフトウェアエレメントを使用して実施されるかどうかの判断は、ファクタの数に従って変わり得る。ファクタは、所望の計算レート、電力レベル、熱許容性、処理サイクルバジェット、入力データレート、出力データレート、メモリ資源、データバス速度、および、他のデザインまたはパフォーマンスの制約、といったものである。
図2および図3に示されるものといった、少なくとも一つの実施例に係る一つまたはそれ以上の態様は、固定のマシンで読取り可能な媒体上に保管された代表的なインストラクションによって実施されてよい。インストラクションは、プロセッサの中の種々のロジックを表しており、マシンで読取られた場合には、マシンに、ここにおいて説明された技術を実行するためのロジックを作り上げるようにさせる。そうした表現は、「IPコア」として知られており、有形で、固定のマシンで読取り可能な媒体上に保管される。そして、種々の顧客または製造施設に対して供給されて、実際にロジックまたはプロセッサを作成するファブリケーションマシンの中にロードされる。
種々の実施例は、ハードウェアエレメント、ソフトウェアエレメント、または、両方の組合せとして実施されてよい。ハードウェアエレメントの実施例は、プロセッサ、マイクロプロセッサ、回路、回路エレメント(例えば、トランジスタ、レジスタ、キャパシタ、インダクタ、等)、集積回路、特定アプリケーション用集積回路(ASIC)、プログラム可能ロジックデバイス(PLD)、デジタル信号プロセッサ(DSP)、フィールドでプログラム可能なゲートアレイ(FPGA)、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット、等を含んでよい。ソフトウェアの実施例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェイス、アプリケーションプログラムインターフェイス(API)、インストラクションセット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、バリュー、シンボル、または、これらのあらゆる組合せ、を含んでよい。一つの実施例が、ハードウェアエレメント及び/又はソフトウェアエレメントを使用して実施されるかどうかの判断は、ファクタの数に従って変わり得る。ファクタは、所望の計算レート、電力レベル、熱許容性、処理サイクルバジェット、入力データレート、出力データレート、メモリ資源、データバス速度、および、他のデザインまたはパフォーマンスの制約、といったものである。
少なくとも一つの実施例に係る一つまたはそれ以上の態様は、固定のマシンで読取り可能な媒体上に保管された代表的なインストラクションによって実施されてよい。インストラクションは、プロセッサの中の種々のロジックを表しており、マシンで読取られた場合には、マシンに、ここにおいて説明された技術を実行するためのロジックを作り上げるようにさせる。そうした表現は、「IPコア」として知られており、有形で、固定のマシンで読取り可能な媒体上に保管される。そして、種々の顧客または製造施設に対して供給されて、実際にロジックまたはプロセッサを作成するファブリケーションマシンの中にロードされる。
ここにおいて説明されたグラフィック処理技術は、種々のハードウェアアーキテクチャにおいて実施されてよい。例えば、グラフィック機能は、チップセットの中に統合されてよい。代替的に、別個のグラフィックプロセッサが使用されてよい。さらに別の実施例として、グラフィック機能は、マルチコアプロセッサを含む、汎用プロセッサによって実施例されてよい。
以降の節及び/又は例示は、さらなる実施例に関するものである。
一つの実施例は、ビデオデコーディングのために、オフセットを伴うアダプティブウイナーフィルタを使用するステップを含む方法である。方法は、プロセスされたより低い層の再構成された画像に、オフセットを伴う前記アダプティブウイナーフィルタを適用するステップ、を含み、層間予測のための参照画像を生成する。方法は、プロセスされたより低い層の再構成された画像に、前記アダプティブウイナーフィルタを適用するステップ、だけを含む。方法は、プロセスされたより低い層の再構成された画像に、前記オフセットを適用するステップだけを含む。方法は、フィルタ係数とオフセットをエンコーダから受け取るステップを含む。方法は、一つの画像における全てのピクセルに対して、同一のフィルタを使用するステップを含む。方法は、複数の画像領域のそれぞれに対して、オフセットを伴う前記アダプティブウイナーフィルタをアダプティブに適用するステップを含む。方法は、それぞれの領域に対して、前記領域をフィルタリングするか否かを決定するステップを含む。方法は、強化層フィルタ係数に対して予測コーディングを適用するステップを含む。方法は、フィルタ係数に対して予測コーディングを適用するステップを含む。方法は、ピクセル位置に従って、前記画像を異なる領域へと分割するするステップを含む。方法は、ピクセル特性に基づいて、ピクセルをクラスへと分類するステップを含む。
別の実施例は、複数のインストラクションを含む少なくとも一つのマシンで読取り可能な媒体であって、コンピューティングデバイス上で実行されることに応じて、前記コンピューティングデバイスに、上述の方法を実施させる、マシンで読取り可能な媒体である。
一つの実施例は、エンコーダと、オフセットを伴うアダプティブウイナーフィルタを使用する、前記エンコーダに接続された、デコーダと、を含む装置である。装置は、オペレーティングシステム、バッテリ、ファームウェアと前記ファームウェアをアップデートするためのモジュールと、を含む。装置は、前記アダプティブウイナーフィルタを含み、層間予測のための参照画像を生成する。装置は、プロセスされたより低い層の再構成された画像に、前記アダプティブウイナーフィルタを適用するだけである。装置は、前記エンコーダを含み、フィルタ係数とオフセットを前記デコーダに対して渡す。
この明細書の全体にわたり「一つの実施例(“one embodiment”or”an embodiment“)」への言及は、実施例に関して説明された所定の特徴、構成、または、特性が、本発明の少なくとも一つの実施例に含まれていることを意味するものである。従って、この明細書の全体にわたる種々の場所において表れる「一つの実施例」というフレーズは、必ずしも全てが同一の実施例について言及するものではない。さらに、一つまたはそれ以上の実施例において、所定の特徴、構成、または、特性は、説明された所定の実施例より、むしろ、他の好適な形式で制定され得るものであり、そうした全ての形式は、本アプリケーションに係る特許請求の範囲内に包含され得るものである。
限定された数量の実施例が説明されてきたが、当業者であれば、そうした実施例から、多くの変形およびバリエーションを認識するであろう。添付の特許請求の範囲は、全てのこうした変形およびバリエーションを、本発明開示に係る真の精神と発明の範囲の中にあるものとしてカバーするように意図されたものである。

Claims (20)

  1. 一つの基本層と少なくとも一つの強化層を含むスケーラブルビデオコーデック(SVC)において、
    強化層コーディングのSVC層間予測のために、前記少なくとも一つの強化層においては、前記基本層とは異なり、追加的に、より低い層において再構成された画像に、オフセットを伴うアダプティブウイナーフィルタを使用するステップ、を含み、
    より低い層において使用されたアダプティブウイナーフィルタのフィルタパラメータを再使用し、
    前記フィルタパラメータは、フィルタオン/オフのフラグとフィルタテーブルを含む、
    方法。
  2. 前記方法は、
    プロセスされたより低い層の再構成された画像に、オフセットを伴う前記アダプティブウイナーフィルタを適用するステップ、を含み、
    層間予測のための参照画像を生成する、
    請求項1に記載の方法。
  3. 前記方法は、
    プロセスされたより低い層の再構成された画像に、前記アダプティブウイナーフィルタを適用するステップ、を含む、
    請求項1に記載の方法。
  4. 前記方法は、
    プロセスされたより低い層の再構成された画像に、前記オフセットを適用するステップ、を含む、
    請求項1に記載の方法。
  5. 前記方法は、
    フィルタ係数とオフセットをエンコーダから受け取るステップを含む、
    請求項1に記載の方法。
  6. 前記方法は、
    一つの画像における全てのピクセルに対して、同一のフィルタを使用するステップを含む、
    請求項1に記載の方法。
  7. 前記方法は、
    複数の画像領域のそれぞれに対して、オフセットを伴う前記アダプティブウイナーフィルタをアダプティブに適用するステップを含む、
    請求項1に記載の方法。
  8. 前記方法は、
    それぞれの領域に対して、前記領域をフィルタリングするか否かを決定するステップを含む、
    請求項7に記載の方法。
  9. 前記方法は、
    強化層フィルタ係数に対して予測コーディングを適用するステップを含む、
    請求項1に記載の方法。
  10. 前記方法は、
    フィルタ係数に対して予測コーディングを適用するステップを含む、
    請求項1に記載の方法。
  11. 前記方法は、
    ピクセル位置に従って、前記画像を異なる領域へと分割するステップを含む、
    請求項7に記載の方法。
  12. 前記方法は、
    ピクセル特性に基づいて、ピクセルをクラスへと分類することによって、画像を異なる領域へと分割するステップを含む、
    請求項11に記載の方法。
  13. 複数のインストラクションを含む少なくとも一つのマシンで読取り可能な記録媒体であって、
    コンピューティングデバイス上で実行されることに応じて、
    前記コンピューティングデバイスに、
    請求項1乃至12いずれか一項に記載の方法を実施させる、マシンで読取り可能な記録媒体。
  14. 一つの基本層と少なくとも一つの強化層を含むスケーラブルビデオデコーデック(SVC)において
    強化層コーディングのSVC層間予測ために、
    エンコーダと、
    前記少なくとも一つの強化層においては、前記基本層とは異なり、追加的に、より低い層において再構成された画像に、オフセットを伴うアダプティブウイナーフィルタを使用する、前記エンコーダに接続された、デコーダと、
    を含み、
    より低い層において使用されたアダプティブウイナーフィルタのフィルタパラメータを再使用し、
    前記フィルタパラメータは、フィルタオン/オフのフラグとフィルタテーブルを含む、
    装置。
  15. 前記装置は、
    オペレーティングシステムと、を含む、
    請求項14に記載の装置。
  16. 前記装置は、
    バッテリと、を含む、
    請求項14に記載の装置。
  17. 前記装置は、
    ファームウェアと、前記ファームウェアをアップデートするためのモジュールと、を含む、
    請求項14に記載の装置。
  18. 前記アダプティブウイナーフィルタは、層間予測のための参照画像を生成する、
    請求項14に記載の装置。
  19. 前記装置は、
    プロセスされたより低い層の再構成された画像に、前記アダプティブウイナーフィルタを適用する、
    請求項14に記載の装置。
  20. 前記エンコーダは、フィルタ係数とオフセットを前記デコーダに対して渡す、
    請求項14に記載の装置。
JP2015510605A 2012-06-15 2012-06-15 スケーラブルなビデオコーディングのためのアダプティブフィルタリング Expired - Fee Related JP6005847B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/076960 WO2013185336A1 (en) 2012-06-15 2012-06-15 Adaptive filtering for scalable video coding

Publications (2)

Publication Number Publication Date
JP2015519829A JP2015519829A (ja) 2015-07-09
JP6005847B2 true JP6005847B2 (ja) 2016-10-12

Family

ID=49757447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015510605A Expired - Fee Related JP6005847B2 (ja) 2012-06-15 2012-06-15 スケーラブルなビデオコーディングのためのアダプティブフィルタリング

Country Status (4)

Country Link
US (1) US10979703B2 (ja)
JP (1) JP6005847B2 (ja)
CN (1) CN104272738A (ja)
WO (1) WO2013185336A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9596465B2 (en) 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US9794558B2 (en) 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US20170019678A1 (en) * 2014-03-14 2017-01-19 Sharp Kabushiki Kaisha Video compression with color space scalability
US9621767B1 (en) * 2015-11-24 2017-04-11 Intel Corporation Spatially adaptive tone mapping for display of high dynamic range (HDR) images
US10074162B2 (en) 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
US11375223B2 (en) 2019-09-20 2022-06-28 Tencent America LLC Method for signaling output layer set with sub-picture

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844627A (en) * 1995-09-11 1998-12-01 Minerya System, Inc. Structure and method for reducing spatial noise
WO2006129184A1 (en) * 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
EP1949702A2 (en) 2005-10-12 2008-07-30 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
US7962736B1 (en) * 2006-10-03 2011-06-14 American Megatrends, Inc. Interactive pre-OS firmware update with repeated disabling of interrupts
WO2008049052A2 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
WO2008051995A2 (en) * 2006-10-23 2008-05-02 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
US8184693B2 (en) * 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
US8625681B2 (en) * 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
WO2011039931A1 (ja) 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN102640497B (zh) * 2009-11-30 2014-12-31 日本电气株式会社 视频编码设备和视频解码设备
US8995776B2 (en) * 2010-06-17 2015-03-31 Sharp Kabushiki Kaisha Image filter device, decoding apparatus, encoding apparatus, and data structure
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN102333230A (zh) 2011-09-21 2012-01-25 山东大学 一种提高三维视频系统中合成虚拟视图质量的方法
US10136144B2 (en) * 2012-05-21 2018-11-20 Mediatek Singapore Pte. Ltd. Method and apparatus of inter-layer filtering for scalable video coding

Also Published As

Publication number Publication date
US10979703B2 (en) 2021-04-13
US20140219333A1 (en) 2014-08-07
CN104272738A (zh) 2015-01-07
JP2015519829A (ja) 2015-07-09
WO2013185336A1 (en) 2013-12-19

Similar Documents

Publication Publication Date Title
US10462467B2 (en) Refining filter for inter layer prediction of scalable video coding
US20150181216A1 (en) Inter-layer pixel sample prediction
CN104584553A (zh) 层间残差预测
JP2014534746A (ja) クロスチャネル残差予測
US20150131747A1 (en) Inter-layer sample adaptive filter parameters re-use for scalable video coding
JP6060394B2 (ja) クロスレイヤー・クロスチャネル残差予測
JP6005847B2 (ja) スケーラブルなビデオコーディングのためのアダプティブフィルタリング
TWI559749B (zh) 層間移動資料繼承之技術
US20140169467A1 (en) Video coding including shared motion estimation between multple independent coding streams
US9860533B2 (en) Cross-layer cross-channel sample prediction
TWI551118B (zh) 用於殘值預測的移動估測之方法
JP2014209757A (ja) クロスチャネル残差予測
JP6156808B2 (ja) 圧縮されたビデオデータをデコードするための装置、システム、方法、集積回路、およびプログラム
JP6177966B2 (ja) クロスチャネル残差予測
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160907

R150 Certificate of patent or registration of utility model

Ref document number: 6005847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees