JP6303176B2 - 信号をデコードする方法、コンピュータプログラム及びデコーダ - Google Patents

信号をデコードする方法、コンピュータプログラム及びデコーダ Download PDF

Info

Publication number
JP6303176B2
JP6303176B2 JP2014552737A JP2014552737A JP6303176B2 JP 6303176 B2 JP6303176 B2 JP 6303176B2 JP 2014552737 A JP2014552737 A JP 2014552737A JP 2014552737 A JP2014552737 A JP 2014552737A JP 6303176 B2 JP6303176 B2 JP 6303176B2
Authority
JP
Japan
Prior art keywords
signal
encoded
transient
separate
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014552737A
Other languages
English (en)
Other versions
JP2015507902A5 (ja
JP2015507902A (ja
Inventor
ロッサト、ルカ
メアルディ、グイド
Original Assignee
ロッサト、ルカ
メアルディ、グイド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロッサト、ルカ, メアルディ、グイド filed Critical ロッサト、ルカ
Publication of JP2015507902A publication Critical patent/JP2015507902A/ja
Publication of JP2015507902A5 publication Critical patent/JP2015507902A5/ja
Application granted granted Critical
Publication of JP6303176B2 publication Critical patent/JP6303176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本明細書における実施形態は信号処理に関し、より詳細には、多次元信号のエンコードおよびデコードに関する。
デジタル化された信号が、(非限定的な例として、2D画像、3Dボリューム画像、またさらには、3次元より多い次元を呈する要素からなる面であり得る)同じ基礎を成す情報のいくつかの連続するサンプルを呈し、多次元信号(例えば、非限定的な例として、一連の連続する2D画像を表す3D信号、または一連の3D/ボリューム画像を表す4D信号、またはその他)を生成することが非常に多い。ここで、時間領域などそれら次元のうち1つに関しては、いくつかの連続するサンプルに亘りある程度の信号の安定性がある。非限定的な実際の例は、コンピュータ断層撮影における連続するスライス、MRIスキャンにおける連続する容量画像、動画における連続するフレーム、またはその他である。
実際のセンサおよび送信チャネルの性質に起因して、同様の、またはさらには同じ基礎を成す情報の複数の異なるサンプルが複数の異なる特性を呈する可能性は非常に高い。例えば、特定のサンプルは、他のサンプルには存在しないモーションブラーに起因して、サンプリング時点における僅かに異なる放射強度または光条件、センサにおける熱ノイズ、チャネルにおける伝送誤差、他のタイプのノイズ、若しくはその他に起因して、同じ基礎を成す情報の先行および/または後続のサンプルとは僅かに異なる値を呈し得る。最終結果は、所望されるより高い、信号要素の統計的ばらつきである。これにより、信号の「実際の」必要な詳細との区別が難しく、更なる信号処理(例えば、動き予測、コンテンツ識別、エンコード/デコード、またはその他)を複雑化し得る多量の情報(例えば、不必要な強度/色の変動、誤った色の平面要素、またはその他)が生成される。加えて、そのような変動は、ある要素から次の要素への比較的安定した情報の微妙な変動を十分に表せる可能性を限定するので、比較的大きな量子化段階を用いた量子化の利用の妨げとなる。
いくつかの既存の信号処理方法は、信号をエンコード/デコードする前に、安定した/関連性のある情報(「コア信号」)を過渡的/確率的情報(「過渡層信号」)から分離することを含む。安定した情報は通常、詳細に表されており、典型的には、隣接するサンプルから少なくとも部分的に予測され得る。対照的に、過渡的情報は典型的には、隣接するサンプルの過渡的情報から予測不可能である。
過渡的情報の情報エントロピー量は安定した情報のものより高い傾向にあるので、いくつかの既存の従来の方法は、信号の過渡層成分をフィルタリングする/減少させる/抑制すること、したがってとりわけ、データ圧縮の効率を向上させることを目的としている。それら方法の課題は、いくつかの状況において、実際の信号はある量の過渡的な要素を呈するので、限られたノイズおよび/または限られた過渡的成分を含むデコードされた信号は、元の信号に対する忠実度が限られた信号としてユーザにより知覚されるということである。言い換えると、再構成された信号においてある程度の過渡的/確率的要素は望ましいということである。
従来の手法の他の特性は、過渡層要素が全体的に除去されていない場合、それらはコア信号成分と共に同じ信号エンコード方法によりエンコードされ、したがって、必要以上に詳細がエンコードされることになる。
本明細書における実施形態は、従来のシステムおよび方法から逸脱し、信号の安定した情報(「コア信号」)と、その過渡的/確率的成分(「過渡層信号」)との両方をエンコードおよびデコードする新たな独特な方法を提供する。
本明細書に説明される革新的かつ独特な手法は、信号を2つの異なる情報群(コア信号および過渡層信号など)へ分離すること、およびその後の、それら2つの情報群を独立してエンコードおよびデコードすることを可能とする。このやり方により、元の信号に対する厳密な忠実度での再構成スキームを必要とするコア信号と、全く同じである確率的性質での再構成スキームを典型的には必要とするが、元の信号に含まれる過渡層と必ずしも同一ではない過渡層信号とに、非常に異なるエンコード/デコード手法が適用され得る。
加えて、ネットワーク輻輳の場合、本明細書に説明される実施形態は、コア信号に関して、および過渡層信号に関して必要なビットレートを独立して変調させることにより、信号のレンディションを送信するのに必要なビットレートの低下を可能とする。例えば、より高い優先度がコア信号の送信に対して与えられ得、したがって、信号のエンコードがコア信号成分と過渡層信号とを区別することを伴わない手法と比較して、よりスムーズな品質劣化を可能とする。
本明細書における一実施形態は、信号の第1のデコードされたレンディションと、同信号の統計的性質に対応する受信したパラメータに少なくとも部分的に基づいて再構成された情報とを組み合わせることにより、第1のデコードされたレンディションを調整し、これにより、同デコードされたレンディションの知覚される品質を向上させる方法を含む。
より詳細には、非限定的かつ例示的な実施形態において、デコーダとして構成された信号プロセッサは、2つの再構成データ群を受信する。第1の再構成データ群は第1のデコード方法に従ってデコードされ、信号の第1のレンディション(「コア信号層」)が再構成される。第2の再構成データ群は(第1のデコード方法とは異なる)第2のデコード方法に従ってデコードされ、信号の第2のレンディション(「過渡層」)が再構成される。その後デコーダは、それら2つのレンディションを組み合わせ、信号の最終的なレンディションを得る。
いくつかの非限定的な実施形態において、同第2の再構成データ群は、信号の統計的性質に対応する少なくとも1つのパラメータを含む。他の非限定的な実施形態において、信号の同第2のレンディションは、信号の同第1のレンディションをデコードするのに用いられる量子化パラメータにも少なくとも部分的に基づいて再構成され、ディザリングにより量子化誤差を効果的にランダム化する。
他の非限定的な実施形態において、デコーダは、方法に従って信号の同第2のレンディションを再構成し、同方法は、エンコーダ側とデコーダ側との両方で知られている情報を活用しつつ(つまり、デコーダ側における信号の第2のレンディションの再構成の結果をエンコーダが正確にシミュレートすることを可能としつつ)、数字のランダムな生成に従った値の生成をシミュレートする。
更なる非限定的な実施形態において、デコーダは、数字からなる1または複数の参照テーブルに基づいて数字のランダムな生成をシミュレートし、エンコード側とデコード側との両方において利用可能なパラメータに従って表の開始位置を選択する。
他の非限定的な実施形態において、デコーダは、ランダムな数字、または一見したところランダムな数字の生成に用いられるべき参照テーブルに対応するパラメータ、並びに、そのような数字に対して実行されるべき変更(例えば、スケーリングパラメータに従った強度の変動、したがって、任意の統計的分布および任意の標準偏差でのランダムな数字の生成をシミュレート)に対応する1または複数のパラメータを受信する。
他の非限定的な実施形態において、第2の再構成データ群内で、デコーダは信号の異なる部分に対応する異なるパラメータを受信し、これに対応して、異なる参照テーブル、および、信号の部分に基づく異なる処理に従って信号の第2のレンディションを再構成する。非限定的な実施形態において、このことは、(信号の各任意の部分に関するパラメータ値を示す)パラメータの補助マップを受信し、およびその後の、対応するパラメータに少なくとも部分的に基づき、信号の第2のレンディションを各部分に関して再構成することにより達成される。
これらの、および他の実施形態の変形例は、以下により詳細に説明される。
上記にて言及したように、本明細書における実施形態は、ソフトウェア、ハードウェア、または両方の組み合わせにより実施され得、本明細書に開示される方法および/または処理のうち何れか、または全てを実行する、および/またはサポートする1または複数のコンピューティングデバイス、エンコーダデバイス、デコーダデバイス、プロセッサデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、セットトップボックス、若しくはその他などの構成を含みうる。言い換えると、1または複数のコンピュータ化されたデバイスまたはプロセッサは、複数の異なる実施形態を実施するべく本明細書に説明されるように動作するようプログラミングおよび/または構成され得る。
上記にて説明した技術に加えて、本明細書における更に他の実施形態は、上記にて要約され、下記に詳細に開示される段階および処理を実行するソフトウェアプログラムを含む。そのような一実施形態は、プロセッサおよび対応するメモリ、並びに/若しくはプログラムを有するコンピュータ化されたデバイスで実行されると本明細書に開示される処理の何れかをプロセッサに実行させるやり方でエンコードされたコンピュータプログラムロジック、命令、またはその他を含む非一時的コンピュータ可読媒体を備える。そのような構成は、光学式媒体(例えばCD−ROMまたはDVD−ROM)、フロッピー(登録商標)若しくはハードディスク、または、1または複数のROM、RAM、若しくはPROMチップ内のファームウェアまたはマイクロコードなどのコンピュータ可読命令を格納可能な何らかの他の媒体などのコンピュータ可読媒体上で構成された、またはエンコードされたソフトウェアとして、並びに/若しくはコードおよび/または他のデータ(例えば、データ構造)の形態で、または、特定用途向け集積回路(ASIC)として提供され得る。ソフトウェア、ファームウェア、または何らかの他のそのような構成はコンピュータ化されたデバイスにインストールされ得、本明細書に説明される技術および/または処理を上記コンピュータ化されたデバイスに実施させ得る。
したがって、本開示の特定の一実施形態は、信号処理動作をサポートするための命令を格納したコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラム製品に関する。明瞭とすべく、段階の順番が追加されている。これらの段階が何らかの適した順序で実行され得ることを理解されたい。
本開示の他の実施形態は、上記にて要約され、下記に詳細に開示される方法の実施形態の段階および処理のうち何れかを実行する、ソフトウェアプログラム、ファームウェア、および/または、各ハードウェアを含む。
本明細書で説明されるシステム、方法、装置、コンピュータ可読記憶媒体上の命令、またはその他は、ソフトウェアプログラムとして、ソフトウェア、ファームウェア、および/またはハードウェアのハイブリッドとして、プロセッサ内、オペレーティングシステム内、またはソフトウェアアプリケーション内、若しくはその他などでハードウェア単体で厳密に実施され得ることを理解されたい。
上記にて説明したように、本明細書における技術は、信号をエンコード、デコード、および処理するソフトウェア、ファームウェア、および/またはハードウェアへの適用例における利用によく適している。しかし、本明細書における実施形態は、そのような適用例での利用に限定されず、本明細書において説明される技術は、他の適用例においても同様によく適していることに留意されるべきである。
加えて、本明細書における複数の異なる特徴、技術、構成、またはその他のうちそれぞれが本開示の複数の異なる箇所において説明されるかもしれないが、そのような概念のうちそれぞれは、互いに独立して、または、互いに組み合わせて実行され得ることが意図されている。したがって、本明細書で説明される1または複数の本願発明、実施形態、またはその他は、多くの異なるやり方で実施すること、および見ることが出来る。
本願発明の前述した、および他の目的、特徴、および利点は添付の図面に図示される好ましい実施形態の以下のより特定的な説明から明らかとなろう。同様の参照文字は、異なる図面間で同じ部分を指す。
本明細書における本願発明の実施形態に係る、再構成データを提供するエンコーダを図示する例示的な図である。 図1Aに図示されるエンコーダにより実行されるエンコード方法のフローチャートである。 本明細書に説明される実施形態に係る、データストリームの生成、およびデコーダへの送信を図示する例示的な図である。 本明細書に説明される実施形態に係る、エンコードされたコア信号データとエンコードされた過渡層信号データとの両方を含むデータストリームのデコードを図示する例示的な図である。 図3Aに図示されるデコーダにより実行されるデコード方法のフローチャートである。 エンコード側とデコード側との両方において知られている情報に従った過渡層のデコードおよび再構成のフローチャートである。 本明細書に説明される実施形態に係る、コンピュータコード、命令、アプリケーション、ソフトウェア、および/またはファームウェア、若しくはその他を実行するためのコンピュータアーキテクチャの例を図示する図である。 本明細書における実施形態に係る、信号の画像におけるノイズの異なる分布を図示する例示的な図である。 本明細書における実施形態に係る、経時的な、表示画面の複数の異なる領域におけるノイズ分布の変化を図示する例示的な図である。
本明細書において例示される方法は、音声信号、マルチチャネル音声信号、ピクチャ、2次元画像、動画信号、マルチビュー動画信号、3D動画信号、ボリューム信号、ボリューム動画信号、医療用画像化信号、4次元よりも多くの次元の信号、またはその他を含むがこれらに限定されない何らかのタイプの多次元信号に適している。
単純にするべく、説明において、例示される実施形態は通常、一連の2D画像からなる動画シーケンス(一般的に「フレーム」と呼ばれ、インターレースされた動画信号の場合には「フィールド」と呼ばれる)を利用するケースを採用しており、(そのような非限定的かつ例示的な場合において典型的には「画素」、若しくは「平面要素」または「pel」と呼ばれる)各要素は、適した色空間(例えば、YUV、RGB、HSV、またはその他)における色設定群により特徴付けられる。しかし、同概念は時間ベースの信号に限定されず、少なくとも1つの次元Tが安定性の仮定に適している何らかの他のタイプの多次元信号に適用可能である。本質的に、信号は、次元Tに沿ってある程度の予測可能性を有していることが想定される。安定性を仮定するのが適切ではない次元に関しては、詳細情報が非常に局所的である、および/または、それら次元に沿った信号の他の部分と関連付けられていないとしても、その情報を失うことは望ましくないと想定される(例えば、非限定的な例によると、1つのフレームの間のみピクチャ内に留まる白色の背景におけるランダムな点は、重要性が限定的である統計的変動であるとみなされ、連続する20のフレームの間ピクチャ内に留まる同様のランダムな点は、関連性のある情報であるとみなされ、その隣接する画素が全て白色であるという理由だけで、統計的変動としてみなされるべきではない)。当業者は、いかに同方法を他のタイプの信号にも適用するかを容易に理解することが出来る。
本明細書に例示される方法および実施形態は、互いに関連して、および/または他の方法と共に用いられ得る。本明細書に例示される好ましい実施形態の多くは、圧縮、つまり、最少数のビットで、信号の適したレンディションをエンコードすることを達成することを目的とする技術およびアルゴリズムを説明する。このことも非限定的な例である。他の非限定的な実施形態は、ロバストかつ効率的なフィルタリング、信号品質の向上、画像のノイズ除去、またはその他などの異なる目的を達成する。
図1A、図1Bおよび図2は、送信される多次元信号のエンコードを図示する。この信号は、複数の次元のうち少なくとも1つに関して安定性の仮定をサポートし、そのような次元に沿って、および任意の数の連続的な要素に関して、信号のより関連性のある情報成分(「コア信号」)を含む安定した情報が、ノイズを含む過渡的情報および他の高度に不安定な情報(「過渡層信号」)から分離され得る。
エンコーダデバイスなどのエンコーダ110において、信号プロセッサデバイスは、段階110Bの間に信号100を受信し、段階120Bにおいてノイズ除去器120により処理するよう構成される。その名前が示唆するように、ノイズ除去器は、信号100からノイズまたは過渡的成分を取り除き、コア信号130−1を出力する。ノイズ除去器120は、何らかの適したノイズ除去方法に従って実装され得る。
段階125Bにおいて、コア信号130−1は減算器125により信号100から減じられ、過渡層信号130−2(例えば、ノイズ、過渡的成分、またはその他)が出力されることになる上述したように、コア信号130−1と過渡層信号130−2とは異なる特性および性質を呈する。説明される例において、一実施形態において、過渡層信号130−2はホワイトノイズのように挙動し、つまり、T=tにおける任意の例の過渡層信号130−2の各要素は、期待値がゼロである、次元Tに亘って信号の先行または後続のサンプルにおける何らかの対応する値と関連付けられない確率的特性を呈する。
段階140Bにおいて、コア信号130−1は、コア信号エンコーダ140によりエンコードされ、段階150Bにおいて、過渡層信号130−2は、過渡層信号エンコーダ150を用いてエンコードされる。エンコーダ140、150は、総称的に「エンコードされた再構成データ」と呼ばれる、エンコードされたコア信号データ160およびエンコードされた過渡層信号データ170を生成する。
説明される例において、別個のエンコード方法が、重要な情報を含んでいるので高忠実度で再構成されるコア信号130−1と、一般的に高忠実度で再構成される必要はないが、元の信号との統計的な類似性をもって再構成される必要がある過渡層信号130−2とをエンコードするために用いられ得る。
段階160B、170Bにおいて、エンコードされた再構成データ群がレポジトリ160、170に格納される。
説明される非限定的な実施形態において、エンコーダ140、150は、エンコードされた再構成データ(例えば、コア信号130−1に関して再構成データ160−1、・・・、再構成データ160−N、および、過渡信号130−2に関して再構成データ170−1、・・・再構成データ170−N)を生成し、信号の解像度と、元の信号に対する忠実度との両方に関して、複数の異なる品質レベルの複数の異なる信号を再構成することを可能とする。
特定の非限定的かつ例示的な実施形態において、コア信号および過渡層信号が別々にエンコードされるので、それら信号は、異なる階層の品質レベルでエンコードされ得る。図1Aに図示されるように、コア信号はN個の品質レベルでエンコードされ、過渡層信号はM個の品質レベルでエンコードされる。
他の非限定的な実施形態において、過渡層信号エンコーダ150は、従来の信号エンコード技術(つまり、信号を、過渡層の正確な再構成のためにエンコードする)と、過渡層の主要な統計的特性(例えば、スペクトル分布、またはその他)の抽出およびエンコードを伴うエンコード技術との両方で過渡層信号130−2をエンコードし、元の過渡層のものと同様ではあるが必ずしも同一ではない特性を有する過渡層の再構成を依然として可能とする、限定された量のエンコードされたデータをデコーダへ送信することが可能である。言い換えると、受信された信号100の過渡的情報が識別され、特徴付けられ得る。信号100のレンディションを再生する場合、ノイズは影響を与えるほど本質的ではなく、重大ではないので、信号の正確な元のノイズ(例えば、取り込むのに大きな帯域幅を必要とし得る過渡信号130−2)を用いる必要はない。過渡層信号データ170に格納されるノイズ信号情報は、複数の異なる品質レベルでエンコードされる信号100の元のノイズを表し得、および/または複数の異なる品質レベルでエンコードされる元のノイズの代替を表し得る。
一実施形態において、エンコーダ110は、受信された信号100の元のノイズ信号成分を分析して、受信された信号100に存在するノイズの量を判断する。エンコーダ110は、元のノイズ信号成分の代わりに用いる代替ノイズ信号成分を生成する。代替ノイズ信号成分は、受信された信号100に存在するノイズの量と実質的に同様の量のノイズを有し得る。
本明細書における実施形態によると、帯域幅の利用可能性、または、送信されるレンディションのターゲットの忠実度などパラメータに応じて、ストリーミングサーバとして構成された信号プロセッサは、過渡層を正確な忠実度で(送信される情報の量の多さを犠牲にして)送信するか、または統計的な忠実度のみで(つまり、元の信号に対する再構成の忠実度を低下させ、かつ、送信される情報の量を減少させて)送信するかを選択し得る。したがって、帯域幅が利用可能である場合、本明細書における実施形態は、復元のために元のノイズを含む元の信号を送信することを含み得る。正確なノイズは復元にとって重大ではないが、元のノイズを含む信号を送信することは、かなりの帯域幅を必要とし得る。データをターゲットの受信者へ送信するのに少ない帯域幅が利用可能である場合、代替ノイズ情報(つまり、元のノイズの統計的特性を有する)が、かなりの追加の帯域幅を必要とする元のノイズを送信する代わりに、ターゲットの受信者へ送信され得る。
非限定的かつ例示的な一実施形態において、信号において識別されるノイズの統計的特性は、層ベースの階層的なエンコード方法に従って代替ノイズとして識別およびエンコードされ得る。
他の実施形態によると、エンコーダ110は信号を受信し得る。エンコーダ110は信号100を、ノイズ信号成分(信号130−2など)と、非ノイズ信号成分(コア信号130−1など)とを含む複数の成分へパースするよう構成され得る。エンコーダは、非ノイズ信号成分のエンコードとは独立してノイズ信号成分をエンコードし、エンコードされた非ノイズ信号成分とエンコードされたノイズ信号成分とを1または複数のレポジトリに格納する。
エンコーダは信号の元の非ノイズ信号成分を複数の復元品質レベルでエンコードし得、かつ、元のノイズ信号成分を複数の復元品質レベルでエンコードし得る。
図2において後述するように、信号100により表されるコンテンツに関するリクエストを受信したことに応答して、各サーバリソースは適応的に、エンコードされた元の非ノイズ信号成分と、エンコードされた元のノイズ信号成分とを異なる品質レベルで、各通信リンク上で遠隔のデコーダへ送信する。
本明細書における一実施形態は、通信リンク上での利用可能な帯域幅の減少を検出することを含む。そのような状況に応じて、サーバリソースは、利用可能な帯域幅の減少に対応すべく、特定の品質レベルでのエンコードされた非ノイズ信号成分の送信を維持し、元のノイズ信号成分が通信リンク上でデコーダデバイスへ送信される品質レベルを低下させるよう構成され得る。言い換えると、本明細書における実施形態は、デコーダにおいて良好な品質の復元を提供すべく(信号100と関連付けられた)適切なエンコードされた信号データを送信することを含み得る。本明細書における実施形態は、輻輳の検出に応答して、元のノイズの品質レベルを低下させること、および/または、ターゲットデバイスへ代替ノイズを提供することを含み得る。したがって、(コンテンツの再生されたバージョンに対してほとんど影響を及ぼさない)ノイズの品質の低下によって確保された帯域幅は、信号100の、圧縮されるなどしてエンコードされた非ノイズ部分を送信するのに用いられ得る。
図1Aを再び参照すると、更に他の実施形態によると、エンコーダは、信号100を受信し、信号100を、元のノイズ信号成分(信号130−2など)と、元の非ノイズ信号成分(信号130−1など)とを含む複数の成分にパースするよう構成され得る。エンコーダ110は、元のノイズ信号成分を代替ノイズ信号成分へ変換する。代替ノイズ信号成分は、受信された信号のノイズを表すが、同一ではない。エンコーダ110は、元のノイズ信号成分の代替として代替ノイズ信号成分を格納するなどして提供する。一実施形態において、エンコーダ110は、複数の異なる品質レベルで代替ノイズ信号成分を生成する。
一実施形態において、エンコーダ110は、元のノイズ信号成分のノイズの分布と実質的に同様のノイズ分布を有するよう代替ノイズ信号成分を生成する。更に他の実施形態において、エンコーダ110は、元のノイズ信号成分よりもデータビットが実質的に少なくなるよう信号100に関連付けられた代替ノイズ信号成分を生成する。
エンコーダ110は、元のノイズ信号成分と知覚的に同等となるよう代替ノイズ信号成分を生成するよう構成され得る。つまり、非ノイズ信号成分および代替ノイズ成分の復元は、非ノイズ信号成分および元のノイズ信号成分の復元と知覚的に同じであるか、または実質的に同様であり得る。しかし、代替ノイズ成分は、元の信号100の元のノイズ信号成分を取り込むのに必要であるよりも実質的に少ないビットで取り込まれ得る。
本明細書における更なる実施形態は、代替ノイズ信号成分をエンコードすること、エンコードされた代替ノイズ信号成分をレポジトリに格納すること、元の非ノイズ信号成分を圧縮すること、受信された信号の圧縮された元の非ノイズ信号成分をレポジトリに格納すること、および、復元のために、エンコードされた代替ノイズ信号成分および圧縮された元の非ノイズ信号を分配することを含む。
図2は、本願発明に従ってエンコードされた信号の送信を図示する。レポジトリ160、170がアクセスされ、例えば信号プロセッサを含むストリーミングサーバ250によりデータが抽出および処理される。ストリーミングサーバ250はデータストリーム260をアセンブルして遠隔のデコーダ280(遠隔の位置においてネットワーク上に位置するデコーダデバイスなど)へ送信し、遠隔のデコーダ280は、再構成された信号290のレンディションを再構成し、復元のために復元デバイス295へ送信する。
非限定的な例として、一実施形態において、ストリーミングサーバ250は、エンコードされたコア信号データとエンコードされた過渡層信号データとを1つのデータストリームへと組み合わせることにより、データストリーム260をアセンブルする。
本明細書に説明される非限定的かつ例示的な実施形態において、ストリーミングサーバ250は、デコーダ280への送信チャネルのデータトラフィック状況を表す情報255も受信する。遠隔の位置におけるデコーダへ送信されるデジタルデータストリームの伝達をサポートする通信リンクの輻輳などトラフィック状況に基づき、ストリーミングサーバ250は、データストリーム260をアセンブルするための異なるデータを選択するよう構成される。
より正確には、本実施形態において、ストリーミングサーバ250は、レポジトリ160におけるエンコードされたコア信号データと、レポジトリ170におけるエンコードされた過渡層信号データとに異なる優先度を割り当てるよう構成され得る。このことによりストリーミングサーバ250は、例えば、比較的高い品質レベルのコア信号と、比較的低い品質レベルの過渡層信号とを組み合わせることが可能となる。特定の例において、高品質レベルのコア信号は典型的には元の信号100の最も重要な部分であるので、同コア信号を表すエンコードされたデータを送信することが所望される。言及されたように、輻輳を検出したことに応答して、過渡層信号またはその代替は、より低い品質レベルで送信され得る。
層ベースまたはマルチスケール方法に従ってエンコードされた再構成データの場合、エンコードされたコア信号データ160−1〜160−Nはエンコードされた過渡層データ170−1のみと共に送信され得、従来のエンコード方法に従ってエンコードされた再構成データの場合、エンコードされたコア信号データ160−Nは、代わりに、エンコードされた過渡層データと共に送信され得る。ストリーミングサーバ250がデータストリーム260のサイズ/ビットストリームを低減させることを強いられる場合、原則として、複数の品質レベルのコア信号を複数の品質レベルの過渡層とは異なって変調させることにより、再構成された信号290の全体的な品質の知覚可能な劣化をより小さなものとすることが出来る。信号の劣化がより漸進的であり得、よりスムーズな視覚体験をユーザに提供し得る。
更に他の実施形態によると、コア信号130−1を高品質レベルで送信することを優先し、検出された過渡層信号130−2をより低い品質レベルで送信することにより、輻輳の間に、より良好な視覚体験が提供される。
図3Aおよび図3Bは、エンコードされたコア信号データとエンコードされた過渡層信号データとの両方を含むデータストリーム260のデコードを図示する。
非限定的な例として、データストリーム260は、コア信号情報と過渡層情報とを含む1つのデータストリームとして受信され得る。データストリーム260は、先述したように再構成された信号290を生成するデコーダ280により段階300Bにおいて受信される。
説明される例では、段階310Bにおいて、データストリーム260はスプリッタ310により、2つの異なるデータ群、つまり、エンコードされたコア信号310−1とエンコードされた過渡層信号310−2とに分割される。
各データ群(つまり、コア信号310−1および過渡層信号310−2)はその後、それら各々のエンコード方法の特定の要件に従って独立してデコードされる。図3Aおよび図3Bに図示される特定の実施形態では、段階330Bにおいて、エンコードされたコア信号310−1はコア信号デコーダ330によりデコードされ、信号350−1の安定した成分(ノイズを含まないコア情報など)のレンディションが生成される。段階340Bにおいて、エンコードされた過渡層信号310−2は、過渡層信号デコーダ340によりデコードされ、ノイズおよび信号350−2の他の過渡的成分の情報のレンディションが生成される。
情報350−2のレンディションは、段階360Bにおいて過渡層信号350−3のレンディションを生成する過渡層再構成器360へ送信される。レンディション350−1、350−3は段階370Bの間にコンバイナ370により組み合わせられ、再構成された信号290が生成される。
一実施形態において、レンディション350−1、350−3は異なる解像度を有し、その組み合わせは、同じ解像度のレンディションを得るべくレンディションを再サンプリングすることと、それらを要素毎に加算することとを含む。典型的には、全てのレンディションが同じ解像度を有するよう、より低い解像度のレンディションはアップサンプリングされる。
他の実施形態において、信号350−2のノイズおよび他の過渡的成分の情報のレンディションは、元の過渡層信号130−2のスペクトル分布性質を示すパラメータを含み得る。この場合、エンコードされたデータは、過渡層信号130−2の正確な再構成のための情報を含まないが、過渡層信号130−2の代理の再構成のための情報を含む。したがって、過渡層再構成器360は元の過渡層信号130−2の性質と実質的に同様のスペクトル分布性質を有する過渡層信号350−3のレンディションを生成する。
図4は、エンコード側とデコード側との両方で知られている情報に従って過渡層が再構成される、再構成段階360Bの非限定的な実施形態を図示する。
段階4.01において、デコーダは、過渡層の要素の値を生成するために活用されるべきである参照テーブルに対応する1または複数のパラメータを受信する。概して述べると、同参照テーブルは過渡層の統計的性質(例えば、非限定的な例として、ラプラス分布に従って分布する値を呈する)に対応し、同統計的性質に従って一見したところランダムな数字を生成することを可能とする。この非限定的な実施形態において、同じ参照テーブルが、エンコードとデコードとの両方において利用可能であり、デコーダにより生成されるのと正確に同じである一見したところランダムな数字をエンコーダが生成し、したがって、過渡層のデコード処理を正確にシミュレートすることを可能とする。
段階4.02において、デコーダは、同表の開始位置、つまり、同表に対応する統計的性質に従う一見したところランダムな数字を生成するために開始すべき、同表に含まれる一連の数字のうちの位置を示すパラメータを受信する。この非限定的な実施形態において、デコーダは、エンコードとデコードとの両方において知られている情報(例えば、画像の特定の性質)に基づいて、エンコーダが開始位置をデコーダへ送信する必要なしに、開始位置を計算する。
段階4.03において、デコーダは、参照テーブルを用いて生成される数字に対して実行する変更に対応する少なくとも1つのパラメータを受信する。この非限定的な実施形態において、同パラメータは、Y成分(輝度)に関するスケーリングパラメータと、UおよびV成分に関するスケーリングパラメータとを含む。
段階4.04において、デコーダは、同参照テーブルの一連の値のうちの値を(同開始位置から開始して)選択し、それらを同パラメータに従って変更することにより、過渡層の要素を生成する。
他の非限定的な実施形態において、デコーダは、複数の異なる参照テーブルを選択し、および/または、過渡層の任意の各要素の位置に従って異なるやり方で参照テーブルの数字を変化させることにより、信号の複数の異なる部分に関する複数の異なるパラメータを受信し、したがって、過渡層の同任意の各要素に関する値を生成する。そのような非限定的な実施形態のうちいくつかにおいて、デコーダは、より低い品質レベルのパラメータの補助マップを受信し、同マップを、再構成されるべき過渡層の品質レベルへアップスケールし(したがって、再構成されるべき過渡層の各要素に関するパラメータを生成し)、その後、過渡層の任意の各要素の対応するパラメータに従って、同任意の各要素の値を生成する。
他の非限定的な実施形態において、任意のコア信号に対応する過渡層を生成するために、デコーダは参照テーブルを選択し、同過渡層に対応するコア信号をデコードするのに用いられる1または複数の量子化パラメータに少なくとも部分的に基づき、参照テーブルの値を変更するための適したパラメータを生成する。
他の非限定的な実施形態において、デコーダは、同じコア信号に対応する複数の過渡層を生成し、その後、それらを、同コア信号に対応する1つの過渡層を再構成するために組み合わせる。
図5は、本明細書に説明される実施形態に係る、デコードおよび/またはデコードなど信号処理を実行するコンピュータシステム800の例示的なブロック図である。
特に異なるように述べられていない限り、以下の説明から明らかであるように、「処理」、「コンピューティング」、「計算」、「判断」などの用語を用いた本明細書を通じての説明は、メモリ、レジスタまたは他の情報記憶装置、若しくは、コンピューティングプラットフォームの送信デバイスまたはディスプレイデバイス内で物理電子量または磁気量として表されるデータを操作または変換する、コンピュータまたは同様の電子コンピューティングデバイスなどのコンピューティングプラットフォームの動作または処理を指すことが理解される。
本明細書に説明される異なる実施形態によると、コンピュータシステム800は、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、タブレット、スマートフォン、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、記憶装置、カメラ、カムコーダ、セットトップボックス、モバイルデバイス、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイスなどの消費者向け電子デバイス、スイッチ、モデム、ルータなどの周辺デバイス、若しくは一般的に、任意のタイプのコンピューティングまたは電子デバイスを含むがこれらに限定されない様々なタイプのデバイスのうち何れかであり得る。
図面に示されるように、本実施例のコンピュータシステム800は、デジタル情報が格納および取得され得るコンピュータ可読記憶媒体812と結合された相互接続811を含む。コンピュータシステム800はさらに、プロセッサ813、I/Oインタフェース814、および通信インタフェース817を含み得る。
I/Oインタフェース814はレポジトリ180との接続性と、表示画面、並びに、キーボード、および/またはコンピュータマウス、またはその他など周辺デバイス816が存在する場合にはそれらとの接続性とを提供する。
通信インタフェース817は、コンピュータシステム800が、遠隔のソースから情報を取得し、他のコンピュータ、スイッチ、クライアント、サーバ、またはその他と通信するべくネットワーク190上で通信を行うことを可能とする。I/Oインタフェース814は、信号プロセッサ813が、レポジトリ180から格納された情報を取得するか、またはそのような情報を取得することを試みることも可能とする。
コンピュータシステム800、エンコーダ110、ストリーミングサーバ250、またはデコーダ280は、データおよび/またはロジック命令を格納するためのコンピュータ可読記憶媒体812を含んで実装され得ることにも留意されたい。
同コンピュータ可読記憶媒体812は、メモリ、光記憶装置、ハードドライブ、フロッピー(登録商標)、またはその他などの何らかの適したデバイスおよび/またはハードウェアであり得る。またコンピュータ可読記憶媒体は、信号プロセッサ110、250、および/または280に関連付けられた命令を格納する非一時的格納媒体であり得る。命令は、本明細書に説明される処理のうち何れかを実行する信号プロセッサ813など各リソースにより実行される。示されるように、コンピュータ可読記憶媒体812は、処理840−2の間に信号プロセッサ813により実行される信号プロセッサアプリケーション840−1を用いてエンコードされ得る。
コンピュータシステム800は、そのような命令を実行し、本明細書に説明される処理を実行する信号プロセッサ813を含み得る。したがって、実行された場合、信号プロセッサアプリケーション840−1と関連付けられたコードは、本明細書に説明される処理機能をサポートし得る。言及されたように、信号プロセッサ813は、エンコードおよび/またはデコードをサポートするよう構成され得る。非限定的な実施形態において、コンピュータ可読記憶媒体812に格納された信号プロセッサアプリケーション840−1の命令を開始し、動作させ、実行し、解釈し、または実施するために、信号プロセッサ813は相互接続811の利用によりコンピュータ可読記憶媒体812にアクセスする。信号プロセッサアプリケーション840−1の実行により、信号プロセッサ813における処理機能が生成される。言い換えると、プロセッサ813と関連付けられた処理840−2は、コンピュータシステム800内の信号プロセッサ813内または上で信号プロセッサアプリケーション840−1を実行する1または複数の態様を表す。
上記の説明は、信号プロセッサ813に関連付けられた機能をいかに実行するかを示す基本的な実施形態を提供することに留意されたい。しかし、本明細書に説明される処理を実行するための実際の構成は、適用例に応じて異なることに留意されるべきである。
当業者は、コンピュータシステム800が、信号プロセッサアプリケーション840−1を実行するためにハードウェア処理リソースの割り当ておよび利用を制御するオペレーティングシステムなど他の処理、並びに/若しくはソフトウェアおよびハードウェアコンポーネントを含み得ることを理解されよう。
図6は、本明細書における実施形態に係る、信号の画像(例えば、限定される訳ではないが、フレーム)における過渡的情報(例えば、限定される訳ではないが、ノイズ)の異なる分布を図示する例示的な図である。
先述したように、エンコーダ110など適した処理リソースは、信号100を処理し、元の過渡的な(例えばノイズ)信号成分610−1、および元のコアの(例えば、非ノイズ)信号成分620へパースする。
信号100は、表示画面630で経時的に再生可能な時間ベースの表示信号であり得る。例えば、信号100は、経時的に、表示画面630上での各画素の設定を特定し得る。
処理リソースは元のノイズ信号成分610−1を代替ノイズ信号成分620−2へ変換する。このことは、表示画面630に表示されることになる表示情報のフレームに対応する元のノイズ信号の一部に関して、元のノイズ信号成分610−1の当該一部を分析して、表示画面の複数の領域に存在する複数の異なるレベルのノイズを識別することを含み得る。例えば、領域650−1が対応するノイズ分布#1を有することを処理リソースが検出し、領域650−2が対応するノイズ分布#2を有することを処理リソースが検出し、領域650−3が対応するノイズ分布#3を有することを処理リソースが検出する、などである。各領域は異なるレベルのノイズを有し得る。
領域650において検出されたノイズの量に基づき、処理リソースは、複数の異なる領域において用いられることになるノイズの代替分布を反映または特定する代替ノイズ信号成分620−2を生成する。
図7は、本明細書における実施形態に係る、経時的な、表示画面の複数の異なる領域におけるノイズ分布の変化を図示する例示的な図である。
先述したように、信号100は、再生可能な画像および/または音声の時間ベースの信号(一連の画像、またはフレームなど)であり得る。複数の異なる領域における過渡的情報の量(例えば、この非限定的な例において、ノイズ)は経時的に変化し得る。一実施形態において、処理リソースは異なる領域を分析し、信号100に存在する過渡的情報の量を判断する。
例えば、エンコーダ110などの処理リソースは、フレーム1に関する画素730のフィールドにおける元の過渡的ノイズ信号成分620−1の設定を分析し、領域711−1に存在するノイズAのレベル、領域711−2に存在するノイズBのレベル、および領域711−3に存在するノイズFのレベルを判断する。処理リソースは、これらの検出されたノイズ量を反映する、フレーム1に関する代替ノイズ信号成分620−2を生成する。
エンコーダ110などの処理リソースは、フレーム2に関する画素730のフィールドにおける元のノイズ信号成分620−1の設定を分析し、領域712−1に存在するノイズBのレベル、および領域712−2に存在するノイズCのレベルを判断する。処理リソースは、これらの検出されたノイズ量を反映する、フレーム2に関する代替ノイズ信号成分620−2を生成する。
エンコーダ110などの処理リソースは、フレーム3に関する画素730のフィールドにおける元のノイズ信号成分620−1の設定を分析し、領域713−1に存在するノイズCのレベル、および領域713−2に存在するノイズAのレベルを判断する。処理リソースは、これらの検出されたノイズ量を反映する、フレーム3に関する代替ノイズ信号成分620−2を生成する。
本願発明について、その好ましい実施形態を参照して特定的に示し、説明してきたが、当業者であれば、添付の請求項により規定されるように本願の思想および態様から逸脱することなく、形態および詳細に関し様々な変更が加えられ得ることを理解されよう。そのような変更は、本願の態様により網羅されることが意図されている。したがって、本願の実施形態の先述された説明は、限定的であることを意図されていない。むしろ、本願発明の限定は、以下の請求項によって示される。また本明細書によれば、以下の各項目に記載の事項もまた開示される。
[項目1]
少なくとも2つの別個のエンコードされた再構成データ群に分離可能な信号をデコードする方法であり、
前記少なくとも2つの別個のエンコードされた再構成データ群を取得する段階と、
少なくとも2つの別個のデコード処理を用いて、前記少なくとも2つの別個のエンコードされた再構成データ群のうちそれぞれをデコードして、対応する別個の信号レンディションを生成する段階と、
前記別個の信号レンディションを1つの再構成された信号へと組み合わせる段階と
を備え、
前記少なくとも2つの別個のエンコードされた再構成データ群のうち1つは、デコードされる前記信号の過渡的または確率的なデータに対応する情報を含み、
デコードされる前記信号の前記過渡的または確率的なデータに対応する情報を含む前記再構成データをデコードする段階は、他のエンコードされた再構成データ群をデコードする場合に生成される信号レンディションと比較して異なる品質レベルおよび/または解像度の前記信号レンディションを生成する段階を有し、
前記別個の信号レンディションを組み合わせる段階は、
同じ解像度で全ての信号レンディションを得るべく前記信号レンディションのうち少なくとも1つを再サンプリングする段階と、
再サンプリングされた前記信号レンディションを処理する段階と、
組み合わせられる信号レンディションを生成する段階と、
前記組み合わせられる信号レンディションを組み合わせる段階と
を有する、方法。
[項目2]
前記少なくとも2つの別個のエンコードされた再構成データ群を取得する段階は、
前記少なくとも2つの別個のエンコードされた再構成データ群を含む1つのエンコードされたデータストリームとして前記信号を受信する段階と、
受信された前記1つのエンコードされたストリームを前記少なくとも2つの別個のエンコードされた再構成データ群へ分離する段階と
を有する、項目1に記載の方法。
[項目3]
前記過渡的または確率的なデータに対応する情報は、ノイズ、量子化ノイズ、フィルム粒子、予測不可能な成分、およびデコードされる前記信号に関連付けられた統計的性質から成る群に含まれる、前記デコードされる信号の成分のうち少なくとも1つに対応する記述的パラメータを含む、項目1または2に記載の方法。
[項目4]
前記デコードされる信号の前記過渡的または確率的なデータに対応する情報を含む前記データをデコードする段階は、
前記記述的パラメータをデコードする段階と、
同様の記述的パラメータを呈する信号レンディションを生成する段階と
を有する、項目3に記載の方法。
[項目5]
前記同様の記述的パラメータを呈する信号レンディションは、対応する統計的性質を用いて1または複数の知られた一連の値を処理することにより生成される、項目4に記載の方法。
[項目6]
同じ前記1または複数の知られた一連の値がエンコード側とデコード側とのうち両方で利用可能であり、
前記方法は、前記信号レンディションを生成する際に用いられる特定の知られた一連の値の識別子を受信する段階を備える、項目5に記載の方法。
[項目7]
前記方法は、前記少なくとも2つの別個のエンコードされた再構成データ群のうち他の群を生成するエンコードループ内で用いられ、つまり、前記デコードされる信号のコア信号成分に対応する情報を含む前記エンコードされた再構成データ群は、前記デコードされる信号の前記過渡的または確率的なデータに対応する情報を含む前記エンコードされた再構成データ群に少なくとも部分的に基づく、項目6に記載の方法。
[項目8]
デジタルプロセッサの内部メモリへ直接的にロード可能なコンピュータプログラムであり、
前記コンピュータプログラムがプロセッサで実行された場合に項目1から7の何れか1項に記載の方法をコンピュータに実行させる、コンピュータプログラム。
[項目9]
少なくとも2つの別個のエンコードされた再構成データ群に分離可能な信号をデコードするデコーダであり、
前記少なくとも2つの別個のエンコードされた再構成データ群を取得する受信機と、
少なくとも2つの別個のデコード処理を用いて、前記少なくとも2つの別個のエンコードされた再構成データ群のうちそれぞれをデコードして、対応する別個の信号レンディションを生成するデコーダと、
前記別個の信号レンディションを1つの再構成された信号へと組み合わせるプロセッサと
を備え、
前記少なくとも2つの別個のエンコードされた再構成データ群のうち1つは、デコードされる前記信号の過渡的または確率的なデータに対応する情報を含み、
前記デコーダは、他のエンコードされた再構成データ群をデコードする場合に生成される信号レンディションと比較して異なる品質レベルおよび/または解像度の前記信号レンディションを生成し、
前記プロセッサは、
同じ解像度で全ての信号レンディションを得るべく前記信号レンディションのうち少なくとも1つを再サンプリングし、
再サンプリングされた前記信号レンディションを処理し、
組み合わせられる信号レンディションを生成し、
前記組み合わせられる信号レンディションを組み合わせる、
デコーダ。
[項目10]
項目1から7の何れか1項に記載の方法をさらに実行する、項目9に記載のデコーダ。
[項目11]
信号をエンコードする方法であり、
エンコードされる信号を受信する段階と、
前記信号を過渡信号成分とコア信号成分とを含む複数の成分へパースする段階と、
少なくとも2つの別個のエンコード処理を用いて前記過渡信号成分と前記コア信号成分とをエンコードする段階と
を備え、
前記過渡信号成分をエンコードする段階は、
元の前記過渡信号成分を、当該元の過渡信号の統計的特性を含むが当該元の過渡信号とは同一ではない代替過渡信号成分へ変換する段階と、
前記元の過渡信号成分の代替として、前記代替過渡信号成分を提供する段階と
を有する、方法。
[項目12]
複数の復元品質レベルで前記信号の元の前記コア信号成分をエンコードする段階と、
複数の復元品質レベルで元の前記過渡信号成分をエンコードする段階と
をさらに備える、項目11に記載の方法。
[項目13]
前記信号の送信に関するリクエストを受信する段階と、
前記リクエストに適合させられた品質レベルで、エンコードされた前記元のコア信号成分とエンコードされた前記元の過渡信号成分を通信リンク上で遠隔のデコーダへ送信する段階と
をさらに備える、項目12に記載の方法。
[項目14]
前記送信する段階は、
前記通信リンク上の利用可能な帯域幅の減少を検出する段階と、
検出された前記減少に応じて、
特定の品質レベルのエンコードされた前記コア信号成分を送信する段階と、
前記特定の品質レベルより低い品質レベルで前記過渡信号成分を送信する段階と
を含む、項目13に記載の方法。
[項目15]
前記元の過渡信号成分を変換する段階は、前記元の過渡信号成分の情報の分布と実質的に同様の統計的分布を有する前記代替過渡信号成分を生成する段階を含む、項目11から14の何れか1項に記載の方法。
[項目16]
前記元の過渡信号成分を変換する段階は、前記元の過渡信号成分よりも実質的に少ないデータビットを有する前記代替過渡信号成分を生成する段階を含む、項目11から14の何れか1項に記載の方法。
[項目17]
前記元の過渡信号成分を変換する段階は、前記元の過渡信号成分と知覚的に同等であるよう前記代替過渡信号成分を生成する段階を含む、項目16に記載の方法。
[項目18]
前記元の過渡信号成分を変換する段階は、
前記元の過渡信号成分を分析して、受信された前記信号に存在する過渡的情報の量を判断する段階と、
前記受信された信号に存在するノイズの量と実質的に同様のノイズの量を有するよう前記代替過渡信号成分を生成する段階と
を備える、項目11から17の何れか1項に記載の方法。
[項目19]
表示画面で経時的に再生可能な時間ベースの表示信号として前記信号を受信する段階をさらに備え、
前記元の過渡信号成分を前記代替過渡信号成分へ変換する段階は、
前記表示画面に表示されることになる表示情報のフレームに対応する前記元の過渡信号の一部に関して、前記元の過渡信号成分の前記一部を分析して、前記表示画面の複数の領域に存在する過渡的情報の複数の異なる元のレベルを識別する段階と、
前記代替過渡信号成分を生成して、前記複数の領域において用いられる過渡的情報の代替分布を特定する段階と
を含む、項目11から18の何れか1項に記載の方法。
[項目20]
デジタルプロセッサの内部メモリへ直接的にロード可能なコンピュータプログラムであり、
前記コンピュータプログラムがプロセッサで実行された場合に項目11から19の何れか1項に記載の方法をコンピュータに実行させる、コンピュータプログラム。
[項目21]
信号をエンコードするエンコーダであり、
エンコードされる信号を受信する受信機と、
前記信号を過渡信号成分とコア信号成分とを含む複数の成分へパースするプロセッサと、
少なくとも2つの別個のエンコード処理を用いて前記過渡信号成分と前記コア信号成分とをエンコードするエンコーダと
を備え、
前記エンコーダは、
元の前記過渡信号成分を、当該元の過渡信号の統計的特性を含むが当該元の過渡信号とは同一ではない代替過渡信号成分へ変換し、
前記元の過渡信号成分の代替として、前記代替過渡信号成分を提供する、エンコーダ。
[項目22]
項目11から19の何れか1項に記載の方法をさらに実行する、項目21に記載のエンコーダ。

Claims (10)

  1. 少なくとも2つの別個のエンコードされた再構成データ群に分離可能な信号をデコードする方法であり、
    前記少なくとも2つの別個のエンコードされた再構成データ群を取得する段階と、
    少なくとも2つの別個のデコード処理を用いて、前記少なくとも2つの別個のエンコードされた再構成データ群のうちそれぞれをデコードして、対応する別個の信号レンディションを生成する段階と、
    前記別個の信号レンディションを1つの再構成された信号へと組み合わせる段階と
    を備え、
    前記少なくとも2つの別個のエンコードされた再構成データ群のうち1つは、デコードされる前記信号の過渡的または確率的なデータに対応する情報を含み、
    デコードされる前記信号の前記過渡的または確率的なデータに対応する情報を含む前記再構成データをデコードする段階は、他のエンコードされた再構成データ群をデコードする場合に生成される信号レンディションと比較して異なる品質レベルおよび/または解像度の前記信号レンディションを生成する段階を有し、
    前記別個の信号レンディションを組み合わせる段階は、
    同じ解像度で全ての信号レンディションを得るべく前記信号レンディションのうち少なくとも1つを再サンプリングする段階と、
    再サンプリングされた前記信号レンディションを処理する段階と、
    組み合わせられる信号レンディションを生成する段階と、
    前記組み合わせられる信号レンディションを組み合わせる段階と
    を有する、方法。
  2. 前記少なくとも2つの別個のエンコードされた再構成データ群を取得する段階は、
    前記少なくとも2つの別個のエンコードされた再構成データ群を含む1つのエンコードされたデータストリームとして前記信号を受信する段階と、
    受信された前記1つのエンコードされたストリームを前記少なくとも2つの別個のエンコードされた再構成データ群へ分離する段階と
    を有する、請求項1に記載の方法。
  3. 前記過渡的または確率的なデータに対応する情報は、ノイズ、量子化ノイズ、フィルム粒子、予測不可能な成分、およびデコードされる前記信号に関連付けられた統計的性質から成る群に含まれる、前記デコードされる信号の成分のうち少なくとも1つに対応する記述的パラメータを含む、請求項1または2に記載の方法。
  4. 前記デコードされる信号の前記過渡的または確率的なデータに対応する情報を含む前記データをデコードする段階は、
    前記記述的パラメータをデコードする段階と、
    同様の記述的パラメータを呈する信号レンディションを生成する段階と
    を有する、請求項3に記載の方法。
  5. 前記同様の記述的パラメータを呈する信号レンディションは、対応する統計的性質を用いて1または複数の知られた一連の値を処理することにより生成される、請求項4に記載の方法。
  6. 同じ前記1または複数の知られた一連の値がエンコード側とデコード側とのうち両方で利用可能であり、
    前記方法は、前記信号レンディションを生成する際に用いられる特定の知られた一連の値の識別子を受信する段階を備える、請求項5に記載の方法。
  7. 前記方法は、前記少なくとも2つの別個のエンコードされた再構成データ群のうち他の群を生成するエンコードループ内で用いられ、つまり、前記デコードされる信号のコア信号成分に対応する情報を含む前記エンコードされた再構成データ群は、前記デコードされる信号の前記過渡的または確率的なデータに対応する情報を含む前記エンコードされた再構成データ群に少なくとも部分的に基づく、請求項6に記載の方法。
  8. デジタルプロセッサの内部メモリへ直接的にロード可能なコンピュータプログラムであり、
    前記コンピュータプログラムがプロセッサで実行された場合に請求項1から7の何れか1項に記載の方法をコンピュータに実行させる、コンピュータプログラム。
  9. 少なくとも2つの別個のエンコードされた再構成データ群に分離可能な信号をデコードするデコーダであり、
    前記少なくとも2つの別個のエンコードされた再構成データ群を取得する受信機と、
    少なくとも2つの別個のデコード処理を用いて、前記少なくとも2つの別個のエンコードされた再構成データ群のうちそれぞれをデコードして、対応する別個の信号レンディションを生成するデコーダと、
    前記別個の信号レンディションを1つの再構成された信号へと組み合わせるプロセッサと
    を備え、
    前記少なくとも2つの別個のエンコードされた再構成データ群のうち1つは、デコードされる前記信号の過渡的または確率的なデータに対応する情報を含み、
    前記デコーダは、他のエンコードされた再構成データ群をデコードする場合に生成される信号レンディションと比較して異なる品質レベルおよび/または解像度の前記信号レンディションを生成し、
    前記プロセッサは、
    同じ解像度で全ての信号レンディションを得るべく前記信号レンディションのうち少なくとも1つを再サンプリングし、
    再サンプリングされた前記信号レンディションを処理し、
    組み合わせられる信号レンディションを生成し、
    前記組み合わせられる信号レンディションを組み合わせる、
    デコーダ。
  10. 請求項1から7の何れか1項に記載の方法をさらに実行する、請求項9に記載のデコーダ。
JP2014552737A 2012-01-18 2013-01-18 信号をデコードする方法、コンピュータプログラム及びデコーダ Active JP6303176B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261587989P 2012-01-18 2012-01-18
US61/587,989 2012-01-18
PCT/IB2013/050486 WO2013108230A1 (en) 2012-01-18 2013-01-18 Distinct encoding and decoding of stable information and transient/stochastic information

Publications (3)

Publication Number Publication Date
JP2015507902A JP2015507902A (ja) 2015-03-12
JP2015507902A5 JP2015507902A5 (ja) 2017-06-29
JP6303176B2 true JP6303176B2 (ja) 2018-04-04

Family

ID=47844409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014552737A Active JP6303176B2 (ja) 2012-01-18 2013-01-18 信号をデコードする方法、コンピュータプログラム及びデコーダ

Country Status (7)

Country Link
US (3) US9626772B2 (ja)
EP (1) EP2805504A1 (ja)
JP (1) JP6303176B2 (ja)
KR (2) KR20140123071A (ja)
CN (1) CN104303504B (ja)
CA (1) CA2861967A1 (ja)
WO (1) WO2013108230A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303176B2 (ja) * 2012-01-18 2018-04-04 ロッサト、ルカ 信号をデコードする方法、コンピュータプログラム及びデコーダ
PL3284255T3 (pl) 2015-04-13 2023-10-30 V-Nova International Limited Kodowanie wielu sygnałów z docelową szybkością transmisji danych sygnału w zależności od informacji o złożoności
US11003811B2 (en) * 2018-02-09 2021-05-11 International Business Machines Corporation Generating samples of outcomes from a quantum simulator
GB2618718B (en) 2019-03-20 2024-03-13 V Nova Int Ltd Low complexity enhancement video coding
US20220272342A1 (en) 2019-07-05 2022-08-25 V-Nova International Limited Quantization of residuals in video coding
CN110767243A (zh) * 2019-11-04 2020-02-07 重庆百瑞互联电子技术有限公司 一种音频编码方法、装置及设备
GB2598701B (en) 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11930222B1 (en) * 2021-03-30 2024-03-12 Amazon Technologies, Inc. Encoding video for film grain synthesis

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3703727A (en) * 1971-06-18 1972-11-21 Bell Telephone Labor Inc Method for generating random numerical quantities
US5321520A (en) * 1992-07-20 1994-06-14 Automated Medical Access Corporation Automated high definition/resolution image storage, retrieval and transmission system
BE1007490A3 (nl) * 1993-09-10 1995-07-11 Philips Electronics Nv Inrichting voor het overdragen van een pluraliteit van televisie signalen over een transmissie kanaal.
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
US6587505B1 (en) * 1998-08-31 2003-07-01 Canon Kabushiki Kaisha Image processing apparatus and method
KR100359821B1 (ko) * 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US7020335B1 (en) * 2000-11-21 2006-03-28 General Dynamics Decision Systems, Inc. Methods and apparatus for object recognition and compression
JP4521708B2 (ja) * 2001-03-12 2010-08-11 ルネサスエレクトロニクス株式会社 乱数生成装置
US7079692B2 (en) * 2001-07-24 2006-07-18 Koninklijke Philips Electronics N.V. Reduced complexity video decoding by reducing the IDCT computation in B-frames
US20030128970A1 (en) * 2002-01-10 2003-07-10 Koninklijke Philips Electronics N.V. System and method for providing high definition material on a standard definition compatible medium
US7599835B2 (en) * 2002-03-08 2009-10-06 Nippon Telegraph And Telephone Corporation Digital signal encoding method, decoding method, encoding device, decoding device, digital signal encoding program, and decoding program
JP4657570B2 (ja) * 2002-11-13 2011-03-23 ソニー株式会社 音楽情報符号化装置及び方法、音楽情報復号装置及び方法、並びにプログラム及び記録媒体
EP1565878A1 (en) * 2002-11-19 2005-08-24 Koninklijke Philips Electronics N.V. A unit for and method of image conversion
JP2006509410A (ja) * 2002-12-04 2006-03-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法及び装置
KR20050084219A (ko) * 2002-12-10 2005-08-26 코닌클리케 필립스 일렉트로닉스 엔.브이. Mpeg-2 mp@ml 압축된 비디오로부터 고화질 비디오효과를 생성하기 위한 시스템 및 방법
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
WO2005010792A1 (en) * 2003-07-15 2005-02-03 Ims Health Incorporated Data privacy management systems and methods
US7898951B2 (en) * 2003-08-13 2011-03-01 Jones Farm Technology 2, Llc Encoding and transmitting variable bit streams with utilization of a constrained bit-rate channel
EP1511319A1 (en) * 2003-09-01 2005-03-02 Matsushita Electric Industrial Co., Ltd. Film Grain Extraction Filter
JP2005080301A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
EP1673944B1 (en) * 2003-10-14 2019-09-04 InterDigital VC Holdings, Inc. Technique for bit-accurate film grain simulation
US7680356B2 (en) 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
CA2584027C (en) * 2004-10-21 2014-12-30 Thomson Licensing Technique for adaptive de-blocking of block-based film grain patterns
CA2587118C (en) * 2004-11-16 2014-12-30 Thomson Licensing Film grain sei message insertion for bit-accurate simulation in a video system
KR101169826B1 (ko) * 2004-11-17 2012-08-03 톰슨 라이센싱 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법
US7432986B2 (en) * 2005-02-16 2008-10-07 Lsi Corporation Method and apparatus for masking of video artifacts and/or insertion of film grain in a video decoder
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
US7634290B2 (en) * 2005-05-31 2009-12-15 Vixs Systems, Inc. Adjusting transmit power of a wireless communication device
US20070014484A1 (en) * 2005-07-18 2007-01-18 Alexander Maclnnis Method and system for adaptive film grain noise processing
US7684626B1 (en) * 2005-12-01 2010-03-23 Maxim Integrated Products Method and apparatus for image decoder post-processing using image pre-processing and image encoding information
DE112005003791T5 (de) * 2005-12-28 2008-09-25 Intel Corporation, Santa Clara Ein neues, auf benutzersensitive Informationen anpassungsfähiges Videotranscodierungsrahmenwerk
US9047496B1 (en) * 2006-04-21 2015-06-02 Hewlett-Packard Development Company, L.P. Method and system for finding data objects within large data-object libraries
EP2036036B1 (en) * 2006-06-21 2018-10-31 Thomson Licensing Automatic film grain adjustment
JP2008011177A (ja) * 2006-06-29 2008-01-17 Nec Corp ストリーミング配信における動的品質制御方法およびネットワーク・システム
US20080144821A1 (en) * 2006-10-26 2008-06-19 Marvell International Ltd. Secure video distribution
JP4211838B2 (ja) * 2006-11-09 2009-01-21 ソニー株式会社 撮像装置および画像処理方法
US8213500B2 (en) * 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
US8982744B2 (en) * 2007-06-06 2015-03-17 Broadcom Corporation Method and system for a subband acoustic echo canceller with integrated voice activity detection
CN101320559B (zh) * 2007-06-07 2011-05-18 华为技术有限公司 一种声音激活检测装置及方法
US8305497B2 (en) * 2007-07-27 2012-11-06 Lsi Corporation Joint mosquito and aliasing noise reduction in video signals
US20090125636A1 (en) * 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
US7882134B2 (en) * 2008-04-28 2011-02-01 Oracle International Corporation Non-repeating random values in user specified formats and character sets
US8325800B2 (en) * 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) * 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
EP2146343A1 (en) 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
JP2010041654A (ja) * 2008-08-08 2010-02-18 Toshiba Corp 動画像符号化方法および装置
US8826351B2 (en) * 2008-09-11 2014-09-02 At&T Intellectual Property I, Lp System and method for managing storage capacity on a digital video recorder
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US20100287402A1 (en) * 2009-05-11 2010-11-11 Electronics And Telecommunications Research Institute Timestamping apparatus and method
US8332651B2 (en) * 2010-02-18 2012-12-11 King Fahd University Of Petroleum And Minerals Method of generating a password protocol using elliptic polynomial cryptography
BR112012032746A2 (pt) * 2010-06-21 2016-11-08 Panasonic Corp dispositivo de descodificação, dispositivo de codificação, e métodos para os mesmos.
US20120063597A1 (en) * 2010-09-15 2012-03-15 Uponus Technologies, Llc. Apparatus and associated methodology for managing content control keys
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
JP6303176B2 (ja) * 2012-01-18 2018-04-04 ロッサト、ルカ 信号をデコードする方法、コンピュータプログラム及びデコーダ

Also Published As

Publication number Publication date
CN104303504B (zh) 2019-04-16
US9626772B2 (en) 2017-04-18
JP2015507902A (ja) 2015-03-12
US20170186187A1 (en) 2017-06-29
US11232598B2 (en) 2022-01-25
EP2805504A1 (en) 2014-11-26
US20130182965A1 (en) 2013-07-18
WO2013108230A1 (en) 2013-07-25
KR20210134992A (ko) 2021-11-11
US10504246B2 (en) 2019-12-10
US20200175724A1 (en) 2020-06-04
KR102497153B1 (ko) 2023-02-07
KR20140123071A (ko) 2014-10-21
CN104303504A (zh) 2015-01-21
CA2861967A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
JP6303176B2 (ja) 信号をデコードする方法、コンピュータプログラム及びデコーダ
JP6705885B2 (ja) ハイブリッド上位互換性のあるデータストリームをデコードするための方法
US10750179B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
TWI505694B (zh) 編碼器及編碼方法
TWI590662B (zh) 解碼器及解碼方法
CN113557729B (zh) 视频码流解码方法、系统、装置和电子设备
US11265528B2 (en) Methods and systems for color smoothing for point cloud compression
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
US10917664B2 (en) Method and apparatus for employing dynamic range mapping information for HDR image decoder considering backward compatibility
CN113508598A (zh) 用于点云压缩的增强的补丁边界标识的方法和装置
US11265553B2 (en) Obtaining a target representation of a time sample of a signal
KR20220063063A (ko) 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치
JP2022527882A (ja) ポイントクラウドの処理
KR102421719B1 (ko) 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법
RU2767775C1 (ru) Обработка облака точек
KR20230054434A (ko) 비디오 기반의 포인트 클라우드 코딩을 위한 픽처들의 그룹 기반 패치 팩킹
WO2023059689A1 (en) Systems and methods for predictive coding
CN112188201A (zh) 对视频流进行编码的方法、装置、电子设备及存储介质
JP2009188632A (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
KR20140123190A (ko) 컨텐츠 유형을 고려한 스크린 영상의 부호화 및 복호화 방법, 장치 및 기록매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170316

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20170519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180209

R150 Certificate of patent or registration of utility model

Ref document number: 6303176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250