JP4991851B2 - ビデオ色向上データをエンコードする方法および装置ならびにビデオ色向上データをデコードする方法および装置 - Google Patents

ビデオ色向上データをエンコードする方法および装置ならびにビデオ色向上データをデコードする方法および装置 Download PDF

Info

Publication number
JP4991851B2
JP4991851B2 JP2009519775A JP2009519775A JP4991851B2 JP 4991851 B2 JP4991851 B2 JP 4991851B2 JP 2009519775 A JP2009519775 A JP 2009519775A JP 2009519775 A JP2009519775 A JP 2009519775A JP 4991851 B2 JP4991851 B2 JP 4991851B2
Authority
JP
Japan
Prior art keywords
image
video
color
histogram
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009519775A
Other languages
English (en)
Other versions
JP2009544198A (ja
Inventor
ガオ,ヨンイン
ウー,ユウェン
チェン,イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2009544198A publication Critical patent/JP2009544198A/ja
Application granted granted Critical
Publication of JP4991851B2 publication Critical patent/JP4991851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

本発明は、ビデオ色向上データ(video color enhancement data)をエンコードする方法および装置に関する。さらに、本発明はビデオ色向上データをデコードする方法および装置に関する。
近年、従来の8ビットの色の深さ(color depth)よりも視覚的な強度およびコントラストのきわめて正確な再現が、医療撮像、高品質ビデオ機能のあるコンピュータ・ゲームおよびプロのスタジオおよびホームシアター関係の用途といった多くの分野においてますます使われている。この傾向は、向上されたダイナミック・レンジの開発を動機付ける。そのような向上されたダイナミック・レンジは、従来の8ビットの色の深さとの比較の便宜上、本願では高ビット深度(high bit-depth)と呼ぶ。電子センサー、プロセッサおよび記憶装置の発展が取り込み装置および表示装置の両方について非常に高いピクセル解像度につながったという事実と対照的に、デジタル撮像システムの色の容量は非常にゆっくりしたペースで進化してきた。デジタル化された視覚コンテンツの第一世代が登場して以来、8ビットの色の深さが、取り込み装置および表示装置について優勢であり続けてきた。
R・C・ゴンザレス(Gonzalez)、R・E・ウッズ(Woods)、「デジタル画像処理(Digital image processing)」、第2版、第94‐102頁、プレンティス・ホール(Prentice Hall)、2002年
将来のかなり長い期間、標準的な8ビットとより高いビット数のデジタル画像処理システムが消費者市場に同時に存在するであろうという事実を考えると、色ビット深度(color bit-depth)のスケーラビリティが潜在的に有用である。異なる色ビット深度がとりわけ重要になるのは、たとえばマルチメディア・コンテンツ送達の際の端末表示装置についてである。
本発明は、ビデオ色空間スケーラビリティを可能にする方法および装置を提供する。本発明のある側面によれば、差分的にエンコードされる色向上層をエンコードする方法および装置が提供される。本発明のもう一つの側面は、従来式の色ビット深度画像または向上された色ビット深度画像を得るためにビデオ信号をデコードする方法および装置である。
原理的には、本発明のエンコード側面は以下のステップを含む:入力色値を出力色値にマッピングするのに好適な転換関数(transfer function)を、たとえばルックアップ・テーブル(LUT)の形で生成し、ここで入力色値および出力色値はいずれも2M通りの異なる色からなり、前記転換関数を低いまたは通常の色ビット深度をもつ第一のビデオ画像に適用し、転換されたビデオ画像とより高い色ビット深度(N>MとしてNビット;ただし、第一のビデオ画像と同じ空間解像度)をもつ第二のビデオ画像との間の差分画像または残差を生成し、前記残差をエンコードする。次いで、エンコードされた第一のビデオ画像、前記転換関数のパラメータ(たとえば、LUTそのもの)およびエンコードされた残差が受信側に伝送される。前記転換関数のパラメータもエンコードされてもよい。さらに、前記転換関数のパラメータはエンコードされているものとして示される。
前記第一および第二の画像はそれぞれ色基本層および色向上層であると見なせる。
より詳細には、前記転換関数は、前記第一および第二のビデオ画像の色ヒストグラムを比較し、その目的のために、2M個のビンをもつ前記第一の映像の色ヒストグラムは、2N(N>M)個のビンをもつ「平滑化された」色ヒストグラムに変換され、平滑化されたヒストグラムおよび色向上層ヒストグラムから、平滑化された色ヒストグラムの値と色向上層ヒストグラムの値の間の転換を定義する転換関数を決定することによって得られてもよい。記載される手順は、基本的なディスプレイ色、赤、緑および青について別個になされる。
本発明のデコード側面によれば、デコードする方法は、ビットストリームから第一および第二のビデオ画像についてのビデオ・データを抽出し、色向上制御データを抽出し、さらに前記第一のビデオ画像をデコードおよび再構成し、ここで、それぞれMビットの色ピクセル値をもつ再構成された第一のビデオ画像が得られ、前記色向上制御データから転換関数を実装するマッピング・テーブルを構築することを含む。次いで、前記マッピング・テーブルは前記再構成された第一のビデオ画像のピクセルのそれぞれに適用され、結果として得られる転換されたビデオ画像は予測画像としてはたらき、それが次いでデコードされた第二のビデオ画像をもって更新される。前記のデコードされた第二のビデオ画像は残差画像であり、前記更新は結果として、それぞれNビット(N>M)をもつピクセル値をもち、よって前記再構成された第一のビデオ画像より高い色空間をもつ、向上したビデオ画像を与える。
上記の諸ステップは、基本的なビデオ色の赤、緑および青のそれぞれについて別個に実行される。こうして、完全なビデオ信号は、各画像について、エンコードされた低い色解像度の画像と、これらの色のそれぞれについて、いずれもより高い色解像度の画像を生成するための、エンコードされた残差画像および転換関数のパラメータをもつ。有利なことに、前記転換関数および前記残差画像を生成することは、生のビデオ画像のRGB値に対して実行され、したがって、前記のさらなるビデオ・エンコードからは独立である。よって、低い色解像度の画像は次いでいかなる従来式のエンコードを使って、たとえばMPEGまたはJVT規格(AVC、SVCなど)に従ってエンコードされることもできる。また、デコード側において、色向上は、従来式のデコードの上に実行され、よってそのエンコード・フォーマットからは独立である。
こうして、より低い色ビット深度表示機能をもつ装置(たとえば8ビット・ディスプレイ)は、より低い色ビット深度をもつ色基本層をデコードするだけでよい。一方、向上した色ビット深度表示機能をもつ進んだ装置(たとえば12ビット・ディスプレイ)は色向上層および赤、緑、青についての転換テーブルをもデコードし、色空間をフルに利用する画像を生成してもよい。
本発明は、新しい種類のビデオ・スケーラビリティ、すなわち色ビット深度のスケーラビリティに関係し、符号化効率を改善するために色ビット深度スケーラブルなコーデックの層間予測において適用できる色ビット深度予測ソリューションを提供する。残差画像を生成する前に転換関数を使って予測画像を生成することの利点は、予測画像がそれぞれの色向上層画像によりよく一致するため、エンコードがより効率的になるということである。たとえば、色基本層において9A(十六進)という8ビット値によって記述される特定の緑色調の値は、色向上層における9A0(十六進)ないし9AF(十六進)という16通りの異なる12ビットの色値にマッピングされうる。ある画像ではこれら16通りの値の一つが色向上層において優勢でありうる一方、別の画像ではそれは別の値であることがありうる。このように、本発明は、色向上層の最適化されたエンコードを可能にする。
本発明の有利な実施形態は従属請求項、以下の記述および図面において開示される。
本発明の例示的な実施形態が付属の図面を参照して記載される。
色ビット深度スケーラブルなビデオ符号化および復号の構造を示す図である。 エンコード過程の流れ図である。 平滑化されたヒストグラム指定の流れ図である。 ヒストグラム平滑化の例を示す図である。 デコード過程の流れ図である。 完全な向上層エンコーダの概観を示す図である。
図1は、色ビット深度スケーラブルなビデオ符号化および復号の一般的な構造を示している。エンコーダENCは各ビデオ画像を、Mビットの通常の色解像度とNビットの向上された色解像度(N>M)とで2回受け取る。二つの独立な別個のビデオ・ストリームを生成する代わりに、色基本層および色向上層が生成される。ここで、色向上層は色基本層に依存する。図1に示されるように、より高いビット深度の色を予測するために、エンコーダおよびデコーダの両方において層間予測が実行される。
図1の基本層エンコーダ・ブロックは、たとえば別個の輝度およびクロミナンス値の生成、DCT変換などといった何らかの空間的および/または時間的冗長性削減など、通常のエンコード・ステップのすべてを含む。デコーダ側では、基本層デコーダがそれぞれのデコードを実行する。「基本層(base layer)」および「向上層(enhancement layer)」は色ビット深度だけについていうものである。有利なことに、基本層については、本発明によって可能にされる色向上プロセスとは独立に、いかなるビデオ・エンコードおよびデコード方法も使用できる。基本層デコーダの出力は、たとえばMビットの色解像度をもち、通常の表示装置に好適である。一方、向上層デコーダの出力は、赤、緑、青の部分画像のそれぞれについて2N(N>M)通りの異なる色値を表示できる高品質ディスプレイに好適である。Nの例は、Mがたとえば8なら、10、12または16ビットであるが、原理的には、MおよびN(N>M)のあらゆる組み合わせが実装可能である。品質スケーラビリティ、空間的スケーラビリティおよび時間的スケーラビリティといった他の型のスケーラビリティと同様、層間予測は符号化効率に著しい影響を与える。
本発明は、平滑化されたヒストグラム指定に基づく色ビット深度予測のための空間的に一様なアプローチを提案する。同じ場面を記述する二つの画像を考える。それら二つの画像について、対応するピクセルどうし(ここで、「対応するピクセル」とは、それぞれ前記二つの画像に属するが画像座標系において同じ座標をもつ二つのピクセルを意味する)は同じ場面位置を指す。対応するピクセル間の唯一の相違は、色ビット深度である。一方の画像の各色はMビット長の符号語でエンコードされ、他方の画像ではM<NとしてNビット長の符号語でエンコードされるとする。逆色調マッピングの務めは、予測されたNビット画像ともとのNビット画像との間の差が最小化されるという基準に従って、Mビット画像からNビット画像の予測されたバージョンを生成することである。予測されたNビット画像ともとのNビット画像の間の差はいかなる方法によって測定してもよい。たとえばPSNRはビデオ圧縮の分野において広く受け入れられ、使用されている。さらに、この場合、最も重要な側面は、予測された画像がどう見えるかということよりも、予測された画像が後続の残差データ圧縮のためにどのくらい効果的に機能するかということである。
図2は、本発明のある実施形態の一般的なエンコード手順を示している。基本層画像IMBLはマッピング関数を実装するルックアップ・テーブルLUTfinalを使って変換TRされる。変換TRの結果は変換された基本層画像IMTR,BLである。ルックアップ・テーブルLUTfinalは別の中間ルックアップ・テーブルLUTinterから生成される。この中間ルックアップ・テーブルLUTinterは基本層画像、好ましくは再構成された基本層画像と向上層画像との色ヒストグラムから生成される。これらの画像の異なる色解像度のため、これらの画像の色ヒストグラムは異なる数のビン(可能な各色について一つ)をもつばかりでなく、向上層画像のビンの間の値の分布は、各基本層色について、およびシーケンスの各画像について異なることがありうる。たとえば、基本層がMビットをもち向上層がNビットをもつ場合、基本層ヒストグラムの各ビンは向上層ヒストグラムの2N-M個のビンに対応する。すなわち、各基本層ピクセル値は通常、2N-M個のピクセル値のうちの一つを予測するはたらきをすることになる。この予測は、二つの画像の色ヒストグラムを考えることによって最適化される。中間ルックアップ・テーブルLUTinterは、後述するように、向上層画像の色ヒストグラムHistELと基本層画像IMBLから生成された色ヒストグラムSmHistBLとの間の変換を記述するヒストグラム変換関数を実装する。
変換された基本層画像IMTR,BLは向上層画像IMELを予測するために使われ、差分または残差Δが計算され、エンコードされ、送信される。これらのプロセスすべてはR、GおよびBについて別個である。
図3は、提案される空間的に一様な逆色調マッピングの詳細を示している。よりよい理解のため、基本層(Mビット)画像は「入力画像」NIと名付けられ、向上層(Nビット)画像は「所望される画像」DIと名付け直される。一つの基本的発想は、ヒストグラム指定(histogram specification)(非特許文献1)のアルゴリズムをNIおよびDIに適用することである。NIを、DIのヒストグラムによって指定されるような特定のヒストグラムをもつように変換するルックアップ・テーブルが生成される。
しかしながら、色ビット深度予測について古典的なヒストグラム指定を用いるときには、二つの主要な欠点がある。第一に、ヒストグラムは離散的な値をもつので、変換されたNIはDIと厳密に同じヒストグラムをもつのではない。そうではなく、変換されたNIのヒストグラムはDIのヒストグラムの近似である。第二に、二つのヒストグラムの異なるビン・サイズ(異なるビット深度によって生じる)は、それらの間のマッチングを劣化させる。(ビン・サイズとは、各色成分のレベルの数を意味する。たとえば8ビット画像のビン・サイズは256である。)これは、考えられている色ビット深度予測における格別な欠点である。たとえば、NIが単にDIからのビット・シフトである場合、ヒストグラム指定によって得られた変換されたNIのPSNRはしばしば、単純な逆ビット・シフトによって得られるよりも低くなることがある。
これらの欠点を克服するため、NIのヒストグラムを、指定される前に「平滑化する(smooth)」ことを提案する。平滑化されたヒストグラムSmHistBLは、ヒストグラム指定のプロセスについての所望されるヒストグラムのはたらきをするDIのヒストグラムHistELと同じビン・サイズである。古典的なヒストグラム指定アルゴリズムは、この平滑化されたヒストグラムおよび所望されるヒストグラムに対して適用される。最後に、「確率マッピング(Probability mapping)」と呼ばれる後処理が実行されてLUTが得られる。平滑化されたヒストグラム指定のフローチャートが図3に示されている。px(xk)、k=0,1,…,2M−1はNIのヒストグラムHistBLを表し、DIのヒストグラムHistELはpz(zk)、k=0,1,…,2N−1によって記述される。
図3において、低ビット数(Mビット)画像NIについて、一つの色チャネルのヒストグラムはpx(x)である。ヒストグラムは式(5)を使って平滑化され、平滑化されたヒストグラムpx′(x)が結果として生じる。これは高ビット数(Nビット)画像DIのヒストグラムと同じビン・サイズをもつ。値が累計され、結果としてsk(図3の例についてはk=1,…,16)を生じる。それは関数F(xk′)として表せる。
高ビット数(Nビット)画像DIは同じ色チャネルのヒストグラムpz(z)をもつ。累計の結果としてvk(上と同じk)を生じる。それは関数G(zk)として表せる。次いで、分布vjが決定される。これはskの各値について、(高ビット数画像DIのvkの値のうちから)最良一致する値vlを与える。この分布vjは値sk(したがってxk′)から値vkへの変換を樹立し、変換Gの逆変換である。
以下では、ヒストグラム平滑化の過程について述べる。ヒストグラム平滑化の目標は、入力ヒストグラムを「伸張」(stretch)して、所望されるヒストグラムと同じビン・サイズをもつようにすることである。これは、本ヒストグラム指定プロセスにとっての必須要件である。図3の記法に従うと、px(xk)の値は、式(5)
Figure 0004991851
に示されるように、対応する範囲[xk′,xk′+1,…,xk′+2(N-M)−1]に一様に分散される。
「一様分布」を保証するため、規格化されない(un-normalized)ヒストグラムが使用される。平滑化されたヒストグラムの簡単な例が図4に示されている。図4のa)は2ビットの色ビット深度をもつ、すなわち特定の色、たとえば赤の22=4通りの可能な色値がある基本層入力画像の色ヒストグラムを示している。ヒストグラム平滑化プロセスはこのヒストグラムを4ビットの色ビット深度、すなわち24=16通りの可能な色値に「伸張」する。入力画像の単一のビン内の値の数は、入力画像内でこの特定の色値をもつピクセルの数である。たとえば、値0に対応する左端のビン内の値40は、入力画像の40個のピクセルが0という「赤」値をもつことを意味する(このヒストグラムは色「赤」のものである)。平滑化プロセスはこれらの値を平滑化されたヒストグラムの2N-M個の対応するビンに分布させる。2N-M=4であるこの例において、平滑化されたヒストグラムの最初の4つのビンがもとのヒストグラムの最初のビンに対応する。式(5)によれば、もとのヒストグラムの40個の値は、図4のb)に示されるように、平滑化されたヒストグラムの4つの対応するビンに均等に分布される。
平滑化の背後にある発想は、入力ヒストグラムの連続性を改善して、ヒストグラム指定がより効率的となるようにするということである。詳しくは、図3に示されている式(1)、(2)および(4)の、連続グレーレベル画像についての代替を:
Figure 0004991851
と書き下す。
連続グレーレベルの場合、入力ヒストグラムは所望されるヒストグラムと厳密に同じとして指定されることができるが、前述したように、離散的なグレーレベルについては、所望されるヒストグラムに対する近似しか達成できない。さらに、グレーレベルの数が無限大に近づくにつれ、近似は厳密な一致に近づく。したがって、理論上は、平滑手順は入力ヒストグラムの離散化の際のサンプリング・レートを上げることと等価であり、異なるビン・サイズをもつ二つのヒストグラムの間の直接的なヒストグラム指定よりも性能がよい。
平滑化されたヒストグラムは、このアルゴリズムでは単に中間段階である。それに対応する画像はない。
以下では、確率マッピングのプロセスについて述べる。ひとたび古典的なヒストグラム指定アルゴリズムが平滑化されたヒストグラムpx′(x)および所望されるヒストグラムpz(z)に適用されたら、中間LUT yk′=LUTinter(xk′)が生成される。次の問題は、対応する範囲[xk′,xk′+1,…,xk′+2(N-M)−1]の複数のマッピングされた値から一意的なマッピングされた値を選ぶことである。例示的に、確率マッピングのための基準として、下記の式(6)および(7)に記載されるように、二つの異なる基準が提案される:
Figure 0004991851
ここで、ykはxkのマッピングされた値である。もとのヒストグラムを所望されるヒストグラムにマッピングするための最終的なLUT yk=LUTfinal(xk), k=0,1,…,2M−1, yk∈{zl, l=0,1,…,2N−1}が生成される。
式(6)は、xkが対応する2N-M個の値のうちで、所望されるヒストグラムpz(y1′)において最も大きな値をもつものを選択するということを述べている。
式(7)は、xkが対応する2N-M個の値のうちで、その平均(mean)以下の最も近い整数を最終的にマッピングされた値として使うことを述べている。
LUTinterは、入力画像の平滑化されたヒストグラムを所望される画像のヒストグラムにマッピングするので、「1対1」のマッピングである。しかしながら、入力画像のストレートなヒストグラムを考える場合、各xkが2N-M個の値に対応することを見ることができる。「確率マッピング」の務めは、2N-M個の値から、xkの最終的にマッピングされた値として一つだけの値を選ぶことである。よって、LUTfinalはやはり「1対1」マッピングである。各値xkを値ykにマッピングするのである。所望される画像の全体の値(2N個)のうち2M個の値のみが対応するxkをもつので、LUTのマッピングは可逆である。
上記のアルゴリズムが入力画像および所望される画像に対して適用されるとき、両方の画像のヒストグラムが計算される。次いで、入力ヒストグラムが平滑化され、結果として「平滑化されたヒストグラム」を与える。残りのステップ(古典的なヒストグラム指定および確率マッピング)が完遂されたのち、入力ヒストグラムのレベルを所望されるヒストグラムのレベルにマッピングするための最終的なLUTが生成される。次いで、そのLUTを入力画像の各ピクセルに適用することによって予測画像が生成される。
図6は、R、GおよびBの画像について別個の分枝をもつ完全な向上層エンコーダの概観を示している。基本層は従来式にエンコードされる。
本発明は、ビデオ・エンコーダおよびビデオ・デコーダのために、特に同じ空間的解像度の色基本層および色向上層を最適化された効率でエンコード/デコードするために使用可能である。

Claims (8)

  1. それぞれMビットをもつRGBピクセル値からなる第一のビデオ画像およびM<NとしてそれぞれNビットをもつRGBピクセル値からなる第二のビデオ画像をエンコードする方法であって、前記第一のビデオ画像および前記第二のビデオ画像は同じ空間解像度をもち、
    ・2N通りの可能な入力値をもち前記第一および第二のビデオ画像の色ヒストグラムに基づく第一の転換関数を生成する段階と;
    ・前記第一の転換関数に基づいて、2M通りの可能な入力値をもち、その入力値のそれぞれを前記第一の転換関数の対応する2(N-M)通りの値のうちの一つにマッピングする確率マッピング関数をもつ第二の転換関数を生成する段階であって、前記確率マッピング関数は、前記第二の転換関数の2 M 個の値のそれぞれについて、前記第二のヒストグラムにおいて最高の値をもつものである一つの値を、あるいは前記対応する2 N-M 個の値の平均値以下の最も近い整数である一つの値を選択する、段階と;
    ・前記第一のビデオ画像に前記第二の転換関数を用する段階であって、前記第二の転換関数はピクセルをマッピングするために使われ、変換された第一のビデオ画像が生成される段階と;
    ・前記変換された第一のビデオ画像と前記第二のビデオ画像との間の差を計算する段階と;
    ・前記差をエンコードする段階と;
    ・前記第一のビデオ画像をエンコードする段階と;
    ・前記のエンコードされた第一のビデオ画像、前記の第二の転換関数および前記のエンコードされた差を伝送する段階とを有する、
    方法。
  2. 第一の転換関数を生成する前記段階が:
    ・再構成された第一の画像の、2M個のビンをもつ第一の色ヒストグラムを生成する段階と;
    ・前記第二の画像の、2N個のビンをもつ第二の色ヒストグラムを生成する段階と;
    ・前記第一の色ヒストグラムから2N個のビンをもつ平滑化された色ヒストグラムを成する段階とを有し、ここで、前記第一のヒストグラムの各ビンの値は2(N-M)個のビンに分配され、前記第一の転換関数は前記平滑化された色ヒストグラムと前記第二の色ヒストグラムとの間の転換を定義する、
    請求項1記載の方法。
  3. 前記第一のビデオ画像をエンコードし;
    エンコードされた第一のビデオ画像をデコードして再構成された第一のビデオ画像を取得する初期段階をさらに有しており、
    前記第二の転換関数を適用する前記段階が前記再構成された第一のビデオ画像についてである、請求項1または2記載の方法。
  4. ビットストリーム中において受信される第一および第二のビデオ画像をデコードする方法であって、前記第一および第二のビデオ画像は同じ空間解像度をもち、
    ・前記ビットストリームから、前記第一および第二のビデオ画像についてのビデオ・データならびに色向上制御データを抽出する段階と;
    ・前記第一のビデオ画像をデコードおよび再構成する段階であって、それぞれMビットをもつ色ピクセル値をもつ再構成された第一のビデオ画像が得られる段階と;
    ・前記色向上制御データから三つの別個のマッピング・テーブルまたはマッピング・テーブル領域を構築する段階であって、前記別個のマッピング・テーブルまたはマッピング・テーブル領域のそれぞれが前記の赤、緑および青の色の一つに関係する、段階と;
    ・前記マッピング・テーブルを前記再構成された第一のビデオ画像のピクセルに適用する段階であって、前記再構成された第一のビデオ画像とは異なる色ヒストグラムをもつ変換された第一のビデオ画像が生成される段階と;
    ・前記第二のビデオ画像をデコードし、ここで、前記第二のビデオ画像はピクセル差分値を含む、段階と;
    ・デコードされた第二のビデオ画像を前記変換された第一のビデオ画像に加える段階であって、M<NとしてそれぞれNビットをもつ色ピクセル値をもつ再構成された第二のビデオ画像が得られる段階とを有する、
    方法。
  5. 前記変換された第一のビデオ画像が、前記再構成された第一のビデオ画像のそれぞれの色ヒストグラムとは異なる赤、緑および/または青のための色ヒストグラムをもつ、請求項記載の方法。
  6. それぞれMビットをもつRGBピクセル値からなる第一のビデオ画像およびM<NとしてそれぞれNビットをもつRGBピクセル値からなる第二のビデオ画像をエンコードする装置であって、前記第一のビデオ画像および前記第二のビデオ画像は同じ空間解像度をもち、
    ・2N通りの可能な入力値をもち前記第一および第二のビデオ画像の色ヒストグラムに基づく第一の転換関数を生成する手段と;
    ・前記第一の転換関数に基づいて、2M通りの可能な入力値をもち、その入力値のそれぞれを前記第一の転換関数の対応する2(N-M)通りの値のうちの一つにマッピングする確率マッピング関数をもつ第二の転換関数を生成する手段であって、前記確率マッピング関数は、前記第二の転換関数の2 M 個の値のそれぞれについて、前記第二のヒストグラムにおいて最高の値をもつものである一つの値を、あるいは前記対応する2 N-M 個の値の平均値以下の最も近い整数である一つの値を選択する、手段と;
    ・前記第一のビデオ画像に前記第二の転換関数を用する手段であって、前記第二の転換関数はピクセルをマッピングするために使われ、変換された第一のビデオ画像が生成される手段と;
    ・前記変換された第一のビデオ画像と前記第二のビデオ画像との間の差を計算する手段と;
    ・前記差をエンコードする手段と;
    ・前記第一のビデオ画像をエンコードする手段と;
    ・前記のエンコードされた第一のビデオ画像、前記の第二の転換関数および前記のエンコードされた差を伝送する手段とを有する、
    装置。
  7. 第一の転換関数を生成する前記手段が:
    ・再構成された第一の画像の、2M個のビンをもつ第一の色ヒストグラムを生成する手段と;
    ・前記第二の画像の、2N個のビンをもつ第二の色ヒストグラムを生成する手段と;
    ・前記第一の色ヒストグラムから2N個のビンをもつ平滑化された色ヒストグラムを成する手段とを有し、ここで、前記第一のヒストグラムの各ビンの値は2(N-M)個のビンに分配され、前記第一の転換関数は前記平滑化された色ヒストグラムと前記第二の色ヒストグラムとの間の転換を定義する、
    請求項記載の装置。
  8. ビットストリーム中において受信される第一および第二のビデオ画像をデコードする装置であって、前記第一および第二のビデオ画像は同じ空間解像度をもち、
    ・前記ビットストリームから、前記第一および第二のビデオ画像についてのビデオ・データならびに色向上制御データを抽出する手段と;
    ・前記第一のビデオ画像をデコードおよび再構成する手段であって、それぞれMビットをもつ色ピクセル値をもつ再構成された第一のビデオ画像が得られる手段と;
    ・前記色向上制御データから三つの別個のマッピング・テーブルまたはマッピング・テーブル領域を構築する手段であって、前記別個のマッピング・テーブルまたはマッピング・テーブル領域のそれぞれが前記の赤、緑および青の色の一つに関係する、手段と;
    ・前記マッピング・テーブルを前記再構成された第一のビデオ画像のピクセルに適用する手段であって、前記再構成された第一のビデオ画像とは異なる色ヒストグラムをもつ変換された第一のビデオ画像が生成される手段と;
    ・前記第二のビデオ画像をデコードし、ここで、前記第二のビデオ画像はピクセル差分値を含む、手段と;
    ・デコードされた第二のビデオ画像を前記変換された第一のビデオ画像に加える手段であって、M<NとしてそれぞれNビットをもつ色ピクセル値をもつ再構成された第二のビデオ画像が得られる手段とを有する、
    装置。
JP2009519775A 2006-07-17 2006-07-17 ビデオ色向上データをエンコードする方法および装置ならびにビデオ色向上データをデコードする方法および装置 Active JP4991851B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2006/001699 WO2008019524A1 (en) 2006-07-17 2006-07-17 Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data

Publications (2)

Publication Number Publication Date
JP2009544198A JP2009544198A (ja) 2009-12-10
JP4991851B2 true JP4991851B2 (ja) 2012-08-01

Family

ID=39081897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009519775A Active JP4991851B2 (ja) 2006-07-17 2006-07-17 ビデオ色向上データをエンコードする方法および装置ならびにビデオ色向上データをデコードする方法および装置

Country Status (7)

Country Link
US (1) US8761249B2 (ja)
EP (1) EP2041983B1 (ja)
JP (1) JP4991851B2 (ja)
KR (1) KR101196975B1 (ja)
CN (1) CN101507284B (ja)
DE (1) DE602006019006D1 (ja)
WO (1) WO2008019524A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328547B1 (ko) 2004-11-01 2013-11-13 테크니컬러, 인크. 향상된 컬러 공간 콘텐츠를 마스터하고 분배하는 방법 및 시스템
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US20100091840A1 (en) * 2007-01-10 2010-04-15 Thomson Licensing Corporation Video encoding method and video decoding method for enabling bit depth scalability
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
BRPI0817767A2 (pt) * 2007-10-16 2020-01-28 Thomson Licensing métodos e aparelhos para remoção de artefato para capacidade de escalonamento de profundidade de bit
US9338475B2 (en) 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
US9538176B2 (en) 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
US20110154426A1 (en) * 2008-08-22 2011-06-23 Ingo Tobias Doser Method and system for content delivery
US8432413B2 (en) * 2008-11-17 2013-04-30 Xrfiles, Inc. System and method for the display of extended bit depth high resolution images
WO2010093432A1 (en) 2009-02-11 2010-08-19 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
JP5027171B2 (ja) * 2009-02-25 2012-09-19 日本電信電話株式会社 画像符号化方法,画像符号化装置および画像符号化プログラム
WO2010105036A1 (en) 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
JP2010278724A (ja) * 2009-05-28 2010-12-09 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
TWI407426B (zh) * 2010-04-15 2013-09-01 Nuvoton Technology Corp 顯示裝置及其控制電路以及顯示影像資料之方法
TWI431512B (zh) * 2010-06-23 2014-03-21 Ind Tech Res Inst 三維控制端點之辨識方法及應用其之電腦可讀取媒體
CN102331883B (zh) * 2010-07-14 2013-11-06 财团法人工业技术研究院 三维控制端点的辨识方法及应用其的计算机可读介质
CN101923708B (zh) * 2010-08-09 2012-07-25 福建华映显示科技有限公司 深度图强化方法
JP2012060261A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法
KR20120087233A (ko) 2010-12-03 2012-08-07 한국전자통신연구원 영상 융합을 이용한 타일 맵 서비스 방법 및 이를 위한 시스템
CN104054338B (zh) * 2011-03-10 2019-04-05 杜比实验室特许公司 位深和颜色可伸缩视频编码
WO2012125892A1 (en) 2011-03-17 2012-09-20 Dolby Laboratories Licensing Corporation Generating alternative versions of image content using histograms
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
TWI690211B (zh) 2011-04-15 2020-04-01 美商杜比實驗室特許公司 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
US8334911B2 (en) 2011-04-15 2012-12-18 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
CN103106668B (zh) * 2011-11-09 2016-08-03 佳能株式会社 基于颜色直方图来描述图像区域的方法和系统
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
CN102542528B (zh) * 2011-12-26 2013-10-09 Tcl集团股份有限公司 一种图像转换处理方法及系统
TWI556629B (zh) 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
BR112015003707A2 (pt) * 2012-08-27 2017-07-04 Sony Corp dispositivo e método de transmissão, e, dispositivo e método de recepção.
TWI545964B (zh) * 2012-09-14 2016-08-11 鴻海精密工業股份有限公司 影像白平衡方法及攝像裝置
KR101901184B1 (ko) 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
EP2898694B1 (en) * 2012-09-24 2019-06-19 Huawei Technologies Co., Ltd. Video compression with color space scalability
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding
US10469866B2 (en) * 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel
US9445713B2 (en) 2013-09-05 2016-09-20 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
US9948916B2 (en) 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US10531105B2 (en) 2013-12-17 2020-01-07 Qualcomm Incorporated Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding
US9756337B2 (en) 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
CN106031174B (zh) * 2014-02-21 2019-10-29 索尼公司 传输装置、传输方法、接收装置以及接收方法
US10531109B2 (en) 2015-01-27 2020-01-07 Dolby Laboratories Licensing Corporation Predictive image encoding and decoding with pixel group based quantization
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
US11178204B1 (en) * 2017-02-23 2021-11-16 Cox Communications, Inc. Video processor to enhance color space and/or bit-depth
CN111145100B (zh) * 2018-11-02 2023-01-20 深圳富泰宏精密工业有限公司 动态影像生成方法及系统、计算机装置、及可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4857993A (en) * 1988-04-27 1989-08-15 Universal Video Communications Corp. Method and system for decompressing digital color video statistically encoded data
US6185327B1 (en) * 1998-05-04 2001-02-06 Eastman Kodak Company Method and system for the reduction of memory capacity required for a digital representation of an image
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7006699B2 (en) 2002-03-27 2006-02-28 Microsoft Corporation System and method for progressively transforming and coding digital data
JP2005027168A (ja) 2003-07-04 2005-01-27 Canon Inc 画像処理装置及び方法
EP1591963B1 (en) * 2004-04-29 2008-07-09 Mitsubishi Electric Information Technology Centre Europe B.V. Adaptive quantisation of a depth map
US7991238B2 (en) * 2004-04-30 2011-08-02 Neiversan Networks Co. Llc Adaptive compression of multi-level images
CN100544398C (zh) * 2004-04-30 2009-09-23 微软公司 多级图像的适应性压缩的方法和系统
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US8537893B2 (en) 2006-01-23 2013-09-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High dynamic range codecs

Also Published As

Publication number Publication date
US8761249B2 (en) 2014-06-24
WO2008019524A1 (en) 2008-02-21
US20090285283A1 (en) 2009-11-19
DE602006019006D1 (de) 2011-01-27
CN101507284B (zh) 2012-06-27
EP2041983A1 (en) 2009-04-01
JP2009544198A (ja) 2009-12-10
CN101507284A (zh) 2009-08-12
KR20090052849A (ko) 2009-05-26
EP2041983B1 (en) 2010-12-15
EP2041983A4 (en) 2010-04-07
KR101196975B1 (ko) 2012-11-02

Similar Documents

Publication Publication Date Title
JP4991851B2 (ja) ビデオ色向上データをエンコードする方法および装置ならびにビデオ色向上データをデコードする方法および装置
JP6181259B2 (ja) エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
CN101622878B (zh) 用于实现位深度可分级性的视频编解码方法和视频编解码设备
JP5346198B2 (ja) 階層的lutを利用したビット深度スケーラビリティのためのエンハンスメントレイヤ残差予測
KR102129541B1 (ko) 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US20230276061A1 (en) Scalable video coding system with parameter signaling
JP2020171022A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
JP5232797B2 (ja) 空間予測及びビット深度予測の適応的予測順序を使用してビデオ・データを符号化し、かつ/又は復号化する方法及び装置
JP5383674B2 (ja) ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび/またはデコードする方法および装置
EP2609746B1 (en) Extending image dynamic range
US20120147953A1 (en) High Dynamic Range Video Tone Mapping
EP2092748A1 (en) Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
CN1695381A (zh) 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强
JP2013517723A (ja) イメージエンコーダおよびイメージデコーダ
JP2020123947A (ja) 画像ブロックに対する画素領域前処理動作に基づく画像ブロック符号化法
EP1933565A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
JP2016536815A (ja) 圧縮及び復元デジタル画像及び映像の表示における可視アーティファクトを減少させるシステム及び方法
Hsiao et al. Dual-Layer Lossless Coding for Infrared Video
EP3272124A1 (en) Scalable video coding system with parameter signaling

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

R150 Certificate of patent or registration of utility model

Ref document number: 4991851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250