JP7387924B2 - 復号装置、符号化装置、復号方法、及び符号化方法 - Google Patents
復号装置、符号化装置、復号方法、及び符号化方法 Download PDFInfo
- Publication number
- JP7387924B2 JP7387924B2 JP2023001666A JP2023001666A JP7387924B2 JP 7387924 B2 JP7387924 B2 JP 7387924B2 JP 2023001666 A JP2023001666 A JP 2023001666A JP 2023001666 A JP2023001666 A JP 2023001666A JP 7387924 B2 JP7387924 B2 JP 7387924B2
- Authority
- JP
- Japan
- Prior art keywords
- color difference
- format
- filter
- information
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 283
- 230000005540 biological transmission Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 description 70
- 238000010586 diagram Methods 0.000 description 45
- 238000013139 quantization Methods 0.000 description 22
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 239000013598 vector Substances 0.000 description 16
- 238000013461 design Methods 0.000 description 12
- 230000006866 deterioration Effects 0.000 description 12
- 230000010363 phase shift Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明の実施形態は、復号装置、符号化装置、復号方法、及び符号化方法に関する。
輝度成分と色差成分を含む画像について、色差成分の解像度を変換した後に符号化することが行われている。また、復号時には、符号化データを復号した後に、色差成分の解像度を変換することが行われている。色差成分の解像度には、4:4:4フォーマット、4:2:2フォーマット、及び4:2:0フォーマット、等の色差フォーマットがある。
色差成分の解像度の変換を繰り返す事により、画質劣化が生じる。このため、従来、画質劣化を抑制する試みがなされている。具体的には、画質劣化を抑制する条件を満たすフィルタを、色差成分の解像度の変換に用いるフィルタとして設計することが開示されている。
しかしながら、従来では、再生時の色差成分の解像度によっては、画質劣化が生じる場合があった。
本発明が解決しようとする課題は、画質劣化を抑制することができる、復号装置、及び符号化装置を提供することである。
実施形態の復号装置は、原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データ、前記符号化データの色差成分の解像度を示す第1色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第2色差フォーマット、前記復号画像の色差フォーマット変換時に用いるフィルタを特定するためフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を受付ける受付部と、前記符号化データを復号して前記復号画像を生成する復号部と、前記フィルタ情報によって示されるフィルタを用いて、前記復号画像を色差フォーマット変換する変換部と、前記再生時の画素ビット長、前記再生時の色差成分の最大値、および前記再生時の色差成分の最小値を満たすように、色差フォーマット変換された前記復号画像をクリッピング処理し、該クリッピング処理後の前記復号画像を再生画像として出力する出力部と、を備え、前記第1色差フォーマットおよび前記第2色差フォーマットは、それぞれ、4:4:4フォーマット、4:2:2フォーマット、または4:2:0フォーマットの色差成分の解像度を示し、前記フィルタ情報は、フィルタの識別情報を含み、前記変換部は、前記識別情報と前記第1色差フォーマットと前記第2色差フォーマットに基づいて、予め定められた複数のフィルタの中から、水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方を含む前記フィルタを選択する。
(実施の形態1)
図1は、本実施の形態の符号化装置10の機能的構成を示す模式図である。
図1は、本実施の形態の符号化装置10の機能的構成を示す模式図である。
符号化装置10は、原画像の色差成分の解像度を変更した後に符号化する。原画像は、輝度成分と色差成分とを含む画像である。色差成分の解像度には、4:4:4フォーマット、4:2:2フォーマット、及び4:2:0フォーマット、等の色差フォーマットがある。本実施の形態では、これらの色差フォーマットの内の何れかの色差フォーマットの原画像が符号化装置10に入力される。
なお、本実施の形態では、一例として、4:4:4フォーマットの色差フォーマットの原画像が符号化装置10に入力される場合を説明するが、この形態に限定されない。
符号化装置10は、変換部12、符号化部14、生成部16、NALユニット生成部18、及び伝送情報生成部20を備える。
変換部12は、原画像に対するフィルタ処理によって、原画像の色差成分の解像度を変換する。変換部12は、色差成分の解像度を変換した原画像を、色差変換画像として出力する。本実施の形態では、変換部12は、原画像について、色差成分の解像度を拡大(アップサンプリング)する場合を説明する。
図2は、変換部12の機能的構成を示す模式図である。
変換部12は、符号化装置10に入力された原画像について、色差成分の解像度を変換する1または複数の変換部を備える。なお、変換部12による色差成分の解像度の変換を、色差フォーマット変換と称する場合がある。本実施の形態では、変換部12は、変換部12A、変換部12B、及び出力調整部12Cを備える。
変換部12Aは、4:4:4フォーマットの原画像を4:2:2フォーマットの画像に変換する。詳細には、変換部12Aは、4:4:4フォーマットの原画像を構成する画素の色差成分について、水平方向に1/2に間引くフィルタを用いたフィルタ処理を行う。これによって、変換部12Aは、4:4:4フォーマットの原画像を構成する画素の色差成分を、水平方向に1/2に間引くダウンサンプリングを行い、4:2:2フォーマットの画像に変換する。変換部12Aは、4:2:2フォーマットの画像を、変換部12Bへ出力する。
変換部12Bは、変換部12Aから4:2:2フォーマットの画像を受け付ける。変換部12Bは、受け付けた4:2:2フォーマットの画像を4:2:0フォーマットの画像に変換する。詳細には、変換部12Bは、4:2:2フォーマットの画像を構成する画素の色差成分について、垂直方向に1/2に間引くフィルタを用いたフィルタ処理を行う。これによって、変換部12Bは、4:2:2フォーマットの画像を構成する画素の色差成分を、垂直方向に1/2に間引くダウンサンプリングを行い、4:2:0フォーマットの画像に変換する。変換部12Bは、4:2:0フォーマットの画像を、出力調整部12Cへ出力する。
出力調整部12Cは、変換部12Bから受け付けた4:2:0フォーマットの画像を構成する各画素値が、規格上定められた最小値以上であり且つ規格上定められた最大値以下の範囲となるように、クリッピング処理を行う。そして、クリッピング処理後の画像を、変換部12で色差変換した色差変換画像として、符号化部14へ出力する。色差変換画像は、変換部12で色差成分の解像度を変換した後の原画像である。
図1に戻り、変換部12は、色差変換画像を符号化部14へ出力する。また、変換部12は、色差信号情報を生成部16へ出力する。
色差信号情報は、変換部12でフィルタ処理に用いたフィルタ情報を含む。本実施の形態では、色差信号情報は、変換部12Aで受け付けた4:4:4フォーマットの原画像と、変換部12Aでフィルタ処理に用いたフィルタ情報と、変換部12Bで受け付けた4:2:2フォーマットの画像と、変換部12Bでフィルタ処理に用いたフィルタ情報と、を含む。
なお、変換部12Aでフィルタ処理に用いたフィルタ情報は、本実施の形態では、水平ダウンサンプリングフィルタ情報である。また、変換部12Bでフィルタ処理に用いたフィルタ情報は、本実施の形態では、垂直ダウンサンプリングフィルタ情報である。
符号化部14は、変換部12から色差変換画像を受け付ける。符号化部14は、受け付けた色差変換画像を符号化し、符号化データを生成する。本実施の形態では、符号化部14は、1フレームを複数の画素領域からなるスライスに分割してスライス毎に符号化を行う。
図3は、符号化部14の機能的構成を示す模式図である。
符号化部14は、減算部14A、変換/量子化部14B、エントロピー符号化部14C、逆量子化/逆変換部14D、加算部14E、フレームメモリ14F、予測画像生成部14G、及び動きベクトル探索部14Hを備える。
減算部14Aは、変換部12から色差変換画像を受け付ける。減算部14Aは、色差変換画像と予測画像生成部14Gで生成された予測画像との差分を求め、この差分である誤差画像を生成する。
変換/量子化部14Bは、誤差画像を変換して変換係数を生成し、変換係数を量子化して量子化係数を生成する。誤差画像の変換方法としては、例えば、DCT(Discrete Cosine Transform:離散コサイン変換)を用いた直交変換や、ウェーブレット変換や、独立成分解析等が挙げられる。変換/量子化部14Bは、これらの何れかの変換方法を用いて誤差画像を変換する。また、変換/量子化部14Bは、予め設定された量子化パラメータを用いて、変換係数を量子化する。
変換/量子化部14Bは、エントロピー符号化部14C及び逆量子化/逆変換部14Dに量子化係数を出力する。
エントロピー符号化部14Cは、変換/量子化部14Bから量子化係数を受け付ける。また、エントロピー符号化部14Cは、後述する動きベクトル探索部14Hから動きベクトル情報を受け付ける。エントロピー符号化部14Cは、量子化係数、及び動きベクトル情報を、予め決められたシンタクスに従ってエントロピー符号化し、符号化データを生成する。シンタクスとは、符号化データの設定規則である。
エントロピー符号化部14Cは、例えば、ハフマン符号化や算術符号化を用いてエントロピー符号化する。
エントロピー符号化部14Cは、生成した符号化データを、NALユニット生成部18へ出力する。
逆量子化/逆変換部14Dは、量子化係数を逆量子化した後に逆変換し、誤差画像を生成する。すなわち、逆量子化/逆変換部14Dは、量子化係数に対して、変換/量子化部14Bの処理と逆の処理を行う。具体的には、変換/量子化部14Bがウェーブレット変換及び量子化を行なった場合には、逆量子化/逆変換部14Dは、逆量子化及び逆ウェーブレット変換を行う。
加算部14Eは、逆量子化/逆変換部14Dから誤差画像を受け取り、予測画像生成部14Gから予測画像を受け取る。そして、加算部14Eは、誤差画像と予測画像を加算して復号画像を生成する。この復号画像は、フレームメモリ14Fに保存される。
フレームメモリ14Fは、復号画像にフィルタ処理を行い、参照画像として記憶する。フレームメモリ14Fは、参照画像を、予測画像生成部14Gと動きベクトル探索部14Hに出力する。
動きベクトル探索部14Hは、変換部12から受け付けた色差変換画像と、フレームメモリ14Fから受け付けた参照画像と、を用いて、動きベクトル情報を生成する。動きベクトル探索部14Hは、生成した動きベクトル情報を、予測画像生成部14Gとエントロピー符号化部14Cへ出力する。
予測画像生成部14Gは、参照画像と動きベクトル情報を用いて、予測画像を生成する。そして、予測画像生成部14Gは、生成した予測画像を、加算部14E及び減算部14Aへ出力する。
ここで、フレームメモリ14Fが生成した参照画像は、色差変換画像と同じ色差フォーマットの画像である。すなわち、参照画像は、本実施の形態では、変換部12によって色差成分の解像度を変換されることによって得られた色差変換画像と同じ、4:2:0フォーマットの画像である。本実施の形態では、フレームメモリ14Fは、この4:2:0フォーマットの参照画像を、生成部16へ出力する。
図1に戻り、生成部16は、変換部12から色差信号情報を受け付ける。また、生成部16は、符号化部14から、色差変換画像と同じ色差フォーマット(4:2:0フォーマット)の参照画像を受け付ける。生成部16は、色差信号情報及び色差変換画像の色差フォーマットの参照画像、を用いて、色差変換情報を生成する。
色差変換情報は、第1色差フォーマットと、符号化データを復号した復号画像の色差フォーマット変換時に用いるフィルタの特定情報と、を含む。
本実施の形態では、一例として、色差変換フォーマットが、第1色差フォーマットと、第2色差フォーマットと、特定情報と、を含む場合を説明する。
第1色差フォーマットは、符号化部14で符号化した符号化データの色差成分の解像度、すなわち色差フォーマットを示す。言い換えれば、第1色差フォーマットは、色差変換画像の色差フォーマットである。本実施の形態では、第1色差フォーマットは、4:2:0フォーマットである。なお、以下では、色差成分の解像度を、単に、色差フォーマットと称して説明する場合がある。
第2色差フォーマットは、符号化データを復号した復号画像の再生時の色差フォーマットである。復号画像の再生時、とは、符号化データを復号した復号画像を再生するときに用いる色差フォーマットであり、再生時の形態や再生機器等によって定まる。本実施の形態では、第2色差フォーマットは、生成部16に予め設定されている。なお、第2色差フォーマットは、原画像と共に符号化装置10で受信してもよい。また、第2色差フォーマットは、図示を省略する通信部を介して、外部装置等から受信してもよい。
特定情報は、復号画像の色差フォーマット変換時に用いるフィルタを特定するための情報である。
本実施の形態では、一例として、特定情報が、第1色差フォーマットの復号画像を第2色差フォーマットに変換するときに用いるフィルタを特定するための情報である場合を説明する。本実施の形態では、特定情報が、第1色差フォーマットの復号画像を第2色差フォーマットに変換するために用いるフィルタ情報である場合を説明する。フィルタ情報は、例えば、フィルタ係数を含む。
なお、特定情報は、第2色差フォーマットの参照情報を含んでいてもよい。参照情報は、第2色差フォーマットを特定するためのフラグ等の情報であってもよいし、第2色差フォーマットそのものであってもよい。
図4は、生成部16の機能的構成を示す模式図である。
生成部16は、変換部12から色差信号情報を受け付ける。また、生成部16は、色差変換画像と同じ色差フォーマット(4:2:0フォーマット)の参照画像を符号化部14から受け付ける。
上述したように、本実施の形態では、色差信号情報は、変換部12Aで受け付けた4:4:4フォーマットの原画像と、変換部12Aでフィルタ処理に用いたフィルタ情報と、変換部12Bで受け付けた4:2:2フォーマットの画像と、変換部12Bでフィルタ処理に用いたフィルタ情報と、を含む。
生成部16は、垂直フィルタ情報生成部16A、変換部16B、水平フィルタ情報生成部16C、及び生成部16Dを備える。
垂直フィルタ情報生成部16Aは、色差信号情報に含まれる情報の内、4:2:2フォーマットの画像、及び変換部12Bでフィルタ処理に用いたフィルタ情報(垂直ダウンサンプリングフィルタ情報)を受け付ける。また、垂直フィルタ情報生成部16Aは、符号化部14から、色差変換画像と同じ色差フォーマット(4:2:0フォーマット)の参照画像を受け付ける。
垂直フィルタ情報生成部16Aは、4:2:2フォーマットの画像と、変換部12Bでフィルタ処理に用いた垂直ダウンサンプリングフィルタ情報と、変換部12Bによる変換後の色差フォーマットの画像である4:2:0フォーマットの参照画像と、から、4:2:0フォーマットの画像を4:2:2フォーマットに変換するために用いるフィルタ情報を設計する。
すなわち、垂直フィルタ情報生成部16Aは、4:2:0フォーマットの参照画像に対して垂直方向アップサンプリング処理を行うことで、4:2:2フォーマットの画像を得るために用いるフィルタ情報を設計する。そして、垂直フィルタ情報生成部16Aは、設計したフィルタ情報である垂直フィルタ情報を、変換部16B及び生成部16Dへ出力する。
なお、フィルタ情報の設計には、下記式(1)~式(3)を用いる。
式(1)~式(3)は、フィルタ処理前の画像の色差成分と、フィルタ処理後の画像の色差成分との差の二乗平均が最小となるフィルタ、すなわち、ウィナーフィルタの算出式である。
式(1)中、Fは、フィルタ係数を示す。式(1)中、(f1~fn)は、フィルタ係数を示す。なお、nは、1以上の整数を示す。
式(2)中、Sは、フィルタ処理後の画像の色差成分を示す。式(2)中、xは、画素の位置を示す。式(2)及び式(3)中、SF(x)は、フィルタ処理後の画像信号を示す。式(3)中、Sorgは、フィルタ処理前の画像の色差成分を示す。
変換部16Bは、符号化部14から、色差変換画像と同じ色差フォーマット(4:2:0フォーマット)の参照画像を受け付ける。また、変換部16Bは、垂直フィルタ情報生成部16Aから、垂直フィルタ情報を受け付ける。
変換部16Bは、受け付けた垂直フィルタ情報を用いたフィルタ処理を行い、色差変換画像と同じ色差フォーマット(4:2:0フォーマット)の参照画像の色差フォーマットを4:2:2フォーマットに変換する。変換部16Bは、変換により得られた4:2:2フォーマットの画像を、水平フィルタ情報生成部16Cに出力する。
水平フィルタ情報生成部16Cは、色差信号情報に含まれる情報の内、変換部12Aで受け付けた4:4:4フォーマットの原画像と、変換部12Aでフィルタ処理に用いたフィルタ情報(水平ダウンサンプリングフィルタ情報)と、を受け付ける。また、水平フィルタ情報生成部16Cは、変換部16Bから4:2:2フォーマットの画像を受け付ける。
水平フィルタ情報生成部16Cは、4:4:4フォーマットの原画像と、水平ダウンサンプリングフィルタ情報と、4:2:2フォーマットの画像と、から、4:2:2フォーマットの画像を4:4:4フォーマットに変換するために用いるフィルタ情報を設計する。フィルタ情報の設計には、上記式(1)~式(3)を用いる。
すなわち、水平フィルタ情報生成部16Cは、4:2:2フォーマットの画像に対して水平アップサンプリング処理を行うことで、4:4:4フォーマットの原画像を得るために用いるフィルタ情報を設計する。そして、水平フィルタ情報生成部16Cは、設計したフィルタ情報である水平フィルタ情報を、生成部16Dへ出力する。
生成部16Dは、色差変換情報を生成する。詳細には、生成部16Dは、符号化部14で符号化した符号化データの第1色差フォーマットとして、符号化部14から受け付けた参照画像の色差フォーマット(4:2:0フォーマット)を用いる。また、生成部16Dは、符号化データを復号した復号画像の再生時の第2色差フォーマットを、図示を省略するメモリから読取る。また、生成部16Dは、特定情報として、垂直フィルタ情報生成部16Aから受け付けた垂直フィルタ情報と、水平フィルタ情報生成部16Cから受け付けた水平フィルタ情報と、を用いる。そして、生成部16Dは、第1色差フォーマットと、第2色差フォーマットと、特定情報と、を含む色差変換情報を生成する。
なお、生成部16Dは、予め決められた設定規則(シンタクス)に従って色差変換情報を生成する。
図5は、色差変換情報のシンタクスの一例を示す図である。
色差変換情報は、図5に示すように、coded_format_idc、coded_data_bit_depth、target_format_idc、target_bit_depth、max_value、min_value、progressive_flag、implicit_vertical_flag、tap_length_vertical_minus1、ver_filter_coeff、implicit_horizontal_flag、interpolation_horizontal_idc、tap_length_horizontal_minus1、及びhor_filter_coeffを含む。
coded_format_idcは、第1色差フォーマットを示す。
例えば、coded_format_idcの値が「0」である場合、第1色差フォーマットは、輝度のみ規定されたモノクロフォーマットである。coded_format_idcの値が「1」である場合、第1色差フォーマットは、4:2:0フォーマットである。coded_format_idcの値が「2」である場合、第1色差フォーマットは4:2:2フォーマットである。coded_format_idcの値が「3」である場合、第1色差フォーマットは4:4:4フォーマットである。
coded_data_bit_depthは、符号化データの画素ビット長を示す。
target_format_idcは、符号化データを復号した復号画像の再生時の色差フォーマットである第2色差フォーマットを示す。target_bit_depthは、再生時の画素ビット長を示す。max_valueは、再生時の色差成分の最大値を示す。min_valueは、再生時の色差成分の最小値を示す。
progressive_flagは、符号化データがプログレッシブ信号であるか否かを示すフラグである。例えば、progressive_flagの値が「0」である場合、符号化データは、プログレッシブ信号ではなく、インターレース信号である。この場合、色差変換の処理は、フィールド単位で行う必要があることを示す。
implicit_vertical_flag、interpolation_vertical_idc、tap_length_vertical_minus1、ver_filter_coeff、implicit_horizontal_flag、interpolation_horizontal_idc、tap_length_horizontal_minus1、及びhor_filter_coeff、は、特定情報を示す。
implicit_vertical_flagは、予め定義した垂直方向のフィルタ情報を用いることを示すフラグである。interpolation_vertical_idcは、予め定義した垂直方向のフィルタ情報の識別情報である。tap_length_vertical_minus1は、垂直方向のフィルタ係数のタップ長マイナス1の値を示している。
ver_filter_coeffは、水平方向のフィルタ係数を示している。implicit_horizontal_flagは、予め定めた水平方向のフィルタ情報を用いることを示すフラグである。Interpolation_horizontal_idcは、予め定義した水平方向のフィルタ情報の識別情報である。tap_length_horizontal_minus1は、水平方向のフィルタ係数のタップ長マイナス1の値を示す。hor_filter_coeffは、水平方向のフィルタ係数を示す。
例えば、coded_format_idcの値が「1」、すなわち、符号化データのフォーマットである第1色差フォーマットが4:2:0フォーマットであるとする。また、target_format_idcの値が「1」以上、すなわち、復号画像の再生時の色差フォーマットである第2色差フォーマットが4:2:2、または4:4:4フォーマットであるとする。この場合は、垂直方向にアップサンプリングの処理が必要である。このため、この場合、生成部16は、垂直方向のフィルタ情報(垂直アップサンプリングフィルタ情報)を特定情報として生成する。
また、coded_fromat_idcの値が「1」より大きい、すなわち、符号化データのフォーマットである第1色差フォーマットが4:2:2フォーマット、または4:4:4フォーマットであるとする。また、target_format_idcの値が「1」、すなわち、再生時の色差フォーマットである第2色差フォーマットが、4:2:0フォーマットであるとする。この場合、特定情報は、垂直方向のフィルタ情報(垂直ダウンサンプリングフィルタ情報)である。
また、coded_format_idcの値が「1」または「2」、すなわち、第1色差フォーマットが、4:2:0フォーマット、または4:2:2フォーマットであるとする。また、target_format_idcの値が「3」、すなわち、第2色差フォーマットが4:4:4フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報(水平アップサンプリングフィルタ情報)である。
また、coded_format_idcの値が「3」、すなわち、第1色差フォーマットが、4:4:4フォーマットであるとする。また、target_format_idcの値が「1」または「2」、すなわち、第2色差フォーマットが、4:2:0フォーマット、または4:2:2フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報(水平ダウンサンプリングフィルタ情報)である。
なお、図5中、u(n)は、nビットの非負の2進表現を示す。nは、1以上の整数である。se(v)は、符号付きの0次のExp-Golomb符号を表す。
なお、符号化装置10は、予め定義した垂直方向のフィルタ情報、及び予め定義した水平方向のフィルタ情報と、これらのフィルタ情報を識別する識別情報と、を対応づけた定義テーブルを、予め生成部16の図示を省略するメモリに記憶する。
図6は、定義情報のデータ構造の一例を示す模式図である。
定義情報は、Valueと、Tap lengthと、Filter coefficientsと、を対応づけたテーブルである。
Valueは、フィルタ情報の識別情報である。Valueは、図5に示す色差変換情報に含まれる、interpolation_vertical_idc、またはinterpolation_horizontal_idcで示される値に対応している。
Tap lengthは、フィルタ情報の識別情報であるValueの値に対応する、フィルタ係数のタップ長を示している。Filter coefficientsは、フィルタ情報の識別情報であるValueの値に対応する、フィルタ係数を示している。
なお、色差変換情報は、符号化データから得られる情報や、規格化されている再生情報を、含まない形態であってもよい。
図7は、符号化データから得られる情報や、規格化されている再生情報を含まない場合の、色差変換情報のシンタクスの一例を示す図である。
具体的には、色差変換情報は、target_format_idc、progressive_flag、implicit_vertical_flag、tap_length_vertical_minus1、ver_filter_coeff、implicit_horizontal_flag、interpolation_horizontal_idc、tap_length_horizontal_minus1、及びhor_filter_coeffを含む。
すなわち、図7に示す例では、色差変換情報は、符号化データの色差フォーマットである第1色差フォーマット、及び画素ビット長を含まない。また、図7に示す例では、色差変換情報は、再生時の画素ビット長、再生時の色差成分の最大値及び最小値を含まない。
なお、上述したように、色差変換情報は、符号化データの色差成分の解像度を示す第1色差フォーマットと、符号化データを復号した復号画像の色差フォーマット変換時に用いるフィルタの特定情報と、を含む情報であればよい。
図8は、色差変換情報のシンタクスの一例を示す模式図である。なお、図8は、色差変換情報が、第1色差フォーマット、符号化データの色差成分の画素サンプル位置と、特定情報と、を含む場合を示した。
図8に示す例では、色差変換情報は、chroma_loc_info_present_flag、chroma_sample_loc_type_top_field、chroma_sample_loc_type_bottom_field、chroma_filter_info_present_flag、chroma_filter_infoを含む。
chroma_loc_info_present_flagは、色差信号の画素位置、及び色差変換に関するフィルタ情報が存在するか否かを示すフラグである。例えば、chroma_loc_info_present_flagの値が「1」である場合、このフラグは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在することを示す。また、chroma_loc_info_present_flagの値が「0」である場合、このフラグは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在しないことを示す。
chroma_sample_loc_type_top_fieldは、符号化データがインターレース走査を用いて符号化された符号化データであるときの、トップフィールドの色差成分の画素サンプル位置(サンプリング対象の画素位置)を示す。このトップフィールドの色差成分の画素サンプル位置には、輝度成分の画素サンプル位置との組み合わせにより、合計6通りの公知の組合せがある。
chroma_sample_loc_type_bottom_fieldは、符号化データがインターレース走査を用いて符号化された符号化データであるときの、ボトムフィールドの色差成分の画素サンプル位置(サンプリング対象の画素位置)を示す。このボトムフィールドの色差成分の画素サンプル位置には、トップフィールドの場合と同様に、輝度成分の画素サンプル位置との組み合わせにより、合計6通りの公知の組合せがある。
chroma_filter_info_present_flagは、色差変換に関するフィルタ情報が存在するか否かを示すフラグである。chroma_filter_info_present_flagの値が「1」である場合、色差変換に関するフィルタ情報が存在することを示す。chroma_filter_info_present_flagの値が「0」である場合、色差変換に関するフィルタ情報が存在しない事を示す。
chroma_filter_infoは、色差変換フィルタ情報の識別情報である。色差変換フィルタ情報の識別情報に対応する色差変換フィルタ情報は、色差変換フィルタ定義情報に予め設定されている。
図9は、色差変換フィルタ定義情報のデータ構造の一例を示す模式図である。色差変換フィルタ定義情報は、色差変換フィルタ情報の識別情報(図9中、「Value」に相当)と、該識別情報によって特定される色差変換フィルタ情報と、を対応づけたテーブルである。
図9に示す例では、色差変換フィルタ情報は、Tap length、Filter coefficients、Divisor、Phase shift、及びPurposeを含む。
Tap lengthは、フィルタ係数のタップ長を示す。Filter coefficientsは、フィルタ係数を示す。Divisorは、フィルタ処理において、除算を行う場合の分母の数を示す。Phase shiftは、フィルタの位相情報を示す。Purposeは、フィルタの種類を示す。具体的には、Purposeは、色差フォーマット変換する場合のダウンサンプリング用フィルタ、または、アップサンプリング用フィルタを示す。
図10は、色差変換フィルタ定義情報のデータ構造の別の例を示す模式図である。図10に示す色差変換フィルタ定義情報は、図9と同様に、色差変換フィルタ情報の識別情報(図10中、「Value」に相当)と、該識別情報によって特定される色差変換フィルタ情報と、を対応づけたテーブルである。
図10に示す例においても、図9と同様に、色差変換フィルタ情報は、Tap length、Filter coefficients、Divisor、Phase shift、及びPurposeを含む。
なお、図10に示す色差変換フィルタ定義情報では、識別情報である「Value」の値が特定の値の場合には、予め定めたシンタクスに従って色差変換フィルタ情報を生成することを示す。
図11は、色差変換フィルタ情報のシンタクスの一例を示す図である。例えば、図10に示す色差変換フィルタ定義情報における識別情報である「Value」の値が「1」である場合、図11に示すシンタクスの色差変換フィルタ情報を予め対応づける。
この場合、生成部16は、色差変換フィルタ定義情報における識別情報である「Value」の値が「1」である場合、図11に示すシンタクスの色差変換フィルタ情報に従って、色差変換フィルタ情報を生成する。
図11に示す色差変換フィルタ情報は、target_format_idc、num_of_filter_minus1、tap_length_minus1、filter_coeffを含む。
target_format_idcは、上記と同様である。num_of_filter_minus1は、色差変換フィルタの数マイナス1の値を示す。tap_length_minus1は、フィルタ係数のタップ長マイナス1の値を示す。filter_coeffは、フィルタ係数を示す。
図12は、色差変換情報のシンタクスの他の一例を示す模式図である。なお、図12は、chroma_filter_infoを含まない点が、図8に示す色差変換情報と異なる。
図12に示す例では、色差変換情報は、chroma_loc_info_present_flag、chroma_sample_loc_type_top_field、chroma_sample_loc_type_bottom_field、chroma_filter_info_present_flagを含む。
chroma_filter_info_present_flagは、色差変換に関するフィルタ情報が別途存在するか否かを示すフラグである。chroma_filter_info_present_flagの値が「1」である場合、色差変換に関するフィルタ情報が存在することを示す。chroma_filter_info_present_flagの値が「0」である場合、色差変換に関するフィルタ情報が存在しないことを示す。
図13は、図12に示す色差変換情報における、chroma_filter_info_present_flagの値が「1」である場合に存在する色差変換フィルタ情報の一例を示す図である。
図13に示す色差変換フィルタ情報は、num_of_filter_set_minus1と、implicit_filter_set_flagと、filter_set_idcと、num_of_filter_minus1と、implicit_filter_flagと、filter_idcと、tap_length_minus1と、filter_coeffと、を含む。
num_of_filter_set_minus1は、フィルタセットの数マイナス1を示す。implicit_filter_set_flagは、予め定めたフィルタセットの情報を用いることを示すフラグである。filter_set_idcは、予め定義したフィルタセットの情報の識別情報である。num_of_filter_minus1は、色差変換フィルタの数マイナス1の値を示す。implicit_filter_flagは、予め定めたフィルタ情報を用いることを示すフラグである。filter_idcは、予め定義したフィルタ情報の識別情報である。tap_length_minus1は、フィルタ係数のタップ長マイナス1の値を示す。filter_coeffは、フィルタ係数を示す。
図14は、色差変換フィルタ定義情報のデータ構造の一例を示す模式図であり、図9とは異なる例を示す図である。図14に示す例では、色差変換フィルタ定義情報は、filter_set_idcと、filter_idcと、Tap lengthと、Filter coefficientsと、Divisorと、Phase shiftと、Purposeと、を対応づけたテーブルである。
filter_set_idcは、フィルタセットの情報の識別情報である。このfilter_set_idcの値は、図13に示すfilter_set_idcに対応する。
filter_idcは、フィルタ情報の識別情報である。このfilter_idcの値は、図13に示すfilter_idcに対応する。
Tap lengthは、上記と同様に、フィルタ係数のタップ長を示す。Filter coefficientsは、フィルタ係数を示す。Divisorは、フィルタ処理において、除算を行う場合の分母の数を示す。Phase shiftは、フィルタの位相情報を示す。Purposeは、フィルタの目的を示し、色差フォーマットを変換する場合のダウンサンプリング用、アップサンプリング用を示す。
図15は、色差変換フィルタ定義情報におけるchroma_filter_info_present_flagの値が「1」の場合に存在する色差変換フィルタ情報の一例を示す。
図15に示す色差変換フィルタ情報は、target_format_idc、implicit_vertical_flag、vertical_filter_idc、tap_length_vertical_minus1、ver_filter_coeff、second_filter_flag、second_vertical_filter_idc、tap_length_second_vertical_minus1、second_ver_filter_coeff、implicit_horizontal_flag、horizontal_filter_idc、tap_length_horizontal_minus1、及びhor_filter_coeffを含む。
target_format_idcは、図5と同様に、第2色差フォーマットを示す。なお、図15に示す色差変換フィルタ情報では、target_format_idcの値に対する意味付けが、図5とは異なる。具体的には、図15に示す例では、target_format_idcの値が「0」である場合、第2色差フォーマットが輝度のみ規定されたモノクロフォーマットであることを示す。また、target_format_idcの値が「1」である場合、第2色差フォーマットが4:2:0フォーマットであることを示す。また、target_format_idcの値が「2」である場合、第2色差フォーマットが4:2:2フォーマットであることを示す。target_format_idcの値が「3」である場合、第2色差フォーマットは4:4:4フォーマットであることを示す。
なお、chroma_format_idcは、符号化データに含まれ、第1色差フォーマットを示す。
implicit_vertical_flagは、予め定義した垂直方向のフィルタ情報を用いることを示すフラグである。vertical_filter_idcは、予め定義した垂直方向のフィルタ情報の識別情報である。tap_length_vertical_minus1は、垂直方向のフィルタ係数のタップ長マイナス1の値を示す。
ver_filter_coeffは、垂直方向のフィルタ係数を示す。second_filter_flagは、フィールド信号の場合に、トップフィールドとボトムフィールドで、垂直方向で異なるフィルタセットを使う場合に定義されるフラグであり、もし、second_filter_flagの値が「1」ならば、2つ目の垂直フィルタが定義できる。
second_vertical_filter_idcは、予め定義した2つ目の垂直方向のフィルタ情報の識別情報である。tap_length_second_vertical_minus1は、2つ目の垂直方向のフィルタ係数のタップ長マイナス1の値を示す。second_ver_filter_coeffは、2つ目の垂直方向のフィルタ係数を示す。
implicit_horizontal_flagは、予め定めた水平方向のフィルタ情報を用いることを示すフラグである。
horizontal_filter_idcは、予め定義した水平方向のフィルタ情報の識別情報である。tap_length_horizontal_minus1は、水平方向のフィルタ係数のタップ長マイナス1の値を示す。hor_filter_coeffは、水平方向のフィルタ係数を示す。
例えば、chroma_format_idcの値が「1」、すなわち、符号化データのフォーマットである第1色差フォーマットが4:2:0フォーマットであるとする。また、target_format_idcの値が「1」以上、すなわち、復号画像の再生時の色差フォーマットである第2色差フォーマットが4:2:2、または4:4:4フォーマットであるとする。この場合、垂直方向にアップサンプリングの処理が必要である。このため、この場合、生成部16は、垂直方向のフィルタ情報(垂直アップサンプリングフィルタ情報)を特定情報として生成する。
また、chroma_fromat_idcの値が「1」より大きい、すなわち、符号化データのフォーマットである第1色差フォーマットが4:2:2フォーマット、または4:4:4フォーマットであるとする。また、target_format_idcの値が「1」、すなわち、再生時の色差フォーマットである第2色差フォーマットが、4:2:0フォーマットであるとする。この場合、特定情報は、垂直方向のフィルタ情報(垂直ダウンサンプリングフィルタ情報)である。
また、chroma_format_idcの値が「1」または「2」、すなわち、第1色差フォーマットが、4:2:0フォーマット、または4:2:2フォーマットであるとする。また、target_format_idcの値が「3」、すなわち、第2色差フォーマットが4:4:4フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報(水平アップサンプリングフィルタ情報)である。
また、chroma_format_idcの値が「3」、すなわち、第1色差フォーマットが、4:4:4フォーマットであるとする。また、target_format_idcの値が「1」または「2」、すなわち、第2色差フォーマットが、4:2:0フォーマット、または4:2:2フォーマットであるとする。この場合、特定情報は、水平方向のフィルタ情報(水平ダウンサンプリングフィルタ情報)である。
図16は、色差変換フィルタ定義情報のデータ構造の図14とは異なる例を示す模式図である。
図16に示す色差変換フィルタ定義情報は、filter_idcと、Tap lengthと、Filter coefficientsと、Divisorと、Phase shiftと、Purposeと、を対応づけたテーブルである。
図16中の、filter_idcは、フィルタセットの情報の識別情報である。図15に示す色差変換情報に含まれるvertical_filter_idc、second_filter_idc、horizontal_filter_idcに対応する。
Tap lengthは、フィルタ係数のタップ長を示す。Filter coefficientsは、フィルタ係数を示す。Divisorは、フィルタ処理において、除算を行う場合の分母の数を示す。Phase shiftは、フィルタの位相情報を示す。Purposeは、フィルタの目的を示し、色差フォーマットを変換する場合のダウンサンプリング用、アップサンプリング用を示す。
図17は、図8や、図12に示す色差変換情報におけるchroma_filter_info_present_flagの値が「1」の場合に存在する色差変換フィルタ情報の一例を示す。
図17に示す色差変換フィルタは、target_format_idc、tap_length_vertical_minus1、ver_filter_coeff、second_filter_flag、tap_length_second_vertical_minus1、second_ver_filter_coeff、tap_length_horizontal_minus1、及びhor_filter_coeffを含む。なお、図17に示す色差変換フィルタと、図15に示す色差変換フィルタとの違いは、全てのフィルタ情報が明示的に定義されている点である。
図1へ戻り、生成部16は、生成した色差変換情報をNALユニット生成部18へ出力する。
NALユニット生成部18は、符号化部14から符号化データを受け付ける。また、NALユニット生成部18は、生成部16から色差変換情報を受け付ける。
NALユニット生成部18は、符号化部14から受け付けた符号化データ、生成部16から受け付けた色差変換情報、及びヘッダ情報及び書き込み読み出しの際の調整情報であるバイトアライメント情報等を含むNAL(Network Abstraction Layer)ユニット情報を生成する。NALユニット生成部18は、生成したNALユニット情報を、伝送情報生成部20へ出力する。
NALユニット情報とは、符号化装置10が出力する後述する伝送情報に含まれる、ハイレベルシンタクスに相当する情報である。ハイレベルシンタクスとは、伝送情報の構造(シンタクス)の内、スライスより上位のシンタクスであり、伝送情報のフレーム全体に影響を与えるパラメータを含む。本実施の形態では、上述したように、NALユニット情報は、符号化データ、生成部16から受け付けた色差変換情報、及びヘッダ情報及び書き込み読み出しの際の調整情報であるバイトアライメント情報等を含む。
伝送情報生成部20は、NALユニット生成部18からNALユニット情報を受け付ける。伝送情報生成部20は、受け付けたNALユニット情報を、MPEG-2システムや、ISOファイルフォーマット等のシステムレイヤの情報に変換し、伝送情報を生成する。伝送情報生成部20は、生成した伝送情報を出力する。
次に、符号化装置10で実行する符号化処理を説明する。
図18は、符号化装置10で実行する符号化処理の手順を示すフローチャートである。
まず、変換部12が、符号化装置10で受け付けた原画像について、色差成分の解像度を変換する色差変換処理を実行する(ステップS100)。そして、変換部12は、色差成分の解像度を変換した原画像を、色差変換画像として符号化部14へ出力する。また、変換部12は、色差信号情報を生成部16へ出力する。
次に、符号化部14が、変換部12から受け付けた色差変換画像を符号化し、符号化データを生成する(ステップS102)。符号化部14は、符号化データをNALユニット生成部18へ出力する。また、符号化部14は、色差変換画像と同じ色差フォーマット(4:2:0フォーマット)の参照画像を生成部16へ出力する。
次に、生成部16が、変換部12から受け付けた色差信号情報と、符号化部14から受け付けた、色差変換画像の色差フォーマットの参照画像と、を用いて、色差変換情報を生成する(ステップS104)。生成部16は、生成した色差変換情報をNALユニット生成部18へ出力する。
次に、NALユニット生成部18が、符号化部14から受け付けた符号化データ、生成部16から受け付けた色差変換情報、及びヘッダ情報及び書き込み読み出しの際の調整情報であるバイトアライメント情報等を含む、NALユニット情報を生成する(ステップS106)。NALユニット生成部18は、生成したNALユニット情報を、伝送情報生成部20へ出力する。
次に、伝送情報生成部20が、NALユニット生成部18から受け付けたNALユニット情報をシステムレイヤの情報に変換し、伝送情報を生成する(ステップS108)。伝送情報生成部20は、生成した伝送情報を出力する。
以上説明したように、本実施の形態の符号化装置10によれば、符号化部14が、色差変換画像を符号化して符号化データを生成する。生成部16は、符号化データの色差成分の解像度を示す第1色差フォーマットと、符号化データを復号した復号画像の再生時の色差成分の解像度を示す第2色差フォーマットと、第1色差フォーマットの符号化データの復号画像を第2色差フォーマットに変換するときに用いるフィルタを特定するための特定情報と、を含む色差変換情報を生成する。
このため、符号化装置10で符号化された符号化データを復号した復号画像の再生時には、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、第1色差フォーマットの符号化データの復号画像を第2色差フォーマットに変換することで、解像度変換による画質劣化を抑制することができる。
従って、本実施の形態の符号化装置10は、画質劣化を抑制することができる。
(変形例1)
なお、上記実施の形態では、特定情報が、第1色差フォーマットの復号画像を第2色差フォーマットに変換するために用いるフィルタ情報である場合を説明した。
なお、上記実施の形態では、特定情報が、第1色差フォーマットの復号画像を第2色差フォーマットに変換するために用いるフィルタ情報である場合を説明した。
しかし、特定情報は、第1色差フォーマットの復号画像を第2色差フォーマットに変換するときに用いるフィルタを特定するための情報であればよい。例えば、特定情報は、第1色差フォーマットの復号画像を第2色差フォーマットに変換するために用いるフィルタ情報を識別するための識別情報であってもよい。
この場合には、フィルタ情報とフィルタ情報の識別情報とを対応づけた上記定義情報を、符号化装置10と、符号化データを復号する復号装置(後述する復号装置等)と、に予め記憶すればよい。そして、符号化データを復号する装置側では、符号化データを復号した復号画像に、特定情報に含まれる識別情報に対応するフィルタ情報を用いたフィルタ処理を行うことで、復号画像の色差フォーマットを変換すればよい。
また、特定情報は、変換部12でフィルタ処理に用いたフィルタ情報であってもよい。
この場合、符号化データを復号する復号装置では、特定情報に含まれるフィルタ情報から、第1色差フォーマットの復号画像を第2色差フォーマットに変換するときに用いるフィルタを設定する。そして、復号装置は、設定したフィルタを用いて、復号画像の色差フォーマットを変換すればよい。
(実施の形態2)
本実施の形態では、実施の形態1とは異なる方法で色差変換情報を生成する形態を説明する。
本実施の形態では、実施の形態1とは異なる方法で色差変換情報を生成する形態を説明する。
図19は、本実施の形態の符号化装置10Aの機能的構成を示す模式図である。
符号化装置10Aは、変換部120、符号化部14、生成部160、NALユニット生成部18、及び伝送情報生成部20を備える。
符号化装置10Aは、変換部12に替えて変換部120、生成部16に替えて生成部160を備えた以外は、実施の形態1の符号化装置10と同様の構成である。
なお、変換部120は、色差信号情報として、変換部120で用いたフィルタ情報を生成部160へ出力する以外は、変換部12と同様の構成である。具体的には、変換部120は、変換部12Aでフィルタ処理に用いたフィルタ情報と、変換部12Bでフィルタ処理に用いたフィルタ情報と、を含む色差信号情報を生成部160へ出力する。なお、本実施の形態では、実施の形態1と同様に、変換部12Aで用いたフィルタ情報は、水平ダウンサンプリングフィルタ情報であり、変換部12Bで用いたフィルタ情報は、垂直ダウンサンプリングフィルタ情報である。
生成部160は、変換部120から色差信号情報を受け付ける。生成部160は、色差信号情報を用いて、色差変換情報を生成する。
図20は、生成部160の機能的構成を示す模式図である。
生成部160は、垂直フィルタ情報生成部160A、水平フィルタ情報生成部160B、及び生成部160Cを備える。
垂直フィルタ情報生成部160Aは、色差信号情報に含まれる情報の内、変換部12Bでフィルタ処理に用いたフィルタ情報(垂直ダウンサンプリングフィルタ情報)を受け付ける。
垂直フィルタ情報生成部160Aは、変換部12Bで用いた垂直ダウンサンプリングフィルタ情報から、4:2:0フォーマットの画像を4:2:2フォーマットに変換するために用いるフィルタ情報を設計する。すなわち、垂直フィルタ情報生成部160Aは、4:2:0フォーマットの復号画像に対して垂直方向アップサンプリング処理を行うことで、4:2:2フォーマットの画像を得るために用いるフィルタ情報を設計する。該フィルタ情報の設計は、下記式(4)を用いて行う。そして、垂直フィルタ情報生成部160Aは、設計したフィルタ情報である垂直フィルタ情報を、生成部160Cへ出力する。
水平フィルタ情報生成部160Bは、色差信号情報に含まれる情報の内、変換部12Aでフィルタ処理に用いたフィルタ情報(水平ダウンサンプリングフィルタ情報)から、4:2:2フォーマットの画像を4:4:4フォーマットの原画像に変換するために用いるフィルタ情報を設計する。すなわち、水平フィルタ情報生成部160Bは、4:2:2フォーマットの画像に対して水平アップサンプリング処理を行うことで、4:4:4フォーマットの原画像を得るために用いるフィルタ情報を設計する。該フィルタ情報の設計は、下記式(4)を用いて行う。そして、水平フィルタ情報生成部160Bは、設計したフィルタ情報である水平フィルタ情報を、生成部160Cへ出力する。
式(4)は、垂直フィルタ情報生成部160A及び水平フィルタ情報生成部160Bがフィルタ設計時に用いるフィルタの算出式である。
具体的には、式(4)は、一次元の画像と、該一次元の画像を構成する各画素における色差成分を2倍にアップサンプリングした後に各画素における色差成分を1/2にダウンサンプリングした画像と、が同じ画質の画像となるように、フィルタ情報を設計するための式である。
式(4)中、Dは、ダウンサンプリングフィルタ係数を示すベクトルであり、d1~d2n(nは1以上の整数)は、ダウンサンプリングフィルタのフィルタ係数を示す。U及びVは、アップサンプリングフィルタ係数を示すベクトルであり、u1~un(nは1以上の整数)は、トップフィールド用のアップサンプリングに用いるフィルタ係数を示し、v1~vn(nは1以上の整数)は、ボトムフィールド用のアップサンプリングに用いるフィルタ係数を示す。
また、式(4)中、Xは、アップサンプリングフィルタ係数を要素とする2n行(2n-1)列の行列であり、Iは、要素数2n-1でn番目が1で残りが0であるベクトルである。
そして、DX=Iを満たすように、D、U、Vを設計することで、フィルタ情報を設計する。
式(4)を用いることによって、ダウンサンプリングフィルタ係数から、対応するアップサンプリングフィルタ係数を求めることができる。また、逆に、アップサンプリングフィルタ係数から、対応するダウンサンプリングフィルタ係数を求めることもできる。
生成部160Cは、色差変換情報を生成する。詳細には、生成部160Cは、符号化部14で符号化した符号化データの第1色差フォーマットとして、符号化部14から受け付けた参照画像の色差フォーマット(4:2:0フォーマット)を用いる。また、生成部160Cは、第2色差フォーマットを、図示を省略するメモリから読取る。また、生成部160Cは、特定情報として、垂直フィルタ情報生成部160Aから受け付けた垂直フィルタ情報と、水平フィルタ情報生成部160Bから受け付けた水平フィルタ情報と、を用いる。生成部160Cは、これらの第1色差フォーマット、第2色差フォーマット、及び特定情報を含む色差変換情報を生成し、NALユニット生成部18へ出力する。
以上説明したように、本実施の形態の符号化装置10Aにおいては、生成部160が、変換部120で用いたフィルタ情報を色差信号情報として受け付ける。生成部160は、受け付けた色差信号情報を用いて、色差変換情報を生成する。
このため、符号化装置10Aで符号化された符号化データを復号した復号画像の再生時には、色差変換情報に含まれる特定情報によって特定されるフィルタ情報を用いて、第1色差フォーマットの符号化データの復号画像を第2色差フォーマットに変換することで、解像度変換による画質劣化を抑制することができる。
従って、実施の形態1とは異なる方法で色差変換情報を生成した場合についても、実施の形態1と同様の効果が得られる。
また、実施の形態1における符号化装置10による効果に加えて、生成部160(生成部16)の構成を簡略化することができる。
(変形例2)
なお、上記実施の形態では、変換部12は、二つの変換部(変換部12A、変換部12B)を備え、原画像について、色差成分の解像度を複数回変換する場合を説明した。しかし、変換部12は、1回の色差変換を行う機能部であってもよい。また、上記実施の形態では、変換部12は、色差成分の解像度を縮小するフィルタ処理(ダウンサンプリング)を行う場合を説明した。しかし、変換部12は、色差成分の解像度を拡大するフィルタ処理(アップサンプリング)を行ってもよい。
なお、上記実施の形態では、変換部12は、二つの変換部(変換部12A、変換部12B)を備え、原画像について、色差成分の解像度を複数回変換する場合を説明した。しかし、変換部12は、1回の色差変換を行う機能部であってもよい。また、上記実施の形態では、変換部12は、色差成分の解像度を縮小するフィルタ処理(ダウンサンプリング)を行う場合を説明した。しかし、変換部12は、色差成分の解像度を拡大するフィルタ処理(アップサンプリング)を行ってもよい。
この場合、図19に示すように、符号化装置10Aは、変換部120に替えて変換部122を備え、生成部160に替えて生成部162を備える。
図21は、変換部122の機能的構成を示す模式図である。変換部122は、変換部122A、及び出力調整部122Bを備える。
例えば、変換部122は、原画像として、4:2:0フォーマットの原画像を受け付ける。変換部122Aは、受け付けた4:2:0フォーマットの原画像を4:2:2フォーマットの画像に変換する。変換部122Aは、4:2:0フォーマットの原画像を構成する画素の色差成分について、垂直方向に画素補間を行うフィルタ情報を用いたフィルタ処理を行う。これによって、変換部122Aは、4:2:0フォーマットの画像を構成する画素の色差成分を、垂直方向に補間するアップサンプリングを行う。すなわち、変換部122Aは、4:2:0フォーマットの原画像を4:2:2フォーマットの画像に変換する。変換部122Aは、変換後の4:2:2フォーマットの画像を、出力調整部122Bへ出力する。
出力調整部122Bは、変換部122Aから受け付けた4:2:2フォーマットの画像を構成する各画素値が、規格上定められた最小値以上であり且つ規格上定められた最大値以下の範囲となるように、クリッピング処理を行う。そして、クリッピング処理後の原画像を、変換部122で色差変換した色差変換画像として、符号化部14へ出力する。
また、出力調整部122Bは、変換部122Aでフィルタ処理に用いたフィルタ情報を含む色差信号情報を、生成部162へ出力する。
次に、生成部162について説明する。
図22は、生成部162の機能的構成を示す模式図である。
生成部162は、水平フィルタ情報生成部162A及び生成部162Bを備える。
水平フィルタ情報生成部162Aは、色差信号情報として、変換部122Aでフィルタ処理に用いたフィルタ情報(水平アップサンプリングフィルタ情報)を受け付ける。
水平フィルタ情報生成部162Aは、変換部122Aでフィルタ処理に用いた水平アップサンプリングフィルタ情報から、4:2:2フォーマットの画像を4:2:0フォーマットに変換するために用いるフィルタ情報を設計する。すなわち、水平フィルタ情報生成部162Aは、4:2:2フォーマットの画像に対して水平方向ダウンサンプリング処理を行うことで、4:2:0フォーマットの画像を得るために用いるフィルタ情報を設計する。そして、水平フィルタ情報生成部162Aは、設計したフィルタ情報である水平フィルタ情報を、生成部162Bへ出力する。
生成部162Bは、色差変換情報を生成する。詳細には、生成部162Bは、符号化部14で符号化した符号化データの第1色差フォーマットとして、符号化部14から受け付けた参照画像の色差フォーマット(4:2:2フォーマット)を用いる。また、生成部162Bは、第2色差フォーマットを、図示を省略するメモリから読取る。また、生成部162Bは、特定情報として、水平フィルタ情報生成部162Aから受け付けた水平フィルタ情報を用いる。
生成部162Bは、これらの第1色差フォーマット、第2色差フォーマット、及び特定情報、を含む色差変換情報を生成し、NALユニット生成部18へ出力する。
このように、変換部122が、色差成分の解像度を拡大するフィルタ処理(アップサンプリング)を行う場合についても、生成部162が、第1色差フォーマットと、第2色差フォーマットと、特定情報と、を含む色差変換情報を生成する。
従って、本変形例においても、実施の形態1と同様の効果が得られる。
(変形例3)
なお、上記実施の形態では、符号化装置10、符号化装置10Aにおいて、色差変換を行う場合を説明したが、色差変換を行う変換部12(変換部120、変換部122)を備えない構成であってもよい。
なお、上記実施の形態では、符号化装置10、符号化装置10Aにおいて、色差変換を行う場合を説明したが、色差変換を行う変換部12(変換部120、変換部122)を備えない構成であってもよい。
図23は、符号化装置10Bの機能的構成を示す模式図である。
符号化装置10Bは、符号化部14、NALユニット生成部18、伝送情報生成部20、及び生成部16を備える。
符号化装置10Bは、変換部12を備えない構成である以外は、実施の形態1の符号化装置10と同様の構成である。なお、本実施の形態においては、符号化装置10Bの符号化部14は、外部装置等から色差変換画像を受け付ける。また、生成部16は、色差変換情報を外部装置等から受け付ける。
このように、符号化装置10Bは、変換部12を備えない構成であってもよい。
(実施の形態3)
本実施の形態では、復号装置を説明する。復号装置は、符号化装置10、10A、10Bで生成された伝送情報に含まれる符号化データを復号する装置である。
本実施の形態では、復号装置を説明する。復号装置は、符号化装置10、10A、10Bで生成された伝送情報に含まれる符号化データを復号する装置である。
図24は、本実施の形態の復号装置の機能的構成を示す模式図である。本実施の形態の復号装置50は、伝送情報復号部52、NALユニット復号部54、復号部56、復号部58、及び変換部60を備える。
伝送情報復号部52は、伝送情報を受け付ける。本実施の形態では、一例として、実施の形態1の符号化装置10から伝送情報を受け付ける場合を説明する。また、本実施の形態では、符号化装置10から、図5に示す色差変換情報を含む伝送情報を受け付ける場合を説明する。伝送情報復号部52は、受け付けた伝送情報から、NALユニット情報を生成する。
NALユニット復号部54は、伝送情報復号部52からNALユニット情報を受け付け、復号する。これにより、NALユニット復号部54は、符号化データ、色差変換情報、バイトアライメント情報等を得る。
NALユニット復号部54は、NALユニット情報から得た符号化データを、復号部56へ出力する。また、NALユニット復号部54は、NALユニット情報から得た色差変換情報を、復号部58へ出力する。
復号部58は、色差変換情報を復号し、第1色差フォーマット、第2色差フォーマット、及び特定情報を得る。そして、変換部60へ出力する。
図25は、復号部58の機能的構成を示す模式図である。
図25に示すように、復号部58は、復号部58Aを含む。復号部58Aは、色差変換情報を解析し、色差変換情報に含まれる、第1色差フォーマット、第2色差フォーマット、及び特定情報を読取る。そして、読取った第1色差フォーマット、第2色差フォーマット、及び特定情報を含む色差変換情報を、変換部60へ出力する。
なお、復号部58Aは、色差変換情報に含まれる特定情報が、第1色差フォーマットの復号画像を第2色差フォーマットに変換するときに用いるフィルタ情報である場合には、復号部58Aは、該特定情報をそのまま変換部60へ出力する。
一方、復号部58Aは、色差変換情報に含まれる特定情報が、第1色差フォーマットの復号画像を第2色差フォーマットに変換するときに用いるフィルタ情報の識別情報である場合には、識別情報に対応するフィルタ情報を、図示を省略するメモリに予め記憶した定義情報から読み取る。そして、読取ったフィルタ情報を、特定情報として変換部60へ出力する。
また、復号部58Aは、色差変換情報に含まれる特定情報が、符号化装置10の変換部12におけるフィルタ処理に用いたフィルタ情報である場合には、このフィルタ情報から、第1色差フォーマットの復号画像を第2色差フォーマットに変換するためのフィルタ情報を設計する。そして、設計したフィルタのフィルタ情報を、特定情報として変換部60に出力する。
図24に戻り、復号部56は、符号化データを復号し、復号画像を得る。復号部56は、復号画像を、変換部60へ出力する。
図26は、復号部56の機能的構成を示す模式図である。
図26に示すように、復号部56は、エントロピー復号部56A、逆量子化/逆変換部56B、加算部56C、フレームメモリ56D、及び予測画像生成部56Eを備える。
エントロピー復号部56Aは、NALユニット復号部54から符号化データを受け付ける。エントロピー復号部56Aは、受け付けた符号化データを、予め決められたシンタクスに従ってエントロピー復号する。これによって、エントロピー復号部56Aは、量子化係数、動きベクトル情報を得る。
エントロピー復号部56Aは、量子化係数を逆量子化/逆変換部56Bへ出力し、動きベクトル情報を予測画像生成部56Eへ出力する。
逆量子化/逆変換部56Bは、量子化係数を逆量子化した後に逆変換し、誤差画像を生成する。加算部56Cは、逆量子化/逆変換部56Bから誤差画像を受け取り、予測画像生成部56Eから予測画像を受け取る。そして、加算部56Cは、誤差画像と予測画像を加算して復号画像を生成する。この復号画像は、フレームメモリ56Dに保存された後に、変換部60及び予測画像生成部56Eへ出力される。
予測画像生成部56Eは、復号画像と動きベクトル情報を用いて、予測画像を生成する。そして、予測画像生成部56Eは、生成した予測画像を、加算部56Cへ出力する。
図24へ戻り、変換部60は、復号部56から復号画像を受け付ける。また、変換部60は、復号部58から色差変換情報を受け付ける。変換部60は、色差変換情報に含まれる、第1色差フォーマット、第2色差フォーマット、及び特定情報を読取る。そして、変換部60は、第1色差フォーマットの復号画像について、特定情報によって特定されるフィルタを用いて色差成分の解像度の変換を行い、第2色差フォーマットに変換する。変換部60は、復号画像の色差成分の解像度の変換によって得た再生画像を、再生装置等に出力する。
図27は、変換部60の機能的構成を示す模式図である。
変換部60は、変換部60A、変換部60B、及び出力調整部60Cを備える。
変換部60Aは、4:2:0フォーマットの復号画像を、4:2:2フォーマットに変換する。変換部60Aは、復号部58から受け付けた色差変換情報から、特定情報として、変換部12Bでフィルタ処理に用いたフィルタ情報を読取る。そして、読取ったフィルタ情報を用いてフィルタ処理を行い、4:2:0フォーマットの復号画像を、4:2:2フォーマットに変換する。
変換部60Aは、変換によって得た4:2:2フォーマットの復号画像を、変換部60Bへ出力する。変換部60Bは、復号部58から受け付けた色差変換情報から、特定情報として、変換部12Aでフィルタ処理に用いたフィルタ情報を読取る。そして、読取ったフィルタ情報を用いてフィルタ処理を行い、4:2:2フォーマットの復号画像を、4:4:4フォーマットに変換する。変換部60Bは、変換後の4:4:4フォーマットの復号画像を、出力調整部60Cへ出力する。
出力調整部60Cは、色差変換情報に規定される、再生時の画素ビット長、再生時の色差成分の最大値、再生時の色差成分の最小値を読取るか、或いは、予め定められた色差フォーマットの仕様に従った画素ビット長、最大値、最小値で、これらの値を満たすように、復号画像をクリッピング処理する。そして、クリッピング処理後の復号画像を再生画像として、出力する。
次に、復号装置50で実行する復号処理を説明する。
図28は、復号装置50で実行する復号処理の手順を示すフローチャートである。
まず、伝送情報復号部52が、符号化装置10から受け付けた伝送情報を復号する(ステップS200)。ステップS200の処理によって、NALユニット情報を得る。
次に、NALユニット復号部54が、ステップS200で得られたNALユニット情報を復号する(ステップS202)。ステップS202の処理によってNALユニット復号部54は、符号化データ、色差変換情報、バイトアライメント情報等を得る。
次に、復号部56が、NALユニット復号部54から受け付けた符号化データを復号し、復号画像を得る(ステップS204)。
次に、復号部58が、色差変換情報を復号する(ステップS206)。ステップS206の処理によって、復号部58は、色差変換情報に含まれる、第1色差フォーマット、第2色差フォーマット、及び特定情報を読取る。そして、読取った第1色差フォーマット、第2色差フォーマット、及び特定情報を含む色差変換情報を、変換部60へ出力する。
次に、変換部60が、復号部56から受け付けた復号画像を、色差変換情報に規定される第2色差フォーマットに色差変換する(ステップS208)。変換部60は、復号画像を色差変換することにより得た再生画像を、再生装置等に出力する。そして、本ルーチンを終了する。
以上説明したように、復号装置50は、色差変換情報と符号化データを含む伝送情報を受け付ける。そして、復号装置50では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第1色差フォーマットの復号画像を、第2色差フォーマットに変換する。このため、復号装置50は、解像度変換による画質劣化を抑制することができる。
従って、本実施の形態の復号装置50は、画質劣化を抑制することができる。
(変形例4)
次に、伝送情報復号部52が、図8に示す色差変換情報を含む伝送情報を符号化装置10から受け付けた場合の、復号部58及び復号部58A(図25参照)の動作を説明する。
次に、伝送情報復号部52が、図8に示す色差変換情報を含む伝送情報を符号化装置10から受け付けた場合の、復号部58及び復号部58A(図25参照)の動作を説明する。
この場合、復号部58Aは、図8に示すシンタクスに従って、色差変換情報を復号する。
上述のように、図8に示す色差変換情報におけるchroma_loc_info_present_flagは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在するか否かを示すフラグである。このchroma_loc_info_present_flagの値が「0」である場合、復号部58Aは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在しないとみなして、読み飛ばす。一方、chroma_loc_info_present_flagの値が「1」である場合、色差信号の画素位置及び色差変換に関するフィルタ情報が存在する。このため、この場合、復号部58Aは、chroma_sample_loc_type_top_fieldと、chroma_sample_loc_type_bottom_fieldと、の各々によって示される値で色差の画素サンプル位置を特定する。
また、上述のように、chroma_filter_info_present_flagは、色差変換に関するフィルタ情報が存在するか否かを示すフラグである。このため、復号部58Aは、chroma_filter_info_present_flagの値が「0」である場合、色差変換に関するフィルタ情報が存在しないことから、読み飛ばす。一方、chroma_filter_info_present_flagの値が「1」である場合、色差変換に関するフィルタ情報が存在する。このため、この場合、復号部58Aは、chroma_filter_infoによって示される識別情報(Value)を、図9または図10に示す色差変換フィルタ定義情報から読み取る。
具体的には、復号部58Aは、図9または図10に示す色差変換フィルタ定義情報における、該識別情報に対応する、フィルタ係数、フィルタ処理を行う場合の分母の数(Divisor)、フィルタ処理後の色差画素のサンプル位置(Phase shift)、当該フィルタ係数の用途及び第2色差フォーマットの情報(Purpose)の各々に対応する情報を読取る。
なお、図9及び図10に示す色差変換フィルタ定義情報には、上述のように、第1色差フォーマットから、第2色差フォーマットへの色差変換を行うフィルタ係数以外にも、対となる符号化装置側において用いた、第2色差フォーマットから第1色差フォーマットへの色差変換を行ったフィルタ係数も含まれる。
具体的には、図10に示す色差変換フィルタ定義情報における、chroma_filter_infoの値が「1」である場合、復号部58Aは、図11に示すシンタクスに従い、第2色差フォーマットであるtarget_format_idcと、色差変換フィルタの数マイナス1の値を示すnum_of_filter_minus1と、フィルタ係数を示すfilter_coeffと、の各々の値を読取る。
そして、復号部58Aは、これらの読み取った値を、変換部60へ出力する。変換部60の処理は、上記と同様である。
このように、図8に示す色差変換情報を含む伝送情報を受け付けた場合についても同様に、復号装置50では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第1色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置50は、解像度変換による画質劣化を抑制することができる。
(変形例5)
次に、伝送情報復号部52が、図12に示す色差変換情報を含む伝送情報を符号化装置10から受け付けた場合の、復号部58及び復号部58A(図25参照)の動作を説明する。
次に、伝送情報復号部52が、図12に示す色差変換情報を含む伝送情報を符号化装置10から受け付けた場合の、復号部58及び復号部58A(図25参照)の動作を説明する。
この場合、復号部58Aは、図12に示すシンタクスに従って、色差変換情報を復号する。
上述のように、図12に示す色差変換情報におけるchroma_loc_info_present_flagは、色差信号の画素位置及び色差変換に関するフィルタ情報が存在するか否かを示すフラグである。chroma_loc_info_present_flagの値が「0」である場合、色差信号の画素位置及び色差変換に関するフィルタ情報が存在しないので、復号部58Aは、このフラグの値を読み飛ばす。
一方、chroma_loc_info_present_flagの値が「1」である場合、色差信号の画素位置及び色差変換に関するフィルタ情報が存在する。このため、この場合、復号部58Aは、chroma_sample_loc_type_top_fieldと、chroma_sample_loc_type_bottom_fieldと、の各々の値から色差の画素サンプル位置を特定する。
chroma_filter_info_present_flagは、色差変換に関するフィルタ情報が存在するか否かを示すフラグである。このchroma_filter_info_present_flagの値が「1」の場合、復号部58Aは、図13、図15、または図17の色差変換フィルタ情報のシンタクスに従い、復号を行う。
以下、復号部58Aが、図13に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。
上述のように、num_of_filter_set_minus1は、フィルタセットの数マイナス1を示す値であり、フィルタセット数分だけ、ループ処理することを示す。また、implicit_filter_set_flagは、予め定めたフィルタセットの情報を用いることを示すフラグである。このフラグが「1」である場合、復号部58Aは、予め定義したフィルタセットの情報の識別情報であるfilter_set_idcを読み取る。一方、implicit_filter_set_flagが「0」である場合、復号部58Aは、色差変換フィルタの数マイナス1の値を示すnum_of_filter_minus1を読み取り、以下の色差変換フィルタ数のループを行う。
上述のように、implicit_filter_flagは、予め定めたフィルタ情報を用いることを示すフラグである。このフラグの値が「1」である場合、復号部58Aは、予め定義したフィルタ情報の識別情報であるfilter_idcを読み取る。一方、implicit_filter_flagの値が「0」である場合、復号部58Aは、フィルタ係数のタップ長マイナス1の値を示すtap_length_minus1をよみ取る。そして、復号部58Aは、読取ったフィルタ係数タップ長分だけループを行い、フィルタ係数値を表すfilter_coeffを読み取る。
次に、復号部58Aは、filter_set_idc及びfilter_idcに対応する予め定義した色差変換フィルタ定義情報のフィルタ係数のタップ長(Tap length)、フィルタ係数(Filter coefficient)、フィルタ処理を行う場合の分母の数(Divisor)、フィルタ処理後の色差画素のサンプル位置(Phase shift)、当該フィルタ係数の用途及び第2色差フォーマットの情報(Purpose)の各々の値を読取る。なお、filter_set_idcでは、復号側でのフィルタ処理と対になる符号化側でのフィルタ処理でのフィルタ係数も定義できる。
そして、復号部58Aは、これらの読み取った値を、変換部60へ出力する。変換部60の処理は、上記と同様である。
このように、図12に示す色差変換情報を含む伝送情報を受け付けた場合についても同様に、復号装置50では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第1色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置50は、解像度変換による画質劣化を抑制することができる。
(変形例6)
次に、変形例5において、復号部58Aが、図14に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。
次に、変形例5において、復号部58Aが、図14に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。
上述のように、target_format_idcは、第2色差フォーマットを示す。また、chroma_format_idcは、第1色差フォーマットを示す。
chroma_format_idcの値が「1」であり且つtarget_format_idcの値が「1」より大きい場合、若しくは、chroma_format_idcの値が「1」より大きく且つtarget_format_idcの値が「1」である場合、復号部58Aは、垂直方向のフィルタ情報を読み込む。
上述のように、implicit_vertical_flagは、予め定義した垂直方向のフィルタ情報を用いることを示すフラグである。このフラグの値が「1」である場合、復号部58Aは、予め定義した垂直方向のフィルタ情報の識別情報であるvertical_filter_idcを読み取る。一方、implicit_vertical_flagの値が「0」である場合、復号部58Aは、垂直方向のフィルタ係数のタップ長マイナス1の値を示すtap_length_vertical_minus1を読取り、タップ長分の垂直フィルタ係数ver_filter_coeffを読み込む。
そして、復号部58Aは、符号化データがフィールド信号である場合、トップフィールドとボトムフィールドにおいて、垂直方向で異なるフィルタセットを使う場合に定義されるフラグであるsecond_filter_flagを読み取る。そして、このフラグの値が「1」で有り、chroma_format_idcの値が「1」であり、且つ、target_format_idcの値が「1」より大きい場合、2つ目のフィルタ情報が存在する。
一方、implicit_vertical_flagの値が「1」である場合、復号部58Aは、予め定義した2つ目の垂直方向のフィルタ情報の識別情報であるsecond_vertical_filter_idcを読み取る。また、implicit_vertical_flagの値が「0」である場合、復号部58Aは、2つ目の垂直方向のフィルタ係数のタップ長マイナス1の値を示すtap_length_second_vertical_minus1を読み取り、タップ長分の垂直フィルタ係数second_ver_filter_coeffを読み込む。
また、chroma_format_idcの値が「1」または「2」であり、且つ、target_format_idcの値が「3」である場合、或いは、chroma_format_idcの値が「3」であり、且つ、target_format_idcが「1」或いは「2」の場合、復号部58Aは、水平方向のフィルタ情報を読み込む。
implicit_horizontal_flagは、予め定義した水平方向のフィルタ情報を用いることを示すフラグである。このフラグの値が「1」である場合、復号部58Aは、予め定義した水平方向のフィルタ情報の識別情報であるhorizontal_filter_idcを読み取る。一方、implicit_vertical_flagの値が「0」の場合、復号部58Aは、水平方向のフィルタ係数のタップ長マイナス1の値を示すtap_length_horizontal_minus1を読取り、タップ長分の水平フィルタ係数hor_filter_coeffを読み込む。
そして、復号部58Aは、図15に示す、vertical_filter_idc、second_vertical_filter_idc、またはhorizontal_filter_idcに対応する、図16におけるfilter_idcを特定する。そして、復号部58Aは、特定したfilter_idcに対応する、予め定義した色差変換フィルタ定義情報のフィルタ係数のタップ長(Tap length)、フィルタ係数(Filter coefficients)、フィルタ処理を行う場合の分母の数(Divisor)、フィルタ処理後の色差画素のサンプル位置(Phase shift)、当該フィルタ係数の用途及び第2色差フォーマットの情報(Purpose)の各々の情報を得る。
そして、復号部58Aは、これらの読み取った値を、変換部60へ出力する。変換部60の処理は、上記と同様である。
このように、図14に示す色差変換フィルタ情報のシンタクスに従い、復号を行った場合についても同様に、復号装置50では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第1色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置50は、解像度変換による画質劣化を抑制することができる。
(変形例7)
次に、変形例5において、復号部58Aが、図17に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。
次に、変形例5において、復号部58Aが、図17に示す色差変換フィルタ情報のシンタクスに従い、復号を行う場合を説明する。
chroma_format_idcの値が「1」であり且つtarget_format_idcの値が「1」より大きい場合、或いは、chroma_format_idcの値が「1」より大きく且つ、target_format_idcが「1」である場合、復号部58Aは、垂直方向のフィルタ情報を読み込む。
具体的には、復号部58Aは、垂直方向のフィルタ係数のタップ長マイナス1の値を示すtap_length_vertical_minus1を読取り、タップ長分の垂直フィルタ係数ver_filter_coeffを読み込む。
なお、復号部58Aは、符号化データがフィールド信号である場合、トップフィールドとボトムフィールドで、垂直方向に異なるフィルタセットを使う場合に定義されるフラグであるsecond_filter_flagを読み込む。そして、このフラグの値が「1」であり、chroma_format_idcの値が「1」であり、target_format_idcの値が「1」より大きい場合、2つ目のフィルタ情報が存在することとなる。
このため、この場合、復号部58Aは、2つ目の垂直方向のフィルタ係数のタップ長マイナス1の値を示すtap_length_second_vertical_minus1を読取り、タップ長分の垂直フィルタ係数second_ver_filter_coeffを読み込む。
一方、もし、chroma_format_idcの値が「1」或いは「2」であり、且つ、target_format_idcの値が「3」である場合、或いは、chroma_format_idcの値が「3」であり且つtarget_format_idcが「1」または「2」の場合、復号部58Aは、水平方向のフィルタ情報を読み込む。
水平方向のフィルタ係数のタップ長マイナス1の値をしめすtap_length_horizontal_minus1を読取り、タップ長分の水平フィルタ係数hor_filter_coeffを読み込む。
そして、復号部58Aは、これらの読み取った値を、変換部60へ出力する。変換部60の処理は、上記と同様である。
このように、図17に示す色差変換フィルタ情報のシンタクスに従い、復号を行った場合についても同様に、復号装置50では、色差変換情報に含まれる特定情報によって特定されるフィルタを用いて、符号化データを復号することによって得た第1色差フォーマットの復号画像を色差フォーマット変換する。このため、復号装置50は、解像度変換による画質劣化を抑制することができる。
(変形例8)
次に、復号装置50が、符号化装置10の変換部12におけるフィルタ処理に用いたフィルタ情報を特定情報として含む、伝送情報を受け付けた場合を具体的に説明する。
次に、復号装置50が、符号化装置10の変換部12におけるフィルタ処理に用いたフィルタ情報を特定情報として含む、伝送情報を受け付けた場合を具体的に説明する。
この場合、図24に示す復号装置50は、復号部58に替えて、復号部580を備えた構成とすればよい。
図29は、復号部580の機能的構成を示す模式図である。復号部580は、復号部580A、垂直フィルタ情報生成部580B、及び水平フィルタ情報生成部580Cを備える。
復号部580Aは、色差変換情報を解析し、色差変換情報に含まれる、第1色差フォーマット、第2色差フォーマット、及び特定情報を読取る。本変形例では、特定情報は、符号化装置10の変換部12におけるフィルタ処理に用いたフィルタ情報である。また、本変形例では、特定情報として、垂直ダウンサンプリングフィルタ情報、及び水平ダウンサンプリングフィルタ情報を含む。
垂直フィルタ情報生成部580Bは、特定情報に含まれる垂直ダウンサンプリングフィルタ情報から、復号装置50の変換部60でフィルタ処理時に用いる垂直アップサンプリングフィルタ情報を生成する。水平フィルタ情報生成部580Cは、特定情報に含まれる水平ダウンサンプリングフィルタ情報から、復号装置50の変換部60でフィルタ処理時に用いる水平アップサンプリングフィルタ情報を生成する。そして、復号部580は、垂直フィルタ情報生成部580Bで生成された垂直アップサンプリングフィルタ情報、及び水平フィルタ情報生成部580Cで生成された水平アップサンプリングフィルタ情報と、第1色差フォーマットと、第2色差フォーマットと、を含む色差変換情報を、変換部60へ出力する。
変換部60では、上記実施の形態と同様にして、色差変換情報に含まれる、第1色差フォーマット、第2色差フォーマット、及び特定情報を読取る。そして、変換部60は、第1色差フォーマットの復号画像について、特定情報によって特定されるフィルタを用いて色差成分の解像度の変換を行い、第2色差フォーマットに変換する。変換部60は、復号画像の色差成分の解像度の変換によって得た再生画像を、再生装置等に出力する。
このように、復号装置50側で、復号装置50の変換部60のフィルタ処理に用いるフィルタ情報を生成してもよい。
なお、復号部58または復号部580が生成した色差変換情報に含まれる特定情報が、垂直ダウンサンプリングフィルタ情報を含むとする。
この場合には、復号装置50は、変換部60に替えて変換部600を備える。
図30は、変換部600の機能的構成を示す模式図である。
変換部600は、変換部600A及び出力調整部600Bを備える。
変換部600Aは、復号部56から4:2:2フォーマットの復号画像を受け付ける。変換部600Aは、受け付けた4:2:2フォーマットの復号画像を、復号部58または復号部580から受け付けた色差変換情報に含まれる特定情報によって示される垂直ダウンサンプリングフィルタ情報を用いて、4:2:0フォーマットに色差変換する。すなわち、変換部600Aは、4:2:2フォーマットの復号画像を構成する画素の色差成分について、垂直ダウンサンプリングフィルタ情報を用いて、垂直方向に1/2に間引くダウンサンプリングを行う。変換部600Aは、変換後の4:2:0フォーマットの復号画像を、出力調整部600Bへ出力する。
出力調整部600Bは、色差変換情報に規定される、再生時の画素ビット長、再生時の色差成分の最大値、再生時の色差成分の最小値を読取るか、或いは、予め定められた色差フォーマットの仕様に従った画素ビット長、最大値、最小値で、これらの値を満たすように、復号画像をクリッピング処理する。そして、クリッピング処理後の復号画像を、再生対象の再生画像として、出力する。
(実施の形態4)
次に、符号化装置10、10A、10B、及び復号装置50のハードウェア構成について説明する。図31は、符号化装置10、10A、10B、及び復号装置50のハードウェア構成を示すブロック図である。
次に、符号化装置10、10A、10B、及び復号装置50のハードウェア構成について説明する。図31は、符号化装置10、10A、10B、及び復号装置50のハードウェア構成を示すブロック図である。
本実施の形態の符号化装置10、10A、10B、及び復号装置50は、通信インタフェース(IF)86、CPU80(Central Processing Unit)、ROM(Read Only Memory)82、及びRAM(Random Access Memory)84等がバスにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
CPU80は、符号化装置10、10A、10B、及び復号装置50の各々における、全体の処理を制御する演算装置である。RAM84は、CPU80による各種処理に必要なデータを記憶する。ROM82は、CPU80による各種処理を実現するプログラム等を記憶する。通信インタフェース(IF)86は、外部装置と通信回線を介して接続し、接続した外部装置との間でデータを送受信するためのインタフェースである。
なお、符号化装置10、10A、10Bで実行される符号化処理を実行するためのプログラム、及び復号装置50で実行される復号処理を実行するためのプログラムは、ROM82等に予め組み込んで提供される。
なお、符号化装置10、10A、10Bで実行される符号化処理を実行するためのプログラム、及び復号装置50で実行される復号処理を実行するためのプログラムは、符号化装置10、10A、10B、及び復号装置50にインストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、符号化装置10、10A、10Bで実行される符号化処理を実行するためのプログラム、及び復号装置50で実行される復号処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、符号化装置10、10A、10Bで実行される符号化処理を実行するためのプログラム、及び復号装置50で実行される復号処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
符号化装置10、10A、10Bで実行される符号化処理を実行するためのプログラム、及び復号装置50で実行される復号処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしては、CPU80が、ROM82等から各種プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した機能構成が主記憶装置上に生成されるようになっている。
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変換を行うことができる。これらの実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10、10A、10B 符号化装置
14 符号化部
16、160、162 生成部
50 復号装置
14 符号化部
16、160、162 生成部
50 復号装置
Claims (4)
- 原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データ、前記符号化データの色差成分の解像度を示す第1色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第2色差フォーマット、前記復号画像の色差フォーマット変換時に用いるフィルタを特定するためフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を受付ける受付部と、
前記符号化データを復号して前記復号画像を生成する復号部と、
前記フィルタ情報によって示されるフィルタを用いて、前記復号画像を色差フォーマット変換する変換部と、
前記再生時の画素ビット長、前記再生時の色差成分の最大値、および前記再生時の色差成分の最小値を満たすように、色差フォーマット変換された前記復号画像をクリッピング処理し、該クリッピング処理後の前記復号画像を再生画像として出力する出力部と、
を備え、
前記第1色差フォーマットおよび前記第2色差フォーマットは、それぞれ、4:4:4フォーマット、4:2:2フォーマット、または4:2:0フォーマットの色差成分の解像度を示し、
前記フィルタ情報は、フィルタの識別情報を含み、
前記変換部は、前記識別情報と前記第1色差フォーマットと前記第2色差フォーマットに基づいて、予め定められた複数のフィルタの中から、水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方を含む前記フィルタを選択する、
復号装置。 - 原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データを生成する符号化部と、
前記符号化データの色差成分の解像度を示す第1色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第2色差フォーマット、前記復号画像の色差フォーマット変換時に用いる水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方であるフィルタを特定するためのフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を生成する生成部と、
前記伝送情報を出力する出力部と、
を備え、
前記第1色差フォーマットおよび前記第2色差フォーマットは、それぞれ、4:4:4フォーマット、4:2:2フォーマット、または4:2:0フォーマットの色差成分の解像度を示す、
符号化装置。 - 原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データ、前記符号化データの色差成分の解像度を示す第1色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第2色差フォーマット、前記復号画像の色差フォーマット変換時に用いるフィルタを特定するためフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を受付ける受付ステップと、
前記符号化データを復号して前記復号画像を生成する復号ステップと、
前記フィルタ情報によって示されるフィルタを用いて、前記復号画像を色差フォーマット変換する変換ステップと、
前記再生時の画素ビット長、前記再生時の色差成分の最大値、および前記再生時の色差成分の最小値を満たすように、色差フォーマット変換された前記復号画像をクリッピング処理し、該クリッピング処理後の前記復号画像を再生画像として出力する出力ステップと、
を含み、
前記第1色差フォーマットおよび前記第2色差フォーマットは、それぞれ、4:4:4フォーマット、4:2:2フォーマット、または4:2:0フォーマットの色差成分の解像度を示し、
前記フィルタ情報は、フィルタの識別情報を含み、
前記変換ステップは、前記識別情報と前記第1色差フォーマットと前記第2色差フォーマットに基づいて、予め定められた複数のフィルタの中から、水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方を含む前記フィルタを選択する、
復号方法。 - 原画像について色差成分の解像度を変換した色差変換画像を複数の画素領域からなるスライスに分割してスライス毎に符号化した符号化データを生成する符号化ステップと、
前記符号化データの色差成分の解像度を示す第1色差フォーマット、前記符号化データを復号して得られる復号画像の再生時に用いる色差成分の解像度を示す第2色差フォーマット、前記復号画像の色差フォーマット変換時に用いる水平ダウンサンプリングフィルタおよび垂直ダウンサンプリングフィルタの少なくとも一方であるフィルタを特定するためのフィルタ情報、再生時の画素ビット長、再生時の色差成分の最大値、および再生時の色差成分の最小値、を含む伝送情報を生成する生成ステップと、
前記伝送情報を出力する出力ステップと、
を含み、
前記第1色差フォーマットおよび前記第2色差フォーマットは、それぞれ、4:4:4フォーマット、4:2:2フォーマット、または4:2:0フォーマットの色差成分の解像度を示す、
符号化方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012208837 | 2012-09-21 | ||
JP2012208837 | 2012-09-21 | ||
JP2021184978A JP7214818B2 (ja) | 2012-09-21 | 2021-11-12 | 復号装置、符号化装置、復号方法、及び符号化方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021184978A Division JP7214818B2 (ja) | 2012-09-21 | 2021-11-12 | 復号装置、符号化装置、復号方法、及び符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023029538A JP2023029538A (ja) | 2023-03-03 |
JP7387924B2 true JP7387924B2 (ja) | 2023-11-28 |
Family
ID=58768678
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007663A Active JP6282763B2 (ja) | 2012-09-21 | 2017-01-19 | 復号装置、符号化装置、復号方法、及び符号化方法 |
JP2018003337A Active JP6473833B2 (ja) | 2012-09-21 | 2018-01-12 | 符号化装置、及び符号化方法 |
JP2019008560A Active JP6721730B2 (ja) | 2012-09-21 | 2019-01-22 | 復号装置、及び符号化装置 |
JP2020103022A Active JP6980843B2 (ja) | 2012-09-21 | 2020-06-15 | 復号装置、符号化装置、復号方法、及び符号化方法 |
JP2021184978A Active JP7214818B2 (ja) | 2012-09-21 | 2021-11-12 | 復号装置、符号化装置、復号方法、及び符号化方法 |
JP2023001666A Active JP7387924B2 (ja) | 2012-09-21 | 2023-01-10 | 復号装置、符号化装置、復号方法、及び符号化方法 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007663A Active JP6282763B2 (ja) | 2012-09-21 | 2017-01-19 | 復号装置、符号化装置、復号方法、及び符号化方法 |
JP2018003337A Active JP6473833B2 (ja) | 2012-09-21 | 2018-01-12 | 符号化装置、及び符号化方法 |
JP2019008560A Active JP6721730B2 (ja) | 2012-09-21 | 2019-01-22 | 復号装置、及び符号化装置 |
JP2020103022A Active JP6980843B2 (ja) | 2012-09-21 | 2020-06-15 | 復号装置、符号化装置、復号方法、及び符号化方法 |
JP2021184978A Active JP7214818B2 (ja) | 2012-09-21 | 2021-11-12 | 復号装置、符号化装置、復号方法、及び符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (6) | JP6282763B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000236547A (ja) | 1998-12-15 | 2000-08-29 | Sony Corp | 画像情報変換装置及び画像情報変換方法 |
JP2004088795A (ja) | 2003-10-03 | 2004-03-18 | Sony Corp | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 |
JP2005012460A (ja) | 2003-06-18 | 2005-01-13 | Kddi Corp | 変換符号化係数のサンプリング変換・解像度変換装置 |
WO2010004726A1 (ja) | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 |
JP2010531609A (ja) | 2007-06-27 | 2010-09-24 | サムスン エレクトロニクス カンパニー リミテッド | 映像データ符号化及び/または復号化の方法、記録媒体、及び装置 |
JP2011083022A (ja) | 2005-03-18 | 2011-04-21 | Sharp Corp | 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム |
WO2012090334A1 (ja) | 2010-12-29 | 2012-07-05 | 富士通株式会社 | 映像信号符号化装置、映像信号符号化方法およびプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5832120A (en) * | 1995-12-22 | 1998-11-03 | Cirrus Logic, Inc. | Universal MPEG decoder with scalable picture size |
JP3681835B2 (ja) * | 1995-12-27 | 2005-08-10 | 三菱電機株式会社 | 画像符号化装置及び画像復号化装置及び符号化・復号化システム |
EP1074091A2 (en) * | 1998-04-20 | 2001-02-07 | Sun Microsystems, Inc. | Method and apparatus for supporting a video protocol in a network environment |
JP2000092512A (ja) * | 1998-09-11 | 2000-03-31 | Nec Corp | 映像信号符号化装置、映像信号復号装置および映像信号変換装置 |
US7136417B2 (en) * | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
US7301582B2 (en) * | 2003-08-14 | 2007-11-27 | Broadcom Corporation | Line address computer for providing line addresses in multiple contexts for interlaced to progressive conversion |
US8582659B2 (en) * | 2003-09-07 | 2013-11-12 | Microsoft Corporation | Determining a decoding time stamp from buffer fullness |
JP4210925B2 (ja) * | 2004-01-15 | 2009-01-21 | ソニー株式会社 | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 |
JP2006254232A (ja) * | 2005-03-11 | 2006-09-21 | Toshiba Corp | 情報処理装置およびプログラム |
JP5195032B2 (ja) * | 2008-05-28 | 2013-05-08 | 富士通株式会社 | 符号化装置/復号化装置、符号化方法/復号化方法及びプログラム |
US9036714B2 (en) * | 2009-01-26 | 2015-05-19 | Thomson Licensing | Frame packing for video coding |
JP6125215B2 (ja) * | 2012-09-21 | 2017-05-10 | 株式会社東芝 | 復号装置、及び符号化装置 |
-
2017
- 2017-01-19 JP JP2017007663A patent/JP6282763B2/ja active Active
-
2018
- 2018-01-12 JP JP2018003337A patent/JP6473833B2/ja active Active
-
2019
- 2019-01-22 JP JP2019008560A patent/JP6721730B2/ja active Active
-
2020
- 2020-06-15 JP JP2020103022A patent/JP6980843B2/ja active Active
-
2021
- 2021-11-12 JP JP2021184978A patent/JP7214818B2/ja active Active
-
2023
- 2023-01-10 JP JP2023001666A patent/JP7387924B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000236547A (ja) | 1998-12-15 | 2000-08-29 | Sony Corp | 画像情報変換装置及び画像情報変換方法 |
JP2005012460A (ja) | 2003-06-18 | 2005-01-13 | Kddi Corp | 変換符号化係数のサンプリング変換・解像度変換装置 |
JP2004088795A (ja) | 2003-10-03 | 2004-03-18 | Sony Corp | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 |
JP2011083022A (ja) | 2005-03-18 | 2011-04-21 | Sharp Corp | 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム |
JP2010531609A (ja) | 2007-06-27 | 2010-09-24 | サムスン エレクトロニクス カンパニー リミテッド | 映像データ符号化及び/または復号化の方法、記録媒体、及び装置 |
WO2010004726A1 (ja) | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 |
WO2012090334A1 (ja) | 2010-12-29 | 2012-07-05 | 富士通株式会社 | 映像信号符号化装置、映像信号符号化方法およびプログラム |
Non-Patent Citations (2)
Title |
---|
BROSS, Benjamin et al.,High efficiency video coding (HEVC) text specification draft 8,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 10th,JCTVC-J1003 (version 8),ITU-T,2012年07月28日,pp. 16-19,29-30,60-65,218,225,237-248 |
CHUJOU, T.,Chroma sampling filter hint SEI,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCTVC-K0152 (version 1),ITU-T,2012年10月01日,pp. 1-5 |
Also Published As
Publication number | Publication date |
---|---|
JP6282763B2 (ja) | 2018-02-21 |
JP2020145765A (ja) | 2020-09-10 |
JP6980843B2 (ja) | 2021-12-15 |
JP6721730B2 (ja) | 2020-07-15 |
JP2017092981A (ja) | 2017-05-25 |
JP6473833B2 (ja) | 2019-02-20 |
JP2018078643A (ja) | 2018-05-17 |
JP2023029538A (ja) | 2023-03-03 |
JP2019075822A (ja) | 2019-05-16 |
JP2022036956A (ja) | 2022-03-08 |
JP7214818B2 (ja) | 2023-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6125215B2 (ja) | 復号装置、及び符号化装置 | |
JP6409516B2 (ja) | ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 | |
JP5908619B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP7387924B2 (ja) | 復号装置、符号化装置、復号方法、及び符号化方法 | |
JP5526277B2 (ja) | 動画像復号化装置、方法及びプログラム | |
JP5432359B2 (ja) | 動画像符号化装置、方法及びプログラム | |
JP5432412B1 (ja) | 動画像符号化装置及び動画像復号化装置 | |
US20140185666A1 (en) | Apparatus and method for moving image encoding and apparatus and method for moving image decoding | |
JP5525650B2 (ja) | 動画像復号化装置、方法及びプログラム | |
JP5696248B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP5597782B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP5323209B2 (ja) | 動画像符号化装置及び動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7387924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |