JP7224257B2 - ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法 - Google Patents

ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法 Download PDF

Info

Publication number
JP7224257B2
JP7224257B2 JP2019144386A JP2019144386A JP7224257B2 JP 7224257 B2 JP7224257 B2 JP 7224257B2 JP 2019144386 A JP2019144386 A JP 2019144386A JP 2019144386 A JP2019144386 A JP 2019144386A JP 7224257 B2 JP7224257 B2 JP 7224257B2
Authority
JP
Japan
Prior art keywords
index
palette
current block
copy
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019144386A
Other languages
English (en)
Other versions
JP2019208271A (ja
Inventor
ジン イエ
ジュンスン キム
シャン リウ
カイ チャン
ズーデル チュアン
ウェイジア チュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2015/078269 external-priority patent/WO2016176822A1/en
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of JP2019208271A publication Critical patent/JP2019208271A/ja
Application granted granted Critical
Publication of JP7224257B2 publication Critical patent/JP7224257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Description

[関連文献の相互参照]
この出願は、2015年4月8日に出願された米国特許仮出願番号62/144529、2015年4月10日に出願された米国特許仮出願番号62/145578、2015年5月29日に出願された米国特許仮出願番号62/168151、2015年6月9日に出願された米国特許仮出願番号62/173030、2015年5月5日に出願されたPCT/CN2015/078269から、優先権を主張するものであり、その内容は引用によって本願に援用される。
本発明は、ビデオデータのパレット符号化に関するものであって、特に、複雑性を減少させる、および/または、パレット符号化に関する構文要素に関連するスループットを増加させる各種技術に関するものである。
高効率映像符号化(HEVC)は、近年発展している新しい符号化基準である。高効率映像符号化(HEVC)システムにおいて、H.264/AVCの固定サイズのマイクロブロックは、符号化ユニット(CU)というフレキシブルなブロックにより代替される。近年のHEVC発展において、パレットベースの符号化が、スクリーンコンテンツ符号化(SCC)に用いられるようになっている。パレット符号化の構文は、主に、二個の部分から構成される。ひとつは、パレット表のシグナリング、もう一つは、符号化されるブロックの情報を表すブロック(即ち、CU)のインデックスマップのシグナリングである。インデックスマップにおいて、インデックスの数、最新の run_type フラグ、および、グループ化されたインデックスがシグナリングされる。インデックス情報のシグナリング後、一対のランタイプ、および、ランの数が繰り返しシグナリングされる。最後に、必要ならば、エスケープ値の群がシグナリングされる。
HEVC文献 JCTVC-T1005 (Joshi, et al., HEVC Screen Content Coding Draft Text 3, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 20th Meeting: Geneva, CH, 10-18 Feb. 2015, 文献: JCTVC-T1005)において、対応するブロック (即ち、カレントブロックのビットストリーム中のpalette_run_mode および palette_run 構文要素の前)の符号化データの前に、パレットインデックスはグループ化、および、シグナリングされる。一方、エスケープ画素は、対応するブロックの符号化データの終わりで符号化される。構文要素palette_run_mode および palette_run は、パレットインデックスとエスケープ画素間で符号化される。図1は、JCTVC-T1005によるインデックスマップ構文シグナリングのフローチャートである。インデックスの数(110)、最新のrun_type フラグ(130)、および、グループ化されたインデックス(120)がシグナリングされる。インデックス情報のシグナリング後、一対のランタイプ(140)、および、ランの数(150)が繰り返しシグナリングされる。最後に、必要であれば、エスケープ値(160)の群がシグナリングされる。
JCTVC-T1005において、last_palette_run_type_flag は、それ自身のコンテキストを用いて符号化する。コンテキスト表は表1に示され、palette_run_type_flag および last_palette_run_type_flagの初期値(即ち、initValue)が明記される。
Figure 0007224257000001
さらに、それぞれ、一コンテキスト (ctxIdx = 0)を有するpalette_run_type_flag および last_palette_run_type_flagが、以下の表で明記される。
Figure 0007224257000002
パレット符号化モードを用いて、最新のランタイプモードに用いる構文要素のコンテキストベースのエントロピー符号化、および、ランタイプモードに用いる構文要素のコンテキストベースのエントロピー符号化間でコンテキストをシェアすることにより、複雑性を減少させるビデオ符号化の方法が開示される。特に、コンテキスト適応型二値算術符号化 (CABAC)に対応するコンテキストベースのエントロピー符号化、および、最新のランタイプモードに対応する構文要素、および、ランタイプモードに対応する構文要素のCABAC符号化は、一単一コンテキストをシェアする。
カレントブロックのパレットインデックスの数に関連する構文要素の2値化の複雑性を減少させる方法も開示される。パレット符号化がカレントブロックに適用されるとき、コピーインデックスモード、および、コピーアバブモード(copy-above mode)を含むパレット符号化モードに対応する一つ以上の符号化されたシンボルを生成する。コピーインデックスモードは、インデックス値およびランの数をシグナリングすることにより、全てが同じインデックス値を有する連続したインデックスの数を示す。パレットインデックス数は、カレントブロックのコピーインデックスモードにシグナリングされるインデックス値に関連する。ライスパラメータは、パレットインデックスの数に対して導出されるとともに、トランケーティド(Truncated)ライスコード(Rice code)が、導出されたライスパラメータにしたがって、パレットインデックスの数に適用されて、プレフィックス部分を生成する。ライスパラメータ導出の従来のアプローチは除算操作を必要とする。本発明の実施形態は、ライスパラメータ導出のための除算操作を回避することにより、複雑性を減少させる。たとえば、ライスパラメータは(2 + MaxPaletteIndex/M)に等しく、Mは、MaxPaletteIndex/Mに関連する除算操作の必要性を回避する2の冪の整数である。JCTVC-T1005にしたがって、変数 MaxPaletteIndex は、現在の符号化ユニットに用いるパレットインデックスの最大可能値を特定する。MaxPaletteIndex の値は、カレントパレットサイズ - 1 + palette_escape_val_present_flagに等しくなるように設定される。別の例において、ライスパラメータは(2 + (MaxPaletteIndex >> N)に等しく、且つ、Nは正の整数で、且つ、 “>>” は、右シフト操作に対応する。さらに別の実施形態において、ライスパラメータは ((L + (MaxPaletteIndex) >> N))に等しく、且つ、LとNは、正の整数である。
さらに別の方法において、転置プロセスが、カレントブロックの関連するパレットインデックスに指定されるか否かを指定する構文要素は、カレントブロックの最新のランタイプモードを指定する構文要素の後ろの位置で、カレントブロックのビットストリームでシグナリングされる。
Screen Content Coding Test Module Version 4 (SCM-4.0)に基づいたHEVC(高効率映像符号化)に従ったパレットインデックスマップ構文シグナリングの例を示す図である。
本発明の実施形態によるパレット符号化のフローチャートであり、最新のランタイプモードに用いられる構文要素コンテキストベースのエントロピー符号化、および、ランタイプモードに用いられる構文要素のコンテキストベースのエントロピー符号化は、同一コンテキストをシェアする。
本発明の実施形態によるパレット符号化のフローチャートであり、複雑性が減少したインデックスの数の2値化に用いるライスパラメータが導出される。
本発明の実施形態によるパレット符号化のフローチャートであり、転置プロセスが、カレントブロックの関連するパレットインデックスに適用されるか否かを指定する構文要素は、カレントブロックの最新のランタイプモードを指定する構文要素の後の位置で、カレントブロックのビットストリームでシグナリングされる。
本発明のこれらの、及び他の特徴、態様、及び利点は、以下の説明、添付した特許請求 の範囲、及び添付した図面に関して、より良く理解されよう。
最新のパレットランタイプシグナリング
図1に示されるように、インデックスのシグナリング前、または、後に、最新のrun_type が、copy_index または copy_aboveであることを示す一フラグがシグナリングされる。また、インデックスの数をシグナリングする前または後、最新の run_type フラグがシグナリングされる。ランがシグナリングされる前にシグナリングされさえすれば、最新の run_type の位置は、ブロックのビットストリームの範囲にある。
パフォーマンスを改善するため、本発明の一実施形態において、last_palette_run_type_flag は、palette_run_type_flagのコンテキストをシェアする。既存の慣行において、last_palette_run_type_flag および palette_run_type_flag は、ともに、コンテキストベースのエントロピー符号化を用いて符号化される。さらに、last_palette_run_type_flagと palette_run_type_flagのコンテキストベースのエントロピー符号化は、異なるコンテキストを用いる。この場合、構文要素 palette_run_type_flag および last_palette_run_type_flag のctxInc の導出に用いる構文解析プロセスは、以下のようでなければならない:
このプロセスへの入力は、ピクチャの左上ルマサンプルに関連するサンプルを指定する現在のサンプル位置 ( xC, yC )である。
このプロセスの出力は、変数 ctxIncである。
変数 ctxInc は以下のように導出される: ctxInc = 0. ctxInc のコンテキスト符号化2値を有する構文要素への割り当ては、以下のように修正されなければならず、ボックスで囲まれるテキストは削除を示す。 last_palette_run_type_flag は、palette_run_type_flagのコンテキストをシェアするので、last_palette_run_type_flagのコンテキストを分離する必要がない。
Figure 0007224257000003
パレットランタイプシグナリング
JCTVC-T1005によるランタイプのシグナリングが図1に示される。このアプリケーションにおいて、ランタイプシグナリングに関連する符号化効率を改善する各種技術が開示される。
run_type 符号化に基づいたラン長さ
第一実施形態において、一連の0/1ビットに代わって、連続した copy_index の数がシグナリングされる。連続した copy_index を示す各数がシグナリングされた後、copy_aboveの一構文要素は以下のようである。符号ENDが用いられて、run_type 符号化の終わりを示し、所定値がENDに用いられる。シグナリング値がENDでないとき、run_type 符号化に基づいたラン長さが繰り返される。以下の表は、上述の実施形態を組み込んだ例を示す。
Figure 0007224257000004
上述の例(1)および例(2)は、同一のシグナリング値を示す。これらの二個の場合は、最新の run_typeフラグにより分化される。最新の run_typeフラグが1である場合(即ち、copy_above)、一連のランタイプは例(1)に対応する。最新の run_type フラグが0である場合 (即ち、copy_index)、一連のランタイプは例(2)に対応する。
第二実施形態において、第一画素は、常に、copy_index モードを用いて符号化されるので、最初の連続した copy_index モードの数は0であるべきではない。さらに、常に、二個の copy_above モード間の非ゼロ数の連続copy_index モードがある。これにより、シグナリング値は1減少して、符号化効率を改善する。上述の実施形態を組み込んだ例は、以下の表に示される。
Figure 0007224257000005
第三実施形態において、インデックスの数が既に分かり、且つ、連続した copy_index (即ち、最新のcopy_above は以下のようである)を有する一連のランタイプが終了するとき、連続した copy_index の最新部分が (インデックスの数 - シグナリングされた数の copy_index) として導出され、最新の連続 copy_indexの数をシグナリングしない。最新のフラグが1である場合、copy_index は、最終段階で、最新のランタイプとして加えられる。この実施形態による例は、以下の表に示される。
Figure 0007224257000006
第四実施形態において、スキップされる最新値(たとえば、最新の連続 copy_indexの数)がEND信号の所定数より小さいとき、最新値がシグナリングされて、END信号がスキップされる。たとえば、ENDの所定値は、3であり、この実施形態による例は、以下の表に示される。
Figure 0007224257000007
第五実施形態において、構文要素ENDが順応してシグナリングされる。インデックスの数がENDの所定数より少ないとき、所定数は(インデックスの数 -1)として導出される。
第六実施形態において、構文要素ENDは全くシグナリングされない。連続した copy_index の各数がシグナリングされる。copy_indexの累積数とインデックスの数が比較される。両数が同じである場合、構文解析プロセスが停止する。これにより、ENDのシグナリングは不要である。この実施形態による例は以下の表に示される。
Figure 0007224257000008
第七実施形態において、ENDの構文要素は、常にシグナリングされ、インデックスの数はシグナリングしない。インデックス数は、第一実施形態または第二実施形態から導出され、インデックスの数をシグナリングする必要がない。この実施形態による例は以下の表に示される。
Figure 0007224257000009
たとえば、上述の表の例(1)と(2)において、END信号の解析後、copy_index モードの総数は11として導出される。たとえば、例(3)と(4)において、copy_index の総数は5として導出される。
第八実施形態において、シグナリングされた copy_above モードの数が既に知られているとき、copy_aboveモードの現在の数が、シグナリングされた copy_above モードの数に等しいとき、一連のランタイプが終了する。最新のフラグが0である場合、以下の表の例(2)、(3)と(5)に示されるように、最新のcopy_above モードが除去され、除去されたモードは、二重カッコ内で示される。
Figure 0007224257000010
第九実施形態において、インデックス群-1の数が既に知られているとき、解析されたインデックス群の数が、シグナリングされた数のインデックス群に等しいとき、一連のランタイプが終了する。最新のフラグが1である場合、copy_index は、最終段階で、最新のランタイプとして追加される。この実施形態による例は、以下の表に示される。
Figure 0007224257000011
第十実施形態において、ENDの値は所定である(たとえば、2)。END-1の数( “2”-1の数)が既に知られているとき、解析された “2”の数がシグナリングされた数のENDに等しいとき、一連のランタイプが終了する。最新のフラグが1である場合、copy_index は、最終段階で、最新のランタイプとして追加される。この実施形態による例は以下で示され、角括弧中の“2” はENDの所定値に対応する。
Figure 0007224257000012
連続した copy_indexの数の2値化
上述の実施形態において、各種技術は、ブロックに用いるランタイプを、符号化素子(たとえば、シグナリングされたラン値)に転換する。連続した copy_index の数を示す値は2値化される必要がある。2値化された値は、さらに、ビットストリーム中に含まれる前に、エントロピー符号化により圧縮される。各種2値化技術は以下で開示される。
固定長コードの一実施形態において、インデックスの数が分かっているとき、連続した copy_index の符号に必要な最大ビット数は固定である。たとえば、連続したインデックスの最大数が9である場合、連続したインデックスの各数を示すのに必要なビットの数は4である。これにより、例(1)中の第一シグナリング値(即ち、4)は、固定の4ビットコード0100である。第二シグナリング値(即ち、2)は、0010として符号化される。別の実施形態において、連続したインデックスの数は、トランケーティドバイナリーコード(truncated binary codes)を用いて2値化される。
さらに別の実施形態において、連続したインデックスの数は、常に、0より大きいので、ビットの数は、(最大数の連続したインデックス -1)により決定される。以下の表の例(2)において、ビットの数は3、且つ、第一シグナリング値4は100として符号化され、第二シグナリング値2は010として符号化される。
Figure 0007224257000013
さらに別の実施形態において、適応固定長符号化、および、トランケーティドバイナリーコードが用いられる。インデックスの数が分かっているとき、連続した copy_index の符号化に必要とされる最大数のビットが固定される。また、各連続したcopy_indexを解析した後、最大数のビットは、連続した copy_indexの数により減少する。最大数の連続したインデックスが9である表13の例(1)において、第一シグナリング値4は、固定3ビットコードで表される。3ビットだけ必要である可用なインデックスの数は4(即ち、9 - (4+1) = 4)なので、第二シグナリング値2は、固定3ビットコード010で表される。最新のシグナリング値 1は、固定1ビットコード1により符号化される。別の実施形態において、二個の copy_above間のcopy_index の数は、常に、0より大きいので、最大数のビットは(インデックスの数 - 1)により決定される。表13の例(2)において、ビットの数は3であり、且つ、第一シグナリング値4は100として符号化され、第二シグナリング値2は10として符号化される。両実施形態において、トランケーティドバイナリーコードが用いられる。
さらに別の実施形態において、第N指数ゴロム符号が、連続したインデックスの数を符号化するのに用いられる。この場合、複数のコンテキストが用いられる。連続した copy_index の解析後、指数ゴロム符号の順序と残りのインデックスの数が2値化に考慮される。
copy_index モードまたは copy_above モードのランの符号化と同様に、連続したインデックスの数も、MSB部分および残りの部分により符号化される。連続した copy_indexの解析後、残りの部分が、残りのインデックスの数に基づいて、固定長さのコード、または、トランケーティドバイナリーコードを用いて符号化される。また、複数のコンテキストが用いられる。
パレットランタイプのコンテキストフォーメーション
このアプリケーションにおいて、隣接情報または前に復号された情報から独立したpalette_run_type のコンテキストフォーメーションが開示される。この場合、palette_run_typeのコンテキストフォーメーションだけが、スキャン順序に基づく。
一実施形態において、第一パレットランタイプは、独立したコンテキストセットを用い、残りのパレットランモードは、その他のコンテキストセットを用いる。
別の実施形態において、第一パレットランモードは、第一コンテキスト (たとえば、context-0)を用い、残りのパレットランモードは、第二コンテキスト (たとえば、context - 1)を用いる。
インデックスの数 (num_palette_indices_idc)の2値化
SCM-4.0 パレットインデックスマップ符号化において、まず、num_palette_indices_idcまたは同様の構文要素に示されるインデックスの数がシグナリングされる。インデックスの数をシグナリングするため、まず、変数 (インデックスの数 - パレットサイズ)が導出される。その後、マッピングプロセスが実行されて、 (インデックスの数 - パレットサイズ)を “mapped value”にマップする。マップされた値は、“coeff_abs_level_remaining” と同じ2値化方法で2値化されるとともに、シグナリングされる。プレフィックス部分は、トランケーティドライス(TR)コードを用いて符号化される。サフィックス部分は、Exp-Golomb コードを用いて符号化される。トランケーティドライスバイナリープロセスは、パラメータcRice Paramを用いて、プレフィックス部分を導出する。この2値化方法において、入力cParamは、2 + MaxPaletteIndex/6に設定され、変数 MaxPaletteIndexは、カレントブロックのパレットインデックスの最大可能値を特定する。しかし、 MaxPaletteIndex/6 は、除算操作 (即ち、6で割る)またはルックアップテーブル操作を必要とする。したがって、本発明の実施形態は、cParam を 2 + MaxPaletteIndex/M に等しくなるよう設定し、且つ、Mは2の冪の整数で、除算操作の必要性を回避する。たとえば、Mは4か8で、且つ、cParam は、 (2 + (MaxPaletteIndex>>2)) または (2 + (MaxPaletteIndex>>3))として導出され、 “>>” は右シフト操作に対応する。
別の実施形態において、ライスパラメータ導出に用いる6による除法操作は、ライスパラメータを、(2+ (MaxPaletteIndex >>N))に割り当てることにより回避され、Nは、log2(MaxPaletteIndex)、たとえば、3より小さい整数である。
別の実施形態において、ライスパラメータ cRiceParam は、cRiceParam = (L + MaxPaletteIndex) >>Nに従って決定され、Nは、0、1、2…MaxPaletteIndexであり、Lは整数である。たとえば、LとNは、それぞれ、24と3に設定され、且つ、cParam は、((24 + MaxPaletteIndex) >> 3) = (3 + (MaxPaletteIndex) >> 3))になる。
固定長の2値化を用いて、構文 num_palette_indices_idc または同じ構文要素を2値化することも可能である。palette_runと同じ方法で2値化することもでき、コンテキストで符号化されるか、または、コンテキストなしで符号化される。第N指数ゴロム符号を用いて符号化することもできる。
パレット符号化モードに用いる高スループットコーディング
パレット符号化において、各種構文要素、たとえば、パレットインデックス、ランタイプ、ランの数、および、エスケープ値はシグナリングされなければなない。これらの構文要素のいくつかは、コンテキスト適応型二値算術符号化 (CABAC)を用いて符号化され、CABACは、コンテキストモード (即ち、レギュラーモード)およびバイパスモードを有する。コンテキストモードは、さらに効率的に圧縮される。しかし、処理速度は、バイパスモードよりかなり遅い。パレット符号化のスループット率を改善する各種技術が開示される。
一実施形態において、バイパスモード中で符号化されるパレット符号化構文要素は一緒にグループ化される。また、コンテキストモードで符号化されるパレット符号化構文要素は一緒にグループ化される。これにより、一群のコンテキスト符号化構文要素が復号されるとき、演算デコーダ-は異なるモード間で切り換える必要がないので、スループット率は改善されなければならない。
一実施形態において、バイパスモードで符号化されるパレット符号化構文要素は、符号化コンテキストで符号化される二個のパレット符号化構文要素間のビットストリームに位置すべきではない。
パレット符号化において、構文要素palette_transpose_flag が用いられて、転置プロセスが、現在の符号化ユニットの関連するパレットインデックスに適用されるか否かを設定する。palette_transpose_flagが1に等しいとき、転置プロセスが現在の符号化ユニットの関連するパレットインデックスに適用される。palette_transpose_flag がゼロに等しいとき、転置プロセスは、現在の符号化ユニットの関連するパレットインデックスに適用されない。本発明の一態様は、カレントブロックの符号化データ中のpalette_transpose_flag の位置に対処する。
一実施形態において、palette_transpose_flag は、バイパスモードで符号化される二個のパレット符号化構文要素間のビットストリームに位置すべきではない。
一実施形態において、palette_transpose_flagは、 last_palette_run_type_flagの後に符号化される。たとえば、JCTVC-T1005 中のpalette_transpose_flag の位置は、以下の表14に示されるように、last_palette_run_type_flagの後の位置に移動し、本来の palette_transpose_flag 位置は、Note (14-1)により示され、且つ、この実施形態による新しいpalette_transpose_flag 位置は、 Note (14-2)により示される。表14において、ボックスで囲まれるテキストは削除を示す。
Figure 0007224257000014
その他の実施形態によると、palette_transpose_flag は、ブロックのビットストリームの別の位置で符号化される。たとえば、palette_transpose_flag は、palette_run_type_flag, palette_run_msb_id_plus、または、palette_run_refinement_bitsの後に、符号化される。
一実施形態において、palette_transpose_flag は、バイパスモードにより符号化される、または、palette_transpose_flag は、デコーダ-により、暗示的に生成される。
一実施形態において、last_palette_run_type_flag は、バイパスモードで符号化される。
図2は、本発明の実施形態によるパレット符号化のフローチャートであり、最新のランタイプモードに用いられる構文要素のコンテキストベースのエントロピー符号化、および、ランタイプモードに用いられる構文要素のコンテキストベースのエントロピー符号化は、同一コンテキストをシェアする。工程210において、エンコーダは、ピクチャ中のカレントブロックに関連する入力データを受信する。工程220において、パレット符号化がカレントブロックに適用されて、パレット符号化モードを用いて、カレントブロックの一つ以上の符号化されたシンボルを生成し、パレット符号化モードは、コピーインデックスモードとコピーアバブモードを含むランタイムモードを有する。工程230において、カレントブロックの最新のランタイプモードを表す第一構文要素が、一つ以上の第一コンテキストを有するコンテキストベースのエントロピー符号化を用いて符号化される。工程240において、カレントブロックの一つ以上のランタイプモードを表す一つ以上の第二構文要素が、一つ以上の第一コンテキストを有するコンテキストベースのエントロピー符号化を用いて符号化される。工程250において、第一構文要素の符号化された第一構文要素、および、一つ以上の第二構文要素の一つ以上の符号化された第二構文要素が、カレントブロックのビットストリームでシグナリングされる。
図2のエンコーダに対応するデコーダフローチャートは、図2のフローチャートと逆の手順を用いて導出される。
図3は、本発明の実施形態によるパレット符号化のフローチャートであり、インデックスの数の2値化に用いられるライスパラメータは、複雑性が減少して導出される。工程310において、エンコーダは、ピクチャ中のカレントブロックに関連する入力データを受信する。工程320において、パレット符号化がカレントブロックに適用されて、コピーインデックスモードおよびコピーアバブモードを含むパレット符号化モードを用いて、カレントブロックの一つ以上の符号化されたシンボルを生成する。コピーインデックスモードが、一つの第一インデックス値とN1ランをシグナリングすることにより、全てが一つの第一インデックス値を有するN1連続インデックスを表し、および、コピーアバブモードが、N2ランをシグナリングすることにより、全て対応するN2個の上の画素と同じ第二インデックス値を有するN2連続第二インデックス値を表し、且つ、N1とN2は、正の整数である。工程330において、カレントブロックに生成される一つ以上のコピーインデックスモードにシグナリングされる第一インデックス値の総数に関連する第一数が識別される。工程340において、ライスパラメータが、除算またはテーブルルックアップ操作を用いずに、カレントブロックのパレットインデックスの最大可能値を指定する第一変数から導出される。工程350において、第一数が、ライスパラメータを有するトランケーティドライスコードを用いて2値化されて、プレフィックス部分を生成する。
図3中のエンコーダに対応するデコーダ-フローチャートは、図3のフローチャートと逆の手順を用いて導出される。
図4は、本発明の実施形態によるパレット符号化のフローチャートであり、転置プロセスが、カレントブロックの関連するパレットインデックスに適用されるか否かを指定する構文要素は、カレントブロックの最新のランタイプモードを指定する構文要素の後の位置で、カレントブロックのビットストリームでシグナリングされる。工程410において、エンコーダは、ピクチャ中のカレントブロックに関連する入力データを受信する。工程420において、パレット符号化がカレントブロックに適用されて、パレット符号化モードを用いて、カレントブロックの一つ以上の符号化されたシンボルを生成する。パレット符号化モードは、コピーインデックスモードおよびコピーアバブモードを含むランタイムモードを有する。工程430において、転置プロセスが、カレントブロックの関連するパレットインデックスに適用されるか否かを指定する第一構文要素がシグナリングされる。工程440において、カレントブロックの最新のランタイプモードを特定する第二構文要素が、第一構文要素の後、カレントブロックのビットストリームの位置でシグナリングされる。最新のランタイプモードは、カレントブロックの最新のランタイプが、コピーインデックスモードまたはコピーアバブモードであるかを指定する。
図4のエンコーダに対応するデコーダフローチャートは、図4のフローチャートの逆の手順を用いて導出される。
上の記述が提示されて、当業者に、特定のアプリケーションとその要求のコンテキストに記述される通り、本発明を行うことができる。当業者なら、記述された具体例への各種修正が理解でき、ここで定義される一般原則は別の実施例にも応用できる。よって、本発明は、記述される特定の実施例に制限することを目的としておらず、原理と新規特徴と一致する最大範囲に一致する。上述の記述において、本発明の十分な理解を提供するため、各種特定の詳細が説明される。当業者なら、本発明が行えることが理解できる。
上述の本発明の具体例は、各種ハードウェア、ソフトウェアコード、または、それらの組み合わせで実行される。たとえば、本発明の具体例は、画像圧縮チップに整合される回路、または、画像圧縮ソフトウェアに整合されるプログラムコードで、上述の処理を実行する。本発明の具体例は、デジタルシグナルプロセッサ(DSP)で実行されるプログラムコードで、上述の処理を実行する。本発明は、さらに、コンピュータプロセッサ、デジタルシグナルプロセッサ、マイクロプロセッサ、または、フィールドプログラマブルゲートアレイ(FPGA)により実行される複数の機能を含む。これらのプロセッサは、本発明により具体化される特定の方法を定義する機械読み取り可能ソフトウェアコード、または、ファームウェアコードを実行することにより、本発明による特定のタスクを実行するように設定される。ソフトウェアコード、または、ファームウェアコードは、異なるプログラミング言語、および、異なるフォーマット、または、スタイルで開発される。ソフトウェアコードは、さらに、異なるターゲットプラットフォームにコンパイルされる。しかし、本発明によるタスクを実行するソフトウェアコードの異なるコードフォーマット、スタイル、および、言語、および、設定コードのその他の手段は、本発明の精神を逸脱しない。
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

Claims (2)

  1. ピクチャ中のブロックに用いるパレットインデックスマップデコーディング方法であって、
    前記ピクチャ中のカレントブロックに関連する入力ビットストリームを受信する工程と、
    シフト操作を用いて、前記カレントブロックのパレットインデックスの最大可能値を特定する第一変数MaxPaletteIndex, からライスパラメータを導出する工程、ここにおいて、当該ライスパラメータを前記第一変数から導出する工程は、((L + MaxPaletteIndex) >> N)に対応する前記ライスパラメータを割り当てNは3に等しく、且つ、“>>”は、右シフト操作に対応するものである工程と、
    前記入力ビットストリームから、パレット符号化を前記カレントブロックに適用することにより前記カレントブロックに生成される一つ以上のコピーインデックスモードにシグナリングされる第一インデックス値の総数に関連する第一数に対応する符号化第一数を解析する工程、ここにおいて、前記コピーインデックスモードは、一つの第一インデックス値およびNランをシグナリングすることにより、全てが一つの第一インデックス値を有するN連続インデックスを表し、且つ、Nが正の整数である工程と、
    前記ライスパラメータを伴うトランケーティドライス復号を、前記符号化第一数のプレフィックス部分に適用する工程を含む復号プロセスを適用することにより、前記符号化第一数から前記第一数をリカバーする工程、および、
    パレット復号を適用して、前記第一数を有する情報を用いて、前記カレントブロックをリカバーする工程、
    を有することを特徴とする方法。
  2. ピクチャ中のブロックに用いられるパレットインデックスマップ符号化の方法であって、
    前記ピクチャ中のカレントブロックに関連する入力データを受信する工程と、
    パレット符号化を前記カレントブロックに適用して、コピーインデックスモードおよびコピーアバブモードを含むパレット符号化モードを用いて、前記カレントブロックの一つ以上の符号化されたシンボルを生成する工程、ここにおいて、前記コピーインデックスモードは、一つの第一インデックス値とN1ランをシグナリングすることにより、全てが一つの第一インデックス値を有するN1連続インデックスを表し、および、前記コピーアバブモードは、N2ランをシグナリングすることにより、全てが対応するN2個の上の画素と同じ第二インデックス値を有するN2連続第二インデックス値を表し、且つ、N1とN2が、正の整数である工程と、
    前記カレントブロックに生成される一つ以上のコピーインデックスモードにシグナリングされる第一インデックス値の総数に関連する第一数を識別する工程と、
    シフト操作を用いて、ライスパラメータを、前記カレントブロックのパレットインデックスの最大可能値を指定する第一変数から導出する工程、ここにおいて、前記ライスパラメータを前記第一変数から導出する前記工程は、 ((L + MaxPaletteIndex) >> N)に対応する前記ライスパラメータを割り当てNは3に等しく、且つ、 “>>”は、右シフト操作に対応するものである工程、および、
    前記ライスパラメータを有するトランケーティドライスコードを用いて、前記第一数を2値化して、プレフィックス部分を生成する工程、
    を有することを特徴とする方法。
JP2019144386A 2015-04-08 2019-08-06 ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法 Active JP7224257B2 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201562144529P 2015-04-08 2015-04-08
US62/144,529 2015-04-08
US201562145578P 2015-04-10 2015-04-10
US62/145,578 2015-04-10
CNPCT/CN2015/078269 2015-05-05
PCT/CN2015/078269 WO2016176822A1 (en) 2015-05-05 2015-05-05 High-throughput coding method for palette coding
US201562168151P 2015-05-29 2015-05-29
US62/168,151 2015-05-29
US201562173030P 2015-06-09 2015-06-09
US62/173,030 2015-06-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017552162A Division JP2018514142A (ja) 2015-04-08 2016-04-08 ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法

Publications (2)

Publication Number Publication Date
JP2019208271A JP2019208271A (ja) 2019-12-05
JP7224257B2 true JP7224257B2 (ja) 2023-02-17

Family

ID=57071644

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017552162A Pending JP2018514142A (ja) 2015-04-08 2016-04-08 ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法
JP2019144386A Active JP7224257B2 (ja) 2015-04-08 2019-08-06 ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017552162A Pending JP2018514142A (ja) 2015-04-08 2016-04-08 ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法

Country Status (6)

Country Link
US (1) US10681383B2 (ja)
EP (1) EP3262839B1 (ja)
JP (2) JP2018514142A (ja)
KR (1) KR102060871B1 (ja)
CN (2) CN111818344B (ja)
WO (1) WO2016161974A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016048092A1 (ko) 2014-09-26 2016-03-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2016064123A1 (ko) 2014-10-20 2016-04-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN107211143B (zh) 2015-01-15 2020-08-18 株式会社Kt 用于处理视频信号的方法和设备
CN111970515B (zh) 2015-01-29 2024-03-29 株式会社Kt 对视频信号进行编解码的方法
US10477244B2 (en) 2015-01-29 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
EP3282706A4 (en) 2015-04-02 2019-01-30 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value
US11146788B2 (en) 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding
KR20210025537A (ko) 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
KR20240005239A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新:fifo、约束的fifo
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
CN117714717A (zh) 2018-09-10 2024-03-15 华为技术有限公司 视频解码方法及视频解码器
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
CN117768658A (zh) 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
JP7197720B2 (ja) 2019-02-24 2022-12-27 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の独立した符号化
BR112021017428A2 (pt) * 2019-03-08 2021-11-16 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
WO2020228762A1 (en) 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling for residual coding
JP7436519B2 (ja) 2019-05-31 2024-02-21 バイトダンス インコーポレイテッド イントラブロックコピー予測を備えたパレットモード
JP7359936B2 (ja) 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
CN114930822A (zh) 2019-08-15 2022-08-19 字节跳动有限公司 用于调色板逸出符号的熵编解码
BR112022004606A2 (pt) * 2019-09-12 2022-05-31 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo e meios de armazenamento e de gravação não transitórios legíveis por computador
WO2021055782A1 (en) 2019-09-19 2021-03-25 Bytedance Inc. Quantization parameter derivation for palette mode
US11722672B2 (en) * 2020-10-06 2023-08-08 Qualcomm Incorporated Adaptively deriving rice parameter values for high bit-depth video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7525552B2 (en) * 2004-04-21 2009-04-28 Slipstream Data Inc. Method, system and software product for color image encoding
JP2013012840A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置および方法
GB201122022D0 (en) * 2011-12-20 2012-02-01 Imagination Tech Ltd Method and apparatus for compressing and decompressing data
US10147202B2 (en) * 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
US11259020B2 (en) * 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
WO2015006169A1 (en) 2013-07-08 2015-01-15 Sony Corporation Improvement for palette coding mode
GB2516422A (en) * 2013-07-09 2015-01-28 Sony Corp Data encoding and decoding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
CN104301737B (zh) 2013-07-15 2017-11-17 华为技术有限公司 目标图像块的解码方法和编码方法以及解码器和编码器
CN112383780B (zh) * 2013-08-16 2023-05-02 上海天荷电子信息有限公司 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
WO2015041647A1 (en) * 2013-09-19 2015-03-26 Entropic Communications, Inc. Parallel decode of a progressive jpeg bitstream
GB2521496A (en) * 2013-12-18 2015-06-24 Canon Kk Improved palette mode in HEVC
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
WO2015194185A1 (en) * 2014-06-20 2015-12-23 Sharp Kabushiki Kaisha Efficient palette coding for screen content codings
CN114501033B (zh) 2014-06-20 2023-11-10 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
US9906799B2 (en) * 2014-06-20 2018-02-27 Qualcomm Incorporated Copy from previous rows for palette mode coding
US9877029B2 (en) * 2014-10-07 2018-01-23 Qualcomm Incorporated Palette index binarization for palette-based video coding
US9942551B2 (en) 2015-01-30 2018-04-10 Qualcomm Incorporated Palette index grouping for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feng Zou et al., "Non-CE1: Joint proposal of JCTVC-U0169 and JCTVC-U0090 Item 3", Joint Collaborative Team on Video Coding (JCT-VC), 2015-06-24, [JCTVC-U0176](version 3)
Rojan Joshi et al., "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 3", Joint Collaborative Team on Video Coding (JCT-VC), 2015-04-05, [JCTVC-T1005](version 2), 7.3.8.8, 9.3.3.15

Also Published As

Publication number Publication date
KR102060871B1 (ko) 2019-12-30
CN107431824A (zh) 2017-12-01
US10681383B2 (en) 2020-06-09
CN107431824B (zh) 2020-10-02
US20180098092A1 (en) 2018-04-05
JP2019208271A (ja) 2019-12-05
EP3262839B1 (en) 2021-06-16
JP2018514142A (ja) 2018-05-31
KR20170135940A (ko) 2017-12-08
EP3262839A4 (en) 2018-12-19
EP3262839A1 (en) 2018-01-03
CN111818344A (zh) 2020-10-23
WO2016161974A1 (en) 2016-10-13
CN111818344B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
JP7224257B2 (ja) ビデオ符号化におけるパレットモードコンテキスト符号化、および、2値化の方法
JP6661699B2 (ja) ビデオ符号化における構文の2値化とコンテキスト適応型符号化の方法と装置
US10531122B2 (en) Method and apparatus for coded block flag coding in high efficiency video coding
US7385535B2 (en) Decoding system and method based on context-based adaptive binary arithmetic coding
US10506234B2 (en) Method of run-length coding for palette predictor
CN107534782B (zh) 视频编解码中调色板模式编解码方法
JP5944510B2 (ja) 構文要素のコンテキスト−適応バイナリ算術符号化(Context−AdaptiveBinaryArithmeticCoding)の方法と装置
EP2740272A1 (en) Method and apparatus for reordered binarization of syntax elements in cabac
CN108141621B (zh) 编解码视频数据的方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20201201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211105

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211214

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220114

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220118

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20220831

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221213

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230110

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230207

R150 Certificate of patent or registration of utility model

Ref document number: 7224257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150