JP7199221B2 - 符号化装置、復号装置、符号化方法及び復号方法 - Google Patents
符号化装置、復号装置、符号化方法及び復号方法 Download PDFInfo
- Publication number
- JP7199221B2 JP7199221B2 JP2018518235A JP2018518235A JP7199221B2 JP 7199221 B2 JP7199221 B2 JP 7199221B2 JP 2018518235 A JP2018518235 A JP 2018518235A JP 2018518235 A JP2018518235 A JP 2018518235A JP 7199221 B2 JP7199221 B2 JP 7199221B2
- Authority
- JP
- Japan
- Prior art keywords
- arithmetic coding
- data string
- bit string
- binary data
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Description
従来の符号化方式であるH.265では、画像情報を効率的に符号化するため、算術符号化が用いられている。具体的には、CABACと呼ばれるコンテキスト適応型二値算術符号化方式が採用されている。
[符号化装置の概要]
まず、実施の形態1に係る符号化装置の概要を説明する。図1は、実施の形態1に係る符号化装置100の機能構成を示すブロック図である。符号化装置100は、動画像/画像をブロック単位で符号化する動画像/画像符号化装置である。
分割部102は、入力動画像に含まれる各ピクチャを複数のブロックに分割し、各ブロックを減算部104に出力する。例えば、分割部102は、まず、ピクチャを固定サイズ(例えば128x128)のブロックに分割する。この固定サイズのブロックは、符号化ツリーユニット(CTU)と呼ばれることがある。そして、分割部102は、再帰的な四分木(quadtree)及び/又は二分木(binary tree)ブロック分割に基づいて、固定サイズのブロックの各々を可変サイズ(例えば64x64以下)のブロックに分割する。この可変サイズのブロックは、符号化ユニット(CU)、予測ユニット(PU)あるいは変換ユニット(TU)と呼ばれることがある。なお、本実施の形態では、CU、PU及びTUは区別される必要はなく、ピクチャ内の一部又はすべてのブロックがCU、PU、TUの処理単位となってもよい。
減算部104は、分割部102によって分割されたブロック単位で原信号(原サンプル)から予測信号(予測サンプル)を減算する。つまり、減算部104は、符号化対象ブロック(以下、カレントブロックという)の予測誤差(残差ともいう)を算出する。そして、減算部104は、算出された予測誤差を変換部106に出力する。
変換部106は、空間領域の予測誤差を周波数領域の変換係数に変換し、変換係数を量子化部108に出力する。具体的には、変換部106は、例えば空間領域の予測誤差に対して予め定められた離散コサイン変換(DCT)又は離散サイン変換(DST)を行う。
量子化部108は、変換部106から出力された変換係数を量子化する。具体的には、量子化部108は、カレントブロックの変換係数を所定の走査順序で走査し、走査された変換係数に対応する量子化パラメータ(QP)に基づいて当該変換係数を量子化する。そして、量子化部108は、カレントブロックの量子化された変換係数(以下、量子化係数という)をエントロピー符号化部110及び逆量子化部112に出力する。
エントロピー符号化部110は、量子化部108から入力である量子化係数を可変長符号化することにより符号化信号(符号化ビットストリーム)を生成する。具体的には、エントロピー符号化部110は、例えば、量子化係数を二値化し、二値信号を算術符号化する。
逆量子化部112は、量子化部108からの入力である量子化係数を逆量子化する。具体的には、逆量子化部112は、カレントブロックの量子化係数を所定の走査順序で逆量子化する。そして、逆量子化部112は、カレントブロックの逆量子化された変換係数を逆変換部114に出力する。
逆変換部114は、逆量子化部112からの入力である変換係数を逆変換することにより予測誤差を復元する。具体的には、逆変換部114は、変換係数に対して、変換部106による変換に対応する逆変換を行うことにより、カレントブロックの予測誤差を復元する。そして、逆変換部114は、復元された予測誤差を加算部116に出力する。
加算部116は、逆変換部114からの入力である予測誤差と予測制御部128からの入力である予測信号とを加算することによりカレントブロックを再構成する。そして、加算部116は、再構成されたブロックをブロックメモリ118及びループフィルタ部120に出力する。再構成ブロックは、ローカル復号ブロックと呼ばれることもある。
ブロックメモリ118は、イントラ予測で参照されるブロックであって符号化対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ118は、加算部116から出力された再構成ブロックを格納する。
ループフィルタ部120は、加算部116によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ122に出力する。ループフィルタとは、符号化ループ内で用いられるフィルタ(インループフィルタ)であり、例えば、デブロッキング・フィルタ(DF)、サンプルアダプティブオフセット(SAO)及びアダプティブループフィルタ(ALF)などを含む。
フレームメモリ122は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ122は、ループフィルタ部120によってフィルタされた再構成ブロックを格納する。
イントラ予測部124は、ブロックメモリ118に格納されたカレントピクチャ内のブロックを参照してカレントブロックのイントラ予測(画面内予測ともいう)を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部124は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部128に出力する。
インター予測部126は、フレームメモリ122に格納された参照ピクチャであってカレントピクチャとは異なる参照ピクチャを参照してカレントブロックのインター予測(画面間予測ともいう)を行うことで、予測信号(インター予測信号)を生成する。インター予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、カレントブロック又はサブブロックについて参照ピクチャ内で動き探索(motion estimation)を行う。そして、インター予測部126は、動き探索により得られた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成する。そして、インター予測部126は、生成されたインター予測信号を予測制御部128に出力する。
予測制御部128は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として減算部104及び加算部116に出力する。
次に、上記の符号化装置100から出力された符号化信号(符号化ビットストリーム)を復号可能な復号装置の概要について説明する。図10は、実施の形態1に係る復号装置200の機能構成を示すブロック図である。復号装置200は、動画像/画像をブロック単位で復号する動画像/画像復号装置である。
エントロピー復号部202は、符号化ビットストリームをエントロピー復号する。具体的には、エントロピー復号部202は、例えば、符号化ビットストリームから二値信号に算術復号する。そして、エントロピー復号部202は、二値信号を多値化(debinarize)する。これにより、エントロピー復号部202は、ブロック単位で量子化係数を逆量子化部204に出力する。
逆量子化部204は、エントロピー復号部202からの入力である復号対象ブロック(以下、カレントブロックという)の量子化係数を逆量子化する。具体的には、逆量子化部204は、カレントブロックの量子化係数の各々について、当該量子化係数に対応する量子化パラメータに基づいて当該量子化係数を逆量子化する。そして、逆量子化部204は、カレントブロックの逆量子化された量子化係数(つまり変換係数)を逆変換部206に出力する。
逆変換部206は、逆量子化部204からの入力である変換係数を逆変換することにより予測誤差を復元する。
加算部208は、逆変換部206からの入力である予測誤差と予測制御部220からの入力である予測信号とを加算することによりカレントブロックを再構成する。そして、加算部208は、再構成されたブロックをブロックメモリ210及びループフィルタ部212に出力する。
ブロックメモリ210は、イントラ予測で参照されるブロックであって復号対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ210は、加算部208から出力された再構成ブロックを格納する。
ループフィルタ部212は、加算部208によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ214及び表示装置等に出力する。
フレームメモリ214は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ214は、ループフィルタ部212によってフィルタされた再構成ブロックを格納する。
イントラ予測部216は、符号化ビットストリームから読み解かれたイントラ予測モードに基づいて、ブロックメモリ210に格納されたカレントピクチャ内のブロックを参照してイントラ予測を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部216は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部220に出力する。
インター予測部218は、フレームメモリ214に格納された参照ピクチャを参照して、カレントブロックを予測する。予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、符号化ビットストリームから読み解かれた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成し、インター予測信号を予測制御部128に出力する。
予測制御部220は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として加算部208に出力する。
図11は、実施の形態1に係る符号化装置100におけるエントロピー符号化部110の詳細な機能構成を示すブロック図である。エントロピー符号化部110は、量子化部108から出力される量子化係数に対して可変長符号化を適用することにより、ビット列を生成し、生成されたビット列を出力する。このビット列は、符号化された画像情報に対応し、符号化信号、符号化ビットストリーム又は符号化ビット列とも呼ばれる。
二値化部132は、量子化係数等を二値化する。具体的には、二値化部132は、量子化された周波数変換係数等を例えば0又は1で表現される値のデータ列に変換し、得られたデータ列を出力する。以下、このデータ列を二値化データ列とも呼ぶ。また、二値化部132によって行われる二値化は、算術符号化のための二値化であり、より具体的には二値算術符号化を行うための二値化である。すなわち、二値化部132は、算術符号化のための二値化に従って画像情報の二値化データ列を導出する。
切り替え部134及び140は、モード情報に従って連動して動作し、二値化データ列に対して算術符号化を適用するか否かを切り替える。例えば、切り替え部134及び140は、符号化装置100の外部から与えられるモード情報に従って、二値化データ列に対して算術符号化を適用するか否かを切り替える。モード情報は、ユーザ又は上位システム等から指示として与えられてもよい。
中間バッファ136は、二値化データ列を格納するための記憶部であり、中間メモリとも呼ばれる。算術符号化部138で行われる算術符号化では、遅延が発生する。また、遅延量は、二値化データ列の内容によって揺らぐ。中間バッファ136によって、遅延量の揺らぎが吸収され、後続の処理が円滑に行われる。なお、中間バッファ136等の記憶部にデータを入力することは、記憶部にデータを格納することに対応し、記憶部からデータを出力することは、記憶部からデータを読み出すことに対応する。
算術符号化部138は、算術符号化を行う。具体的には、算術符号化部138は、中間バッファ136に格納された二値化データ列を読み出して、二値化データ列に対して算術符号化を適用する。算術符号化部138は、コンテキスト適応型二値算術符号化方式に対応する算術符号化を二値化データ列に対して適用してもよい。
多重化部142は、モード情報と、二値化データ列とを多重化し、モード情報及び二値化データ列を含むビット列を生成する。そして、多重化部142は、ビット列を出力バッファ144に出力することにより、ビット列を出力バッファ144に格納する。出力バッファ144に格納されたビット列は、適宜、出力バッファ144から出力される。すなわち、多重化部142は、出力バッファ144を介して、ビット列を出力する。
出力バッファ144は、ビット列を格納するための記憶部であり、CPB(Coded Picture Buffer:符号化ピクチャバッファ)、または、出力メモリとも呼ばれる。符号化装置100が画像情報を符号化することで得られるビット列は、出力バッファ144に格納される。そして、出力バッファ144に格納されたビット列は、適宜出力され、例えば符号化オーディオ信号等と多重化される。
図12は、実施の形態1に係る復号装置200におけるエントロピー復号部202の詳細な機能構成を示すブロック図である。エントロピー復号部202は、入力バッファ232を介して入力されるビット列に対してエントロピー復号を行うことにより、量子化係数等を導出する。このビット列は、例えば、符号化装置100によって生成されたビット列であって、上述したデータ構成を有し得る。
入力バッファ232は、ビット列を格納するための記憶部であり、CPB、または、入力メモリとも呼ばれる。復号装置200によって復号されるビット列は、例えば符号化オーディオ信号等から分離されて、入力バッファ232に格納される。そして、復号装置200は、入力バッファ232に格納されたビット列を読み出して、ビット列を復号する。
分離部234は、入力バッファ232からビット列を取得し、ビット列からモード情報と二値化データ列とを分離し、モード情報と二値化データ列とを出力する。つまり、分離部234は、入力バッファ232を介して、モード情報と二値化データ列とを含むビット列を取得し、ビット列に含まれるモード情報と二値化データ列とを出力する。二値化データ列は、算術符号化が適用された二値化データ列であってもよいし、算術符号化が適用されていない二値化データ列であってもよい。
切り替え部236及び242は、分離部234等から得られるモード情報に従って連動して動作し、二値化データ列に対して算術復号を適用するか否かを切り替える。例えば、モード情報が選択的に示す第1モード及び第2モードのうち、第1モードでは、二値化データ列に対して算術復号が適用され、第2モードでは、二値化データ列に対して算術復号が適用されない。
算術復号部238は、算術復号を行う。具体的には、算術復号部238は、算術符号化が適用された二値化データ列に対して算術復号を適用し、算術復号が適用された二値化データ列を出力することにより、算術復号が適用された二値化データ列を中間バッファ240に格納する。算術復号が適用された二値化データ列は、算術符号化が適用されていない元の二値化データ列に対応する。算術符号化部138は、コンテキスト適応型二値算術符号化方式に対応する算術復号を二値化データ列に対して適用してもよい。
中間バッファ240は、算術復号された二値化データ列を格納するための記憶部であり、中間メモリとも呼ばれる。算術復号部238で行われる算術復号では、遅延が発生する。また、遅延量は、二値化データ列の内容によって揺らぐ。中間バッファ240によって、遅延量の揺らぎが吸収され、後続の処理が円滑に行われる。
逆二値化部244は、二値化データ列に対して逆二値化を行うことにより、量子化係数等を導出する。具体的には、逆二値化部244は、例えば0又は1で表現される値の二値化データ列を量子化された周波数変換係数等に変換し、量子化された周波数変換係数等を逆量子化部204へ出力する。また、逆二値化部244によって行われる逆二値化は、算術符号化のための二値化に対応する逆二値化であり、より具体的には二値算術符号化を行うための二値化に対応する逆二値化である。
図13は、実施の形態1に係る符号化装置100及び復号装置200を含むコーデックシステム300の機能構成を示すブロック図である。コーデックシステム300は、送信装置150及び受信装置250を備え、画像情報の符号化、送信、受信及び復号を行う。送信装置150は、送信制御部152、符号化装置100及び出力バッファ144を備え、画像情報の符号化及び送信を行う。受信装置250は、受信制御部252、入力バッファ232及び復号装置200を備え、符号化された画像情報の受信及び復号を行う。
図14は、実施の形態1に係る符号化装置100の実装例を示すブロック図である。符号化装置100は、回路160及びメモリ162を備える。例えば、図1及び図11に示された符号化装置100の複数の構成要素は、図14に示された回路160及びメモリ162によって実装される。
図15は、実施の形態1に係る符号化装置100の第1符号化動作例を示すフローチャートである。例えば、図15に示された動作が、図14に示された符号化装置100の回路160によって行われることにより、画像情報が符号化される。
図16は、実施の形態1に係る符号化装置100の第2符号化動作例を示すフローチャートである。例えば、図16に示された動作が、図14に示された符号化装置100の回路160によって行われることにより、画像情報が符号化される。
図17は、実施の形態1に係る復号装置200の実装例を示すブロック図である。復号装置200は、回路260及びメモリ262を備える。例えば、図10及び図12に示された復号装置200の複数の構成要素は、図17に示された回路260及びメモリ262によって実装される。
図18は、実施の形態1に係る復号装置200の第1復号動作例を示すフローチャートである。例えば、図18に示された動作が、図17に示された復号装置200の回路260によって行われることにより、画像情報が復号される。
図19は、実施の形態1に係る復号装置200の第2復号動作例を示すフローチャートである。例えば、図19に示された動作が、図17に示された復号装置200の回路260によって行われることにより、画像情報が復号される。
本実施の形態における符号化装置100及び復号装置200は、特に、短時間で符号化及び復号を行うことが求められるリアルタイム通信システム等に有用である。具体的には、符号化装置100及び復号装置200は、テレビ会議システム又は電子ミラー等に有用である。例えば、これらのシステム環境において、算術符号化及び算術復号が行われない第2モードが用いられる。
以上の各実施の形態において、機能ブロックの各々は、通常、MPU及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも、当然、可能である。
図20は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
近年では、互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
コンテンツの切り替えに関して、図21に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンex115で視聴していた映像の続きを、帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
図23は、コンピュータex111等におけるwebページの表示画面例を示す図である。図24は、スマートフォンex115等におけるwebページの表示画面例を示す図である。図23及び図24に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示したり、複数の静止画又はIピクチャ等でgifアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータである。
図25は、スマートフォンex115を示す図である。また、図26は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
102 分割部
104 減算部
106 変換部
108 量子化部
110 エントロピー符号化部
112、204 逆量子化部
114、206 逆変換部
116、208 加算部
118、210 ブロックメモリ
120、212 ループフィルタ部
122、214 フレームメモリ
124、216 イントラ予測部
126、218 インター予測部
128、220 予測制御部
132 二値化部
134、140、236、242 切り替え部
136、240 中間バッファ
138 算術符号化部
142 多重化部
144 出力バッファ
150 送信装置
152 送信制御部
160、260 回路
162、262 メモリ
200 復号装置
202 エントロピー復号部
232 入力バッファ
234 分離部
238 算術復号部
244 逆二値化部
250 受信装置
252 受信制御部
300 コーデックシステム
Claims (10)
- 画像情報を符号化する符号化装置であって、
メモリと、
前記メモリにアクセス可能な回路とを備え、
前記メモリにアクセス可能な前記回路は、
前記画像情報から、可変発生確率に従って行われるコンテキスト適応算術符号化と、固定発生確率に従って行われるバイパス算術符号化とを含む算術符号化のための二値化に従って二値化データ列を導出し、
前記二値化データ列を含むビット列を出力し、
(i)前記ビット列の出力において、前記算術符号化が適用されている前記二値化データ列を含む前記ビット列を出力する第1動作と、(ii)前記ビット列の出力において、前記算術符号化が適用されていない前記二値化データ列を含む前記ビット列を出力する第2動作とを切り替え、
符号化規格で定められる複数のプロファイルのうちの所定のプロファイルが前記画像情報の符号化に用いられる場合、前記第1動作と前記第2動作とのうちの一方に動作が固定され、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、前記ビット列は、前記二値化データ列に対して前記算術符号化が適用されているか否かを示す適用情報を含み、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定される場合、前記ビット列は、前記適用情報を含まない、
符号化装置。 - 前記回路は、前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、
前記二値化データ列を含み、かつ、前記適用情報を含む前記ビット列を出力し、
(i)前記ビット列の出力において、前記算術符号化が適用されている前記二値化データ列を含み、かつ、前記二値化データ列に対して前記算術符号化が適用されていることを示す情報を前記適用情報として含む前記ビット列を出力する前記第1動作と、(ii)前記ビット列の出力において、前記算術符号化が適用されていない前記二値化データ列を含み、かつ、前記二値化データ列に対して前記算術符号化が適用されていないことを示す情報を前記適用情報として含む前記ビット列を出力する前記第2動作とを切り替える
請求項1に記載の符号化装置。 - 前記回路は、前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、1以上のピクチャを含む単位で包括的に、前記第1動作と前記第2動作とを切り替える
請求項1又は2に記載の符号化装置。 - 前記回路は、前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、1以上のスライスを含む単位で包括的に、前記第1動作と前記第2動作とを切り替える
請求項1又は2に記載の符号化装置。 - 画像情報を復号する復号装置であって、
メモリと、
前記メモリにアクセス可能な回路とを備え、
前記メモリにアクセス可能な前記回路は、
前記画像情報から、可変発生確率に従って行われるコンテキスト適応算術符号化と、固定発生確率に従って行われるバイパス算術符号化とを含む算術符号化のための二値化に従って導出された二値化データ列を含むビット列を取得し、
前記二値化データ列から前記画像情報を導出し、
(i)前記画像情報の導出において、前記ビット列に含まれる前記二値化データ列であって、前記算術符号化が適用されている前記二値化データ列から、前記画像情報を導出する第1動作と、(ii)前記画像情報の導出において、前記ビット列に含まれる前記二値化データ列であって、前記算術符号化が適用されていない前記二値化データ列から、前記画像情報を導出する第2動作とを切り替え、
符号化規格で定められる複数のプロファイルのうちの所定のプロファイルが前記画像情報の復号に用いられる場合、前記第1動作と前記第2動作とのうちの一方に動作が固定され、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、前記ビット列は、前記二値化データ列に対して前記算術符号化が適用されているか否かを示す適用情報を含み、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定される場合、前記ビット列は、前記適用情報を含まない、
復号装置。 - 前記回路は、前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、
前記二値化データ列を含み、かつ、前記適用情報を含む前記ビット列を取得し、
(i)前記画像情報の導出において、前記二値化データ列に対して前記算術符号化が適用されていることを示す情報を前記適用情報として含む前記ビット列に含まれる前記二値化データ列であって、前記算術符号化が適用されている前記二値化データ列から、前記画像情報を導出する前記第1動作と、(ii)前記画像情報の導出において、前記二値化データ列に対して前記算術符号化が適用されていないことを示す情報を前記適用情報として含む前記ビット列に含まれる前記二値化データ列であって、前記算術符号化が適用されていない前記二値化データ列から、前記画像情報を導出する前記第2動作とを切り替える
請求項5に記載の復号装置。 - 前記回路は、前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、1以上のピクチャを含む単位で包括的に、前記第1動作と前記第2動作とを切り替える
請求項5又は6に記載の復号装置。 - 前記回路は、前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、1以上のスライスを含む単位で包括的に、前記第1動作と前記第2動作とを切り替える
請求項5又は6に記載の復号装置。 - 画像情報を符号化する符号化方法であって、
前記画像情報から、可変発生確率に従って行われるコンテキスト適応算術符号化と、固定発生確率に従って行われるバイパス算術符号化とを含む算術符号化のための二値化に従って二値化データ列を導出し、
前記二値化データ列を含むビット列を出力し、
(i)前記ビット列の出力において、前記算術符号化が適用されている前記二値化データ列を含む前記ビット列を出力する第1動作と、(ii)前記ビット列の出力において、前記算術符号化が適用されていない前記二値化データ列を含む前記ビット列を出力する第2動作とを切り替え、
符号化規格で定められる複数のプロファイルのうちの所定のプロファイルが前記画像情報の符号化に用いられる場合、前記第1動作と前記第2動作とのうちの一方に動作が固定され、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、前記ビット列は、前記二値化データ列に対して前記算術符号化が適用されているか否かを示す適用情報を含み、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定される場合、前記ビット列は、前記適用情報を含まない、
符号化方法。 - 画像情報を復号する復号方法であって、
前記画像情報から、可変発生確率に従って行われるコンテキスト適応算術符号化と、固定発生確率に従って行われるバイパス算術符号化とを含む算術符号化のための二値化に従って導出された二値化データ列を含むビット列を取得し、
前記二値化データ列から前記画像情報を導出し、
(i)前記画像情報の導出において、前記ビット列に含まれる前記二値化データ列であって、前記算術符号化が適用されている前記二値化データ列から、前記画像情報を導出する第1動作と、(ii)前記画像情報の導出において、前記ビット列に含まれる前記二値化データ列であって、前記算術符号化が適用されていない前記二値化データ列から、前記画像情報を導出する第2動作とを切り替え、
符号化規格で定められる複数のプロファイルのうちの所定のプロファイルが前記画像情報の復号に用いられる場合、前記第1動作と前記第2動作とのうちの一方に動作が固定され、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定されない場合、前記ビット列は、前記二値化データ列に対して前記算術符号化が適用されているか否かを示す適用情報を含み、
前記第1動作と前記第2動作とのうちの一方に前記動作が固定される場合、前記ビット列は、前記適用情報を含まない、
復号方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662339212P | 2016-05-20 | 2016-05-20 | |
US62/339212 | 2016-05-20 | ||
PCT/JP2017/017629 WO2017199800A1 (ja) | 2016-05-20 | 2017-05-10 | 符号化装置、復号装置、符号化方法及び復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017199800A1 JPWO2017199800A1 (ja) | 2019-03-14 |
JP7199221B2 true JP7199221B2 (ja) | 2023-01-05 |
Family
ID=60325771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018518235A Active JP7199221B2 (ja) | 2016-05-20 | 2017-05-10 | 符号化装置、復号装置、符号化方法及び復号方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11166026B2 (ja) |
EP (1) | EP3461131A1 (ja) |
JP (1) | JP7199221B2 (ja) |
KR (1) | KR102442406B1 (ja) |
CN (1) | CN109155863B (ja) |
TW (1) | TWI729135B (ja) |
WO (1) | WO2017199800A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018139283A1 (ja) * | 2017-01-30 | 2018-08-02 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
WO2019138981A1 (ja) * | 2018-01-12 | 2019-07-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法および復号方法 |
WO2020094066A1 (en) | 2018-11-06 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Multi-parameters based intra prediction |
WO2020108591A1 (en) | 2018-12-01 | 2020-06-04 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation for intra prediction |
WO2020143005A1 (zh) * | 2019-01-10 | 2020-07-16 | 深圳市大疆创新科技有限公司 | 对三维数据点集进行编码或解码的方法和设备 |
KR102476272B1 (ko) * | 2019-02-22 | 2022-12-09 | 엘지전자 주식회사 | 영상 코딩 시스템에서 cclm 예측에 기반한 영상 디코딩 방법 및 그 장치 |
KR102472756B1 (ko) | 2019-02-24 | 2022-12-01 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 인트라 예측을 위한 파라미터 유도 |
KR20210114060A (ko) | 2019-03-13 | 2021-09-17 | 엘지전자 주식회사 | Dmvr 기반의 인터 예측 방법 및 장치 |
JP7058329B2 (ja) * | 2019-03-22 | 2022-04-21 | エルジー エレクトロニクス インコーポレイティド | Dmvrおよびbdofベースのインター予測方法および装置 |
US11140409B2 (en) | 2019-03-22 | 2021-10-05 | Lg Electronics Inc. | DMVR and BDOF based inter prediction method and apparatus thereof |
WO2020197084A1 (ko) | 2019-03-22 | 2020-10-01 | 엘지전자 주식회사 | Dmvr 기반의 인터 예측 방법 및 장치 |
WO2020196655A1 (ja) * | 2019-03-25 | 2020-10-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
GB201905400D0 (en) * | 2019-04-16 | 2019-05-29 | V Nova Int Ltd | Video coding technology |
BR122021025013A2 (pt) * | 2019-05-20 | 2022-03-15 | Panasonic Intellectual Property Corporation Of America | Método de codificação, método de decodificação e mídia legível por computador não transitória |
WO2021006196A1 (ja) * | 2019-07-10 | 2021-01-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
JP7431549B2 (ja) | 2019-10-01 | 2024-02-15 | キヤノン株式会社 | 符号化装置、撮像装置、制御方法、及びプログラム |
US11290575B2 (en) * | 2020-02-06 | 2022-03-29 | International Business Machines Corporation | Connecting computer processing systems and transmitting data |
US11357020B2 (en) | 2020-02-06 | 2022-06-07 | International Business Machines Corporation | Connecting computer processing systems and transmitting data |
US11405766B2 (en) | 2020-02-06 | 2022-08-02 | International Business Machines Corporation | Connecting computer processing systems and transmitting data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130177069A1 (en) | 2012-01-09 | 2013-07-11 | Texas Instruments Incorporated | Context Adaptive Binary Arithmetic Coding (CABAC) with Scalable Throughput and Coding Efficiency |
JP2013165506A (ja) | 2013-04-18 | 2013-08-22 | Panasonic Corp | 画像符号化装置 |
JP2015504256A (ja) | 2012-01-19 | 2015-02-05 | シャープ株式会社 | Hevcにおけるcabacの高スループット符号化 |
WO2017126333A1 (ja) | 2016-01-21 | 2017-07-27 | ソニー株式会社 | 画像処理装置および方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3337365B2 (ja) * | 1996-01-23 | 2002-10-21 | 株式会社リコー | 多値画像データ伝送装置 |
CN102158704B (zh) * | 2004-11-09 | 2013-05-08 | 松下电器产业株式会社 | 转换成中间格式的两步算术解码 |
US20060126744A1 (en) * | 2004-12-10 | 2006-06-15 | Liang Peng | Two pass architecture for H.264 CABAC decoding process |
KR100776195B1 (ko) * | 2005-08-09 | 2007-11-16 | (주)씨앤에스 테크놀로지 | 빠른 cavlc를 위한 h.264 디코딩 방법 |
CN100466739C (zh) * | 2005-10-12 | 2009-03-04 | 华为技术有限公司 | Cabac解码系统及方法 |
JP4878262B2 (ja) * | 2006-10-31 | 2012-02-15 | キヤノン株式会社 | エントロピー符号化装置 |
JP4785706B2 (ja) * | 2006-11-01 | 2011-10-05 | キヤノン株式会社 | 復号装置及び復号方法 |
US7839311B2 (en) * | 2007-08-31 | 2010-11-23 | Qualcomm Incorporated | Architecture for multi-stage decoding of a CABAC bitstream |
US8805099B2 (en) * | 2011-06-22 | 2014-08-12 | Panasonic Intellectual Property Corporation Of America | Image decoding method and image coding method |
JP2013009167A (ja) * | 2011-06-24 | 2013-01-10 | Mitsubishi Electric Corp | エントロピー符号化装置、エントロピー復号装置、エントロピー符号化方法及びエントロピー復号方法 |
US9088796B2 (en) * | 2011-11-07 | 2015-07-21 | Sharp Kabushiki Kaisha | Video decoder with enhanced CABAC decoding |
WO2015008478A1 (en) * | 2013-07-15 | 2015-01-22 | Sharp Kabushiki Kaisha | Modified coding for a transform skipped block for cabac in hevc |
-
2017
- 2017-05-10 JP JP2018518235A patent/JP7199221B2/ja active Active
- 2017-05-10 KR KR1020187032854A patent/KR102442406B1/ko active IP Right Grant
- 2017-05-10 CN CN201780030426.3A patent/CN109155863B/zh active Active
- 2017-05-10 WO PCT/JP2017/017629 patent/WO2017199800A1/ja unknown
- 2017-05-10 EP EP17799225.2A patent/EP3461131A1/en active Pending
- 2017-05-18 TW TW106116488A patent/TWI729135B/zh active
-
2018
- 2018-11-15 US US16/192,070 patent/US11166026B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130177069A1 (en) | 2012-01-09 | 2013-07-11 | Texas Instruments Incorporated | Context Adaptive Binary Arithmetic Coding (CABAC) with Scalable Throughput and Coding Efficiency |
JP2015504256A (ja) | 2012-01-19 | 2015-02-05 | シャープ株式会社 | Hevcにおけるcabacの高スループット符号化 |
JP2013165506A (ja) | 2013-04-18 | 2013-08-22 | Panasonic Corp | 画像符号化装置 |
WO2017126333A1 (ja) | 2016-01-21 | 2017-07-27 | ソニー株式会社 | 画像処理装置および方法 |
Non-Patent Citations (3)
Title |
---|
Ryoji Hattori, et al.,Fast bypass mode for CABAC,2012 Picture Coding Symposium PCS 2012 Proceedings,米国,IEEE,2012年 5月 7日,pp.417-420,URL,http://ieeexplore.ieee.org/document/6213318/ |
Ryoji Hattori, et al.,Fast bypass mode for CABAC,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011,2011年 7月16日,JCTVC-F177.doc,pp.1-5,URL,http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F177-v2.zip |
角野他,インプレス標準教科書シリーズ 改訂三版 H.264/AVC 教科書,株式会社インプレスR&D,2009年1月1日,pp.87-94、261-264 |
Also Published As
Publication number | Publication date |
---|---|
US11166026B2 (en) | 2021-11-02 |
TWI729135B (zh) | 2021-06-01 |
CN109155863B (zh) | 2022-09-20 |
KR20190008224A (ko) | 2019-01-23 |
CN109155863A (zh) | 2019-01-04 |
TW201806392A (zh) | 2018-02-16 |
US20190089958A1 (en) | 2019-03-21 |
WO2017199800A1 (ja) | 2017-11-23 |
EP3461131A4 (en) | 2019-03-27 |
KR102442406B1 (ko) | 2022-09-13 |
JPWO2017199800A1 (ja) | 2019-03-14 |
EP3461131A1 (en) | 2019-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7199221B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7292477B2 (ja) | 符号化装置及び復号装置 | |
JP6994868B2 (ja) | 符号化装置、復号装置、符号化方法、および復号方法 | |
JP7260685B2 (ja) | 符号化装置及び符号化方法 | |
JP2022111206A (ja) | 画像符号化装置及び符号化方法 | |
JP7339890B2 (ja) | 符号化装置及び復号装置 | |
WO2018030292A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7214846B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7299386B2 (ja) | 符号化装置及び復号装置 | |
JP2022111281A (ja) | 非一時的記憶媒体 | |
JP7114773B2 (ja) | 復号装置及び符号化装置 | |
JP6998874B2 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7161636B2 (ja) | 符号化装置及び符号化方法 | |
JP7314382B2 (ja) | 復号装置 | |
JP2023068203A (ja) | 復号装置及び復号方法 | |
WO2018097115A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7389282B2 (ja) | 復号装置、及び、復号方法 | |
JP2022111209A (ja) | 符号化装置及び復号装置 | |
JP2023060057A (ja) | 符号化装置及び符号化方法 | |
JP2022168052A (ja) | 復号装置及び符号化装置 | |
JP2023029589A (ja) | 符号化装置及び復号装置 | |
JP2023016991A (ja) | 符号化装置及び復号装置 | |
JP2023001298A (ja) | 復号装置及び復号方法 | |
WO2018097117A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7148618B2 (ja) | 符号化装置及び復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210708 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220411 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220419 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220426 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220701 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220705 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220802 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221025 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20221115 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20221213 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7199221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |