JP5568465B2 - 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム - Google Patents
画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム Download PDFInfo
- Publication number
- JP5568465B2 JP5568465B2 JP2010503295A JP2010503295A JP5568465B2 JP 5568465 B2 JP5568465 B2 JP 5568465B2 JP 2010503295 A JP2010503295 A JP 2010503295A JP 2010503295 A JP2010503295 A JP 2010503295A JP 5568465 B2 JP5568465 B2 JP 5568465B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- view
- picture
- views
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/427—Display on the fly, e.g. simultaneous writing to and reading from decoding memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
また、本発明の画像復号装置は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号装置であって、前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理部と、前記復号処理部に入力される前記ビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、前記復号処理部は、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、前記復号処理部は、前記複数のビューに含まれるピクチャを復号する際、前記ビットストリームのうち前記ピクチャに対応する部分を前記バッファメモリから引き抜いて、引き抜かれた前記部分から前記ピクチャを復号し、前記復号処理部は、前記複数のビューを並列に復号し、前記バッファメモリのサイズは、ビュー間予測により参照されるビューの階層の最大値をm、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、前記データ読み込みレートをR、および、前記ビットストリームのうち前記各ピクチャに対応する部分が前記各ピクチャに付与された復号時刻に前記バッファメモリから引き抜かれることを前提として定められる前記バッファメモリの規定サイズをDとした場合、D+R×T×(m−1)以上のサイズである画像復号装置でもよい。
また、本発明の画像復号装置は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号装置であって、前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理部と、前記復号処理部に入力される前記ビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、前記復号処理部は、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、前記復号処理部は、外部メモリと、前記第1ビューを復号する第1デコーダと、前記第2ビューを復号する第2デコーダとを備え、前記第1デコーダは、前記第1ビューに含まれる前記第1ピクチャを復号し、前記第1ピクチャを前記外部メモリに記憶させ、前記第2デコーダは、前記第1ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して前記外部メモリから前記第1ピクチャを取得し、取得された前記第1ピクチャを参照して前記第2ビューに含まれる前記第2ピクチャを復号する画像復号装置でもよい。
また、本発明の画像復号装置は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号装置であって、前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理部と、前記復号処理部に入力される前記ビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、前記復号処理部は、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、前記バッファメモリには、前記ビットストリームのうち前記遅延時間によって読み込まれなかった部分がある場合、前記ビットストリームに付与されたデータ読み込みレートよりも高速に前記ビットストリームが読み込まれる画像復号装置でもよい。
また、本発明の画像復号装置は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューを有するビットストリームを復号する画像復号装置であって、符号化された第1ビューのビットストリーム、および、前記第1ビューを参照して符号化された第2ビューのビットストリームを復号する復号処理部と、前記復号処理部に入力されるビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、前記復号処理部は、前記第1ビューおよび前記第2ビューに付与された復号時刻が同一の場合において、前記第2ビューに付与された復号時刻に前記第1ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ビューのピクチャを復号する画像復号装置でもよい。
また、本発明の画像符号化装置は、ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化装置であって、前記複数のビューを符号化し、前記複数のビューに同一の復号時刻を付与する符号化処理部と、符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるビューの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理部に符号化させるレート制御部とを備える画像符号化装置でもよい。
また、本発明の画像復号方法は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号方法であって、前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理ステップと、前記復号処理ステップの前に、前記復号処理ステップで用いられる前記ビットストリームをバッファメモリに保持するデータ保持ステップとを含み、前記復号処理ステップでは、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、前記復号処理ステップでは、前記複数のビューに含まれるピクチャを復号する際、前記ビットストリームのうち前記ピクチャに対応する部分を前記バッファメモリから引き抜いて、引き抜かれた前記部分から前記ピクチャを復号し、前記復号処理ステップでは、前記複数のビューを並列に復号し、前記データ保持ステップで用いられる前記バッファメモリのサイズは、ビュー間予測により参照されるビューの階層の最大値をm、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、前記データ読み込みレートをR、および、前記ビットストリームのうち前記各ピクチャに対応する部分が前記各ピクチャに付与された復号時刻に前記バッファメモリから引き抜かれることを前提として定められる前記バッファメモリの規定サイズをDとした場合、D+R×T×(m−1)以上のサイズである画像復号方法でもよい。
また、本発明の画像復号方法は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号方法であって、前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理ステップと、前記復号処理ステップの前に、前記復号処理ステップで用いられる前記ビットストリームをバッファメモリに保持するデータ保持ステップとを含み、前記復号処理ステップでは、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、前記復号処理ステップは、前記第1ビューを復号する第1復号処理ステップと、前記第2ビューを復号する第2復号処理ステップとを含み、前記第1復号処理ステップでは、前記第1ビューに含まれる前記第1ピクチャを復号し、前記第1ピクチャを外部メモリに記憶させ、前記第2復号処理ステップでは、前記第1ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して前記外部メモリから前記第1ピクチャを取得し、取得された前記第1ピクチャを参照して前記第2ビューに含まれる前記第2ピクチャを復号する画像復号方法でもよい。
また、本発明の画像復号方法は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号方法であって、前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理ステップと、前記復号処理ステップの前に、前記復号処理ステップで用いられる前記ビットストリームをバッファメモリに保持するデータ保持ステップとを含み、前記復号処理ステップでは、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、前記バッファメモリには、前記ビットストリームのうち前記遅延時間によって読み込まれなかった部分がある場合、前記ビットストリームに付与されたデータ読み込みレートよりも高速に前記ビットストリームが読み込まれる画像復号方法でもよい。
また、本発明の画像復号方法は、ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューを有するビットストリームを復号する画像復号方法であって、符号化された第1ビューのビットストリーム、および、前記第1ビューを参照して符号化された第2ビューのビットストリームを復号する復号処理ステップと、前記復号処理ステップの前に、復号処理ステップに入力されるビットストリームを保持するデータ保持ステップとを含み、前記復号処理ステップでは、前記第1ビューおよび前記第2ビューに付与された復号時刻が同一の場合において、前記第2ビューに付与された復号時刻に前記第1ビューのピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ビューのピクチャを復号する画像復号方法でもよい。
また、本発明の画像符号化方法は、ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化方法であって、前記複数のビューを符号化し、前記複数のビューに同一の復号時刻を付与する符号化処理ステップと、符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるビューの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理ステップに符号化させるレート制御ステップとを含む画像符号化方法でもよい。
まず、本発明に係る実施の形態1について、図面を参照して説明する。
次に、実施の形態2について説明する。実施の形態2における3D画像復号装置は、2つのデコーダを備える。そして、各デコーダは、それぞれ表示フレームレートと同じ速度で復号する。
次に、実施の形態3について説明する。実施の形態3における3D画像符号化装置は、3D画像復号装置において復号遅延が発生する場合であっても、復号できるように符号化する。
次に、本発明に係る画像符号化方法および画像復号方法を用いる実施の形態4について、図面を参照して説明する。実施の形態4では、DTSおよびPTSの値は、それぞれのビューに対して異なる値を設定することができることを前提としている。なお、規格によりDTSおよびPTSが、それぞれ同一の値に設定される場合であっても、実際に復号および表示される時刻として、実施の形態4で示されるDTSおよびPTSを用いてもよい。
本発明に係る画像符号化方法および画像復号方法を用いる実施の形態5について、図面を参照して説明する。実施の形態5では、DTSおよびPTSの値は、それぞれのビューに対して異なる値を設定することができることを前提としている。なお、規格によりDTSおよびPTSが、それぞれ同一の値に設定される場合であっても、実際に復号および表示される時刻として、実施の形態5で示されるDTSおよびPTSを用いてもよい。
図22および図30に示されるように、3D画像復号装置の構成(等速性能を有する2デコーダまたは倍速性能を有する1デコーダ)によって、DTSとPTSの付与方法が異なってしまうことが分かる。そこで、実施の形態6では、ビットストリーム作成時に想定した3D画像復号装置の構成と、実際の3D画像復号装置の構成の組合せに応じて、復号処理を切替える方法について説明する。
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
100 復号処理部
101 多重化ビットストリーム
101b、101e パケット
102、609、701、903、913、914、1701 スイッチ
103、104 ビットストリーム
105、1703 第1入力バッファ
106、1705 第2入力バッファ
107a、107b、107c 第1デコーダ
108a、108b、108c、108d、108e、108f、108g、603a、603b、603c、603d 第1フレームメモリ管理情報
109、604 外部メモリ
110a、110b、110c、605a、605b 第1フレームメモリ
111、121、606 第2フレームメモリ
112a、112b、112c 第2デコーダ
112d、112e デコーダ
113、120、608 第2フレームメモリ管理情報
114、115 復号画像
116 ビデオ出力インターフェース
117 3Dディスプレイ
200 符号化処理部
201、202 レート制御部
601、611 画像
602a 第1エンコーダ
607a 第2エンコーダ
607b エンコーダ
610 システムエンコーダ
621 フレームバッファ
622 ストリームバッファ
900 バッファメモリ
901 入力バッファ
902 STDバッファ
902a、9021a、9022a トランスポート・バッファ(TB)
902b、9021b、9022b マルチプレクシング・バッファ(MB)
902c、9021c、9022c エレメンタリ・ストリーム・バッファ(EB)
902d、9022d 補償バッファ
904、1601、1602、1603、1702、1704 遅延バッファ
1801 光ディスク
1802A、1802B、1802C、1803A、1803B、1803C ストリーム
1804 2D再生装置
1805 3D再生装置
1806 立体メガネ
Claims (13)
- ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号装置であって、
前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理部と、
前記復号処理部に入力される前記ビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、
前記復号処理部は、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、
前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、
前記復号処理部は、前記複数のビューに含まれるピクチャを復号する際、前記ビットストリームのうち前記ピクチャに対応する部分を前記バッファメモリから引き抜いて、引き抜かれた前記部分から前記ピクチャを復号し、
前記復号処理部は、前記複数のビューに含まれる複数のピクチャを逐次復号し、
前記バッファメモリのサイズは、前記複数のビューに含まれるビューの数をn、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、前記データ読み込みレートをR、および、前記ビットストリームのうち前記各ピクチャに対応する部分が前記各ピクチャに付与された復号時刻に前記バッファメモリから引き抜かれることを前提として定められる前記バッファメモリの規定サイズをDとした場合、D+R×T×(n−1)以上のサイズである
画像復号装置。 - ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号装置であって、
前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理部と、
前記復号処理部に入力される前記ビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、
前記復号処理部は、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、
前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、
前記復号処理部は、前記複数のビューに含まれるピクチャを復号する際、前記ビットストリームのうち前記ピクチャに対応する部分を前記バッファメモリから引き抜いて、引き抜かれた前記部分から前記ピクチャを復号し、
前記復号処理部は、前記複数のビューを並列に復号し、
前記バッファメモリのサイズは、ビュー間予測により参照されるビューの階層の最大値をm、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、前記データ読み込みレートをR、および、前記ビットストリームのうち前記各ピクチャに対応する部分が前記各ピクチャに付与された復号時刻に前記バッファメモリから引き抜かれることを前提として定められる前記バッファメモリの規定サイズをDとした場合、D+R×T×(m−1)以上のサイズである
画像復号装置。 - ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号装置であって、
前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理部と、
前記復号処理部に入力される前記ビットストリームを保持するために前記復号処理部の前段に配置されたバッファメモリとを備え、
前記復号処理部は、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、
前記バッファメモリには、前記ビットストリームのうち前記遅延時間によって読み込まれなかった部分がある場合、前記ビットストリームに付与されたデータ読み込みレートよりも高速に前記ビットストリームが読み込まれる
画像復号装置。 - 前記復号処理部は、
外部メモリと、
前記第1ビューを復号する第1デコーダと、
前記第2ビューを復号する第2デコーダとを備え、
前記第1デコーダは、前記第1ビューに含まれる前記第1ピクチャを復号し、前記第1ピクチャを前記外部メモリに記憶させ、
前記第2デコーダは、前記第1ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して前記外部メモリから前記第1ピクチャを取得し、取得された前記第1ピクチャを参照して前記第2ビューに含まれる前記第2ピクチャを復号する
請求項1〜3のいずれか1項に記載の画像復号装置。 - ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化装置であって、
前記複数のビューを符号化し、前記複数のビューのビュー間において参照関係を有する複数のピクチャに同一の復号時刻を付与する符号化処理部と、
符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるピクチャの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理部に符号化させるレート制御部とを備える
画像符号化装置。 - 前記レート制御部は、前記画像復号装置のバッファメモリのサイズが、符号化された前記複数のビューの数をn、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、符号化された前記複数のビューを読み込むときのデータ読み込みレートをR、および、前記規定サイズをDとした場合、D−R×T×(n−1)以下のサイズであるとして、符号化処理部に符号化させる
請求項5に記載の画像符号化装置。 - 前記符号化処理部は、
外部メモリと、
前記複数のビューの第1ビューを符号化する第1エンコーダと、
前記複数のビューの第2ビューを符号化する第2エンコーダとを備え、
前記第1エンコーダは、前記第1ビューに含まれる第1ピクチャを符号化し、前記第1ピクチャを前記外部メモリに記憶させ、
前記第2エンコーダは、前記第1ピクチャの保持されている前記外部メモリ内の位置を示す管理情報を参照して前記外部メモリから前記第1ピクチャを取得し、取得された前記第1ピクチャを参照して、前記第2ビューに含まれる第2ピクチャを符号化する
請求項5に記載の画像符号化装置。 - ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号方法であって、
前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理ステップと、
前記復号処理ステップの前に、前記復号処理ステップで用いられる前記ビットストリームをバッファメモリに保持するデータ保持ステップとを含み、
前記復号処理ステップでは、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、
前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、
前記復号処理ステップでは、前記複数のビューに含まれるピクチャを復号する際、前記ビットストリームのうち前記ピクチャに対応する部分を前記バッファメモリから引き抜いて、引き抜かれた前記部分から前記ピクチャを復号し、
前記復号処理ステップでは、前記複数のビューに含まれる複数のピクチャを逐次復号し、
前記データ保持ステップで用いられる前記バッファメモリのサイズは、前記複数のビューに含まれるビューの数をn、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、前記データ読み込みレートをR、および、前記ビットストリームのうち前記各ピクチャに対応する部分が前記各ピクチャに付与された復号時刻に前記バッファメモリから引き抜かれることを前提として定められる前記バッファメモリの規定サイズをDとした場合、D+R×T×(n−1)以上のサイズである
画像復号方法。 - ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号方法であって、
前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理ステップと、
前記復号処理ステップの前に、前記復号処理ステップで用いられる前記ビットストリームをバッファメモリに保持するデータ保持ステップとを含み、
前記復号処理ステップでは、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、
前記バッファメモリには、前記ビットストリームに付与されたデータ読み込みレートに従って前記ビットストリームが読み込まれ、
前記復号処理ステップでは、前記複数のビューに含まれるピクチャを復号する際、前記ビットストリームのうち前記ピクチャに対応する部分を前記バッファメモリから引き抜いて、引き抜かれた前記部分から前記ピクチャを復号し、
前記復号処理ステップでは、前記複数のビューを並列に復号し、
前記データ保持ステップで用いられる前記バッファメモリのサイズは、ビュー間予測により参照されるビューの階層の最大値をm、前記複数のビューに含まれる各ピクチャの復号に要する時間の最大値をT、前記データ読み込みレートをR、および、前記ビットストリームのうち前記各ピクチャに対応する部分が前記各ピクチャに付与された復号時刻に前記バッファメモリから引き抜かれることを前提として定められる前記バッファメモリの規定サイズをDとした場合、D+R×T×(m−1)以上のサイズである
画像復号方法。 - ビュー間予測を含む方法で符号化された、各ビューにピクチャを含む複数のビューをビットストリームから復号する画像復号方法であって、
前記複数のビューを前記ビットストリームから復号し、前記複数のビューの復号において、前記複数のビューの第1ビューに含まれる第1ピクチャを参照して前記複数のビューの第2ビューに含まれる第2ピクチャを復号する復号処理ステップと、
前記復号処理ステップの前に、前記復号処理ステップで用いられる前記ビットストリームをバッファメモリに保持するデータ保持ステップとを含み、
前記復号処理ステップでは、前記第1ピクチャと前記第2ピクチャとに付与された復号時刻が同一の場合において、前記第2ピクチャに付与された復号時刻に前記第1ピクチャの復号が完了するまでに要する遅延時間を加算して得られた時刻に前記第2ピクチャを復号し、
前記バッファメモリには、前記ビットストリームのうち前記遅延時間によって読み込まれなかった部分がある場合、前記ビットストリームに付与されたデータ読み込みレートよりも高速に前記ビットストリームが読み込まれる
画像復号方法。 - ビュー間予測を含む方法で、各ビューにピクチャを含む複数のビューを符号化する画像符号化方法であって、
前記複数のビューを符号化し、前記複数のビューのビュー間において参照関係を有する複数のピクチャに同一の復号時刻を付与する符号化処理ステップと、
符号化された前記複数のビューを読み込む画像復号装置のバッファメモリのサイズが、前記復号時刻に復号が瞬時に完了することを想定して定められる規定サイズより、ビュー間予測により参照されるピクチャの復号が完了するまでに要する遅延時間中に読み込まれる符号化された前記複数のビューのデータサイズを減算して得られるサイズ以下であるとして、符号化処理ステップで符号化させるレート制御ステップとを含む
画像符号化方法。 - 請求項8〜10のいずれか1項に記載の画像復号方法に含まれるステップをコンピュータに実行させる
プログラム。 - 請求項11に記載の画像符号化方法に含まれるステップをコンピュータに実行させる
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010503295A JP5568465B2 (ja) | 2008-09-18 | 2009-09-14 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US9794008P | 2008-09-18 | 2008-09-18 | |
US61/097,940 | 2008-09-18 | ||
JP2009077415 | 2009-03-26 | ||
JP2009077415 | 2009-03-26 | ||
JP2010503295A JP5568465B2 (ja) | 2008-09-18 | 2009-09-14 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム |
PCT/JP2009/004566 WO2010032419A1 (ja) | 2008-09-18 | 2009-09-14 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010032419A1 JPWO2010032419A1 (ja) | 2012-02-02 |
JP5568465B2 true JP5568465B2 (ja) | 2014-08-06 |
Family
ID=42039269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010503295A Expired - Fee Related JP5568465B2 (ja) | 2008-09-18 | 2009-09-14 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US8885709B2 (ja) |
EP (1) | EP2326092A4 (ja) |
JP (1) | JP5568465B2 (ja) |
KR (1) | KR101609890B1 (ja) |
CN (1) | CN101861735B (ja) |
TW (1) | TWI514856B (ja) |
WO (1) | WO2010032419A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110080948A1 (en) * | 2009-10-05 | 2011-04-07 | Xuemin Chen | Method and system for 3d video decoding using a tier system framework |
US8731053B2 (en) * | 2009-11-18 | 2014-05-20 | Tektronix, Inc. | Method of multiplexing H.264 elementary streams without timing information coded |
US9247286B2 (en) | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
US8823782B2 (en) | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
US8854531B2 (en) | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
US20110157322A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Controlling a pixel array to support an adaptable light manipulator |
US20110310956A1 (en) * | 2010-06-22 | 2011-12-22 | Jian-Liang Lin | Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof |
EP2608538B1 (en) * | 2010-08-18 | 2020-07-08 | Panasonic Corporation | 3d coding device |
WO2012042884A1 (ja) | 2010-09-29 | 2012-04-05 | パナソニック株式会社 | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路 |
JP5894922B2 (ja) * | 2010-09-30 | 2016-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 復号方法、復号装置、およびプログラム |
GB2499146B (en) * | 2010-11-15 | 2017-06-07 | Lg Electronics Inc | Method for transforming frame format and apparatus using same method |
US8548263B2 (en) | 2011-01-19 | 2013-10-01 | Microsoft Corporation | Delayed image decoding |
US8484391B2 (en) | 2011-06-20 | 2013-07-09 | Intel Corporation | Configurable buffer allocation for multi-format video processing |
US20150036753A1 (en) * | 2012-03-30 | 2015-02-05 | Sony Corporation | Image processing device and method, and recording medium |
JP6046923B2 (ja) * | 2012-06-07 | 2016-12-21 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム |
US10021388B2 (en) | 2012-12-26 | 2018-07-10 | Electronics And Telecommunications Research Institute | Video encoding and decoding method and apparatus using the same |
US9325992B2 (en) | 2013-01-07 | 2016-04-26 | Qualcomm Incorporated | Signaling of clock tick derivation information for video timing in video coding |
US20140211843A1 (en) * | 2013-01-31 | 2014-07-31 | Kabushiki Kaisha Toshiba | Moving image encoding device and moving image encoding method |
KR102218735B1 (ko) * | 2014-01-21 | 2021-02-23 | 삼성전자주식회사 | 불휘발성 메모리 장치를 포함하는 메모리 시스템 및 그것의 소거 방법 |
US10298931B2 (en) * | 2014-09-25 | 2019-05-21 | Microsoft Technology Licensing, Llc | Coupling sample metadata with media samples |
JP6649212B2 (ja) * | 2016-09-06 | 2020-02-19 | 株式会社東芝 | 符号化装置、復号装置、および画像処理システム |
US10944971B1 (en) * | 2017-05-22 | 2021-03-09 | Cinova Media | Method and apparatus for frame accurate field of view switching for virtual reality |
US10567703B2 (en) * | 2017-06-05 | 2020-02-18 | Cisco Technology, Inc. | High frame rate video compatible with existing receivers and amenable to video decoder implementation |
CN113574568A (zh) * | 2019-03-26 | 2021-10-29 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191461A (ja) * | 1995-01-10 | 1996-07-23 | Canon Inc | 画像符号化装置および画像復号装置 |
JPH11262000A (ja) * | 1998-03-12 | 1999-09-24 | Hitachi Denshi Ltd | 映像信号伝送方法及びその装置 |
JP2007180982A (ja) * | 2005-12-28 | 2007-07-12 | Victor Co Of Japan Ltd | 画像復号装置、画像復号方法、及び画像復号プログラム |
JP2008034893A (ja) * | 2006-03-28 | 2008-02-14 | Victor Co Of Japan Ltd | 多視点画像復号装置 |
JP2008034892A (ja) * | 2006-03-28 | 2008-02-14 | Victor Co Of Japan Ltd | 多視点画像符号化装置 |
WO2008047300A2 (en) * | 2006-10-16 | 2008-04-24 | Nokia Corporation | System and method for using parallelly decodable slices for multi-view video coding |
JPWO2006019014A1 (ja) * | 2004-08-17 | 2008-05-08 | 松下電器産業株式会社 | 画像符号化装置、画像復号化装置 |
JPWO2006038568A1 (ja) * | 2004-10-07 | 2008-05-15 | 日本電信電話株式会社 | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 |
JP2008182669A (ja) * | 2006-10-13 | 2008-08-07 | Victor Co Of Japan Ltd | 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2259588B1 (en) | 1996-02-28 | 2013-12-11 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device |
JPH1023375A (ja) * | 1996-07-04 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 順次ディジタルビデオ復号化装置 |
KR100574186B1 (ko) * | 1997-10-03 | 2006-04-27 | 소니 가부시끼 가이샤 | 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템 |
EP1501309A4 (en) * | 2002-04-26 | 2010-11-03 | Sony Corp | CODING DEVICE AND METHOD, DECODING DEVICE AND METHOD, EDITING DEVICE AND METHOD, RECORDING MEDIUM AND PROGRAM |
KR100504471B1 (ko) * | 2002-08-08 | 2005-08-03 | 엘지전자 주식회사 | 비디오 디코딩 시스템 |
US7042943B2 (en) * | 2002-11-08 | 2006-05-09 | Apple Computer, Inc. | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders |
CN1708991B (zh) * | 2002-11-08 | 2010-08-18 | 苹果公司 | 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置 |
PL2642756T3 (pl) * | 2006-10-16 | 2019-05-31 | Nokia Technologies Oy | System i sposób realizacji wydajnego zarządzania dekodowanymi buforami w kodowaniu wideo z wieloma widokami |
CN102124748A (zh) | 2009-02-27 | 2011-07-13 | 松下电器产业株式会社 | 记录介质、再生装置及集成电路 |
JP4962525B2 (ja) | 2009-04-08 | 2012-06-27 | ソニー株式会社 | 再生装置、再生方法、およびプログラム |
-
2009
- 2009-09-14 CN CN200980101017.3A patent/CN101861735B/zh not_active Expired - Fee Related
- 2009-09-14 US US12/743,424 patent/US8885709B2/en not_active Expired - Fee Related
- 2009-09-14 KR KR1020107010649A patent/KR101609890B1/ko not_active IP Right Cessation
- 2009-09-14 WO PCT/JP2009/004566 patent/WO2010032419A1/ja active Application Filing
- 2009-09-14 EP EP09814264A patent/EP2326092A4/en not_active Ceased
- 2009-09-14 JP JP2010503295A patent/JP5568465B2/ja not_active Expired - Fee Related
- 2009-09-17 TW TW098131359A patent/TWI514856B/zh not_active IP Right Cessation
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191461A (ja) * | 1995-01-10 | 1996-07-23 | Canon Inc | 画像符号化装置および画像復号装置 |
JPH11262000A (ja) * | 1998-03-12 | 1999-09-24 | Hitachi Denshi Ltd | 映像信号伝送方法及びその装置 |
JPWO2006019014A1 (ja) * | 2004-08-17 | 2008-05-08 | 松下電器産業株式会社 | 画像符号化装置、画像復号化装置 |
JPWO2006038568A1 (ja) * | 2004-10-07 | 2008-05-15 | 日本電信電話株式会社 | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 |
JP2007180982A (ja) * | 2005-12-28 | 2007-07-12 | Victor Co Of Japan Ltd | 画像復号装置、画像復号方法、及び画像復号プログラム |
JP2008034893A (ja) * | 2006-03-28 | 2008-02-14 | Victor Co Of Japan Ltd | 多視点画像復号装置 |
JP2008034892A (ja) * | 2006-03-28 | 2008-02-14 | Victor Co Of Japan Ltd | 多視点画像符号化装置 |
JP2008182669A (ja) * | 2006-10-13 | 2008-08-07 | Victor Co Of Japan Ltd | 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム |
WO2008047300A2 (en) * | 2006-10-16 | 2008-04-24 | Nokia Corporation | System and method for using parallelly decodable slices for multi-view video coding |
Also Published As
Publication number | Publication date |
---|---|
TW201018248A (en) | 2010-05-01 |
KR101609890B1 (ko) | 2016-04-06 |
US8885709B2 (en) | 2014-11-11 |
CN101861735B (zh) | 2013-08-21 |
KR20110068946A (ko) | 2011-06-22 |
CN101861735A (zh) | 2010-10-13 |
EP2326092A4 (en) | 2012-11-21 |
JPWO2010032419A1 (ja) | 2012-02-02 |
WO2010032419A1 (ja) | 2010-03-25 |
US20100272174A1 (en) | 2010-10-28 |
EP2326092A1 (en) | 2011-05-25 |
TWI514856B (zh) | 2015-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5568465B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法およびプログラム | |
KR101215615B1 (ko) | 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치 | |
JP4769717B2 (ja) | 画像復号化方法 | |
JP4311570B2 (ja) | 再生装置、ビデオ復号装置および同期再生方法 | |
DK2230844T3 (en) | REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO | |
JP4823349B2 (ja) | 三次元映像復号装置及び三次元映像復号方法 | |
JP5258885B2 (ja) | 符号化ストリーム再生装置及び符号化ストリーム再生方法 | |
WO2012111325A1 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム | |
TW201021028A (en) | Recording medium, playback device, and integrated circuit | |
TWI801883B (zh) | 視訊編碼器、視訊解碼器、用於編碼與解碼之方法及用以實現進階視訊寫碼概念之視訊資料串流 | |
JP4737003B2 (ja) | 編集装置、編集方法、編集プログラムおよび編集システム | |
US20080159636A1 (en) | Encoding apparatus and encoding method | |
WO2012169204A1 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
JP6008292B2 (ja) | ビデオストリームの映像のデータ作成装置及び再生装置 | |
JP2008035294A (ja) | 画像データ記録装置及び画像データ符号化装置 | |
JP2010252151A (ja) | 再生装置、及び同期再生方法 | |
JP2008258858A (ja) | 動画像符号化装置 | |
JP2006157855A (ja) | 情報記録媒体、画像符号化方法、および画像復号方法 | |
JP2010206463A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム | |
JP2006074327A (ja) | ビデオデータの再符号化装置及びビデオ配信システム | |
JP2006311135A (ja) | 動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5568465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |