JP6571646B2 - マルチビュービデオのデコード方法及び装置 - Google Patents

マルチビュービデオのデコード方法及び装置 Download PDF

Info

Publication number
JP6571646B2
JP6571646B2 JP2016524091A JP2016524091A JP6571646B2 JP 6571646 B2 JP6571646 B2 JP 6571646B2 JP 2016524091 A JP2016524091 A JP 2016524091A JP 2016524091 A JP2016524091 A JP 2016524091A JP 6571646 B2 JP6571646 B2 JP 6571646B2
Authority
JP
Japan
Prior art keywords
block
sub
information
picture
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016524091A
Other languages
English (en)
Other versions
JP2016537871A (ja
Inventor
チョンハク ナム
チョンハク ナム
チン ホ
チン ホ
テソプ キム
テソプ キム
チョントン ソ
チョントン ソ
セフン イェ
セフン イェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2016537871A publication Critical patent/JP2016537871A/ja
Application granted granted Critical
Publication of JP6571646B2 publication Critical patent/JP6571646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本発明は、ビデオコーディングに関する技術であり、さらに具体的には、3Dビデオ映像のコーディングに関する。
最近、高解像度、高品質の映像に対する要求が多様な応用分野において増加している。しかしながら、映像が高解像度を有し高品質になるほど、該当映像に関する情報量も共に増加する。
したがって、従来の有無線広帯域回線のような媒体を利用して、映像情報を送信するか、または従来の格納媒体を利用して映像情報を格納する場合には、情報の送信費用と格納費用が増加するようになる。高解像度、高品質映像の情報を効果的に送信、格納、及び再生するために、高効率の映像圧縮技術を利用できる。
一方、高解像/大容量の映像を処理できるようになるにつれて、3Dビデオを利用したデジタル放送サービスが次世代放送サービスの1つとして注目されている。3Dビデオは、複数の視点(view)チャネルを利用して現場感と没入感を提供できる。
3Dビデオは、FVV(free view point video)、FTV(free view point TV)、3DTV、社会安全網(surveillance)、及びホームエンターテイメントのような多様な領域に使用されることができる。
シングルビュービデオ(single view video)とは異なり、マルチビューを利用した3Dビデオは、同じPOC(picture order count)のビューの間に高い相関度(correlation)を有する。マルチビュー映像は、隣接した複数のカメラ、すなわち、複数視点(view)を利用して全く同じ場面を同時に撮影するから、視差と一抹の照明差を除外すると、ほとんど同じ情報を備えているので、互いに異なるビュー間の相関度が高い。
したがって、マルチビュービデオのエンコード/デコードでは、互いに異なるビュー間の相関度を考慮して、現在ビューのエンコード及び/又はデコードに必要な情報を取得できる。例えば、現在ビューのデコード対象ブロックを他のビューのブロックを参照して予測またはデコードできる。
本発明は、他のビューのピクチャに基づいて現在ビューの情報を復元する方法及び装置を提供することを目的とする。
本発明は、テクスチャビューの動き情報をデプスビュー内の現在ブロックに対する動き情報に継承する方法及び装置を提供することを目的とする。
本発明は、テクスチャビューの動き情報をサブブロック単位に引き出し、デプスビューの現在ブロックに対する動き情報として利用する方法及び装置を提供することを目的とする。
本発明は、テクスチャビューの動き情報を予測ブロック単位またはサブ予測ブロック単位に引き出し、現在ブロックの予測サンプルを引き出す方法及び装置を提供することを目的とする。
本発明の一実施形態は、マルチビュービデオをデコードするビデオデコード装置であって、ビットストリームをエントロピーデコードしてデプスピクチャ内の現在ブロックのデコードに必要なビデオ情報を出力するエントロピーデコード部、前記現在ブロックのデコードに参照されるピクチャを格納するメモリ、及び同一ビュー内のテクスチャピクチャの動き情報を前記現在ブロックに対する動き情報として利用して、前記現在ブロックに対する予測サンプルを引き出す予測部を備え、前記予測部は、前記テクスチャピクチャの動き情報を前記現在ブロックのサブブロック単位に引き出すかを決定し、前記決定に基づいて、前記現在ブロックに対する動き情報を引き出すことができる。
本発明の他の実施形態は、マルチビュービデオをデコードするビデオデコード方法であって、ビットストリームをエントロピーデコードしてデプスピクチャ内の現在ブロックのデコードに必要なビデオ情報を引き出すステップ、前記ビデオ情報に基づいて、前記現在ブロックに対する動き情報をテクスチャピクチャからサブブロック単位に引き出すかを決定するステップ、前記決定に応じて、前記テクスチャピクチャから前記現在ブロックに対する動き情報を引き出すステップ、及び前記動きベクトルを用いて、前記現在ブロックに対する予測サンプルを引き出すステップを含むことができる。
本発明によれば、ビューの動き情報をデプスビュー内の現在ブロックに対する動き情報に継承してデプスビューを効果的にコーディングすることができる。
本発明によれば、テクスチャビューの動き情報をサブブロック単位に引き出し、デプスビューの現在ブロックに対する動き情報として利用することができる。
本発明によれば、必要に応じてテクスチャビューの動き情報を予測ブロック単位に引き出すか、サブ予測ブロック単位に引き出し、デプスビューの現在ブロックに対する動き情報として利用することができる。
3Dビデオのエンコード及びデコード過程を概略的に説明する図である。 ビデオエンコード装置の構成を概略的に説明する図である。 ビデオデコード装置の構成を概略的に説明する図である。 インタビューコーディングを概略的に説明する図である。 デプスマップを用いるマルチビューコーディング方法を概略的に説明する。 DV−MCPブロックを概略的に説明する図である。 現在ブロックの周辺ブロックの一例を概略的に説明する図である。 テクスチャピクチャから情報を引き出す方法に関して概略的に説明する図である。 MVIを介してテクスチャピクチャの動きベクトルを引き出す過程を概略的に説明する図である。 サブブロック単位にMVIを適用して動きベクトルを引き出す方法を概略的に説明する図である。 本発明に係るデコード装置の動作を概略的に説明する順序図である。
本明細書においてピクセル(pixel)またはペル(PEL)は、1つの映像を構成する最小の単位を意味できる。また、特定のピクセルの値を表す用語として「サンプル(sample)」が使用されることができる。サンプルは、一般にピクセルの値を表すが、輝度(Luma)成分のピクセル値のみを指示することもでき、色差(Chroma)成分のピクセル値のみを指示することもできる。
「ユニット(unit)」は、映像処理の基本単位または映像の特定位置を意味できる。ユニットは、場合によって「ブロック(block)」または「領域(area)」などの用語と互いに混用して使用されることができる。通常の場合、MxNブロックは、M個の列とN個の行からなるサンプルまたは変換係数(transform coefficient)の集合を表すことができる。
以下、図面を利用して、本発明について具体的に説明する。
図1は、3Dビデオのエンコード及びデコード過程を概略的に説明する図である。
図1に示すように、3Dビデオエンコーダは、ビデオピクチャ及びデプスマップ(depth map)とカメラパラメータをエンコードして、ビットストリームとして出力できる。
デプスマップは、対応するビデオピクチャ(テクスチャピクチャ)のピクセルに対して、カメラと被写体との間の距離情報(深さ情報)から構成されることができる。例えば、デプスマップは、深さ情報をビットデプス(bit depth)に従って正規化した映像でありうる。このとき、デプスマップは、色差表現なしで記録された深さ情報から構成されることができる。
一般に、被写体との距離と変位(ディスパリティ)は、互いに反比例するので、カメラパラメータを利用してデプスマップの深さ情報からビュー間の相関度を表すディスパリティ情報を引き出すことができる。
一般的なカラー映像、すなわち、ビデオピクチャ(テクスチャピクチャ)と共にデプスマップとカメラ情報を含むビットストリームは、ネットワークまたは格納媒体を介してデコーダに送信されることができる。
デコーダ側では、ビットストリームを受信してビデオを復元できる。デコーダ側において3Dビデオデコーダが利用される場合に、3Dビデオデコーダは、ビットストリームからビデオピクチャとデプスマップ及びカメラパラメータをデコードできる。デコードされたビデオピクチャとデプスマップ、そしてカメラパラメータに基づいてマルチビュー(multi view)ディスプレイに必要なビューを合成できる。このとき、使用されるディスプレイがステレオ(streo)ディスプレイであると 、復元されたマルチビューのうち、2つのピクチャを利用して3D映像をディスプレイできる。
ステレオビデオデコーダが使用される場合に、ステレオビデオデコーダは、ビットストリームから両眼に各々入射される2つのピクチャを復元できる。ステレオディスプレイでは、左眼に入射される左側映像と右眼に入射される右側映像の視差(view difference)あるいは変位(disparity)を利用して立体映像をディスプレイできる。ステレオビデオデコーダと共にマルチビューディスプレイが使用される場合には、復元された2つのピクチャに基づいて他のビューを生成して、マルチビューをディスプレイすることもできる。
2Dデコーダが使用される場合には、2次元映像を復元して2Dディスプレイに映像を出力できる。2Dディスプレイを使用するが、デコーダは、3Dビデオデコーダを使用するか、またはステレオビデオデコーダを使用する場合には、復元された映像のうちのいずれか1つを2Dディスプレイに出力することもできる。
図1の構成において、ビュー合成は、デコーダ側で行われることもでき、ディスプレイ側で行われることもできる。また、デコーダとディスプレイは、1つの装置場合であってもよく、別の装置であってもよい。
図1では、説明の便宜上、3Dビデオデコーダとステレオビデオデコーダ、及び2Dビデオデコーダが別のデコーダであると説明したが、1つのデコード装置が3Dビデオデコード、ステレオビデオデコード、及び2Dビデオデコードを全部行うこともできる。また、3Dビデオデコード装置が3Dビデオデコードを行い、ステレオビデオデコード装置がステレオビデオデコードを行い、2Dビデオデコード装置が2Dビデオデコード装置を行うこともできる。なお、マルチビューディスプレイが2Dビデオを出力するか、またはステレオビデオを出力することもできる。
図2は、ビデオエンコード装置の構成を概略的に説明する図である。図2に示すように、ビデオエンコード装置200は、ピクチャ分割部205、予測部210、減算部215、変換部220、量子化部225、再整列部230、エントロピーエンコード部235、逆量子化部240、逆変換部245、加算部250、フィルタ部255及びメモリ260を備える。
ピクチャ分割部205は、入力されたピクチャを少なくとも1つの処理単位ブロックに分割できる。このとき、処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、コーディングの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割(Partitioning)されるブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることができ、変換係数を引き出す単位ブロックまたは変換係数から残留信号を引き出す単位ブロックでありうる。
以下、説明の便宜上、コーディング単位ブロックは、コーディングブロックまたはコーディングユニット(coding unit:CU)といい、予測単位ブロックは、予測ブロックまたは予測ユニット(prediction unit:PU)といい、変換単位ブロックは、変換ブロックまたは変換ユニット(transform unit:TU)という。
予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、予測サンプルのアレイを意味することもできる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味することもでき、変換係数またはレジデュアルサンプルのアレイを意味することもできる。
予測部210は、処理対象ブロック(以下、現在ブロックとする)に対した予測を行い、現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部210で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。
予測部210は、現在ブロックにイントラ予測が適用されるか、インタ予測が適用されるかを決定できる。
イントラ予測の場合に、予測部210は、現在ブロックが属するピクチャ(以下、現在ピクチャ)内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを引き出すことができる。このとき、予測部210は、(i)現在ブロックの周辺参照サンプルの平均あるいは補間(interpolation)を基盤とする予測サンプルを引き出すこともでき、(ii)現在ブロックの周辺ブロックのうち、予測対象ピクセルに対して特定方向に存在する参照サンプルに基づいて、予測サンプルを引き出すこともできる。説明の便宜上、(i)の場合を非方向性モード、(ii)の場合を方向性モードという。予測部210は、周辺ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。
インタ予測の場合に、予測部210は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを引き出すことができる。予測部210は、スキップ(skip)モード、マージ(merge)モード、及びMVPモードのうち、いずれか1つを適用して、現在ブロックに対する予測サンプルを引き出すことができる。スキップモードとマージモードの場合に、予測部210は、周辺ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプル間の差(レジデュアル)が送信されない。MVPモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor:MVP)として利用して、現在ブロックの動きベクトルを引き出すことができる。
インタ予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロックと参照ピクチャ(collocated picture)に存在するとき間的周辺ブロックを含む。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。
従属ビュー(dependent view)に対するエンコードの場合に、予測部210は、インタビュー予測を行うことができる。
予測部210は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。インタビュー予測のために、予測部210は、ディスパリティ(disparity)ベクトルを引き出すことができる。現在ビュー内の他のピクチャで現在ブロックに対応するブロックを特定する動きベクトルとは異なり、ディスパリティベクトルは、現在ピクチャと同じAU(Access Unit)の他のビューで現在ブロックに対応するブロックを特定できる。
予測部210は、ディスパリティベクトルに基づいて、デプスビュー(depth view)内のデプスブロック(depth block)を特定でき、マージリストの構成、インタビュー動き予測(interview motion prediction)、レジデュアル予測、IC(Illumination Compensation)、ビュー合成などを行うことができる。
現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から引き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから引き出されることができる。
例えば、予測部210は、参照ビュー(reference view)の時間的動き情報に対応するインタビューマージ候補(inter−view merging candidate:IvMC)、ディスパリティベクトルに対応するインタビューディスパリティベクトル候補(inter−view disparity vector candidate:IvDC)、ディスパリティベクトルのシフト(shift)により引き出されるシフトインタビューマージ候補(shifted IvMC)、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから引き出されるテクスチャマージ候補(texture merging candidate:T)、テクスチャマージ候補からディスパリティを利用して引き出されるディスパリティ引き内のマージ候補(disparity derived merging candidate:D)、ビュー合成に基盤して引き出されるビュー合成予測マージ候補(view synthesis prediction merge candidate:VSP)などをマージ候補リストに追加できる。
このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。
また、予測部210は、インタ−ビュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部210は、対応する深さブロック内の最大深さ値の転換(conversion)に基づいてディスパリティベクトルを引き出すことができる。参照ビュー内の現在ブロックのサンプル位置にディスパリティベクトルを加算して参照ビュー内の参照サンプルの位置が特定されれば、参照サンプルを含むブロックを参照ブロックとして用いることができる。予測部210は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として用いることができ、ディスパリティベクトルをディスパリティ補償予測(Disparity−Compensated Prediction:DCP)のための候補ディスパリティベクトルとして用いることができる。
減算部215は、原本サンプルと予測サンプル間の差であるレジデュアルサンプルを生成する。スキップモードが適用される場合には、上述のように、レジデュアルサンプルを生成しなくても良い。
変換部220は、変換ブロック単位にレジデュアルサンプルを変換して、変換係数(transform coefficient)を生成する。量子化部225は、変換係数を量子化して、量子化された変換係数を生成できる。
再整列部230は、量子化された変換係数を再整列する。再整列部230は、係数をスキャニング(Scanning)方法によりブロック形態の量子化された変換係数を1次元ベクトル形態に再整列できる。
エントロピーエンコード部235は、量子化された変換係数に対するエントロピーエンコードを行うことができる。エントロピーエンコードには、例えば、指数ゴロム(Exponential Golomb)、CAVLC(Context−Adaptive Variable Length Coding)、CABAC(Context−Adaptive Binary Arithmetic Coding)などのようなエンコード方法を使用することができる。エントロピーエンコード部235は、量子化された変換係数の他にビデオ復元に必要な情報(例えば、シンタックスエレメント(syntax element)の値等)を共にまたは別にエンコードすることもできる。
エントロピーエンコードされた情報は、ビットストリーム形態でNAL(Network Abstraction Layer)ユニット単位に送信または格納されることができる。
逆量子化(dequantization)部240は、量子化された変換係数を逆量子化して、変換係数を生成する。逆変換(inverse transform)部245は、変換係数を逆変換してレジデュアルサンプルを生成する。
加算部250は、レジデュアルサンプルと予測サンプルを合わせてピクチャを復元する。レジデュアルサンプルと予測サンプルは、ブロック単位に加算されて復元ブロックを生成することもできる。ここで、加算部250は、別の構成と説明したが、加算部250は、予測部210の一部であっても良い。
復元されたピクチャ(reconstructed picture)に対してフィルタ部255は、デブロッキングフィルタ及び/又はオフセットを適用できる。デブロッキングフィルタリング及び/又はオフセットを介して、復元ピクチャ内のブロック境界のアーチファクトまたは量子化過程での歪みが補正されることができる。オフセットは、サンプル単位に適用されても良く、デブロッキングフィルタリングの過程が完了した後に適用されても良い。
メモリ260は、復元ピクチャまたはエンコード/デコードに必要な情報を格納することができる。例えば、メモリ260は、インタ予測/インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インタ予測/インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。
ここでは、1つのエンコード装置が独立ビュー及び従属ビューをエンコードすると説明したが、これは、説明の便宜のためのものであり、各ビュー別に別のエンコード装置が構成されるか、または各ビュー別に別の内部モジュール(例えば、各ビュー別予測部)が構成されることもできる。
図3は、ビデオデコード装置の構成を概略的に説明する図である。図3に示すように、ビデオデコード装置300は、エントロピーデコード部310、再整列部320、逆量子化部330、逆変換部340、予測部350、加算部360、フィルタ部370、メモリ380を備える。
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置300は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元できる。
例えば、ビデオデコード装置300は、ビデオエンコード装置で適用された処理単位を利用して、ビデオデコードを行うことができる。したがって、ビデオデコードの処理単位ブロックは、コーディング単位ブロック、予測単位ブロックまたは変換単位ブロックでありうる。コーディング単位ブロックは、デコードの単位ブロックとして最大コーディング単位ブロックからクアッドツリー構造に従って分割されることができる。予測単位ブロックは、コーディング単位ブロックから分割される(partitioning)ブロックであり、サンプル予測の単位ブロックでありうる。このとき、予測単位ブロックは、サブブロックに分けられることもできる。変換単位ブロックは、コーディング単位ブロックからクアッドツリー構造に従って分割されることもでき、変換係数を引き出す単位ブロックまたは変換係数から残留信号を引き出す単位ブロックでありうる。
エントロピーデコード部310は、ビットストリームをパッシングしてビデオ復元またはピクチャ復元に必要な情報を出力できる。例えば、エントロピーデコード部310は、指数ゴロム、CAVLC、CABACなどに基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力できる。
3Dビデオを再生するために、複数のビュー(view)を処理する場合、ビットストリームは、各ビュー別に入力されることができる。あるいはビットストリーム内で各ビューに対する情報がマルチプレクスされていることもできる。この場合、エントロピーデコード部310は、ビットストリームを逆多重化(de−multiplexing)して、ビュー別にパッシングすることもできる。
再整列部320は、量子化されている変換係数を2次元のブロック形態に再整列できる。再整列部320は、エンコード装置で行われた係数スキャニングに対応して再整列を行うことができる。
逆量子化部330は、量子化されている変換係数を(逆)量子化パラメータに基づいて逆量子化して、変換係数を出力できる。このとき、量子化パラメータを引き出すための情報は、エンコード装置からシグナリングされることができる。
逆変換部340は、変換係数を逆変換してレジデュアルサンプルを引き出すことができる。
予測部350は、現在ブロックに対する予測を行い、現在ブロックに対する予測サンプルを含む予測ブロックを生成できる。予測部350で行われる予測の単位は、コーディングブロックであっても良く、変換ブロックであっても良く、予測ブロックであっても良い。
予測部350は、イントラ予測を適用するかインタ予測を適用するかを決定できる。このとき、イントラ予測とインタ予測のうちのいずれを適用するかを決定する単位と予測サンプル生成する単位とは、互いに異なりうる。また、インタ予測とイントラ予測において、予測サンプルを生成する単位もやはり、互いに異なりうる。
イントラ予測の場合に、予測部350は、現在ピクチャ内の周辺ブロック画素に基づいて、現在ブロックに対する予測サンプルを引き出すことができる。予測部350は、現在ブロックの周辺参照サンプルに基づいて方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを引き出すことができる。このとき、周辺ブロックのイントラ予測モードを利用して、現在ブロックに適用する予測モードが決定されることもできる。
インタ予測の場合に、予測部350は、参照ピクチャ上において動きベクトルにより特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを引き出すことができる。予測部350は、スキップ(skip)モード、マージ(merge)モード及びMVPモードのうち、いずれか1つを適用して、現在ブロックに対する予測サンプルを引き出すことができる。
スキップモードとマージモードの場合に、周辺ブロックの動き情報が現在ブロックの動き情報として利用されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
予測部350は、利用可能(available)周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャを含む。スキップモードとマージモードにおいて時間的周辺ブロックの動き情報が利用される場合に、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして利用されることもできる。
スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差(レジデュアル)が送信されない。
MVPモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(MVP)として利用して、現在ブロックの動きベクトルが引き出されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
従属ビュー(dependent view)に対するエンコードの場合に、予測部350は、インタビュー予測を行うこともできる。このとき、予測部350は、他のビューのピクチャを含んで参照ピクチャリストを構成できる。
インタビュー予測のために、予測部210は、ディスパリティ(disparity)ベクトルを引き出すことができる。予測部350は、ディスパリティベクトルに基づいて、デプスビュー(depth view)内のデプスブロック(depth block)を特定でき、マージリストの構成、インタビュー動き予測(interview motion prediction)、レジデュアル予測、IC(Illumination Compensation)、ビュー合成などを行うことができる。
現在ブロックに対するディスパリティベクトルは、カメラパラメータを利用してデプス値から引き出されるか、現在または他のビュー内の周辺ブロックの動きベクトルまたはディスパリティベクトルから引き出されることができる。カメラパラメータは、エンコード装置からシグナリングされることができる。
従属ビューの現在ブロックにマージモードを適用する場合に、予測部350は、参照ビュー(reference view)の時間的動き情報に対応するIvMC、ディスパリティベクトルに対応するIvDC、ディスパリティベクトルのシフト(shift)により引き出されるシフトIvMC、現在ブロックがデプスマップ上のブロックである場合に対応するテクスチャから引き出されるテクスチャマージ候補(T)、テクスチャマージ候補からディスパリティを利用して引き出されるディスパリティ引き内のマージ候補(D)、ビュー合成に基盤して引き出されるビュー合成予測マージ候補(VSP)などをマージ候補リストに追加できる。
このとき、従属ビューに適用されるマージ候補リストに含まれる候補の数は、所定の値に制限されることができる。
また、予測部350は、インタ−ビュー動きベクトル予測を適用して、ディスパリティベクトルに基づいて現在ブロックの動きベクトルを予測することもできる。このとき、予測部350は、ディスパリティベクトルによって特定される参照ビュー内のブロックを参照ブロックとして利用できる。予測部350は、参照ブロックの動きベクトルを現在ブロックの候補動きパラメータあるいは動きベクトル予測子候補として利用でき、ディスパリティベクトルをDCPのための候補ディスパリティベクトルとして利用できる。
加算部360は、レジデュアルサンプルと予測サンプルを加算して現在ブロックあるいは現在ピクチャを復元できる。加算部360は、レジデュアルサンプルと予測サンプルをブロック単位に加算して現在ピクチャを復元することもできる。スキップモードが適用された場合には、レジデュアルが送信されないので、予測サンプルが復元サンプルになることができる。ここでは、加算部360を別の構成と説明したが、加算部360は、予測部350の一部であっても良い。
フィルタ部370は、復元されたピクチャにデブロッキングフィルタリング及び/又はオフセットを適用できる。このとき、オフセットは、サンプル単位のオフセットとして適応的に適用されることができる。
メモリ380は、復元ピクチャまたはデコードに必要な情報を格納することができる。例えば、メモリ380は、インタ予測/インタ−ビュー予測に使用されるピクチャを格納することができる。このとき、インタ予測/インタ−ビュー予測に使用されるピクチャは、参照ピクチャセットあるいは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、参照ピクチャとして利用されることができる。
また、メモリ380は、復元されたピクチャを出力順序に従って出力することもできる。3D映像を再生するために、図示していないが、出力部は、複数の互いに異なるビューをディスプレイできる。
図3の例では、1つのデコード装置において独立ビュー(independent view)と従属ビュー(dependent view)がデコードされると説明したが、これは、説明の便宜のためのものであり、本発明は、これに限定されない。例えば、ビュー別に各々のデコード装置が動作することもでき、1つのデコード装置内に各ビューに対応する動作部(例えば、予測部)が備えられることができる。
マルチビューのビデオをコーディングする場合に、エンコード装置及びデコード装置は、現在ピクチャと同じAU(Access Unit)に属する他のビューのコーディングされるデータを利用して、現在ビューに対するビデオコーディングの効率を上げることができる。このとき、POC(Picture Order Count)が同じピクチャを1つのAUとすることができる。POCは、ピクチャのディスプレイ順序に対応する。
エンコード装置及びデコード装置は、AU単位にビューをコーディングすることもでき、ビュー単位にピクチャをコーディングすることもできる。ビューの間には、決まった順序にしたがってコーディングが行われる。最も速くコーディングされるビューをベースビュー(base view)または独立ビューということができる。独立ビューがコーディングされた後に、他のビューを参照してコーディングされることのできるビューを従属ビューということができる。また、現在ビューが従属ビューである場合に、現在ビューのコーディング(エンコード/デコード)に参照される他のビューを参照ビューということもできる。
図4は、インタビューコーディングを概略的に説明する図である。図4の例において、コーディングはAU単位に行われ、V0が独立ビューであり、V1が従属ビューであるという。現在ピクチャ410内のブロックAのように、動きベクトルを用いて同じビューの他のピクチャ430を参照するインタピクチャ予測を動き補償予測(Motion−Compensated Prediction:MCP)ということができる。また、現在ピクチャ内のブロックBのように、ディスパリティベクトルを用いて同じアクセスユニット内、すなわち、同じPOCを有する他のビューのピクチャ420を参照するインタピクチャ予測をディスパリティ補償予測(Disparity−Compensated Prediction:DCP)ということができる。
マルチビューのビデオをコーディングするとき、他のビューのピクチャを用いる方法の他に、デプスマップ(depth map)を用いることもできる。
図5は、デプスマップを用いるマルチビューコーディング方法を概略的に説明する。
図5に示すように、現在ビュー内の現在ピクチャ500のブロック(現在ブロック、505)は、デプスマップ510を用いてコーディング(エンコード/デコード)されることができる。このとき、現在ブロック505内のサンプル515の位置x、yに対応するデプスマップ510内のサンプル520の位置x、yの深さ(depth)値dがディスパリティベクトル525に変換されることができる。深さ値dは、サンプル(ピクセル)とカメラとの間の距離に基づいて引き出されることができる。
エンコード装置及びデコード装置は、ディスパリティベクトル525をサンプル530の位置x、yに加算して、参照ビュー内の現在ピクチャ540内の参照サンプル535の位置を決定することができる。ディスパリティベクトルは、x軸成分のみを有していることができる。したがって、ディスパリティベクトルの値は、(disp、0)でありうるし、参照サンプル540の位置xr、yは、(x+disp、y)に決定されることができる。
エンコード装置及びデコード装置は、参照ピクセル535を含む参照ブロック545の動きパラメータ(motion parameter)、現在ブロックの動きパラメータの候補として使用することができる。例えば、参照ビュー内の参照ピクチャ550が参照ブロック545に対する参照ピクチャであれば、参照ブロック545の動きベクトル555は、現在ブロック505の動きベクトル560に引き出されることもできる。このとき、ピクチャ565は、現在ビュー内の参照ピクチャである。
一方、上述したように、マルチビューのビデオデコードにおいては、ディスパリティベクトルを用いて他のビューの情報を参照することができる。
従属ビューのピクチャをコーディング(エンコード/デコード)する場合に、既にコーディングされた周辺ブロックのうち、DCPコーディングされたブロックがある場合、DCPコーディングブロックのディスパリティベクトルを現在ブロックに適用するディスパリティベクトルとして用いることができる。このとき、周辺ブロックから引き出したディスパリティベクトル、すなわち、DCPコーディングされたブロックのディスパリティベクトルは、現在ブロックにインタ−ビュー動き予測(IVMP)とインタ−ビューレジデュアル予測(IVRP)を適用するためのディスパリティベクトルとして用いられることができる。
現在ブロックの動きベクトルがIVMPにより決定された場合を先に説明する。動きベクトル予測モード(motion vector prediction:MVPあるいはadvanced motion vector prediction:AMVP)、マージ(merge)モードあるいはスキップ(SKIP)モードにおいて、インタ−ビュー参照ピクチャ内の対応ブロックの動きベクトルから引き出される候補が、現在ブロックに適用された動きベクトルとして選択された場合、現在ブロックは、MCPにコーディングされる。
このように、MCPにコーディングされたブロックのうち、IVMP方法でモーションベクトルが予測されたブロックをDV−MCPブロックという。
図6は、DV−MCPブロックを概略的に説明する図である。図6では、現在ビューの現在ピクチャ610内の現在ブロック620をインタ予測する場合を例示している。
図6に示すように、現在ブロック620のインタ予測に使用される周辺ブロック630の動きベクトルMV1がベースビュー内の参照ピクチャ640の対応ブロック650から引き出される。このとき、対応ブロックは、ディスパリティベクトルDV(660)により特定される。現在ブロック630のインタ予測に使用される候補ブロックとして、周辺ブロック630の動きベクトルMV1は、対応ブロック650の動きベクトルMV2に設定されるか、またはMV2から引き出されることができる。
このとき、ベースビュー内の参照ピクチャ640と現在ピクチャ610のPOCは、同一でありうる。他のビュー内の対応ブロック650の動きベクトルMV2から予測された動きベクトルMV1が適用された周辺ブロック630をDV−MCPブロックということができる。
エンコード装置とデコード装置とは、DV−MCPブロックの動きベクトル予測に利用されたディスパリティベクトルの情報を格納して、周辺ブロックのディスパリティベクトル引出過程に活用することができる。
図7は、現在ブロックの周辺ブロックの一例を概略的に説明する図である。図7の周辺ブロックは、現在ブロックをデコードする時点で既にデコードが終わり、接近(access)が可能なブロックである。
現在ブロック710の周辺ブロックは、空間的(spatial)周辺ブロックA0、A1、B0、B1、B2と時間的(temporal)周辺ブロックcol−CTR(col−center)、col−RB(col−right bottom)とを含む。空間的周辺ブロックは、現在ブロック710の位置を基準としてそれぞれの位置が特定される。
また、時間的周辺ブロックは、参照ピクチャのうちの1つであるコル−ピクチャ(collocated picture)で現在ブロックに対応する位置720を基準としてそれぞれの位置が特定される。時間的周辺ブロックの場合、現在ピクチャあるいは現在スライスをデコードする時点に指定されたコル−ピクチャ(collocated picture)での現在ブロック720の中心に位置したピクセルを含むコーディングブロックがcol−CTRとなる。また、コル−ピクチャでの現在ブロック720の右下端ピクセル位置が(x、y)である場合、(x+1、y+1)位置のピクセルを含むコーディングブロックがcol−RBとなる。以下、本明細書では、説明の便宜上、col−CTRは、CTR、col−BRは、BRで表現することもある。
コル−ピクチャ(col−located picture)は、現在ピクチャあるいは現在スライスの参照ピクチャリストに含まれた時間的参照ピクチャ(temporal reference picture)のうちの1つが時間的ディスパリティベクトル引出(temporal disparity vector derivation)のために選択されたものでありうる。
コル−ピクチャは、スライスヘッダ(slice header)を介してデコーダに知られることができる。例えば、どのピクチャをコル−ピクチャとして使用するかを指示する情報は、スライスヘッダでシグナリングされることができる。
一方、インタ−ビュー予測を利用して現在ブロックを復元する場合に、現在ブロックに対してマージモードが適用されるときには、予測ブロック(例えば、PU)またはサブ−予測ブロック(例えば、サブ−PU)単位に予測サンプルを引き出すこともできる。
例えば、エンコード装置及びデコード装置の予測部は、現在予測ブロックがテクスチャ内にあり、現在スライス内に少なくとも1つのインタ−ビュー参照ブロックがあると、現在ブロックに対応するブロックがディスパリティベクトルに基づいて特定されることができ、対応ブロックを用いてPUレベルあるいはサブPUレベルで予測サンプルを引き出すことができる。
マルチ−ビュービデオのデコードでマージモードを利用した予測が現在ブロックに適用される場合、エンコード装置及びデコード装置の予測部は、ベースビューと同じ方法でマージ候補リストを構成した後、参照ビュー内の対応ブロックの動きベクトルを用いるインタ−ビューマージ候補(inter−view merge candidate、IvMC)、参照ビュー内の対応ブロックのディスパリティベクトルを用いるインタ−ビューディスパリティベクトル候補(inter−view disparity vector candidate、IvDC)、IvMCとIvDCをシフト(shift)したシフトされたIvMC(shifted IvMC)とシフトされたIvDC(shifed IvDC)、デプスに基づいて引き出されるビュー合成予測(view synthesis prediction、VSP)マージ候補をマージ候補リストに追加することができる。
以下、マージ候補リストを構成するマージ候補を概略的に説明する。
まず、ベースビューで使用されるマージ候補リストと同様に、空間的周辺ブロックから利用可能な動きベクトルが引き出される。このとき、現在ブロックの空間的周辺ブロックは、図7に示された現在ブロック710周辺のブロックA0、A1、B0、B1、B2となる。
また、現在ビューとは異なる参照ビュー内の対応ブロックの情報を現在ブロックのマージ候補として利用することができる。対応ブロックは、ディスパリティベクトルにより特定されることができる。ディスパリティベクトルは、DCPまたはMCPが適用された周辺ブロックのディスパリティベクトルまたは動きベクトルから引き出されることができ、引き出された動きベクトルをデプスマップを用いて修正した値をディスパリティベクトルとして使用することもできる。便宜上、周辺ブロックから引き出したディスパリティベクトルをNBDV(Disparity vector from neighbouring blocks)といい、深さ値を用いてNBDVから引き出すディスパリティベクトルをDoNBDV(depth oriented NBDV)という。
エンコード装置及びデコード装置の予測部は、インタ−ビューマージ候補(IvMC)として参照ビューでディスパリティベクトルにより特定される参照ブロックが、時間的動き補償をする場合に使用した動きベクトルを用いることができる。すなわち、参照ビューでMCPが適用されたブロックの動きベクトルを現在ブロックの動きベクトル候補として使用することができる。このとき、参照ブロックを特定するのに用いられるディスパリティベクトルは、現在ブロックの周辺ブロックに基づいて引き出されるNBDVまたはDoNBDVが使用されることができ、デプスマップに基づいて引き出される値が使用されることもできる。一方、IvMCの引出のために、PUレベルまたはサブPUレベルの引出方法が使用され得る。
また、エンコード装置及びデコード装置の予測部は、インタ−ビューディスパリティベクトル候補(IvDC)として参照ビュー内の対応ブロックのディスパリティベクトルを用いることができる。
エンコード装置とデコード装置の予測部は、ディスパリティベクトルを特定値の分だけシフト(shift)した後、シフトされたディスパリティベクトルにより特定される対応ブロックの動きベクトルをシフトされたIvMC(shifted IvMC、IvMCShift)に引き出すことができる。予測部は、ディスパリティベクトルを現在予測ブロックの高さと幅を用いてシフトすることができる。例えば、予測部は、現在ブロックの高さがnPbH、幅がnPbWである場合に、ディスパリティベクトルをx軸方向にnPbW*2+2だけシフトし、y軸方向にnPbH*2+2だけシフトして、IvMCShiftを引き出すことができる。予測部は、IvMCとIvMCShiftとが同一でない場合に、IvMCShiftを現在ブロックのマージ候補として追加することができる。
エンコード装置とデコード装置の予測部は、ディスパリティベクトルを特定値の分だけシフトした後、シフトされたディスパリティベクトル(shifted IvDC、IvDCShift)を現在ブロックのマージ候補に追加することができる。例えば、予測部は、IvDCをx軸にのみ所定距離(例えば、4)移動したディスパリティベクトルをIvDCShiftとして用いることができる。また、予測部は、ビュー合成予測が適用される場合を考慮して、IvDCShiftを引き出すこともできる。例えば、予測部は、ビュー合成予測が行われ得る場合には、IvDCShiftのy成分を0に置くこともできる。
一方、エンコード装置及びデコード装置の予測部は、インタ−ビュー予測に基づいて動きベクトルをマージ候補リストに追加する場合に、デプスマップの情報に基づく候補を引き出すことができる。
例えば、予測部は、ビデオ信号とデプス信号との間の類似性に基づいて、ビデオ信号から動き情報を持ってきて使用する動きパラメータ継承方法(motion parameter inheritance、MPI)を適用することもできる。この場合、1つのデプスPUから分割されたサブPU別に互いに異なる動きベクトルがテクスチャから継承されることができる。現在ブロックがデプスマップのブロックであり、MPIが適用される場合に、予測部は、テクスチャから継承した動きベクトルを用いるマージ候補Tと、Tに基づいて引き出されたデプス候補Dとをマージ候補として追加することができる。Dが用いられる場合に、予測サンプルは、対応するディスパリティベクトルから引き出されるデプス値に設定されることができる。
最後に、エンコード装置及びデコード装置の予測部は、ビュー合成予測(View Synthesis Prediction、VSP)によるディスパリティベクトルをマージ候補(VSP)として追加することができる。予測部は、周辺ブロックのディスパリティベクトルを現在ブロックに対するマージ候補として追加することができ、このディスパリティベクトルを用いてデプスマップ上で特定される対応ブロックのデプス値に基づいて現在ブロックのデプス情報を引き出すことができる。
上述したマージ候補を利用してエンコード装置及びデコード装置の予測部は、次のようにマージ候補リストを構成することができる。マージ候補は、マージ候補リスト上で下記の順序どおりに位置するようになる。
(1)予測部は、MPI候補としてTとDをマージ候補リストに追加する。具体的に、予測部は、Tが利用可能であるかを判断し、利用可能な場合(available)にTを追加する。予測部は、Dが利用可能であるかを判断し、利用可能な場合にDをTの次に追加する。
(2)予測部は、IvMCが利用可能な場合であって、Tが利用可能でないか、またはTとIvMCとが相違した場合に、IvMCをマージ候補リストのDの次の位置に挿入する。
(3)予測部は、A1が利用可能な場合に、A1をマージ候補リストに追加する。マージ候補の重複を防止するために、予測部は、既に追加されたマージ候補とA1の同一性を比較することができる。既に追加されたマージ候補Nは、デプスを使用できる場合にTでありうるし、デプスを使用しない場合にはIvMCでありうる。予測部は、A1とNとが同じ場合には、A1をマージ候補から除外することができる。
(4)予測部は、B1が利用可能な場合に、B1をマージ候補リストに追加する。マージ候補の重複を防止するために、予測部は、B1と先に追加された候補とが同じ場合には、B1をマージ候補から除外することができる。
(5)予測部は、B0が利用可能な場合に、B0をマージ候補リストに追加することができる。
(6)予測部は、IvDCが利用可能な場合に、IvDCをマージ候補リストに追加することができる。ただし、予測部は、符号化効率を上げ、重複を防止するために、(i)A1が利用可能でないか、またはA1とIvDCとが相違し、(ii)B1が利用可能でないか、またはB1とIvDCとが相違し、(iii )現在まで追加されたマージ候補数がマージ候補リストの最大候補数を越えないと、IvMCをマージ候補リストに追加することができる。
(7)予測部は、VSPに引き出されたディスパリティベクトル(以下、VSPとする)が利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を越えないと、VSPをマージ候補リストに追加することができる。この場合、予測部は、符号化効率を上げるために、付加的なコーディング方法、例えば、IC(illumination compensation)、ARP(advanced residual prediction)などが使用されないことを条件として、VSPをマージ候補リストに追加することもできる。
(8)予測部は、A0が利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を越えないと、A0をマージ候補リストに追加することができる。
(9)予測部は、B2が利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を越えないと、B2をマージ候補リストに追加することができる。
(10)予測部は、(i)IvMCShiftが利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を越えず、(ii)IvMCが利用可能でないか、またはIvMCとIvMCShiftとが同一でない場合に、IvMCShiftをマージ候補リストに追加することができる。
(11)予測部は、IvDCShiftが利用可能であり、現在まで追加されたマージ候補数がマージ候補リストの最大候補数を越えないと、IvDCShiftをマージ候補リストに追加することができる。
上述したように、マージモードを介して予測するサンプルがデプスに関するものであれば、MPIによる候補TとDが用いられ、そうでない場合には、TとDが用いられないことがある。
一方、エンコード装置及びデコード装置の予測部は、IvMCが使用されるか、またはVSPが適用され得る場合であって、デプスに基づいてブロックが分割されない場合に、予測ブロックのサブブロック(サブ予測ブロック)単位に動きベクトルを特定することができる。
例えば、MPIが適用され得る場合に、サブ予測ブロック単位にインタレイヤ(インタ−ビュー)予測が行われ得る。また、ビュー合成予測を行う場合にも、予測部は、サブ予測ブロック単位にディスパリティベクトルを引き出すこともできる。
インタ−ビュー予測のマージ候補として、サブ予測ブロック単位に動きベクトルを引き出す場合に、動きベクトルは、現在予測ブロック内のサブブロック単位に引き出されることができる。
サブ予測ブロック単位に動きベクトルが特定され得る場合に、ビデオパラメータセットの拡張レベルでサブ予測ブロックのサイズを特定する情報が送信され得る。また、MPIが適用される場合のサブ予測ブロックサイズは、別にシグナリングされることもできる。
具体的に、デプスピクチャを含む3Dビデオのコーディングにおいて、デプスマップは、同じ時間、例えば、同一POC(Picture Order Count)のテクスチャピクチャに関するコーディング情報を参照してコーディングされることができる。
デプスピクチャは、同一時間のテクスチャピクチャと同時に撮影されるか、または同一時間のテクスチャピクチャに対する深さ情報から生成されるので、同一時間のデプスピクチャとテクスチャピクチャとは、相関度が極めて高い。
したがって、デプスピクチャのコーディングの際、既にコーディングされたテクスチャピクチャのブロック分割(block partition)情報または動き情報などが利用され得る。これを前述したように、動きパラメータ継承(MPI)という。
図8は、テクスチャピクチャから情報を引き出す方法に関して概略的に説明する図である。
図8に示すように、現在ピクチャ810内の予測ブロック820のサブブロック830に対応するテクスチャピクチャ840内のブロック850が特定される。このとき、現在ピクチャ810は、デプスピクチャでありうる。
対応するテクスチャブロック850のセンタ860を含む予測ブロックの動き情報がサブブロック830の動き情報として利用されることができる。例えば、対応ブロック850をカバーする予測ブロックが2つある場合、センタ860を含む予測ブロック850’の動き情報がサブブロック830の動き情報として使用されることができる。
動きパラメータをテクスチャピクチャから継承する方法の1つとして、動きベクトル継承(motion vector inheritance、MVI)が利用されることもできる。
図9は、MVIを介してテクスチャピクチャの動きベクトルを引き出す過程を概略的に説明する図である。
図9に示すように、デプスピクチャ910内の現在ブロックC(920)と同じ位置にあるテクスチャピクチャ930内の対応ブロックC’(940)から動きベクトルが継承されることができる。例えば、エンコード装置及びデコード装置の予測部は、対応ブロックC’(940)の中心(center)で動きベクトルMv(950)を引き出し、現在ブロック920に対する動きベクトルMv(960)として使用することができる。このとき、予測部は、現在ブロックC(920)と同じ位置のテクスチャブロック940が、イントラ予測が適用されたブロックである場合には、テクスチャブロックから動きベクトルを持ってこない。
図9は、テクスチャブロックの中心で動き情報を引き出し、デプスピクチャの現在ブロックに適用する方法を説明している。これと係り、現在ブロックに対応するテクスチャピクチャからサブブロック単位に動きベクトルを持ってきて、現在ブロックに対する予測の正確性を高めることができる。
例えば、エンコード装置及びデコード装置の予測部は、テクスチャピクチャ内の対応ブロックを一定の大きさのサブブロックに分割し、分割されたサブブロック単位に動き情報を持ってきてデプスピクチャ内の現在ブロックに適用することができる。このとき、対応ブロックは、予測ブロックでありうるし、サブブロックは、サブ予測ブロックまたはサブPUでありうる。
図10は、サブブロック単位にMVIを適用して動きベクトルを引き出す方法を概略的に説明する図である。
図10の例では、サブ予測ブロック(サブPU)単位にデプスピクチャの動きベクトルをテクスチャピクチャから引き出す方法を説明している。
図10に示すように、デプスピクチャ1010内の現在ブロックC(1020)の動きベクトルがテクスチャピクチャ1030内の対応ブロックC’(1040)から継承されることができる。このとき、動きベクトルの継承は、現在ブロックC(1020)と対応ブロックC’(1040)とでサブブロック単位になされることができる。
現在ブロックC(1020)が予測ブロックである場合、サブブロックC1〜C4とC’1〜C’4は、サブ予測ブロックとなる。サブ予測ブロック(サブPU)の大きさは、N×M(N、Mは0より大きい整数)に設定されることができる。
エンコード装置とデコード装置の予測部は、元々テクスチャピクチャ内のブロック分割情報と関係なく、デプスブロックである現在ブロックC(1020)との対応関係により特定されたサブブロックに基づいて動きベクトルを持ってくることができる。例えば、予測部は、対応ブロックC’(1040)のサブブロックC1’〜C4’の大きさによって動きベクトルを持ってくることができる。
サブPUで動き情報を持ってくる位置は、サブPUの中心となることができる。あるいは、サブPUで動き情報を持ってくる位置は、サブ予測ブロックの左上側(left−top)位置であることもできる。各サブ予測ブロックは、左上側位置によって特定されることもできる。
特定サブPUに動きベクトルが存在しない場合には、予測部は、周辺の動きベクトル値に当該サブPUの動きベクトルを代替することもできる。このとき、周辺の動きベクトルは、当該サブPUの左側または上側サブPUの動きベクトルになることができる。
または、エンコード装置及びデコード装置の予測部は、特定サブPUに動きベクトルがない場合、予め定義した代替動きベクトルを当該サブPUの動きベクトとして設定することもできる。このとき、代替動きベクトルは、NBDVまたはDoNBDVによって指示されるブロックの動きベクトルでありうる。または、予測部は、直前に引き出した動きベクトルを代替動きベクトルとして設定し、代替動きベクトルを引続きアップデートすることもできる。
予測部は、コーディング(エンコード/デコード)しようとするデプス(depth)ブロックに対応するテクスチャブロックから動きベクトルを継承するとき、予測ブロック単位(すなわち、PU単位)にするか、サブ予測ブロック(すなわち、サブPU単位)にするかを決定することができる。
例えば、PU単位に動きベクトルを継承するか、サブPU単位に動きベクトルを継承するかを指示する情報がエンコード装置からデコード装置に送信されることができる。一例として、PU単位に動きベクトルを継承するか、サブPU単位に動きベクトルを継承するかの指示は、フラグ(flag)を用いてシグナリングされることができる。
デコード装置は、受信した情報に基づいてPU単位に動きベクトルを継承するか、サブPU単位に動きベクトルを継承するかを決定することができる。
図10をさらに参照すれば、サブPU単位に動きベクトルを継承することと決定された場合に、予測部は、サブブロックC1に対してC’1の動きベクトルMv1、サブブロックC2に対してはC2に対応するC’2の動きベクトルMv2を、サブブロックC3に対してはC3に対応するC’3の動きベクトルMv3を、サブブロックC4に対してはC4に対応するC’4の動きベクトルを持ってきて使用することができる。
図11は、本発明に係るデコード装置の動作を概略的に説明する順序図である。
図11に示すように、デコード装置は、ビットストリームをエントロピーデコードして、現在ブロックのデコードに必要なビデオ情報を出力する(S1110)。ビデオ情報は、現在ブロックのデコードのために、レジデュアル及びレジデュアルを逆変換/逆量子化するのに必要な情報、予測サンプルを生成するのに必要な情報、復元されたピクチャにフィルタリングを適用するのに必要な情報などを含む。例えば、現在ブロックがデプスビュー内のブロックである場合、ビデオ情報は、動き情報をテクスチャピクチャから継承するかを指示する情報を含むことができる。また、現在ブロックがデプスビュー内の予測ブロック、すなわち、デプスビュー内のPUである場合、現在ブロックの動き情報をサブ予測ブロック(サブPU)単位に引き出すかを指示する情報を含むこともできる。サブ予測ブロック単位に動きベクトルを引き出すかを指示する情報は、動き情報が引き出されるブロックの大きさを指示することにより、動きベクトルが予測ブロック単位に引き出されるか、サブ予測ブロック単位に引き出されるかを指示することもできる。
ビデオ情報は、必要に応じてビデオパラメータセットのレベルまたはビデオパラメータセットの拡張レベルで送信されることができる。
デコード装置は、現在ブロックに対する動きベクトルを引き出す単位をビデオ情報に基づいて決定することができる(S1120)。上述したように、ビデオ情報は、サブ予測ブロック単位に動きベクトルを引き出すかを指示する動き情報引出単位情報を含むことができる。デコード装置は、動き情報引出単位情報に基づいて動き情報を予測ブロック単位に引き出すか、サブブロック(サブ予測ブロック)単位に引き出すかを決定することができる。
デコード装置は、前記の決定に基づいて現在ブロックに対する動きベクトルを引き出すことができる(S1130)。動き情報を予測ブロック単位に引き出すことと決定された場合には、対応するテクスチャピクチャのブロックからデプスピクチャ内の現在ブロックの動き情報(例えば、動きベクトル)を引き出すことができる。例えば、デコード装置は、テクスチャピクチャ内の対応ブロックの動きベクトルをデプスピクチャ内の現在ブロックの動きベクトルとして設定することができる。
動き情報をサブ予測ブロック単位に引き出すことと決定された場合には、対応するテクスチャピクチャ内のブロックのサブブロックからデプスピクチャ内の現在ブロックの動き情報(例えば、動きベクトル)を引き出すことができる。例えば、デコード装置は、テクスチャピクチャ内の対応ブロックのサブブロックに対する動きベクトルをデプスピクチャ内の現在ブロックのサブブロックに対する動きベクトルとして設定することができる。
デコード装置は、動きベクトルを用いて現在ブロックに対する予測サンプルを引き出すことができる(S1140)。予測ブロック単位に動きベクトルが引き出された場合に、デコード装置は、動きベクトルを用いてサブブロック単位に予測サンプルを引き出すことができる。例えば、デコード装置は、サブブロック単位に特定された動きベクトルが参照ピクチャ上で指示する領域のサンプルを現在ブロック(例えば、予測ブロック)のサブブロック(例えば、サブ予測ブロック)に対する予測サンプルとして用いることができる。
予測ブロック単位に動きベクトルが引き出された場合に、デコード装置は、動きベクトルを用いて予測ブロック単位に予測サンプルを引き出すことができる。例えば、デコード装置は、予測ブロック単位に特定された動きベクトルが参照ピクチャ上で指示する領域のサンプルを現在ブロック(予測ブロック)の予測サンプルとして用いることができる。
予測サンプルが引き出されると、デコード装置は、予測サンプルとレジデュアルサンプルとを加算して復元サンプルを引き出すことができる。デプスに対するコーディングである場合に、デコード装置は、複雑度を低めるために、インループフィルタリングなどを省略することもできる。
図11では、デコードについて説明したが、S1120以下のステップ、すなわち、サブブロック単位にデプスマップのブロックに対する動きベクトルを引き出すかを決定するステップ、現在ブロックまたは現在ブロックのサブブロック単位に動きベクトルを引き出すステップ、動きベクトルを用いて予測サンプルを引き出すステップと、これを利用して復元サンプルを引き出すことは、エンコード装置でも同様に行われ得る。
ただし、エンコード装置は、サブブロック単位に動きベクトルを引き出すかをコーディングに対するコスト(cost)を考慮して決定した後、関連情報をエントロピーエンコードしてデコード装置に伝達することができる。
上述した例示的なシステムにおいて、方法は、一連のステップまたはブロックとして順序図に基づいて説明されているが、本発明は、ステップ等の順序に限定されるものではなく、あるステップは、上述したこととは異なるステップと異なる順序に、または同時に発生できる。また、上述した実施例は、様々な態様の例示を含む。したがって、本発明は、以下の特許請求の範囲内に属するあらゆる他の交替、修正、及び変更を含むといえる。

Claims (11)

  1. マルチビュービデオをデコードするビデオデコード装置であって、
    ビットストリームをエントロピーデコードしてデプスピクチャ内の現在コーディングブロックのデコードに必要なビデオ情報を導出するエントロピーデコード部と、
    前記現在コーディングブロックをデコードするときに参照されるピクチャを格納するメモリと、
    前記ビデオ情報に基づいて、イントラ予測が前記現在コーディングブロックに適用されるか否か又はインタ予測が前記現在コーディングブロックに適用されるか否かを決定し、前記インタ予測が前記現在コーディングブロックに適用される場合、指示情報に基づいて、テクスチャピクチャの動き情報が前記現在コーディングブロックの現在予測ブロックのサブブロックの単位で導出されるか否かを決定し、前記現在予測ブロックの前記サブブロックに対する動き情報又は前記現在予測ブロックに対する動き情報を利用して、前記現在予測ブロックに対する予測サンプルを導出する予測部と、
    を備え、
    前記指示情報に基づいて、前記テクスチャピクチャの前記動き情報が前記現在予測ブロックの前記サブブロックの単位で導出されることが決定された場合、前記現在予測ブロックの前記サブブロックに対する前記動き情報は、前記テクスチャピクチャ内の対応するテクスチャブロックの対応するサブブロックに対する動き情報から導出され、
    前記指示情報に基づいて、前記テクスチャピクチャの前記動き情報が前記現在予測ブロックの単位で導出されることが決定された場合、前記現在予測ブロックに対する前記動き情報は、前記テクスチャピクチャ内の前記対応するテクスチャブロックに対する動き情報から導出され、
    前記ビデオ情報は、前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの前記サブブロックの単位で導出されるか否か、又は前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの単位で導出されるか否かを決定するために使用される前記指示情報を含む、ビデオデコード装置。
  2. 前記テクスチャピクチャは、前記デプスピクチャと同じ時間のピクチャであり、前記対応するテクスチャブロックは、前記テクスチャピクチャ内で前記現在予測ブロックと同じ場所に位置するブロックである、請求項1に記載のビデオデコード装置。
  3. 前記指示情報は、前記テクスチャピクチャの前記動き情報が導出されるブロックのサイズを示すサイズ情報を含み、
    前記予測部は、前記サイズ情報により示される前記サイズを前記現在予測ブロックのサイズと比較することにより、前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの前記サブブロックの単位で導出されるか否かを決定する、請求項1に記載のビデオデコード装置。
  4. 前記指示情報に基づいて、前記テクスチャピクチャの前記動き情報が前記現在予測ブロックの前記サブブロックの単位で導出されることが決定された場合、前記予測部は、前記対応するテクスチャブロックの前記対応するサブブロックに対する動きベクトルから、前記現在予測ブロックの前記サブブロックに対する動きベクトルを導出する、請求項1に記載のビデオデコード装置。
  5. 前記対応するサブブロックに対する前記動きベクトルが存在しない場合、前記予測部は、前記対応するテクスチャブロックの前記対応するサブブロックの左側又は上側のサブブロックの動きベクトルから、前記現在予測ブロックの前記サブブロックに対する前記動きベクトルを導出する、請求項4に記載のビデオデコード装置。
  6. デコード装置がマルチビュービデオをデコードするビデオデコード方法であって、
    ビットストリームをエントロピーデコードしてデプスピクチャ内の現在コーディングブロックのデコードに必要なビデオ情報を導出するステップと、
    前記ビデオ情報に基づいて、イントラ予測が前記現在コーディングブロックに適用されるか否か又はインタ予測が前記現在コーディングブロックに適用されるか否かを決定するステップと、
    前記インタ予測が前記現在コーディングブロックに適用される場合、指示情報に基づいて、テクスチャピクチャの動き情報が前記現在コーディングブロックの現在予測ブロックのサブブロックの単位で導出されるか否かを決定するステップと、
    前記現在予測ブロックの前記サブブロックに対する動き情報又は前記現在予測ブロックに対する動き情報を利用して、前記現在予測ブロックに対する予測サンプルを導出するステップと、
    を含み、
    前記指示情報に基づいて、前記テクスチャピクチャの前記動き情報が前記現在予測ブロックの前記サブブロックの単位で導出されることが決定された場合、前記現在予測ブロックの前記サブブロックに対する前記動き情報は、前記テクスチャピクチャ内の対応するテクスチャブロックの対応するサブブロックに対する動き情報から導出され、
    前記指示情報に基づいて、前記テクスチャピクチャの前記動き情報が前記現在予測ブロックの単位で導出されることが決定された場合、前記現在予測ブロックに対する前記動き情報は、前記テクスチャピクチャ内の前記対応するテクスチャブロックに対する動き情報から導出され、
    前記ビデオ情報は、前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの前記サブブロックの単位で導出されるか否か、又は前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの単位で導出されるか否かを決定するために使用される前記指示情報を含む、ビデオデコード方法。
  7. 前記テクスチャピクチャは、前記デプスピクチャと同じ時間のピクチャであり、前記対応するテクスチャブロックは、前記テクスチャピクチャ内で前記現在予測ブロックと同じ場所に位置するブロックである、請求項6に記載のビデオデコード方法。
  8. 前記指示情報は、前記テクスチャピクチャの前記動き情報が導出されるブロックのサイズを示すサイズ情報を含み、
    前記決定するステップにおいて、前記サイズ情報により示される前記サイズを前記現在予測ブロックのサイズと比較することにより、前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの前記サブブロックの単位で導出されるか否かが決定される、請求項6に記載のビデオデコード方法。
  9. 前記指示情報に基づいて、前記テクスチャピクチャの前記動き情報が前記現在予測ブロックの前記サブブロックの単位で導出されることが決定された場合、前記現在予測ブロックの前記サブブロックに対する動きベクトルが、前記テクスチャピクチャ内の前記対応するテクスチャブロックの前記対応するサブブロックに対する動きベクトルから導出される、請求項6に記載のビデオデコード方法。
  10. 前記対応するサブブロックに対する前記動きベクトルが存在しない場合、前記現在予測ブロックの前記サブブロックに対する前記動きベクトルが、前記対応するテクスチャブロックの前記対応するサブブロックの左側又は上側のサブブロックの動きベクトルから導出される、請求項9に記載のビデオデコード方法。
  11. エンコード装置がマルチビュービデオをエンコードするビデオエンコード方法であって、
    イントラ予測がデプスピクチャ内の現在コーディングブロックに適用されるか否か又はインタ予測が前記デプスピクチャ内の前記現在コーディングブロックに適用されるか否かを決定するステップと、
    前記インタ予測が前記現在コーディングブロックに適用される場合、テクスチャピクチャの動き情報が前記現在コーディングブロックの現在予測ブロックのサブブロックの単位で導出されるか否かを決定するステップと、
    前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの前記サブブロックの単位で導出されるか否か、又は前記テクスチャピクチャの前記動き情報が、前記現在予測ブロックの単位で導出されるか否かを決定するために使用される指示情報を生成するステップと、
    前記指示情報を含むビデオ情報をエントロピーエンコードするステップと、
    を含む、ビデオエンコード方法。
JP2016524091A 2013-10-18 2014-10-20 マルチビュービデオのデコード方法及び装置 Active JP6571646B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361892448P 2013-10-18 2013-10-18
US61/892,448 2013-10-18
PCT/KR2014/009860 WO2015057038A1 (ko) 2013-10-18 2014-10-20 멀티-뷰 비디오의 디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2016537871A JP2016537871A (ja) 2016-12-01
JP6571646B2 true JP6571646B2 (ja) 2019-09-04

Family

ID=52828406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016524091A Active JP6571646B2 (ja) 2013-10-18 2014-10-20 マルチビュービデオのデコード方法及び装置

Country Status (6)

Country Link
US (1) US10045048B2 (ja)
EP (1) EP3059968A4 (ja)
JP (1) JP6571646B2 (ja)
KR (1) KR102343817B1 (ja)
CN (1) CN105637875A (ja)
WO (1) WO2015057038A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192781A1 (en) * 2014-06-20 2015-12-23 Mediatek Singapore Pte. Ltd. Method of sub-pu syntax signaling and illumination compensation for 3d and multi-view video coding
KR102302671B1 (ko) * 2017-07-07 2021-09-15 삼성전자주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
KR102577754B1 (ko) 2017-09-28 2023-09-12 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN109996075B (zh) * 2017-12-29 2022-07-12 华为技术有限公司 一种图像解码方法及解码器
CN112672132B (zh) * 2018-09-30 2023-12-26 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109257609B (zh) * 2018-09-30 2021-04-23 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100544677B1 (ko) * 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
CA2846425A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
TW201342884A (zh) * 2012-01-31 2013-10-16 Sony Corp 編碼裝置及編碼方法、以及解碼裝置及解碼方法
US9998726B2 (en) * 2012-06-20 2018-06-12 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20150326880A1 (en) * 2012-12-14 2015-11-12 Liu He Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US9544601B2 (en) * 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding

Also Published As

Publication number Publication date
US10045048B2 (en) 2018-08-07
WO2015057038A1 (ko) 2015-04-23
CN105637875A (zh) 2016-06-01
JP2016537871A (ja) 2016-12-01
US20160261888A1 (en) 2016-09-08
EP3059968A4 (en) 2017-05-31
KR20160072101A (ko) 2016-06-22
KR102343817B1 (ko) 2021-12-27
EP3059968A1 (en) 2016-08-24

Similar Documents

Publication Publication Date Title
JP6545672B2 (ja) マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
JP6542206B2 (ja) マルチビュービデオをデコードするビデオデコード方法及び装置
US20170310993A1 (en) Movement information compression method and device for 3d video coding
JP6545796B2 (ja) ビデオコーディングにおけるデプスピクチャコーディング方法及び装置
WO2015057037A1 (ko) 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법
JP6445026B2 (ja) 3dビデオコーディングにおけるカメラパラメータ処理方法および装置
US10587894B2 (en) Method and device for encoding/decoding 3D video
US20160255368A1 (en) Method and apparatus for coding/decoding video comprising multi-view
KR20170065503A (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2015141977A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R150 Certificate of patent or registration of utility model

Ref document number: 6571646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250