JP2023514034A - イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体 - Google Patents

イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体 Download PDF

Info

Publication number
JP2023514034A
JP2023514034A JP2022541650A JP2022541650A JP2023514034A JP 2023514034 A JP2023514034 A JP 2023514034A JP 2022541650 A JP2022541650 A JP 2022541650A JP 2022541650 A JP2022541650 A JP 2022541650A JP 2023514034 A JP2023514034 A JP 2023514034A
Authority
JP
Japan
Prior art keywords
prediction
current node
information
threshold
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022541650A
Other languages
English (en)
Inventor
ワン、シューアイ
ヤン、フーチョン
ワン、チョーチョン
ウェイ、レイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2023514034A publication Critical patent/JP2023514034A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本願の実施例は、イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体を提供する。該方法は、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得ることと、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出することであって、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有する、ことと、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることと、を含む。

Description

本願の実施例は、通信分野における符号化復号技術に関し、特にイントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体に関する。
現在、関連技術における八分木の幾何学的情報符号化に基づくイントラ予測方案において、現在ノード(即ち、符号化対象ノード)の26個の近隣ノードの占有情報と複数の所定の閾値を利用して計算と比較を行う。説明すべきこととして、上記予測方案を用いてイントラ予測を行う時、係るルックアップテーブル(Look Up Table)が多く、且つイントラ予測を行う時、少なくとも16個の重み及び10個の閾値の設定にかかわり、最適解を見つけにくいことによって、最適のイントラ予測の結果を得ることができない。これから分かるように、関連技術においてイントラ予測を行う時、計算量が大きく、符号化復号時間が長く、イントラ予測結果が正確にならないという問題が存在する。
本願の実施例は、符号化復号処理時のイントラ予測の速度と正確度を向上させ、更に、符号化復号の品質を向上させることができるイントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体を提供する。
本願の実施例の技術的解決手段は、以下のように実現することができる。
第1態様によれば、本願の実施例は、イントラ予測方法を提供する。前記方法は、
入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得ることと、
前記第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出することであって、前記第1数量は前記第2数量よりも大きく、前記第2数量の近隣ノードと前記現在ノードの子ノードとは関連関係を有する、ことと、
前記第2数量の近隣ノードの占有情報に基づいて、前記現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることと、を含む。
第2態様によれば、本願の実施例は、イントラ予測装置を更に提供する。前記装置は、
入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得るように構成される第1処理モジュールと、
前記第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出するように構成される第1抽出モジュールであって、前記第1数量は前記第2数量よりも大きく、前記第2数量の近隣ノードと前記現在ノードの子ノードとは関連関係を有する、第1抽出モジュールと、
前記第2数量の近隣ノードの占有情報に基づいて、前記現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される第2処理モジュールと、を備える。
第3態様によれば、本願の実施例は、エンコーダを提供する。前記エンコーダは、
実行可能なイントラ予測命令を記憶するように構成される第1メモリと、
前記第1メモリに記憶されている実行可能なイントラ予測命令を実行する時、第1態様に記載のイントラ予測方法を実現させるように構成される第1プロセッサと、を備える。
第4態様によれば、本願の実施例は、デコーダを更に提供する。前記デコーダは、
実行可能なイントラ予測命令を記憶するように構成される第2メモリと、
前記第2メモリに記憶されている実行可能なイントラ予測命令を実行する時、第1態様に記載のイントラ予測方法を実現させるように構成される第2プロセッサと、を備える。
第5態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に実行可能なイントラ予測命令が記憶されており、該命令は、第1プロセッサにより実行される時、第1態様に記載のイントラ予測方法を実現させるためのものである。
本願の実施例は、イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体を提供する。方法は、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得ることと、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出することであって、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有する、ことと、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることと、を含む。つまり、本願の実施例において、現在ノードの子ノードの占有情報に対してイントラ予測を行う時、現在ノードの子ノードと関連関係を有する第2数量の近隣ノードのみを考慮することによって、ルックアップテーブルを減少させ、計算の複雑さを低減させ、イントラ予測結果の正確性を向上させ、符号化復号の時間長を短縮し、符号化復号の正確性を向上させるという目的を達する。
本願の実施例による例示的な符号化フローのブロック図である。 本願の実施例による例示的なイントラ予測方法のフローチャート1である。 本願の実施例による例示的なイントラ予測方法のフローチャート2である。 本願の実施例による例示的な現在ノードの異なる子ノードに含まれるポイントクラウドの概略図である。 本願の実施例による例示的なエンコーダによるイントラ予測方法の実行のフローチャートである。 本願の実施例による例示的なデコーダによるイントラ予測方法の実行のフローチャートである。 本願の実施例による例示的な現在ノードのある子ノードに含まれるポイントクラウドの概略図である。 本願の実施例による損失圧縮におけるBD-Rateである。 本願の実施例による無損失圧縮におけるbpip ratioである。 本願の実施例によるイントラ予測装置の構造概略図である。 本願の実施例によるエンコーダの構造概略図である。 本願の実施例によるデコーダの構造概略図である。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の具体的な技術的解決手段を更に詳しく説明する。下記実施例は、本願を説明するためのものであり、本願の範囲を限定するものではない。
別途定義しない限り、本明細書に用いられる全ての技術的用語及び科学的用語は、本願が属する分野における当業者が一般的に理解する意味と同じである。本明細書に用いられる用語は、本願の実施例の目的を記述するためのものだけであり、本願を限定するものではない。
下記記述において、「いくつかの実施例」に係る。これは、全ての可能な実施例のサブ集合を記述する。「いくつかの実施例」は、全ての可能な実施例の同一のサブ集合又は異なるサブ集合であってもよく、また、矛盾しない限り、互いに組み合わせられてもよいと理解されるべきである。
下記記述に係る用語「第1/第2/第3」は、類似した対象を区別するためのものであり、対象の特定の順番を説明するためのものではないことに留意されたい。ここで説明した本願の実施例をここで示した又は説明した順番以外の順番で実施可能なものにするために、「第1/第2/第3」は、許された場合であれば特定の順番又は前後順序を互いに取り替えることができることは、理解されるべきである。
本願の実施例を更に詳しく説明する前に、本願の実施例に係る名詞及び用語を説明する。本願の実施例に係る名詞及び用語は、下記解釈に適用される。
1)ポイントクラウド圧縮(Point Cloud Compression:PCC)
2)幾何学に基づくポイントクラウド圧縮(Geometry-based Point Cloud Compression:G-PCC)
3)スライス/ストライプslice
4)バウンディングボックスbounding box
5)八分木octree
6)イントラ予測intra prediction
7)三角形スープ(triangle soup:trisoup)
8)コンテキストモデルに基づく自己適応的二値算術符号化(Context-based Adaptive Binary Arithmetic Coding:CABAC)
9)ブロックblock
10)交点vertex
11)赤緑青(Red-Green-Blue:RGB)
12)輝度色度(Luminance-Chrominance:YUV)
13)詳細度(Level of Detail:LOD)
14)領域適応階層変換(Region Adaptive Hierarchal Transform:RAHT)
15)ルックアップテーブル(Look Up Table:LUT)
16)動画専門家グループ(Moving Picture Experts Group:MPEG)
17)国際標準化機構(International Standardization Organization:ISO)
18)国際電気標準委員会(International Electrotechnical Commission:IEC)
19)近隣ノード内の占有されたノード数量(number of occupied neighbours:No)
本願の実施例において、ポイントクラウドG-PCCエンコーダフレームワークにおいて、三次元画像モデルに入力されるポイントクラウドに対してslice分割を行った後、各sliceに対して独立して符号化を行う。
図1に示すG-PCC符号化のフローのブロック図において、入力ポイントクラウドに対してslice分割を行った後、各sliceに対して独立して符号化を行う。各sliceにおいて、ポイントクラウドの幾何学的情報と各ポイントに対応する属性情報は、別々に符号化される。まず、幾何学的情報に対して座標変換を行い、ポイントクラウドを全て1つのbounding boxに含ませる。続いて、量子化を行う。この量子化は、主に、スケーリングの役割を果たす。量子化の端数処理で、一部のポイントの幾何学的情報が同じになり、パラメータに基づいて、重複ポイントを除去するかどうかを決定する。量子化と重複ポイントの除去プロセスは、ボクセル化とも呼ばれる。続いて、bounding boxに対して、octreeに基づく分割を行う。八分木分割階層の深さによって、幾何学的情報の符号化は、八分木に基づくフレームワークとtrisoupに基づくフレームワークという2つのフレームワークに分けられる。
八分木に基づく幾何学的情報符号化フレームワークにおいて、バウンディングボックスを8個のサブ立方体に八等分し、各立方体の占有情報(1は、空きではないことを表し、0は、空きであることを表す)を記録し、空きではないサブ立方体に対して引き続き八等分を行い、得られるリーフノードが1x1x1の単位立方体となる時に分割を停止する。このプロセスにおいて、ノードと周辺ノードとの空間的相関性を利用して、占有情報に対してintra predictionを行い、最後にCABACを行い、バイナリコードストリームを生成する。
trisoupに基づく幾何学的情報符号化フレームワークにおいて、同様に、まず、八分木分割を行うが、八分木に基づく幾何学的情報符号化と異なっており、該方法において、ポイントクラウドを辺長が1x1x1である単位立方体に段階的に分割する必要がなく、block辺長がWとなる時に分割を停止し、各blockにおけるポイントクラウドの分布によって形成される表面に基づいて、該表面とblockの12本の辺によって生成される多くとも12個のvertexを得る。各blockのvertex座標を順に符号化し、バイナリコードストリームを生成する。
幾何学的符号化を遂行した後、幾何学的情報に対して再構築を行う。現在、属性符号化は、主に、色情報に対して行われる。まず、色情報をRGB色空間からYUV色空間に変換する。続いて、再構築した幾何学的情報を利用してポイントクラウドに対して再着色を行い、符号化されていない属性情報と再構築した幾何学的情報を対応付ける。色情報符号化において、主に2つの変換方法がある。1つ目は、LOD分割に依存する、距離に基づく向上変換であり、2つ目は、直接的にRAHT変換を行うことである。これら2つの方法において、いずれも、色情報を空間領域から周波数領域に変換し、変換により高周波数係数と低周波数係数を得て、最後に係数に対して量子化と符号化を行い、バイナリコードストリームを生成する。
ここで、八分木に基づく幾何学的情報符号化のイントラ予測に対して説明する。
現在ノードの26個の近隣ノードの占有情報に基づいて、現在ノード(即ち、符号化対象ノード)の子ノードが占有されているかどうかに対して予測を行う。これは、イントラ予測であり、イントラ予測の実施に関する説明は、以下のとおりである。
まず、八分木分割の現在階層が所定の層数Lよりも小さい時、イントラ予測をイネーブルする。入力は、(x,y,z)座標とフラグビットをマッピングするためのモートン3Dマップ、マップ変位パラメータ及び現在ノードの原点の座標である。
Figure 2023514034000002
Figure 2023514034000003
Figure 2023514034000004
Figure 2023514034000005
Figure 2023514034000006
最後に、0又は1で表される「予測するかどうか」と「予測値」を出力し、後続の占有情報に対するエントロピー符号化に用いる。1、1は、「占有している」を表し、1、0は、「占有していない」を表し、0、0は、「予測しない」を表す。
Figure 2023514034000007
Figure 2023514034000008
本願の実施例は、イントラ予測方法を提供する。図2に示すように、該方法は、以下のステップを含む。
ステップ101において、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得る。
本願の実施例において、エンコーダ又はデコーダは、ステップ101-ステップ103を実行し、現在ノード(即ち、符号化対象ノード)の子ノードの占有情報に対するイントラ予測の第1予測結果を得ることができる。
ここで、エンコーダがステップ101-ステップ103を実行することを例として、該エンコーダは、三次元ポイントクラウドエンコーダ、例えばG-PCCエンコーダを含む。G-PCCエンコーダは、入力ポイントクラウドに対してslice分割を行った後、各sliceに対して独立して符号化を行う。ここで、エンコーダは、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得る。いくつかの実施例において、エンコーダは、octreeに基づいて、入力ポイントクラウドに対して分割を行うことができる。
ステップ102において、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出する。
第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有する。
本願の実施例において、エンコーダは、現在ノードの第1数量の近隣ノードの占有情報を得た後、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出する。説明すべきこととして、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有する。つまり、現在ノードの第1数量の近隣ノードの占有情報を得た後、まず、現在ノードの第1数量の近隣ノードの占有情報に対してスクリーニングを行い、現在ノードの子ノードに対して一定の影響を及ぼす近隣ノードの占有情報を決定し、選び出した占有情報を現在ノードの子ノードの占有情報に対してイントラ予測する参照要因とする。このように、全ての第1数量の近隣ノードの占有情報を考慮することによる計算量を減少させ、符号化の時間長の短縮、符号化効率の向上、及び符号化の正確性の向上のための基礎を築いた。
ステップ103において、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願の実施例において、エンコーダは、第2数量の近隣ノードの占有情報を選び出した後、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願の実施例によるイントラ予測方法において、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得て、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出し、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有し、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。つまり、本願の実施例において、現在ノードの子ノードの占有情報に対してイントラ予測を行う時、現在ノードの子ノードと関連関係を有する第2数量の近隣ノードのみを考慮することによって、ルックアップテーブルを減少させ、計算の複雑さを低減させ、イントラ予測結果の正確性を向上させ、符号化復号の時間長を短縮し、符号化復号の正確性を向上させるという目的を達する。
本願の実施例は、イントラ予測方法を提供する。図3に示すように、説明すべきこととして、イントラ予測方法がエンコーダに適用される時、該方法は、ステップ201-ステップ206を含み、イントラ予測方法がデコーダに適用される時、該方法は、ステップ201-ステップ204及びステップ207-ステップ208を含む。
いくつかの実施例において、エンコーダは、三次元ポイントクラウドエンコーダを含み、デコーダは、三次元ポイントクラウドデコーダを含む。
ステップ201において、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得る。
Figure 2023514034000009
ステップ202において、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出する。
第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有する。ここで、関連関係は、第2数量の近隣ノードと現在ノードの子ノードとが、面、辺又は頂点を共有することを含む。
本願の実施例において、第2数量の近隣ノードは、現在ノードの子ノードとが面、辺又は頂点を共有する近隣ノードを含む。それにより、第1数量の近隣ノードのうち、現在ノードのある子ノードに対して殆ど影響を及ぼさないか又は極めて小さい影響を及ぼす近隣ノードを除く。このように、計算量を減少させると同時に、符号化復号の時間長を効果的に短縮し、且つ符号化復号の正確性を確保する。
ステップ203において、第2数量の近隣ノードの占有情報に基づいて、子ノードの第2数量の近隣ノードに対応する占有数量を決定する。
Figure 2023514034000010
Figure 2023514034000011
Figure 2023514034000012
ステップ204において、占有数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
第1予測結果は、予測を行うかどうかの予測パラメータ及び予測の場合の予測値パラメータを指示するためのものである。
本願の実施例において、占有数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204は、以下のステップにより実現してもよい。
ステップ204aにおいて、第2数量に関連する第3数量を得る。
いくつかの実施例において、第3数量は、第2数量の半分に等しくてもよい。無論、本願の他の実施例において、実際の状況に応じて、第2数量に基づいて、第3数量を柔軟に決定してもよい。
例示的に、子ノードmの7近隣ノードを考慮する場合、第3数量は、4であってもよい。
ステップ204bにおいて、占有数量と第3数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願のいくつかの実施例において、占有数量と第3数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204bは、以下のステップ204b1を含む。
ステップ204b1において、占有数量と第3数量が異なると決定した時、占有数量、第1閾値、第2閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
Figure 2023514034000013
更に、占有数量と第3数量が異なると決定した時、実現可能な場面において、ステップ204b1において、占有数量、第1閾値、第2閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることは、以下のステップを含んでもよい。
Step11において、占有数量と第1閾値を比較する。
Step12において、占有数量が第1閾値以下であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれない第1予測結果を得る。
更に、占有数量と第3数量が異なると決定した時、別の実現可能な場面において、占有数量、第1閾値、第2閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることは、以下のステップを含んでもよい。
Step21において、占有数量と第1閾値を比較する。
Step22において、占有数量が第2閾値以上であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれる第1予測結果を得る。
本願のまた1つの実現可能な場面において、占有数量と第1閾値を比較し、占有数量が第1閾値よりも大きく且つ第2閾値よりも小さいと決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行わない第2予測結果を得る。
本願の他の実施例において、占有数量と第3数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204bは、以下のステップ204b2を含む。
ステップ204b2において、占有数量と第3数量が同じであると決定した時、占有数量、第3閾値、第4閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願の実施例において、占有数量と第3数量が同じであると決定した時、占有数量、第3閾値、第4閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204b2は、以下のステップ204b21~ステップ204b23を含んでもよい。
ステップ204b21において、占有数量と第3数量が同じであると決定した時、子ノードの第2数量の近隣ノードから子ノードまでの距離に基づいて、第2数量の近隣ノードの占有情報の重みを設定する。
ステップ204b22において、第2数量の近隣ノードの占有情報、及び第2数量の近隣ノードの占有情報に対応する重みに基づいて、子ノードの目標パラメータを決定する。
ステップ204b23において、目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定する。
更に、実現可能な場面において、目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定するステップ204b23は、目標パラメータが第3閾値以下であると決定した時、現在ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれない第1予測結果を得るステップを含んでもよい。
Figure 2023514034000014
Figure 2023514034000015
例示的に、図4における(A)から(H)で、それぞれ現在ノードの異なる子ノードに対応する占有状況を表し、即ち、現在ノードの異なる子ノードの占有情報を表す。
Figure 2023514034000016
本願の実施例において、例示的に、
LUT_I[8][7]={{0,1,3,4,9,10,12},{1,2,4,5,10,11,13},{3,4,6,7,12,14,15},{4,5,7,8,13,15,16},{9,10,12,17,18,20,21},{10,11,13,18,19,21,22},{12,14,15,20,21,23,24},{13,15,16,21,22,24,25}}、
LUT_d[8][7]={{2,1,1,0,1,0,0},{1,2,0,1,0,1,0},{1,0,2,1,0,1,0},{0,1,1,2,0,0,1},{1,0,0,2,1,1,0},{0,1,0,1,2,0,1},{0,1,0,1,0,2,1},{0,0,1,0,1,1,2}}、
Figure 2023514034000017
更に、別の実現可能な場面において、目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定するステップ204b23は、目標パラメータが第4閾値以上であると決定した時、現在ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれる第1予測結果を得るステップを含んでもよい。
更に、また1つの実現可能な場面において、目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定するステップ204b23は、目標パラメータが第3閾値よりも大きく且つ第4閾値よりも小さいと決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行わない第2予測結果を得るステップを含んでもよい。
ステップ205において、第1予測結果に関連する符号化モデルを決定する。
本願の実施例において、エンコーダは、第1予測結果を得た後、第1予測結果に関連する符号化モデルを決定する。
ステップ206において、符号化モデルに基づいて、現在ノードの子ノードの占有情報に対して符号化を行い、コードストリームに書き込む。
本願の実施例において、エンコーダは、符号化モデルに基づいて、現在ノードの子ノードの占有情報に対して符号化を行い、コードストリームに書き込む。
ステップ207において、第1予測結果に関連する復号モデルを決定する。
本願の実施例において、エンコーダは、第1予測結果を得た後、第1予測結果に関連する復号モデルを決定する。
ステップ208において、復号モデルに基づいて、得たコードストリームに対して解析を行い、現在ノードの子ノードの占有情報を得る。
本願の実施例において、エンコーダは、復号モデルに基づいて、得たコードストリームに対して解析を行い、現在ノードの子ノードの占有情報を得る。
実現可能な場面において、図5に示すように、イントラ予測方法がエンコーダに適用されることを例として、エンコーダは、現在ノードのある子ノードに対して予測を行う時、それと面、辺、頂点を共有する7個の近隣親ノードによる影響のみを考慮する。更に、重みの計算及び閾値の設定に基づいて、予測結果を3種類に分ける。エンコーダによるイントラ予測方法の実行のステップは、以下のとおりである。
ステップ1において、八分木分割の現在階層Lが所定の層数よりも小さい時、イントラ予測をイネーブルする。入力は、(x,y,z)座標とフラグビットをマッピングするためのモートン3Dマップ、マップ変位パラメータ及び現在ノードの原点の座標である。
Figure 2023514034000018
Figure 2023514034000019
Figure 2023514034000020
Figure 2023514034000021
Figure 2023514034000022
Figure 2023514034000023
Figure 2023514034000024
ステップ5において、0又は1で表される「予測するかどうか」と「予測値」を出力し、後続の占有情報に対するエントロピー符号化に用いる。1、1は、「占有している」を表し、1、0は、「占有していない」を表し、0、0は、「予測しない」を表す。
Figure 2023514034000025
例示的に、いくつかの実施例において、
LUT_I[8][7]={{0,1,3,4,9,10,12},{1,2,4,5,10,11,13},{3,4,6,7,12,14,15},{4,5,7,8,13,15,16},{9,10,12,17,18,20,21},{10,11,13,18,19,21,22},{12,14,15,20,21,23,24},{13,15,16,21,22,24,25}}、
LUT_d[8][7]={{2,1,1,0,1,0,0},{1,2,0,1,0,1,0},{1,0,2,1,0,1,0},{0,1,1,2,0,0,1},{1,0,0,2,1,1,0},{0,1,0,1,2,0,1},{0,1,0,1,0,2,1},{0,0,1,0,1,1,2}}、
Figure 2023514034000026
更に、エンコーダは、前記第1予測結果に関連する符号化モデルを決定し、前記符号化モデルに基づいて、前記現在ノードの子ノードの占有情報に対して符号化を行い、コードストリームに書き込む。
実現可能なシーンにおいて、図6に示すように、イントラ予測方法がデコーダに適用されることを例として、デコーダは、現在ノードのある子ノードに対して予測を行う時、それと面、辺、頂点を共有する7個の近隣親ノードによる影響のみを考慮する。更に、重みの計算及び閾値の設定に基づいて、予測結果を3種類に分ける。デコーダによるイントラ予測方法の実行のステップは、以下のとおりである。
ステップ1において、八分木分割の現在階層Lが所定の層数よりも小さい時、イントラ予測をイネーブルする。入力は、(x,y,z)座標とフラグビットをマッピングするためのモートン3Dマップ、マップ変位パラメータ及び現在ノードの原点の座標である。
Figure 2023514034000027
Figure 2023514034000028
Figure 2023514034000029
Figure 2023514034000030
Figure 2023514034000031
Figure 2023514034000032
Figure 2023514034000033
ステップ5において、0又は1で表される「予測するかどうか」と「予測値」を出力し、後続の占有情報に対するエントロピー符号化に用いる。1、1は、「占有している」を表し、1、0は、「占有していない」を表し、0、0は、「予測しない」を表す。
更に、デコーダは、前記第1予測結果に関連する復号モデルを決定し、前記復号モデルに基づいて、得たコードストリームに対して解析を行い、前記現在ノードの子ノードの占有情報を得る。
Figure 2023514034000034
例示的に、いくつかの実施例において、
LUT_I[8][7]={{0,1,3,4,9,10,12},{1,2,4,5,10,11,13},{3,4,6,7,12,14,15},{4,5,7,8,13,15,16},{9,10,12,17,18,20,21},{10,11,13,18,19,21,22},{12,14,15,20,21,23,24},{13,15,16,21,22,24,25}}、
LUT_d[8][7]={{2,1,1,0,1,0,0},{1,2,0,1,0,1,0},{1,0,2,1,0,1,0},{0,1,1,2,0,0,1},{1,0,0,2,1,1,0},{0,1,0,1,2,0,1},{0,1,0,1,0,2,1},{0,0,1,0,1,1,2}}、
Figure 2023514034000035
別の実現可能な場面において、イントラ予測方法がエンコーダに適用されることを例として、上記イントラ予測方案に対して更なる簡略化を行うことによって、イントラ予測の計算量を更に減少させることができる。エンコーダによるイントラ予測方法の実行のステップは、以下のとおりである。
Figure 2023514034000036
ステップ1において、八分木分割の現在階層Lが所定の層数よりも小さい時、イントラ予測をイネーブルする。入力は、(x,y,z)座標とフラグビットをマッピングするためのモートン3Dマップ、マップ変位パラメータ及び現在ノードの原点の座標である。
Figure 2023514034000037
Figure 2023514034000038
Figure 2023514034000039
Figure 2023514034000040
ステップ5において、0又は1で表される「予測するかどうか」と「予測値」を出力し、後続の占有情報に対するエントロピー符号化に用いる。1、1は、「占有している」を表し、1、0は、「占有していない」を表し、0、0は、「予測しない」を表す。
Figure 2023514034000041
Figure 2023514034000042
ステップ1において、八分木分割の現在階層Lが所定の層数よりも小さい時、イントラ予測をイネーブルする。入力は、(x,y,z)座標とフラグビットをマッピングするためのモートン3Dマップ、マップ変位パラメータ及び現在ノードの原点の座標である。
Figure 2023514034000043
Figure 2023514034000044
Figure 2023514034000045
Figure 2023514034000046
ステップ5において、0又は1で表される「予測するかどうか」と「予測値」を出力し、後続の占有情報に対するエントロピー符号化に用いる。1、1は、「占有している」を表し、1、0は、「占有していない」を表し、0、0は、「予測しない」を表す。
Figure 2023514034000047
本願によるイントラ予測方法によれば、図8に示すように、表1は、損失圧縮の場合、関連技術におけるポイントクラウド圧縮に基づく方案に比べて、同じ符号化品質の場合、コードレートを何パーセント節約できるかを表す。ここで、試験シーケンスは、13種のケースを含む。表1から分かるように、本願によるイントラ予測方法は、各試験シーケンスに対して処理を行い、いずれも、コードストリームを節約することができる。図9に示すように、表2は、無損失圧縮の場合、圧縮後のコードストリームを表す。表2から分かるように、圧縮後のコードストリームは、いずれも100%よりも小さく、関連技術における一部のコードレートのみにより、コードストリームを得ることができる。
本願の実施例は、以下の有益な効果を得ることができる。26個の近隣ノードのうち、符号化復号済みノードの子ノードの占有情報に基づいて、現在ノードのある子ノードに対して予測を行う時、それと面、辺、頂点を共有する7個の近隣親ノードによる影響のみを考慮することによって、ルックアップテーブルを減少させ、計算の複雑さを低減するという効果を達する。それと同時に、簡単な重みと閾値の設定により、最適解が見つけられやすく、最適な重みと閾値の設定では、本技術は、コードレートが低下し、且つPSNRが不変のままであるという効果を達する。それと同時に、ポイントクラウドの空間的相関性をより簡単かつ正確に利用することで、八分木に基づく幾何学的情報符号化のイントラ予測結果をCABACにおける確率モデルの構築に更に適させ、それによりバイナリコードストリームを低減させる。
図10は、本願の実施例によるイントラ予測装置の構造概略図である。図10に示すように、イントラ予測装置300は、第1処理モジュール301と、第1抽出モジュール302と、第2処理モジュール303と、を備え、
第1処理モジュール301は、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得るように構成され、
第1抽出モジュール302は、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出するように構成され、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有し、
第2処理モジュール303は、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、関連関係は、第2数量の近隣ノードと現在ノードの子ノードとが、面、辺又は頂点を共有することを含む。
他の実施例において、第2処理モジュール303は、第2数量の近隣ノードの占有情報に基づいて、子ノードの第2数量の近隣ノードに対応する占有数量を決定し、
占有数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成され、第1予測結果は、予測を行うかどうかの予測パラメータ及び予測の場合の予測値パラメータを指示するためのものである。
他の実施例において、第2処理モジュール303は、第2数量に関連する第3数量を得て、
占有数量と第3数量に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量と第3数量が異なると決定した時、占有数量、第1閾値、第2閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量と第3数量が異なると決定した時、占有数量と第1閾値を比較し、
占有数量が第1閾値以下であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれない第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量が第2閾値以上であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれる第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量が第1閾値よりも大きく且つ第2閾値よりも小さいと決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行わない第2予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量と第3数量が同じであると決定した時、占有数量、第3閾値、第4閾値に基づいて、現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量と第3数量が同じであると決定した時、子ノードの第2数量の近隣ノードから子ノードまでの距離に基づいて、第2数量の近隣ノードの占有情報の重みを設定し、
第2数量の近隣ノードの占有情報、及び第2数量の近隣ノードの占有情報に対応する重みに基づいて、子ノードの目標パラメータを決定し、
目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定するように構成される。
他の実施例において、第2処理モジュール303は、目標パラメータが第3閾値以下であると決定した時、現在ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれない第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、目標パラメータが第4閾値以上であると決定した時、現在ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれる第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、目標パラメータが第3閾値よりも大きく且つ第4閾値よりも小さいと決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行わない第2予測結果を得るように構成される。
他の実施例において、イントラ予測装置は、符号化装置であり、符号化装置は、第1予測結果に関連する符号化モデルを決定するように構成される第1決定モジュールと、
符号化モデルに基づいて、現在ノードの子ノードの占有情報に対して符号化を行い、コードストリームに書き込むように構成される符号化モジュールと、を更に備える。
他の実施例は、イントラ予測装置は、復号装置であり、復号装置は、第1予測結果に関連する復号モデルを決定するように構成される第2決定モジュールと、
復号モデルに基づいて、得たコードストリームに対して解析を行い、現在ノードの子ノードの占有情報を得るように構成される復号モジュールと、を更に備える。
実際の応用において、図11に示すように、本願の実施例は、エンコーダを更に提供する。前記エンコーダは、
実行可能なイントラ予測命令を記憶するように構成される第1メモリ41と、
第1メモリ41に記憶されている実行可能なイントラ予測命令を実行する時、本願の実施例による符号化装置側のイントラ予測方法を実現させるように構成される第1プロセッサ42と、を備える。
プロセッサは、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせにより実現してもよく、回路、単一又は複数の特定用途向け集積回路(application specific integrated circuits:ASIC)、単一又は複数の汎用集積回路、単一又は複数のマイクロプロセッサ、単一又は複数のプログラマブルロジックデバイス、又は前記回路やデバイスの組み合わせ、又は他の適切な回路やデバイスを用いることで、該プロセッサに、前記符号化装置の実施例におけるイントラ予測方法の該当するステップを実行させる。
理解できるように、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得て、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出し、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有し、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。つまり、本願の実施例において、現在ノードの子ノードの占有情報に対してイントラ予測を行う時、現在ノードの子ノードと関連関係を有する第2数量の近隣ノードのみを考慮することによって、ルックアップテーブルを減少させ、計算の複雑さを低減させ、イントラ予測結果の正確性を向上させ、符号化復号の時間長を短縮し、符号化復号の正確性を向上させるという目的を達する。
実際の応用において、図12に示すように、本願の実施例は、エンコーダを更に提供する。前記エンコーダは、
実行可能なイントラ予測命令を記憶するように構成される第2メモリ51と、
第2メモリ51に記憶されている実行可能なイントラ予測命令を実行する時、本願の実施例による符号化装置側のイントラ予測方法を実現させるように構成される第2プロセッサ52と、を備える。
プロセッサは、ソフトウェア、ハードウェア、ファームウェア又はそれらの組み合わせにより実現してもよく、回路、単一又は複数の特定用途向け集積回路(application specific integrated circuits:ASIC)、単一又は複数の汎用集積回路、単一又は複数のマイクロプロセッサ、単一又は複数のプログラマブルロジックデバイス、又は前記回路やデバイスの組み合わせ、又は他の適切な回路やデバイスを用いることで、該プロセッサに、前記復号装置の実施例におけるイントラ予測方法の該当するステップを実行させる。
理解できるように、入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得て、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出し、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有し、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。つまり、本願の実施例において、現在ノードの子ノードの占有情報に対してイントラ予測を行う時、現在ノードの子ノードと関連関係を有する第2数量の近隣ノードのみを考慮することによって、ルックアップテーブルを減少させ、計算の複雑さを低減させ、イントラ予測結果の正確性を向上させ、符号化復号の時間長を短縮し、符号化復号の正確性を向上させるという目的を達する。
本願の実施例における各構成部は一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットは、ハードウェアの形式で実現してもよく、ソフトウェア機能モジュールの形式で実現してもよい。
集積したユニットは、ソフトウェア機能モジュールの形式で実現され、かつ独立した製品として販売または使用されるとき、コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の全部又は一部は、ソフトウェア製品の形式で具現化することができ、該コンピュータソフトウェア製品は、記憶媒体に記憶してもよく、また、1台のコンピュータ機器(パソコン、サーバ、又はネットワーク機器など)又はprocessor(プロセッサ)に、本実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記記憶媒体は、磁気ランダムアクセスメモリ(FRAM:ferromagnetic random access memory)、読み出し専用メモリ(ROM:Read Only Memory)、プログラマブル読み出し専用メモリ(PROM:Programmable Read-Only Memory)、消去可能プログラマブル読み出し専用メモリ(EPROM:Erasable Programmable Read-Only Memory)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM:Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリ(Flash Memory)、磁気面メモリ、光ディスク又はコンパクトディスク読み出し専用メモリ(CD-ROM,Compact Disc Read-Only Memory)など、プログラムコードを記憶可能な各種の媒体を含む。本願の実施例は、これを限定しない。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体に実行可能なイントラ予測命令が記憶されており、該命令は、第1プロセッサにより実行される時、本願の実施例によるエンコーダ側のイントラ予測方法を実現させるためのものである。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体に実行可能なイントラ予測命令が記憶されており、該命令は、第2プロセッサにより実行される時、本願の実施例によるデコーダ側のイントラ予測方法を実現させるためのものである。
本願の実施例は、イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体を提供する。入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得て、第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出し、第1数量は第2数量よりも大きく、第2数量の近隣ノードと現在ノードの子ノードとは関連関係を有し、第2数量の近隣ノードの占有情報に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。つまり、本願の実施例において、現在ノードの子ノードの占有情報に対してイントラ予測を行う時、現在ノードの子ノードと関連関係を有する第2数量の近隣ノードのみを考慮することによって、ルックアップテーブルを減少させ、計算の複雑さを低減させ、イントラ予測結果の正確性を向上させ、符号化復号の時間長を短縮し、符号化復号の正確性を向上させるという目的を達する。
ステップ204において、占有数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願の実施例において、占有数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204は、以下のステップにより実現してもよい。
ステップ204bにおいて、占有数量と第3数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願のいくつかの実施例において、占有数量と第3数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204bは、以下のステップ204b1を含む。
ステップ204b1において、占有数量と第3数量が異なると決定した時、占有数量、第1閾値、第2閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
更に、占有数量と第3数量が異なると決定した時、実現可能な場面において、ステップ204b1において、占有数量、第1閾値、第2閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることは、以下のステップを含んでもよい。
更に、占有数量と第3数量が異なると決定した時、別の実現可能な場面において、占有数量、第1閾値、第2閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることは、以下のステップを含んでもよい。
Step21において、占有数量と第閾値を比較する。
本願の他の実施例において、占有数量と第3数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204bは、以下のステップ204b2を含む。
ステップ204b2において、占有数量と第3数量が同じであると決定した時、占有数量、第3閾値、第4閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得る。
本願の実施例において、占有数量と第3数量が同じであると決定した時、占有数量、第3閾値、第4閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るステップ204b2は、以下のステップ204b21~ステップ204b23を含んでもよい。
更に、実現可能な場面において、目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定するステップ204b23は、目標パラメータが第3閾値以下であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれない第1予測結果を得るステップを含んでもよい。
更に、別の実現可能な場面において、目標パラメータ、第3閾値、第4閾値に基づいて、第1予測結果を決定するステップ204b23は、目標パラメータが第4閾値以上であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれる第1予測結果を得るステップを含んでもよい。
他の実施例において、第2処理モジュール303は、第2数量の近隣ノードの占有情報に基づいて、子ノードの第2数量の近隣ノードに対応する占有数量を決定し、
占有数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成され、第1予測結果は、予測を行うかどうかの予測パラメータ及び予測の場合の予測値パラメータを指示するためのものである。
他の実施例において、第2処理モジュール303は、第2数量に関連する第3数量を得て、
占有数量と第3数量に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量と第3数量が異なると決定した時、占有数量、第1閾値、第2閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、占有数量と第3数量が同じであると決定した時、占有数量、第3閾値、第4閾値に基づいて、現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、目標パラメータが第3閾値以下であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれない第1予測結果を得るように構成される。
他の実施例において、第2処理モジュール303は、目標パラメータが第4閾値以上であると決定した時、現在ノードの子ノードの占有情報に対してイントラ予測を行い、現在ノードの子ノードにポイントクラウドが含まれる第1予測結果を得るように構成される。
実際の応用において、図12に示すように、本願の実施例は、デコーダを更に提供する。前記デコーダは、
実行可能なイントラ予測命令を記憶するように構成される第2メモリ51と、
第2メモリ51に記憶されている実行可能なイントラ予測命令を実行する時、本願の実施例による復号装置側のイントラ予測方法を実現させるように構成される第2プロセッサ52と、を備える。

Claims (22)

  1. イントラ予測方法であって、
    入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得ることと、
    前記第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出することであって、前記第1数量は前記第2数量よりも大きく、前記第2数量の近隣ノードと前記現在ノードの子ノードとは関連関係を有する、ことと、
    前記第2数量の近隣ノードの占有情報に基づいて、前記現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることと、を含む、イントラ予測方法。
  2. 前記関連関係は、前記第2数量の近隣ノードと前記現在ノードの前記子ノードとが、面、辺又は頂点を共有することを含むことを特徴とする
    請求項1に記載の方法。
  3. 前記第2数量の近隣ノードの占有情報に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、第1予測結果を得ることは、
    前記第2数量の近隣ノードの占有情報に基づいて、前記子ノードの第2数量の近隣ノードに対応する占有数量を決定することと、
    前記占有数量に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることであって、前記第1予測結果は、予測を行うかどうかの予測パラメータ及び予測の場合の予測値パラメータを指示するためのものである、ことと、を含むことを特徴とする
    請求項2に記載の方法。
  4. 前記占有数量に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることは、
    前記第2数量に関連する第3数量を得ることと、
    前記占有数量と前記第3数量に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることと、を含むことを特徴とする
    請求項3に記載の方法。
  5. 前記占有数量と前記第3数量に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることは、
    前記占有数量と前記第3数量が異なると決定した時、前記占有数量、第1閾値、第2閾値に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることを含むことを特徴とする
    請求項4に記載の方法。
  6. 前記占有数量と前記第3数量が異なると決定した時、前記占有数量、第1閾値、第2閾値に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることは、
    前記占有数量と前記第3数量が異なると決定した時、前記占有数量と前記第1閾値を比較することと、
    前記占有数量が前記第1閾値以下であると決定した時、前記現在ノードの子ノードの占有情報に対してイントラ予測を行い、前記現在ノードの子ノードにポイントクラウドが含まれない前記第1予測結果を得ることと、を含むことを特徴とする
    請求項5に記載の方法。
  7. 前記方法は、
    前記占有数量が前記第2閾値以上であると決定した時、前記現在ノードの子ノードの占有情報に対してイントラ予測を行い、前記現在ノードの子ノードにポイントクラウドが含まれる前記第1予測結果を得ることを更に含むことを特徴とする
    請求項6に記載の方法。
  8. 前記方法は、
    前記占有数量が前記第1閾値よりも大きく且つ前記第2閾値よりも小さいと決定した時、前記現在ノードの子ノードの占有情報に対してイントラ予測を行わない第2予測結果を得ることを更に含むことを特徴とする
    請求項6に記載の方法。
  9. 前記占有数量と前記第3数量に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることは、
    前記占有数量と前記第3数量が同じであると決定した時、前記占有数量、第3閾値、第4閾値に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることを含むことを特徴とする
    請求項4に記載の方法。
  10. 前記占有数量と前記第3数量が同じであると決定した時、前記占有数量、第3閾値、第4閾値に基づいて、前記現在ノードの占有情報に対してイントラ予測を行い、前記第1予測結果を得ることは、
    前記占有数量と前記第3数量が同じであると決定した時、前記子ノードの前記第2数量の近隣ノードから前記子ノードまでの距離に基づいて、前記第2数量の近隣ノードの占有情報の重みを設定することと、
    前記第2数量の近隣ノードの占有情報、及び前記第2数量の近隣ノードの占有情報に対応する重みに基づいて、前記子ノードの目標パラメータを決定することと、
    前記目標パラメータ、前記第3閾値、前記第4閾値に基づいて、前記第1予測結果を決定することと、を含むことを特徴とする
    請求項9に記載の方法。
  11. 前記目標パラメータ、前記第3閾値、前記第4閾値に基づいて、前記第1予測結果を決定することは、
    前記目標パラメータが前記第3閾値以下であると決定した時、前記現在ノードの占有情報に対してイントラ予測を行い、前記現在ノードの子ノードにポイントクラウドが含まれない前記第1予測結果を得ることを含むことを特徴とする
    請求項10に記載の方法。
  12. 前記方法は、
    前記目標パラメータが前記第4閾値以上であると決定した時、前記現在ノードの占有情報に対してイントラ予測を行い、前記現在ノードの子ノードにポイントクラウドが含まれる前記第1予測結果を得ることを更に含むことを特徴とする
    請求項10に記載の方法。
  13. 前記方法は、
    前記目標パラメータが前記第3閾値よりも大きく且つ前記第4閾値よりも小さいと決定した時、前記現在ノードの子ノードの占有情報に対してイントラ予測を行わない第2予測結果を得ることを更に含むことを特徴とする
    請求項10に記載の方法。
  14. 前記方法は、エンコーダに適用され、
    前記第1予測結果に関連する符号化モデルを決定することと、
    前記符号化モデルに基づいて、前記現在ノードの子ノードの占有情報に対して符号化を行い、コードストリームに書き込むことと、を更に含むことを特徴とする
    請求項1から7及び9から12のいずれか1項に記載の方法。
  15. 前記方法は、デコーダに適用され、
    前記第1予測結果に関連する復号モデルを決定することと、
    前記復号モデルに基づいて、得たコードストリームに対して解析を行い、前記現在ノードの子ノードの占有情報を得ることと、を更に含むことを特徴とする
    請求項1から7及び9から12のいずれか1項に記載の方法。
  16. イントラ予測装置であって、
    入力ポイントクラウドに対して分割を行った後に得られた現在階層が目標階層よりも小さいと決定した時、現在ノードの第1数量の近隣ノードの占有情報を得るように構成される第1処理モジュールと、
    前記第1数量の近隣ノードの占有情報から、第2数量の近隣ノードの占有情報を抽出するように構成される第1抽出モジュールであって、前記第1数量は前記第2数量よりも大きく、前記第2数量の近隣ノードと前記現在ノードの子ノードとは関連関係を有する、第1抽出モジュールと、
    前記第2数量の近隣ノードの占有情報に基づいて、前記現在ノードの子ノードの占有情報に対してイントラ予測を行い、第1予測結果を得るように構成される第2処理モジュールと、を備える、イントラ予測装置。
  17. 前記イントラ予測装置は、符号化装置であり、前記符号化装置は、
    前記第1予測結果に関連する符号化モデルを決定するように構成される第1決定モジュールと、
    前記符号化モデルに基づいて、前記現在ノードの子ノードの占有情報に対して符号化を行い、コードストリームに書き込むように構成される符号化モジュールと、を更に備えることを特徴とする
    請求項16に記載の装置。
  18. 前記イントラ予測装置は、復号装置であり、前記復号装置は、
    前記第1予測結果に関連する復号モデルを決定するように構成される第2決定モジュールと、
    前記復号モデルに基づいて、得たコードストリームに対して解析を行い、前記現在ノードの子ノードの占有情報を得るように構成される復号モジュールと、を更に備えることを特徴とする
    請求項16に記載の装置。
  19. エンコーダであって、
    実行可能なイントラ予測命令を記憶するように構成される第1メモリと、
    前記第1メモリに記憶されている実行可能なイントラ予測命令を実行する時、請求項1から14のいずれか1項に記載の方法を実現させるように構成される第1プロセッサと、を備える、エンコーダ。
  20. デコーダであって、
    実行可能なイントラ予測命令を記憶するように構成される第2メモリと、
    前記第2メモリに記憶されている実行可能なイントラ予測命令を実行する時、請求項1から13及び15のいずれか1項に記載の方法を実現させるように構成される第2プロセッサと、を備える、デコーダ。
  21. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に実行可能なイントラ予測命令が記憶されており、該命令は、第1プロセッサにより実行される時、請求項1から14のいずれか1項に記載の方法を実現させるためのものである、コンピュータ可読記憶媒体。
  22. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に実行可能なイントラ予測命令が記憶されており、該命令は、第1プロセッサにより実行される時、請求項1から13及び15のいずれか1項に記載の方法を実現させるためのものである、コンピュータ可読記憶媒体。
JP2022541650A 2020-01-06 2020-01-06 イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体 Pending JP2023514034A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/070557 WO2021138788A1 (zh) 2020-01-06 2020-01-06 帧内预测方法、装置、编码器、解码器、及存储介质

Publications (1)

Publication Number Publication Date
JP2023514034A true JP2023514034A (ja) 2023-04-05

Family

ID=76787438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022541650A Pending JP2023514034A (ja) 2020-01-06 2020-01-06 イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体

Country Status (6)

Country Link
US (2) US11936850B2 (ja)
EP (1) EP4090019A4 (ja)
JP (1) JP2023514034A (ja)
KR (1) KR20220123258A (ja)
CN (2) CN116320487A (ja)
WO (1) WO2021138788A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023514034A (ja) 2020-01-06 2023-04-05 オッポ広東移動通信有限公司 イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体
WO2021189262A1 (zh) * 2020-03-24 2021-09-30 Oppo广东移动通信有限公司 帧内预测方法、装置、编码器、解码器、及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3467778A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
EP3474233A1 (en) * 2017-10-19 2019-04-24 Thomson Licensing A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
EP3937132A1 (en) 2018-04-09 2022-01-12 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
CN108632607B (zh) 2018-05-09 2019-06-21 北京大学深圳研究生院 一种基于多角度自适应帧内预测的点云属性压缩方法
BR112020025049A2 (pt) 2018-06-15 2021-03-23 Panasonic Intellectual Property Corporation Of America método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
EP3816940A4 (en) * 2018-06-27 2021-09-08 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
EP3595180B1 (en) * 2018-07-10 2021-12-08 BlackBerry Limited Methods and devices for neighbourhood-based occupancy prediction in point cloud compression
EP3595181B1 (en) * 2018-07-11 2023-09-06 BlackBerry Limited Predictor-copy coding mode for coding of point clouds
CN113615204B (zh) 2019-03-20 2024-02-20 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US12010350B2 (en) 2019-03-22 2024-06-11 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US12010341B2 (en) * 2019-06-21 2024-06-11 Lg Electronics Inc. Device and method for processing point cloud data
CN110418135B (zh) * 2019-08-05 2022-05-27 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN114402532A (zh) 2019-09-30 2022-04-26 Oppo广东移动通信有限公司 占位信息的预测方法、编码器、解码器、及存储介质
JP2023514034A (ja) 2020-01-06 2023-04-05 オッポ広東移動通信有限公司 イントラ予測方法、装置、エンコーダ、デコーダ及び記憶媒体
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees

Also Published As

Publication number Publication date
CN116320487A (zh) 2023-06-23
US20240195953A1 (en) 2024-06-13
US11936850B2 (en) 2024-03-19
EP4090019A1 (en) 2022-11-16
EP4090019A4 (en) 2023-09-06
US20220345695A1 (en) 2022-10-27
WO2021138788A1 (zh) 2021-07-15
CN114930823A (zh) 2022-08-19
KR20220123258A (ko) 2022-09-06

Similar Documents

Publication Publication Date Title
JP7330306B2 (ja) 変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体
US11790563B2 (en) Point cloud model reconstruction method, encoder, and decoder
US11742878B2 (en) Occupancy information prediction method, encoder, decoder, and storage medium
JP7386337B2 (ja) 分割方法、符号器、復号器及びコンピュータ記憶媒体
US11936909B2 (en) Prediction method, encoder, decoder, and computer storage medium
US11936850B2 (en) Methods for intra prediction, and encoder
US20240187645A1 (en) Method and device for intra prediction
WO2021062771A1 (zh) 颜色分量预测方法、编码器、解码器及计算机存储介质
US20220337884A1 (en) Intra prediction method and decoder
WO2022141461A1 (zh) 点云编解码方法、编码器、解码器以及计算机存储介质
CN116940965A (zh) 用于网格压缩的片时间对齐解码
WO2024082135A1 (zh) 编解码方法、编解码器、码流以及计算机存储介质
WO2022170511A1 (zh) 点云解码方法、解码器及计算机存储介质
WO2024082152A1 (zh) 编解码方法及装置、编解码器、码流、设备、存储介质
WO2024011472A1 (zh) 点云编解码方法、编解码器及计算机存储介质
CN116635905A (zh) 非流形网格中边界环的检测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240612

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240620