WO2023090616A1 - 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치 - Google Patents

포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치 Download PDF

Info

Publication number
WO2023090616A1
WO2023090616A1 PCT/KR2022/014173 KR2022014173W WO2023090616A1 WO 2023090616 A1 WO2023090616 A1 WO 2023090616A1 KR 2022014173 W KR2022014173 W KR 2022014173W WO 2023090616 A1 WO2023090616 A1 WO 2023090616A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
candidate list
prediction candidate
residual
coordinate system
Prior art date
Application number
PCT/KR2022/014173
Other languages
English (en)
French (fr)
Inventor
안용조
이종석
허진
박승욱
Original Assignee
현대자동차주식회사
기아 주식회사
디지털인사이트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220119086A external-priority patent/KR20230073972A/ko
Application filed by 현대자동차주식회사, 기아 주식회사, 디지털인사이트 주식회사 filed Critical 현대자동차주식회사
Publication of WO2023090616A1 publication Critical patent/WO2023090616A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present disclosure relates to a lidar point cloud coding method and apparatus using point-by-point prediction.
  • encoding and decoding are performed by collecting points obtained during a predetermined period of time.
  • encoding/decoding may be performed in units of points. Coded points may be stored using a first-in-first-out (FIFO) buffer, and then the stored points may be used when encoding points.
  • FIFO first-in-first-out
  • a coding method of points needs to be improved.
  • An object of the present disclosure is to provide a point cloud coding apparatus and method for predicting a point to be currently encoded/decoded using a previously decoded point cloud in order to improve the coding efficiency of LiDAR point cloud coding.
  • a method of encoding a current point performed by a point cloud encoding apparatus, comprising: acquiring the current point; determining a prediction candidate list index and a predictor index; determining a prediction candidate list according to the index of the prediction candidate list; determining a predicted point from the prediction candidate list using the predictor index; generating a residual point by subtracting the prediction point from the current point; determining a quantization parameter; quantizing the residual point using the quantization parameter; and generating a bitstream by encoding the quantized residual point, prediction candidate list index, predictor index, and quantization parameter.
  • a computer readable recording medium storing a bitstream generated by a point cloud encoding method, the method comprising: acquiring a current point; determining a prediction candidate list index and a predictor index; determining a prediction candidate list according to the index of the prediction candidate list; determining a predicted point from the prediction candidate list using the predictor index; generating a residual point by subtracting the prediction point from the current point; determining a quantization parameter; quantizing the residual point using the quantization parameter; and generating a bitstream by encoding the quantized residual point, prediction candidate list index, predictor index, and quantization parameter.
  • FIG. 1 is a block diagram illustrating a point cloud encoding apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a point cloud decoding apparatus according to an embodiment of the present disclosure.
  • FIG. 3 is an exemplary diagram illustrating an encoding/decoding sequence of a point cloud having geometric information expressed in a cylindrical coordinate system according to an embodiment of the present disclosure.
  • FIG. 4 is an exemplary diagram illustrating point prediction using a prediction candidate list according to an embodiment of the present disclosure.
  • FIG. 5 is an exemplary diagram illustrating point prediction using two prediction candidate lists according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of encoding a lidar point cloud according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method of decoding a lidar point cloud according to an embodiment of the present disclosure.
  • This embodiment discloses a lidar point cloud coding method and apparatus using point-by-point prediction. More specifically, a point cloud coding apparatus and method for predicting a point to be currently encoded/decoded using a previously decoded point cloud are provided.
  • FIG. 1 is a block diagram illustrating a point cloud encoding apparatus according to an embodiment of the present disclosure.
  • a point cloud encoding apparatus (hereinafter, used interchangeably with 'encoding apparatus') encodes a current point by using prediction of a current point based on a previously decoded point cloud.
  • the encoding device includes a coordinate system transformation unit 102, a subtraction unit 106, a residual coordinate system transformation unit 108, a quantization unit 110, an entropy encoding unit 112, a prediction unit 114, a storage unit 116, and a summation unit. It may include all or part of the unit 118, the residual coordinate system inverse transform unit 120, and the inverse quantization unit 122.
  • the coordinate system conversion unit 102 acquires a point cloud for a certain period of time.
  • Each point in the point cloud may have geometric information indicating a position of each point and attribute information indicating a value of the point.
  • the geometric information of a point may have a different coordinate system depending on the output type of LIDAR.
  • a lidar having a cylindrical shape may generally acquire a point cloud using a cylindrical coordinate system.
  • a rectangular plate-type lidar may use a Cartesian coordinate system. Therefore, it may be necessary to convert the coordinate system of the geometric information from the coordinate system of the point cloud to the coordinate system used inside the encoding device.
  • the coordinate system conversion unit 102 converts the coordinate system to be suitable for the encoding device, and then transfers the converted point to the subtraction unit 106.
  • each point in the point cloud may have various attribute information according to LIDAR.
  • the attribute information may include a reflection coefficient value. Since the reflection coefficient is different for each surface property of an object, the same object may have a similar reflection coefficient.
  • the attribute information may include color information of a plurality of channels such as RGB, YCbCr, and YCoCg.
  • the prediction unit 114 may generate a predicted point by predicting a current point using stored restored points.
  • the generated prediction points may be transmitted to the subtraction unit 106 and the summation unit 118 .
  • the prediction unit 114 may predict a current point using only a certain number of recently encoded points. In this case, the maximum number of points to be used for prediction may be encoded by the entropy encoder 104 and then transmitted to the point cloud decoding apparatus.
  • the current point may be predicted using points spatially adjacent to the current point. Spatially adjacent points may be determined based on geometric information of the current point and already restored points. Alternatively, the predictor 114 may determine which of temporally adjacent points and spatially adjacent points to use, and then use the determined points for prediction. The flag for this determination may be encoded by the entropy encoder 104 and then transmitted to the point cloud decoding apparatus.
  • the prediction unit 114 may distinguish points to be used for prediction, store them, and then use them for future prediction.
  • the number of points to be stored may be encoded by the entropy encoder 104 and then transmitted to the point cloud decoding apparatus.
  • the prediction unit 114 may perform prediction on points included in the background or objects corresponding to the background. That is, prediction may be omitted for points included in the foreground or objects corresponding to the foreground. A flag indicating whether prediction is applied to each point may be signaled to the point cloud decoding device by the encoding device.
  • the subtraction unit 106 may generate a residual point by subtracting a predicted point from a current point.
  • the subtraction unit 106 may apply subtraction to both geometric information and attribute information when generating a residual point. In this case, after an offset for the distance between the previous point and the current point is added, subtraction may be applied to the geometric information.
  • the subtraction unit 106 may transfer the residual points to the residual coordinate system conversion unit 108 . Prediction points may be transmitted from the prediction unit 114 .
  • the residual coordinate system conversion unit 108 may transform the coordinate system of the residual point into an efficient coordinate system in terms of encoding.
  • the coordinate system of only the residual values may be transformed with respect to the geometric information of the residual points.
  • the attribute information may be modified by transforming the residual values of the geometric information into a coordinate system and recalculating or filtering the attribute information of the residual point based on the transformed geometric information.
  • the coordinate system transformed residual point may be transmitted to the quantization unit 110 .
  • information for transforming the residual coordinate system may be encoded by the entropy encoding unit 112 and then transmitted to the point cloud decoding apparatus.
  • the quantization unit 110 may quantize the residual points using the quantization parameter, and then transfer the quantized points to the entropy encoding unit 112 and the inverse quantization unit 122 .
  • a quantization parameter may be determined in terms of encoding efficiency optimization.
  • the quantization unit 110 may separately quantize geometric information and attribute information. To this end, separate quantization parameters may be used for geometric information and attribute information.
  • the quantization parameter may be encoded by the entropy encoder 112 and then transmitted to the point cloud decoding apparatus.
  • the encoding device may determine a flag indicating whether to use the same quantization parameter for geometry information and attribute information, and then transmit the flag to the point cloud decoding device. After reconstructing the corresponding flag, the point cloud decoding apparatus may decode one or two quantization parameters based on the corresponding flag.
  • the entropy encoding unit 112 may generate a bitstream by entropy encoding the quantized residual points.
  • the entropy encoding unit 112 may generate a bitstream by packing encoding information in units of bytes without performing encoding for high-speed processing.
  • arithmetic encoding based on a plurality of symbols adaptive to a context may be used.
  • the quantized residual points may be coded using CABAC (Context Adaptive Binary Arithmetic Coding).
  • CABAC Context Adaptive Binary Arithmetic Coding
  • an entropy encoding method such as Huffman coding may be used.
  • a deep neural network trained using a plurality of training data may be used.
  • the entropy encoding unit 112 may encode and add parameters related to point encoding to a bitstream.
  • the parameters include a flag indicating whether to apply prediction, a quantization parameter, and information for transforming the residual coordinate system.
  • Parameters may include additional information according to the point encoding method, which will be described later.
  • the inverse quantization unit 122 may restore a residual point by inversely quantizing the quantized residual point using a quantization parameter.
  • the restored residual points may be transmitted to the residual coordinate system inverse transform unit 120 .
  • the residual coordinate system inverse transformation unit 120 may inversely transform the coordinate system of the geometric information for the restored residual points and then transfer the data to the summing unit 118 .
  • the summing unit 118 may restore the current point by summing the coordinate system inversely transformed residual point and the prediction point transmitted from the predictor 114 .
  • the restored point may be transferred to the storage unit 116 .
  • the storage unit 116 may store the restored point in a buffer.
  • the storage unit 116 may transfer one or more stored points to the prediction unit 114 .
  • FIG. 2 is a block diagram illustrating a point cloud decoding apparatus according to an embodiment of the present disclosure.
  • the point cloud decoding apparatus decrypts points to generate a lidar point cloud.
  • the decoding device includes an entropy decoding unit 202, an inverse quantization unit 204, a residual coordinate system inverse transform unit 206, a summing unit 208, a storage unit 210, a coordinate system transformation unit 212, and a prediction unit 214. include all or part of
  • the entropy decoding unit 202 may entropy-decode the bitstream received from the encoding device to generate quantized residual points.
  • the generated residual points may be transmitted to the inverse quantization unit 204 .
  • the entropy decoding unit 202 decodes various parameters used in the encoding device. Parameters include, for example, quantization parameters, information for transforming the residual coordinate system, and the like. Other information included by the parameters is described later.
  • the inverse quantization unit 204 may restore the residual point by inversely quantizing the quantized residual point using the quantization parameter.
  • the restored residual points may be transmitted to the residual coordinate system inverse transformation unit 206 .
  • the residual coordinate system inverse transform unit 206 may inversely transform the coordinate system of the geometric information for the received restored residual point using the information for transforming the residual coordinate system.
  • the inverse transformed residual points may be transmitted to the summing unit 208 .
  • the prediction unit 214 may generate a predicted point by predicting a current point using stored restored points.
  • the generated prediction points may be delivered to the summing unit 208 .
  • the prediction unit 214 may perform prediction on points included in the background or objects corresponding to the background.
  • the prediction unit 214 may determine whether to predict for each point based on a flag indicating whether or not to apply the prediction transmitted by the encoding device.
  • the summing unit 208 may restore the current point by summing the coordinate system inversely transformed residual point and the prediction point transmitted from the predictor 214 .
  • the restored point may be transferred to the storage unit 210 .
  • the storage unit 210 may store the restored point in a buffer.
  • the stored points may then be transferred to the prediction unit 214 for restoration of the points.
  • the stored point cloud may be transmitted to the coordinate system conversion unit 212 for output.
  • the coordinate system conversion unit 212 may perform coordinate system conversion to output stored points.
  • the coordinate system conversion unit 212 may convert the coordinate system of only geometric information for the frame of the point cloud from the internal coordinate system of the decoding device to the world coordinate system.
  • FIG. 3 is an exemplary diagram illustrating an encoding/decoding sequence of a point cloud having geometric information expressed in a cylindrical coordinate system according to an embodiment of the present disclosure.
  • a point cloud having geometric information expressed in a cylindrical coordinate system may be generated by a cylindrical lidar including a specific number of longitudinal lasers.
  • the lasers in the vertical direction may obtain points while rotating.
  • the geometric information of the obtained points is projected onto a plane expressed by a rotation angle and a height from a cylindrical coordinate system, it can be expressed as in the example of FIG. 3 .
  • the height may be determined by the number of lasers.
  • An encoding/decoding order of each point may be an order indicated by an arrow as shown in FIG. 3 . Since the lidar acquires points while rotating, points may be obtained while moving to the right about the rotation axis. When high-speed encoding/decoding is required, points may be sequentially encoded/decoded according to the corresponding order as in the example of FIG. 3 .
  • FIG. 4 is an exemplary diagram illustrating point prediction using a prediction candidate list according to an embodiment of the present disclosure.
  • An encoding apparatus or a decoding apparatus may sequentially encode/decode points according to an acquisition time.
  • An encoding device or a decoding device may store information about encoded points and use a prediction candidate list to predict a current point.
  • the encoding device may generate a prediction point by selecting a point most similar to the current point from the prediction candidate list.
  • the encoding device may encode a predictor index within the prediction candidate list for the selected point and then transmit the encoded predictor index to the decoding device.
  • the decoding apparatus may generate a prediction point by receiving the predictor index and selecting a point corresponding to a number from the prediction candidate list.
  • the encoding device or the decoding device may update the prediction candidate list using the restored current point. For example, when the current point is obtained from an object different from objects included in the candidate list, the current point is added to the front of the list, and the last candidate in the list may be removed. On the other hand, if the current point is obtained from the same object as one of the objects including the points included in the candidate list, the point most similar to the current point is removed from the list, and the current point may be added to the front of the list.
  • whether points obtained from the same object may be determined according to geometric information. For example, points at spatially proximal locations may be determined to be obtained from the same object. Alternatively, whether the points are obtained from the same object may be determined according to attribute information. For example, if the attribute information includes a reflection coefficient, it may be determined whether the points are reflected from the surface of the same object by comparing the reflection coefficient. Alternatively, when the attribute information includes color information, whether points obtained from the same object may be determined according to differences in color information. The encoding device or the decoding device may predict the next point using the updated candidate list.
  • a list including points similar to the current point and updated using the reconstructed current point is referred to as a first prediction candidate list.
  • FIG. 5 is an exemplary diagram illustrating point prediction using two prediction candidate lists according to an embodiment of the present disclosure.
  • the encoding device or the decoding device may encode/decode points in the lidar point cloud according to an acquisition time.
  • An encoding apparatus or a decoding apparatus may improve encoding efficiency by predicting a current point using two prediction candidate lists.
  • the two different prediction candidate lists can be used for different purposes.
  • the encoding device or the decoding device updates the first prediction candidate list (prediction candidate list 0) after encoding/decoding of the current point is finished, and when predicting each point, the second prediction candidate list (prediction candidate list 0) Candidate list 1) can be newly formed.
  • the encoding device or the decoding device may perform prediction based on temporal redundancy using the first prediction candidate list. Also, since spatially adjacent points may be stored in the first prediction candidate list, the encoding device or the decoding device may perform prediction based on spatial redundancy using the first prediction candidate list.
  • the second prediction candidate list may be configured in various ways. For example, values estimated from lidar parameters representing characteristics of lidar sensors may be used to configure the second prediction candidate list. That is, after estimating the quantized current point and its position using lidar parameters, and searching for points closest to the quantized current point in terms of distance from restoration points, a predetermined number of points are selected from the second prediction candidate list. may consist of Alternatively, after searching for points included in the previous frame for the same position as the quantized current point and neighboring positions, a predetermined number of points may be configured as the second prediction candidate list.
  • a frame represents a point cloud acquired during a specific time period.
  • lidar parameters include rotational speed, number, sensing angle, etc. of lidar sensors, and may be signaled from an encoding device to a decoding device.
  • an encoding device or a decoding device may use one or multiple prediction candidate lists.
  • the encoding device may determine which of the two prediction candidate lists to use, and then transmit the determined list index (list_index) to the decoding device.
  • the encoding device may determine a predictor index indicating a point to be used for prediction with respect to the determined list, and then transmit the determined predictor index to the decoding device.
  • the encoding device may transmit the number of prediction candidate lists and the length of the list to the decoding device at a higher level. In this case, each list may have a different length.
  • the encoding device transmits an index indicating the first prediction candidate list to the decoding device, and the decoding device After generating the first prediction candidate list according to the list index, subsequent prediction may be performed.
  • FIG. 6 is a flowchart illustrating a method of encoding a lidar point cloud according to an embodiment of the present disclosure.
  • a point cloud may have a different coordinate system depending on the output type of LIDAR. Therefore, it may be necessary to convert the coordinate system of the geometric information from the coordinate system of the point cloud to the coordinate system used inside the encoding device for the current point.
  • the encoding device converts the coordinate system of the current point into an internal coordinate system of the encoding device (S600).
  • the encoding device obtains a current point in the lidar point cloud (S602).
  • the encoding device may perform prediction on points included in the background among points in the point cloud. That is, prediction may be omitted for points included in the foreground.
  • the encoding device may determine a flag indicating whether or not to apply prediction to each point, and then signal it to the decoding device. Also, if the aforementioned flag is false, some of the following steps may be omitted.
  • the encoding device determines a prediction candidate list index and a predictor index (S604).
  • the encoding device determines a prediction candidate list according to the prediction candidate list index (S606).
  • the encoding device determines the first prediction candidate list or the second prediction candidate list as the prediction candidate list according to the prediction candidate list index.
  • the first prediction candidate list includes points similar to the current point, but may be updated using a restored current point later.
  • the second prediction candidate list may be newly constructed when predicting the current point.
  • the encoding apparatus estimates the quantized current point and its position using LIDAR parameters, searches for points closest to the quantized current point in terms of distance from the restoration points, and then Points may be configured as a second prediction candidate list.
  • the encoding device determines a prediction point from the prediction candidate list using the predictor index (S608).
  • the encoding device generates a residual point by subtracting the prediction point from the current point (S610).
  • the encoding device determines information for transforming the residual coordinate system (S612).
  • the encoding device determines information for transforming the residual coordinate system in order to transform the coordinate system of the residual point into an efficient coordinate system in terms of encoding.
  • the encoding device transforms the coordinate system of the geometric information for the residual point by using the information for transforming the residual coordinate system (S614).
  • the encoding device determines a quantization parameter (S616).
  • the encoding device quantizes the residual points using the quantization parameter (S618).
  • the encoding apparatus generates a bitstream by encoding the quantized residual points and parameters (S620).
  • the parameters include a flag indicating whether prediction is applied, a prediction candidate list index, a predictor index, a quantization parameter, and information for transforming a residual coordinate system.
  • the encoding apparatus generates reconstructed residual points by inverse-quantizing the quantized residual points using the quantization parameter (S622).
  • the encoding device inversely transforms the coordinate system of the geometric information for the restored residual point using the information for transforming the residual coordinate system (S624).
  • the encoding device restores the current point by adding the restored residual point and the prediction point (S626).
  • the encoding device may update the first prediction candidate list using the restored current point. For example, when the current point is obtained from an object different from objects including the points included in the first prediction candidate list, the current point is added to the front of the list, and the last candidate in the list may be removed. On the other hand, if the current point is obtained from the same object as one of the objects including the points included in the first prediction candidate list, the point most similar to the current point is removed from the list, and the current point is added to the front of the list. can In this case, whether points obtained from the same object may be determined according to geometric information. For example, points at spatially proximal locations may be determined to be obtained from the same object.
  • the encoding device stores the restored current point in a buffer (S628).
  • FIG. 7 is a flowchart illustrating a method of decoding a lidar point cloud according to an embodiment of the present disclosure.
  • the decoding apparatus decodes the quantized residual points and parameters from the bitstream (S700).
  • the parameters include a quantization parameter, information for transforming the residual coordinate system, a prediction candidate list index, and a predictor index.
  • the decoding apparatus may perform prediction on points included in the background among points in the point cloud. That is, prediction may be omitted for points included in the foreground.
  • the decoding apparatus decodes a flag indicating whether prediction is applied to each point. When the decoded flag is true, the decoding apparatus may additionally decode a prediction candidate list index and a predictor index in addition to the quantization parameter and information for transforming the residual coordinate system. If the decrypted flag is false, some of the steps below can be skipped.
  • the decoding apparatus restores the residual point by inverse-quantizing the quantized residual point using the quantization parameter (S702).
  • the decoding apparatus inversely transforms the coordinate system of the geometric information with respect to the residual points by using the information for transforming the residual coordinate system (S704).
  • the decoding apparatus determines a prediction candidate list according to the prediction candidate list index (S706).
  • the decoding apparatus determines the first prediction candidate list or the second prediction candidate list as the prediction candidate list according to the prediction candidate list index.
  • the first prediction candidate list includes points similar to the current point, but may be updated using a restored current point later.
  • the second prediction candidate list may be newly constructed when predicting the current point.
  • the decoding apparatus estimates a quantized current point and its position using LIDAR parameters, searches for points closest to the quantized current point in terms of distance from restoration points, and then restores a predetermined number of Points may be configured as a second prediction candidate list.
  • the decoding apparatus determines a prediction point from the prediction candidate list using the predictor index (S708).
  • the decoding apparatus restores the current point by adding the residual point and the prediction point (S710).
  • the decoding device may update the first prediction candidate list using the restored current point.
  • the decoding device stores the restored current point in a buffer (S712).
  • the decoding apparatus converts the coordinate system of the restoration points stored in the buffer (S714).
  • the decoding apparatus may convert a coordinate system of only geometric information for restoration points from an internal coordinate system of the decoding apparatus to a world coordinate system.
  • Non-transitory recording media include, for example, all types of recording devices in which data is stored in a form readable by a computer system.
  • the non-transitory recording medium includes storage media such as an erasable programmable read only memory (EPROM), a flash drive, an optical drive, a magnetic hard drive, and a solid state drive (SSD).
  • EPROM erasable programmable read only memory
  • SSD solid state drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치에 관한 개시로서, 본 실시예는, 라이다 포인트 클라우드 코딩의 부호화 효율을 향상시키기 위해, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공한다.

Description

포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치
본 개시는 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
종래의 포인트 클라우드 압축 기술은 일정 시간 동한 획득한 포인트들을 모아서 부호화 및 복호화를 수행한다. 라이다(lidar)로부터 획득된 포인트 클라우드에 대해 특정 응용에 따라서 고속 획득, 압축 및 전송이 필요하다. 이를 위하여 포인트 단위로 부호화/복호화가 수행될 수 있는데, FIFO(First-In-Frist-Out) 버퍼를 이용하여 부호화된 포인트들이 저장되고, 이후 포인트들을 부호화 시 저장된 포인트들이 사용될 수 있다. 또한, 포인트 클라우드 코딩의 부호화 효율을 향상시키기 위해, 포인트들의 부호화 방법이 개선될 필요가 있다.
본 개시는, 라이다 포인트 클라우드 코딩의 부호화 효율을 향상시키기 위해, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공하는 데 목적이 있다.
본 개시의 실시예에 따르면, 포인트 클라우드(point cloud) 복호화 장치가 수행하는, 현재 포인트를 복호화하는 방법에 있어서, 비트스트림으로부터 양자화된 잔차 포인트(residual point), 양자화 파라미터, 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 복호화하는 단계; 상기 양자화 파라미터를 이용하여 상기 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원하는 단계; 상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계; 상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계; 상기 잔차 포인트와 상기 예측 포인트를 합산하여 상기 현재 포인트를 복원하는 단계; 및 상기 복원 현재 포인트를 버퍼에 저장하는 단계를 포함하는 것을 특징으로 하는, 방법을 제공한다.
본 개시의 다른 실시예에 따르면, 포인트 클라우드(point cloud) 부호화 장치가 수행하는, 현재 포인트를 부호화하는 방법에 있어서, 상기 현재 포인트를 획득하는 단계; 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계; 상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계; 상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계; 상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계; 양자화 파라미터를 결정하는 단계; 상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및 상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법을 제공한다.
본 개시의 다른 실시예에 따르면, 포인트 클라우드 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 포인트 클라우드 부호화 방법은, 현재 포인트를 획득하는 단계; 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계; 상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계; 상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계; 상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계; 양자화 파라미터를 결정하는 단계; 상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및 상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 기록매체를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 따르면, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공함으로써, 라이다 포인트 클라우드 내 시공간의 중복성을 제거하여 부호화 효율을 향상시키는 것이 가능해지는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 포인트 클라우드 복호화 장치를 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 원통 좌표계로 표현된 기하 정보를 갖는 포인트 클라우드의 부호화/복호화 순서를 나타내는 예시도이다.
도 4는 본 개시의 일 실시예에 따른, 예측 후보 리스트를 사용하는 포인트 예측을 나타내는 예시도이다.
도 5는 본 개시의 일 실시예에 따른, 두 개의 예측 후보 리스트들을 사용하는 포인트 예측을 나타내는 예시도이다.
도 6은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 부호화하는 방법을 나타내는 순서도이다.
도 7은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 복호화하는 방법을 나타내는 순서도이다.
이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 실시예는 포인트 단위 예측을 이용하는 라이다(lidar) 포인트 클라우드 코딩 방법 및 장치에 관한 내용을 개시한다. 보다 자세하게는, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공한다.
도 1은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화 장치를 나타내는 블록도이다.
본 실시예에 따른 포인트 클라우드 부호화 장치(이하, '부호화 장치'와 호환적으로 사용)는 이전에 복호화된 포인트 클라우드에 기초하는 현재 포인트의 예측을 이용하여 현재 포인트를 부호화한다. 부호화 장치는 좌표계 변환부(102), 감산부(106), 잔차 좌표계 변환부(108), 양자화부(110), 엔트로피 부호화부(112), 예측부(114), 저장부(116), 합산부(118), 잔차 좌표계 역변환부(120) 및 역양자화부(122)의 전부 또는 일부를 포함할 수 있다.
좌표계 변환부(102)는 일정 시간 동안 포인트 클라우드를 획득한다. 포인트 클라우드 내 각 포인트는 포인트별 위치를 나타내는 기하 정보, 및 포인트의 값을 나타내는 속성 정보를 가질 수 있다. 포인트의 기하 정보는 라이다의 출력 형태에 따라 상이한 좌표계를 가질 수 있다. 예를 들어, 원통 형태의 라이다는 일반적으로 원통 좌표계를 이용하여 포인트 클라우드를 획득할 수 있다. 또는, 직사각형의 판형 라이다는 직교 좌표계를 사용할 수 있다. 따라서, 포인트 클라우드에 대해 포인트 클라우드의 좌표계로부터 부호화 장치 내부에서 사용하는 좌표계로 기하 정보의 좌표계를 변환하는 것이 필요할 수 있다. 좌표계 변환부(102)는 부호화 장치에 적합하도록 좌표계를 변환한 후, 변환된 포인트를 감산부(106)로 전달한다.
한편, 포인트 클라우드 내 각 포인트는 라이다에 따라 다양한 속성 정보를 가질 수 있다. 예를 들어, 가장 일반적인 라이다는 반사 계수(reflection coefficient)를 측정하므로, 속성 정보는 반사 계수 값을 포함할 수 있다. 반사 계수는 물체의 표면 특성마다 상이하므로, 동일한 물체는 유사한 반사 계수를 가질 수 있다. 다른 예로서, 라이다가 다수의 레이저들 외에 CCD 센서들을 같이 포함하는 경우, 속성 정보는 RGB, YCbCr, YCoCg 등과 같은 다수의 채널들의 색상 정보를 포함할 수 있다.
예측부(114)는 저장된 복원된 포인트들을 이용하여 현재 포인트를 예측함으로써 예측 포인트를 생성할 수 있다. 생성된 예측 포인트는 감산부(106) 및 합산부(118)로 전달될 수 있다. 예측부(114)는 고속 부호화를 위하여, 최근 부호화된 일정 개수의 포인트들만을 이용하여 현재 포인트를 예측할 수 있다. 이때, 예측에 사용할 포인트의 최대 개수는 엔트로피 부호화부(104)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전송될 수 있다.
또한, 현재 포인트와 공간적으로 인접한 포인트들을 이용하여 현재 포인트를 예측할 수 있다. 공간적으로 인접한 포인트들은 현재 포인트와 이미 복원된 포인트들의 기하 정보를 기반으로 결정될 수 있다. 또는, 예측부(114)는 시간적으로 인접한 포인트들과 공간적으로 인접한 포인트들 중 어느 포인트들을 사용할지를 결정한 후, 결정된 포인트들을 예측에 사용할 수 있다. 이러한 결정을 위한 플래그는 엔트로피 부호화부(104)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전송될 수 있다.
또는, 예측부(114)는 예측에 사용될 포인트들을 구별하고 이들을 저장한 후, 이후 예측에 사용할 수 있다. 저장될 포인트들의 개수는 엔트로피 부호화부(104)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전송될 수 있다.
한편, 포인트 클라우드 내 포인트들 중 백그라운드(background) 또는 백그라운드에 해당하는 객체들에 포함된 포인트들에 대해 예측부(114)는 예측을 수행할 수 있다. 즉, 포어그라운드(foreground) 또는 포어그라운드에 해당하는 객체들에 포함된 포인트들에 대해 예측이 생략될 수 있다. 각 포인트에 대해 예측의 적용 여부를 지시하는 플래그는 부호화 장치에 의해 포인트 클라우드 복호화 장치로 시그널링될 수 있다.
감산부(106)는 현재 포인트로부터 예측 포인트(predicted point)을 감산하여 잔차 포인트(residual point)를 생성할 수 있다. 감산부(106)는 잔차 포인트 생성 시, 기하 정보 및 속성 정보 모두에 대해 감산을 적용할 수 있다. 이때, 이전 포인트와 현재 포인트 간 거리에 대한 오프셋이 더해진 후, 기하 정보에 대해 감산이 적용될 수 있다. 감산부(106)는 잔차 포인트를 잔차 좌표계 변환부(108)로 전달할 수 있다. 예측 포인트는 예측부(114)로부터 전달될 수 있다.
잔차 좌표계 변환부(108)는 부호화 측면에서 효율적인 좌표계로 잔차 포인트의 좌표계를 변환할 수 있다. 이때, 잔차 포인트의 기하 정보에 대해 그 잔차 값들만의 좌표계가 변환될 수 있다. 또는, 기하 정보의 잔차 값들을 좌표계 변환하고, 변환된 기하 정보를 기반으로 잔차 포인트의 속성 정보를 다시 계산하거나 필터링하여, 속성 정보가 수정될 수 있다. 좌표계 변환된 잔차 포인트는 양자화부(110)로 전달될 수 있다. 이때, 잔차 좌표계 변환을 위한 정보는 엔트로피 부호화부(112)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전달될 수 있다.
양자화부(110)는 양자화 파라미터를 이용하여 잔차 포인트를 양자화한 후, 양자화된 포인트를 엔트로피 부호화부(112) 및 역양자화부(122)로 전달할 수 있다. 양자화 파라미터는 부호화 효율 최적화 측면에서 결정될 수 있다. 한편, 양자화부(110)는 기하 정보와 속성 정보에 대해 별도로(separately) 양자화를 수행할 수 있다. 이를 위해, 기하 정보 및 속성 정보에 대해 별도의 양자화 파라미터가 이용될 수 있다. 양자화 파라미터는 엔트로피 부호화부(112)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전달될 수 있다. 또는, 부호화 장치는 기하 정보와 속성 정보에 대해 동일한 양자화 파라미터를 사용할지 여부를 지시하는 플래그를 결정한 후, 이를 포인트 클라우드 복호화 장치로 전달할 수 있다. 포인트 클라우드 복호화 장치는 해당 플래그를 복원한 후, 해당 플래그에 기초하여 하나 또는 두 개의 양자화 파라미터들을 복호화할 수 있다.
엔트로피 부호화부(112)는 양자화된 잔차 포인트를 엔트로피 부호화하여 비트스트림을 생성할 수 있다. 또는, 엔트로피 부호화부(112)는 고속처리를 위하여 부호화를 수행하지 않고, 바이트(byte) 단위로 부호화 정보를 패킹(packing)하여 비트스트림을 생성할 수 있다. 또는, 엔트로피 부호화를 위해, 컨텍스트에 적응적인 다수의 심볼들에 기초하는 산술 부호화가 사용될 수 있다. 또는, CABAC(Context Adaptive Binary Arithmetic Coding)을 이용하여 양자화된 잔차 포인트가 부호화될 수 있다. 또는 허프만 코딩(Huffman coding)과 같은 엔트로피 부호화 방법이 사용될 수 있다. 또는, 다수의 학습용 데이터를 이용하여 학습된 심층신경망이 사용될 수 있다.
엔트로피 부호화부(112)는 포인트의 부호화와 관련된 파라미터들을 부호화하여 비트스트림에 추가할 수 있다. 여기서, 파라미터들은 예측의 적용 여부를 지시하는 플래그, 양자화 파라미터 및 잔차 좌표계 변환을 위한 정보를 포함한다. 포인트의 부호화 방법에 따라 파라미터들은 추가적인 정보를 포함할 수 있는데, 이는 추후 기술된다.
역양자화부(122)는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원할 수 있다. 복원된 잔차 포인트는 잔차 좌표계 역변환부(120)로 전달될 수 있다.
잔차 좌표계 역변환부(120)는 복원된 잔차 포인트에 대해 기하 정보의 좌표계를 역변환한 후, 합산부(118)로 전달할 수 있다.
합산부(118)는 좌표계 역변환된 잔차 포인트과 예측부(114)로부터 전달받은 예측 포인트를 합산하여 현재 포인트를 복원할 수 있다. 복원된 포인트는 저장부(116)로 전달될 수 있다.
저장부(116)는 복원된 포인트를 버퍼에 저장할 수 있다. 저장부(116)는 저장된 하나 또는 다수의 포인트들을 예측부(114)로 전달할 수 있다.
도 2는 본 개시의 일 실시예에 따른 포인트 클라우드 복호화 장치를 나타내는 블록도이다.
본 실시예에 따른 포인트 클라우드 복호화 장치(이하, '복호화 장치'와 호환적으로 사용)는 포인트를 복호화하여 라이다 포인트 클라우드를 생성한다. 복호화 장치는 엔트로피 복호화부(202), 역양자화부(204), 잔차 좌표계 역변환부(206), 합산부(208), 저장부(210), 좌표계 변환부(212) 및 예측부(214)의 전부 또는 일부를 포함한다.
엔트로피 복호화부(202)는 부호화 장치로부터 전달받은 비트스트림을 엔트로피 복호화하여 양자화된 잔차 포인트를 생성할 수 있다. 생성된 잔차 포인트는 역양자화부(204)로 전달될 수 있다. 또한, 복호화 장치에서 사용될 수 있도록 하기 위해, 엔트로피 복호화부(202)는 부호화 장치에서 사용된 다양한 파라미터들을 복호화한다. 파라미터들은, 예컨대, 양자화 파라미터, 잔차 좌표계 변환을 위한 정보 등을 포함한다. 파라미터들이 포함하는 다른 정보는 추후 기술된다.
역양자화부(204)는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원할 수 있다. 복원된 잔차 포인트는 잔차 좌표계 역변환부(206)로 전달될 수 있다.
잔차 좌표계 역변환부(206)는, 잔차 좌표계 변환을 위한 정보를 이용하여 전달받은 복원된 잔차 포인트에 대해 기하 정보의 좌표계를 역변환할 수 있다. 역변환된 잔차 포인트는 합산부(208)로 전달될 수 있다.
예측부(214)는 저장된 복원된 포인트들을 이용하여 현재 포인트를 예측함으로써 예측 포인트를 생성할 수 있다. 생성된 예측 포인트는 합산부(208)로 전달될 수 있다.
전술한 바와 같이, 포인트 클라우드 내 포인트들 중 백그라운드(background) 또는 백그라운드에 해당하는 객체들에 포함된 포인트들에 대해 예측부(214)는 예측을 수행할 수 있다. 예측부(214)는 부호화 장치에 의해 전달된 예측의 적용 여부를 지시하는 플래그에 기초하여 각 포인트에 대해 예측 여부를 결정할 수 있다.
합산부(208)는 좌표계 역변환된 잔차 포인트와 예측부(214)로부터 전달받은 예측 포인트를 합산하여 현재 포인트를 복원할 수 있다. 복원된 포인트는 저장부(210)로 전달될 수 있다.
저장부(210)는 복원된 포인트를 버퍼에 저장할 수 있다. 저장된 포인트는 이후 포인트들의 복원을 위하여 예측부(214)로 전달될 수 있다. 또한, 저장된 포인트 클라우드는 출력을 위하여 좌표계 변환부(212)로 전달될 수 있다.
좌표계 변환부(212)는 저장된 포인트들을 출력하기 위하여 좌표계 변환을 수행할 수 있다. 이때, 좌표계 변환부(212)는 포인트 클라우드의 프레임에 대해 기하 정보만의 좌표계를 복호화 장치 내부 좌표계로부터 세계 좌표계로 변환할 수 있다.
도 3은 본 개시의 일 실시예에 따른, 원통 좌표계로 표현된 기하 정보를 갖는 포인트 클라우드의 부호화/복호화 순서를 나타내는 예시도이다.
일반적으로 원통 좌표계로 표현된 기하 정보를 갖는 포인트 클라우드는, 특정 개수의 세로 방향 레이저들을 포함하는 원통형의 라이다에 의해 생성될 수 있다. 이때, 세로 방향의 레이저들은 회전하면서 포인트들을 획득할 수 있다. 획득된 포인트들의 기하 정보를 원통 좌표계로부터 회전각과 높이로 표현된 평면에 사영하면, 도 3의 예시와 같이 표현될 수 있다. 여기서, 높이는 레이저의 개수에 의해 결정될 수 있다. 각 포인트들의 부호화/복호화 순서는 도 3의 예시와 같이 화살표로 표시된 순서일 수 있다. 라이다가 회전하면서 포인트들을 획득하므로 회전 축을 중심으로 우측으로 이동하면서 포인트들이 획득될 수 있다. 고속 부호화/복호화가 필요한 경우, 도 3의 예시와 같은 해당 순서에 따라 순차적으로 포인트들이 부호화/복호화될 수 있다.
도 4는 본 개시의 일 실시예에 따른, 예측 후보 리스트를 사용하는 포인트 예측을 나타내는 예시도이다.
부호화 장치 또는 복호화 장치는 획득 시간에 따라 순차적으로 포인트들을 부호화/복호화할 수 있다. 부호화 장치 또는 복호화 장치는 부호화된 포인트들에 대한 정보를 저장하고 현재 포인트를 예측하기 위해 예측 후보 리스트(prediction candidate list)를 이용할 수 있다. 부호화 장치는 현재 포인트와 가장 유사한 포인트를 예측 후보 리스트에서 선택하여 예측 포인트를 생성할 수 있다. 또한, 부호화 장치는 선택된 포인트에 대해 예측 후보 리스트 내부의 예측자 인덱스(predictor index)를 부호화한 후, 복호화 장치로 전달할 수 있다. 복호화 장치는 예측자 인덱스를 전달받아, 예측 후보 리스트로부터 번호에 해당되는 포인트를 선택함으로써 예측 포인트를 생성할 수 있다.
부호화 장치 또는 복호화 장치는 복원된 현재 포인트를 이용하여 예측 후보 리스트를 갱신할 수 있다. 예를 들어, 현재 포인트가 후보 리스트에 포함된 포인트들이 포함된 객체들과 상이한 객체로부터 획득된 경우, 현재 포인트는 리스트의 가장 앞에 추가되고, 리스트의 마지막 후보는 제거될 수 있다. 반면, 현재 포인트가 후보 리스트에 포함된 포인트들이 포함된 객체들 중 하나와 동일한 객체에서 획득된 경우, 현재 포인트와 가장 유사한 포인트가 리스트로부터 제거되고, 현재 포인트가 리스트의 가장 앞에 추가될 수 있다.
이때, 동일 객체에서 획득된 포인트들인지 여부는 기하 정보에 따라 결정될 수 있다. 예를 들어, 공간적으로 근접한 위치의 포인트들은 동일한 객체로부터 획득된 것으로 결정될 수 있다. 또는, 동일 객체에서 획득된 포인트인지 여부가 속성 정보를 따라 결정될 수 있다. 예를 들어, 속성 정보가 반사 계수를 포함하는 경우, 반사 계수를 비교하여 동일 객체의 표면에서 반사된 포인트들인지가 확인될 수 있다. 또는, 속성 정보가 색상 정보를 포함하는 경우, 동일 객체에서 획득된 포인트인지 여부가 색상 정보의 차이에 따라 결정될 수 있다. 부호화 장치 또는 복호화 장치는 갱신된 후보 리스트를 이용하여 다음 포인트를 예측할 수 있다.
이하, 현재 포인트와 유사한 포인트들을 포함하고, 복원 현재 포인트를 이용하여 갱신되는 리스트를 제1 예측 후보 리스트로 명칭한다.
도 5는 본 개시의 일 실시예에 따른, 두 개의 예측 후보 리스트들을 사용하는 포인트 예측을 나타내는 예시도이다.
전술한 바와 같이, 부호화 장치 또는 복호화 장치는 획득 시간에 따라 라이다 포인트 클라우드 내 포인트들을 부호화/복호화할 수 있다. 부호화 장치 또는 복호화 장치는 두 개의 예측 후보 리스트들을 이용하여 현재 포인트를 예측함으로써, 부호화 효율을 향상시킬 수 있다. 두 개의 상이한 예측 후보 리스트는 상이한 목적으로 사용될 수 있다. 도 5의 예시와 같이, 부호화 장치 또는 복호화 장치는 현재 포인트의 부호화/복호화가 종료된 후 제1 예측 후보 리스트(prediction candidate list 0)를 갱신하고, 각 포인트를 예측할 때 제2 예측 후보 리스트(prediction candidate list 1)를 새로 구성할 수 있다.
전술한 바와 같이 제1 예측 후보 리스트에는 시간적으로 근접한 포인트들이 저장될 수 있으므로, 부호화 장치 또는 복호화 장치는 제1 예측 후보 리스트를 이용하여 시간적인 중복성에 기초하는 예측을 수행할 수 있다. 또한, 제1 예측 후보 리스트에는 공간적으로 근접한 포인트들이 저장될 수 있으므로, 부호화 장치 또는 복호화 장치는 제1 예측 후보 리스트를 이용하여 공간적인 중복성에 기초하는 예측을 수행할 수 있다.
제2 예측 후보 리스트는 다양한 방식에 따라 구성될 수 있다. 예를 들어, 라이다 센서들의 특성을 나타내는 라이다 파라미터들로부터 추정된 값이 제2 예측 후보 리스트의 구성에 활용될 수 있다. 즉, 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 그 위치를 추정하고, 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 복원 포인트들로부터 탐색한 후, 기설정된 개수의 포인트들이 제2 예측 후보 리스트로 구성될 수 있다. 또는, 양자화된 현재 포인트와 동일한 위치 및 주변 위치들에 대해 이전 프레임에 포함된 포인트들을 탐색한 후, 기설정된 개수의 포인트들이 제2 예측 후보 리스트로 구성될 수 있다. 여기서, 프레임은 특정 시간 동안 획득된 포인트 클라우드를 나타낸다. 또한, 라이다 파라미터들은 라이다 센서들의 회전속도, 개수, 센싱 각도 등을 포함하고, 부호화 장치로부터 복호화 장치로 시그널링될 수 있다.
한편, 부호화 장치 또는 복호화 장치는 하나 또는 다수의 예측 후보 리스트들을 사용할 수 있다. 부호화 장치는 현재 포인트의 예측 시, 2 개의 예측 후보 리스트들 중 어느 리스트를 사용할지를 결정한 후, 결정된 리스트 인덱스(list_index)를 복호화 장치로 전달할 수 있다. 또한, 부호화 장치는 결정된 리스트에 대해 예측에 사용하기 위한 포인트를 지시하는 예측자 인덱스를 결정한 후, 결정된 예측자 인덱스를 복호화 장치로 전달할 수 있다. 또한, 부호화 장치는 예측 후보 리스트들의 개수, 및 리스트 길이를 상위 레벨에서 복호화 장치로 전달할 수 있다. 이때, 각 리스트는 상이한 길이를 가질 수 있다.
전술한 바와 같이, 도 4에 예시된 바는 제1 예측 후보 리스트를 이용하는 경우에 해당될 수 있다, 따라서, 부호화 장치는 제1 예측 후보 리스트를 지시하는 인덱스를 복호화 장치로 전송하고, 복호화 장치는 리스트 인덱스에 따라 제1 예측 후보 리스트를 생성한 후, 이후의 예측을 수행할 수 있다.
이하, 도 6 및 도 7의 도시를 이용하여, 부호화 장치 또는 복호화 장치가 포인트 단위로 라이다 포인트 클라우드를 부호화 또는 복호화하는 방법을 기술한다.
도 6은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 부호화하는 방법을 나타내는 순서도이다.
포인트 클라우드는 라이다의 출력 형태에 따라 상이한 좌표계를 가질 수 있다. 따라서, 현재 포인트에 대해 포인트 클라우드의 좌표계로부터 부호화 장치 내부에서 사용하는 좌표계로 기하 정보의 좌표계를 변환하는 것이 필요할 수 있다.
부호화 장치는 부호화 장치 내부 좌표계로 현재 포인트의 좌표계를 변환한다(S600).
부호화 장치는 라이다 포인트 클라우드 내 현재 포인트를 획득한다(S602).
전술한 바와 같이, 포인트 클라우드 내 포인트들 중 백그라운드에 포함된 포인트들에 대해 부호화 장치는 예측을 수행할 수 있다. 즉, 포어그라운드에 포함된 포인트들에 대해 예측이 생략될 수 있다. 부호화 장치는 각 포인트에 대해 예측의 적용 여부를 지시하는 플래그를 결정한 후, 복호화 장치로 시그널링할 수 있다. 또한, 전술한 플래그가 거짓인 경우, 이하의 단계들 중 일부는 생략될 수 있다.
부호화 장치는 예측 후보 리스트 인덱스, 및 예측자 인덱스를 결정한다(S604).
부호화 장치는 예측 후보 리스트 인덱스에 따라 예측 후보 리스트를 결정한다(S606). 부호화 장치는 예측 후보 리스트 인덱스에 따라 제1 예측 후보 리스트 또는 제2 예측 후보 리스트를 예측 후보 리스트로 결정한다. 제1 예측 후보 리스트는 현재 포인트와 유사한 포인트들을 포함하되, 추후 복원 현재 포인트를 이용하여 갱신될 수 있다. 제2 예측 후보 리스트는 현재 포인트를 예측할 때 새로 구성될 수 있다. 부호화 장치는, 전술한 바와 같이, 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 그 위치를 추정하고, 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 복원 포인트들로부터 탐색한 후, 기설정된 개수의 포인트들을 제2 예측 후보 리스트로 구성할 수 있다.
부호화 장치는 예측자 인덱스를 이용하여 예측 후보 리스트로부터 예측 포인트를 결정한다(S608).
부호화 장치는 현재 포인트로부터 예측 포인트를 감산하여 잔차 포인트를 생성한다(S610).
부호화 장치는 잔차 좌표계 변환을 위한 정보를 결정한다(S612). 부호화 장치는 부호화 측면에서 효율적인 좌표계로 잔차 포인트의 좌표계를 변환하기 위해 잔차 좌표계 변환을 위한 정보를 결정한다.
부호화 장치는 잔차 좌표계 변환을 위한 정보를 이용하여 잔차 포인트에 대해 기하 정보의 좌표계를 변환한다(S614).
부호화 장치는 양자화 파라미터를 결정한다(S616).
부호화 장치는 양자화 파라미터를 이용하여 잔차 포인트를 양자화한다(S618).
부호화 장치는 양자화된 잔차 포인트, 파라미터들을 부호화하여 비트스트림을 생성한다(S620). 여기서, 파라미터들은 예측의 적용 여부를 지시하는 플래그, 예측 후보 리스트 인덱스, 예측자 인덱스, 양자화 파라미터 및 잔차 좌표계 변환을 위한 정보를 포함한다.
부호화 장치는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 복원 잔차 포인트를 생성한다(S622).
부호화 장치는 잔차 좌표계 변환을 위한 정보를 이용하여 복원 잔차 포인트에 대해 기하 정보의 좌표계를 역변환한다(S624).
부호화 장치는 복원 잔차 포인트와 예측 포인트를 합산하여 현재 포인트를 복원한다(S626).
전술한 바와 같이 부호화 장치는 복원 현재 포인트를 이용하여 제1 예측 후보 리스트를 갱신할 수 있다. 예를 들어, 현재 포인트가 제1 예측 후보 리스트에 포함된 포인트들이 포함된 객체들과 상이한 객체로부터 획득된 경우, 현재 포인트는 리스트의 가장 앞에 추가되고, 리스트의 마지막 후보는 제거될 수 있다. 반면, 현재 포인트가 제1 예측 후보 리스트에 포함된 포인트들이 포함된 객체들 중 하나와 동일한 객체에서 획득된 경우, 현재 포인트와 가장 유사한 포인트가 리스트로부터 제거되고, 현재 포인트가 리스트의 가장 앞에 추가될 수 있다. 이때, 동일 객체에서 획득된 포인트들인지 여부는 기하 정보에 따라 결정될 수 있다. 예를 들어, 공간적으로 근접한 위치의 포인트들은 동일한 객체로부터 획득된 것으로 결정될 수 있다.
부호화 장치는 복원 현재 포인트를 버퍼에 저장한다(S628).
도 7은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 복호화하는 방법을 나타내는 순서도이다.
복호화 장치는 비트스트림으로부터 양자화된 잔차 포인트, 및 파라미터들을 복호화한다(S700). 여기서, 파라미터들은 양자화 파라미터, 잔차 좌표계 변환을 위한 정보, 예측 후보 리스트 인덱스, 및 예측자 인덱스를 포함한다.
전술한 바와 같이, 포인트 클라우드 내 포인트들 중 백그라운드에 포함된 포인트들에 대해 복호화 장치는 예측을 수행할 수 있다. 즉, 포어그라운드에 포함된 포인트들에 대해 예측이 생략될 수 있다. 복호화 장치는 각 포인트에 대해 예측의 적용 여부를 지시하는 플래그를 복호화한다. 복호화된 플래그가 참인 경우, 복호화 장치는 양자화 파라미터 및 잔차 좌표계 변환을 위한 정보 외에 예측 후보 리스트 인덱스 및 예측자 인덱스를 추가로 복호화할 수 있다. 복호화된 플래그가 거짓인 경우, 이하의 단계들 중 일부는 생략될 수 있다.
복호화 장치는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원한다(S702).
복호화 장치는 잔차 좌표계 변환을 위한 정보를 이용하여 잔차 포인트에 대해 기하 정보의 좌표계를 역변환한다(S704).
복호화 장치는 예측 후보 리스트 인덱스에 따라 예측 후보 리스트를 결정한다(S706). 복호화 장치는 예측 후보 리스트 인덱스에 따라 제1 예측 후보 리스트 또는 제2 예측 후보 리스트를 예측 후보 리스트로 결정한다. 제1 예측 후보 리스트는 현재 포인트와 유사한 포인트들을 포함하되, 추후 복원 현재 포인트를 이용하여 갱신될 수 있다. 제2 예측 후보 리스트는 현재 포인트를 예측할 때 새로 구성될 수 있다. 복호화 장치는, 전술한 바와 같이, 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 그 위치를 추정하고, 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 복원 포인트들로부터 탐색한 후, 기설정된 개수의 포인트들을 제2 예측 후보 리스트로 구성할 수 있다.
복호화 장치는 예측자 인덱스를 이용하여 예측 후보 리스트로부터 예측 포인트를 결정한다(S708).
복호화 장치는 잔차 포인트와 예측 포인트를 합산하여 현재 포인트를 복원한다(S710).
부호화 장치와 유사한 방식에 기초하여, 복호화 장치는 복원 현재 포인트를 이용하여 제1 예측 후보 리스트를 갱신할 수 있다.
복호화 장치는 복원 현재 포인트를 버퍼에 저장한다(S712).
복호화 장치는 버퍼에 저장된 복원 포인트들의 좌표계를 변환한다(S714). 복호화 장치는 복원 포인트들에 대해 기하 정보만의 좌표계를 복호화 장치 내부 좌표계로부터 세계 좌표계로 변환할 수 있다.
본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.
이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들 혹은 방법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.
한편, 본 실시예에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
(부호의 설명)
202: 엔트로피 복호화부
204: 역양자화부
206: 잔차 좌표계 역변환부
208: 합산부
210: 저장부
212: 좌표계 변환부
214: 예측부
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2021년 11월 19일 한국에 출원한 특허출원번호 제10-2021-0160574 호, 2022년 9월 21일 한국에 출원한 특허출원번호 제10-2022-0119086 호에 대해 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (14)

  1. 포인트 클라우드(point cloud) 복호화 장치가 수행하는, 현재 포인트를 복호화하는 방법에 있어서,
    비트스트림으로부터 양자화된 잔차 포인트(residual point), 양자화 파라미터, 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 복호화하는 단계;
    상기 양자화 파라미터를 이용하여 상기 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원하는 단계;
    상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계;
    상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계;
    상기 잔차 포인트와 상기 예측 포인트를 합산하여 상기 현재 포인트를 복원하는 단계; 및
    상기 복원 현재 포인트를 버퍼에 저장하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    잔차 좌표계 변환을 위한 정보를 상기 비트스트림으로부터 복호화하고, 상기 정보를 이용하여 상기 잔차 블록에 대해 기하 정보의 좌표계를 역변환하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 버퍼에 저장된 복원 포인트들의 좌표계를 변환하는 단계를 더 포함하되,
    상기 좌표계를 변환하는 단계는,
    상기 저장된 복원 포인트들을 포함하는 포인트 클라우드에 대해 기하 정보의 좌표계를 상기 포인트 클라우드 복호화 장치 내부 좌표계에서 세계 좌표계로 변환하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서,
    상기 복호화하는 단계는,
    원통형 라이다가 생성하는 포인트 클라우드에 대해, 상기 원통형 라이다의 회전 축을 중심으로 이동하면서 상기 잔차 포인트를 복호화하는 것을 특징으로 하는, 방법.
  5. 제1항에 있어서,
    상기 예측 후보 리스트를 결정하는 단계는,
    상기 예측 후보 리스트 인덱스에 따라 제1 예측 후보 리스트 또는 제2 예측 후보 리스트를 상기 예측 후보 리스트로 결정하는 것을 특징으로 하는, 방법.
  6. 제5항에 있어서,
    상기 복원 현재 포인트를 이용하여 상기 제1 예측 후보 리스트를 갱신하는 단계를 더 포함하되,
    상기 제1 예측 후보 리스트를 갱신하는 단계는,
    상기 복원 현재 포인트가 상기 제1 예측 후보 리스트에 포함된 포인트들이 포함된 객체들 중 하나와 동일 객체에서 획득된 경우, 상기 복원 현재 포인트와 가장 유사한 포인트가 상기 제1 예측 후보 리스트로부터 제거하고, 상기 현재 포인트를 상기 제1 예측 후보 리스트의 가장 앞에 추가하는 것을 특징으로 하는, 방법.
  7. 제6항에 있어서,
    상기 제1 예측 후보 리스트를 갱신하는 단계는,
    상기 제1 예측 후보 리스트에 포함된 포인트들의 기하 정보와 상기 복원 현재 포인트의 기하 정보를 이용하여 상기 동일 객체에서 획득된 포인트들인지를 확인하는 것을 특징으로 하는, 방법.
  8. 제5항에 있어서,
    라이다 파라미터들을 복호화하는 단계;
    상기 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 상기 양자화된 현재 포인트의 위치를 추정하는 단계; 및
    상기 양자화된 현재 포인트를 이용하여 상기 제2 예측 후보 리스트를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
  9. 제8항에 있어서,
    상기 제2 예측 후보 리스트를 생성하는 단계는,
    상기 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 상기 버퍼에 저장된 복원 포인트들로부터 탐색한 후, 기설정된 개수의 탐색된 포인트들을 이용하여 생성하는 것을 특징으로 하는, 방법.
  10. 제8항에 있어서,
    상기 제2 예측 후보 리스트를 생성하는 단계는,
    상기 양자화된 포인트와 동일한 위치 및 주변 위치들에 대해 이전 프레임에 포함된 포인트들을 탐색한 후, 기설정된 개수의 탐색된 포인트들을 이용하여 생성하는 것을 특징으로 하는, 방법.
  11. 포인트 클라우드(point cloud) 부호화 장치가 수행하는, 현재 포인트를 부호화하는 방법에 있어서,
    상기 현재 포인트를 획득하는 단계;
    예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계;
    상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계;
    상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계;
    상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계;
    양자화 파라미터를 결정하는 단계;
    상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및
    상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  12. 제11항에 있어서,
    잔차 좌표계 변환을 위한 정보를 결정하는 단계;
    상기 잔차 좌표계 변환을 위한 정보를 이용하여 상기 잔차 포인트에 대해 기하 정보의 좌표계를 변환하는 단계; 및
    상기 잔차 좌표계 변환을 위한 정보를 부호화하는 단계
    를 더 포함하는 것을 특징으로 하는, 방법.
  13. 제12항에 있어서,
    상기 양자화 파라미터를 이용하여 상기 양자화된 잔차 포인트를 역양자화함으로써 복원 잔차 포인트를 생성하는 단계;
    상기 잔차 좌표계 변환을 위한 정보를 이용하여 상기 복원 잔차 포인트에 대해 상기 기하 정보의 좌표계를 역변환하는 단계;
    상기 복원 잔차 포인트와 상기 예측 포인트를 합산하여 상기 현재 포인트를 복원하는 단계; 및
    상기 복원 현재 포인트를 버퍼에 저장하는 단계
    를 포함하는 것을 특징으로 하는, 방법.
  14. 포인트 클라우드 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 포인트 클라우드 부호화 방법은,
    현재 포인트를 획득하는 단계;
    예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계;
    상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계;
    상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계;
    상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계;
    양자화 파라미터를 결정하는 단계;
    상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및
    상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는, 기록매체.
PCT/KR2022/014173 2021-11-19 2022-09-22 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치 WO2023090616A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210160574 2021-11-19
KR10-2021-0160574 2021-11-19
KR10-2022-0119086 2022-09-21
KR1020220119086A KR20230073972A (ko) 2021-11-19 2022-09-21 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023090616A1 true WO2023090616A1 (ko) 2023-05-25

Family

ID=86397232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014173 WO2023090616A1 (ko) 2021-11-19 2022-09-22 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2023090616A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031133A (ko) * 2014-07-11 2017-03-20 퀄컴 인코포레이티드 진보된 팔레트 예측 및 시그널링
WO2020072579A1 (en) * 2018-10-02 2020-04-09 Futurewei Technologies, Inc. Motion estimation using 3d auxiliary data
WO2021049758A1 (ko) * 2019-09-11 2021-03-18 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20210306664A1 (en) * 2020-03-30 2021-09-30 Tencent America LLC Method of coding attributes for point cloud coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031133A (ko) * 2014-07-11 2017-03-20 퀄컴 인코포레이티드 진보된 팔레트 예측 및 시그널링
WO2020072579A1 (en) * 2018-10-02 2020-04-09 Futurewei Technologies, Inc. Motion estimation using 3d auxiliary data
WO2021049758A1 (ko) * 2019-09-11 2021-03-18 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20210306664A1 (en) * 2020-03-30 2021-09-30 Tencent America LLC Method of coding attributes for point cloud coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUN XUEBIN; WANG SUKAI; WANG MIAOHUI; WANG ZHENG; LIU MING: "A Novel Coding Architecture for LiDAR Point Cloud Sequence", IEEE ROBOTICS AND AUTOMATION LETTERS, IEEE, vol. 5, no. 4, 17 July 2020 (2020-07-17), pages 5637 - 5644, XP011801491, DOI: 10.1109/LRA.2020.3010207 *

Similar Documents

Publication Publication Date Title
WO2020036417A1 (ko) 히스토리 기반 움직임 벡터에 기반한 인터 예측 방법 및 그 장치
WO2019194522A1 (ko) 중복 포인트 처리 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2011149265A2 (en) New planar prediction mode
WO2011139099A2 (ko) 비디오 신호의 처리 방법 및 장치
WO2017052000A1 (ko) 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2011046327A2 (en) Apparatus and method for coding a three dimensional mesh
WO2011145862A2 (en) New intra prediction modes
WO2017043769A1 (ko) 부호화 장치, 복호화 장치 및 그 부호화 방법 및 복호화 방법
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2017043766A1 (ko) 비디오 부호화, 복호화 방법 및 장치
WO2020009390A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 처리 방법 및 장치
WO2020071793A1 (ko) Hmvp를 기반으로 예측 후보를 구성하는 방법 및 장치
WO2015057033A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013133648A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013157814A1 (ko) 영상의 레퍼런스 픽쳐 세트를 결정하기 위한 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2023090616A1 (ko) 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치
WO2013002620A2 (ko) 스킵 모드를 이용한 모션 정보 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2015182927A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2013157839A1 (ko) 인간의 시각 특성을 이용한 오프셋 값 결정 방법 및 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895825

Country of ref document: EP

Kind code of ref document: A1