KR20230094417A - 포인트 클라우드 비디오 부호화 방법 - Google Patents

포인트 클라우드 비디오 부호화 방법 Download PDF

Info

Publication number
KR20230094417A
KR20230094417A KR1020210183592A KR20210183592A KR20230094417A KR 20230094417 A KR20230094417 A KR 20230094417A KR 1020210183592 A KR1020210183592 A KR 1020210183592A KR 20210183592 A KR20210183592 A KR 20210183592A KR 20230094417 A KR20230094417 A KR 20230094417A
Authority
KR
South Korea
Prior art keywords
block
point cloud
occupancy map
map information
encoding method
Prior art date
Application number
KR1020210183592A
Other languages
English (en)
Inventor
최해철
권대혁
한희지
Original Assignee
한밭대학교 산학협력단
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단, 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020210183592A priority Critical patent/KR20230094417A/ko
Publication of KR20230094417A publication Critical patent/KR20230094417A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 포인트 클라우드 비디오 부호화 방법에 관한 것으로 더욱 상세하게는 부호화할 현재 블럭의 대응 Occupancy map 정보에서 유효 데이터를 포함하는지 여부에 따라 제1인루프 필터링 수행 단계 및 제2인루프 필터링 수행 중 어느 하나를 결정하도록 함으로써 더미 데이터 블럭의 압축 효율을 보다 증대시킬 수 있는 포인트 클라우드 비디오 부호화 방법에 관한 것이다.
이를 위해 본 발명은 포인트 클라우드 영상을 이용하여 인루프 필터링이 수행되는 포인트 클라우드 비디오 부호화 방법에 있어서, 프로세서가, (a) 부호화할 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계; (b) 상기 획득된 현재 블럭의 대응 Occupancy map 정보가 유효 데이터를 포함하는지 판단하는 단계; 및 (c) 상기 유효 데이터 포함 여부에 따라 제1인루프 필터링 단계 및 제2인루프 필터링 단계 중 어느 하나를 수행하여 부호화하는 단계를 포함한다.

Description

포인트 클라우드 비디오 부호화 방법{Point cloud video encoding method}
본 발명은 포인트 클라우드 비디오 부호화 방법에 관한 것으로 더욱 상세하게는 부호화할 현재 블럭의 대응 Occupancy map 정보에서 유효 데이터를 포함하는지 여부에 따라 제1인루프 필터링 수행 단계 및 제2인루프 필터링 수행 중 어느 하나를 결정하도록 함으로써 더미 데이터 블럭의 압축 효율을 보다 증대시킬 수 있는 포인트 클라우드 비디오 부호화 방법에 관한 것이다.
포인트 클라우드는 특정 개체 혹은 장면을 다수의 3 차원 포인터를 사용하여 표현하는 데이터의 표현 방식 중 하나이다.
포인트 클라우드를 사용하면 3 차원 객체 및 장면 을 표현할 수 있어 다양한 3차원 오브젝트를 표현하거나 가상 현실을 표현하는 것이 가능하다. 포인트 클라우드를 표현하기 위해서는 카메라와 깊이 센서를 사용 하는 방법으로 프레임을 구성하며 3차원 포인트의 수가 많아질수록 포인트 클라우드 콘텐츠의 해상도를 높일 수 있다.
하지만 포인트 클라우드의 포인트는 기하학 정보 및 여러 속성 정보를 포함하기 때문에 2차원 미디어와 비교하여 추가 정보에 따른 데이터 증가량이 높다는 단점이 있다.
따라서 2차원 미디어 영상보다 높은 정보량을 가지는 포인트 클라우드를 효율적으로 전송하기 위해서는 고효율의 부호화 기술이 요구된다
포인트 클라우드 데이터를 효율적으로 부호화하기 위하여 국제 표준 화 기구인 ISO/IEC JTC1/SC29/WG 7 에서 Video based Point Cloud Compression(V-PCC) 에 대한 표준화를 진행하였으며 V PCC에 대한 표준은 2021년 4월에 국제표준으로 제정되었다.
도 1에 도시된 바와 같이 V-PCC는 3차원 데이터를 정보의 종류에 따라 다수의 2차원 공간으로 투영하여 3종류의 2차원 영상을 생성한다. 2차원 영상은 각각 Occupancy(도 1의 (a)), Geometry(도 1의 (b)), Texture(도 1의 (c)) 영상으로 Ouccpancy는 해당 2차원 좌표의 pixel이 실제 투영된 데이터인지를 나타내며 Geometry는 깊이 정보를 나타내고 Texture는 색상 정보를 나타낸 영상이다.
이러한 2차원 영상은 동일한 포인트 클라우드 영상으로부터 변환한 영상이므로 각 2차원 영상 간에 높은 연관성을 가진다.
점차 그 용량이 급격하게 증대되는 영상 데이터의 추세를 고려할 때 이와 같은 포인트 클라우드로부터 변환되는 2차원 영상 간의 높은 연관성을 활용하여 2차원 영상의 압축률을 보다 높일 수 있는 연구가 필요하다.
한국공개특허 제10-2021-0113126호(공개일자: 2021.09.15)
본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서 부호화할 현재 블럭의 대응 Occupancy map 정보에서 유효 데이터를 포함하는지 여부에 따라 제1인루프 필터링 수행 단계 및 제2인루프 필터링 수행 중 어느 하나를 결정하도록 함으로써 더미 데이터 블럭의 압축 효율을 보다 증대시킬 수 있는 포인트 클라우드 비디오 부호화 방법을 제공함에 그 목적이 있다.
본 발명은 상기의 과제를 해결하기 위해 아래와 같은 특징을 갖는다.
본 발명은 포인트 클라우드 영상을 이용하여 인루프 필터링이 수행되는 포인트 클라우드 비디오 부호화 방법에 있어서, 프로세서가, (a) 부호화할 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계; (b) 상기 획득된 현재 블럭의 대응 Occupancy map 정보가 유효 데이터를 포함하는지 판단하는 단계; 및 (c) 상기 유효 데이터 포함 여부에 따라 제1인루프 필터링 단계 및 제2인루프 필터링 단계 중 어느 하나를 수행하여 부호화하는 단계를 포함한다.
여기서 상기 단계 (c)에서, c-1) 상기 단계 (b)에서 유효 데이터를 포함하는 것으로 판단한 경우 제1인루프 필터링 단계를 수행하되, 상기 제1인루프 필터링 단계는 디블럭킹 필터 모드(Deblocking filter mode), SAO 모드, ALF 모드 및 CCALF 모드 중 n개소로 부호화한다.
또한 상기 단계 (c)에서, c-2) 상기 단계(b)에서 유효 데이터를 포함하지 않는 것으로 판단한 경우 제2인루프 필터링 단계를 수행하되, 상기 제2인루프 필터링 단계는 디블럭킹 필터 모드(Deblocking filter mode), SAO 모드 및 ALF 모드 중 m개소로 부호화한다.
아울러 1≤n≤4 이고, 0≤m≤3 이며 m<n 이며, 상기 단계 (a)에서 a-1) 대응 Occupancy map 정보를 획득할 시에 현재 블럭을 포함하는 현재 영상의 대응 Occupancy map 정보 또는 현재 블럭의 위치 정보 중 적어도 하나에 따라 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계를 포함한다.
또한 상기 단계 a-1) 이후에, a-2) 현재 블럭을 포함하는 현재 영상의 크기와 해당 영상의 대응 Occupancy map 정보의 크기가 동일한지 판단하는 단계와, a-3) 동일하지 않는 것으로 판단하면 현재 영상 대비 대응 Occupancy map 정보 크기 비율을 기초로 현재 블럭에 대한 대응 Occupancy map 정보를 선택하는 단계를 더 포함한다.
아울러 상기 단계 (a) 또는 단계 (b)는 부호화 파라미터, 픽처 정보, 슬라이스 정보, 타일 정보, 양자화 파리미터(QP), 부호화 블럭 플래그(CBF), 블럭 크기, 블럭 깊이, 블럭 형태, 엔트로피 부호화 방법, 블럭의 크기, 정사각형 또는 직사각형 중 어느 하나인 블럭의 모양, occupancy map, attribute, geometry 중 적어도 하나에 기초하여 수행 여부를 결정한다.
또한 상기 블럭은 부호화 트리 블럭, 부호화 블럭, 예측 블럭, 변환 블럭, 일정 크기 블럭 중 적어도 하나이다.
본 발명에 따르면 부호화할 현재 블럭의 대응 Occupancy map 정보를 통해 더미 데이터 블럭을 추출함에 따라 2차원 영상의 압축 효율을 보다 증대시킬 수 있는 효과가 있다.
도 1은 포인트 클라우드 데이터를 2차원 공간으로 투영한 3종류의 2차원 영상을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 포인트 클라우드 비디오 부호화 과정을 나타내는 순서도이다.
도 3은 도 2의 S100 단계의 동작 과정을 나타내는 순서도이다.
도 4는 S100 단계를 수행한 일예를 나타내는 도면이다.
도 5는 대응 Occupancy map 정보에서 특정 블럭의 유효 데이터 존재여부를 나타내는 도면이다.
도 6은 도 2의 S300 단계의 동작 과정을 나타내는 순서도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.
먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서 영상은 비디오(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 비디오 자체를 나타낼 수도 있다. 예를 들면, "비디오의 부호화/복호화"는 "비디오의 부호화 및/또는 복호화"를 의미할 수 있으며, "비디오을 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.
이하에서, 용어들 "비디오" 및 "동영상"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다. 여기서, 대상 영상은 현재 영상과 동일한 의미를 가질 수 있다.
이하에서, 용어들 "영상", "픽처", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 현재 블럭은 부호화의 대상인 부호화 대상 블럭 및/또는 복호화의 대상인 복호화 대상 블럭일 수 있다. 예를 들면, 용어들 "대상 블럭" 및 "현재 블럭"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.
이하에서, 용어들 "블럭" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또는 "블럭"은 특정한 유닛을 나타낼 수 있다.
이하에서, 용어들 "영역(region)" 및 "세그먼트(segment)"는 서로 교체되어 사용될 수 있다.
이하에서, 특정한 신호는 특정한 블럭을 나타내는 신호일 수 있다. 예를 들면, 원(original) 신호는 대상 블럭을 나타내는 신호일 수 있다. 예측(prediction) 신호는 예측 블럭을 나타내는 신호일 수 있다. 잔여(residual) 신호는 잔여 블럭(residual block)을 나타내는 신호일 수 있다.
실시예들에서, 특정된 정보, 데이터, 플래그(flag), 색인(index) 및 요소(element), 속성(attribute) 등의 각각은 값을 가질 수 있다. 정보, 데이터, 플래그, 색인 및 요소, 속성 등의 값 "0"은 논리 거짓(logical false) 또는 제1 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "0", 거짓, 논리 거짓 및 제1 기정의된 값은 서로 대체되어 사용될 수 있다. 정보, 데이터, 플래그, 색인 및 요소, 속성 등의 값 "1"은 논리 참(logicaltrue) 또는 제2 기정의된 값을 나타낼 수 있다. 말하자면, 값 "1", 참, 논리 참 및 제2 기정의된 값은 서로 대체되어 사용될 수 있다.
행, 열 또는 색인(index)을 나타내기 위해 i 또는 j 등의 변수가 사용될 때, i의 값은 0 이상의 정수일 수 있으며, 1 이상의 정수일 수도 있다. 말하자면, 실시예들에서 행, 열 및 색인 등은 0에서부터 카운트될 수 있으며, 1에서부터 카운트될 수 있다.
<용어의 정리>
포인트 클라우드(Point cloud)는 특정 개체를 3D 공간 상의 점 샘플들의 집합으로 표현하는 방법이다.
또한 포인트 클라우드 압축(Point cloud compression; PCC)은 point cloud를 표현하기 위한 방법일 수 있다.
또한 V-PCC(Video based PCC)는 2D 비디오 압축 코덱을 활용한 point cloud 압축 방법으로서 V-PCC에서는 포인트 클라우드(point cloud) 데이터를 occupancy, geometry, attribute 영상으로 변환하고 각각에 대해서 비디오 압축 코덱으로 부호화 한다.
Occupancy map은 각 샘플이 3D 공간의 관련 샘플에 해당하는지 여부를 나타내는 맵 정보이며, 포인트 클라우드 데이터(Point cloud data)로부터 변환되어 attribute와 geometry 값을 갖는 위치의 화소는 제1값으로, 그 외 위치의 화소는 제2값을 갖는 특징 맵을 말한다.
Occupancy map의 제1값은 1, 제2값은 0일 수 있으며. 표현된 부분은 1의 값을 그 외의 영역(더미 데이터)은 0의 값을 할당한 이미지이다.
또한 Geometry는 각 픽셀의 깊이 정보를 기록한 영상이며, Attribute (Texture)는 각 픽셀의 색상 정보를 기록한 영상이다.
또한 율-왜곡 최적화(Rate-distortion optimization, RDO)는 부호화 과정으로 인하여 화질이 저하된 영상의 화질 왜곡(distortion)과 이 때에 소요되는 압축된 영상을 표현하는데 사용되는 데이터의 양(rate)을 동시에 고려하여 최적의 모드를 선택하기 위한 기술을 말한다.
또한 SAO 모드(Sample adaptive offset)는 현재 블럭의 각 화소값에 대해 오프셋(offset)을 적용하여 원본영상과의 차이를 감소시키는 모드를 말하며, SAO merge 모드는 SAO 모드의 하위 모드로 주변 블럭의 SAO 모드에서 사용한 offset을 사용하여 현재 블럭의 화소값에 대해 오프셋(offset)을 적용하여 원본영상과의 차이를 감소시키는 모드를 말한다.
또한 ALF 모드(Adaptive loop filter)는 현재 블럭의 각 화소값에 대해 주변 화소들의 값에 따라 해당 화소를 보정하는 모드를 말하며, CCALF 모드(Cross-component ALF)는 색상 정보간의 연관성에 기반하여 화소값을 보정하는 기술을 말한다.
또한 디블럭킹 필터 모드(Deblocking filter mode)는 양자화로 인한 블럭화 왜곡(blocking artifact)를 완화하기 위하여 블럭 경계에 있는 화소에 대한 보정을 수행하는 모드를 말한다.
Quad Tree(QT)는 대상 블럭을 정사각형 블럭 4개로 분할하는 기술이며, Binary Tree(BT)는 대상 블럭을 2개의 블럭으로 분할하는 기술이고, Ternary Tree(TT)는 대상 블럭을 3개의 블럭으로 분할하는 기술이며, Multi-type Tree(MT)는 대상 블럭을 다수의 블럭으로 분할하는 기술로 QT, BT, TT 와 같은 기술을 총칭한다.
본 발명에서는, 부호화 하려는 현재 블럭에 대응하는 occupancy map 정보가 모두 제2값 일 때, 부호화 하려는 현재 블럭을 '더미 데이터 블럭'이라고 하며, 부호화 하려는 현재 블럭이 이에 대응하는 occupancy map 정보에서 적어도 하나의 제 1값을 가지는 블럭을 ‘유효 데이터 블럭’이라고 한다. 제1값을 유효 데이터라고 한다.
도 2는 본 발명의 일실시예에 따른 포인트 클라우드 비디오 부호화 과정을 나타내는 순서도이며, 도 3은 도 2의 S100 단계의 동작 과정을 나타내는 순서도이고, 4는 S100 단계를 수행한 일예를 나타내는 도면이며, 도 5는 대응 Occupancy map 정보에서 특정 블럭의 유효 데이터 존재여부를 나타내는 도면이다.
도면을 참조하면 본 발명의 일실시예에 따른 포인트 클라우드 비디오 부호화 방법은 크게 프로세서가, 부호화할 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계(S100)와, 상기 획득된 현재 블럭의 대응 Occupancy map 정보가 유효 데이터를 포함하는지 판단하는 단계(S200) 및 상기 유효 데이터 포함 여부에 따라 제1인루프 필터링 단계 및 제2인루프 필터링 단계 중 어느 하나를 수행하여 부호화하는 단계(S300)를 포함한다.
여기서 상기 S100 단계는 포인트 클라우드의 2차원 영상 중 Occupancy map 정보를 통해 부호화할 현재 블럭과 위치적으로 대응되는 Occupancy map 정보를 획득하도록 구비되는데, 이러한 S100 단계는 대응 Occupancy map 정보를 획득할 시에 현재 블럭을 포함하는 현재 영상의 대응 Occupancy map 정보 또는 현재 블럭의 위치 정보 중 적어도 하나에 따라 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계(S110)와, 현재 블럭을 포함하는 현재 영상의 크기와 해당 영상의 대응 Occupancy map 정보의 크기가 동일한지 판단하는 단계(S120) 및 동일하지 않는 것으로 판단하면 현재 영상 대비 대응 Occupancy map 정보 크기 비율을 기초로 현재 블럭에 대한 대응 Occupancy map 정보를 선택하는 단계(130)로 구성된다.
이와 같이 S100 단계에서는 부호화할 현재 블럭에 대해 위치적으로 대응되는 을 Occupancy map 정보를 획득하여 후술할 S200 및 S300 단계에서 Occupancy map 정보를 기초로 판단할 때 의미 없는 블럭인 더미 데이터 블럭으로 판단되는 경우 데이터 필터링 단계를 생략하거나 필터링 모드의 수행 개수를 줄여 영상 정보의 압축률과 압축 속도를 향상시킬 수 있게 된다.
이때 부호화할 현재 블럭을 포함하는 현재 영상의 크기(Scale)과 이와 대응되는 Occupancy map 정보가 도 4에 도시된 바와 같이 상이한 경우 이들 간 Scale 비율을 고려하여 부호화할 현재 블럭에 대해서 대응 Occupancy map 정보 또한 Scale 조정을 수행하여야 한다(S130).
아울러 상기 S110 단계는 현재 블럭에 대응 Occupancy map 정보를 획득하기 위해 현재 블럭을 포함하는 현재 영상의 대응 Occupancy map 정보 또는 현재 블럭의 위치 정보 중 적어도 하나를 기초로 현재 블럭의 대응 Occupancy map 정보를 획득할 수 있다.
아울러 상기 S100 단계 또는 후술할 S200 단계는 부호화 파라미터, 픽처 정보, 슬라이스 정보, 타일 정보, 양자화 파리미터(QP), 부호화 블럭 플래그(CBF), 블럭 크기, 블럭 깊이, 블럭 형태, 엔트로피 부호화 방법, 블럭의 크기, 정사각형 또는 직사각형 중 어느 하나인 블럭의 모양, occupancy map, attribute, geometry 중 적어도 하나에 기초하여 수행 여부를 결정할 수 있으며, 여기서 상기 블럭은 부호화 트리 블럭, 부호화 블럭, 예측 블럭, 변환 블럭, 일정 크기 블럭 중 적어도 하나이다.
한편 상기 S200 단계는 상기 획득된 현재 블럭의 대응 Occupancy map 정보가 유효 데이터를 포함하는지 판단하도록 구비되는데, 이러한 S200 단계는 도 5에 도시된 바와 같이 부호화할 현재 블럭의 대응 Occupancy map 정보에서 유효 데이터가 존재하는지 판단하게 된다.
도 5에서 나타나 있는 바와 같이 상기 대응 Occupancy map 정보는 a×b 분할 영역으로 표시될 수 있고, 설정에 따라 상기 단위 분할 영역은 픽셀이 될 수도 있다.
이와 같이 픽셀 단위로 분할된 대응 Occupancy map 정보에서 픽셀들은 제1값 또는 제2값을 가지는데, 제1값은 1, 제2값은 0으로 설정할 수 있다.
1은 해당 Occupancy map 정보에서의 픽셀 위치와 대응되는 attribute map 및 geometry map에서 해당 픽셀이 값을 가지는 것을 의미하며 이는 해당 위치의 픽셀이 background(배경)가 아님을 알린다.
이와 반대로 attribute map 및 geometry map에서 해당 픽셀이 값을 가지지 않는 경우 즉, 해당 픽셀 위치가 background인 경우 0으로 설정된다.
따라서, S200 단계에서는 부호화할 현재 블록의 대응 Occupancy map 정보에 유효 데이터 즉, 제1값인 1로 표시되는 픽셀이 있는지 판단하여 1개라도 있는 경우 이를 유효 데이터 블럭으로 판단하게 된다.
도 6은 도 2의 S300 단계의 동작 과정을 나타내는 순서도이다.
본 발명의 S300 단계는 전술한 S200 단계에서 부호화할 현재 블럭이 유효 데이터를 포함하는지 여부를 판단하여 이의 판단 결과에 따라 제1인루프 필터링 단계 및 제2인루프 필터링 단계 중 어느 하나를 수행하도록 구성되는데, 여기서 상기 제1인루프 필터링 단계는 현재 블럭이 유효 데이터를 포함하는 것으로 판단한 경우 수행하되(S310), 상기 제1인루프 필터링 단계는 디블럭킹 필터 모드(Deblocking filter mode), SAO 모드, ALF 모드 및 CCALF 모드 중 n개소의 모드로 필터링을 수행한다.
여기서 n개소는 1개소부터 4개소 모두 가능하다.
한편 상기 제2인루프 필터링 단계는 부호화할 현재 블럭의 대응 Occupancy map 정보에 유효 데이터가 포함되지 않는 것으로 판단한 경우 수행되는데(S320), 이러한 제2인루프 필터링 단계는 전술한 제1인루프 필터링 단계에서와 같이 디블럭킹 필터 모드(Deblocking filter mode), SAO 모드, ALF 모드 및 CCALF 모드 중 m개소로 부호화를 수행한다.
여기서 m개소는 0개소부터 3개소까지 가능하나, 상기 제1인루프 필터링 단계에서의 n개소보다는 작아야 한다.
이는 제1인루프 필터링 단계가 유효 데이터 블록을 대상으로 필터링을 수행함에 반해 제2인루프 필터링 단계는 비유효 데이터 블럭 즉, 더미 데이터 블록에 대해 필터링을 수행하는 것이므로 0개소 즉, 필터링을 수행하지 않거나 1개소 정도의 필터링 모드 수행이 이루어짐이 바람직할 것이다.
이와 같이 본 발명에서 유효 데이터의 포함 여부에 따라 제1, 제2인루프 필터링 단계로 선택하여 수행되도록 하는 이유는 종래 하나의 인루프 필터링 단계만 있는 경우 코덱 사용자가 사용자 설정으로 1~2개소의 필터링 모드를 오프시킬 수 있는데, 이러한 사용자 설정은 유효 데이터 블럭과 더미 데이터 블럭 모두에 적용될 수 밖에 없다.
하지만, 본 발명에서는 유효 데이터 블럭과 더미 데이터 블럭을 대응 Occupancy map 정보를 기초로 결정하고 결정된 결과에 따라 더미 데이터 블럭은 필터링을 수행하지 않거나 최소화하는 형태로 압축률은 물론 프로세스 처리 속도를 향상시킬 수 있게 된다.
이상에서 본 발명의 바람직한 실시 예에 대하여 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니한다. 즉, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 특허청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정은 균등물들로 본 발명의 범위에 속하는 것으로 간주 되어야 할 것이다.

Claims (8)

  1. 포인트 클라우드 영상을 이용하여 인루프 필터링이 수행되는 포인트 클라우드 비디오 부호화 방법에 있어서,
    프로세서가,
    (a) 부호화할 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계;
    (b) 상기 획득된 현재 블럭의 대응 Occupancy map 정보가 유효 데이터를 포함하는지 판단하는 단계; 및
    (c) 상기 유효 데이터 포함 여부에 따라 제1인루프 필터링 단계 및 제2인루프 필터링 단계 중 어느 하나를 수행하여 부호화하는 단계;를 포함하는 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  2. 제1항에 있어서,
    상기 단계 (c)에서,
    c-1) 상기 단계 (b)에서 유효 데이터를 포함하는 것으로 판단한 경우 제1인루프 필터링 단계를 수행하되,
    상기 제1인루프 필터링 단계는
    디블럭킹 필터 모드(Deblocking filter mode), SAO 모드, ALF 모드 및 CCALF 모드 중 n개소로 부호화하는 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  3. 제2항에 있어서,
    상기 단계 (c)에서,
    c-2) 상기 단계(b)에서 유효 데이터를 포함하지 않는 것으로 판단한 경우 제2인루프 필터링 단계를 수행하되,
    상기 제2인루프 필터링 단계는
    디블럭킹 필터 모드(Deblocking filter mode), SAO 모드 및 ALF 모드 중 m개소로 부호화하는 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  4. 제3항에 있어서,
    1≤n≤4 이고, 0≤m≤3 이며 m<n 인 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  5. 제3항에 있어서,
    상기 단계 (a)에서
    a-1) 대응 Occupancy map 정보를 획득할 시에 현재 블럭을 포함하는 현재 영상의 대응 Occupancy map 정보 또는 현재 블럭의 위치 정보 중 적어도 하나에 따라 현재 블럭의 대응 Occupancy map 정보를 획득하는 단계를 포함하는 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  6. 제5항에 있어서,
    상기 단계 a-1) 이후에,
    a-2) 현재 블럭을 포함하는 현재 영상의 크기와 해당 영상의 대응 Occupancy map 정보의 크기가 동일한지 판단하는 단계와,
    a-3) 동일하지 않는 것으로 판단하면 현재 영상 대비 대응 Occupancy map 정보 크기 비율을 기초로 현재 블럭에 대한 대응 Occupancy map 정보를 선택하는 단계를 더 포함하는 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  7. 제6항에 있어서,
    상기 단계 (a) 또는 단계 (b)는
    부호화 파라미터, 픽처 정보, 슬라이스 정보, 타일 정보, 양자화 파리미터(QP), 부호화 블럭 플래그(CBF), 블럭 크기, 블럭 깊이, 블럭 형태, 엔트로피 부호화 방법, 블럭의 크기, 정사각형 및 직사각형 중 어느 하나인 블럭의 모양, occupancy map, attribute, geometry 중 적어도 하나에 기초하여 수행 여부를 결정하는 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
  8. 제7항에 있어서,
    상기 블럭은
    부호화 트리 블럭, 부호화 블럭, 예측 블럭, 변환 블럭, 일정 크기 블럭 중 적어도 하나인 것
    을 특징으로 하는 포인트 클라우드 비디오 부호화 방법.
KR1020210183592A 2021-12-21 2021-12-21 포인트 클라우드 비디오 부호화 방법 KR20230094417A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183592A KR20230094417A (ko) 2021-12-21 2021-12-21 포인트 클라우드 비디오 부호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183592A KR20230094417A (ko) 2021-12-21 2021-12-21 포인트 클라우드 비디오 부호화 방법

Publications (1)

Publication Number Publication Date
KR20230094417A true KR20230094417A (ko) 2023-06-28

Family

ID=86994277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183592A KR20230094417A (ko) 2021-12-21 2021-12-21 포인트 클라우드 비디오 부호화 방법

Country Status (1)

Country Link
KR (1) KR20230094417A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210113126A (ko) 2011-04-21 2021-09-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210113126A (ko) 2011-04-21 2021-09-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Similar Documents

Publication Publication Date Title
US11595667B2 (en) Constraints on locations of reference blocks for intra block copy prediction
US10931946B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US10666979B2 (en) Image processing device and image processing method for encoding/decoding omnidirectional image divided vertically
CN105981385B (zh) 帧内预测编码方法及其装置
CN112740689B (zh) 视频编码器、视频解码器及对应方法
US11184641B2 (en) Coding spherical video data
KR101240450B1 (ko) 필름 그레인 시뮬레이션에 대한 블록 평균치를 결정하기위한 방법
CN112913237A (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
US8873625B2 (en) Enhanced compression in representing non-frame-edge blocks of image frames
CN107534768B (zh) 用于基于拍摄信息对图像进行压缩的方法和装置
CA3037026A1 (en) Systems, methods, and apparatuses for processing video
US20200267385A1 (en) Method for processing synchronised image, and apparatus therefor
WO2021136481A1 (en) Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus
US11600026B2 (en) Data processing systems
US20070147511A1 (en) Image processing apparatus and image processing method
JP2023073286A (ja) イントラ予測のためのデバイスおよび方法
KR20230094417A (ko) 포인트 클라우드 비디오 부호화 방법
CN116600134A (zh) 一种适配图形引擎的并行视频压缩方法和装置
Kavitha et al. A survey of image compression methods for low depth-of-field images and image sequences
JP7337157B2 (ja) ビデオエンコーダ、ビデオデコーダおよびピクチャを符号化または復号する方法
CN113542864B (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
JP2005521310A (ja) ビデオ信号後処理方法
EP2661081B1 (en) Processing of image
US11272185B2 (en) Hierarchical measurement of spatial activity for text/edge detection
Sauer Efficient coding tools for 360° video