KR20200108548A - 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법 - Google Patents

3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법 Download PDF

Info

Publication number
KR20200108548A
KR20200108548A KR1020190027291A KR20190027291A KR20200108548A KR 20200108548 A KR20200108548 A KR 20200108548A KR 1020190027291 A KR1020190027291 A KR 1020190027291A KR 20190027291 A KR20190027291 A KR 20190027291A KR 20200108548 A KR20200108548 A KR 20200108548A
Authority
KR
South Korea
Prior art keywords
point cloud
key frame
information
frame
skeleton information
Prior art date
Application number
KR1020190027291A
Other languages
English (en)
Other versions
KR102196025B1 (ko
Inventor
서영호
박병서
임완택
Original Assignee
광운대학교 산학협력단
스크린커플스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 스크린커플스(주) filed Critical 광운대학교 산학협력단
Priority to KR1020190027291A priority Critical patent/KR102196025B1/ko
Publication of KR20200108548A publication Critical patent/KR20200108548A/ko
Application granted granted Critical
Publication of KR102196025B1 publication Critical patent/KR102196025B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법에 관한 것으로서, 연속된 일련의 다시점의 깊이 및 텍스처 프레임을 수신하는 프레임 수신부; 깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성하는 포인트클라우드 생성부; 상기 다시점의 깊이 및, 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 뼈대정보 추출부; 키프레임 여부를 선정하는 키프레임 선정부; 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 포인트클라우드 변환부; 및, 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함하는 구성을 마련하여, 키프레임에서 추정된 정보 대비 비키프레임의 포인트 클라우드의 잔차 정보만을 압축함으로써, 월드 좌표계에 의해 표현되는 포인트 클라우드의 데이터량을 상당히 줄일 수 있다.

Description

3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법 { A system of compressing the sequence of 3D point clouds and the method thereof }
본 발명은 실사 객체를 360도 전방위에서 관찰이 가능한 3차원 그래픽 모델로 변환하는 시스템에서 뼈대 정보를 이용하여 생성된 3차원 포인트 클라우드를 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법에 관한 것이다.
최근, 차세대 혼합현실(MR) 시대가 도래되고 있다. MR기술은 인간의 상상력이 극대화된 형태의 차세대 미디어 서비스를 제공할 수 있다. 온라인 시장조사기관에 따르면, 혼합현실 시장 규모는 급성장할 것으로 예측하고 있다.
혼합현실(MR)은 증강현실 기술을 더욱 확대하고 가상현실 기술의 한계를 극복함으로써 현실과의 인터랙션 요소를 강화할 수 있다. 또한, 혼합현실 기술은 교육, 엔터테인먼트, 비즈니스 컨설팅, 건축, 토목, 물류, 에너지와 환경 관리, 의료, 군사 등 다방면에서 활용될 수 있다.
혼합현실이란 증강현실과 가상현실의 장점을 통합하고 사용자와의 인터랙션을 더욱 강화한 방식으로 정의할 수 있는데, 이를 위해 사람에 대해 실사 형태를 가지면서 360도의 전방위 관찰이 가능한 동적인 3D모델 제작기술이 가장 핵심적인 요소이다.
즉, 기존 실사 기반의 AR/VR/MR/홀로그램용 3D 콘텐츠 서비스는 주어진 시점에서만 서비스가 가능하다는 한계를 가지고 있다. 따라서 인터렉션이 가능하면서 360도 다시점 체험이 요구되는 MR 환경에서는, 원천적으로 현실의 실사 데이터를 전방위에서 3D 데이터로 서비스할 수 있는 시스템 및 제작기술이 필요하다.
특히, 3차원 실사 데이터는 상당히 많은 데이터량을 가진다. 즉, 포인터 클라우드의 내부를 살펴보면 텍스트로 구성된 정보들이다[비특허문헌 5]. 그래서 용량이 매우 크고 압축이 되지 않는다. 이들 데이터를 전송하기 위해서는 효율적으로 압축하는 기술이 필요하다.
한국등록특허 제10-1587962호 (2016.01.28. 공고)
Chen, Xia, and Song Zhang. "Three dimensional range geometry and texture data compression with space-filling curves." Optics express 25.21 (2017): 26103-26117. Zhang, Yong, et al. "The 3D model compression method based on sparse representation." 2014 5th International Conference on Digital Home. IEEE, 2014. Caroline Chan, et al, "Everybody Dance Now", arXiv:1808.07371, Vol. 1, No. 1, August 2018. Zhe Cao, et al, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1611.08050v2 [cs.CV], 14 Apr 2017. https://en.wikipedia.org/wiki/PLY_(file_format)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 실사 객체를 360도 전방위에서 관찰이 가능한 3차원 그래픽 모델로 변환하는 시스템에서 뼈대 정보를 이용하여 생성된 3차원 포인트 클라우드를 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 다시점의 깊이 영상 및 텍스쳐 영상의 연속된 프레임(시퀀스 프레임)에 대해, 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 추정하고, 비키프레임의 포인트 클라우드를 추정된 정보 대비 잔차 정보만을 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 관한 것으로서, 연속된 일련의 다시점의 깊이 및 텍스처 프레임을 수신하는 프레임 수신부; 깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성하는 포인트클라우드 생성부; 상기 다시점의 깊이 및, 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 뼈대정보 추출부; 키프레임 여부를 선정하는 키프레임 선정부; 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 포인트클라우드 변환부; 및, 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 관한 것으로서, 연속된 일련의 포인트 클라우드를 수신하는 프레임 수신부; 상기 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 뼈대정보 추출부; 키프레임 여부를 선정하는 키프레임 선정부; 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 포인트클라우드 변환부; 및, 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함하는 것을 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 상기 포인트클라우드 변환부는 대상 프레임이 키프레임인 경우 대상 프레임의 포인트 클라우드를 뼈대 정보 기준의 상대 좌표로 변환하고, 대상 프레임이 비키프레임인 경우 키프레임의 포인트클라우드에 대상 프레임의 뼈대 정보를 반영하여 대상 프레임의 포인트클라우드를 예측하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 상기 포인트클라우드 변환부는 실제 포인트 클라우드의 각 포인트에 대하여, 추정된 포인트 클라우드의 포인트들 중에서 가장 가까운 포인트를, 대응되는 예측 포인트로 찾는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 상기 포인트클라우드 변환부는 키프레임의 뼈대 정보를 기준으로 비키프레임의 뼈대 정보의 잔차정보를 구하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 상기 압축 시스템은 다시점의 텍스처 프레임을 압축하는 텍스처 압축부를 더 포함하고, 상기 텍스처 압축부는 상기 키프레임 선정부에 의해 선정된 결과에 따라, 텍스처 프레임 중에서 텍스처 키프레임을 선정하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 키프레임 또는 대상 프레임의 뼈대 정보를 추출할 때, 각 시점의 텍스처 프레임에서 2차원 뼈대 정보를 추출하고, 동일 시점의 포인트 클라우드 정보에 정합시켜 상기 2차원 뼈대 정보를 월드좌표계 공간 상의 뼈대 정보로 변환하고, 월드좌표계 상의 뼈대 정보의 조인트에 대한 유효성을 검증하고, 유효성이 통과된 조인트들만 포함하는 뼈대 정보의 좌표들을 평균하여 대상 프레임의 뼈대 정보의 좌표 세트로 구성하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 키프레임 또는 대상 프레임의 뼈대 정보를 추출할 때, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트가 조인트 위치의 3차원 포인트 클라우드 좌표 내부의 유효 공간 내에 존재하는지 여부에 의해 유효성을 검증하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서, 키프레임 또는 대상 프레임의 뼈대 정보를 추출할 때, 뼈대 정보의 조인트가 유효하지 않으면, 해당 조인트 및, 뼈대 정보의 조인트의 계층 구조에 따라 해당 조인트의 하위 조인트도 제외시키는 것을 특징으로 한다.
또한, 본 발명은 압축 장치에 의해 수행되어, 일련의 연속된 다시점 깊이 및 텍스처 프레임에서 포인트 클라우드를 생성하여 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 방법에 관한 것으로서, (a) 연속된 일련의 다시점의 깊이 및 텍스처 프레임을 수신하는 단계; (b) 깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성하는 단계; (c) 상기 다시점의 깊이 및, 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 단계; (d) 키프레임 여부를 선정하는 단계; (e) 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 단계; 및, (f) 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 압축 장치에 의해 수행되어, 일련의 연속된 다시점 깊이 및 텍스처 프레임에서 포인트 클라우드를 생성하여 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 방법에 관한 것으로서, (a) 연속된 일련의 포인트 클라우드의 프레임을 수신하는 단계; (c) 상기 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 단계; (d) 키프레임 여부를 선정하는 단계; (e) 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 단계; 및, (f) 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 방법에 있어서, 상기 (e)단계에서, 대상 프레임이 키프레임인 경우 대상 프레임의 포인트 클라우드를 뼈대 정보 기준의 상대적인 좌표로 변환하고, 대상 프레임이 비키프레임인 경우 키프레임의 포인트 클라우드에 대상 프레임의 뼈대 정보를 반영하여 대상 프레임의 포인트 클라우드를 예측하는 것을 특징으로 한다.
또, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 방법에 있어서, 상기 포인트클라우드 변환부는 키프레임의 뼈대 정보를 기준으로 비키프레임의 뼈대 정보의 잔차정보를 구하는 것을 특징으로 한다.
또한, 본 발명은 3차원 포인트 클라우드 시퀀스의 압축 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
또한, 본 발명은 압축 시스템에 의해 압축된 비트스트림을 수신하여, 포인트 클라우드를 복원하는 3차원 포인트 클라우드 시퀀스의 복원 시스템에 관한 것으로서, 상기 비트스트림을 수신하여 복호화 하여, 포인트 클라우드의 압축 정보를 추출하는 비트스트림 복호부; 및, 상기 포인트 클라우드의 압축 정보로부터 포인트 클라우드를 복원하되, 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드에 비키프레임의 잔차 정보를 더하여 비키프레임의 포인트 클라우드를 복원하는 포인트클라우드 복원부를 포함하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 3차원 포인트 클라우드 시퀀스의 압축 시스템에 의하면, 키프레임에서 추정된 정보 대비 비키프레임의 포인트 클라우드의 잔차 정보만을 압축함으로써, 월드 좌표계에 의해 표현되는 포인트 클라우드의 데이터량을 상당히 줄일 수 있는 효과가 얻어진다.
도 1은 본 발명에 따른 3차원 포인트 클라우드 시퀀스를 압축하기 위한 전체 시스템의 일례에 대한 구성도.
도 2는 본 발명의 실사 기반의 동적 3차원 모델 시스템의 구성에 대한 블록도.
도 3은 본 발명에 따른 실사 기반 동적 3차원 모델 시스템의 전체 구성을 나타낸 도면.
도 4는 본 발명의 제1 실시예에 따른 압축 장치의 구성에 대한 블록도.
도 5는 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드 시퀀스의 압축 방법의 과정을 구조적으로 도시한 도면.
도 6은 본 발명의 제1 실시예에 따른 뼈대정보 추출부의 뼈대 정보 추출 방법을 설명하는 세부 흐름도.
도 7은 본 발명의 제1 실시예에 따른 뼈대 정보의 계층 구조에 대한 예시도.
도 8은 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드에서 조인트 유효 영역 설정을 나타낸 예시도.
도 9는 발명의 제1 실시예에 따른 일련의 연속된 프레임을 나타낸 도면.
도 10은 발명의 제1 실시예에 따른 비키프레임의 포인트 클라우드의 잔차를 구하기 위하여, (a) 키프레임의 포인트 클라우드, (b) 추정된 비키프레임의 포인트 클라우드, (c) 추정된 포인트 클라우드와 실제 포인트 클라우드의 비교를 나타낸 도면.
도 11은 본 발명의 제2 실시예에 따른 압축 장치의 구성에 대한 블록도.
도 12는 본 발명의 제2 실시예에 따른 3차원 포인트 클라우드 시퀀스의 복호 방법의 과정을 구조적으로 도시한 도면.
도 13은 발명의 제2 실시예에 따른 양자화 좌표에 대한 예시도.
도 14은 본 발명의 제3 실시예에 따른 압축 장치의 구성에 대한 블록도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명에 따라 3차원 포인트 클라우드 시퀀스를 압축하기 위한 전체 시스템의 구성의 예에 대하여 도 1을 참조하여 설명한다. 도 1은 본 발명이 컴퓨터 단말 상에서 실시되는 예를 도시한 것이다.
도 1에서 보는 바와 같이, 본 발명에 따른 압축을 위한 전체 시스템은 대상 객체(10)의 주변에 설치되는 다수의 깊이 및 텍스처 카메라(20), 컴퓨팅 기능을 보유한 컴퓨터 단말(30), 및, 컴퓨터 단말(30) 상에 설치되는 압축 장치(40)로 구성된다.
먼저, 깊이 및 텍스처 카메라(20)는 키넥트 등 깊이 및 텍스처를 동시에 동일한 시점에서 획득하는 카메라로서, 깊이를 측정하는 깊이 카메라(21) 및, 텍스처를 획득하는 텍스처 카메라(22)로 구성된다.
깊이 및 텍스처 카메라(20)는 적어도 2대(즉, N대, N은 2이상의 자연수)가 구비되어, 대상 객체(10)의 모든 면이 빠짐없이 촬영될 수 있도록, 대상 객체(10)의 주변에 배치된다. 즉, 깊이 및 텍스처 카메라(20)들은 모두 서로 다른 시점(또는 촬영 시점)을 갖는다. 즉, 각 카메라(20)는 고유한 시점을 가지므로, 각 카메라(20)에서 촬영된 영상은 고유한 시점의 영상이다.
또한, 깊이 및 텍스처 카메라(20)에 대해 카메라 캘리브레이션(카메라 보정) 작업이 수행된다. 다수의 깊이 및 텍스처 카메라(20)들은 공간 상에서 자신들의 위치를 확인하고 보정하기 위해서, 3차원 보정판을 이용하여, 내부 및 외부 파라미터를 구한다. 각각의 카메라 별로 내부 및 외부 파라미터를 구하는 방법은 일반적인 영상 기하학에서 사용하는 이론을 이용할 수 있다.
깊이 카메라(21)는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이 영상을 출력한다. 촬영된 깊이 영상(61)은 깊이 카메라(21)로 촬영된 깊이 영상이다.
또한, 텍스처 카메라(22)는 통상의 RGB카메라 또는 색상 카메라로서, 대상 객체(10)의 색상을 획득한다. 촬영된 텍스처 영상(62)은 텍스처 카메라(22)로 촬영된 색상 영상 또는 RGB 영상이다.
깊이 영상(61) 및 텍스처 영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 압축 장치(40)에 의해 처리된다. 또는, 깊이 영상(61) 및 텍스처 영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 압축 장치(40)에 의해 저장된 깊이 영상(61) 및 텍스처 영상(62)을 읽어 입력될 수도 있다.
깊이 영상(61) 및 텍스처 영상(62)은 깊이 및 텍스처 카메라(20)별로 각각 생성된다. 따라서 깊이 및 텍스처 카메라(20)가 N대로 구성되면, 깊이 영상(61) 및 텍스처 영상(62)도 각 카메라에 해당하는 N개가 획득된다.
또한, 어느 한 시점에서의 다수의 깊이 및 텍스처 영상은 모두 동기화되어 처리된다. 즉, 시간 t에서, N개의 카메라(20)들은 동시에 대상 객체(10)를 촬영하고, 이때 촬영된 영상의 프레임들은 각 카메라에 대응되는 N개의 영상 프레임이 획득된다. N개의 영상 프레임은 모두 동일한 시간 t에 촬영된 영상 또는 프레임이다. 또한, N개의 영상 프레임은 서로 다른 시점의 영상 프레임이다.
또한, N개의 영상(또는 프레임)은 각각 한 쌍의 영상, 즉, 깊이 영상(또는 깊이 프레임)과 텍스처 영상으로 구성된다. 이들 한쌍의 프레임(즉, 깊이 프레임과 텍스처 프레임)은 동일한 시점을 가진다. 따라서 시점 t에서 N개의 깊이 프레임과, N개의 텍스처 영상이 획득되고, 서로 한 쌍인 깊이 프레임과 텍스처 프레임은 동일한 시점을 갖는다.
한편, 깊이 영상(61) 및 텍스처 영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다. 이하에서 특별한 구별의 필요성이 없는 한, 영상과 프레임의 용어를 혼용한다.
다음으로, 압축 장치(40)는 컴퓨터 단말(30) 상의 프로그램 시스템으로서, 깊이 영상(61) 및 텍스처 영상(62)을 입력받아 해당 대상 객체(10)의 3차원 영상을 압축하여 생성한다.
즉, 본 발명에 따른 압축 장치 및 그 방법은 컴퓨터 단말(30)에 설치되어 하나의 프로그램 시스템으로 동작될 수 있다. 다른 실시예로서, 본 발명에 따른 실사 콘텐츠 생성 방법 및 시스템은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이 영상 및 텍스처 영상으로부터 3차원 포인트 클라우드 시퀀스의 압축을 수행하는 것만을 전용으로 처리하는 전용 컴퓨터 단말로 개발될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다.
다음으로, 본 발명의 제1 실시예에 따른 실사 기반의 동적 3차원 모델 시스템을 도 2 및 도 3을 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 실사 기반의 동적 3차원 모델 시스템은 3차원 포인트 클라우드 시퀀스(또는 깊이 영상) 및 텍스처 영상 시퀀스를 수신하여 이를 비트스트림(70)으로 압축하는 압축 장치(40)와, 비트스트림(70)을 수신하여 3차원 포인트 클라우드 시퀀스와 텍스처 영상을 복원하는 복원 장치(50)로 구성된다.
먼저, 압축 장치(40)는 3차원 포인트 클라우드 시퀀스 또는 깊이 영상, 및 텍스처 영상을 입력받아 이를 압축하고, 압축된 3차원 모델을 비트스트림(70)으로 변환한다.
비트스트림(70)은 표준 압축기를 통하여 압축되어, 전송되는 형태의 데이터이다. 즉, 압축된 3차원 모델은 2차원 형태의 영상 데이터로 변환되어, 표준 압축기에 의해 비트스트림으로 압축되어 전송된다.
다음으로, 복호 장치(40)는 비트스트림(70)을 수신하여, 비트스트림에서 압축된 3차원 모델을 추출하고 복원한다. 즉, 3차원 포인트 클라우드의 시퀀스와 텍스처 영상을 복원한다. 복원된 3차원 포인트 클라우드와 텍스처 영상은 3차원 콘텐츠를 생성하는데 이용된다.
도 3은 실사 기반 동적 3차원 모델 시스템의 전체 구성을 나타낸 도면이다. 즉, 실사 기반 동적 3차원 모델 시스템은 실사 객체를 다시점 깊이 및 텍스처 카메라로 촬영하여 3차원 포인트 클라우드와 텍스처 영상을 획득하고 이를 압축하고, 압축된 3차원 모델을 비트스트림으로 전송하고, 비트스트림을 복원하여 3차원 포인트 클라우드와 텍스처 영상을 복원한다.
다음으로, 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드 시퀀스의 압축 장치(40)의 구성을 도 4 및 도 5를 참조하여 설명한다. 도 4는 본 발명의 제1 실시예에 따른 압축 장치의 구성에 대한 블록도이고, 도 5는 3차원 포인트 클라우드 시퀀스의 압축 방법의 과정을 구조적으로 도시한 도면이다.
도 4에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 압축 장치(40)는 다시점의 깊이 및 텍스처 프레임 시퀀스를 수신하는 프레임 수신부(41), 깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성하는 포인트클라우드 생성부(42), 뼈대 정보를 추출하는 뼈대정보 추출부(43), 키프레임 여부를 선정하는 키프레임 선정부(44), 키프레임 또는 비키프레임의 포인트 클라우드를 변환하는 포인트클라우드 변환부(45), 및, 압축된 3차원 모델을 비트스트림으로 생성하는 비트스트림 생성부(48)로 구성된다. 추가적으로, 텍스처 프레임을 압축하는 텍스처 압축부(47)를 더 포함하여 구성된다.
먼저, 프레임 수신부(41)는 서로 다른 시점의 다수의 깊이 및 텍스처 카메라(20)에 의해 촬영된 다시점의 깊이 및 텍스처 영상을 수신한다.
다수의(또는 다시점의) 깊이 및 텍스처 영상은 각 카메라(20)들에 의해 촬영된 연속된 프레임(또는 시퀀스 프레임)으로 수신된다. 즉, 시간 t, t+1, t+2, ... 등 연속된 시간의 프레임들로 수신된다. 시간 t에서의 N개의 프레임들은 서로 다른 시점의 프레임들이나, 모두 동기화되어 촬영된 이미지들이다. 또한, 각 시점의 프레임(또는 각 카메라의 프레임)은 깊이 프레임 및 텍스처 프레임의 한 쌍의 프레임으로 구성된다.
다음으로, 포인트클라우드 생성부(42)는 깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성한다.
깊이 프레임(또는 대상 프레임)의 각 시점의 3차원 포인트 클라우드 데이터를 월드 좌표계 기준으로 합하여, 하나의 통합 포인트 클라우드를 생성한다. 즉, 대상 프레임의 각 시점의 포인트 클라우드의 3차원 좌표를 모두 공통인 월드 좌표계로 변환하고, 모든 시점의 변환된 포인트 클라우드를 합하여 통합 포인트 클라우드를 생성한다.
구체적으로, 각 시점별로 구해진 깊이 정보에 의한 포인트 클라우드 좌표들(카메라 좌표계 기준)에, 외부 파라미터로부터 구해진 카메라 위치 정보를 반영하여, 공간상의 특정한 위치(월드 좌표계 기준)를 기준으로 표현한 포인트 클라우드 좌표(월드 좌표계)를 구한다. 즉, 각 카메라들로부터 얻어진 3차원 포인트 클라우드 좌표(각 카메라 좌표계로 표현된 객체의 좌표)가 월드 좌표계로 변환된다.
각 시점의 카메라로부터 획득된 3차원 포인트 클라우드 좌표들에 적용하면, 각 카메라로부터(각 시점으로부터) 획득된 3차원 포인트 클라우드 좌표들이 공통된 월드좌표계로 표현될 수 있다.
그리고 각 시점의 3차원 포인트 클라우드 좌표들을 하나의 월드좌표로 합하여 통합 포인트 클라우드를 생성한다. 이 단계의 작업을 다시점 포인트 클라우드 통합(Multi-view Point Cloud Integration) 작업이라 부르기로 한다.
예를 들어, 제1 깊이 카메라의 제1 포인트 클라우드, 제2 깊이 카메라의 제2 포인트 클라우드, ..., 제k 깊이 카메라의 제k 포인트 클라우드가 있다고 가정한다. 제1,2, .., k 포인트 클라우드를 각각 모두 월드 좌표계로 변환하고, 변환된 제1,2,..., k 포인트 클라우드를 모두 하나의 월드 좌표로 합하여 1개의 통합 포인트 클라우드를 생성한다.
월드좌표계로 변환된 3차원 포인트 클라우드들을 모두 통합하면, 공간상에 특정한 위치(월드좌표계의 원점)을 기준으로 객체의 모든 면을 3차원 포인트 클라우드(이하 통합 포인트 클라우드)로 표현할 수 있다.
다음으로, 뼈대정보 추출부(43)는 각 시점별 영상(깊이 및 텍스처 영상)으로부터 대상 프레임(또는 키프레임)의 뼈대 정보의 3차원 좌표 세트(월드좌표계의 좌표세트)를 추출한다.
구체적인 좌표 세트를 구하는 방법이 도 6에 도시되고 있다.
도 6에서 보는 바와 같이, 먼저, 각 시점의 텍스처 영상(또는 텍스처 프레임)에서 시점별 2차원의 뼈대 정보를 추출한다(S31).
바람직하게는, 각 시점의 텍스처 프레임에 대해 딥러닝 기술 등을 적용하여 뼈대 정보를 획득한다. 텍스처 영상에서 뼈대를 획득하는 기술은 통상의 기술을 사용한다[비특허문헌 3,4]. 즉, 2차원 영상에서 뼈대 정보를 추출하는 방법을 이용하여 해당 시점의 2차원 텍스처 영상(또는 텍스처 프레임)으로부터 뼈대 정보에 대한 2차원 좌표를 추출한다.
각각의 텍스처 프레임으로부터 뼈대 정보를 검출하므로, 텍스처 카메라의 대수(또는 시점의 개수)에 따라 뼈대 정보의 개수가 결정된다. 즉, N개의 카메라(N개의 시점)인 경우, N개의 시점별 뼈대 정보가 검출된다.
한편, 뼈대 정보는 조인트(joint, 관절 혹은 마디) 정보를 포함한다. 조인트 정보는 조인트(또는 관절)의 식별정보(이름 또는 아이디 등), 및 위치 등으로 구성된다. 또한, 도 7과 같이, 뼈대 정보의 조인트의 계층 구조는 사전에 설정되어 저장된다.
특히, 뼈대 정보는 조인트(관절)와, 조인트 간을 연결하는 뼈대로 구성된다.
다음으로, 동일 시점의 텍스처 영상과 포인트 클라우드 정보를 정합시켜, 시점별 2차원 뼈대 정보를 3차원 월드좌표계의 시점별 뼈대 정보로 변환한다(S32). 즉, 텍스처 영상으로부터 획득된 뼈대 정보는 3차원 포인트 클라우드 정보를 이용하여 월드좌표계로 변환하여 공간상에 위치시킨다.
특정 시점의 텍스처 영상은 해당 시점의 깊이 영상(또는 포인트 클라우드)과 서로 대응된다. 그리고 앞서 포인트 클라우드 정보를 월드좌표계로 변환된다. 따라서 "텍스처 영상 -> 포인트 클라우드(깊이 영상) -> 월드좌표계의 포인트 클라우드"의 대응 관계(정합 관계)가 형성된다. 따라서 텍스처 영상 내의 2차원 뼈대 정보는 상기와 같은 정합 관계(텍스처 영상과 포인트 클라우드 정보의 정합 관계)를 이용하면, 월드좌표계로 변환시킬 수 있다. 즉, 2차원 뼈대 정보를 월드좌표계의 공간 상에 위치시킬 수 있다.
다음으로, 월드좌표계의 시점별 뼈대 정보의 조인트에 대한 유효성을 검증한다(S33).
이상적일 경우에 각 카메라로부터 추출된 뼈대 정보(또는 각 시점의 뼈대 정보)는 공간상에 매우 극소의 오차만을 가지면서 위치해야 한다. 하지만 다양한 원인에 의해서 다시점의 뼈대 정보는 공간상의 유사 위치에 존재하지 않는다. 이러한 오차는 외부 파라마터 연산의 원천적인 한계성(외부 파라미터를 연산하는 이론은 핀홀 카메라 모델에 기반하지만 실제로 카메라는 이상적인 핀홀 카메라 모델이 아님)이나 뼈대 정보 추출 알고리즘의 한계성 등에 의해 발생된다.
구체적으로, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트(joint, 관절 혹은 마디)가 유효 공간(신체의 관절 위치의 3차원 포인트 클라우드 좌표 내부)내에 존재하는지 검사한다.
도 8은 포인트 클라우드에서 관절 유효 영역을 설정하는 것을 예시하고 있다.
각 시점의 텍스처 영상에서 추출한 뼈대 정보의 조인트(관절) 영역(2차원 조인트 영역)을 통합 포인트 클라우드(3차원 포인트 클라우드)에 투영하면, 통합 포인트 클라우드에 투영되는 내부 영역을 관절 유효 영역으로 설정한다. 이때, 바람직하게는, 월드좌표계에서의 해당 텍스처 영상의 시점 방향으로 2차원 포인트 영역을 통합 포인트 클라우드로 투영한다.
바람직하게는, 적어도 2개 시점의 텍스처 영상에 동일한 조인트가 존재하면, 해당 모든 시점의 투영되는 내부 영역 중에서 모두 겹치는 영역을 관절 유효 영역으로 설정한다.
다음으로, 시점별 뼈대 정보의 조인트가 유효하지 않으면, 해당 시점별 뼈대 정보에서 제외시킨다(S34). 또한, 뼈대 정보의 조인트(또는 관절)의 계층 구조에 따라, 제외되는 조인트의 하위 조인트가 존재할 경우에 하위 조인트들도 뼈대 정보의 결합에서 제외한다. 이때, 조인트를 제외하면 조인트에 연결되는 뼈대도 제외된다.
다음으로, 최종 뼈대 정보에 대한 3차원 포인트 클라우드(월드좌표계)에서의 좌표 세트를 구한다(S35). 즉, 유효성이 통과된 조인트들을 포함하는 시점별 뼈대 정보의 3차원 좌표들이 좌표 세트로 구성된다.
다음으로, 각 시점별 뼈대 정보의 3차원 좌표(또는 월드좌표계에서의 좌표)를 평균하여, 대상 프레임의 뼈대 정보의 좌표를 산출한다(S36).
다음으로, 키프레임 결정부(44)에 대하여 구제적으로 설명한다.
키프레임 결정부(44)는 일련의 연속된 프레임에 대하여 키 프레임을 선정한다.
먼저, 키프레임 결정부(44)는 최초 프레임에 대하여 키프레임으로 선정하고, 그 이후 프레임(또는 대상 프레임)에 대하여 일정한 규칙에 따라 키프레임을 선정한다. 선정되지 않는 대상 프레임은 비키프레임이라 부르기로 한다.
일실시예로서, 키프레임 결정부(44)는 키프레임을 일정한 간격으로 설정한다. 즉, 임의로 설정되거나, 일정한 간격의 프레임들을 키 프레임으로 설정될 수 있다. 도 9의 예에서, 3개 간격으로 키 프레임을 설정할 수 있다. 따라서 프레임 F1, F4, F7 등이 키 프레임으로 설정된다.
이때, 비키프레임(중간 프레임)의 키프레임은 직전 키프레임을 말한다. 즉, 프레임 F2와 F3의 키프레임은 프레임 F1이고, 프레임 F5와 F6의 키프레임은 프레임 F4이다.
대상 프레임이 키프레임인지 비키프레임인지에 따라, 대상 프레임의 3차원 포인트 클라우드 또는 텍스처 프레임이 다르게 압축된다. 각 프레임별로 압축하는데, 대상 프레임은 다수의 연속된 프레임 중에서 현재 처리되는 프레임을 말한다.
한편, 다른 실시예로서, 키프레임 결정부(44)는 뼈대 정보의 이동 크기에 따라 키프레임 여부를 판단한다. 즉, 뼈대 정보가 직전 키프레임의 뼈대 정보 보다 많이 이동하거나, 직전 키프엠의 뼈대 정보와 매핑할 수 없는 경우, 현재 대상 프레임을 키프레임으로 선정한다.
앞서, 뼈대정보 추출부(43)에서 각 시점별 깊이 및 텍스처 영상으로부터 대상 프레임의 뼈대 정보의 3차원 좌표 세트가 구해진다. 따라서 키프레임 및 대상 프레임에 대한 뼈대 정보도 모두 구해진다.
이때, 키프레임 결정부(44)는 키프레임의 뼈대 정보를 기준으로 대상 프레임의 뼈대 정보의 3차원 좌표 세트들을 대비하여, 대상 프레임의 뼈대 정보의 상대적 이동 위치 또는 이동 거리를 구할 수 있다.
구체적으로, 대상 프레임의 뼈대 정보의 3차원 좌표 세트를 구하면, 키프레임(직전 키프레임)의 뼈대 정보와의 조인트에 대응되는 대상 프레임의 조인트를 찾고(매핑시키고), 이들 조인트 간의 위치 차이를 이용하여 키프레임의 뼈대 정보의 이동 위치를 구한다.
또한, 직전 키프레임의 뼈대 위치에서 대상 프레임의 뼈대 위치 간의 거리를 각 뼈대 정보의 이동 거리로 구한다. 즉, 뼈대 정보의 각 조인트의 이동거리는 직전 키프레임의 해당 조인트의 위치에서 대상 프레임의 해당 조인트의 위치 간의 거리이다. 예를 들어, 직전 키프레임의 조인트가 JK1, JK2, ... JKm으로 구성되면, 이에 대응하는 대상 프레임의 조인트 J1, J2, ... Jm 을 찾는다. 이 경우, 각 조인트의 이동 거리는 <JK1와 J1간의 거리>, <JK2와 J2간의 거리>, ..., <JKm와 Jm간의 거리> 이다.
이때, 바람직하게는, 이들 각 조인트의 이동 거리 중에서 적어도 하나가 기준치 이상이면, 해당 뼈대 정보가 기준 범위를 벗어나 이동한 것으로 판단한다. 즉, <JK1와 J1간의 거리>, <JK2와 J2간의 거리>, ..., <JKm와 Jm간의 거리> 중 적어도 하나의 거리가 기준 거리 이상 벗어나면, 기준 범위를 벗어나 이동한 것으로 판단한다.
또는, 바람직하게는, 키프레임(직전 키프레임)의 뼈대 정보와의 조인트에 대응되는 대상 프레임의 조인트를 모두 찾지 못하는 경우, 이동 위치를 판단할 수 없다고 판단한다. 예를 들어, 직전 키프레임의 조인트 JK1, JK2, ... JKm에 대응하는 대상 프레임의 조인트 J1, J2, ... Jm 을 모두 찾지 못할 수 있다. 즉, 조인트들 중 하나의 조인트 JKk에 대응하는 Jk를 찾을 수 없다면, 이동 위치를 찾지 못하는 것으로 판단한다.
그리고 키프레임 결정부(44)는 대상 프레임에 대하여 키프레임의 이동 위치를 찾지 못하거나 기준 범위를 벗어나면, 대상 프레임을 키프레임으로 선정한다.
다음으로, 포인트클라우드 변환부(45)는 대상 프레임이 키프레임인 경우 대상 프레임의 포인트 클라우드를 뼈대 정보 기준의 상대 좌표로 변환하고, 대상 프레임이 비키프레임인 경우 키프레임의 포인트클라우드에 대상 프레임의 뼈대 정보를 반영하여 대상 프레임의 포인트클라우드를 추정한다.
먼저, 대상 프레임이 키프레임인 경우, 포인트클라우드 변환부(45)는 대상 프레임의 포인트 클라우드를 뼈대 정보 기준의 상대 좌표로 변환한다.
즉, 키프레임의 포인트 클라우드의 각 포인트에 대하여, 각 포인트의 월드좌표계의 위치 좌표를, 자신의 뼈대 위치 기준의 상대적 위치 좌표로 변환한다. 키프레임의 각 포인트의 월드좌표계의 위치 좌표에서, 키프레임의 뼈대 정보의 월드 좌표계의 위치 좌표의 차이를 구하여, 각 포인트의 상대 좌표를 구한다.
키프레임의 포인트 클라우드의 각 포인트의 위치 정보를 뼈대 정보의 조인트 또는 뼈대 위치를 기준으로 상대적인 위치 정보를 생성함으로써, 조인트 또는 뼈대의 위치 이동에 따라 3차원 포인트 클라우드를 이동시킬 수 있다. 포인트 클라우드의 상대적 위치 정보를 3차원 동적 포인트 클라우드 모델(또는 동적 포인트 클라우드)이라 부르기로 한다.
다음으로, 대상 프레임이 비키프레임인 경우, 포인트클라우드 변환부(45)는 키프레임의 동적 포인트 클라우드에 대상 프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 추정하고, 추정된 포인트 클라우드 대비 대상 프레임의 포인트 클라우드의 잔차를 생성한다.
앞서 키프레임의 동적 포인트 클라우드는 키프레임의 뼈대 정보의 위치를 기준으로 하는 상대적 위치 정보로 구성된다. 따라서 키프레임의 동적 포인트 클라우드에 비키프레임의 뼈대 정보를 합산하면, 비키프레임의 대상 객체의 위치, 즉, 포인트 클라우드를 추정할 수 있다.
도 10은 (a) 키프레임의 포인트 클라우드, (b) 추정된 비키프레임의 포인트 클라우드, (c) 추정된 포인트 클라우드와 실제 포인트 클라우드의 비교를 나타내고 있다.
도 10(a)에서, 키프레임의 포인트 클라우드의 포인트들은 P1, P2, ..., P5로 구성되고 있다. 이때, 키프레임의 뼈대는 K1으로 나타내고 있다.
도 10(b)는 키프레임의 동적 포인트 클라우드의 포인트에 비키프레임의 뼈대 정보를 반영하여, 비키프레임의 포인트 클라우드를 구한 것을 나타내고 있다. 즉, 뼈대 K2는 비키프레임의 뼈대이다. 즉, 도 10(a)에서 3차원 모델을 뼈대 K1에서 뼈대 K2로 이동시킬 때, 전체 포인트 클라우드도 이동된 상태를 표시한 것이 도 10(b)이다. 즉, 도 10(b)에서, 포인트 P'1, P'2, ..., P'5는 키프레임의 동적 포인트 클라우드에 대상 프레임의 뼈대 정보를 반영하여 추정한 포인트 클라우드들을 나타낸다.
도 10(c)는 비키프레임의 실제 포인트 클라우드와 추정된 포인트 클라우드를 대비하고 있다. 도 10(c)에서 흰색 포인트는 추정된 포인트 클라우드이고, 회색 포인트는 실제 포인트 클라우드이다. 포인트 Q1, Q2, ..., Q5는 비키프레임의 실제 포인트 클라우드를 나타낸다.
포인트클라우드 변환부(45)는 비키프레임의 실제 포인트 클라우드에서 추정된 포인트 클라우드의 차이를 구하여, 비키프레임의 포인트 클라우드의 잔차를 구한다.
한편, 바람직하게는, 실제 포인트 클라우드의 각 포인트에 대하여, 추정된 포인트 클라우드의 포인트들 중에서 가장 가까운 포인트를, 대응되는 추정 포인트(예측 포인트)로 찾는다.
만약, 대응되지 않는 실제 포인트가 존재하면, 해당 실제 포인트는 별도로 저장된다. 또한, 추정된 포인트에서 가장 가까운 포인트가 소정의 최소 거리 보다 크면, 해당 추정 포인트에 대응되는 실제 포인트가 없는 것으로 판단한다. 이 경우, 해당 추정 포인트의 잔차에 대응되는 실제 포인트가 없다는 정보를 저장한다.
따라서 비키프레임의 포인트 클라우드에 대한 잔차 정보(또는 포인트 클라우드 정보)는 키프레임 기준 잔차 정보와, 키프레임에 대응되지 않는 실제 포인트의 정보로 구성된다. 또한, 키프레임 기준 잔차 정보 내에는 키프레임의 포인트에 대응되는 포인트가 없다는 정보도 포함된다.
또한, 실제 포인트 클라우드의 잔차 정보는 키프레임의 포인트 클라우드를 기준으로 저장된다. 예를 들어, 키프레임의 포인트 클라우드가 { P1, P2, ..., Pn }의 세트(set)로 구성된다면, 잔차 정보는 이에 대응하는 세트로서, { R1, R2, ..., Rn } 형태로 구성된다.
즉, 키프레임은 3차원 포인트 클라우드와 텍스쳐 영상에 모두 적용되는 기준이다. 키프레임의 설정으로 인해서 3차원 포인트 클라우드와 텍스쳐 시퀀스는 키프레임과 비키프레임으로 분류된다. 각 프레임별로 얻어진 뼈대 좌표를 이용하여 비키프레임에서의 3차원 포인트 클라우드를 예측(추정)한다. 예측(추정)된 3차원 포인트 클라우드와 원래의 3차원 포인트 클라우드 좌표사이의 차이값인 잔차 정보를 구하여 키프레임에서의 3차원 포인트 클라우드 정보와 함께 비트스트림으로 압축된다.
한편, 바람직하게는, 포인트클라우드 변환부(45)는 비키프레임의 뼈대 정보에 대해, 키프레임의 뼈대 정보를 기준으로 잔차정보를 구할 수 있다.
뼈대 정보는 조인트(관절)와, 조인트를 연결하는 뼈대로 구성되므로, 뼈대 정보의 좌표는 조인트의 좌표 정보로 구성된다. 키프레임과 비키프레임에서 조인트는 동일한 개수이고, 서로 1대1 대응된다. 비키프레임의 잔차 정보는 비키프레임의 각 조인트의 위치에서 키프레임의 대응되는 조인트를 기준으로 하는 상대 위치(또는 차이)로 산출된다.
즉, 비키프레임의 뼈대 정보를 압축하는 경우, 비키프레임의 뼈대 정보는 잔차 정보로 대치된다.
요약하면, 포인트클라우드 변환부(45)는 대상 프레임이 키프레임인 경우 뼈대 정보와, 동적 포인트 클라우드 정보(포인트 클라우드의 뼈대 정보 기준 상대적 위치 정보)를 저장하고, 대상 프레임이 비키프레임인 경우 뼈대 정보와, 포인트 클라우드의 잔차 정보(키프레임의 포인트 클라우드 기준의 잔차 정보)로 구성된다. 또한, 바람직하게는, 비키프레임의 뼈대 정보는 키프레임의 뼈대 정보 기준의 잔차 정보로 저장될 수 있다.
다음으로, 텍스처 압축부(47)는 텍스처 프레임을 압축한다.
텍스처 프레임은 다시점의 2차원 이미지이므로, 다시점 이미지를 압축하는 통상의 방식에 의해 압축될 수 있다.
이때, 압축을 위해 키프레임을 선정해야 한다. 텍스처 압축부(47)는 키프레임 선정부(44)에 의해 선정된 결과에 따라, 텍스처 프레임 시퀀스(연속된 텍스처 프레임) 중에서 텍스처 키프레임을 선정한다.
즉, 바람직하게는, 키프레임의 텍스처 정보는 모두 저장하고, 비키프레임의 텍스처 정보는 키프레임의 텍스처 정보와 차이값 또는 잔차만을 저장한다.
또한, 동일한 프레임 내에서 서로 다른 시점의 영상(이미지) 간에도 압축 방식이 적용될 수 있다. 이것은 다시점 영상 간의 압축 방식으로서, 통상의 방법을 적용한다.
또 다른 실시예로서, 압축의 효율에 따라서 텍스처 영상(텍스처 프레임)은 잔차 영상을 구하지 않고 모든 텍스처 영상을 그대로 표준 압축기에 입력할 수 있다. 즉, 비트스트림 생성부(48)에 사용하는 표준 압축기에 의해 압축될 수 있다.
다음으로, 비트스트림 생성부(48)는 앞서 생성된 포인트 클라우드 정보를 비트스트림으로 생성한다. 바람직하게는, 포인트 클라우드 정보를 2차원 영상으로 변환하여, 표준 압축 방식에 의해 2차원 영상을 비트스트림으로 압축한다.
이때, 포인트 클라우드 정보는 키프레임의 뼈대 정보와 동적 포인트 클라우드 정보, 비키프레임의 뼈대 정보(또는 잔차정보)와 포인트 클라우드의 잔차정보로 구성된다. 이들 포인트 클라우드 정보가 비트스트림으로 압축된다.
한편, 비트스트림 생성부(48)는 앞서 압축된 텍스처 프레임에 대한 비트스트림도 생성한다. 이때, 포인트 클라우드 정보와 동기화 시켜 텍스처 프레임 정보를 비트스트림으로 생성한다. 바람직하게는, 텍스쳐 영상은 HEVC 혹은 VVC 등의 2차원 영상압축 코덱을 이용한다.
즉, 비트스트림은 표준 압축기를 통하여 압축되어, 전송되는 형태의 데이터이다. 압축된 3차원 모델(포인트 클라우드 및 텍스처 데이터)은 2차원 형태의 영상 데이터로 변환되어, 표준 압축기에 의해 비트스트림으로 압축되어 전송된다.
표준 압축기에 입력된 정보들은 표준 압축기를 통하여 압축되어 전송을 위한 비트스트림으로 만들어진다. 표준 압축기는 다양한 압축기로 구성될 수 있다. 키프레임의 3차원 포인트 클라우드를 압축하기 위해서는 MPEG-I의 MPEG PCC(포인트 클라우드 코딩) 코덱을 사용할 수 있다. 뼈대 좌표 및 잔차 정보들은 무손실 압축 도구를 이용하여 압축될 수 있다.
다음으로, 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드 시퀀스의 복호 장치(50)의 구성을 도 11 및 도 12를 참조하여 설명한다. 도 11은 본 발명의 제1 실시예에 따른 복호 장치의 구성에 대한 블록도이고, 도 12는 3차원 포인트 클라우드 시퀀스의 복호 방법의 과정을 구조적으로 도시한 도면이다.
도 11에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 3차원 포인트 클라우드 시퀀스의 복호 장치(50)는 비트스트림을 수신하여 복호화(디코딩) 하는 비트스트림 복호부(51), 및, 포인트 클라우드를 복원하는 포인트클라우드 복원부(52)로 구성된다. 추가적으로, 텍스처를 복원하는 텍스처 복원부(53)를 더 포함하여 구성될 수 있다.
먼저, 비트스트림 복호부(51)는 비트스트림을 수신하여 복호화 하여, 압축된 포인트 클라우드 정보를 추출한다. 바람직하게는, 텍스처 정보가 비트스트림으로 압축된 경우, 텍스처 정보를 추출할 수 있다.
바람직하게는, 비트스트림 복호부(51)는 표준 복원기를 이용하여, 전송되어온 비트스트림을 원래의 정보로 복원한다.
이때, 표준 압축 방식(인코딩 방식)에 대응되는 복호 방식(디코딩 방식)으로 복호화 한다. 일례로서, HEVC 혹은 VVC 등의 2차원 영상압축 코덱 또는 MPEG-I의 MPEG PCC(포인트 클라우드 코딩) 코덱, 무손실 압축 등의 복호화 방식에 의해 복호화 한다.
이때, 복호화 되는 정보는 포인트 클라우드의 압축 정보, 또는 텍스처 정보이다. 포인트 클라우드의 압축 정보는 대상 프레임이 키프레임인 경우 뼈대 정보와, 동적 포인트 클라우드 정보(포인트 클라우드의 뼈대 정보 기준 상대적 위치 정보)로 구성되고, 대상 프레임이 비키프레임인 경우 뼈대 정보와, 포인트 클라우드의 잔차 정보(키프레임의 포인트 클라우드 기준의 잔차 정보)로 구성된다.
다음으로, 포인트클라우드 복원부(52)는 복호화된 포인트 클라우드의 압축 정보를 이용하여, 포인트 클라우드를 복원한다.
대상 프레임이 키프레임인 경우, 동적 포인트 클라우드 정보에 뼈대 정보를 더하여, 원래의 포인트 클라우드 정보(월드좌표계의 포인트 클라우드 정보)를 복원한다.
대상 프레임이 비키프레임인 경우, 키프레임의 동적 포인트 클라우드 정보에 비키프레임의 뼈대 정보를 더하여, 비키프레임의 포인트 클라우드 정보를 예측(추정)한다. 그리고 비키프레임의 예측된 포인트 클라우드 정보에, 비키프레임의 포인트 클라우드의 잔차 정보를 더하여, 포인트 클라우드 정보(월드좌표계의 포인트 클라우드 정보)를 복원한다.
또한, 비키프레임의 뼈대 정보가 잔차 정보로 구성되는 경우, 잔차 정보에 키프레임의 뼈대 정보를 더하여, 비키프레임의 뼈대 정보를 복원한다.
여기에 키프레임의 3차원 포인트 클라우드를 시간적으로 배치하여 3차원 포인트 클라우드 시퀀스를 복원한다.
또한, 텍스처 정보가 포함된 경우, 포인트클라우드 복원부(52)는 텍스처 영영상을 복원한다. 바람직하게는, 키프레임의 텍스처 영상에 비키프레임의 텍스처 잔차 영상을 더하여, 비키프레임의 텍스처 영상을 복원한다.
텍스쳐는 여러 가지로 활용이 된다. 예를 들어, 포인트 클라우드를 더욱 조밀하게 만드는데 이용된다. 포인트 클라우드가 듬성듬성해서 3차원 메쉬 모델을 만들었을 때 정밀도가 떨어지는 경우에, 해상도가 높은 텍스쳐가 있다면 이를 이용해서 메쉬를 조밀하게 만들 수 있다. 그래서 보통 텍스쳐를 가지고 있다. 또한, 메쉬 모델은 포인터 클라우드에 저장되어 있는 R, G, B의 색차정보로도 메쉬에 텍스쳐를 입힐 수 있지만 더 실제와 같은 모델을 만들기 위해서는 원래의 텍스쳐로 입히면 더욱 품질이 좋아진다.
다음으로, 본 발명의 제2 실시예에 따른 3차원 포인트 클라우드 시퀀스의 압축 장치(40) 및 복호 장치(50)의 구성을 도 13을 참조하여 설명한다.
본 발명의 제2 실시예는 앞서 제1 실시예와 동일하다. 다만, 사용하는 좌표를 양자화 하여 사용한다. 이하에서, 제1 실시예와 대비되는 제2 실시예의 구성만 설명한다. 따라서 설명되지 않는 부분은 앞서 제1 실시예를 참조한다.
3차원 포인트 클라우드를 압축하기 위해서 먼저 포인트 클라우드의 3차원 좌표를 공간에 대해서 양자화를 수행한다. 3차원 포인트 클라우드는 획득 방식에 따라서 다양한 정밀도와 값의 범위를 가질 수 있다. 정밀도가 매우 높을 경우에는 프레임별로 잔차(residual) 값을 획득하여 처리하는 과정에서 효율이 매우 낮아지기 때문에, 3차원 형태를 훼손하지 않는 범위에서 정밀한 좌표를 근사화시킨다. 3차원 영역을 양자화하는 기준은 포인트 클라우드의 정밀도와 응용 분야에 따라서 결정한다. 양자화 방법은 아래와 같다.
(a) 3차원 공간을 일정한 정밀도로 나눈다. 나누어진 3차원 공간은 원래의 포인트 클라우드를 충분히 구분할 수 있을 정도의 정밀도를 가져야 한다.
(b) 주위의 8개의 양자화 좌표를 이용하여 아래의 수식과 같이 거리를 구한다.
[수학식 1]
Figure pat00001
(c) 8개의 거리 값들 중에서 가장 작은 값을 갖는 양자화 좌표를 선택한다.
(d) 포인트 클라우드의 한 좌표를 선택된 양자화 좌표로 치환한다.
상기와 같은 과정은 포인트 클라우드에서 하나의 포인트의 3차원 좌표와 주위의 양자화 좌표 위치를 비교하여 가장 가까운 위치의 양자화 좌표를 선택한다.
다음으로, 본 발명의 제3 실시예에 따른 3차원 포인트 클라우드 시퀀스의 압축 장치(140)의 구성을 도 14를 참조하여 설명한다.
본 발명의 제3 실시예는 앞서 제1 실시예와 동일하다. 다만, 다시점 영상을 수신하지 않고, 연속된 일련의 포인트 클라우드(또는 포인트 클라우드 시퀀스)를 수신한다는 점에서 차이가 있다. 이하에서, 제1 실시예와 대비되는 제3 실시예의 구성만 설명한다. 따라서 설명되지 않는 부분은 앞서 제1 실시예를 참조한다.
도 14에서 보는 바와 같이, 본 발명의 제3 실시예에 따른 압축 장치(140)는 포인트 클라우드의 프레임 시퀀스를 수신하는 프레임 수신부(141), 뼈대 정보를 추출하는 뼈대정보 추출부(143), 키프레임 여부를 선정하는 키프레임 선정부(144), 키프레임 또는 비키프레임의 포인트 클라우드를 변환하는 포인트클라우드 변환부(145), 및, 압축된 3차원 모델을 비트스트림으로 생성하는 비트스트림 생성부(148)로 구성된다. 추가적으로, 텍스처 프레임을 압축하는 텍스처 압축부(147)를 더 포함하여 구성된다.
먼저, 프레임 수신부(141)는 포인트 클라우드 프레임의 시퀀스를 수신한다. 즉, 제1 실시예는 다시점 깊이 및 텍스처 프레임을 수신하여 포인트 클라우드를 생성하였으나, 제3 실시예는 포인트 클라우드의 시퀀스를 직접 수신하는 경우의 실시예이다.
다음으로, 뼈대정보 추출부(143)는 포인트 클라우드에서 직접 뼈대 정보를 추출한다. 포인트 클라우드 또는 3차원 입체 영상에서 뼈대 정보를 추출하는 기술은 통상의 방법을 사용한다[특허문헌 1].
다음으로, 키프레임 선정부(144)는 제1 실시예의 키프레임 선정부(44)의 기능과 동일하다.
다음으로, 포인트 클라우드 변환부(145) 및, 비트스트림 생성부(148)는 제1 실시예의 포인트 클라우드 변환부(45) 및, 비트스트림 생성부(48)의 각각 기능과 동일하다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 대상 객체 20 : 깊이 및 텍스처 카메라
21 : 깊이 카메라 22 : 텍스처 카메라
30 : 컴퓨터 단말 40 : 압축 장치
41 : 프레임 수신부 42 : 포인트클라우드 생성부
43 : 뼈대정보 추출부 44 : 키프레임 선정부
45 : 포인트클라우드 변환부 47 : 텍스처 압축부
48 : 비트스트림 생성부 50 : 복호 장치
61 : 깊이 영상 62 : 텍스처 영상
70 : 비트스트림

Claims (15)

  1. 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서,
    연속된 일련의 다시점의 깊이 및 텍스처 프레임을 수신하는 프레임 수신부;
    깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성하는 포인트클라우드 생성부;
    상기 다시점의 깊이 및, 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 뼈대정보 추출부;
    키프레임 여부를 선정하는 키프레임 선정부;
    키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 포인트클라우드 변환부; 및,
    포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  2. 3차원 포인트 클라우드 시퀀스의 압축 시스템에 있어서,
    연속된 일련의 포인트 클라우드를 수신하는 프레임 수신부;
    상기 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 뼈대정보 추출부;
    키프레임 여부를 선정하는 키프레임 선정부;
    키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 포인트클라우드 변환부; 및,
    포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 포인트클라우드 변환부는 대상 프레임이 키프레임인 경우 대상 프레임의 포인트 클라우드를 뼈대 정보 기준의 상대적인 좌표로 변환하고, 대상 프레임이 비키프레임인 경우 키프레임의 포인트 클라우드에 대상 프레임의 뼈대 정보를 반영하여 대상 프레임의 포인트 클라우드를 예측하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  4. 제3항에 있어서,
    상기 포인트클라우드 변환부는 실제 포인트 클라우드의 각 포인트에 대하여, 예측된 포인트 클라우드의 포인트들 중에서 가장 가까운 포인트를, 대응되는 예측 포인트로 찾는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  5. 제3항에 있어서,
    상기 포인트클라우드 변환부는 키프레임의 뼈대 정보를 기준으로 비키프레임의 뼈대 정보의 잔차정보를 구하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  6. 제1항 또는 제2항에 있어서,
    상기 압축 시스템은 다시점의 텍스처 프레임을 압축하는 텍스처 압축부를 더 포함하고,
    상기 텍스처 압축부는 상기 키프레임 선정부에 의해 선정된 결과에 따라, 텍스처 프레임 중에서 텍스처 키프레임을 선정하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  7. 제1항 또는 제2항에 있어서,
    키프레임 또는 대상 프레임의 뼈대 정보를 추출할 때, 각 시점의 텍스처 프레임에서 2차원 뼈대 정보를 추출하고, 동일 시점의 포인트 클라우드 정보에 정합시켜 상기 2차원 뼈대 정보를 월드좌표계 공간 상의 뼈대 정보로 변환하고, 월드좌표계 상의 뼈대 정보의 조인트에 대한 유효성을 검증하고, 유효성이 통과된 조인트들만 포함하는 뼈대 정보의 좌표들을 평균하여 대상 프레임의 뼈대 정보의 좌표 세트로 구성하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  8. 제7항에 있어서,
    키프레임 또는 대상 프레임의 뼈대 정보를 추출할 때, 통합된 3차원 포인트 클라우드 정보를 이용하여, 뼈대 정보의 각 조인트가 조인트 위치의 3차원 포인트 클라우드 좌표 내부의 유효 공간 내에 존재하는지 여부에 의해 유효성을 검증하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  9. 제7항에 있어서,
    키프레임 또는 대상 프레임의 뼈대 정보를 추출할 때, 뼈대 정보의 조인트가 유효하지 않으면, 해당 조인트 및, 뼈대 정보의 조인트의 계층 구조에 따라 해당 조인트의 하위 조인트도 제외시키는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  10. 압축 장치에 의해 수행되어, 일련의 연속된 다시점 깊이 및 텍스처 프레임에서 포인트 클라우드를 생성하여 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 방법에 있어서,
    (a) 연속된 일련의 다시점의 깊이 및 텍스처 프레임을 수신하는 단계;
    (b) 깊이 프레임으로부터 월드좌표계의 포인트 클라우드를 생성하는 단계;
    (c) 상기 다시점의 깊이 및, 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 단계;
    (d) 키프레임 여부를 선정하는 단계;
    (e) 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 단계; 및,
    (f) 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 방법.
  11. 압축 장치에 의해 수행되어, 일련의 연속된 다시점 깊이 및 텍스처 프레임에서 포인트 클라우드를 생성하여 압축하는, 3차원 포인트 클라우드 시퀀스의 압축 방법에 있어서,
    (a) 연속된 일련의 포인트 클라우드의 프레임을 수신하는 단계;
    (c) 상기 포인트 클라우드를 이용하여, 뼈대 정보를 추출하는 단계;
    (d) 키프레임 여부를 선정하는 단계;
    (e) 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드를 기준으로 비키프레임의 포인트 클라우드의 잔차 정보를 추출하여, 포인트 클라우드의 압축 정보를 생성하는 단계; 및,
    (f) 포인트 클라우드의 압축 정보를 비트스트림으로 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 (e)단계에서, 대상 프레임이 키프레임인 경우 대상 프레임의 포인트 클라우드를 뼈대 정보 기준의 상대적인 좌표로 변환하고, 대상 프레임이 비키프레임인 경우 키프레임의 포인트 클라우드에 대상 프레임의 뼈대 정보를 반영하여 대상 프레임의 포인트 클라우드를 예측하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 방법.
  13. 제12항에 있어서,
    상기 포인트클라우드 변환부는 키프레임의 뼈대 정보를 기준으로 비키프레임의 뼈대 정보의 잔차정보를 구하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
  14. 제10항 내지 제13항 중 어느 한 항의 3차원 포인트 클라우드 시퀀스의 압축 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 제1항 또는 제2항의 압축 시스템에 의해 압축된 비트스트림을 수신하여, 포인트 클라우드를 복원하는 3차원 포인트 클라우드 시퀀스의 복원 시스템에 있어서,
    상기 비트스트림을 수신하여 복호화 하여, 포인트 클라우드의 압축 정보를 추출하는 비트스트림 복호부; 및,
    상기 포인트 클라우드의 압축 정보로부터 포인트 클라우드를 복원하되, 키프레임의 포인트 클라우드에 비키프레임의 뼈대 정보를 반영하여 비키프레임의 포인트 클라우드를 예측하고, 예측된 포인트 클라우드에 비키프레임의 잔차 정보를 더하여 비키프레임의 포인트 클라우드를 복원하는 포인트클라우드 복원부를 포함하는 것을 특징으로 하는 3차원 포인트 클라우드 시퀀스의 압축 시스템.
KR1020190027291A 2019-03-11 2019-03-11 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법 KR102196025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190027291A KR102196025B1 (ko) 2019-03-11 2019-03-11 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027291A KR102196025B1 (ko) 2019-03-11 2019-03-11 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200108548A true KR20200108548A (ko) 2020-09-21
KR102196025B1 KR102196025B1 (ko) 2020-12-29

Family

ID=72707927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027291A KR102196025B1 (ko) 2019-03-11 2019-03-11 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102196025B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085694A (ko) * 2020-12-15 2022-06-22 광운대학교 산학협력단 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템
WO2023090614A1 (ko) * 2021-11-19 2023-05-25 현대자동차주식회사 라이다 포인트 클라우드 코딩을 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587962B1 (ko) 2010-12-22 2016-01-28 한국전자통신연구원 모션 캡처 장치 및 방법
KR101723823B1 (ko) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587962B1 (ko) 2010-12-22 2016-01-28 한국전자통신연구원 모션 캡처 장치 및 방법
KR101723823B1 (ko) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Caroline Chan, et al, "Everybody Dance Now", arXiv:1808.07371, Vol. 1, No. 1, August 2018.
Chen, Xia, and Song Zhang. "Three dimensional range geometry and texture data compression with space-filling curves." Optics express 25.21 (2017): 26103-26117.
https://en.wikipedia.org/wiki/PLY_(file_format)
Jyh-Ming Lien 외 2명, "Skeleton-Based Data Compression for Multi-Camera Tele-immersion System," ISVC 2007: Advances in Visual Computing pp 714-723. *
Zhang, Yong, et al. "The 3D model compression method based on sparse representation." 2014 5th International Conference on Digital Home. IEEE, 2014.
Zhe Cao, et al, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1611.08050v2 [cs.CV], 14 Apr 2017.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085694A (ko) * 2020-12-15 2022-06-22 광운대학교 산학협력단 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템
WO2023090614A1 (ko) * 2021-11-19 2023-05-25 현대자동차주식회사 라이다 포인트 클라우드 코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
KR102196025B1 (ko) 2020-12-29

Similar Documents

Publication Publication Date Title
Schwarz et al. Emerging MPEG standards for point cloud compression
CN102905150B (zh) 一种新的多视点视频分形编码压缩与解压缩方法
CN102970529B (zh) 一种基于对象的多视点视频分形编码压缩与解压缩方法
CN108886598A (zh) 全景立体视频系统的压缩方法和装置
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
JP4838275B2 (ja) 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
Perra et al. JPEG 2000 compression of unfocused light field images based on lenslet array slicing
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
JP2007336188A (ja) 多視点画像圧縮符号化方法、装置及びプログラム
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
Graziosi et al. Depth assisted compression of full parallax light fields
TWI508529B (zh) 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式
KR102196025B1 (ko) 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
Park et al. A mesh-based disparity representation method for view interpolation and stereo image compression
JP4964827B2 (ja) 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
Shi et al. Multi-model prediction for image set compression
JP5024962B2 (ja) 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
CN102263953B (zh) 一种基于对象的快速多目立体视频分形压缩与解压缩方法
Shao et al. Non-rigid Registration-Based Progressive Motion Compensation for Point Cloud Geometry Compression
Golestani et al. Point cloud estimation for 3D structure-based frame prediction in video coding
KR20160147448A (ko) 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법
Li et al. Joint view filtering for multiview depth map sequences
Duch et al. Depth map compression via 3D region-based representation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant