KR102272569B1 - 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템 - Google Patents

웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템 Download PDF

Info

Publication number
KR102272569B1
KR102272569B1 KR1020200063163A KR20200063163A KR102272569B1 KR 102272569 B1 KR102272569 B1 KR 102272569B1 KR 1020200063163 A KR1020200063163 A KR 1020200063163A KR 20200063163 A KR20200063163 A KR 20200063163A KR 102272569 B1 KR102272569 B1 KR 102272569B1
Authority
KR
South Korea
Prior art keywords
mesh
data
wavelet
deformed
deformation
Prior art date
Application number
KR1020200063163A
Other languages
English (en)
Inventor
최성희
김영훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200063163A priority Critical patent/KR102272569B1/ko
Priority to US17/174,351 priority patent/US11875540B2/en
Application granted granted Critical
Publication of KR102272569B1 publication Critical patent/KR102272569B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템이 개시된다. 주어진 메쉬 데이터를 압축하고 상기 메쉬 데이터의 변형 시 상기 압축된 데이터에서 추출된 정보를 바탕으로 변형된 메쉬의 일부분을 메쉬 전체로 전파하여 재압축한다.

Description

웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템{WAVELET-BASED PROGRESSIVE FAST RECOMPRESSION FOR LARGE DEFORMED MESH}
아래의 설명은 3D 모델 프로세싱 기술에 관한 것이다.
3D 프로세싱 기술은 2D 이미지를 넘어 보다 높은 현실감각과 몰입감을 준다는 점에서 기술의 활용도가 매우 높아 다양한 산업에 활용되고 있다.
AR(Augmented Reality) 및 VR(Virtual Reality) 산업은 3D 애니메이션과 더불어 각종 디지털 기기와 동반 성장하고 있다.
AR은 실제 환경에 컴퓨터 모델링을 통해 생성한 가상의 물체를 띄워 공간과 상황에 대한 가상 정보를 제공하는 시스템 및 기술이며, VR은 가상의 환경을 컴퓨터 모델링을 통해 구축하여 해당 환경에서 사용자와 인터랙션할 수 있도록 돕는 시스템이다.
이러한 AR 및 VR 기술은 컴퓨터 모델링을 통해 가상의 환경 및 가상의 물체를 시각화하여 사용자와의 인터랙션을 돕는 시스템으로 그 활용 가치가 매우 높다.
한국공개특허 제10-2014-0139984호(공개일 2014년 12월 08일): 3D 모델링된 오브젝트의 압축 및 압축해제
3차원 데이터의 표현 기법 중 하나인 메쉬 구조의 효율적인 변형 및 압축을 위한 3D 프로세싱 기술을 제공한다.
이미 압축된 메쉬 데이터를 변형하고자 할 때 변형 후 메쉬를 빠르게 다시 압축할 수 있는 재압축 기술을 제공한다.
컴퓨터 시스템에서 실행되는 3D 프로세싱 방법에 있어서, 상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 3D 프로세싱 방법은, 상기 적어도 하나의 프로세서에 의해, 주어진 메쉬 데이터를 압축하는 단계; 및 상기 메쉬 데이터의 변형 시 상기 압축된 데이터에서 추출된 정보를 바탕으로 변형된 메쉬의 일부분을 메쉬 전체로 전파하여 재압축하는 단계를 포함하는 3D 프로세싱 방법을 제공한다.
일 측면에 따르면, 상기 압축하는 단계는, 상기 메쉬 데이터를 점진적(progressive) 복원이 가능한 이진데이터로 압축할 수 있다.
다른 측면에 따르면, 상기 압축하는 단계는, 웨이블릿 기반 점진적 압축(Wavelet-based progressive compression) 방법을 사용하여 상기 메쉬 데이터를 압축할 수 있다.
또 다른 측면에 따르면, 상기 재압축하는 단계는, 전파 알고리즘을 통해 상기 변형의 영향을 받는 메쉬 영역을 업데이트하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 업데이트하는 단계는, 변형된 영역을 재귀적으로 전파하되 촘촘한 메쉬(finer mesh)에서 굵은 메쉬(coarser mesh)로 업데이트할 수 있다.
또 다른 측면에 따르면, 상기 재압축하는 단계는, 상기 변형의 영향을 받는 정점과 웨이블릿 계수를 검출하고 상기 압축된 데이터에서 추출된 필터뱅크를 사용하여 해당 요소를 수정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 재압축하는 단계는, 상기 메쉬 데이터의 원시 데이터를 압축된 형식으로 디코딩하여 오리지널 메쉬를 복원하는 단계를 포함하고, 상기 복원하는 단계는, 가장 낮은 해상도 메쉬의 정점 좌표, 제거된 정점에서 추출한 웨이블릿 계수, 및 제거된 정점에 의해 생성되는 자식-부모 관계(child-parent relation)를 추출하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 재압축하는 단계는, 상기 메쉬 데이터의 오리지널 모델과 변형 모델의 변위(displacement)와, 상기 압축된 데이터에서 추출된 필터뱅크 및 자식-부모 관계를 바탕으로 상기 변형 모델을 분석하여 다시 압축할 수 있다.
또 다른 측면에 따르면, 상기 압축하는 단계는, 촘촘한 메쉬와 굵은 메쉬 사이의 비율 왜곡을 줄이기 위한 웨이블릿 리프팅 방식을 통해 오리지널 메쉬로부터 다중 해상도의 메쉬를 생성한 후 엔트로피 인코더(entropy encoder)를 사용하여 상기 다중 해상도의 메쉬를 압축할 수 있다.
또 다른 측면에 따르면, 상기 재압축하는 단계는, 상기 자식-부모 관계를 기초로 상기 다중 해상도의 메쉬 간 연결성 보존 변형(connectivity-preserving deformation)을 고려한 전파 알고리즘을 사용하여 상기 변형의 영향을 받는 메쉬 영역을 수정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 재압축하는 단계는, 상기 자식-부모 관계를 기초로 재배치된 각 정점에 대해 초기 데이터와 재압축된 데이터 간의 차이를 나타내는 메쉬를 찾는 단계; 및 재사용 가능한 필터뱅크를 사용하여 상기 차이를 나타내는 메쉬를 수정함으로써 변형된 다중 해상도의 메쉬를 생성하는 단계를 포함할 수 있다.
컴퓨터로 구현되는 3D 프로세싱 시스템에 있어서, 메모리에 포함된 컴퓨터 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 주어진 메쉬 데이터를 압축하는 압축기; 및 상기 메쉬 데이터의 변형 시 상기 압축된 데이터에서 추출된 정보를 바탕으로 변형된 메쉬의 일부분을 메쉬 전체로 전파하여 재압축하는 재압축기를 포함하는 3D 프로세싱 시스템을 제공한다.
본 발명의 실시예들에 따르면, 이미 압축된 메쉬 데이터를 변형하고자 할 때 변형 후 메쉬를 빠르게 다시 압축할 수 있는 재압축 기술을 제공한다. 이를 통해, 정점의 개수가 매우 많은 대용량 메쉬를 다룰 수 있으며, 점진적 압축기술을 활용하여 네트워크를 통한 메쉬의 복원과 시각화가 더욱 용이하다.
먼저 주어진 메쉬 데이터를 점진적 복원이 가능한 이진데이터로 압축하고 이후 고객이 해당 메쉬 데이터에 움직임을 더하는 등의 추가적인 변형을 하려는 경우 고객의 요구에 맞게 변형을 가한 뒤 다시 저장을 해야 할 때 '전파기(propagator)'를 도입하여 재압축 시간을 획기적으로 단축시킬 수 있다. 전파기는 이전에 저장된 압축 파일에서 중요한 정보들을 추출 및 가공하여 고객이 변형한 메쉬의 일부분을 메쉬 전체로 확산시킴으로써 재압축 성능을 높이는 데에 핵심적인 역할을 한다.
도 1은 본 발명의 일실시예에 있어서 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 2는 본 발명의 일실시예에 있어서 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 3 내지 도 6은 본 발명의 일실시예에 있어서 위에서 아래로 단순화된 메쉬를 이용한 전파 프로세스의 예를 도시한 것이다.
도 7은 본 발명의 일실시예에 있어서 관심영역(ROI) 전파 및 수정을 위한 알고리즘의 예시를 도시한 것이다.
도 8은 본 발명의 일실시예에 있어서 전파기를 이용한 재압축 과정의 예시를 도시한 것이다.
도 9와 도 10은 본 발명의 일실시예에 있어서 연결성 보존 변형의 예시를 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 3차원 데이터의 표현 기법 중 하나인 메쉬 구조의 효율적인 변형 및 압축을 위한 3D 프로세싱 기술에 관한 것이다.
점진적(progressive) 압축은 네트워크 환경에서 거대 3D 메쉬를 전송하기 위한 가장 효과적인 다중 해상도 체계 중 하나이다. 그러나, 워터마크를 추가하거나 모델의 자세를 바꾸는 등 3D 메쉬를 변형하면 변형된 3D 메쉬 모델은 처음부터 다시 압축되어야 하며, 특히 거대 메쉬 모델의 경우 시간이 너무 많이 걸릴 수 있다.
본 발명에서는 메쉬 모델에 연결성 보존 변형이 적용될 때 이른바 재압축이라고 하는 변형 모델의 압축 시간을 크게 단축한다. 먼저 웨이블릿 기반 방법을 사용하여 거대 메쉬를 점진적 압축한 다음, 본 발명의 특징을 포함하는 전파 알고리즘을 사용하여 변형된 영역에 영향을 받는 정점과 웨이블릿 계수를 추출한다. 직접 수정은 추가 후 처리 없이 원래의 매트릭스 필터를 사용하여 필요한 요소에 작용하여 압축 성능을 향상시킨다.
먼저, 본 발명의 관련 기술을 설명하면 다음과 같다.
점진적 메쉬 압축(Progressive mesh compression)
많은 점진적 접근방식은 다중 해상도 메쉬를 생성하기 위해 요소 제거를 채택한다. 메쉬 표면에서 에지를 접고 적절한 규칙에 의해 우선순위가 정해지는 정점을 제거함으로써 단순화가 이루어진다. 이러한 우선 순위 기반 삭제 및 복구 체계는 일반적으로 각 메쉬의 요소 수만큼 높은 세분성 레벨을 가진다. 대부분은 메쉬 연결성을 보존하여 탄력성을 갖도록 설계되어 있는 반면, 일부는 재구성 과정에서 완전한 복원을 보장하지 못할 수도 있다.
또한, 메쉬 라플라시안(Laplacian)을 사용하여 스펙트럼 접근법이 연구되고 있다. 라플라시안 연산자는 주파수 분석이 가능하도록 공간으로부터 주파수 영역까지 기하 좌표를 투영한다. 메쉬 라플라시안 매트릭스의 고유 벡터는 Rn 직교 기반을 형성하고, 그에 상응하는 고유값은 주파수로 간주된다. 낮은 주파수에 대한 스펙트럼 계수가 정량화되고 엔트로피 코딩되어 초기 메쉬에 대한 양호한 근사치를 형성한다. 높은 계산 복잡성과 압축 효율성 사이에는 트레이드 오프(trade-off)가 있지만, 후기 작업에서는 고유 벡터 분해를 제거하거나 매핑 방법의 계산 비용을 절감한다.
점진적 메쉬에 대한 웨이블릿 기반 접근방식은 불규칙 메쉬를 생성하기 위해 하위 분할 방식을 사용한다. 초기 메쉬는 각 삼각형 면의 분할을 포함하는 분할 규칙에 따라 4, 3, 2 또는 원래 면으로 점진적으로 소멸된다. 연결성 데이터는 모든 면 부분 분할 연산자로 구성되며, 기하학적 데이터는 제안된 웨이블릿 리프팅 또는 레이지(lazy) 방식을 사용하여 인코딩된다. 이후 작업은 기하학에서 삽입된 정점, 면 방향 및 에지 플립을 예측하기 위해 가우스 확률 모델에 기초한 방법을 사용하여 원래 웨이브메쉬(wavemesh)의 압축 성능을 향상시킨다. 웨이블릿 기반 방법은 웹 3D 시뮬레이션의 온라인 전송과 같은 다양한 애플리케이션에 적용되고 있다.
완전한 재구성이 중요하지 않을 경우, 여러 가지 접근방식은 압축 성능을 향상시킨다. 비교적 낮은 비율의 왜곡은 여러 이미지 기반 방법에서 달성되며, 메쉬를 절단하고 지오메트리를 평면에 매핑한다. 또한, 웨이블릿 기반 방식은 원본 데이터를 무연관성화시키고 준정규(semiregular) 메쉬를 생산하기 위해 채택된다. 연결성이 강한 방식은 원래의 메쉬 복원을 고려하지 않기 때문에 데이터 손실이 발생하며 읽을 수 있는 메쉬만 생성할 수 있다.
변형 및 압축(Deformation and compression)
메쉬 연결성을 보존하는 변형도 동적 메쉬 시퀀스에 초점을 맞춘 압축 컨텍스트에서 고려될 수 있다. 일부 연구에서는 동일한 연결성과 제안된 웨이블릿 기반 동적 메쉬 시퀀스 압축으로 삼각 메쉬의 시간적 확장성을 고려한다. 이러한 알고리즘은 프레임률에서 확장 가능한 비교적 간단한 접근방식을 사용하여 시간 웨이블릿 필터링을 사용하여 정점 기하학에 대한 시간적 일관성을 찾는다. 시간적 일관성은 많은 동적 메쉬 시퀀스 압축에 널리 사용되어 왔다. 다른 연구에서는 정점 궤도 곡률에 기초한 시간 프레임 클러스터링 알고리즘을 구현하여 점진적 스트리밍 기술을 제안하기 위해 시간적 일관성을 적용한다. 그런 다음 연속된 프레임 간의 정점 기하학 차이만 저장하여 클러스터의 프레임을 압축한다. 동적 메쉬는 메쉬 변형의 일반화로 간주할 수 있지만, 대부분의 이전 연구는 메쉬 시퀀스의 프레임 기반 표현으로 인해 거대 메쉬를 처리할 수 없다.
거대 메쉬의 관심 영역 처리(Handling region-of-interest of large mesh)
점진적 메쉬의 ROI(관심 영역)를 효율적으로 처리하기 위해 거대 메쉬가 개발되었다. 일부 연구에서는 압축된 거대 메쉬에 무작위 접근성을 제공하기 위해 초기 의미있는 분할에 기반한 클러스터링이 있는 점진적 알고리즘을 제안한다. 클러스터링은 메쉬를 오목한 불연속을 따라 연결된 여러 영역으로 분할하여 달성된다. 그런 다음 각 메쉬 부분은 수정된 버전의 진행형 인코더로 인코딩된다. 다른 연구에서는 이후 입력 모델의 초기 분할이 필요하지 않은 POMAR 인코더를 제안했다. POMAR는 정점 분할 계층 구조를 분할하여 클러스터를 생성하며 효율적인 압축 성능을 달성한다. 또 다른 연구에서는 주로 압축률과 시각화 요인 사이의 성능 트레이드 오프에 초점을 맞춘 계층 구조를 생성한다. nSP-트리라고 불리는 구조는 SP-셀을 포함하고 있으며 각 셀의 독립적인 인코딩과 디코딩을 허용하고 있어 대화형 시각화 및 out-of-core 압축이 가능하다.
이후 제안된 웨이블릿 기반 접근방식은 인코딩 측에서 배경보다 ROI의 우선순위를 정하고 먼저 ROI 내의 품질이 증가하도록 인코딩된 데이터를 전송한다. 인코더 측 우선 순위는 디코더 측으로 일반화되어 사용자가 어느 수준에서나 메쉬의 임의 ROI를 선택하고 임의 해상도로 디코딩할 수 있다. 이러한 방법은 사용자 상호작용을 가능하게 하고 메쉬를 복원하기 위한 사용자 기능을 추가한다. 그러나, 메쉬 기하학 구조를 미세하게 수정하는 것은 다루지 않고 있다.
이하에서는 본 발명에 따른 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 기술의 구체적인 실시예를 설명하기로 한다.
점진적 메쉬 압축은 파일 크기를 줄이고 직렬화된 애플리케이션이 재구성된 메쉬 해상도를 점진적으로 증가시키기 위해 적용된다. 데이터 중 비교적 적은 부분만 수신기로 전송되어 각 직렬화 단계마다 망사 객체로 디코딩되며 전체 데이터 집합보다 해상도가 낮다. 사용자는 네트워크 속도가 고르지 않은 환경에서 거대 메쉬 윤곽을 한눈에 볼 수 있다. 그러나 기존 기술은 수정 가능한 것이 아니라 읽을 수 있는 데이터를 생성하는 데 특화되어 있다. 예를 들어, 워터마크를 추가하거나 모델의 자세를 변경하는 등 3D 메쉬를 변경하면 먼저 완전히 디코딩되고 변형되어 스크래치(scratch)부터 다시 압축되어야 한다. 특히 거대 메쉬의 경우 긴 압축 시간 때문에 변형을 고려하기 어렵다.
본 발명에서는 이전에 점진적으로 압축되었던 메쉬의 수정 후 압축, 즉 재압축을 고려한다. 점진적 압축과 관련된 많은 이전 연구들은 단일 원시 메쉬(single raw mesh) 또는 동적 메쉬(dynamic mesh)에 초점을 맞추고 있으며 메쉬의 첫 번째 압축만 고려한다. 암호화된 데이터를 직접 수정하는 것은 일반적으로 상당히 힘겨운 작업이며, 변형을 위해 원래의 메쉬를 복원하면 첫 번째 압축에서 얻을 수 있는 정보를 활용하지 못한다. 메쉬 변형 후 재압축 속도를 높이기 위해 첫 번째 압축에서 얻은 정보를 활용하는 새로운 방법을 제안한다.
핵심개념은 메쉬 웨이블릿으로 메쉬에 대한 상세한 신호 표현 정보를 갖는 것으로 정의할 수 있다. 쌍직교 웨이블릿을 채택하면 추출된 계수에 대한 높은 집약성(locality)를 제공하므로 메쉬에 연결성 보존 변형을 적용할 때 사용자별 ROI를 계수 그룹에 매핑하는 데 도움이 된다. 따라서, 압축 메쉬 데이터의 일부만 변형에 의해 직접 영향을 받을 수 있으며, 이는 재압축 속도를 높일 수 있다.
본 발명에서는 변형의 영향을 받는 메쉬 영역을 업데이트하기 위한 전파 알고리즘을 제안한다. 전파 과정은 각 레벨에서 변경될 정점 및 웨이블릿 계수를 검출하고, 원래의 압축 메쉬 파일에서 추출한 필터뱅크를 사용하여 요소에 직접 수정 작용한다. 초기 변형 ROI는 재귀적으로 전파되고 가장 촘촘한 메쉬(finer mesh)에서 가장 굵은 메쉬(coarser mesh)로 업데이트되며, 압축된 형식으로 직접 인코딩할 수 있는 새로운 다중 해상도 메쉬를 생성한다. 그 결과는 첫 번째 압축에 사용된 원래의 엔트로피 인코더 및 디코더와 호환된다.
매우 큰 메쉬를 포함한 3D 메쉬 데이터 세트를 사용하고, 가장 효과적인 기술 웨이블릿 기반 점진적 방법을 사용하여 모델을 압축한 다음, 메쉬 변형 후 두 번째 압축에 대해 이하에서 제안되는 재압축 방법을 사용한다.
도 1은 본 발명의 일실시예에 따른 컴퓨터 시스템의 예를 도시한 블록도이다. 본 발명에 따른 3D 프로세싱 시스템은 도 1과 같이 구성된 컴퓨터 시스템(100)에 의해 구현될 수 있다.
도 1에 도시된 바와 같이 컴퓨터 시스템(100)은 본 발명의 실시예들에 따른 3D 프로세싱 방법을 실행하기 위한 구성요소로서, 메모리(110), 프로세서(120), 통신 인터페이스(130) 그리고 입출력 인터페이스(140)를 포함할 수 있다.
메모리(110)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(110)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 시스템(100)에 포함될 수도 있다. 또한, 메모리(110)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(110)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(110)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(130)를 통해 메모리(110)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(160)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 시스템(100)의 메모리(110)에 로딩될 수 있다.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 인터페이스(130)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(130)은 네트워크(160)를 통해 컴퓨터 시스템(100)이 다른 장치와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 시스템(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(130)의 제어에 따라 네트워크(160)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(160)를 거쳐 컴퓨터 시스템(100)의 통신 인터페이스(130)를 통해 컴퓨터 시스템(100)으로 수신될 수 있다. 통신 인터페이스(130)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 파일 등은 컴퓨터 시스템(100)이 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
통신 방식은 제한되지 않으며, 네트워크(160)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 유선/무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(160)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(160)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
입출력 인터페이스(140)는 입출력 장치(150)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드, 카메라 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(150)는 컴퓨터 시스템(100)과 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 시스템(100)은 도 1의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(100)은 상술한 입출력 장치(150) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 2는 본 발명의 일실시예에 있어서 컴퓨터 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 2에 도시한 바와 같이. 컴퓨터 시스템(100)의 프로세서(120)는 압축기(compressor)(210)와 재압축기(recompressor)(220)를 포함할 수 있다. 이때, 압축기(210)는 병합기(merger)(211), 엔트로피 인코더(entropy encoder)(212), 엔트로피 디코더(entropy decoder)(213), 및 서브 디바이저(sub divisor)(214)를 포함하고, 재압축기(220)는 전파기(propagator)(221), 및 엔트로피 인코더(222)를 포함할 수 있다.
도 2는 오리지널 모델(M)(201)과 변형 모델(M')(202)을 사용한 재압축 아키텍처를 나타내고 있다. 오리지널 모델(M)(201)과 변형 모델(M')(202)의 변위(displacement)는 오리지널 압축 이진 파일 C(M)에서 추출된 필터뱅크(filterbank) 및 CP(자식-부모) 관계와 함께 전파기(221)에 입력된다. 재압축기(220)는 압축된 이진 파일 C(M')을 생성하며, 이때 압축된 이진 파일 C(M')은 압축기(210)의 엔트로피 디코더(213)와 서브 디바이저(214)에 의해 재구성될 수 있다.
상세하게는, 압축기(210)는 웨이블릿 기반 방법을 사용하여 메쉬를 점진적으로 압축 또는 복원하는 역할을 한다.
재압축기(220)는 변형 모델(M')(202)을 분석하여 본 발명의 재압축 기법의 핵심인 전파기(propagator)(221)를 통해 빠르게 다시 압축한다. 압축기(210)가 동일한 병합기(211)로 생산한 것과 정확히 동일한 결과를 만든다.
병합기(211)는 웨이브메쉬를 사용하여 불규칙한 삼각 메쉬 해상도를 낮춘다. 병합기(211)는 먼저 세 종류의 병합 코드북에서 일치하는 사례를 찾기 위해 각 메쉬 면을 횡단한다. 정점은 그러한 경우가 식별되는 경우 제거되며, 메쉬 연결은 삼각형 표면을 형성하기 위해 갱신된다. 메쉬의 기하학적 구조를 고려하지 않고 레이지 필터를 사용하여 메쉬를 소멸시킨다. 모든 면을 가로지른 후 오리지널 메쉬에서 해상도가 약간 낮은 또 다른 메쉬가 생성되고, 제거된 각 정점에서 웨이블릿 계수가 추출되어 추가 압축에 사용된다. 가능한 사례와 일치하는 면이 남지 않을 때까지 병합 과정을 반복한다. 촘촘한 메쉬와 굵은 메쉬 사이의 비율 왜곡을 줄이기 위해 웨이블릿 리프팅 방식을 채택한다. 따라서, 오리지널 메쉬로부터 다중 해상도의 메쉬를 얻는다.
병합기(211)에 의해 생성된 다중 해상도 메쉬는 웨이브메쉬와 마찬가지로 엔트로피 인코더(212)를 사용하여 압축된다. 엔트로피 인코더(212)는 적응형 산술 코딩을 사용하여 최저 해상도의 메쉬 좌표와 모든 파편 계수를 압축한다. 원형 변환을 사용하여 각 해상도(레이지 방식으로 인하여 요소는 0,1 또는 0.5만)에서 분석 및 합성 필터뱅크를 재귀적으로 생성한다. 연결은 병합 시 적용되는 규칙에 따라 비트별 압축된다.
서브 디바이저(214)는 압축된 형식으로 원시 데이터(raw data)를 디코딩하여 오리지널 메쉬를 복원한다. 기본 가정은 사용자가 변형시키려면 서브 디바이저(214)를 통해 메쉬를 완전히 복원해야 한다는 것이다. 고속 재압축을 위해 복원 시 전파기(221)에서 다음 데이터를 추출하여 재사용한다: (1) 가장 낮은 해상도 메쉬의 정점 좌표, (2) 제거된 정점에서 추출한 모든 웨이블릿 계수, (3) 제거된 정점에 의해 생성되는 자식-부모 관계, 다시 말해 자식 및 새로 생성되는 에지의 양쪽에서 자식을 지탱하는 해당 정점, 즉 부모.
전파기(221)는 메쉬에서 사용자 수정 영역에 대해 다시 계산해야 하는 단위 요소를 찾는다. 병합기(211)는 자식-부모 관계로 대표되는 다중 해상도 메쉬 시퀀스 사이에 강한 연결성을 만들어낸다. 재배치된 각 정점에 대해 전파기(221)는 초기 데이터와 재압축된 데이터 간의 차이를 유발하는 전체 메쉬 시퀀스의 요소를 반복적으로 찾는다. 연결성 보존 변형만 고려하므로, 차이는 정점 좌표와 웨이블릿 계수에서만 나타난다. 이러한 특징을 집약성(locality)이라고 부른다. 영역 수정의 직접적인 영향을 받을 수 있는 두 개의 요소 그룹은 전파 알고리즘을 사용하여 검색된다. 마지막으로, 요소를 재계산하고 재압축한다.
본 발명에 따른 전파 알고리즘을 구체적으로 설명하면 다음과 같다.
ROI를 전파하기 위해, 즉 사용자에 의해 수정된 메쉬 영역을 전파하기 위해, 메쉬 표면의 모든 정점 쌍(pair) 간 관계를 명확히 한다. 다양한 맵을 사용하여 모든 메쉬 해상도를 통해 각 정점 쌍을 연결한다.
이하 실시예에서는 불규칙한 삼각 메쉬가 반복적으로 굵은 메쉬와 웨이블릿 계수를 발생시킬 수 있다고 가정한다.
Mj를 오리지널 메쉬 MJ에서 생성된 j번째 굵은 메쉬가 되게 하고, Vj는 Mj에서 정점 집합이라 하고, Wj⊂
Figure 112020053165231-pat00001
는 웨이블릿 계수 집합이라 한다. 분해 후 각각의 자식이 정확히 2명의 부모를 가질 수 있도록 자식-부모 관계
Figure 112020053165231-pat00002
⊂Vj×Vj를 가지고 있다. 그런 다음
Figure 112020053165231-pat00003
에서 유도된 모든 자식이 포함된
Figure 112020053165231-pat00004
자식 집합과 최소 한 명의 자식과 관계를 갖는 모든 부모가 포함된 부모 집합을
Figure 112020053165231-pat00005
로 정의한다. 단순하게 Vj＼
Figure 112020053165231-pat00006
가 동일하지 않은 자식이 아닌 집합
Figure 112020053165231-pat00007
도 정의한다. 그러면 Vj와 Wj는 MJ로부터 가장 굵은 메쉬
Figure 112020053165231-pat00008
까지 재귀적으로 정의된다.
[수학식 1]
Figure 112020053165231-pat00009
[수학식 2]
Figure 112020053165231-pat00010
여기서,
Figure 112020053165231-pat00011
와
Figure 112020053165231-pat00012
는 정점을 정점에 매핑하고 정점을 웨이블릿 계수에 매핑하는 전단사(bijective) 함수이다.
Figure 112020053165231-pat00013
의 각 자식 정점 v는 정확히 하나의 웨이블릿 계수를 제공하기 때문에 두 함수는 잘 정의되어 있다. 압축 방식용 웨이브메쉬를 채택하기 때문이다.
[수학식 3]
Figure 112020053165231-pat00014
여기서, pj는 Mj에서 각 자식을 부모 집합에게 매핑하고
Figure 112020053165231-pat00015
는 산술 평균을 나타낸다.
각 요소가 기하학적 구조를 변경하여 새로운 좌표를 갖는 원래의 메쉬 MJ의 특정 ROI에 설정된
Figure 112020053165231-pat00016
정점을 정의한다. 그런 다음
Figure 112020053165231-pat00017
의 각 요소는 본 발명에 따른 알고리즘에 의해 전파를 시작하고 J번째 레벨에서
Figure 112020053165231-pat00018
또는
Figure 112020053165231-pat00019
두 집합 중 하나에서 다른 요소와 일치하며, 여기서
Figure 112020053165231-pat00020
⊂Vj는 정점에 남아 있고
Figure 112020053165231-pat00021
⊂Wj는 제거된 정점에 해당하는 웨이블릿 계수로, 둘 다 (j+1)번째 레벨에서 전파된다.
이하에서
Figure 112020053165231-pat00022
및
Figure 112020053165231-pat00023
의 재귀적 도출에 관한 더 자세한 정보를 제공한다.
집약성 (Locality)
웨이블릿 계수가 집약성을 가지는데, 이는 각 웨이블릿 계수가 그 이웃에 의해서만 영향을 받는다는 것을 의미한다. 수학식 3에 의해, 각 웨이블릿 계수는 메쉬 표면에서 모두 서로 가까운 자식과 부모 정점 두 개의 세 요소에 의해서만 달라진다. 원래 압축을 위해 채택한 k-디스크 쌍직교 구조로 인해 영역이 더 클 수 있지만, 모두 해당 자식 정점에서 반경 k의 영역 내에 있다. 이 특성은 특정 영역이 메쉬 상의 어느 곳에도 흩어지는 것을 방지한다.
또한, 분석 및 합성 필터뱅크는 웨이블릿 집약성의 중요성을 지원한다. 두 가지 모두 (j + 1)번째 메쉬 정점에서부터 j번째 메쉬 정점 및 웨이블릿(및 역)까지의 투영 매트릭스이며, 다음과 같이 정의된다.
[수학식 4]
Figure 112020053165231-pat00024
[수학식 5]
Figure 112020053165231-pat00025
[수학식 6]
Figure 112020053165231-pat00026
여기서, Aj와 Bj는 j번째 분석필터를, Pj와 Qj는 j번째 합성필터를 나타낸다. 이론적으로, 그것들은 그들의 정의에 의한 메쉬 연결에만 관련된 스케일링과 웨이블릿 함수에서 생성된다. 두 종류의 필터는 메쉬에 대한 연결상 보존 후에도 동일하게 유지된다. 따라서 추가적인 계산 없이 상기한 필터와 자식-부모 관계를 재사용하여 이후 설명할 고속 재압축 알고리즘을 생산한다.
정점 전파(vertex propagation)
정점을 더 촘촘한 메쉬에서 더 굵은 메쉬로 옮기는 것을 고려해보자. 메쉬 Mj와 수정된 영역
Figure 112020053165231-pat00027
와 함께 제일 촘촘한 경우에서 시작한다.
Figure 112020053165231-pat00028
의 모든 점은 자식 정점, 부모 정점 또는 둘 다 아니다. 웨이브메쉬에서 언급된 레이지 방식을 가정할 때, 모든 자식 이외의 정점은 소멸 과정 동안 Mj -1에서 동일하게 유지된다. 수정된 정점이 자식이 아닌 경우 Vj -1의 해당 정점도 수정해야 한다. 따라서, 사용자 입력으로부터 사전에 가장 촘촘한 메쉬 ROI
Figure 112020053165231-pat00029
가 생성되었다고 가정하면, 아래와 같이 Mj -1에서 전파된 영역
Figure 112020053165231-pat00030
을 먼저 도출한다.
[수학식 7]
Figure 112020053165231-pat00031
인 경우,
Figure 112020053165231-pat00032
hat 표기법은 레이지 방식이 적용되었음을 나타낸다. 표본 메쉬에 정점 전파 사례를 예시한다(도 3의 (a)와 (f). 점 A, P, Q로 구성된
Figure 112020053165231-pat00033
를 고려할 때, 자식이 아닌 정점 A만 검출되어
Figure 112020053165231-pat00034
의 요소가 된다. 웨이블릿 리프팅 방식을 고려하여
Figure 112020053165231-pat00035
을 확장한다.
웨이블릿 전파(Wavelet propagation)
더 촘촘한 메쉬에서 굵은 메쉬용 웨이블릿으로 전달된 정점을 생각해 보기로 한다. 위에서 논의한 바와 같이 정점 이전으로 영향을 받는 유일한 객체는 다른 정점 또는 웨이블릿 뿐이다. 웨이블릿 계수는 주로 수학식 3에서 도출된 두 가지 요인에 의해 영향을 받는다.
1. 현재 영역에 자식 정점이 존재하는 경우 해당 웨이블릿 계수에 직접 영향을 미친다.
2. 자식 정점이 현재 영역에 일부 정점을 부모로 가지고 있는 경우, 해당 웨이블릿 계수에도 영향을 미친다.
따라서, Mj -1에서 전파된 웨이블릿 계수
Figure 112020053165231-pat00036
은 다음과 같다.
[수학식 8]
Figure 112020053165231-pat00037
인 경우,
Figure 112020053165231-pat00038
여기서, cj는 각 정점을 Mj에 설정된 자식에게 매핑한다. 샘플 메쉬(도 4의 (b), (c), (g), (h))에서 Mj에 대한 웨이블릿 전파는 자식 정점 P와 Q를 감지하고
Figure 112020053165231-pat00039
에서 부모 정점 A의 자식인 C1, C2, C3도 검출한다. 그 정점들은
Figure 112020053165231-pat00040
의 요소가 된다.
직교 전파(Orthogonal propagation)
병합 시 k-디스크 리프팅 방식을 사용하여 웨이블릿 함수와 메쉬 웨이블릿의 스케일링 함수 사이의 직교성을 개선한다. 시각적 관점에서 볼 때, 일부 정점들이 이웃들에게 작은 동요를 일으키게 하여 연속적인 메쉬 해상도 사이의 시각적 차이를 감소시킨다. 동요를 일으키는 지점은 모든 부모 정점, 즉 적어도 그 자식들 중 하나는 Wj의 요소에 해당한다. 변수 k는 이웃이 살고 있는 원형 영역의 반경을 나타낸다. 이 방식을 ROI에 적용하면 수학식 9를 사용하여
Figure 112020053165231-pat00041
로부터 영역을 얻을 수 있다.
[수학식 9]
Figure 112020053165231-pat00042
인 경우,
Figure 112020053165231-pat00043
부모 정점을 찾기 위해 먼저 그들의 자식을
Figure 112020053165231-pat00044
에서 구한다. pj는 임의의 자식 정점에서 Mj의 해당 부모 집합으로 매핑하는 것이다. 그리고 나서 k-디스크 리프팅을 반영하기 위해 부모 각각을 중심으로 반경 k의 원형 영역을 만든다. 이 영역의 모든 지점을 포함하기 위해, 임의의 정점을 반경 k 내에 있는 주변부 집합에 매핑하는 Nk를 정의한다. 마지막으로, 확장된 전파 영역
Figure 112020053165231-pat00045
를 생성하기 위해 자식이 아닌 정점(즉, 제거되지 않음)만 위에서 얻은
Figure 112020053165231-pat00046
에 추가된다.
도 5의 (d)와 (i)는 세부과정을 보여준다. 직교 전파에서 먼저
Figure 112020053165231-pat00047
의 모든 자식 정점(x로 표시됨)과 그 부모(실선 동그라미로 표시됨)를 대상으로 한다. 그런 다음 각 부모 정점으로부터 반경 k의 거리 내에 있는 자식이 아닌 정점을 검색한다. 0-디스크 리프팅을 가정하면 부모 정점만
Figure 112020053165231-pat00048
에 추가되어
Figure 112020053165231-pat00049
이 확장된다.
관심영역 수정(Region of interest modification)
Mj에서 Mj -1로 전파된 후에, 발견된 객체를 다시 계산한다. 분석필터 A와 B는 이를 위한 주요 구성 요소로서 이전에 압축된 데이터에서 쉽게 추출된다. 위에서 언급한 바와 같이 필터뱅크의 재사용성은 집약성에 의해 보장된다. 전파 영역
Figure 112020053165231-pat00050
와
Figure 112020053165231-pat00051
만 계산하기 때문에 전체 기하학을 재계산하는 것보다 훨씬 고속 압축 속도를 기대할 수 있다.
도 6의 (e)와 (j)가 해당 사례의 예시를 나타내고 있다. Mj에 3가지 전파 후,
Figure 112020053165231-pat00052
와
Figure 112020053165231-pat00053
를 얻는다. 분석필터 Aj -1을 사용하여
Figure 112020053165231-pat00054
의 정점을 재배치하고 Bj -1을 사용하여
Figure 112020053165231-pat00055
의 자식 정점에 해당하는 웨이블릿 계수를 다시 계산한다.
마지막으로 전체 전파 과정을 다음과 같이 요약할 수 있다.
전체 전파 알고리즘(Complete algorithm)
도 7의 알고리즘 1은 다중 해상도 메쉬를 통해 사용자 지정 ROI를 전파할 수 있는 완전한 알고리즘을 보여준다. 가장 좋은 메쉬(MJ)에서 순차적으로 식 (7)(8)(9)를 실행하고, 굵은 메쉬의 정점과 웨이블릿을 얻는 것으로 시작한다. 그런 다음 재사용 가능한 필터뱅크를 사용하여 수정한다. 이 과정은 가장 큰 메쉬까지 재귀적으로 수행되어 변형된 다중 해상도 메쉬 데이터를 생성한다.
상기한 도 3 내지 6은 메쉬를 사용한 전체 전파 과정을 보여주는 것으로, 위에서 아래로 단수화되는 전파 프로세스를 나타내고 있다. 도 3은 정점 전파 과정을 나타내고 있고, 도 4는 웨이블릿 전파 과정과, 자식과 자식이 아닌 정점의 자식을 검출하는 과정을 나타내고 있다. 도 5는 0-디스크 리프팅을 이용한 직교 전파 과정을 나타내고 있고, 도 6은 전파된 영역의 정점에 해당되는 수정 예시를 나타내고 있다.
네트워크를 통한 전송이 어려운 대용량 메쉬의 경우 일반적으로 압축 성능이 높으면 복원에 어려움이 있어 압축된 메쉬의 사후 관리가 어렵다는 단점이 있다. 이러한 한계를 극복하기 위해 본 발명에서는 도 8에 도시한 바와 같이 고객이 이미 압축된 메쉬 데이터를 변형하고자 할 때 변형 후 메쉬를 빠르게 재압축할 수 있다. 먼저 주어진 메쉬 데이터를 점진적 복원이 가능한 이진데이터로 압축하고 이후 고객이 해당 메쉬 데이터에 움직임을 더하는 등의 추가적인 변형을 하려는 경우 고객의 요구에 맞게 변형을 가한 뒤 다시 저장을 해야 할 때 전파기(221)를 통해 재압축 시간을 획기적으로 단축시킬 수 있다. 전파기(221)는 이전에 저장된 압축 파일(오리지널 파일(201))에서 중요한 정보들을 추출 및 가공하여 고객이 변형한 메쉬(변형 파일(202))의 일부분을 메쉬 전체로 확산시킴으로써 재압축 성능을 높이는 데에 핵심적인 역할을 한다.
본 발명은 재압축을 통해 압축된 메쉬의 관리를 위한 기술로서 압축된 데이터를 효율적으로 수정하는 기능을 추가하여 사용자에게 편의를 제공할 수 있으며, 초기 압축과정에 비해 변형 후의 재압축 과정이 훨씬 시간을 절약할 수 있다. 3D 메쉬 압축을 위해 3차원 정점 좌표를 그대로 활용함으로써 선행 처리 작업을 간소화할 수 있으며, 메쉬의 연결성에 더불어 기하학의 압축을 다루면서 불규칙적 메쉬를 그대로 압축에 사용함으로써 불필요한 전처리 과정의 시간을 줄일 수 있다.
도 9와 도 10은 연결성 보존 변형의 예시를 도시한 것이다. 도 9의 경우 가위 모델의 연결된 두 구성요소가 중심점을 기준으로 다른 방향으로 회전하는 예시를 나타내고 있고, 도 10의 경우 손 모델의 각 관절이 이동하여 포즈가 변경하는 예시를 나타내고 있다.
새로운 메쉬를 빨리 압축할 수 있는 두 가지 중요한 이유가 있다.
첫 번째, 기존의 압축 파일을 재사용할 수 있다는 점이다. 분석필터 A, B, 합성필터의 경우 원래 압축 비용이 상당히 높다. 연결성 보존 변형만 가정하여 필터를 재계산하지 않음으로써 계산 시간의 요구사항을 크게 줄인다.
두 번째, 사용자 지정 ROI의 영향을 받는 로컬 ROI 영역만 수정하기 위해 집약성을 사용한다. 일반적으로 사용자가 거대 메쉬의 작은 부분만 변형할 것으로 예상할 수 있으며, 따라서 로컬 변형에 대한 전파 시간을 줄이기 위한 방향으로 알고리즘을 설계한다.
이처럼 본 발명의 실시예들에 따르면, 이미 압축된 메쉬 데이터를 변형하고자 할 때 변형 후 메쉬를 빠르게 다시 압축할 수 있는 재압축 기술을 적용한다. 이를 통해, 정점의 개수가 매우 많은 대용량 메쉬를 다룰 수 있으며, 점진적 압축기술을 활용하여 네트워크를 통한 메쉬의 복원과 시각화가 더욱 용이하다.
이상에서 설명된 장치는 하드웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 컴퓨터 시스템에서 실행되는 3D 프로세싱 방법에 있어서,
    상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,
    상기 3D 프로세싱 방법은,
    상기 적어도 하나의 프로세서에 의해, 주어진 메쉬 데이터를 압축하는 단계; 및
    상기 메쉬 데이터의 변형 시 상기 압축된 데이터에서 추출된 정보를 바탕으로 변형된 메쉬의 일부분을 메쉬 전체로 전파하여 재압축하는 단계
    를 포함하고,
    상기 압축하는 단계는,
    촘촘한 메쉬와 굵은 메쉬 사이의 비율 왜곡을 줄이기 위한 웨이블릿 리프팅 방식을 통해 오리지널 메쉬로부터 다중 해상도의 메쉬를 생성한 후 엔트로피 인코더(entropy encoder)를 사용하여 상기 다중 해상도의 메쉬를 압축하고,
    상기 재압축하는 단계는,
    상기 메쉬 데이터의 오리지널 모델과 변형 모델의 변위(displacement)와, 상기 압축된 데이터에서 추출된 필터뱅크 및 자식-부모 관계를 바탕으로 상기 변형 모델을 분석하여 다시 압축하는 것
    을 특징으로 하는 3D 프로세싱 방법.
  2. 제1항에 있어서,
    상기 압축하는 단계는,
    상기 메쉬 데이터를 점진적(progressive) 복원이 가능한 이진데이터로 압축하는 것
    을 특징으로 하는 3D 프로세싱 방법.
  3. 제1항에 있어서,
    상기 압축하는 단계는,
    웨이블릿 기반 점진적 압축(Wavelet-based progressive compression) 방법을 사용하여 상기 메쉬 데이터를 압축하는 것
    을 특징으로 하는 3D 프로세싱 방법.
  4. 제1항에 있어서,
    상기 재압축하는 단계는,
    전파 알고리즘을 통해 상기 변형의 영향을 받는 메쉬 영역을 업데이트하는 단계
    를 포함하는 3D 프로세싱 방법.
  5. 제4항에 있어서,
    상기 업데이트하는 단계는,
    변형된 영역을 재귀적으로 전파하되 촘촘한 메쉬(finer mesh)에서 굵은 메쉬(coarser mesh)로 업데이트하는 것
    을 특징으로 하는 3D 프로세싱 방법.
  6. 제1항에 있어서,
    상기 재압축하는 단계는,
    상기 변형의 영향을 받는 정점과 웨이블릿 계수를 검출하고 상기 압축된 데이터에서 추출된 필터뱅크를 사용하여 해당 요소를 수정하는 단계
    를 포함하는 3D 프로세싱 방법.
  7. 제1항에 있어서,
    상기 재압축하는 단계는,
    상기 메쉬 데이터의 원시 데이터를 압축된 형식으로 디코딩하여 오리지널 메쉬를 복원하는 단계
    를 포함하고,
    상기 복원하는 단계는,
    가장 낮은 해상도 메쉬의 정점 좌표, 제거된 정점에서 추출한 웨이블릿 계수, 및 제거된 정점에 의해 생성되는 자식-부모 관계(child-parent relation)를 추출하는 단계
    를 포함하는 3D 프로세싱 방법.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 재압축하는 단계는,
    상기 자식-부모 관계를 기초로 상기 다중 해상도의 메쉬 간 연결성 보존 변형(connectivity-preserving deformation)을 고려한 전파 알고리즘을 사용하여 상기 변형의 영향을 받는 메쉬 영역을 수정하는 단계
    를 포함하는 3D 프로세싱 방법.
  11. 제1항에 있어서,
    상기 재압축하는 단계는,
    상기 자식-부모 관계를 기초로 재배치된 각 정점에 대해 초기 데이터와 재압축된 데이터 간의 차이를 나타내는 메쉬를 찾는 단계; 및
    재사용 가능한 필터뱅크를 사용하여 상기 차이를 나타내는 메쉬를 수정함으로써 변형된 다중 해상도의 메쉬를 생성하는 단계
    를 포함하는 3D 프로세싱 방법.
  12. 컴퓨터로 구현되는 3D 프로세싱 시스템에 있어서,
    메모리에 포함된 컴퓨터 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    주어진 메쉬 데이터를 압축하는 압축기; 및
    상기 메쉬 데이터의 변형 시 상기 압축된 데이터에서 추출된 정보를 바탕으로 변형된 메쉬의 일부분을 메쉬 전체로 전파하여 재압축하는 재압축기
    를 포함하고,
    상기 압축기는,
    촘촘한 메쉬와 굵은 메쉬 사이의 비율 왜곡을 줄이기 위한 웨이블릿 리프팅 방식을 통해 오리지널 메쉬로부터 다중 해상도의 메쉬를 생성한 후 엔트로피 인코더를 사용하여 상기 다중 해상도의 메쉬를 압축하고,
    상기 재압축기는,
    상기 메쉬 데이터의 오리지널 모델과 변형 모델의 변위와, 상기 압축된 데이터에서 추출된 필터뱅크 및 자식-부모 관계를 바탕으로 상기 변형 모델을 분석하여 다시 압축하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
  13. 제12항에 있어서,
    상기 압축기는,
    웨이블릿 기반 점진적 압축 방법을 사용하여 상기 메쉬 데이터를 압축하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
  14. 제12항에 있어서,
    상기 재압축기는,
    전파 알고리즘을 통해 상기 변형의 영향을 받는 메쉬 영역을 업데이트하는 것으로,
    변형된 영역을 재귀적으로 전파하되 촘촘한 메쉬에서 굵은 메쉬로 업데이트하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
  15. 제12항에 있어서,
    상기 재압축기는,
    상기 변형의 영향을 받는 정점과 웨이블릿 계수를 검출하고 상기 압축된 데이터에서 추출된 필터뱅크를 사용하여 해당 요소를 수정하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
  16. 제12항에 있어서,
    상기 재압축기는,
    상기 메쉬 데이터의 원시 데이터를 압축된 형식으로 디코딩하여 오리지널 메쉬를 복원하고,
    가장 낮은 해상도 메쉬의 정점 좌표, 제거된 정점에서 추출한 웨이블릿 계수, 및 제거된 정점에 의해 생성되는 자식-부모 관계를 추출하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
  17. 삭제
  18. 삭제
  19. 제12항에 있어서,
    상기 재압축기는,
    상기 자식-부모 관계를 기초로 상기 다중 해상도의 메쉬 간 연결성 보존 변형을 고려한 전파 알고리즘을 사용하여 상기 변형의 영향을 받는 메쉬 영역을 수정하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
  20. 제12항에 있어서,
    상기 재압축기는,
    상기 자식-부모 관계를 기초로 재배치된 각 정점에 대해 초기 데이터와 재압축된 데이터 간의 차이를 나타내는 메쉬를 찾고,
    재사용 가능한 필터뱅크를 사용하여 상기 차이를 나타내는 메쉬를 수정함으로써 변형된 다중 해상도의 메쉬를 생성하는 것
    을 특징으로 하는 3D 프로세싱 시스템.
KR1020200063163A 2020-05-26 2020-05-26 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템 KR102272569B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200063163A KR102272569B1 (ko) 2020-05-26 2020-05-26 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템
US17/174,351 US11875540B2 (en) 2020-05-26 2021-02-12 Progressive fast recompression method and system for wavelet-based large-deformed mesh data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200063163A KR102272569B1 (ko) 2020-05-26 2020-05-26 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR102272569B1 true KR102272569B1 (ko) 2021-07-05

Family

ID=76899445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200063163A KR102272569B1 (ko) 2020-05-26 2020-05-26 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US11875540B2 (ko)
KR (1) KR102272569B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010919A1 (en) * 2022-07-07 2024-01-11 Innopeak Technology, Inc. System and method for geometry point cloud coding
CN116683915B (zh) * 2023-06-14 2024-02-13 上海海洋中心气象台 气象数据压缩方法、系统及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182298A1 (en) * 2011-01-14 2012-07-19 Wei Sun Planetary scale object rendering
KR20140139984A (ko) 2013-05-28 2014-12-08 다솔 시스템므 3d 모델링된 오브젝트의 압축 및 압축해제
US20200021824A1 (en) * 2016-09-21 2020-01-16 Kakadu R & D Pty Ltd Base anchored models and inference for the compression and upsampling of video and multiview imagery

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8749556B2 (en) * 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US10748325B2 (en) * 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US10140764B2 (en) * 2016-11-10 2018-11-27 Adobe Systems Incorporated Generating efficient, stylized mesh deformations using a plurality of input meshes
US9754410B2 (en) * 2017-02-15 2017-09-05 StyleMe Limited System and method for three-dimensional garment mesh deformation and layering for garment fit visualization
US10636210B2 (en) * 2018-01-24 2020-04-28 Dreamworks Animation Llc Dynamic contour volume deformation
US11475603B2 (en) * 2018-01-26 2022-10-18 Sony Corporation Multiple mesh encoding using motion tracking data of objects
US11127206B2 (en) * 2019-01-29 2021-09-21 Realmotion Inc. Device, system, and method of generating a reduced-size volumetric dataset
US10751149B1 (en) * 2020-02-18 2020-08-25 Oxilio Ltd Method of determining deformation of gingiva
US11276231B2 (en) * 2020-03-04 2022-03-15 Disney Enterprises, Inc. Semantic deep face models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120182298A1 (en) * 2011-01-14 2012-07-19 Wei Sun Planetary scale object rendering
KR20140139984A (ko) 2013-05-28 2014-12-08 다솔 시스템므 3d 모델링된 오브젝트의 압축 및 압축해제
US20200021824A1 (en) * 2016-09-21 2020-01-16 Kakadu R & D Pty Ltd Base anchored models and inference for the compression and upsampling of video and multiview imagery

Also Published As

Publication number Publication date
US20210375005A1 (en) 2021-12-02
US11875540B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
Daubechies et al. Wavelets on irregular point sets
JP7084703B2 (ja) 物理的属性を表す信号の圧縮
US9734595B2 (en) Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
Osher et al. Level set methods and their applications in image science
Cayre et al. Application of spectral decomposition to compression and watermarking of 3D triangle mesh geometry
US5966140A (en) Method for creating progressive simplicial complexes
Saito Simultaneous noise suppression and signal compression using a library of orthonormal bases and the minimum description length criterion
CN110166757B (zh) 用计算机实现的压缩数据的方法、系统、存储介质
KR102272569B1 (ko) 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템
JP5037526B2 (ja) 幾何学的画像表現方法および圧縮方法
Szymczak et al. Piecewise regular meshes: Construction and compression
US8447135B2 (en) Methods and systems for generating enhanced images using Euler's Elastica model
US20030053705A1 (en) Image processing apparatus and method
Kircher et al. Editing arbitrarily deforming surface animations
US8830235B1 (en) Non-uniform relaxation procedure for multiresolution mesh processing
Lee et al. Progressive 3D mesh compression using MOG-based Bayesian entropy coding and gradual prediction
Hachicha et al. GPU-based blind watermarking scheme for 3D multiresolution meshes using unlifted butterfly wavelet transformation
Choukroun et al. Sparse approximation of 3D meshes using the spectral geometry of the Hamiltonian operator
Li et al. Semiautomatic simplification
Cioacă et al. Graph-based wavelet multiresolution modeling of multivariate terrain data
Kim et al. Wavelet-based progressive fast recompression for large deformed mesh
Ahn et al. Out-of-core remeshing of large polygonal meshes
Weiss et al. Adaptive multilinear tensor product wavelets
JP2023515602A (ja) 点群コーディングのための方法および装置
JP2023520565A (ja) ３ｄジオメトリを構築するための方法、装置およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant