KR100856289B1 - 내포 메쉬들을 사용하는 화상 엔코딩 및 디코딩용 방법 및 장치, 및 컴퓨터로 판독 가능한 저장 매체 - Google Patents

내포 메쉬들을 사용하는 화상 엔코딩 및 디코딩용 방법 및 장치, 및 컴퓨터로 판독 가능한 저장 매체 Download PDF

Info

Publication number
KR100856289B1
KR100856289B1 KR1020037016019A KR20037016019A KR100856289B1 KR 100856289 B1 KR100856289 B1 KR 100856289B1 KR 1020037016019 A KR1020037016019 A KR 1020037016019A KR 20037016019 A KR20037016019 A KR 20037016019A KR 100856289 B1 KR100856289 B1 KR 100856289B1
Authority
KR
South Korea
Prior art keywords
decomposition level
space
functions
base
picture
Prior art date
Application number
KR1020037016019A
Other languages
English (en)
Other versions
KR20040019012A (ko
Inventor
드마렛라우렌트
라우렌트-차테넷나탈리
Original Assignee
프랑스 텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프랑스 텔레콤 filed Critical 프랑스 텔레콤
Publication of KR20040019012A publication Critical patent/KR20040019012A/ko
Application granted granted Critical
Publication of KR100856289B1 publication Critical patent/KR100856289B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 적어도 2개의 내포 공간들을 형성하는 계층적 메쉬를 구현하고, 그 각각은 상기 메쉬의 분해 레벨에 해당하는 적어도 하나의 소스 화상을 엔코딩하는 방법에 관한 것이며, 이는 적어도 분해레벨 n(제 1 분해레벨을 제외)에서, 선행한 분해레벨 n-1에 일치하는 공간에 직교하는 공간내에서 규정된 함수들의 베이스내에서 표현되어지는 화상계수들만이 단지 이동되고,
상기 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대한 이미 전송된 데이타의 최적화를 가능하게 하도록 선택되어 상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복구 품질을 갖고서 생산하는 것이다.
계층적 메쉬, 분해 레벨, 소스 화상, 엔코딩, 디코딩, 화상계수

Description

내포 메쉬들을 사용하는 화상 엔코딩 및 디코딩용 방법 및 장치, 및 컴퓨터로 판독 가능한 저장 매체{METHODS AND DEVICES FOR ENCODING AND DECODING IMAGES USING NESTED MESHES, AND COMPUTER READABLE STORAGE MEDIUM}
본 발명의 분야는 화상 엔코딩에 관한 것으로서, 특히 그것들의 전송 또는 저장을 위한 것이다. 보다 상세히는, 본 발명은 내포 메쉬(nested meshes)들의 계층을 구현하는 계층 엔코딩 기술의 개선에 관한 것이다.
상기 내포 메쉬 접근은 이미 많은 연구의 주제로 되어 왔다. 예를 들면, 비디오 화상 엔코딩의 경우, [7](읽기 쉽도록 하기 위하여, 인용된 다양한 문헌들이 본 명세서 말미의 부록 3내에 기재되어 있다)에 제시되어 있다.
메쉬는 위상(topology)을 형성하기 위하여 다수의 정점들과 방향을 갖는 면(oriented faces)들로서 전통적으로 규정된다(도 1참조). 이러한 메쉬들은 예를들면 컴퓨터 그래픽들에 사용되어 한정된 기하학적 복잡성을 갖는 3차원의 대상체들을 모델링하기 위한 것이다.
메쉬 M의 근사는 그 기하학적 복잡성이 상기 메쉬 M의 것 보다는 낮고, 그리고 상기 M의 기하학 구조에 가능한 한 근접하는 메쉬 M'를 찾는 것으로 이루어진다.
유익하게는, 상기 메쉬 M'는 내포 메쉬들의 연속으로 이루어지고, 그 각각은 상세 레벨, 또는 계층 레벨에 일치하여서, 화상의 점증적인 재구축과 단순화된 엔코딩을 가능하게 한다.
각 계층적인 레벨에서, 상기 메쉬의 절점 값(nodal values)들은 재구축의 제곱오차(squared error)를 최소화하기 위하여 최적화된다. 이러한 절점 값들은 그 다음에 수량화되고, 엔코드된다. 이러한 종류의 방식은 효과적인 압축률을 주게되며 시각적 열화를 제한한다. 이러한 열화는 여기서는 차라리 인간의 눈에 불유쾌함을 적게 주는 평활 작용에 해당한다. 이는 메쉬들의 근사 방법에 의해서 얻어진 재구축 표면들의 연속성의 양호한 특성들에 관계되는 것이다.
또한, 이러한 체계는 비디오 응용에 적합하다는 것을 입증한다. 실제로, 삼각형 메쉬들은 동작평가에 대해서 보다 유연성 있고 효율적이라는 것을 입증한다. 그러나, 본 발명자들은 이러한 압축 기술이 부적절한 결함으로 부터 문제가 있음을 발견하였다. 실제로, 각각의 레벨에 사용되어지는 베이스들은 중복성(redundancies)들을 나타내고 있다.
그리고, 상기 내포 메쉬기술은 화상들의 점증적인 재구축을 가능하게 하며, 제일 먼저 거친 레벨에서, 그 다음으로 점차 미세한 레벨에서 이루어진다(화상들의 스케일 조정이 가능한 전송을 동반). 전통적인 기술에 따르면, 이러한 접근은 최적의 것이 아니며: 실제로, 각각의 레벨에서 얻어지는 품질(가장 마지막의 레벨은 제외)은 최적이 아니다.
또한, 소파동들을 구현하는 필터링 작업으로 부터 얻어지는 인터-서브밴드 상관관계들의 개발에 기초한 화상압축 기술들도 알려져 있다. 이러한 기술들은 고성능의 압축율[4][5]을 허용한다.
그러나, 단지 매우 낮은 비트 전송률(bit rate)만이 가능한 응용예에 대해서는, 상기 방식은 상당한 시각적 열화, 특히 윤곽선을 따르는 진동 효과의 형태로서 열화를 주는 것으로 알려져 있다.
또한, 사용되어진 소파동 베이스들은 1차원적 소파동 텐서 곱(tensor products)으로서 구축된다. 이는 임의의 방향들을 허락하면서, 임의의 구조들을 나타내는 능력의 한계를 유도한다. 이러한 결함들은 서브밴드들에 의한 화상 엔코딩방법에 적절한 것이고, 내포 삼각형 메쉬들에 근거한 화상의 표현에 우선적으로 주어져 왔다.
문서[1]에서, E.Quak는 보충적인 소파동들의 베이스를 각각의 메쉬 레벨에 결합시켜 리지(ridges)상에 조건들을 주는, 쌍방의 기술들의 동시적인 사용을 제안하고 있다. 따라서, 그는 삼각형 메쉬상에 예비-소파동들의 뚜렷한 베이스를 구축하는 것이다. 이러한 기술은 지형의 3D 디지탈 모델들의 표현및 압축을 위해 의도된 것이다.
Quak의 처리방식은 부록 1에 보다 상세히 설명되어 있다. 그 부분을 위한 부록 2는 내포 메쉬의 계층에 근거한 엔코딩 방법의 일반적인 원리와, 작동의 광범위한 선들을 환기시킨다.
비록 효과적이긴 하지만, 부록 2에 기재된 종래의 기술은 여러 한계를 갖는 것이다.
특히, [7]에서 제안되어지는 방식의 한가지 결점은 함수
Figure 112003046663383-pct00001
에 의해서 생성되어지는 벡터 공간 Vp-1 이 구비된 함수
Figure 112003046663383-pct00002
의 비직교에 있는 것이다. 이는 직교 변형 베이스를 사용하는 변형의 경우보다, 효율적이지 못한 에너지의 집중을 암시한다.
또한, 이는 다른 레벨 분해의 동거(cohabitation) 문제점을 제기한다. 따라서, 정점이 미세 영역과 미세하지 않은 영역들 사이의 경계에 있을 때, 양측 분해들에 대해 이 정점의 최적 값을 선택하는 것은 불가능하다. 실제로, 이러한 종류의 정점에 대해서, 최적 레벨의 하나의 값을 선택하는 것은 이러한 미세 레벨에 일치하는 영역내를 제외하고는 최적의 재구축을 실현하지 못할 것이다.
또한, 이러한 상기 표현의 부적합은 스케일 가능한 엔코딩 체계의 상황에서도 결함인 것이다. 실제로, 중간 비트 전송률에 대해서는 최적의 재구축 품질을 제공하도록 사용될 수 없다.
본 발명의 목적은 특히 이 같은 종래의 결함을 해소하고자 하는 것이다.
특히, 본 발명의 목적은 스케일 조정가능한 화상엔코딩 기술과 이에 일치하는 디코딩 기술을 제공함으로서, 각각의 재구축 레벨에서 최적의 재구축 품질을 얻을 수 있도록 하는 것이다.
본 발명의 다른 목적은 각각의 재구축 레벨에 대하여, 제한된 비트 전송률을 필요로 하는 이러한 종류의 엔코딩및 디코딩 기술들을 제공하고자 하는 것이다.
또한, 본 발명의 목적은 이러한 엔코딩및 디코딩 기술을 제공하여 동일한 구조(동일 크기및 동일 기준 메쉬)를 갖는 몇가지 화상들의 효율적인 처리를 가능하게 하고자 하는 것이다.
그리고, 본 발명의 또 다른 목적은 이 같은 방식으로 엔코드되어진 화상의 전송및 저장에 필요한 비트 전송률들을 최적화하는 것이 가능한 데이타및 신호 구조를 제공하고자 하는 것이다.
이 같은 목적들은, 다른 것들과 마찬가지로, 이하의 설명에서 보다 명확하게 이해될 것이며, 이는 적어도 2개의 내포 공간들을 형성하고, 그 각각은 상기 메쉬의 분해 레벨 n 에 일치하는 계층적 메쉬를 구현하는 적어도 하나의 소스 화상의 엔코딩방법에 의해서 이루어진다.
본 발명에 따르면, 적어도 하나의 분해레벨 n(제 1분해레벨을 제외)에서, 선행한 분해 레벨 n-1에 일치하는 공간에 직교한 공간내에 규정되어지는 함수들의 베이스로 표현되는 화상계수들만이 단지 이동되고, 상기 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 이미 전송된 선행 분해 레벨 n-1에 대한 정보의 최적화가 가능하도록 선택되어 상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복원 품질을 갖추어 생산하는 것이다.
유익하게는, 상기 분해레벨 모두에서(상기 제 1분해 레벨을 제외), 선행한 분해 레벨 n-1에 일치하는 공간에 직교한 공간내에서 규정된 함수의 베이스내에 표현된 화상계수들만이 단지 이동된다.
유익하게는, 상기 분해레벨 n 으로서, 화상을 나타내는 수학적 공간 Vn 이 결합되어
Figure 112003046663383-pct00003
이 되며,
여기서:
- Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
- Wn-1 은 Vn-1 에 직교하는 공간이며,
그리고, 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(piecewise affine functions)
Figure 112003046663383-pct00004
의 베이스와, 둘째 2개의 직교 베이스:
- 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
Figure 112003046663383-pct00005
의 베이스;
- 상기 공간 Wn-1 의 예비 소파동 함수
Figure 112003046663383-pct00006
의 베이스;들의 조합에 의해 형성된 베이스에 결합되며, 여기서 상기 화상 계수들이 표현되어진다.
달리 표현하면, 정제된 메쉬의 계수들을 보내는 단계는 미정제된 메쉬(바로 전의 레벨)의 계수들을 고려하는 것으로써 대체되어지고, 거기에 정제된 메쉬의 새로운 절점(nodes)들에 할당되어지는 계수들의 전송이 부가되어진다. 또한, 새로운 절점들의 처리는 바로 전 레벨의 계수들 위치의 최적화를 가능하게 하여 각각의 레벨에서 최적이 되도록 한다.
이러한 방법의 한가지 잇점은 계수 값들의 개선된 통계학적 분배에 있어서 엔코딩 비용의 감소를 가능하게 한다. 최소한의 정제된 정점들로 부터 시작하는 계수들의 단순한 전송으로서, 본 새로운 방식은 이러한 해상 레벨에 대해 최적의 계 수들만으로 화상의 첫번째 표현의 실행이 가능하다. 대조적으로, 공지된 방식에서는, 제 1계수들이 메쉬의 가장 높은 레벨의 정제(refinement)에 대해 최적화된 이러한 정점들을 위한 값에 해당한다(따라서,부-적합성(sub-optimality)을 갖는다).
바람직하게는, 상기 예비-소파동 함수들은 상호 직교하는 소파동 함수들이다.
유익하게는, 상기 각각의 예비-소파동 함수들은 상기 함수에 대한 기준 정점의 인접에 위치된 상기 메쉬의 사전에 규정된 수의 정점들로 제한되는 좁은 지지(support)를 갖는다.
본 발명의 구현의 첫번째 모드에 따르면, 상기 예비-소파동 함수들은 일차원적이다. 이 같은 경우, 상기 각각의 예비 소파동 함수들은 상기 메쉬내에서, 상기 함수가 할당되어질 상기 메쉬의 새로운 정점을 포함하는 적어도 하나의 리지(ridge) 위치를 고려하여 바람직하게 결정되어진다.
따라서, 상기 베이스
Figure 112003046663383-pct00007
는 아래의 수식에 의해서 특별하게 얻어질 수 있다.
Figure 112003046663383-pct00008
여기서, Vi (p) 는 레벨 P 메쉬에서의 정점 j에 인접하는 정점들의 세트이다.
본 발명의 다른 실시예에 따르면, 상기 예비 소파동(pre-wavelet) 함수들은 다차원적이다. 특히, 그들은 "박스 스플라인(box spline)" 타입의 함수들일 수 있 다.
유익하게는, 메쉬 레벨 n에서 화상 계수들을 결정하는 것은 선형 시스템의 분해에 의존한다:
Figure 112003046663383-pct00009
그리고, 수식과 함께:
Figure 112003046663383-pct00010
이며,
여기서, X는 상기 소스 화상 α(p) 의 근사 좌표들의 벡터이며, W(p-1) 은 공간 Vp-1의 베이스
Figure 112003046663383-pct00011
로 부터 상기 공간 Wp-1 의 예비 소파동 함수들의 베이스까지의 통로 행렬(matrix)이며, V(p-1) 은 공간 Vp-1의 행렬이다.
이러한 접근은 상기 선형 시스템의 분해가 "희박 행렬" 또는 "프로파일 행렬" 타입의 알고리즘을 구현하는 경우에, 매우 효과적이고, 특별한 것임을 증명하는 것이다.
본 발명의 유익한 견지(aspect)에 따르면, 본 발명의 엔코딩 방법은:
- 사전에 결정된 화상 구조에 대한 기준 함수
Figure 112003046663383-pct00012
와
Figure 112003046663383-pct00013
들의 베이스들을 결정하는 예비 단계;
- 상기 사전에 결정된 화상 구조를 갖는 임의의 화상에 대한 기준 함수
Figure 112003046663383-pct00014
와
Figure 112003046663383-pct00015
들의 상기 베이스를 시스템적으로 사용하는 화상 엔코딩 단계;들을 포함한다.
따라서, 동일한 타입의 화상들 세트를 엔코딩하는 것은 특별히 간단하게 된 다.
이와 같은 예비 단계도중에, 유익하게는 적어도 기준 함수
Figure 112003046663383-pct00016
와
Figure 112003046663383-pct00017
들의 베이스들의 2세트들이 결정되고, 그 각각은 특별히 사전에 결정된 화상 구조에 해당하는 것이다.
또한, 본 발명은 적어도 2개의 내포 공간들을 형성하고, 그 각각은 상기 메쉬의 레벨 n 의 분해에 일치하는 계층적 메쉬를 구현하는 소스 화상들의 계층적 엔코딩에 대한 함수들의 베이스 구축을 위한 방법에 관한 것이다. 본 발명에 따르면, 적어도 하나의 사전에 결정된 화상 구조들을 위하여, 적어도 하나의 분해 레벨 n은, 그리고 바람직하게는 모든 레벨들(제 1분해 레벨을 제외)은 화상을 나타내는 연관된 수학적 공간 Vn 을 가져서
Figure 112003046663383-pct00018
이 되도록 하고, 여기서:
- Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
- Wn-1 은 Vn-1 에 직교하는 공간이며,
그리고, 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(affine functions)
Figure 112003046663383-pct00019
의 베이스와, 둘째 2개의 직교 베이스들:
- 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
Figure 112003046663383-pct00020
의 베이스;
- 상기 공간 Wn-1 의 예비 소파동 함수
Figure 112003046663383-pct00021
의 베이스;들의 조합에 의해 형성된 베이스에 결합되며,
여기서 상기 화상 구조를 갖는 임의의 화상들에 대한 화상계수들을 나타내는 것이 가능하고, 상기 분해 레벨 n에 대하여 최적화된 복구 품질을 갖고서 상기 소스 화상을 나타내는 재구축된 화상의 생산을 가능하게 한다.
또한, 본 발명은 화상 엔코딩 장치에 관련된 것이며, 상기에서 설명된 베이스의 엔코딩 및/또는 구축을 위한 방법을 구현하는 것이다.
따라서, 본 발명은 적어도 2개의 내포 공간들을 형성하고, 그 각각은 상기 메쉬의 레벨 n 의 분해에 일치하는 계층적 메쉬를 구현하는 적어도 하나의 소스 화상의 엔코딩 장치에 관한 것이며, 여기서 적어도 하나의 분해 레벨 n(제 1분해 레벨을 제외)으로서, 그것은 선행의 분해레벨 n-1에 일치하는 공간에 직교하는 공간내에 형성된 함수들의 베이스내에 표현된 화상 계수들과 유일하게 결합되며, 상기 함수들은 상기 화상 계수들이 상기 분해레벨 n 에 대하여, 선행한 분해 레벨 n-1을 위해 이미 전송된 정보의 최적화가 가능하도록 선택되어 상기 분해 레벨 n에 대해 최적화된 복구 품질로서 상기 소스 화상을 나타내는 재구축 화상을 생성하는 것이다.
또한, 본 발명은 상기 엔코딩 방법에 의해서 엔코딩된 화상들의 디코딩 및/또는 상기에서 설명된 바와 같은 베이스의 구축을 위한 방법에 관련된 것이다.
이러한 종류의 디코딩 방식은 적어도 2개의 내포 공간들을 형성하고, 그 각각은 상기 메쉬의 레벨 n 의 분해에 일치하는 계층적 메쉬를 구현하는 것에 의해서 얻어진 화상계수들 형태로, 적어도 하나의 분해 레벨 n(제 1분해 레벨을 제외)에 선행의 분해레벨 n-1에 일치하는 공간에 직교하는 공간내에 형성된 함수들의 베이스내에 표현된 화상 계수들이 유일하게 결합되는 엔코딩에 따라서, 엔코드된 화상 들을 디코드하고, 상기 함수들은 상기 화상 계수들이 상기 분해레벨 n 에 대하여, 선행한 분해 레벨 n-1을 위해 이미 전송된 정보의 최적화가 가능하게 하도록 선택되어 상기 분해 레벨 n에 대해 최적화된 복구 품질로서 상기 소스 화상을 나타내는 재구축 화상을 생성하는 것이다.
유익하게는, 이러한 종류의 디코딩 방식은:
- 적어도 하나의 사전에 결정된 화상 구조에 대한 기준 함수들의 베이스의 수용 및/또는 저장을 위한 예비 단계;
- 디코드되어야 할 화상의 화상 구조에 일치하는 기준 함수들의 베이스를 사용하는 화상 디코딩 단계;들을 포함한다.
다시 설명하면, 이는 일련의 화상들에 대해 처리작용을 단순화하고, 전송 데이타량을 제한한다.
그리고, 본 발명은 상기 설명된 바와 같은 디코딩 방법을 구현하는 엔코드 화상의 디코딩 장치에 관한 것이다.
또한, 본 발명은 화상들의 엔코딩 및/또는 디코딩을 위한 컴퓨터 프로그램에 관련된 것이며, 이는 상기에서 설명한 엔코딩 방법 및/또는 디코딩 방법을 구현하기 위한 프로그램 지시들을 포함하는 것에 특징이 있다.
그리고, 본 발명은 화상 데이타 신호에 관련된 것이며, 이는 적어도 하나의 사전에 결정된 화상 구조를 위한 기준 함수들의 적어도 하나의 베이스 세트를 나타내는 데이타를 포함하는 제 1부분과, 상기 기준 함수들의 베이스 세트들 중의 하나에 의해서 엔코드된 적어도 2개의 화상들을 나타내는 데이타를 포함하는 제 2부분 을 포함하는 데에 특징이 있다.
유익하게는, 상기 제 1부분은 별개의 화상 구조들에 일치하는 적어도 2세트의 기준함수들의 베이스들을 포함하고, 상기 제 2부분의 각각의 화상은 상기 기준 함수들의 베이스 세트들중의 하나의 선택을 가능하게 하는 하나의 정보를 포함한다.
바람직하게는, 상기 제 1부분 및/또는 제 2부분의 데이타들은 조직화되어 점증적인 화상 재구축을 가능하게 하고, 그리고/또는 재구축 품질의 사전에 결정된 레벨을 구비할 수 있도록 한다.
바람직한 특성에 따르면, 이러한 화상들은 적어도 2개의 내포 공간들을 형성하고, 그 각각은 상기 메쉬의 레벨 n 의 분해에 일치하는 계층적 메쉬를 구현하는 방법에 따라서 엔코드되어지고, 상기 기준 함수들은 상기 화상 계수들이 상기 분해레벨 n 에 대하여, 선행한 분해 레벨 n-1을 위해 이미 전송된 정보의 최적화가 가능하도록 선택되며, 상기 화상의 엔코딩은 모든 분해 레벨 n(제 1분해 레벨을 제외)으로서, 선행의 분해레벨 n-1에 일치하는 공간에 직교하는 공간내에 형성된 함수들의 베이스내에 표현된 화상 계수들만이 유일하게 결합되어 상기 분해 레벨 n에 대해 최적화된 복구 품질로서 상기 소스 화상을 나타내는 재구축된 화상을 생성하는 것이다.
본 발명은 다양한 분야에 적용될 수 있고, 특히 고정된 화상의 엔코딩과, 이동 화상들 흐름의 내부 화상들의 엔코딩에 적용될 수 있다.
본 발명의 다른 특징들과 잇점들은 본 발명의 바람직한 실시예를 설명하는 아래의 상세한 설명과 첨부 도면들을 통하여 명확하게 이해될 것이며, 본 발명은 이들에 한정적이지 않고, 단지 예시적인 일례로서 제시된 것이다.
도 1은 점 P의 좌표가 결정되어지는 방법을 나타낸 설명도;
도 2A 내지 2D는 부록 1에 기재된 Quak의 접근방식에 따른 메쉬내의 리지(ridge)의 다른 위치들을 도시한 설명도;
도 3은 본 발명의 실시예에 대한 일반적 원리를 도시한 단순화된 블록 다이아 그램;
도 4는 본 발명의 예시적인 구현에서, 예비-소파동 함수의 계산을 위해 고려되어지는 K-디스크를 도시한 설명도;
도 5는 도 3에 도시된 원리를 활용하는 신호의 구조(structure)을 예시적으로 도시한 설명도이다.
본 발명은 보충적인 베이스들의 직교화에 근거한 특정 소파동, 또는 예비 소파동들의 사용에 특히 의지한다.
본 발명은 박스- 스플라인 타입의 소파동[2]에 유사하게 적용되는 것이 예견될 수 있다. 첫번째는 중요 계수들이 작은 수인 삼각형 메쉬상의 예비 소파동들이다. 상기 박스 스플라인 소파동들은 메쉬들로서 구축되어지고, 1차원의 소파동 베이스들의 텐서 곱에 기초하지 않는 2차원의 소파동들을 구축하는 수단을 나타낸다.
제안된 방법은 [7]에서 개발된 메쉬 엔코딩의 종전 방법의 개량이다. 이는 고정된 화상들의 엔코딩에 관련된 것이지만, 비디오 압축의 프레임 워크(framework)내의 내부 화상들의 엔코딩에, 특히 내부 표면의 추정및 내부 이동의 추정들을 위해 공동으로 메쉬들을 사용하는 엔코딩 작업들에 적용될 수 있는 것이다.
따라서, 이러한 접근은 화상의 전송및 저장에 일반적으로 적용될 수 있는 것이다.
상기 방법이 사용될 수 있는 응용예중에서, 아래의 것들을 열거할 수 있다:
- 원격지 회의 관련 응용;
- 분배 네트워크상의 자연화상들의 점증적인 전송;
- 메쉬들에 근거한 비디오 압축체계내의 내부 화상들의 엔코딩 및 VOPs에 대한 응용.
따라서, 도 3은 본 발명의 일반적인 원리를 나타낸 단순화된 예시를 보여준다.
다수의 공간 Vn 들을 형성하고, 그 각각은 메쉬의 레벨에 일치하는 공지된 타입의 내포 메쉬(311)가 고려될 것이다.
각각의 이 같은 공간들에 대하여, 아래에 기재된 바와 같은 기술에 따라서, 직교 베이스(312)들에 대한 조사(search)가 이루어졌다. 엔코딩 행렬들이 그들로 부터 추론되고, 메쉬의 각각의 레벨들에 대해 최적화된 화상계수를 결정하는 것이 가능하다.
이러한 작업들은 화상의 내용과는 무관함을 주목하여야 한다. 그들은 단순히 사용된 메쉬에 연결되어 있다. 따라서, 유익하게는 그들이 동일한 메쉬에 연관된다면, 엔코딩및 데코딩 행렬을 생성하여 다음에 다수의 화상들을 위해 사용될 수 있도록 하는 것이 예비 단계 31일 수 있다.
따라서, 엔코딩 단계 32가 제공되어진다. 이 단계 32는 직교 베이스들의 계산으로 복귀함이 없이 몇회(321) 반복될 수 있다. 따라서, 상대적으로 간단한 방법이 가능하며, 상기 행렬들은 단지 한번만 계산된 것이었다.
특히 고정 화상 또는 비디오 흐름의 내부화상등일 수 있는, 수신된 각각의 소스 화상(322)에 대하여, 상기 메쉬의 각 레벨에 일치하는 화상계수들이 행렬을 사용하여 계산(323)되어지고, 그 다음 얻어진 계수들이 전송되거나(34) 또는 저장된다.
상기 디코딩 작업 33은 동일한 작업을 역으로 일으킨다. 이러한 디코딩 작업을 위하여 디코딩 행렬들이 유용한 것이다. 이러한 행렬들은 메모리내에 확실하게 설치되거나 또는 수신될 수 있으며(331), 예를 들면 비디오 흐름의 초기에서 디코더를 초기화할 수 있다.
엔코드된 계수들의 수신부(332)에서, 상기 디코더는 각각의 화상을, 찾은 품질 레벨까지 점증적으로 상향 재구축(333)한다.
동일한 베이스들이 몇몇의 화상들에 사용될 수 있다는 사실은 도 5에 도시된 바와 같은, 유익한 신호구조의 한정을 가능하게 한다.
상기 신호는 단 한번 결정된 함수들의 베이스들을 포함하는 제 1초기화 부분 51과, 상기 베이스들에 의해서 결정된 계수들을 포함하는 제 2화상 데이타 부분 52 을 포함한다. 따라서, 감소된 비트 전송률이 얻어지고, 상기 제 1부분 51은 시켄스의 초기에 단지 한번만 전송된다.
대등한 화상수들에 일치하는 몇몇 세트들의 함수 베이스 511,512,...들이 존재할 때, 이러한 화상들의 인식을 위한 시스템이 제공된다. 각각의 화상 또는 일련의 화상들에 대하여, 또는 간단하게 변경이 필요한 때에, 화상 데이타 521의 전제부로서 인식기 5211가 전송되고, 이러한 인식기는 사용되어야 할 함수들의 베이스 세트를 지적한다.
별개의 전송 흐름들이 부분 51과 52들에 대해 계획될 수 있다. 부분 52에 대해서는 적어도 2개의 흐름들에 대하여 계획을 세우는 것이 가능하다: 하나의 첫번째 흐름은 하나 혹은 그 이상의 "거친" 레벨들에 일치하고, 그리고 몇몇의 다른 흐름들은 보다 미세한 레벨들에 일치한다. 필요에 따라서, 상기 비트 전송률 및/또는 수단들이 유용하며, 사용된 흐름들은 선택되어진다.
그리고, 상기 제 1부분 51은 터미널(예를 들면 CD-ROM의 형태)들에 의해서 단지 한번만 알려질 것임을 계획할 수 있다. 이러한 경우, 단지 부분 52만이 전송되고, 이는 매우 낮은 비트 전송률에 일치한다.
동일한 원리가 물론, 엔코드되어지는 화상들을 저장하는 데이타 매체에 적용될 수 있다.
이하, 본 발명의 실시예의 구현에 관하여 보다 상세히 설명하기로 한다.
1. 새 계수들의 정의
여기에서는 내포 공간들 V0,V1,...,Vn 이 유용하고, 또한 내포 삼각형 메쉬들 과 결합되어지는 것이 고려될 것이다. 상기 공간들의 차원은 고려되는 메쉬의 정점들의 수에 일치한다. 각각의 공간 Vn 에 대하여, 각각의 함수들이 정점 i에 한가지 뜻으로(univocally) 결합되어지는 베이스
Figure 112003046663383-pct00022
가 유용한 것으로 추정된다. 일반적으로, 본 발명은 각각의 삼각형에 대한 제한이 다항(polynomial)인 함수들의 베이스들을 사용한다.
이하에서 설명되어지는 예에서는, 간략화를 위하여, 공간 Vn 이 각각의 메쉬 분해 레벨에 결합되는 것으로 고려될 것이다. 본 발명은 물론 Vm 내지 V1 의 내포공간들이 상기 메쉬의 연속한 m 내지 l 분해레벨에 단독으로 결합되어지는, 그리고 m 과 l들이 임의의 2개의 정수 값들인 경우에도 적용될 수 있다. 예를 들면, 본 명세서의 이하에서 설명되어지는 발명의 원리는 단지 내포 공간 V3 내지 V12 에 결합되어지는 메쉬의 분해 레벨 3 내지 12들 만을 위해 구현될 수 있다.
부록 2에서 제시되는 아핀(affine) 베이스는 그러한 베이스들의 특별한 케이스이며, 여기서는 고려되어지는 다항들이 제 1-차수(first-degree) 다항들이며, 즉 그 오포레이션(operation)이 위치되어지는 벡터 공간들이 전체적으로 연속적이고 조각적인 아핀 함수들로 제한된다. 다중 해결(multiresolution) 특성을 사용하기 위하여, 하나의 레벨로 부터 다른 것으로 연결된 베이스들에 대하여 아래와 같은 정제 수식에 의해서 조사가 이루어진다:
Figure 112003046663383-pct00023
상기 메쉬 계층을 통하여, 그 각각이 주어진 표현(representation)및 화상품질에 일치하는 내포 공간들의 시켄스를 얻는다. 공간들 Vn 및 Vn+1 들이 유용하지만, 여기서 공간의 베이스 Wn 를 찾게 되어
Figure 112003046663383-pct00024
이 얻어지며, 여기서
Figure 112003046663383-pct00025
는 2 벡터 공간들의 직교 합을 나타낸다. 따라서, 화상 I 의 근사값은 아래와 같이 기입하는 것이 가능하게 된다:
Figure 112003046663383-pct00026
여기서, 지수(index) p는 다른 분해 세트들을 나타내고, Np 는 Wp 의 차원을 나타낸다.
함수
Figure 112003046663383-pct00027
들은 공간 Wp 의 베이스를 구성하도록 선택된다. 또한, dim Wp = dim Vp+1 - dim Vp 이며, 그러므로 함수
Figure 112003046663383-pct00028
의 수는 분해 p에 대한 새로운 정점들의 수에 일치된다. Wp 의 베이스 함수들은 따라서 새로운 정점들에 전단사적으로(bijectively) 결합되어진다.
이러한 함수들은 예비-소파동들로 불리운다. 동일 레벨의 베이스 함수들이 상호 직교하는 특별한 경우에서, 그것들은 소파동으로 불리울 것이다.
실제적으로 표현하면, 상기 방법의 응용에서 맞닥치는 장애들은, 그 함수들이 기준 정점에 인접한 삼각형들의 가장 작은 가능한 수인 유한 숫자(finite number)들에 제한되는 지지(supports)들을 갖는 베이스(
Figure 112003046663383-pct00029
)들의 진열 어려움에 기 인한다. 따라서, 임의로 상기 초기 베이스를 직교화하는 것으로 제한되도록 하는 것은 불가능하다. 상기 방법이 적용될 수 있는 응용의 실질적 예들은 아래와 같은 부분으로 주어진다.
일단, 그 같은 화상의 근사 분해가 유용하다면, 얻어진 계수들은 고전적인 방식들을 따라서 엔코드될 수 있다. 이와 같은 경우, 2개의 연속적인 분해 레벨들 사이의 직교성은 미분 엔코딩을 무효화하는 것이 주목될 수 있다: 얻어진 계수들이 직접적으로 수량화되고, 산술 엔코더에 의해서 엔코드된다.
2. 새 계수들의 실제적 계산
설명을 간략화하기 위하여, 단지 2개의 연속 공간들 V0 와 V1 만을 갖는 경우에 대한 계산이 상세히 설명되어 있다. 따라서, 공간 W0 의 베이스에 대해서 조사가 이루어진다. 이러한 베이스의 각 함수
Figure 112003046663383-pct00030
가 공간 V1 에 속하고,
Figure 112003046663383-pct00031
이기 때문에, 계수 Wij 들이 존재하여
Figure 112003046663383-pct00032
이 된다는 것이 알려졌다.
따라서, 상기 알고리즘의 첫번째 단계는 행렬 W(0) = (wij) 을 결정하는 것을 포함한다.
실제로, 이러한 행렬은 공간 V1 의 베이스
Figure 112003046663383-pct00033
로 부터 공간 W0 의 예비 소파동들의 베이스까지의 통로의 행렬을 구성한다. 이러한 계산들은 화상의 내용과는 무관하며, 실제로 단지 메쉬의 형태 및 선택된 베이스의 타입에 의존하는 것임을 알수 있을 것이다. 따라서, 예비 계산이 전통적으로 사용된 메쉬들에 대하여 이루어질 수 있다. 이와 같은 예비 계산은 예비 소파동들의 베이스들이 구축되어진 방식에 의존하는 것이다. 보조-섹션 5.4와 섹션 6은 그와 같은 구조들의 실제적인 예들을 설명한다. 이와 유사하게, W(p)는 레벨 p와 p+1 에 대한 동일 행렬을 나타낸다.
이하에서는 통로의 선행 행렬에 근거하여 상기 계수들의 효과적인 계산에 대해서 설명하기로 한다. 주어진 화상에 대하여 p 레벨의 분해가 있다면:
Figure 112003046663383-pct00034
각각의 레벨에 대하여, 선형 시스템을 풀어줌으로써 식(7)의 계수들에 일치하는 계수(β(p)i)들을 계산하는 것이 가능하다.
실제로 우리는 아래의 것들을 얻는다:
Figure 112003046663383-pct00035
Figure 112003046663383-pct00036
원하는 계수들을 얻기 위하여, 선형 시스템을 풀어주는 것은 충분하다:
Figure 112003046663383-pct00037
, 그리고
Figure 112003046663383-pct00038
이다.
상기 벡터 X는 상기 새로운 베이스내의 화상의 근사 좌표들에 의해서 형성되어진다.
이와 같은 선형 시스템들의 분해의 효과적인 방법중에, 다른 방법들, 반복방법들을 포함하는 것들이 발탁될 수 있다. 본 발명은 희박 행렬(sparse matrics)의 특성들의 사용에 근거하는 분해 방법들에 차라리 지향되어 있다. 당연하게, 본 방법은 단지 해당 행렬들이 윤곽 행렬(profile matrics)들의 사용을 통하여 계산시간으로 수용할만 한 복잡성을 충분히 가능하게 할 만큼 희박하기 때문에 실제로 적용가능한 것이다.
이와 같은 정밀한 경우에, 이러한 특성은 충분하게 작은 수의 정점들에 사용되는 예비 소파동 함수들의 지지를 제한하는 것에 일치한다. 이 같은 선형 시스템들의 분해 방법들은 첫번째 가능성을 이룬다. 그러나, 계산시간을 가속화할 수 있고, 선형 시스템 전체의 뚜렷한 분해를 방지하는 다른 해결책이 있을 수 있다.
이하에서는 예비 소파동의 베이스들이 메쉬상에서 표시될 수 있는 방법을 나타내기 위한 몇가지 일례들을 사용하기로 한다.
3.1 베이스들의 결정
이하에서는, 아핀및 유한 라그랑지(Lagrange) 요소 함수들에 근거한 예비 소파동의 일례를 기재한다.
메쉬의 정점 i 주위의 k-디스크 Di,k (p) 는 레벨 p의 메쉬의 k 리지들 보다 적은 것으로 이루어진 통로에 의해서 연결되어질 수 있는 정점들 세트로서 규정된다(도 3참조). 여기서 정점 i 주위의 k-디스크로 제한되는 지지들로서 Wp 상의
Figure 112003046663383-pct00039
직교 투사인 예비-소파동의 베이스를 간단히 구축하는 것이며, 여기서 i는 레벨 p에서 존재하지 않았던 레벨 p+1의 절점(nodes)들의 세트를 나타낸다.
함수
Figure 112003046663383-pct00040
들은 레벨 p-1에서는 존재하지 않았던 레벨 p에 속하는 정점들에 해당하는 i의 값들에 대해 아래와 같이 표현되어진다:
Figure 112003046663383-pct00041
행렬 Q = qij 의 계수를 결정하기 위하여,
Figure 112003046663383-pct00042
의 직교성 조건들은 Vp 와 함께 기재되어야만 한다. 그러므로 아래의 수식이 기재된다:
Figure 112003046663383-pct00043
또는(i에 대한 새 정점 및 k의 옛(old) 정점):
Figure 112003046663383-pct00044
정제 수식을 통하여, Vp+1 의 함수로서 식 Vp 가 알려져 있다. 그로 부터, Q 는 동일 레벨 함수들의 스칼라(scalar) 곱에만 단지 의존하는 선형 시스템의 해(solution)인 것으로 추론된다. 이러한 스칼라 곱들은 삼각형[6]들의 측정에 따라서 계산되어질 수 있다.
Figure 112003046663383-pct00045
이제, 행렬 W의 계수들을 정제 식(4)를 사용하여 추론할 수 있는 위치에 있다.
이하의 보조-섹션은 계산및 화상 엔코딩을 위해 사용되어지는 공정들을 설명한다.
3.2 계산및 엔코딩
2개의 메쉬 레벨이 있는 화상을 엔코딩하려 한다고 가정한다. 알고리즘의 제 1단계에서, [7]에 기재된 방법이 아핀 유한 요소들
Figure 112003046663383-pct00046
에 근거하여 절점 값들의 최적화를 수행하도록 사용되며, 여기서 i는 레벨 1의 정점들의 세트를 나타낸다. 따라서 상기 수식(3)에 의해서 주어진 분해가 얻어진다.
수식(2)에 의해서 규정된 평균 제곱 오차를 최소화하는 것은 프로파일 방법[7]들에 의해서 풀어진 선형 시스템의 분해에 해당하는 것이 상기될 수 있다. 이러한 선형 시스템은 아래와 같이 기재될 수 있다:
Figure 112003046663383-pct00047
따라서, 그 화소값 I(x,y)들에 의해서 규정된 화상을 고려하기로 한다. E를 최소화하고자 하며, 여기서 Ω는 화상 픽셀 세트를 나타내고, Vp는 분해 P의 레벨을 갖는 정점들 세트를 나타낸다. 최소값이 Np식을 기재함으로써 얻어진다:
Figure 112003046663383-pct00048
주어진 정점 n에 대하여, S(n)이 함수
Figure 112003046663383-pct00049
의 지지로서 기재되고, 아래의 Np 식들을 얻는다:
Figure 112003046663383-pct00050
따라서, 선형 시스템 Ax = B 를 푸는 것이 필요하며, 여기서 행렬 A 와 벡터 B는, A와 B가 0으로 설정된 후, 아래와 같이 계산된다:
i = 1,....,NT (고려되는 메쉬에 대한 삼각형 수)에 대하여,
Ti 내의 (x,y)( 삼각형 Ti 의 화소들의 스캐닝)에 대하여,
j = 1 내지 3(Ti 의 정점들)에 대하여,
fj =
Figure 112003046663383-pct00051
의 계산, 여기서 m(j)는 Ti 의 jth 번째 정점의 인덱스이고,
(k = 1 내지 3, j = 1 내지 3)에 대하여, (비고. 만일(k,j)가 실행된다면, 그러면 (j,k)는 실행되지 않음)
Figure 112003046663383-pct00052
(j = 1 내지 3)에 대하여,
Figure 112003046663383-pct00053
j 를 위해 종료,
i를 위해 종료.
알고리즘 1: 절점 값들의 최적화
행렬 A는 양의 정부호 대칭이고, 많은 제로(0) 값들을 가지며, 상기 선형 시스템은 프로파일 방식에 의해서 풀어진다.
계수 α를 갖고서, 상기 예비 소파동에 근거하여 상기 계수들을 결정하기로 한다. 식(15)으로 부터, 선형 시스템은 P=p 에 대하여 형식(7)내의 화상 분해(decomposition)를 가능하게 하는 것으로 추론된다. 2개의 레벨들 사이의 통로를 설명하기로 한다: 즉 통로는, 기록
Figure 112003046663383-pct00054
으로 부터
기록
Figure 112003046663383-pct00055
까지 이다.
따라서, 각각의 단계에서, 선형 시스템 Cx = α를 풀게 되며, 여기서 행렬 C의 계수들은 합성계수들이다. 상기 행렬 C은 0으로 설정된다. 현재의 경우에, 행렬 C는 수식 (4) 과 (13)를 사용하여 결정될 것이다. 최초에는 수식(13)의 계수들 qij를 계산하기 위하여 사용된 알고리즘이 주어질 것이다. 이를 목적으로, 시스템 Dq = E 이 수식(14)으로 부터 추론된다.
설명의 간략화를 위하여, 상기 k-디스크는 전체 메쉬에 동일한 것으로 간주 된다. 상기 행렬들 D와 E들은 0에서 설정된다.
Figure 112003046663383-pct00056
Figure 112003046663383-pct00057
만일 동일 레벨의 모든 삼각형들이 동일 영역을 갖는 것으로 메쉬가 선택되어진다면: 아래의 관계식들을 얻게 되며, 이에 의해서 선행 계수[6]들이 쉽게 계산될 수 있다.
i ≠j에 대해 :
Figure 112003046663383-pct00058
i = j에 대해
Figure 112003046663383-pct00059
이다.
이러한 새로운 선형 시스템은 충분한 희박 행렬을 갖는 시스템이다. 이는 적합한 방법의 사용을 가능하게 한다. 그러나, 상기 행렬은 양의 대칭이 아니기 때문에, 프로파일 방식을 적용하기 위해서는 선형 시스템 Cx = α가 동등 시스템 tCCx = tCα에 의해서 대체된다. 따라서, 선형 시스템이 진정한 양의 정부호 대칭인 해당 행렬과 함께 얻어진다(실제로, C은 가역이다). 이 시스템은 그렇게 희박하지 않지만, 해당 행렬은 수용가능한 프로파일을 갖는다.
2 레벨 이상의 메쉬들이 유용한 경우, 상기 설명된 공정이 되풀이된다. 일단 이러한 분해가 모든 레벨의 해결, 즉 식(7)의 계수 α(0)i 와 β(p)i에 유용하다 면, 스칼라 수량화가 실행되고, 그리고 해당 수량값들이 정제된 삼각형들의 트리(tree) 내의 선택된 정점들로 전해진다.
디코딩 상(phase)들은 상기 계수들을 합성함으로써 실행되며, 이는 행렬 C에 직접 맞추어지고, 그 역은 아니다. 이는 계수들을 주게되어 간단한 보간(interpolation)을 통하여 화상의 전체 재구축을 얻을 수 있게 된다.
4. 제2 예
여기에서 다른 예가 본 발명 방법의 응용으로서 고정식 화상 엔코딩 체계로 주어진다. 부록 1에서 주어지는 리지-기준의 예비 소파동들이 여기에서 사용된다. 절점 값들의 최적화 위상은 제 1예와 공통이다.
이와 같은 경우, 상기 소파동 계수들은 선형 시스템 Cx = α의 해결을 통하여 계산된다. 행렬 C의 계수를 결정하기 위하여, 아래의 알고리즘이 적용되어진다:
i = 1,....,Np 에 대하여,
Cij = 1
메쉬내 1의 인접으로서의 j에 대하여,
Cij = 1
j 를 위하여 종료.
i 를 위하여 종료.
i = Np + 1,....,Np+1 에 대하여,
상기 일치하는 리지 i의 위치에 의해서 결정된 Cij = u
Cij ≠0는 이전의 보조 섹션내에서 결정된 경우에 대하여 계산됨
i 를 위하여 종료.
알고리즘 2: 통로 C의 행렬 채움
이러한 방법은 에지(edges)들 상에서 어떠한 구현도 수반하지 않는다는 것을 알 수 있을 것이다. 실제로, 예비 소파동의 구축 모드는 임의의 경계지워진 메쉬들을 위해 가능한 다른 구성들을 고려하여 왔다.
5. " 박스 스플라인"을 수반한 응용
5.1 방법 설명
이 방법은 다른 타입의 소파동들 또는 예비 소파동들의 구축에 적용될 수 있다. 그리고, 다중 해결(multi-resolution)가 구축되어진 내포 공간들로 부터 소파동들의 명시된 베이스들을 구축하는 것도 가능하다. 다중 차원의 소파동 베이스 구축을 위한 일반적인 방식이 [3]에서 개발되어 진다. 텐서 곱에 의해서 구축된 소파동에 비교하여 이 같은 소파동을 사용하는 값은 기본 함수들이 다중 차원의 프레임 워크에 보다 양호하게 적합하다는 사실에 있다.
문서[2]는 이러한 원리를 재차 채택하고, 컴팩트한 지지로서 예비 소파동의 베이스를 결정하는 것이 가능한 방법을 추가적으로 제공하여 실제에 직접 사용되어 지도록 한다. 여기에서 박스 스플라인형 소파동 작용에 이러한 분해를 적용하는 것이 제안되어진다.
5.2 알고리즘
예시적인 박스 스플라인 함수들이 [2]에서 주어진다. 기본 함수들의 명시된 계수들이 그 내에 주어진다. 따라서, 상기와 같이, 해당 소파동 계수들을 결정할 수 있도록 하는 통로 W의 행렬을 추론하는 것이 가능하다. 상기 알고리즘들은 아래와 같이 정확하게 기재되어진다: 예를 들면, 그 계수들은 [2]내에 설명되어진 예로 부터 직접적으로 추론가능하다.
부록 1
리지(a ridge)는 그것이 메쉬의 2개의 삼각형들을 구분한다면, 내부 리지로 불리워진다. 만일, 그렇지 않다면, 외부 리지로 불리워진다. 상기 리지는 그 2개의 정점들이 내부인 내부(a), 2개의 정점중의 하나가 외부인 내부(b), 그 2개의 정점들이 외부인 내부(c), 또는 다시 그 자체가 외부인 내부(d)들일 수 있다. 다른 경우들이 도 2에 도시되어 있다. 따라서, 이러한 종류의 표시 베이스는 사용되는 지지의 작은 크기로 인하여 다중 해결에 적합하고, 사용하기에 편리한 잇점들을 갖는다.
다른 케이스들에서 Quak's의 예비 소파동의 명시 표현을 상기할 수 있다. 첫번째 케이스를 고려해 보기로 한다. 새로운 정점이 고려되면, a1 과 a2는 2개의 정 점들이고, s 와 t는 메쉬 레벨 1에서 그들 각각의 연결의 예들이며: 아래의 수식으로 가능한 예비 소파동
Figure 112003046663383-pct00060
을 얻는다:
Figure 112003046663383-pct00061
여기서, bi 는 a1에 연결되고, u와는 다른 정점들을 나타내고, ci는 a2에 연결되고 u 와는 다른 정점들을 나타낸다. 주어진 정점 a 에 대해, 상기 함수
Figure 112003046663383-pct00062
는 여기에서 해당 메쉬에 대한 정점 a 에 결합되는 아핀 유한 요소를 나타낸다.
상기 계수들의 표현은 아래와 같이 주어지고:
Figure 112003046663383-pct00063
그리고:
Figure 112003046663383-pct00064
로 제공되어진다.
후자의 경우, 상기 리지의 2개의 단부들중의 하나가 메쉬의 외부 정점인 것으로 추정된다. 그 다음, s1은 a1에 인접하는 그리고 리지의 우측에 위치된 정점들 의 수를 나타낸다. 상기 해당 계수들은 각각 B1 i 와 B2 i 로 각각 기재된다. 그리고, 상기 계수의 아래의 표현을 갖게된다:
Figure 112003046663383-pct00065
세번째의 케이스에서, 동일한 기호법들이 사용되어 b1 에 인접하고, 고려되어지는 리지의 좌측에 위치된 정점들의 수를 나타내는 t1 과, b1 에 인접하고, 리지 의 우측에 위치된 정점들의 수를 나타내는 t2 를 구분하게 된다.
Figure 112003046663383-pct00066
마지막 케이스에서 최종적으로, 상기 리지가 외부인 곳을 얻는다:
Figure 112003046663383-pct00067
모든 경우에서, 가장 훌륭한 레벨의 아핀 함수의 베이스에 따르는 새로운 정점에 일치하는 예비 소파동의 표현을 얻을 수 있다.
부록 2
1. 표면들의 근사(approximation)
문제들을 간략화하기 위하여, 회색 레벨(휘도)로서 화상을 고려한다. 색 밴드(chrominance bands)에 대해서, 유사한 방법이 적용될 수 있다. 따라서, 상기 화상은 파라메트릭(parametrical) 표면의 디스크리타이즈(discretized) 표현으로서 간주되어질 수 있다. 여기서는 메쉬에 의하여 이러한 표면의 표현에 대해 보다 면밀히 살펴보고자 한다.
여기서, 유용한 메쉬는 화상의 전체 도메인을 덮는 임의의 불특정 메쉬로 추정된다. 정점에 집중되어지는 라그란지 베이스 함수 C0 들이 사용된다. 따라서, 아래의 식에서 화상 I의 근사
Figure 112003046663383-pct00068
가 얻어진다:
Figure 112003046663383-pct00069
여기서, N은 메쉬의 정점들 수를 나타내고,
Figure 112003046663383-pct00070
는 정점 i상의 값 1을 취하는 아핀 함수이며, 그리고 i 가 정점인 삼각형들 중의 하나의 점에서의 값은 상기 정점 i에 대한 이 점의 무게중심좌표들에 일치한다( 도 1참조). 따라서 이 함수는 삼각형 면들의 외측에서 제로(0)이며, 그들 정점들중의 하나는 정점 i이다. 계수들 αi 은 계산되어 평균 제곱 오차:
Figure 112003046663383-pct00071
를 상기 화상의 지지상에서 최소화 한다:
2. 메쉬들의 계층
본 방법은 내포 삼각형 메쉬들의 계층을 사용한다. 최초에는, 유용한 삼각형 메쉬들이 있다. 그 다음, 메쉬 분해규정이 채택된다. 예를 들면, 새로운 정점을 각각의 메쉬 리지의 중간에 삽입함으로써 아래의 메쉬들을 얻는 것이 가능하다.
이와 같은 경우, 각각의 삼각형은 4개의 새로운 삼각형들로 분할된다. 화상의 이러한 묘사는 유용한 화상의 연속적인 근사들, 그 각각은 주어진 해상도에 일치하는 근사들을 얻도록 사용된다. 다음, 이러한 계층은 재구축의 평균 제곱 오차가 임의의 한계값을 초과하는 삼각형들만을 세분함으로써 얻어진다. 이러한 한계값의 수치는 요구되는 재구축 품질을 부분적으로 결정한다. 따라서, 상기 계층의 분해를 위한 트리(tree)가 얻어진다. 이러한 트리는 엔코더로 전송되어야만 하고, 디코더가 어느 것이 정제된 삼각형들인지를 결정할 수 있도록 한다.
3. 계수들의 엔코딩
모든 케이스에서, 값들은 기본 레벨을 위하여 전송된다(계층의 가장 거친 레벨). 실제로, 이러한 값들은 화상의 최소 재구축을 위하여 필요한 것이다. 상기 레벨 0에서 아래와 같이 얻을 수 있다:
Figure 112003046663383-pct00072
상기 레벨 1에서 아래와 같이 기재할 수 있다:
Figure 112003046663383-pct00073
여기서 No의 제1 정점들은 레벨 0 메쉬내에 이미 존재하는 레벨 1 메쉬의 정점들에 일치하고, 제 2항(term)의
Figure 112003046663383-pct00074
정점들은 레벨 0에서 존재하지 않는 레벨 1 정점들에 일치한다. 임의의 불특정 레벨 p에서, 따라서 아래의 유용한 표현이 가능한 것이다:
Figure 112003046663383-pct00075
상기 합계의 제 1항은 분해 P의 레벨의 Np 정점들에 일치하고, 상기 합계의 제 2항은 레벨 p+1로 삽입되어지는 새로운 정점들에 일치한다. 상기 Np 의 제 1정점들에 대해서는 아래의 것을 얻는다:
Figure 112003046663383-pct00076
여기서, Vi (p) 는 메쉬 p에서 정점 i 에 인접하는 정점들의 세트를 나타낸다.
따라서, 상기 화상의 표현은 아래의 미분형으로 표현되어질 수 있다.
Figure 112003046663383-pct00077

4. 관찰(observation)
따라서 얻어진 계수들을 균질화하기 위하여, 제 1레벨 계수들의 평균값이 이러한 계수들로 부터 공제되어진다. 이러한 표현은 화상에서의 근사 화소들 사이의 통계학적 상관관계에 관련된 부분적인 여분들의 이용을 가능하게 한다. 수리학적 엔코딩이 뒤따르는 이러한 계수들의 수량화에 의해서 압축이 적절하게 이루어진다. 또한, 적합한 정제 단계에서 선택되어진 임의의 삼각형들에 속하지 않는 계수들은 엔코드되지 않으며; 실제로, 삼각형을 정제하지 않는 것은 이러한 삼각형내에서 보다 미세한 해상도에 일치하는 정점들의 계수들이 보간 값들이라는 것을 고려하는 것이다. 이는 계수
Figure 112003046663383-pct00078
에 0을 할당하는 것에 대등한 것이다.
5. 방법의 값
따라서, 본 방법은 내포된 정규 메쉬들의 계층 사용을 통하여 고정 화상들의 엔코딩에 필요한 간단한 체계를 얻는 것이 가능한 것이다. 이는 효과적인 압축률을 얻을 수 있다. 또한, 이와 같은 엔코딩 체계는 계수들의 스칼라 전송에 잘 맞는 것이다.
3. 부록
참조들
[1] Michael Floater and Ewald Quak, 임의의 삼각분할상의 조각적 선형 예비소파동, Numerische Mathematik Springer-Verlag 1999, 82, pp. 221-252.
[2] Sherman D. Riemenschneider and Zuowei Shen, 저 차원에서의 소파동들 및 예비 소파동들, Alberta 대학의 분석및 근사이론 세미나.
[3] Yves Meyer, Ondelettes, Hermann, 1990
[4] Amir Said and William Pearman. 계층 트리내에서의 세트 구획화에 기초한 새롭고, 빠르며, 효율적인 화상 코덱. IEEE Transactions on Circuit and System for Video Technology, 6(3) : 243-250, 6월 1996
[5] David Taubman. EBCOT를 구비한 고성능 스케일가능한 화상압축 1999
[6] P.-A. Raviart and J.M. Thomas. Introduction a l'Analyse Numerique des Equations aux Derivees Partielles. Masson, 1992
[7] Gwenaelle Marquant. Representation par maillage adaptatif deformable pour la manipulation et la communication d'objects video. these, decembre 2000 Universite de Rennes 1.
본 발명은 내포 메쉬(nested meshes)들의 계층을 구현하는 계층 엔코딩 기술분야에 관한 것이다.

Claims (31)

  1. 적어도 2개의 내포 공간들을 형성하는 계층적 메쉬를 구현하고, 그 각각은 상기 메쉬의 분해 레벨에 해당하는 적어도 하나의 소스 화상을 엔코딩하는 방법에 있어서,
    적어도 하나의 분해레벨 n 로서(제 1분해 레벨은 제외), 화상을 나타내는 수학적 공간 Vn 이 결합되어
    Figure 112003046663383-pct00079
    이 되며,
    여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    그리고, 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(piecewise affine functions)
    Figure 112003046663383-pct00080
    의 베이스와, 둘째 2개의 직교 베이스들: 즉,
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112003046663383-pct00081
    들의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112003046663383-pct00082
    들의 베이스;들의 조합에 의해 형성된 베이스에 결합되며,
    상기 분해레벨 n(제 1 분해레벨을 제외)에서, 예비 소파동 함수들의 베이스내에서 표현되어지는 화상계수들만이 단지 이동되고,
    상기 예비 소파동 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대한 이미 전송된 정보의 최적화를 가능하게 하도록 선택되어
    상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복구 품질을 갖추어 생산하는 것을 특징으로 하는 엔코딩방법.
  2. 제1항에 있어서, 상기 분해레벨들 모두에서(상기 제 1분해 레벨을 제외), 선행한 분해 레벨 n-1에 일치하는 공간에 직교하는 공간내에서 규정된 예비 소파동 함수들의 상기 베이스내에 표현된 화상계수들만이 단지 이동되어짐을 특징으로 하는 엔코딩방법.
  3. 제1항 또는 제2항에 있어서, 상기 예비 소파동함수들은 상호 직교하는 소파동 함수들임을 특징으로 하는 엔코딩방법.
  4. 제1항 또는 제2항에 있어서, 상기 각각의 예비-소파동 함수들은 상기 함수에 대한 기준 정점의 인접에 위치된 상기 메쉬의 사전에 규정된 수의 정점들로 제한되는 좁은 지지(support)를 갖는 것임을 특징으로 하는 엔코딩방법.
  5. 제1항 또는 제2항에 있어서, 상기 예비 소파동함수들은 1차원인 것을 특징으로 하는 엔코딩방법.
  6. 제5항에 있어서, 상기 각각의 예비 소파동 함수들은 상기 메쉬내에서, 상기 함수가 할당되어질 상기 메쉬의 새로운 정점을 포함하는 적어도 하나의 리지(ridge) 위치를 고려하여 유익하게 결정되어짐을 특징으로 하는 엔코딩방법.
  7. 제1항 또는 제2항에 있어서, 상기 베이스
    Figure 112008027198458-pct00083
    는 아래의 수식에 의해서 얻어지고:
    Figure 112008027198458-pct00084
    여기서, Vi (p) 는 레벨 P 메쉬에서의 정점 j에 인접하는 정점들의 세트임을 특징으로 하는 엔코딩방법.
  8. 제1항 또는 제2항에 있어서, 상기 예비 소파동(pre-wavelet) 함수들은 다차원적임을 특징으로 하는 엔코딩방법.
  9. 제8항에 있어서, 상기 각각의 예비 소파동 함수들은 "박스 스플라인(box spline)" 타입의 함수들임을 특징으로 하는 엔코딩방법.
  10. 제1항 또는 제2항에 있어서, 메쉬 레벨 n에서 화상 계수들을 결정하는 것은 선형 시스템의 해결에 의존하고:
    Figure 112008027198458-pct00085
    그리고,
    Figure 112008027198458-pct00086
    이며,
    여기서, X는 상기 소스 화상 α(p) 의 근사 좌표의 벡터이며, W(p-1) 은 공간 Vp-1의 베이스
    Figure 112008027198458-pct00087
    로 부터 상기 공간 Wp-1 의 예비 소파동 함수들의 베이스까지의 통로 행렬(matrix)이며, V(p-1) 은 공간 Vp-1의 행렬임을 특징으로 하는 엔코딩방법.
  11. 제10항에 있어서, 상기 선형 시스템의 해결은 "희박 행렬" 또는 "프로파일 행렬" 타입의 알고리즘을 구현하는 것임을 특징으로 하는 엔코딩방법.
  12. 제1항 또는 제2항에 있어서,
    - 사전에 결정된 화상 구조에 대한 기준 함수
    Figure 112008027198458-pct00088
    와
    Figure 112008027198458-pct00089
    들의 베이스를 결정하는 예비 단계;
    - 상기 사전에 결정된 화상 구조를 갖는 임의의 화상에 대한 기준 함수
    Figure 112008027198458-pct00090
    와
    Figure 112008027198458-pct00091
    들의 상기 베이스를 시스템적으로 사용하는 화상 엔코딩 단계;들을 포함하는 것을 특징으로 하는 엔코딩방법.
  13. 제12항에 있어서, 상기 예비 단계도중에, 적어도 상기 기준 함수
    Figure 112003046663383-pct00092
    와
    Figure 112003046663383-pct00093
    들의 베이스들의 적어도 2세트들이 결정되고, 그 각각은 특별하게 사전에 결정된 화상 구조에 해당하는 것임을 특징으로 하는 엔코딩방법.
  14. 적어도 2개의 내포 공간들을 형성하고, 그 각각은 메쉬의 분해 레벨 n 에 일치하는 계층적 메쉬를 구현하는 소스 화상들의 계층적 엔코딩에 대한 함수들의 베이스 구축을 위한 방법에 있어서,
    적어도 하나의 사전에 결정된 화상 구조들에 대하여, 적어도 하나의 분해 레벨 n(제 1분해 레벨은 제외)은 화상을 나타내는 연관된 수학적 공간 Vn을 가져서
    Figure 112003046663383-pct00094
    이 되도록 하고, 여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    그리고, 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(affine functions)
    Figure 112003046663383-pct00095
    의 베이스와, 둘째 2개의 직교 베이스들:
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112003046663383-pct00096
    의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112003046663383-pct00097
    의 베이스;들의 조합에 의해 형성된 베이스에 결합되며,
    여기서 상기 화상 구조를 갖는 임의의 화상들에 대해 화상계수들을 나타내는 것이 가능함으로서, 상기 분해 레벨 n을 위하여 최적화된 복구 품질을 갖고서 상기 소스 화상을 표현하는 재구축된 화상의 생산을 가능하게 하는 것임을 특징으로 하는 베이스들의 구축방법.
  15. 적어도 2개의 내포 공간들을 형성하고, 그 각각은 메쉬의 분해 레벨 n 에 일치하는 계층적 메쉬를 구현하는 소스 화상들의 계층적 엔코딩에 대한 함수들의 베이스 구축을 위한 장치에 있어서,
    적어도 하나의 사전에 결정된 화상 구조들에 대하여, 적어도 하나의 분해 레벨 n(제 1분해 레벨은 제외)은 화상을 나타내는 연관된 수학적 공간 Vn을 가져서
    Figure 112008027198458-pct00122
    이 되도록 하고, 여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    그리고, 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(affine functions)
    Figure 112008027198458-pct00123
    의 베이스와, 둘째 2개의 직교 베이스들:
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112008027198458-pct00124
    의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112008027198458-pct00125
    의 베이스;들의 조합에 의해 형성된 베이스에 결합되며,
    여기서 상기 화상 구조를 갖는 임의의 화상들에 대해 화상계수들을 나타내는 것이 가능함으로서, 상기 분해 레벨 n을 위하여 최적화된 복구 품질을 갖고서 상기 소스 화상을 표현하는 재구축된 화상의 생산을 가능하게 하는 것임을 특징으로 하는 베이스들의 구축장치.
  16. 적어도 2개의 내포 공간들을 형성하는 계층적 메쉬를 구현하고, 그 각각은 상기 메쉬의 분해 레벨에 해당하는 적어도 하나의 소스 화상을 엔코딩하는 장치에 있어서,
    적어도 하나의 분해레벨 n 로서(제 1분해 레벨은 제외), 화상을 나타내는 수학적 공간 Vn 이 결합되어
    Figure 112003046663383-pct00098
    이 되며,
    여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    그리고, 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(piecewise affine functions)
    Figure 112003046663383-pct00099
    의 베이스와, 둘째 2개의 직교 베이스들: 즉,
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112003046663383-pct00100
    들의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112003046663383-pct00101
    들의 베이스;들의 조합에 의해 형성된 베이스에 결합되며,
    상기 분해레벨 n(제 1 분해레벨을 제외)에서, 예비 소파동 함수들의 베이스내에서 표현되어지는 화상계수들만이 단지 결합되고,
    상기 예비 소파동 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대해 이미 전송된 정보의 최적화를 가능하게 하도록 선택되어
    상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복구 품질을 갖추어 생산하는 것을 특징으로 하는 엔코딩장치.
  17. 제16항에 있어서, 상기 모든 분해레벨에서(상기 제1 분해레벨은 제외), 상기 예비 소파동함수들의 베이스로 표현된 화상계수들만이 단지 이송되어짐을 특징으로 하는 엔코딩장치.
  18. 삭제
  19. 적어도 2개의 내포 공간들을 형성하고, 그 각각은 메쉬의 분해 레벨에 해당하는 계층적 메쉬의 구현에 의하여 얻어진 화상 계수들 형태로 엔코딩되고,
    적어도 하나의 분해레벨 n 로서(제 1분해 레벨은 제외), 화상을 나타내는 수 학적 공간 Vn 을 결합하여
    Figure 112003046663383-pct00102
    이 되도록 하는 엔코딩에 따르며,
    여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    상기 엔코딩은 또한 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(piecewise affine functions)
    Figure 112003046663383-pct00103
    들의 베이스와, 둘째 2개의 직교 베이스들: 즉,
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112003046663383-pct00104
    들의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112003046663383-pct00105
    들의 베이스;들의 조합에 의해 형성된 베이스에 결합시키며,
    그리고, 상기 엔코딩은 상기 분해레벨 n(제 1 분해레벨을 제외)으로서, 상기 예비 소파동 함수들의 베이스내에서 표현되어지는 화상계수들만을 단지 결합시키고,
    상기 예비 소파동 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대한 이미 전송된 정보의 최적화를 가능하게 하도록 선택되어
    상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복구 품질을 갖추어 생산하도록 된 화상들의 디코딩방법.
  20. 제19항에 있어서, 상기 모든 분해레벨(상기 제1 분해레벨은 제외)로서, 상기 예비 소파동함수들의 베이스로 표현된 화상계수들만이 단지 결합되어짐을 특징으로 하는 디코딩방법.
  21. 제19항 또는 제20항에 있어서,
    - 적어도 하나의 사전에 결정된 화상 구조에 대한 기준 함수들의 베이스의 수용 또는 저장을 위한 예비 단계;
    - 디코드되어야 할 화상의 화상 구조에 일치하는 기준 함수들의 베이스를 사용하는 화상 디코딩 단계;들을 포함하는 것을 특징으로 하는 디코딩방법.
  22. 제19항 또는 제20항에 따른 디코딩 방법을 구현하기 위한 프로그램 지시들을 포함하는 것을 특징으로 하는 화상 디코딩을 위한 컴퓨터 프로그램을 저장하는 저장 매체.
  23. 적어도 2개의 내포 공간들을 형성하고, 그 각각은 메쉬의 분해 레벨에 해당하는 계층적 메쉬의 구현에 의하여 얻어진 화상 계수들 형태로 엔코딩되고,
    적어도 하나의 분해레벨 n 로서(제 1분해 레벨은 제외), 화상을 나타내는 수학적 공간 Vn 을 결합하여
    Figure 112003046663383-pct00106
    이 되는 엔코딩에 따르며,
    여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    또한 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(piecewise affine functions)
    Figure 112003046663383-pct00107
    들의 베이스와, 둘째 2개의 직교 베이스들: 즉,
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112003046663383-pct00108
    들의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112003046663383-pct00109
    들의 베이스;들의 조합에 의해 형성된 베이스들이 결합되며,
    그리고, 상기 엔코딩은 상기 분해레벨 n(제 1 분해레벨을 제외)으로서, 상기 예비 소파동 함수들의 베이스내에서 표현되어지는 화상계수들만을 단지 결합시키고,
    상기 예비 소파동 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대한 이미 전송된 정보의 최적화를 가능하게 하도록 선택되어
    상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복구 품질을 갖추어 생산하도록 된 화상들의 디코딩장치.
  24. 제23항에 있어서, 상기 모든 분해레벨(상기 제1 분해레벨은 제외)로서, 선행한 분해 레벨 n-1에 일치하는 공간에 직교하는 공간내에서 규정된 함수들의 베이스 내에 표현된 화상계수들만이 단지 이동되어짐을 특징으로 하는 디코딩장치.
  25. 제1항 또는 제2항에 따른 엔코딩 방법을 구현하기 위한 프로그램 지시들을 포함하는 것을 특징으로 하는 화상 엔코딩을 위한 컴퓨터 프로그램을 저장하는 저장 매체.
  26. 적어도 하나의 사전에 결정된 화상 구조를 위한 기준 함수들의 적어도 하나의 베이스 세트를 나타내는 제1 데이타와, 상기 기준 함수들의 베이스 세트들 중의 하나에 의해서 엔코드된 적어도 2개의 화상들을 나타내는 제 2 데이타를 포함하는 것을 특징으로 하는 컴퓨터로 실행가능한 지시들의 세트를 저장하는 컴퓨터로 판독 가능한 저장 매체.
  27. 제26항에 있어서, 상기 제 1 데이타는 별개의 화상 구조들에 일치하는 적어도 2세트의 기준함수들의 베이스를 포함하고, 상기 제 2 데이타의 각각의 화상은 상기 기준 함수들의 베이스 세트들 중의 하나의 선택을 가능하게 하는 하나의 정보를 포함하는 것을 특징으로 하는 컴퓨터로 실행가능한 지시들의 세트를 저장하는 컴퓨터로 판독 가능한 저장 매체.
  28. 제26항 또는 제27항에 있어서, 상기 제 1 데이타 및 제 2 데이타 중 적어도 하나는 점증적인 화상 재구축을 가능하게 하기 위하여, 또는 재구축 품질의 사전에 결정된 레벨을 갖도록 조직화되는 것을 특징으로 하는 컴퓨터로 실행가능한 지시들의 세트를 저장하는 컴퓨터로 판독 가능한 저장 매체.
  29. 제26항 또는 제27항에 있어서, 상기 화상들은 적어도 2개의 내포 공간들을 형성하고, 그 각각은 메쉬의 분해 레벨에 해당하는 계층적 메쉬를 구현하는 방법에 따라서 엔코딩되고,
    상기 기준 함수들은 상기 화상 계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대한 이미 전송된 정보의 최적화를 가능하게 하도록 선택되며, 상기 화상들의 엔코딩은 모든 분해레벨 n 로서(제 1분해 레벨은 제외), 화상을 나타내는 수학적 공간 Vn 을 결합하여
    Figure 112008027198458-pct00110
    이 되며,
    여기서:
    - Vn-1 은 분해 레벨 n-1에 결합된 공간이고;
    - Wn-1 은 Vn-1 에 직교하는 공간이며,
    또한 상기 공간 Vn 으로서, 첫째 조각적 아핀 함수(piecewise affine functions)
    Figure 112008027198458-pct00111
    들의 베이스와, 둘째 2개의 직교 베이스들: 즉,
    - 상기 공간 Vn-1 의 조각적 아핀 함수(affine functions)
    Figure 112008027198458-pct00112
    들의 베이스;
    - 상기 공간 Wn-1 의 예비 소파동 함수
    Figure 112008027198458-pct00113
    들의 베이스;들의 조합에 의해 형성된 베이스들이 결합되며,
    그리고, 상기 엔코딩은 상기 분해레벨 n(제 1 분해레벨을 제외)으로서, 상기 예비 소파동 함수들의 베이스내에서 표현되어지는 화상계수들만을 단지 결합시키고,
    상기 예비 소파동 함수들은 상기 화상계수들이 상기 분해 레벨 n 에 대해서, 선행 분해 레벨 n-1에 대한 이미 전송된 정보의 최적화를 가능하게 하도록 선택되어
    상기 소스 화상을 나타내는 재구축 화상을, 상기 분해 레벨 n에 대해 최적화된 복구 품질을 갖추어 생산하도록 된 것임을 특징으로 하는 컴퓨터로 실행가능한 지시들의 세트를 저장하는 컴퓨터로 판독 가능한 저장 매체.
  30. 제1항 또는 제2항에 있어서, 상기 화상은 고정된 화상이거나, 이동 화상들의 흐름의 내부 화상인 것을 특징으로 하는 엔코딩방법.
  31. 제19항 또는 제20항에 있어서, 상기 화상은 고정된 화상이거나, 이동 화상들의 흐름의 내부 화상인 것을 특징으로 하는 디코딩방법.
KR1020037016019A 2001-06-06 2002-06-06 내포 메쉬들을 사용하는 화상 엔코딩 및 디코딩용 방법 및 장치, 및 컴퓨터로 판독 가능한 저장 매체 KR100856289B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR01/07406 2001-06-06
FR0107406A FR2825855A1 (fr) 2001-06-06 2001-06-06 Procedes et dispositifs de codage et de decodage d'images mettant en oeuvre des maillages emboites, programme, signal et application correspondantes
PCT/FR2002/001937 WO2002100111A1 (fr) 2001-06-06 2002-06-06 Procedes et dispositifs de codage et de decodage d'images mettant en oeuvre des maillages emboites, programme, signal et applications correspondantes

Publications (2)

Publication Number Publication Date
KR20040019012A KR20040019012A (ko) 2004-03-04
KR100856289B1 true KR100856289B1 (ko) 2008-09-03

Family

ID=8864023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037016019A KR100856289B1 (ko) 2001-06-06 2002-06-06 내포 메쉬들을 사용하는 화상 엔코딩 및 디코딩용 방법 및 장치, 및 컴퓨터로 판독 가능한 저장 매체

Country Status (10)

Country Link
US (1) US7346219B2 (ko)
EP (1) EP1393573A1 (ko)
JP (1) JP4350504B2 (ko)
KR (1) KR100856289B1 (ko)
CN (1) CN100367799C (ko)
BR (1) BR0210204A (ko)
CA (1) CA2449117A1 (ko)
FR (1) FR2825855A1 (ko)
MX (1) MXPA03011235A (ko)
WO (1) WO2002100111A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272590A (ja) * 2003-03-07 2004-09-30 Sony Corp データ符号化装置及びデータ符号化方法、並びにコンピュータ・プログラム
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
JP2006033507A (ja) * 2004-07-16 2006-02-02 Sony Corp 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体
US20080175513A1 (en) * 2005-04-19 2008-07-24 Ming-Jun Lai Image Edge Detection Systems and Methods
US8339395B2 (en) * 2008-07-08 2012-12-25 Lockheed Martin Corporation Method and apparatus for model compression
JP5112229B2 (ja) * 2008-09-05 2013-01-09 株式会社エヌ・ティ・ティ・ドコモ 配信装置、端末装置及びシステム並びに方法
JP5080406B2 (ja) * 2008-09-05 2012-11-21 株式会社エヌ・ティ・ティ・ドコモ 配信装置、端末装置及びシステム並びに方法
US8160342B2 (en) * 2009-02-27 2012-04-17 General Electric Company System and method for processing data signals
WO2014062934A1 (en) * 2012-10-19 2014-04-24 Visa International Service Association Digital broadcast methods using secure meshes and wavelets
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
CN104243958B (zh) * 2014-09-29 2016-10-05 联想(北京)有限公司 三维网格数据的编码、解码方法以及编码、解码装置
CN111194550B (zh) * 2017-05-06 2021-06-08 北京达佳互联信息技术有限公司 处理3d视频内容
JP2024058008A (ja) * 2022-10-13 2024-04-25 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2024058007A (ja) * 2022-10-13 2024-04-25 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144773A (en) 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
JP3184785B2 (ja) * 1997-07-23 2001-07-09 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 三次元形状モデル送信方法及び装置、三次元形状モデル圧縮方法及び装置、三次元形状モデル表示方法及び装置
FR2781908B1 (fr) * 1998-08-03 2000-09-29 France Telecom Procede de codage d'un maillage a nombre reduit de facettes, procede de reconstruction et applications correspondants
US6313837B1 (en) * 1998-09-29 2001-11-06 Schlumberger Technology Corporation Modeling at more than one level of resolution
JP2003518882A (ja) * 1999-12-28 2003-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｓｎｒスケーラブルビデオ符号化方法及び対応する復号化方法
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
JP3530125B2 (ja) * 2000-09-27 2004-05-24 彰 川中 構造化ポリゴン・メッシュ・データの形成方法および装置、記憶媒体
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144773A (en) 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression

Also Published As

Publication number Publication date
KR20040019012A (ko) 2004-03-04
BR0210204A (pt) 2004-04-27
WO2002100111A1 (fr) 2002-12-12
CA2449117A1 (en) 2002-12-12
US7346219B2 (en) 2008-03-18
CN1524383A (zh) 2004-08-25
US20040218824A1 (en) 2004-11-04
JP2004537887A (ja) 2004-12-16
MXPA03011235A (es) 2004-03-24
CN100367799C (zh) 2008-02-06
FR2825855A1 (fr) 2002-12-13
JP4350504B2 (ja) 2009-10-21
EP1393573A1 (fr) 2004-03-03

Similar Documents

Publication Publication Date Title
US6009435A (en) Progressive compression of clustered multi-resolution polygonal models
KR100856289B1 (ko) 내포 메쉬들을 사용하는 화상 엔코딩 및 디코딩용 방법 및 장치, 및 컴퓨터로 판독 가능한 저장 매체
US7230616B2 (en) Bi-level iso-surface compression
Hoppe Efficient implementation of progressive meshes
Briceño Pulido Geometry videos: a new representation for 3D animations
US5963209A (en) Encoding and progressive transmission of progressive meshes
JP2001506828A (ja) 二次元メッシュジオメトリおよび動きベクトル圧縮
KR987001187A (ko) 세그먼트 화상의 코딩 방법과 시스템, 및 디코딩 방법과 시스템(Segmented Picture Coding Method and System, and Corresponding Decoding Method and System)
Magnor et al. Hierarchical coding of light fields with disparity maps
JP2006521048A (ja) モーション／テクスチャ分解およびウェーブレット符号化によって画像シーケンスを符号化および復号化するための方法および装置
JP3592168B2 (ja) 画像データの符号化復号化方法及び装置
Chen et al. Point cloud compression with sibling context and surface priors
JP7383171B2 (ja) 点群コーディングのための方法および装置
Chou et al. Dynamic polygon clouds: Representation and compression for VR/AR
Peyrot et al. HexaShrink, an exact scalable framework for hexahedral meshes with attributes and discontinuities: multiresolution rendering and storage of geoscience models
Chai et al. A depth map representation for real-time transmission and view-based rendering of a dynamic 3D scene
Bahce et al. Compression of geometry videos by 3D-SPECK wavelet coder
Decenciere et al. Applications of kriging to image sequence coding
KR100400608B1 (ko) 골격화를 이용한 3차원 체적소의 부호화 방법
Lewiner et al. Simplicial Isosurface Compression.
Andersson et al. Prediction from off-grid samples using continuous normalized convolution
Grabner Compression of arbitrary triangle meshes with attributes for selective refinement
WO2024083501A1 (en) Spectral compression for dynamic mesh encoding
Kwon et al. Progressive encoding of binary voxel models using pyramidal decomposition
Ahmed et al. FRACTAL COMPRESSION TECHNIQUE FOR COLOR IMAGES USING VARIABLE BLOCK.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110802

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee