KR100309664B1 - 다층 정점들에 대한 순서 정보를 코딩하는 방법 - Google Patents

다층 정점들에 대한 순서 정보를 코딩하는 방법 Download PDF

Info

Publication number
KR100309664B1
KR100309664B1 KR1019997008679A KR19997008679A KR100309664B1 KR 100309664 B1 KR100309664 B1 KR 100309664B1 KR 1019997008679 A KR1019997008679 A KR 1019997008679A KR 19997008679 A KR19997008679 A KR 19997008679A KR 100309664 B1 KR100309664 B1 KR 100309664B1
Authority
KR
South Korea
Prior art keywords
vertex
layer
vertices
layers
recording
Prior art date
Application number
KR1019997008679A
Other languages
English (en)
Other versions
KR20000076444A (ko
Inventor
리차드 정기앙 퀴안
무하메드 이브라힘 세잔
Original Assignee
마찌다 가쯔히꼬
샤프 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/825,646 external-priority patent/US5838830A/en
Application filed by 마찌다 가쯔히꼬, 샤프 가부시키가이샤 filed Critical 마찌다 가쯔히꼬
Publication of KR20000076444A publication Critical patent/KR20000076444A/ko
Application granted granted Critical
Publication of KR100309664B1 publication Critical patent/KR100309664B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

다층, 정점에 의한 형태 표현 및 비트 스트림 스케일러블 형태(multiple layer, vertex-based shape representation and bit stream scalable shape)를 코딩하기 위한 방법은 계층 스킴(hieratchical scheme)에서의 정점들을 선택하는 단계; 정점들의 다층을 정의하는 단계; 최대로 세이런트한 층(most salient layer)에서 최소로 세이런트한 층(least salient layer)의 순서로 정점들의 M 층을 배열하는 단계; 각각의 층 내의 영상 윤곽선(image contour)을 따라서 자연적 순서로 정점들을 배치하는 단계; 각각의 층으로부터 정점들을 별도 저장하는 단계; 및 정점들의 각 층에 각각의 정점에 대한 정점 순서 정보(vertex order information)를 기록하는 단계를 포함한다. 정확한 순서 정보가 형태 정보의 정확한 복구를 위해 코딩되는 다층 정점 표현 및 코딩 방법에 대한 네가지 변형예가 설명되어 있다.

Description

다층 정점들에 대한 순서 정보를 코딩하는 방법{METHODS OF CODING THE ORDER INFORMATION FOR MULTIPLE-LAYER VERTICES}
컨텐트에 의한 코딩 및 처리(content based coding and manipulation)는 신규한 MPEG 표준에 의해 지지되는 코어 기능중의 하나이다. 이러한 기능은 임의 형태의 화상 객체의 표현 및 코딩을 필요로 하며, 여기서 코딩 문제는 텍스처(texture) 및 형태(shape)(윤곽선(contour)) 코딩으로 분리될 수 있다.
다층 형태 표현은 비트 스트림 스케일러블 형태 코딩(bit stream scaleable shape coding)을 용이하게 하기 때문에 객체-지향 화상 및 비디오 코딩시 중요한데, 여기서 서로 다른 계층(hierarchy layers)에 속하는 코딩된 비트 스트림은 분할된다. 만약 채널이 상당히 대역-제한되면, 기저층(base layer)에 속하는 비트 스트림만이 전송될 수 있다. 채널 대역폭이 충분할 때 부가 계층이 전송된다. 그러므로 비트 스트림 스케일러빌러티는 인터넷과 같은 비보증 대역폭을 갖는 채널에오히려 중요하다.
전체 형태 정보가 전송되거나 저장되는 경우에, 비트 스트림 스케일러빌러티에 의해 디코더는 (i) 계산 및 디스플레이 요건을 충족시키기 위해 임의 수의 층을 디코드하고, 혹은 (ii) 예를 들어 화상 및 비디오 데이타베이스의 저속-지연, 고속 브라우징(fast browsing)을 필요로 하는 응용에서, 기저층만을 사용하여 고속 디코드를 수행할 수 있다. 디코더는 점진적으로 디코드할 수 있고 형태 정보를 복구할 수 있다.
비트 스트림 스케일러빌러티는 형태 복구가 임의의 선택된 층 및 이전의 층에 속하는 정점들만을 사용하여 수행될 수 있도록 서로 다른 계층에 속하는 정점들이 별도 저장될 것을 요구한다. 다층, 정점에 의한 형태 표현과 관련된 문제중 하나는, 모든 정점이 단일 리스트에서 자연적 순서로 사용될 수 없을 때 모호성없이 형태가 복구될 수 있도록 정점들의 순서 정보를 유지하는 문제이다.
<발명의 요약>
다층, 정점에 의한 형태 표현 및 비트 스트림 스케일러블 형태(multiple layer, vertex-based shape representation and bit stream scalable shape)를 코딩하기 위한 방법은 계층 스킴(hieratchical scheme)으로 정점들을 선택하는 단계; 정점들의 다층을 정의하는 단계; 최대로 세이런트한 층(most salient layer)에서 최소로 세이런트한 층(least salient layer)의 순서로 정점들의 M 층을 배열하는 단계; 각각의 층 내의 영상 윤곽선(image contour)을 따라서 자연적 순서로 정점들을 배치하는 단계; 각각의 층으로부터 정점들을 별도 저장하는 단계; 및 정점들의각 층에 각각의 정점에 대한 정점 순서 정보(vertex order information)를 기록하는 단계를 포함한다. 본 발명의 주안점은 객체 형태 표현 및 코딩에 있다. 정확한 순서 정보가 형태 정보의 정확한 복구를 위해 코딩되는 다층 정점 표현 및 코딩 방법에 대한 네가지 변형예가 설명되어 있다.
본 발명의 목적은 디코딩시 임의의 순서 모호성을 제거하는 것이다.
본 발명의 다른 목적은 정점들의 계층 세트에 기초한 다층 형태 표현을 위한 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 순서 정보를 저장하기 위한 최소 비트 소비를 이용하는 것이다.
본 발명의 다른 목적은 스케일러블 비트 스트림을 제공하는 것이다.
본 발명의 다른 목적은 순서 정보를 복원하기 위해 낮은 계산 비용으로 용이하게 하는 것이다.
본 발명의 상기 목적 및 다른 목적 및 장점이 다음 도면과 관련된 설명으로 보다 충분히 명백해진다.
본 발명은 동화상 표준화 그룹(MPEG) 표준, 특히 MPEG-4 및 부가 표준과 같이, 객체 지향 화상 또는 비디오 코딩 프레임워크에서의 비트 스트림 스케일러블 형태 코딩에 대한 다층, 정점에 의한(vertax-based) 형태 표현 방법 및 그 용용에 관한 것이다.
도 1은 비디오 입력을 비디오 객체로 비디오 분석하는 블럭도.
도 2는 본 발명의 방법을 용이하게 하기 위해 객체-지향 비디오 인코더/디코더의 구성 요소의 블럭도.
도 3은 일차원 정점 리스트 및 다층 계층 정점 스킴을 개략적으로 표현한 도식도.
도 4는 본 발명의 방법 단계에 대한 블럭도.
도 5는 본 발명의 제1 실시예를 표현하는 도면.
도 6은 본 발명의 제1 실시예의 방법을 이용하여 다층 정점 코딩의 예를 도시하는 도면.
도 7은 본 발명의 제2 실시예를 표현하는 도면.
도 8은 본 발명의 제2 실시예의 방법을 이용하여 다층 정점 코딩의 예를 도시하는 도면.
도 9는 본 발명의 제3 실시예를 표현하는 도면.
도 10은 본 발명의 제3 실시예의 방법을 이용하여 다층 정점 코딩의 예를 도시하는 도면.
이제 도 1을 참조하면, 객체-지향 비디오 코딩시, 입력된 비디오(20)가 블럭 22에서 서로 다른 비디오 객체인 VO1(24), VO2(26), 및 VOn(28)로 분해되는데, 그 성분은 비디오 시퀀스를 구성한다. 비디오 객체는 그 형태, 구조, 및 움직임 궤도로 설명된다. 비디오 객체는 이러한 세가지 특성의 표현을 코딩함으로써 코딩된다.
객체-지향 비디오 인코더 및 디코더의 주요 성분이 도 2에 도시되어 있다. 상기 설명한 바와 같이, 비디오 입력(20)은 비디오 객체(VO)로 분해된다. 각 VO는 비디오 객체(30)로 총괄하여 표현되며, 형태 성분(32), 구조 성분(34) 및 움직임 성분(36)으로 규정된다. 인코더 메카니즘(38)은 형태의 특정 표현, 예를 들어 정점에 의한 표현(vertex-based representation)을 인코딩하는 형태 인코더(40)를 포함한다. 텍스처 인코더(42)는 VO의 컬러 또는 텍스처의 표현을 인코드하는 한편 움직임 인코더(44)는 VO의 움직임의 표현을 인코드한다. 형태 인코더에 의해 발생되는 비트 스트림에서, 서로 다른 계층에 속하는 정점들이 단일 비트 스트림에 포함되고 함께 인코드된다. 선택적으로, 각 층에서의 정점들은 이산적인 비트 스트림에 포함될 수 있고, 여기서 각 계층은 별도로 인코딩된다. 서로 다른 계층에 대응하는 서로 다른 세트들이 이산적 비트 스트림에 배치되는 경우에, 선택된 층의 정점 세트는 코오스 계층(coarser layer)으로부터 정점들을 사용하여 미리 예상하여 코딩될 수 있다.
인코드된 형태, 구조 및 움직임을 나타내는 신호(46)가 다중화기(48)로 전송되고, 적절한 형태의 전송 메카니즘(50)에서 역다중화기(52)로 재전송된 다음, 디코더(54)에 전송된다. 디코더(54)는 특정 형태의 디코더(56), 구조 디코더(58), 및 움직임 디코더(60)를 포함한다. VO들이 복구 메카니즘(62)에 의해 비디오 화상으로 개편되어 비디오 출력(64)에 의한 비디오 화상으로서 출력된다. 신호가 인코드되기만 하면, 다중화기(48)로 전송될 수 있거나, 데이타베이스에서 고속 브라우징을 제공하는 것과 같이, 다중화기(48) 대신에, 또는 다중화기 이외에 장래 용도로 데이타베이스에 저장될 수 있다.
저장된 신호는 나중에 화상으로 복구될 수 있다. 본 발명에서 우리의 관심사는 객체 형태 표현 및 코딩이다.
비디오 시퀀스에서 특정 시간 순간에서의 객체 형태는 형태 윤곽선(contour)상의 정점들로 표현된다. (윤곽선 지점이 쉽게 이용될 수 없다면) 바이너리 형태의 맵에 적용되는 윤곽선 추적의 결과로서 얻어진 모든 지점으로부터 정점들이 선택될 수 있다. 본 발명에서, 서로 다른 계층에서의 정점들이 선택되는 계층 선택 방법이 사용된다. 기본층(층 0)은 형태를 설명하는데 가장 중요한 가장 작은 수의 정점을 포함한다. 각각의 서브시퀀트 층은 보다 덜 중요한 부수적인 정점 세트를 부가한다. 계층이 정점의 시각적 특징의 관점에서 규정되는 계층 정점 선택 방법이 1997년 4월 3일자 출원된 출원 번호 08/825,646인 'VERTEX-BASED HIERARCHICAL SHAPE REPRESENTATION AND CODING METHOD AND APPARATUS'라는 제목의 특허 출원서에 논의되었다. 반복적 순화 방법(iterative refinement method)의 확장과 같은 다른 계층 방법이 또한 이용될 수 있다.
비트 스트림 스케일러빌러티(Bit stream scalability)는 임의의 선택된 층 및 이전 층에 속하는 정점만을 이용하여 형태의 복구가 수행되도록 서로 다른 층에 속한 정점이 별도로 저장될 필요가 있다. 다층과 연관된 문제중 하나가, 모든 정점이 단일 리스트에서 자연적인 순서로 이용되지 않을 때 형태가 모호성없이 복구될 수 있도록 정점에 의한 형태 표현이 정점의 순서 정보를 유지해야 하는 문제이다. 이제 도 3을 참조하여, 모호성 문제가 설명된다. 도 3의 상부 부분에는 3개의 계층으로부터의 정점이 단일 리스트에 자연적 순서로 리스트된 정점 리스트(66)가 도시되어 있다. 정점은 층 0(68), 층 1(70), 및 층 2(72)로 식별되는 3개의 층으로부터 취해진다. 만약 정점이 자연적 순서로 리스트되고 코딩되면, 모호성 문제는 없다. 정점이 68, 70 및 72로 도시된 바와 같이, 다층으로 분리되는 다층 표현에 있어서, 디코더는 보다 높은 층의 정점이 보다 낮은 층의 정점에 비해 배치되어야 하는 순서를 알아야만 한다.
본 발명의 목적은 다층 정점에 대한 순서 정보를 코딩하는 방법, 및 그의 몇몇 변형 방법을 제공하는 것이다. 다층 형태 표현에 있어서, 서로 다른 계층에 속하는 정점이 별도로 저장된다. 또한, 임의 계층(m≥0)에서의 형태 복구가 층 및 이전 층(m-1, ...,0)에 속하는 정점만을 사용하여 점진적으로 수행된다.
상기 인용된 이전의 자사 특허 출원서에 개시된 바와 같이, 공간 스케일러빌러티(spacial scalability) 및 화질 스케일러빌러티(quality scalability) 및 1997년 5월 14일자 출원된 출원 번호 08/856,387인 'METHOD OF GENERALIZED CONTENT-SCALABLE SHAPE REPRESENTATION AND CODING'이라는 제목의 또 다른 계류중인 특허 출원서에 인용된 바와 같이, 컨텐트 스케일러빌러티(content scalability)가 본 발명에서 제안된 다층 형태 표현 및 코딩 방법중 하나를 이용하여 비트 스트림 스케일러블 방식으로 구현될 수 있다.
본 발명의 일반적 방법
다층 정점의 순서 정보를 코딩하는 방법을 설계할 때, 두가지 주요한 목적, 1)디코딩시의 임의 순서 모호성을 제거, 2)순서 정보를 저장하기 위한 최소 비트 소비를 이용하는 목적이 있다. 다른 목적은, 1)스케일러블 비트 스트림을 사실상 제공하는 것과, 2)낮은 계산 비용으로 순서 정보를 복원하기에 용이하게 하는 것을 포함한다.
비트 스트림 스케일러블 형태 코딩의 방법(74)중 주요 단계가 도 4에 도시되어 있다. 단계는 (1) 계층 스킴에서 정점을 선택하는 단계를 포함하는 계층 정점 선택(76), (2) 최대 세이런트(most salient)에서 최소 세이런트(least salient)까지의 순서로 배열된 정점의 다층을 정의하고, 각 계층 내의 화상 윤곽선을 따라 자연적 순서로 정점을 배치하는 다층 형태 표현(78), (3) 비트 스트림 스케일러블 방식으로 정점들 및 정점 순서 정보를 인코딩하고, 이하 기술되는 변형중 하나를 이용하여 정점 순서 정보를 인코딩하는 다층 스케일러블 형태 인코딩(80), 및 (4) 스케일러블 형태 비트 스트림 발생(82)을 포함한다. 디코딩은 인코딩 처리의 역처리이다.
다음 자료는 본 발명의 방법의 네가지 변형을 개시하는데, 모두가 순서 모호성없이 정확하게 순서 정보를 복원할 수 있다. 비트 소비, 비트 스트림 스케일러빌러티의 정도 및 계산 비용의 관점에서 변형들은 다르다. 네가지 변형 모두는 비트 스트림에서 서로 다른 층으로부터의 정점은 별도로, 즉 최대 세이런트 층에서 최소 세이런트 층까지 층별로 배치되는 것으로 가정한다. 각 층 내에는, 그들이 표현하는 윤곽선을 따라 자연적 순서로 정점이 배치된다.
제1 실시예
도 5 및 6을 참조하면, 정점의 M 계층(M>0)이 있고, 층 0, 1, ..., (M-1)에 No, N1, ..., N(M-1)정점이 각각 있다고 가정한다. 본 실시예는 기본 계층, 즉 층 0을 제외하고는, 각 계층의 맨처음에 정점 순서 정보를 기록한다. 이러한 방식으로, 기본층만을 디코딩할 필요가 있는 디코더는 오버 헤드의 순서 정보를 다룰 필요는 없다. 임의의 층 m(m>0)에 대해, 순서 정보는 현재 및 이전 층(m, m-1, ..., 0)에서의 각 정점에 대해 1 비트를 할당하는 바이너리 리스트에 의해 지정된다. 바이너리 리스트에서, 만약 대응하는 정점이 이전 층으로부터 것이면 '0'이 저장되고 정점이 현재 층으로부터의 것이면 '1'이 저장된다. 도 5에서, 층 0(84)은 원으로 표현된 정점을 포함하고, 삼각형은 층 m에서의 정점(86)을 표현한다. 바이너리 정점 순서 리스트(88)는 층 0,1, ...,(m)에서 N0+ N1+ ... + N(m)정점에 대한 순서 정보를 나타낸다.
도 6을 참조하면, 세개의 층 정점 리스트가 90으로 도시되어 있다. 층 0(92)은 원으로 표현된 5개의 정점을 포함한다. 층 1(94)은 바이너리 리스트(96)와 X로 표현된 네개의 정점(98)을 포함한다. 바이너리 리스트에서, 만약 대응하는 정점이 층 0으로부터 것이면 '0'이 저장되고 정점이 층 1로부터의 것이면 '1'이 저장된다. 디코더는 층 0에서의 정점의 자연적 인코딩 순서의 뒤를 이어 우선 층 0의 순서를 복원한다. 다음, 필요하다면, 디코더는 층 1의 맨처음에 저장된 바이너리 리스트를 판독함으로써 우선 두개 층의 순서를 복원할 수 있다. 리스트로부터 '0'이 마주치면, 디코더는 층 0으로부터 정점을 대응 위치에 연속적으로 배치한다. '1'이 마주치면, 디코더는 순서 리스트후 인코딩되는 층 1로부터 정점을 연속적으로 배치한다. 다음 층 0 및 1로부터 모든 정점의 완료 순서가 복구되어 이러한 정점이 어레이로 정렬될 수 있다.
층 2(100)가 필요하면, 디코더가 층 2의 맨처음에 저장된 순서 리스트(102)를 판독할 수 있다. '0'이 판독될 때, 디코더는 층 0 및 1로부터 모든 정점을 포함하여 저장된 어레이로부터 정점을 연속적으로 배치한다. '1'이 판독될 때, 디코더는 삼각형(104)으로 표현된, 층 2로부터 정점을 연속적으로 배치한다. 다음 층 0, 1 및 2에서의 모든 정점의 순서를 복원할 것이다. 상기 과정은 더 많은 계층이 유효하고 필요할 때 계속할 수 있다.
바이너리 순서화 리스트 및 정점 위치는 다양한 방법을 사용하여 효과적으로 인코딩될 수 있다. 예를 들면, 바이너리 순서화 리스트는 실행-길이 인코딩(run-length encoding)을 이용하여 인코딩될 수 있고, 층 m에서의 정점의 위치는 층 m, m-1, ..., 1, 0으로부터 정점의 위치를 참조하여 미리 예상하여 인코딩될 수 있다.
제2 실시예
도 7을 참조하면, 정점의 M 층이 있고 층 0, 1, ..., (M-1)에 No, N1, ..., N(M-1)정점이 각각 있다고 가정한다. 본 실시예는 동일 층에서 현재의 정점과 선행하는 정점 간에 있는 이전 층으로부터의 정점의 수를 기록함으로써 각 정점에 대한 정점 순서 정보를 기억한다. 층 m(0<m<(M-1))의 맨처음에, 층 m에서의 정점 및 선행하는 정점 간에 위치하는 층 0, ...,(m-1)으로부터 정점의 수인 Nm*m 수가 기록된다. 층 m에서의 제1 정점에 대해, 대응하는 수는 그 정점 이전에 위치한 층 0, ...,(m-1)에서의 정점의 수이다. 기본 계층(106)은 원으로 표현된 N0정점을 포함한다. 층 m은 삼각형으로 표현된 Nm정점을 포함하고, 그에 앞서 Nm*m 수(108,P00...P0m-1...P10...P1m-1...)로 표현된 정점 순서 정보가 우선한다.
도 8을 참조하면, 정점 리스트(112)는 세개의 층의 정점 리스트를 포함한다. 층 0(114)은 원으로 표현된 5개의 정점을 포함한다. 층 1의 맨 처음(116)에서, N1*1=4의 수(118)가 기록되는데, 이는 층 1에서의 정점 및 선행하는 정점 간에 위치한 층 0에서의 정점의 수이다. 층 1(120)에서의 정점은 X로 표현된다. 층 1에서의 첫번째 정점에 대해, 대응하는 수는 그 정점 이전의 층 0의 정점의 수이다. 디코더는 층 0에서의 정점의 자연적 인코딩 순서 다음으로 층 0의 순서를 우선 복원한다. 다음, 필요하다면, 디코더는 층 1의 맨처음에 저장된 층 0의 정점 정보를 판독함으로써 우선 두개 계층의 순서를 복원할 수 있다. 특히, 디코더는 층 1로부터의 각 정점 이전에 층 0으로부터의 정점의 기록된 수를 연속적으로 삽입한다. 다음 층 0 및 1로부터 모든 정점의 완료 순서가 복구되어 이러한 정점이 어레이로 정렬될 수 있다.
층 2(122)가 필요하면, 디코더가 층 2의 맨처음에 저장된 층 0 및 1의 정점 정보(124)를 판독할 수 있다. 층 2에서의 정점은 삼각형(126)으로 표현된다. 디코더는 층 2로부터의 각 정점 이전에 층 0 및 1로부터의 정렬된 어레이로부터 정점의 기록된 수를 연속적으로 삽입한다. 이는 층 0, 1 및 2의 모든 정점의 순서를 복원할 것이다. 상기 과정은 더 많은 계층이 유효하고 필요할 때 계속될 수 있다.
상기한 바와 같이, 순서화 리스트 및 정점 위치는 다양한 방법을 사용하여 효과적으로 인코딩될 수 있다. 예를 들어, 바이너리 순서화 리스트는 실행-길이인코딩을 이용하여 인코딩될 수 있고, 층 m에서의 정점의 위치는 층 m, m-1, ...,1,0으로부터 정점 위치를 참조하여 미리 예상하여 인코딩될 수 있다.
제3 실시예
이제 도 9를 참조하면, 정점의 M 층이 있고, 층 0, 1, ..., (M-1)에 No, N1, ..., N(M-1)정점이 각각 있다고 가정한다. 본 실시예는 최종 층, 즉 층 (M-1)을 제외하고, 각 층에서의 각 정점의 자(child) 정점 정보를 기록함으로써 정점 순서 정보를 기억한다. 층 m(0<m<(M-1))의 맨처음에, 이전의 각 m 층의 각 정점에 속하는 층 m의 자(child) 정점의 수인 (N0+ ... +N(m-1))의 수가 기록된다. 기본층(128)은 원으로 표현된 N0정점을 포함한다. 층 m(130)은 삼각형으로 표현된 Nm정점을 포함하고, 그에 앞서 C00...C(No-1)C01...C(N1-1)1...인 N0+N1+...+N(m-1)의 수를 포함하는 자 정점 정보(132)가 선행한다. 각 정점에 대해, 자 정점 정보는 일련의 수이며, 각각은 연속하는 층중 하나에서의 자 정점의 수이다.
도 10을 참조하면, 세개 층의 정점에 대한 정점 리스트가 134로 도시되어 있다. 기본층 0(136)은 원으로 표현된 5개의 정점을 포함한다. 층 1의 맨 처음(138)에서, N0*5=4의 수(140)가 기록되는데, 이는 층 0에서의 N0정점 각각에 속하는 층 1에서의 (X로 표현된) 자 정점(142)의 수이다. 디코더는 층 0에서의 정점의 자연적 인코딩 순서 다음으로 층 0의 순서를 우선 복원한다. 다음, 필요하다면, 디코더는 층 1의 맨처음에 저장된 층 0의 관련 자 정점 정보를 판독함으로써우선 두개 층의 순서를 복원할 수 있다. 특히, 디코더는 층 0로부터의 각 정점 이후에 층 1로부터의 정점의 기록된 수를 연속적으로 삽입한다. 다음 층 0 및 1로부터 모든 정점의 완료 순서가 복구되어 이러한 정점이 어레이로 정렬될 수 있다.
층 2(144)가 필요하면, 디코더가 층 2의 맨처음에 저장된 자 정점 정보(146)를 판독할 수 있다. 디코더는 층 0 및 1에서의 각 정점 이후에 층 2로부터의 정점(삼각형, 148)의 기록된 수를 연속적으로 삽입한다. 이는 층 0, 1 및 2의 모든 정점의 순서를 복원할 것이다. 상기 과정은 더 많은 층이 유효하고 필요할 때 계속될 수 있다.
상기한 바와 같이, 순서화 리스트 및 정점 위치는 다양한 방법을 이용하여 효과적으로 인코딩될 수 있다. 예를 들어, 바이너리 순서화 리스트는 실행-길이 인코딩을 이용하여 인코딩될 수 있고, 층 m에서의 정점의 위치는 층 m, m-1, ...,1,0으로부터 정점 위치를 참조하여 미리 예상하여 인코딩될 수 있다.
제4 실시예
정점의 M 층이 있고, 층 0, 1, ..., (M-1)에 No, N1, ..., N(M-1)정점이 각각 있다고 가정한다. 본 변형예는 모든 층에서의 각 정점에 대해 이어지는 정점의 계층 수를 기록함으로써 정점 순서 정보를 기억한다. 층 1의 맨처음에, 층 0에서의 N0정점 각각에 이어 정점의 층 수인 N0의 수가 기록된다. 층 m(0<m<(M-1))의 맨처음에, 층 (m-1)에서의 N(m-1)정점 각각에 이어 정점의 층 수인 N(m-1)의 수가 기록된다. 디코더는 층 0에서의 정점의 자연적 인코딩 순서 다음으로 층 0의 순서를우선 복원한다. 다음, 필요하다면, 디코더는 층 1의 맨처음에 저장된 계층 수 정보를 판독함으로써 M 층 모두에 대한 순서를 복원할 수 있다. 디코더는 층 0으로부터 제1 정점을 제거함으로써 시작하는데, 이를 V(0,0)이라 부르고 글로벌 순서 리스트에 이를 배치한다. 다음 V(0,0)에 이어지는 정점의 계층 수를 판독한다. 만약 그 층 수가 k이면, 디코더는 계층 k로부터 하나의 정점을 제거하며, 이를 V(k,0)라 부르고, 글로벌 순서 리스트에 이를 배치한다. 다음 디코더는 V(k,0)에 이어지는 정점의 층 수를 판독하며, 모든 층으로부터 모든 정점이 글로벌 순서 리스트에 배치될 때까지 상기 과정을 반복한다. 그러므로 모든 정점의 완료 순서가 복원된다.
상기한 바와 같이, 순서화 리스트 및 정점 위치는 다양한 방법을 이용하여 효과적으로 인코딩될 수 있다. 예를 들어, 바이너리 순서화 리스트는 실행-길리 인코딩을 이용하여 인코딩될 수 있고, 층 m에서의 정점의 위치는 층 m, m-1, ...,1,0으로부터 정점 위치를 참조하여 미리 예상하여 인코딩될 수 있다.
동작
개시된 방법들은 비트 스트림 스케일러블, 객체-지향 화상 및 비디오 코딩 프레임워크에서 다양한 방식으로 구현될 수 있다. 다음은 현재 MPEG-4[1996년 11월, 국제 표준화 기구에 위한 'Core Experiments on MPEG-4 Video Shape Coding,' Document ISO/IEC JTC1/SC29/WG11 N1382]에서 고려되고 있는 비-스케일러블 정점에 의한 형태 코딩 방법을 확장하는 비트 스트림 스케일러블, 다층 형태 코딩에 대한 신택스 예이다. 다음 신택스는 제1 실시예의 방법을 구현한다. 현재 비-스케일러블 신택스는 실시예 1, 2, 3 또는 4의 방법을 이용하여 비트 스트림 스케일러블, 다층 형태 코딩을 서로 다른 방식으로 구현하도록 확장될 수 있음을 주지한다.
의미
hierarchical_vertex_representation : 이러한 플래그는 스케일러빌러티를 제공하기 위해 정점이 계층 방식으로 코딩되는 지를 가리킨다. 만약 이러한 플래그가 '1'이면, 계층 표현은 정점에 사용될 것이다. 그렇지 않으면, 비-계층 표현이 정점에 사용될 것이다.
number_of_vertex_layers : 이러한 코드는 현재 VOP에 대한 정점의 계층 표현에서의 계층의 수를 가리킨다. 정점 계층의 수는 2-비트 코드+1의 값이다.
number_of_all_vertices : 이러한 변수는 모든 계층에서의 정점의 총수를 표현한다. 유용하며 인코더에서만 사용된다.
layer_number_of_vertex(i) : 이러한 변수는 정점 i의 정점 층 id를 가리킨다.
신택스
별도의 비트 스트림으로 스케일러블 형태 코딩을 지지하는 확장된 신택스가 MPEG-4 표준으로 다음과 같이 리스트되어 있다. 이러한 신택스는 다른 MPEG 표준에 대해 변경된다.
리스트된 도표에 나타난 신택스는 다음과 같다.
표 1 : shape_coding() 신택스
표 2 : intra_shape_coding() 신택스
표 3 : hierarchical_vertex_order_coding() 신택스
표 4 : hierarchical_polygon_coding() 신택스
그래서, 본 발명의 단계들중 하나에 대해 4개의 변형을 포함하는 다층, 정점에 의한 형태 표현 방법이 설명되었다. 본 발명에 대한 다수의 변형 실시예가 설명되었지만, 첨부된 청구 범위에 한정된 바와 같이 본 발명의 범위를 벗어나지 않고 본 발명의 다른 변형 실시예들이 행해질 수 있음을 알아야 한다.

Claims (12)

  1. 다층, 정점에 의한 형태 표현 및 비트 스트림 스케일러블 형태(multiple layer, vertex-based shape representation and bit stream scalable shape)를 코딩하는 방법에 있어서,
    계층 스킴(hieratchical scheme)으로 정점들을 선택하는 단계;
    정점들의 다층을 정의하는 단계;
    최대로 세이런트한 층(most salient layer)에서 최소로 세이런트한 층(least salient layer)의 순서로 정점들의 M 층을 배열하는 단계;
    각각의 층 내의 영상 윤곽선(image contour)을 따라서 자연적 순서로 정점들을 배치하는 단계;
    각각의 층으로부터 정점들을 별도 저장하는 단계; 및
    정점들의 각 층에 각각의 정점에 대한 정점 순서 정보(vertex order information)를 기록하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 기록 단계는 층 1에서 시작하는 각 층의 맨 처음에 바이너리 정점 순서 리스트를 기록함으로써 각 정점에 대한 정점 순서 정보를 기록하는 단계를 포함하고, 대응하는 정점이 이전 층으로부터의 것이면 '0'이 기록되고, 정점이 현재 층으로부터의 것이면 '1'이 기록되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 기록 단계는 동일 층에서 현재의 정점 및 선행하는 정점 사이에 있는 보다 세이런트한 이전의 모든 층으로부터 정점들의 수를 기록함으로써 각 정점에 대한 정점 순서 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 기록 단계는 층 0 내지 층 M-2에 대해 각 층에서의 각 정점에 대한 자(child) 정점 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 기록 단계는 모든 층에서의 각 정점에 대해 다음 정점의 층수를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 다층, 정점에 의한 형태 표현 및 비트 스트림 스케일러블 형태(multiple layer, vertex-based shape representation and bit stream scalable shape)를 코딩 및 디코딩하는 방법에 있어서,
    계층 스킴(hieratchical scheme)으로 정점들을 선택하는 단계;
    정점들의 다층을 정의하는 단계;
    최대로 세이런트한 층(most salient layer)에서 최소로 세이런트한 층(least salient layer)의 순서로 정점들의 M 층을 배열하는 단계;
    각각의 층 내의 영상 윤곽선(image contour)을 따라 본래의 순서로 정점들을 배치하는 단계;
    각각의 층으로부터 정점 정보를 별도 저장하는 단계;
    정점들의 각 층에서의 각 정점에 대한 정점 순서 정보를 기록하는 단계;
    가장 세이런트한 층으로부터 정점 정보를 판독하는 단계;
    다음의 가장 세이런트한 층으로부터 정점 순서 정보 및 정점 정보를 판독하는 단계; 및
    정점 순서 정보에 따라 다중 층으로부터 정점들을 순서화하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 기록 단계는 층 1에서 시작하는 각 층의 맨 처음에 바이너리 정점 순서 리스트를 기록함으로써 각 정점에 대한 정점 순서 정보를 기록하는 단계를 포함하고, 대응하는 정점이 이전 층으로부터의 것이면 '0'이 기록되고, 정점이 현재 층으로부터의 것이면 '1'이 기록되는 것을 특징으로 하는 방법.
  8. 제6항에 있어서,
    상기 기록 단계는 동일 층에서 현재의 정점 및 선행하는 정점 사이에 있는보다 세이런트한 이전의 모든 층들로부터 정점들의 수를 기록함으로써 각 정점에 대한 정점 순서 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제6항에 있어서,
    상기 기록 단계는 층 0 내지 층 M-2에 대해 각 층에서의 각 정점에 대한 자(child) 정점 정보를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제6항에 있어서,
    상기 기록 단계는 모든 층에서의 각 정점에 대해 다음 정점의 층수를 기록하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제6항에 있어서,
    정점 정보 및 정점 순서 정보를 제1 위치에서 제2 위치로 전송하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제6항에 있어서,
    정점 정보 및 정점 순서 정보를 시간에 맞게 제1 지점에 저장하는 단계 및 정점 정보 및 정점 순서 정보를 시간에 맞게 제2 지점에 디코딩하는 단계를 포함하는 것을 특징으로 하는 방법
KR1019997008679A 1997-03-11 1999-09-11 다층 정점들에 대한 순서 정보를 코딩하는 방법 KR100309664B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US4017897P 1997-03-11 1997-03-11
US60/040,178 1997-03-11
US08/825,646 US5838830A (en) 1996-09-18 1997-04-03 Vertex-based hierarchical shape representation and coding method and apparatus
US08/825,646 1997-04-03
US8/825,646 1997-04-03
US08/916,972 US6002803A (en) 1997-03-11 1997-08-19 Methods of coding the order information for multiple-layer vertices
US8/916,972 1997-08-19
US08/916,972 1997-08-19

Publications (2)

Publication Number Publication Date
KR20000076444A KR20000076444A (ko) 2000-12-26
KR100309664B1 true KR100309664B1 (ko) 2001-11-03

Family

ID=27365675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997008679A KR100309664B1 (ko) 1997-03-11 1999-09-11 다층 정점들에 대한 순서 정보를 코딩하는 방법

Country Status (6)

Country Link
US (1) US6002803A (ko)
EP (1) EP0966840B1 (ko)
JP (1) JP2001514822A (ko)
KR (1) KR100309664B1 (ko)
DE (1) DE69810597T2 (ko)
WO (1) WO1998041023A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100373331B1 (ko) * 1997-07-02 2003-04-21 주식회사 팬택앤큐리텔 스캔 인터리빙 방법을 이용한 신축형 모양정보 부호화/복호화장치 및 방법
DE69721847T2 (de) * 1997-10-23 2004-03-11 Mitsubishi Denki K.K. Bilddekoder, bildenkoder und bildkommunikationssystem
US6195088B1 (en) * 1998-12-04 2001-02-27 France Telecom Method and system for controlling multimedia streams using dynamic prototypes
US6396490B1 (en) * 1998-12-04 2002-05-28 Intel Corporation Efficient representation of connectivity information in progressive mesh update record
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US6400846B1 (en) * 1999-06-04 2002-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to search for object surfaces
US6307964B1 (en) * 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
CN101106708B (zh) * 1999-08-09 2010-11-03 索尼公司 发送设备及方法
US7383504B1 (en) * 1999-08-30 2008-06-03 Mitsubishi Electric Research Laboratories Method for representing and comparing multimedia content according to rank
AU2002233556A1 (en) * 2001-03-07 2002-09-19 Internet Pro Video Limited Scalable video coding using vector graphics
GB0105518D0 (en) * 2001-03-07 2001-04-25 Telemedia Systems Ltd Scalable video library to a limited resource client device using a vector graphic representation
JP3702244B2 (ja) * 2001-03-30 2005-10-05 株式会社東芝 ポリゴンデータ生成装置、描画システムおよびポリゴンデータ生成方法
GB2377604B (en) * 2001-07-09 2005-09-28 Superscape Plc Mesh compression
WO2003021970A1 (en) * 2001-09-04 2003-03-13 Faroudja Cognition Systems, Inc. Low bandwidth video compression
US7929606B2 (en) 2005-01-21 2011-04-19 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal using block prediction information
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100883591B1 (ko) * 2005-01-21 2009-02-13 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100747489B1 (ko) 2005-04-13 2007-08-08 한국전자통신연구원 3차원 메쉬 정보의 부호화/복호화 방법 및 장치
WO2006110002A1 (en) * 2005-04-13 2006-10-19 Electronics And Telecommunications Research Intitute Method and apparatus for encoding/decoding 3d mesh information
US8798383B1 (en) * 2011-03-28 2014-08-05 UtopiaCompression Corp. Method of adaptive structure-driven compression for image transmission over ultra-low bandwidth data links

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771469A (en) * 1986-06-30 1988-09-13 Honeywell Inc. Means and method of representing an object shape by hierarchical boundary decomposition
US4870497A (en) * 1988-01-22 1989-09-26 American Telephone And Telegraph Company Progressive transmission of high resolution two-tone facsimile images
US5634113A (en) * 1994-12-13 1997-05-27 Unisys Corporation Method for generating a preferred processing order and for detecting cycles in a directed graph used to represent system component connectivity
KR0181059B1 (ko) * 1995-03-18 1999-05-01 배순훈 물체의 윤곽을 나타내기 위한 윤곽 근사장치
US5764808A (en) * 1995-10-26 1998-06-09 Motorola, Inc. Method and device for compact representation of a discrete region contour
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US5825369A (en) * 1996-01-16 1998-10-20 International Business Machines Corporation Compression of simple geometric models using spanning trees

Also Published As

Publication number Publication date
WO1998041023A1 (en) 1998-09-17
KR20000076444A (ko) 2000-12-26
JP2001514822A (ja) 2001-09-11
US6002803A (en) 1999-12-14
EP0966840A1 (en) 1999-12-29
DE69810597T2 (de) 2003-11-13
EP0966840B1 (en) 2003-01-08
DE69810597D1 (de) 2003-02-13

Similar Documents

Publication Publication Date Title
KR100309664B1 (ko) 다층 정점들에 대한 순서 정보를 코딩하는 방법
Puri et al. MPEG‐4: An object‐based multimedia coding standard supporting mobile applications
US6128041A (en) Method and apparatus for binary shape encoding
EP0909096B1 (en) Picture encoder and picture decoder
WO1998021694A1 (en) Method of generalized content-scalable shape representation and coding
US20070242753A1 (en) Coding and decoding method and apparatus using plural scanning patterns
EP0665688A2 (en) Video data arranging method and video data encoding/decoding apparatus
Ebrahimi MPEG-4 video verification model: A video encoding/decoding algorithm based on content representation
JP2000174632A (ja) 埋め込み符号化／復号化方法及びシステム
EP4376418A2 (en) Entropy coding for signal enhancement coding
EP1099351A1 (en) Method and apparatus for scalable shape coding
JP3976854B2 (ja) 二値形状信号符号化方法
US5577134A (en) Method and apparatus for encoding a segmented image without loss of information
GB2251528A (en) Improvements in digitally-assisted television systems
KR100281322B1 (ko) 이진 형상 신호 부호화 및 복호화 장치와 그 방법
EP4373097A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US7426311B1 (en) Object-based coding and decoding apparatuses and methods for image signals
Ostermann et al. Natural and synthetic video in MPEG-4
EP1843595A2 (en) Coding and decoding method and apparatus using plural scanning patterns
Sikora et al. MPEG-4 video and its potential for future multimedia services
JPH104549A (ja) 画像符号化装置および画像復号化装置
Stroming et al. New architectures for M4R shape coding
de Sequeira et al. Partitions: a taxonomy of types and representations and an overview of coding techniques
JPH11272843A (ja) カラー画像の符号化装置およびその方法並びにカラー画像の復号化装置およびその方法
Puri et al. Implicit arbitrary shape visual objects via MPEG-4 scene description

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20070827

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee