KR100304667B1 - 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치 - Google Patents

웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR100304667B1
KR100304667B1 KR1019990037451A KR19990037451A KR100304667B1 KR 100304667 B1 KR100304667 B1 KR 100304667B1 KR 1019990037451 A KR1019990037451 A KR 1019990037451A KR 19990037451 A KR19990037451 A KR 19990037451A KR 100304667 B1 KR100304667 B1 KR 100304667B1
Authority
KR
South Korea
Prior art keywords
shape
scalable
information
shape information
encoding
Prior art date
Application number
KR1019990037451A
Other languages
English (en)
Other versions
KR20000022913A (ko
Inventor
조대성
손세훈
신재섭
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019990037451A priority Critical patent/KR100304667B1/ko
Publication of KR20000022913A publication Critical patent/KR20000022913A/ko
Application granted granted Critical
Publication of KR100304667B1 publication Critical patent/KR100304667B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 정지영상의 스케일러블 부호화/복호화 방법 및 장치에 관한 것으로서, 그 부호화방법은 격주사선 및 순차주사선 방법으로 형상정보를 스케일러블 부호화/복호화하고 텍스쳐 정보 부호화에 이용하며, 부호화 단계에서 색도 성분의 보정을 위한 색도 성분에 대한 형상 정보의 부호화를 포함하는 것을 특징으로 한다. 또한, 큰 입력 영상을 일정 크기의 블록(타일)으로 나누고, 나뉘어진 각 블록의 형상 및 텍스쳐 성분에 독립적으로 상기의 부호화 방법을 적용한다.
본 발명에 의하면, 웨이블릿을 이용한 정지 영상의 스케일러블 부호화기에서 각 계층의 형상 정보를 부호화하는 데 있어, 부호화하는 계층의 형상내 격주사선 화소간 혹은 두 계층사이의 화소간의 특성을 이용하여 부호화하는 화소수를 줄여 줌으로써 효율적인 부호화가 가능하다. 정지 영상의 텍스춰 성분 뿐만 아니라 형상 정보도 스케일러블 부호화로 영상의 해상도에 따른 순차적 복원이 가능하며 이는 디지탈 라이브러리등 대용량의 데이터 베이스에서 영상 검색 등에 효율적으로 적용될 수 있다. 본 발명의 형상정보에 대한 스케일러블 부호화기는 다른 부호화기에 비해 부호화되는 화소수를 줄일 수 있어 복잡도를 줄였고 이는 빠른 검색에 편리한 기능을 부여한다. 또한, 본 발명에 의한 타일 연산을 이용한 부호화기는 영상의 크기가 방대하여 전체를 한번에 복원하기에는 복잡도가 큰 응용분야에 효율적으로 적용되어, 영상내 사용자가 원하는 부분을 독립적으로 적은 계산량으로 빠른 시간 안에 복원할 수 있는 기능을 갖는다.

Description

웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치{Scalable coding/decoding method and apparatus for still image using wavelet transformation}
본 발명은 웨이블릿 변환(Wavelet transformation)을 이용한 정지 영상 부호화기의 스케일러블 부호화/복호화 방법 및 장치에 관한 것이다.
기존의 웨이블릿 변환을 이용한 정지 영상 부호화기에서 사용하는 형상정보 부호화방법에서는, 웨이블릿 분할 과정에서 출력된 각 계층의 형상 화소 정보를 모두 부호화해야 한다. 이 경우, 스케일러블 부호화 방법을 사용할 때, 전체 형상 정보를 바로 부호화할 때보다 부호화되는 화소수가 크게 증가하여 부호화 효율이 떨어지는 단점이 있다. 또한, 부호화되는 수가 증가됨에 따라 시스템의 복잡도도 증가한다. 입력 영상의 크기가 클 경우, 이러한 현상이 더욱 두드러져, 전체 영상을 복원하는 데 많은 시간이 요구된다.
본 발명이 이루고자하는 기술적 과제는 웨이블릿을 기반으로 한 정지영상 부호화기에서 임의의 형상 정보에 대한 효율적인 부호화가 가능하도록 정지영상을 블록단위로 나누고, 나뉜 블록들을 각 화소의 배타적 논리합(Exclusive OR) 정보의 이용 가능성에 따라 분류하여 분류된 부호화 모드에 맞추어 부호화하는 정지영상 스케일러블 (scalable) 부호화 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자하는 다른 기술적 과제는 상기 웨이블릿을 기반으로 한 정지영상 스케일러블 부호화 방법 및 장치에 대응하는 복호화 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자하는 또 다른 기술적 과제는 임의의 형상을 갖는 입력 영상을 타일(Tile)이라는 기본 단위로 나누어, 압축된 데이터로부터 사용자가 원하는 영상의 일부분만을 독립적으로, 계산량의 부담없이 복원이 가능하도록 한 정지 영상 부호화 방법 및 복호화 방법을 제공하는 것이다.
도 1a 및 도 1b는 웨이블릿 변환을 이용한 정지영상 부호화/복호화기의 전체 구성을 블록도로 나타낸 것이다.
도 2는 영역 기반 패딩(Padding)과정을 나타낸 순서도이다.
도 3a 및 도 3b는 각각 형상 정보의 블록 단위 확장법 및 영역 단위의 패딩(Padding)을 예시적으로 나타낸 것이다.
도 4는 웨이블릿 변환을 이용한 스케일러블 형상 부호화기의 전체 구성을 블록도로 나타낸 것이다.
도 5는 웨이블릿 변환을 이용한 스케일러블 형상 복호화기의 전체 구성을 블록도로 나타낸 것이다.
도 6은 1차원 웨이블릿을 적용한 영상 피라미드 구성방법을 나타낸 것이다.
도 7은 3계층 스케일러블 형상 부호화를 예시적으로 나타낸 것이다.
도 8a 및 도 8b는 형상 블록 단위의 스케일러블 부호화/복호화 방법을 도시한 순서도이다.
도 9a, 도 9b 및 도 9c는 형상 블록의 경계화를 예시적으로 나타낸 것이다.
도 10은 형상 블록의 부호화 모드 결정조건을 나타낸 것이다.
도 11은 형상 블록의 격주사선(Inteleaved Scan-Line: ISL) 부호화 방법을 나타낸 순서도이다.
도 12는 형상 블록의 격주사선(ISL) 복호화 방법을 나타낸 순서도이다.
도 13은 형상 블록의 순차주사선(Raster Scan-Line: RSL) 부호화 방법을 나타낸 순서도이다.
도 14는 형상 블록의 순차주사선(RSL) 복호화 방법을 나타낸 순서도이다.
도 15a 및 도 15b는 각각 격주사선 부호화 모드와 순차주사선 부호화 모드에 따른 블록내 화소들의 부호화 순서를 나타낸 것이다.
도 16a, 도 16b 및 도 16c는 이진산술 부호화(binary arithmetic coding)를 위한 문맥(context) 정보를 나타낸 것이다.
도 17a 및 도 17b는 각각 타일 연산을 사용한 객체기반 정지 영상 부호화기 및 복호화기를 나타낸 전체 블록도이고, 도 17c는 임의 형상 객체(object)를 타일 (tile) 구조로 나타낸 것이다.
도 18a 내지 도 18f는 본 발명에 의한 정지영상 부호화기에 의해 압축된 비트스트림 문법(Bit-stream syntax)를 나타낸 것이다.
도 19a 및 도 19b는 Kids 영상의 계층 3에서의 복원 영상(홀수 대칭 필터 사용)을 도시한 것으로서, 도 19a는 색도 성분에 대한 형상 정보 보정이 없는 경우이고, 도 19b는 색도 성분에 대한 형상 정보 보정이 있는 경우이다.
도 20a 및 도 20b는 Fish & Logo 영상의 계층 3에서의 복원 영상(홀수 대칭필터 사용)을 도시한 것으로서, 도 20a는 색도 성분에 대한 형상 정보 보정이 없는 경우이고, 도 20b는 색도 성분에 대한 형상 정보 보정이 있는 경우이다.
상기 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지영상을 스케일러블 부호화하는 방법은 휘도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 단계; 웨이블릿 변환된 휘도 성분에 대한 형상 정보를 이용하여 휘도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 단계; 휘도 성분에 대한 형상 정보와 색도 성분의 텍스쳐 정보를 이용하여 색도 성분에 대한 형상 정보와 텍스쳐 정보를 패딩하는 단계; 패딩된 색도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 단계; 및 웨이블릿 변환된 색도 성분에 대한 형상 정보를 이용하여 색도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 단계를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서 스케일러블 부호화하는 단계는 각각 형상 정보를 입력하고, 입력된 형상 정보를 형상적응 웨이블릿 변환하여 각 형상 계층을 얻는 단계; 최하위 형상계층의 저주파 대역 형상 정보를 형상 부호화하는 단계; 최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 저주파 대역 형상 정보를 스케일러블 부호화하는 단계; 및 부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 전송하는 단계를 포함하여 이루어짐을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서 각 계층의 저주파 대역 형상 정보를 스케일러블 부호화하는 단계는 현재 계층의 저주파 대역 형상 정보 및 하위 계층의 저주파 대역 형상 정보를 블록으로 나누는 단계; 형상 정보 내의 각 블록을 경계화하는 단계; 및 경계화된 각 블록의 부호화 모드를 결정하고, 결정된 부호화 모드를 산술 부호화하고, 결정된 부호화 모드에 따라 각 블록을 부호화하는 단계를 포함하여 이루어짐을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서 상기 부호화 모드는 하위 계층의 형상 블록 f1(i,j)의 1×1 크기의 화소값 PL이 현재 계층의 형상 블록 f2(i,j)의 2×2 크기의 화소값 P0, P1, P2, P3에 대응된다고 할 때, 하위 계층의 형상 블록 내의 모든 화소에 대하여 다음 조건들
이 모두 만족되면 격주사선 부호화 모드로 결정되고, 그렇지 않으면 순차주사선 부호화 모드로 결정되는 것을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서, 상기 부호화 모드가 격주사선 부호화 모드인 경우 각 블록을 부호화하는 단계는 블록의 각 화소에 대하여, 부호화될 화소값이 P0이면, P0을 부호화하지 않는 단계; 부호화될 화소값이 P1이면, 그 화소값의 좌,우의 화소값이 다른 경우에만 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P1을 산술 부호화하는 단계; 및 부호화될 화소값이 P2또는 P3이면, 그 화소값의 상,하의 화소값이 다른 경우에만 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P2또는 P3을 산술 부호화하는 단계를 수행함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서, 상기 부호화 모드가 순차주사선 부호화 모드인 경우 각 블록을 부호화하는 단계는 블록의 각 화소에 대하여, 부호화될 화소값이 P0이고 대응하는 PL이 0이면, P0을 부호화하지 않는 단계; 부호화될 화소값이 P0이고 대응하는 PL이 0이 아니면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P0을 산술 부호화하는 단계; 및 부호화될 화소값이 P1, P2또는 P3이면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P1, P2또는 P3을 산술 부호화하는 단계를 수행함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서, 휘도 성분에 대한 형상 정보를 짝수 대칭 웨이블릿 필터에 의해 웨이블릿 변환하여 스케일러블 부호화하는 단계; 웨이블릿 변환된 휘도 성분에 대한 형상 정보를 이용하여 휘도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 단계; 및 웨이블릿 변환된 색도 성분에 대한 형상 정보를 이용하여 색도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 단계를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화방법에서, 색도 성분에 대한 형상 정보와 텍스쳐 정보를 패딩하는 단계는 4:2:0 또는 4:2:2의 색도 성분의 보정을 위해 휘도 성분에 대한 형상 정보로부터 다운샘플링된 형상 정보를 얻는 단계; 다운샘플링된 형상 정보를 스케일러블 계층수에 대응하여 블록 단위로 나누고, 블록 단위로 나누어진 영역 만큼 확장하는 단계; 및 색도 성분에 대한 텍스춰 정보를 수평,수직 방향으로 패딩하여 상기 확장된 영역에 대응하는 텍스쳐 정보를 구하는 단계를 포함하여 이루어짐을 특징으로 한다.
상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지영상을 스케일러블 복호화하는 방법은 부호화된 휘도 성분에 대한 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 단계; 웨이블릿 변환된 휘도 성분에 대한 형상 정보를 이용하여 부호화된 휘도 성분에 대한 텍스쳐 정보를 웨이블릿 복호화하는 단계; 부호화된 색도 성분에 대한 형상 정보를 스케일러블 복호화하여 웨이블릿 변환하는 단계; 및 웨이블릿 변환된 색도 성분에 대한 형상 정보를 이용하여 부호화된 색도 성분에 대한 텍스쳐 정보를 웨이블릿 복호화하는 단계를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화방법에서, 웨이블릿 변환하는 단계는 부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 입력받는 단계; 최하위 형상 계층의 부호화된 형상 정보를 형상 복호화하여 최하위 계층의 저주파 대역 형상 정보를 얻는 단계; 최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 부호화된 형상 정보를 복호화하여 저주파 대역 형상 정보를 스케일러블 복호화하는 단계; 및 복호화된 각 계층의 저주파 대역 형상 정보를 형상적응 웨이블릿 변환하여 각 형상 계층을 얻는 단계를 포함한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화방법에서, 저주파 대역 형상 정보를 스케일러블 복호화하는 단계는 부호화된 형상 정보를 입력받고, 현재 계층의 형상 정보 및 하위 계층의 형상 정보를 블록으로 나누는 단계; 형상 정보 내의 각 블록을 경계화하는 단계; 및 경계화된 각 블록의 부호화 모드를 산술복호화하고, 복호화된 부호화 모드에 따라 각 블록별로 부호화된 형상 정보를 복호화하는 단계를 포함하여 이루어짐을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화방법에서, 상기 부호화 모드는 하위 계층의 형상 블록 f1(i,j)의 1×1 크기의화소값 PL이 현재 계층의 형상 블록 f2(i,j)의 2×2 크기의 화소값 P0, P1, P2, P3에 대응된다고 할 때, 하위 계층의 형상 블록 내의 모든 화소에 대하여 다음 조건들
이 모두 만족되면 격주사선 부호화 모드로 결정되고, 그렇지 않으면 순차주사선 부호화 모드로 결정되는 것을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화방법에서, 상기 부호화 모드가 격주사선 부호화 모드인 경우 각 블록별로 부호화된 형상 정보를 복호화하는 단계는 블록의 각 화소에 대하여, 복호화될 화소값이 P0이면, P0을 PL에 의해 복호화하는 단계; 복호화될 화소값이 P1이고 그 화소값의 좌,우의 화소값들이 서로 같은 경우에는 P0을 그 화소값의 좌 또는 우의 화소값에 의해 복호화하고, 복호화될 화소값이 P1이고 그 화소값의 좌,우의 화소값들이 서로 다른 경우에는 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하여 P1을 산술 복호화하는 단계; 및 복호화될 화소값이 P2또는 P3이고 그 화소값의 상,하의 화소값이 서로 같은 경우에는 P2또는 P3을 그 화소값의 상 또는 하의 화소값에 의해 복호화하고, 복호화될 화소값이 P2또는 P3이고 그 화소값의 상,하의 화소값이 서로 다른 경우에는 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하여 P2또는 P3을 산술 복호화하는 단계를 수행함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화방법에서, 상기 부호화 모드가 순차주사선 부호화 모드인 경우 각 블록별로 부호화된 형상 정보를 복호화하는 단계는 블록의 각 화소에 대하여, 복호화될 화소값이 P0이고 대응하는 PL이 0이면, P0을 0으로 복호화하는 단계; 부호화될 화소값이 P0이고 대응하는 PL이 0이 아니면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하고, P0을 산술 복호화하는 단계; 및 부호화될 화소값이 P1, P2또는 P3이면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하고, P1, P2또는 P3을 산술 복호화하는 단계를 수행함을 특징으로 한다.
상기의 또 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지영상을 스케일러블 부호화하는 장치는 휘도 성분 및 색도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 형상정보 스케일러블 부호화기; 4:2:0 혹은 4:2:2 형상 정보에 대해서는 휘도 성분에 대한 형상 정보와 색도 성분의 텍스쳐 정보를 이용하여 색도 성분에 대한 형상 정보와 텍스쳐 정보를 패딩하는 색도 영상의 형상/텍스쳐 패딩부; 및 상기 형상정보 스케일러블 부호화기에 의해 웨이블릿 변환된 형상 정보를 이용하여 휘도 성분 및 색도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 텍스춰정보 웨이블릿 부호화기를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화장치에서, 상기 형상정보 스케일러블 부호화기는 휘도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 휘도 형상 스케일러블 부호화기; 및 색도 영상의 형상/텍스쳐 패딩부에 의해 패딩된 색도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 색도 형상 스케일러블 부호화기를 포함하여 이루어짐을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화장치에서, 상기 휘도 형상 스케일러블 부호화기 및 상기 색도 형상 스케일러블 형상 부호화기는 각각 형상 계층을 입력하여 하위 계층의 형상 계층을 생성하는 다수의 형상적응 웨이블릿 변환부; 및 최하위 형상 계층의 저주파 대역 형상 정보를 형상 부호화하는 하나의 형상 부호화기; 최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 저주파 대역 형상 정보를 스케일러블 부호화하는 다수의 스케일러블 부호화기; 및 부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 전송하는 멀티플렉서를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화장치에서, 각 스케일러블 부호화기는 현재 계층의 저주파 대역 형상 정보 및 하위 계층의 저주파 대역 형상 정보를 블록으로 나누는 수단; 형상 정보 내의 각블록을 경계화하는 수단; 경계화된 블록 내 각 화소의 배타적 논리합 정보의 이용 가능성에 따라 부호화 모드를 결정하는 수단; 부호화 모드가 격주사선 부호화 모드인 경우, 블록 내 각 화소를 격주사선 순서에 따라 스캔하면서 배타적 논리합 정보를 이용할 수 있으면 부호화를 생략하고, 그렇지 않으면 문맥 정보를 구하고 산술부호화하는 수단; 및 부호화 모드가 순차주사선 부호화 모드의 경우, 블록 내 각 화소를 순차주사선 순서에 따라 스캔하면서 문맥 정보를 구하고 산술부호화하는 수단을 구비함을 특징으로 한다.
상기의 또 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지영상을 스케일러블 복호화하는 장치는 휘도 성분 및 색도 성분에 대한 부호화된 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 형상정보 스케일러블 복호화기; 상기 형상정보 스케일러블 복호화기에 의해 웨이블릿 변환된 형상 정보를 이용하여 휘도 성분 및 색도 성분에 대한 부호화된 텍스쳐 정보를 웨이블릿 복호화하는 텍스춰정보 웨이블릿 복호화기를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화장치에서, 상기 형상정보 스케일러블 복호화기는 휘도 성분에 대한 부호화된 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 휘도 형상 스케일러블 복호화기; 및 색도 성분에 대한 부호화된 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 색도 형상 스케일러블 복호화기를 포함하여 이루어짐을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화장치에서, 상기 휘도 형상 스케일러블 복호화기 및 상기 색도 형상 스케일러블 형상 복호화기는 각각 부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 입력받는 분배하는 디멀티플렉서; 최하위 형상 계층의 부호화된 형상 정보를 형상 복호화하여 최하위 계층의 저주파 대역 형상 정보를 얻는 하나의 형상 복호화기; 최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 부호화된 형상 정보를 복호화하여 저주파 대역 형상 정보를 스케일러블 복호화하는 다수의 스케일러블 복호화기; 및 복호화된 각 계층의 저주파 대역 형상 정보를 형상적응 웨이블릿 변환하여 각 형상 계층을 얻는 다수의 형상적응 웨이블릿 변환부를 포함함을 특징으로 한다.
본 발명에 의한 상기 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 복호화장치에서, 각 스케일러블 복호화기는 부호화된 형상 정보를 입력받고, 현재 계층의 형상 정보 및 하위 계층의 형상 정보를 블록으로 나누는 수단; 형상 정보 내의 각 블록을 경계화하는 수단; 경계화된 블록 내 각 화소의 배타적 논리합 정보의 이용 가능성에 따른 부호화 모드를 산술복호화하는 수단; 부호화 모드가 격주사선 부호화 모드인 경우, 블록 내 각 화소를 격주사선 순서에 따라 스캔하면서 배타적 논리합 정보를 이용할 수 있으면 그 배타적 논리합 정보에 의해 복호화하고, 그렇지 않으면 문맥 정보를 구하고 산술복호화하는 수단; 및 부호화 모드가 순차주사선 부호화 모드의 경우, 블록 내 각 화소를 순차주사선 순서에 따라 스캔하면서 문맥 정보를 구하고 산술복호화하는 수단을 구비함을 특징으로 한다.
상기의 또 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화하는 방법은 (a) 임의의 형상을 갖는 입력객체를 일정 크기의 타일로 나누고, 제어 성분을 분류하는 단계; (b) 각각의 타일에 대한 제어신호를 부호화하는 단계; (c) 각각의 타일에 대하여, 형상 및 텍스쳐 정보를 웨이블릿 변환하고 각 계층의 값을 스케일러블 부호화하여 타일 내부의 객체 정보를 부호화하는 단계; 및 (d) 각각의 타일에 대하여 부호화된 비트스트림을 순차적으로 연결하는 단계를 포함하는 것을 특징으로 한다.
상기의 또 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화된 비트스트림을 복호화하는 방법은 (a) 부호화된 비트스트림을 입력으로 받아 객체 단위로 나누고, 각 객체에 대한 비트스트림에서 제어 성분과 다수의 타일 성분을 나누는 단계; (b) 상기 제어 성분을 복호화하는 단계; (c) 각각의 타일 성분에 대하여, 형상 및 텍스쳐 정보를 스케일러블 복호화하여 타일 내부의 객체 정보를 복호화하는 단계; (d) 각각의 타일 성분에 대하여 복호화된 객체 정보를 복호화된 제어 성분을 이용하여 객체별로 합성하는 단계; 및 (e) 다수의 객체 정보를 하나의 화면에 합성하는 단계를 포함함을 특징으로 한다.
상기의 또 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화하는 장치는 임의의 형상을 갖는 입력 객체를 일정 크기의 타일로 나누고, 제어 성분을 분류하는 하나 이상의 타일 분류기들; 상기 타일 분류기에 의해 분류된 제어 성분을 부호화하는 하나 이상의 제어신호 부호화기들; 각 타일 분류기에 의해 나뉘어진 타일을 입력하고, 그 타일 내부의 형상 및 텍스쳐 정보를 웨이블릿 변환하고 각 계층의 값을 스케일러블 부호화하는다수의 영상 부호화기들; 및 각 타일에 대하여 부호화된 비트스트림을 순차적으로 연결하는 멀티플렉서를 포함하는 것을 특징으로 한다.
상기의 또 다른 목적을 달성하기 위하여, 본 발명에 의한 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화된 비트스트림을 복호화하는 장치는 부호화된 비트스트림을 입력으로 받아 객체 단위로 나누고, 각 객체에 대한 비트스트림에서 제어 성분과 다수의 타일 성분을 나누는 디멀티플렉서; 상기 제어 성분을 복호화하는 하나 이상의 제어신호 복호화기들; 타일 성분을 입력하고, 그 타일 내부의 형상 및 텍스쳐 정보를 스케일러블 복호화하는 다수의 정지영상 복호화기들; 객체별로 복호화된 타일 성분을 합성하는 하나 이상의 타일 합성기들; 및 상기 타일 합성기에 의해 합성된 다수의 객체 정보를 하나의 화면에 합성하는 객체 합성기를 포함함을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.
도 1a에 의하면, 본 발명에 의한 웨이블릿 변환을 이용한 정지 영상 부호화기의 일실시예는 휘도 형상 스케일러블 부호화기(103), 웨이블릿 변환을 이용한 휘도 텍스춰 웨이블릿 부호화기(104), 4:2:0 혹은 4:2:2 형상정보에 대해서는 색도 영상의 형상/텍스쳐 패딩부(106), 색도 형상 스케일러블 부호화기(107), 웨이블릿 변환을 이용한 색도 텍스춰 웨이블릿 부호화기(108) 및 멀티플렉서(109)를 포함하여 이루어져 있다. 도 1b에 의하면, 부호화된 비트 스트림으로부터 영상을 복원하기 위한 웨이블릿 변환을 이용한 정지 영상 복호화기의 일실시예는 휘도 형상 스케일러블 복호화기(113), 휘도 텍스춰 웨이블릿 복호화기(114), 색도 형상 스케일러블 복호화기(116), 색도 텍스춰 웨이블릿 복호화기(117)를 포함하여 이루어져 있다.
4:2:0 또는 4:2:2와 같은 포맷의 칼라 영상에 대해서, 각 스케일러블 계층에서의 칼라의 없어짐 현상을 해결하기 위해서는 형상 및 텍스춰 정보의 패딩이 요구된다. 도 2에 의하면, 형상 및 텍스춰 정보의 패딩은 휘도(Luminance) 성분에 대한 형상 정보를 다운샘플링하여 색도(Chrominance) 성분에 대한 형상 정보를 얻고, 이와 같이 얻은 색도 성분에 대한 형상 정보를 블록 단위로 확장하고, 색도 성분에 대한 형상 정보, 확장된 색도 성분에 대한 형상 정보 및 색도 성분에 대한 텍스쳐 정보를 이용하여 수평, 수직 방향의 반복 패딩하는 과정으로 구성된다.
또한, 도 4에 의하면, 스케일러블 형상 부호화 과정은 형상 정보의 웨이블릿 변환과정 및 변환된 각 계층의 저주파 대역 형상 정보를 저해상도의 형상 정보로부터 순차적으로 부호화하여 비트스트림을 출력하는 과정으로 구성되어 있다. 형상블록의 스케일러블 부호화 과정은 블록단위로 이루어지며, 도 9a에 도시된 바와 같은 경계화된 입력 형상 블록(binary alpha block: BAB)을 입력으로 받아 블록내 각 화소의 배타적-OR(Exclusive-OR) 정보의 이용 가능성에 따라 부호화 모드를 결정하는 단계, 결정된 부호화 모드에 따라 문맥 정보를 구하고 산술부호화하는 단계를 포함한다. 결정된 부호화 모드가 격주사선(interleaved scan-line: 이하 ISL이라 한다) 부호화 방법인 경우 도 12와 같이 블록내 화소를 격주사선(interleaved scan-line) 순서에 따라 문맥 정보를 구하고 산술부호화(arithmetic coding)하며, 부호화 모드가 순차주사선(raster scan-line : 이하 RSL이라 한다) 부호화 방법인경우 도 14와 같이 블록내 화소를 순차주사선(raster scan-line) 순서에 따라 문맥 정보를 구하고 산술부호화한다.
도 5에 의하면, 스케일러블 형상 복호화 과정은 부호화된 비트스트림을 입력으로 받아 이를 하위 계층으로부터 순차적으로 스케일러블 복호화하여 각 계층의 저주파 형상정보를 얻는 과정과 이들 복원된 저주파 대역의 형상정보로부터 텍스춰정보의 복원을 위한 웨이블릿 변환된 형상정보 및 복원 형상을 얻는 과정으로 되어있다. 형상블록의 스케일러블 복호화 과정은 블록단위로 이루어지며, 도 9a에 도시된 바와 같은 부호화된 입력 비트스트림을 경계화된 입력 형상 블록(binary alpha block: BAB)으로 재구성하는 단계, 부호화 모드에 따라 문맥정보를 구하고 산술복호화하는 단계를 포함한다. 이때, 부호화 모드가 ISL 부호화 방법인 경우 도 13와 같이 블록내 화소를 격주사선(interleaved scan-line) 순서에 따라 문맥 정보를 구하고 산술복호화(arithmetic decoding)하여 화소를 복원하고, 부호화 모드가 RSL 부호화 방법의 경우 도 14와 같이 블록내 화소를 순차주사선(raster scan line) 순서에 따라 문맥 정보를 구하고 산술복호화한다.
큰 입력 영상에 대해서는 사용자가 전체 영상이 아니라 영상의 특정 부분만을 부호화된 전체 데이터가 아니라 부호화된 일부분의 데이타로 적은 계산량과 빠른 속도로 복원하기 위해서는, 형상 및 텍스쳐 정보를 타일(Tile)로 나누고 각각의 타일을 독립적으로 부호화 및 복호화하는 것이 필요하다.
도 17a는 본 발명에 의한 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화기의 다른 실시예로서, 정지 영상을 타일(Tile)로 나누고, 나뉘어진 각각의 타일에 독립적으로 도 1a에 도시된 정지 영상의 스케일러블 부호화기를 적용하여 부호화하는 타일 연산을 포함한 객체기반 정지 영상 부호화기의 전체 구조를 나타낸다. 도 17a에 의하면, 다수의 타일 분류기(1701, 1711)는 하나 이상의 입력 객체(object)(1700, 1710)을 타일(tile) 단위로 나누고, 제어신호 부호화기(1702, 1712)는 타일 분류기(1701, 1711)에서 생성된 제어신호(control signal)를 부호화한다. 각 타일 분류기(1701, 1711)는 타일 연산을 사용하여 입력 영상을 일정크기로 나눌 때, 4:2:0 영상 포맷을 고려할 경우 색도 성분의 불일치 문제가 발생하지 않도록 타일의 크기가 2로 나누어지게, 즉 2로 나누었을 때 나머지가 0이 되도록 한다. 또한, 각 타일 분류기(1701, 1711)는 해상도 스케일러블(resolution scalable)을 위해서는 웨이블릿 변환의 계층 수가 N이라고 하면 타일의 수평/수직 방향의 크기가 2×(N+1)로 나누어지게 한다. 도 1a에 도시된 다수의 스케일러블 부호화기(1703, 1713)는 대응하는 타일 분류기(1701, 1711)에서 분류된 타일들(타일 0, 타일 1, ..., 타일 M-1 또는 타일 0, 타일 1, ..., 타일 N-1)을 부호화한다. 각각의` 입력 객체에 대하여 부호화된 비트스트림은 하위 멀티플렉서(1704, 1714)에 의해 순차적으로 연결되고, 상위 멀티플렉서(1720)는 모든 입력 객체에 대하여 부호화된 비트스트림(1730)을 구하여 전송한다.
도 17b는 도 17a의 역과정으로서, 부호화된 비트스트림의 일부분을 이용하여 작은 계산량으로 영상의 특정 부분을 복호화하는 타일 연산을 포함한 객체기반 정지 영상 복호화기의 전체 구조를 나타낸다. 도 17b에 의하면, 상위 디멀티플렉서(1740)는 입력된 비트스트림(1730)을 부호화된 객체 단위로 나눈다.다수의 하위 멀티플렉서들(1750, 1760)은 각각 하나의 객체에 대한 비트스트림을 제어신호 성분과 다수의 타일 성분으로 나눈다. 제어신호 복호화기(1751)는 대응하는 하위 멀티플렉서(1750, 1760)로부터의 제어신호 성분을 입력받아 복호화하고, 도 1b에 도시된 다수의 스케일러블 부호화기들(1752, 1761)은 각각 대응하는 하위 멀티플렉서(1750, 1760)로부터의 타일 성분을 입력받아 복호화한다. 다수의 타일 합성기(Tile Compositor)(1753, 1763)는 각각 대응하는 스케일러블 부호화기들(1752, 1761)로부터 하나의 객체에 관한 타일 성분(타일 0, 타일 1, ..., 타일 M-1 또는 타일 0, 타일 1, ..., 타일 N-1) 및 제어 성분을 이용하여 대응하는 객체를 합성한다. 객체 합성기(1780)은 다수의 타일 합성기(1753, 1763)에 의해 합성된 다수의 객체들을 합성하여 최종 출력 영상(1790)을 얻는다.
이하에서, 본 발명의 동작원리를 설명하기로 한다.
도 1은 웨이블릿 변환을 이용한 정지영상 부호화기의 전체 구조를 나타낸다.
도 1a에 도시된 바와 같이, Shape_enable(102)=1이면 입력영상(101)의 휘도(Luminance) 성분에 대한 형상 정보가 스케일러블 부호화되고, 휘도 성분에 대한 텍스춰 정보가 휘도 형상 스케일러블 부호화기(103)에서 웨이블릿 변환된 형상 정보를 이용하여 웨이블릿 도메인 상에서 부호화된다. 만약 Shape_enable(102)=0이면, 형상 정보없이 텍스춰 정보만이 부호화된다.
색도(Chorminance) 성분에 대한 텍스춰 정보의 부호화는 항상 이루어진다. 색도 성분에 대한 형상 정보의 부호화여부는 Shape_enable & Chroma_shape_enable(105)의 조건에 따라 결정된다. 이 조건을 만족되면, 색도 성분에 대한 형상 정보 및 텍스춰 정보를 패딩(Padding)한 후, 패딩된 색도 성분에 대한 형상 정보를 스케일러블 부호화한다. Shape_enable & Chroma_shape_enable(105)의 조건은 입력 영상이 임의의 형상을 갖고 스케일러블 부호화기(103, 107)에 구비된 웨이블릿 필터의 형태가 홀수 대칭 필터(odd symmetry filter)이어서 색도 성분에 대한 형상 정보의 부호화가 필요한 경우에 만족한다. 스케일러블 부호화기(103, 107)에 구비된 웨이블릿 필터의 형태가 짝수 대칭 필터(even symmetry filter)의 경우는 각 계층의 휘도 성분의 형상 정보로부터 색도 성분의 형상 정보를 얻을 수 있으므로 별도의 형상 정보의 부호화는 필요로 하지 않는다. 부호화된 비트스트림은 멀티플렉서(109)를 통해 채널로 보내진다.
부호화된 비트 스트림(110)의 복원은 도 1b에 도시된 바와 같이 이루어진다. 부호화된 비트스트림(110)이 디멀티플렉서(111)를 통해 입력되면, 우선 Shape_enable(112)의 조건에 따라 휘도성분에 대한 형상정보가 스케일러블 복호화되고, 복호화된 휘도성분에 대한 형상 정보를 이용하여 휘도성분에 대한 텍스춰 정보가 웨이블릿 도메인 상에서 복호화된다. 만약 Shape_enable(112)의 조건을 만족하지 않으면 형상 정보없이 텍스춰 정보만이 복호화된다.
색도 성분의 경우에 대해서 텍스춰 정보의 복호화는 항상 이루어진다. 색도성분의 형상정보에 대해서는 Shape_enable & Chroma_shape_enable(115)의 조건에 따라 복호화 여부가 결정되는데, 이 조건을 만족하면 색도 성분에 대한 형상 정보가 스케일러블 복호화된다. 각 계층에서의 복호화된 형상은 텍스춰 정보의 복호화에 이용된다. 조건 Shape_enable & Chroma_shape_enable(115)는 조건 Shape_enable & Chroma_shape_enable(105)와 같다.
도 2는 도 1a의 색도 성분에 대한 형상 및 텍스춰 정보의 패딩과정을 나타낸 것이다. 원영상(201)이 입력되면, 우선 휘도 성분에 대한 형상 정보가 4:1 다운샘플링되고(202 단계), 다운샘플링된 형상 정보가 블록 단위로 확장된다(204 단계). 블록의 한변의 크기는 B=2(scal_level-1)과 같다. 여기서 scal_level은 스케일러블 계층수를 나타낸다. 도 3a에 블록단위 확장의 한 예가 도시된다. 도 3a에서 다운샘플링된 형상 정보(301)는 블록단위로 나누어진 영역(302)만큼 확장된다. 확장된 색도 성분에 대한 형상 정보의 경우 다운샘플링된 형상 정보(301)와 확장된 영역(302) 사이의 영역에는 텍스춰 정보가 존재하지 않는다. 이를 보정하기 위해, 도 2에 의하면 204 단계에서 확장된 색도 성분에 대한 형상 정보, 202 단계에서 다운샘플링된 색도 성분에 대한 형상 정보(203) 및 입력된 색도 성분의 텍스춰 정보(205)를 이용하여 영역 기반의 수평 및 수직 방향의 패딩(206 및 207 단계)을 하여 최종 정보(208)를 얻는다.
패딩은 텍스춰 정보가 존재하지 않는 위치에 대하여 텍스춰 정보가 존재하는 인접한 위치의 텍스쳐 정보를 이용하여 보정해 주는 작업이다. 도 3b에 의하면, 원래의 색도 성분 영상(303)과 확장된 영상(304)이 있을 때, 두 영역에 동시에 존재하는 A영역(305)의 경계의 텍스쳐 정보를 이용하여 B(306)영역의 텍스춰 정보를 수평/수직 방향으로 패딩해준다. 도 3b에서 텍스춰 정보의 참조를 화살표로 나타내었다. 수평 방향으로의 반복 패딩(Repetitive Padding)의 자세한 과정은 다음과같이 나타낼 수 있다.
for(y=0; y<M; y++){
for(x=0; x<N; x++){
if(ref_shape[y][x]=='1'){
if(s[y][x]==1){ hor_pad[y][x] = d[y][x]; s'[y][x]=1; }
else {
if( s[y][x']==1 && s[y][x'']==1) {
hor_pad[y][x] = (d[y][x'] + d[y][x'']) // 2;
s'[y][x]=1;
} else if (s[y][x']==1){
hor_pad[y][x] = d[y][x']; s'[y][x] = 1;
} else if(s[y][x'']==1){
hor_pad[y][x] = d[y][x'']; s'[y][x]=1;
}
}
}
}
}
여기서 ref_shape[][]은 확장된 형상정보 값이고, s[][]는 휘도 성분에 대한 형상 정보로부터 다운샘플링하여 얻은 형상 정보이고, d[][]는 텍스춰 정보를 의미한다. hor_pad[][]는 수평방향의 패딩후 얻는 영상값을 나타낸다. x'는 현재 위치 x에서 왼쪽 방향으로 가장 가까이 있는 유효한 화소 위치 (s[y][x']==1)이고, x''는 현재 위치 x에서 오른쪽 방향으로 가장 가까이 있는 유효한 화소 위치를 나타내고, M과 N은 영상의 폭과 높이를 나타낸다.
현재 위치에서 왼쪽(혹은 오른쪽)에만 화소값이 존재하면 그 값을 현재 위치의 화소값으로 하고, 왼쪽,오른쪽에 모두 화소값이 존재하면 두 값의 평균값을 이용한다. 수직 방향으로의 반복 패딩(Repetitive Padding) 과정도 수평방향과 비슷하게 다음과 같이 나타낼 수 있다.
for(x=0; x<N; x++){
for(y=0; y<M; y++){
if(ref_shape[y][x]=='1'){
if(s'[y][x]==1) hv_pad[y][x] = hor_pad[y][x];
else {
if( s'[y'][x]==1 && s'[y''][x]==1) {
hv_pad[y][x] = (hor_pad[y'][x] + hor_pad[y''][x]) // 2;
} else if (s'[y'][x]==1){
hv_pad[y][x] = hor_pad[y'][x];
} else if(s'[y''][x]==1){
hv_pad[y][x] = hor_pad[y''][x];
}
}
}
}
}
여기서 s'[][]는 휘도 성분에 대한 형상 정보로부터 다운샘플링하여 얻은 형상 정보를 수평방향으로 확장한 형상 정보이고, hv_pad[][]는 수직방향의 패딩후 얻는 영상값을 나타낸다. y'는 현재 위치 y에서 위쪽 방향으로 가장 가까이 있는 유효한 화소 위치(s'[y'][x]==1)를 나타내고, y''는 현재 위치 y에서 아래쪽 방향으로 가장 가까이 있는 유효한 화소 위치를 나타낸다.
도 4는 웨이블릿 변환을 이용한 형상 정보의 스케일러블 부호화기의 전체 구조를 나타낸다. 입력 영상(401)은 형상적응 웨이블릿 변환(Shape Adaptive Discrete Wavelet Transform:SA-DWT)(403,405,407)을 통해 각 계층에서의 형상 피라미드(402, 404, 406, 408)를 얻는다. 웨이블릿 변환된 각 계층의 형상 정보(404, 406, 408)는 도 1a에서의 텍스춰 웨이블릿 부호화기(104,108)로 입력되어 각 계층의 텍스춰 정보 부호화에 이용된다. 최하위 계층(408)의 저주파 대역 형상 정보(409)는 일반적인 형상 정보 부호화기(410)을 통해 부호화된다. 형상 정보 부호화기의 예로는 문맥정보 기반 산술 부호화기(context-based arithmetic encoding: CAE) 등이 있다. 최상위 계층과 최하위 계층을 제외한 형상 계층들(406, 404)의 저주파 대역 형상 정보(412, 415)와 최상위 계층 형상 정보(402)는 각 계층의 하위계층의 저주파 대역 형상 정보(409, 412, 415)를 이용하여 본 발명에서 제안하는 스케일러블 부호화기(413, 416, 418)에 의해 부호화된다. 각 계층에서 부호화된 비트스트림(411, 414, 417, 419)은 멀티플렉서(420)를 통해 하위 계층에서 상위 계층 순서의 비트스트림(421)으로 구성되어 채널로 보내진다.
도 5는 도 4의 역과정으로 웨이블릿 변환을 이용한 형상 정보의 스케일러블 복호화기의 전체 구조를 나타낸다. 부호화된 비트스트림(501)은 디멀티플렉서(502)에 의해 하위 계층의 비트스트림에서 상위 계층의 비트스트림으로 분류된다. 으로부터 순차적으로 복호화하는 방법을 나타낸다. 최하위 계층의 비트스트림 (503)은 일반적인 형상 복호화기(504)를 통해 저주파 대역의 형상(505)을 얻는데 이용된다. 상위 계층의 비트스트림(507, 511, 515)은 스케일러블 복호화기(508, 512, 516)을 통해 각계층의 저주파 대역(509, 513) 또는 최상위 계층의 형상 정보 (517)를 얻는데 이용된다. 이때 각 계층의 스케일러블 복호화기(508, 512, 516)는 각 계층에 대응하는 부호화된 비트스트림과 하위계층의 저주파 대역 형상 정보(505, 509, 513)를 입력한다. 각 계층에서 웨이블릿 변환된 형상정보를 복원하기 위해서 각 계층의 상위 계층의 저주파 대역 형상 정보(509, 513) 또는 최상위 계층의 형상 정보(517)를 형상 적응 웨이블릿 변환(518, 519, 520)한 후 이들의 LL,LH,HL,HH 대역 정보를 이용하여 각 계층의 복원 형상(506, 510, 514)을 얻는다. 각 계층의 복원 형상들(506, 510, 514)은 도 1b의 텍스춰 웨이블릿 복호화기(114, 117)로 입력되어 텍스춰 성분 복원에 이용된다.
도 6은 일차원 웨이블릿 변환을 이용하여 형상 정보의 피라미드를 구성하는과정과 그 역과정을 설명한 것이다. 형상 정보의 일차원 분할은 웨이블릿 변환 필터의 형태에 따라 방법을 달리한다. 웨이블릿 변환 필터의 형태가 홀수 대칭 필터(odd symmetry filter)인 경우는 입력 신호의 짝수 번째 위치의 화소값은 저주파 대역으로 샘플링되고, 홀수 번째 위치의 화소값은 고주파 대역으로 샘플링된다. 만약에 1 화소길이의 형상 정보가 입력으로 들어오고 이 화소가 홀수 번째 위치에 있다면, 저주파 대역의 화소와 고주파 대역의 화소가 교환된다.
웨이블릿 변환 필터의 형태가 짝수 대칭 필터(even symmetry filter)인 경우는 홀수 대칭 필터인 경우와 마찬가지로 먼저 입력 신호의 짝수 번째 위치의 화소 값은 저주파 대역으로 샘플링되고, 홀수 번째 신호는 고주파 대역으로 샘플링된다. 그리고 연속된 화소값이 1인 세그멘트의 시작점이 홀수 번째 위치에 있으면, 시작점에 있는 고주파 대역과 저주파 대역의 신호가 서로 교환된다. 즉, 각 계층의 저주파 형상 정보간에는 논리합(OR) 연산을 한 것과 같은 효과를 낸다.
입력 영상(601)은 먼적 수직방향으로 일차원 변환(602)을 하여 저주파(L) 대역과 고주파(H) 대역으로 나뉜다. 그 다음에 수평 방향으로 각각의 대역에서 변환(603)을 하면, 저주파(L) 대역에서는 저주파-저주파(LL) 대역과 고주파-저주파(HL) 대역으로 나뉘고, 고주파(H) 대역에서는 저주파-고주파(LH) 대역과 고주파-고주파(HH)대역으로 나뉘어 전체적으로 4개의 대역으로 나뉠 수 있다. 이 과정을 저주파-저주파(LL) 대역에서 반복해서 실행하면 영상의 피라미드 구조(606)을 얻을 수 있다. 한편, 수평 방향의 변환(604)를 먼저하고 수직 방향의 변환(605)을 하여 4개 대역의 영상을 얻을 수도 있다.
도 7은 4:2:0 포맷의 영상에 대한 3계층 스케일러블 형상 부호화 과정을 예시적으로 나타낸 것이다. 도 7에서 참조번호 701은 3계층으로 나뉜 휘도 성분의 웨이블릿 피라미드 영상을 나타내고, 참조번호 702는 2계층으로 나뉜 색도 성분의 웨이블릿 피라미드 영상을 나타낸다. 색도 성분의 경우 휘도 성분 영상에 비해 크기가 4:1의 크기이므로 계층수가 하나 작다.
휘도 성분의 웨이블릿 피라미드 영상(701)에서 각 계층의 LL-대역 영상 (703, 704, 705, 706)을 구할 수 있다. 마찬가지로 색도 성분의 웨이블릿 피라미드 영상(702)에서 각 계층의 LL-대역 영상(710,711,712)를 구할 수 있다. 스케일러블 부호화/복호화기는 이들 LL-대역 형상 정보를 하위계층에서부터 순차적으로 부호화하고 복호화하는 구조로 되어 있다. 각 피라미드의 최하위 형상 정보(703, 710)는 일반적인 형상정보 부호화기로 부호화된다. 상위 계층의 형상정보(704, 705, 706, 711, 712)는 각 계층의 하위 계층의 형상 정보(703, 704, 705, 710, 711)를 이용(707,708,709,713,714)하여 스케일러블 부호화한다.
웨이블릿 변환 필터의 형태가 짝수 대칭 필터(Even symmetry filter)인 경우, 계층간 웨이블릿 변환(707, 708, 709, 713, 714)을 논리합(OR) 연산으로 표현할 수 있다. 따라서, 휘도 성분의 최상위 계층의 형상 정보(706)로부터 색도 성분의 형상 정보(712)를 논리합(OR) 연산을 통한 다운샘플링으로 표현하면, 휘도 성분의 각 계층의 형상 정보(703, 704, 705)는 색도 성분의 형상 정보(710, 711, 712)와 같다. 이때, 각 스케일러블 계층의 휘도 성분에 대해서 4:1로 다운샘플링된 색도 성분이 정확히 1:1로 매칭(715, 716, 717)되어 시각적으로 문제가 발생하지 않는다. 이 경우는 색도 성분에 대한 스케일러블 형상부호화가 필요없다. 따라서, 이 경우는 도 1a 및 도 1b에서 조건 Shape_enable & Chroma_shape_enable(105, 115)이 0이 되어 색도 성분에 대한 형상 정보의 부호화는 이루어지지 않는다.
웨이블릿 변환 필터의 형태가 홀수 대칭 필터(Odd symmetry filter)인 경우, 계층간 웨이블릿 변환(707, 708, 709, 713, 714)이 논리합(OR) 연산이 아니다. 따라서, 단순히 최상의 계층의 색도 성분에 대한 형상 정보(712)를 휘도 성분에 대한 형상 정보(706)로부터 논리합(OR) 연산으로 다운샘플링하면, 휘도 성분에 대한 형상 정보(704, 705) 중에 4:1로 다운샘플링된 색도 성분에 대한 형상 정보(710, 711)의 일부 값이 존재하지 않는 경우가 발생하므로 시각적으로 형상의 경계영역에서의 칼라 성분이 깨지는 현상이 나타난다. 이러한 현상을 없애기 위해 색도 성분의 최상위 계층의 영상을 얻을 때는, 도 2 및 도 3에 도시된 바와 같이 휘도 성분에 대한 형상 정보를 논리합(OR) 연산에 의해 다운 샘플링한 형상 정보를 계층수에 따라 블록단위로 확장하고 텍스춰 성분은 수평/수직 패딩을 통해 얻은 뒤에 색도 성분에 대한 형상정보도 따로 부호화해야 한다.
도 8a 및 도 8b는 각각 블록단위의 스케일러블 형상 부호화 및 복호화 방법의 순서도를 나타낸 것이다. 도 8a에 의하면, 먼저 입력 형상 블록(Binary Alpha Block:BAB) 데이터(801)에 대하여 경계화가 수행된다(802 단계). 다음, 부호화 모드를 확인하여(803 단계), 격주사선(ISL) 부호화 모드인 경우는 격주사선(ISL) 부호화를 하고(804 단계), 그렇지 않은 경우는 순차주사선(RSL) 부호화를 한다(805 단계). 여기서 격주사선 모드는 부호화할 화소의 좌,우 혹은 상,하의 위치에 있는화소값과의 상관관계를 이용하여 부호화하는 것이고, 순차주사선 모드는 하위 계층의 화소값과의 상관관계를 이용하는 것이다. BAB 데이터를 부호화한 후, 영상의 끝에 도달하였으면 부호화를 끝내어 부호화된 비트스트림(809)을 출력하고, 그렇지 않으면 다음의 BAB 데이터에 대하여 802 단계 이후를 다시 수행한다(808 단계).
도 8b는 도 8a의 역과정을 나타낸다. 도 8a에서 먼저 부호화된 비트스트림(810)과 하위계층이나 이전에 복원된 BAB 데이터(811)를 입력받아 복원될 BAB 주위의 경계를 만든다(812 단계). 다음, 부호화 모드를 확인하여(813 단계), 격주사선 (ISL) 모드인 경우는 격주사선(ISL) 복호화를 하고(814 단계), 그렇지 않은 경우는 순차주사선(RSL) 복호화를 한다(815 단계). BAB 데이터를 복호화한 후, 영상의 끝에 도달하였으면 복호화를 끝내어 복원된 형상 정보(817)를 얻고, 그렇지 않으면 다음의 입력 비트스트림(810)을 받아 812 단계 이후의 과정을 반복한다(818 단계).
도 9는 도 8에서의 입력 형상 블록(binary alpha block: BAB)의 경계를 설정하는 과정을 자세히 설명하기 위한 것이다. 형상 블록의 화소를 부호화하기 위해서는 그 주위의 화소를 참조하여 문맥(context) 정보를 얻어야 한다. 그러나 입력 형상 블록의 경계에 위치한 화소의 경우 문맥정보를 얻기 위한 주위의 화소가 존재하지 않을 수 있다. 따라서, 부호화하기 이전에 입력 형상 블록에 경계영역을 설정해 둔다. 도 9a의 경우 하위 계층 8×8 크기의 블록에 대한 경계화를 나타낸 것이다. 하위 계층의 형상 정보는 모두 존재하므로, 입력 형상 블록(901)의 1×1의 좌-상 경계(left-top border) A(902), 8×1의 상 경계(top border) B(903), 1×1의우-상 경계(right-top border) C(904), 1×8의 좌 경계(left border) D(905), 1×8의 우 경계(right border) E(906), 1×1의 좌-하(left-bottom border) 경계 F(907), 8×1의 하 경계(bottom border) G(908), 1×1의 우-하(right-bottom border) 경계 H(909)는 입력 형상 블록의 주위 화소값들로 그대로 이용된다. 이때, 주위 화소값이 입력영상의 경계를 벗어나면 주위값을 0으로 한다.
도 9b는 격주사선 부호화 모드를 위한 현재 계층의 16×16크기의 입력 형상블록에 대한 경계영역 설정방법을 나타낸 것이다. 입력 형상 블록(910)의 1×2의 좌-상 경계(left-top border) A(911), 16×2의 상 경계(top border) B(912), 1×2의 우-상 경계(right-top border) C(913), 1×16의 좌 경계(left border) D(914)는 이전 입력 형상 블록에서 이미 복원된 화소값을 그대로 이용하면 된다. 입력 형상 블록(910)의 1×16의 우 경계(right border) E(915)와 16×1의 하 경계(bottom border) G(917)는 도 9a에 도시된 하위 계층 형상 블록의 1×8의 우 경계(right border) E(906)와 8×1의 하 경계(bottom border) G(908)로부터 업샘플링을 통해 얻는다. 즉, 1:2의 크기로 변환할 때 1화소를 2화소로 단순 반복하므로써 얻을 수 있다. 현재계층의 1×1크기의 좌-하(left-bottom border) 경계 F(916)와 우-하(right-bottom border) 경계 H(918) 값은 하위계층의 1×1크기의 좌-하(left-bottom border) 경계 F(907)와 우-하(right-bottom border) 경계 H(909)를 그대로 사용한다.
도 9c는 순차주사선 부호화 모드를 위한 현재 계층의 16×16크기의 입력 형상 블록에 대한 경계영역 설정방법을 나타낸 것이다. 도 9b의 격주사선 모드에서와 마찬가지로 입력 형상 블록(919)의 1×1의 좌-상 경계(left-top border) A(920), 16×1의 상 경계(top border) B(921), 1×1의 우-상 경계(right-top border) C(922), 1×16의 좌 경계(left border) D(923)는 이전 형상 블록에서 이미 복원된 화소값을 그대로 이용하면 된다. 도 9c에서의 경계영역 A(920), B(921), C(922)의 크기는 도 9b에서의 그것과는 다르다. 그 이유는 두 부호화 모드의 문맥 정보 위치가 서로 다르기 때문이다. 입력 형상 블록(919)의 1×16의 우 경계(right border) E(924)와 16×1의 하 경계(bottom border) G(926)는 도 9a에 도시된 하위계층의 형상 블록의 1×8의 우 경계(right border) E(906)와 8×1의 하 경계(bottom border) G(908)로부터 1:2의 단순 반복에 의한 업샘플링을 통해 얻는다. 현재계층의 1×1크기의 좌-하(left-bottom border) 경계 F(925)와 우-하(right-bottom border) 경계 H(927) 값은 하위계층의 1×1크기의 좌-하(left-bottom border) 경계 F(907)와 우-하(right-bottom border) 경계 H(909)를 그대로 사용한다.
도 10은 입력 이진 형상 블록에 대해 도 8의 803 단계에서 부호화 모드가 격주사선 방법인지 순차주사선 방법인지를 결정하기 위한 조건을 나타낸다. 두 계층의 형상 블록과 경계영역을 입력으로 하여 조건을 검사해야 한다. 하위 계층의 형상 블록 f1(i,j)의 1×1 크기의 화소 PL(1001)은 현재 계층의 형상 블록 f2(i,j)의 2×2 크기의 화소 P0,P1,P2,P3(1003)으로 대응된다(1002). 형상 블록 f2(i,j)의 경계인 참조번호 1007 및 1008은 형상 블록 f1(i,j)의 경계인 참조번호 1004 및 1005를 반복 업샘플링하여 얻고, 현재 계층의 경계인 참조번호 1009는 하위 계층의 경계인 참조번호 1006로부터 얻는다. 부호화 모드를 결정하기 위해 다음의 수학식 1과 같은 조건식을 검사한다.
여기서 '’는 배타적 논리합 연산자로 두 피연산자가 서로 다를 경우(1과 0혹은 0과 1)인 경우에 1인 값을 갖는다. ‘&&’는 논리곱 연산자를 나타내고 ‘!’은 부정 연산을 나타낸다. 수학식 1의 4가지 조건을 모두 만족하면 격주사선(Interleaved Scan-Line) 부호화 모드로 부호화하고, 그렇지 않은 경우는 순차주사선(Raster Scan-Line) 부호화 모드로 부호화한다.
조건식 1은 두계층간의 화소 PL과 P0이 같을 때 만족하는 것이다. 따라서 격주사선 모드의 경우 PL를 따로 부호화하지 않는다. 일반적으로 형상 정보의 경우, 현재 부호화할 화소의 좌,우 혹은 위,아래 화소와의 상관관계가 크다. 따라서, 부호화할 화소값의 좌,우 화소값들이 서로 같은 값을 갖거나 위,아래 화소값들이 서로 같은 값을 갖을 경우, 이들값과 부호화할 화소값이 서로 같은 값을 갖을 확률이 상당히 크다. 조건식 2,3,4는 부호화할 형상 블록 내에 부호화할 화소값이 주위의 인접한 두 개의 화소가 같을 경우 같은 값만을 갖는가를 검사하는 것이다. 조건식2는 부호화할 화소 P1의 좌,우 화소값이 서로 같은 값을 갖고, 이 값이 부호화할 화소와 같은 값을 갖는가를 검사하는 것이다. 조건식 3은 부호화할 화소 P2의 위,아래 화소값이 서로 같은 값을 갖고, 이 값이 부호화할 화소와 같은 값을 갖는가를 검사하는 것이다. 조건식 3은 부호화할 화소 P3의 위,아래 화소값이 서로 같은 값을 갖고, 이 값이 부호화할 화소와 같은 값을 갖는가를 검사하는 것이다. 결국 조건식 2,3,4를 만족한다는 것은 P1, P2, P3을 부호화할 때 주위의 좌,우 혹은 위,아래의 화소값이 서로 다른 값을 갖는 경우에만 부호화하면 된다는 의미이다. 결국 격주사선 부호화 모드는 격주사선간에 상관관계를 이용하여 부호화할 P1,P2,P3의 수를 줄여줌으로써 부호화 효율을 높일 수 있다.
순차 주사선 모드는 웨이블릿 변환과정에서 저주파 대역으로 화소의 위치의 변화가 일어난 경우와 형상 블록 중 조건식 2,3,4 중에 하나라도 만족하지 않는 경우에 해당한다. 이 경우, 현재 계층의 모든 화소 P0,P1,P2,P3을 하위 계층의 화소값을 이용하여 부호화한다. 부호화 모드 정보 역시 화소 부호화에서와 마찬가지로 산술 부호화를 이용하여 부호화한다. 한편, BAB 부호화 모드를 위한 산술부호화기의 확률분포는 다음과 같다.
static unsigned int scalable_bab_type_prob[2]={59808,44651};
도 11은 격주사선(ISL) 모드의 부호화 방법을 나타낸 순서도이다. 도 9b의 방법으로 경계화된 BAB 데이타(1101)가 입력되면 형상 블록 내의 각 화소가 부호화모드의 부호화 순서대로 부호화된다(1102 단계). 격주사선 부호화 모드의 부호화 순서는 도 15a에 나타나 있다. 우선 도 10의 참조번호 1002와 같은 계층간 화소의 관계를 고려할 때, P0값은 PL로 예측되므로 부호화하지 않고, P1값을 먼저 부호화한다. 그리고 나서 P2와 P3의 순으로 부호화된다. 즉, 부호화될 화소값이 P0값이면(1103 단계) 부호화하지 않고, 그렇지 않으면 부호화될 화소값이 P1값인지를 검사한다(1104 단계). 부호화될 화소값이 P1값이면 그 부호화될 화소값의 좌우의 화소값들이 서로 같은가를 확인한다(1105 단계). 확인된 값들이 같으면 P1값을 부호화하지 않고, 다르면 화소 부호화를 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고 P1값을 산술 부호화(arithmetic coding)한다(1106 및 1107 단계).
화소 P1값 부호화를 위한 문맥(context) 정보는 도 16a에 잘 나타나 있다. 주위의 7개의 화소를 이용하여 다음의 수식으로 문맥정보를 얻는다.
주위화소의 배열을 나타내는 문맥정보의 값에 따라 부호화될 화소 값의 확률분포를 구할 수 있고 이를 입력으로 산술부호화한다. 만약 주위에 1이 많을 경우는 부호화될 화소가 1일 확률이 크므로, 1을 실제로 부호화할 때 비트량의 감축을 얻을 수 있다. 마찬가지로 다른 문맥 형태에서도 부호화할 화소의 비트량을 효율적으로 줄일 수 있다. 격주사선 부호화 모드에서 사용되는 P1값의 문맥 정보에 따른 확률 분포는 다음과 같다.
<확률분포 1>
static unsigned int scalable_xor_prob_1[128]=
{65476,64428,62211,63560,52253,58271,38098,31981,
50087,41042,54620,31532,8382,10754,3844,6917,
63834,50444,50140,63043,58093,45146,36768,13351,
17594,28777,39830,38719,9768,21447,12340,9786,
60461,41489,27433,53893,47246,11415,13754,24965,
51620,28011,11973,29709,13878,22794,24385,1558,
57065,41918,25259,55117,48064,12960,19929,5937,
25730,22366,5204,32865,3415,14814,6634,1155,
64444,62907,56337,63144,38112,56527,40247,37088,
60326,45675,51248,15151,18868,43723,14757,11721,
62436,50971,51738,59767,49927,50675,38182,24724,
48447,47316,56628,36336,12264,25893,24243,5358,
58717,56646,48302,60515,36497,26959,43579,40280,
54092,20741,10891,7504,8109,30840,6772,4090,
59810,61410,53216,64127,32344,12462,23132,19270,
32232,24774,9615,17750,1714,6539,3237,152};
부호화될 화소값이 P2혹은 P3값이면 그 부호화될 화소값의 위, 아래 화소값들이 서로 같은가를 확인한다(1108 단계). 확인된 값들이 같으면 P2혹은 P3값을 부호화하지 않고, 다르면 화소 부호화를 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고 P2혹은 P3값을 산술부호화(arithmetic coding)한다(1109 및 1110 단계). 화소값 P2과 P3부호화를 위한 문맥(context) 정보는 도 16b와 같이 주위의 7개의 화소를 이용하여 수학식 2와 같은 방식으로 구한다. 격주사선 부호화 모드에서 사용되는 P2과 P3값의 문맥 정보에 따른 확률 분포는 다음과 같다.
<확률분포 2>
static unsigned int scalable_xor_prob_23[128]=
{65510,63321,63851,62223,64959,62202,63637,48019,
57072,33553,37041,9527,53190,50479,54232,12855,
62779,63980,49604,31847,57591,64385,40657,8402,
33878,54743,17873,8707,34470,54322,16702,2192,
58325,48447,7345,31317,45687,44236,16685,24144,
34327,18724,10591,24965,9247,7281,3144,5921,
59349,33539,11447,5543,58082,48995,35630,10653,
7123,15893,23830,800,3491,15792,8930,905,
65209,63939,52634,62194,64937,53948,60081,46851,
56157,50930,35498,24655,56331,59318,32209,6872,
59172,64273,46724,41200,53619,59022,37941,20529,
55026,52858,26402,45073,57740,55485,20533,6288,
64286,55438,16454,55656,61175,45874,28536,53762,
58056,21895,5482,39352,32635,21633,2137,4016,
58490,14100,18724,10461,53459,15490,57992,15128,
12034,4340,6761,1859,5794,6785,2412,35};
하나의 화소값의 부호화가 끝나면 이것이 BAB 데이터의 마지막 화소값인지를 검사하여(1111 단계), 마지막이면 부호화된 비트스트림(1112)을 얻고, 그렇지 않으면 새로운 화소에 대하여 1102 단계 이하의 과정을 반복한다.
도 12는 도 11의 역과정으로 격주사선(ISL) 모드의 복호화 방법을 나타낸 순서도이다. 부호화된 비트스트림(1201)과 경계화된 BAB 데이터(1202)가 입력되면, 격주사선 부호화 모드의 부호화 순서대로 복호화된다(1203 단계). 격주사선 부호화 모드의 복호화는 도 15a와 같은 순서로 이루어진다. 먼저 복원될 화소값이 P0값인지 여부를 확인하여(1204 단계), P0값이면 하위 계층의 화소 PL값으로 복원하고(1205 단계), 그렇지 않으면 복원될 화소값이 P1값인지 여부를 확인한다(1206 단계).
복원될 화소값이 P1값이면, 그 화소값의 좌,우의 화소값들(도 16a에서 C3,C4)이 서로 같은가를 확인한다(1207 단계). 도 16a에서의 C3과 C4가 서로 같으면 P1을 좌,우의 화소값(C3또는 C4)으로 복원하고(1208 단계), 다르면 화소 복호화를위한 문맥 정보 및 산술 복호화를 위한 확률값을 계산하고 P1을 산술 복호화(arithmetic decoding)로 복원한다(1209 및 1210 단계). 화소 P1값 복호화를 위한 문맥(context) 정보는 도 16a에 도시된 주위의 7개의 화소들을 이용하여 수학식 2와 같은 방식으로 구한다. 격주사선 부호화 모드에서 사용되는 P1값의 문맥 정보에 따른 확률 분포는 상기한 <확률분포 1>와 같다.
복원될 화소값이 P2혹은 P3값이면, 그 화소값의 위, 아래 화소값들(도 16b의 C1, C5)이 서로 같은가를 확인한다(1211 단계). 도 16b에서의 C1과 C5가 서로 같으면 P2혹은 P3값을 위,아래 화소값(C1또는 C5)으로 복원하고(1212 단계), 다르면 화소 부호화를 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고 P2혹은 P3값을 산술 복호화(arithmetic decoding)로 복원한다(1213 및 1214 단계). 화소 P2과 P3값 복호화를 위한 문맥(context) 정보는 도 16b에 도시된 주위의 7개의 화소들을 이용하여 수학식 2와 같은 방식으로 구한다. 격주사선 부호화 모드에서 사용되는 P2과 P3값의 문맥 정보에 따른 확률분포는 상기한 <확률분포 2>와 같다. 위와 같은 복호화 과정을 거쳐 하나의 화소가 복원되면, 이것이 BAB 데이터의 마지막 화소값인지를 검사하여(1215 단계), BAB 데이터의 마지막이면 복원된 BAB 데이타(1216)를 얻고, 그렇지 않으면 새로운 화소에 대하여 1203 단계 이하의 과정을 반복한다.
도 13은 순차주사선(RSL) 모드의 부호화 방법을 나타낸 순서도이다. 도 9c의 방법으로 경계화된 BAB 데이타(1301)가 입력되면 형상 블록 내의 각 화소가 부호화모드의 부호화 순서대로 부호화된다(1302 단계). 순차주사선 부호화 모드의 부호화 순서는 도 15b에 나타나 있다. 부호화될 화소값이 P0값인지 여부를 확인하여(1303 단계), P0값이면 현재 화소위치에 대응하는 하위계층의 화소값 PL이 0인지 여부를 확인한다(1304 단계). PL값이 0이면 부호화를 하지 않고, 1이면 화소 부호화를 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고 P0값을 산술부호화 (arithmetic coding)한다(1305 및 1306 단계).
상위계층에서 하위계층으로의 웨이블릿 변환과정에서 홀수 대칭 필터(odd symmetry filter)를 사용하는 경우 홀수 번째 위치의 하나의 점은 저주파 대역으로 위치가 바뀌고, 짝수 대칭 필터(even symmetry filter)를 사용하는 경우 홀수 번째 위치의 첫번째 화소가 저주파 성분으로 옮겨간다. 두 경우 모두 하위계층의 저주파 영역에서 0이 1로 바뀌므로 복원할 때는 반대로 저주파 계층의 화소 PL이 1인 경우에만 P0값이 변화될 가능성이 있다. 따라서, PL이 0인 경우는 부호화에서 제외한다.
순차 주사선 부호화를 위한 문맥(context) 정보는 도 16c에 잘 나타나 있다. 하위계층의 5개의 화소와 현재 계층의 부호화할 화소 주위의 4개의 화소를 이용하여 수학식 2와 같은 방식으로 구한다. 순차주사선 방식의 부호화를 위한 부호화될화소의 문맥 정보에 따른 확률 분포는 다음과 같다.
<확률분포 3>
static unsigned int scalable_full_prob[512]={
65524,65478,65524,32768,32768,32768,65464,32768,
32768,32768,32768,32768,32768,32768,32768,32768,
64349,21570,65373,32768,32768,32768,64685,32768,
32768,32768,32768,32768,32768,32768,32768,32768,
65246,64528,60948,64479,26214,32768,16843,32768,
32768,32768,32768,32768,32768,32768,32768,32768,
63498,10078,50130,4010,16384,32768,2773,1316,
32768,32768,32768,32768,32768,32768,32768,32768,
47058,21126,35436,4626,37137,24876,27151,11722,
54032,43538,25645,6858,42976,36599,44237,15996,
38096,25303,21007,5307,8618,19293,3021,2416,
24740,35226,4369,24858,19920,12336,11718,4390,
45487,5313,26464,5354,33556,19876,33099,9713,
15749,7876,40867,36223,27065,10377,42337,9907,
52230,2688,20906,1269,8507,8987,2929,767,
23609,18238,18787,32074,24720,10786,34351,1489,
65519,65524,65363,32768,32768,32768,64171,32768,
65524,65531,32768,32768,32768,32768,32768,32768,
65140,50762,65102,32768,32768,32768,62415,32768,
50218,41801,32768,32768,32768,32768,32768,32768,
64963,65368,59158,64444,32768,32768,15320,32768,
65432,65490,65054,65216,32768,32768,32768,32768,
61586,52398,43664,16798,4369,32768,2261,8287,
46251,53036,33737,26295,32768,32768,32768,32768,
60268,31543,25894,11546,32094,35000,19152,15313,
60467,30803,30501,22027,55068,27925,50009,14617,
62716,34972,23572,13523,5767,22408,2297,7880,
48362,21477,15490,21907,46113,3403,36430,2534,
46798,6086,28318,13929,16384,25405,19032,14342,
31875,8303,43054,27746,30750,11592,45209,6647,
49977,8979,19805,3636,7526,13793,1726,874,
43735,10691,21314,15586,26597,1637,46751,763,
65521,64662,65522,32768,65448,32768,65519,32768,
65519,32768,65425,32768,65518,32768,65531,32768,
64061,24926,65438,32768,65162,32768,65439,32768,
65387,32768,65036,32768,65414,32768,65505,32768,
65211,61440,64686,63898,31500,32768,51716,32768,
54459,32768,50302,32768,36409,32768,39275,32768,
62824,17179,55885,9925,36231,32768,39442,5152,
44395,32768,40960,32768,31267,32768,40015,32768,
37767,21420,58706,9997,47907,16277,31559,4134,
63689,53786,29789,15490,53468,24226,25698,10158,
24246,19795,41227,10169,15452,11259,5422,1509,
42807,52609,37449,27173,20776,10504,18256,3144,
40953,4656,62176,6482,35639,13355,33765,4474,
44149,27748,48824,31490,40902,12039,22817,2077,
46515,3789,49266,5081,15143,12674,4434,337,
43468,28306,31069,29457,37942,6798,8863,280,
65500,65364,65427,32768,64860,32768,65280,32768,
65533,65529,65379,32768,65499,32768,65510,32768,
63851,34810,65361,32768,64111,32768,65290,32768,
63376,46390,64746,32768,65377,56174,65475,32768,
65130,65036,61752,64444,23546,32768,37897,32768,
64164,65499,59443,65255,36359,32768,41795,32768,
60451,46151,49242,18561,21845,32768,24846,11969,
55142,53590,37926,25977,41804,32768,37615,32768,
60289,26751,45180,16830,39394,34740,24237,7623,
65005,61212,31154,37511,63413,31640,57423,8360,
61019,31563,47345,23577,15308,13653,17255,5024,
59892,49587,26933,31950,54850,8587,41904,1255,
56552,9777,52370,16762,17118,35915,33507,7744,
54902,34383,54875,40718,54047,22218,48436,4431,
50112,7519,24647,6361,13569,6303,5215,1078,
49640,21245,39984,26286,45900,4704,23108,206};
부호화될 화소값이 P0값이 아니면 화소 부호화를 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고 P1, P2또는 P3값을 산술부호화(arithmetic coding)한다(1307 및 1308 단계). 하나의 화소값의 부호화가 끝나면 이것이 BAB 데이터의 마지막 화소값인지를 검사하여(1309 단계), 마지막이면 부호화된 비트스트림(1310)을 얻고, 그렇지 않으면 새로운 화소에 대하여 1302 단계 이하의 과정을 반복한다.
도 14는 도 13의 역과정으로 순차주사선(RSL) 모드의 복호화 방법을 나타낸 순서도이다. 부호화된 비트스트림(1401)과 경계화된 BAB 데이터(1402)가 입력되면, 순차주사선 부호화 모드의 부호화 순서대로 복호화된다(1403 단계). 순차주사선 부호화 모드의 복호화는 도 15b와 같은 순서로 이루어진다. 먼저 복원될 화소값이 P0값인지 여부를 확인하여(1404 단계), P0값이면 현재 화소위치에 해당하는 하위계층의 화소값 PL값이 0인지 여부를 확인한다(1405 단계). PL값이 0이면 P0값을 0으로 복원하고, 1이면 화소 복원을 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고 P0값을 산술 복호화(arithmetic decoding)한다(1407 및 1408 단계).
순차주사선 복호화를 위한 문맥(context) 정보는 도 16c에 잘 나타나 있다. 하위계층의 5개의 화소와 현재 계층의 부호화할 화소 주위의 4개의 화소를 이용하여 수학식 2와 같은 방식으로 구한다. 순차주사선 방식의 복호화를 위한 부호화될 화소의 문맥 정보에 따른 확률 분포는 상기한 <확률분포 3>과 같다. 부호화될 화소값이 P0값이 아니면, 화소 복원을 위한 문맥 정보 및 산술 부호화를 위한 확률값을 계산하고, P1, P2또는 P3값을 산술복호화(arithmetic decoding)한다(1409 및 1410 단계). 위와 같은 복호화 과정을 거쳐 하나의 화소가 복원되면, 이것이 BAB 데이터의 마지막 화소값인지를 검사하여(1411 단계), BAB 데이터의 마지막이면 복원된 BAB 데이타(1412)를 얻고, 그렇지 않으면 새로운 화소에 대하여 1403 단계 이하의 과정을 반복한다.
도 17a는 타일 연산을 포함한 객체기반 정지 영상 부호화기의 전체 구조를 나타낸다. 입력 객체0(1700)를 타일(tile) 단위로 나누고, 제어 신호(control signal)를 부호화한다. 각각의 타일(타일 0, 타일 1, ..., 타일 M-1)에 대해 도 1에 도시된 바와 같은 정지영상 부호화기(1703)로 부호화하고, 부호화된 각각의 비트스트림을 하위 멀티플렉서(1704)를 통해 연결한다. 부호화할 입력 객체가 더 존재하면(예를 들어, 입력 객체1(1710)), 같은 방식으로 부호화하고 부호화된 비트스트림을 구한다. 이들 부호화된 비트스트림는 최종적으로 상위 멀티플렉서(1720)에 의해 전송할 비트스트림(1730)으로 연결된다.
도 17b는 도 17a의 역 과정으로써, 부호화된 비트스트림으로부터 복원 영상을 얻는 과정을 보여주는 블럭도이다. 입력된 비트스트림(1730)은 우선 상위 디멀티플렉서(1740)로부터 부호화된 객체 단위로 나뉘어진다. 각 객체에 대해 다시 하위 디멀티플렉서(1750)을 통해 제어신호 성분과 타일 성분으로 나뉘어 복원된다. 각각의 타일 성분(타일 0, 타일 1, ..., 타일 M-1)을 합성하여 각 객체에 대한 복원 영상을 얻는다. 각각의 복원 영상은 객체 합성기(Object Compositor)(1780)에 의해 최종 출력 영상(1790)으로 합성되어 출력된다.
도 17c는 임의의 형상을 갖는 객체를 타일(tile) 구조로 나눈 결과를 보여 준다. 입력 영상(C01)을 타일 구조로 나누면 각각의 타일은
1) 타일 내 형상 정보가 존재하지 않는 경우(C02),
2) 타일 내 형상 정보가 부분적으로 존재하는 경우(C03) 및
3) 타일이 객체의 내부인 경우(C04)
로 나눌 수 있다. (C05)는 실제 부호화가 필요한 타일들을 나타낸 것이다. 각각의 타일을 부호화기에서의 하나의 입력 영상처럼 독립적으로 부호화하면 된다. 여기에 필요한 제어신호 등도 부가적으로 부호화하여 출력 영상을 제어할 수 있도록 한다.
도 18a 내지 도 18f는 본 발명에 의한 웨이블릿 변환을 이용한 정지 영상에 대한 스케일러블 부호화기의 전체 흐름을 나타내는 비트스트림 문법(BitstreamSyntax)을 도시한다. 여기서 비트스트림은 부호화기에 의해 압축된 데이터를 '0'과 '1'의 이진값 형태로 나타낸 것이다.
도 18a의 StillTextureObject()는 부호화기의 전체 동작 과정을 나타내는 비트스트림 문법(Bitstream Syntax)을 포함하고 있다. (L001)는 부호화할 객체를 다른 객체와 구별해 주기 위한 시작 코드(start code)를 나타낸다. 부호화 된 정보 안에 여러 객체 정보가 존재하면 이 시작코드로 구분한다. 따라서, 각각의 객체에는 고유의 이름을 할당되어 하나의 객체가 다른 객체와 구별될 수 있게 된다. (L002)의 StillTextureHeader()는 부호화할 때 필요한 각종 부가 정보를 나타내며 도 18b에 자세히 나타나 있다. (L003)에서 (L007)은 입력 형상 정보가 임의의 형상이 아닐 경우 입력 영상의 크기 정보를 나타낸다. 입력 형상 정보가 임의의 형상일 경우는 (L008)에서 (L019)와 같은 과정을 거친다. 여기서는 형상 정보를 둘러싸는 경계영역의 시작점 및 크기 그리고 타일을 사용하지 않을 경우의 형상 정보의 부호화 과정을 포함한다. 형상 정보의 복호화 shape_object_decoding()는 도 18e에 자세히 나타나 있다. (L020) 및 (L021)은 타일 연산 시 필요한 각종 제어신호를 나타내며 도 18c에 자세히 나타나 있다. 실제 타일 내 정보의 부호화는 (L022)의 StillTextureTile()에서 이루어지며 도 18d에 자세히 설명되어 있다.
도 18b의 StillTextureHeader()는 부호화 시에 필요한 각종 부가 정보를 나타낸다. (L101)은 타일 연산을 사용하는가의 여부를 나타낸다. (L102)는 부호화 되는 객체의 식별자(ID)를 나타낸다. (L103)의 marker_bit는 부호화되는 다른 데이터에 시작 코드가 존재하지 않도록 하기 위한 값이다. (L104)에서 (L108)은 웨이블릿 변환 및 부호화 관련 각종 부가 정보를 나타낸다. (L109)는 입력 객체의 형상 정보의 유무를 나타내어 형상정보의 부호화의 여부를 알려준다. (L110)에서 (L128) 사이의 문법은 스케일러블 관련 부가정보 및 필터링 계수의 입력에 관한 것이다.
도 18c의 StillTextureTileControl()은 타일 연산에 필요한 각종 제어신호 (control signal)를 나타낸다. (L201)에서 (L206)은 타일의 수직, 수평 방향 크기 및 입력 영상 내에서 부호화할 타일의 수를 나타낸다. 영상 내 사용자에 의하여 임의로 지정된 타일을 비트스트림에서 직접적으로 복원하기 위하여, (L207)에서 (L215)는 각각의 타일 부호화에 사용된 비트량을 바이트(byte) 단위로 나타낸다. 32비트 길이의 수를 표현하기 위해 두 개의 16비트로 나누어 표현한다.
도 18d의 StillTextureTile()는 타일 내 형상 및 텍스쳐 정보의 실제 부호화 과정을 나타낸다. (L303)은 각각의 타일 정보의 시작 코드를 나타내어 (L304)의 식별자(ID)와 더불어 사용자가 원하는 타일 정보를 다른 타일 정보로부터 구별하여 복원할 수 있게 해 준다. (L307)은 도 17c에 도시된 바와 같이 타일내의 세 가지의 형상의 종류를 나타낸다. (L310)에서 (L312)는 타일 내의 형상정보가 부분적으로 존재하는 경우('Boundary Tile')에 한하여 타일 내의 형상 정보를 본 발명에 의한 스케일러블 부호화기를 이용하여 부호화하는 과정을 나타낸다. (L314)의 StillTextureDecoding()은 부호화된 형상 계수의 위치 정보를 이용하여 텍스쳐 (texture) 성분에 대한 부호화과정을 나타내는데, 이는 도 18f에 자세히 나타나 있는다. 이것은 본 발명의 내용에 직접적인 관련이 없으므로 자세한 설명은 생략한다.
도 18e의 shape_object_decoding()은 형상 정보의 스케일러블 복호화 과정을 나타낸다. (L401)에서 (L417)은 기저 계층의 형상 정보 부호화 과정을 나타낸다. (L406)과 (L407)은 영상내 수직/수평방향의 형상 블록의 개수를 나타내는데, 타일 (tile) 연산을 사용하지 않을 경우(tiling_disable==1)에는 도 18a의 (L013)과 (L015)의 object_width와 object_height 값을 사용하고, 타일 연산을 사용할 경우에는 도 18c의 (L201)와 (L203)의 tile_width와 tile_height 값을 사용한다. 또한 도 18b의 (L106)에서의 웨이블릿 변환의 계층수를 나타내는 wavelet_decomposition_levels이 이용된다. 기저 계층의 형상 정보 부호화 과정은 다음과 같이 나타낼 수 있다.
int shape_base_layer_height_blocks()
{ int height;
if(tiling_disable==1)
height=((object_height>>wavelet_decomposition_levels)+15) / 16;
else
height = ((tile_height>>wavelet_decomposition_levels)+15) / 16;
return height;
}
int shape_base_layer_width_blocks()
{ int width;
if(tiling_disable==1)
width = ((object_width>>wavelet_decomposition_levels)+15) / 16;
else
width = ((tile_width>>wavelet_decomposition_levels)+15) / 16;
return width;
}
여기서 '>>'는 쉬프트(shift) 연산자 이다.
(L417)에서 (L439)는 상위 계층에서의 형상정보의 스케일러블 부호화과정을 나타낸다. 이 경우 부호화 모드에 따라 격주사선(ISL) 부호화 혹은 순차주사선(RSL)으로 나누어 부호화한다. (L421),(L422)과 (L434),(L435)는 상위계층에서 부호화할 형상 블럭의 수직/수평방향의 개수를 나타낸다. 이 값들은 기저 계층의 경우에서와 같이 타일(tile) 연산을 사용하지 않을 경우(tiling_disable==1)에는 도 18a의 (L013)과 (L015)의 object_width와 object_height 값을 사용하고, 타일 연산을 사용할 경우에는 도 18c의 (L201)와 (L203)의 tile_width와 tile_height 값을 사용한다. 또한 도 18b의 (L106)에서의 웨이블릿 변환의 계층수를 나타내는 wavelet_decomposition_levels가 이용된다. 상위 계층에서의 형상정보의 스케일러블 부호화과정은 다음과 같이 나타낼 수 있다.
int shape_enhanced_layer_height_blocks()
{ int height;
if(tiling_disable==1) {
height=
((object_height>>(wavelet_decomposition_levels-L+1))+bab_size-1)
/ bab_size;
} else {
height=
((tile_height>>(wavelet_decomposition_levels-L+1))+bab_size-1)
/ bab_size;
}
return height;
}
int shape_enhanced_layer_width_blocks()
{ int width;
if(tiling_disable==1) {
width=
((object_width>>(wavelet_decomposition_levels-L+1))+bab_size-1)
/ bab_size;
} else {
width=
((tile_width>>(wavelet_decomposition_levels-L+1))+bab_size-1)
/ bab_size;
}
return width;
}
여기서 L은 상위계층 형상 정보에서 몇 번째 계층에 해당하는가를 나타낸다. 그리고 bab_size는 상위계층의 형상 블럭의 수직/수평 방향의 크기를 나타내는데 이는 입력영상의 크기에 따라 다음과 같이 나타낼 수 있다.
if(tiling_disable==1) {
layer_width = object_width>>(wavelet_decomposition_levels-L+1);
layer_height= object_height>>(wavelet_decomposition_levels-L+1);
} else {
layer_width= tile_width>>(wavelet_decomposition_levels-L+1);
layer_height= tile_height>>(wavelet_decomposition_levels-L+1);
}
if(layer_width>=1024 || layer_heght>=1024) bab_size = 64;
else if(layer_width>=512 || layer_height>=512) bab_size = 32
else bab_size = 16
이것은 입력 영상의 크기가 너무 클 경우에 작은 블록으로 나누어 부호화 하면, 부호화 효율이 떨어지므로 입력 영상의 크기에 따라 가변적으로 블록의 크기를 증가시켜 이러한 단점을 줄이기 위해 적용되었다.
(L424)와 (L436)의 enh_binary_arithmetic_decode()는 상기의 주위 화소의 문맥 정보 및 산술 부호화기를 이용한 스케일러블 부호화기의 형상 블록 안의 실제 부호화 과정을 나타낸다. 첫 번째 값은 부호화되는 형상 블럭이 격주사선(ISL) 부호화 모드인지 순차 주사선(RSL) 모드인지를 나타내고, 나머지는 화소가 형상 정보인지 아닌지를 주위의 문맥정보를 이용하여 산술 부호화하는 과정을 포함한다.
도 18f의 StillTextureDecoding()은 도 18e에서 얻은 형상정보를 이용하여 텍스쳐 정보의 웨이블릿 기반 스케일러블 부호화하는 과정을 나타낸다. 이 과정에 대한 자세한 내용은 본 발명의 범위를 넘어서므로 생략한다.
본 발명의 웨이블릿을 이용한 정지 영상의 스케일러블 부호화기에 의하면, 각 계층의 형상정보를 부호화하는데 있어 부호화하는 계층의 형상내 격주사선 화소간 혹은 두 계층의 화소들간의 특성을 이용하여 부호화하는 화소수를 줄여줌으로써 효율적인 부호화가 가능하다. 따라서, 정지 영상의 텍스춰 정보 뿐만 아니라 형상 정보도 스케일러블 부호화에 의해 영상의 해상도에 따른 순차적 복원이 가능하며, 이는 디지탈 라이브러리 등 대용량의 데이터베이스에서 영상 검색 등에 효율적으로 적용될 수 있다. 결국, 본 발명의 형상정보에 대한 스케일러블 부호화기는 다른 부호화기에 비해 부호화되는 화소수를 줄일 수 있고, 복잡도도 낮아졌다.
또한, 본 발명에 의하면, 입력영상내의 특정 부분만을 독립적으로 적용한 타일 연산을 사용하므로써, 부호화된 비트스트림 중 영상의 원하는 부분에 대응하는 일부분만을 적은 계산량 및 빠른 속도로 복원할 수 있다. 이러한 타일 연산에 의해 그 응용분야가 임의의 형상을 갖는 정지영상에까지 확대되었고, 특히 영상 크기가 큰 객체에 대해 메모리 용량이나 계산량을 줄여서 원하는 부분을 복원할 수 있다. 이러한 확장성은 요즘 새로이 각광 받는 IMT-2000(International Mobile Telecommunications 2000) 단말기 등의 영상 통신에 효율적으로 적용할 수 있다. 단말기의 해상도는 채널의 대역의 한계로 그 크기가 제한되므로 큰 영상의 일부분을 적용하는데 상기의 타일 연산을 사용함이 바람직하다.
본 발명의 부호화 효율은 다음의 실험예에서 잘 나타난다. 표1, 2는 Kids와 Fish & Logo (352×240,SIF) 영상에 대한 각 계층의 형상정보 비트량을 나타낸다. 계층수가 5인 홀수 대칭 필터(odd symmetry filter)와 짝수 대칭 필터(even symmetry filter)를 사용한 경우, 본 발명에서의 스케일러블 부호화기의 각 계층에서의 형상정보의 비트량과 스케일러블 부호화가 아닌 일반적인 형상정보 부호화기의 예로 CAE(context-based arithmetic encoding) 방법의 총 형상 비트량과 비교하였다. 홀수 대칭 필터의 경우는 색도 성분에 대한 형상 정보도 부호화하지만, 짝수 대칭 필터의 경우는 휘도 성분에 대한 형상 정보만을 부호화하여도 색도 성분에 대한 형상 정보를 함께 복원할 수 있다. 그럼에도 불구하고, 실험결과에서는 두개의 필터 모두 비슷한 부호화 성능을 보여 주었다. 그것은 짝수 대칭 필터의 경우 상대적으로 순차주사선 (RSL)부호화 모드가 많아, 전체적으로는 짝수 대칭 필터의경우 부호화할 화소수가 홀수 대칭 필터의 경우 부호화할 화소수와 별 차이를 나타내지 않았기 때문이다. CAE 부호화기에 비하여, 본 발명의 부호화기에서 대략 17~25정도 비트수가 늘어난 것을 볼 수 있다. 그러나, 하위계층에서 형상 정보에 대한 비트량 및 복잡도를 줄일 수 있어, 텍스춰 정보에 대한 스케일러블 부호화기와 더불어 효율적인 해상도 스케일러블 부호화기를 구현할 수 있다.
도 19a 및 도 19b는 계층 3에서의 Kids 영상의 복원 결과를 보여주고, 도 20a 및 도 20b는 계층 3에서의 Fish & Logo 영상의 복원 결과를 보여준다. 도 19a 및 도 20a 영상은 색도 성분에 대한 형상 정보를 얻을 때 휘도 성분의 형상정보로부터 논리합(OR) 연산을 통한 다운샘플링만을 한 결과로서, 해상도 스케일러블 구조의 중간 계층에서는 휘도 영상의 경계에 해당하는 색도 영상 값이 존재하지 않아 칼라가 깨지는 현상이 나타난 것을 볼 수 있다. 도 19b 및 도 20b 영상은 도 2 및 도 3과 같은 색도 영상 보정과정을 통해 상기 현상을 없앤 결과를 도시한 것이다.

Claims (34)

  1. 웨이블릿 변환을 이용한 정지영상에 대한 형상 정보를 스케일러블 부호화하는 방법에 있어서,
    (a) 휘도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 단계;
    (b) 상기 (a) 단계에서 웨이블릿 변환된 휘도 성분에 대한 형상 정보를 이용하여 휘도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 단계;
    (c) 휘도 성분에 대한 형상 정보와 색도 성분의 텍스쳐 정보를 이용하여 색도 성분에 대한 형상 정보와 텍스쳐 정보를 패딩하는 단계;
    (d) 패딩된 색도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 단계; 및
    (e) 상기 (d) 단계에서 웨이블릿 변환된 색도 성분에 대한 형상 정보를 이용하여 색도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 단계를 포함함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  2. 제1항에 있어서, 상기 (a) 단계 및 상기 (d) 단계는
    (a1) 형상 정보를 입력하고, 입력된 형상 정보를 형상적응 웨이블릿 변환하여 각 형상 계층을 얻는 단계;
    (a2) 최하위 형상 계층의 저주파 대역 형상 정보를 형상 부호화하는 단계;
    (a3) 최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 저주파 대역 형상 정보를 스케일러블 부호화하는 단계; 및
    (a4) 부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 전송하는 단계를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  3. 제2항에 있어서, 상기 a3 단계는
    (a31) 현재 계층의 저주파 대역 형상 정보 및 하위 계층의 저주파 대역 형상 정보를 블록으로 나누는 단계;
    (a32) 형상 정보 내의 각 블록을 경계화하는 단계; 및
    (a33) 경계화된 각 블록의 부호화 모드를 결정하고, 결정된 부호화 모드를 산술 부호화하고, 결정된 부호화 모드에 따라 각 블록을 부호화하는 단계를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  4. 제3항에 있어서, 상기 부호화 모드는
    하위 계층의 형상 블록 f1(i,j)의 1×1 크기의 화소값 PL이 현재 계층의 형상 블록 f2(i,j)의 2×2 크기의 화소값 P0, P1, P2, P3에 대응된다고 할 때, 하위 계층의 형상 블록 내의 모든 화소에 대하여 다음 조건들
    이 모두 만족되면 격주사선 부호화 모드로 결정되고, 그렇지 않으면 순차주사선 부호화 모드로 결정되는 것을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  5. 제4항에 있어서, 상기 부호화 모드가 격주사선 부호화 모드인 경우 상기 (a33) 단계는 블록의 각 화소에 대하여,
    (a331) 부호화될 화소값이 P0이면, P0을 부호화하지 않는 단계;
    (a332) 부호화될 화소값이 P1이면, 그 화소값의 좌,우의 화소값이 다른 경우에만 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P1을 산술 부호화하는 단계; 및
    (a333) 부호화될 화소값이 P2또는 P3이면, 그 화소값의 상,하의 화소값이다른 경우에만 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P2또는 P3을 산술 부호화하는 단계를 수행함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  6. 제4항에 있어서, 상기 부호화 모드가 순차주사선 부호화 모드인 경우 상기 (a33) 단계는 블록의 각 화소에 대하여,
    (a331) 부호화될 화소값이 P0이고 대응하는 PL이 0이면, P0을 부호화하지 않는 단계;
    (a332) 부호화될 화소값이 P0이고 대응하는 PL이 0이 아니면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P0을 산술 부호화하는 단계; 및
    (a333) 부호화될 화소값이 P1, P2또는 P3이면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 부호화를 위한 확률값을 계산하고, P1, P2또는 P3을 산술 부호화하는 단계를 수행함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  7. 제1항에 있어서, 상기 (a) 단계는
    휘도 성분에 대한 형상 정보를 짝수 대칭 웨이블릿 필터에 의해 웨이블릿 변환하여 스케일러블 부호화하는 단계이고,
    상기 (c) 단계 및 상기 (d) 단계는 수행하지 않는 것을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  8. 제1항에 있어서, 상기 (c) 단계는
    (c1) 4:2:0 또는 4:2:2의 색도 성분의 보정을 위해 휘도 성분에 대한 형상 정보로부터 다운샘플링된 형상 정보를 얻는 단계;
    (c2) 다운샘플링된 형상 정보를 스케일러블 계층수에 대응하여 블록 단위로 나누고, 블록 단위로 나누어진 영역 만큼 확장하는 단계; 및
    (c3) 색도 성분에 대한 텍스춰 정보를 수평,수직 방향으로 패딩하여 상기 확장된 영역에 대응하는 텍스쳐 정보를 구하는 단계를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화방법.
  9. 웨이블릿 변환을 이용한 정지영상에 대한 부호화된 형상 정보를 스케일러블 복호화하는 방법에 있어서,
    (a) 부호화된 휘도 성분에 대한 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 단계;
    (b) 상기 (a) 단계에서 웨이블릿 변환된 휘도 성분에 대한 형상 정보를 이용하여 부호화된 휘도 성분에 대한 텍스쳐 정보를 웨이블릿 복호화하는 단계;
    (c) 부호화된 색도 성분에 대한 형상 정보를 스케일러블 복호화하여 웨이블릿 변환하는 단계; 및
    (d) 상기 (c) 단계에서 웨이블릿 변환된 색도 성분에 대한 형상 정보를 이용하여 부호화된 색도 성분에 대한 텍스쳐 정보를 웨이블릿 복호화하는 단계를 포함함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화방법.
  10. 제9항에 있어서, 상기 (a) 단계 및 상기 (c) 단계는
    (a1) 부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 입력받는 단계;
    (a2) 최하위 형상 계층의 부호화된 형상 정보를 형상 복호화하여 최하위 계층의 저주파 대역 형상 정보를 얻는 단계;
    (a3) 최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 부호화된 형상 정보를 복호화하여 저주파 대역 형상 정보를 스케일러블 복호화하는 단계; 및
    (a4) 복호화된 각 계층의 저주파 대역 형상 정보를 형상적응 웨이블릿 변환하여 각 형상 계층을 얻는 단계를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화방법.
  11. 제10항에 있어서, 상기 a3 단계는
    (a31) 부호화된 형상 정보를 입력받고, 현재 계층의 형상 정보 및 하위 계층의 형상 정보를 블록으로 나누는 단계;
    (a32) 형상 정보 내의 각 블록을 경계화하는 단계; 및
    (a33) 경계화된 각 블록의 부호화 모드를 산술복호화하고, 복호화된 부호화 모드에 따라 각 블록별로 부호화된 형상 정보를 복호화하는 단계를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화방법.
  12. 제11항에 있어서, 상기 부호화 모드는
    하위 계층의 형상 블록 f1(i,j)의 1×1 크기의 화소값 PL이 현재 계층의 형상 블록 f2(i,j)의 2×2 크기의 화소값 P0, P1, P2, P3에 대응된다고 할 때, 하위 계층의 형상 블록 내의 모든 화소에 대하여 다음 조건들
    이 모두 만족되면 격주사선 부호화 모드로 결정되고, 그렇지 않으면 순차주사선 부호화 모드로 결정되는 것을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화방법.
  13. 제12항에 있어서, 상기 부호화 모드가 격주사선 부호화 모드인 경우 상기 (a33) 단계는 블록의 각 화소에 대하여,
    (a331) 복호화될 화소값이 P0이면, P0을 PL에 의해 복호화하는 단계;
    (a332) 복호화될 화소값이 P1이고 그 화소값의 좌,우의 화소값들이 서로 같은 경우에는 P0을 그 화소값의 좌 또는 우의 화소값에 의해 복호화하고, 복호화될 화소값이 P1이고 그 화소값의 좌,우의 화소값들이 서로 다른 경우에는 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하여 P1을 산술 복호화하는 단계; 및
    (a333) 복호화될 화소값이 P2또는 P3이고 그 화소값의 상,하의 화소값이 서로 같은 경우에는 P2또는 P3을 그 화소값의 상 또는 하의 화소값에 의해 복호화하고, 복호화될 화소값이 P2또는 P3이고 그 화소값의 상,하의 화소값이 서로 다른 경우에는 현재 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하여 P2또는 P3을 산술 복호화하는 단계를 수행함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화방법.
  14. 제12항에 있어서, 상기 부호화 모드가 순차주사선 부호화 모드인 경우 상기 (a33) 단계는 블록의 각 화소에 대하여,
    (a331) 복호화될 화소값이 P0이고 대응하는 PL이 0이면, P0을 0으로 복호화하는 단계;
    (a332) 부호화될 화소값이 P0이고 대응하는 PL이 0이 아니면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하고, P0을 산술 복호화하는 단계; 및
    (a333) 부호화될 화소값이 P1, P2또는 P3이면, 현재 계층 및 하위 계층의 주변 화소들의 배열을 나타내는 문맥정보 및 산술 복호화를 위한 확률값을 계산하고, P1, P2또는 P3을 산술 복호화하는 단계를 수행함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화방법.
  15. 웨이블릿 변환을 이용한 정지영상에 대한 형상 정보를 스케일러블 부호화하는 장치에 있어서,
    휘도 성분 및 색도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 형상정보 스케일러블 부호화기;
    4:2:0 혹은 4:2:2 형상 정보에 대해서는 휘도 성분에 대한 형상 정보와 색도 성분의 텍스쳐 정보를 이용하여 색도 성분에 대한 형상 정보와 텍스쳐 정보를 패딩하는 색도 영상의 형상/텍스쳐 패딩부; 및
    상기 형상정보 스케일러블 부호화기에 의해 웨이블릿 변환된 형상 정보를 이용하여 휘도 성분 및 색도 성분에 대한 텍스쳐 정보를 웨이블릿 부호화하는 텍스춰정보 웨이블릿 부호화기를 포함함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화장치.
  16. 제15항에 있어서, 상기 형상정보 스케일러블 부호화기는
    휘도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 휘도 형상 스케일러블 부호화기; 및
    색도 영상의 형상/텍스쳐 패딩부에 의해 패딩된 색도 성분에 대한 형상 정보를 웨이블릿 변환하여 스케일러블 부호화하는 색도 형상 스케일러블 부호화기를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화장치.
  17. 제16항에 있어서, 상기 휘도 형상 스케일러블 부호화기 및 상기 색도 형상 스케일러블 형상 부호화기는 각각
    형상 계층을 입력하여 하위 계층의 형상 계층을 생성하는 다수의 형상적응 웨이블릿 변환부;
    최하위 형상 계층의 저주파 대역 형상 정보를 형상 부호화하는 하나의 형상 부호화기;
    최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 저주파 대역 형상 정보를 스케일러블 부호화하는 다수의 스케일러블 부호화기; 및
    부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 전송하는 멀티플렉서를 포함함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화장치.
  18. 제17항에 있어서, 각 스케일러블 부호화기는
    현재 계층의 저주파 대역 형상 정보 및 하위 계층의 저주파 대역 형상 정보를 블록으로 나누는 수단;
    형상 정보 내의 각 블록을 경계화하는 수단;
    경계화된 블록 내 각 화소의 배타적 논리합 정보의 이용 가능성에 따라 부호화 모드를 결정하는 수단;
    부호화 모드가 격주사선 부호화 모드인 경우, 블록 내 각 화소를 격주사선 순서에 따라 스캔하면서 배타적 논리합 정보를 이용할 수 있으면 부호화를 생략하고, 그렇지 않으면 문맥 정보를 구하고 산술부호화하는 수단; 및
    부호화 모드가 순차주사선 부호화 모드의 경우, 블록 내 각 화소를 순차주사선 순서에 따라 스캔하면서 문맥 정보를 구하고 산술부호화하는 수단을 구비함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 부호화장치.
  19. 웨이블릿 변환을 이용한 정지영상에 대한 부호화된 형상 정보를 스케일러블 복호화하는 장치에 있어서,
    휘도 성분 및 색도 성분에 대한 부호화된 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 형상정보 스케일러블 복호화기; 및
    상기 형상정보 스케일러블 복호화기에 의해 웨이블릿 변환된 형상 정보를 이용하여 휘도 성분 및 색도 성분에 대한 부호화된 텍스쳐 정보를 웨이블릿 복호화하는 텍스춰정보 웨이블릿 복호화기를 포함함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화장치.
  20. 제19항에 있어서, 상기 형상정보 스케일러블 복호화기는
    휘도 성분에 대한 부호화된 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 휘도 형상 스케일러블 복호화기; 및
    색도 성분에 대한 부호화된 형상 정보를 스케일러블 복호화하고 웨이블릿 변환하는 색도 형상 스케일러블 복호화기를 포함하여 이루어짐을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화장치.
  21. 제20항에 있어서, 상기 휘도 형상 스케일러블 복호화기 및 상기 색도 형상 스케일러블 형상 복호화기는 각각
    부호화된 형상 정보를 최하위 계층에서 상위 계층의 순으로 입력받는 분배하는 디멀티플렉서;
    최하위 형상 계층의 부호화된 형상 정보를 형상 복호화하여 최하위 계층의 저주파 대역 형상 정보를 얻는 하나의 형상 복호화기;
    최하위 형상 계층을 제외한 각 형상 계층에 대하여, 하위 계층의 저주파 대역 형상 정보를 이용하여 각 계층의 부호화된 형상 정보를 복호화하여 저주파 대역 형상 정보를 스케일러블 복호화하는 다수의 스케일러블 복호화기; 및
    복호화된 각 계층의 저주파 대역 형상 정보를 형상적응 웨이블릿 변환하여 각 형상 계층을 얻는 다수의 형상적응 웨이블릿 변환부를 포함함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화장치.
  22. 제21항에 있어서, 각 스케일러블 복호화기는
    부호화된 형상 정보를 입력받고, 현재 계층의 형상 정보 및 하위 계층의 형상 정보를 블록으로 나누는 수단;
    형상 정보 내의 각 블록을 경계화하는 수단;
    경계화된 블록 내 각 화소의 배타적 논리합 정보의 이용 가능성에 따른 부호화 모드를 산술복호화하는 수단;
    부호화 모드가 격주사선 부호화 모드인 경우, 블록 내 각 화소를 격주사선 순서에 따라 스캔하면서 배타적 논리합 정보를 이용할 수 있으면 그 배타적 논리합 정보에 의해 복호화하고, 그렇지 않으면 문맥 정보를 구하고 산술복호화하는 수단; 및
    부호화 모드가 순차주사선 부호화 모드의 경우, 블록 내 각 화소를 순차주사선 순서에 따라 스캔하면서 문맥 정보를 구하고 산술 복호화 하는 수단을 구비함을 특징으로 하는 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 형상정보 복호화장치.
  23. 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화하는 방법에 있어서,
    (a) 임의의 형상을 갖는 입력 객체를 일정 크기의 타일로 나누고, 제어 성분을 분류하는 단계;
    (b) 각각의 타일에 대한 제어신호를 부호화하는 단계;
    (c) 각각의 타일에 대하여, 형상 및 텍스쳐 정보를 웨이블릿 변환하고 각 계층의 값을 스케일러블 부호화하여 타일 내부의 객체 정보를 부호화하는 단계; 및
    (d) 각각의 타일에 대하여 부호화된 비트스트림을 순차적으로 연결하는 단계를 포함하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화방법.
  24. 제23항에 있어서, 상기 (a)단계는,
    타일 연산을 사용하여 입력 영상을 일정 크기로 나눌 때, 4:2:0 영상 포맷을 고려할 경우 색도 성분의 불일치 문제가 발생하지 않도록 타일의 크기가 2로 나누었을 때 나머지가 0이 되도록 하고, 웨이블릿 변환의 계층 수가 N이라고 하면 타일의 수평/수직 방향의 크기가 2×(N+1)로 나누어지게 하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화방법.
  25. 제23항에 있어서, 상기 (c) 단계에서
    부호화할 각 타일 내부의 형상 정보를 타일 내부가 모두 객체에 포함되는 경우, 타일 내부에 형상 정보가 일부분만 존재하는 경우 및 타일 내부에 형상 정보가 존재하지 않는 경우로 나누고, 타일 내부가 모두 객체에 포함되는 경우에는 텍스쳐 정보만을 스케일러블 부호화하고, 타일 내부에 형상 정보가 일부분만 존재하는 경우에는 타일 내부의 형상 정보를 스케일러블 부호화하고 이를 이용하여 텍스쳐 정보를 부호화하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화방법.
  26. 제25항에 있어서, 타일 내부의 형상 정보를 스케일러블 부호화할 때,
    기저 계층에서 M×N 크기의 부호화할 형상 블럭의 수직/수평방향의 개수는 수학식 3(M=N=16인 경우)에 의하여 구하고, 상위계층에서 부호화할 형상 블럭의 수직/수평 방향의 개수는 수학식 4에 의하여 구하며, 이때 상위 계층에서 부호화할 형상 블럭의 크기는 입력 객체의 전체 크기에 따라 수학식 5에 의하여 구하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화방법.
  27. 제25항에 있어서, 타일 내부의 형상 정보를 스케일러블 부호화할 때,
    부호화 모드가 격주사선 부호화 모드인 경우, 블록 안의 부호화되는 화소의 위치가 P1이면 주위의 화소값의 배열에 따라 확률분포 1의 확률값들로 산술부호화하고, P2 및 P3이면 주위의 화소값의 배열에 따라 확률분포 2의 확률값들로 산술 부호화하고, 부호화 모드가 순차주사선 부호화 모드인 경우, 블록 안의 부호화되는 화소는 주위의 화소값의 배열에 따라 확률분포 3의 확률 값들로 산술부호화하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화방법.
  28. 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화된 비트스트림을 복호화하는 방법에 있어서,
    (a) 부호화된 비트스트림을 입력으로 받아 객체 단위로 나누고, 각 객체에 대한 비트스트림에서 제어 성분과 다수의 타일 성분을 나누는 단계;
    (b) 상기 제어 성분을 복호화하는 단계;
    (c) 각각의 타일 성분에 대하여, 형상 및 텍스쳐 정보를 스케일러블 복호화하여 타일 내부의 객체 정보를 복호화하는 단계;
    (d) 각각의 타일 성분에 대하여 복호화된 객체 정보를 복호화된 제어 성분을 이용하여 객체별로 합성하는 단계; 및
    (e) 다수의 객체 정보를 하나의 화면에 합성하는 단계를 포함함을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 복호화방법.
  29. 제28항에 있어서, 상기 (c) 단계에서 형상 정보를 스케일러블 복호화할 때,
    복호화될 각 타일 내부의 형상 정보를 타일 내부가 모두 객체에 포함되는 경우, 타일 내부에 형상 정보가 일부분만 존재하는 경우 및 타일 내부에 형상 정보가 존재하지 않는 경우로 나누고, 타일 내부가 모두 객체에 포함되는 경우에는 텍스쳐 정보만을 스케일러블 복호화하고, 타일 내부에 형상 정보가 일부분만 존재하는 경우에는 타일 내부의 형상 정보를 스케일러블 복호화하고 이를 이용하여 텍스쳐 정보를 복호화하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 복호화방법.
  30. 제28항에 있어서, 상기 (c) 단계에서 형상 정보를 스케일러블 복호화할 때,
    기저 계층에서 M×N 크기의 복호화할 형상 블럭의 수직/수평방향의 개수는 수학식 3(M=N=16인 경우)에 의하여 구하고, 상위계층에서 복호화할 형상 블럭의 수직/수평 방향의 개수는 수학식 4에 의하여 구하며, 이때 상위 계층에서 복호화할 형상 블럭의 크기는 입력 객체의 전체 크기에 따라 수학식 5에 의하여 구하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 복호화방법.
  31. 제28항에 있어서, 상기 (c) 단계에서 형상 정보를 스케일러블 복호화할 때,
    복호화 모드가 격주사선 부호화 모드인 경우, 블록 안의 복호화되는 화소의 위치가 P1이면 주위의 화소값의 배열에 따라 확률분포 1의 확률값들로 산술복호화하고, P2 및 P3이면 주위의 화소값의 배열에 따라 확률분포 2의 확률값들로 산술복호화하고, 부호화 모드가 순차주사선 부호화 모드인 경우, 블록 안의 복호화되는 화소는 주위의 화소값의 배열에 따라 확률분포 3의 확률 값들로 산술복호화하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 복호화방법.
  32. 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화 및 복호화하는 방법에 있어서,
    타일 연산을 사용한 객체기반 정지 영상 부호화 및 복호화를 위해 도 18a 내지 도 18f에 도시된 비트스트림 문법을 사용하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화/복호화방법.
  33. 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화하는 장치에 있어서,
    임의의 형상을 갖는 입력 객체를 일정 크기의 타일로 나누고, 제어 성분을 분류하는 하나 이상의 타일 분류기들;
    상기 타일 분류기에 의해 분류된 제어 성분을 부호화하는 하나 이상의 제어신호 부호화기들;
    각 타일 분류기에 의해 나뉘어진 타일을 입력하고, 그 타일 내부의 형상 및 텍스쳐 정보를 웨이블릿 변환하고 각 계층의 값을 스케일러블 부호화하는 다수의 영상 부호화기들; 및
    각 타일에 대하여 부호화된 비트스트림을 순차적으로 연결하는 멀티플렉서를 포함하는 것을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 부호화장치.
  34. 웨이블릿 변환을 이용하여 정지 영상을 스케일러블 부호화된 비트스트림을 복호화하는 장치에 있어서,
    부호화된 비트스트림을 입력으로 받아 객체 단위로 나누고, 각 객체에 대한 비트스트림에서 제어 성분과 다수의 타일 성분을 나누는 디멀티플렉서;
    상기 제어 성분을 복호화하는 하나 이상의 제어신호 복호화기들;
    타일 성분을 입력하고, 그 타일 내부의 형상 및 텍스쳐 정보를 스케일러블 복호화하는 다수의 정지영상 복호화기들;
    객체별로 복호화된 타일 성분을 합성하는 하나 이상의 타일 합성기들; 및
    상기 타일 합성기에 의해 합성된 다수의 객체 정보를 하나의 화면에 합성하는 객체 합성기를 포함함을 특징으로 하는 임의의 형상을 갖는 객체에 대한 웨이블릿 변환을 이용한 스케일러블 복호화장치.
KR1019990037451A 1998-09-17 1999-09-03 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치 KR100304667B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990037451A KR100304667B1 (ko) 1998-09-17 1999-09-03 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR19980038419 1998-09-17
KR1019980038419 1998-09-17
KR1019990037451A KR100304667B1 (ko) 1998-09-17 1999-09-03 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20000022913A KR20000022913A (ko) 2000-04-25
KR100304667B1 true KR100304667B1 (ko) 2001-11-05

Family

ID=26634121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990037451A KR100304667B1 (ko) 1998-09-17 1999-09-03 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100304667B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101747757B1 (ko) * 2013-01-31 2017-06-27 한국전자통신연구원 고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046320A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 동영상 부호화 방법
WO2005086487A1 (en) * 2004-03-04 2005-09-15 Samsung Electronics Co., Ltd. Video encoding and decoding methods and systems for video streaming service
KR100724825B1 (ko) * 2005-11-17 2007-06-04 삼성전자주식회사 스케일러블 비디오 코딩에서 다차원 스케일러빌리티에 따른 조건적 접근제어를 위한 스케일러블 비디오 비트스트림 암복호화 방법 및 암복호화 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101747757B1 (ko) * 2013-01-31 2017-06-27 한국전자통신연구원 고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20000022913A (ko) 2000-04-25

Similar Documents

Publication Publication Date Title
US6501861B1 (en) Scalable coding/decoding methods and apparatus for producing still image using wavelet transformation
US6987887B2 (en) Video coding and video decoding apparatus
US6873343B2 (en) Scalable graphics image drawings on multiresolution image with/without image data re-usage
US6128041A (en) Method and apparatus for binary shape encoding
US7529417B2 (en) Apparatus, method and storage medium for image encoding/decoding using shape-based coefficient interpolation
EP1139290A2 (en) Image processing apparatus and method
US20100074541A1 (en) Coding and decoding method and apparatus using plural scanning patterns
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
KR20040054794A (ko) 가변 길이 부호화 방법 및 가변 길이 복호화 방법
JP2000174632A (ja) 埋め込み符号化／復号化方法及びシステム
US6330364B1 (en) Video coding and video decoding apparatus
JP4154417B2 (ja) 映像データ符号化装置及び映像データ復号化装置
JP3087835B2 (ja) 画像符号化方法および装置ならびに画像復号方法および装置
JP3518733B2 (ja) 物体単位映像信号符号化／復号化装置及び方法
KR100304667B1 (ko) 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치
US20060120459A1 (en) Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information
GB2240005A (en) Improvements in digitally-assisted television systems
JP3766686B2 (ja) テレビ画像サブバンド両立式符号化用のコーダ
EP0891092B1 (en) Method for restoring a binary shape signal
US6754268B1 (en) Video coding and video decoding apparatus
JP2003244443A (ja) 画像符号化装置及び画像復号装置
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP2001309378A (ja) 空間上階層構造と画質上階層構造とを同時に有する動映像符号化／復号化方法及び装置
Hou et al. Multi-rate, dynamic and compliant region of interest coding for JPEG2000
KR19980066402A (ko) 화상 데이터 부호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080627

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee