KR100491445B1 - Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치 - Google Patents

Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR100491445B1
KR100491445B1 KR10-2002-0020150A KR20020020150A KR100491445B1 KR 100491445 B1 KR100491445 B1 KR 100491445B1 KR 20020020150 A KR20020020150 A KR 20020020150A KR 100491445 B1 KR100491445 B1 KR 100491445B1
Authority
KR
South Korea
Prior art keywords
enhancement
bit plane
layers
boundary line
selective
Prior art date
Application number
KR10-2002-0020150A
Other languages
English (en)
Other versions
KR20030081772A (ko
Inventor
신창호
서광덕
김재균
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2002-0020150A priority Critical patent/KR100491445B1/ko
Publication of KR20030081772A publication Critical patent/KR20030081772A/ko
Application granted granted Critical
Publication of KR100491445B1 publication Critical patent/KR100491445B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 MPEG-4 FGS 영상 부호화에서 전송대역폭이 감소되는 경우에도 주관적 화질을 향상 보존시키기 위한 방법인 선택적 향상기법(SE: selective enhancement)을 개선시킨 기술이다. 본 발명은 SE 기법을 기존의 매크로블록 기준으로부터 사각형 영역(rectangular region) 기준으로 변형하여 SE 적용영역을 화면 단위로 간편하게 표현한다. 또한 FGS VOP에서 적용되는 비트평면 부호화에서 비트평면에 대한 제한적 비트평면주사(CBS)기법을 발명 적용하므로써 단축형 비트평면 부호화를 실현한다. 본 발명에 따라 SE 기법이 간소화되고, SE 기법에서 발생하는 추가비트율이 감소되므로 동일한 전송대역폭에서 수신영상의 화질이 개선된다.

Description

ＭＰＥＧ-4 ＦＧＳ 비디오를 위한 사각영역 기반형의 선택적 향상기법에 의한 부호화/복호화 방법 및 장치 {coding/decoding method and apparatus of rectangular region-based selective enhancement for MPEG-4 FGS video}
본 발명은 사각영역 기반형의 선택적 향상방법 및 그를 이용한 영상 부호화/복호화 방법과, 그 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 MPEG-4 미세형 스케일러빌리티(FGS : Fine granular scalability) 방법으로 영상을 부호화/복호화할 때 선택적 향상기법의 적용영역을 사각영역을 기준으로 하고, 비트평면에 대한 제한적 비트평면주사기법을 적용하는 사각영역 기반형의 선택적 향상방법 및 그를 이용한 영상 부호화/복호화 방법과, 그 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
일반적으로 영상(정지영상 또는 동영상) 코딩 방법에 있어서, 스케일러블 코딩 방법에 대한 요구가 폭발적으로 증가되고 있다.
언제 어디서나 누구에게나 영상정보를 이용하여 통신이 이루어질 수 있도록 하는 이동통신 서비스나, 무선인터넷 등의 등장으로, 사람들은 노트북, 팜탑, 개인휴대단말기(PDA) 등과 같은 다양한 컴퓨터와 접합된 정보가전을 이용하여 원격지의 영상정보를 얻고 관리하고 변경할 수 있기를 원한다. 앞으로는 더욱 다양한 형태의 영상정보 가전(예를 들어, IMT-2000 비디오폰, HDTV 등)들이 출시될 것이며, 출시될 영상정보 가전제품의 복호화 능력이나 전송환경 등은, 각각의 단말기가 가져야 하는 특성이나 적용 환경 때문에 자연히 다르게 된다.
이때, 고려해야 할 사항은 각각의 단말기에 적합한 동영상을 어떤 방법으로 전송할 것인가 이다. 예를 들어, 낮은 품질의 복호기에 맞추어 엔코더단에서 부호화를 시행한다면, 높은 품질의 복호기를 가지고 있는 사용자는 많은 돈을 들여 구입한 고품질의 복호기로 낮은 품질의 영상을 전송받게 되며, 이러한 상황이 발생하는 것은 누구도 원치 않는다. 즉, 고품질의 복호기를 가진 사용자는 당연히 고품질의 영상을 획득해야만 하고, 저품질의 복호기를 가진 사람도 만족할 만한 수준의영상을 반드시 전송받을 수 있어야만 한다.
이러한 문제를 해결하기 위하여, 영상을 코딩하여 전송하는데 있어서 MPEG-4(Moving Pictures Expert Group-4)에서는, 수신자측의 단말기의 상황이나 성능에 따라 다양한 화질을 제공할 수 있도록 설계되어 있다. 예를 들어, 수신단의 단말기의 성능(Computing power)이 우수하고 전송선로(Delivery Layer : 무선, ATM, LAN 등)의 상태가 좋을 때는 고화질의 동영상을 수신하여 디스플레이할 수 있지만, 수신기의 성능이 우수하지 않거나 통신라인의 상태가 좋지 않을 때 등에는 고화질을 수신할 수 없게 된다. 위의 두 경우를 모두 수용하기 위하여 MPEG-4에서는 스케일러블 코딩(Scalable Coding)을 할 수 있도록 설계가 되어 있다.
스케일러블 영상 코딩은 수신단측에서 다양한 화질(낮은 품질에서 높은 품질까지: Low quality to High quality)의 영상을 수신할 수 있도록 엔코더측에서 스케일러블한 비트스트림(Bitstream)을 만들어서 전송하는 것이다. 즉, 전송 비트스트림이 스케일러블하다면 다양한 종류의 수신기가 존재할 수 있게 되어, 저성능(Low Performance) 수신기는 기본계층(Base Layer)에서 엔코딩된 기본 화질의 영상 비트스트림을 전송받아 디스플레이하도록 하고, 고성능(High Performance) 수신기는 향상계층(Enhancement Layer)에서 엔코딩된 높은 화질의 영상 비트스트림(Bitstream)을 전송받아 디스플레이하도록 할 수 있다.
스케일러블 코딩(Scalable coding) 방법은, 기본적으로 크게 기본계층(Base Layer)과 향상계층(Enhancement Layer)으로 구성된다. 엔코더단의 기본계층에서는 기본품질의 동영상 정보를 전송하고 있고, 엔코더단의 향상계층에서는 기본품질의 동영상에 더하여(additional) 수신단측에 향상된 화질을 제공할 수 있는 정보를 전송함으로써, 수신단측에서 해당 정보를 수신하여 기본계층에서 전송된 정보와 합쳐져서 고품질의 영상정보를 복호화할 수 있도록 하고 있다.
따라서, 수신단측에서는 단말기의 성능이나 전송선로의 상태에 따라 전송된 두 가지 계층의 영상정보를 선택하여 복호화한다. 즉, 복호기가 전송선로를 통하여 전달된 모든 정보에 대한 복호 능력을 가지고 있지 않는다면, 복호기는 최소영상품질 보상계층인 기본계층에 대한 정보만을 복호화하고, 나머지 향상계층에 해당하는 정보는 복호화하지 않고 버린다. 한편, 고품질의 수신기의 경우에는 모든 계층의 정보를 다 받아들여 고품질의 영상을 구현한다. 이로써 고품질의 복호기를 소유한 사용자와 저품질의 복호기를 소유한 사용자 모두를 만족시킬 수 있는 영상정보를 전송할 수 있다.
현존하는 스케일러블 코딩 방법은 크게 공간적(Spatial) 스케일러블 코딩 방법과 시간적(temporal) 스케일러블 코딩 방법으로 나뉜다. 공간적 스케일러블 코딩 방법은 공간적 해상도를 단계적으로 향상시키는데 사용되고, 시간적 스케일러블 코딩 방법은 시간축상에서 디스플레이되는 단위 시간당 영상의 수(TV 방송의 경우 30 프레임/초)를 단계적으로 향상시킬 수 있도록 한다(예: 10Hz ==〉 30Hz). 각각의 스케일러블 코딩을 수행하기 위하여 MPEG-4에서는 한 개 이상의 향상계층을 구성하여 비트스트림을 수신단측으로 전달하는데 한 단계(one layer)의 향상계층을 이용한 동영상 코딩의 경우에, 기본계층에서는 기본적으로 공간적으로나 시간적으로 낮은 해상도의 영상을 코딩하여 전송하고, 향상계층에서는 기본계층에서 기 (already) 전송된 영상정보에 더하여 향상된 해상도를 구현할 수 있도록 하기 위한 영상정보를 부가적으로 코딩하여 전송하도록 하고 있다.
상술한 기존의 스케일러블 코딩 방법 등은, 전송선로의 상태가 급변하지 않고 상대적으로 안정된 경우에 적합하도록 설계되어 있다. 즉, 수신단측에서 향상계층에서 송신된 비트스트림을 모두 수신하여야만 해당 영상 프레임을 복원할 수 있다. 만약, 전송선로의 상태가 급변(전송선로가 수용 가능한 비트스트림의 대역폭(bandwidth)이 급변함: 인터넷 등과 같은 전송선로는 인터넷 사용자의 수 등과 같은 외부 요인에 의하여 각 사용자에게 할당 가능한 대역폭이 급변)하여, 향상계층에 해당하는 비트스트림을 모두 전송받지 못한 경우에는 해당 영상을 제대로 복원할 수 없다. 따라서, 재전송을 송신단측에 요구하거나 모든 비트스트림을 수신할 때까지 영상 복원을 수행하지 못하거나, 또는 이전 프레임의 영상을 이용하여 전송에러 숨김(error concealment)을 수행하여야만 한다.
상기와 같이 전송선로의 상태가 불안하여 계획된 영상 비트스트림을 실시간에 맞게 전송하지 못하는 경우가 유/무선 인터넷 등을 전송선로로 선택하였을 때 흔하게 나타난다. 즉, 유/무선 인터넷과 같이 전송선로의 상태가 안정적이지 못하여 대역폭(Bandwidth)이 급변하는 경우에도 전송된 영상의 실시간 복원을 수행하기 위해서는, 송신단측에서 전송된 모든 비트스트림을 수신단측에서 모두 수신하지 못한 경우에도 그때까지 수신된 부분적인 영상 비트스트림만을 이용하여 전송 영상을 실시간으로 복원할 수 있어야 한다. 이를 위한 한 예로서, MPEG-4에서는 미세형 스케일러빌리티(FGS : Fine Granular Scalability) 방법을 제안하여 국제 표준안을 제정하고 있다.
미세형 스케일러빌리티 방법은 스케일러블 코딩을 수행할 때, 전송선로의 상태가 안정적이지 못한 경우, 예를 들어 유/무선 인터넷 등과 같이 전송선로의 상태가 급변하여 각 사용자에게 할당할 수 있는 대역폭의 변동이 심한 경우에, 송신단측의 기본계층 엔코더와 향상계층 엔코더에서 엔코딩되어 전송된 비트스트림을, 수신단측에서 모두 수신하지 못한 경우에도 그때까지 수신된 부분적인 비트스트림만을 이용하여 전송 영상의 복원이 가능하도록 하는 방법으로, 기존의 스케일러블 코딩 방법이 안정된 전송선로를 고려하여 구현된 것의 단점(모든 비트스트림을 수신하여야만 영상복원이 가능하여 수신지연이 발생하거나, 전송오차가 발생하였을 경우에 재전송을 요구하거나 전송 에러 숨김 등을 수행하여야만 하는 등의 단점)을 보완할 수 있도록 설계되어 있다.
수신단측에서 부분적인 영상 비트스트림만을 수신하여 전송 영상의 복원이 효율적으로 이루어지게 하기 위하여, 미세형 스케일러빌리티 방법에서는 송신단측에서 기본계층에서 전송된 영상을 토대로 향상계층에서 향상된 화질의 영상 비트스트림을 구현하여 전송할 때, 비트평면(Bitplane) 단위로 전송하는 방법을 이용한다. 즉, 송신단측에서 수신단측으로 향상계층에 필요한 비트스트림을 전송할 때, 원 영상(original image)과 기본계층에서 전송되는 영상의 차(difference)만을 전송하여 전송 영상의 화질 향상을 이루도록 하는 것은 기존의 스케일러블 코딩 방법과 비슷하지만, 향상계층에서 수신단측에 전송할 영상정보를 비트평면별로 나누어 가장 중요한 비트(MSB : Most significant bit)를 최우선적으로 전송하고, 그 다음 중요한 비트를 비트평면별로 나누어 연속적으로 전송하는 방식을 사용하여, 수신단측에서 전송선로의 대역폭(Bandwidth)이 급변하여 영상 복원에 필요한 모든 비트를 수신하지 못한 경우에도, 그때까지 수신된 비트스트림만을 이용하여 전송 영상의 복원을 어느 정도 수행할 수 있도록 한다.
예를 들어 25라는 영상정보를 전송한다고 가정하면, 이를 바이너리 숫자로 표현하면 '11001'이 되고, 이는 5개의 비트평면으로 구성되어 있다. 이 정보를 비트평면별로 송신하기 위해서는, 일단 송신단측에서 수신단측으로 모든 전송정보의 구성이 5개의 비트평면으로 구성되어 있다고 알려준다. 그리고 난 후, 가장 중요한 MSB부터 가장 덜 중요한 비트(LSB : Least significant bit)까지 비트 단위로 수신단으로 전송한다고 할 때, 첫 번째 MSB 비트가 전송 완료되었다면, 수신단측에서는 전송되는 정보가 16(10000) 이상의 값이라는 것을 알 수 있고, 두 번째 비트열이 전송되었다면 24 이상의 값(11000)이 전송될 것이라는 것을 알 수 있다. 만약, 전송선로의 대역폭(Bandwidth) 제약으로 더 이상의 비트스트림을 수신단측에 전송할 수 없다면, 수신단측에서는 이제까지 전송된 비트열(11000)을 이용하여 24라는 숫자를 복원할 수 있다(이는 원래 전송하려는 25와 유사한 수임).
이처럼 MPEG-4에서 사용하는 미세형 스케일러빌리티 방법은 전송선로의 대역폭이 언제든지 급변할 수 있다는 상황을 고려하고 있다. 기본적인 미세형 스케일러빌리티 코딩 방법은, 기본계층(Base Layer)과 향상계층(enhancement layer)인 미세형 스케일러빌리티 계층(FGS Layer)을 두고 있다. 기본계층은 기존의 MPEG-4 엔코딩 방법을 그대로 사용하고, 향상계층인 FGS 계층은 비트평면 부호화(bit-plane coding)를 이용해 만들어진다.
종래의 MPEG-4 국제 표준안에서 사용되는 미세형 스케일러빌리티 코딩 방법의 부호기(송신단)의 구조는 도 1에 도시된 바와 같다.
도면에서 도시된 바와 같이, 기본계층은 MPEG-4 영상 엔코딩 방법을 그대로 이용한다. 기본계층에 사용되는 영상 엔코딩 방법을 예로 들면, 이산적 코사인 변환(DCT : Discrete Cosine Transform), 양자화(Q : Quantization), 움직임 예측(ME : Motion Estimation), 움직임 보상(MC : Motion Compensation), 역 양자화(Q-1), 역 이산적 코사인 변환(IDCT :Inverse Discrete Cosine Transform) 등을 수행하여, 공간축(Spatial)과 시간축(Temporal) 방향에서 영상 정보 압축(Image Data Compression)을 수행하며, 가변 길이 코딩(VLC : Variable Length Coding)을 수행하여 부호의 발생 확률의 편중에 따른 엔트로피 부호화(Entropy Coding)를 실시하며, 송신 버퍼를 이용하여 엔코딩시 발생된 기본계층 비트스트림(Base Layer Bitstream)을 전송선로로 전송하게 된다.
도면에서 도시된 바와 같이, 향상계층의 FGS 엔코딩(FGS Enhancement Encoding)(10)은 원 영상과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 과정(11), 이산적 코사인 변환(DCT)을 수행하는 과정(12), 비트평면 쉬프트 과정(Bitplane shift)(13), 최대값 찾기 과정(Find Maximum)(14), 비트평면별로 가변장 부호화 수행 과정(Bitplane VLC)(15)으로 나뉘어 수행된다.
오차를 구하는 과정(11)에서는 기본계층에서 코딩된 후 재생된 영상(도면에서 Q-1과 IDCT를 통과한 후 클립핑된 재생 영상)과 원 영상(Original Image)과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
이산적 코사인 변환을 수행하는 과정(12)에서는 상기 오차를 구하는 과정(11)에서 구해진 영상기반 오차 값(residues)을 블록 단위(8X8 단위) DCT를 이용하여 DCT 도메인(domain)으로 변환한다. 이때, 선택적으로 좋은 화질을 갖는 블록이 필요하다면 해당 값을 최우선적으로 전송하여야만 하고 이를 위하여 비트평면 쉬프트를 선택적으로 수행할 수 있다. 이를 선택적 향상(Selective Enhancement)이라고 정의하며, 비트평면 쉬프트 과정(13)에서 수행한다.
최대값 찾기 과정(14)에서는 이산적 코사인 변환을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트평면(bit-plane)의 개수를 구하는데 사용된다.
비트평면 가변장 부호화(VLC) 과정(15)에서는 비트평면별로 블록 단위로 구해진 64개의 DCT 계수들(DCT 계수의 해당 비트평면의 비트: 0 또는 1)이 지그재그 스캔(zigzag scan) 순서로 하나의 행렬에 들어가게 되며, 각 행렬들은 가변장 길이 코드표(VLC table)에 따라 런-길이(Run-length) 부호화된다.
또한, MPEG-4 국제 표준안에서 사용되는 미세형 스케일러빌리티 코딩 방법의 복호기(수신단)의 구조는 도 2에 도시된 바와 같다.
도면에서 도시된 바와 같이, 기본계층(Base Layer)과 향상계층(Enhancement Layer)으로 나뉘어져서 전송선로에서 수신된 전송 비트스트림의 복호화를 도 1에 도시된 부호화의 역순으로 수행한다.
기본계층에서는 MPEG-4 영상 디코딩 방법을 그대로 사용한다. 기본계층에 비트스트림이 입력되면, 가변 길이 디코딩(VLD : Variable Length Decoding)을 수행한 후에 역 양자화(Q-1 : Inverse Quantization)를 수행하고 해당 값들을 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 움직임 보상이 된 값(MC : Motion Compensation)과 합친 후에 해당 값들을 0과 255 값 사이로 클리핑(Clipping)하여 최종적으로 기본계층의 전송 영상을 복원하게 된다.
그리고, 향상계층의 미세형 스케일러빌리티 디코딩(20)은 엔코더와 역순으로 향상계층에 전송된 비트스트림의 디코딩을 수행하는데, 먼저 입력된 향상 비트스트림(Enhancement Bitstream)을 비트평면별로 가변길이 디코딩(Bit-plane VLD)(21)을 수행한 후, 선택적으로 좋은 화질을 갖는 블록의 위치 등이 전송되었다면, 비트평면 쉬프트(Bit-plane Shift) 역과정(22)을 선택적으로 수행한다.
이후, 비트평면별로 VLD가 수행되고 선택적으로 쉬프트가 수행되어 도출된 값에, 블록 단위(8X8 단위)의 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform) 과정(23)을 수행하여 향상계층에서 전송된 영상을 복원한다. 그리고, 이 향상계층에서 복원된 영상과 기본계층에서 복호된 영상과 합친(24) 후, 합산 값들을 0과 255 값 사이로 클립핑(Clipping)(25)하여 최종적으로 향상된 화질의 영상을 복원하게 된다.
도 3은 선택적 향상(SE)기법이 적용되지 않은 MPEG-4 미세형 스케일러빌리티(FGS) 향상계층에서 [즉 도1, 도2에서 비트플레인 쉬프트 기능이 없는 경우] 비트평면 구조의 일 예를 도시한다. 여기서 향상계층의 비트 평면은 매크로블록(macroblock)별로 표시되었으며, 비트평면의 개수는 4 이다. 도 3에서 어두운 부분은 비트평면 부호화에서 발생된 올-제로(ALL-ZERO) 심볼 블록들을 표시하고 있다.
도 3의 미세형 스케일러빌리티 방법으로 영상을 부호화하면, 앞서 설명하였던 것 같이 전송채널의 대역폭이 급격하게 저하되더라도 수신측에서는 수신된 일부 데이터만을 이용하여 어느 정도의 화질이 확보된 영상을 재생해낼 수 있다. 이때, 전체 화면이 모두 동일한 화질로 재생되는데 반하여, 전송채널의 대역폭이 급격하게 저하되더라도 화면의 특정 영역(향상 영역)은 더욱 향상된 화질이 확보되도록 하는 방안이 선택적 향상(Selective enhancement)기법이다. 이 선택적 향상기법은 도 3의 비트평면 구조에서 화질을 향상하고자 하는 특정 영역의 비트평면의 높이를 상향(shift-up)시켜서, 해당 특정 영역의 정보가 향상계층 비트스트림의 앞쪽에 순서하도록 함으로써, 해당 특정영역의 화질을 향상시켜 주는 기법이다. 현재 표준으로 채택된 선택적 향상(SE)기법은 매크로블록(MB : Macroblock) 단위로 선택적 향상을 시킬지 여부를 결정하고, 각 매크로블록마다 0 내지 4 계층만큼 선택적으로 상향(shift-up) 시킬 수 있도록 되어 있다. 도 4는 도 3의 비트평면 구조를 갖는 화면에 선택적 향상(SE) 기법을 적용했을 때의 매크로블록별로 변화된 비트평면의 구조도이다.
도 4에 도시된 바와 같이 선택적 향상기법이 적용된 매크로블록은 제 2, 3, 6 매크로블록(MB2, MB3, MB6)이며, 제 2, 3 매크로블록(MB2, MB3)의 비트평면은 각각 3 계층이 상향되고, 제 6 매크로블록(MB6)은 2 계층이 상향된 상태이다. 도 4와 같이 선택적 향상기법이 적용되면 비트평면의 최대값이 나타내는 2번째 매크로블록을 기준으로해서 전송할 비트평면의 개수는 7로 증가하고, 결과적으로 도 4에서 음영으로 표시되는 올-제로(All-Zero) 심볼 블록이 크게 증가하게 된다. 이렇게 증가된 올-제로 심볼 블록들은 모두 비트평면 부호화에 포함되기 때문에, 전체 비트량이 과도하게 증가하는 문제점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은, 제한된 전송 대역폭에서 화질을 향상하고자 하는 선택적 향상기법에서 향상영역을 사각영역 단위로 선택 적용함으로써, 선택적 향상기법의 적용대상이 보다 간편하게 서술되는 사각영역기반 선택적 향상방법 (RSE)과, 이러한 사각영역기반 선택적 향상방법이 적용된 MPEG-4 FGS 비디오에서 향상계층의 FGS 부호화/복호화 장치 및 방법을 제공하는 데 있다.
또한, 선택적 향상기법의 적용으로 인하여 비트평면의 개수와 올-제로 심볼 블록의 증가로 인한 비트율 증가 문제를 해결하기 위한 제한적 비트평면 주사방법 (CBS)과, 이러한 제한적 비트평면 주사방법이 적용된 MPEG-4 FGS 비디오에서 향상계층의 FGS 부호화/복호화 장치 및 방법을 제공하는 데 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 향상계층의 FGS 장치에 적용되는 사각영역 기반 선택적 향상방법은, 화면별 향상계층 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수만큼 상향시킨 후 부호화하여, 향상계층 비트스트림을 출력하는 사각영역기반 선택적 향상 부호화단계와; 상기 사각영역기반의 선택향상 및 부호화된 비트스트림을 복호하고, 각 사각영역의 비트평면을 향상 계층 수만큼 하향시키는 사각영역기반 선택적 향상 복호화단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 향상계층의 FGS 장치에 적용되는 비트평면 부호화 방법은, 화면별 향상계층 영상에 대해, 선택적 향상기법이 적용되면서 추가 발생된 올-제로 심볼을 크게 제외시키는 제한적 비트평면 주사 방법으로서 단축된 형태로 부호화하는 비트평면 부호화 단계와; 상기 향상계층 비트스트림을 복호하고, 상기 부호화에서 제외된 영역을 올-제로 심볼로 복원하는 비트평면 복호화 단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 향상계층의 FGS 부호화 장치는, 원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하는 수단과; 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환수단과; 상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수만큼 상향시키는 사각영역기반 선택적 향상수단과; 상기 사각영역기반 선택적 향상수단 수행 후, 상기 오차 영상을 전송하기 위한 최대 비트평면의 개수를 구하는 최대값 찾기 수단과; 상기 비트평면별로 부호화하여 향상계층 비트스트림을 출력하는 비트평면 부호화수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 다른 향상계층의 FGS 부호화 장치는, 원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하는 수단과; 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환수단과; 상기 DCT 블록 중 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 블록의 비트평면을 상향하는 선택적 향상수단과; 상기 선택적 향상수단 수행 후, 상기 오차 영상을 전송하기 위한 최대 비트평면의 개수를 구하는 최대값 찾기 수단과; 상기 선택적 향상수단에 의해 추가로 발생하는 올-제로 심볼을 제외시키면서 주사하는 제한적 비트평면 주사수단과; 상기 제한적 비트평면 주사수단에 의해 제한적으로 주사된 비트평면을 부호화하여 향상계층 비트스트림을 출력하는 단축형 비트평면 부호화수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 또 다른 향상계층의 FGS 부호화 장치는, 원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하는 수단과; 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환수단과; 상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수만큼 상향시키는 사각영역기반 선택적 향상수단과; 상기 사각영역기반 선택적 향상수단 수행 후, 상기 오차 영상을 전송하기 위한 최대 비트평면의 개수를 구하는 최대값 찾기 수단과; 상기 사각영역기반 선택적 향상수단에 의해 추가로 발생하는 올-제로 심볼을 제외시키면서 주사하는 제한적 비트평면 주사수단과; 상기 제한적 비트평면 주사수단에 의해 제한적으로 주사된 비트평면을 부호화하여 향상계층 비트스트림을 출력하는 단축형 비트평면 부호화수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 향상계층의 FGS 부호화 장치에 적용되는 FGS 부호화 방법은, 원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하는 단계와; 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환단계와; 상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수만큼 상향시키는 사각영역기반 선택적 향상단계와; 상기 사각영역기반 선택적 향상단계 수행 후, 상기 오차 영상을 전송하기 위한 최대 비트평면의 개수를 구하는 최대값 찾기 단계와; 상기 비트평면별로 부호화하여 향상계층 비트스트림을 출력하는 비트평면 부호화단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 향상계층의 FGS 부호화 장치에 적용되는 FGS 부호화 방법은, 원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하는 단계와; 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환단계와; 상기 DCT 블록 중 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 블록의 비트평면을 상향하는 선택적 향상단계와; 상기 선택적 향상수단 수행 후, 상기 오차 영상을 전송하기 위한 최대 비트평면의 개수를 구하는 최대값 찾기 단계와; 상기 선택적 향상수단에서 추가로 발생하는 올-제로 심볼을 제외시키면서 주사하는 제한적 비트평면 주사 단계와; 상기 제한적 비트평면 주사 단계에서 제한적으로 주사된 비트평면을 부호화하여 향상계층 비트스트림을 출력하는 단축형 비트평면 부호화단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 또 다른 향상계층의 FGS 부호화 장치에 적용되는 FGS 부호화 방법은, 원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하는 단계와; 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환단계와; 상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수만큼 상향시키는 사각영역기반 선택적 향상단계와; 상기 사각영역기반 선택적 향상단계 수행 후, 상기 오차 영상을 전송하기 위한 최대 비트평면의 개수를 구하는 최대값 찾기 단계와; 상기 선택적 향상수단에서 추가로 발생하는 올-제로 심볼을 제외시키면서 주사하는 제한적 비트평면 주사 단계와; 상기 제한적 비트평면 주사 단계에서 제한적으로 주사된 비트평면을 부호화하여 향상계층 비트스트림을 출력하는 단축형 비트평면 부호화단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 향상계층의 FGS 복호화 장치는, 향상계층의 FGS 부호화 장치로부터 입력되는 향상계층 비트스트림을 복호하여, 상기 향상계층 비트스트림으로부터 적어도 하나의 매크로블록을 포함하는 선택적 향상 사각영역의 위치와 크기 정보 및 향상된 계층 수(Si) 정보를 포함한 비트평면 제어 파라미터를 검출하는 비트평면 복호화수단과; 상기 선택적 향상기법이 적용된 사각영역 단위로 각 사각영역의 비트평면을 상기 향상 계층 수만큼 하향시키는 사각영역기반 선택적 쉬프트수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 다른 향상계층의 FGS 복호화 장치는, 향상계층의 FGS 부호화 장치로부터 입력되는 향상계층 비트스트림을 복호하고, 상기 향상계층 비트스트림으로부터 선택적 향상기법이 적용된 블록의 위치 및 향상 계층 수와, 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수(LM), 선택적 향상기법이 적용될 때 기준 향상 계층 수 등의 정보를 포함한 비트평면 제어 파라미터를 추출하여, 제한적 비트평면 주사 및 부호화에서 제외된 올-제로 영역을 복원하는 제한적 비트평면 복호화 수단과; 상기 선택적 향상기법이 적용된 블록 단위로 각 블록의 비트평면을 상기 향상 계층 수만큼 하향시키는 선택적 쉬프트수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 또 다른 향상계층의 FGS 복호화 장치는, 향상계층의 FGS 부호화 장치로부터 입력되는 향상계층 비트스트림을 복호하고, 상기 향상계층 비트스트림으로부터 선택적 향상기법이 적용된 사각영역의 위치 및 향상 계층 수와, 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수(LM), 선택적 향상기법이 적용될 때 기준 향상 계층 수 등의 정보를 포함한 비트평면 제어 파라미터를 추출하여, 제한적 비트평면 주사 및 부호화에서 제외된 올-제로 영역을 복원하는 제한적 비트평면 복호화 수단과; 상기 선택적 향상기법이 적용된 사각영역 단위로 각 사각영역의 비트평면을 상기 향상 계층 수만큼 하향시키는 사각영역기반 선택적 쉬프트수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 향상계층의 FGS 복호화 장치에 적용되는 FGS 복호화 방법은, 향상계층의 FGS 부호화 장치로부터 입력되는 향상계층 비트스트림을 복호하여, 상기 향상계층 비트스트림으로부터 적어도 하나의 매크로블록을 포함하는 선택적 향상 사각영역의 위치와 크기 정보 및 향상된 계층 수(Si) 정보를 포함한 비트평면 제어 파라미터를 검출하는 비트평면 복호화단계와; 상기 선택적 향상기법이 적용된 사각영역 단위로 각 사각영역의 비트평면을 상기 향상 계층 수만큼 하향시키는 사각영역기반 선택적 쉬프트단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 다른 향상계층의 FGS 복호화 장치에 적용되는 FGS 복호화 방법은, 향상계층의 FGS 부호화 장치로부터 입력되는 향상계층 비트스트림을 복호하고, 상기 향상계층 비트스트림으로부터 선택적 향상기법이 적용된 블록의 위치 및 향상 계층 수와, 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수(LM), 선택적 향상기법이 적용될 때 기준 향상 계층 수 등의 정보를 포함한 비트평면 제어 파라미터를 추출하여, 제한적 비트평면 주사 및 부호화에서 제외된 올-제로 영역을 복원하는 제한적 비트평면 복호화 단계와; 상기 선택적 향상기법이 적용된 블록 단위로 각 블록의 비트평면을 상기 향상 계층 수만큼 하향시키는 선택적 쉬프트단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 또 다른 향상계층의 FGS 복호화 장치에 적용되는 FGS 복호화 방법은, 향상계층의 FGS 부호화 장치로부터 입력되는 향상계층 비트스트림을 복호하고, 상기 향상계층 비트스트림으로부터 선택적 향상기법이 적용된 사각영역의 위치 및 향상 계층 수와, 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수(LM), 선택적 향상기법이 적용될 때 기준 향상 계층 수 등의 정보를 포함한 비트평면 제어 파라미터를 추출하여, 제한적 비트평면 주사 및 부호화에서 제외된 올-제로 영역을 복원하는 제한적 비트평면 복호화 단계와; 상기 선택적 향상기법이 적용된 사각영역 단위로 각 사각영역의 비트평면을 상기 향상 계층 수만큼 하향시키는 사각영역기반 선택적 쉬프트단계를 포함한 것을 특징으로 한다.
한편, 본 발명은 프로세스를 구비한 향상계층의 FGS 부호화 장치에,
화면별 향상계층 영상에 대해, 우선적으로 코딩하여 전송하여야 할 시각적으로 중요한 사각영역들(Ri)을 선정하고, 상기 사각영역별로 향상 계층 수(Si)를 결정하는 제 1 기능과; 상기 사각영역별로 비트평면을 상기 향상 계층 수만큼 상향시키고, 사각영역의 개수(I)와, 각 사각영역의 위치 및 크기 정보((xi, yi), (△xi , △yi))와, 각 사각영역별 향상 계층 수(Si), 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수(LM), 각 사각영역별 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터를 계산하는 제 2 기능과; 상기 사각영역별로 비트평면을 상향시킨 상태에서 상기 비트평면 제어 파라미터를 이용하여 제한적 비트평면 주사를 위한 비트평면 상한 및 하한 경계선을 계산하는 제 3 기능과; 매크로블록 단위로 상기 상한 경계선과 하한 경계선 사이의 비트평면을 스캔하면서 비트평면 부호화하여 향상 계층 비트스트림을 얻는 제 4 기능과; 화면별로 사각영역기반 비트평면 부호화 정보를 서술한 FGS VOP 헤더와 상기 향상 계층 비트스트림을 출력하는 제 5 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은 프로세스를 구비한 향상계층의 FGS 복호화 장치에,
화면별 향상계층 영상에 대해, 선택적 향상기법이 적용된 사각영역의 개수(I)와, 각 사각영역의 위치 및 크기 정보((xi, yi), (△xi, △yi ))와, 각 사각영역별 향상 계층 수(Si), 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수(LM), 각 사각영역별 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터를 포함하는 비트평면 제어 파라미터가 부가된 향상계층 비트스트림의 FGS VOP 헤더 정보로부터 각 매크로블록 단위로 주사 대상 비트평면 상한 및 하한 경계선을 계산하는 제 1 기능과; 비트평면별로 부호화된 향상계층 비트스트림을 복호하는 제 2 기능과; 상기 각 사각영역의 비트평면을 향상 계층 수(Si)만큼 하향시키는 제 3 기능과; 역 이산적 코사인 변환 (IDCT)에 의한 향상계층 영상을 복원하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 "엠펙-4 에프지에스 비디오를 위한 사각영역기반형 선택적 향상기법(RSE)을 이용한 부호화/복호화 방법 및 장치"를 보다 상세하게 설명하기로 한다.
본 발명은 기존의 미세형 스케일러빌리티(FGS) 코딩방법에서 선택적 향상기법(SE)을 적용할 때, 향상계층에서 발생하는 비트량 증가 문제를 해소하기 위하여 다음과 같은 두 가지의 방안을 제시한다.
첫째, 선택적 향상기법의 적용 단위를 매크로블록이 아닌 사각영역(rectangular region)으로 변경하여 선택적 향상기법이 적용된 영역이 간편하게 서술될 수 있도록 한다. 즉, 선택적 향상기법의 적용 단위를 매크로블록으로 한정하는 것이 아니라 영역의 최소값과 최대값으로 표현되는 사각영역으로 확대하고, 해당 사각영역의 최소값과 최대값을 이용하여 해당 사각영역을 정의한다. 이렇게 하려면 제한된 전송대역폭에서 주관적 화질 개선을 위한 사각영역들을 미리 찾아야 하는데, 이 사각영역을 미리 찾는 다양한 세부 방법에 대해서는 본 발명에서는 논외로 한다.
둘째, 비트평면 부호화의 대상을 제한하는 제한형 비트평면주사(CBS : constrained bitplane scanning) 기법을 적용한다. 즉, 선택적 향상기법이 적용되는 사각영역의 위치 정보와 사각영역별 비트평면의 상향 정보를 이용하여, 선택적 향상기법으로 인해 증가하는 올-제로 심볼블록을 인지하고 이 추가 증가된 올-제로 심볼블록의 대부분은 비트평면의 주사구역에서 자동으로 제한한다. 이렇게 하면 미세형 스케일러빌리티 코딩방법에서 선택적 향상기법을 적용하였을 때 발생하는 비트평면의 개수 증가 및 올-제로심볼의 증가로 인한 비트율 증가 문제를 해소할 수 있다.
본 발명을 설명하기에 앞서, 본 발명에서 사용하는 사각영역기반 선택적 향상기법에서 정의되어 사용되는 용어를 도 7을 참고하면서 설명하면 다음과 같다.
먼저, I는 선택적 향상기법이 적용될 사각영역의 개수(number of rectangular regions for selective enhancement)이다.
Ri는 i번째 사각영역으로, {(xi, yi), (x'i, y'i)}로 표현되는데, 여기서 (xi, yi)와 (x'i, y'i)는 각각 사각영역 Ri를 정의하는 수평 및 수직방향 위치의 최소치와 최대치를 의미한다.
Si는 사각영역 Ri에 적용되는 상향(shift-up) 계층 수이다.
Li는 사각영역 Ri에 선택적 향상기법을 적용하기 전의 비트평면 최대 계층 수이다.
LM은 미세형 스케일러빌리티 코딩방법의 비디오 화면에서 선택적 향상기법을 적용하기 전의 비트평면의 최대 계층 수이다.
Di는 사각영역 Ri에 선택적 향상기법을 적용한 경우의 비트평면 높이와 LM과의 거리, 즉 기준 향상 계층 수로서, (Li+Si)-LM 으로 표현된다.
도 5는 본 발명에 따른 사각영역기반 선택적 향상기법이 적용된 미세형 스케일러빌리티 코딩 방법의 부호기(송신단)의 구조를 도시한다.
기본계층은 MPEG-4 영상 엔코딩 방법을 그대로 이용한다. 향상계층의 FGS 엔코딩(FGS Enhancement Encoding) 장치(50)는 원 영상과 기본계층에서 재생된 영상과의 오차(residues)를 구하는 수단(51)과, 이 오차를 이산적 코사인 변환(DCT)하는 수단(52)과, 사각영역기반으로 화질을 향상하고자 하는 부분을 선택적 향상하는 비트평면 쉬프트 수단(Bitplane shift)(53)과, 최대값 찾기 수단(Find Maximum)(54)과, 비트평면별로 제한적 비트평면주사에 따라 가변장 부호화를 수행하는 수단(Bitplane VLC)(55), 및 선택적 향상기법이 적용되는 사각영역과 각 사각영역에서의 향상 계층 수를 결정하는 수단(56)으로 이루어진다.
오차를 구하는 수단(51)은 기본계층에서 코딩된 후 재생된 영상(도면에서 Q-1과 IDCT를 통과한 후 클립핑된 재생 영상)과 원 영상(Original Image)과의 차(difference)를 구하여 그 오차 값(residues)을 구한다.
이산적 코사인 변환(DCT) 수단(52)은 이 오차 값(residues)을 블록 단위(8X8 단위) DCT를 이용하여 DCT 도메인(domain)으로 변환한다. 일반적으로 미세형 스케일러빌리티 코딩 방법을 구현하려면, 현재의 화면 전체에 대한 DCT 계수 c(i,j,k) 중에서 절대치가 가장 큰 계수로부터 현재 화면을 비트평면 부호화하는데 필요한 총 비트평면의 개수 N(= LM)을 정하는데, 이 N값은 아래의 수학식 1을 사용하여 구할 수 있다.
여기서, max[x]는 x를 넘지 않는 최대 정수값을 의미하는데, 이는 log 수식 결과값이 정수가 아닐 때 정수값으로 만든다. c(i,j,k)는 k 번째 매크로블록(macroblock)의 j 번째 블록에 대한 DCT 변환에서 i 번째 계수(coefficient) 값을 의미하고, 는 c(i,j,k) 중 가장 큰 값을 의미한다. 비트평면 부호화에 필요한 비트평면의 개수 N 이 결정되면, 각 DCT 블록별로 N 개의 비트평면 부호화가 적용된다. 물론, 선택적 향상기법이 적용되는 비트평면의 개수는 조정된다.
사각영역기반의 비트평면 쉬프트 수단(53)은 수신측에서의 화질을 향상시키고자 하는 사각영역을 설정하고, 해당 사각영역기반으로 비트평면 쉬프트를 선택적으로 수행한다.
먼저, 선택적 향상기법이 적용되는 사각영역과 각 사각영역에서의 향상 계층 수를 결정하는 수단(56)은 선택적 향상기법을 적용할 사각영역의 개수(I)와, 각 사각영역의 위치(Ri = {(xi, yi), (x'i, y'i)}, i=1,2,...,I), 그리고 각 사각영역 Ri에 적용될 상향(shift-up) 계층 수(Si, i=1,2,...I)를 결정한다. 다음, 각 사각영역 Ri에 선택적 향상기법을 적용하기 전의 비트평면 최대 계층 수(Li, i=1,2,...,I)와, 미세형 스케일러빌리티 코딩방법의 비디오 화면에서 선택적 향상기법을 적용하기 전의 비트평면의 최대 계층 수(N = LM)와, 각 사각영역 Ri에 대한 기준 향상 계층 수(Di, i=1,2,...,I)를 구한다. 다음, 각 화면별로 사각영역기반 선택적 향상기법에 의한 부호화 제어정보를 비트스트림의 화면객체(VOP : video object plane) 헤더 부분에 서술한다. 이 부호화 제어정보에는 사각영역의 개수(I) 정보와, 선택적 향상기법을 적용하기 전의 비트평면의 최대 계층 수(LM)와, 각 사각영역별 향상 계층 수(Si)와, 각 사각영역별로 기준 향상 계층 수(Di)와, 각 사각영역의 최저치 정보와 그의 변위량{(xi, yi), (△xi, △yi)} 정보가 포함된다. 여기서 △xi = x'i - xi, △yi = y'i - yi 이고, (x'i, y'i)는 i 번째 사각영역의 최대치이다.
최대값 찾기 수단(54)은 이산적 코사인 변환을 마친 모든 값들의 절대치에 대한 최대값을 구한다. 이 값은 해당 영상 프레임을 전송하기 위한 최대 비트평면(bit-plane)의 개수를 구하는데 사용된다.
제한적 비트평면주사에 따른 비트평면별 가변장 부호화 수단(Bitplane VLC)(55)은 제한적 비트평면주사(CBS : constrained bitplane scanning)를 위해, 주사 대상 비트평면 상한 및 하한 경계선을 계산하는데, 이는 각 매크로블록 단위로 계산한다. 먼저, 비트평면 상한 경계선(LT)은 아래의 수학식 2와 같이 구해진다.
또한, 비트평면 하한 경계선(LB)은 아래의 수학식 3과 같이 구해진다.
즉, 선택적 향상기법이 적용되는 사각영역에 속하지 않는 매크로블록의 상한 경계선(LT)은 선택적 향상기법이 적용되기 전의 비트평면의 최대 계층 수인 LM이고, 하한 경계선(LB)은 0이다. 또한, 선택적 향상기법이 적용되는 사각영역에 속하는 매크로블록의 상한 경계선(LT)은 LM과 LM+Di 중 큰 값이고, 하한 경계선(LB)은 향상계층 수인 Si 이다.
제한적 비트평면 주사는 하한 경계선보다 낮은 계층들과 상한 경계선보다 높은 계층들을 제외한 계층들을 높은 계층부터 차례로 주사한다. 상한 경계선과 하한 경계선 사이에서 주사된 비트평면을 각 매크로블록 단위로 가변장길이 코드표(VLC table)에 따라 런-길이(Run-length) 엔코딩하여 향상계층 비트스트림을 만든다.
도 6은 본 발명에 따른 사각영역기반 선택적 향상기법이 적용된 미세형 스케일러빌리티 디코딩 방법의 복호기(수신단)의 구조를 도시한다.
기본계층은 MPEG-4 영상 디코딩 방법을 그대로 이용한다. 향상계층의 FGS 디코딩(FGS Enhancement decoding) 장치(60)는 엔코더와 역순으로 향상계층 비트스트림의 디코딩을 수행한다. 제한적 비트평면주사에 따른 가변장 길이 복호화를 수행하는 수단(Bitplane VLD)(61)과, 사각영역기반의 비트평면 쉬프트를 수행하는 수단(62)과, 역 이산적 코사인 변환(IDCT) 수단(63)과, IDCT된 향상신호와 기본계층에서 복원된 신호를 더하는 수단(64)과, 더해진 신호를 클립핑하여 향상된 영상신호를 얻는 클립핑 수단(65), 및 수신된 향상계층 비트스트림의 화면별 FGS VOP 헤더 정보로부터 제한적 비트평면 구조 및 비트평면 쉬프트정보를 구하는 수단(66)으로 이루어진다. 즉, 미세형 스케일러빌리티(FGS) 화면객체(VOP) 헤더에 포함된 부호화 제어정보(사각영역의 개수(I), 선택적 향상기법을 적용하기 전의 비트평면의 최대 계층 수(LM), 각 사각영역별 향상 계층 수(Si), 각 사각영역별로 기준 향상 계층 수(Di), 각 사각영역의 최저치 정보와 그의 변위량{(xi, yi), (△xi, △yi)} 정보, 여기서 △xi = x'i - xi, △yi = y'i - yi 이고, (x'i, y'i)는 i 번째 사각영역의 최대치이다.)를 얻어낸다. 다음, 위에서 얻어진 부호화 제어정보를 위의 수학식 2와 수학식 3에 적용하여 각 매크로블록별로 상한 경계선(LT)과 하한 경계선(LB)을 계산한다. 이에 따라서 가변장길이 복호화 수단(61)은 각 매크로블록별로 상기 상한 경계선과 하한 경계선 내에 포함되는 계층으로 제한된 비트평면 비트스트림을 디코딩한다.
사각영역기반 비트평면 쉬프트 수단(62)은 모든 사각영역에 대해 사각영역별(Ri)로 향상 계층 수(Si)만큼 쉬프트 다운시킨다.
역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform) 수단(63)은 사각영역기반 비트평면 쉬프트가 수행되어 도출된 값에 블록 단위(8 X 8 단위)의 역 이산적 코사인 변환(IDCT : Inverse Discrete Cosine Transform)을 수행하여 향상계층에서 전송된 영상을 복원한다.
더하는 수단(64)은 이 향상계층에서 복원된 영상과 기본계층에서 복호된 영상을 더하고, 클립핑(Clipping) 수단(65)은 이 합한 값들을 0과 255 값 사이로 클립핑하여 최종적으로 향상된 화질의 영상을 복원한다.
도 7은 본 발명에 따른 사각영역기반 선택적 향상기법이 적용된 미세형 스케일러빌리티(FGS) 향상계층의 비트평면 구조의 일 예를 도시한다.
도면을 참조하면, 두 개의 사각영역(R1, R2)을 포함하며, 사각영역 R1은 2번, 3번 매크로블록으로 구성되고 사각영역 R2는 6번 매크로블록으로 구성된다. 사각영역 R1의 선택적 향상 적용전의 계층 수(L1)는 4이고, 사각영역 R2의 선택적 향상 적용전의 계층 수(L2)는 3이다. 또한, 사각영역 R1의 향상계층 수(S1)는 3이고, 사각영역 R2의 향상계층 수(S2)는 2이다. 사각영역 단위로 선택적 향상기법을 적용하면, 사각영역 R1의 비트평면의 계층 수는 7이 되며, 사각영역 R2의 비트평면의 계층 수는 5가 된다. 그러나 두 영역의 기준 향상 계층 수는 각각 D1=3, D2=1이 된다.
이렇게 사각영역 기반으로 선택적 향상기법을 적용한 다음 본 발명에 따른 제한형 비트평면 주사방법을 적용하기 위하여, 각 매크로블록별로 수학식 2와 수학식 3을 적용하여 하한 경계선과 상한 경계선을 구한다. 1번, 4번, 5번, 7번 매크로블록은 사각영역에 포함되지 않기 때문에, 상한 경계선은 LM(= 4)이고 하한 경계선은 0이다. 따라서, 상한 경계선보다 높은 계층들(5, 6, 7계층)의 올-제로 심볼블록들은 비트평면 주사 및 부호화에서 제외된다.
2번 매크로블록과 3번 매크로블록은 사각영역 R1에 포함되기 때문에 상한 경계선은 LM과 Li+Si(=LM+Di) 중 큰 값을 선택하는데, 사각영역 R1의 경우 L1+S1이 LM보다 크기 때문에 상한 경계선은 L1+S1(= 7)이고 하한 경계선은 S1(= 3)이다. 여기서, 하한 경계선보다 낮은 계층들(0, 1, 2계층)의 올-제로 심볼블록들이 비트평면 주사 및 부호화에서 제외된다.
6번 매크로블록은 사각영역 R2에 포함되기 때문에 상한 경계선은 LM과 L2+S 2 중 큰 값, 즉 L2+S2(= 5)이고 하한 경계선은 S2(= 2)이다. 따라서, 상향 경계선보다 높은 계층들(6, 7계층)과 하한 경계선보다 낮은 계층들(0, 1계층)의 올-제로 심볼블록들이 비트평면 주사 및 부호화에서 제외된다.
본 발명을 실행하기 위해서는, 기존의 MPEG-4 FGS 비디오 부호화 시스템에서 사각영역기반의 선택적 향상(RSE)기법의 부호화 기능과 복호화 기능이 추가로 구현되어야 한다. 이러한 부호화 기능과 복호화 기능을 위한 전자회로 및 시스템은 다양하게 구현할 수 있으며, 본 발명에서는 논외로 한다. 그러나, 적어도 기존의 MPEG-4 FGS 비트스트림에 본 발명의 RSE 기법에서 정의하는 새로운 제어 파라미터값의 부호가 포함되어야 한다. 이를 위해서는 부호화된 비트스트림의 구조를 정의하는 MPEG-4 FGS 비트스트림 구문(bitstream syntax)이 수정되어야 한다.
사각영역기반의 선택적 향상기법(RSE)은 각 화면에서 사각영역(rectangular region) 단위로 적용되므로 미세형 스케일러빌리티 화면객체(FGS VOP) 헤더 부분을 정의하는 구문에서 새로운 내용이 추가되어야 하며, 그 일 예가 표 1과 같다. 이 추가구문의 의미는 부호화 과정에서 화면별 표현(picture-wise description) 에 해당한다.
FGS VideoObjectPlain() No. of bits Mnemonic Remarks
fgs_vop_selective_enhancement_enable 1 bslbf
if(fgs_vop_selective_enhancement_enable){
number_of selective_enhancement_region 3 uimsbf I
Fgs_vop_max_level before SE 5 uimsbf LM
For(i=0;i<number_of_selective_enhancement_ region; i++){
selective_enhancement_region_index 3 uimsbf i
shift_magnitude_in_region 3 uimsbf Si
selective_enhancement_level_diff 3 bslbf Di
mb_start_x_selective_enhancement 1∼7 vlclbf xi
mb_start_y_selective_enhancement 1∼7 vlclbf yi
mb_x_increment_selective_enhancement 1∼7 vlclbf △xi
mb_y_increment_selective_enhancement 1∼7 vlclbf △yi
}
}
위 구문에서 추가된 각 구문요소의 의미는 비고(remarks)란에 표시한 바와 같이 부호화 제어정보를 의미한다. 여기서, 구문(syntax) 요소의 표현은 MPEG 표준에서 사용되는 C-언어의 표현방식이다.
본 발명의 사각영역기반의 선택적 향상기법은 각 화면에서 사각영역단위로 적용되기 때문에 기존의 선택적 향상기법에 사용된 대블록(MB)별 선택적 향상 관련 구문은 불필요하다. 따라서, FGS 대블록 헤더의 선택적 향상에 관련된 구문을 삭제한다.
사각영역기반 및 제한적 비트평면 부호화 기술을 적용한 본 발명의 선택적 향상기법(RSE)과 종래의 대블록 기반의 선택적 향상기법(SE)과의 성능 비교를 위하여 몇 가지 시험영상에 대해서 모의실험을 한 결과는 다음과 같다.
(1) 선택적 향상기법에 의한 비트율 증가를 비교하면,
영상의 크기가 CIF 및 QCIF인 테스트 영상 "Foreman"과 "Akiyo"에 대해서, 기본계층의 양자화 파라미터(QP) 값이 28인 경우, 1개의 사각영역을 인위적으로 선택하되, 크기는 "Foreman"의 QCIF, CIF에서 각각 7 X 6, 13 X 12 대블록이다. "Akiyo"에서는 각각 5 X 5, 10 X 10 대블록이다. 아래의 표 2는 본 발명에 따른 선택적 향상기법과 종래의 선택적 향상기법을 적용하여 부호화했을 때 추가로 발생하는 비트량의 비율을 비교한 표이다.
Test sequence Image size Level of shift-up Increased bit-rate ratio(%)
종래의 SE 본 발명의 RSE
Foreman QCIF 2 7.65 0.22
4 15.36 0.28
CIF 2 6.38 0.22
4 12.79 0.23
Akiyo QCIF 2 6.07 0.34
4 12.23 0.40
CIF 2 5.94 0.42
4 11.89 0.44
여기서, 비트증가율(increased bit-rate ratio, %)은 FGS의 향상계층에서 선택적 향상기법을 적용하지 않은 경우에 비해서 선택적 향상기법을 적용함으로써 증가하는 비트율의 증가비율(%)을 의미한다. 표 2에서 알 수 있듯이 본 발명의 기법을 사용하면 추가 비트율이 매우 작고(6∼12% 감소), 특히 선택적 향상계층 수가 클수록 종래의 기법에 비해 성능이 월등함을 알 수 있다.
(2) 가변전송 비트율에 대한 수신 화질을 비교하면,
먼저, QCIF "Foreman"에 대해 실험을 하기 위한 실험조건은 다음과 같다. 테스트 영상 "Foreman"의 1번째 프레임, 영상의 크기는 QCIF, 기본계층의 양자화 파라미터값은 28, 화면내 부호화(intra-frame coding)인 경우이고, 모의실험 조건으로 1개의 사각영역이 인위적으로 선택되었으며, 사각영역의 크기는 7 X 6 대블록이고, 향상계층 수는 4이다.
도 8은 상술한 QCIF "Foreman"에 대한 실험조건에서, 본 발명에 따른 선택적 향상(RSE)기법과 종래의 선택적 향상(SE)기법의 피크신호 대 잡음비(PSNR) 성능을 비교한 그래프로서, 도 8의 (a)는 전 화면에서의 비교 결과, 도 8의 (b)는 향상영역에서의 비교 결과, 도 8의 (c)는 비 향상영역에서의 비교 결과를 각각 나타낸다. 도면으로부터 알 수 있듯이, 본 발명에 따른 선택적 향상기법은 향상영역에서 낮은 전송율의 경우에 성능 개선효과가 크고, 전 화면과 비 향상영역에서는 높은 전송율의 경우에 성능 개선효과가 크다.
다음, QCIF "Akiyo"에 대해 실험을 하기 위한 실험조건은 다음과 같다. 테스트 영상 "Akiyo"의 1번째 프레임, 영상의 크기는 QCIF, 기본계층의 양자화 파라미터값은 28, 화면내 부호화 경우이다. 모의실험 조건은 1개의 사각영역이 인위적으로 선택되며 사각영역의 크기는 5 X 5 대블록이고, 향상계층 수는 4이다.
도 9는 상술한 QCIF "Akiyo"에 대한 실험조건에서, 본 발명에 따른 선택적 향상(RSE)기법과 종래의 선택적 향상(SE)기법의 피크신호 대 잡음비(PSNR) 성능을 비교한 그래프로서, 도 9의 (a)는 전 화면에서의 비교 결과, 도 9의 (b)는 향상영역에서의 비교 결과, 도 9의 (c)는 비 향상영역에서의 비교 결과를 각각 나타낸다. 도면을 참조하면, 본 발명에 따른 선택적 향상기법은 중간 전송율에서부터 개선 특징이 나타난다.
다음, QCIF "Coastguard"에 대해 실험하기 위한 실험조건은, 테스트 영상 "Coastguard"의 1번째 프레임, 영상의 크기는 QCIF, 기본계층의 양자화 파라미터값은 28, 화면내 부호화의 경우이다. 모의실험 조건으로 2개의 사각영역이 인위적으로 선택되며, 사각영역의 크기는 각각 2 X 3 대블록 영역과 4 X 3 대블록 영역이고, 향상계층 수는 4이다.
도 10은 상술한 QCIF "Coastguard"에 대한 실험조건에서, 본 발명에 따른 선택적 향상(RSE)기법과 종래의 선택적 향상(SE)기법의 피크신호 대 잡음비(PSNR) 성능을 각각 전 화면, 향상영역, 비 향상영역에서 비교한 결과이다.
위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.
이상과 같이 본 발명에 의하면,
첫째, 본 발명에 따른 선택적 향상기법은 FGS 향상계층의 선택적 향상기능을 사각영역기준으로 적용하기 때문에, 기존의 대블록기준 선택적 향상기법에 비해서 향상기능의 서술에 필요한 비트수가 크게 감소된다.
둘째, 제한적 비트평면주사(CBS : constrained bit-plane scanning) 기법을 이용한 단축형 비트평면 부호화(SBC : shortened bit-plane coding)를 통하여, 동일한 전송률에서 수신 영상의 화질개선효과와 동일 계층의 비트평면 전송에서 소요되는 전송률을 감소시킬 수 있다.
셋째, MPEG-4 FGS 기술에 기반한 인터넷 비디오 스트리밍 서비스 등에서, 향상계층의 선택적 향상기법을 실현성이 높으면서도 부호화 비트율이 감소되고, 화질이 향상되도록 개선한다. 또한, 영상서버 저장장치의 크기를 크게 축소시킬 수 있다.
도 1은 종래의 MPEG-4 국제 표준안에서 사용되는 미세형 스케일러빌리티 (FGS) 코딩 방법의 부호기(송신단)의 구조도,
도 2는 MPEG-4 국제 표준안에서 사용되는 미세형 스케일러빌리티 코딩 방법의 복호기(수신단)의 구조도,
도 3은 선택적 향상(SE)기법이 적용되지 않은 MPEG-4 미세형 스케일러빌리티(FGS) 향상계층의 비트평면 구조의 일 예를 도시한 도면,
도 4는 도 3의 비트평면 구조를 갖는 화면에 선택적 향상(SE) 기법을 적용했을 때의 매크로블록별로 변화된 비트평면의 구조도,
도 5는 본 발명에 따른 사각영역기반 선택적 향상기법이 적용된 미세형 스케일러빌리티 코딩 방법의 부호기(송신단)의 구조도,
도 6은 본 발명에 따른 사각영역기반 선택적 향상기법이 적용된 미세형 스케일러빌리티 디코딩 방법의 복호기(수신단)의 구조도,
도 7은 본 발명에 따른 사각영역기반 선택적 향상기법이 적용된 미세형 스케일러빌리티(FGS) 향상계층의 비트평면 구조의 일 예시도,
도 8은 QCIF "Foreman"에 대해, 본 발명에 따른 선택적 향상(RSE)기법과 종래의 선택적 향상(SE)기법의 피크신호 대 잡음비(PSNR) 성능을 각각 전 화면, 향상영역, 비 향상영역에서 비교한 결과 그래프,
도 9는 QCIF "Akiyo"에 대해, 본 발명에 따른 선택적 향상(RSE)기법과 종래의 선택적 향상(SE)기법의 피크신호 대 잡음비(PSNR) 성능을 각각 전 화면, 향상영역, 비 향상영역에서 비교한 결과 그래프,
도 10은 QCIF "Coastguard"에 대해, 본 발명에 따른 선택적 향상(RSE)기법과 종래의 선택적 향상(SE)기법의 피크신호 대 잡음비(PSNR) 성능을 각각 전 화면, 향상영역, 비 향상영역에서 비교한 결과 그래프이다.

Claims (35)

  1. 삭제
  2. 화면별 향상계층 영상에 대해 향상영역을 선택하고 상기 향상영역의 비트평면을 향상 계층 수만큼 상향시킨 후 부호화하여 향상계층 비트스트림을 출력하는 선택적 향상 부호화단계와, 상기 선택적 상향 및 부호화된 비트스트림을 복호하고 상기 향상영역 비트평면을 상기 향상 계층 수만큼 하향시키는 선택적 향상 복호화단계를 포함하는 향상계층의 FGS 장치에 적용되는 선택적 향상방법에 있어서,
    상기 선택적 향상 부호화단계는,
    상기 화면별 향상계층 영상에 대해, 상기 향상영역을 적어도 하나 이상의 매크로블록을 포함하는 사각영역 단위로 선정하고, 상기 사각영역별로 향상 계층 수(Si)를 결정하는 전처리단계와;
    상기 사각영역별로 비트평면을 상기 향상 계층 수만큼 상향시키고, 사각영역의 개수와, 각 사각영역의 위치 및 크기 정보와, 각 사각영역별 향상 계층 수(Si)와, 선택적 향상되기 전 비트평면의 최대 계층수(LM)와, 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터를 계산하는 제 1 비트평면 쉬프트 단계와;
    상기 비트평면 제어 파라미터를 이용하여 상기 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 제 1 경계선 계산단계와;
    상기 상한 경계선과 하한 경계선 사이의 비트평면을 스캔하여 향상계층 비트스트림을 얻는 부호화 단계와;
    상기 향상계층 비트스트림과 상기 비트평면 제어 파라미터를 결합하여 출력하는 출력단계를 포함한 것을 특징으로 하는 선택적 향상방법.
  3. 제 2 항에 있어서, 상기 선택적 향상 복호화단계는,
    상기 향상계층 비트스트림과 상기 비트평면 제어 파라미터가 수신되면, 상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 제 2 경계선 계산단계와;
    상기 향상계층 비트스트림을 이용하여 상기 상한 경계선 및 하한 경계선 사이의 비트평면을 복호하는 복호화 단계와;
    상기 비트평면 제어 파라미터를 이용하여 상기 사각영역의 비트평면을 향상 계층 수(Si)만큼 하향시키는 제 2 비트평면 쉬프트 단계를 포함한 것을 특징으로 하는 선택적 향상방법.
  4. 제 3 항에 있어서, 상기 복호화 단계는 상기 주사 대상 비트평면 상한 경계선보다 높은 계층의 비트평면과 하한 경계선보다 낮은 계층의 비트평면을 올-제로 심볼로 복원하는 것을 특징으로 하는 선택적 향상방법.
  5. 제 2 항 또는 제 3 항에 있어서,
    상기 제 1 경계선 계산단계 및 제 2 경계선 계산단계는,
    상기 사각영역에 포함되지 않은 매크로블록의 상한 경계선(LT)은 상기 선택적 향상되기 전 비트평면의 최대 계층 수(LM)로 설정하고, 하한 경계선(LB)은 0으로 설정하며,
    상기 사각영역에 포함된 매크로블록의 상한 경계선(LT)은 상기 '선택적 향상되기 전 비트평면의 최대 계층 수(LM)'와 'LM + 기준 향상 계층 수(Di)' 중 큰 값으로 설정하고, 하한 경계선(LB)은 상향된 계층 수로 설정하는 것을 특징으로 하는 선택적 향상방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 향상계층의 FGS 부호화 장치에 있어서,
    원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하고 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환수단과;
    상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수(Si)만큼 상향시키는 사각영역기반 선택적 향상수단과;
    상기 사각영역의 개수와, 각 사각영역의 위치 및 크기 정보와, 각 사각영역별 향상 계층 수(Si)와, 선택적 향상되기 전 비트평면의 최대 계층수(LM)와, 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터를 계산하는 제어 파라미터 계산수단과;
    상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 경계선 계산수단과;
    상기 상한 경계선과 하한 경계선 사이의 비트평면을 스캔하여 향상계층 비트스트림을 얻는 부호화 수단과;
    상기 향상계층 비트스트림과 상기 비트평면 제어 파라미터를 결합하여 출력하는 출력수단을 포함한 것을 특징으로 하는 향상계층의 FGS 부호화 장치.
  11. 제 10 항에 있어서, 상기 경계선 계산수단은,
    상기 사각영역에 포함되지 않은 매크로블록의 상한 경계선(LT)은 상기 선택적 향상되기 전 비트평면의 최대 계층 수(LM)로 설정하고, 하한 경계선(LB)은 0으로 설정하며,
    상기 사각영역에 포함된 매크로블록의 상한 경계선(LT)은 상기 '선택적 향상되기 전 비트평면의 최대 계층 수(LM)'와 'LM + 기준 향상 계층 수(Di)' 중 큰 값으로 설정하고, 하한 경계선(LB)은 상향된 계층 수로 설정하는 것을 특징으로 하는 향상계층의 FGS 부호화 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 향상계층의 FGS 부호화 장치에 적용되는 FGS 부호화 방법에 있어서,
    원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하고 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환단계와;
    상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수(Si)만큼 상향시키는 사각영역기반 선택적 향상단계와;
    상기 사각영역의 개수와, 각 사각영역의 위치 및 크기 정보와, 각 사각영역별 향상 계층 수(Si)와, 선택적 향상되기 전 비트평면의 최대 계층수(LM)와, 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터를 계산하는 제어 파라미터 계산단계와;
    상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 경계선 계산단계와;
    상기 상한 경계선과 하한 경계선 사이의 비트평면을 스캔하여 향상계층 비트스트림을 얻는 부호화 단계와;
    상기 향상계층 비트스트림과 상기 비트평면 제어 파라미터를 결합하여 출력하는 출력단계를 포함한 것을 특징으로 하는 향상계층의 FGS 부호화 방법.
  19. 제 18 항에 있어서, 상기 경계선 계산단계는,
    상기 사각영역에 포함되지 않은 매크로블록의 상한 경계선(LT)은 상기 선택적 향상되기 전 비트평면의 최대 계층 수(LM)로 설정하고, 하한 경계선(LB)은 0으로 설정하며,
    상기 사각영역에 포함된 매크로블록의 상한 경계선(LT)은 상기 '선택적 향상되기 전 비트평면의 최대 계층 수(LM)'와 'LM + 기준 향상 계층 수(Di)' 중 큰 값으로 설정하고, 하한 경계선(LB)은 상향된 계층 수로 설정하는 것을 특징으로 하는 향상계층의 FGS 부호화 방법.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 향상계층의 FGS 복호화 장치에 있어서,
    향상계층의 FGS 부호화장치로부터 선택적 향상된 사각영역의 개수와 각 사각영역의 위치 및 크기 정보와 각 사각영역별 향상 계층 수(Si)와 선택적 향상되기 전 비트평면의 최대 계층수(LM)와 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터와, 상향계층 비트스트림을 수신하는 수신수단과;
    상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 경계선 계산수단과;
    상기 향상계층 비트스트림을 이용하여 상기 상한 경계선 및 하한 경계선 사이의 비트평면을 복호하는 복호화 수단과;
    상기 비트평면 제어 파라미터를 이용하여 상기 사각영역의 비트평면을 향상 계층 수(Si)만큼 하향시키는 비트평면 쉬프트 수단을 포함한 것을 특징으로 하는 향상계층의 FGS 복호화 장치.
  27. 제 26 항에 있어서, 상기 복호화 수단은 상기 주사 대상 비트평면 상한 경계선보다 높은 계층의 비트평면과 하한 경계선보다 낮은 계층의 비트평면을 올-제로 심볼로 복원하는 것을 특징으로 하는 향상계층의 FGS 복호화 장치.
  28. 제 26 항에 있어서, 상기 경계선 계산수단은,
    상기 사각영역에 포함되지 않은 매크로블록의 상한 경계선(LT)은 상기 선택적 향상되기 전 비트평면의 최대 계층 수(LM)로 설정하고, 하한 경계선(LB)은 0으로 설정하며,
    상기 사각영역에 포함된 매크로블록의 상한 경계선(LT)은 상기 '선택적 향상되기 전 비트평면의 최대 계층 수(LM)'와 'LM + 기준 향상 계층 수(Di)' 중 큰 값으로 설정하고, 하한 경계선(LB)은 상향된 계층 수로 설정하는 것을 특징으로 하는 향상계층의 FGS 복호화 장치.
  29. 삭제
  30. 삭제
  31. 향상계층의 FGS 복호화 장치에 적용되는 FGS 복호화 방법에 있어서,
    향상계층의 FGS 부호화장치로부터 선택적 향상된 사각영역의 개수와 각 사각영역의 위치 및 크기 정보와 각 사각영역별 향상 계층 수(Si)와 선택적 향상되기 전 비트평면의 최대 계층수(LM)와 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터와, 상향계층 비트스트림을 수신하는 수신수단계와;
    상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 경계선 계산단계와;
    상기 향상계층 비트스트림을 이용하여 상기 상한 경계선 및 하한 경계선 사이의 비트평면을 복호하는 복호화 단계와;
    상기 비트평면 제어 파라미터를 이용하여 상기 사각영역의 비트평면을 향상 계층 수(Si)만큼 하향시키는 비트평면 쉬프트 단계를 포함한 것을 특징으로 하는 향상계층의 FGS 복호화 방법.
  32. 제 31 항에 있어서, 상기 복호화 단계는 상기 주사 대상 비트평면 상한 경계선보다 높은 계층의 비트평면과 하한 경계선보다 낮은 계층의 비트평면을 올-제로 심볼로 복원하는 것을 특징으로 하는 향상계층의 FGS 복호화 방법.
  33. 제 31 항에 있어서, 상기 경계선 계산단계는,
    상기 사각영역에 포함되지 않은 매크로블록의 상한 경계선(LT)은 상기 선택적 향상되기 전 비트평면의 최대 계층 수(LM)로 설정하고, 하한 경계선(LB)은 0으로 설정하며,
    상기 사각영역에 포함된 매크로블록의 상한 경계선(LT)은 상기 '선택적 향상되기 전 비트평면의 최대 계층 수(LM)'와 'LM + 기준 향상 계층 수(Di)' 중 큰 값으로 설정하고, 하한 경계선(LB)은 상향된 계층 수로 설정하는 것을 특징으로 하는 향상계층의 FGS 복호화 방법.
  34. 향상계층의 FGS 부호화 장치에, 선택적 향상을 위한 FGS 부호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 FGS 부호화 방법은,
    원 영상과 기본계층에서 재생된 영상과의 오차 영상을 구하고 상기 오차 영상을 블록 단위의 DCT 변환하는 이산적 코사인 변환단계와;
    상기 DCT 변환된 오차 영상에 대해, 적어도 하나 이상의 매크로블록을 포함한 사각영역 단위로 향상영역을 선택하고 각 사각영역의 비트평면을 향상 계층 수(Si)만큼 상향시키는 사각영역기반 선택적 향상단계와;
    상기 사각영역의 개수와, 각 사각영역의 위치 및 크기 정보와, 각 사각영역별 향상 계층 수(Si)와, 선택적 향상되기 전 비트평면의 최대 계층수(LM)와, 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터를 계산하는 제어 파라미터 계산단계와;
    상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 경계선 계산단계와;
    상기 상한 경계선과 하한 경계선 사이의 비트평면을 스캔하여 향상계층 비트스트림을 얻는 부호화 단계와;
    상기 향상계층 비트스트림과 상기 비트평면 제어 파라미터를 결합하여 출력하는 출력단계를 포함한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
  35. 향상계층의 FGS 복호화 장치에, 선택적 향상을 위한 FGS 복호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 FGS 복호화 방법은,
    향상계층의 FGS 부호화장치로부터 선택적 향상된 사각영역의 개수와 각 사각영역의 위치 및 크기 정보와 각 사각영역별 향상 계층 수(Si)와 선택적 향상되기 전 비트평면의 최대 계층수(LM)와 각 사각영역별 선택적 향상된 후 기준 향상 계층 수(Di)를 포함하는 비트평면 제어 파라미터와, 상향계층 비트스트림을 수신하는 수신수단계와;
    상기 비트평면 제어 파라미터를 이용하여 각 매크로블록 단위로 영상 정보를 담고 있는 비트평면의 상한 경계선 및 하한 경계선을 계산하는 경계선 계산단계와;
    상기 향상계층 비트스트림을 이용하여 상기 상한 경계선 및 하한 경계선 사이의 비트평면을 복호하는 복호화 단계와;
    상기 비트평면 제어 파라미터를 이용하여 상기 사각영역의 비트평면을 향상 계층 수(Si)만큼 하향시키는 비트평면 쉬프트 단계를 포함한 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0020150A 2002-04-12 2002-04-12 Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치 KR100491445B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0020150A KR100491445B1 (ko) 2002-04-12 2002-04-12 Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0020150A KR100491445B1 (ko) 2002-04-12 2002-04-12 Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20030081772A KR20030081772A (ko) 2003-10-22
KR100491445B1 true KR100491445B1 (ko) 2005-05-25

Family

ID=32378858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0020150A KR100491445B1 (ko) 2002-04-12 2002-04-12 Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100491445B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536420A (ja) 2005-04-13 2008-09-04 ノキア コーポレイション スケーラビリティ情報の符号化、格納およびシグナリング
KR100856064B1 (ko) * 2006-06-12 2008-09-02 경희대학교 산학협력단 Ｆｇｓ코딩에서 우선적인 인코딩/디코딩 방법 및 장치
KR100781530B1 (ko) * 2006-07-14 2007-12-03 삼성전자주식회사 변환 계수의 재배열을 이용하여 ｆｇｓ 계층의 비디오신호를 부호화하고 복호화하는 방법 및 장치
US8599926B2 (en) 2006-10-12 2013-12-03 Qualcomm Incorporated Combined run-length coding of refinement and significant coefficients in scalable video coding enhancement layers
US8565314B2 (en) 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US9319700B2 (en) 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
CN111654702B (zh) * 2020-05-22 2024-05-17 西安万像电子科技有限公司 数据传输方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002005541A2 (en) * 2000-07-12 2002-01-17 Koninkl Philips Electronics Nv Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
WO2003045067A1 (en) * 2001-11-21 2003-05-30 Koninklijke Philips Electronics N.V. Improved bit plane compression method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002005541A2 (en) * 2000-07-12 2002-01-17 Koninkl Philips Electronics Nv Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
WO2003045067A1 (en) * 2001-11-21 2003-05-30 Koninklijke Philips Electronics N.V. Improved bit plane compression method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IEEE Trans. on CSVT(vol.11, no.3, 2001.03) *
논문,Overview of fine granularity scalability in MPEG-4 Video standard(2001.03) *
논문,Rectangular region-based selective enhancement(RSE) for MPEG-4 Fine Granular Scalability. 본 원의 발명자가 발표한 논문자료(2003.06) *

Also Published As

Publication number Publication date
KR20030081772A (ko) 2003-10-22

Similar Documents

Publication Publication Date Title
KR100353851B1 (ko) 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
US6263022B1 (en) System and method for fine granular scalable video with selective quality enhancement
US6788740B1 (en) System and method for encoding and decoding enhancement layer data using base layer quantization data
US6907070B2 (en) Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
US20070009039A1 (en) Video encoding and decoding methods and apparatuses
US20050036549A1 (en) Method and apparatus for selection of scanning mode in dual pass encoding
Nguyen et al. Adaptive downsampling/upsampling for better video compression at low bit rate
US20040179606A1 (en) Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations
US20070121719A1 (en) System and method for combining advanced data partitioning and fine granularity scalability for efficient spatiotemporal-snr scalability video coding and streaming
JP2012151894A (ja) 画像シーケンスを符号化する方法または復号する方法および装置
KR100491445B1 (ko) Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치
JPH11122617A (ja) 画像圧縮
Wang et al. Fine-granularity spatially scalable video coding
KR100388820B1 (ko) 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
KR100626651B1 (ko) 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법
Kim et al. Content-based video transcoding in compressed domain
He et al. Improved fine granular scalable coding with interlayer prediction
Atta et al. An efficient layered video codec based on DCT pyramid
Cheong et al. A new scanning method for h. 264 based fine granular scalable video coding
Ghandi et al. Error concealment for SNR scalable video coding
Chen et al. Improved rate control for MPEG-4 video transport over wireless channel
Thillainathan et al. Scalable image and video coding algorithms
van der Schaar et al. New Forms of Scalability in MPEG-4
Kweh Improved quality block-based low bit rate video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080430

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee