KR100491998B1 - 영상부호화시영상크기정보표현/부호화방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

영상 부호화 장치

2. 발명이 해결하려고 하는 기술적 과제

종래의 VOP영상 형성시 최상단 좌측점의 절대좌표값 (VOP_horizontal_mc_spatial_ref, VOP_vertical_mc_spatial_ref)과 VOP 영상의 크기정보 즉, VOP너비와 VOP높이정보가 1화소단위로 표현 및 부호화되기 때문에 부호화해야할 비트가 많아져 부호화 효율이 저하되는 문제점을 해결하고자 한 것임.

3. 발명의 해결방법의 요지

임의의 크기의 영상을 부호화할 때 그 영상의 크기정보를 표현하고 부호화는 방법에 있어서, 상기 부호화하고자 하는 영상의 크기정보를 부호화할 때 그 정보의 크기정보를 N(N=1,2,3....,n)화소단위로 표현하고, 이를 부호화하는 것을 특징으로 한 것이다.

4. 발명의 중요한 용도

영상 부호화시 영상 크기정보의 표현 및 부호화에 적용되는 것임.

Description

영상부호화시 영상 크기정보 표현/부호화 방법

본 발명은 영상 부호화에 관한 것으로, 특히 임의 모양의 VOP(Video Object Planes) 영상 부호화시 VOP 크기정보를 표현 및 부호화하는 방법에 관한 것이다.

일반적으로, 영상 및 음향 부호화 기술 및 시스템구성에 관한 국제 표준안(MPEG-1, MPEG-2)을 개발하고 의결한 MPEG 그룹이 국제 표준으로 채택할 예정의 차세대 영상 및 음향 부호화 기술 및 시스템 구성에 관한 국제 표준안(MPEG-4)을 연구, 개발중에 있다. MPEG-4의 개발은 기존의 알려진 표준안으로는 지원할 수 없는 차세대 영상 및 음향 응용물들을 지원할 필요성에서 출발했다. MPEG-4는 영상 및 음향 데이타의 통신과 접속, 그리고 조작을 위한 새로운 방법들(예를 들자면, 특성이 다른 네트워크를 통한 물체 중심 대화형 기능 및 접속 등)을 제공한다.

또한 에러가 쉽게 발생되는 통신 환경과 저전송율의 통신환경에서도 유용하게 동작 하는 특성을 제공한다. 더우기 컴퓨터 그래픽 기술을 통합하여 자연영상 및 음향과 인공영상 및 음향들을 함께 부호화하고 조작할 수 있는 기능들을 제공한다. 요약컨대, MPEG-4는 여러 응용분야에서 요구되고 예상되는 모든 기능들을 지원해야 한다. 따라서, 멀티미디어 정보의 급팽창과 기술 향상에 의해 새롭게 개발됐거나 개발될 저가, 고기능의 모든 가능한 응용 분야들에 요구되는 기능들을 지원할 수 있도록 확장가능하고 개방적인 구조를 가지게 된다. 그중에는 전송 및 저장 기능과 비용 절감에 필요한 부호화 효과의 향상 기능(Improved Compression Efficiency)이 있다. 현재 MPEG-4의 기술이 응용될 것으로 기대되는 응용물로는 인터넷 멀티미디어(IMM: Internet Multimedia), 대화형 비디오 게임(IVG: Interactive Video Games), 영상회의 및 영상전화등의 상호 통신(IPC: Interpersonal Communications), 쌍방향 저장매체(ISM: Interactive Storage Media), 멀티미디어 전자우편(MMM: Multimedia Mailing), 무선 멀티미디어(WMM: Wireless Multimedia), ATM망 등을 이용한 네트웍 데이타베이스 서비스(NDB: Networked Database Service), 원격 응급 시스템(RES: Remote Emergency Systems), 원격 영상 감시(RVS: Remote Video Surveillance) 등이 있다.

기존의 응용물이나 앞으로 기대되는 응용물을 지원하기 위해서는 유저들이 영상 내의 원하는 객체만을 통신할 수 있고, 찾고 읽을 수 있도록 접근할 수 있으며, 자르고 붙일 수 있도록 편집할 수 있는 영상 부호화기술이 필요하다. 현재 세계 표준화 작업이 진행중인 새로운 영상 및 음향 부호화 기술인 MPEG-4는 이러한 필요를 충족시키기 위한 것이다.

도 1은 현재 국제표준 산하기구에서 1차적으로 확정한 MPEG-4의 VOP 영상 부호화기의 구성도이다. 이는 기존의 영상부호화 세계표준화인 H.261, H.263, MPEG-1, MPEG-2의 영상 부호화기 구조와는 다른 구조를 지닌다. 특히 모양정보 부호화부(Shape Coder)와 VOP(Video Object Planes)라는 개념의 도입이 가장 두드러진 차이를 보이고 있다. VOP는 유저가 접근 및 편집할 수 있는 임의 모양의 내용물의 시간축상의 한 시점의 객체를 의미하며, 내용물 기반의 기능성(content-based functionality)을 지원하기 위해서는 VOP별로 부호화되어야 한다.

이러한 VOP 부호화기는, VOP형성부(20)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직인 추정부(MOTION ESTIMATION)(31)에 입력되면, 움직임 추정부(31)는 인가된 VOP로부터 매크로 블럭 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(31)에서 추정된 움직임 정보는 움직임 보상부(MOTION COMPENSATION)(32)에 입력되어 움직임이 보상된다. 그리고, 움직임 보상부(32)에서 움직임이 보상된 VOP는 상기 VOP형성부(11)에서 형성된 VOP와 함께 감산기(33)에 입력되어 차이값이 검출되고, 감산기(33)에서 검출된 차이값은 대상물 내부 부호화부(34)에 입력되어 매크로 블럭의 서브 블럭 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블럭의 X축 및 Y축이 M/2 × N/2으로 각기 8개의 화소를 가지는 8×8의 서브 블럭으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 움직임 보상부(32)에서 움직임이 보상된 VOP와, 대상물 내부 부호화부(34)에서 부호화된 대상물의 내부정보는 가산기(35)에 입력되어 가산되고, 가산기(35)의 출력신호는 이전 VOP검출부(PREVIOUS RECONSTRUCTED VOP)(36)에 입력되어 현재 영상 바로 이전 영상의 VOP인 이전 VOP가 검출된다.

또한, 이전 VOP검출부(36)에서 검출된 이전 VOP는 상기 움직임 추정부(31) 및 움직임 보상부(32)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, VOP형성부(11)에서 형성된 VOP는 모양정보 부호화부(SHAPE CODING)(37)에 입력되어 모양정보가 부호화된다.

여기서, 모양정보 부호화부(37)의 출력신호는 VOP부호화기가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 모양정보 부호화부(37)의 출력신호를 움직임 추정부(31), 움직임 보상부(32) 및 대상물 내부부호화부(34)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화하는데 사용할 수 있다.

또한, 움직임 추정부(31)에서 추정된 움직임 정보와, 대상물 내부 부호화부(34)에서 부호화된 대상물 내부 정보 및 상기 모양정보 부호화부(37)에서 부호화된 모양 정보는 멀티플렉서(38)에 인가되어 다중화 된 후, 비트스트림으로 도면에는 도시하지 않았지만 다수개의 부호화기의 출력을 다시 다중화하여 전송하는 다중화기에 전달되어 전송되어진다.

도 2는 임의 모양을 가진 VOP의 한 예를 보인 것이다. VOP영상은 도 1의 VOP 영상 형성부(20)에서 도 2의 VOP에 대해 그 VOP를 포함하는 최소 사각형으로 도 3과 같이 구성한다. 그 후 도 3에 대해 물체영역을 포함하는 매크로블럭(16×16화소 블럭)이 최소가 되도록 도 3의 최상단 좌측점을 좌상단 영역으로 확장하여 도 4를 구성한다. 이후 도 4와 같이 구성된 VOP영상에 대한 정보를 최상단 좌측점의 절대 좌표값(VOP_horizontal_mc_spatial_ref, VOP_vertical_mc_spatial_ref)과 VOP_width(VOP너비)와 VOP_height(VOP높이)를 1화소단위로 표현하여 부호화함으로써 복호화부에 전송하는 구조를 갖고 있다. 이때 VOP영상 형성부에서 형성된 도 4와 같은 VOP영상은 후단의 VOP부호화기내의 모양정보, 영상정보, 움직임 정보 부호화부에 입력되기전 매크로블럭 단위로 우측 및 하단으로 확장되어 재구성된 후 부호화된다.

하기한 표(1)은 상기와 같이 VOP영상 형성부에서 도 4와 같은 VOP영상을 후단의 VOP부호화기에 전달할 때 제공되는 VOP 크기정보의 부호화를 위한 Syntax구조이다.

그런데 종래의 기술은 최상단 좌측점의 절대좌표값(VOP_horizontal_mc_spatial_ref, VOP_vertical_mc_spatial_ref)이 정확히 전송되면, VOP영상의 크기정보 즉, VOP너비와 VOP높이정보가 1화소단위가 아니라 매크로 블럭 단위(16*16)로 전송되어도 복호화부에서 복호화할 수 있는데도 불구하고 VOP너비와 VOP높이 정보를 1화소단위로 표현하고 이를 부호화하여 후단인 VOP부호화부에 전송함으로써 불필요한 부호화 비트의 사용으로 부호화 효율을 저하시키는 문제점을 발생하였다.

이에 본 발명은 전술한 바와 같은 종래 VOP 영상 부호화시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로, 본 발명은 VOP 영상의 크기정보를 부호화할 때 그 VOP 크기정보를 매크로블록 단위(16화소단위)로 표현하고 그 크기정보를 부호화함으로써 VOP 크기정보 부호화시 부호화할 비트를 감축토록 한 영상부호화시 VOP 크기정보 표현/부호화 방법을 제공하는데 그 목적이 있다.

이러한 본 발명의 목적을 달성하기 위한 방법은, 임의의 크기의 영상을 부호화할 때 그 영상의 크기정보를 표현하고 부호화는 방법에 있어서, 상기 부호화하고자 하는 영상의 크기정보를 부호화할 때 그 정보의 크기정보를 N 화소단위로 표현하고, 이를 부호화하는 것을 특징으로 한 것이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

본 발명이 적용되는 MPEG-4 VOP 부호화기의 구성은 첨부한 도면 도 1과 동일하므로, 이를 참조하여 본 발명의 바람직한 실시예를 첨부한 도면 도 5에 의거 상세히 설명하면 다음과 같다.

기존의 VOP 영상에 대한 위치와 크기 정보로 최상단 좌측점의 절대좌표값(VOP_horizontal_mc_spatial_ref, VOP_vertical_mc_spatial_ref)에서 VOP_width(VOP 너비)와 VOP_height(VOP높이)를 1화소단위로 표현하여 부호화지만, 실제 모양정보, 영상정보, 움직임정보는 매크로 블럭단위로 부호화되므로, 복호화부에서 VOP영상의 최상단 좌측점의 절대 좌표값(VOP_horizontal_mc_spatial_ref, VOP_vertical_mc_spatial_ref)만 정확히 전송되어진다면, VOP영상의 크기정보를 1화소단위로 전송할 필요가 없고, 매크로블럭단위로 전송되어도 모양정보가 복호화될 수 있다. 복호화되는 움직임정보 및 영상정보를 이미 복호화된 모양정보를 이용하여 재구성하면 영상의 실제영역을 제한하여 표현할 수 있으므로 영상의 합성 및 편집시에도 전혀 어려움이 없다.

만약 기존 기술에서 정의한 1화소단위의 VOP 너비 정보를 VOP_width, VOP높이 정보를 VOP_height라 하고, 본 발명에서 제안한 매크로블럭 단위로 정의한 매크로블럭 단위의 VOP너비 정보를 VOP_width', VOP높이 정보를 VOP_height'라 하면, 표(1)에 도시된 바와 같이 VM7.0에서 각각 13bits(8192×8192 크기까지 표현가능)로 표현되던 VOP_width'와 VOP_height'는 ((VOP_width-1)/16 + 1)bits와 ((VOP_height-1)/16+1)bits로 표현할 수 있다.

즉, 9bits로 표현가능하게 된다.

더우기 VOP_width'와 VOP_height'를 표현하는데 18bits가 필요함으로 인해 시작 코드(start code)의 에뮬레이션(emulation)가능성이 없기 때문에 1비트의 marker_bit 또한 불필요하게 된다. 이로인해 VOP 크기정보를 부호화하는데 VOP당 총 9비트의 감소효과를 볼 수 있으므로 30Hz로 부호화할 경우 초당 270비트의 부호화비트 감소효과를 얻을 수 있게 된다.

다시 말해, 기존에는 도 4와 같이 VOP우측과 하단측이 도 3과 같은 Tightest Rectangle과 동일하게 구성시키는 반면, 본 발명은 VOP 영상을 도 3에서 도 4의 최상단 좌측점을 구한후 도 5와 같이 매크로블럭 크기 단위로 VOP 영상의 좌측과 하단측을 확장하여 구성한다.

이후 형성된 VOP 영상에 대한 크기 정보를 매크로블럭단위(16화소단위)로 표현하고 부호화한다.

여기서 VOP 크기정보 부호화를 위한 VM7.0의 Syntax 구조는 아래의 표(2)와 같다.

한편, 전술한 바와 같이 VOP 크기정보를 16화소단위로 표현하게 되면 너비 및 높이 표현에서 각각 4비트씩 8비트의 감소 효과와 시작 코드(start code)의 에뮬레이션(emulation)가능성이 없기 때문에 1비트의 marker_bit의 감소 효과까지 총 9비트의 감소효과를 얻을 수 있다.

이로인해 VOP 크기정보를 부호화 하는데 VOP당 총 9비트의 감소효과를 볼 수 있으므로 30Hz로 부호화할 경우 초당 270비트의 부호화비트 감소효과를 얻을 수 있게 된다. 즉 Frame Rate가 N Hz일 경우 본 발명에 의해 11×N 비트의 감소가 가능하게 되는 것이다.

이상에서 살펴본 본 발명은 현재 표준안 작업이 진행중인 MPEG-4의 VOP단위 영상에 대해서만 설명하였으나, 이는 VOP단위 영상에만 한정되는 것은 아니고, 임의의 크기의 영상(예를 들면, 임의 모양을 가지는 직사각형 구조의 영상, Sprite 영상, Texture Object, 합성 영상 등등)의 크기정보를 표현하고 이를 부호화하는데도 적용 가능하다.

이상에서 상술한 본 발명은 VOP 크기정보를 16화소단위로 표현함으로써 너비 및 높이 표현에서 각각 4비트씩 8비트의 감소 효과와 start code의 emulation 가능성이 없기 때문에 1비트의 marker_bit의 감소 효과까지 하나의 VOP당 총 9비트의 부호화 비트 감소 효과를 얻을 수 있다.

또한, 전술한 효과에 의해 VOP당 총 9비트의 감소효과를 볼 수 있으므로 30Hz로 부호화할 경우 초당 270비트의 부호화 비트 감소 효과를 얻을 수 있다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 MPEG-4에서 고려되는 VOP부호화기의 구성도,

도 2는 임의의 영상에서 전체 영상이나 그 영상을 이루는 의미있는 물체만으로 구성된 VOP영상도,

도 3은 Tightest Rectangle로 구성된 VOP 영상도,

도 4는 VOP 영상 형성부 이후의 VOP와 기존의 VOP 위치정보와 크기정보도,

도 5는 본 발명에서 제안한 VOP영상의 형성방법 및 VOP위치정보와 크기정보의 표현도,

〈도면의 주요 부분에 대한 부호의 설명〉

20: VOP형성부 30: VOP 부호화부

31: 움직임 추정부 32: 움직임 보상부

33: 감산기 34: 대상물 내부 부호화부

36: 이전 VOP 검출부 37: 모양정보 부호화부

40: 멀티플렉서

Claims (1)

1. 임의 모양의 영상 부호화시 VOP 크기정보를 부호화하는 방법에 있어서,

   VOP 크기정보를 매크로블록 단위로 표현하여 부호화하는 것

   을 특징으로 하되,

   상기 VOP 크기정보는 VOP의 너비 정보와 높이 정보를 포함하며,

   상기 너비 정보는 VOP의 가로방향 화소개수를 매크로블록 단위의 화소개수로 나누고 1을 더한 값으로 표현되며,

   상기 높이 정보는 VOP의 세로방향 화소개수를 매크로블록 단위의 화소개수로 나누고 1을 더한 값으로 표현되는 것

   을 특징으로 하는 VOP 크기정보 부호화 방법.

Images