KR100483672B1 - 영상신호처리의모양정보부호화방법 - Google Patents

Abstract

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양정보 부호화 방법(SHAPE INFOMATION CODING METHOD) 중 신축형 모양정보 부호화(SCALALE SHAPE CODING)에 관한 것으로, 특히, 영상정보 부호화시 AC/DC 예측부호화 기술이 적용될 경우, 물체경계블록의 DC성분만 이용하고, AC 성분은 0로 두어 예측부호화함으로써, 상관도가 적은 값을 예측값으로부터 제외시켜 부호화 효율을 향상시키기 위한 것이다.

Description

영상신호처리의 모양정보 부호화 방법

본 발명은 영상 입력장치를 통해 인가되는 동영상을 임의의 모양 정보(SHAPE INFORMATION)를 갖는 각각의 대상물 영상과 배경 영상으로 분리하여 처리하는 모양 정보 부호화 방법(SHAPE INFORMATION CODING METHOD)중 신축형 모양정보 부호화(SCALABLE SHAFE CODING)에 관한 것으로, 특히, 영상정보 부호화시 AC/DC 예측부호화 기술이 적용될 경우, 물체경계블록의 DC성분만 이용하고, AC 성분은 0으로 두어 예측부호화함으로써, 상관도가 적은 값을 예측값으로부터 제외시켜 부호화 효율을 향상시키기 위한 것이다.

주지하다시피, 최근의 영상 처리 기술은, 인가되는 한 프레임(FRAME)분의 영상을 전체적으로 압축 부호화하는 방법에서 탈피하여, 임의의 모양 정보를 갖는 소정의 단위블록으로 구분하여 그 각각에 대해 압축 부호화하여 전송하는 방향으로 흐르고 있다.

즉, 인가되는 영상을 각각의 대상물 영상과 배경 영상으로 분리하여, 상기 대상물 영상의 변화 여부만을 전송하므로써 압축 효울화 및 부호화 효율을 꾀하고 있으며, 이에 대한 국제 표준안을 마련하고 있다.

예를 들어, 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG(MOVING PICTURE EXPRESS GROUP : 미디어 통합계 동영상 압축의 국제표준 : 이하 MPEG이라 한다)-1, MPEG-2와는 달리 임의의 모양정보를 갖는 물체를 부호화하는 방식에 대한 표준화작업인 MPEG-4를 진행하고 있으며, 상기 표준화가 진행되고 있는 MPEG-4는 임의의 모양정보를 갖는 단위블록으로 VOP(VIDEO OBJECT PLANE : 이하 VOP라 한다)의 개념을 기초로 하고 있다.

여기서 상기 VOP는, 인가되는 영상을 배경 영상과 각각의 대상물 영상으로 분리하고, 상기 분리한 배경 영상과 대상물 영상을 포함하는 사각형으로 정의 되는 것으로, MPEG-4에서는, 영상 내에 소정의 물체, 또는 소정의 영역으로 이루어진 대상물의 영역이 존재할 경우, 그 대상물의 영상을 각각의 VOP로 분리하고, 분리한 상기 VOP를 각기 부호화 하는 것을 골격으로 하고 있다.

이러한 VOP는 자연 영상, 또는 인공 영상 등을 대상물 영상의 단위로 하여 자유자재로 합성 내지는 분해할 수 있는 장점을 가지는 것으로, 인터넷 멀티미디어(INTERNET MULTIMEDIA), 대화형 비디오 게임(INTERECTIVE VIDEO GAMES), 영상회의 및 영상전화등의 상호 통신(INTERPERSONAL COMMUNICATIONS), 쌍방향 저장매체(INTERECTIVE STORAGE MEDIA), 멀티미디어 전자우편(MULTIMEDIA MAILING), 무선 멀티미디어(WIRILESS MUTIMEDIA), ATM(ASYNCHRONOUS TRANSFER MODE)망 등을 이용한 네트웍 데이터베이스 서비스(NETWORKED DATABASE SERVICE), 원격 응급 시스템(REMOTE EMERGENCY SYSTEMS), 원격 영상 감시(REMOTE VIDEO SUREILLANCE) 등의 컴퓨터 그래픽스 및 멀티미디어 분야 등에서 대상물의 영상을 처리하는 데 기본이 되고있다.

도 1은 국제표준 산하기구(ISO/IEC JTC1/SC29/WG11 MPEG96/N1172 JANUARY)에서 1차적으로 확정한 VM(VERRIFICATION MODEL : 검증모델 : 이하 VM이라 한다)인코더(ENCODER)(100)의 구성을 나타낸 블록도이다.

여기서, VOP형성부(VOPFORMATION)(110)는 전송 또는 저장할 영상 시퀀스(SEQUENCE)가 입력될 경우에 이를 대상물 영상 단위로 나누어 각기 다른 VOP로 형성한다.

도 2는 대상물 영상으로 고양이의 영상을 설정하여 하나의 VOP를 형성한 일례를 나타낸 것이다.

여기서, VOP의 가로 방향 크기는 VOP폭으로 정의되고, 세로 방향의 크기는 VOP높이로 정의되며, 형성된 VOP는 좌측 상단을 그리드(GRID) 시작점으로 하여, X축 및 Y측으로 각기 M개 및 N개의 화소를 가지는 M × N 매크로 블록으로 구획된다. 예를 들면 X축 및 Y축으로 각기 16개의 화소를 가지는 16 × 16 매크로 블록으로 구획된다.

이때, VOP의 우측과 하단에 형성되는 매크로 블록의 X축 및 Y축 화소가 각기 M개 및 N개가 아닐 경우에는 VOP의 크기를 확장하여 각각의 매크로 블록의 X축 및 Y축 화소가 모두 M개 및 N개로 되게 한다.

그리고, 상기 M 및 N은 후술하는 대상물내부부호화부(TEXTURE CODING)에서 서브 블록의 단위로 부호화를 수행할 수 있도록 하기 위하여 각기 짝수로 설정된다.

한편, 상기 VOP형성부(110)에서 형성된 각각의 VOP는 VOP부호화부(120a,120b, ‥·,120n)에 각기 입력되어 VOP별로 부호화 되고, 멀티플렉서(130)에서 다중화되어 비트열(BIT STREAM)로 전송된다.

도 4는 국제표준 산하기구에서 1차적으로 확정한 VM인코더(100)의 VOP부호화부(120a,120b,…,120n)의 구성을 나타낸 블록도로 이를 설명하면 다음과 같다.

먼저, 상기 VOP형성부(110)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임추정부(MOTION ESTIMATION)(121)에 입력되면, 상기 움직임추정부(121)는 인가된 VOP로부터 매크로 블록 단위의 움직임을 추정하게 된다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보는 움직임보상부(MOTION COMPENSATION)(122)에 입력되어 움직임이 보상된다.

그리고, 상기 움직임보상부(122)에서 움직임이 보상된 VOP는 상기 VOP형성부(110)에서 형성된 VOP와 함께 감산기(123)에 입력되어 차이값이 검출되고, 상기 감산기(123)에서 검출된 차이값은 대상물내부부호화부(124)에 입력되어 매크로 블록의 서브 블록 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 매크로 블록의 X축 및 Y축이 M/2 × N/2으로 각기 8개의 화소를 가지는 8 × 8의 서브 블록으로 세분화된 후 대상물 내부정보가 부호화된다.

한편, 상기 움직임보상부(122)에서 움직임이 보상된 VOP와, 상기 대상물내부 부호화부(124)에서 부호화된 대상물의 내부정보는 가산기(125)에 입력되어 가산되고, 상기 가산기(125)의 출력신호는 이전VOP검출부(PREVIOUS RECONSTRUCTED VOP)(126)에 입력되어 현재영상 바로 전 영상의 VOP인 이전VOP가 검출된다.

또한, 상기 이전VOP검출부(126)에서 검출된 상기 이전VOP는 상기 움직임추정부(121) 및 움직임보상부(122)에 입력되어 움직임 추정 및 움직임 보상에 사용된다.

그리고, 상기 VOP형성부(110)에서 형성된 VOP는 모양부호화부(SHAPE CODING BLOCK)(127)에 입력되어 모양 정보가 부호화된다.

여기서, 상기 모양부호화부(127)의 출력신호는 상기 VOP부호화부(120a,120b,…,120n)가 적용되는 분야에 따라 사용 여부가 가변되는 것으로, 점선으로 표시된 바와 같이, 상기 모양부호화부(127)의 출력신호를 움직임추정부(121), 움직임보상부(122) 및 대상물내부부호화부(124)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화 하는 데 사용할 수 있다.

또한, 상기 움직임추정부(121)에서 추정된 움직임 정보와, 상기 대상물내부부호화부(124)에서 부호화된 대상물 내부 정보 및 상기 모양부호화부(127)에서 부호화된 모양 정보는 멀티플렉서(128)에 인가되어 다중화 된 후, 버퍼(129)를 통해 도 1의 멀티플렉서(130)로 출력되어 비트열로 전송된다.

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM디코더(DECODER)(200)의 구성을 나타낸 블록도이다.

상기 VM인코더(100)를 통해 부호화되고, 비트열로 전송되는 정보인 VOP의 부호화 신호는 VM디코더(200)의 디멀티플렉서(210)에서 VOP 별로 각기 분리된다.

또한, 상기 분리된 각각의 VOP 부호화 신호는 VOP디코더(220a,220b,…,220n)에 의해 각기 디코딩되며, 상기 VOP디코더(220a,220b,…,220n)에서 출력되는, 디코딩신호는 합성부(230)에서 합성되어 원래의 영상으로 출력된다.

즉, 최근의 영상 처리 기술은, 사용자들이 영상내의 원하는 객체만을 통신할 수 있고, 찾고 읽을 수 있도록 접근할 수 있으며, 자르고 붙일 수 있도록 편집할 수 있도록 발전하고 있으며, 이에 대한 표준안으로 MPEG-4를 마련하고 있다.

따라서, MPEG-4는 기존의 영상부호화 세계표준화인 H.261, H.263, MPEG-1, MPEG-2의 영상 부호화기 구조와는 다른 구조를 지니는데, 특히 모양정보 부호화부와 VOP라는 개념의 도입이 가장 두드러진 차이이다. 즉, VOP는 사용자가 접근 및 편집할 수 있는 임의 모양의 내용물의 시간축상의 한 시점의 객체를 의미하하는 것으로, 내용물 기반의 기능성(CONTENT-BASED FUNCTIONALITY)을 지원하기 위해 VOP별로 부호화된다. 도 5는 영상 부호화를 위해 매크로블록(16 × 16 화소)들로 재구성된 임의 모양을 가진 VOP의 한 예를 나타낸 것으로, 재구성된 VOP내에는 도면에서 도시되는 바와 같이, 세가지 종류의 매크로블록이 존재하게 된다.

즉, 객체내의 정보만으로 구성되는 객체내 매크로블록과, 객체내의 정보를 하나도 갖지 않는 객체밖 매크로블록과, 객체내의 정보를 부분적으로 갖는 물체경계매크로블록이 그것이다.

한편, 각 매크로블록내의 휘도블록과 색체블록의 배열은 도 6에서 도시된 바와 같다. 즉, 물체내 매크로블록은 물체내 블록들로만 구성되고, 물체밖 매크로블록은 물체밖 블록으로만 구성된다. 도면중 블록 1은 상단 좌측, 블록 2는 상단 우측을, 블록 3은 하단 좌측을, 블록 4는 하단 우측을 각각 나타낸 것이며, 블록 5와 블록 6은 색채정보를 나타낸 것이다.

이때, 물체경계매크로블록내에는, 도 7에서 도시되는 바와 같이, 매크로블록 종류와 동일한 특성을 지닌 8x8 픽셀들로 구성된 세가지 종류의 블록(즉, 물체내블록, 물체밖 블록, 물체경계 블록)이 존재할 수 있다. 물체내블록은 패딩없이 DCT(DISCRETE COSINE TRANSFOEM : 이산 여현 변환 : 이하 DCT라 한다.)부호화되고, 물체밖 블록은 DCT부호화하지 않고, 물체경계블록은 물체밖 영역에 대한 패딩후 DCT부호화 한다.

또한, 도 8, 도 9와 같이 AC/DC 예측부호화가 적용되면, 이웃한 물체경계블록들간의 영상정보 혹은 예측오차정보간의 높은 상관도를 이용하여 도 8과 도 9에서 도시되는 바와 같이 예측블록을 구한 후 부호화하고자 하는, 블록의 AC/DC 성분과 예측블록의 정해진 AC/DC 성분과의 차분값을 부호화하여 부호화효율을 향상시킨다. 현재 VM7.0에 채택된 AC/DC 예측부호화 기술에서는 물체내블록과 물체경계블록을 AC/DC 예측부호화할 때, 물체밖 블록이 예측블록으로 고려될 때, DC값은 2

(bits-per-pixel-1)로, AC값은 0으로두어 AC/DC 예측 부호화에 이용한다.

이를 다시 설명하면 다음과 같다.

먼저, 도 8에서 도시되는 바와 같이, X블록을 DC예측부호화하고자 할 때에는, B블록과 C블록의 DC기울기와 B블록과 A블록의 DC기울기중 작은 방향의 블록을 예측블록으로 삼는다. 즉 A블록 혹은 B블록이 예측블록이 될 수 있고, Y블록의 DC예측부호화를 위해서는 X블록 혹은 D블록이 예측블록이 될 수 있다.

마찬가지로, 도 9에서 도시되는 바와 같이, 도 8에서 정해진 방향과 동일한 블록이 AC예측부호화를 위한 예측블록으로 사용된다. 즉 DC예측블록과 동일한 블록이 AC예측부호화를 위한 예측블록이 된다.

또한 물체내블록을 AC/DC 예측부호화할 때, 물체경계블록을 예측블록으로 이용될 때에는 이 물체경계블록의 AC/DC 성분을 그대로 이용한다.

그러나, 상기와 같은 종래의 방법은, 현재 VM7.0에서의 물체경계블록을 도 10에서와 같이 물체밖 영역에 대한 패딩을 수행한 후 DCT부호화하게되어 있어, 실제로 발생하는 AC성분은 물체블록들간에 유사성이 크지 않게 되고, 이로인해 부호화효율이 저하된다는 문제점이 있었다.

본 발명의 목적은 상기와 같은 종래의 문제점을 해소하기 위한 것으로, 특히, 영상정보 부호화시 AC/DC 예측부호화 기술이 적용될 경우, 물체경계블록의 DC 성분만 이용하고, AC 성분은 0으로 두어 예측부호화함으로써, 상관도가 적은 값을 예측값으로부터 제외시켜 부호화 효율을 향상시킬 수 있는 영상신호처리의 모양정보 부호화 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명 영상신호처리의 모양정보 부호화 방법은, 영상 입력장치를 통해 인가되는 영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 전송하여 복호화하는 부호화 장치에 있어서, 내용물 기반의 영상 부호화시, AC/DC 예측부호화가 적용됨에 있어, 물체경계블록이 예측블록으로 취급될 경우, AC 예측부호화, 또는 DC 예측부호화를 위해 예측블록의 AC성분, 또는 DC성분들을 임의의 값으로 지정함을 그 방법적 구성상의 특징으로 한다.

즉, MPEG-4 VM7.0(ISO/IEC N1642, Text of MPEG-4 Video VM 7.0)의 영상정보 부호화부에 AC/DC 예측부호화 기술이 적용된 경우, 물체내블록의 AC/DC 예측부호화에 있어 물체경계블록이 예측블록으로 고려될 때, 물체경계블록의 AC/DC 성분 중 DC성분만 이용하고, AC 성분은 0으로 두어 예측부호화하기 위한 것으로, 이는, 물체경계블록이 예측블록으로 고려될 경우 물체경계블록의 AC성분은, 물체밖 영역에 대한 패딩과정에서 많이 발생되어 AC성분의 블록간 상관도가 크게 저하되기 때문이다.

그러나 종래에는 이를 고려하지 않아 VOP경계에서의 AC/DC 예측부호화 효율을 저하시키는 결과를 초래한 반면, 본 발명에서는 예측효을을 향상시키기 위해 물체밖 블록이 예측블록으로 사용될 때, 상관도가 떨어지는 값들을 예측값으로 하지 않고, 물체밖 블록의 AC성분을 이로 두어 예측부호화 함으로써 부호화 효율을 향상시키기 위한 것이다.

이하, 상기와 같이 구성된 본 발명 영상신호처리의 모양정보 부호화 장치방법의 기술적 사상에 따른 실시예를 들어 그 구성, 동작 및 작용 효과를 첨부된 도면에 의거 상세히 설명하면 다음과 같다.

[실시예 1]

먼저, 도 10에서 도시되는 바와 같이, 물체경계블록패딩부와, DCT와, IDCT와, DCT계수 및 관련정보부호화부를 접속하여 VOP텍스쳐(TEXTURE) 부호화기를 구성한다.

이는, 물체밖 블록이 예측블록으로 사용되지 않는 경우에는 종래와 동일하게 동작하지만, 물체밖 블록이 예측블록으로 사용되는 경우에는 상기 DCT계수 및 관련 정보부호화부의 동작이 종래와는 차등이 있다.

즉, 물체경계블록이 AC/DC 예측부호화를 위한 예측블록으로 정해질 경우에는 부호화하고자 하는 블록의 양자화된 AC/DC 성분과, 예측블록의 부호화된 AC/DC 값들의 차분값을 부호화하는데, 이때 예측블록의 AC성분을 사용하지 않고, 0값으로 두어 현재 부호화하고자 하는 블록의 양자화된 AC성분 그대로 부호화한다.

따라서, 상관도가 떨어지는 요소에 대한 예측 부호화를 수행하지 않으므로 인해 부호화 효율을 향상시킬 수 있게 되는 것이다.

[실시예 2]

본 발명의 기술적 사상에 따른 다른 실시예로서, 첫째, 물체경계블록을 부호화할 때, 물체경계블록이 AC/DC 예측부호화를 위한 예측블록으로 정해질 경우는,부호화하고자 하는 물체경계블록의 양자화된 AC/DC 성분과, 예측블록의 부호화된 AC/DC 값들을 그대로 사용하여 차분값을 부호화하고, 둘째, 물체내 블록을 부호화 할때 물체경계블록이 AC/DC 예측, 부호화를 위한 예측블록으로 정해질 경우에는, 예측블록의 AC성분을 0으로 두어 부호화하고자 하는 블록의 양자화된 AC/DC 성분과 예측블록의 부호화된 DC 값과 0으로 정해진 AC값들의 차분값을 부호화함으로써, 상관도가 낮은 요소에 대한 예측 부호화를 수행하지 않으므로 인해 부호화 효율을 향상시킬 수 있게 되는 것이다.

이상에서 살펴본 바와 같이, 본 발명 영상신호처리의 모양정보 부호화 장치 방법은, 특히, MPEG-4 VM7.0 (ISO/IEC N1642, Text of MPEG-4 Video VM 7.0)의 영상정보 부호화부에 AC/DC 예측부호화 기술이 적용된 경우, 물체경계블록의 DC성분만 이용하고, AC성분은 0으로 두어 예측부호화함으로써, 상관도가 적은 값을 예측값으로부터 제외시켜 부호화 효율을 향상시킬 수 있게 되는 효과가 있는 것이다.

도 1은 국제표준 산하기구에서 1차적으로 확정한 VM 엔코더의 구성을 나타낸 블록도,

도 2는 모양 정보를 가지는 VOP를 매크로 블록으로 구획하여 나타낸 도면,

도 3은 국제표준 산하기구에서 1차적으로 확정한 VM 디코더의 구성을 나타낸 블록도, 2

도 4는 국제표준 산하기구에서 1차적으로 확정한 VOP부호화부의 구성을 나타낸 블록도,

도 5는 VOP영상내의 매크로블록의 종류를 나타낸 도면,

도 6은 매크로 블록내의 블록의 배열을 나타낸 도면,

도 7은 VOP영상내의 블록의 종류를 나타낸 도면,

도 8은 DC 예측부호화를 위해 사용되는 이웃한 이전블록들과 DC계수를 나타낸 도면,

도 9는 AC 예측부호화를 위해 사용되는 이웃한 이전블록들과 AC계수를 나타낸 도면,

도 10은 MPEG-4 부호화기의 임의 모양의 VOP텍스쳐 부호화기의 구성을 나타낸 도면.

Claims (8)

1. 영상 입력장치를 통해 인가되는 영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 전송하여 복호화하는 부호화 장치에 있어서, 내용물 기반의 영상 부호화시, AC/DC 예측부호화가 적용됨에 있어, 물체경계블록이 예측블록으로 취급될 경우, AC 예측부호화를 위해 예측블록의 AC성분을 임의의 값으로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.
2. 제 1항에 있어서, 상기 부호화 방법은, 물체내 블록을 부호화할 때 물체경계블록이 예측블록으로 취급될 경우에 AC 예측부호화를 위해 예측블록의 AC성분들을 임의의 값들로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.
3. 제 1항에 있어서, 상기 부호화 방법은, 물체경계블록을 부호화할 때 물체경계블록이 예측블록으로 춰급될 경우에 AC 예측부호화를 위해 예측블록의 AC성분들을 임의의 값들로 지정함을 특징으로 하는 영상신호처리와 모양정보 부호화 방법.
4. 제 1항, 또는 제 2항, 또는 제 3항에 있어서, 상기 AC성분은, 0으로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.
5. 영상 입력장치를 통해 인가되는 영상을 임의의 모양 정보를 갖는 각각의 대상물 영상과 배경 영상으로 분리한 후, 전송하여 복호화하는 부호화 장치에 있어서, 내용물 기반의 영상 부호화시, AC/DC 예측부호화가 적용됨에 있어, 물체경계블록이 예측블록으로 취급될 경우, DC 예측부호화를 위해 예측블록의 DC성분을 임의의 값으로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.
6. 제 5항에 있어서, 상기 부호화 방법은, 물체내 블록을 부호화할 때 물체경계블록이 예측블록으로 취급될 경우에 AC 예측부호화를 위해 예측블록의 DC성분들을 임의의 값들로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.
7. 제 5항에 있어서, 상기 부호화 방법은, 물체경계블록을 부호화할 때 물체경계블록이 예측블록으로 취급될 경우에 DC 예측부호화를 위해 예측블록의 DC성분들을 임의의 값들로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.
8. 제 5항, 또는 제 6항, 또는 제 7항에 있어서, 상기 DC성분은, 128로 지정함을 특징으로 하는 영상신호처리의 모양정보 부호화 방법.

Images