KR100417131B1

KR100417131B1 - 매크로블록의합병과패딩을이용한모양적응영상부호화장치

Info

Publication number: KR100417131B1
Application number: KR1019960027766A
Authority: KR
Inventors: 문주희; 권지헌
Original assignee: 주식회사 팬택앤큐리텔
Priority date: 1996-07-08
Filing date: 1996-07-08
Publication date: 2004-04-30
Also published as: KR980013415A

Abstract

본 발명은 MPEG-4에서 VOP를 형성한 대상물 물체의 영상의 경계가 존재는매크로 블록을 상기 서브블록으로 세분화하여 합병하고 패딩한 후 부호화를 수행하는 것이다.

본 발명은 물체 경계 서브블록내에서 영상 정보가 있는 영역과 지리적으로 가까운 주위에 있는 물체 경계 서브블록들의 영상 정보가 있는 영역을 하나의 부호화 블록으로 합병하고, 부호화하여 부호화 효율을 향상시키며, 합병하지 않은 매크로 블록 및 합병한 매크로 블록에 대하여 화소가 존재하지 않는 영역을 패딩하여 부호화 효율을 향상시키는 것으로서 물체 경계 매크로 블록을 4개의 휘도 블록과 2개의 색채 블록을 구분하여 휘도 블록끼리, 색채 블록끼리, 휘도 블록만을 또는 휘도 블록과 색채 블록을 구분함이 없이 합병 조건을 적용시켜 합병 조건을 만족하는 물체 경계 서브블록들을 하나의 부호화 블록으로 합병하고, 패딩한 후 부호화한다.

Description

매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치

본 발명은 MPEG(Moving Picture Experts Group)-4에서 VOP(Video Object Plane)를 형성한 대상물 물체의 영상의 경계가 존재하는 매크로 블록을 서브블록으로 세분화하여 합병한 후 패딩하고 부호화를 수행하는 매크로 블록의 합병과 패딩을 이용한 물체 모양 적응 영상 부호화 장치에 관한 것이다.

디지탈 음향/영상 시스템 시장을 형성한 음향/영상 부호화 기법 및 시스템 구성에 관한 국제 표준안 즉, MPEG-1 및 MPEG-2를 개발하고, 의결한 MPEG 그룹이 현재에는 1998년 11월경에 국제 표준으로 채택할 예정인 차세대 음향/영상부호화 기법 및 시스템 구성에 관한 국제 표준안 즉, MPEG-4를 연구 ·개발중에 있다.

MPEG-4의 개발은 기존의 알려진 표준안으로는 지원할 수 없는 차세대 음향/영상 응용 분야를 지원할 필요성에서 출발한 것으로서 MPRG-4는 음향/영상 데이터의 통신 및 접속과, 조작을 위한 새로운 방법들을 제공한다.

예를 들면, 특성이 다른 네트워크를 통한 물체 중심 대화형 기능 및 접속 등의 기능을 제공한다.

또한 에러가 쉽게 발생되는 통신 환경과 저전송율의 통신환경에서도 유용하계 동작하는 특성과, 컴퓨터 그래픽 기술을 통합하여 자연 음향/영상 및 인공, 음향/영상들을 함께 부호화하고 조작할 수 있는 기능들을 제공한다.

즉, MPEG-4는 예상되는 여러 응용 분야에서 요구되는 여러가지의 기능들을 지원해야 한다.

그러므로 MPEG-4는 멀티미디어 정보의 급팽창과 기술 향상에 의해 새롭게 개발되었거나 앞으로 개발될 저가격 및 그기능의 모든 가능한 응용 분야들의 기능들에서 요구되는 기능들을 지원할 수 있도록 확장가능하고 개방적인 구조를 가지게 된다.

또한 MPEG-4에는 전송 및 저장 기능과 비용의 절감에 필요한 부호화 효과의 향상 기능(Improved Compression Efficiency)을 구비하고 있다.

이러한 MPEG-4는 가로 및 세로 방향으로 각기 8개씩 화소를 가지는 8x8 블록을 기반으로 영상 정보를 부호화하던 H.261, H.263, MPEG-1 및 MPEG-2 등과 같은 영상정보 부호화 기법들과는 달리 MPEG-4는 VOP(Video Object Planes)의 개념을 기초로 하고 있다.

즉, MPEG-4에서는 하나의 화면에서 다수의 대상물 물체가 존재할 경우에 배경 화면과, 이들 다수의 대상물 물체의 영상을 각기 분리하고, 분리한 배경 화면 및 각각의 물체의 영상을 각기 부호화하는 것으로서 분리한 배경 화면 및 각각의 물체의 영상 예를 들면, 제1도에 도시된 대상물 물체의 영상을 하나의 VOP로 정의하고 있다.

그리고 분리한 배경 화면 및 각각의 물체의 영상을 포함하는 가장 작은 크기의 사각형으로 VOP의 크기를 정의하고 있다.

이러한 VOP를 부호화할 경우에 8×8 블록과 다각형 영역에 기반을 두어 부호화한다.

여기서 다각형 영역이란 제3도의 도면에서 물체 경계 서브블록내의 영상 정보단으로 구성된 임의의 영역을 말한다.

그리고 앞으로 예상되는 여러가지의 응용 분야에서 요구되는 기능들을 지원되기 위하여 사용자가 임의로 접속하고, 조작할 수 있는 비트 스트림 내의 데이터를 MPEG-4에서 VOP로 정의한다.

새로운 개념인 VOP를 부호화하기 위하여 제2도에 도시된 바와 같이 그리드를 형성하고, 형성한 그리드에 의해 구획되는 매크로 블록의 단위로 재구성된다.

재구성된 VOP는 대상물 영상의 정보가 없는 영역과 대상물 영상의 정보가 있는 영역으로 구분되고, 영상 정보단 있는 매크로 블록(이하, "물체내 매크로 블록"이라고 약칭함), 대상물 영상의 정보가 전혀 없는 매크로 블록(이하, "물체 밖 매크로 블록" 이라고 약칭함) 및 대상물 영상의 정보가 있는 영역과 정보가 없는 영역이 함께 있는 매크로 블록(이하, "물체 경계 매크로 블록" 이라고 약칭함)을 다르게 취급한다.

그리고 물체 경계 매크로 블록은 제3도에 도시된 바와 같이 영상 정보단 있는 블록(이하, "물체내 서브블록" 이라고 약칭함), 영상 정보가 없는 블록(이하, "물체밖 서브블록" 이라고 약칭함) 및 영상 정보가 있는 영역과 영상 정보가 없는영역이 함께 존재하는 블록(이하, "물체 경계 서브블록" 이라고 약칭함)을 다르게 취급한다.

대상물 물체의 영상에 대한 모양 정보를 이용하여 물체 경계 매크로 블록내에서의 물체밖 서브블록 및 물체밖 매크로 블록은 이산 코사인 변환(Discrete Cosine Transform : 이하, 'DCT' 라고 약칭함) 또는 모잉 적응형 DCT(Shape Adaptive DCT : 이하, 'SADCT' 라고 약칭함)를 이용하여 부호화한다.

물체 경계 매크로 블록내의 물체 경계 서브블록은 대상물 물체의 모양 정보와 물체 내부의 정보단을 이용하여 SADCT하는 방법, 물체 경계 서브블록내의 물체밖 영역을 물체내 영역의 평균값으로 채워 DCT하는 방법, 물체 경계 서브블록내의 물체밖 영역을 'O' 으로 채워 DCT(Zero Padding DCT)하는 방법, 물체 경계 서브블록내의 물체밖 영역을 물체의 경계값으로 수평과 수직방향으로 채우고 겹치는 부분은 평균값으로 채워 DCT(Repetitive Padding DCT)하는 방법 및 물체 경계 서브블록내의 물체내 영역의 정보내의 공간 주파수 성분을 보존하기 위하여 그 영상 정보를 이용하여 수평과 수직 방향으로 물체밖 영역까지 확장시켜 보관하고 DCT(Extension Interpolation DCT)하는 방법 등이 사용되고 있다.

차세대 음향/영상 정보의 부호화 표준이 될 MPEG-4에서는 새롭게 채택한 VOP개념에 의해 영상 정보가 없는 영역과 영상 정보가 있는 영역이 함께 존재하는 물체 경계 서브블록의 부호화방법에 관한 여러 기술들이 제안되고 있다.

그러나 제안된 기술들은 물체 경계 서브블록의 물체내 영역 정보단을 이용하거나 물체밖 영역내에 새로운 정보를 첨가해 물체 경계 서브블록의 영상정보를 부호화함으로써 비트율의 감소 효과는 적으나 영상의 품질을 크게 개선시키거나 또는 영상의 품질을 크게 저하시키면서 비트율 감소 효과를 극대화시키는 방향으로 진행하고 있다.

따라서 본 발명의 목적은 물체 경계 서브블록내에서 영상 정보가 있는 영역과 지리적으로 가까운 주위에 있는 물체 경계 서브블록들의 영상정보가 있는 영역을 하나의 부호화 블록으로 합병하고, 부호화하여 부호화 효율을 향상시킬 수 있도록 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치를 제공하는 데 있다.

본 발명의 다른 목적은 합병하지 않은 매크로 블록 및 합병한 매크로 블록에 대하여 화소가 존재하지 않는 영역을 패딩하여 부호화 효율을 향상시키는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치를 제공하는 데 있다.

제1도는 임의의 대상물 영상을 VOP로 추출한 상태를 예로 들어 보인 도면.

제2도는 추출한 VOP의 대상물 영상에 그리드를 형성하여 매크로 블록으로 분할한 상태를 보인 도면.

제3도는 하나의 매크로 블록을 서브블록으로 세분화한 상태를 보인 도면.

제4도는 국제 표준 산하기구에서 1차적으로 확정한 VM 엔코더의 VOP 부호화부를 보인 상세도.

제5도는 본 발명의 모양 적응 영상 부호화 장치에 의한 신호적응 DCT부의 일 실시예 구성을 보인 회로도,

제6도는 본 발명에 따라 블록을 합병하는 과정을 보인 도면.

제7도의 (가)∼(자)는 블록 내의 모양 정보를 조절하여 합병하는 과정을 예로들어 보인 도면.

제8도는 합병 또는 합병하지 않은 블록에 패딩하는 것을 설명하는 도면.

제9도는 본 발명의 모양 적응 영상 부호화 장치의 동작을 보인 신호 흐름도.

제10도는 본 발명의 모양 적응 영상 부호화 장치에 의한 신호적응 DCT부의 다른 실시예 구성을 보인 회로도.

* 도면의 주요 부분에 대한 부호의 설명

10 : VOP 형성부, 11 : 움직임 추정부, 12 : 움직임 보상부, 13, 15 : 가산기, 14 : 신호적응 DCT부, 16 : 이전 VOP 검출부, 17 : 모양 정보 부호화부, 18 : 멀티플렉서, 19 : 버퍼, 21 : 매크로 블록 스캔부, 22 : 합병부, 23 : 패딩부, 24 : 모양적응 DCT부, 25 : 전체 영상 합명부

이러한 목적을 달성하기 위한 본 발명의 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치는 물체 경계 매크로 블록을 4개의 휘도(Luminance) 블록과 2개의 색채(Chrominance) 블록을 구분하여 휘도 블록끼리, 색채 블록끼리, 휘도 블록단을 또는 휘도 블록과 색채 블록을 구분함이 없이 합병 조건을 적용시켜 합병 조건을 만족하는 물체 경계 서브블록들을 하나의 부호화 블록으로 합병하고, 패딩하여 부호화한다.

합병된 부호화 블록을 구성하는 다수의 물체 경계 서브블록들의 영상 정보는부호화하지 않고 무시한다.

이것은 합병된 부호화 블록의 내부에 영상 정보물이 모두 포함되어 있으므로 복호화할 경우에 합병할 때의 과정을 역으로 시행하여 부호화된 정보를, 합병된 부호화 블록을 구성한 물체 경계 서브블록 내부의 영상 정보가 있는 영역에 다시 할당하기 때문이다.

그러므로 본 발명에 의하면, 영상 정보를 부호화하는 데 필요한 영상 정보 부호화 비트를 감소시키면서도 영상내 정보를 최대한 유지함으로써 영상의 품질 저하를 최소화하는 결과를 얻게 된다.

이러한 본 발명은 매크로 블록내의 또는 지리적으로 가까운 주위에 있는 물체 경계 서브블록들내의 영상 정보간의 상관도를 최대한 살리면서 하나의 블록으로 합병하는 것이므로 영상품질을 크게 떨어뜨리지 않고도 영상정보의 부호화 비트를 감소시킴으로써 매우 높은 부호화 효율을 얻을 수 있게 된다.

그리고 합병되지 않은 블록 및 합병된 블록에 대하여 화소가 존재하지 않는 영역을 구분하고, 구분한 화소가 존재하지 않는 영역에 대하여 소정의 값으로 패딩한 후 부호화를 행한다.

이하, 첨부된 제4도 내지 제10도의 도면을 참조하여 본 발병의 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치를 상세히 설명한다.

제4도는 국제 표준 산하기구에서 1차적으로 확정한 VM 엔코더의 VOP 부호화부를 보인 상세도이다. 이에 도시된 바와 같이 VOP 형성부(10)에서 형성된 각각의 대상물 영상에 대한 VOP가 움직임 추정부(Motion Estimation)(11)에 입력되어 매크로 블록의 단위로 움직임이 추정된다.

상기 움직임 추정부(11)에서 추정된 움직임 정보는 움직임 보상부(Motion Compensation)(12)에 입력되어 움직임이 보상된다.

상기 움직임 보상부(12)에서 움직임이 보상된 상기 VOP는 VOP 형성부(10)에서 형성된 VOP와 함께 가산기(13)에 입력되어 차이 값이 검출되고, 상기 가산기(13)에서 검출된 차이 값은 신호적응 DCT부(14)에 입력되어 매크로 블록의 서브블록 단위로 대상물의 내부정보가 부호화된다.

예를 들면, 신호적응 DCT부(14)는, 매크로 블록의 X축 및 y축을 각기 8개의 화소를 가지는 8×8의 서브블록으로 세분화한 후 대상물의 내부정보를 부호화한다.

상기 움직임 보상부(12)에서 움직임이 보상된 VOP와 신호적응 DCT부(14)에서 부호화된 대상물의 내부 정보가 가산기(15)에 입력되어 가산되고, 상기 가산기(15)의 출력신호는 이전 VOP 검출부(Previous Reconstructed VOP)(16)에 입력되어 이전 화면의VOP가 검출된다. 이전VOP검출부(16)에서 검출된 상기 이전 화면의 VOP는 움직임 추정부(11) 및 움직임 보상부(12)에 입력되어 움직임 추정 및 움직임 보상에 사용하도록 하고 있다.

그리고 상기 VOP 형성부(10)에서 형성된 VOP는 모양 정보 부호화부(Shape Coding)(17)에 입력되어 모양 정보가 부호화된다.

여기서, 모양 정보 부호화부(17)의 출력신호는 VOP 부호화부가 적용되는 분야에 따라 사용 여부가 결정되는 것으로 모양 정보 부호화부(17)의 출력신호를 점선으로 표시된 바와 같이 움직임 추정부(11), 움직임 보상부(12) 및 신호적응 DCT부(14)에 입력시켜 움직임 추정, 움직임 보상 및 대상물의 내부 정보를 부호화하는 데 사용할 수 있다.

상기 움직임 추정부(11)에서 추정된 움직임 정보, 신호적응 DCT부(14)에서 부호화된 대상물의 내부 정보 및 모양 정보 부호화부(17)에서 부호화된 모양 정보는 멀티플렉서(18)에서 다중화되고, 버퍼(19)를 통해 비트 스트림으로 전송된다.

이러한 VOP 부호화부에 있어서, 본 발명은 신호적응 DCT부(14)를 제5도에 도시된 바와 같이, 매크로 블록을 서브블록 단위로 스캔하여 영상 정보를 단단하는 매크로 블록 스캔부(21)와, 상기 매크로 블록 스캔부(21)가 스캔한 서브블록이 합병 조건을 만족할 경우에 합병하는 합병부(22)와, 상기 합병부(22)에서 합병된 블록 및 합병되지 않은 블록에서 화소가 없는 영역을 판별하여 패딩하는 패딩 수행부(23)와, 상기 패딩 수행부(23)에서 패딩된 블록을 부호화하는 모양적응 DCT부(24)로 구성하였다.

이와 같이 구성된 본 발명의 부호화 시스템은 부호화할 매크로 블록이 상기 가산기(13) 또는 상기 모양적응 DCT부(24)로부터 입력될 경우에 매크로 블록 스캔부(21)가 스캔하여 물체 경계 매크로 블록인지를 판단한다.

스캔한 매크로 블록이 물체 경계 매크로 블록일 경우에 이를 4개의 서브 블록으로 구획하여 휘도 블록으로 구분함과 아울러 2개의 색채 블록으로 구분한다.

매크로 블록 스캔부(21)에서 구분한 4개의 휘도 블록과 2개의 색채 블록에 대하여 합병부(22)는 합병 조건을 만족하는 지를 판단하고, 합병 조건을 만족할 경우에 이를 합병하고, 패딩 수행부(23)에서 패딩한 후 모양적응 DCT부(24)에서 매크로 블록의 신호 정보 DCT를 수행한다.

여기서, 부호화의 수행은 VOP의 매크로 블록을 좌측 상단부터 수평 및 수직 방향으로 우측 하단까지 순차적으로 부호화한다.

이때 매크로 블록은 상술한 바와 같이 물체밖 매크로 블록, 물체내 매크로 블록. 물체 경계 매크로 블록으로 구분되는 것으로서 물체밖 매크로 블록은 부호화하지 않고, 물체내 매크로 블록은 내부의 휘도 블록과 색채 블록을 순차적으로 부호화한다.

물체 경계 매크로 블록은 휘도 블록과 색채 블록이 물체밖 서브블록, 물체내 서브블록, 물체 경계 서브블록으로 구분되는 것으로 물체밖 서브블록은 부호화하지 않고, 물체내 서브블록은 그 블록을 하나의 부호화 블록으로 부호화한다.

그러나 물체 경계 서브블록에 대해서는 휘도 블록은 휘도 블록끼리, 색채블록은 색채 블록끼리, 휘도 블록만 또는 휘도 블록과 색채 블록을 구분함이 없이 상기한 합병부(22)에서 합병 조건을 적용하여 합병 조건을 만족하는 블록끼리 합병하여 부호화 블록으로 형성시킨 후 부호화 블록에 대하여 적절한 값으로 패딩하고, 부호화하며, 합병된 부호화 블록을 구성한 블록은 부호화하지 않는다.

물체 경계 서브블록의 합병과 패딩을 이용한 부호화하는 과정을 일례로 제6도, 제7도 및 제8도의 도면과 같이 합병 조건을 부호화되지 않은 첫 번째 물체 경계 서브블록에는 적용하지 않고, 두 번째부터 적용하여 설명한다.

제6도의 도면에서 물체 경계 매크로 블록내의 4개의 휘도 블록과 2개의 색채 블록에 대하여 휘도 블록은 휘도 블록끼리, 색채 블록은 색채 블록끼리, 휘도 블록에만 또는 휘도 블록과 색채 블록을 구분함이 없이 합병하여 부호화한다.

제6도에서 첫 번째 휘도 블록, 네 번째 휘도 블록, 첫 번째 색채 블록 및 두번째 색채 블록이 물체 경계 서브블록이다.

제6도의 도면은 휘도 블록은 휘도 블록끼리, 색채 블록은 색채 블록끼리 합병 조건을 적용한 일례이고, 제7도는 서브블록이 휘도 블록으로만 구분될 경우에 휘도 블록에만 적용되고, 휘도 블록과 색채 블록을 구분함이 없이 합병 조건을 적용한 일례이다.

상기한 두가지의 경우에 대하여 모두 합병 조건은 부호화되지 않은 물체 경계 서브블록중에서 두 번째 이후의 물체 경계 서브블록에 적용한 일례이다.

합병 조건이 적용된 물체 경계 서브블록이 부호화되지 않은 첫 번째 물체 경계 서브블록과 겹치는 화소가 하나도 없다면 부호화되지 않은 첫 번째 물체 경계 서브블록과 합병 조건이 적용된 블록의 정보를 모아 하나의 부호화 블록을 형성시킨다.

즉, 제17도의 (가) 및 (나)에 도시된 바와 같이 2개의 서브블록이 있다고 가정할 경우에 제7도의 (나)에 도시된 두 번째 서브블록을 제7도의 (다)에 도시된 바와 같이 180° 회전시킨 후 제7도의 (가)에 도시된 서브블록에 제7도의 (라)에 도시된 바와 같이 합병하거나, 제7도의 (나)에 도시된 서브블록을 제7도의 (마)에 도시된 바와 같이 대각선 방향으로 대칭되게 한 후 제7도의 (가)에 도시된 서브블록에 제7도의 (바)에 도시된 바와 같이 합병한다.

또한 제7도의 (사)에 도시된 바와 같이 서브블록을 시계 방향으로 90。 회전시키거나, 제7도의 (아)에 도시된 바와 같이 시계 반대 방향으로 회전시키거나, 제7도의 (자)에 도시된 바와 같이 수직 중심선을 기준으로 대칭되게 하거나 또는 도면에는 도시되지 않았으나 수평 중심선을 기준으로 대칭되게 한 후 서브블록에 각기 존재하는 모양 정보가 서로 중첩되지 않는 합병 조건을 만족할 경우에 합병할 수 있다.

그리고 제7도와는 달리 부호화되지 않은 물체 경계 서브블록이 그 뒤에도 존재하면 다시 그 서브블록에 합병 조건을 적용하여 이미 합병된 부호화 블록에 상기와 같은 과정을 반복한다.

합병을 통하여 형성된 합병된 부호화 블럭과 합병 과정 이후에 남은 물체 경계 서브블록들을 그 영상과 그 블록의 특성에 따라 적절한 패딩 기법을 적용하여 부호화한다.

적용되는 패딩 기법은 여러 가지가 있다. 예를 들면, 블록 내의 영상정보의 평균값으로 영상 정보가 존재하지 않는 영역에 채워 넣는 평균값 패딩(mean replacement padding)방법, 영상 정보가 존재하지 않는 영역에 'O' 의 값으로 채우는 제로 패딩(zero padding) 방법, 물체의 경계 정보로 영상 정보가 존재하지 않는 영역을 수평, 수직방향으로 채우고, 겹치는 부분은 평균값으로 채우는 반복 패딩(Repetitive Padding) 방법 및 영상 정보 내의 공간 주파수를 보존하면서 블록내에서 영상정보가 업는 영역끝까지 확장시켜 보관하는 확장 인터폴레이션(extension Interpolation padding) 방법 등이 있다.

이러한 패딩 기법은 영상과 블록의 특성에 따라 각기 달리 적용된다.

물체 경계 블럭의 합병을 이용한 부호화 방법 중 일례로서 180° 회전의 합병 조건을 부호화되지 않은 첫 번째 물체 경계 블록에는 적용하지 않고 두 번째 물체 경계 블록부터 적용한 방법을 설명한다.

제6도의 도면에서 물체 경계 매크로 블록내의 4개의 휘도 블록과 2개의 색채 블록에 대하여 휘도 블록은 휘도 블록끼리, 색채 블록은 색채 블록끼리, 휘도블록에만 또는 휘도 블록과 색채 블록을 구분함이 없이 합병하여 부호화한다.

제6도의 도면은 휘도 블록에 대해서만 합병 조건을 적용한 일례이다.

합병 조건은 부호화되지 않은 첫 번째 물체 경계 서브블록과 겹치는 화소가 하나도 없다면 부호화되지 않은 첫 번째 물체 경계 서브블록과 합병 조건이 적응된 블록의 정보를 모아 하나의 부호화 블록을 형성시킨다.

즉, 제7도의 (가) 및 (나)에 도시된 바와 같이 2개의 서브블록이 있다고 가정할 경우에 제7도의 (나)에 도시된 두 번째 서브블록을 제7도의 (다)에 도시된 바와같이 180° 회전시킨 후 제7도의 (가)에 도시된 서브블록에 제7도의 (라)에 도시된 바와 같이 합병하거나, 제7도의 (나)에 도시된 서브블록을 제7도의 (마)에 도시된 바와 같이 대각선 방향으로 대칭되게 한 후 제7도의 (가)에 도시된 서브블록에 제7도의 (바)에 도시된 바와 같이 합병한다.

또한 제7도의 (사)에 도시된 바와 같이 서브블록을 시계 방향으로 90° 회전시키거나, 제7도의 (아)에 도시된 바와 같이 시계 반대 방향으로 회전시키거나,제7도의 (자)에 도시된 바와 같이 수직 중심선을 기준으로 대칭되게 하거나 또는 도면에는 도시되지 않았으나 수평 중심선을 기준으로 대칭되게 한 후 서브블록에 각기 존재하는 모양 정보가 서로 중첩되지 않은 합병 조건을 만족할 경우에 합병할 수 있다.

제6도의 도면과는 달리 부호화되지 않은 물체 경계 블록이 그 뒤에도 존재하면 다시 그 블록에 합병 조건을 적용하여 이미 형성된 부호화 블록에 상기의 과정을 반복한다.

합병 여지가 남아 있지 않으면 합병 과정 이후에 남은 부호화되지 않은 물체 경계 블록을 각각을 부호화 블록으로 삼는 데, 합병을 통하여 형성된 합병된 부호화 블록과 합병 과정 이후에 남은 물체 경계 블록들을 그 영상과 그 블록의 특성에 따라 적절한 패딩 기법을 적용하여 부호화한다.

제6도의 도면에서 합병된 부호화 블록을 구성한 블록들은 부호화하지 않는다.

이것은 합병 조건을 적용한 그 역순으로 복호화하여 영상정보를 복호화할 수 있기 때문이다.

색채 블럭내의 물체 경계 블록들도 그 영상과 그 블록의 특성에 따라 각각 패딩 기법을 적용하여 부호화한다.

이러한 본 발병은 부호화되지 않은 물체 경계 블록에 합병 조건을 적용하여 조건을 만족하는 블록들을 합병하고, 그 영상과 그 블록의 특성에 따라 패딩 기법을 적용하여 부호화하므로써 영상정보간의 상판도를 최대한 유지하여 부호화하기때문에 영상 정보를 부호화하는 데 필요한 영상 정보 부호화 비트를 감소시키면서도 영상내 정보를 최대한 유지하여 영상품질의 저하를 최소화시키는 결과를 얻게 된다.

그리고 본 발병은 부호화되지 않은 첫 번째 물체 경계 블록에 먼저 합병 조건을 적용한 후 합병 조건을 적용하지 않은 부호화되지 않은 다음 물체 경계 블록과의 화소 겹침 여부를 점검하거나, 합병된 부호화 블록과 합병 조건을 적용하지 않은 부호화되지 않은 물체 경계 블록과의 화소 겹침 여부를 점검할 수도 있고, 물체 경계 매크로 블록내의 부호화되지 않은 물체 경계 블록과의 화소 겹침 여부를 점검할 수도 있으며, 물체 경계 매크로 블록내의 부호화되지 않은 물체 경계 정보단을 위, 아래, 좌, 우로 이동시키고, 이동된 정보를 다시 좌,우,위, 아래로 이동시켜 하나의 블록안에만 영상 정보가 존재하면 그 이동된 블록을 합병된 부호화 블록으로 삼고, 만약 하나의 블록 밖에도 화소가 존재하면 고려했던 블록 중 가장 많은 또는 가장 적은 화소를 가진 물체 경계 블록 또는 임의의 물체 경계 블록을 제외시키고, 위의 과정을 반복하는 방법으로 응용될 수 있다.

또한 이와 아울러 180도 회전, 상, 하, 좌, 우 대칭, 시계 방향으로 90도, 시계 반대 방향으로 90도 등의 합병 조건을 각각 혹은 그의 조합으로 순차적으로 적용시킨 후 적절한 패딩 기법을 적용하여 부호화하는 방법에 응용될 수도 있다.

또한 본 발병은 매크로 블럭내의 블록에만 제한 받지 않고 VOP를 형성하는 전체 영상에 대해 부호화되지 않은 물체 경계 블록들을 지리적으로 가까운 그 상, 하, 좌, 우의 4방향에 또는 상, 하, 좌, 우와 45° 방향의 8방향으로 부호화되지않은 물체 경계 블록과의 합병여부를 고려한 이후에 합병된 부호화 블록과 하나의 부호화 블록으로 구성된 물체 경계 블록에 적절한 패딩 기법을 적용하여 부호화할 수 있다.

제10도는 본 발명의 부호화 시스템의 다른 실시예를 보인 회로도이다. 이에 도시된 바와 같이 본 발명의 다른 실시에는 VOP를 형성하는 전체 대상물의 영상에 대하여 합병을 수행하는 전체 영상 합병부(26)와, 합병되지 않은 매크로 블록 및 상기 전체 영상 합병부(25)에서 합병된 블록을 패딩하는 패딩부(23)와, 상기 패딩부(25)에서 출력되는 블록을 부호화하는 모양적응 DCT부(24)로 구성된다.

이와 같이 구성된 본 발명의 다른 실시에는 VOP를 형성한 매크로 블록 내의 블록에만 제한시키거나 혹은 제한을 두지 않고 전체의 영상에 대하여 부호화되지 않은 물체 경계 블록과 그 상, 하, 좌, 우의 4방향에 또는 상, 하, 좌, 우와 45°방향의 8 방향의 블록과의 합병 여부를 고려하여 부호화할 경우에 응용될 수 있다.

이상에서와 같이 본 발명은 영상 정보의 상관도를 최대한 유지하면서 영상 정보를 부호화하는 비트를 감소시키기 위해 물체 경계 블록을 합병하여 부호화함으로써 영상의 품질을 유지하면서 비트의 감소율을 향상시킬 수 있다.

Claims

VOP를 그리드로 구획한 매크로 블록 중에서 대상물 물체 경계 매크로 블록을 서브블록으로 세분화하고, 세분화한 서브블록 중에서 합병 조건을 만족하는 2개 이상의 물체 경계 서브블록을 하나의 합병 서브블록으로 합병하며, 상기 합병 서브블록 및 합병되지 않은 서브블록을 패딩한 후 모양적응 DCT 부호화하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항에 있어서, 상기 서브블록은 4개의 휘도 블록 및 2개의 색채 블록으로 구분하고 휘도 블록 및 색채 블록을 구분하여 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항에 있어서, 상기 서브블록은 4개의 휘도 블록으로 구분하고 휘도 블록 및 색채 블록을 구분하여 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항에 있어서 상기 서브블록은 4개의 휘도 블록 및 2개의 색채 블록으로 구분하고 이들 휘도 블록 및 색채 블록을 구분하지 않고 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상부호화 장치.
제1항에 있어서, 상기 서브블록은 2개의 색채 블록으로 구분하고 구분한 색채 블록이 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항 내지 제5항 중 어느 하나의 항에 있어서, 상기 합병 조건은, 하나의 물체 경계 서브블록에 대해 다른 하나의 물체 경계 서브블록을 180°회전, 시계 방향으로 90°회전, 시계 반대 방향으로 90°회전, 좌로 대칭, 우로 대칭, 위로 대칭, 아래로 대칭 및 대각선으로 대칭 중에서 어느 하나 또는 2개 이상으로 조합으로 합병하는 합병 서브블록 내의 화소가 중첩되지 않는 것임을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항에 있어서, 상기 패딩은 상기 각 합병 서브블록과 합병되지 않는 서브블록 내의 영상 정보의 평균값으로 영상 정보가 존재하지 않은 영역에 채워 넣는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항에 있어서, 상기 패딩은 영상 정보가 존재하지 않는 영역에 'O' 의 값으로 채우는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응영상 부호화 장치.
제1항에 있어서, 상기 패딩은 상기 각 합병 서브블록과 합병되지 않는 서브블록 내의 영상 정보가 존재하지 영역을 물체의 경계 정보로 수평, 수직방향으로 채우고, 겹치는 부분은 평균값으로 채우는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제1항에 있어서, 상기 패딩은 상기 각 합병 서브블록과 합병되지 않는 서브블록 내의 영상 정보의 공간 주파수를 보존하면서 서브블록내에서 영상정보가 없는 영역끝까지 확장시켜 보간하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
VOP를 그리드로 구획한 매크로 블록 중에서 대상물 물체 경계 매크로 블록이 그 매크로 블록의 주변에 있는 주변 매크로 블록과 합병 조건을 만족하는지를 판단하여, 합병 조건을 만족하는 2개 이상의 물체경계 매크로 블록을 하나의 합병 매크로 블록으로 합병하고 상기 합병한 합병 매크로 블록 및 합병되지 않은 매크로 블록을 패딩한 후 모양적응 DCT 부호화하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제12항에 있어서, 상기 주변 매크로 블록은 물체경계 매크로 블록을 기준으로 좌, 우, 상, 하에 위치하는 매크로 블록인 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 주변 매크로 블록은 물체경계 매크로 블록을 기준으로 하여 좌, 우, 상, 하에 위치하는 매크로 블록과 45°의 각도 위치에 존재하는 매크로 블록인 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 물체경계 매크로 블록은 휘도 블록 및 색채 블록으로 구분하고 휘도 블록 및 색채 블록을 구분하여 합병 조건을 만족하는 지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 물체경계 매크로 블록은 휘도 블록으로 구분하여 합병 조건을 만족하는 지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 물체경계 매크로 블록은 휘도 블록 및 색채 블록으로 구분하고 이들 휘도 블록 및 색채 블록을 구분하지 않고 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상부호화 장치.
제11항에 있어서, 상기 물체경계 매크로 블록은 색채 블록으로 구분하여 합병 조건을 만족하는지를 판별하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항 내지 제17항중 어느 하나의 항에 있어서, 상기 합병 조건은, 하나의 물체경계 매크로 블록에 대하여 다른 하나의 물체경계 매크로블록을 180° 회전, 시계 방향으로 90°회전, 시계 반대 방향으로 90°회전, 좌로 대칭, 우로 대칭, 위로 대칭, 아래로 대칭 및 대각선으로 대칭 중에서 어느 하나 또는 2개 이상으로 조합을 이루고, 합병하는 합병 매크로 블록 내의 화소가 중첩되지 않는 것임을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 패딩은 상기 합병한 합병 매크로 블록 및 합병되지 않은 매크로 블록 내의 영상 정보의 평균값으로 영상 정보가 존재하지 않는 영역에 채워 넣는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 패딩은 상기 합병한 합병 매크로 블록 및 합병되지 않은 매크로 블록의 영상 정보가 존재하지 않는 영역에 'O' 의 값으로 채우는 것을특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 패딩은 상기 합병한 합병 매크로 블록 및 합병되지 않은 매크로 블록내의 영상 정보가 존재하지 않는 영역을 물체의 경계 정보로 영상 정보가 존재하지 영역을 수평, 수직방향으로 채우고, 겹치는 부분은 평균값으로 채우는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.
제11항에 있어서, 상기 패딩은 상기 합병한 합병 매크로 블록 및 합병되지 않은 매크로 블록내의 영상 정보의 공간 주파수를 보존하면서 매크로 블록 내에서 영상정보가 없는 영역 끝까지 확장시켜 보간하는 것을 특징으로 하는 매크로 블록의 합병과 패딩을 이용한 모양 적응 영상 부호화 장치.