KR100327102B1

KR100327102B1 - 영상시스템에서의압축동영상변환방법

Info

Publication number: KR100327102B1
Application number: KR1019980049423A
Authority: KR
Inventors: 황대환
Original assignee: 오길록; 한국전자통신연구원; 이계철; 한국전기통신공사
Priority date: 1998-11-18
Filing date: 1998-11-18
Publication date: 2002-05-09
Also published as: KR20000032824A

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 영상시스템에서의 압축동영상 변환 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 영상시스템의 완전 압축영역인 가변장부호에서 이종 동영상간에 공통되는 압축 알고리즘에 따라 생성된 정보를 최대한 활용하고, 그 외의 두 부호간의 변환에 장애가 되는 구문구조, 기타 처리에 필요한 파라메터를 변환하여 H.263 표준 동영상 압축부호를 MPEG-2의 형태에 맞는 표준 동영상 압축부호로 직접 변환하기 위한 압축동영상 변환 방법 및 상기 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 영상 시스템에 적용되는 압축동영상 변환 방법에 있어서, H.263 스트림의 첫 번째 입력되는 영상에 대해, 헤더정보를 해석하여 엠펙-2(MPEG-2) 스트림의 시퀀스 계층 및 영상군(GOP) 계층을 생성하는 제 1 단계; 상기 H.263 스트림의 나머지 영상들에 대해, 상기 H.263 스트림과 상기 MPEG-2 스트림의 프레임을 정합하여 상기 MPEG-2 영상 계층을 생성하는 제 2 단계; 상기 H.263 스트림의 해상도 및 매크로블록의 구조를 분석하여 상기 MPEG-2 슬라이스 계층을 생성하는 제 3 단계; 상기 H.263 스트림내의 매크로블록 계층을 매크로블록의 정보를 분석하여 상기 MPEG-2 스트림의 매크로블록 계층으로 변환하는 제 4 단계; 및 상기 H.263 스트림내의 블록계층을 블록계층의 정보를 분석하여 상기 MPEG-2 스트림의 블록계층으로 변환함으로써, 완전 압축영역인 가변장부호에서 상기 H.263 스트림의 압축동영상을 상기 MPEG-2 스트림의 압축동영상으로 변환하는 제 5 단계를 포함함.

4. 발명의 중요한 용도

본 발명은 영상시스템에서의 압축영상 분야 등에 이용됨.

Description

영상시스템에서의 압축동영상 변환 방법{A CONVERSION METHOD OF COMPRESSED MOVING VIDEO ON THE VIDEO COMMUNICATION SYSTEM}

본 발명은 영상시스템의 완전 압축영역인 가변장부호에서 H.263 표준 동영상 압축부호를 엠펙-2(MPEG-2 : Moving Picture Expert Group-2)의 형태에 맞는 표준 동영상 압축부호로 변환함으로써, 이종 동영상간에 쉽게 변환이 가능하도록 한 압축동영상 변환 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

일반적으로, 이종 영상부호간의 변환은 서로 다른 압축방식을 사용하여 만들어진 부호체계를 목적하는 압축구문 형태로 바꿔 상호호환이 가능하게 하는 기능으로 정의할 수 있다. 이를 트랜스코더(Transcoder)라 칭하며, 가장 보편적인 트랜스코더는 압축부호를 선형 펄스부호변조(PCM : Pulse Code Modulation) 신호로 디코딩하고 이를 다시 연동되어야 하는 압축부호로 인코딩하는 화소영역의 방법이다. 이러한 화소영역에서의 처리방법이 도 1에 도시되었다.

도 1 은 종래의 화소영역에서의 부호변환 과정도이다.

화소영역의 트랜스코더는 가장 쉽게 접근할 수 있는 이종 영상의 변환 방법이나, 이것은 변환에 디코더, 인코더 쌍이 필요하여 기능이 네트워크 노드 또는 사용자 단말에 존재하는 것에 관계없이 이중의 경제적 부담이 된다. 이와 같은 손실과 구현의 복잡성 이외에 화소영역의 트랜스코더를 사용하므로 변환된 영상은 화질의 열화가 발생하고, 특히 멀티미디어 통신에서 수용할 수 없는 지연이 발생할 수 있다.

종래의 방법으로, 그래픽 교환 포맷(GIF : Graphics Interchange Format)을 제이펙(JPEG : Joint Photographics Expert Group)으로 변환하는 방법(GIF to JPEG)이 있다.

여기서, GIF는 일반 컴퓨터를 위한 영상 및 그래픽 규격으로 고해상도의 정보를 룩-업(Look-up) 테이블인 팰리트(Palette)를 사용하여 용도에 맞게 변환하며, 이 과정중 색(Color) 정보를 표현하는 색인(Index) 값은 "LZW(Lempel-Ziv-Welch) 알고리즘"으로 압축한다.

반면에, JPEG은 사진과 같은 자연영상(Continuous-tone still Image)의 압축을 목적으로 한 규격이다. 이러한 알고리즘은 현재 인터넷의 "WWW(World Wide Web)"에 영상 및 그래픽 정보를 나타내는데 많이 사용되는 GIF를 JPEG으로 변환하는데 목적이 있으며, 이 결과 10~50% 까지 파일의 크기가 감소되는 효율을 얻었다.

한편, "MJPEG(Motion JPEG) to MPEG-1" 변환에 관한 연구는 독립된 인트라(I : Intra) 프레임으로 구성된 엠제이펙(MJPEG) 동영상을 MPEG-1 디코더가 처리할 수 있는 형태로 압축코드를 변경한 것으로, MPEG-1이 갖고 있는 I, P(Predictive coded picture), B(Bidirectional predictive coded picture) 프레임, 움직임 벡터를 생성하지 않고, 시퀀스, 영상군(Group Of Picture) 헤더 등, 구문상의 변화와 일부 파라메터를 변경하는 단순한 구조이다. 이는 완전한 MPEG-1 압축부호로 변환하기 보다는 JPEG에서와 같이 MPEG-1에도 영상 편집기능을 가능하도록 하는 것이연구의 주안점이다.

그 외, MPEG-1/2 동영상을 MJPEG으로 압축 영역에서 변환하는 연구가 있으나, 이 역시 영상 편집이 주 응용인 방법이다.

이와 같이, 동영상 압축방식은 대화형통신에는 "ITU-T(Telecommunication standardization sector of International Telecommunication Union)"의 H.261을 사용하고 저장형 및 분배형통신에 대해서는 "ISO/IEC(International Organization Standardization/International Electrotechnical Commission)"의 MPEG-1을 이용하는 분명한 응용 대상의 구분이 있었으나, 추후 연구 표준화된 H.263 및 MPEG-2는 응용분야가 확장되어 모든 멀티미디어 통신서비스를 대상으로 하고 있다. 이는 같은 목적에 두 압축방식을 사용할 수 있다는 것을 의미하며, 이들 두 국제표준기구(ITU-T, ISO/IEC)의 압축동영상 알고리즘은 서로의 기능을 보완하는 상호 의존적인 관계에서 압축방식의 성능에 따라 우월한 것이 선택되는 경쟁관계로 변화되었다.

국제표준 기구에서 권고하고 있는 H.263, MPEG-2는 동일한 동영상을 대상으로 하는 압축방식이나, 상호연동이 불가능하다. 즉, H.263으로 인코딩된 스트림을 MPEG-2 디코더에서 처리할 수 없으며, MPEG-2 스트림 역시 H.263에서 디코딩할 수 없다. 이는 영상전화, 영상회의 그리고 저장용으로 주 용도가 달랐던 H.261, MPEG-1에서는 큰 문제를 야기하지 않았으나, 실시간 대화형통신, 방송, 교신형 분배서비스 그리고 저장용 통신응용으로까지 그 범위가 확장된 H.263, MPEG-2는 필연적으로 동일한 용도에 이들 압축방식을 사용할 수 있고, 이때 이들간의 상호연동이 불가능한 것은 사용자 측면에서 경제적 손실과, 응용측면에서 이질성의 문제를 야기한다.

이러한 응용측면의 이질성은 해당되는 압축방식의 디코더, 인코더를 다단으로 연결하는 일반적인 화소영역에서의 트랜스코더를 사용하여 해결할 수 있으나, 이 역시 트랜스코더의 위치(네트워크 또는 사용자 단말)에 관계없이 이중의 경제적인 부담을 주게 된다. 또한, 다단의 코덱인 트랜스코더를 사용함으로써 화질열화, 특히 과도한 처리지연이 발생하여 실시간 통신에 제한을 받게 된다.

네트워크의 구축, 멀티미디어 시장의 미성숙으로 보편화된 통신서비스의 확산에 실패하였던, H.261, MPEG-1과는 달리, 공중교환전화망(PSTN : Public Switched Telephone Network), 근거리통신망(LAN : Local Area Network), 비동기전달모드(ATM : Asynchronous Trasfer Mode), 케이블 텔레비젼(CATV : Cable Television) 그리고 디지털 공중파 등의 네트워크 기반이 대부분 완료된 현 상황과 멀티미디어에 대한 일반인의 친숙도를 고려할 때, H.263과 MPEG-2를 이용한 다양한 멀티미디어 통신서비스가 급속히 확산될 것이다.

이에 따라, 현재 불가능한 이들 이종 압축부호간의 상호연동은 반드시 해결해야 하는 과제가 되고 있다.

응용서비스 관점에서의 이질성 해결과, 경제적인 이점을 제공하기 위한 이종 압축부호간의 상호연동은 적정한 가격으로 구현할 수 있는 효율성과 멀티미디어 통신에서 요구되는 실시간 처리를 필히 보장하여 제공되어야 한다.

이상에서와 같이, 동영상 압축부호의 응용분야를 명확히 구분하여 권고하였던 기존 표준과는 달리 현재 주로 사용하고 있으며 새로 연구가 진행되는 압축부호알고리즘은 같은 응용을 대상으로 하고 있다. 즉, 동일한 멀티미디어 통신에 이들 이종 동영상 압축방식이 사용된다면, 종단점간의 응용서비스는 상호 연동이 불가능하게 된다.

동영상 압축방식의 차이로 인한 이질성의 문제를 해결하기 위한 시도로 ITU-T와 ISO/IEC의 연구가 있었으나, 이것 역시 H.263의 기본적인 압축부호를 MPEG-4에서 수용하는 단 방향의 연동에 국한될 뿐, 현재까지 MPEG-4에서 H.263으로의 연동은 해결되지 못한 상태이다.

특히, 대표적인 동영상 압축 알고리즘으로 등장한 H.263과 MPEG-2간의 상호 연동이 불가능하여 이러한 이종 압축부호가 대화형, 교신형 그리고 방송 등을 포함하는 멀티미디어 응용서비스에 사용될 때, 통신이 불가능하다는 연동의 문제 이외에 특정 동영상 응용서비스를 제공받기 위해서는 해당 서비스마다 별도의 동영상 압축처리부를 사용해야 하는 사용자 측면의 경제적인 손실을 가져오는 문제점이 있었다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 영상시스템의 완전 압축영역인 가변장부호에서 이종 동영상간에 공통되는 압축 알고리즘에 따라 생성된 정보를 최대한 활용하고, 그 외의 두 부호간의 변환에 장애가 되는 구문구조, 기타 처리에 필요한 파라메터를 변환하여 H.263 표준 동영상 압축부호를 MPEG-2의 형태에 맞는 표준 동영상 압축부호로 직접 변환하기 위한 압축동영상 변환 방법 및 상기 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

도 1 은 종래의 화소영역에서의 부호변환 과정도.

도 2 는 본 발명에 따른 압축동영상 변환 방법에 대한 일실시예 흐름도.

도 3 은 본 발명에 이용되는 H.263 스트림과 MPEG-2 스트림의 계층별 변환 관계를 나타낸 일실시예 설명도.

도 4 는 본 발명에 이용되는 H.263 스트림과 MPEG-2 스트림의 매크로블록 계층의 변환 관계를 나타낸 일실시예 설명도.

도 5 는 본 발명에 이용되는 H.263 스트림의 움직임 벡터 부호화 과정을 나타낸 일실시예 설명도.

도 6 은 본 발명에 이용되는 MPEG-2 스트림의 움직임 벡터 부호화 과정을 나타낸 일실시예 설명도.

도 7 은 본 발명에 이용되는 MPEG-2 스트림의 DC 계수와 음직임 벡터 초기화 과정을 나타낸 일실시예 설명도.

도 8 은 본 발명에 이용되는 MPEG-2 스트림에서 블록계층에 대한 DC 부호화 과정을 나타낸 일실시예 설명도.

상기 목적을 달성하기 위한 본 발명은, 영상 시스템에 적용되는 압축동영상 변환 방법에 있어서, H.263 스트림의 첫 번째 입력되는 영상에 대해, 헤더정보를 해석하여 엠펙-2(MPEG-2) 스트림의 시퀀스 계층 및 영상군(GOP) 계층을 생성하는 제 1 단계; 상기 H.263 스트림의 나머지 영상들에 대해, 상기 H.263 스트림과 상기 MPEG-2 스트림의 프레임을 정합하여 상기 MPEG-2 영상 계층을 생성하는 제 2 단계; 상기 H.263 스트림의 해상도 및 매크로블록의 구조를 분석하여 상기 MPEG-2 슬라이스 계층을 생성하는 제 3 단계; 상기 H.263 스트림내의 매크로블록 계층을 매크로블록의 정보를 분석하여 상기 MPEG-2 스트림의 매크로블록 계층으로 변환하는 제 4 단계; 및 상기 H.263 스트림내의 블록계층을 블록계층의 정보를 분석하여 상기 MPEG-2 스트림의 블록계층으로 변환함으로써, 완전 압축영역인 가변장부호에서 상기 H.263 스트림의 압축동영상을 상기 MPEG-2 스트림의 압축동영상으로 변환하는 제 5 단계를 포함한다.

한편, 본 발명은 압축동영상 변환을 위하여, 프로세서를 구비한 영상시스템에, H.263 스트림의 첫 번째 입력되는 영상에 대해, 헤더정보를 해석하여 엠펙-2(MPEG-2) 스트림의 시퀀스 계층 및 영상군(GOP) 계층을 생성하는 제 1 기능; 상기 H.263 스트림의 나머지 영상들에 대해, 상기 H.263 스트림과 상기 MPEG-2 스트림의프레임을 정합하여 상기 MPEG-2 영상 계층을 생성하는 제 2 기능; 상기 H.263 스트림의 해상도 및 매크로블록의 구조를 분석하여 상기 MPEG-2 슬라이스 계층을 생성하는 제 3 기능; 상기 H.263 스트림내의 매크로블록 계층을 매크로블록의 정보를 분석하여 상기 MPEG-2 스트림의 매크로블록 계층으로 변환하는 제 4 기능; 및 상기 H.263 스트림내의 블록계층을 블록계층의 정보를 분석하여 상기 MPEG-2 스트림의 블록계층으로 변환함으로써, 완전 압축영역인 가변장부호에서 상기 H.263 스트림의 압축동영상을 상기 MPEG-2 스트림의 압축동영상으로 변환하는 제 5 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명은 현재 대표적인 압축부호인 H.263과 MPEG-2간의 양방향 연동이 가능하게 하는 효율적인 변환 방법이다. 여기에서는 H.263의 가변장 부호에서 MPEG-2 압축동영상을 생성한다. 이는 두 방식이 갖는 공통 부분의 정보를 최대한 활용하는 압축영역에서의 변환 방법으로, 기존 화소영역의 변환에 비해 구현의 복잡성, 화질, 그리고 실시간 처리에 장점을 갖는다. 따라서, 영상전화, 영상회의에 이종 압축동영상인 H.263과 MPEG-2가 사용되어 서로 통신이 불가능할 때에도, 본 발명의 변환 방법을 이용하여 H.263에서 MPEG-2로의 통신이 가능하다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 2 는 본 발명에 따른 압축동영상 변환 방법에 대한 일실시예 흐름도이다.

도 2에 도시된 바와 같이, 본 발명에 따른 H.263 압축동영상을 MPEG-2 압축동영상으로 변환하는 압축동영상 변환 방법은, 먼저 H.263 스트림의 헤더 정보를 해석하여(201) 첫 번째 영상(Picture)에 대해 MPEG-2 스트림의 시퀀스 계층 및 영상군(GOP : Group Of Picture) 계층을 생성한다(203).

이후, 스트림의 나머지 영상들에 대해(208), H.263 스트림과 MPEG-2 스트림의 프레임을 정합하여 MPEG-2 영상 계층을 생성한다(204).

다음으로, H.263 스트림의 해상도 및 매크로블록의 구조를 분석하여 MPEG-2 슬라이스 계층을 생성한다(205).

이후에, H.263 스트림내의 매크로블록의 정보를 분석하여 MPEG-2 매크로블록 계층으로 변환한다(206).

마지막으로, H.263 스트림의 블록계층의 정보를 분석하여 MPEG-2 스트림의 블록계층으로 변환한다(207).

상기한 바와 같은 본 발명에 따른 H.263 압축동영상을 MPEG-2 압축동영상으로 변환하는 압축동영상 변환 방법은 트랜스코더의 요구조건을 만족하는 새로운 방식로서, H.263, MPEG-2 두방식 공히 차등펄스부호변조(DPCM : Differential Pulse Code Modulation)에 따르는 움직임 추정, 보상, 이산여현변환(DCT : Discrete Cosine Transform) 그리고 엔트로피 코딩을 기본으로 하고 있다는 점에 착안하여, 공통되는 압축 알고리즘에 따라 생성된 정보는 최대한 활용하고, 그 외 두 부호간의 변환에 장애가 되는 구문구조, 기타 처리에 필요한 파라메터를 변환하는 것이다.

따라서, 본 발명은 H.263의 압축부호를 MPEG-2의 형태에 맞는 동영상 부호로변환하며, 완전 압축 구문상에서 처리를 수행함으로써 화질 개선의 이점과 실시간 변환에 장점을 갖고 특히 간단한 처리로 용이하게 구현할 수 있는 효율적인 방법이다.

상기한 바와 같은 본 발명에 따른 H.263 압축동영상을 MPEG-2 압축동영상으로 변환하는 압축동영상 변환 방법에 대해 도 3 내지 도 8을 참조하여 보다 상세히 설명한다.

도 3 은 본 발명에 이용되는 H.263 스트림과 MPEG-2 스트림의 계층별 변환 관계를 나타낸 일실시예 설명도이다.

본 실시예는 완전 압축부호상에서 필요한 계층정보를 생성하고, 각 계층에 필요한 특정 파라메터 값을 변경하는 간단한 절차로 이종 동영상 부호간의 변환이 가능하다.

도 3에 도시된 바와 같이, H.263 스트림(3a)과는 달리 MPEG-2 스트림(3b)은 영상조작과 오류정보의 내성을 위해 시퀀스 계층(301), GOP 계층(302)과 같은 계층 구조를 갖는다. 따라서, 압축부호를 변환하기 위해서는 H.263에 존재하지 않는 일부 헤더 정보 및 프레임 구조를 생성하여야 한다.

시퀀스 계층(301)은 MPEG-2 스트림(3b)의 압축동영상의 최상위 계층으로서, 영상의 해상도, 프레임의 구조, 출력 비트율, 출력 완충버퍼링(VBV : Video Buffer Verifier) 파라메터와 양자화 처리에 대한 정보를 포함하고 있으므로, 시퀀스 계층(301)이 갖는 헤더 정보 및 주요 파라메터 값은 H.263 스트림(3a)의 입력 영상을 해석한 결과에 따라 생성된다. 이중 H.263 스트림(3a)에는 포함되지 않는 양자화 메트릭스가 MPEG-2 스트림(3b)으로 변환된 스트림의 화질을 결정하는 중요한 요소이므로, H.263 스트림(3a)의 선형 양자화 특성을 그대로 보존하는 매트릭스 값으로 바꾸어 주고, 이것을 변경된 MPEG-2 스트림(3b)의 헤더에 적어 H.263 스트림(3a)의 DCT 계수를 손실없이 처리한다.

영상 계층(303)에서 처리되어야 할 부분은 H.263 스트림(3a)과 MPEG-2 스트림(3b)의 프레임 정합과정으로 H.263 스트림(3a)의 I, PB 프레임을 MPEG-2의 I, P, B에 대응되게 영상 헤더의 내용을 바꾸어 준다. 또한, 일시적 기준값(TR : Temporal Reference)을 MPEG-2 프레임 순으로 1024를 주기로 하는 일련 번호로 변환하고, 영상 계층(303)에 속해 있는 움직임 탐색범위를 나타내는 f코드를 H.263 스트림(3a)의 정보에 따라 설정하여 처리된 스트림이 디코딩될 때, 정확한 움직임 보상을 통해 화면에 정상적으로 표시한다. 또한, H.263 스트림(3a)의 양자화 특성을 손실없이 전달할 수 있는 선형 양자화 스케일 모드로 영상 헤더의 파라메터를 설정한다.

H.263 스트림(3a)에서는 한행의 고정된 수의 매크로블럭 군(Group)을 블록그룹(GOB : Group of Block)이라 칭하며, 이러한 GOB 계층은 MPEG-2 스트림(3b)의 슬라이스 계층(304)와 대응되는 계층이다.

그러나, H.263 스트림(3a)에서 GOB에 대한 처리를 선택사항으로 하고 있어 이 계층(304)은 존재하지 않을 수 있다.

따라서, GOB 계층(302)을 바로 MPEG-2 스트림(3b)의 슬라이스 계층(304)으로 변환할 수 없으며, H.263 스트림(3a)의 해상도 정보를 기준으로 영상의 수평축에해당하는 화소 수를 16으로 나눈 값에 해당하는 매크로블럭의 수를 계수하여 슬라이스 계층(304)을 생성한다.

매크로블럭은 움직임 추정 및 보상의 기본 단위로 사용되며, 기본적으로 H.263 스트림(3a)과 MPEG-2 스트림(3b)의 매크로블럭에 대한 처리는 유사하나, 생성된 매크로블럭의 유형과 부호화 방법은 차이를 가져, 이에 대한 변환 과정이 필요하다. 즉, 매크로블럭 계층(305)의 변환은 H.263 스트림(3a)에 대한 매크로블럭의 코드 존재유무를 확인하고, 코드의 형태와 움직임 벡터를 해석하는 부분이 필요하다.

따라서, 매크로블록 계층(305)의 변환은 이 결과를 기준으로 MPEG-2 스트림(3b)이 갖는 매크로블록 주소 증가(MBAI : MacroBlock Address Increment) 값과 코드화된 블록 패턴(CBP : Coded Block Pattern)을 생성하고, 움직임 벡터를 처리한다.

매크로블럭 계층(305)의 변환은 움직임 정보를 갖는 인트라, 인터 블럭에 대한 처리가 별도로 수행되며, 이중 움직임 정보가 포함되지 않는 H.263 스트림(3a)의 인트라 매크로블럭은 직접 MPEG-2 스트림(3b)의 인트라 매크로블럭으로 변경된다. 그리고, 인터 블럭은 PB의 프레임 유형에 따라 결정되는 움직임 정보에 따라 순방향 움직임만을 갖는 매크로블럭과 양방향 움직임 정보를 포함하는 매크로블럭을 구분하여, MPEG-2 스트림(3b)의 PB 프레임을 구성하는 매크로블럭에 대응되게 변경된다. 이러한 H.263 스트림(3a)과 MPEG-2 스트림(3b)간에 매크로블럭 계층(305)의 변환 관계가 도 4에 도시되었다.

도 4 는 본 발명에 이용되는 H.263 스트림과 MPEG-2 스트림의 매크로블록 계층의 변환 관계를 나타낸 일실시예 설명도이다.

H.263 스트림(3a)에서 매크로블럭의 유형은 "COD(Coded macroblock indication), MCBPC(Macroblock type & coded block pattern for chrominance), CBPY(Coded block pattern for luminance), MVD(Motion vector data)"의 존재와 구성형태에 따라 고유한 의미를 갖는데 반하여, MPEG-2 스트림(3b)에서의 매크로블럭은 유형별로 정확히 구분되어 있다.

따라서, H.263 스트림(3a)의 매크로블럭에 포함된 정보를 해석하여 MPEG-2 스트림(3b)에 대응되는 매크로블럭의 형태로 정합하는 과정이 필요하다.

도 4를 참조하면, H.263 스트림(3a)에서 "COD"는 해당 매크로블럭의 존재 여부를 나타내며, "MCBPC"는 인트라와 인터 블럭 형태를 구분하고 색차신호의 코드 유무 및 매크로블럭 단위로 존재하는 양자화 파라메터를 포함한다. 그리고, "CBPY"는 휘도신호의 코드유무를 표시한다. 이중 "MCBPC"와 "CBPY"를 이용하여 MPEG-2 스트림(3b)의 CBP 정보를 생성한다.

최초 코딩된 H.263 스트림(3a)의 인트라 프레임에 포함된 매크로블럭은 MPEG-2 스트림(3b)의 I프레임을 구성하는 매크로블럭과 동일하게 변경한다. 그 외의 PB 프레임의 경우는 매크로블럭을 인트라와 인터로 세분하고, 다시 각각이 양자화 파라메터를 갖는가를 파악하여, 이것에 의해 MPEG-2 스트림(3b)의 합당한 매크로블록 유형으로 변경한다. 이중 인터 매크로블럭의 경우는 H.263 스트림(3a)의 MCBPC, CBPY를 이용하여 MPEG-2 스트림(3b)의 CBP를 생성하고, 이를 다시 H.263 스트림(3a)의 해당 매크로블럭에 움직임 정보가 존재하는가를 판단하여, MPEG-2가 갖을 수 있는 형태인 CBP, 움직임 벡터 그리고 CBP와 움직임 벡터가 같이 있는 3가지 매크로블럭 유형 중 하나로 변경한다.

H.263 스트림(3a)과 MPEG-2 스트림(3b)은 움직임 추정 및 보상에 유사한 알고리즘을 사용하나, 이 결과 생성된 움직임 벡터를 부호화하는 방법은 상이하다. 이러한 H.263 스트림(3a)의 움직임 벡터 부호화 과정과 MPEG-2 스트림(3b)의 움직임 벡터 부호화 과정이 각각 도 5 및 도 6에 도시되었다.

도 5 는 본 발명에 이용되는 H.263 스트림의 움직임 벡터 부호화 과정을 나타낸 일실시예 설명도이고, 도 6 은 본 발명에 이용되는 MPEG-2 스트림의 움직임 벡터 부호화 과정을 나타낸 일실시예 설명도로서, 도면에서 "MV"는 현재 움직임 벡터(Current Motion Vector), "MV1"은 이전 움직임 벡터(Previous Motion Vector), "MV2"은 상단 움직임 벡터(Above Motion Vector), 및 "MV3"은 상단 우측 움직임 벡터(Above Right Motion Vector)를 각각 나타낸다. 그리고, 점선은 영상 또는 GOB 경계(Border)를 나타낸다.

도 5 및 도 6에 도시된 바와 같이, H.263 스트림(3a)의 움직임 벡터의 부호화는 움직임 추정에 의해 선택된 실제 움직임 벡터값과 주변 매크로블럭이 갖는 벡터의 중간값(Median Value)에 해당하는 것과의 차이로 표현된다. 이때, 중간값 계산에 사용되는 벡터는 탐색과정에서 추출된 실제값이어야 한다.

반면에, MPEG-2 스트림(3b)에서의 움직임 벡터의 부호화는 이전 매크로블럭이 갖는 움직임 벡터와의 차분값(Differential Value)으로 표현된다. 즉, MPEG-2스트림(3b)에서는 f코드에 의해 움직임 벡터의 범위가 결정되고, 이는 움직임 벡터의 차분값과 f코드-1로 나타내는 나머지 값으로 표현된다.

따라서, 정확한 움직임 벡터의 변환을 위해서는 H.263 스트림(3a)의 매크로블럭에 포함된 움직임 벡터에서 원래의 정확한 움직임 추정값을 계산한 후에, MPEG-2 스트림(3b)에서 사용하는 방법에 의해 움직임 벡터를 다시 부호화해야 한다.

움직임 벡터를 변환할 때 주의하여 할 점은, MPEG-2 스트림(3b)에서 슬라이스 계층(304)의 선두와 마지막에 매크로블럭이 반드시 존재하여야 한다는 것이다. 이를 위해 입력되는 H.263 스트림(3a)의 매크로블럭의 형태를 분석한 후에, 처음과 마지막의 매크로블럭이 생략되었으면, 움직임 벡터만 0의 값을 갖는 매크로블럭을 생성하고, 나머지는 이전 매크로블럭과 차분치로 표현한다.

매크로블럭을 구성하는 CBP는 전술한 바와 같이 H.263 스트림(3a)의 MCBPC, CBPY를 이용하고 인트라와 인터 블럭을 구분하는 룩업 테이블을 사용하여 생성한다.

매크로블럭의 변환은 MPEG-2 스트림(3b)의 특성에 맞는 초기화 과정이 수반되어야 한다. 이러한 초기화 과정은 이전 메크로블럭에 대한 차분치로 표현되는 DC 계수와 움직임 벡터의 부호화에 적용되며, 도 7에 도시된 바와 같은 조건일 때, 이전 매크로블럭의 값이 0으로 설정되고, 차분값이 원래의 매크로블럭이 갖는 DC 계수와 움직임 벡터값이 된다.

도 8 은 본 발명에 이용되는 MPEG-2 스트림의 인트라 블록의 DC 부호화 과정에 대한 일실시예 설명도이다.

H.263 스트림(3a)에서 MPEG-2 스트림(3b)로의 블록 계층(306) 변환은 인트라 블럭의 DC 계수와 인터 블럭의 디씨(DC : Direct Current), 에이씨(AC : Alternative Current) 계수에 대해 구분하여 처리한다.

H.263 스트림(3a)내의 인트라 블럭의 DC 계수는 8비트 고정길이 코드값을 갖는 순차적 표현으로 되어 있으나, MPEG-2 스트림(3b)는 가변길이 코드를 갖는 차분값으로 표현되며 휘도와 색차성분에 따라 다르게 부호화된다.

따라서, H.263 스트림(3a)의 인트라 블럭이 갖는 DC를 휘도와 색차 성분에 따라 구분하고, 이를 다시 차분값으로 표현한 후에 MPEG-2 스트림(3b)의 VLC로 변환한다. 여기서, 사용되는 가변장부호(VLC : Variable Length Code), 런렌스코드(RLC : Run-Length Code) 부호화는 후술할 인터 블럭의 처리와 동일하다.

H.263 스트림(3a)내의 인터 블럭의 DC와 AC계수에 대한 RLC 처리과정은 다음과 같다.

일반적으로, DCT 계수는 연속되는 0의 값과 0이 아닌 계수값으로 표현되며, 각각을 런(RUN), 레벨(LEVEL)로 칭한다. 그러나, 이것을 표현하는 RLC 부호화는 H.263 스트림(3a)과 MPEG-2 스트림(3b)가 서로 다른 방법을 사용한다. 즉, MPEG-2 스트림(3b)는 블록의 끝(EOB : End of Block)을 사용하여 코드의 끝을 나타내는 2차원 VLC를 행하는 반면, H.263 스트림(3a)은 RUN, LEVEL에 추가적으로 라스트(LAST)라는 코드를 사용하는 3차원 VLC를 사용한다.

따라서, H.263 스트림(3a)의 인터 블럭에 포함되는 DC, AC 계수에는 LAST 부분의 정보를 확인하여 MPEG-2 스트림(3b)로 변환할 때, EOB 정보를 추가한다.

상기한 바와 같은 본 발명은, 현재 대표적인 압축부호인 H.263 스트림(3a)의 압축부호를 MPEG-2 스트림(3b)의 형태에 맞는 동영상 부호로의 직접 변환을 가능하게 하여, 영상회의 또는 주문형 비디오(VOD : Video On Demand) 등에 이들 압축부호를 사용할 경우에, 사용자가 서비스를 제공받지 못하거나 서비스를 제공받기 위해서 해당되는 복잡한 압축부호 처리장치가 필요한 기존 방식에 비해, 월등히 단순한 장치로 이종 부호간의 변환이 가능하며, 화질 개선, 특히 멀티미디어 통신에 반드시 필요한 요구 조건인 실시간 처리가 가능하다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기한 바와 같은 본 발명은, H.263 동영상 압축부호를 MPEG-2 압축부호로 변환하는데 있어서, 움직임 및 이산여현변환(DCT) 관련 처리를 수행하지 않으므로부호변환에 소요되는 장치의 구성을 용이하게 구현할 수 있고, 화질개선 및 멀티미디어 통신에 반드시 필요한 요구조건인 실시간 처리가 가능하며, 영상회의 또는 주문형 비디오 등에 이들 이종 압축부호를 사용하는 경우에 별도의 장치를 구입하지 않고도 다양한 멀티미디어 통신서비스를 제공할 수 있는 효과가 있다.

Claims

영상 시스템에 적용되는 압축동영상 변환 방법에 있어서,

H.263 스트림의 첫 번째 입력되는 영상에 대해, 헤더정보를 해석하여 엠펙-2(MPEG-2) 스트림의 시퀀스 계층 및 영상군(GOP) 계층을 생성하는 제 1 단계;

상기 H.263 스트림의 나머지 영상들에 대해, 상기 H.263 스트림과 상기 MPEG-2 스트림의 프레임을 정합하여 상기 MPEG-2 영상 계층을 생성하는 제 2 단계;

상기 H.263 스트림의 해상도 및 매크로블록의 구조를 분석하여 상기 MPEG-2 슬라이스 계층을 생성하는 제 3 단계;

상기 H.263 스트림내의 매크로블록 계층을 매크로블록의 정보를 분석하여 상기 MPEG-2 스트림의 매크로블록 계층으로 변환하는 제 4 단계; 및

상기 H.263 스트림내의 블록계층을 블록계층의 정보를 분석하여 상기 MPEG-2 스트림의 블록계층으로 변환함으로써, 완전 압축영역인 가변장부호에서 상기 H.263 스트림의 압축동영상을 상기 MPEG-2 스트림의 압축동영상으로 변환하는 제 5 단계

를 포함하는 영상시스템에서의 압축동영상 변환 방법.
제 4 항에 있어서,

상기 제 1 단계의 시퀀스계층은,

상기 MPEG-2 스트림의 압축동영상의 최상위 계층으로서, 영상의 해상도, 프레임의 구조, 출력 비트율, 출력 완충버퍼링(VBV) 파라메터와 양자화 처리에 대한 정보를 포함하되, 상기 시퀀스계층이 갖는 헤더 정보 및 주요 파라메터값을 상기 H.263 스트림의 입력영상을 해석한 결과에 따라 생성되는 것을 특징으로 하는 영상시스템에서의 압축동영상 변환 방법.
제 4 항 또는 제 5 항에 있어서,

상기 제 3 단계는,

상기 H.263 스트림의 해상도 정보를 기준으로 영상의 수평축에 해당하는 화소수를 16으로 나눈값에 해당하는 매크로블록의 수를 계수하여 상기 슬라이스 계층을 생성하는 것을 특징으로 하는 영상시스템에서의 압축동영상 변환 방법.
제 4 항 또는 제 5 항에 있어서,

상기 제 4 단계는,

상기 H.263 스트림의 상기 매크로블록 계층에 대해, 매크로블록의 코드 존재유무를 확인하고 코드의 형태와 움직임 벡터를 해석함으로써 매크로블록 주소 증가(MBAI)값과 코드화된 블록 패턴(CBP)을 생성하고 움직임 벡터를 처리하여, 상기 MPEG-2 매크로블록 계층으로 변환하는 것을 특징으로 하는 영상시스템에서의 압축동영상 변환 방법.
제 7 항에 있어서,

상기 움직임 벡터는,

상기 H.263 스트림의 부호화시에 움직임 추정에 의해 선택된 실제 움직임 벡터값과 주변 매크로블록이 갖는 벡터의 중간값(Median Value)과의 차이로 표현되고, 상기 MPEG-2 스트림의 부호화시에 이전 매크로블록이 갖는 움직임 벡터와의 차분값(Differential Value)으로 표현되는 것을 특징으로 하는 영상시스템에서의 압축동영상 변환 방법.
제 4 항 또는 제 5 항에 있어서,

상기 제 5 단계의 상기 MPEG-2 스트림의 블록계층으로 변환하는 과정은,

상기 H.263 스트림의 인트라 블록이 갖는 디씨(DC)를 휘도와 색차 성분에 따라 구분하고, 이를 다시 차분값으로 표현한 후에, 상기 MPEG-2 스트림의 가변장부호(VLC)로 변환하는 것을 특징으로 하는 영상시스템에서의 압축동영상 변환 방법.
압축동영상 변환을 위하여, 프로세서를 구비한 영상시스템에,

H.263 스트림의 첫 번째 입력되는 영상에 대해, 헤더정보를 해석하여 엠펙-2(MPEG-2) 스트림의 시퀀스 계층 및 영상군(GOP) 계층을 생성하는 제 1 기능;

상기 H.263 스트림의 나머지 영상들에 대해, 상기 H.263 스트림과 상기 MPEG-2 스트림의 프레임을 정합하여 상기 MPEG-2 영상 계층을 생성하는 제 2 기능;

상기 H.263 스트림의 해상도 및 매크로블록의 구조를 분석하여 상기 MPEG-2 슬라이스 계층을 생성하는 제 3 기능;

상기 H.263 스트림내의 매크로블록 계층을 매크로블록의 정보를 분석하여 상기 MPEG-2 스트림의 매크로블록 계층으로 변환하는 제 4 기능; 및

상기 H.263 스트림내의 블록계층을 블록계층의 정보를 분석하여 상기 MPEG-2 스트림의 블록계층으로 변환함으로써, 완전 압축영역인 가변장부호에서 상기 H.263 스트림의 압축동영상을 상기 MPEG-2 스트림의 압축동영상으로 변환하는 제 5 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.