KR100248427B1

KR100248427B1 - 압축 영역에서의 엠펙 부호 영상의 화면 분할 장치 및 그 방법

Info

Publication number: KR100248427B1
Application number: KR1019970038330A
Authority: KR
Inventors: 황대환; 이종형; 박영덕; 조규섭
Original assignee: 이계철; 한국전기통신공사; 정선종; 한국전자통신연구원
Priority date: 1997-08-12
Filing date: 1997-08-12
Publication date: 2000-03-15
Also published as: KR19990015945A; US6058122A

Abstract

본 발명은 ISO/IEC에서 권고한 MPEG 압축 동영상을 완전 압축 영역에서 화면 분할하는 장치 및 그 방법에 관한 것이다. 다지점 제어 장치 (MCU : Multipoint Control Unit, 이하 MCU라 칭함)내 영상 처리부에서 그 화면 분할 처리를 한다. 완전 압축 영역에서의 화면 분할 처리는 논-트랜스코딩 근간의 방식으로 구분 지워진다. 본 방법은, 단말과 MCU가 단-대-단 신호 절차에 의해 접속되는 단말의 유형 및 능력과 MCU가 지원 가능한 능력을 교섭한 후, MCU에 접속된 단말중 화면 분할 처리가 되어야 하는 해당 단말로 부터 각각 입력된 입력 압축 영상 신호(MPEG SIF) 프레임을 순서적으로 받아 다지점 제어장치내 압축 영역에서 하나의 병합된 동영상 신호(MPEG ITU-R BT601) 프레임으로 처리함으로써, 논-트랜스코딩 방식에 의해 다수의 입력 동영상이 하나의 화면에 보여질 수 있도록 화면 분할 처리를 한다. 따라서, 본 발명은 매우 저렴하고 단순하게 구현이 가능하며, 화면 분할 처리에 따르는 화질 열화를 전혀 수반하지 않는다는 장점을 갖는다. 특히 논 트랜스코딩 방식이 갖는 처리 지연에 따르는 문제점을 극소화시켜, MCU를 이용한 다지점 멀티미디어 통신 서비스가 가져야 하는 실시간 측면의 QoS (Quality of Service)를 보장 할 수 있는 효율적인 방법이다.

Description

압축 영역에서의 엠펙 부호 영상의 화면 분할 장치 및 그 방법

본 발명은 광대역 ISDN(종합정보통신망)상에서 다지점 멀티미디어 통신 단말에게 다지점 멀티미디어 통신 서비스를 제공하는 다지점 제어장치(MCU; Multipoint Control Unit)의 영상 처리 기능중 MPEG 압축 동영상을 완전 압축영역에서 논-트랜스코딩(non-transcoding) 방식으로 화면 분할 처리하기 위한 완전 압축영역에서 MPEG 부호 영상의 화면 분할 처리 장치 및 그 방법에 관한 것이다.

최근 국내외 광대역 ISDN의 하부 구조를 이루는 비동기식 전송 모드의 교환 및 전송 분야의 연구, 개발의 완성과 ITU-T, ISO/IEC를 축으로 하는 오디오/비디오의 압축 표준화가 완료됨에 따라 광대역 ISDN상에서의 멀티미디어 서비스는 사용자에게 직접 적용이 가능한 형상으로 구체화 되고 있다. 향후 전개될 멀티미디어 서비스의 형태로는 VOD(;주문형 비디오, Video On Demand)와 같은 교신/분배형 서비스와 영상 전화, 영상 회의와 같은 대화형 서비스를 근간으로 가시화될 것이다. 대화형 멀티미디어 통신 서비스는 H.261 영상 압축 코딩 방식을 기반으로 다양한 네트워크에서 적용이 가능한 H.320 계열의 멀티미디어 통신 단말이 ITU-T에서 표준이 완료 되고 있으며, DAVIC (Digital Audio Video International Council)에서는 ISO/IEC의 MPEG 표준을 이용하여 VOD형 서비스 시스템의 표준을 완료한 상태이다. 멀티미디어 통신 단말의 형태는 대화형 서비스에는 H.261 표준 압축 방식을 사용하고, VOD와 같은 교신/분배형 서비스에는 MPEG 표준 압축 방식을 적용하고 있으나, ITU-T에서 ISO/IEC의 MPEG을 수용한 단말을 표준화 하고, DAVIC등의 기구에서 대화형 양방향 통신 서비스를 수용하려 하는 추세에 따라 기존의 표준 방식을 조합한 다양한 형태의 서비스 및 멀티미디어 단말이 존재할 것이다. 특히 ISO/IEC의 MPEG-2는 CATV나 디지털 TV 방송 그리고 VOD와 같은 서비스에 직접 적용되고 있으며, 이와 같은 서비스는 이미 장치의 규격, 표준이 완료된 셋탑박스(Set-Top Box; 이하, 'STB'라 칭함)를 통해 제공이 가능하다. STB는 이미 가정에 보급되어 있는 TV나 VTR 그리고 개인 컴퓨터와 같이 별도의 장치 또는 기존의 장치에 포함되는 형태로 제품화 될 것이며, 사용자는 이를 기반으로 광대역 ISDN의 토대 위에서 다양한 멀티미디어 통신 서비스로의 접근을 시도 할 것이다. 특히 영상 전화 및 영상 회의와 같은 대화형 통신 서비스의 제공은 현재까지 해당 네트워크의 형태에 따라 H.320 계열의 단말을 사용함으로써 가능하였으나, 이미 STB를 갖고 있는 사용자에게는 별도의 단말을 구매하여야 하는 부담을 주게 된다. 따라서 이와 같은 경우에는 MPEG 복호기와 망 정합 기능을 갖는 STB에 MPEG 부호 모듈을 부가하여 양방향 멀티미디어 통신 서비스를 제공 받는 것이 보다 효율적인 방법이라 할 수 있다. 멀티미디어 통신 단말은 적용되는 서비스 및 내장된 장치의 특성에 따라 다양한 유형의 미디어 신호 및 그 조합이 혼재 할 수 있다. 이에 따라 다지점 멀티미디어 통신 서비스를 제공하는 MCU는 다양한 미디어의 처리가 가능한 구조를 가져야 한다. 본 발명은 MCU의 미디어 처리부 중 MPEG 기반의 동영상 처리에 관련 된 내용이다.

종래 MCU의 영상 처리부는, 접속된 다수의 멀티미디어 통신 단말의 동영상을 단순 스위칭하여 분배하는 기능과 보다 향상된 기능으로 다수의 입력 동영상이 하나의 화면에 보여질 수 있도록 처리하여 주는 화면 분할 처리 기능을 갖는다. 이중 화면 분할 처리기능은 MCU가 동시에 다수의 동영상을 처리하여 송신함으로써, 각 단말에서는 이에 따르는 개별 동영상을 동일한 화면내에서 볼 수 있다는 사용자 인터페이스 측면에서 장점을 갖는 방식이라 할 수 있다. 이와같은 화면 분할 처리기능은 다지점 영상회의와 같은 멀티미디어 통신 응용 서비스에서 매우 유용한 기술이라 할 수 있다. 그러나, 종래 MCU내 영상 처리부에는 영상 복/부호기가 입/출력 접속 통신 단말의 수에 대응되게 실장되어야 하는 문제점을 갖는 PEL(Pixel Element) 영역의 화면 분할 방식이 주를 이루고 있다.

종래의 화면 분할 방법은, MCU에서 입력된 압축 영상을 동영상 복호기를 사용하여 PEL(Pixel Element) 영역의 데이터로 변환하고, 이를 스케일링 및 필터링과 재배치 과정을 거친 후, 다시 동영상 부호기를 사용하여 압축 신호로 변환하는 방식을 사용하는 트랜스코딩 근간의 방법을 사용하였다. 그러나 상기와 같은 방법을 사용할 경우, 동영상 신호 조작의 융통성을 갖는 반면에, 다수의 복/부호기 등이 포함된 복잡한 영상 처리부가 MCU에 실장되어야 하는 다른 문제점이 있다. 또한, 복호 및 부호 과정을 반복 수행함에 따라, 영상신호의 열화, 즉 서비스 품질(Qos)의 저하를 수반하는 다른 문제점이 있다. 특히, 가변 비트의 트래픽 특성을 갖는 부호기의 출력 데이터를 항등 비트로 보내기 위한 전송 버퍼 지연과 부호화, 복호화 처리 지연의 증복으로 대화형 통신 서비스의 실시간 QoS를 보장하는데 제약을 갖는다. 또한, MCU가 화면 분할 처리 기능을 위해 트랜스코딩 근간의 방식을 사용 할 경우에, 송신 단말과 네트워크 그리고 MCU를 거쳐 수신 단말까지의 전체 지연 요소를 고려해야 한다. 그런데 종래기술은 복호 및 부호 과정을 반복 수행함에 따라 다지점 멀티미디어 통신 서비스가 갖추어야 할 실시간 통신 서비스에 적합하지 않은 지연을 유발시키는 또 다른 문제점이 있다. 특히, MCU를 배제한 송신 단말과 수신 단말간의 지연이 유발된다. 한편, 전혀 복호/부호 기능이 필요 없는 완전 압축 영역에서의 종래 화면 분할 방법은, H.261 동영상을 대상으로 고안되어 있을 뿐, H.261과는 압축 방식이 다르고 동영상의 부호화 구문 체계가 다른 MPEG근간의 동영상에 대해서는 연구되지 못한 실정이다.

따라서, 본 발명은 상기와 같은 문제점들을 해결하기 위해, 광대역 ISDN 환경하에서 ISO/IEC에서 권고한 MPEG 압축 동영상을 PEL영역이 아닌 완전 압축영역에서 복/부호기 없이 화면 분할 처리를 가능하게 하고, 화면분할처리에 따른 화질 열화를 전혀 수반하지 않도록 하고, 또한, 논-트랜스코딩 방식으로 화면 분할 처리시 처리 지연을 극소화시킴으로써, MCU를 이용한 다지점 멀티미디어 통신 서비스시 요구되는 실시간 측면의 서비스 품질을 보장하는데 그 목적이 있다.

도 1은 광대역 ISDN상에서 MCU를 통한 다지점 멀티미디어 통신 예의 구성도,

도 2는 DAVIC STB장치를 이용한 양방향 멀티미디어 통신 단말 장치 구성도,

도 3은 광대역 ISDN상에서 MPEG 동영상 압축 신호의 단-대-단 지연 요소 예시도,

도 4는 MCU경로를 포함한 MPEG 동영상 압축 신호의 지연 요소 예시도,

도 5는 MPEG 동영상 부호기 구성도,

도 6은 MPEG 화면 분할 장치 구성도,

도 7은 4개의 MPEG SIF 프레임이 MPEG ITU-R BT601의 형태로 병합 처리

프레임 구성도,

도 8은 MPEG-1/2 SIF 프레임 구성도,

도 9는 MPEG-1/2 ITU-T BT601 프레임 구성도,

도 10은 MPEG 슬라이스 계층 구성도,

도 11은 MPEG 매크로 블럭 계층 구성도,

도 12는 MPEG 구문에 따르는 압축 신호 분할 처리 예시도,

도 13은 본 발명의 화면 분할 처리 흐름도.

*도면의 주요 부분에 대한 부호의 설명*

150, 320 : 제1, 제2 네트워크 정합부 160 : 전처리부

200 : 화면 분할 처리부 210∼240 : 입력버퍼

250 : 화면 조작 및 재배치부 260 : 출력버퍼

310 : 후처리부

상기 목적을 달성하기 위한 본 발명인 광대역 ISDN 환경하에 있는 다지점 제어장치(MCU)내에서 다수의 멀티미디어 통신 단말에서 화면이 분할되도록 하는 화면 분할 처리장치는, 광대역 ISDN을 통해 입력된 다수의 멀티미디어 신호들을 ATM 망의 신호로 정합시키기 위한 제1 네트워크 정합부와, 이정합부를 거친 다수의 멀티미디어 신호들을 오디오, 비디오 및 데이터의 개별 미디어 신호로 분리하여 주는 전처리부와, 그 분리된 미디어 신호중 MPEG 압축 동영상 신호를 완전 압축 영역에서 논-트랜스코딩 방식에 의해 조작 및 재배치하여 화면 분할 처리하는 화면 분할 처리부, 화면 분할 처리부에서 처리된 압축 동영상 신호를 MCU의 오디오 및 비디오 신호와 함께 다중화하여 그 다중화된 신호를 접속된 멀티미디어 통신 단말 수에 상응되게 생성하는 후처리부와, 및 생성된 멀티미디어 신호를 ATM망 접속부를 통해 광대역 ISDN으로 보내어 그 접속된 해당 멀티미디어 통신 단말에게 출력시켜 주는 제2 네트워크 정합부로 구성된 것을 특징으로 한다.

위에서 언급된 화면 분할 처리부의 바람직한 실시예는, 전처리부에서 분리된 신호 수에 상응하게 출력된 MPEG 동영상 신호가 일시 저장되는 입력버퍼와, 해당 입력버퍼에 입력된 각 입력 압축 영상 신호를 연속적으로 읽어와서 프레임 배치 순서에 따라 순차적으로 출력하는 화면 조작 및 재배치부와, 화면 조작 및 재배치부가 차례로 읽어온 입력 압축 영상 신호가 병합되어 쌓이는 출력버퍼로 구성된다.

본 발명의 다른 특징은, 다지점 제어장치(MCU)내 화면 분할 장치를 이용한 화면 분할 처리 방법으로서, 이는 단말과 다지점 제어장치가 단-대-단 신호 절차에 의해 접속되는 단말의 유형 및 능력과 상기 다지점 제어장치가 지원 가능한 능력을 교섭한 후, 그 접속된 단말중 화면 분할 처리가 되어야 하는 해당 단말로 부터 각각 입력된 입력 압축 영상 신호(MPEG SIF) 프레임을 순서적으로 받아 상기 다지점 제어장치내 압축 영역에서 하나의 병합된 동영상 신호(MPEG ITU-R BT601) 프레임으로 처리함으로써, 논-트랜스코딩 방식에 의해 다수의 입력 동영상이 하나의 화면에 보여질 수 있도록 화면 분할 처리를 하는 것을 특징으로 한다.

위에서 언급된 입력 압축 영상 신호 처리는, 해당 단말로 부터 수신한 첫번째와 두번째 입력 압축 영상 신호를 처리하고, 이어서 수신되는 세번째 및 네번째 입력 압축 영상신호를 처리함으로써, 동영상 압축 프레임중 하나의 프레임을 처리하한다. 이는 해당 단말 수(본 예에서는 최대 4개)에 상응하게 처리한다. 이에 대해 구체적으로는 해당 단말로부터 수신한 첫번째 입력 압축 영상 신호의 슬라이스 정보를 변경하고, 첫번째 입력 압축 영상 신호를 출력하고, 두번째 입력 압축 영상 신호의 처음 슬라이스 계층에 포함된 시퀀스 계층과 픽쳐 계층의 정보를 삭제한 후 매크로 블럭 계층의 가변 부호(MBA) 값을 변경한다. 그리고나서, 가변 부호값 변경에 따른 입력 압축 영상신호의 바이트 순서를 정렬해주기 위해 스터핑 비트를 삽입한다. 그리고나서 첫번째 및 두번째 입력 압축 영상 신호가 모두 처리될 때까지 위 과정을 반복적으로 수행한다. 그후, 세번째 입력 압축 영상 신호의 처음 슬라이스 계층에 포함된 불필요한 시퀀스 계층과 픽처 계층의 정보를 삭제한 후 MPEG ITU-R BT601에 따라 연속된 슬라이스로 변환하기 위해 현재 슬라이스 시작 코드(SSC)값을 변경한다. 그후, 네번째 입력 압축 영상신호의 처음 슬라이스 계층에 포함된 불필요한 시퀀스 계층과 픽처 계층의 정보를 삭제한 후 현재 슬라이스 시작 코드(SSC)값과 매크로 블럭 계층의 가변부호(MBA) 값을 변경한다. 그 가변부호값 변경에 따른 입력 압축 영상신호의 바이트 순서를 정렬해주기 위해 스터핑 비트를 삽입한다. 이 세번째 및 네번째 입력 압축 영상 신호가 모두 처리될 때까지 그 과정을 반복한다.

따라서, 본 발명은 매우 저렴하고 단순하게 구현이 가능하며, 화면 분할 처리에 따르는 화질 열화를 전혀 수반하지 않고, 논-트랜스코딩 방식이 갖는 처리 지연을 최소화시킨다. 또한, MCU를 이용한 다지점 멀티미디어 통신 서비스가 가져야 하는 실시간 측면의 서비스 품질을 보장 할 수가 있는 것이다.

본 발명은 광대역 ISDN환경하에서 동영상으로 MPEG을 사용하는 멀티미디어 단말이 다지점 접속을 위해 MCU에 접속 될 때, 다수의 참석자의 화면을 분할 처리하는 장치 및 방법으로서, 이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

MPEG 동영상 압축 방식을 사용한 단말이 MCU에 접속 되었을 때, 본 발명에서 는 다수의 참석자 중 실제 토론 참가자 4명을 선택하여 화면 분할 처리 하는 방법을 사용한다. 이와같은 방법은 도 1 에 나타낸 바와 같이 멀티미디어 통신 단말이 송신 영상으로는 MPEG SIF형태의 영상을 보내고 MCU에서 분할 처리된 MPEG ITU-R BT601 형태의 영상을 수신 받는 형태를 갖는다.

DAVIC STB 장치를 이용한 양방향 멀티미디어 통신 단말 장치는, 도 2에 나타낸 바와 같이, 기존 DAVIC (Digital Audio Video International Council)에서 표준화한 STB 내부 A0 인터페이스를 통해 MPEG 인코더부를 부가하거나, STU(Set-Top Unit, 12)의 AAL 계층(12b) 사이에 MPEG 인코더부(30)를 추가하여 구성이 가능하다. 여기서, 상기 STU(12)는 ATM계층(12a), AAL 계층(12b), MPEG 역다중화기(12c), 이 역다중화기(12c)를 거친 영상/오디오 신호를 복호하는 MPEG-2 영상 디코더(12d) 및 MPEG-1 오디오 디코더(12e)를 구비하고 있다. 전자의 경우는 STB(10)에 대화형 멀티미디어 통신을 위해 추가되는 기능 모듈이 물리 계층 정합부(11)에 해당하는 셀(cell) 버스(60)에 직접 접속 되므로 MPEG 인코더부(30) 이외에 ATM 계층(12a), AAL계층(12b) 처리 기능까지를 포함하여야 한다는 단점을 가지나, DAVIC에서 정확한 신호 정격으로 STB(12)내에 규정하고 있는 A0 인터페이스의 신호 및 접속 방식을 그대로 사용하므로 STB의 내부 하드웨어 구성을 변경해야 하는 문제점을 피할 수 있다. 후자의 방법은 직접 AAL 계층(12b)에 정합하는 방식으로서, 현재 DAVIC은 이에 따르는 별도의 표준화된 인터페이스를 정의하고 있지 않다. 그러나 STB를 범용 PC에서 구현할 경우, 도 5에 나타낸 MPEG 동영상 부호기는, MPEG 부호기와 다중화기를 포함한 모듈을 PC의 슬롯에 장착하고 송신용으로 AAL-5를 사용할 경우, 문제 없이 구성이 가능하다. 상기 도 2에 도시된 도면부호 11은, 물리 계층만을 포함하는 망접속 장치(NIU : Network Interface Unit)이고, 12는 A0 인터페이스를 기준으로 분리된 STU이다. 이와 같은 형태의 STB(12)에 MPEG 인코더부(30)는 장착 지점에 따라 도 2에 도시된 도면부호 40 및 50과 같이 신호 접속 형태가 달라진다. 전술한 방법에 따라 기존의 STB에 MPEG-1 부호 기능을 부가함으로써, 사용자는 보다 저렴하고 효율적으로 분배/교신형 VOD 서비스 이외에도 영상 전화, 영상 회의 등의 대화형 통신 서비스를 제공 받을 수 있다. 도 3은 광대역 ISDN상에서 영상 회의 통신을 할 때, 발생하는 송신 단말에서 수신 단말까지의 단방향 지연요소를 나타낸 것으로서, 전체 지연은 송신단 지연, 네트워크 관련 지연 그리고 수신단 지연의 합으로 나타낼 수 있다. 현재 단방향 최대 지연 허용값으로 보고 되고 있는 값은 150ms로 광대역 ISDN상에서 동영상 신호를 전송하기 위해 항등 비트율 전송 방식을 사용할 때, 발생되는 송신 버퍼 지연 등을 감안하면, 상기의 제한치를 단-대-단 차원에서 보장하기란 극히 어려운 일이다. 도 4는 다지점 멀티미디어 통신을 위해 단말이 MCU에 접속 되었을 때의 MCU를 경유한 단방향 지연을 나타낸 것이다. 이 경우의 단-대-단 지연은 최소한 도 3의 경우보다 배가된 지연이 발생함을 알 수 있다. 도 3은 MCU의 영상 처리부에 화면 분할 기능을 의해 트랜스코딩 방식을 사용한 것을 가정한 것으로, 실제 실시간 멀티미디어 통신에는 트랜스코딩 방식이 제약을 갖음을 알 수 있다. 따라서, MCU의 화면 분할 처리부는 거의 지연 요소를 갖지 않는 처리 기능을 갖고 있어야 한다.

도 6은 본 발명의 MPEG 화면 분할 장치의 구성도이다.

도 6을 참조로 한 MCU내 MPEG 화면 분할 장치의 구성은, 그 MCU에 광대역 ISDN을 통해 입력된 다수의 멀티미디어 신호(입력 1∼ 입력 n-1, 입력 n)를 ATM 망의 신호로 정합시키기 위한 제1 네트워크 정합부(150)와, 이 정합부(150)를 거쳐 MPEG-2 시스템(ISO/IEC13818-1)에 의해 다수의 미디어 신호가 다중화된 전송 스트림(Transport Stream; TS) 또는 MPEG-1 시스템(ISO/IEC 11172-1)에 의해 다수의 미디어 신호가 다중화된 프로그램 스트림(Program Stream ; PS)을 역 다중화 하여 오디오, 비디오 및 데이터 등의 개별 미디어 신호로 분리하여 주는 역할로서, 일 예로 화면분할 처리부에 입력되는 4개의 신호를 선별해주는 전처리부(160)와, 이 선별된 압축 동영상 신호를 완전 압축 영역에서 논-트랜스코딩 방식에 의해 조작 및 재배치하여 출력하는 화면 분할 처리부(200)와, 전처리부의 반대기능으로서, 그 MPEG ITU-R BT601 신호 형태로 처리된 동영상 신호를 MCU의 오디오 처리부와 오디오 처리부(도시되지 않음) 등에서 입력된 미디어 신호와 함께 다중화하여 그 다중화된 신호를 접속된 멀티미디어 통신 단말 수에 상응되게 생성하는 후처리부(310)와, 그 생성된 멀티미디어 신호를 ATM망 접속부를 통해 광대역 ISDN으로 보내어 그 접속된 해당 멀티미디어 통신 단말에게 출력시켜 주는 제2 네트워크 정합부(320)로 구성된다. 이렇게 해당 통신 단말에게 출력된 신호는 사용자가 갖고 있는 MPEG-2 복호기에 의해 복원되어 출력장치에 표시되어 진다.

보다 구체적으로, 상술한 전처리부(160)는, 4개의 입력버퍼(210, 220, 230, 240)로 입력되는 MPEG 비디오 기본 스트림(Elementary Stream; ES)을 선별하기 위해 사용자 영역의 멀티미디어 통신 단말과 MCU간의 단-대-단 신호 절차 (ITU-T H.245, ITU-T T.120 시리즈)를 이용하여 가능하게 하며, 또한 오디오 처리부(도시하지 않음)에서 특정 화자를 선별, 통지하는 것으로도 가능하다.

그리고 화면 분할 처리부(200)는, 크게 4개의 입력버퍼(210, 220, 230, 240), 화면 조작 및 재배치부(250), 및 출력버퍼(260)로 구성된다. 이를 구체적으로 살펴보면 다음과 같다. 4개의 입력버퍼(210, 220, 230, 240)는 전처리부(160)에서 선별된 신호 수에 상응하게(본 예에서는 4개의 신호에 상응하게) 출력된 MPEG 동영상 신호를 일시 저장한다. 이때, MCU에 접속된 멀티미디어 통신 단말이 수가 3 일 때는 영상 압축 신호가 입력되지 않는 버퍼에 일정 영상 패턴을 갖는 MPEG 영상 압축 신호를 채워 넣고 연속적으로 읽어 처리가 가능하다. 그리고 화면 조작 및 재배치부(250)는 해당 입력버퍼(예, 도면부호 '210')에 입력된 압축 영상 신호를 연속적으로 읽어와서 도 7에 도시된 바와 같은 프레임 배치 순서에 따라 순차적으로 출력버퍼(260)에 적고, 해당 입력버퍼(210)에 도 7에 도시된 MPEG-1 SIF 또는 MPEG-2 MP(SP)/LL 포맷에 해당하는 압축 영상이 입력되어 있고, 각 버퍼에 입력된 영상 압축 신호의 GOP(Group Of Picture)의 구조 및 동기가 맞다고 가정할 때, 입력 버퍼에 쌓인 입력 압축 영상 신호, 도면부호 '211', '212', '213', '214' 를 차례로 조작, 처리하여 출력한다. 다음으로 출력버퍼(260)는 화면 조작 및 재배치부(250)에서 차례로 읽어온 입력 압축 영상 신호를 일시 저장한 후 출력한다.

도 7은 4개의 MPEG SIF 프레임이 MPEG ITU-R BT601의 형태로 병합 처리된 프레임 구성을 나타낸 것이다.

도 8은 도 7에 도시된 각 MPEG SIF(211, 212, 213, 214)의 프레임 구성을 나타낸 것으로서, 각 프레임은 352 픽셀, 240라인이고, 한 개의 슬라이스가 16 라인인 15개의 슬라이스로 구성되고, 우측에 도시된 각 슬라이스는 22개의 매크로 블럭(MB1∼MB22)으로 구성된다.

도 9는 MPEG ITU-R BT601 프레임에 따르는 구성 형태를 나타낸 것으로서, 그 프레임은 704픽셀, 480라인이고, 한 개의 슬라이스가 16라인인 30개의 슬라이스로 구성되고, 우측에 도시된 각 슬라이스는 44 개의 매크로 블럭(Macro Block)으로 구성된다. 상기와 같은 도 8 및 9의 프레임 구성 형태는 MPEG 프레임이 갖는 프레임의 구성 형태를 모두 나타내지는 않으나 도 8의 MPEG SIF 프레임 4개를 조작, 처리하여 도 9의 형태로 표현이 가능함을 알 수 있다.

도 10 및 도 11은 MPEG 압축 영상 신호에 따르는 세부 블럭의 구성 형태를 나타낸다. 도 10은 MPEG 슬라이스 계층을 나타낸 구성도로서, SSC(Slice_Start_Code), QS(Quantizer_Scale_Code), EBS(Extra_Bt_Slice), EIS (Extra_Information_Slice), 및 MS 계층으로 구성된다. 도 11은 MPEG 매크로 블럭 계층을 나타낸 구성도로서, MS STUFF, MB ESC(Macroblock Escape), MBAI(Macroblock_address_increment), MBTYPE(Macroblock Type), QS(Quantizer_Scale_Code),MHF(Motion_Horizontal_forward_code),MVF(Motion_Forward_Code),MHB(Motion_Horizontal_Backward_Code),MVB(Motion_Vertical_Backward_Code), CBP, Block 계층으로 구성된다.

도 12는 실제 MPEG 세부 블럭 구조에 따라 도 6에 도시된 화면 조작 및 재배치부(250)에서 4개의 입력 압축 영상을 조작하는 방법을 나타낸 것이다. 화면 조작 및 재배치부는 도 12의 입력 압축 영상 신호 (1)에 해당하는 데이터를 버퍼를 통해 읽고 각 계층의 헤더가 갖는 고유한 값을 인식, 현재 어느 계층의 데이터가 입력 되는지 확인한다. 입력 압축 영상 신호(211)의 첫번째 슬라이스 계층 정보는 조작 없이 그대로 도 6의 출력 버퍼(260)로 보내지고, 그 이후의 입력되는 압축 영상 신호 (212), (213), (214)에 포함된 시퀀스 계층 및 픽쳐 계층의 정보는 단일 MPEG 압축 영상 신호를 구성하기 위해 삭제된다. 도 7에 도시된 프레임 구성과 같이 입력 압축 영상 신호 (212)의 슬라이스 정보를 읽고 이중에서 매크로 블럭 계층의 MBAI 값을 변경하여 동일한 슬라이스에 포함된 매크로 블럭으로 인식되도록 한다. 단, 이때 수정되는 MBAI 값은 가변 길이로 부호화된 코드 값이므로 그 값이 변경됨에 따라 MPEG 압축 영상 신호의 바이트 순서의 정렬이 깨지지 않도록 임의의 스터핑(stuffing) 비트를 추가하여 준다. 도 7에 나타낸 바와 같이, 각각의 입력 압축 영상 신호 (211), (212)가 갖고 있는 최대 15개의 슬라이스 데이터를 모두 처리한 후, 입력 압축 영상 신호(213)을 읽게 된다. 이번에 변경되어야 할 내용은 SSCI 값으로 MPEG ITU-R BT601에 따라 연속된 슬라이스로 변환하기 위함이다. 전술한 방법과 동일하게 입력 압축 영상 신호(213)가 갖는 하나의 슬라이스를 처리 한 후, 입력 압축 영상 신호 4번째를 읽어 처리 하게 된다. 입력 압축 영상 신호(214)의 슬라이스의 경우는 SSCI값 이외에도 MBAI값을 변경하고 필요한 스터핑 비트를 첨가하여 준다. 이와같은 동작을 반복 수행하여 도 6의 출력 버퍼(260)에는 도 7에 나타낸 바와 같은 4개의 입력 압축 영상 신호가 병합되어, 화면 분할 처리된 압축 영상 신호가 순차적으로 쌓이게 된다.

도 13은 MCU 압축 영역에서의 MPEG 동영상 신호를 분할 처리하는 방법을 나타낸 흐름도이다.

처음 시작 조건은, MCU에 다지점 멀티미디어 통신을 개시하는 것으로서, 시작되며, 사용자 단말이 단-대-망 신호 절차에 의해 가상 회선을 요구하거나, 예약 등에 의해 MCU가 개별 단말에 순차적으로 가상 회선을 요구, 접속이 가능하다. 이와같이 MCU와 단말간의 정보를 교환 할 수 있는 회선 접속이 확립 된 후, 단말과 MCU는 단-대-단 신호 절차에 의해, 접속되는 단말의 유형과 능력 그리고 MCU가 지원 가능한 능력을 교섭하는 절차(S1)를 갖는다. 이때 교섭되는 주요 내용 중 화면 분할 처리부(200)에 필요한 정보는 영상 압축 방식의 확인, MPEG 영상의 GOP 구조, MPEG-1 SIF의 경우는 동일 수평축에 하나 이상의 슬라이스가 존재하면 안된다는 상호 약속 등이 포함된다(MPEG-2의 경우는 동일 수평축에 하나 이상의 슬라이스가 걸쳐 있는 경우는 없음). 단-대-단 교섭 절차(S1)를 마친 후, MCU는 상기 교섭 조건에 부합되면(S2), 접속된 단말중 화면 분할 처리되어야 하는 4개의 단말에게 영상 압축 스트림을 보내라는 개시 신호를 보내게 된다. 이에 따라서 해당 단말은 압축 영상 신호를 보내게 되고, 첫번째 처리되어야 할 입력 압축 영상 신호의 슬라이스 정보 중 수직/수평 정보를 352/240 또는 352/288에서 MPEG ITU-R BT601에 해당하는 704/480또는 704/576으로 변경하고, 압축 비트율을 나타내는 정보 필드와 압축 압축 영상 신호를 위한 버퍼의 크기를 나타내는 정보 필드를 병합 된 압축 영상의 정보량에 따라 변경하여(S3) MPEG-2 복호기가 복호가 가능하도록 한다. 두번째 입력 압축 영상 신호의 처음 슬라이스에 포함된 시퀀스 계층과 픽쳐 계층의 정보를 삭제한다. 그리고 MBAI값을 현재의 값에서 '22'를 더한 값으로 수정하고(S4), 가변 부호인 MBAI 값을 변경함에 따라 필요한 스터핑 비트를 삽입하여 부호의 바이트 단위를 맞추어 준다(S5). 그후, 도 12에 도시된 처음 압축 영상 신호(211)와 두번째 압축 영상 신호(212)의 처리가 종료될 때까지 상기 스텝 4과 5(S4, S5)를 반복 수행한다. 압축 영상 신호의 처리가 완료된 후, 세번째 압축 영상 신호(213)의 처음 슬라이스를 읽어 불필요한 시퀀스 계층과 픽쳐 계층의 정보를 삭제하고, 현재 SSCI값에 '15'를 더한 SSCI값으로 변경한다(S7). 이후, 4번째 압축 영상 신호(214)의 슬라이스를 읽고, 역시 전과 동일하게 시퀀스 계층과 픽쳐 계층의 정보를 삭제하고, SSCI값과 MBAI값을 수정한다(S8)(즉, SSCI=SSCI+15; MBAI=MBAI+22). 이 수정 후, 바이트 정렬을 맞춰 주기 위해 가변부호인 MBAI값을 변경함에 따라 필요한 스터핑 비트를 삽입하여 부호의 바이트 단위를 맞추어 준다(S9). 그리고나서, 압축 영상 신호(213, 214)의 처리가 완료된 것을 확인하여(S10) 처리가 종료되지 않았다면, 상기 스텝 7 내지 스텝 9(S7∼S9)을 반복 수행하여 압축 영상 신호(213,214)의 처리를 완료한다. 이와같은 절차에 따라 동영상 압축 프레임 중 하나의 프레임의 처리가 종료되고, 동일한 동작을 반복 수행하여 완전한 동영상 화면 분할 처리가 이루어진다. 압축 코드 영역에서 연속된 동영상 화면 분할 처리가 진행되는 도중 단-대-단 신호 절차를 통해 화면 분할 처리의 종결을 요구하거나 스트림을 해석하여 동영상 스트림의 마지막임을 알면 화면 분할 처리를 종결하고 동작을 마친다(S11). 이후에는, 단-대-단 신호 절차와 단-대-망 신호 절차를 거쳐 가상 회선을 절체하고 다지점 멀티미디어 통신 단말과 종결, 서비스를 종료한다.

이상과 같은 본 발명은 MPEG근간의 압축 동영상 신호를 다지점 영상 회의와 같은 통신 서비스를 위해 멀티미디어 통신 단말이 사용할 때, MCU내에서 효율적인 화면 분할 처리 방법으로 사용될 수 있다.

이상과 같은 본 발명은 다음과 같은 효과들을 갖는다.

첫째, ISO/IEC에서 표준을 완료한 동영상 압축 부호 방식인 MPEG은 현재의 검색, 분배 및 교신형 서비스에서 향후 대화형 영상회의와 같은 실시간 멀티미디어 통신의 응용 서비스로 활용될 수 있다.

둘째, ATM 방식을 사용한 광대역 ISDN이 기존의 망에 비해 기술적으로 진일보한 네트워크로 대역 폭의 융통성 및 서비스 유형에 따르는 장점을 갖음에 따라 광대역 ISDN 환경하에서도 MCU가 멀티미디어 통신 단말의 다지점 접속, 제어 환경을 제공할 수가 있다.

세째, 본 발명은 대화형 멀티미디어 통신 단말이 동영상 압축 방식으로 MPEG을 사용하고, 다지점 멀티미디어 통신 서비스를 제공 받기 위해 MCU에 접속 될 때, MCU에 직접 적용이 가능하다.

네째, 대화형 멀티미디어 통신 서비스의 실시간 특성을 보장하며, 기존의 방법에 비해 보다 우수한 구성상의 단순성을 갖고 있다.

다섯째, 완전 압축 영역에서의 화면 분할 방법이므로 화면 분할에 따르는 화질의 열화를 전혀 수반하지 않는다. 특히 논-트랜스코딩방식이 갖는 처리 지연을 최소화시켜 멀티미디어 통신 서비스가 실시간으로 이루어질 수가 있는 것이다.

여섯째, 본 발명에 따르는 방식은 단순하고 효율적인 특성을 가져, 실제 MCU에서 MPEG 압축 영상을 대상으로 한 화면 분할 기능을 타 방식에 비해 훨씬 저가로 용이하게 구성할 수 있다.

Claims

광대역 ISDN 환경하에 있는 다지점 제어장치(MCU)내에서 다수의 멀티미디어 통신 단말에서 화면이 분할되도록 하는 장치에 있어서,

상기 광대역 ISDN을 통해 입력된 다수의 멀티미디어 신호들을 ATM 망의 신호로 정합시키기 위한 제1 네트워크 정합부와;

상기 정합부를 거친 다수의 멀티미디어 신호들을 오디오, 비디오 및 데이터의 개별 미디어 신호로 분리하여 주는 전처리부와;

상기 분리된 미디어 신호중 MPEG 압축 동영상 신호를 완전 압축 영역에서 논-트랜스코딩 방식에 의해 조작 및 재배치하여 화면 분할 처리하는 화면 분할 처리부와;

상기 화면 분할 처리부에서 처리된 압축 동영상 신호를 상기 MCU의 오디오 및 비디오 신호와 함께 다중화하여 그 다중화된 신호를 접속된 멀티미디어 통신 단말 수에 상응되게 생성하는 후처리부와; 및

상기 생성된 멀티미디어 신호를 ATM망 접속부를 통해 광대역 ISDN으로 보내어 그 접속된 해당 멀티미디어 통신 단말에게 출력시켜 주는 제2 네트워크 정합부로 구성된 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 장치.
제 1 항에 있어서,

상기 화면 분할 처리부는,

상기 전처리부에서 분리된 신호 수에 상응하게 출력된 MPEG 동영상 신호가 일시 저장되는 입력버퍼와;

해당 입력버퍼에 입력된 각 입력 압축 영상 신호를 연속적으로 읽어와서 프레임 배치 순서에 따라 순차적으로 출력하는 화면 조작 및 재배치부와; 및

상기 화면 조작 및 재배치부가 차례로 읽어온 입력 압축 영상 신호가 병합되어 쌓이는 출력버퍼로 구성된 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 장치.
광대역 ISDN 환경하에서 입력되는 다수의 멀티미디어 신호를 ATM망의 신호로 정합시키고, 그 멀티미디어 신호를 개별 미디어 신호로 분리하고, 그 분리된 신호중 동영상 압축신호를 입력버퍼에 순차적으로 저장한후 화면 조작 및 재배치부가 그 신호를 읽어와서 출력버퍼를 통해 출력하여 화면 분할 처리하고, 그 처리된 화면 분할 신호를 오디오 및 데이터와 함께 그 ISDN에 접속된 다수의 멀티미디어 통신 단말에게 전송하는 다지점 제어장치(MCU)내 화면 분할 장치를 이용한 화면 분할 방법에 있어서,

상기 단말과 다지점 제어장치가 단-대-단 신호 절차에 의해 접속되는 단말의 유형 및 능력과 상기 다지점 제어장치가 지원 가능한 능력을 교섭하는 제1 과정과;

상기 교섭을 마친 후, 상기 접속된 단말중 화면 분할 처리가 되어야 하는 해당 단말로 부터 각각 입력된 입력 압축 영상 신호(MPEG SIF) 프레임을 순서적으로 받아 상기 다지점 제어장치내 압축 영역에서 하나의 병합된 동영상 신호(MPEG ITU-R BT601) 프레임으로 처리하는 제2 과정으로 이루어져, 논-트랜스코딩 방식에 의해 다수의 입력 동영상이 하나의 화면에 보여질 수 있도록 화면 분할 처리를 하는 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 처리 방법.
제 3 항에 있어서,

상기 제 2 과정은

상기 해당 단말로 부터 수신한 첫번째와 두번째 입력 압축 영상 신호를 처리하는 제 1 단계와;

이어서 수신되는 세번째 및 네번째 입력 압축 영상신호를 처리하는 제 2 단계로 이루어져, 동영상 압축 프레임중 하나의 프레임을 처리하되, 해당 단말 수에 상응하게 처리하는 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 처리 방법.
제 4 항에 있어서,

상기 제 1 단계는

상기 해당 단말로부터 수신한 첫번째 입력 압축 영상 신호의 슬라이스 정보를 변경하는 제1 부단계와;

상기 첫번째 입력 압축 영상 신호를 출력하고, 두번째 입력 압축 영상 신호의 처음 슬라이스 계층에 포함된 시퀀스 계층과 픽쳐 계층의 정보를 삭제한 후 매크로 블럭 계층의 가변 부호(MBA) 값을 변경하는 제2 부단계와; 및

상기 가변 부호값 변경에 따른 입력 압축 영상신호의 바이트 순서를 정렬해주기 위해 스터핑 비트를 삽입하는 제3 부단계와;

상기 첫번째 및 두번째 입력 압축 영상 신호가 모두 처리될 때까지 상기 제2, 제3 부단계를 반복적으로 수행하는 제4 부단계로 이루어진 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 처리 방법.
제 4 항에 있어서,

상기 제 2 단계는

세번째 입력 압축 영상 신호의 처음 슬라이스 계층에 포함된 불필요한 시퀀스 계층과 픽처 계층의 정보를 삭제한 후 MPEG ITU-R BT601에 따라 연속된 슬라이스로 변환하기 위해 현재 슬라이스 시작 코드(SSC)값을 변경하는 제1 부단계와;

네번째 입력 압축 영상신호의 처음 슬라이스 계층에 포함된 불필요한 시퀀스 계층과 픽처 계층의 정보를 삭제한 후 현재 슬라이스 시작 코드(SSC)값과 매크로 블럭 계층의 가변부호(MBA) 값을 변경하는 제2 부단계와;

상기 가변부호값 변경에 따른 입력 압축 영상신호의 바이트 순서를 정렬해주기 위해 스터핑 비트를 삽입하는 제3 부단계와; 및

상기 세번째 및 네번째 입력 압축 영상 신호가 모두 처리될 때까지 제1, 2, 3 단계를 반복 수행하는 제4 부단계로 이루어진 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 처리 방법.
제 6 항에 있어서,

상기 슬라이스 시작 코드값(SSC)과 매크로 블럭 계층의 가변부호값(MBA)은 동일한 값으로 증가시키는 것을 특징으로 하는 압축 영역에서의 MPEG 부호 영상의 화면 분할 처리 방법.