KR100226450B1 - 광대역 종합정보통신망 다지점 제어장치 내 압축코드 영역에서의화면분할 장치 - Google Patents

Abstract

본 발명은 다지점 제어장치를 사용하여 광대역 종합정보통신망(ISDN)에 다지점 멀티미디어 통신을 위해 다지점 제어장치의 영상신호 처리 장치 중 화면 분할 처리에 대한 장치로서, 종래의 화면 분할은 압축된 영상을 복원하고 원래의 디지털 영상에서 처리하여 다수의 복호기와 최소한의 한 개의 부호기가 필요하고, 다량의 디지털 영상을 처리 및 재배치하기 위해 많은 양의 메모리 및 영상 동기 발생 신호기와 같은 복잡한 회로를 필요로 하고, 현재의 순수 압축 코드 영역에서의 화면 분할은 분할 처리되는 대상이 4로 제한되어 있음에 따라 다수의 참석자가 멀티미디어 회의를 진행할 때 회의의 진행에 부합되는 특정 참석자를 선택하여 화면을 분할하여 주는 기술이 필요하므로 본 발명에서는 특정 화자를 인지하고, 선택하는 방법과 회의 진행자의 제어에 따라 화면 분할을 동적으로 제어하고, 부가적인 복호기 및 부호기를 추가하여 최대 16명까지의 화면을 분할 처리할 수 있는 방법과 장치를 제안하였다.

Description

광대역 종합정보통신망(ISDN) 다지점 제어장치 내 압축코드 영역에서의 화면분할 장치

본 발명은 멀티미디어 통신기술 분야에 관한 것으로서, 구체적으로 국제전기통신연합 전기통신 표준화부문(ITU-T) 표준 기구에서 각각 권고하고 있는 다지점 제어장치(ITU-T H.321 H.243 권고안)를 통한 표준 멀티미디어 통신 단말(ITU-T H.321 권고안)의 다지점 접속기술에 해당한다.

상기 다지점 접속장치(Multipoint Control Unit, MCU)를 통해 다수의 멀티미디어 통신 단말을 통한 원할한 서비스 제공을 위해서는 다지점에 위치한 전체 참석자 혹은 일부 참석자의 동영상을 개별 통신 단말에서 표현하게 하는 기술은 매우 중요한 기술이라 할 수 있다.

종래 상기와 같은 기술은 다지점 제어장치 내의 동영상 처리기능 중 다수 참석자의 영상을 공간적으로 분할 재배치하여, 개별 참석자에게 송신하여 주는 기술을 화면 분할 기술이라 하며, 상기와 같은 기능을 담당하는 장치를 화면분할 장치라 한다.

종래 기술은 단순한 동영상 스위칭에 의한 방법과, 화면 분할에 의한 방법이 있고 다시 상기 기술된 방법은 다음 몇가지 세부 기능으로 나누어 진다. 먼저 화면 스위칭에 의한 방법으로는 단순 비디오 선택 및 브로드캐스팅(Broadcasting)방법과, 개인 선택에 의한 화면 스위칭이 있다.

상기 단순 비디오 선택 및 브로드캐스팅 방법은 단일 동영상 신호를 선택하고 브로드캐스팅하여 주는 기능으로 동영상의 선택은 오디오 처리부의 주화자 인식 결과에 따르는 자동선택 방법과 회의 진행자의 제어에 따르는 방법이 가능하다.

상기 전자의 경우는 현재 다지점 통신에 참석한 사람 중 가장 발언 빈도수가 높은 참석자와 그 다음 참석자를 현재 발언자와 이전 발언자로 정해, 현재 발언자를 제외한 전체 다른 참석자는 현재 발언자의 화면을 보내주고 이전 발언자의 화면을 현재 발언자에게 보내주는 방식을 따른다.

이를 위해 다지점 접속장치(MCU)는 전체 참석자의 음성 신호를 연속적으로 탐색하고, 화자를 인식하는 기술을 사용한다.

상기와 같은 방법은 현재 ITU-T에서 다지점 접속장치의 기본 동작 모드로 권고하고 있다.

상기 화자인식 방법외에 회의 진행자에 의한 방법이 있으며, 이는 다지점 통신의 절차를 관리하는 회의 진행자가 필요한 참석자의 화면을 선택하는 방법이다.

상기 개인선택에 의한 화면 스위칭의 다른 방법은 회의에 참석한 사용자가 선택하고 싶은 화면을 스위칭하여 주는 방식이다.

상기 방식은 개인선택 또는 영상 착신처 선택(Destination Select) 방법에 해당되며 실제 다지점 회의를 진행할 때 참석자는 회의의 주 발표자 외에 다른 참석자의 상황을 파악할 필요가 있고, 이럴 경우 보다 원활히 회의가 진행될 수 있다는 점을 고려한 방식이다.

영상회의가 아닌 실제 다수의 사람이 한자리에 모여 회의를 진행할 때에도 참석자는 개인적인 이유 또는 기타 이유 등으로 주로 말하는 사람 외의 특정인을 주시하는 경우가 많다는 점을 감안하면 상당히 유용한 방법이라 할 수 있다.

다음 상기 화면 분할에 의한 방법으로는 비압축 디지털 영상 영역에서의 화면 분할 방법과 압축코드 영역에서의 화면 분할방법이 있다.

상기 압축되지 않은 디지털 영상에서의 화면 분할 방법은 다지점 접속장치(MCU)로 입력되는 압축된 코드를 Y, Cb, Cr 영역의 디지털 픽셀 신호로 디코딩한 후 복호화된 영상 신호를 적절히 분할하고 재배치하여 다시 압축과, 부호화하는 방식이다.

상기 방식은 이미 압축된 신호를 복원하고 다시 압축함에 따라 영상 품질의 열화를 가져올 수 있으며, 참석자 수 만큼의 영상 복호기와 최소한 한 개의 부호기 그리고 화면 분할에 따르는 프레임과, 필드 메모리 및 동기신호 발생기와 같은 부수의 처리장치를 필요로 한다.

다음 압축코드 영역에서의 화면분할은 개별 영상을 원래의 디지털 신호로 변환하는 기능이 필요 없다는 점에서 하드웨어적인 효용성과 처리지연 최소화의 장점을 갖는다.

주로 사용되는 기술은 압축코드의 일부를 변환하는 방법으로 이산 코사인 변환(Discrete Cosine Transform, DCT) 영역에서 화면 분할을 하는 방법과 압축코드를 전혀 변환하지 않고 코드의 픽쳐 계층(Picture Layer)이나 화면의 그룹 계층(Group Layer)에서 다수의 압축 화면을 공간적으로 재배치하는 방법이 있다.

상기 전자의 경우는 최소한 가변길이 부호기(Variable Length Coder, VLC)를 사용하여 복호화와, 부호화하는 기능이 필요하다.

한편 후자는 순수한 압축 영역에서의 처리라는 장점을 갖는 반면, 분할 처리할 수 있는 화면이 4개가 최대라는 단점이 있다.

상기 다지점 접속장치(MCU)에 연결된 다수의 참석자의 화면을 4명의 한도내에 회의의 진행에 부합되도록 화면을 선정하여 가변적으로 분할 처리하는 방법과, 상기 장치에 일부 기능을 추가하여 최대 16명까지의 참석자 화면을 분할 처리할 수 있는 즉, 상기 다지점 접속장치에 다수의 참석자가 참여하였을 때, 분할 처리하는 것이다.

제1도는 본 발명이 적용되는 광대역 ISDN에서의 다지점 제어 장치를 통한 멀티미디어 통신예의 구성도,

제2도는 본 발명의 광대역 ISDN에서의 다지점 제어 장치 구성도,

제3도는 본 발명의 멀티미디어 통신 단말의 다지점 제어 장치와의 접속구성도,

제4도는 본 발명에 따른 화자 선별에 의한 압축코드 영역에서의 화면 분할 장치의 구성도,

제5도는 본 발명에 따른 압축코드 영역에서의 화면 분할을 위한 H.261 코드 배치도.

제6도는 본 발명에 따른 화면분할을 위한 화자 선별부 구성도,

제7도는 본 발명에 따른 4지점 이상을 지원하기 위한 화면 분할 장치 구성도,

제8a,8b,8c,8d도는 본 발명의 4지점 이상의 화면 분할에 따른 화면배치의 예시도.

도면의 주요부분에 대한 부호의 설명

10 : 제어정보 처리장치 20 : 데이터 처리장치(MLP)

30 : 시스템 관리장치 40 : 오디오 신호 처리장치

50 : 영상신호 처리장치

60 : 화자선별 및 회의 진행자 제어에 의한 압축코드 선택부

70 : H.261 압축코드 신호 선택부 80 : BCH(511,493) 복호기

90 : 버퍼 100 : 압축코드 다중화기

110 : BCH(511,493)부호기 120 : 선별부

130 : H.261 디코더 140 : H.261 인코더

본 발명은 광대역 종합정보통신망(ISDN)에 다지점 멀티미디어 통신에 관한 것으로서, 특히 다지점 제어장치의 영상신호 처리장치 중 화면 분할처리에 관한 것이다.

이하 첨부된 도면을 참조하여 본 발명을 상세히 설명하면 다음과 같다.

도 1 은 본 발명이 적용되는 광대역 종합정보통신망(ISDN)에서의 다지점 제어 장치를 통한 멀티미디어 통신예의 구성도이다.

상기 구성을 보면 상기 ISDN에서 다지점 접속장치(MCU)를 통해 멀티미디어 통신 단말이 다지점에 접속되었을 때, 개별 화면에 표시되는 분할된 영상를 나타내고 있다.

다음 도 2 는 본 발명의 광대역 종합정통신망(ISDN)에서의 다지점 제어 장치 구성도이다.

상기 구성은 다지점 접속장치(MCU)에 접속되는 표준 멀티미디어 통신 단말의 내부 구성도로서, 단-대-단 호 처리 신호(la)의 다지점 접속장치와 접속을 위한 단-대-망 호 처리를 거치고, 단-대-단 신호 처리(H.242) 명령 및 응답 신호(1b)의 기능인 H.242 절차에 따라 상기 다지점 접속장치와 단-대-단 제어 정보를 교환하여 단말간의 능력을 교섭한 후, 다수의 멀티미디어 신호 (1b)와, (1c)와, (1d)와, (1e)는 상기 H.242 프레임에 맞춰 다중화 된다. 상기 다중화된 신호 (1f)는 비동기 전속모드(ATM)계층과, ATM 적응계층(ATM Adaptation Layer, AAL) 형식 1과 ATM과, 물리계층을 거쳐 다음 도 3의 다지점 접속장치(MCU)에 입력된다.

도 3은 본 발명의 멀티미디어 통신 단말의 다지점 제어 장치와의 접속구성도이다.

상기 도 3의 접속점 (2a)에 해당하는 신호는 물리 계층과, ATM 계층과, ATM 적응층(AAL) 형식 1을 거친 다수의 가상 채널을 통한 (2b)의 신호는 연결 지점에 따라서 개별 H.221 역다중화기로 입력된다.

상기 역다중화기에서 오디오와, 비디오와, 데이터 및 제어 신호로 역다중화된 신호는 (2c)와, (2d), (2e) 그리고 (2f)의 버스를 통해 해당 장치로 입력되어 처리되고, 다시 상기 기술된 역순으로 개별 미디어 신호가 다중화되어서 다지점 접속장치(MCU)에 접속된 단말들에게 송신된다.

여기서 제어정보 처리장치(10)는 H.242의 신호를 해석하는 부분으로 단-대-단 능력 교섭 및 명령과, 응답 등을 해석하는 기능을 한다.

또한 데이터 처리장치(MLP)(20)는 특정 데이터를 전체 참석자에게 브로드캐스팅 하거나, 다중층 프로토콜(Multi-Layer Protocol, MLP)와 같은 다지점 회의 지원 프로토콜을 처리한다.

여기서 회의 진행자로 선정된 단말 상기 제어정보 처리장치(10)와 버스(2g)의 다중층 접속장치 그리고 시스템 관리장치(30)를 통해 오디오와, 영상과, 데이터 장치를 제어할 수 있다.

한편 오디오 신호 처리장치(40)는 화자 인식 및 오디오 믹싱과, 스위칭과 같은 기능을 담당한다.

종래 방법에서는 상기 오디오 신호 처리장치의 화자 인식 결과에 따라 영상 신호 처리장치(50)가 해당 화면을 스위칭 하는 방식을 취하였다.

그러나 본 발명은 상기 도 3의 영상신호 처리장치(50)에서 시스템 관리장치(30)까지의 일부 기능을 변경하고, 제어정보 등을 사용하고, 다수의 참석자 중 4 화자만을 다지점 회의 상황에 부합되게 동적으로 선택하여 화면 분할하는 방법에 따른다.

도 4 는 본 발명에 따른 화자 선별에 의한 압축코드 영역에서의 화면 분할 장치의 구성도이다.

상기 구성의 동작은 우선 (3a)와 같이 역다중화기를 거친 다수의 영상 신호가 상기 도 3의 영상 신호 처리 장치에 입력되고, 이들 다수의 신호는 선별부(120)의 제어에 따라 가장 합당한 4 참석자 만이 선택된다.

상기 4 참석자의 선택은 도 6의 오디오 신호 처리 장치의 화자 인식부의 결과에 따르며, 이는 다수의 참석자 중 음성의 빈도수가 가장 높은 4명을 탐지하는 방법을 사용한다.

즉 H.242 단-대-단 제어정보에 따른 능력 교환에 따라 오디오 신호 처리장치(40)는 각 참석자의 오디오 코딩 방식을 알 수 있으며, 이에 따라 압축 오디오 신호 영역에서, (4a)에 해당하는 오디오 채널이 일정시간 연속적인 묶음 구간인가 혹은 특정 신호가 주기적으로 발생하는가를 탐지하여 화자를 인식할 수 있다.

이때 인식된 다수의 화자 중 4 화자만을 선별하고 이 선별 정보는 (4b)의 제어정보 버스를 통해 시스템 관리장치로 보내진다.

상기 도 3의 시스템 관리장치(30)는 영상신호 처리장치를 제어하여 4명의 화면을 선택하게 된다.

상기 화자 선택에 의한 기능은 자동적으로 된다는 장점은 있으나, 화자인식부에서 인식된 화자가 3명 이하이거나, 너무 급격한 화자변화에 민감한 반응을 일으키는 문제가 있다.

따라서 화자 인식에 의한 방법외에 일정 일정 단말이 회의 진행자가 되는 경우를 고려하였다.

이때 상기 회의 진행자는 참석자의 요청 또는 진행자 임의로 4 화면을 선택할 수 있다.

상기 회의 진행자가 화면을 선택하는 방법은 도 6의 제어정보 처리장치를 통한 H.242 신호 절차에 의한 방법과 데이터 처리장치(20)의 다중층 프로토콜(MLP) 경로에 의한 다자점 회의 프로토콜을 통해 가능하며, 상기 두 경우 모두 시스템 관리장치(30)를 통해 특정 화면을 선택하게 된다.

상기와 같이 선택된 영상 신호는 도 4의 BCH(511, 493) 복호기(80)를 거치고 버퍼(90)를 통해 압축 코드의 동기를 맞춘 후 압축코드 다중화기(100)를 통해, 도 5와 같이 재배치된다.

그러나 상기와 같은 방법은 상기 압축코드 다중화기(100)의 결과로 입력 신호의 4배 크기의 대역 폭을 필요로 하는 CIF에 따르는 압축 코드를 발생하게 된다.

따라서 상기 도 4에 있는 선별기(120) 및 (3b)의 신호는 단말의 입장에서 보면 자신이 보낸 영상의 4배 데이터 분량에 해당하는 영상 신호를 수신받아야 한다는 단점이 있다.

이를 해결하기 위한 방안이 도 7의 H.261 디코더(130)에서 H.261 인코더(140) 방법으로 상기 H.261 디코더(130) 방법은 재배치된 CIF 영상을 보호화 해 원래의 디지털 영상으로 복원하고 재배치한 후 이를 다시 부호화해서 QCIF 압축 코드를 만드는 방법을 취하고 있다.

그러나 상기 방법 역시 최대 처리할 수 있는 영상은 4명으로 제한한다.

따라서 본 발명은 상기 도 4의 화자선별 및 회의 진행자 제어에 의한 압축 코드 선택부(60)에 해당하는 4화면 선택부 장치를 제안한 것 이외에 도 7과 같이 최대 16명의 화면을 분할 처리할 수 있는 구성을 제안한다.

상기 도 7의 (5a)에서 H.261 인코더(140)까지는 전자에 서술한 바와 동일하며, 이때 상기 H.261 인코더(140)의 출력 영상은 QCIF에 따르는 것이다. 이에 따라 (5b)와, (5c),(5d)는 (5a)과 동일한 과정을 거치고 입축코드 다중화기(100)는 QCIF 형태에 따르는 압축코드 4개가 입력된다.

상기 각 QCIF 압축코드는 4명의 화면을 포함하고 있으므로 이를 상기 도 5와 같이 배치하고, H.261 디코더(130)에서 H.261 인코더(140)까지의 동작을 수행하면, 도 8(b)와 같은 분할 화면을 결과를 얻을 수 있다.

상기 도 8(b)의 숫자는 전체 분할 처리된 화면의 갯수에 해당하며, 실제로는 다지점 회의 참석자의 영상이 포함된다.

도 8(a)는 단지 4명의 화면을 분할 처리하고 예로, 상기 도 7의 (5a)의 4명만이 회의에 참석하였을 때, 압축코드 다중화기(100)에서는 CIF로 재배치하고, 압축코드 다중화기(100)에서는 화자선별 및 회의 진행자 제어에 의한 압축코드 선택부(60)의 선택에 의해 H.261 디코더(130)에서 H.261 인코더(140)를 거치지 않은 (5e)신호를 입력 다른 신호와 다중화 하지 않음으로서 가능하다.

도 8(d)는 10명의 화면을 분할한 예로, 상기 도 7의 (5a)와, (5b)는 압축코드 다중화기(100)까지의 H.261 디코딩과, 인코딩을 모두 포함하는 동작을 수행하여 8명의 화면을 분할하고(5d)는 화면 선택부의 제어에 의해 신호가 절체되며 (5c)의 처음 두 참석자를 (5g) 경로를 통해 압축코드 다중화기(100)로 주입하여 주면 된다.

이때 상기 압축코드 다중화기(100)에 입력되는 QCIF 형태의 신호는 (5a)(5b) 그리고 (5c)의 두 화면을 포함하여 전체 4가 되며, 상기 압축코드 다중화기(100)의 입장에서 (5d)의 입력이 없음은 시스템 제어 관리부의 통제하에 있는 화자 선별 및 회의 진행자 제어에 의한 압축 코드 선택부(60)에서 소프트웨어적으로 제어될 수 있다.

그 외 영상 처리부의 초기 모드 및 참석자가 4명 이하 일 때의 동작은 다음과 같다.

상기 초기 모드는 화자 인식 및 선별부에 따르지 않고, 다지점 접속장치(MCU)의 기본 동작 모드에 따라 운용된다.

이는 회의가 처음 시작하였을 때 일정시간 동안 발언자가 없을 것이므로, 회의 예악자의 선정에 따르거나 이와 유사한 절차에 의해 임의의 화자가 지정될 수 있다.

정상회의 도중에 화자인식부에서 인지된 화자가 3명 이하일 때에는 현재 선택된 4명과 인지된 지점을 비교하여 동일한 화자는 유지되고 나머지 선택지점을 첨가하는 형태를 따른다.

본 발명에 따른 장치는 기존의 화면 분할 장치보다 구성이 단순한 하드웨어적 구조하에서 4명의 화자만을 동적으로 선택하여 화면 분할의 경우 구성장치와 4화자 이상의 화면 분할을 위해 몇 개의 복호기와, 부호기를 포함하는 하드웨어의 일부 기능을 추가하여, 최대 16화면 까지의 회의 참석자 화면을 동적으로 분할 처리하는 장치의 구성을 제안하여, 다지점 접속장치(MCU)의 영상 처리부를 구성하는데 실제 설계 자료로 유용하게 사용된다.

본 발명은 광대역 종합정보통신망(ISDN)상에 분산되어 있는 멀티미디어 통신 단말을 제안된 다지점 제어 장치를 통해 원활히 다지점 멀티미디어 통신 서비스를 제공함을 목적으로 한다.

Claims (3)

1. 다지점 제어장치를 사용하여 광대역 종합정보통신망(ISDN) 통신을 위해 다지점 제어장치의 영상신호 처리장치중 화면분할 처리에 있어서, 각각의 영상 신호를 입력받아 각각 복호화하는 복호수단과, 상기 다수 복호수단의 신호를 각각의 버퍼를 통해 입력받아 화자별 영상신호를 선택하는 제 1 압축코드 다중화수단과, 화자선별 및 회의 진행자 제어에 의한 상기 제 1 압축코드 다중화기의 화자별 영상신호 선택제어를 하는 압축코드 선택수단과, 상기 제 1 압축코드 다중화기의 축력을 디코딩하고 다시 원영상 버퍼를 통한 후 인코딩하는 압축처리수단과, 상기 다수의 압축처리수단의 출력신호를 상기 압축코드 선택수단의 화자선별 및 회의 진행자 제어에 의해 화자별 영상신호를 선택하는 제 2 압축코드 다중화기와, 상기 제 2 압축코드 다중화기의 축력을 디코딩하고 다시 원영상 버퍼를 통한 후 인코딩하는 제 2 압축처리수단과, 상기 제 2 압축처리수단의 축력신호를 부호화하여 출력하는 부호화수단으로 구성된 것을 특징으로 하는 광대역 종합정보통신망(ISDN) 다지점 제어장치 내 압축코드 영역에서의 화면분할 장치
2. 제1항에 있어서, 상기 제 2 압축코드 다중화기는 상기 화자 선별 및 회의 진행자 제어에 의한 압축코드 선택부에 의해 상기 제 1 압축코드 다중화기의 출력을 디코딩과 인코딩을 거치지 않고 입력 다중화하지 않는 것을 특징으로 하는 광대역 종합정보통신망(ISDN) 다지점 제어장치 내 압축코드 영역에서의 화면분할 장치.
3. 제1항에 있어서, 다지점 접속장치(MCU)에 다수의 참석자가 참석하였을 때, 화자 인식부 및 화자 선별부의 결과에 따라 화면을 선택하는 것을 특징으로 하는 광대역 종합정보통신(ISDN) 다지점 제어장치 내 압축코드 영역에서의 화면분할 장치.