KR19990085858A

KR19990085858A - 다지점 영상회의 시스템 및 그에 따른 구현방법

Info

Publication number: KR19990085858A
Application number: KR1019980018536A
Authority: KR
Inventors: 이희정
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1998-05-22
Filing date: 1998-05-22
Publication date: 1999-12-15
Also published as: JP2000013769A; KR100316639B1; GB2337654B; GB2337654A; US6195116B1; GB9823595D0

Abstract

본 발명은 복수 단말기의 객체영상을 분리하여 한 배경영상 위에 중첩되도록 합성시킨 후, 이를 복원하여 모든 단말기에 동시에 전송하는 영상회의 시스템 및 그에 따른 영상회의 구현방법에 관한 것으로서, 촬영된 영상신호에서 배경영상을 제거하여 객체영상만을 부호화하여 출력하고, 수신된 한 배경화면 위에 복수의 객체영상이 중첩된 영상신호를 복호화하여 디스플레이시키는 복수의 단말기와, 통신망의 일부로서 또는 별도의 수단으로 구성되며, 상기 복수의 단말기로부터 출력된 객체영상만을 복호화하여, 그 크기를 조절하고, 크기가 조절된 객체영상과 별도로 생성된 배경영상을 합성한 후 압축 부호화하여 각 단말기에 출력시키는 다지점 제어부를 포함하여, 영상회의에 참가하는 단말기의 수가 증가하더라도 각 단말기의 복호화기가 복원해야하는 영상정보에는 크게 변함이 없기 때문에 계산능력이 향상된 복호기를 채용하지 않아도 되어 각 단말기의 가격을 보다 싼 가격에 제공할 수 있다.

Description

다지점 영상회의 시스템 및 그에 따른 구현방법

본 발명은 영상회의 시스템에 관한 것으로서, 더욱 상세하게는 각 단말기에서 영상복원절차를 단순화시킨 다지점 영상회의 시스템(multi-point video conference system)에 관한 것이다.

도 1은 종래의 다지점 영상회의 시스템의 구성도로서, US 특허 5,446,491에 기재된 발명이다.

도 1에 도시된 영상회의 시스템은 복수개의 동영상 회의용 단말기들(10a 내지 10d)과, 각 단말기들(10a 내지 10d)로부터 전송된 부호화된 동영상 데이터를 스위칭하는 통신망(12)으로 이루어진다. 여기서, 각 단말기들(10a 내지 10d)은 동일한 구성을 갖는다.

도 2는 도 1에 도시된 단말기들의 상세 구성도로서, 각 단말기들은 비디오카메라(102), 부호화기(104), 다지점 복호화기(106), 및 디스플레이부(108)를 포함한다.

부호화기(104)는 비디오카메라로부터 출력된 동영상을 블록단위로 부호화하여 패킷화한다.

다지점 복호화기(106)는 통신망(12)을 통해 다른 단말기들에서 수신된 패킷을 원래의 동영상으로 복원시킨다.

디스플레이부(108)는 다지점 복호화기(106)로부터 전송된 데이터를 표시한다.

다지점 복호화기(106)는 영상처리기와, 채널선택제어기와, 공유 프레임메모리와, 디스플레이 메모리를 포함하는데, 영상처리기에서는 입력된 영상을 시분할방식으로 처리하고, 채널선택제어기에서는 수신된 패킷의 정보에 따라 수신패킷의 전송지점을 결정하여 영상처리기에 영상의 전송지점을 알리며, 공유 프레임메모리에서는 복수 단말기들에서 전송된 복수의 영상정보들을 저장하고, 디스플레이 메모리에서는 상기 공유 프레임메모리에 저장된 영상정보를 동기방식에 따라 출력한다.

이와 같이 구성된 종래의 다지점 영상회의 시스템은 각 단말기가 다른 단말기로부터 수신된 복수의 압축영상정보들을 디스플레이장치에 표시하기 위해, 다지점 영상복호기를 시분할방식으로 동작시키도록 되어 있다. 이러한 구조에서는 영상회의에 연결되는 단말기의 수가 증가함에 따라, 다지점 영상복호기 내의 프로세서에서 계산할 데이터량이 증가되기 때문에, 제한된 시간 내에 복호화를 마치기 위해서는 프로세서의 계산능력을 더욱 높여야 하므로, 그에 따른 비용이 증가한다는 단점을 가지고 있다.

본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 복수 단말기들로 분리된 객체영상들을 하나의 배경영상 위에 합성시킨 후, 이를 복원하여 모든 단말기들에 동시에 전송하는 영상회의 시스템을 제공하는 것을 그 목적으로 하고, 그에 따른 영상회의 구현 방법을 제공하는 것을 다른 목적으로 한다.

도 1은 종래의 다지점 영상회의 시스템의 구성도이다.

도 2는 도 1에 도시된 단말기의 상세도이다.

도 3은 본 발명에 의한 다지점 영상회의 시스템의 구성도이다.

도 4는 도 3에 도시된 단말기의 상세도이다.

도 5는 도 3에 도시된 다지점 제어부의 상세도이다.

도 6은 본 발명에 따른 다지점 영상회의 구현방법을 설명하기 위한 흐름도이다.

상기의 목적을 달성하기 위한 본 발명에 따른, 다지점 영상회의 시스템은

촬영된 영상신호에서 회의 참가자의 객체영상만을 부호화하여 출력하고, 하나의 배경화면 위에 복수의 객체영상이 중첩되어 수신된 영상신호를 복호화하여 디스플레이시키는 복수의 단말기들; 통신망의 일부, 또는 별도의 수단으로 구성되며, 상기 복수의 단말기들로부터 출력된 객체영상을 복호화하여, 상기 객체영상의 크기를 조절하고, 크기가 조절된 객체영상과 별도로 생성된 배경영상을 합성한 후, 합성된 영상을 압축 부호화하여, 각 단말기에 출력시키는 다지점 제어부를 포함한다.

또한, 상기 단말기들은 비디오 카메라; 상기 비디오카메라에서 출력된 영상신호에서 객체영상만을 추출하는 객체추출부; 상기 객체추출부에서 출력된 객체영상만을 블록단위로 부호화하여 패킷화하는 부호화기; 상기 다지점제어부를 통해 수신된 하나의 배경영상 위에 복수의 객체영상이 중첩된 영상신호를 복원시키는 복호화기; 및 상기 복호화기에서 복원된 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 한다.

또한, 상기 다지점제어부는 상기 복수의 단말기들로부터 전송된 객체영상을 복호화하는 복호화기; 상기 복호화기에서 복원된 영상신호의 크기를 조절하는 스케일러; 배경영상을 생성하는 배경영상생성기; 상기 스케일러에서 출력된 객체영상과 상기 배경영상 생성기에서 출력된 배경영상을 합성하는 영상합성기; 및 상기 영상합성기에서 출력된 영상을 부호화하는 부호화기를 포함하는 것을 특징으로 한다.

또한, 상기 스케일러에서는 영상회의에 참가하는 인원수에 따라, 객체영상의 크기를 조절하고, 상기 배경영상 생성기는 상기 객체영상들과 중첩될 하나의 배경영상을 생성하고, 상기 영상합성기는 상기 배경영상 위에 상기 객체영상의 배치순서, 배치규격 등과 같은 사전에 약속에 따라 합성하고, 상기 객체영상은 상기 배경영상 위에 나란히 배치되며, 각 단말기의 객체영상은 하나의 화면에 모두 표시되도록 합성하며, 상기 부호화된 영상신호는 각 단말기에 동시에 전송된다.

상기의 다른 목적을 달성하기 위한 본 발명에 따른, 복수의 영상회의용 단말기들과 통신망의 일부 또는 분리된 기능으로 만들어진 다지점 제어부를 구비한 다지점 영상회의 시스템에 있어, 상기 다지점 영상회의를 구현하는 방법은

(a) 촬영된 영상에서 배경영상과 객체영상을 분리하는 과정; (b) 분리된 객체영상만을 압축 부호화하여 전송하는 과정; (c) 수신된 압축 객체영상들을 복호화하여 복원하는 과정; (d) 복원된 객체영상들의 크기를 조절하는 과정; (e) 배경영상을 생성하는 과정; (f) 상기 객체영상들과 배경영상을 합성하는 과정; (g) 상기 합성된 영상을 압축 부호화하여 각 단말기에 동시에 전송하는 과정; 및 (h) 상기 전송된 영상을 복원하여 표시하는 과정을 포함한다.

상기 (d)과정은 영상회의에 참가하는 참가자수에 따라 객체영상의 크기를 변환시키고, 상기 (e)과정은 상기 객체영상들과 중첩될 하나의 배경영상을 생성하며, 상기 (f)과정은 상기 배경영상 위에 영상회의에 참가하는 모든 참가자의 객체영상이 중첩되도록 합성하며, 상기 (h) 과정은 상기 전송된 영상을 동시에 복원하여 표시한다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하면 다음과 같다.

본 발명에 의한 다지점 영상회의 시스템의 구성을 보이는 도 3을 참조하면, 영상회의 시스템은 복수의 단말기들(30a 내지 30d)과 다지점 제어부(32)를 포함한다.

동일한 구성을 갖는 각 단말기들은 촬영된 영상신호에서 배경영상을 제거한 객체영상만을 부호화하여 다지점제어부(32)에 전송하고, 상기 다지점제어부(32)에서 전송된 복수의 단말기들에서 출력되는 객체영상과 자신의 객체영상을 하나의 배경영상에 모두 중첩된 영상신호를 복호화하여 디스플레이시킨다.

다지점 제어부(32)는 통신망의 일부, 또는 별도의 수단으로 구성되며, 각 단말기들(30a 내지 30d)에서 출력된 객체영상(foreground image)만을 복호화하여, 영상회의에 참석하는 참석자 수에 따라, 객체영상의 크기를 조절하고, 크기가 조절된 객체영상과 별도로 생성된 배경영상을 합성한 후, 압축 부호화하여 각 단말기에 동시에 전송시킨다.

도 3에 도시된 경우, 4개의 단말기들이 다지점제어부(32)에 연결된 구성의 예를 보이고 있지만, 복수의 단말기들이 연결되는 경우에도 동일하게 적용될 수 있다.

도 3에 도시된 단말기들의 상세 구성을 보이는 도 4를 참조하면, 각 단말기들은 비디오 카메라(40), 객체추출부(42), 부호화기(44), 복호화기(46), 및 디스플레이부(48)를 포함한다.

객체추출부(42)는 비디오카메라(40)에서 출력된 영상신호에서 배경영상(background image)을 제거하여 객체영상만을 추출한다.

부호화기(44)는 객체추출부(42)에서 출력된 객체영상만을 블록단위로 부호화하여 패킷화한다.

복호화기(46)는 다지점제어부(32)에서 전송된 하나의 배경화면에 복수의 객체영상이 합성된 패킷을 복원시킨다.

디스플레이부(48)는 복호화기(46)에서 출력된 영상신호를 디스플레이한다.

도 3에 도시된 다지점 제어부의 상세도를 보여주는 도 5를 참조하면, 다지점 제어부는 입력영상버퍼(500), 복호화기(502), 스케일러(504), 배경영상 생성기(506), 영상합성기(508), 부호화기(510) 및 출력영상버퍼(512)를 포함한다.

복호화기(502)는 각 단말기에서 출력된 객체영상을 복호화한다.

스케일러(504)는 영상회의에 참가하는 인원수에 따라, 복호화기(502)에서 출력된 객체영상의 크기를 조절한다.

배경영상 생성기(506)는 배경영상을 생성하는데, 이 배경영상은 다지점제어부에서 일괄적으로 처리하거나, 또한, 해당 단말기에서 생성할 수도 있으나, 다지점제어부에서 배경영상을 생성하는 것이 단말기의 구성을 더욱 간단히 할 수 있다.

영상합성기(508)는 스케일러(504)에서 출력된 객체영상과 배경영상 생성기(506)에서 출력된 배경영상을 합성한다. 즉, 스케일러(504)에 의해 크기(size)가 변환된 객체영상은 영상합성 처리수순에 의해 단일의 영상으로 합성되는데, 영상합성 처리수순은 각 단말기에서 전송된 객체영상을 합성하는 규칙, 예를 들어 객체영상의 배치순서, 배치규칙 등으로서 사전에 약속된다. 영상합성은 배경영상 생성기(506)에서 만들어진 배경영상 위에 객체영상을 중첩시킨다. 이 합성된 영상정보는 하나의 화면에 모든 회의 참가자의 객체영상이 소정의 규칙에 따라 나란히 배열되는 형태이다.

부호화기(510)는 영상합성기(508)에서 출력된 합성영상을 복호화한다. 즉, 합성영상정보는 부호화기(510)에서 압축되어 영상출력버퍼(512)를 경유하여, 각 단말기에 동시에 전달되어 각 단말기의 복호화기에서 압축된 영상을 복원시켜, 디스플레이부에 표시하게 된다.

본 발명에 따른 다지점 영상회의 구현방법을 설명하기 위한 흐름도를 보여주는 도 6을 참조하면, 참조부호 600, 602는 각 단말기의 부호화 과정이고, 참조부호 612는 각 단말기의 복호화과정이며, 참조부호 604 내지 610은 다지점제어부에서 수행되는 과정이다.

먼저, 촬영된 영상에서 배경영상과 객체영상을 분리한다(600 과정).

회의 참가자의 영상인 객체영상은 객체추출부(42)를 통해, 비디오카메라에서 촬영된 영상에서 배경영상이 제거되어 추출된다.

분리된 객체영상만을 부호화기(44)를 통해 압축 부호화하여 전송한다(602 과정).

각 단말기에서 전송된 객체영상은 다지점제어부(32)의 입력영상버퍼(500)를 통해 복호화기(502)에서 원래의 객체영상으로 복원한다(604 과정).

복호화기(502)에서 복원된 객체영상의 크기를 조절한다(606 과정). 복원된 객체영상은 스케일러(504)를 통해 회의 참가자의 수에 따라 그 크기가 조절된다. 왜냐하면 다수의 회의 참가자들을 한 화면에 표시하기 위해서는 각 객체영상의 크기가 작아져야 하기 때문이다.

객체영상과 배경영상을 합성한다(608 과정). 스케일러(504)를 통해 출력된 객체영상과 배경영상생성기(506)에서 출력된 배경영상은 영상합성기(508)를 통해 합성되는데, 이 때, 객체영상과 배경영상의 합성과정은 객체영상의 배치순서, 배치규격등과 같은 사전의 약속에 의해 수행되며, 배경영상 위에 객체영상을 배열하게 된다.

합성된 영상을 압축 부호화하여 각 단말기에 동시에 전송한다(610 과정). 영상합성기(508)를 통해 합성된 영상은 부호화기(510)를 통해 압축 부호화되고, 압축 부호화된 영상은 출력영상버퍼(512)를 통해 각 단말기에 동시에 전송된다.

전송된 영상을 복원하여 표시한다(612 과정). 각 단말기에 전송된 영상은 각 단말기에 구비된 복호화기(46)를 통해 복원된 후, 디스플레이부(48)에 표시된다.

상술한 바와 같이 본 발명에 의하면, 다지점제어기에서 각 단말기에 전송될 객체영상의 크기를 조절하여 하나의 화면에 표시될 수 있도록 부호화하기 때문에, 영상회의에 참가하는 단말기들의 수가 증가하더라도 각 단말기의 복호화기가 복원해야하는 영상정보에는 크게 변함이 없다. 따라서, 종래기술에 비해 계산능력이 향상된 복호기를 채용하지 않아도 되기 때문에 각 단말기의 가격을 보다 싼 가격에 제공할 수 있는 장점을 제공한다.

Claims

영상회의 시스템에 있어서,

촬영된 영상신호에서 회의 참가자의 객체영상만을 부호화하여 출력하고, 하나의 배경화면 위에 복수의 객체영상이 중첩되어 수신된 영상신호를 복호화하여 디스플레이시키는 복수의 단말기들;

통신망의 일부, 또는 별도의 수단으로 구성되며, 상기 복수의 단말기들로부터 출력된 객체영상을 복호화하여, 상기 객체영상의 크기를 조절하고, 크기가 조절된 객체영상과 별도로 생성된 배경영상을 합성한 후, 합성된 영상을 압축 부호화하여, 각 단말기에 출력시키는 다지점 제어부를 포함하는 다지점 영상회의 시스템.
제1항에 있어서, 상기 단말기들은

비디오 카메라;

상기 비디오카메라에서 출력된 영상신호에서 객체영상만을 추출하는 객체추출부;

상기 객체추출부에서 출력된 객체영상만을 블록단위로 부호화하여 패킷화하는 부호화기;

상기 다지점제어부를 통해 수신된 하나의 배경영상 위에 복수의 객체영상이 중첩된 영상신호를 복원시키는 복호화기; 및

상기 복호화기에서 복원된 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 하는 다지점 영상회의 시스템.
제1항에 있어서, 상기 다지점제어부는

상기 복수의 단말기들로부터 전송된 객체영상을 복호화하는 복호화기;

상기 복호화기에서 복원된 영상신호의 크기를 조절하는 스케일러;

배경영상을 생성하는 배경영상생성기;

상기 스케일러에서 출력된 객체영상과 상기 배경영상 생성기에서 출력된 배경영상을 합성하는 영상합성기; 및

상기 영상합성기에서 출력된 영상을 부호화하는 부호화기를 포함하는 것을 특징으로 하는 다지점 영상회의 시스템.
제3항에 있어서, 상기 스케일러는 영상회의에 참가하는 인원수에 따라, 객체영상의 크기를 조절함을 특징으로 하는 다지점 영상회의 시스템.
제3항에 있어서, 상기 배경영상 생성기는 상기 객체영상들과 중첩될 하나의 배경영상을 생성함을 특징으로 하는 다지점 영상회의 시스템.
제3항에 있어서, 상기 영상합성기는 상기 배경영상 위에 상기 객체영상의 배치순서, 배치규격 등과 같은 사전에 약속에 따라 합성함을 특징으로 하는 다지점 영상회의 시스템.
제6항에 있어서, 상기 객체영상은 상기 배경영상 위에 나란히 배치됨을 특징으로 하는 다지점 영상회의 시스템.
제6항에 있어서, 각 단말기의 객체영상은 하나의 화면에 모두 표시되도록 합성함을 특징으로 하는 다지점 영상회의 시스템.
제3항에 있어서, 상기 부호화된 영상신호는 각 단말기에 동시에 전송됨을 특징으로 하는 다지점 영상회의 시스템.
복수의 영상회의용 단말기들과 통신망의 일부 또는 분리된 기능으로 만들어진 다지점 제어부를 구비한 다지점 영상회의 시스템에 있어, 상기 다지점 영상회의를 구현하는 방법에 있어서,

(a) 촬영된 영상에서 배경영상과 객체영상을 분리하는 과정;

(b) 분리된 객체영상만을 압축 부호화하여 전송하는 과정;

(c) 수신된 압축 객체영상들을 복호화하여 복원하는 과정;

(d) 복원된 객체영상들의 크기를 조절하는 과정;

(e) 배경영상을 생성하는 과정;

(f) 상기 객체영상들과 배경영상을 합성하는 과정;

(g) 상기 합성된 영상을 압축 부호화하여 각 단말기에 동시에 전송하는 과정; 및

(h) 상기 전송된 영상을 복원하여 표시하는 과정을 포함하는 다지점 영상회의 구현방법.
제10항에 있어서, 상기 (d)과정은 영상회의에 참가하는 참가자수에 따라 객체영상의 크기를 변환시킴을 특징으로 하는 다지점 영상회의 구현방법.
제10항에 있어서, 상기 (e)과정은 상기 객체영상들과 중첩될 하나의 배경영상을 생성함을 특징으로 하는 다지점 영상회의 구현방법.
제10항에 있어서, 상기 (f)과정은 상기 배경영상 위에 영상회의에 참가하는 모든 참가자의 객체영상이 중첩되도록 합성함을 특징으로 하는 다지점 영상회의 구현방법.
제10항에 있어서, 상기 (h) 과정은 상기 전송된 영상을 동시에 복원하여 표시함을 특징으로 하는 다지점 영상회의 구현방법.