KR100565184B1 - 단체화상회의시스템의음량제어회로 - Google Patents

Abstract

본 발명은 단체 화상 회의 시스템의 음량 제어 회로에 관한 것으로, 종래 마이크로폰을 통해 입력되는 외부 신호를 빔포밍하여 원하는 화자의 음성을 선택적으로 출력함에 있어서 상기 화자의 출력을 외부 환경의 조건에 따라 스스로 계측함으로써, 오차가 심해 정확한 동작을 하기가 매우 어려워 오동작하고, 이를 해결하기 위한 알고리듬이 복합하여 구현이 어려운 문제점이 있었다. 따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창안한 것으로, 단체 화상 회의 시스템에서 원단 사용자가 근단 회의 참가자의 위치에 따라 근단 카메라 각도와 줌 인자를 제어하는 카메라 제어신호를 통해 상기 카메라의 최종 위치 변동 및 줌 크기에 따라 참가자 음성을 선택적으로 집중 및 증폭 또는 감소시킴으로써, 원단 회의자에 의해 움직여진 근단 카메라의 변환 인자만으로 음성 신호를 집중 및 증폭하므로 효율이 좋아지고, 상기 카메라의 움직임으로 마이크로폰을 가상적으로 움직여 현실감 및 현장감있는 회의가 가능한 효과가 있다. 또한, 원단 회의자가 보내온 카메라의 줌인자의 변화를 통해 원단회의자가 근단회자의 목소리의 크기를 제어함으로써, 수신자의 주관적인 청각 특성에 따른 화자의 음량을 조절하여 쾌적한 회의 환경을 제공하는 효과가 있다.

Description

단체 화상 회의 시스템의 음량 제어 회로

본 발명은 단체 화상 회의 시스템의 음량 제어 회로에 관한 것으로, 특히 단체 화상 회의 시스템(Group Video Conference System)에 있어서 원단(far-end) 사용자가 근단 회의 참가자의 위치에 따라 근단 카메라 각도와 줌 인자(Zoom Factor)를 제어하는 카메라 제어신호를 통해 상기 카메라의 최종 위치 변동 및 줌 크기에 따라 참가자 음성을 선택적으로 집중 및 증폭 또는 감소시키도록 한 단체 화상 회의 시스템의 음량 제어 회로에 관한 것이다.

단체 화상 회의 시스템은 서로 다른 지역에 있는 집단과 집단이 지역적으로 이동이 없이 한 곳에 모여 회의나 세미나 등을 할 수 있게 하는 시스템으로, 같은 장소에 있지 않는 원격지의 사람과 음성과 영상 신호를 주고받음으로써 같은 장소에서 대화나 회의를 할 수 있다.

또한, 회의 참가자 수에 따라 개인 대 개인, 개인 대 다수, 다수 대 다수의 환경으로 분류될 수 있고, 상대방이 다수인 경우에는 카메라를 통하여 모든 사람의 영상 및 음성을 수신함과 아울러, 일반적으로 모든 사람의 음성을 듣기보다는 특정 회의 참가자의 영상과 음성을 선택적으로 수신한다.

이를 위해서는 마이크로폰 배열(Microphone Array)을 사용하여 화자의 좌우각, 상하각 및 거리를 알아내고 이에 적합한 카메라 각도와 줌을 조절하고 그 방향으로의 음성 신호만을 받아들이도록 알고리듬(Algorithm)을 구현한다.

일반적인 단체 화상 회의 시스템의 구성은 도 1에 도시한 바와 같이 각 지역에는 여러 명의 회의 참가자와 그들의 목소리 등을 전달하는 마이크가 중앙에 설치되어 있고, 비디오 이미지를 위해 셋톱박스 뒤에 카메라가 설치되어 있다.

그리고, 상기 중앙에 설치된 마이크의 내부는 복수의 마이크로폰으로 구성된 마이크로폰 어레이 형태로 카메라가 전체 회의 참석자를 비추지 않고 말을 하고 있는 회의자만을 비추고자 할 때 그 방향을 알아내는데 사용된다.

따라서, 그 방향으로의 공간적 필터링에 해당되는 빔포밍(Beamforming)을 수행하여 그 방향의 목소리만 수음하는데 사용될 수 있고, 원래의 목적인 목소리를 채취하는 본래의 기능만으로도 사용될 수 있다.

그리고, 셋톱박스 위에 설치된 카메라는 내부에 모터 등의 전동장치가 설치되어 좌우상하로 움직일 수 있으며, 줌기능이 있어 원거리의 피사체를 가까이 볼 수도 있다.

이러한 카메라의 동적인 기능은 여러 사람의 모습이 하나의 카메라에 의해 비취지는 단체 화상 회의 시스템 환경에서는 필수적이다.

여기서, 실제 데이터 전송시 근거리 통신망(Local Area Network) 또는 인터넷망(Internet)에서 사용하는 프로토콜(Protocol)은 H.323이고, 종합 정보 통신망(Integrated Services Digital Network)에서 사용하는 프로토콜은 H.320이고, 공중 회선 교환 전화망(Public Switched Telephone Network)에서 사용하는 프로토콜은 H.324가 사용된다.

도 2는 종래 단체 화상 회의 시스템의 구성을 보인 블록도로서, 이에 도시된 바와 같이 화자의 실제 영상 및 음성을 수신함과 아울러 카메라(31)의 위치 제어 신호를 송신하는 원단 단말기(1)와; 상기 원단 단말기(1)에서 카메라(31)의 위치 제어 신호를 입력받아 상기 카메라(31)의 위치를 조정하고 실제 화자의 영상 및 음성을 송신하는 근단 단말기(2)로 구성되며, 상기 원단 단말기(1)와 근단 단말기(2)는 각각 음향부(10)(40)와 영상부(20)(30)로 구성된다.

상기 원단 단말기(1)의 영상부(20)는 카메라의 위치 조정 신호를 입력받는 입력부(21)와; 상기 입력부(21)의 아날로그신호를 디지탈신호로 변환하는 제1 카메라 제어기(22)와; 상기 제1 카메라 제어기(22)의 카메라 제어 신호를 카메라 제어 프로토콜에 부합되도록 변환하는 제1 코드변환기(23)와; 상기 제1 코드변환기(23)의 출력 신호를 송수신하는 제1 송수신기(24)로 구성되며, 상기 음향부(10)는 음향 데이터를 송수신하는 제1 음향 송수신기(12)와; 상기 제1 음향 송수신기(12)의 출력 데이터를 외부로 송출하는 스피커(11)로 구성된다.

그리고, 상기 근단 단말기(2)의 영상부는 원단 단말기(1)의 제1 송수신기(24)와 카메라 제어 신호를 송수신하는 제2 송수신기(34)와; 상기 제2 송수신기(34)를 통해 상기 카메라 제어 프로토콜에 부합되는 카메라 제어 신호를 출력하는 제2 코드변환기(33)와; 상기 제2 코드변환기(33)의 출력신호를 아날로그신호로 변환하여 카메라(31)를 제어하는 제2 카메라제어기(32)로 구성되며, 상기 음향부(40)는 복수의 마이크로폰(M1∼M3)을 통해 외부 소리 신호를 입력받아 이를 조합하여 원하는 화자의 음성을 선택적으로 출력하는 빔형성기(41)와; 상기 빔형성기(41)의 출력신호를 주변 환경 요소에 따라 곱셈기(43)를 통해 증폭 또는 감쇄시키는 주변환경측정기(42)와; 상기 곱셈기(43)의 출력신호를 상기 원단 단말기(1)로 송수신하는 제2 음향 송수신기(44)로 구성되며, 이와 같이 구성된 종래 기술에 따른 동작과정을 첨부한 도 3을 참조하여 상세히 설명한다.

우선, 두 지역간의 호 설정을 통해 서로 통신을 하고 있는 상황에서 원단 단말기(1) 측의 사용자가 근단 단말기(2) 측의 카메라(31)의 방향을 움직여 상기 근단 단말기(2) 측의 다른 피사체를 보려고 셋톱박스나 리모콘의 조작을 하게 되면, 제1 카메라제어기(22)는 사용자가 입력하는 아날로그 정보를 디지탈화하여 제1 코드변환기(23)로 출력하게 된다.

따라서, 상기 제1 코드변환기(23)는 상기 제1 카메라제어기(22)의 디지탈 출력신호를 도 3과 같이 화상회의 망 특성에 부합되는 통신 프로토콜로 변환하게 된다.

상기 동작 메시지는 하나의 방향으로 일관성을 가지며 시작 메시지로 시작하여 계속 메시지를 통해 계속적인 움직임을 나타내고 정지 메시지로 움직임을 중단하게 된다.

예를 들어 카메라(31)를 오른쪽 위로 3번 움직이는 경우, 우선 시작 메시지(00000001)가 들어오고, 오른쪽과 위로 움직이는 메시지(11110000)가 인가되어 카메라가 오른쪽 위로 1번 움직인 후, 400msec동안 정지대기하는 메시지가 도 3의 (a)와 같이 인가된다.

그 후, 도 3의 (b)와 같이 계속 동작을 유지하도록 계속 메시지(00000010) 및 오른쪽과 위로 움직이는 메시지(11110000)가 인가되어 상기 카메라(31)가 오른쪽 위로 2번째 움직이고, 다시 계속 메시지(00000010) 및 오른쪽과 위로 움직이는 메시지(11110000)가 인가되어 상기 카메라(31)가 오른쪽 위로 3번째 움직이게 된다.

그리고, 도 3의 (c)와 같이 정지 메시지(00000011)가 인가되어 동작을 중지하게 된다.

위와 같은 동작 메시지들은 순차적으로 제1 송수신기(24)로 전달되고, 이에 상기 제1 송수신기(24)는 데이터 링크(Data Link)층에 해당되는 프로토콜을 사용하여 근단 단말기(2) 측의 제2 송수신기(34)로 데이터를 전송하게 된다.

그리고, 상기 제2 송수신기(34)는 상기 제1 송수신기(24)에 수신되는 데이터를 제2 코드변환기(33)로 출력하게 되고, 상기 제2 코드변환기(33)에서 상기 제2 송수신기(34)의 출력신호를 상기 통신 프로토콜에 부합되는 카메라 제어 신호로 변환한다.

따라서, 제2 카메라제어기(32)는 상기 제2 코드변환기(33)의 출력신호를 입력받아 카메라(31)의 위치를 제어하게 된다.

이때, 복수의 마이크로폰(M1∼M3)으로부터 외부 소리를 입력받은 빔형성기(41)는 이를 조합하여 원하는 화자의 음성을 선택적으로 출력하게 되고, 주변환경측정기(42)는 주변 환경 요소에 따라 곱셈기(43)를 통해 상기 빔형성기(41)의 출력신호를 증폭 또는 감쇄시켜 출력하게 된다.

따라서, 상기 곱셈기(43)의 출력신호를 입력받은 제2 음향 송수신기(44)는 이를 상기 데이터 링크 층에 해당되는 프로토콜을 이용하여 제1 음향 송수신기(12)로 송신하고, 이를 수신한 상기 제1 음향 송수신기(12)는 이를 스피커(11)를 통해 외부로 출력하게 된다.

상기와 같이 종래 마이크로폰을 통해 입력되는 외부 신호를 빔포밍하여 원하는 화자의 음성을 선택적으로 출력함에 있어서 상기 화자의 출력을 외부 환경의 조건에 따라 스스로 계측함으로써, 오차가 심해 정확한 동작을 하기가 매우 어려워 오동작하고, 이를 해결하기 위한 알고리듬이 복합하여 구현이 어려운 문제점이 있었다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창안한 것으로, 단체 화상 회의 시스템에 있어서 원단 사용자가 근단 회의 참가자의 위치에 따라 근단 카메라 각도와 줌 인자를 제어하는 카메라 제어신호를 통해 상기 카메라의 최종 위치 변동 및 줌 크기에 따라 참가자 음성을 선택적으로 집중 및 증폭 또는 감소시키도록 한 단체 화상 회의 시스템의 음량 제어 회로를 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 구성은 복수의 마이크로폰을 통해 외부 소리 신호를 입력받아 현재 화자의 위치에 따라 이를 조합하여 원하는 화자의 음성을 선택적으로 출력하는 빔형성기와; 카메라의 위치 변화 및 줌인자를 검출하는 변화량 측정기와; 상기 변화량 측정기의 출력신호를 입력받아 카메라의 위치 변화에 따른 화자의 위치벡터를 계산하여 화자의 현재 위치와 마이크로폰간의 위치벡터를 검출하는 위치정보 분석기와; 상기 위치 정보 분석기의 출력신호에 따라 곱셈기를 통해 상기 빔형성기의 출력신호를 증폭 또는 감쇄시키는 음량 조절기와; 상기 곱셈기의 출력신호를 상기 원단 단말기로 송수신하는 음향 송수신기로 구성하여 된 것을 특징으로 한다.

이하, 본 발명에 따른 일실시예에 대한 동작과 작용효과를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 4는 본 발명 단체 화상 회의 시스템의 구성을 보인 블록도로서, 본 발명은 도 2에 도시한 종래 단체 화상 회의 시스템의 구성에서 근단 단말기(200)의 음향부(220)를 복수의 마이크로폰(M1∼M3)을 통해 외부 소리 신호를 입력받아 현재 화자의 위치에 따라 이를 조합하여 원하는 화자의 음성을 선택적으로 출력하는 빔형성기(221)와; 카메라(211)의 위치 변화 및 줌인자를 검출하는 변화량 측정기(222)와; 상기 변화량 측정기(222)의 출력신호를 입력받아 화자의 현재 위치를 검출하는 위치 정보 분석기(223)와; 상기 위치 정보 분석기(223)의 출력신호에 따라 곱셈기(225)를 통해 상기 빔형성기(221)의 출력신호를 증폭 또는 감쇄시키는 음량 조절기(224)와; 상기 곱셈기(225)의 출력신호를 상기 원단 단말기(100)로 송수신하는 음향 송수신기(226)로 구성하며, 이와 같이 구성된 본 발명에 따른 동작과정을 도 5의 2차원 평면도를 참조하여 설명한다.

우선, 최초에 카메라(211)가 도 5에서의 제1 위치(P1)에 있는 화자를 화면의 특정 크기에 맞도록 줌 동작을 하며 비추고 있을 경우, 상기 제1 위치의 위치벡터(dP1)를 구할 수 있고, 또한, 상기 위치벡터(dP1)와 마이크의 위치벡터(dM)의 차신호로부터 상기 마이크로폰 어레이로부터의 제1 위치(P1)의 위치벡터(dMP1)를 구한다.

그러므로, 그에 따르는 각도에 따라 빔형성기(221)는 제1 위치(P1) 방향으로 빔을 형성하고, 거리에 따라 마이크로폰 이득을 조정한다.

그리고, 두 지역간의 호 설정을 통해 서로 통신을 하고 있는 상황에서 원단 단말기(100) 측의 사용자가 근단 단말기(200) 측의 카메라(211)의 방향을 움직여 상기 근단 단말기(100)측의 다른 피사체를 보려고 셋톱박스나 리모콘을 조작하면, 제1 카메라제어기(122)는 사용자가 입력하는 아날로그 정보를 디지탈화하여 제1 코드변환기(123)로 출력한다.

따라서, 상기 제1 코드변환기(123)는 상기 제1 카메라제어기(122)의 디지털 출력신호를 화상회의 망 특성에 부합되는 통신 프로토콜로 변환하고, 이를 제1 송수신기(124)를 통해 근단 단말기(200)의 제2 송수신기(214)로 전달한다.

그리고, 상기 제2 송수신기(214)는 상기 제1 송수신기(124)에서 수신되는 데이터를 제2 코드변환기(213)로 출력하고, 상기 제2 코드변환기(213)에서 상기 제2 송수신기(214)의 출력신호를 상기 통신 프로토콜에 부합되는 카메라 제어 신호로 변환한다.

따라서, 제2 카메라제어기(212)는 상기 제2 코드변환기(213)의 출력신호에서 카메라 구동을 위한 아날로그 데이터를 추출하여 상기 카메라(211)의 구동을 제어한다.

이때, 상기 제2 카메라제어기(212)의 다수의 동작 메시지들을 입력받은 변화량 측정기(222)는 동작 메시지의 방향성(Pan :좌우, Tilt:상하, Zoom:원근)을 저장하고 정지 메시지 전까지 같은 방향성을 갖는 계속 메시지의 개수를 조사하여 상기 동작 메시지의 방향성을 구한다.

그리고, 위치정보 분석기(223)는 상기 변화량 측정기(222)의 출력신호를 입력받아 갱신된 사용자의 위치(P2)를 알 수 있으며, 이로부터 카메라 각도를 조절하며 이에 따라 보여지는 피사체는 오토줌 기능에 의해 화면의 일정 크기를 갖는다.

따라서, 제2 위치벡터(dP2)와 마이크의 위치벡터(dM)의 차신호로부터 마이크로폰 어레이로부터의 제2 위치(P2)의 위치벡터(dMP2)를 구한다.

그러므로, 그에 따르는 각도에 따라 상기 빔형성기(221)는 복수의 마이크로폰에 들어온 신호들을 전자적인 신호처리를 통하여 제2 위치(P2)방향으로 빔을 형성하고, 거리에 따라 마이크로폰 이득을 조정한다.

여기서, 음량조절기(224)는 원단 사용자에 의해 근단 화자의 화상을 더 크게 혹은 작게 보기 위한 카메라(211)의 줌인자를 입력받아 오토줌 기능에 의해 이전 줌값과의 차이값(dz)을 검출하고, 상기 오토줌 기능을 통해 가까이 보는 경우 상기 차이값은 양의 값을 가지며 이득을 상향조정하고, 멀리 보는 경우 상기 차이값은 음의 값을 가지며 이득을 하향조정한다.

즉, 상기 카메라(211)의 오토줌 기능은 이산값을 가지므로 각 레벨마다 3데시벨만큼 차이를 가지도록 하고, 1레벨 증가할 경우 음량 조절기(224)는 +3데시벨에 해당하는 값(2^1/2)을 상기 곱셈기(225)를 통해 상기 빔형성기(221)의 출력신호에 곱하므로 제2 송수신기(226)를 통해 송신되는 음향신호는 3데시벨 크게 전송한다.

그러므로, 이를 수신한 상기 제1 음향 송수신기(112)는 이를 스피커(111)를 통해 외부로 출력한다.

상기에서 상세히 설명한 바와 같이, 본 발명은 단체 화상 회의 시스템에서 원단 사용자가 근단 회의 참가자의 위치에 따라 근단 카메라 각도와 줌 인자를 제어하는 카메라 제어신호를 통해 상기 카메라의 최종 위치 변동 및 줌 크기에 따라 참가자 음성을 선택적으로 집중 및 증폭 또는 감소시킴으로써, 원단 회의자에 의해 움직여진 근단 카메라의 변환 인자만으로 음성 신호를 집중 및 증폭하므로 효율이 좋아지고, 상기 카메라의 움직임으로 마이크로폰을 가상적으로 움직여 현실감 및 현장감있는 회의가 가능한 효과가 있다.

또한, 원단 회의자가 보내온 카메라의 줌인자의 변화를 통해 원단회의자가 근단회자의 목소리의 크기를 제어함으로써, 수신자의 주관적인 청각 특성에 따른 화자의 음량을 조절하여 쾌적한 회의 환경을 제공하는 효과가 있다.

도 1은 일반적인 단체 화상 회의 시스템의 구성을 보인 개략도.

도 2는 종래 단체 화상 회의 시스템의 구성을 보인 블록도.

도 3은 도 2에서 코드 변환기의 동작 메시지를 보인 도.

도 4는 본 발명 단체 화상 회의 시스템의 구성을 보인 블록도.

도 5는 도 4에서 카메라를 중심으로 참가자의 위치 변화를 도시한 2차원 평면도.

***도면의 주요 부분에 대한 부호의 설명***

100 : 원단 단말기 110,210 : 음향부

120, 220 : 영상부 221 : 빔 형성기

222 : 변화량 측정기 223 : 위치정보 분석기

224 : 음량 조정기 225 : 곱셈기

226 : 음향 송수신기

Claims (4)

1. 복수의 마이크로폰을 통해 외부 소리 신호를 입력받아 현재 화자의 위치에 따라 이를 조합하여 원하는 화자의 음성을 선택적으로 출력하는 빔형성기와; 카메라의 위치 변화 및 줌인자를 검출하는 변화량 측정기와; 상기 변화량 측정기의 출력신호를 입력받아 카메라의 위치 변화에 따른 화자의 위치벡터를 계산하여 화자의 현재 위치와 마이크로폰간의 위치벡터를 검출하는 위치정보 분석기와; 상기 위치 정보 분석기의 출력신호에 따라 곱셈기를 통해 상기 빔형성기의 출력신호를 증폭 또는 감쇄시키는 음량 조절기와; 상기 곱셈기의 출력신호를 상기 원단 단말기로 송수신하는 음향 송수신기로 구성하여 된 것을 특징으로 하는 단체 화상 회의 시스템의 음량 제어 회로.
2. 제1항에 있어서, 상기 변화량 측정기는 카메라 동작 메시지의 방향성을 저장하고, 정지 메시지 전까지 같은 방향성을 갖는 계속 메시지의 갯수를 조사하여 카메라의 위치 변화 및 줌인자를 검출하게 구성된 것을 특징으로 하는 단체 화상 회의 시스템의 음량 제어 회로.
3. 제1항에 있어서, 상기 음량조절기는 원단 사용자에 의해 근단 화자의 화상을 더 크게 혹은 작게 보기 위한 카메라의 줌인자를 입력받아 이전 줌값과의 차이값을 검출하여 곱셈기의 증폭이득레벨을 제어하게 구성된 것을 특징으로 하는 단체 화상 회의 시스템의 음량 제어 회로.
4. 제3항에 있어서, 상기 음량조절기는 상기 오토줌 기능을 통해 가까이 보는 경우 곱셈기의 증폭이득레벨을 상향조절하여 빔형성기의 출력신호를 크게 전송하고, 멀리 보는 경우 상기 곱셈기의 증폭이득레벨을 하향조절하여 상기 빔형성기의 출력신호를 작게 전송하도록 구성된 것을 특징으로 하는 단체 화상 회의 시스템의 음량 제어 회로.