KR100906687B1

KR100906687B1 - 다지점회의시스템 및 다지점회의장치

Info

Publication number: KR100906687B1
Application number: KR1020067018300A
Authority: KR
Inventors: 고이치 마쓰모토; 가즈노리 오자와
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2004-03-25
Filing date: 2006-09-07
Publication date: 2009-07-07
Also published as: EP1732323A1; EP1732323B1; DE602005018753D1; US7667729B2; CN1934861A; EP1732323A4; JPWO2005094077A1; US20080218584A1; WO2005094077A1; KR20070018029A

Abstract

회의단말로서 SIP단말의 이용이 가능한 다지점회의시스템 및 다지점회의장치에 있어서, 화자를 검출했을 때에, 인트라프레임의 송신을 회의단말에 요구하지 않고, 선명하고 원활히 화자 절환을 행하는 것을 가능하게 하는 시스템을 제공한다.

본 발명의 다지점접속장치는 회의에 참가하고 있는 회의단말로부터의 화상데이터를 메모리(13)에 축적해 두고, 미디어처리부(15)에서 화자를 검출하면, 메모리(13)에 축적된 화자의 화상데이터를 복호화하고 그 복호화 된 화상을 재부호화하는 화상처리부를 구비한다. 화자 절환시, 화상처리부는 처음의 화상을 인트라프레임으로서 재부호화하고, 화자 이외의 회의단말에 화상데이터를 송신함으로써, 화자 이외의 회의단말은, 인트라프레임으로부터 복호화할 수 있으며, 화자 절환을 선명하고 원활하게 행할 수 있다.

인트라프레임, 화자 절환, 다지점회의시스템, SIP단말

Description

다지점회의시스템 및 다지점회의장치{Multi-point conference system and multi-point conference device}

본 발명은 다지점간 통신시스템에 관한 것이며, 특히, 다지점회의시스템 및 다지점회의장치에 관한 것이다.

종래의 다지점회의시스템에 있어서는 회의에 참가하고 있는 복수개의 회의단말로부터 화자를 검출하는 방법으로써,

(1) 다지점회의장치가 화자를 검출함,

(2) 회의단말이 다지점회의장치에 자기단말이 화자라고 통지함,

중 어느 하나의 방법이 이용되고 있다.

상기 (1), (2)중 어느 하나의 방법에 있어서도, 화자를 특정한 다지점회의장치는, 이대로 화자를 절환했을 경우, 인터(Inter)프레임(프레임간 부호화된 프레임)의 도중에 절환하는 상태가 되기 때문에, 화자 이외의 회의단말은 인트라(Intra)프레임(프레임내 부호화된 프레임)을 수신하기까지는 스무드(원활)한 화자 절환을 행할 수가 없다.

그 때문에 화자 화상을 절환하기 위해서 화자인 회의단말에 대해 인트라프레임의 송신 또는 재송신 요구를 행하고 있다.

종래의 다지점회의시스템의 일 예로서, 회의단말이 다지점회의장치에 자기단말이 화자라고 통지하는 시스템으로서 특허문헌1이 참조된다. 이 시스템은, 다지점에 배치된 복수의 회의단말과 다지점간의 통신제어장치(다지점회의장치)를 구비하여 구성되어 있다. 종래의 다지점회의시스템은 이하와 같이 동작된다.

(A1) 다지점회의장치는 임의의 회의단말로부터 화자 절환을 요구받으면, 요구한 회의단말에 대하여 인트라프레임을 송신 또는 재송신하도록 요구를 행하고, 회의에 참가하고 있는 다른 회의단말에 대해서는 다지점회의장치가 송신하는 인트라프레임을 수신하기까지 각 회의단말이 표시하고 있는 현재의 화상을 정지(freeze)하도록 요구한다.

(A2) 그리고, 다지점회의장치로부터 인트라프레임송신요구를 수신한 회의단말은 다지점회의장치에 대하여 인트라프레임을 송신한다. 한편, 다지점회의장치로부터 정지요구를 수신한 회의단말은 인트라프레임을 수신하기까지 표시하고 있는 현재 화상을 정지시킨다.

(A3) 화자인 회의단말로부터 인트라프레임을 수신한 다지점회의장치는 다른 회의단말에 대하여 인트라프레임을 송신하고, 인트라프레임을 수신한 화자 이외의 회의단말은 화상정지를 해제하고 인트라프레임에 의해 화상을 절환한다.

이와 같이 종래의 다지점회의시스템에서는,

화자인 회의단말에 다지점회의장치로부터 인트라프레임송신요구를 송신하고,

화자인 회의단말로부터 인트라프레임을 다지점회의장치로 송신함으로써 다지점회의장치가 화자 절환을 가능하게 하고 있다.

또한, 다지점회의시스템에 관련된 간행물로서, 예를 들어, 후기 특허문헌2에는 회의단말의 각각으로부터의 다중화된 데이터 중에서 비디오데이터의 픽처헤더를 검출하여 프레임내 부호화된 인트라프레임비디오데이터만을 추출하고, 추출된 인트라프레임비디오데이터를 합성하는 다지점제어장치가 개시되어 있다. 또한, 후기 특허문헌3에는 위화감이 없는 화상, 음성의 절환을 실현하는 다지점비디오회의제어장치가 개시되어 있다. 이 특허문헌3에는 영상데이터의 인트라프레임을 검출하여 인트라프레임검출정보를 생성하고, 생성된 인트라프레임검출정보를 기초로 대표화자로 선정된 단말의 영상데이터로 절환하는 구성이 개시되어 있다. 더욱이, 후기 특허문헌4에는 현재의 화자를 정확히 판별할 수 있도록 한 다지점간통신시스템이 개시되어있다.

특허문헌1 : 일본 공개특허공보 평02-274084호(제3페이지, 도 1)

특허문헌2 : 일본 공개특허공보 제2001-69474호(제3페이지, 도 1)

특허문헌3 : 일본 공개특허공보 제2002-176503호(제3페이지, 도 1)

특허문헌4 : 일본 공개특허공보 평08-331535호(제2~3페이지, 도 1)

그러나, 상기한 종래의 시스템은 하기에 기재된 문제점을 가지고 있다.

제1문제점은 회의단말로서 SIP단말을 이용하는 경우, 선명하게 화자 화면으로 절환할 수가 없다는 것이다.

그 이유는, SIP단말은 IETF표준REC3261(2543)으로 규정된 SIP(Session Initiation Protocol)를 호출처리에 사용하여 IP네트워크상에서 리얼타임으로 쌍방향멀티미디어통신을 행하는 단말이지만, 미디어전송용으로 리얼타임전송을 서포트하는 RTP(Real-time Transport Protocol)나 재송신절차를 가지지 않는 UDP(User Datagram Protocol)를 사용하고 있다.

이 때문에, 화상의 재송신요구를 서포트하고 있지 않다. 따라서, 다지점회의장치가 화자 절환을 위해 SIP단말에 인트라프레임을 요구할 수가 없으며, 인트라프레임이 재송신되지 않기 때문에, 선명한 화자의 절환이 불가능하다.

제2문제점은 원활하게 화자를 절환하기까지 시간이 걸린다는 것이다.

그 이유는, 다지점회의장치가 화자 절환을 행하더라도, 전 화자인 SIP단말로부터 송신되는 인터프레임의 도중에서 절환하는 상태로 되기 때문에, 화자인 SIP단말로부터 인트라프레임이 송신되어 화자 이외의 SIP단말이 인트라프레임을 수신하기까지 선명하게 화자 절환을 할 수 없기 때문이다.

따라서, 본 발명의 목적은, 회의단말로서 SIP단말을 이용하는 경우에 있어서도, 선명하게 화자 화면으로 절환이 가능한 다지점회의시스템 및 다지점회의장치를 제공함에 있다.

본 발명의 다른 목적은, 원활하게 화자를 절환할 수 있는 다지점회의시스템 및 다지점회의장치를 제공함에 있다.

본원에서 개시되는 발명은 상기 목적을 달성하기 위해 개략 이하와 같이 구성된다.

본 발명은 재송신요구기능을 서포트하고 있지 않는 SIP(Session Initiation Protocol)단말이 참가 가능한 다지점회의시스템에 적용되는 것으로, 화자 절환시에 절환대상인 SIP단말로부터의 화상데이터를 다지점회의장치에서 처리함으로써, 절환 시의 제일 처음 화상데이터로서 인트라(Intra)프레임을 다른 회의에 참가하고 있는 SIP단말로 송신함으로써, SIP단말에서 표시되는 화자의 화상 절환시의 화상이 흐트러지지 않고, 원활하게, 화자 절환을 가능하게 한 것이다.

본 발명의 일면에 관한 시스템은, 복수의 단말, 및 복수의 단말과 접속하는 다지점회의장치를 구비하고, 화상 및 음성을 송수신하여 회의를 행하는 다지점회의시스템에 있어서, 상기 다지점회의장치가 화자의 검출을 행하는 미디어처리부, 회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부, 및 상기 미디어처리부에서 화자를 검출한 때에, 상기 화자의 화상을 복호화하고 그 복호화한 화상을 재부호화하는 화상처리부를 구비하고, 상기 미디어처리부에서 화자를 검출했을 때, 상기 화상처리부는, 화자 절환 시의 화상프레임에 인트라프레임을 송신한다.

본 발명에 있어서, 상기 화상처리부가 상기 미디어처리부에서의 화자검출결과에 근거하여, 상기 기억부에 유지되어 있는 화자의 화상을 복호화하는 복호화부, 상기 복호화부에 의해 상기 기억부에 보존되어 있는 화자의 최후의 화상을 복호화하여 얻은 참조화상을 유지하는 참조화상기억부, 및 화자검출 이후에 수신된 화상을 상기 참조화상기억부에 유지되어 있는 참조화상에 근거하여, 상기 복호화부에 의해 복호화한 화상을 재차 부호화하는 부호화부를 가지고, 화자검출이후에 수신된 화자의 화상의 적어도 최초 프레임을 인트라프레임으로 부호화하는 구성으로 된다.

본 발명의 다른 면에 관한 방법은, 화자절환검출 후, 화자절환처리수단에 의해, 화자검출 이후에 수신된 화상데이터를 복호화/재부호화 할 때, 처음의 화상을 인트라프레임으로서 재부호화하고, 다음 이후는 인트라프레임으로 재부호화하여 화자 이외의 SIP 단말에 화상데이터를 송신한다. 이에 의해, 화자 이외의 SIP단말은 화자 절환시 인트라프레임으로부터 복호화할 수가 있다.

본 발명에 의하면, 화자 절환시에 인트라프레임을 송신함으로써, 화자의 화상으로 절환할 때에 화상이 흐트러지지 않고, 원활하게 절환을 행할 수 있다.

그 이유는, 본 발명에 있어서는 화자검출 이후에 수신된 화상데이터를 복호화/재부호화 할 때, 처음의 화상을 인트라프레임으로서 재부호화하고, 다음 이후는 인터프레임으로 재부호화하여, 화자 이외의 SIP단말에 화상데이터를 송신하기 때문이다.

본 발명에 의하면, 회의단말(소프트)에 의존하지 않고, 원활하게 화자의 화상을 절환할 수 있다.

그 이유는, 본 발명에 있어서는, 회의시스템장치에서 화상절환처리를 행하기 때문이다.

본 발명에 의하면, 리얼타임통신(RTP)에서도 원활한 화자화상의 절환이 가능하다.

그 이유는, 본 발명에 있어서는, 인트라프레임의 송신을 요구하지 않기 때문에 화자검출 후, 즉시 화자절환처리를 행할 수 있기 때문이다.

도 1은 본 발명의 제1실시예의 시스템구성을 나타내는 도면이다.

도 2는 본 발명의 제1실시예의 다지점회의장치의 구성을 나타내는 도면이다.

도 3은 본 발명의 제1실시예의 화자절환처리의 동작을 설명하기 위한 흐름도이다.

도 4는 본 발명의 제2실시예에서의 화자절환처리의 동작을 설명하기 위한 흐름도이다.

도 5는 본 발명의 제3실시예에서의 시스템구성을 나타내는 도면이다.

도 6은 본 발명의 제3실시예에서의 다지점회의장치의 구성을 나타내는 도면이다.

도 7은 본 발명의 제3실시예에서의 화자절환처리의 동작을 설명하기 위한 흐름도이다.

*도면의 주요부분에 대한 부호의 설명*

1 : 다지점회의장치 2-a ~ 2-c : SIP단말

3 : SIPproxy서버 4 : IP네트워크

5 : 3G망 6-a ~ 6-c : 단말

11 : RTP수신부 12 : 호출처리부

13 : 메모리 14 : 회의제어부

15 : 미디어처리부 16 : RTP송신부

20 : 화상처리부 21 : 디코더(복호화부)

22 : 참조화상메모리 23 : 인코더(부호화부)

31 : 수신부 32 : 송신부

본 발명을 실시하기 위한 최선의 형태에 대해서 첨부의 도면을 참조하여 이하에서 상세히 설명한다. 도 1은 본 발명의 실시예의 구성을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 제1실시예에 관한 시스템은 다지점회의장치(1)와, SIP단말(2-a ~ 2-c)과, SIPproxy서버(SIP대리서버)(3)와, 이들 장치를 접속하는 IP네트워크(4)로 구성되어 있다. 도 1에 있어서, 다지점회의장치(1)는 미디어데이터의 송수신과 화자 절환을 행한다. SIP단말(2-a ~ 2-c)은 자기단말의 화상ㆍ음성데이터를 다지점회의장치(1)에 송신하고, 다지점회의장치(1)로부터 수신되는 화자의 화상ㆍ음성데이터를 디바이스에 출력한다.

SIPproxy서버(3)는 SIP단말(2-a ~ 2-c)과 다지점회의장치(1) 사이의 SIP프로토콜을 중계한다.

도 2는 도 1의 다지점회의장치(1)의 구성을 나타내는 도면이다. 다지점회의장치(1)는 RTP수신부(11)와, 호출처리부(12)와, 메모리(13)와, 회의제어부(14)와, 미디어처리부(15)와, RTP송신부(16)와, 화상처리부(20)를 구비하고 있다. 화상처리부(20)는 디코더(복호화부)(21)와, 참조화상메모리(22)와, 인코더(부호화부)(23)를 포함한다.

도 2에 있어서, RTP수신부(11)는 SIP단말(2-a)로부터의 RTP/UDP/IP패킷을 수신하고, RTP페이로드부를 추출한다.

추출한 RTP페이로드부가 SIP프로토콜인 경우에는 호출처리부(12)에 RTP페이로드를 건네주고, 미디어데이터인 경우에는 미디어처리부(15)에 RTP페이로드를 건네준다.

호출처리부(12)는 세션의 호출처리를 행하고, 호출처리의 가부결과를 RTP송신부(16)에 통지한다.

또한, 회의참가자의 IP어드레스, 미디어수신포트를 회의제어부(14)에 통지한다.

미디어처리부(15)는 회의에 참가하고 있는 SIP단말(2-a ~ 2-c)에 대하여 자기단말 이외의 SIP단말로부터 송신되어 오는 미디어를 믹스한다. 동시에, 화자의 검출도 행하며, 화자검출결과를 회의제어부(14)에 통지한다.

회의제어부(14)는 회의참가자의 IP어드레스, 미디어수신포트 등의 회의참가자정보의 관리를 행한다.

또한, 미디어처리부(15)에서 화자검출결과를 통지받은 경우에는 화자 절환을 위한 처리개시통지를 화상처리부(20)에 통지한다.

화상처리부(20)는 회의제어부(14)로부터 화자절환처리개시통지를 수신하면, 메모리(13)에 축적되어있는 각 SIP단말로부터의 화상RTP패킷데이터 중, 절환대상화자의 데이터를 메모리(13)로부터 카피한다.

메모리(13)는 회의에 참가하고 있는 SIP단말(2-a ~ 2-c)로부터의 화상RTP패킷을 각 단말마다 축적한다.

화상처리부(20)는 메모리(13)으로부터 카피한 절환대상화자의 화상데이터를 디코더(21)로 복호화한다.

마지막으로, 복호화된 화상을 참조화상메모리(22)에 축적한다.

그 후, 디코더(21)는 RTP수신부(11)로부터 절환대상화자의 화상RTP데이터를 직접 카피하고, 참조화상메모리(22)에 축적되어 있는 참조화상을 근거로 복호화처리를 행하며, 복호화상을 인코더(23)에 건네준다.

인코더(23)는 디코더(21)에서 복호화된 화상을 재부호화하여, 재차 부호화된 화상데이터를 미디어처리부(15)에 카피한다.

미디어처리부(15)는 인코더(23)로부터 카피된 재부호화 화상을 화자 이외에 송신하도록 믹싱하고, RTP송신부(16)에 카피한다.

RTP송신부(16)는 미디어처리부(15)로부터 건네받은 미디어데이터를, RTP/UDP/ IP 패킷화하여 SIP단말(2-a ~ 2-c)로 송신한다.

또한, RTP송신부(16)는 호출처리부(12)로부터 SIP프로토콜을 송신하도록 요구받은 경우, SIP프로토콜을 RTP/UDP/IP 패킷화하여 대상 SIP단말(2-a ~ 2-c)로 송신한다.

도 3은, 본 발명의 실시예의 동작을 설명하기 위한 흐름도이다. 다음으로, 도 3의 흐름도를 사용하여, 본 실시예의 다지점회의장치의 화자절환처리동작에 대해서 상세히 설명한다.

먼저, 미디어처리부(15)는 새로이 화자가 검출되는지 항상 체크한다(스텝 S1).

미디어처리부(15)에서 화자가 검출되지 않은 경우, RTP수신부(11)에서는 현 시점에서 화자 이외의 회의참가자의 화상RTP헤더를 각각 체크한다(스텝 S2).

현 시점에서 화자 이외의 회의참가자의 각각의 화상RTP헤더를 체크하여, 회의참가자인 SIP단말(2-a)의 화상RTP헤더가 인트라프레임이 아닌 경우(인터프레임)에는, RTP수신부(11)는 SIP단말(2-a)의 화상RTP페이로드를 메모리(13)에 카피한다(스텝 S4).

RTP수신부(11)는 SIP단말(2-a)의 화상RTP헤더가 인트라프레임인 경우에는 SIP단말(2-a)용 메모리(13)에 카피되어 있던 화상RTP페이로드를 클리어하고(스텝 S3), 화상RTP페이로드를 메모리(13)에 카피한다(스텝 S4)

미디어처리부(15)에서 SIP단말(2-a)이 화자로 검출된 경우(스텝 S1의 YES분기), 화상처리부(20)는 메모리(13)에 축적되어 있는 SIP단말(2-a)의 화상RTP페이로드의 데이터를 디코더(21)에 입력한다(스텝 S5).

디코더(21)는 입력된 화상데이터를 복호화하고(스텝 S6), 마지막으로 복호화한 화상프레임을 참조화상메모리(22)에 일시 보존한다(스텝 S7).

화자검출에서 참조화상을 참조화상메모리(22)에 보존하기까지의 사이에, RTP수신부(11)는 화자인 SIP단말(2-a)로부터의 화상RTP헤더를 체크하여(스텝 S8), SIP단말(2-a)의 화상RTP헤더가 인트라프레임인 경우, SIP단말(S-a)의 화상RTP페이로드를 디코더(21)에 입력하는 것을 종료하고, SIP단말(2-a)의 화상RTP페이로드를 미디어처리부(15)에 건네주어 화자절환처리가 종료된다.

SIP단말(2-a)의 화상RTP헤더가 인트라프레임이 아닌 경우(인터프레임), RTP수신부(11)는 SIP단말(2-a)의 화상RTP페이로드를 디코더(21)에 입력한다(스텝 S9).

디코더(21)는 참조화상메모리(22)에 일시 보존되어 있는 화상프레임을 근거로 입력된 화상RTP페이로드의 복호화를 개시한다(스텝 S10).

복호화된 화상데이터는 인코더(23)에 입력되어 재차 부호화된다(스텝 S11).

인코더(23)는 재부호화될 때, 처음의 프레임을 인트라프레임으로 부호화하고, 그 이후는, 인터프레임으로 부호화한다. 재부호화한 화상데이터를 미디어처리부(15)에 카피한다(스텝 S12).

미디어처리부(15)는 RTP수신부(11)로부터 회의참가자의 모든 음성RTP페이로드를 카피하여 믹싱한다. 믹싱된 음성RTP페이로드와 재부호화 화상데이터를 RTP송신부(16)에 카피한다. RTP송신부(16)는 미디어처리부(15)로부터 건네받은 화상과 음성데이터를 RTP/UDP/IP 패킷화하여, 화자 이외의 SIP단말(2-b, 2-c)로 송신한다(스텝 13).

하나의 화상프레임을 디코더(21)에 건네준 RTP수신부(11)는 다음으로 수신된 화자인 SIP단말(2-a)의 화상RTP헤더를 체크한다(스텝 S8).

화자의 화상RTP헤더가 인트라프레임이 아닌 경우(인터프레임), 화자절환처리를 계속하고(스텝 S9 ~ S13), 한편, 인트라프레임인 경우에는, SIP단말(2-a)의 화상RTP페이로드를 디코더(21)에 입력하는 것을 종료하고, SIP단말(2-a)의 화상RTP페이로드를 미디어처리부(15)에 건네주어 화자절환처리가 종료된다.

다음으로, 본 발명의 제2실시예에 대해서 도면을 참조하여 상세히 설명한다.

본 발명의 제2실시예의 구성은 상기 제1실시예의 구성과 같지만, 미디어처리부(15)가 화자를 검출한 경우, 미디어처리부(15)로부터의 지시에 의해 RTP송신부(16)가 화자인 SIP단말(2-a)로 인트라프레임송신요구를 의미하는 정보를 포함한 SIP방식(예를 들면, INFO방식)을 송신하는 제어를 행한다는 점에서, 상기 제1실시예와 서로 다르다.

미디어처리부(15)는, 화자를 검출한 경우, 화자검출결과를 회의제어부(14)에 통지한다. 동시에, 미디어처리부(15)는 RTP송신부(16)에 인트라프레임송신요구를 화자에게 송신하도록 통지한다.

RTP송신부(16)는 인트라프레임송신요구를 의미하는 정보를 포함한 INFO방식을 화자인 SIP단말(2-a)에 송신한다.

INFO방식을 수신한 SIP단말(2-a)은 요구정보에 의해, 다음으로 송신하는 화상프레임을 인트라프레임으로서 부호화하여, 인트라프레임인 화상패킷을 다지점회의장치(1)에 송신한다. 이 이후의 동작은 상기 제1실시예와 마찬가지이다.

도 4는, 본 발명의 제2실시예의 동작을 설명하기 위한 흐름도이다. 도 4를 참조하여, 본 실시예의 다지점회의장치(1)의 화자절환처리 동작에 대하여 상세히 설명한다.

도 4의 흐름도의 스텝 S21, S22, S23, S24는, 도 3의 흐름도의 스텝 S1, S2, S3, S4의 동작과 동일하므로 설명은 생략한다.

SIP단말(2-a)이 화자로 검출된 경우(스텝 S21), RTP송신부(16)에 인트라프레임송신요구를 화자에게 송신하도록 통지하고, RTP송신부(16)는 인트라프레임송신요구정보를 포함한 INFO방식을 화자인 SIP단말(2-a)에 송신한다(스텝 S25).

INFO방식을 화자SIP단말(2-a)에 송신한 후의 절차인 스텝 S26 ~ S34는, 상기 제1실시예의 도 3의 스텝 S5 ~ S13의 동작과 마찬가지이므로 설명을 생략한다.

이와 같이, 본 실시예에서는, 화자검출 직후에, 인트라프레임송신요구를 하고 있으므로, 상기 제1실시예와 같이, 화자인 회의단말로부터 인트라프레임이 송신되기까지, 화자절환처리를 계속하는 일이 없기 때문에, 보다 원활하게 화자 화상을 절환할 수 있다는 작용효과를 가져온다.

본 실시예에 있어서, SIP방식으로서 INFO방식을 사용하였으나, 다른 SIP방식을 사용해도 된다. 또한, 인트라프레임송신요구에 SIP방식을 사용했지만, 인트라프레임송신요구를 의미하는 다른 명령을 사용해도 된다.

또한, 본 실시예에 있어서, 회의단말은 인트라프레임송신요구를 수신하면, 인트라프레임을 송신하는 것으로 되어 있지만, 인트라프레임송신요구에 대응하고 있지 않아도 된다.

다음으로, 본 발명의 제3실시예에 대해서 도면을 참조하여 상세히 설명한다.

도 5, 도 6은, 본 발명의 제3실시예의 구성을 나타내는 도면이다. 본 실시예는, 도 1에 나타낸 상기 제1실시예의 시스템 구성에 더하여, 3G망(5)과, 단말(6-a ~ 6-c)을 가진다. 또한, 도 2에 나타낸 제1실시예의 다지점회의장치의 기능블록에 있어서, RTP수신부(11)와 RTP송신부(16)를, 각각 수신부(31)와 송신부(32)로 치환했다는 점에서 서로 다르다.

도 5에 있어서, 단말(6-a ~ 6-c)은 화상 및 음성의 통신이 가능한 제3세대전화(3G-324M)이고, 3G망(5)은 단말(6-a ~ 6-c)이 접속하는 네트워크이다.

다지점회의장치(1)는 IP네트워크(4)와 3G망(5)의 이종망접속을 행함으로써, SIP단말(2-a ~ 2-c)과 단말(6-a ~ 6-c)으로 다지점회의를 행한다.

도 6에 있어서, 수신부(31)는 단말(6-a)로부터 데이터를 수신하여 데이터를 추출한다. 추출된 데이터가 호출접속 Q.931인 경우에는 호출처리부(12)에 데이터를 건네주고, 미디어데이터인 경우에는 미디어처리부(15)에 데이터를 건네준다.

호출처리부(12)는 호출접속처리를 행하고, 호출처리결과를 송신부(32)에 통지한다.

또한, 회의참가자인 단말(6-a)의 전화번호, 사용자ID 등을 회의제어부(14)에 통지한다.

미디어처리부(15)는 회의에 참가하고 있는 SIP단말(2-a ~ 2-c)과 단말(6-a ~ 6-c)에 대하여, 자기 단말 이외의 회의단말로부터 송신되는 미디어를 믹스하지만, SIP단말(2-a ~ 2-c)과 단말(6-a ~ 6-c)에서 사용하고 있는 화상, 음성의 코덱이 다른 경우에는, 미디어처리부(15)에서 우선, 미디어데이터를 복호화하여, 각 회의단말의 코덱에 맞추어 재부호화, 믹싱을 행한다.

미디어처리부(15)는, 동시에, 화자검출을 행하고, 화자검출결과를 회의제어부(14)에 통지하고 나서, 메모리(13)가 각 회의단말로부터의 화상데이터를 축적하는 동작은 제1실시예의 도 2의 동작과 같으므로 설명은 생략한다.

화상처리부(20)는 메모리(13)로부터 카피한 절환대상화자의 화상데이터를 화자인 단말이 사용하고 있는 화상 코덱에 맞추어 디코더(21)로 복호화한다.

마지막으로 복호화된 화상을 참조화상메모리(22)에 축적하고 나서, 복호화상을 인코더(23)에 건네주는 동작은 상기 제1실시예의 도 2의 동작과 같으므로 설명은 생략한다.

인코더(23)는 디코더(21)에서 복호화된 화상을 재부호화하지만, 화자 이외의 회의단말의 화상코덱에 맞추어 재부호화하고, 재부호화된 화상데이터를 미디어처리부(15)에 카피한다. 미디어처리부(15)는 인코더(23)로부터 카피된 화자 이외의 회의단말의 화상코덱에 맞는 재부호화 화상을 해당하는 회의단말에 송신하도록 믹싱하여 송신부(32)에 카피한다.

송신부(32)는 미디어처리부(15)로부터 건네받은 미디어데이터를 IP네트워크(4)와 3G망(5)의 미디어포맷에 맞추어, SIP단말(2-a ~ 2-c)과 단말(6-a ~ 6-c)에 송신한다. 또한, 호출처리(12)로부터 통지된 호출처리결과를 근거로 호출처리Q.931에서 대상의 단말(6-a ~ 6-c)에 송신한다.

SIP단말(2-a ~ 2-c)의 경우는, 상기한 제1실시예의 동작(도 2 참조)과 같으므로 설명은 생략한다.

다음으로, 도 7의 흐름도를 사용하여, 본 실시예의 다지점회의장치(1)의 화자절환처리동작에 대해서 상세히 설명한다.

먼저, 미디어처리(15)는 새로이 화자가 검출되는지 항상 체크한다(스텝 S41).

화자가 검출되지 않은 경우, 수신부(31)는 현 시점에서 화자 이외의 회의참가자의 화상데이터를 각각 체크한다(스텝 S42). 현 시점에서 화자 이외의 회의참가자의 각각의 화상데이터를 체크하고, 회의참가자인 단말(6-a)의 화상데이터가 인트라프레임이 아닌 경우(인터 프레임), 단말(6-a)의 화상데이터를 메모리(13)에 카피한다(스텝 S44).

단말(6-a)의 화상데이터가 인트라프레임인 경우에는, 단말(6-a)용으로 메모리(13)에 카피되어 있던 화상데이터를 클리어하고(스텝 S43), 화상데이터를 메모리(13)에 카피한다(스텝 S44).

단말(6-a)이 화자로 검출된 경우(스텝 S41), 메모리(13)에 축적되어 있는 단말(6-a)의 화상데이터를 디코더(21)에 입력한다(스텝 S45).

디코더(21)는 입력된 화상데이터의 화상코덱에 맞추어 복호화하고(스텝 S46), 마지막으로 복호화된 화상프레임을 참조화상메모리(22)에 일시 보존한다(스텝 S47).

화자 검출에서 참조화상을 참조화상메모리(22)에 보존하기까지의 사이에, 수신부(31)는 화자인 단말(6-a)로부터 화상데이터를 체크하고(스텝 S48), 단말(6-a)의 화상데이터가 인트라프레임인 경우, 단말(6-a)의 화상데이터를 디코더(21)에 입력하는 것을 종료하고, 단말(6-a)의 화상데이터를 미디어처리부에 건네주어 화자처리가 종료된다.

단말(6-a)의 화상데이터가 인트라프레임이 아닌 경우(인터프레임), 수신부(31)는 단말(6-a)의 화상데이터를 디코더(21)에 입력하고(스텝 S49), 참조화상메모리(22)에 일시 보관되어 있는 화상프레임을 근거로, 디코더(21)에 입력된 화상데이터의 화상코덱에 맞추어 복호화를 개시한다(스텝 S50).

복호화된 화상데이터를 인코더(23)에 입력하고, 화자 이외의 회의단말의 화상코덱에 맞추어 재부호화한다(스텝 S51).

재부호화할 때, 처음의 프레임을 인트라프레임으로 부호화하고, 그 이후는 인터프레임으로 부호화한다. 재부호화한 화상데이터를 미디어처리부(15)에 카피한다(스텝 S12).

미디어처리부(15)는 수신부(31)로부터 회의참가자의 음성데이터를 카피하고, 복호화하며, 화자 이외의 회의단말의 음성코덱에 맞추어 재복호화, 믹싱을 행한다. 각 회의단말의 코덱에 맞추어 믹싱된 음성데이터와 재부호화화상데이터를 송신부(32)에 카피한다. 송신부(32)는 미디어처리부(15)로부터 건네받은 화상, 음성데이터를 IP네트워크(4), 3G망(5)에서 전송할 수 있는 포맷으로 변환하여 화자 이외의 회의단말인 SIP단말(2-a ~ 2-c)과 단말(6-a ~ 6-c)에 전송한다(스텝 S53).

이와 같이, 본 실시예에서는, IP네트워크(4)와 이종망인 3G망(5)을 상호 접속할 수 있는 다지점회의장치(1)에 의해, SIP단말과 3G망의 단말로도 다지점회의를 행할 수 있다는 작용 효과를 얻을 수 있다.

본 실시예에 있어서, IP네트워크의 이종망으로서 3G망을 접속한다고 했지만, ISDN망, 인터넷서비스프로바이더망(ISP망), 공중교환전화망(PSTN)을 사용해도 된다.

또한, 화자검출 직후에 인트라프레임송신요구를 하고 있지 않지만, 제2실시예와 같이 화자검출 직후에 인트라프레임송신요구를 해도 된다. 예를 들어, 3G망의 단말인 경우, 다지점회의장치로부터 ITU-T준거H.245의 Video Fast Update 명령을 송신함으로써 인트라프레임의 송신을 요구해도 된다.

이상 본 발명을 상기 실시예에 따라 설명했으나, 본 발명은 상기 실시예의 구성에 한정되는 것이 아니라, 본 발명의 범위 내에서 당업자라면 이룰 수 있을 각종 변형, 수정을 포함하는 것은 물론이다.

Claims

복수의 단말과 통신접속하는 다지점회의장치에 있어서,

절환대상화자의 검출을 행하는 미디어처리부,

회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부, 및

상기 미디어처리부에서 절환대상화자를 검출했을 때에, 상기 절환대상화자의 화상을 복호화하고 그 복호화한 화상을 재부호화하는 화상처리부를 구비하고,

상기 미디어처리부에서 절환대상화자를 검출했을 때에, 상기 화상처리부는 화자 절환시의 화상프레임에 인트라프레임을 송신하는 것을 특징으로 하는 다지점회의장치.
복수개의 단말, 및 복수개의 단말과 접속하는 다지점회의장치를 갖추고, 화상 및 음성을 송수신하여 회의를 행하는 다지점회의시스템에 있어서,

상기 다지점회의장치는 제1항에 기재된 다지점회의장치에 의해 이루어지는 것을 특징으로 하는 다지점회의시스템.
제2항에 있어서,

상기 화상처리부가,

상기 미디어처리부에서의 절환대상화자검출결과에 근거하여, 상기 기억부에 유지되어 있는 상기 절환대상화자의 화상을 복호화하는 복호화부,

상기 복호화부에 의해, 상기 기억부에 보존되어 있는 상기 절환대상화자의 최후의 화상을 부호화하여 얻어지는 참조화상을 유지하는 참조화상기억부, 및

절환대상화자 검출 이후에 수신한 화상을 상기 참조화상기억부에 유지되어 있는 참조화상에 근거하여 상기 복호화부에 의해 복호화된 화상을 재차 부호화하는 부호화부를 구비하고,

절환대상화자 검출 이후에, 수신한 절환대상화자의 화상의 적어도 최초의 프레임을 인트라프레임으로 부호화하는 것을 특징으로 하는 다지점회의시스템.
제2항에 있어서, 상기 단말과 상기 다지점회의장치가 재송신 절차를 구비하지 않은 UDP(User Datagram Protocol)통신프로토콜을 사용하여 통신가능하게 되어 이루어지는 것을 특징으로 하는 다지점회의시스템.
제1항에 있어서,

상기 미디어처리부에서 절환대상화자를 검출했을 때, 화자 절환시의 화상프레임에 상기 화상처리부에서 재부호화된 인트라프레임을 송신하는 송신부를 구비하고 있는 것을 특징으로 하는 다지점회의장치.
제1항에 있어서, 상기 화상처리부에 있어서,

화자검출결과에 근거하여 상기 기억부에 유지되어 있는 상기 절환대상화자의 화상을 복호화하는 복호화부,

상기 복호화부에 의해 상기 기억부에 보존되어 있는 상기 절환대상화자의 최후의 화상을 복호화하여 얻어지는 참조화상을 유지하는 참조화상기억부, 및

절환대상화자 검출 이후에 수신한 화상을 상기 참조화상기억부에 유지되어 있는 참조 화상에 근거하여 상기 복호화부에 의해 복호화한 화상을 재차 부호화하는 부호화부를 가지고,

절환대상화자 검출 이후에 수신한 절환대상화자의 화상의 적어도 최초의 프레임을 인트라프레임으로 부호화하는 것을 특징으로 하는 다지점회의장치.
제2항에 있어서, 다지점회의시스템은 제1네트워크, 및 제1네트워크와 이종망인 제2네트워크를 접속하는 다지점회의시스템인 것을 특징으로 하는 다지점회의시스템.
제1항에 있어서, 상기 화상처리부에 있어서,

상기 미디어처리부에서의 절환대상화자검출결과, 절환대상화자인 단말의 코덱에 맞추어 화상을 기억하는 기억부,

상기 기억부에 유지되어 있는 상기 절환대상화자의 화상을 복호화하는 복호화부,

상기 복호화부에 의해 상기 기억부에 보존되어 있는 상기 절환대상화자의 최후의 화상을 복호화하여 얻어지는 참조화상을 유지하는 참조화상기억부, 및

절환대상화자 검출 이후에, 수신부에서 수신한 화상을 상기 참조화상기억부에 유지되어 있는 참조화상에 근거하여, 상기 복호화부에 의해 복호화한 화상을 재차 부호화하는 부호화부를 가지고,

절환대상화자 검출 이후에 상기 수신부에서 수신한 상기 절환대상화자의 화상의 적어도 최초의 프레임을 인트라프레임으로 부호화하고,

이종망에 접속하고 있는 복수개의 단말로부터 화상데이터가 송신되더라도 절환대상화자검출 이후에 상기 수신부에서 수신한 절환대상화자의 적어도 최초의 프레임을 인트라프레임으로 부호화하는 것을 특징으로 하는 다지점회의장치.
절환대상화자를 검출하는 미디어처리부, 및 절환대상화자 검출 이후에, 수신부에서 수신한 상기 절환대상화자의 화상을 인트라프레임으로 부호화하는 화상처리부를 가지고, 회의에 참가하고 있는 상기 절환대상화자 이외의 단말에 인트라프레임을 송신함으로써 화자 화상을 절환하는 다지점회의장치의 화자절환방법으로,

미디어처리부가 절환대상화자를 검출한 후, 수신부가 수신하고 있는 절환대상화자의 화상이 인트라프레임인지 여부를 판정하는 공정,

인트라프레임이라고 검출된 경우, 화상처리부가 수신한 절환대상화자의 화상을 부호화하지 않고 수신한 절환대상화자의 인트라프레임을 송신하는 공정, 및

상기 절환대상화자의 화상이 인트라프레임이 아니라고 검출된 경우, 화상처리부가 수신한 절환대상화자의 화상을 인트라프레임으로 부호화하는 공정을 포함하는 것을 특징으로 하는 화자절환방법.
삭제
제9항에 있어서, 상기 다지점회의장치에 있어서,

화상처리부가 절환대상화자 검출 이후에 수신부에서 수신한 절환대상화자의 화상을 인트라프레임에서 부호화함으로써 회의에 참가하고 있는 상기 절환대상화자 이외의 단말에 인트라프레임을 송신하여 화자 화상을 절환 제어하고, 이종망에 접속하고 있는 복수개의 단말로부터 화상데이터의 코덱이 송신되더라도 절환대상화자검출 이후에 상기 수신부에서 수신한 절환대상화자의 적어도 최초의 프레임을 인트라프레임으로 부호화하는 것을 특징으로 하는 화자절환방법.
삭제
제9항에 있어서, 복수의 단말과 접속하는 상기 다지점회의장치가 절환대상화자를 검출하는 공정과,

상기 다지점회의장치가 상기 절환대상화자 검출 후 수신한 화상데이터를 복호화하여 재부호화 함에 있어, 처음의 화상을 인트라프레임으로서 재부호화하고, 다음 이후는 인터프레임으로 재부호화하여 절환대상화자 이외의 단말에 화상데이터를 송신하는 공정을 포함하고, 절환대상화자 이외의 상기 단말은 화자 절환시 인트라프레임으로부터 복호화하는 것을 가능하게 하여 이루어지는 것을 특징으로 화자절환방법.
제1항에 있어서,

상기 화상처리부가 상기 절환대상화자 검출 후 수신한 화상데이터를 복호화하여 재부호화 함에 있어, 처음의 화상을 인트라프레임으로서 재부호화하고, 다음 이후는 인터프레임으로 재부호화하여 절환대상화자 이외의 단말에 화상데이터를 송신하고,

절환대상화자 이외의 상기 단말로 하여금 화자 절환 시에 인트라프레임으로부터 복호화하는 것을 가능하게 하는 것을 특징으로 하는 다지점회의장치.
제1항에 있어서, 통신 접속하는 단말로부터의 패킷을 수신하는 수신부,

송신 패킷을 송신하는 송신부,

호출처리를 행하는 호출처리부,

회의참가자 정보의 관리를 행하는 회의제어부, 및

회의에 참가하고 있는 단말로부터의 화상데이터를 단말에 대응시켜 축적하는 기억부를 구비하고,

상기 화상처리부는 복호화부, 참조화상기억부, 및 부호화부를 구비하고,

상기 회의제어부는 상기 미디어처리부로부터 화자검출결과를 통지받은 경우에 화자 절환을 위한 처리개시통지를 상기 화상처리부에 통지하고,

상기 화상처리부는 상기 회의제어부로부터 상기 화자 절환을 위한 처리 개시 통지를 수신하면, 상기 기억부에 축적되어 있는 단말로부터의 화상데이터 중 절환대상화자의 축적화상데이터를 상기 기억부로부터 카피하고 상기 복호화부에서 복호화하여, 마지막으로 복호화된 화상을 참조화상으로서 상기 참조화상기억부에 축적하고, 나아가, 상기 수신부로부터 절환대상화자의 화상데이터를 받아 상기 화상데이터가 인트라프레임이 아닌 경우, 상기 화상데이터는 상기 복호화부에 입력되고, 상기 복호화부에서는 상기 참조화상기억부에 축적되어 있는 상기 참조화상을 근거로, 복호화처리를 행하고, 그 복호화된 화상데이터를 상기 부호화부에서 재부호화하고, 그 재부호화된 화상데이터를 상기 미디어처리부에 건네주고,

상기 미디어처리부는 상기 재부호화된 화상데이터를 화자 이외의 단말에 송신하도록 믹싱하여 상기 송신부에 건네주고,

상기 송신부는 상기 미디어처리부로부터의 화상데이터를 패킷화하여 상기 단말에 송신하는 것을 특징으로 하는 다지점회의장치.
제15항에 있어서, 상기 미디어처리부에서의 절환대상화자의 검출로부터 상기 화상처리부에서 상기 참조화상을 상기 참조화상기억부에 보존하기까지의 사이, 상기 수신부는 절환대상화자의 단말로부터 수신한 화상데이터를 체크하고, 상기 화상데이터가 인트라프레임인 경우, 상기 화상데이터의 상기 복호화부로의 입력을 종료하고, 상기 화상데이터는 상기 미디어처리부에 건네주어 화자절환처리가 종료되는 것을 특징으로 하는 다지점회의장치.
제9항에 있어서,

회의에 참가하고 있는 단말로부터의 화상데이터를 기억부에 기억하는 공정,

절환대상화자의 검출을 행하는 공정,

절환대상화자 검출시, 상기 기억부에 기억되어 있는 절환대상화자의 화상데이터를 복호화하고, 마지막으로 복호화된 화상을 참조화상으로서 참조화상기억부에 축적하는 공정,

절환대상화자 검출 이후, 절환대상화자의 단말로부터 수신한 화상데이터가 인트라프레임인지 여부를 판정하는 공정,

인트라프레임이 아닌 경우, 상기 참조화상기억부에 축적되어 있는 상기 참조 화상을 근거로, 상기 화상데이터의 복호화 처리를 행하고, 이 복호화된 화상데이터를 재부호화하고, 그 때, 화자 절환 시의 상기 절환대상화자의 단말로부터의 최초 화상데이터는 인트라프레임으로써 재부호화하고, 상기 재부호화된 화상데이터를 절환대상화자 이외의 회의에 참가하고 있는 단말에 송신하는 공정, 및

인트라프레임인 경우, 상기 절환대상화자의 단말로부터 수신한 인트라프레임을 절환대상화자 이외의 회의에 참가하고 있는 단말에 송신하는 공정을 포함하는 것을 특징으로 하는 화자절환방법.
제9항에 있어서, 화자 절환 시에, 절환대상화자의 단말로부터 수신한 부호화된 화상데이터를 복호화하는 제1공정, 및

상기 복호화된 화상데이터를 재부호화하는 제2공정을 포함하고,

상기 제2공정에서는 재부호화에 즈음하여 화자 절환시의 절환대상화자의 단말로부터의 최초화상데이터를 인트라프레임에 부호화하고,

화자 절환시, 절환대상화자 이외의 회의에 참가하고 있는 단말에 인트라프레임을 송신하는 것을 특징으로 하는 화자절환방법.
제2항에 있어서, 상기 화상처리부는 화자 절환시에, 절환대상화자의 단말로부터 송신된 부호화 화상데이터를 복호화하는 복호화수단, 및

상기 복호화된 화상데이터를 재부호화하는 부호화수단을 구비하고,

상기 부호화 수단은 재부호화에 즈음하여 화자 절환시의 절환대상화자의 단말로부터의 최초의 화상데이터를 인트라프레임에 부호화하고,

화자 절환시, 절환대상화자 이외의 회의에 참가하고 있는 단말에 인트라프레임을 송신하는 것을 특징으로 하는 다지점회의시스템.