KR20070018029A

KR20070018029A - 다지점 회의 시스템 및 다지점 회의 장치

Info

Publication number: KR20070018029A
Application number: KR1020067018300A
Authority: KR
Inventors: 고이치 마쓰모토; 가즈노리 오자와
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2004-03-25
Filing date: 2005-03-22
Publication date: 2007-02-13
Also published as: EP1732323A1; EP1732323B1; DE602005018753D1; US7667729B2; CN1934861A; EP1732323A4; JPWO2005094077A1; KR100906687B1; US20080218584A1; WO2005094077A1

Abstract

회의 단말로서 SIP단말의 이용이 가능한 다지점 회의 시스템 및 다지점 회의 장치에 있어서, 화자를 검출했을 때에, 인트라 프레임의 송신을 회의 단말에 요구하지 않고, 선명하고 원활한 화자 절환을 행하는 것을 가능하게 하는 시스템을 제공한다.

본 발명의 다지점 접속 장치는, 회의에 참가하고 있는 회의 단말로부터의 화상 데이터를 메모리(13)에 축적해 두고, 미디어 처리부(15)에서 화자를 검출하면,메모리(13)에 축적된 화자의 화상 데이터를 복호화하고 그 복호화 된 화상을 재부호화하는 화상 처리부를 구비한다. 화자 절환시, 화상 처리부는 처음의 화상을 인트라 프레임으로서 재부호화하고, 화자 이외의 회의 단말에 화상 데이터를 송신함으로써, 화자 이외의 회의 단말은, 인트라 프레임으로부터 복호화할 수 있으며, 화자 절환을 선명하고 원활하게 행할 수 있다.

인트라 프레임, 화자 절환, 다지점회의시스템, SIP단말

Description

다지점 회의 시스템 및 다지점 회의 장치{Multi-point conference system and multi-point conference device}

본 발명은 다지점간 통신 시스템에 관하며, 특히, 다지점 회의 시스템 및 다지점 회의 장치에 관한 것이다.

종래의 다지점 회의 시스템에 있어서는, 회의에 참가하고 있는 복수의 회의 단말로부터 화자를 검출하는 방법으로써,

(1) 다지점 회의 장치가 화자를 검출함,

(2) 회의 단말이 다지점 회의 장치에 자기단말이 화자라고 통지함,

중 어느 하나의 방법이 이용되고 있다.

상기 (1), (2)중 어느 하나의 방법에 있어서도, 화자를 특정한 다지점 회의 장치는, 이대로 화자를 절환했을 경우, 인터(Inter) 프레임(프레임간 부호화된 프레임)의 도중에 절환하는 상태가 되기 때문에, 화자 이외의 회의 단말은, 인트라(Intra) 프레임(프레임내 부호화된 프레임)을 수신하기 까지는, 스무드(원활)한 화자 절환을 행할 수가 없다.

그 때문에, 화자 화상을 절환하기 위해서, 화자인 회의 단말에 대해, 인트라 프레임의 송신 또는 재송 요구를 행하고 있다.

종래의 다지점 회의 시스템의 일례로서, 회의 단말이, 다지점 회의 장치에 자기단말이 화자라고 통지하는 시스템으로서 특허문헌 1이 참조된다. 이 시스템은, 다지점에 배치된 복수의 회의 단말과 다지점간의 통신제어장치(다지점 회의 장치)를 구비하여 구성되어 있다. 종래의 다지점 회의 시스템은 이하와 같이 동작된다.

(A1) 다지점 회의 장치는, 임의의 회의 단말로부터 화자 절환을 요구받으면, 요구한 회의 단말에 대하여, 인트라 프레임을 송신 또는 재송하도록 요구를 행하고, 회의에 참가하고 있는 다른 회의 단말에 대해서는, 다지점 회의 장치가 송신하는 인트라 프레임을 수신하기까지, 각 회의 단말이 표시하고 있는 현재의 화상을 정지(freeze)하도록 요구한다.

(A2) 그리고, 다지점 회의 장치로부터 인트라 프레임 송신 요구를 수신한 회의 단말은, 다지점 회의 장치에 대하여, 인트라 프레임을 송신한다. 한편, 다지점 회의 장치로부터 정지 요구를 수신한 회의 단말은, 인트라 프레임을 수신하기까지, 표시하고 있는 현재 화상을 정지시킨다.

(A3) 화자인 회의 단말로부터 인트라 프레임을 수신한 다지점 회의 장치는, 다른 회의 단말에 대하여, 인트라 프레임을 송신하고, 인트라 프레임을 수신한 화자 이외의 회의 단말은 화상 정지를 해제하고, 인트라 프레임에 의해, 화상을 절환한다.

이와 같이, 종래의 다지점 회의 시스템에서는,

화자인 회의 단말에, 다지점 회의 장치로부터 인트라 프레임 송신 요구를 송 신하고,

화자인 화의 단말로부터 인트라 프레임을 다지점 회의 장치로 송신함으로써, 다지점 회의 장치가, 화자 절환을 가능하게 하고 있다.

또한, 다지점 회의 시스템에 관련된 간행물로서, 예를들어 후기 특허 문헌2에는, 회의 단말의 각각으로부터의 다중화된 데이터 중에서 비디오 데이터의 픽처 헤더를 검출하여 프레임내 부호화된 인트라 프레임 비디오 데이터만을 추출하고, 추출된 인트라 프레임 비디오 데이터를 합성하는 다지점 제어장치가 개시되어 있다. 또한 후기 특허문헌 3에는, 위화감이 없는 화상, 음성의 절환을 실현하는 다지점 비디오 회의 제어장치가 개시되어 있다. 이 특허문헌 3에는, 영상 데이터의 인트라 프레임을 검출하여 인트라 프레임 검출 정보를 생성하고, 생성된 인트라 프레임 검출 정보를 기초로, 대표화자로 선정된 단말의 영상 데이터로 절환하는 구성이 개시되어 있다. 더욱이, 후기 특허문헌 4에는, 현재의 화자를 정확히 판별할 수 있도록 한 다지점간 통신 시스템이 개시되어있다.

특허문헌1 : 특개평02-274084호 공보(제3페이지, 제1도)

특허문헌2 : 특개2001-69474호 공보(제3페이지, 제1도)

특허문헌3 : 특개2002-176503호 공보(제3페이지, 제1도)

특허문헌4 : 특개평08-331535호 공보(제2~3페이지, 제1도)

그러나, 상기한 종래의 시스템은 하기에 기재된 문제점을 가지고 있다.

제1 문제점은, 회의 단말로서 SIP단말을 이용하는 경우, 선명하게 화자 화면으로 절환할 수가 없다고 하는 것이다.

그 이유는, SIP단말은, IETF표준REC3261(2543)으로 규정된 SIP(Session Initiation Protocol)를 호출처리에 사용하여, IP네트워크상에서, 리얼타임으로, 쌍방향 멀티미디어 통신을 행하는 단말이지만, 미디어 전송용으로 리얼타임 전송을 서포트하는 RTP(Real-time Transport Protocol)나, 재송 절차를 가지지 않는 UDP(User Datagram Protocol)를 사용하고 있다.

이 때문에, 화상의 재송 요구를 서포트하고 있지 않다. 따라서, 다지점 회의 장치가 화자 절환을 위해, SIP단말에 인트라 프레임을 요구할 수가 없으며, 인트라 프레임이 재송되지 않기 때문에, 선명한 화자의 절환이 불가능하기 때문이다.

제2 문제점은, 원활하게 화자를 절환하기 까지 시간이 걸리는 것이다.

그 이유는, 다지점 회의 장치가 화자 절환을 행하더라도, 전 화자인 SIP단말로부터 송신되는 인트라 프레임의 도중에 절환하는 상태가 되기 때문에, 화자인 SIP단말로부터 인트라 프레임이 송신되며, 화자 이외의 SIP단말이 인트라 프레임을 수신하기 까지 선명하게 화자 절환을 할 수 없기 때문이다.

따라서, 본 발명의 목적은, 회의 단말로서 SIP단말을 이용하는 경우에 있어서도, 선명하게 화자 화면으로 절환이 가능한 다지점 회의 시스템 및 다지점 회의 장치를 제공함에 있다.

본 발명의 다른 목적은, 원활하게 화자를 절환할 수 있는 다지점 회의 시스템 및 다지점 회의 장치를 제공함에 있다.

본원에서 개시되는 발명은, 상기 목적을 달성하기 위해, 개략 이하와 같이 구성된다.

본 발명은, 재송 요구 기능을 서포트하고 있지 않는 SIP(Session Initiation Protocol)단말이 참가 가능한 다지점 회의 시스템에 적용하는 것으로, 화자 절환 시에 절환 대상 SIP단말로부터의 화상 데이터를, 다지점 회의 장치에 처리함으로써, 절환 시의 제일 처음 화상 데이터로서, 인트라(Intra)프레임을, 다른 회의에 참가하고 있는 SIP단말로 송신함으로써, SIP단말에서 표시되는 화자의 화상절환 시의 화상이 흐트러지지 않고, 원활하게, 화자 절환을 가능하게 한 것이다.

본 발명의 일면에 관한 시스템은, 복수의 단말과, 복수의 단말과 접속하는 다지점 회의 장치를 구비하고, 화상 및 음성을 송수신하여 회의를 행하는 다지점 회의 시스템에 있어서, 상기 다지점 회의 장치가, 화자의 검출을 행하는 미디어 처리부와, 회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부와, 상기 미디어 처리부에서 화자를 검출한 때에, 상기 화자의 화상을 복호화하고 그 복호화한 화상을 재부호화하는 화상처리부를 구비하고, 상기 미디어 처리부에서 화자를 검출했을 때, 상기 화상처리부는, 화자 절환 시의 화상 프레임에 인트라 프레임을 송신한다.

본 발명에 있어서, 상기 화상처리부가, 상기 미디어 처리부에서의 화자 검출 결과에 근거하여, 상기 기억부에 유지되어 있는 화자의 화상을 복호화하는 복호화부와, 상기 복호화부에 의해, 상기 기억부에 보존되어 있는 화자의 최후의 화상을 복호화하여 얻어지는 참조 화상을 유지하는 참조 화상 기억부와, 화자 검출 이후에 수신된 화상을, 상기 참조 화상 기억부에 유지되어 있는 참조 화상에 근거하여, 상기 복호화부에 의해 복호화한 화상을 재차 부호화하는 부호화부를 가지고, 화자 검출 이후에, 수신된 화자의 화상의 적어도 최초 프레임을, 인트라 프레임으로 부호화하는 구성으로 된다.

본 발명의 다른 면에 관한 방법은, 화자 절환 검출 후, 화자 절환 처리 수단에 의해, 화자검출 이후에 수신된 화상 데이터를 복호화/재부호화 할 때, 처음의 화상을 인트라 프레임으로서 재부호화하고, 다음 이후는, 인트라 프레임으로 재부호화하여 화자 이외의 SIP 단말에 화상 데이터를 송신한다. 이에 의해, 화자 이외의 SIP단말은 화자 절환시, 인트라 프레임으로부터 복호화 할 수가 있다.

본 발명에 의하면, 화자 절환시에 인트라 프레임을 송신함으로써, 화자의 화상으로 절환할 때에 화상이 흐트러지지 않고, 원활하게 절환을 행할 수 있다.

그 이유는, 본 발명에 있어서는, 화자검출 이후에 수신된 화상데이터를 복호화/재부호화 할 때, 처음의 화상을, 인트라 프레임으로서 재부호화하고, 다음 이후는, 인트라 프레임으로 재부호화하여, 화자 이외의 SIP단말에 화상데이터를 송신하기 때문이다.

본 발명에 의하면, 회의단말(소프트)에 의존하지 않고, 원활하게 화자의 화상을 절환할 수 있다.

그 이유는, 본 발명에 있어서는, 회의 시스템 장치에서, 화상 절환 처리를 행하기 때문이다.

본 발명에 의하면, 리얼타임 통신(RTP)에서도 원활한 화자화상의 절환이 가능하다.

그 이유는, 본 발명에 있어서는, 인트라 프레임의 송신을 요구하지 않기 때문에, 화자 검출 후, 즉시 화자 절환 처리를 행할 수 있기 때문이다.

도 1은 본 발명의 제1실시형태의 시스템 구성을 나타내는 도이다.

도 2는 본 발명의 제1실시형태의 다지점 회의 장치의 구성을 나타내는 도이다.

도 3은 본 발명의 제1실시형태에 있어서의 화자 절환 처리의 동작을 설명하기 위한 플로차트이다.

도 4는 본 발명의 제2실시형태에 있어서의 화자 절환 처리의 동작을 설명하기 위한 플로차트이다.

도 5는 본 발명의 제3실시형태의 시스템 구성을 나타내는 도이다.

도 6은 본 발명의 제3실시형태의 다지점 회의 장치의 구성을 나타내는 도이다.

도 7은 본 발명의 제3실시형태에 있어서의 화자 절환 처리의 동작을 설명하기 위한 플로차트이다.

*도면의 주요부분에 대한 부호의 설명*

1 : 다지점 회의 장치 2-a~2-c : SIP단말

3 : SIPproxy서버 4 : IP네트워크

5 : 3G망 6-a~6-c : 단말

11 : RTP수신부 12 : 호출처리부

13 : 메모리 14 : 회의 제어부

15 : 미디어 처리부 16 : RTP송신부

20 : 화상처리부 21 : 디코더(복호화부)

22 : 참조 화상 메모리 23 : 인코더(부호화부)

31 : 수신부 32 : 송신부

본 발명을 실시하기 위한 최선의 형태에 대해서 첨부의 도면을 참조하여 이하에 상세히 설명한다. 도 1은, 본 발명의 실시형태의 구성을 나타내는 도이다.

도 1을 참조하면, 본 발명의 제1실시형태에 관한 시스템은, 다지점 회의 장치(1)와, SIP단말(2-a~2-c)과, SIPproxy서버(SIP대리서버)(3)와, 이들 장치를 접속하는 IP네트워크(4)로 구성되어 있다. 도1에 있어서, 다지점 회의 장치(1)는, 미디어 데이터의 송수신과 화자 절환을 행한다. SIP단말(2-a~2-c)은, 자단말의 화상ㆍ음성데이터를 다지점 회의 장치(1)에 송신하고, 다지점 회의 장치(1)로부터 수신되는 화자의 화상ㆍ음성데이터를, 디바이스에 출력한다.

SIPproxy서버(3)는, SIP단말(2-a~2-c)과 다지점 회의 장치(1)의 사이의 SIP프로토콜을 중계한다.

도 2는, 도1의 다지점 회의 장치(1)의 구성을 나타내는 도이다. 다지점 회의 장치(1)는, RTP수신부(11)와, 호출처리부(12)와, 메모리(13)와, 회의 제어부(14)와, 미디어 처리부(15)와, RTP송신부(16)와, 화상처리부(20)를 구비하고 있다. 화상처리부(20)는, 디코더(복호화부)(21)와, 참조 화상메모리(22)와, 인코더 (부호화부)(23)를 포함한다.

도 2에 있어서, RTP수신부(11)는, SIP단말(2-a)로부터의 RTP/UDP/IP패킷을 수신하고, RTP페이로드부를 추출한다.

추출한 RTP페이로드부가, SIP프로토콜인 경우에는, 호출처리부(12)에, RTP페이로드를 건네주고, 미디어데이터인 경우에는, 미디어 처리부(15)에 RTP페이로드를 건네준다.

호출처리부(12)는, 세션의 호출처리를 행하고, 호출처리의 가부결과를, RTP송신부(16)에 통지한다.

또한, 회의참가자의 IP어드레스, 미디어 수신 포트를 회의 제어부(14)에 통지한다.

미디어 처리부(15)는, 회의에 참가하고 있는 SIP단말(2-a~2-c)에 대하여, 자단말 이외의 SIP단말로부터 송신되어 오는 미디어를 믹스한다. 동시에, 화자의 검출도 행하며, 화자 검출 결과를 회의 제어부(14)에 통지한다.

회의 제어부(14)는, 회의 잠가자의 IP어드레스, 미디어 수신 포트 등의 회의 참가자 정보의 관리를 행한다.

또한, 미디어 처리부(15)에서 화자 검출 결과를 통지받은 경우에는, 화자 절환을 위한 처리 개시 통지를, 화상처리부(20)에 통지한다.

화상처리부(20)는, 회의 제어부(14)로부터, 화자 절환 처리 개시 통지를 수신하면, 메모리(13)에 축적되어있는 각 SIP단말로부터의 화상 RTP패킷 데이터 중, 절환 대상자의 데이터를 메모리(13)로부터 카피한다.

메모리(13)는, 회의에 참가하고 있는 SIP단말(2-a~2-c)로부터의 화상 RTP패킷을 각 단말마다 축적한다.

화상처리부(20)는, 메모리(13)으로부터 카피한 화자 절환 대상자의 화상 데이터를, 디코더(21)로 복호화 한다.

마지막으로, 복호화 된 화상을 참조 화상 메모리(22)에 축적한다.

그 후, 디코더(21)는, RTP수신부(11)로부터, 화자 절환 대상자의 화상RTP데이터를 직접 카피하고, 참조 화상 메모리(22)에 축적되어 있는 참조 화상을 근거로, 복호화 처리를 행하며, 복호화상을, 인코더(23)에 건네준다.

인코더(23)는, 디코더(21)에서 복호화 된 화상을 재부호화하여, 재차 부호화된 화상데이터를, 미디어 처리부(15)에 카피한다.

미디어 처리부(15)는, 인코더(23)로부터 카피된 재부호화 화상을, 화자 이외에 송신하도록 믹싱하고, RTP송신부(16)에 카피한다.

RTP송신부(16)는, 미디어 처리부(15)로부터 건네받은 미디어 데이터를, RTP/UDP/ IP 패킷화하여, SIP단말(2-a~2-c)로 송신한다.

또한, RTP송신부(16)는, 호출처리부(12)로부터 SIP프로토콜을 송신하도록 요구받은 경우, SIP프로토콜을, RTP/UDP/IP 패킷화하여, 대상 SIP단말(2-a~2-c)로 송신한다.

도 3은, 본 발명의 실시형태의 동작을 설명하기 위한 흐름도이다. 다음으로, 도 3의 플로차트를 사용하여, 본 실시형태의 다지점 회의 장치의 화자 절환 처리 동작에 대해서 상세히 설명한다.

먼저, 미디어 처리부(15)는, 새로이 화자가 검출되는지 항상 체크를 행한다(스텝S1).

미디어 처리부(15)에서 화자가 검출되지 않은 경우, RTP수신부(11)에서는, 현 시점에서, 화자 이외의 회의 참가자의 화상RTP헤더를 각각 체크한다(스텝S2).

현 시점에서 화자 이외의 회의 잠가자의 각각의 화상RTP헤더를 체크하여, 회의 참가자인 SIP단말(2-a)의 화상RTP헤더가 인트라 프레임이 아닌 경우(인터 프레임)에는, RTP수신부(11)은, SIP단말(2-a)의 화상RTP페이로드를, 메모리(13)에 카피한다(스텝S4).

RTP수신부(11)는, SIP단말(2-a)의 화상RTP헤더가 인트라 프레임인 경우에는, SIP단말(2-a)용 메모리(13)에 카피되어 있던 화상 RTP페이로드를 클리어하고(스텝S3), 화상RTP페이로드를, 메모리(13)에 카피한다(스텝S4)

미디어 처리부(15)에서 SIP단말(2-a)이 화자로 검출된 경우(스텝S1의 YES분기), 화상처리부(20)는, 메모리(13)에 축적되어 있는 SIP단말(2-a)의 화상 RTP페이로드의 데이터를, 디코더(21)에 입력한다(스텝S5).

디코더(21)는, 입력된 화상 데이터를 복호화하고(스텝S6), 마지막으로 복호화한 화상 프레임을, 참조 화상 메모리(22)에 일시 보존한다(스텝S7).

화자 검출에서 참조 화상을 참조 화상 메모리(22)에 보존하기까지의 사이, RTP수신부(11)는, 화자인 SIP단말(2-a)로부터의 화상RTP헤더를 체크하여(스텝S8), SIP단말(2-a)의 화상 RTP헤더가 인트라 프레임인 경우, SIP단말(S-a)의 화상 RTP페이로드를 디코더(21)에 입력하는 것을 종료하고, SIP단말(2-a)의 화상 RTP페이로드 를 미디어 처리부(15)에 건네주어 화자 절환 처리가 종료된다.

SIP단말(2-a)의 화상RTP헤더가 인트라 프레임이 아닌 경우(인터프레임), RTP수신부(11)는, SIP단말(2-a)의 화상 RTP페이로드를 디코더(21)에 입력한다(스텝S9).

디코더(21)는, 참조 화상 메모리(22)에 일시 보존되어 있는 화상 프레임을 근거로, 입력된 화상 RTP페이로드의 복호화를 개시한다(스텝S10).

복호화된 화상데이터는, 인코더(23)에 입력하여, 재차 부호화한다(스텝S11).

인코더(23)는, 재부호화 할 때, 처음의 프레임을 인트라 프레임에 부호화하고, 그 이후는, 인터 프레임에 부호화 한다. 재부호화한 화상 데이터를 미디어 처리부(15)에 카피한다(스텝S12).

미디어 처리부(15)는, RTP수신부(11)로부터 회의 참가자의 모든 음성RTP페이로드를 카피하여 믹싱한다. 믹싱된 음성 RTP페이로드와 재부호화 화상데이터를 RTP송신부(16)에 카피한다. RTP송신부(16)은, 미디어 처리부(15)로부터 건네받은 화상과 음성 데이터를 RTP/UDP/IP 패킷화하여, 화자 이외의 SIP단말(2-b, 2-c)로 송신한다(스텝13).

하나의 화상 프레임을, 디코더(21)에 건네준 RTP수신부(11)는, 다음으로 수신된 화자인 SIP단말(2-a)의 화상RTP헤더를 체크한다(스텝S8).

화자의 화상 RTP헤더가 인트라 프레임이 아닌 경우(인터프레임), 화자 절환의 처리를 계속하고(스텝S9~S13), 한편, 인트라 프레임인 경우에는, SIP단말(2-a)의 화상 RTP페이로드를 디코더(21)에 입력하는 것을 종료하고, SIP단말(2-a)의 화 상 RTP페이로드를, 미디어 처리부(15)에 건네주어 화자 절환 처리가 종료된다.

다음으로, 본 발명의 제2실시형태에 대해서 도를 참조하여 상세히 설명한다.

본 발명의 제2실시형태의 구성은, 상기 제1실시형태의 구성과 같지만, 미디어 처리부(15)가 화자를 검출한 경우, 미디어 처리부(15)로부터의 지시에 의해, RTP송신부(16)가, 화자인 SIP단말(2-a)로, 인트라 프레임 송신 요구를 의미하는 정보를 포함한 SIP방식(예를들면, INFO방식)을 송신하는 제어를 행하는 점에서, 상기 제1실시형태와 서로 다르다.

미디어 처리부(15)는, 화자를 검출한 경우, 화자 검출 결과를, 회의 제어부(14)에 통지한다. 동시에, 미디어 처리부(15)는, RTP송신부(16)에 인트라 프레임 송신요구를 화자에게 송신하도록 통지한다.

RTP송신부(16)은, 인트라 프레임 송신 요구를 의미하는 정보를 포함한 INFO방식을 화자인 SIP단말(2-a)에 송신한다.

INFO방식을 수신한 SIP단말(2-a)는, 요구 정보에 의해, 다음으로 송신하는 화상 프레임을 인트라 프레임으로서 부호화하여, 인트라 프레임인 화상 패킷을 다지점 회의 장치(1)에 송신한다. 이 이후의 동작은, 상기 제1실시형태와 마찬가지이다.

도 4는, 본 발명의 제2실시형태의 동작을 설명하기 위한 플로차트이다. 도 4를 참조하여, 본 실시형태의 다지점 회의 장치(1)의 화자 절환 처리 동작에 대하여 상세히 설명한다.

도 4의 플로차트의 스텝 S21, S22, S23, S24는, 도3의 플로차트의 스텝 S1, S2, S3, S4의 동작과 동일하므로, 설명은 생략한다.

SIP단말(2-a)이 화자로 검출된 경우(스텝S21), RTP송신부(16)에 인트라 프레임 송신 요구를 화자에게 송신하도록 통지하고, RTP송신부(16)는, 인트라 프레임 송신 요구 정보를 포함한 INFO방식을 화자인 SIP단말(2-a)에 송신한다(스텝S25).

INFO방식을 화자 SIP단말(2-a)에 송신한 후의 절차인, 스텝S26~S34는, 상기 제1실시형태의 도 3의 스텝S5~S13의 동작과 마찬가지이므로 설명을 생략한다.

이와 같이, 본 실시형태에서는, 화자 검출 직후에, 인트라 프레임 송신 요구를 하고 있으므로, 상기 제1실시형태와 같이, 화자인 회의 단말로부터 인트라 프레임이 송신되기까지, 화자 절환 처리를 계속하는 일이 없기 때문에, 보다 원활하게 화자 화상을 절환할 수 있다는 작용효과를 가져온다.

본 실시형태에 있어서, SIP방식으로서, INFO방식을 사용하였으나, 다른 SIP방식을 사용해도 된다. 또한, 인트라 프레임 송신 요구에 SIP방식을 사용했지만, 인트라 프레임 송신 요구를 의미하는 다른 명령을 사용해도 된다.

또한, 본 실시형태에 있어서, 회의 단말은 인트라 프레임 송신 요구를 수신하면, 인트라 프레임을 송신하는 것으로 되어 있지만, 인트라 프레임 송신 요구에 대응하고 있지 않아도 된다.

다음으로, 본 발명의 제3실시형태에 대해서 도를 참조하여 상세히 설명한다.

도 5, 도 6은, 본 발명의 제3실시형태의 구성을 나타내는 도이다. 본 실시형태는, 도 1에 나타낸 상기 제1실시형태의 시스템 구성에 더하여, 3G망(5)과, 단말(6-a~6-c)를 가진다. 또한, 도 2에 나타낸 제1실시형태의 다지점 회의 장치의 기 능블록에 있어서, RTP수신부(11)와, RTP송신부(16)를, 각각 수신부(31)와, 송신부(32)로 치환했다는 점에서 서로 다르다.

도 5에 있어서, 단말(6-a~6-c)은, 화상 및 음성의 통신이 가능한 제3세대전화(3G-324M)이고, 3G망(5)은, 단말(6-a~6-c)이 접속하는 네트워크이다.

다지점 회의 장치(1)는, IP네트워크(4)와 3G망(5)의 이종망 접속을 행함으로써, SIP단말(2-a~2-c)과 단말(6-a~6-c)으로 다지점 회의를 행한다.

도 6에 있어서, 수신부(31)는 단말(6-a)로부터 데이터를 수신하여 데이터를 추출한다. 추출된 데이터가, 호출접속 Q.931인 경우에는, 호출처리부(12)에 데이터를 건네주고, 미디어 데이터인 경우에는, 미디어 처리부(15)에 데이터를 건네준다.

호출처리(12)는, 호출접속 처리를 행하고, 호출처리 결과를 송신부(32)에 통지한다.

또한, 회의참가자인 단말 6-a의 전화번호, 사용자ID 등을 회의 제어부(14)에 통지한다.

미디어 처리부(15)는, 회의에 참가하고 있는 SIP단말(2-a~2-c)과, 단말(6-a~6-c)에 대하여, 자단말 이외의 회의 단말로부터 송신되는 미디어를 믹스하지만, SIP단말(2-a~2-c)과 단말(6-a~6-c)에서 사용하고 있는 화상, 음성의 코덱이 다른 경우에는, 미디어 처리부(15)에 있어서, 한 번, 미디어 데이터를 복호화하여, 각 회의 단말의 코덱에 맞추어, 재부호화, 믹싱을 행한다.

미디어 처리부(15)는, 동시에, 화자 검출을 행하고, 화자 검출 결과를 회의 제어부(14)에 통지하고 나서, 메모리(13)가 각 회의 단말로부터의 화상 데이터를 축적하는 동작은, 제1실시형태의 도 2의 동작과 같으므로 설명은 생략한다.

화상 처리부(20)는, 메모리(13)로부터 카피한 화자 절환 대상의 화상 데이터를, 화자인 단말이 사용하고 있는 화상 코덱에 맞추어, 디코더(21)로 복호화 한다.

마지막으로 복호화된 화상을 참조 화상 메모리(22)에 축적하고 나서, 복호 화상을 인코더(23)에 건네주는 동작은 상기 제1실시형태의 도 2의 동작과 같으므로 설명은 생략한다.

인코더(23)는, 디코더(21)에서 복호화 된 화상을 재부호화하지만, 화자 이외의 회의 단말의 화상 코덱에 맞추어 재부호화하고, 재부호화 된 화상 데이터를 미디어 처리부(15)에 카피한다. 미디어 처리부(15)는, 인코더(23)로부터 카피된 화자 이외의 회의 단말의 화상 코덱에 맞는 재부호화 화상을 해당하는 회의 단말에 송신하도록 믹싱하여, 송신부(32)에 카피한다.

송신부(32)는, 미디어 처리부(15)로부터 건네받은 미디어 데이터를 IP네트워크(4)와 3G망(5)의 미디어 포맷에 맞추어, SIP단말(2-a~2-c)와 단말(6-a~6-c)에 송신한다. 또한, 호출처리(12)로부터 통지된 호출처리 결과를 근거로, 호출처리Q.931에서 대상의 단말(6-a~6-c)에 송신한다.

SIP단말(2-a~2-c)의 경우는, 상기한 제1실시형태의 동작(도2 참조)와 같으므로 설명은 생략한다.

다음으로, 도 7의 플로차트를 사용하여, 본 실시형태의 다지점 회의 장치(1)의 화자 절환 처리 동작에 대해서 상세히 설명한다.

먼저, 미디어 처리(15)는 새로이 화자가 검출되는지 항상 체크를 행한다(스 텝S41).

화자가 검출되지 않은 경우, 수신부(31)는, 현 시점에서 화자 이외의 회의 참가자의 화상데이터를 각각 체크한다(스텝S42). 현 시점에서, 화자 이외의 회의 참가자의 각각의 화상 데이터를 체크하고, 회의 참가자인 단말(6-a)의 화상 데이터가 인트라 프레임이 아닌 경우(인터 프레임), 단말(6-a)의 화상 데이터를 메모리(13)에 카피한다(스텝S44).

단말(6-a)의 화상 데이터가 인트라 프레임인 경우에는, 단말(6-a)용으로 메모리(13)에 카피 되어 있던 화상 데이터를 클리어 하고(스텝S43), 화상 데이터를 메모리(13)에 카피한다(스텝S44).

단말(6-a)이 화자로 검출된 경우(스텝S41), 메모리(13)에 축적되어 있는 단말(6-a)의 화상 데이터를 디코더(21)에 입력한다(스텝S45).

디코더(21)는, 입력된 화상 데이터의 화상 코덱에 맞추어 복호화하고(스텝S46), 마지막으로 복호화된 화상 프레임을 참조 화상 메모리(22)에 일시 보존한다(스텝S47).

화자 검출에서 참조 화상을 참조 화상 메모리(22)에 보존하기까지의 사이, 수신부(31)는, 화자인 단말(6-a)로부터 화상 데이터를 체크하고(스텝S48), 단말(6-a)의 화상 데이터가 인트라 프레임인 경우, 단말(6-a)의 화상 데이터를 디코더(21)에 입력하는 것을 종료하고, 단말(6-a)의 화상 데이터를 미디어 처리부에 건네주어 화자처리가 종료된다.

단말(6-a)의 화상 데이터가 인트라 프레임이 아닌 경우(인터 프레임), 수신 부(31)는 단말(6-a)의 화상 데이터를 디코더(21)에 입력하고(스텝S49), 참조 화상 메모리(22)에 일시 보관 되어 있는 화상 프레임을 근거로, 디코더(21)에 입력된 화상 데이터의 화상 코덱에 맞추어 복호화를 개시한다(스텝S50).

복호화된 화상 데이터는, 인코더(23)에 입력하고, 화자 이외의 회의 단말의 화상 코덱에 맞추어 재부호화 한다(스텝S51).

재부호화 할 때, 처음의 프레임을 인트라 프레임에 부호화하고, 그 이후는 인터 프레임에 부호화 한다. 재부호화 한 화상 데이터를 미디어 처리부(15)에 카피한다(스텝S12).

미디어 처리부(15)는, 수신부(31)로부터 회의 참가자의 음성 데이터를 카피하고, 복호화하여 화자 이외의 회의 단말이 음성 코덱에 맞추어 재복호화, 믹싱을 행한다. 각 회의 단말의 코덱에 맞추어 믹싱된 음성 데이터와 재부호화 화상 데이터를 송신부(32)에 카피한다. 송신부(32)는, 미디어 처리부(15)로부터 건네받은 화상, 음성 데이터를 IP네트워크(4) 3G망(5)에서 전송할 수 있는 포맷으로 변환하여 화자 이외의 회의 단말인 SIP단말(2-a~2-c)과 단말(6-a~6-c)에 전송한다(스텝S53).

이와 같이, 본 실시형태에서는, IP네트워크(4)와 이종망인 3G망(5)을 상호 접속할 수 있는 다지점 회의 장치(1)에 의해, SIP단말과 3G망의 단말로도 다지점 회의를 행할 수 있다는 작용 효과를 얻을 수 있다.

본 실시형태에 있어서, IP네트워크의 이종망으로서 3G망을 접속한다고 했지만, ISDN망, 인터넷 서비스 프로바이더망(ISP망), 공중 교환 전화망(PSTN)을 사용해도 된다.

또한, 화자 검출 직후에 인트라 프레임 송신 요구를 하고 있지 않지만, 제2실시형태와 같이 화자 검출 직후에 인트라 프레임 송신 요구를 해도 된다. 예를 들어, 3G망의 단말인 경우, 다지점 회의 장치로부터 ITU-T준거H.245의 Video Fast Update 명령을 송신함으로써 인트라 프레임의 송신을 요구해도 된다.

이상 본 발명을 상기 실시예에 따라 설명했으나, 본 발명은 상기 실시예의 구성에 한정되는 것이 아니라, 본 발명의 범위 내에서 당업자라면 이룰 수 있을 각종 변형, 수정을 포함하는 것은 물론이다.

Claims

복수의 단말과, 복수의 단말과 접속하는 다지점 회의 장치를 갖추고, 화상 및 음성을 송수신하여 회의를 행하는 다지점 회의 시스템에 있어서,

상기 다지점 회의 장치가,

화자의 검출을 행하는 미디어 처리부와,

회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부와,

상기 미디어 처리부에서 화자를 검출했을 때에, 상기 화자의 화상을 복호화하고 그 복호화 한 화상을 재부호화하는 화상 처리부를 구비하고,

상기 미디어 처리부에서 화자를 검출했을 때에, 상기 화상 처리부는, 화자 절환시의 화상 프레임에 인트라 프레임을 송신하는 것을 특징으로 하는 다지점 회의 시스템.
제1항에 있어서,

상기 화상 처리부가,

상기 미디어 처리부에서의 화자 검출 결과에 근거하여, 상기 기억부에 유지되어있는 화자의 화상을 복호화하는 복호화부와,

상기 복호화부에 의해, 상기 기억부에 보존되어있는 화자의 최후의 화상을 부호화하여 얻어지는 참조 화상을 유지하는 참조 화상 기억부와,

화자 검출 이후에 수신한 화상을, 상기 참조 화상 기억부에 유지되어있는 참 조 화상에 근거하여, 상기 복호화부에 의해 복호화 된 화상을 재차 부호화하는 부호화부를 구비하고,

화자 검출 이후에, 수신한 화자의 화상의 적어도 최초의 프레임을, 인트라 프레임으로 부호화하는 것을 특징으로 하는 다지점 회의 시스템.
제1항에 있어서, 상기 단말과 상기 다지점 회의 장치가 재송 절차를 구비하지 않은 통신 프로토콜을 사용하여 통신가능하게 되어 이루어지는 것을 특징으로 하는 다지점 회의 시스템.
복수의 단말과 통신 접속하는 다지점 회의 장치에 있어서,

화자의 검출을 행하는 미디어 처리부와,

회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부와,

화자를 검출했을 때에 상기 화자의 화상을 복호화하고 복호화한 화상을 재부호화하는 화상 처리부와,

상기 미디어 처리부에서 화자를 검출했을 때, 화자 절환 시의 화상 프레임에, 상기 화상 처리부에서 재부호화 된 인트라 프레임을 송신하는 송신부를 구비하고 있는 것을 특징으로 하는 다지점 회의 장치.
복수의 단말과 접속되어,

화자 검출하는 미디어 처리부와,

회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부를 가지는 다지점 회의 장치에 마련되어, 화자 검출 시에 화자의 화상을 복호화/재부호화하는 화상 처리 장치에 있어서,

화자 검출 결과에 근거하여, 상기 기억부에 유지되어 있는 화자의 화상을 복호화하는 복호화부와,

상기 복호화부에 의해, 상기 기억부에 보존되어 있는 화자의 최후의 화상을 복호화하여 얻어지는 참조 화상을 유지하는 참조 화상 기억부와,

화자 검출 이후에, 수신한 화상을, 상기 참조 화상 기억부에 유지되어 있는 참조 화상에 근거하여, 상기 복호화부에 의해 복호화한 화상을 재차 부호화하는 부호화부를 가지고,

화자 검출 이후에, 수신한 화자의 화상의 적어도 최초의 프레임을 인트라 프레임으로 부호화하는 것을 특징으로 하는 화상 처리 장치.
제1네트워크와, 제1네트워크와 이종망인 제2네트워크를 접속하는 다지점 회의 시스템에 있어서,

화자의 검출을 행하는 미디어 처리부와,

회의에 참가하고 있는 단말로부터의 화상을 유지하는 기억부와,

상기 미디어 처리부에서 화자를 검출했을 때에, 화자의 화상을 복호화하고, 복호화 된 화상을 재부호화하는 화상 처리부를 구비하고,

상기 미디어 처리부에서 화자를 검출했을 때에, 상기 화상 처리부는, 화자 절환 시의 화상 프레임에 인트라 프레임을 송신하는 것을 특징으로 하는 다지점 회의 시스템.
복수의 단말과 접속되어, 화자 검출하는 미디어 처리부를 가지는 다지점 회의 장치에 마련되어, 화자 검출 시에 화자의 화상을 복호화/재부호화하는 화상 처리 장치에 있어서,

상기 미디어 처리부에서의 화자 검출 결과, 화자인 단말의 코덱에 맞추어 화상을 기억하는 기억부와,

상기 기억부에 유지되어 있는 화자의 화상을 복호화하는 복호화부와,

상기 복호화부에 의해, 상기 기억부에 보존되어 있는 화자의 최후의 화상을 복호화하여 얻어지는 참조 화상을 유지하는 참조 화상 기억부와,

화자 검출 이후에, 수신부에서 수신한 화상을 상기 참조 화상 기억부에 유지되어 있는 참조 화상에 근거하여, 상기 복호화부에 의해 복호화한 화상을 재차 부호화하는 부호화부를 가지고,

화자 검출 이후에 상기 수신부에서 수신한 화자의 화상의 적어도 최초의 프레임을 인트라 프레임으로 부호화하고,

이종망에 접속하고 있는 단말로부터 송신되는 화상 데이터가 복수일지라도 대응가능하게 하여 이루어지는 것을 특징으로 하는 화상 처리 장치.
화자를 검출하는 미디어 처리부와, 화자 검출 이후에, 수신부에서 수신한 처 음의 화자의 화상을 인트라 프레임으로 부호화하는 화상 처리부를 가지고, 회의에 참가하고 있는 화자 이외의 단말에, 인트라 프레임을 송신함으로써, 화자 화상을 절환하는 다지점 회의 장치의 화자 절환 방법으로,

수신하고 있는 화자의 화상이 인트라 프레임인지 여부를 판정하는 공정과,

인트라 프레임이라고 검출된 경우, 상기 화상 처리부에서의 처리를 정지하고, 수신한 화자의 인트라 프레임을 송신하는 공정과,

상기 화자의 화상이 인트라 프레임이 아니라고 검출된 경우, 상기 화상 처리부의 처리를 계속하는 공정을 포함하는 것을 특징으로 하는 화자 절환 방법.
복수의 단말과 접속하는 다지점 회의 장치의 화자 절환 방법에 있어서,

상기 다지점 회의 장치가, 화자를 검출한 경우, 인트라 프레임 송신요구를 단말에 송신하는 공정과,

상기 다지점 회의 장치로부터 인트라 프레임 송신 요구를 수신한 단말이, 인트라 프레임을 상기 다지점 회의 장치에 송신하는 공정을 가지는 것을 특징으로 하는 화자 절환 방법.
화상 처리부가 화자 검출 이후에 수신부에서 수신한 처음의 화자의 화상을 인트라 프레임에서 부호화함으로써, 회의에 참가하고 있는 화자 이외의 단말에 인트라 프레임을 송신하고, 화자 화상을 절환 제어하는 다지점 회의 장치의 화자 절환 방법으로,

수신부에서 수신하고 있는 화자의 화상이 인트라 프레임이라고 검출된 경우, 상기 화상 처리부의 처리를 정지하고, 상기 수신부에서 수신한 화자의 인트라 프레임을 송신하는 공정과,

화자의 화상이 인트라 프레임이 아니라고 검출된 경우, 상기 화상 처리부의 처리를 계속하는 공정을 포함하고, 이종망에 접속하고 있는 단말로부터 송신되는 화상 데이터의 코덱이 복수일지라도 대응 가능하게 하여 이루어는 것을 특징으로 하는 화자 절환 방법.
이종망에 접속하고 있는 복수의 단말 중 다지점 회의 장치가 화자를 검출하는 공정과,

상기 다지점 회의 장치가, 화자 검출 결과에 근거하여, 인트라 프레임 송신 요구를 단말에 송신하는 공정과,

인트라 프레임 송신요구를 수신한 단말이 상기 다지점 회의 장치에 인트라 프레임을 출력하는 공정을 포함하는 것을 특징으로 하는 화자 절환 방법.
복수의 단말과 접속하는 다지점 회의 장치가, 화자의 절환 검출하는 공정과,

상기 다지점 회의 장치가, 상기 화자 검출 후, 화자 검출 이후에 수신한 화상 데이터를 복호화하여 재부호화 함에 있어, 처음의 화상을 인트라 프레임으로서 재부호화하고, 다음 이후는, 인터 프레임으로 재부호화하여, 화자 이외의 단말에 화상 데이터를 송신하는 공정을 포함하고, 화자 이외의 상기 단말은, 화자 절환 시, 인트라 프레임으로부터 복호화하는 것을 가능하게 하여 이루어지는 것을 특징으로 화자 절환 방법.
복수의 단말과 접속하는 다지점 회의 장치가,

화자의 절환 검출하는 검출부와,

상기 화자 검출 후, 화자 검출 이후에 수신한 화상 데이터를 복호화하여 재부호화 함에 있어, 처음의 화상을 인트라 프레임으로서 재부호화하고, 다음 이후는, 인터 프레임으로 재부호화하여, 화자 이외의 단말에 화상 데이터를 송신하는 화상 처리부를 포함하고,

화자 이외의 상기 단말로 하여금, 화자 절환 시에 인트라 프레임으로부터 복호화하는 것을 가능하게 하는 것을 특징으로 하는 다지점 회의 장치.
통신 접속하는 단말로부터의 패킷을 수신하는 수신부와,

송신 패킷을 송신하는 송신부와,

호출처리를 행하는 호출처리부와,

화자의 검출을 행하는 미디어 처리부와,

회의 참가자 정보의 관리를 행하는 회의 제어부와,

회의에 참가하고 있는 단말로부터의 화상 데이터를 단말에 대응시켜 축적하는 기억부와,

복호화부, 참조 화상 기억부, 및 부호화부를 포함하는 화상 처리부를 구비하 고,

상기 회의 제어부는, 상기 미디어 처리부로부터 화자 검출 결과를 통지받은 경우에, 화자 절환을 위한 처리 개시 통지를 상기 화상 처리부에 통지하고,

상기 화상 처리부는, 상기 회의 제어부로부터, 상기 화자 절환을 위한 처리 개시 통지를 수신하면, 상기 기억부에 축적되어 있는 단말로부터의 화상 데이터 중, 절환 대상자의 축적 화상 데이터를 상기 기억부로부터 카피 하여, 상기 복호화부에서 복호화하여, 마지막으로 복호화 된 화상을 참조 화상으로서 상기 참조 화상 기억부에 축적하고, 나아가, 상기 수신부로부터 절환 대상자의 화상 데이터를 받아, 상기 화상 데이터가 인트라 프레임이 아닌 경우, 상기 화상 데이터는 상기 복호화부에 입력되고, 상기 복호화부에서는, 상기 참조 화상 기억부에 축적되어 있는 상기 참조 화상을 근거로, 복호화 처리를 행하고, 그 복호화 된 화상 데이터를 상기 부호화부에서 재부호화하고, 그 재부호화 된 화상 데이터를 상기 미디어 처리부에 건네주고,

상기 미디어 처리부는, 상기 재부호화 된 화상 데이터를, 화자 이외의 단말에 송신하도록 믹싱하여 상기 송신부에 건네주고,

상기 송신부는, 상기 미디어 처리부로부터의 화상 데이터를 패킷화하여 상기 단말에 송신하는 것을 특징으로 하는 다지점 회의 장치.
제14항에 있어서, 상기 미디어 처리부에서의 화자의 검출로부터, 상기 화상 처리부에서 상기 참조 화상을 상기 참조 화상 기억부에 보존하기까지의 사이, 상기 수신부는, 화자의 단말로부터 수신한 화상 데이터를 체크하고, 상기 화상 데이터가 인트라 프레임인 경우, 상기 화상 데이터의 상기 복호화부로의 입력을 종료하고, 상기 화상 데이터는 상기 미디어 처리부에 건네주어, 화자 절환 처리가 종료되는 것을 특징으로 하는 다지점 회의 장치.
복수의 단말에 접속하는 회의 장치에 의한 화자 절환 방법으로,

회의에 참가하고 있는 단말로부터의 화상 데이터를 기억부에 기억하는 공정과,

화자의 검출을 행하는 공정과,

화자 검출시, 상기 기억부에 기억되어 있는 절환 대상 화자의 화상 데이터를 복호화하고, 마지막으로 복호화 된 화상을 참조 화상으로서 참조 화상 기억부에 축적하는 공정과,

화자 검출 이후, 화자의 단말로부터 수신한 화상 데이터가 인트라 프레임인지 여부를 판정하는 공정과,

인트라 프레임이 아닌 경우, 상기 참조 화상 기억부에 축적되어 있는 상기 참조 화상을 근거로, 상기 화상 데이터의 복호화 처리를 행하고, 이 복호화된 화상 데이터를 재부호화하고, 그 때, 화자 절환 시의 상기 화자의 단말로부터의 최초 화상 데이터는 인트라 프레임으로써 재부보화하고, 상기 재부호화된 화상 데이터를, 화자 이외의 회의에 참가하고 있는 단말에 송신하는 공정과,

인트라 프레임인 경우, 상기 화자의 단말로부터 수신한 인트라 프레임을, 화 자 이외의 회의에 참가하고 있는 단말에 송신하는 공정을 포함하는 것을 특징으로 하는 화자 절환 방법.
화자 절환 시에, 절환 대상 화자의 단말로부터 수신한, 부호화된 화상 데이터를 복호화하는 제1공정과,

상기 복호화 된 화상 데이터를 재부호화하는 제2 공정을 포함하고,

상기 제2의 공정에서는, 재부호화에 즈음하여, 화자 절환 시의 화자의 단말로부터의 최초 화상 데이터를 인트라 프레임에 부호화하고,

화자 절환시, 화자 이외의 회의에 참가하고 있는 단말에 인트라 프레임을 송신하는 것을 특징으로 하는 화자 절환 방법.
화자 절환시에, 절환 대상 화자의 단말로부터 송신된 부호화 화상 데이터를 복호화하는 복호화 수단과,

상기 복호화된 화상 데이터를 재부호화하는 부호화 수단을 구비하고,

상기 부호화 수단은, 재부호화에 즈음하여, 화자 절환시의 화자의 단말로부터의 최초의 화상 데이터를 인트라 프레임에 부호화하고,

화자 절환시, 화자 이외의 회의에 참가하고 있는 단말에 인트라 프레임을 송신하는 것을 특징으로 하는 회의 시스템.