WO2005094077A1

WO2005094077A1 - 多地点会議システムおよび多地点会議装置

Info

Publication number: WO2005094077A1
Application number: PCT/JP2005/005093
Authority: WO
Inventors: Kouichi Matsumoto; Kazunori Ozawa
Original assignee: Nec Corporation
Priority date: 2004-03-25
Filing date: 2005-03-22
Publication date: 2005-10-06
Also published as: EP1732323A1; EP1732323B1; DE602005018753D1; US7667729B2; CN1934861A; EP1732323A4; JPWO2005094077A1; KR100906687B1; US20080218584A1; KR20070018029A

Description

明細書

多地点会議システムおよび多地点会議装置

技術分野

[0001] 本発明は、多地点間通信システムに関し、特に、多地点会議システムおよび多地点会議装置に関する。

背景技術

[0002] 従来の多地点会議システムにおいては、会議に参加している複数の会議端末から話者を検出する方法として、

(1)多地点会議装置が話者を検出する、

(2)会議端末が、多地点会議装置に自端末が話者であると通知する、のレ、ずれかの方法が用いられてレ、る。

[0003] 上記（1)、（2)のいずれの方法においても、話者を特定した多地点会議装置は、このまま話者を切替えた場合、インター（Inter)フレーム（フレーム間符号ィ匕されたフレーム）の途中で切替える状態となるため、話者以外の会議端末は、イントラ（Intra)フレーム（フレーム内符号ィ匕されたフレーム）を受信するまでは、スムーズ（円滑)な話者切替えを行うことができなレ、。

[0004] そのため、話者画像を切替えるために、話者である会議端末に対して、 Intraフレームの送信または再送要求を行っている。

[0005] 従来の多地点会議システムの一例として、会議端末が、多地点会議装置に自端末が話者であると通知するシステムとして特許文献 1が参照される。このシステムは、多地点に配置された複数の会議端末と多地点間の通信制御装置 (多地点会議装置）を備えて構成されている。従来の多地点会議システムは以下のように動作する。

[0006] (A1)多地点会議装置は、任意の会議端末から話者切替えを要求されると、要求した会議端末に対して、 Intraフレームを送信または再送するように要求を行い、会議に参加してレ、る他の会議端末に対しては、多地点会議装置が送信する Intraフレームを受信するまで、各会議端末が表示している現在の画像をフリーズするように要求する。 [0007] (A2)そして、多地点会議装置から Intraフレーム送信要求を受信した会議端末は、多地点会議装置に対して、 Intraフレームを送信する。一方、多地点会議装置からフリーズ要求を受信した会議端末は、 Intraフレームを受信するまで、表示している現在の画像をフリーズさせる。

[0008] (A3)話者である会議端末から Intraフレームを受信した多地点会議装置は、他の会議端末に対して、 Intraフレームを送信し、 Intraフレームを受信した話者以外の会議端末は画像のフリーズを解除し、 Intraフレームにより、画像を切替える。

[0009] このように、従来の多地点会議システムでは、

話者である会議端末に、多地点会議装置から Intraフレーム送信要求を送信し、話者である会議端末から Intraフレームを多地点会議装置に送信することにより、多地点会議装置が、話者切替えを可能にしている。

[0010] なお、多地点会議システムに関連した刊行物として、例えば後記特許文献 2には、会議端末の各々からの多重化されたデータの中からビデオデータのピクチャヘッダを検出してフレーム内符号ィ匕されたイントラフレームビデオデータのみを抽出し、抽出されたイントラフレームビデオデータを合成する多地点制御装置が開示されている。また後記特許文献 3には、違和感のない映像、音声の切り替えを実現する多地点ビデオ会議制御装置が開示されている。該特許文献 3には、映像データのイントラフレームを検出しイントラフレーム検出情報を生成し、生成されたイントラフレーム検出情報を基に、代表話者に選定された端末の映像データに切り替える構成が開示されている。さらに、後記特許文献 4には、現在の話者を正確に判別できるようにした多地点間通信システムが開示されている。

[0011] 特許文献 1 :特開平 02— 274084号公報 (第 3頁、第 1図）

特許文献 2 :特開 2001 - 69474号公報 (第 3頁、第 1図）

特許文献 3 :特開 2002 - 176503号公報 (第 3頁、第 1図）

特許文献 4：特開平 08-331535号公報 (第 2-3頁、第 1図）

発明の開示

発明が解決しょうとする課題

[0012] し力、しながら、上記した従来のシステムは下記記載の問題点を有している。 [0013] 第 1の問題点は、会議端末として SIP端末を利用する場合、クリアに話者画面に切替えることができない、ということである。

[0014] その理由は、 SIP端末は、 IETF標準 RFC3261 (2543)で規定された SIP (

Session Initiation Protocol)を呼処理に用いて、 IPネットワーク上で、リアルタイムに、双方向マルチメディア通信を行う端末である力メディア転送用にリアルタイム伝送をサポートする RTP (Rea卜 time Transport Protocol)や、再送手順を持たない UDP ( User Datagram Protocol) ¾rffiレヽてレヽる。

[0015] このため、画像の再送要求をサポートしていなレ、。したがって、多地点会議装置が話者切替えのため、 SIP端末に Intraフレームを要求することができず、 Intraフレームが再送されないため、クリアな話者の切替えができないからである。

[0016] 第 2の問題点は、スムーズに話者を切替えるまでに時間力かかることである。

[0017] その理由は、多地点会議装置が話者切替えを行っても、前の話者である SIP端末力送信される Interフレームの途中で切替える状態となるため、話者である SIP端末から Intraフレームが送信され、話者以外の SIP端末が Intraフレームを受信するまでクリアに話者切替えができなレ、からである。

[0018] したがって、本発明の目的は、会議端末として SIP端末を利用する場合においても、クリアに話者画面に切替えができる多地点会議システムおよび多地点会議装置を提供することにある。

[0019] 本発明の他の目的は、スムーズに話者を切替えることができる多地点会議システムおよび多地点会議装置を提供することにある。

課題を解決するための手段

[0020] 本願で開示される発明は、前記目的を達成するため、概略以下にように構成される

[0021] 本発明は、再送要求機能をサポートしていなレ、 SIP (Session Initiation Protocol)端末が参加可能な多地点会議システムに適用することで、話者切替え時に切替え対象の SIP端末からの画像データを、多地点会議装置で処理することにより、切替え時の一番初めの画像データとして、イントラ（Intra)フレームを、他の会議に参加している SIP端末に送信することにより、 SIP端末で表示される話者の画像切替え時の画像が乱れず、スムーズに、話者切替えを可能としたものである。

[0022] 本発明の 1つのアスペクト (側面）に係るシステムは、複数の端末と、複数の端末と接続する多地点会議装置と、を備え、画像及び音声を送受信して会議を行う多地点会議システムにおいて、前記多地点会議装置が、話者の検出を行うメディア処理部と、会議に参加している端末からの画像を保持する記憶部と、前記メディア処理部で話者を検出した時に、前記話者の画像を復号化し該復号化した画像を再符号化する画像処理部と、を備え、前記メディア処理部で話者を検出した時、前記画像処理部は、話者切替え時の画像フレームにイントラフレームを送信する。

[0023] 本発明において、前記画像処理部が、前記メディア処理部での話者検出結果に基づき、前記記憶部に保持されている話者の画像を復号化する複号化部と、前記復号化部により、前記記憶部に保存されている話者の最後の画像を複号化して得られる参照画像を保持する参照画像記憶部と、話者検出以降に受信した画像を、前記参照画像記憶部に保持されている参照画像に基づき、前記復号ィヒ部により復号ィ匕した画像を再度符号化する符号化部と、を有し、話者検出以降に、受信した話者の画像の少なくとも最初のフレームを、イントラフレームで符号ィ匕する構成とされる。

[0024] 本発明の他のアスペクトに係る方法は、話者切替え検出後、話者切替え処理手段により、話者検出以降に受信した画像データを復号化/再符号化する時、始めの画像を Intraフレームとして再符号ィ匕し、次以降は、 Interフレームで再符号ィ匕して話者以外の SIP端末に画像データを送信する。これにより話者以外の SIP端末は話者切替え時、 Intraフレームから復号化することができる。

発明の効果

[0025] 本発明によれば、話者切替え時に Intmフレームを送信することにより、話者の画像に切替える時に画像が乱れず、スムーズに切替えを行うことができる。

[0026] その理由は、本発明においては、話者検出以降に受信した画像データを復号化 Z 再符号化する時、始めの画像を、 Intraフレームとして再符号化し、次以降は、 Inter フレームで再符号化して、話者以外の SIP端末に画像データを送信するからである。

[0027] 本発明によれば、会議端末 (ソフト）に依存しないで、スムーズに話者の画像に切替えることができる。 [0028] その理由は、本発明においては、会議システム装置で、画像切替え処理を行うためである。

[0029] 本発明によれば、リアルタイム通信 (RTP)でもスムーズな話者画像の切替えができる。

[0030] その理由は、本発明においては、 Intraフレームの送信を要求しないので、話者検出後、すぐに話者切替え処理を行うことができるためである。

図面の簡単な説明

[0031] [図 1]本発明の第 1の実施形態のシステム構成を示す図である。

[図 2]本発明の第 1の実施形態の多地点会議装置の構成を示す図である。

[図 3]本発明の第 1の実施形態における話者切替え処理の動作を説明するためのフローチャートである。

[図 4]本発明の第 2の実施形態における話者切替え処理の動作を説明するためのフローチャートである。

[図 5]本発明の第 3の実施形態のシステム構成を示す図である。

[図 6]本発明の第 3の実施形態の多地点会議装置の構成を示す図である。

[図 7]本発明の第 3の実施形態における話者切替え処理の動作を説明するためのフローチャートである。符号の説明

[0032] 1 多地点会議装置

2_a— 2_c SIP端末

3 SIPproxyサーバ

4 IPネットワーク

5 3G網

6— a— 6— c )ί耑术

11 RTP受信部

12 呼処理部

13 メモリ

14 会議制御部 15 メディア処理部

16 RTP送信部

20 画像処理部

21 デコーダ (復号化部）

22 参照画像メモリ

23 エンコーダ (符号化部)

31 受信部

32 送信部

発明を実施するための最良の形態

[0033] 本発明を実施するための最良の形態ついて添付図面を参照して以下に詳細に説明する。図 1は、本発明の一実施形態の構成を示す図である。

[0034] 図 1を参照すると、本発明の第 1の実施形態に係るシステムは、多地点会議装置 1 と、 SIP端末 2 - a— 2 - cと、 SIPproxyサーバ（SIP代理サーバ） 3と、これら装置を接続する IPネットワーク 4とから構成されている。図 1において、多地点会議装置 1は、メディアデータの送受信と話者切替えを行う。 SIP端末 2— a— 2— cは、自端末の画像 · 音声データを多地点会議装置 1に送信し、多地点会議装置 1から受信する話者の画像'音声データを、デバイスに出力する。

[0035] SIPproxyサーバ 3は、 SIP端末 2_a 2_cと多地点会議装置 1の間の SIPプロトコルを中継する。

[0036] 図 2は、図 1の多地点会議装置 1を構成を示す図である。多地点会議装置 1は、 RT P受信部 11と、呼処理部 12と、メモリ 13と、会議制御部 14と、メディア処理部 15と、 R TP送信部 16と、画像処理部 20とを備えている。画像処理部 20は、デコーダ (復号化部） 21と、参照画像メモリ 22と、エンコーダ（符号ィ匕部） 23とを含む。

[0037] 図 2において、 RTP受信部 11は、 SIP端末 2_aからの RTPZUDP/IPパケットを受信し、 RTPペイロード部を抽出する。

[0038] 抽出した RTPペイロード部力 SIPプロトコルの場合には、呼処理部 12に、 RTPぺィロードを渡し、メディアデータの場合には、メディア処理部 15に RTPペイロードを渡す。 [0039] 呼処理部 12は、セッションの呼処理を行い、呼処理の可否結果を、 RTP送信部 16 に通知する。

[0040] また、会議参加者の IPアドレス、メディア受信ポートを会議制御部 14に通知する。

[0041] メディア処理部 15は、会議に参加している SIP端末 2— a— 2— cに対して、自端末以外の SIP端末から送信されてくるメディアをミックスする。同時に、話者の検出も行い、話者検出結果を会議制御部 14に通知する。

[0042] 会議制御部 14は、会議参加者の IPアドレス、メディア受信ポートなどの会議参加者情報の管理行う。

[0043] また、メディア処理部 15から話者検出結果を通知された場合には、話者切替えのための処理開始通知を、画像処理部 20に通知する。

[0044] 画像処理部 20は、会議制御部 14から、話者切替え処理開始通知を受信すると、メモリ 13に蓄積されている各 SIP端末からの画像 RTPパケットデータの内、切替え対象者のデータをメモリ 13からコピーする。

[0045] メモリ 13は、会議に参加している SIP端末 2_a— 2_cからの画像 RTPパケットを各端末毎に蓄積する。

[0046] 画像処理部 20は、メモリ 13からコピーした話者切替え対象者の画像データを、デコーダ 21で復号化する。

[0047] 最後に、復号化された画像を参照画像メモリ 22に蓄積する。

[0048] その後、デコーダ 21は、 RTP受信部 11から、話者切替え対象者の画像 RTPデータを直接コピーし、参照画像メモリ 22に蓄積されている参照画像を基に、復号化処理を行い、復号画像を、エンコーダ 23に渡す。

[0049] エンコーダ 23は、デコーダ 21で復号化された画像を再符号化して、再度符号化された画像データを、メディア処理部 15にコピーする。

[0050] メディア処理部 15は、エンコーダ 23からコピーされた再符号化画像を、話者以外に送信するようにミキシングし、 RTP送信部 16にコピーする。

[0051] RTP送信部 16は、メディア処理部 15から渡されたメディアデータを、 RTP/UDP

/IPパケット化して、 SIP端末 2_b， 2— cに送信する。

[0052] また、 RTP送信部 16は、呼処理部 12から SIPプロトコルを送信するように要求された場合、 SIPプロトコルを、 RTP/UDP/IPパケットィヒして、対象の SIP端末 2— a— 2— cに送信する。

[0053] 図 3は、本発明の実施形態の動作を説明するための流れ図である。次に、図 3のフローチャートを使用して、本実施形態の多地点会議装置の話者切替え処理動作について詳細に説明する。

[0054] まず、メディア処理部 15は、新たに話者が検出されるか常にチェックを行う（ステツプ Sl)。

[0055] メディア処理部 15で話者が検出されなかった場合、 RTP受信部 11では、現時点で、話者以外の会議参加者の画像 RTPヘッダを各々チェックする (ステップ S2)。

[0056] 現時点で話者以外の会議参加者の各々の画像 RTPヘッダをチェックして、会議参加者である SIP端末 2_aの画像 RTPヘッダ力 ntraフレームでなかった場合（Interフレーム）には、 RTP受信部 11は、 SIP端末 2_aの画像 RTPペイロードを、メモリ 13にコピーする（ステップ S4)。

[0057] RTP受信部 11は、 SIP端末 2— aの画像 RTPヘッダが Intraフレームである場合には、 SIP端末 2_a用にメモリ 13にコピーされてレ、た画像 RTPペイロードをクリアし (ステツプ S3)、画像 RTPペイロードを、メモリ 13にコピーする（ステップ S4)。

[0058] メディア処理部 15で SIP端末 2— aが話者と検出された場合 (ステップ S 1の YES分岐）、画像処理部 20は、メモリ 13に蓄積されている SIP端末 2_aの画像 RTPペイ口ードのデータを、デコーダ 21に入力する（ステップ S5)。

[0059] デコーダ 21は、入力された画像データを復号化し (ステップ S6)、最後に復号化した画像フレームを、参照画像メモリ 22に一時保存する（ステップ S7)。

[0060] 話者検出から参照画像を参照画像メモリ 22に保存するまでの間、 RTP受信部 11 は、話者である SIP端末 2_aからの画像 RTPヘッダをチェックして（ステップ S8)、 SI P端末 2_aの画像 RTPヘッダ力 ntraフレームであった場合、 SIP端末 2— aの画像 R TPペイロードをデコーダ 21に入力することを終了し、 SIP端末 2_aの画像 RTPペイロードをメディア処理部 15に渡して話者切替え処理が終了する。

[0061] SIP端末 2_aの画像 RTPヘッダが Intraフレームでなかった場合（Interフレーム）、 RTP受信部 11は、 SIP端末 2_aの画像 RTPペイロードをデコーダ 21に入力する（ステツプ S9)。

[0062] デコーダ 21は、参照画像メモリ 22に一時保存されている画像フレームを基に、入力された画像 RTPペイロードの復号化を開始する（ステップ S10)。

[0063] 復号化された画像データは、エンコーダ 23に入力し、再度符号化する（ステップ S1 D o

[0064] エンコーダ 23は、再符号化する時、始めのフレームを Intraフレームに符号化して、それ以降は、 Interフレームに符号化する。再符号化した画像データをメディア処理部 15にコピーする（ステップ S 12)。

[0065] メディア処理部 15は、 RTP受信部 11から会議参加者の全ての音声 RTPペイロードをコピーしてミキシングする。ミキシングされた音声 RTPペイロードと再符号ィ匕画像データを RTP送信部 16にコピーする。 RTP送信部 16は、メディア処理部 15から渡された画像と音声データを RTPZUDPZIPパケットィ匕して、話者以外の SIP端末 2 -b, 2-cに送信する（ステップ SI 3)。

[0066] 1つの画像フレームを、デコーダ 21に渡した RTP受信部 11は、次に受信した話者である SIP端末 2_aの画像 RTPヘッダをチェックする（ステップ S8)。

[0067] 話者の画像 RTPヘッダが Intraフレームでなかった場合（Interフレーム）、話者切替えの処理を継続し（ステップ S9— S13)、一方、 Intraフレームであった場合には、 SIP端末 2-aの画像 RTPペイロードをデコーダ 21に入力することを終了し、 SIP端末 2-aの画像 RTPペイロードを、メディア処理部 15に渡して話者切替え処理が終了する。

[0068] 次に、本発明の第 2の実施形態について図を参照して詳細に説明する。

[0069] 本発明の第 2の実施形態の構成は、前記第 1の実施形態の構成と同じであるが、メディア処理部 15が話者を検出した場合、メディア処理部 15からの指示により、 RTP 送信部 16が、話者である SIP端末 2— aへ、 Intraフレーム送信要求を意味する情報を含んだ SIPメソッド (例えば、 INFOメソッド）を送信する制御を行う点で、前記第 1の実施形態と相違している。

[0070] メディア処理部 15は、話者を検出した場合、話者検出結果を、会議制御部 14に通知する。同時に、メディア処理部 15は、 RTP送信部 16に Intraフレーム送信要求を話者に送信するよう通知する。

[0071] RTP送信部 16は、 Intraフレーム送信要求を意味する情報を含めた INFOメソッドを話者である SIP端末 2ιに送信する。

[0072] INFOメソッドを受信した SIP端末 2_aは、要求情報により、次に送信する画像フレームを Intraフレームとして符号化して、 Intraフレームである画像パケットを多地点会議装置 1に送信する。これ以降の動作は、前記第 1の実施形態と同様である。

[0073] 図 4は、本発明の第 2の実施形態の動作を説明するためのフローチャートである。

図 4を参照して、本実施形態の多地点会議装置 1の話者切替え処理動作について詳細に説明する。

[0074] 図 4のフローチャートのステップ S21、 S22、 S23、 S24は、図 3のフローチャートのステップ Sl、 S2、 S3、 S4の動作と同一であるため、説明は省略する。

[0075] SIP端末 2_aが話者と検出された場合 (ステップ S21)、 RTP送信部 16に Intraフレーム送信要求を話者に送信するよう通知し、 RTP送信部 16は、 Intraフレーム送信要求情報を含めた INFOメソッドを話者である SIP端末 2-aに送信する（ステップ S25 ) ₀

[0076] INFOメソッドを話者 SIP端末 2_aに送信した後の手順である、ステップ S26— S34 は、前記第 1の実施形態の図 3のステップ S 5— S13の動作と同様であるので説明を省略する。

[0077] このように、本実施形態では、話者検出直後に、 Intraフレーム送信要求をしているので、前記第 1の実施形態のように、話者である会議端末から Intraフレームが送信されるまで、話者切替え処理を継続することが無いため、よりスムーズに話者画像を切替えることができる、という作用効果を奏する。

[0078] 本実施形態において、 SIPメソッドとして、 INFOメソッドを用いた力他の SIPメソッドを使用してもよレ、。また、 Intraフレーム送信要求に SIPメソッドを使用した力 Intra フレーム送信要求を意味する別のコマンドを使用してもよい。

[0079] また、本実施形態において、会議端末は Intraフレーム送信要求を受信すると、 Int raフレームを送信するとしている力 Intraフレーム送信要求に対応していなくてもよレ、。 [0080] 次に、本発明の第 3の実施形態について図を参照して詳細に説明する。

[0081] 図 5、図 6は、本発明の第 3の実施形態の構成を示す図である。本実施形態は、図

1に示した前記第 1の実施形態のシステム構成に加えて、 3G網 5と、端末 6— a— 6_c を有する。また、図 2に示した第 1の実施形態の多地点会議装置の機能ブロックにおいて、 RTP受信部 11と、 RTP送信部 16を、それぞれ受信部 31と、送信部 32で置き換えた点で相違している。

[0082] 図 5において、端末 6— a 6_cは、画像および音声の通信が可能な第 3世代電話（

3G—324M)であり、 3G網 5は、端末 6_a 6_cが接続するネットワークである。

[0083] 多地点会議装置 1は、 IPネットワーク 4と 3G網 5の異種網接続を行うことにより、 SIP 端末 2_a— 2_cと端末 6_a— 6_cで多地点会議を行う。

[0084] 図 6において、受信部 31は端末 6— aからのデータを受信してデータを抽出する。抽出したデータが、呼接続 Q. 931の場合には、呼処理部 12にデータを渡し、メディアデータの場合には、メディア処理部 15にデータを渡す。

[0085] 呼処理 12は、呼接続処理を行ない、呼処理結果を送信部 32に通知する。

[0086] また、会議参加者である端末 6— aの電話番号、ユーザ IDなどを会議制御部 14に通知する。

[0087] メディア処理部 15は、会議に参加している SIP端末 2— a— 2— cと、端末 6_b、 6— c に対して、自端末以外の会議端末から送信されるメディアをミックスするが、 SIP端末 2ι— 2— cと端末 6ι— 6— cで使用している画像、音声のコーデックが異なる場合には、メディア処理部 15において、一度、メディアデータを復号ィ匕して、各会議端末のコーデックに合わせて、再符号化、ミキシングを行う。

[0088] メディア処理部 15は、同時に、話者検出を行い、話者検出結果を会議制御部 14に通知してから、メモリ 13が各会議端末からの画像データを蓄積する動作は、第 1の実施形態の図 2の動作と同じであるため、説明は省略する。

[0089] 画像処理部 20は、メモリ 13からコピーした話者切替え対象の画像データを、話者である端末の使用している画像コーデックに合わせて、デコーダ 21で復号化する。

[0090] 最後に復号化された画像を参照画像メモリ 22に蓄積してから、復号画像をェンコーダ 23に渡す動作は、前記第 1の実施形態の図 2の動作と同じであるため、説明は省略する。

[0091] エンコーダ 23は、デコーダ 21で復号化された画像を再符号化するが、話者以外の会議端末の画像コーデックに合わせて再符号化して、再符号化された画像データをメディア処理部 15にコピーする。メディア処理部 15は、エンコーダ 23からコピーされた話者以外の会議端末の画像コーデックに合った再符号化画像を該当する会議端末に送信するようにミキシングし、送信部 32にコピーする。

[0092] 送信部 32は、メディア処理部 15から渡されたメディアデータを IPネットワーク 4と 3G 網 5のメディアフォーマットに合わせて、 SIP端末 2_a 2_cと端末 6_b、 6_cに送信する。また、呼処理 12から通知された呼処理結果を基に、呼処理 Q. 931で対象の端末 6 - a— 6 - cに送信する。

[0093] SIP端末 2-a 2-cの場合は、前記した第 1の実施形態の動作（図 2参照）と同じであるので説明は省略する。

[0094] 次に、図 7のフローチャートを使用して、本実施形態の多地点会議装置 1の話者切替え処理動作について詳細に説明する。

[0095] まず、メディア処理部 15は新たに話者が検出されるか常にチェックを行う（ステップ S41)。

[0096] 話者が検出されなかった場合、受信部 31は現時点で話者以外の会議参加者の画像データを各々チェックする (ステップ S42)。現時点で、話者以外の会議参加者の各々の画像データをチェックして、会議参加者である端末 6— aの画像データが Intra フレームでなかった場合（Interフレーム）、端末 6_aの画像データをメモリ 13にコピ一する（ステップ S44)。

[0097] 端末 6_aの画像データが Intraフレームである場合には、端末 6_a用にメモリ 13にコピーされていた画像データをクリアし (ステップ S43)、画像データをメモリ 13にコピ一する（ステップ S44)。

[0098] 端末 6ιが話者と検出された場合 (ステップ S41)、メモリ 13に蓄積されている端末

6_aの画像データをデコーダ 21に入力する（ステップ S45)。

[0099] デコーダ 21は、入力された画像データの画像コーデックに合わせて復号化し (ステップ S46)、最後に復号化した画像フレームを参照画像メモリ 22に一時保存する (ステツプ S47)。

[0100] 話者検出から参照画像を参照画像メモリ 22に保存するまでの間、受信部 31は、話者である端末 6-aからの画像データをチェックして (ステップ S48)、端末 6— aの画像データが Intraフレームであった場合、端末 6_aの画像データをデコーダ 21に入力することを終了し、端末 6ιの画像データをメディア処理部に渡して話者処理が終了する。

[0101] 端末 6_aの画像データが Intraフレームでなかった場合（Interフレーム）、受信部 3 1は端末 6— aの画像データをデコーダ 21に入力し (ステップ S49)、参照画像メモリ 2 2に一時保管されている画像フレームを基に、デコーダ 21に入力された画像データの画像コーデックに合わせて複号化を開始する（ステップ S50)。

[0102] 復号化された画像データは、エンコーダ 23に入力し、話者以外の会議端末の画像コーデックに合わせて再符号ィ匕する（ステップ S51)。

[0103] 再符号化する時、始めのフレームを Intraフレームに符号化して、それ以降は Inter フレームに符号化する。再符号化した画像データをメディア処理部 15にコピーする（ステップ S 12)。

[0104] メディア処理部 15は、受信部 31から会議参加者の音声データをコピーして、復号化して話者以外の会議端末の音声コーデックに合わせて再復号化、ミキシングを行う。各会議端末の呼デックに合わせてミキシングされた音声データと再符号化画像データを送信部 32にコピーする。送信部 32は、メディア処理部 15から渡された画像、音声データを IPネットワーク 4、 3G網 5で送信できるフォーマットに変換して話者以外の会議端末である SIP端末 2-a— 2-cと端末 6— b、 6— cに送信する（ステップ S53)。

[0105] このように、本実施形態では、 IPネットワーク 4と異種網である 3G網 5を相互接続できる多地点会議装置 1により、 SIP端末と 3G網の端末でも多地点会議を行うことができる、という作用効果が得られる。

[0106] 本実施形態において、 IPネットワークの異種網として 3G網を接続するとした力 IS DN網、インターネットサービスプロバイダ網（ISP網）、公衆交換電話網（PSTN)を使用してもよい。

[0107] また、話者検出直後に Intraフレーム送信要求をしていないが、第 2の実施形態のように話者検出直後に Intraフレーム送信要求してもよい。例えば、 3G網の端末の場合、多地点会議装置から ITU— T準拠 H. 245の VideoFastUpdateコマンドを送信することにより Intraフレームの送信を要求してもよい。

以上本発明を上記実施例に即して説明したが、本発明は上記実施例の構成に限定されるものでなぐ本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims

請求の範囲

[1] 複数の端末と、複数の端末と接続する多地点会議装置と、を備え、画像及び音声を送受信して会議を行う多地点会議システムにおいて、

前記多地点会議装置が、

話者の検出を行うメディア処理部と、

会議に参加している端末からの画像を保持する記憶部と、

前記メディア処理部で話者を検出した時に、前記話者の画像を復号化し該復号化した画像を再符号化する画像処理部と、

を備え、

前記メディア処理部で話者を検出した時、前記画像処理部は、話者切替え時の画像フレームにイントラフレームを送信する、ことを特徴とする多地点会議システム。

[2] 前記画像処理部が、

前記メディア処理部での話者検出結果に基づき、前記記憶部に保持されてレ、る話者の画像を復号化する復号化部と、

前記復号化部により、前記記憶部に保存されている話者の最後の画像を復号化して得られる参照画像を保持する参照画像記憶部と、

話者検出以降に受信した画像を、前記参照画像記憶部に保持されている参照画像に基づき、前記複号化部により複号化した画像を再度符号ィヒする符号ィヒ部と、を有し、

話者検出以降に、受信した話者の画像の少なくとも最初のフレームを、イントラフレームで符号化する、ことを特徴とする請求項 1記載の多地点会議システム。

[3] 前記端末と前記多地点会議装置とが、再送手順を具備しない通信プロトコルを用レ、て通信可能とされてなる、ことを特徴とする請求項 1記載の多地点会議システム。

[4] 複数の端末と通信接続する多地点会議装置において、

話者の検出を行うメディア処理部と、

会議に参加している端末からの画像を保持する記憶部と、

話者を検出した時に前記話者の画像を復号化し復号化した画像を再符号化する画像処理部と、前記メディア処理部で話者を検出した時、話者切替え時の画像フレームに、前記画像処理部で再符号化されたイントラフレームを送信する送信部と、

を備えている、ことを特徴とする多地点会議装置。

[5] 複数の端末と接続され、

話者検出するメディア処理部と、

会議に参加している端末からの画像を保持する記憶部と、を有する多地点会議装置に設けられ、話者検出時に話者の画像を復号化 Z再符号化する画像処理装置において、

話者検出結果に基づき、前記記憶部に保持されている話者の画像を復号化する複号化部と、

前記複号化部により、前記記憶部に保存されている話者の最後の画像を複号化して得られる参照画像を保持する参照画像記憶部と、

話者検出以降に、受信した画像を、前記参照画像記憶部に保持されている参照画像に基づき、前記復号化部により復号化した画像を再度符号化する符号ィヒ部と、を有し、

話者検出以降に、受信した話者の画像の少なくとも最初のフレームを、イントラフレームで符号化する、ことを特徴とする画像処理装置。

[6] 第 1のネットワークと、第 1のネットワークと異種網である第 2のネットワークと、を接続する多地点会議システムにおいて、

話者の検出を行うメディア処理部と、

会議に参加している端末からの画像を保持する記憶部と、

前記メディア処理部で話者を検出した時に、話者の画像を復号化し、復号化された画像を再符号化する画像処理部と、

を備え、

[7] 複数の端末と接続され、話者検出するメディア処理部を有する多地点会議装置に設けられ、話者検出時に話者の画像を複号化/再符号化する画像処理装置において、

前記メディア処理部での話者検出の結果、話者である端末のコーデックに合わせて画像を記憶する記憶部と、

前記記憶部に保持されている話者の画像を復号化する復号化部と、

話者検出以降に、受信部で受信した画像を前記参照画像記憶部に保持されている参照画像に基づき、前記復号化部により復号化した画像を再度符号化する符号化部と、

を有し、

話者検出以降に前記受信部で受信した話者の画像の少なくとも最初のフレームをイントラフレームで符号ィ匕し、

異種網に接続している端末から送信される画像データが複数であっても対応可能としてなる、ことを特徴とする画像処理装置。

[8] 話者を検出するメディア処理部と、話者検出以降に、受信部で受信した始めの話者の画像をイントラフレームで符号化する画像処理部と、を有し、会議に参加している話者以外の端末に、イントラフレームを送信することで、話者画像を切替える多地点会議装置の話者切替え方法であって、

受信している話者の画像力 Sイントラフレームであるか否か判定する工程と、イントラフレームであると検出された場合、前記画像処理部での処理を停止し、受信した話者のイントラフレームを送信する工程と、

前記話者の画像力 Sイントラフレームでないと検出された場合、前記画像処理部の処理を継続する工程と、

を含む、ことを特徴とする話者切替え方法。

[9] 複数の端末と接続する多地点会議装置の話者切替え方法において、

前記多地点会議装置が、話者を検出した場合、イントラフレーム送信要求を端末に送信する工程と、

前記多地点会議装置力もイントラフレーム送信要求を受信した端末が、イントラフレームを前記多地点会議装置に送信する工程と、

を有する、ことを特徴とする話者切替え方法。

[10] 画像処理部が話者検出以降に受信部で受信した始めの話者の画像をイントラフレームで符号化することで、会議に参加している話者以外の端末にイントラフレームを送信し、話者画像を切替え制御する多地点会議装置の話者切替え方法であって、受信部で受信している話者の画像力 Sイントラフレームであると検出された場合、前記画像処理部の処理を停止し、前記受信部で受信した話者のイントラフレームを送信する工程と、

話者の画像力 Sイントラフレームでないと検出された場合、前記画像処理部の処理を継続する工程と、

を含み、異種網に接続している端末から送信される画像データのコーデックが複数であっても対応可能としてなる、ことを特徴とする話者切替え方法。

[11] 異種網に接続している複数の端末のうち多地点会議装置が話者を検出する工程と前記多地点会議装置が、話者検出結果に基づき、イントラフレーム送信要求を端末に送信する工程と、

イントラフレーム送信要求を受信した端末が前記多地点会議装置にイントラフレームを出力する工程と、

を含む、ことを特徴とする話者切替え方法。

[12] 複数の端末と接続する多地点会議装置が、話者の切替え検出する工程と、

前記多地点会議装置が、前記話者検出後、話者検出以降に受信した画像データを復号ィ匕して再符号ィ匕するにあたり、始めの画像をイントラフレームとして再符号ィ匕し、次以降は、インターフレームで再符号化して、話者以外の端末に画像データを送信する工程と、

を含み、話者以外の前記端末は、話者切替え時、イントラフレームから復号化することを可能としてなる、ことを特徴とする話者切替え方法。

[13] 複数の端末と接続する多地点会議装置が、

話者の切替え検出する検出部と、前記話者検出後、話者検出以降に受信した画像データを復号化して再符号化するにあたり、始めの画像をイントラフレームとして再符号化し、次以降は、インターフレ一ムで再符号化して、話者以外の端末に画像データを送信する画像処理部と、を含み、

話者以外の前記端末をして、話者切替え時にイントラフレームから復号化することを可能たらしめる、ことを特徴とする多地点会議装置。

通信接続する端末からのパケットを受信する受信部と、

送信パケットを送信する送信部と、

呼処理を行う呼処理部と、

話者の検出を行うメディア処理部と、

会議参加者情報の管理を行う会議制御部と、

会議に参加している端末からの画像データを端末に対応させて蓄積する記憶部と復号化部、参照画像記憶部、及び符号化部を含む画像処理部と、

を備え、

前記会議制御部は、前記メディア処理部から話者検出結果を通知された場合に、話者切替えのための処理開始通知を前記画像処理部に通知し、

前記画像処理部は、前記会議制御部から、前記話者切替えのための処理開始通知を受信すると、前記記憶部に蓄積されている端末からの画像データの内、切替え対象者の蓄積画像データを前記記憶部からコピーして、前記復号化部で復号化し、最後に復号化された画像を参照画像として前記参照画像記憶部に蓄積し、さらに、前記受信部から切替え対象者の画像データを受け取り、前記画像データがイントラフレームでなかった場合、前記画像データは前記複号化部に入力され、前記復号化部では、前記参照画像記憶部に蓄積されている前記参照画像を基に、復号化処理を行い、該復号化された画像データを前記符号化部で再符号化し、該再符号化された画像データを前記メディア処理部に渡し、

前記メディア処理部は、前記再符号化された画像データを、話者以外の端末に送信するようにミキシングして前記送信部に渡し、前記送信部は、前記メディア処理部からの画像データをパケット化して前記端末に送信する、ことを特徴とする多地点会議装置。

[15] 前記メディア処理部での話者の検出から、前記画像処理部で前記参照画像を前記参照画像記憶部に保存するまでの間、前記受信部は、話者の端末から受信した画像データをチヱックし、前記画像データがイントラフレームであった場合、前記画像データの前記復号化部への入力を終了し、前記画像データは前記メディア処理部に渡され、話者切替え処理が終了する、ことを特徴とする請求項 14記載の多地点会議装置。

[16] 複数の端末に接続する会議装置による話者切替え方法であって、

会議に参加している端末からの画像データを記憶部に記憶する工程と、話者の検出を行う工程と、

話者検出時、前記記憶部に記憶されている切替え対象話者の画像データを復号化し、最後に復号化された画像を参照画像として参照画像記憶部に蓄積する工程と話者検出以降、話者の端末から受信した画像データがイントラフレームであるか否か判定する工程と、

イントラフレームでなかった場合、前記参照画像記憶部に蓄積されてレ、る前記参照画像を基に、前記画像データの復号化処理を行い、該復号化された画像データを再符号化し、その際、話者切替え時の前記話者の端末力の最初の画像データはイントラフレームとして再符号ィヒし、前記再符号化された画像データを、話者以外の会議に参加してレ、る端末に送信する工程と、

イントラフレームであった場合、前記話者の端末から受信したイントラフレームを、話者以外の会議に参加してレ、る端末に送信する工程と、

を含む、ことを特徴とする話者切替え方法。

[17] 話者切替え時に、切替え対象話者の端末から受信した、符号化された画像データを復号ィヒする第 1の工程と、

前記復号化された画像データを再符号化する第 2の工程と、

を含み前記第 2の工程では、再符号化に際して、話者切替え時の話者の端末からの最初の画像データをイントラフレームに符号ィ匕し、

話者切替え時、話者以外の会議に参加している端末にイントラフレームを送信する、ことを特徴とする話者切替え方法。

話者切替え時に、切替え対象話者の端末から送信された符号化画像データを復号化する復号化手段と、

前記復号化された画像データを再符号化する符号化手段と、

を備え、

前記符号化手段は、再符号化に際して、話者切替え時の話者の端末からの最初の画像データをイントラフレームに符号ィ匕し、

話者切替え時、話者以外の会議に参加している端末にイントラフレームを送信する、ことを特徴とする会議システム。