JP5228580B2

JP5228580B2 - テレビ会議用端末装置およびテレビ会議システム

Info

Publication number: JP5228580B2
Application number: JP2008093708A
Authority: JP
Inventors: 耕二山宮
Original assignee: サクサ株式会社
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2013-07-03
Anticipated expiration: 2028-03-31
Also published as: JP2009246866A

Description

本発明は、テレビ会議用端末装置およびテレビ会議システムに関し、特にＭＣＵ(Multipoint Control Unit)を使用せずにテレビ会議を実現するテレビ会議用端末装置およびテレビ会議システムに関する。

従来より、テレビ会議システムでは、テレビカメラとマイクロフォンとを備えたテレビ会議用端末装置で生成された会議参加者の映像や音声などのメディアデータを、通信ネットワークを介して会議に参加する多地点の他のテレビ会議用端末装置に分配送信することにより、各テレビ会議用端末装置でリアルタイム映像を共有するものとなっている。
このようなテレビ会議システムにおいて、メディアデータを搭載したメディアパケットを多地点の端末装置へ分配送信する方式としては、ＭＣＵ方式、マルチキャスト方式、ユニキャスト方式などがある。

ＭＣＵ方式は、図５に示すように、テレビ会議用端末装置（端末Ａ〜Ｃ）と通信ネットワークとの間にＭＣＵ装置を配置し、テレビ会議用端末装置から送信されたメディアパケット（メディアデータ）をこのＭＣＵ装置において予め指定されている各端末装置へ分配送信する方式である。
これに対し、図６に示すように、ＭＣＵ装置を用いないシステムにおいては、マルチキャスト方式は、通信ネットワークのマルチキャスト機能を利用して、テレビ会議用端末装置から送信されたマルチキャストアドレス宛のメディアパケットを希望する各テレビ会議用端末装置へ受信を通信ネットワークが分配送信する方式である。また、ユニキャスト方式は、テレビ会議用端末装置から各テレビ会議用端末装置へそれぞれ個別のデータ通信でメディアパケットを送信する方式である。

特開平５−２２３２１ http://www.vtv.co.jp/intro/top.htm、テレビ会議入門、VTVジャパン株式会社

ところで、ＭＣＵを使用しないテレビ会議システムにおいて通信の録画を行おうとすると、複数の通信相手の映像と音声とをそれぞれ別々のトラックにしてそれぞれをファイルに保存するか、リアルタイムで映像と音声とをミキシングしてファイルに保存する必要がある。

しかしながら、映像と音声とを別々のトラックに保存した場合は、会議の形態で再生するためには専用のアプリケーションを用いなければならず、再生のためのアプリケーションがインストールされていない端末装置では録画されたファイルを視聴することができなかった。
また、リアルタイムでミキシングするためには、画像通信を行いながらミキシングとエンコードをしなければならないため、ＣＰＵ（中央処理装置）の処理能力が不足する場合には、正常な処理が行えなくなる可能性があった。
また、リアルタイムではなく、ファイル保存後にミキシングする場合は、デコードする処理が余計に必要になるので、再生に時間がかかるという問題もあった。

本発明は、保存されたテレビ会議の様子を専用のアプリケーションを用いなくても再生できるようにするとともに、保存前にテレビ会議用端末装置のＣＰＵに過度の処理負担をかけずにミキシングを行うことを目的とする。

そこで、本発明は、自装置に接続されたカメラおよびマイクによって取得された映像および音声を含む自メディアデータを送信する自メディアデータ送信部と、テレビ会議の相手となる他のテレビ会議用端末装置から送出された映像および音声を含む相手メディアデータを受信する相手メディアデータ受信部と、自装置に接続された前記カメラおよび前記マイクによって取得された映像および音声を含む前記自メディアデータと、前記相手メディアデータ受信部によって受信した前記相手メディアデータとをミキシングしてミキシングメディアデータを生成するミキシング部と、このミキシング部によって生成されたミキシングメディアデータを通信ネットワークに送出するミキシングメディアデータ送信部と、前記他のテレビ会議用端末装置から送出されたミキシングメディアデータを通信ネットワークを介して受信するミキシングメディアデータ受信部と、前記ミキシング部によって生成された前記ミキシングメディアデータおよび前記ミキシングメディアデータ受信部によって受信された前記ミキシングメディアデータを記録する記録部と、他装置とのネゴシエーションにより自装置の前記ミキシング部にミキシングメディアデータを生成させるか否かを決定し、前記ミキシング部にミキシングメディアデータを生成させるときは、前記ミキシングメディアデータ送信部に当該ミキシングメディアデータを送出させるとともに、当該ミキシングメディアデータを前記記録部に記録させる一方、前記ミキシング部にミキシングメディアデータを生成させないときは、前記ミキシングメディアデータ受信部により受信した前記ミキシングメディアデータを前記記録部に記録させる制御部とを備えたことを特徴とする。

また、ミキシング部によって生成されたミキシングメディアデータとミキシングメディアデータ受信部において受信されたミキシングメディアデータとを時間的に並べ替える並び替え部をさらに備え、これらのミキシングメディアデータを時間順にしたがって記録部に記録するようにしてもよい。

また、本発明は、複数のテレビ会議用端末装置と、これらのテレビ会議用端末装置が接続される通信ネットワークとからなるテレビ会議システムにおいて、前記テレビ会議用端末装置の少なくとも２つは、上述した特徴を有するテレビ会議用端末装置であり、これらのテレビ会議用端末装置の間で持ち回りで前記ミキシング部にミキシングメディアデータを生成させることを特徴とする。

本発明によれば、複数のテレビ会議用端末装置からなるテレビ会議システムにおいて、ミキシング処理を、特定の端末装置のみで行うのではなく、その会議に参加している端末装置の間で持ち回りで行って、それぞれ他の端末装置にミキシングメディアデータを配信するので、ＣＰＵに過度の処理負担をかけずにミキシングを行い、ほぼ実時間でミキシングされた会議画像を得ることができる。
その結果、保存されたテレビ会議の様子を専用のアプリケーションを用いなくても迅速に再生できるようになる。

また、ミキシングメディアデータを時間的に並べ替えることにより、受信したミキシングメディアデータの順番が入れ替わっていても、時間順にこれを修正して保存するので、必ずしも所定の時間内にミキシング処理を終わらせる必要がなくなり、ＣＰＵの空き時間を使用してミキシング処理を実行することができる。

以下、本発明の実施の形態について、図面を参照して説明する。
［１．第１の実施の形態］
［１．１．テレビ会議用端末装置の構成］
本発明の第１の実施の形態に係るテレビ会議用端末装置は、その端末装置を用いてテレビ会議に参加する者の映像および音声を取得するカメラおよびマイクロフォンと接続可能であるとともに通信ネットワークと接続可能なコンピュータと、このコンピュータにインストールされて、そのＣＰＵや記憶装置および各種Ｉ／Ｆ等のハードウェア資源と協働し、このコンピュータをテレビ会議用端末装置としての機能を発揮させるためのコンピュータプログラムとからなる。
なお、カメラおよびマイクロフォンはコンピュータと一体とされていてもよい。また、テレビ会議の映像や音声を出力するモニターやスピーカと接続可能であることはいうまでもない。

本実施の形態に係るテレビ会議用端末装置（以下、「端末装置」という。）１の機能ブロック図を図１に示す。
まず、カメラおよびマイクロフォン１１により取得された映像および音声のデータ（以下、「メディアデータ」という。）をエンコードするエンコーダ１２と、エンコードされたメディアデータをメディアパケットに搭載して図示しない他の端末装置に宛てて通信ネットワークに送信する自メディアデータ送信部１３と、テレビ会議の相手となる他の端末装置から送出された映像および音声を含むメディアデータ（以下、「相手メディアデータ」という。）を通信ネットワークを介して受信する相手メディアデータ受信部１４と、相手メディアデータをデコードするデコーダ１５と、デコーダ１５によってデコードされた映像および音声を再生するメディア再生部１６とを備えている。

カメラおよびマイクロフォン１１により取得された映像および音声は、エンコーダ１２によって圧縮符号化されてメディアデータとなり、自メディアデータ送信部１３によってメディアパケットに搭載され、例えば、ＴＣＰ／ＩＰ等のプロトコルにしたがって、図示しない他の端末装置に宛てて通信ネットワークに送出される。
なお、圧縮符号化は、例えば、ＭＰＥＧやＨ．２６４など、公知の手法を用いて行えばよいので、詳細な説明は省略する。
相手メディアデータ受信部１４によって受信された他の端末装置からの相手メディアデータは、デコーダ１５によってデコードされ、図示しないモニター等の表示装置およびスピーカにより再生出力される。

また、この端末装置１は、ミキシング処理、すなわち、複数のメディアデータを合成してテレビ会議の様子を記録した一つのミキシングメディアデータを生成するために、カメラおよびマイクロフォン１１により自装置において取得したメディアデータと、相手メディアデータ受信部１４により受信されデコーダ１５によりデコードされた他の端末装置におけるメディアデータとを一時蓄積するバッファ１７と、上記のようにして得られた複数のメディアデータをミキシングしてミキシングメディアデータを生成するミキシング部１８と、ミキシングメディアデータを一時蓄積するバッファ１９と、ミキシングメディアデータをエンコード、すなわち圧縮符号化するエンコーダ２０と、エンコードされたミキシングメディアデータを通信ネットワークに送出するミキシングメディアデータ送信部２１とを備えている。
したがって、この端末装置１は、複数のメディアデータを合成して１つのミキシングメディアデータを生成し、これを他の端末装置に宛てて通信ネットワークに送出することができる。

端末装置１は、さらに、他の端末装置から送出されたミキシングメディアデータを通信ネットワークを介して受信するミキシングメディアデータ受信部２２と、エンコーダ２０から出力されるミキシングメディアデータ（自装置内で生成したミキシングメディアデータ）およびミキシングメディアデータ受信部２２から出力されるミキシングメディアデータ（他の端末装置により生成されたミキシングメディアデータ）を保存するミキシングファイル記憶部２４を備え、テレビ会議システムにおける会議の様子を録画・録音できるようになっている。
なお、本実施の形態に係る端末装置１は、ミキシングメディアデータをシーケンスナンバーに基づいて並べ替える並び替え部２３を備えている。このような並べ替え部２３をミキシングファイル記憶部２４の前段に設けることによって、ミキシングメディアデータ受信部２２においてミキシングメディアデータを順不同で受信した場合であっても、ミキシングファイル記憶部２４には、ミキシングメディアデータが時間的に正しい順序で保存されることになる。

また、この端末装置１は、テレビ会議に参加している他の端末装置とネゴシエーションを行い、自装置がミキシング処理を行うか否かを決定するミキシング担当ネゴシエーション部３０を備えている。
より具体的には、ミキシング担当ネゴシエーション部３０は、次にミキシング処理を行う他の端末装置に対してミキシング担当要求を、メディアパケットの拡張ヘッダを使用してミキシングメディアデータ送信部２１に送信したり、ミキシングメディアデータ受信部２２において受信したメディアパケットに含まれた他の端末装置からのミキシング担当要求を受信したりして、次に自装置がミキシング処理を実行すべきか否か、すなわち、ミキシング部１８にミキシングメディアデータを生成させるか否かを決定する。

自装置がミキシング処理を実行すべきかは、予め定められたスケジュールに沿って決定してもよいが、他の端末装置との通信結果に基づいて決定してもよい。例えば、ミキシング担当ネゴシエーション部３０は、所定の時刻および時間、自装置のＣＰＵの能力や情報処理の負荷量、他の端末装置からの要求の有無などに基づいて、自装置がミキシング処理を実行すべきかどうかを決定する。

ミキシング部１８にミキシングメディアデータを生成させるときは、生成されたミキシングメディアデータがミキシングメディアデータ送信部２１から送出されるとともに、並び替え部２３を介してミキシングファイル部２４に記録される。また、ミキシング部１８にミキシングメディアデータを生成させないときは、ミキシングメディアデータ受信部２２により受信したミキシングメディアデータが、並び替え部２３を介して、ミキシングファイル部２４に記録される。

［１．２．テレビ会議システム］
上述したように、ミキシング担当ネゴシエーション部３０を備えることにより、ミキシング処理は、特定の端末装置のみで行われるのではなく、テレビ会議に参加している他の端末装置との間で持ち回りで行われる。
図２は、３台の端末装置が参加したテレビ会議システムにおいて、２つの端末装置、端末Ａと端末Ｂとが交互にミキシング処理を行う例を示す図である。
すなわち、図２は、端末Ａ、Ｂ、Ｃからなるテレビ会議システムが、端末Ａのみがミキシング処理を行い、他の端末Ｂおよび端末Ｃにミキシングメディアデータ（ＭＭＤ−Ａ１）をそれぞれ配信する「状態１」と、端末Ｃのみがミキシング処理を行い、他の端末Ａおよび端末Ｂにミキシングメディアデータ（ＭＭＤ−Ｃ１）をそれぞれ配信する「状態２」とを交互にとる様子を示したものである。

このようなテレビ会議システムの動作手順について、図３を参照してさらに説明する。
［ステップＳ０１：準備］
各端末装置Ａ，Ｂ，Ｃがそれぞれメディアデータの送出を開始する前に、最初にミキシング処理を行う端末を決定する。いずれの端末装置が最初にミキシング処理を行うべきかは、端末装置間のシグナリングにより、例えば、ＭＡＣアドレスが最も大きな端末装置を最初にミキシング処理を行うべき端末装置とする（図３に示す例では、端末装置Ａが最初にミキシング処理を行うべき端末装置とする。）。

［ステップＳ０２：自メディアデータの送信］
各端末装置が他のすべての端末装置に対して、自装置に接続されたカメラおよびマイクロフォン１１によって取得された映像および音声を含む自メディアデータを送信を開始する。
［ステップＳ０３：端末装置Ａによるミキシング処理］
各端末装置が他のすべての端末装置に対して自メディアデータを送信する中で、最初にミキシング処理を行うべき端末装置として指定された端末装置Ａは、時刻Ｔ１にミキシング処理とミキシングメディアデータＭＭＤ−Ａ１の送信を開始する（図２に示す「状態１」）。このミキシングメディアデータＭＭＤ−Ａ１は、カメラおよびマイクロフォン１１により取得した自メディアデータと相手メディアデータ受信部１４において受信した相手メディアデータとをミキシングしたものである。端末装置Ａは、時刻Ｔ１から所定の期間τ経過後の時刻Ｔ２（Ｔ２＝Ｔ１＋τ）までにそれぞれ生成および受信した自メディアデータおよび相手メディアデータとをミキシングしてミキシングメディアデータＭＭＤ−Ａ１とする。

［ステップＳ０４：次にミキシング処理を行う端末装置の指定］
あわせて端末装置Ａは、端末装置Ｃに端末装置Ａの次にミキシングを行うことを要求する。この要求は、端末装置Ａのミキシング担当ネゴシエーション部３０の働きにより、ミキシングメディアデータ送信部２１から送出するメディアパケットの拡張ヘッダ等を利用して、端末装置Ａから、端末装置Ｃが次にミキシングを行う端末装置として指定された旨および端末装置Ａがミキシング処理を開始する時刻（Ｔ１）とミキシング処理を行う時間（τ）とを通知することによって行う。
［ステップＳ０５：次にミキシング処理を行う端末装置の確認］
上述した要求を受け取った端末装置Ｃは、その要求を受け付けたことを端末装置Ａに対して通知する（ＲＰＹ）。この通知は、端末装置ＣがＲＴＣＰパケットの拡張ヘッダ等を使用して他の端末装置にも通知される。
なお、端末装置Ｃは、自己のＣＰＵの処理能力に余裕がない場合は、要求を拒否または無視したり、次のミキシング処理の時間（τ）の短縮を要求することができる。要求が拒否されたときは、他の端末装置に改めて要求を行う。
［ステップＳ０６：ミキシング処理を行う端末装置の交替（１）］
端末装置Ｃは、時刻Ｔ２になると、自メディアデータと他の端末装置Ａ、Ｂから受信した相手メディアデータとをミキシング処理してミキシングメディアデータＭＭＤ−Ｃ１を生成し、これを他の全端末装置Ａ，Ｂに配信する（図２に示す「状態２」）。
また、端末装置Ｃは、端末装置Ｃのミキシング担当ネゴシエーション部３０の働きにより、他の端末装置（この実施の形態においては、端末装置Ａ）に端末装置Ｃの次にミキシングを行うことを要求する。この要求は、上述したステップＳ０５と同様に、端末装置Ｃから、端末装置Ａが次にミキシングを行う端末装置として指定された旨および端末装置Ｃがミキシング処理を開始する時刻（Ｔ１）とミキシング処理を行う時間（τ）を通知することによって行う。この要求を受け取った端末装置Ａは、その要求を受け付けたことを端末装置Ｃに対して通知する（ＲＰＹ）。
なお、仮にステップＳ０５において端末装置Ａからの要求が拒否または無視されて、時刻Ｔ２までにミキシング処理を行う端末装置が決まらなかった場合は、時刻Ｔ２以降も端末装置Ａがさらに（Ｔ２−Ｔ１）の間、引き続きミキシング処理を行うことになる。
［ステップＳ０７：ミキシングメディアデータの並べ替え（１）］
端末装置Ａは、時刻Ｔ１から時刻Ｔ２までの間に他の端末装置Ｂ、Ｃから受信したメディアデータと自メディアデータとをミキシング処理するが、ＣＰＵの処理能力によっては必ずしもリアルタイムでミキシング処理が行えるとは限らない。例えば、ミキシング処理が時刻Ｔ２以降の時刻Ｔａまでずれ込んだ場合には、各端末装置は、端末装置Ａによって生成されたミキシングメディアデータＭＭＤ−Ａ１と端末装置Ｃから配信されたミキシングメディアデータＭＭＤ−Ｃ１との双方を扱うことになる。このような場合には、各端末装置の並べ替え部によって、ミキシングメディアデータをシーケンスナンバーに基づいて並べ替えた上で保存する。
［ステップＳ０８：ミキシング処理を行う端末装置の交替（２）］
時刻Ｔ３になると、上記ステップＳ０６において予め行ったネゴシエーションの結果に従って、ミキシング処理を行う端末装置が端末装置Ｃから再び端末装置Ａになり、端末装置Ａは、時刻Ｔ３以降の自メディアデータと相手メディアデータとからミキシングメディアデータＭＭＤ−Ａ２を生成し、他の端末装置Ｂ、Ｃに対して配信を開始する。
［ステップＳ０９：ミキシングメディアデータの並べ替え（２）］
ステップＳ０７と同様に、端末装置Ｃの処理能力によってはリアルタイムでミキシング処理が行えるとは限らない。その場合、端末装置Ｃは時刻Ｔ３以降もミキシング処理を続けることになる。そのような場合には、各端末装置は、受信または生成したミキシングメディアデータをシーケンスナンバーに基づいて並べ替えた上で記録する。

［２．第２の実施の形態］
本発明の第２の実施の形態に係るテレビ会議システムの動作の一例を図４に示す。
上述した第１の実施の形態においては、３台の端末装置Ａ、Ｂ、Ｃのうち、２台の端末装置の間で交互にミキシング処理を行う例について説明したが、本実施の形態においては、図４に示すように、３台の端末装置が持ち回りでミキシング処理を行うものである。すなわち、端末装置Ａがミキシングと配信を行う「状態１」と、端末装置Ｂがミキシングと配信を行う「状態２」と、端末装置Ｃがミキシングと配信を行う「状態３」とを順次とるものとなる。
各端末装置の構成等は、上述した第１の実施の形態において説明したものとほぼ同一であることから、詳細な説明は省略する。

［３．テレビ会議システムの効果］
以上、第１および第２の実施の形態に係る端末装置を用いたテレビ会議システムによれば、ミキシング処理を端末装置Ａと端末装置Ｃとの間で持ち回りで行って、それぞれ端末装置Ｂを含む他の端末装置にミキシングメディアデータを配信するので、ＣＰＵに過度の処理負担をかけずにミキシングを行い、ほぼ実時間でミキシングされた会議画像を得ることができる。したがって、保存されたテレビ会議の様子を専用のアプリケーションを用いなくても迅速に再生できるようになる。

本発明の実施の形態に係るテレビ会議用端末装置の構成を示すブロック図である。本発明の実施の形態に係るテレビ会議システムの動作例を説明する概念図である。本発明の実施の形態に係るテレビ会議システムの動作例を説明するシーケンス図である。本発明の実施の形態に係るテレビ会議システムの他の動作例を説明する概念図である。従来のテレビ会議システムを説明する図である。従来のテレビ会議システムを説明する図である。

符号の説明

１１…カメラ/マイクロフォン、１２…エンコーダ、１３…自メディアデータ送信部、１４…相手メディアデータ受信部、１５…デコーダ、１６…メディア再生部、１７、１９…バッファ、１８…ミキシング部、２０…エンコーダ、２１…ミキシングメディアデータ送信部、２２…ミキシングメディアデータ受信部、２３…並べ替え部、２４…ミキシングファイル記憶部、３０…ミキシング担当ネゴシエーション部（制御部）。

Claims

自装置に接続されたカメラおよびマイクによって取得された映像および音声を含む自メディアデータを送信する自メディアデータ送信部と、
テレビ会議の相手となる他のテレビ会議用端末装置から送出された映像および音声を含む相手メディアデータを受信する相手メディアデータ受信部と、
自装置に接続された前記カメラおよび前記マイクによって取得された映像および音声を含む前記自メディアデータと、前記相手メディアデータ受信部によって受信した前記相手メディアデータとをミキシングしてミキシングメディアデータを生成するミキシング部と、
このミキシング部によって生成されたミキシングメディアデータを通信ネットワークに送出するミキシングメディアデータ送信部と、
前記他のテレビ会議用端末装置から送出されたミキシングメディアデータを通信ネットワークを介して受信するミキシングメディアデータ受信部と、
前記ミキシング部によって生成された前記ミキシングメディアデータおよび前記ミキシングメディアデータ受信部によって受信された前記ミキシングメディアデータを記録する記録部と、
他装置とのネゴシエーションにより自装置の前記ミキシング部にミキシングメディアデータを生成させるか否かを決定し、前記ミキシング部にミキシングメディアデータを生成させるときは、前記ミキシングメディアデータ送信部に当該ミキシングメディアデータを送出させるとともに、当該ミキシングメディアデータを前記記録部に記録させる一方、前記ミキシング部にミキシングメディアデータを生成させないときは、前記ミキシングメディアデータ受信部により受信した前記ミキシングメディアデータを前記記録部に記録させる制御部と
を備えたことを特徴とするテレビ会議用端末装置。
請求項１に記載されたテレビ会議用端末装置において、
前記制御部は、
前記ミキシング部に定期的に所定の期間ミキシングメディアデータを生成させることを特徴とするテレビ会議用端末装置。
請求項１または２に記載されたテレビ会議用端末装置において、
前記ミキシング部によって生成されたミキシングメディアデータと前記ミキシングメディアデータ受信部において受信されたミキシングメディアデータとを時間的に並べ替える並び替え部をさらに備え、
前記記録部は、前記ミキシングメディアデータを時間順にしたがって記録する
ことを特徴とするテレビ会議用端末装置。
複数のテレビ会議用端末装置と、これらのテレビ会議用端末装置が接続される通信ネットワークとからなるテレビ会議システムにおいて、
前記テレビ会議用端末装置の少なくとも２つは、請求項１乃至３のいずれかに記載されたテレビ会議用端末装置であり、これらのテレビ会議用端末装置のうち１つのテレビ会議用端末装置がの間で持ち回りで前記ミキシング部にミキシングメディアデータを生成させることを特徴とするテレビ会議システム。