JP6692922B2 - 複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法 - Google Patents
複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法 Download PDFInfo
- Publication number
- JP6692922B2 JP6692922B2 JP2018552229A JP2018552229A JP6692922B2 JP 6692922 B2 JP6692922 B2 JP 6692922B2 JP 2018552229 A JP2018552229 A JP 2018552229A JP 2018552229 A JP2018552229 A JP 2018552229A JP 6692922 B2 JP6692922 B2 JP 6692922B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- video
- physical
- logical
- video conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000012545 processing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
シスコ(CISCO)(登録商標)、ポリコム(POLYCOM)(登録商標)、アバイア(AVAYA)(登録商標)、ライフサイズ(LIFESIZE)(登録商標)などのメジャーなビデオ会議装備業者は、上で言及した標準プロトコルを用いたビデオ会議ソリューションを供給しているが、標準技術のみを用いて製品を作る場合、多様な機能の実現は困難であるため、非標準ビデオ会議システムを供給する業者も多い。
ビデオ会議システムは、2個のビデオ会議端末(2個のポイント)のみが接続される1:1のビデオ会議があり、複数のビデオ会議端末(複数のポイント)が同時に接続されるマルチビデオ会議がある。ビデオ会議に参加したすべてのビデオ会議端末は、個別に一つのビデオ会議ポイント(Point)になり、ポイントごとに少なくとも一名の会議参加者が陪席することが一般的である。
標準ビデオ会議端末は、相手と一つのセッションを接続して通常一つの映像と音声のみを処理するため、基本的に1:1のビデオ会議に適用され、付加的に標準端末でもH.239とBFCP(Binary Floor Control Protocol)を用いると、文書会議のための補助映像をもう一つ処理できる。ここで、BFCPは、会議(Conference)システムでフロア制御(Floor Control)を行うためのバイナリー(Binary)形式の規格として、コラボレーションソフトウエア(Collaboration Software)を処理する端末間のコラボレーションセッションのあいだフロー制御を処理するための標準である。
標準ビデオ会議システムにおいて、このような技術的な制約を解決し、1:1でない3個以上のポイントが接続されたマルチビデオ会議をするためには別途MCU(Multipoint Conferencing Unit)という装置が必要である。MCUは、3個以上のポイントから提供される映像をミックス(Mixing)して各ポイントのための映像を一つずつ作って標準端末に提供することにより標準プロトコルの制約を解消する。ミックスは相対的にコストが多くかかる作業である。
ビデオ会議に結合されたすべてのビデオ会議端末は、自身が生成した映像と音声データとを圧縮して相手に送信するため、MCUがこれらの映像を再びミックスするためには圧縮された映像を再びデコード(Decoding)して元の映像をデータに復元した後、既に設定されたレイアウトに合わせて複数の映像レンダリング(Rendering)して新たな映像を作るミックス過程を行う。MCUは、ミックスが完了した映像を再びエンコード(Encoding)して各ポイントに配分する。したがって、MCUやMCU機能を備えたサーバーは、ビデオ会議システムにおいて相対的に非常に高価に該当する装備であるが、マルチビデオ会議のための核心的な装備である。
映像をミックスすれば、端末では一つの映像を処理することであるため、技術的に1:1で会議する時との差はないが、MCUが提供する映像には複数のポイントから提供される映像がPBP(Picture by Picture)、PIP(Picture in Picture)などの形態で結合されている。さらに端末側で必要な帯域幅も1:1と比べたとき、事実上差はない。
非標準ビデオ会議システムでは標準的なMCUを用いずに映像を処理し、標準映像端末と接続が必要であれば、別途のゲートウェイ(Gateway)を用いる。複数のポイントの端末は一つのサーバーにログインして特定の会議室に参加する手続きを経る。一部の非標準製品は、サーバーが存在せず、P2P(Peer to Peer)で処理する場合もある。
非標準ビデオ会議システムにおいて、MCUまたはMCU機能を行う装置を用いない理由は、MCU機能を実現するために高価の高性能サーバーが必要であるからである。映像ミックスを行う代わりに、各端末は、自身が生成した映像を他の参加者(他のポイントの端末)に単にリレー(Relay)する方法を多く用いる。リレー方式は、ミックスよりサーバーのシステムリソースを少なく使用する長所があるが、映像リレーに必要なネットワーク帯域幅は、幾何級数的に増える短所がある。
例えば、5名(5個のポイント)が同じ会議屋に参加しており、各ポイントでは他の参加者が提供する画面を一度に皆が見ているとの仮定下で計算してみると、本人の映像をサーバーに伝送して他の4名の映像をもらわなければならないので、25倍(5×5)の帯域幅が必要である。仮に、10個のビデオ会議端末が参加している場合、100倍(10×10)の帯域幅が必要である。ビデオ会議参加者が多くなれば、必要な帯域幅が幾何級数的に増加する。
従来の一般的なビデオ会議端末は、メイン映像画面と文書映像画面を同時に2個のディスプレイ装置に各々出力できるが、安いビデオ会議装備の中には単一ディスプレイ出力のみ支援する場合が多い。単一ディスプレイのみ支援するビデオ会議端末は、文書ビデオ会議のためのH.239またはBFCPを支援する場合もあり、支援しない場合もある。
単一ディスプレイにおいて、H.239またはBFCPプロトコルによる文書映像を表示する時には通常画面を分割して表示し、端末自体で2個の映像を多様な形態で表示するための複数のレイアウトを提供し得る。また、端末でメイン映像または文書映像のうち一つを選択して拡大する機能も大部分支援する。
前述したようにビデオ会議端末は、1個の映像を送出できるが、H.239またはBFCP技術を用いれば、文書映像をさらに送出できる。文書映像を送出するために発表者は発表者トークン(Token)を取得しなければならないが、ビデオ会議に参加した端末のうちただ一つの端末(すなわち、一つのポイント)のみがトークンを有し得る。そのために、参加者メイン映像と文書映像を同時にサーバーに送出できるのは、発表者トークンを取得した端末のみである。
一方、シスコ(Cisco)及びポリコム(Polycom)などのメジャーな業者は超高価のテレプレゼンス(Telepresence)技術のビデオ会議装備を供給するが、この装備は3個または4個のディスプレイ出力を支援するだけでなく、その支援される出力ディスプレイ数だけの映像を発表者トークンなしに送出できる。関連業界ではビデオ会議のためのマルチ映像の送出機能はテレプレゼンス装備のみの固有の機能として認識されている。
テレプレゼンス装備は、一般的なビデオ会議端末と連動されず、別途提供される高価なゲートウェイ装備がなければ相互連動できない。このように連動しても一般のビデオ会議の装備同士が通話することに比べて映像品質が非常に劣る。このような理由によって3個のディスプレイ出力を有するビデオ会議端末は相対的にほとんど普及されておらず、標準技術という制約により拡張性に制限がある状態である。
韓国公開特許第10−2016−0062787号公報(テレビカンファレンスのために複数のテレビフィードバックをミックス処理する方法、これを用いたテレビカンファレンス端末装置、テレビカンファレンスサーバー及びテレビカンファレンスシステム)
背景技術で検討したように、従来のビデオ会議端末は、自身が保有しているテレビ出力端子の個数によって接続可能なディスプレイ装置の数が決定される。一般の汎用ビデオ会議端末の場合、最大2個のスクリーンを支援し、テレプレゼンス(Telepresence)と呼ばれる装備は、3個以上のマルチスクリーンが支援するが、非常に高価で流通される。これを解決するために、本発明では終端(End Point)が保有している複数のビデオ会議端末を論理的端末で構成し、複数のビデオ会議端末がまるでマルチスクリーンを保有している一つのビデオ会議ポイントのように動作するように処理することで、従来のテレプレゼンス装備がなくてもマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法を提供することが目的である。
また、本発明は、超高価のテレプレゼンス装備が複数の映像を送出することのように、発表者トークンを取得しなくても複数の映像を伝送し、3個以上のディスプレイ出力が可能なマルチスクリーンビデオ会議サーバー及び方法を提供することを目的とする。
本発明の方法は、端末登録部が複数の物理的端末を一つの論理的端末として登録し、前記複数の物理的端末が一つのビデオ会議ポイント(Point)のように動作するように登録する登録段階と、通話接続部が前記論理的端末を含む複数のビデオ会議ポイント間のビデオ会議を接続し、前記論理的端末に対しては前記論理的端末を構成する複数の物理的端末と個別に接続する呼接続段階と、前記通話接続部が前記複数のビデオ会議ポイントが提供するソース映像を受信するが、前記論理的端末に対しては前記複数の物理的端末それぞれから前記ソース映像を受信するソース映像受信段階と、前記通話接続部が前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末の複数の物理的端末に分配することによって、前記論理的端末が一つの仮想のビデオ会議ポイントとして動作するようにするマルチスクリーン映像提供段階とを含む。
実施例によって、前記呼接続段階は、発信側または受信側が前記論理的端末である場合に、一般のポイントとは異ならせて処理する。仮に、呼接続の発信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する。また、前記呼接続の受信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する。呼接続には例えば、H.323またはSIP(Session Initiation Protocol)などのプロトコルが用いられ得る。
実施例によって、前記マルチスクリーン映像提供段階は、映像処理部が前記ソース映像受信段階により受信した全体ソース映像を用いて前記論理的端末を構成する複数の物理的端末それぞれに分配する映像をミックスする段階を含む。
例えば、前記映像処理部は、前記ソース映像受信段階により受信したM個の全体ソース映像のうち前記論理的端末から受信したm2個のソース映像を除いたm3個の映像を用いて前記複数の物理的端末のためのm1個の映像にミックスする。ここで、m1は前記論理的端末に含まれたディスプレイ装置の数である。m3は次の数式のとおりである。
(この時、Mは全体ソース映像の個数、m2は前記論理的端末を構成する物理的端末の個数)
ここで、仮に前記複数のビデオ会議ポイントのうち一つが文書会議のための発表者トークンを取得した場合、該当物理的端末は2個のソース映像を提供するため、前記Mは全体ソース映像の個数に1を足したものであり得る。
他の実施例によって、前記マルチスクリーン映像提供段階において、映像処理部は、前記複数の物理的端末それぞれに提供される映像に前記論理的端末自身のソース映像を共にミックスすることもできる。
また他の実施例によれば、前記マルチスクリーン映像提供段階の他の方法も可能である。例えば、前記マルチスクリーン映像提供段階において、前記通話接続部は、前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末に順次提供することもできる。このような処理によれば、従来のリレー方式のような映像表示が可能になる。
本発明の権利は、前記方法を行うために前記端末登録部、映像処理部及び通話接続部を備えたビデオ会議サーバーにも及ぶ。
マルチポイントビデオ会議において、ビデオ会議サーバーは、論理的端末が備えたスクリーン、すなわちディスプレイ装置の個数に合わせて他のビデオ会議ポイントの映像を分配するため、論理的端末に含まれた物理的端末の立場では従来に比べて表示すべき他のビデオ会議ポイントの数が減る効果があり、したがって、一つのスクリーンに表示される映像の複雑度も低くなる。映像の複雑度が低くなるので、たとえ性能が劣る物理的端末や速度が低いネットワークにおいて映像品質が改善される効果がある。
本発明の論理的端末は、単にビデオ会議サーバーの内部処理により実現されるものであり、物理的端末間の直接的な接続がないので、たとえ互いに異なる映像コーデックを備えるか、システム性能が互いに異なるか、互いに異なる製造社の物理的端末であるとしても一つの論理的端末に束ねて処理するのに問題はない。当然、論理的端末によりマルチスクリーンを提供するものであるため、マルチスクリーン支援のために個別ビデオ会議端末のシステムリソースをアップグレードする必要もない。
図1を参照すると、本発明のビデオ会議システム100は、サーバー110と複数のビデオ会議端末がネットワーク30を介して接続されたものであって、2個の接続ポイント(Point)が接続された1:1のビデオ会議だけでなく、3個以上のポイントが接続されているマルチビデオ会議を支援する。図1に示すビデオ会議端末(11,13,15,17,19)は、接続可能なビデオ会議端末を例示的に示したものである。
サーバー110とビデオ会議端末(11,13,15,17,19)との間の接続ネットワーク30は、IP網(IP Network)であり、ゲートウェイ(Gateway)を介して接続される異種ネットワークを含むか、異種ネットワークと接続され得る。例えば、移動通信網を用いる無線電話機も本発明のビデオ会議端末になり得、この場合、ネットワーク30はゲートウェイ(Gateway)を介して接続されてIPパケットを処理できる移動通信網を含む。
サーバー110は、本発明のビデオ会議システム100を全般的に制御し、従来の一般的なビデオ会議処理用サーバー機能に加え、端末登録部111、通話接続部113及び映像処理部115を含む。
端末登録部111は、以下で説明する物理的端末と論理的端末の登録、設定及び管理などを行い、通話接続部113は、本発明のビデオ会議の呼(Call)接続を制御する。映像処理部115は、ビデオ会議の呼が接続された場合に物理的端末及び/または論理的端末間に提供する映像を処理(ミックス、デコード、エンコードなど)することで、テレプレゼンスのようなマルチスクリーン(Multi Screen)を実現する。端末登録部111、通話接続部113及び映像処理部115の細部動作は、図3を参照して以下で再び説明する。
ビデオ会議システム100に含まれたすべてのビデオ会議端末(11,13,15,17,19)は、ビデオ会議に関する標準プロトコルを支援するが、背景技術で説明したテレプレゼンスサービスを提供できる端末ではなく、一つのディスプレイ装置が接続されるか、文書会議のために2個のディスプレイ装置が接続され得るビデオ会議端末である。標準プロトコルとしては、H.323またはSIP(Session Initiation Protocol)などがある。
また、各ビデオ会議端末(11,13,15,17,19)は、映像/音声コーデック(Codec)を備えた従来のビデオ会議端末である。当然、各ビデオ会議端末(11,13,15,17,19)のうち文書会議を支援する端末は、H.239とBFCP(Binary Floor Control Protocol)を支援する。
本発明のビデオ会議システムに接続されるビデオ会議端末は「論理的端末」を構成できる。論理的端末は、複数のビデオ会議端末を論理的に組み合わせたものであって、2個のビデオ会議端末で構成されてよく、3個以上のビデオ会議端末で構成されてもよいが、論理的端末を構成する複数のビデオ会議端末間の直接接続はない。通常のビデオ会議端末は、それぞれが一つのビデオ会議ポイントとして動作するが、論理的端末は、複数のビデオ会議端末が一つのビデオ会議ポイントとして動作する。他の側面で、論理的端末は、その構成員である物理的端末が保有しているディスプレイ装置全部を合わせた数だけのディスプレイ装置を備えることになる。必要に応じて、論理的端末はその複数の構成端末のうち一つを代表端末として指定し得る。
以下では論理的端末と従来の一般的なビデオ会議端末を区分するために、従来の一般的なビデオ会議端末を「物理的端末」という。論理的端末は、複数の物理的端末が論理的に結合されたものである。論理的端末がいくら多くの物理的端末を含んでいてもビデオ会議内では一つの接続ポイントとして取り扱いされる。
例えば、図1は2個の論理的端末(130、150)と一つの物理的端末19とがサーバー110によって相互接続された3個の接続ポイント(A、B、C)のマルチビデオ会議システムである。第1ポイントAに該当する第1論理的端末130は、1個のディスプレイ装置を有する第1及び第2物理的端末(11,13)で構成されたものであり、第2ポイントBに該当する第2論理的端末150は、2個のディスプレイ装置を有する第3物理的端末15と1個のディスプレイ装置を有する第4物理的端末17で構成されたものである。
論理的端末は、サーバー110に管理される論理的構成であり、標準プロトコルは1:1の接続のみを支援するので、サーバー110と論理的端末の接続は、論理的端末を構成するすべての物理的端末とサーバー110とが標準プロトコルによって個別に接続されることを意味する。例えば、SIPプロトコルによれば、図1は論理的端末の構成を問わず、5個の物理的端末(11,13,15,17,19)がサーバー110と5個のSIPセッション(Session)を生成したものである。
(1)一つの物理的端末が一つの論理的端末と接続されるビデオ会議
例えば、図1の第5物理的端末19が第1論理的端末130を呼び出す場合である。サーバー110は、第1論理的端末130を構成する第1及び第2物理的端末(11,13)を同時または順次呼び出して接続する。
(2)論理的単一端末が一つの物理的端末を呼び出すビデオ会議
例えば、ユーザーが第1論理的端末130のうち代表端末である第1物理的端末11で第5物理的端末19を呼び出す場合である。サーバー110は、第1論理的端末130を構成する他の物理的端末である第2物理的端末13と受信側である第5物理的端末19を同時または順次呼び出して接続する。
(3)一つの論理的端末が他の論理的端末を呼び出すビデオ通話
例えば、図1の第1論理的端末130が第2論理的端末150を呼び出す場合である。ユーザーが第1論理的端末130の代表端末11を用いて第2論理的端末150を呼び出す場合に、サーバー110は第2論理的端末150を構成する2個の物理的端末(15,17)を同時または順次呼び出して、発信側の代表端末11以外の残り端末である第2物理的端末13も呼び出して接続する。
(4)マルチポイントのビデオ会議
本発明のビデオ会議システムは、図1のように、論理的端末が一つのポイントとして接続された3個のポイント以上の接続を支援する。一つの論理的端末と2個の物理的端末とが接続されてもよく、2個以上の論理的端末と一つの物理的端末とが接続されてもよく、2個以上の論理的端末同士が接続されてもよい。マルチポイントの接続は、従来に知られた方法で処理し得る。ただし、新たに参加するポイントが論理的端末であれば、その構成員である物理的端末のすべてと接続しなければならないという点が異なる。
本発明のビデオ会議システム100は、論理的端末体系を用いてテレプレゼンスのようなマルチスクリーンを提供し得る。論理的端末は、たとえ仮想の端末であるが、構成員である複数の物理的端末全体が提供できるスクリーンの数だけ備えるものとして処理される。
サーバー110は、各論理的端末に含まれたディスプレイ装置の個数(またはサーバーが各論理的端末に提供しなければならない映像の個数)(m1)と、ビデオ会議に接続されたポイントに含まれた全体の物理的端末の個数(M、ソース映像の個数)をマッチする方法でマルチビデオ会議の映像を再構成することによって、論理的端末に対してm3個の映像をm1個の映像に再編集して提供する。ここで、m3は論理的端末がビデオ会議のために表示しなければならないソース映像の個数であって、次の数式1のとおりである。
一方、各物理的端末は自身の映像(ソース映像)が表示されるように設定するか、要請し得る。このような場合に、各論理的端末に対してm3個の映像をm1個の映像に再編集して論理的端末を構成する各物理的端末に分配する時、該当物理的端末が提供したソース映像を共にミックスして提供し得る。
m3がm1と同じ値ではない限り、サーバー110はソース映像をミックスする再処理が必要である。ただし、実施例によって論理的端末に対してm3個の映像をm1個の映像に再編集せずに、m3個の映像を一定の時間間隔で順次提供し得る。例えば、m3=3であり、m1=1である場合に3個のソース映像をミックスなどにより再編集せずに3個のソース映像を順次提供し得る。このような場合、従来の標準ビデオ会議端末では不可能であったリレー方式のビデオ会議の処理も可能になる。
一方、論理的端末の構成可否を問わず、本発明のビデオ会議に参加したいかなる物理的端末でも発表者トークンを取得すれば2個のソース映像を提供し得る。例えば、発表者トークンの取得によって、第1物理的装置11は、メイン映像と共に文書会議用映像を共にサーバー110に提供し得る。この場合、Mはビデオ会議に接続されたポイントに含まれた全体物理的端末の個数に1を足した値になる。
図2は図1の3個のポイントがすべて参加するマルチビデオ会議の接続図であり、第1論理的端末130と第2論理的端末150及び第5物理的端末19が、相互接続され、3個のポイントのマルチビデオ会議が接続されていると仮定する。図2を参照すると、このビデオ会議に含まれた物理的端末(11,13,15,17,19)の個数は5個(M=5)である。すなわち、5個の物理的端末(11,13,15,17,19)が提供する5個のソース映像(11a、13a、15a、17a、19a)がサーバー110に提供されるので、サーバー110は各ポイントが備えたディスプレイ装置の個数(m1)に合わせて5個のソース映像を編集して各ポイントに提供する。
第1論理的端末130は、第1物理的端末11と第2物理的端末13とを合わせて2個のディスプレイ装置を備えるので、m1=2、m2=2である。今回3個のポイントのマルチビデオ会議において、第1論理的端末130に、ビデオ会議に接続された端末は、物理的端末を基準に第3ないし第5物理的端末(15,17,19)であって、3個(m3,3=5−2)であるため、3個の物理的端末が提供する3個のソース映像を2個の映像に再編集して表示しなければならない。どのスクリーンにいかなるソース映像を表示するかは別途決定でき、図2では第1物理的端末11が第5物理的端末19のソース映像を表示し、第2物理的端末13が第3物理的端末15と第4物理的端末17のソース映像を一つにミックスした映像を表示する。
第2論理的端末150は、第3物理的端末15が2個のディスプレイ装置を備え、第4物理的端末17が一つのディスプレイ装置を備え、3個のディスプレイ装置を含むため、m1=3であり、m2=2である。したがって、第2論理的端末150に対して、サーバー110は3個の物理的端末が提供するソース映像を3個の映像に表示する。表示しなければならないソース映像の個数とスクリーンの個数とが一致するので、一つずつ再び表示すれば良い。どのスクリーンにいかなるソース映像を表示するかは別途決定でき、図2では第3物理的端末が第1及び第2物理的端末(11,13)のソース映像を各々表示し、第4物理的端末17は第5物理的端末19が提供するソース映像を表示するように構成された。
第5物理的端末19にも数式1が同様に適用される。第5物理的端末19において、m1=2、m2=1であるため、サーバー110は4個のソース映像(m3=5−1)を2個(m1)の映像に再編集して第5物理的端末19に提供する。第5物理的端末19は、2個のディスプレイ装置に第1論理的端末130と第2論理的端末150の全体4個の物理的端末(11,13,15,17)が提供するソース映像を表示しなければならないため、4個のソース映像を適切に編集して2個の映像に表示するように構成された。
仮に、第2論理的端末150を構成する第3物理的端末15が発表者トークンを取得した場合、2個のソース映像を提供し得る。この場合、第2論理的端末150は、全体3個のソース映像を提供することになり、Mは6になる。サーバー110が第1論理的端末130、第2論理的端末150及び第5物理的端末19に伝送するために処理しなければならないソース映像の個数も上で説明したものより一つずつ多くなる。
以下では図3を参照して、サーバー110のマルチスクリーンビデオ会議サービスの提供方法を説明する。説明の便宜上、図2で第1論理的端末130の第1物理的端末11が発信側となり、第2論理的端末150を受信側として通話接続する過程を中心に説明する。まず論理的端末を登録する過程が必要である。
サーバー110の端末登録部111は、物理的端末と論理的端末の登録を行い、管理する。物理的端末の登録は、論理的端末の登録に優先するか、同時に行わなければならず、各物理的端末の登録には各端末のIPアドレス(IPAddress)が必須である。
物理的端末の登録過程は、従来に知られた多様な方法で登録し得る。例えば、SIPプロトコル上のRegister命令による位置登録過程を用いて物理的端末の登録を行うこともできるが、この時には物理的端末の電話番号などが含まれ得る。物理的端末の位置を登録すると、サーバー110は該当物理的端末が現在ターンオン(Turn On)され、動作中であるか否かを確認し得る。
論理的端末の登録は、該当論理的端末に含まれる物理的端末を指定し、各物理的端末に接続されたディスプレイ装置の個数が登録される。実施例によっては論理的端末に含まれたディスプレイ装置間の配置(または相対的位置)と、ソース映像の個数(m3)による映像ミックス方式(リレー方式を含む)またはミックス映像のレイアウト(Layout)などを設定し得る。例えば、端末登録部111は、第1物理的端末11と第2物理的端末13とを第1論理的端末130で構成する構成情報の入力を受けて登録して管理する。論理的端末の登録は、端末登録部111が提供するウェブページを用いるか、接続端末を別途用いてもよい。
各ビデオ会議ポイント間のビデオ会議の呼設定は、サーバー110の通話接続部113が一つのポイントで呼接続要請を受信することで開始される。SIPプロトコルの場合、通話接続部113は、SIPシグナリングメッセージであるINVITEを受信する。図2の例において、第1論理的端末130の第1物理的端末が第2論理的端末150の第3物理的端末15を呼び出すことであるため、通話接続部113は、発信側である第1物理的端末11が、第3物理的端末15の電話番号またはIPアドレスを用いて第3物理的端末15を呼び出すINVITEメッセージを受信する。
サーバー110の通話接続部113は、受信側の電話番号が論理的端末を構成する物理的端末のうち一つの電話番号(またはIPアドレス)であるかを端末登録部111に照会する。同様に、発信側が論理的端末を構成する物理的端末のうち一つの電話番号(またはIPアドレス)であるか否かを端末登録部111に照会する。これにより、通話接続部113は、該当呼接続が論理的端末への接続であるか否かを確認する。
実施例によって、通話接続部113は付加的に受信側が論理的端末を構成する物理的端末である場合に、該当物理的端末がその論理的端末の代表端末であるかをさらに確認することで、受信側の代表端末ではない場合には受信側を論理的端末として処理しない場合もある。発信側の場合にも該当発信側が属する論理的端末の代表端末であるかをさらに確認することで、発信側の代表端末ではない場合には発信側を論理的端末として処理しない場合もある。
受信側の電話番号が論理的端末であれば、通話接続部113は、受信側の論理的端末に属するすべての物理的端末とSIPセッション生成のための手続きを行う。図2の例において、受信側が第2論理的端末150であるため、通話接続部113は第3物理的端末15と第4物理的端末17との間にSIPセッションを生成する。この時、第3物理的端末15と第4物理的端末17とに同時にINVITEメッセージを伝達してもよく、順次伝達してもよい(S307)。
図2の例において、発信測も論理的端末であるため、通話接続部113は、第1論理的端末130の第2物理的端末13ともSIPセッションを生成する。図2の例において、第5物理的端末19ともSIPセッションを生成してビデオ会議に参加させ得る(S309)。
INVITEを受信した受信側及び/または発信側のすべての物理的端末は、SDP(Session Description Protocol)情報により映像及び音声コーデックなどを選択する交渉をする。成功的に交渉が完了すれば実際セッションが成立して呼が接続される。
前述したように、論理的端末の通話接続は、実際に論理的端末を構成する個別物理的端末との接続であるため、複数のセッションが成立したものである。論理的端末を構成する物理的端末も個別にソース映像を生成してサーバー110に伝送する。したがって、図2の場合、通話接続部113は、セッション接続された5個の物理的端末(11,13,15,17,19)が提供する5個のソース映像(11a、13a、15a、17a、19a)を受信する。
サーバー110の映像処理部115は、物理的端末から受信されたソース映像を各ポイントのための映像に再びレンダリング(Rendering)するためにソース映像をデコードし、ミックスして再びエンコードする。すなわち、映像処理部115は、各論理的端末に対してm3個の映像をm1個の映像に再編集し得る。
映像処理部115は、各論理的端末または物理的端末別に既に設定されたレイアウトによるか、各端末側で要請するレイアウトに合わせてソース映像のミックスを行う。
前述したように、映像処理部115の映像処理なしに、通話接続部113が既に設定された時間間隔で順次提供することで、リレー形態でソース映像が表示されるようにすることもできる。この場合にはミックスなどの過程なしにそのまま伝送すればよく、該当端末の映像コーデックにマッチさせる必要がある場合に映像フォーマットを変更するか、トランスコーディング(TransCoding)する程度で十分である。
通話接続部113は、映像処理部115が各物理的端末(11,13,15,17,19)のために処理した映像をビデオ会議に参加している各物理的端末(11,13,15,17,19)に提供する。これによりビデオ会議に参加している各ポイントは、まるでマルチスクリーンによるテレプレゼンスのようなサービスの提供を受け得る。
以上の方法によって本発明のビデオ会議システム100のビデオ会議用マルチスクリーンが処理される。
端末登録部111は、論理的端末を登録する時、該当論理的端末のための仮想の電話番号を生成して登録し得る。このような場合にS305段階で受信側の電話番号が論理的端末の仮想電話番号である場合にのみ受信側を論理的端末として処理し得る。
以上、本発明の好ましい実施例について図示して説明したが、本発明は、前述した特定の実施例に限定されず、請求範囲で請求する本発明の要旨を外れない範囲で当該発明が属する技術分野における通常の知識を有する者によって、多様な変形実施が可能であることは勿論であり、このような変形実施は、本発明の技術的思想や展望から個別に理解されてはならない。
Claims (14)
- ビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法において、
端末登録部が、物理的端末のそれぞれをビデオ会議ポイント(Point)として登録するものであり、そのうちの一部である複数の物理的端末を一つの論理的端末として登録することにより、前記論理的端末として登録した前記複数の物理的端末が一つのビデオ会議ポイントのように動作するように登録する登録段階と、
通話接続部が、前記登録段階で登録された複数のビデオ会議ポイント間のビデオ会議を接続し、前記論理的端末に対しては前記論理的端末を構成する複数の物理的端末と個別に接続する呼接続段階と、
前記通話接続部が、前記呼接続段階によるビデオ会議の接続後に、前記複数のビデオ会議ポイントが提供するソース映像を受信し、前記論理的端末に対しては前記複数の物理的端末それぞれから前記ソース映像を受信するソース映像受信段階と、
前記通話接続部が前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末の複数の物理的端末に分配することによって、前記論理的端末が一つの仮想のビデオ会議ポイントとして動作するようにするマルチスクリーン映像提供段階とを含むことを特徴とする、
ビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。 - 前記呼接続段階は、呼接続の発信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する段階、または、前記呼接続の受信側が前記論理的端末に属する物理的端末であれば、前記通話接続部が前記論理的端末の残りの物理的端末とも個別接続を生成する段階を含むことを特徴とする請求項1に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。
- 前記マルチスクリーン映像提供段階は、映像処理部が前記ソース映像受信段階により受信した全体ソース映像を用いて前記論理的端末を構成する複数の物理的端末それぞれに分配する映像をミックスする段階を含むことを特徴とする請求項1に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。
- 前記複数のビデオ会議ポイントのうち一つが文書会議のための発表者トークンを取得した場合に、前記Mは全体ソース映像の個数に1を足したものであることを特徴とする請求項4に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。
- 前記マルチスクリーン映像提供段階において、前記映像処理部は、前記複数の物理的端末それぞれに提供される映像に前記論理的端末自身のソース映像を共にミックスすることを特徴とする請求項3に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。
- 前記マルチスクリーン映像提供段階において、前記通話接続部は、前記ソース映像受信段階により受信した全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末に順次提供することを特徴とする請求項1に記載のビデオ会議サーバーのマルチスクリーンビデオ会議サービスの提供方法。
- マルチスクリーンビデオ会議サービスを提供できるビデオ会議サーバーにおいて、
物理的端末のそれぞれをビデオ会議ポイント(Point)として登録するものであり、そのうちの一部である複数の物理的端末を一つの論理的端末として登録することにより、前記論理的端末として登録した前記複数の物理的端末が一つのビデオ会議ポイントのように動作する端末登録部と、
前記端末登録部で登録された複数のビデオ会議ポイント間のビデオ会議のための呼を接続して前記複数のビデオ会議ポイントが提供するソース映像を受信し、前記論理的端末に対しては前記論理的端末を構成する複数の物理的端末と個別に接続し、前記複数の物理的端末それぞれからソース映像を受信する通話接続部と、
前記通話接続部が受信したソース映像を用いて前記複数のビデオ会議ポイントに提供する映像を生成する映像処理部とを含み、
前記通話接続部は、前記論理的端末に提供する映像を前記複数の物理的端末に分配することによって、前記論理的端末が一つの仮想のビデオ会議ポイントとして動作するようにすることを特徴とする、
ビデオ会議サーバー。 - 前記通話接続部は、前記呼接続の発信側が前記論理的端末に属する物理的端末であれば、前記論理的端末の残りの物理的端末とも個別接続を生成し、前記呼接続の受信側が前記論理的端末に属する物理的端末であれば、前記論理的端末の残りの物理的端末とも個別接続を生成することを特徴とする請求項8に記載のビデオ会議サーバー。
- 前記映像処理部が前記複数のビデオ会議ポイントから受信した全体ソース映像を用いて前記論理的端末を構成する複数の物理的端末それぞれに分配する映像をミックスすることを特徴とする請求項8に記載のビデオ会議サーバー。
- 前記複数のビデオ会議ポイントのうち一つが文書会議のための発表者トークンを取得した場合に、前記Mは全体ソース映像の個数に1を足したものであることを特徴とする請求項11に記載のビデオ会議サーバー。
- 前記映像処理部は、前記複数の物理的端末それぞれに提供する映像に前記論理的端末自身のソース映像を共にミックスすることを特徴とする請求項10に記載のビデオ会議サーバー。
- 前記通話接続部は、前記全体ソース映像のうち他のビデオ会議ポイントから提供した映像を前記論理的端末に順次提供することを特徴とする請求項8に記載のビデオ会議サーバー。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0093650 | 2017-07-24 | ||
KR1020170093650A KR101861561B1 (ko) | 2017-07-24 | 2017-07-24 | 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 |
PCT/KR2018/003202 WO2019022332A1 (ko) | 2017-07-24 | 2018-03-20 | 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019532524A JP2019532524A (ja) | 2019-11-07 |
JP6692922B2 true JP6692922B2 (ja) | 2020-05-13 |
Family
ID=62452734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018552229A Active JP6692922B2 (ja) | 2017-07-24 | 2018-03-20 | 複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11102451B2 (ja) |
EP (1) | EP3641302A4 (ja) |
JP (1) | JP6692922B2 (ja) |
KR (1) | KR101861561B1 (ja) |
CN (1) | CN110521202B (ja) |
WO (1) | WO2019022332A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113194277B (zh) * | 2021-03-12 | 2023-02-28 | 广州朗国电子科技股份有限公司 | 会议终端多屏幕视频的方法、装置及存储介质 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07327085A (ja) * | 1994-05-31 | 1995-12-12 | Nec Corp | ネットワーク独立型多地点間テレビ会議装置およびその接続方式 |
KR0163723B1 (ko) | 1995-03-20 | 1999-01-15 | 김광호 | 종합정보통신망을 이용한 화상회의시스템의 화상회의 제어장치 |
JP3537583B2 (ja) * | 1996-04-01 | 2004-06-14 | 京セラ株式会社 | 多地点テレビ会議システム |
CN1131603C (zh) * | 2001-07-13 | 2003-12-17 | 清华大学 | 宽带多媒体业务的有线接入方法 |
CN100505864C (zh) * | 2005-02-06 | 2009-06-24 | 中兴通讯股份有限公司 | 一种多点视频会议系统及其媒体处理方法 |
KR100725780B1 (ko) | 2005-11-24 | 2007-06-08 | 삼성전자주식회사 | 이동통신단말기에서 화상통화 연결 방법 |
CN1874483A (zh) * | 2006-06-30 | 2006-12-06 | 西安西邮双维通信技术有限公司 | 一种基于远程摄像机遥控功能的视频会议自主控制的方法 |
US7822065B2 (en) * | 2007-01-07 | 2010-10-26 | Wei Lu | Open wireless architecture (OWA) medium access control (MAC) processing architecture for future mobile terminal |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
CN101370114B (zh) | 2008-09-28 | 2011-02-02 | 华为终端有限公司 | 视频及音频处理方法、多点控制单元和视频会议系统 |
CN102006450A (zh) * | 2009-09-01 | 2011-04-06 | 华为终端有限公司 | 视频会议虚拟会场的呈现方法、设备及系统 |
JP2011077839A (ja) * | 2009-09-30 | 2011-04-14 | Sharp Corp | 情報共有システム |
US8525876B2 (en) | 2010-05-12 | 2013-09-03 | Visionbrite Technologies Inc. | Real-time embedded vision-based human hand detection |
US8717407B2 (en) | 2010-05-13 | 2014-05-06 | Lifesize Communications, Inc. | Telepresence between a multi-unit location and a plurality of single unit locations |
CN102469295B (zh) | 2010-10-29 | 2015-03-11 | 华为终端有限公司 | 会议控制方法及相关设备和系统 |
CN102572370B (zh) * | 2011-01-04 | 2014-06-11 | 华为终端有限公司 | 视频会议的控制方法和会议终端 |
CN102868880B (zh) * | 2011-07-08 | 2017-09-05 | 中兴通讯股份有限公司 | 一种基于远程呈现的媒体传输方法及系统 |
KR101567136B1 (ko) * | 2013-04-25 | 2015-11-06 | 삼성에스디에스 주식회사 | 다자간 통화 단말 및 상기 단말에서의 다자간 통화 전환 방법 |
KR20150118345A (ko) * | 2014-04-14 | 2015-10-22 | 한국전자통신연구원 | 텔레프레즌스를 위한 모바일 게이트웨이, 상기 모바일 게이트웨이를 이용한 텔레프레즌스 시스템 및 방법. |
KR101641184B1 (ko) | 2014-11-25 | 2016-08-01 | (주)유프리즘 | 비디오 컨퍼런스를 위해 복수의 비디오 피드들을 믹싱 처리하는 방법, 이를 이용한 비디오 컨퍼런스 단말 장치, 비디오 컨퍼런스 서버 및 비디오 컨퍼런스 시스템 |
US9602771B2 (en) * | 2014-12-10 | 2017-03-21 | Polycom, Inc. | Automated layouts optimized for multi-screen and multi-camera videoconferencing calls |
CN104580993A (zh) * | 2015-01-15 | 2015-04-29 | 深圳市捷视飞通科技有限公司 | 一种无线数字视频多点通讯方法 |
KR20160099977A (ko) * | 2015-02-13 | 2016-08-23 | 한국전자통신연구원 | 영상회의 서비스를 위한 데이터 처리 장치 및 데이터 처리 방법 |
KR20170071251A (ko) * | 2015-12-15 | 2017-06-23 | 한국전자통신연구원 | 회의 서비스를 제공하는 다중 접속 제어 장치 |
CN106791576B (zh) * | 2016-12-23 | 2020-01-21 | 安徽四创电子股份有限公司 | 视频监控系统与视频会议系统的融合系统的融合方法 |
-
2017
- 2017-07-24 KR KR1020170093650A patent/KR101861561B1/ko active IP Right Grant
-
2018
- 2018-03-20 EP EP18796569.4A patent/EP3641302A4/en not_active Withdrawn
- 2018-03-20 CN CN201880025280.8A patent/CN110521202B/zh active Active
- 2018-03-20 JP JP2018552229A patent/JP6692922B2/ja active Active
- 2018-03-20 WO PCT/KR2018/003202 patent/WO2019022332A1/ko unknown
- 2018-03-20 US US16/082,442 patent/US11102451B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN110521202B (zh) | 2021-02-02 |
JP2019532524A (ja) | 2019-11-07 |
EP3641302A4 (en) | 2021-05-12 |
EP3641302A1 (en) | 2020-04-22 |
US20210227175A1 (en) | 2021-07-22 |
KR101861561B1 (ko) | 2018-05-29 |
CN110521202A (zh) | 2019-11-29 |
WO2019022332A1 (ko) | 2019-01-31 |
US11102451B2 (en) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8830294B2 (en) | Method and system for video conference control, videoconferencing network equipment, and videoconferencing site | |
US9402054B2 (en) | Provision of video conference services | |
US20200084248A1 (en) | Relaying multimedia conferencing utilizing software defined networking architecture | |
US9596433B2 (en) | System and method for a hybrid topology media conferencing system | |
US20040008249A1 (en) | Method and apparatus for controllable conference content via back-channel video interface | |
US20080031161A1 (en) | Method and system for establishing a conference call between a remote and a local endpoint | |
US7328240B2 (en) | Distributed multipoint conferencing | |
WO2015154608A1 (zh) | 一种视频会议资料共享方法、系统及装置 | |
US8384759B2 (en) | Video conferencing apparatus and method for configuring a communication session | |
KR20140016154A (ko) | 다양한 참가 디바이스의 화상회의 방법 및 시스템 | |
KR20140098573A (ko) | 영상 회의 서비스 제공 장치 및 방법 | |
WO2015003532A1 (zh) | 多媒体会议的建立方法、装置及系统 | |
JP2005286972A (ja) | 多地点会議接続システム、並びに多地点会議接続方法 | |
TWI644565B (zh) | 視訊影像處理方法及其相關系統 | |
WO2014177082A1 (zh) | 一种视频会议中处理视频的方法及终端 | |
KR101918674B1 (ko) | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 오디오 에코 제거방법 | |
JP2021525035A (ja) | 複数のビデオ会議用端末を用いてビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法 | |
Han et al. | Design of multi-party meeting system for interactive collaboration | |
JP6692922B2 (ja) | 複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバー及びその方法 | |
JP2005311670A (ja) | テレビ会議端末、テレビ会議システム、テレビ会議方法並びにそのプログラム | |
US20220391452A1 (en) | Method for conducting an audio and/or video conference | |
JP5579660B2 (ja) | 多地点接続テレビ会議装置 | |
US20100020156A1 (en) | Method and device for simultaneous multipoint distributing of video, voice and data | |
CN113726534A (zh) | 会议控制方法、装置、电子设备及存储介质 | |
TWI654880B (zh) | 多方視訊會議的執行方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6692922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |