JP5304213B2 - データ処理装置、プログラム及び方法、並びに、ネットワークシステム - Google Patents

データ処理装置、プログラム及び方法、並びに、ネットワークシステム Download PDF

Info

Publication number
JP5304213B2
JP5304213B2 JP2008318724A JP2008318724A JP5304213B2 JP 5304213 B2 JP5304213 B2 JP 5304213B2 JP 2008318724 A JP2008318724 A JP 2008318724A JP 2008318724 A JP2008318724 A JP 2008318724A JP 5304213 B2 JP5304213 B2 JP 5304213B2
Authority
JP
Japan
Prior art keywords
terminals
data
terminal
encoding
terminal information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008318724A
Other languages
English (en)
Other versions
JP2010141824A (ja
Inventor
啓明 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2008318724A priority Critical patent/JP5304213B2/ja
Priority to US12/591,476 priority patent/US8441517B2/en
Publication of JP2010141824A publication Critical patent/JP2010141824A/ja
Application granted granted Critical
Publication of JP5304213B2 publication Critical patent/JP5304213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、データ処理装置、プログラム及び方法、並びに、ネットワークシステムに関し、例えば、会議を行うシステムに適用し得る。
ネットワークを介した２人以上の参加者による多地点の会議システムにおいて、音声、映像、データを相互交換する目的でＭｕｌｔｉ-ｐｏｉｎｔ Ｃｏｎｔｒｏｌ Ｕｎｉｔ(以下、「ＭＣＵ」という)という装置が用いられるのが一般的である。
ＭＣＵの主な機能は、呼の制御機能の他に、会議に参加している複数の端末から送られてくる音声、映像、データを受信し、必要な場合はそれらを復号化などの計算処理する機能、集まった音声、映像、データを選択（スイッチング）することや、音声の重ねあわせによる合成、映像の空間的合成を行う機能、最後にこれら加工されたデータを特定のコーデック、ビットレート、映像の場合は特定の映像サイズで符号化し、参加者に音声、映像、データを配信することである。また、直接は相互通信ができない互換性のない端末同士がＭＣＵを介することで同一の会議に参加し相互に音声、映像等の通信を行うことを可能にしている。
映像に関して言えば、映像データを圧縮、伸張する際に用いられる符号化方式、フレームレート、映像のサイズ、ビットレートなどの特徴量があり、これらに互換性が無い場合は、ネットワークを介して相互に映像を通信することができない。しかし、特許文献１に記載されているように受信端末ごとの上記特徴量に合わせた復号化装置及び符号化装置を用いることで、会議へ接続する端末間の差分を吸収し、相互に映像の交換が可能となる。
特許文献１に記載の方式では、映像の符号化方式、フレームレート、映像サイズ、ビットレートなど、各端末にとって最適な特徴量を選択して符号化した映像を配信できるというメリットがある。また、仮にＭＣＵから送信されたデータがネットワークなど、受信装置へ到着するまでの経路上で損失された場合、失われた画像データを補う目的で一枚の画像の完全なデータを含んだイントラフレームを受信端末に送信するのが一般的であるが、イントラフレームの送信は瞬間的に高いビットレートのデータを生み出し、ネットワークに高い負荷をかける、もしくは精細度の低い映像フレームを送出するというマイナスの効果も持っている。上記の接続端末ごとに符号化装置を用いる方法においては、このイントラフレームの送出が接続している一つの端末だけに行われるため、一つの符号化装置を会議参加端末全てが共有する後述の方式に比べて、イントラフレーム送出によって生じるマイナスの効果を狭い範囲に限定することが可能である。
しかしながら、特許文献１に記載の方式では、符号化処理は大きな計算量を必要とし、その方式では会議への参加人数に比例して必要な計算量も増加するため、多人数の会議の実現は困難である。特に、汎用ＰＣサーバでＭＣＵを構築する場合限られたＣＰＵ計算処理能力でＭＣＵを実現する場合には、符号化処理の負担は提供可能な会議室への参加人数を小さい値に限定することになってしまう。
一方で、非特許文献１に記載の方式のように、会議室に対して一つの符号化装置を用い、その出力映像を会議への参加端末全てに配信する方式もある。この方式の場合、会議に参加する端末全てに対して、再生可能な共通の特徴量で符号化した映像を送信することになる。この方式では、会議室への参加端末が増加しても符号化装置の数は増加しないので、少ない計算量で多人数の会議を実現することが可能である。
また、符号化した映像データをマルチキャスト方式で配信することにより、ＭＣＵから接続端末方向への通信利用帯域を大幅に縮小することも可能である。しかしながら、特許文献１にある方式のように、各接続端末へ最適な符号化データを配信することができないため、いくつかの問題が生じてしまう。
第１には、参加端末中、最も能力の低い端末に合わせて映像データの符号化を行う必要があるため、本来ならよりサイズの大きい高精細な映像を受信し再生できる端末も、低いビットレート、小さいサイズ、最新ではない符号化方式の映像に甘んじなければならなくなる。第２には、ある特定の端末がパケットの損失により失われた画像データを補うためにＭＣＵにイントラフレームの送信を要求した場合に、この方式では全ての端末に対してイントラフレームを送信することになり、瞬間的なネットワーク負荷の増大、精細度の低い映像フレームの再生といったマイナスの効果が接続している全ての端末で生じる一方、それと引き換えに失われた画像の回復というメリットは、該当する特定の１端末でしか実現しない。
上記イントラフレームの送信頻度は、接続端末数に応じて増加するため、数十を超えるような会議参加端末がある場合で、端末からのイントラフレーム要求に対して必ずイントラフレームを送信する方式をとった場合、ネットワークにおけるパケットロス率がかなり低い場合においても、終始イントラフレームを送信し続け、結果として恒常的に大きなネットワーク負荷を発生させる、もしくは恒常的に精細度の低い映像を各端末が再生し続けるというデメリットが生じる。
この問題の回避策の一つとして、非特許文献１に提案されている方法では一定の方法でイントラフレームの要求を間引いて、イントラフレームをＭＣＵから端末に送信する方法が示されているが、この方式ではパケット損失により画像が壊れてしまった端末は、映像の回復まで平均してより長い時間待たされることとになる。
米国特許 第６，５８４，０７７Ｂ１ 中野和俊、田中令治著、「大規模ビデオ会議における映像の品質改善の検討，信学技報,ｖｏｌ．１０７，ｎｏ．２２９,ＣＱ２００７−６６，ｐｐ．１６５−１７０，２００７年９月 電子情報通信学会発行 Ｖ．Ｊａｃｏｂｓｏｎ ａｎｄ Ｍｉｃｈｅａｌ Ｊ．Ｋａｒｅｌｓ著, 「Ｃｏｎｇｅｓｔｉｏｎ Ａｖｏｉｄａｎｃｅ ａｎｄ Ｃｏｎｔｒｏｌ」，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＣＯＭＭ, Ｓｅｐｔ.１９８８,ｐｐ.３１４−３２９、[Online]、INTERNET、[２００８年１１月２０日検索]，＜ＵＲＬ： http://www.cs.rice.edu/~eugeneng/teaching/s04/comp629/papers/Jac88.pdf＞
上述の特許文献１及び非特許文献１に記載の方式では、ビデオ会議システムにおけるＭＣＵの構成方式として、特に映像データの符号化装置の数に着目してその特徴の違いを説明した。二つの方式は、限られたネットワーク帯域と限られた計算処理量のもとで、いかに質の高い映像を送受信するかという課題に対する異なる解決方法である。しかしながら、どちらの方法も、比較的少人数の会議参加者で会議を行う場合は、デメリットが目立たないが、会議への参加者が増えるに従って以下に述べる問題が顕在化してくる。
特許文献１に記載の方式では、計算処理量が参加者人数に比例して増大するため、多人数の会議では膨大な計算量が必要となり、汎用のＰＣサーバでＭＣＵを実現する場合、会議室への同時参加人数が、比較的少人数に限定されてしまう。符号化の専用装置を用いる場合は、符号化処理に必要な計算処理が他の処理を圧迫することはないが、多人数の会議を実現するにはかなり高価な装置となってしまう。また、汎用ＰＣサーバもしくは符号化装置のどちらの場合も、受信端末ごとに異なるデータストリームを送信することになるので、利用する送信帯域も参加端末に比例して増大してしまう。このことは、限られたネットワーク帯域を利用する上では、個々の端末に送信する映像データのビットレートを下げることにつながり、結果として映像の質を低下させることになる。
非特許文献１に記載の方式では、符号化装置が会議室に１つだけであるため、接続端末の多様な要求条件に対応することができず、映像の質を左右する画像サイズ、符号化ビットレート、等は会議参加端末の中で最も性能の低い端末に送信画像の特徴量を合わせなければならない。また、ネットワークにおけるパケットロス率とそれに応じたイントラフレームに関しては、個々の端末の要求に即座に対応してイントラフレームを送信する場合、会議への参加端末数が増加するに従い、イントラフレームの送信頻度が上がり、結果としてネットワーク帯域の有効利用ができず精細度の低い映像をより長い時間送信することになってしまう。イントラフレームの送信頻度を間引くことで制御した場合においては、あまりに高い頻度でイントラフレーム送信が実行されることは避けられるが、接続する端末の多様な要求に対して、一部の端末にしか適さない頻度でしか、イントラフレームを送信することができず、ある端末にとっては必要以上にイントラフレームが送信され、本来受け取れるはずの映像に比べて精細度を欠いた映像をより長い時間受信することになり、反対にパケットロス率が高い端末にとっては、必要な頻度より低い頻度でしかイントラフレームを受信することができず、その結果として画像データの部分的な損失により壊れた映像がより長い時間回復しないことになる。
そのため、複数の端末にデータ送信するネットワークシステムにおいて、低コストで各端末へのデータ送信の品質を向上させることができるデータ処理装置、プログラム及び方法、並びに、ネットワークシステムが望まれている。
第１の本発明のデータ処理装置は、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置において、（２）上記送信データを符号化する複数の符号化部と、（３）それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、（４）上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、（５）それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段とを有し、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（７）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（８）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（９）上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対する上記第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、ｘ−ｙの値が０に最も近づくｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けすることを特徴とする。
第２の本発明は、少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置において、（１）上記送信データを符号化する複数の符号化部と、（２）それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、（３）上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、（４）それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段とを有し、（５）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（６）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（７）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（８）上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対す上記る第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、全ての上記端末のパラメータ値の総計に比例する係数であるｚを、ｚ＝ｘ＋ｙ−２ｘｙに従って計算し、ｚが最小となるｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けすることを特徴とする。
第３の本発明は、少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置において、（１）上記送信データを符号化する複数の符号化部と、（２）それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、（３）上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、（４）それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段とを有し、（５）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（６）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（７）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（８）上記複数の符号化部として、第１の符号化部と、上記第１の符号化部よりも符号化後のデータ量が少なくなる符号化を行う第２の符号化部を備え、（９）上記端末分類手段は、当初は全ての上記端末を上記第１の符号化部に対応付け、その後、パラメータ値の高い方から順番に上記第２の符号化部に対応付けを変更することを、全ての上記端末のパラメータ値の合計が閾値以下となるまで繰り返すことを特徴とする。
第４の本発明のデータ処理プログラムは、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置に搭載されたコンピュータを、（２）上記送信データを符号化する複数の符号化部と、（３）それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、（４）上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、（５）それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段として機能させ、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（７）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（８）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（９）上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対する上記第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、ｘ−ｙの値が０に最も近づくｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けることを特徴とする。
第５の本発明のデータ処理プログラムは、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置に搭載されたコンピュータを、（２）上記送信データを符号化する複数の符号化部と、（３）それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、（４）上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、（５）それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段として機能させ、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（７）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（８）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（９）上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対す上記る第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、全ての上記端末のパラメータ値の総計に比例する係数であるｚを、ｚ＝ｘ＋ｙ−２ｘｙに従って計算し、ｚが最小となるｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けすることを特徴とする。
第６の本発明のデータ処理プログラムは、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置に搭載されたコンピュータを、（２）上記送信データを符号化する複数の符号化部と、（３）それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、（４）上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、（５）それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段として機能させ、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（７）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（８）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（９）上記端末分類手段は、当初は全ての上記端末を第１の符号化部に対応付け、その後、パラメータ値の高い方から順番に上記第１の符号化部よりも符号化後のデータ量が少なくなる符号化を行う第２の符号化部に対応付けを変更することを、全ての上記端末のパラメータ値の合計が閾値以下となるまで繰り返すことを特徴とする。
第７の本発明のデータ処理方法は、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信し、上記送信データを符号化する複数の符号化部を備えたデータ処理装置におけるデータ処理方法において、（２）端末情報管理手段、端末分類手段、データ送信手段を有し（３）上記端末情報管理手段は、それぞれの上記端末の通信に係る端末情報を管理し、（４）上記端末分類手段は、上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行い、（５）上記データ送信手段は、それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信し、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（７）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（８）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（９）上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対する上記第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、ｘ−ｙの値が０に最も近づくｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けすることを特徴とする。
第８の本発明のデータ処理方法は、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信し、上記送信データを符号化する複数の符号化部を備えたデータ処理装置におけるデータ処理方法において、（２）端末情報管理手段、端末分類手段、データ送信手段を有し（３）上記端末情報管理手段は、それぞれの上記端末の通信に係る端末情報を管理し、（４）上記端末分類手段は、上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行い、（５）上記データ送信手段は、それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信し、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（８）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（９）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（１０）上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対す上記る第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、全ての上記端末のパラメータ値の総計に比例する係数であるｚを、ｚ＝ｘ＋ｙ−２ｘｙに従って計算し、ｚが最小となるｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けすることを特徴とする。
第９の本発明は、（１）少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信し、上記送信データを符号化する複数の符号化部を備えたデータ処理装置におけるデータ処理方法において、（２）端末情報管理手段、端末分類手段、データ送信手段を有し、（３）上記端末情報管理手段は、それぞれの上記端末の通信に係る端末情報を管理し、（４）上記端末分類手段は、上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行い、（５）上記データ送信手段は、それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信し、（６）上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、（７）上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、（８）上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、（９）上記端末分類手段は、当初は全ての上記端末を第１の符号化部に対応付け、その後、パラメータ値の高い方から順番に、上記第１の符号化部よりも符号化後のデータ量が少なくなる符号化を行う第２の符号化部に対応付けを変更することを、全ての上記端末のパラメータ値の合計が閾値以下となるまで繰り返すことを特徴とする。
第４の本発明のネットワークシステムは、（１）複数の端末と、少なくとも動画又は音声の一方を含む送信データを、符号化して上記端末に向けて送信するデータ処理装置とを備えるネットワークシステムにおいて、上記データ処理装置として、第１の本発明のデータ処理装置を適用したことを特徴とする。
本発明によれば、複数の端末にデータ送信するネットワークシステムにおいて、低コストで各端末へのデータ送信の品質を向上させることができる。
（Ａ）主たる実施形態
以下、本発明によるデータ処理装置、プログラム及び方法、並びに、ネットワークシステムの一実施形態を、図面を参照しながら詳述する。なお、この実施形態のネットワークシステム、データ処理装置は、それぞれ、会議システム、映像信号処理装置である。
（Ａ−１）第１の実施形態の構成
図２は、この実施形態のビデオ会議システムの全体構成を示すブロック図である。
会議システム１には、会議サーバ１０と、４台の会議接続端末４０−１〜４０−４が配置されている。
会議サーバ１０は、会議接続端末の接続許可及びアドレス変換機能を有するゲートキーパ（以下、「ＧＫ」という）２０と、２人以上の参加者による多地点会議において、音声、映像、データを相互交換する機能を担っているＭＣＵ３０とを有している。会議サーバ１０においては、仮想的に１又は複数の会議室が設定され、会議接続端末４０−１〜４０−４から送られてくる映像データを合成して、会議接続端末４０−１〜４０−４に送信する。この実施形態においては、会議サーバ１０において、４台の会議接続端末４０−１〜４０−４により一つの会議室が設定され、会議サーバ１０では、会議接続端末４０−１〜４０−４から送られてきた映像データを合成して、会議接続端末４０−１〜４０−４に送信するものとして説明する。
図２においては、記載を省略しているが、会議サーバ１０は、映像データと併せて音声データを会議接続端末４０−１〜４０−４から収集して合成し、送信するようにしても良い。また、図２において、会議接続端末４０−１〜４０−４は、会議サーバ１０（ＭＣＵ３０）と、Ｈ.３２３準拠の方式で呼を接続するものとして説明するが、呼を接続する方式はＨ．３２３に限定されないものである。
会議接続端末４０−１〜４０−４は、上述の通り会議サーバ１０に接続する端末であり、既存のビデオ会議システムにおける端末を適用するようにしても良い。なお、配置する会議接続端末４０の数は限定されないものである。
図１は、ＭＣＵ３０（映像信号処理装置３１）の内部の機能的構成について示したブロック図である。
ＭＣＵ３０にはさらに図１に示すように、映像信号を処理する映像信号処理装置３１が含まれている。なお、図１においては記載を省略しているが、既存のＭＣＵ装置と同様に、音声信号処理装置、データ信号処理装置等を有する構成としても良い。
映像信号処理装置３１は、パソコンなどの情報処理装置（１台に限定されず、複数台を分散処理し得るようにしたものであっても良い。）上に、実施形態の映像処理プログラム（固定データを含む）をインストールすることにより、構築しても良く、その場合でも機能的には図１のように表すことができる。また、映像信号処理装置３１の一部又は全部の構成要素を、専用のハードウェアとして構築するようにしても良い。
図１において、映像信号処理装置３１は、データ受信部３３（３３−１〜３３−４）、復号化部３４（３４−１〜３４−４）、画像合成部３５、符号化部３６（３６−１、３６−２）、データ送信部３７（３７−１〜３７−４）を有している。なお、データ受信部３３、復号化部３４、データ送信部３７は接続する会議接続端末数と同数作成される。
画像合成部３５は、図１に示すように通常会議室に対して１つだけ作成するようにしても良い（複数作成することも可能であり、その場合、各画像合成部３５と各符号化部との接続は制御装置からの指示により動的に変更可能である）。
図３は、画像合成部３５により、画像が合成されるレイアウトの例を示した説明図である。
画像合成部３５では、４台の会議接続端末４０−１〜４０−４から受信した画像（フレーム）を合成する場合には、例えば、図３（ａ）に示すように４分割したフレームごとに各会議接続端末４０から受信した画像をはめ込むように合成しても良い。
符号化部３６は、会議室に対して１つ以上任意の数で作成される。制御部３２からの制御に基づき、符号化部３６は新たに作成すること、及び消去することができるものとする。符号化部３６とデータ送信部３７の接続関係は会議中であっても、制御装置からの指示に従い、動的に変化させることができるものとする。なお、この実施形態において、制御部３２が指示する符号化パラメータとしては、映像符号化コーデック、画像サイズ、符号化ビットレート、映像フレームレート、フレームタイプ（イントラフレーム／インターフレーム）を適用するものとするが、符号化パラメータは上述の一部のパラメータについて適用しても良いし、他のパラメータを適用しても良く、適用する符号化パラメータの数や組み合わせは限定されないものである。
次に、制御部３２の構成の詳細について説明する。
図４は、制御部３２内部の機能的構成について示したブロック図である。
制御部３２は、会議接続端末４０−１〜４０−４の通信に係るパラメータ値などの情報（以下、「端末情報」という）として、例えば、性能、ネットワーク環境などの情報を収集し、その端末情報に基づいて会議接続端末４０を複数のグループにグループ化し、各グループに対応した符号化パラメータでそれぞれの符号化部３６を動作させるものである。この実施形態において、制御部３２が収集する端末情報として、具体的には、それぞれの会議接続端末４０に係るパケットロス率、イントラフレームなどを適用するものとして説明する。
制御部３２は、端末分類部３２１及び通信部３２５を有している。
通信部３２５は、それぞれの会議接続端末４０に係る性能、ネットワーク環境などのパラメータの情報を収集する機能を担っており。端末分類部３２１は、後述の接続端末のグループ分けを行う機能を担っており、データ記憶部３２２、ソート部３２３、分類点計算部３２４を有している。
次に、端末分類部３２１におけるグループ分けの処理について説明する。
データ記憶部３２２は、通信部３２５が収集した端末情報を記憶する手段であり、ソート部３２３は、データ記憶部３２２が記憶している各会議接続端末４０の端末情報を基準として、会議接続端末４０のリストを降順又は昇順にソートを行う。そして、分類点計算部３２４は、ソート部３２３がソートしたリストにおいて、上述のグループ分けを行う分類点を算出する。
例えば、それぞれの会議接続端末４０−１〜４０−４が利用可能なネットワーク帯域の値をもとにＡ種類に分け、パケットロス率の値に応じてＢ種類に分けるとする（Ａ、Ｂともに１以上任意の正の整数とする）。この場合、符号化装置のパラメータとして、ネットワークの利用帯域とパケットロス率から、合計(Ａ・Ｂ)種類の組み合わせが可能であり、それぞれに応じたパラメータで符号化装置を(Ａ・Ｂ)種類作成することができる。なお、(Ａ・Ｂ)種類全てではなく、その一部だけを作成するようにしてもよい。
例えば、高いパケットロス率に対応する符号化部では、ビットレートを低くする、フレームレートを低くする、よりパケットロスに強い映像コーデックを選択する、イントラフレームの送信頻度を高くする、等で対応するようにしても良い。符号化部３６とデータ送信部３７の接続関係は、制御装置からの指示に従い会議中であっても動的に変更するようにしても良い。
上述のように、(Ａ・Ｂ)種類の符号化部３６を作成した場合、符号化部３６とデータ送信部３７との接続関係、すなわち、どの会議接続端末４０にどの符号化部３６で符号化された映像データを送信するのか決定するグループ分けの方法としては、例えば、以下の第１〜第４の方法が挙げられる。
[第１の方法]
まず、符号化部３６とデータ送信部３７の接続関係のグループ分けを決定する第１の方法について説明する。第１の方法は、予め、例えば、利用可能ネットワーク帯域、パケットロス率等、必要なパラメータをシステム内（会議接続端末４０、もしくはＭＣＵ３０を含む会議サーバ１０）で保持しておき、制御装置はその情報を呼確立時前後に取得し、取得した情報をもとに符号化部３６とデータ送信部３７との接続関係を決定することが挙げられる。また、制御部３２が、会議接続端末４０−１〜４０−４に係る情報を保持する方法としては、例えば、会議サーバ１０と会議接続端末４０−１〜４０−４との呼確立時にＨ.２４５による能力交換で得られる情報を利用して決定するようにしても良い。
[第２の方法]
次に、符号化部３６とデータ送信部３７の接続関係のグループ分けを決定する第２の方法について説明する。第２の方法は、必要なパラメータを測定するための試験パケットを会議サーバと会議接続端末間で送受信し、その試験パケットの送受信の状況により、各会議接続端末４０に係るネットワーク帯域、パケットロス率を測定することである。
ネットワーク帯域、パケットロス率を測定する方法としては、非特許文献２に記載されている「Ｐａｃｋｅｔ ｐａｉｒ」を用いた方法を用いても良い。上述の試験パケットによるネットワーク帯域、パケットロス率の測定は会議接続前及び会議接続中の任意のタイミングで行うことができる。会議接続中に測定を行いその結果に応じて動的に符号化部と会議接続端末との接続関係を変更するようにしても良い。
[第３の方法]
次に、符号化部３６とデータ送信部３７の接続関係のグループ分けを決定する第３の方法について説明する。第３の方法は、ＲＴＣＰによりパケットロス率、ジッタ遅延時間情報を収集することである。（利用可能ネットワーク帯域については、直接知ることができない）ＲＴＣＰ情報は会議接続中継続して情報が更新される。この情報をもとに、符号化部との接続関係を動的に決定する。
[第４の方法]
次に、符号化部３６とデータ送信部３７の接続関係のグループ分けを決定する第４の方法について説明する。Ｈ．３２３では、イントラフレーム送信を要求する方法が定義されている。これは、パケットロス等が原因となり、受信側で完全な映像を復号化できない場合などに、一枚の完全なフレーム情報を含んだイントラフレームを送信側に要求する仕組みである。会議システム１では、会議接続端末４０側から会議サーバ１０にイントラフレームが要求されることになるが、第４の方法は、各会議接続端末４０からの、イントラフレーム要求の頻度を記録し、その頻度に応じて、現在接続されている符号化部３６の符号化パラメータが適切でないと判断される場合、符号化部３６との接続関係を動的に変更するものである。具体的には、イントラフレーム要求が一定の頻度以下になるまで、より低帯域（送信データ量が少ない）で高パケットロスに対応したパラメータの符号化部３６へと接続を切り替えていく。この操作により、結果としてパケットロス率の高さに応じた複数のグループに端末を分類することになる。
次に、制御部３２で、上述の第１〜第３の方式を適用した場合に、符号化部３６とデータ送信部３７の接続関係、すなわち、端末分類部３２１において、どの会議接続端末４０を、どの符号化部３６に対応付けけるかをグループ分けする処理の具体例について説明する。なお、この実施形態における以下の説明では、計算式等の説明を簡易にするため、全ての符号化部３６について適用する符号化パラメータは全て同一であるものとして説明するが、符号化部３６ごとに異なる符号化パラメータを適用するようにしても良いことは上述の通り当然である。
また、この実施形態では、説明を簡易にするために、映像信号処理装置３１に２つの符号化部３６−１、３６−２が配置されているので、端末分類部３２１では、会議接続端末４０が、２つのグループにグループ分けされるものとして説明する。また、図２においては、会議システム１には、４台の会議接続端末４０−１〜４０−４が配置されているが、ここでは、配置されている会議接続端末４０の総数はＮ台であるものとして説明する。
まず、Ｎ台の端末が接続した会議で、ある任意の時間会議を行う場合を考える。この会議中に全ての会議接続端末４０が経験する受信パケットにおけるパケットロスの回数の合計をＸ回とする。非特許文献１に示されている方式のように、符号化部が会議室に対して１つの場合、パケットロスが発生するごとに会議接続端末４０からＭＣＵ３０に対してイントラフレーム要求が送られるとすると会議中に最大Ｘ回イントラフレームがＮ台の会議接続端末４０に送信される。従って、会議室全体における送信されたイントラフレームの累積値は、Ｎ・Ｘ回となる。ここで、符号化部を２つ作成し、符号化部３６−１にα・Ｎ台（０≦α≦１とする）の端末が接続し、符号化部３６−２には、残りの（１−α）・Ｎ台の端末が接続する場合について考える。
仮に、Ｎ台の会議接続端末４０全てにおいてパケットロス率が等しいとすると、符号化部３６−１が送信するイントラフレーム数はα２・Ｎ・Ｘとなり、符号化部３６−２が送信するイントラフレーム数は（１−α）２・Ｎ・Ｘとなり、会議システム１全体で送信されるイントラフレーム数は、以下の（１）式で表される。
イントラフレーム数＝（２α2−２α＋１）・Ｎ・Ｘ …（１）
上記の（１）式においては、α＝０．５の時に最小値０．５・Ｎ・Ｘとなる。すなわち、符号化部を２つに増やすことにより、システム全体で送信されるイントラフレーム数を半分にすることができることになる。そして、実際にはパケットロス率は一様ではなく、偏在しており、パレート分布に近い確率分布をしていることが知られている。
例えば、２割の会議接続端末４０（０．２・Ｎ）が全体のパケットロスの８割（０．８・Ｘ）を引き起こしている場合、該当する２割の会議接続端末４０を符号化部３６−１に接続し、残りの８割の端末を符号化部３６−２に接続すると、それぞれの符号化部から送信されるイントラフレーム数は、０．２・０．８・Ｎ・Ｘ、０．８・０．２・Ｎ・Ｘとなりシステム全体で送信されるイントラフレーム数は、０．３２・Ｎ・Ｘ回となり、パケットロス率が一様であると仮定した場合に比べて、さらに送信するイントラフレーム数を少なくすることができる。仮に１割の端末が全体の９割にあたるパケットロスを引き起こしている場合、上記と同様に２つの符号化部に分けて接続することにより、会議システム１全体で送信されるイントラフレーム数を０．１８・Ｎ・Ｘ回まで減少させることが可能である。
この実施形態では、結果としてパケットロス率の高低で端末を分類することになるので、上記のような条件が成立する。以下、その仕組みについて説明する。
会議接続端末４０をｘ：（１−ｘ）の比率で二つのグループに分ける。この時、それぞれのグループで合計したイントラフレーム要求数の合計値の比率が（１−ｙ）：ｙとなっているとする。すると、システム全体のイントラフレーム数の合計値ｚ・Ｎ・ｘにおけるｚは、以下の（２）式で表わされる。
ｚ＝ｘ＋ｙ−２ｘｙ（ただし、０≦Ｘ≦１,０≦ｙ≦１） …（２）
図５及び図６は、分類点計算部３２４において、算出するｚを３次元空間内の曲面として表現した場合の説明図である。
図５及び図６に示した曲線Ｌはパケットロス率が一様な場合、すなわちｘ＋ｙ＝１におけるｚの取り得る範囲を示している。この場合、前述のように、ｘ＝ｙ＝０．５においてｚは最小値０．５をとる。一方、パケットロス率が一様ではなく偏在している場合、ｙ＝ｘ≠０．５となるｘ、ｙとなるようにＮ個の端末を二つのグループに分けることができる。
ｙ＝ｘの条件のもとで、ｚ（システム全体のイントラフレーム数合計値に比例した係数）はｙ＝ｘ＝０．５で最大値をとる２次曲線となるので、符号化部３６を２つにすることで、システム全体のイントラフレーム合計数を半分より少なくすることが可能である。また、イントラフレーム要求数もしくはパケットロス率の値をもとにグループに含まれるＮ個の接続端末をソートし、１番目からｋ番目までとｋ＋１番目からＮ番目の二つのグループに分割する場合、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、システム全体のイントラフレーム数の合計値に比例した係数であるｚを上記の（２）式に従って計算し、ｚが最小となるｋのところで、グループを二つに分割するようにしても良い。なお、上記の（２）式において、ｘ−ｙ＝０（ｙ＝ｘ≠０．５）の場合には、ｘ−ｙが最も０に近づくｋのところで、グループを２つに分割するようにしても良い。この場合、ｘ−ｙの演算だけで良く、またｋに対してｘ−ｙの値は単調増加もしくは単調減少となるので、上記の（２）式と比較して演算量が抑えられる。
符号化部３６の数をさらに多くする場合も同様の計算が成り立つ。例えば、符号化部３６を４つ作成する場合、符号化部３６−１、３６−２に接続されている端末をさらにそれぞれ二つのグループに分け、それぞれ二つの異なる符号化部３６を作成して接続することで、パケットロス率が偏在している限り、送信するイントラフレーム数を半分より少ない数に減少させることが可能である。
ここで、符号化部の数（Ｍ）の増加、すなわち計算量の増加というコストとシステム全体で送信されるイントラフレーム数（Ｉ）の減少というメリットとの関係を評価する評価関数ＥをＥ＝Ｍ・Ｉと定義する。前述の状況（端末数Ｎ、全ての接続端末が経験した受信パケットにおけるパケットロスの回数の合計をＸ回）において、符号化装置が会議室に一つである非特許文献１の場合における評価関数Ｅは、Ｅ＝(１)・（Ｎ・Ｘ）接続端末ごとに符号化部を用意する特許文献１の場合における評価関数Ｅは、Ｅ＝（Ｎ）・（Ｘ）と、どちらも同じ値となる。
一方で、本発明の方式では、パケットロス率が偏在しているという条件のもとでは、Ｅ＜Ｎ・Ｘ÷２となるように端末を分けることが可能である。これは、特許文献１、非特許文献１にある方式に比べて、より少ない計算量への投資で、より大きなイントラフレーム数削減効果を得ることができることを示している。
（Ａ−２）実施形態の動作
次に、以上のような構成を有する実施形態の会議サーバ１０（映像信号処理装置３１）におけるデータ送信の動作を説明する。
（Ａ−２−１）会議サーバ（映像信号処理装置）全体の動作
まず、会議サーバ１０（映像信号処理装置３１）の全体の動作について説明する。
図７は、映像信号処理装置３１の全体の動作について示した説明図である。
会議サーバ１０と会議接続端末４０−１〜４０−４との間の呼の確立時に、ＭＣＵ３０は各会議接続端末４０−１〜４０−４に、映像データの送信先情報を通知する（Ｓ１０１）。映像データの送信先情報には、映像信号処理装置３１のデータ受信部が利用しているサーバアドレス、通信ポート番号の情報が含まれ、これらの情報は呼の確立時以前に制御装置が映像信号処理装置３１から取得したものを用いる。
そして、呼の確立後、各会議接続端末は映像データが映像信号処理装置３１に送信されるが、映像信号処理装置３１では、会議接続端末４０−１〜４０−４ごとに、データ受信部３３、復号化部３４が作成される（Ｓ１０２）。ここでは、会議サーバ１０は、４台の会議接続端末４０−１〜４０−４と呼を確立するので、それぞれの会議接続端末に対応するデータ受信部３３−１〜３３−４及び復号化部３４−１〜３４−４が作成される。
そして、会議接続端末４０−１〜４０−４からデータ受信部３３−１〜３３−４により映像データが受信され、受信された映像データが復号化部３４−１〜３４−４により復号され、ＹＵＶ画像（もしくはＲＧＢ画像）が得られる（Ｓ１０３）。
そして、復号化部３４−１〜３４−４復号された画像データは画像合成部３５に送られ、例えば、制御装置から指定された所定の画像レイアウト（図３参照）に従い、合成される（Ｓ１０４）。
そして、合成された画像データが、画像合成部３５から、符号化部３６−１、３６−２に与えられ、符号化部３６−１、３６−２では、制御部３２から指示される符号化パラメータに従って、画像データが符号化される（Ｓ１０５）。
符号化部３６−１、３６−２で符号化された映像データは、制御部３２の指示に応じて、対応するデータ送信部３７−１〜３７−４に送られ、会議接続端末４０−１〜４０−４に、ネットワークを介して送信され（Ｓ１０６）、会議の終了まで上述のステップＳ１０３の処理から再度動作する。
（Ａ−２−２）制御装置の動作について
次に、制御部３２の動作の詳細について説明する。
図８は、制御部３２において、符号化部３６とデータ送信部３７の接続関係のグループ分けを決定する動作について示したフローチャートである。
なお、図８のフローチャートに示す処理においては、変数として「更新Ｓｔａｔｅ」、「終了ｓｔａｔｅ」を用いている。
まず、会議サーバ１０に、最初の会議接続端末４０が接続されると、更新ｓｔａｔｅ、終了ｓｔａｔｅがともに０に初期化される（Ｓ２０１）。
通信部３２５から新規端末の接続（Ｓ２０２）、すでに接続されている端末の切断（Ｓ２０３）、接続されている会議接続端末のパケットロス（Ｓ２０４）、接続端末数が０であるか否か（Ｓ２０５）等の情報が通知され、終了ｓｔａｔｅは１にセットされる（Ｓ２０６）。なお、ステップＳ２０４において、パケットロスが無い場合は、後述するステップＳ２０９の処理に移行し、パケットロスがある場合には、後述するステップＳ２０７に移行する。
そして、上述のステップＳ２０７において、パケットロスがあると判定された場合には、これらの情報をもとに、端末ＩＤ、発生イベント種別（端末接続、端末切断、パケットロス）及び発生時刻情報が、データ記憶部３２２に保存され（Ｓ２０７）、更新ｓｔａｔｅが１にセットされる（Ｓ２０８）。
次に、終了ｓｔａｔｅが０である場合（Ｓ２０９）、任意のタイムアウト時間幅を設定しておき、その時間幅が経過するごと（Ｓ２１０）に更新ｓｔａｔｅを評価し、更新ｓｔａｔｅ＝１の場合（Ｓ２１１）は、ソート部３２３で現在時刻から任意の時間幅の過去までのパケットロス率をもとに各会議接続端末４０の情報をソートし、パケットロス率の昇順もしくは降順に並べ替える（Ｓ２１２）。なお、ステップＳ２１０において、タイムアウトでは無い場合は、ステップＳ２０２の処理に戻る。また、ステップＳ２１１において、更新ｓｔａｔｅ＝０の場合は、ステップＳ２０２の処理に戻る。
更新ｓｔａｔｅを０とした後（Ｓ２１３）、昇順、もしくは降順に並べ替えられた端末とそれぞれのパケットロス率をもとに、上述のグループ分け計算方法を適用して、分類点計算部３２４で端末をグループ分けする境界を算出する（Ｓ２１４）。
この計算結果をもとに、制御部から映像信号処理装置３１へ制御命令を発行し、会議参加端末と符号化部との接続関係を更新して、ステップＳ２０２に戻り、以後会議参加端末=0となり終了ｓｔａｔｅ＝１となるまでステップＳ２０２〜ステップＳ２１４の処理を繰り返し行う。
（Ａ−３）第１の実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
（Ａ−３−１）会議システム１において、会議接続端末４０のネットワーク品質に関る端末情報に応じてグループに分類し、それぞれに応じた符号化部を接続することにより、会議サーバ１０から会議接続端末４０に送信されるイントラフレーム数を減少させるとともに、会議サーバ１０から会議接続端末４０に高い品質のデータ（映像）を送信することが可能となる。
また、会議接続端末４０をグループ分けして、そのグループごとに符号化部３６を備えればよいので、特許文献１の方法と比較した場合、符号化部３６を会議接続端末４０の数と同数作成する必要がない。すなわち低コストで上述のような会議サーバ１０から会議接続端末４０に高い品質のデータ（映像）を送信することができる。非特許文献１の方法では、会議接続端末４０が多くなるに従い、イントラフレームの送出頻度が増し、結果として精細度の低い映像を高い頻度で受け取り、映像がにじんだように見える問題があるが、本発明を適用することによりそのような問題を低減することができる。
（Ａ−３−２）映像信号処理装置３１において、複数の符号化部３６を設け、異なる符号化パラメータを利用し、イントラフレーム要求の頻度（すなわち、パケットロス率の高さ）などに応じて接続する符号化部を選別する場合、パケットロス率の高い端末のグループに対しては、送信する映像データのビットレートを低くすることで、単位時間に送信されるパケット数を減らし、結果として会議中に発生するパケットロス数を減少させることができる。
ビットレートを低くすることと、イントラフレームが高い頻度で送信されることは、通常どちらも映像品質低下の原因であり、かつトレードオフの関係になっている。（片方の影響を小さくすることは、もう一方の影響を大きくするという関係になっている。）そのため、最適なビットレートを一意に決定はできないが、符号化部３６に接続する会議接続端末４０の数が増加するに従いイントラフレーム要求数も比例して増加する傾向があり、送信されるイントラフレームの延べ数は端末数の２乗に比例して増加するので、会議への参加端末が増えるに従い、パケットロスの高いグループに対してより低いビットレートを設定し、イントラフレーム要求数を一定の頻度以下に抑えることが有効な手段となる。これは、上述したように、イントラフレーム要求が一定の頻度以下になるまで、よりビットレートの低い符号化部へ接続を動的に変更する機能により実現できる。
（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
（Ｂ−１）上述の図７におけるステップＳ１０４で、画像合成部３５において、会議接続端末から送信された画像データを合成する際に、画像データに変換された文字情報を上書きするようにしても良い。画像合成部３５で、画像データの合成において文字情報の上書きをする際には、文字情報が上書きされる領域に含まれる、会議接続端末から送信された画像データに対し、画素の明度及び彩度を一定の計算ルールで変更し、その後画像化された文字列を上書きするようにしても良い。この処理により、文字が表示される領域の映像は他の領域よりも暗く表示され、文字がはっきりと識別しやすくなる。
また、画像合成部３５で、画像データの合成において文字情報の上書きをする際には、フレームごとに文字情報の表示位置を移動させるようにしても良い。例えば、一定時間ごとに一定ピクセル数平行移動した位置に文字列を表示するように文字情報を上書きし、結果として文字がスクロールする視覚効果をもたらすようにしても良い。
さらに、画像合成部３５で、画像データの合成において文字情報の上書きをする他の例としては、一定画像フレーム数単位で２箇所の文字列表示位置に交互に表示することで、上書きした文字列が震えているような視覚効果をもたらすようにしても良い。
さらにまた、画像合成部３５では、画像データの合成において制御部３２からの指示に従い、合成される映像チャネル単位でその領域が目立つように外枠を上書きするようにしても良い。
このように、画像合成部３５では、画像データの合成において、文字の表示位置の移動や外枠の表示を行うことにより、例えば、会議接続端末から送信される音声の大きさに応じて制御装置から指示を出すことで、今話しをしている人の画面を強調するなどの効果として利用できる。
（Ｂ−２）上記の実施形態では、本発明のデータ処理装置を映像信号処理装置に適用した例について説明したが、映像信号（動画データ）だけでなく、音声データを複数の端末に送信するものに適用するようにしても良い。すなわち、本発明のデータ処理装置が端末に送信するデータは、少なくとも音声又は動画の一方が含まれていれば良い。
本発明のデータ処理装置を音声データの送信に適用する場合は、上述の図１において、復号化部３４、画像合成部３５、符号化部３６を音声データを処理するものに置き換えることにより実現することができる。その場合、上記の実施形態では、符号化部３６とデータ送信部３７との接続関係、すなわち、どの会議接続端末４０にどの符号化部３６で符号化された映像データを送信するのか決定するグループ分けの方法では、パケットロス率若しくはイントラフレームの要求頻度を用いて分類していたが、本発明のデータ処理装置を音声データの送信に適用する場合は、パケットロス率のみを用いて実現するようにしても良い。
（Ｂ−３）上記の実施形態では、本発明のデータ処理装置（映像信号処理装置）を会議サーバに搭載した例について説明したが、本発明のデータ処理装置が送信するデータは、端末から収集したデータを合成したものに限定されないものである。すなわち、本発明のデータ処理装置を、単に端末にデータを送信する装置に適用し、データ送信を行うネットワークシステムとして構築するようにしても良い。
例えば、会議システムではなく、ネットワークを経由した放送／遠隔講義に代表されるリアルタイムの映像配信など、一方的に送信側（データ処理装置）から受信側（端末）にデータを送信するシステムに適用するようにしても良い。その場合、データ処理装置においては、端末からデータを収集して合成する必要が無いため、図１において、データ受信部３３、復号化部３４、画像合成部３５を省略し、代わりに送信用のデータ（コンテンツ）を保持する手段を備えることにより実現するようにしても良い。
（Ｂ−４）上記の実施形態においては、映像信号処理装置３１に、データを送信する会議接続端末４０の数だけ、データ送信部３７を備え、会議接続端末４０へ個別のストリームデータとしてユニキャストでデータ送信を行っているが、符号化部３６と同じ数だけデータ送信部３７を作成してマルチキャストでデータ送信を行うようにしても良い。
上記の実施形態のように、一つの符号化部３６に複数のデータ送信部３７が対応付けられている場合には、同じデータを複数の会議接続端末４０に送信しなければならないが、マルチキャスト技術を用いて送信することより、１本のデータストリームで複数の会議接続端末４０にデータ送信することができるので、必要とする映像信号処理装置３１内の処理量及びネットワーク帯域を低減することができる。
映像信号処理装置３１から、会議接続端末４０へのデータ送信にマルチキャストを用いる際、対応付けを行う符号化部３６を切り替える場合には、会議接続端末４０側からデータ受信をするマルチキャストのチャンネルを変更する必要があるが、映像信号処理装置３１側からチャンネルの切り替えの指示を通知し、会議接続端末４０がその指示に基づいてチャンネルの切り替えを行う構成を別途備えることにより実現するようにしても良い。
実施形態に係る映像信号処理装置内部の機能的構成について示したブロック図である。 実施形態に係る会議システムの全体構成を示したブロック図である。
る。
実施形態に係る画像合成部における、画像合成のレイアウトの例について示した説明図である。 実施形態に係る制御装置内部の機能的構成について示したブロック図である。 分類点計算部において、算出する係数ｚを３次元空間内の曲面として表現した場合の説明図（１）である。 分類点計算部において、算出する係数ｚを３次元空間内の曲面として表現した場合の説明図（２）である。 実施形態に係る、映像信号処理装置の動作について示したフローチャートである。 実施形態に係る、映像信号処理装置における制御装置の動作について示した説明図である。
符号の説明
１…会議システム（ネットワークシステム）、１０…会議サーバ、２０…ＧＫ、３０…ＭＣＵ、４０、４０−１〜４０−４…会議接続端末、３１…映像信号処理装置（データ処理装置）、３２…制御部、３３、３３−１〜３３−４…データ受信部、３４、３４−１〜３４−４…復号化部、３５…画像合成部、３６、３６−１、３６−２…符号化部、３７、３７−１〜３７−４…データ送信部、３２１…端末分類部、３２２…データ記憶部、３２３…ソート部、３２４…分類点計算部、３２５…通信部。

Claims (13)

  1. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置において、
    上記送信データを符号化する複数の符号化部と、
    それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、
    上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、
    それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段とを有し、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対する上記第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、ｘ−ｙの値が０に最も近づくｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けする
    ことを特徴とするデータ処理装置。
  2. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置において、
    上記送信データを符号化する複数の符号化部と、
    それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、
    上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、
    それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段とを有し、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対す上記る第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、全ての上記端末のパラメータ値の総計に比例する係数であるｚを、ｚ＝ｘ＋ｙ−２ｘｙに従って計算し、ｚが最小となるｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けする
    ことを特徴とするデータ処理装置。
  3. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置において、
    上記送信データを符号化する複数の符号化部と、
    それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、
    上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、
    それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段とを有し、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記複数の符号化部として、第１の符号化部と、上記第１の符号化部よりも符号化後のデータ量が少なくなる符号化を行う第２の符号化部を備え、
    上記端末分類手段は、当初は全ての上記端末を上記第１の符号化部に対応付け、その後、パラメータ値の高い方から順番に上記第２の符号化部に対応付けを変更することを、全ての上記端末のパラメータ値の合計が閾値以下となるまで繰り返す
    ことを特徴とするデータ処理装置。
  4. 上記送信データは、一部又は全部の上記端末から取得した動画のデータを合成した合成動画データを含むものであることを特徴とする請求項１〜３のいずれかに記載のデータ処理装置。
  5. 上記送信データは、全部又は一部の上記端末から、少なくとも動画又は音声の一方を含むデータを受信して合成した合成データであることを特徴とする請求項１〜４のいずれかに記載のデータ処理装置。
  6. 当該データ処理装置は、会議サーバと複数の会議端末とを有する会議システムを構成する上記会議サーバに搭載されており、
    上記会議端末として上記端末が適用されていること
    を特徴とする請求項５に記載のデータ処理装置。
  7. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置に搭載されたコンピュータを、
    上記送信データを符号化する複数の符号化部と、
    それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、
    上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、
    それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段として機能させ、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対する上記第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、ｘ−ｙの値が０に最も近づくｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けする
    ことを特徴とするデータ処理プログラム。
  8. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置に搭載されたコンピュータを、
    上記送信データを符号化する複数の符号化部と、
    それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、
    上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、
    それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段として機能させ、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対す上記る第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、全ての上記端末のパラメータ値の総計に比例する係数であるｚを、ｚ＝ｘ＋ｙ−２ｘｙに従って計算し、ｚが最小となるｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けする
    ことを特徴とするデータ処理プログラム。
  9. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信するデータ処理装置に搭載されたコンピュータを、
    上記送信データを符号化する複数の符号化部と、
    それぞれの上記端末の通信に係る端末情報を管理する端末情報管理手段と、
    上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行う端末分類手段と、
    それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信するデータ送信手段として機能させ、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段は、当初は全ての上記端末を第１の符号化部に対応付け、その後、パラメータ値の高い方から順番に上記第１の符号化部よりも符号化後のデータ量が少なくなる符号化を行う第２の符号化部に対応付けを変更することを、全ての上記端末のパラメータ値の合計が閾値以下となるまで繰り返す
    ことを特徴とするデータ処理プログラム。
  10. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信し、上記送信データを符号化する複数の符号化部を備えたデータ処理装置におけるデータ処理方法において、
    端末情報管理手段、端末分類手段、データ送信手段を有し、
    上記端末情報管理手段は、それぞれの上記端末の通信に係る端末情報を管理し、
    上記端末分類手段は、上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行い、
    上記データ送信手段は、それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信し、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対する上記第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、ｘ−ｙの値が０に最も近づくｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けする
    ことを特徴とするデータ処理方法。
  11. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信し、上記送信データを符号化する複数の符号化部を備えたデータ処理装置におけるデータ処理方法において、
    端末情報管理手段、端末分類手段、データ送信手段を有し、
    上記端末情報管理手段は、それぞれの上記端末の通信に係る端末情報を管理し、
    上記端末分類手段は、上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行い、
    上記データ送信手段は、それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信し、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段が、上記端末を２つの上記符号化部のいずれかに対応付けるグループ分けを行う場合、パラメータ値を基準に上記端末をソートし、全ての上記端末の数をＮとし、パラメータ値の大きい方又は小さい方から１番目からｋ番目までを第１のグループ、ｋ＋１番目からＮ番目までを第２のグループとし、Ｎに対す上記る第１のグループ内の上記端末の数の比率をｘとし、全ての上記端末のパラメータ値の累積値に対する上記第１のグループに属する上記端末のパラメータ値の累積値の比率を１−ｙとしたとき、１≦ｋ≦Ｎの範囲でｋが取り得る全ての値について、全ての上記端末のパラメータ値の総計に比例する係数であるｚを、ｚ＝ｘ＋ｙ−２ｘｙに従って計算し、ｚが最小となるｋを用いて、上記端末を上記第１のグループと上記第２のグループのいずれかにグループ分けする
    ことを特徴とするデータ処理方法。
  12. 少なくとも動画又は音声の一方を含む送信データを、符号化して複数の端末に向けて送信し、上記送信データを符号化する複数の符号化部を備えたデータ処理装置におけるデータ処理方法において、
    端末情報管理手段、端末分類手段、データ送信手段を有し、
    上記端末情報管理手段は、それぞれの上記端末の通信に係る端末情報を管理し、
    上記端末分類手段は、上記端末情報管理手段が管理している端末情報に基づいて、それぞれの上記端末を、いずれかの上記符号化部に対応付けるグループ分けを行い、
    上記データ送信手段は、それぞれの上記端末へ、上記端末分類手段により対応付けされた符号化部が符号化した符号化送信データを送信し、
    上記各符号化部は、上記送信データの動画におけるフレームを、イントラフレーム又はインターフレームとして符号化し、
    上記データ送信手段は、上記符号化部が符号化したデータをパケット単位で送信し、
    上記端末情報管理手段は、それぞれの上記端末に係る、パケットロス率又はイントラフレームの送信要求の頻度の値で示されるパラメータ値を、端末情報として管理し、
    上記端末分類手段は、当初は全ての上記端末を第１の符号化部に対応付け、その後、パラメータ値の高い方から順番に、上記第１の符号化部よりも符号化後のデータ量が少なくなる符号化を行う第２の符号化部に対応付けを変更することを、全ての上記端末のパラメータ値の合計が閾値以下となるまで繰り返す
  13. 複数の端末と、少なくとも動画又は音声の一方を含む送信データを、符号化して上記端末に向けて送信するデータ処理装置とを備えるネットワークシステムにおいて、
    上記データ処理装置として、請求項１〜５のいずれかに記載のデータ処理装置を適用したこと
    を特徴とするネットワークシステム。
JP2008318724A 2008-12-15 2008-12-15 データ処理装置、プログラム及び方法、並びに、ネットワークシステム Active JP5304213B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008318724A JP5304213B2 (ja) 2008-12-15 2008-12-15 データ処理装置、プログラム及び方法、並びに、ネットワークシステム
US12/591,476 US8441517B2 (en) 2008-12-15 2009-11-20 Data processing apparatus and method, and network system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008318724A JP5304213B2 (ja) 2008-12-15 2008-12-15 データ処理装置、プログラム及び方法、並びに、ネットワークシステム

Publications (2)

Publication Number Publication Date
JP2010141824A JP2010141824A (ja) 2010-06-24
JP5304213B2 true JP5304213B2 (ja) 2013-10-02

Family

ID=42240016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008318724A Active JP5304213B2 (ja) 2008-12-15 2008-12-15 データ処理装置、プログラム及び方法、並びに、ネットワークシステム

Country Status (2)

Country Link
US (1) US8441517B2 (ja)
JP (1) JP5304213B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082944B (zh) 2009-11-30 2016-03-09 华为终端有限公司 一种包含远程呈现会场的会议控制方法、装置及系统
US8275375B2 (en) * 2010-03-25 2012-09-25 Jong Hyup Lee Data integration for wireless network systems
JP5675164B2 (ja) * 2010-05-11 2015-02-25 キヤノン株式会社 送信装置、送信方法、並びにプログラム
JP2012074981A (ja) * 2010-09-29 2012-04-12 Nec Corp 多地点会議接続装置、多地点会議システム、多地点会議接続方法およびプログラム
JP2012090078A (ja) * 2010-10-20 2012-05-10 Konica Minolta Business Technologies Inc コンテンツ配信システム
JP5989969B2 (ja) * 2011-04-15 2016-09-07 キヤノン株式会社 符号化装置、及び、符号化装置の制御方法
TWI451722B (zh) * 2011-11-07 2014-09-01 Quanta Comp Inc 位元率控制裝置及其方法
EP2597815B1 (de) * 2011-11-23 2019-07-24 Siemens Schweiz AG Verfahren zur identifikation von in einem kommunikationsnetzwerk zusammengefassten geräten
US8760490B2 (en) * 2011-11-30 2014-06-24 Cisco Technology, Inc. Techniques for a rate-adaptive video conference bridge
CN105612738B (zh) * 2012-02-16 2019-03-22 柯惠有限合伙公司 多功能会议系统和方法
JP2013183293A (ja) * 2012-03-01 2013-09-12 Nec Corp 多地点会議接続装置、多地点会議システム、多地点会議接続方法および多地点会議接続プログラム
JP6089516B2 (ja) * 2012-09-11 2017-03-08 沖電気工業株式会社 多地点会議サーバ及び多地点会議サーバプログラム、並びに、多地点会議システム
CN104079861B (zh) * 2013-03-26 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备
JP2015088051A (ja) * 2013-10-31 2015-05-07 富士通株式会社 情報処理装置、方法、及びプログラム
JP2016005043A (ja) * 2014-06-13 2016-01-12 株式会社リコー 情報処理装置およびプログラム
US20170006078A1 (en) * 2015-06-30 2017-01-05 Qualcomm Incorporated Methods and apparatus for codec negotiation in decentralized multimedia conferences
CN106933855B (zh) * 2015-12-30 2020-06-23 阿里巴巴集团控股有限公司 对象排序方法、装置及系统
JP2017153038A (ja) * 2016-02-26 2017-08-31 沖電気工業株式会社 通信制御装置、通信制御方法及び通信制御プログラム
JP6803563B2 (ja) * 2017-06-06 2020-12-23 パナソニックＩｐマネジメント株式会社 テレビ会議装置
JP6099028B1 (ja) * 2016-09-28 2017-03-22 パナソニックＩｐマネジメント株式会社 テレビ会議装置
JP6152998B1 (ja) * 2016-09-29 2017-06-28 パナソニックＩｐマネジメント株式会社 テレビ会議装置
US10110831B2 (en) 2016-09-27 2018-10-23 Panasonic Intellectual Property Management Co., Ltd. Videoconference device
US10362241B2 (en) * 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
KR102362899B1 (ko) * 2017-10-31 2022-02-11 삼성에스디에스 주식회사 컨퍼런스 시스템 및 상기 시스템에서의 대역폭 조절 방법
US10389772B1 (en) * 2018-01-31 2019-08-20 Facebook, Inc. Systems and methods for optimizing simulcast streams in group video calls
CN109600571B (zh) * 2018-12-27 2021-01-08 北京真视通科技股份有限公司 多媒体资源传输测试系统和多媒体资源传输测试方法
CN112511782B (zh) * 2019-09-16 2024-05-07 中兴通讯股份有限公司 视频会议方法、第一终端、mcu、系统及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838664A (en) 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
JPH08205115A (ja) * 1995-01-31 1996-08-09 Nec Eng Ltd 画面合成符号化装置
JP2002176633A (ja) * 2000-12-08 2002-06-21 Nec Corp 多地点ビデオ会議システム、映像データ符号量制御方法、およびそのプログラムを記録した記録媒体
US7627629B1 (en) * 2002-10-30 2009-12-01 Cisco Technology, Inc. Method and apparatus for multipoint conferencing
JP2008259001A (ja) * 2007-04-06 2008-10-23 Japan Radio Co Ltd ディジタルコンテンツ配信システム

Also Published As

Publication number Publication date
US20100149308A1 (en) 2010-06-17
JP2010141824A (ja) 2010-06-24
US8441517B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
JP5304213B2 (ja) データ処理装置、プログラム及び方法、並びに、ネットワークシステム
JP4265087B2 (ja) データ変換装置及び方法、データ送受信装置及び方法、ネットワークシステム
US8125932B2 (en) Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
McCanne et al. vic: A flexible framework for packet video
JP5089658B2 (ja) 送信装置及び送信方法
US8760492B2 (en) Method and system for switching between video streams in a continuous presence conference
US20060192848A1 (en) Video conferencing system
JP2002344880A (ja) コンテンツ配信システム
JPH09163362A (ja) ソフトウェア実行型端末相互スケーラブルビデオ送達システム用ソフトウェアベースエンコーダ
TW201021576A (en) System and method for dynamic video encoding in multimedia streaming
WO2010130182A1 (zh) 多路视频通讯系统及处理方法
KR20140016154A (ko) 다양한 참가 디바이스의 화상회의 방법 및 시스템
US20130111051A1 (en) Dynamic Encoding of Multiple Video Image Streams to a Single Video Stream Based on User Input
Marafih et al. Modeling and queueing analysis of variable-bit-rate coded video sources in ATM networks
Li et al. Wireless video traffic bottleneck coordination with a DASH SAND framework
EP0939545A2 (en) Video service system
EP2557780A2 (en) Method and system for switching between video streams in a continuous presence conference
JP4799191B2 (ja) 通信端末、通信システムおよび通信方法
CN114866763A (zh) 一种视频质量的评估方法、装置、终端设备和存储介质
JP2013030852A (ja) スケーラブル映像符号化装置及び方法及びプログラム
JP3110037B2 (ja) 画像伝送システム
Johanson Designing an environment for distributed real-time collaboration
CN103974027A (zh) 多端到多端的实时通信方法及系统
Shen et al. Sja: Server-driven joint adaptation of loss and bitrate for multi-party realtime video streaming
Kitamura et al. A study on the correlation between QoE of 4K super high definition video streamings and QoS of network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130610

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5304213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150