JP7124483B2 - 通信端末、データ送信方法、プログラム - Google Patents

Description

本発明は、通信端末、データ送信方法、及び、プログラムに関する。

遠隔地にある通信端末が画像と音声を相互に伝送して、画像をディスプレイに表示し音声をスピーカから出力することで、遠隔地の参加者が会議などの遠隔コミュニケーションを可能とする通信システムが知られている。

このような遠隔会議が多拠点で実施される場合があるが、拠点数が多くなるほど各通信端末の性能にばらつきが生じやすくなる。例えば、各拠点のネットワーク環境、及び、各通信端末が通信に使用する機材（カメラ、マイク、スピーカ、ディスプレイなど）などは各拠点で同じでない場合が大多数であり、各拠点間に通信端末の性能の差が発生している。

通信端末の性能の差がある場合（例えば、送信元のカメラの解像度の方が送信先のディスプレイの解像度よりも大きい場合）、映像データの画質が劣化したと感じられる可能性がある。すなわち、参加者が共有したい情報を十分に共有できない可能性がある。

このような不都合に対し、参加者が共有すべき情報を共有しやすくするための技術が考案されている（例えば、特許文献１参照。）。特許文献１には、コンテンツデータの送信側に各拠点の再生表示能力（例えば解像度等）を鑑みた枠を表示し、送信側の通信端末は表示された枠内の情報のみを用いて通信を行う配信システムが開示されている。

しかしながら、従来の技術では、受信側の再生表示能力（例えば解像度等）に応じて決定した送信側の映像データの解像度が、送信側の通信環境にとって遅延なく送信できる解像度よりも大きい場合に、ネットワークの遅延や途切れなどによる映像データの品質の劣化を発生させるおそれがあるという問題がある。このため、送信側の映像データの通信環境が良好でなく、ネットワークの遅延や途切れなどによる映像データの品質の劣化が発生すると、参加者が共有すべき情報が十分な品質で共有されなくなってしまう可能性がある。

本発明は上記課題に鑑み、映像データの品質劣化を抑制する通信端末を提供することを目的とする。

上記課題に鑑み、本発明は、ネットワークを介して接続された他の通信端末に、撮像手段により撮像した映像データを送信する通信端末であって、前記映像データの送信時の通信帯域を取得する通信帯域取得手段と、前記通信帯域取得手段が取得した前記通信帯域で送信可能な前記映像データの画素数を決定する画素数決定手段と、前記画素数決定手段が決定した前記画素数を指し示す枠を前記通信端末の撮像手段が撮像した前記映像データに重ねてディスプレイに表示する表示制御手段と、前記枠内の前記映像データを前記他の通信端末に送信する送信手段と、を有することを特徴する。

映像データの品質劣化を抑制する通信端末を提供することができる。

通信端末がディスプレイに表示する会議中画面の一例を示す図である。 通信システムの概略構成図の一例である。 通信システムにおける通信の概要を示す概念図である。 通信端末のハードウェア構成図の一例である。 管理システムのハードウェア構成図の一例である。 通信端末の機能的な構成の一例を示すブロック図である。 映像符号化部の機能をブロック状に示すブロック図の一例である。 符号化設定部の機能をブロック状に示すブロック図の一例である。 通信端末がセッションを接続するまでの処理を示すシーケンス図の一例である。 映像データの解像感を維持して映像データを送信する処理を説明するシーケンス図の一例である。 撮像部が提供する撮像情報について説明する図の一例である。 通信端末の帯域情報処理部が扱う帯域情報の一例を示す図である。 符号化設定部が符号化設定に関する判断を行う手順を示すフローチャート図の一例である。 符号化設定部が設定する符号化設定の一例を示す図である。 表示制御部がディスプレイに表示する会議中画面と映像データ欄に表示される枠の一例を示す図である。 主に映像符号化部が映像を符号化し中継装置に送信する手順を示すシーケンス図の一例である。 会議中画面の映像データ欄に表示された枠のユーザによる操作を説明する図である。 入力情報の一例を示す図である。 映像符号化部による画像処理について説明する図の一例である。 通信システムの概略図の一例である。 通信システムの概略図の一例である。 通信端末が管理システムへログインする処理を示すシーケンス図の一例である。 通信システムが有する中継装置の機能をブロック状に示す機能ブロック図の一例である。

以下、本発明を実施するための形態の一例として、通信システム、通信端末及び通信端末が行うデータ送信方法について図面を参照しながら説明する。

＜本実施形態の通信端末の動作の概略＞
まず、図１を用いて本実施形態の通信端末１０の動作の概略について説明する。図１は、通信端末１０がディスプレイ１１に表示する会議中画面３０１の一例を示す。
（１）通信端末１０は、会議中画面３０１に自拠点の映像データと、他拠点から送信された映像データを表示する。自拠点の映像データは通信端末１０のカメラが撮像したものであり、その撮像解像度は既知である。図１では１９２０×１０８０であるとする。
（２）通信端末１０は映像データの送信時の通信帯域から算出解像度を算出する。算出解像度の詳細は後述されるが算出解像度は現在の通信帯域で遅延や途切れなどの品質の劣化を発生させことなく送信でき、更に好ましくは映像データの解像感を維持して送信できる映像データの解像度である。図１では７６８×４３２であるとする。
（３）次に、通信端末１０は算出解像度が撮像解像度よりも小さいかどうかを判断する。算出解像度が撮像解像度よりも小さい場合、撮像解像度で映像データを送信すると、映像データの遅延や途切れなどの品質の劣化を発生させるおそれがある。
（４）そこで、通信端末１０は算出解像度の枠３０２を表示すると共に、この枠３０２の配置（位置の変更）を受け付ける。算出解像度の枠３０２は、少なくとも映像データの品質の劣化を発生させことなく送信できる映像データの解像度（映像データの画素数）なので、通信端末１０は映像データの品質の劣化を発生させことなく送信できる。また、算出解像度の枠３０２は撮像解像度よりも小さいが、会議の参加者（以下、通信端末のユーザという）が枠３０２の位置を変更できるので、通信端末１０が送信すべき情報を送信することができる。

＜用語について＞
通信帯域取得手段が取得した通信帯域で送信可能とは、映像データの品質の劣化を発生させことなく送信できること、更に好ましくは見た目の印象に関わる映像データの解像感が損なわれない又は損なわれたとしても気づかない程度しか映像データを劣化しないで送信できることをいう。

映像データの品質が劣化することは映像データの遅延や途切れなどが生じることをいう。映像データの品質が劣化しなくても送信時の符号化により解像感が損なわれるおそれがあるが、解像感が損なわれなければ映像データの品質も劣化しないとみなせる。映像データの品質の劣化を映像データの品質の低下という場合がある。

画素数とは、映像データを構成する画素の数である。画素数が多いと映像のサイズ又は大きさも大きくなるため、映像データのサイズ又は大きさと称してもよい。画素数は解像度により定まる。

解像度とはデジタル画像の細かさを表す度合いのことであり、解像度はデジタル画像を構成する個々の単位点（ドット、ピクセル）の細かさを数値化することによって表現される。解像度を表す単位には一般に「ドット」が用いられる。ディスプレイの場合は、多くの場合「１０２４×７６８ドット」のようにヨコ×タテに並んでいる数で表される。

＜システム構成例＞
図２は、本実施形態の通信システム１の概略構成図であり、図３は、本実施形態の通信システム１における通信の概要を示す概念図である。

本実施形態の通信システムは、図２に示すように、各拠点に設置された複数の通信端末１０及びディスプレイ１１と、複数の中継装置３０と、管理システム４０と、プログラム提供サーバ５０と、メンテナンスサーバ６０と、を備える。

また、通信システム１には、管理システム４０を介して一方の通信端末１０から他方の通信端末１０に一方向でコンテンツデータを伝送するデータ提供システムや、管理システム４０を介して複数の通信端末１０間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、中継装置３０を介して複数のコミュニケーション通信端末（「通信端末１０」に相当）間で情報や感情等を相互に伝達するためのシステムであり、テレビ（又はビデオ）会議システムやテレビ電話システム等が例として挙げられる。

本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システムを想定し、コミュニケーション通信端末の一例としての通信端末を想定した上で、通信システム１、管理システム４０、及び通信端末１０について説明する。すなわち、本実施形態の通信端末１０及び管理システム４０は、テレビ会議システムに適用されるだけでなく、各種のコミュニケーションシステムにも適用される。以下では、テレビ会議を単に「会議」という場合がある。また、管理システム４０は「管理装置」のようにシステムとしても装置（情報処理装置）としても把握できる。

ディスプレイ１１は、有線又は無線により通信端末１０に接続されていた映像データを表示するための表示装置である。なお、ディスプレイ１１は、通信端末１０と一体化された構成であってもよい。

通信端末１０及び中継装置３０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のノードとしてルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図２に示す例では、ＬＡＮ２ａ内のルータ７０ａと、ＬＡＮ２ｂ内のルータ７０ｂと、ＬＡＮ２ｃ内のルータ７０ｃと、ＬＡＮ２ｄ内のルータ７０ｄと、ルータ７０ａ及びルータ７０ｂと専用回線２ｅで接続されてインターネット２ｉに繋がるルータ７０ｅと、ルータ７０ｃ及びルータ７０ｄと専用回線２ｆで接続されてインターネット２ｉに繋がるルータ７０ｆとを例示している。

なお、ＬＡＮ２ａ及びＬＡＮ２ｂは地域Ｘ内の別の場所に構築され、ＬＡＮ２ｃ及びＬＡＮ２ｄは地域Ｙ内の別の場所に構築されていることを想定している。例えば、地域Ｘは日本、地域Ｙはアメリカ合衆国であり、ＬＡＮ２ａは東京の事業所内で構築され、ＬＡＮ２ｂは大阪の事業所内で構築され、ＬＡＮ２ｃはニューヨークの事業所内で構築され、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用回線２ｅ、インターネット２ｉ、専用回線２ｆ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。

本実施形態の通信システム１では、複数の通信端末１０間で中継装置３０を介した映像データ及び音声データ（映像データ及び音声データ又はこれらに資料データを加えてコンテンツデータという）の送受信を行う。送受信は伝送ともいい、通信システム１を伝送システムという場合がある。

通信端末１０は、通信システム１に専用の端末である場合と、汎用的な端末である場合がある。汎用的な端末は、例えばＰＣ（Personal Computer）、スマートフォン、又は、タブレット端末、等であり、通信システム１に専用のアプリケーションソフトを実行することで、通信端末１０として動作する。

図３に示すように、複数の通信端末１０間には、管理システム４０を介して、各種の管理情報を送受信するための管理情報用セッションＳｅｉが確立される。また、複数の通信端末１０間には、中継装置３０を介して、映像データ及び音声データの送受信を行うためのデータ用セッションＳｅｄが確立される。ここで、特に、データ用セッションＳｅｄで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネルで送受信される。なお、複数の通信端末１０間で管理情報用セッションＳｅｉやデータ用セッションＳｅｄを確立する処理は、公知の技術を適用できるため本実施形態では詳細な説明を省略する。必要であれば、例えば特開２０１２－１３８８９３号公報に記載の技術を利用することができるが、この技術に限られるものではない。

管理システム４０は、本実施形態の通信システム１の全体を管理するコンピュータ（情報処理装置）である。管理システム４０は通信端末１０のステータスを管理し、着信があった場合に２つ以上の通信端末でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。管理システム４０はサーバであるので情報処理装置の機能を有する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、電話をかけたり切ったりするための一連の処理をいう。この他、通信端末１０の認証、検索、死活の監視なども行う場合が多い。更に、管理システム４０は、通信端末１０の宛先リスト等、通信システム１の制御に必要なデータベースの管理も行う。宛先リストとは、各通信端末１０が遠隔コミュニケーションの開始要求を送信できる（電話をかけられる）宛先の通信端末（又はユーザ）が登録されたデータである。

なお、ステータスとは、通信端末１０の通信システム１における状態である。ステータスは主に着信できるかできないかに区分される。この他、管理システム４０は、中継装置３０の状態管理、通信端末１０を使用するユーザのログイン管理、複数の通信端末１０間で確立されたデータ用セッションＳｅｄの管理などを行う。

プログラム提供サーバ５０は、各種のプログラムを通信端末１０、中継装置３０、管理システム４０、メンテナンスサーバ６０などに提供するコンピュータである。例えば、プログラム提供サーバ５０は、通信端末１０に各種機能を実現させるための通信端末用プログラムを格納しており、この通信端末用プログラムを通信端末１０に送信することができる。また、プログラム提供サーバ５０は、中継装置３０に各種機能を実現させるための中継装置３０用プログラムを格納しており、この中継装置３０用プログラムを中継装置３０に送信することができる。また、プログラム提供サーバ５０は、管理システム４０に各種機能を実現させるための管理システム用プログラムを格納しており、この管理システム用プログラムを管理システム４０に送信することができる。また、プログラム提供サーバ５０は、メンテナンスサーバ６０に各種機能を実現させるためのメンテナンスサーバ用プログラムを格納しており、このメンテナンスサーバ用プログラムをメンテナンスサーバ６０に送信することができる。

メンテナンスサーバ６０は、通信端末１０、中継装置３０、管理システム４０、及びプログラム提供サーバ５０のうちの少なくとも１つの維持、管理、又は保守を行うためのコンピュータである。

＜ハードウェア構成例＞
次に、本実施形態の通信システム１における通信端末１０、中継装置３０、管理システム４０、プログラム提供サーバ５０、及びメンテナンスサーバ６０のハードウェア構成について説明する。

＜＜通信端末のハードウェア構成例＞＞
図４は、通信端末１０のハードウェア構成図の一例を示し、図５は、管理システム４０のハードウェア構成の一例を示している。図４の通信端末１０は専用の端末が想定されているが、汎用の端末の場合にも適用できる。中継装置３０、プログラム提供サーバ５０、及びメンテナンスサーバ６０は、中継装置３０と同様のハードウェア構成を採用できるため、説明を省略する。

通信端末１０は、図４に示すように、通信端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２を備える。また、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、通信端末用プログラム、映像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４を備える。また、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７を備える。また、通信相手となる他の通信端末１０を選択する場合などに操作される操作ボタン１０８、通信端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。

また、通信端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して映像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５を備える。また、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６を備える。また、ＣＰＵ１０１の制御に従ってディスプレイ１１に表示映像のデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、通信端末１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、カメラ１１２、マイク１１４、スピーカ１１５は、必ずしも通信端末１０に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ１１は、通信端末１０に内蔵された構成であってもよい。また、ディスプレイ１１は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図４に示す通信端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。

上記したプログラム提供サーバ５０から提供される通信端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、通信端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を用いてもよい。また、通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア１０６等の記録媒体に記録されて提供されるようにしてもよい。また、通信端末用プログラムは、ＲＯＭ１０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。

＜＜管理システムのハードウェア構成例＞＞
管理システム４０は、図５に示すように、管理システム４０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継装置３０用プログラム等の各種データを記憶するＨＤ（Ｈａｒｄ Ｄｉｓｋ）２０４を備える。また、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（ＨＤ Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７を備える。また、各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、を備える。また、着脱可能な記録媒体の一例としてのＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３に対する各種データの読み出し又は書き込みを制御するＣＤ－ＲＯＭドライブ２１４、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

上記したプログラム提供サーバ５０から提供される管理システム用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、管理システム用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、記録メディア２０６やＣＤ－ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理システム用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。

＜機能について＞
図６は、通信端末１０の機能的な構成の一例を示すブロック図である。通信端末１０は、図６に示すように、送受信部１２、操作入力受付部１３、撮像部１４、音声入力部１５、音声出力部１６、映像符号化部１７、映像復号部１８、ログイン要求部１９、表示制御部２０、記憶・読出処理部２１、揮発性記憶部２２、不揮発性記憶部２３、帯域情報処理部２５、及び、符号化設定部２６を備える。

送受信部１２は、通信ネットワーク２を介して、他の通信端末１０、中継装置３０、管理システム４０等との間で各種データ（又は情報）の送受信を行う。送受信部１２は、例えば、図４に示したネットワークＩ／Ｆ１１１及びＣＰＵ１０１によって実現される。

操作入力受付部１３は、通信端末１０を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部１３は、例えば、図４に示した操作ボタン１０８、電源スイッチ１０９、及びＣＰＵ１０１によって実現される。

撮像部１４は、通信端末１０が設置されている拠点の映像を撮像して映像データを出力する。撮像部１４は、例えば、図４に示したカメラ１１２、撮像素子Ｉ／Ｆ１１３、及びＣＰＵ１０１によって実現される。

音声入力部１５は、通信端末１０が設置されている拠点の音声を入力して音声データを出力する。音声入力部１５は、例えば、図４に示したマイク１１４、音声入出力Ｉ／Ｆ１１６、及びＣＰＵ１０１によって実現される。

音声出力部１６は、音声データを再生出力する。音声出力部１６は、例えば、図４に示したスピーカ１１５、音声入出力Ｉ／Ｆ１１６、及びＣＰＵ１０１によって実現される。

映像符号化部１７は、撮像部１４から出力される映像データや、音声入力部１５から出力される音声データを符号化して、符号化データを生成する。映像符号化部１７は、例えば映像データの符号化については、Ｈ．２６４／ＳＶＣ符号化フォーマットに従って映像データをスケーラブルに符号化する。映像符号化部１７は、例えば、図４に示したＣＰＵ１０１が、上記した通信端末用プログラムに含まれる符号化／復号プログラム（映像・音声コーデック）を実行することにより実現される。映像符号化部１７の詳細を図７にて説明する。

映像復号部１８は、他の通信端末１０から中継装置３０を介して送信された符号化データを復号し、符号化前の映像データや音声データを出力する。映像復号部１８は、例えば、図４に示したＣＰＵ１０１が上記した通信端末用プログラムに含まれる符号化／復号プログラム（映像・音声コーデック）を実行することにより実現される。

ログイン要求部１９は、通信端末１０が管理システム４０にログインするため通信ＩＤとパスワードなどと共にログイン情報を管理システム４０に送信する。ログイン要求部１９は例えば、図４に示したＣＰＵ１０１が通信端末用プログラムを実行することにより実現される。

表示制御部２０は、映像復号部１８が復号した映像データを適宜、表示映像に変換してディスプレイ１１に表示させる（再生出力する）ための制御を行う。映像復号部１８で復号された映像データが複数の拠点の複数の通信端末１０から送信された映像データを含む場合、予め定められたレイアウトの設定、あるいはユーザにより指定されたレイアウトの設定に従って、それぞれの映像データを１画面内に含む表示映像を生成する。表示制御部２０は、例えば、図４に示したディスプレイＩ／Ｆ１１７及びＣＰＵ１０１によって実現される。

記憶・読出処理部２１は、揮発性記憶部２２や不揮発性記憶部２３に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部２１は、例えば、図４に示したＳＳＤ１０５及びＣＰＵ１０１によって実現される。揮発性記憶部２２は、例えば、図４に示したＲＡＭ１０３によって実現される。不揮発性記憶部２３は、例えば、図４に示したフラッシュメモリ１０４によって実現される。不揮発性記憶部２３には解像度ビットレート変換テーブル記憶部２９が記憶されている。解像度ビットレート変換テーブル記憶部２９が記憶する情報については表１にて説明する。

帯域情報処理部２５は、現在の通信ネットワーク２の帯域に関する情報を取得する。本実施形態で使用される帯域情報は、主に映像データの送信速度である。帯域情報処理部２５は、例えば、図４に示したネットワークＩ／Ｆ１１１及びＣＰＵ１０１によって実現される。

符号化設定部２６は、通信ネットワーク２の帯域情報と撮像解像度から、少なくとも映像データの品質を劣化させず、好ましくは解像感を維持して映像データを中継装置３０に送信できる算出解像度を算出する。符号化設定部２６の詳細を図８に示す。

<<映像符号化部>>
図７は、映像符号化部１７の機能をブロック状に示すブロック図の一例である。図７に示すように、映像符号化部１７はデータ受付部１７ａ、画像処理部１７ｃ、符号化部１７ｄ、及び入力情報受付部１７ｂを有する。

データ受付部１７ａは符号化の対象となる映像データを撮像部１４から受け付け、符号可能対象となる音声データを音声入力部１５から受け付ける。更に、通信端末１０間で共有される会議資料がある場合は資料データなどを受け付ける。

入力情報受付部１７ｂは、映像データ欄３０３に表示された枠３０２をユーザが適切な位置に配置した場合にこの位置に関する情報（以下、入力情報という）を操作入力受付部１３から取得する。

画像処理部１７ｃは、映像データに対し入力情報に基づく画像処理を施す。すなわち、配置された枠３０２が指し示す映像データの範囲（一部）を切り取る。符号化部１７ｄは、画像処理部１７ｃが画像処理した映像データ、音声データ及び資料データをそれぞれに適した符号化方法で符号化する。

<<映像復号部>>
図８は、符号化設定部２６の機能をブロック状に示すブロック図の一例である。図８に示すように、符号化設定部２６は撮像情報受付部２６ａ、帯域情報受付部２６ｂ及び符号化設定判断部２６ｃを有する。

撮像情報受付部２６ａは、撮像部１４から撮像情報を受け付ける。撮像情報の中に撮像解像度が含まれており、本実施形態で使用される撮像情報は主にこの撮像解像度である。

帯域情報受付部２６ｂは、帯域情報処理部２５から帯域情報を受け付ける。データの通信速度が速いことを、「帯域が広い」と表現することがあり、デジタル通信の場合では、伝送速度と同じ意味で用いられることが多い。伝送速度とは、一定時間内に転送することのできるデータの量のことである。１秒間に送ることができるデータ量を示す「bps（bit per second）」や「B／秒」という単位が使われる。1kbpsは1000bps、1Mbpsは1000kbps。1B（バイト）は8ビットにそれぞれ該当する。本実施形態では主に映像データの送信時の帯域情報として、送信速度を取得する。

符号化設定判断部２６ｃは現在の帯域情報で撮像解像度の少なくとも映像データを品質の劣化なく送信できるか否かを判断する。判断に際し符号化設定部２６は、解像度ビットレート変換テーブル記憶部２９を参照して、少なくとも映像データの品質を劣化させず、好ましくは解像感を維持して映像データを送信できる符号化設定を決定する。符号化設定の一例が算出解像度である。品質の劣化なく送信できないと判断した場合、符号化設定判断部２６ｃは、映像データを品質の劣化なく送信できる符号化設定（算出解像度）で映像データを送信すると判断する。

表１は、解像度ビットレート変換テーブル記憶部２９に記憶されている解像度ビットレート変換テーブルの一例を示す。解像度ビットレート変換テーブルにはビットレートに対応付けて、解像感を維持して送信できる解像度が登録されている。通信システム１では映像を符号化する際のビットレートによって圧縮率が変わるため、見た目（解像感）も変化する。このため、綺麗に送信することができる映像の解像度はある程度決まっている。

ここでいう綺麗とは、見た目の印象に関わる映像データの解像感が損なわれない又は損なわれたとしても気づかない程度しか映像データが劣化しないで送信できることをいう。
これにより、他の通信端末１０のユーザは綺麗な映像データを見ることができる。

表１の例では、例えばビットレートが４０００ｋｂｐｓの場合、映像データの品質を劣化することなく送信できる解像度は１９２０×１０８０である。解像度ビットレート変換テーブルに登録されていないビットレートについては、符号化設定部２６は解像度ビットレート変換テーブルのビットレートと解像度の対応関係を用いて、少なくとも映像データの品質を劣化させず、好ましくは解像感を維持して映像データを送信できる算出解像度を算出する。

表１の解像度はアスペクト比が一定なので、表１の解像度ビットレート変換テーブルに基づいて算出される算出解像度も同じアスペクト比になる。ここでアスペクト比は、画面の横の画素数Ｗと縦の画素数Ｈの比（Ｗ：Ｈ）を示す。

＜全体的な動作の流れ＞
＜＜会議開始までの流れ＞＞
図９は、通信端末１０がセッションを接続するまでの処理を示すシーケンス図の一例である。図９のような接続方法は一例に過ぎず、遠隔地の通信端末１０が通信を開始できればよい。なお、図９では一方の通信端末１０を通信端末１０Ａとし、他方の通信端末１０を通信端末１０Ｂとする。

S1：まず、通信端末１０Ａのユーザが電源スイッチをＯＮにしてログインするための操作を行うと、管理システム４０にログイン要求を送信する。ログイン要求には、ログイン要求する通信端末１０の通信ＩＤ及びパスワードが含まれている。通信ＩＤは、通信端末を識別又は特定するための識別情報であるが、通信端末１０を使用するユーザを識別又は特定する機能も有している。従って通信ＩＤをユーザＩＤとみなしてよい。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。なお、ログイン要求が管理システム４０に受信された際に、管理システム４０が送信側である通信端末１０ＡのＩＰアドレスを把握することができる。

S2：管理システム４０はログイン要求に含まれている通信ＩＤ及びパスワードに基づいて通信端末１０を認証する。認証方法は通信ＩＤ及びパスワードに基づくものに限らず、ＩＣカードや生体認証情報を用いてもよい。ここでは認証が成立したものとする。

S3：認証が成立したので管理システム４０は要求元である通信端末１０Ａの通信ＩＤに対応付けてステータス（通信しているためオンラインである）を更新する。

S4：次に、管理システム４０は、ログイン要求してきた通信端末１０Ａが通信を開始できる宛先のリスト（宛先候補となる他の通信端末１０のリスト）をデータベースから抽出する。これにより、宛先候補の通信端末１０Ｂのステータス（通信を受け付けられる状態かどうか）を判断できる。

S5：次に、管理システム４０は、宛先候補の通信端末１０Ｂの通信ＩＤとステータスが含まれる宛先状態情報を要求元の通信端末１０Ａに送信する。

S6：また、管理システム４０は要求元の通信端末１０Ａのステータスを通信端末１０のステータスを管理しているデータベースなどから取得する。

S7：管理システム４０は、要求元の通信端末１０Ａを宛先候補とする通信端末１０Ｂに通信端末１０Ａの宛先状態情報を送信する。宛先状態情報には要求元の通信端末１０Ａの通信ＩＤ及びステータスが含まれる。これにより、通信端末１０Ｂから通信端末１０Ａへの通信開始も可能になる。

S8：宛先状態情報を受信した要求元の通信端末１０Ａの表示制御部２０は宛先リスト画面をディスプレイ１１に表示する。宛先リスト画面には、通信端末１０Ｂとそのステータスが表示されるので、ユーザは宛先の状態を把握して宛先を選択することで宛先の通信端末１０を呼び出すことができる。

S9：通信端末１０Ａの送受信部１２が会議の開始要求を管理システム４０に送信する。開始要求には要求元の通信端末１０Ａの通信ＩＤと宛先の通信端末１０Ｂの通信ＩＤが含まれる。

S10：管理システム４０は開始要求を宛先の通信端末１０Ｂに送信する。宛先の通信端末１０Ｂの表示制御部２０は要求元の通信端末１０Ａの拠点名などを含む着信画面を表示する。開始要求には要求元の通信端末１０Ａの拠点名などが含まれているので、ビデオ会議の開始を受けるか否かを宛先の通信端末１０Ｂを操作するユーザが判断できる。

S11：宛先の通信端末１０Ｂを操作するユーザが応答する操作を行うと、操作入力受付部１３がこの操作を受け付け、送受信部１２が応答する旨を管理システム４０に送信する。管理システム４０は応答する旨を受信する際、宛先の通信端末１０のＩＰアドレスを把握する。

S12：管理システム４０は要求元の通信端末１０Ａと宛先の通信端末１０Ｂの通信ＩＤ、ＩＰアドレス等を中継装置３０に登録し、要求元の通信端末１０Ａと宛先の通信端末１０Ｂに中継装置３０のＩＰアドレス等を通知する。要求元の通信端末１０Ａと宛先の通信端末１０Ｂは中継装置３０に対し通信の許可等を要求しこれが許可されると、通信端末１０Ａと通信端末１０Ｂとの間でセッションが接続される。また、管理システム４０は会議を識別する会議ＩＤを採番して、要求元の通信端末１０Ａと宛先の通信端末１０Ｂの通信ＩＤを会議ＩＤに紐付ける。これにより、今後同じ会議に参加する通信端末１０は同じコンテンツデータが配信される。

S13：要求元の通信端末１０Ａの送受信部１２は中継装置３０に対し映像データ、音声データ、及び資料データを送信する。宛先の通信端末１０も同様に映像データ、音声データ、及び資料データの中継装置３０への送信を開始する。

S14：中継装置３０はこれらコンテンツデータを宛先の通信端末１０に転送する。以上のようにして、セッションが接続されて通信端末１０Ａと通信端末１０Ｂは映像データ、音声データ、及び資料データを送受信できる。

＜＜映像データの品質劣化が抑制された映像データの送信処理＞＞
図１０を用いて、コンテンツデータの送信時の通信端末の全体的な動作の流れについて説明する。図１０は、映像データの解像感を維持して映像データを送信する処理を説明するシーケンス図の一例であり、図１１～図１５は図１０の各処理を詳細に説明する図である。

図１０は、通信環境が良好でないことによる遅延や途切れなどの映像データの品質の劣化が発生する可能性がある場合に、ユーザに対しその時点で解像感を維持して通信ができる解像度の枠３０２を提示する処理を示している。

S21：まず、通信端末１０の撮像部１４が撮像情報（撮像解像度）を符号化設定部２６に送出する。撮像情報の詳細を図１１にて説明する。

S22：次に、帯域情報処理部２５が帯域情報を符号化設定部２６に送出する。帯域情報の詳細を図１２にて説明する。

S23：通信端末１０の符号化設定部２６のうち撮像情報受付部２６ａは、通信端末１０の撮像部１４から撮像情報（撮像解像度）を受け付ける。

S24：同じく符号化設定部２６のうち帯域情報受付部２６ｂは、通信端末１０の帯域情報処理部２５から帯域情報を受け付ける。

S25：同じく符号化設定部２６のうち符号化設定判断部２６ｃは、符号化設定（算出解像度）を決定する。この処理の詳細を図１３、図１４にて説明する。

S26：通信端末１０の表示制御部２０は、取得した符号化設定に基づいて会議中画面３０１の映像データ欄３０３に枠３０２を表示する。会議中画面の映像データ欄３０３に表示される枠３０２の一例を図１５に示す。

＜＜撮像情報（撮像解像度）について＞＞
図１１は、撮像部１４が提供する撮像情報について説明する図の一例である。撮像情報は、撮像部１４が現在、管理している撮像解像度、フレームレート、及び、データフォーマットを有する。図１１の例では、撮像解像度が１９２０×１０８０、フレームレートが３０ｆｐｓ、データフォーマットがＩ４２０となっている。撮像解像度は、撮像部１４が実際に撮像する映像データの解像度である。フレームレートは映像データの毎秒の撮像数である。Ｉ４２０はＹＵＶ色空間において色差成分を間引く方法の種類の１つである。

撮像部１４では、撮像手段（カメラ）が映像を取得する際の設定などの情報をまとめて、撮像情報として保持する。

＜＜帯域情報（映像データの送信速度）について＞＞
図１２は、通信端末１０の帯域情報処理部２５が扱う帯域情報の一例を示す図である。図１２（ａ）は２つの通信端末１０間で送信及び受信されるデータの種類を示す。映像データ、音声データ及び資料データが送受信される。通信帯域などによって中継装置３０は映像データの画質を決定しており、図１２では高画質と低画質の映像データが送受信される。資料データに関しても画質は変動しうる。資料データは常に送信されるものではないので、１つの回線が送信と受信に使用される（図１２（ａ）では通信端末１０Ａから通信端末１０Ｂに送信されている）。

図１２（ｂ）は１つの通信端末１０の帯域情報の一例を示す。帯域情報処理部２５は、各種のデータの実際の通信結果から、映像データ、音声データ、資料データ、及び合計の帯域を測定し、これらをまとめて帯域情報として作成する。実際の通信結果とは、受信時であれば、通信端末１０がディスプレイ１１に表示する映像データを受信した際の通信速度である。送信時であれば、通信端末１０が撮像した映像データを送信した際の通信速度である。

図１２（ｂ）の受信の帯域情報を例に取ると、受信の帯域情報は大きいので、映像データの受信を適切に行えると判断できる。しかしながら、急激な通信環境の悪化があればこの限りではない。送信速度も比較的大きいが、少なくとも品質の劣化を抑制するために適切な符号化設定が必要となる可能性がある。

また、図１２（ｂ）では、実際の通信速度をそのまま利用できる帯域情報とした。実際の通信速度のうち受信時の通信速度は映像データ、音声データ及び資料データのそれぞれについて１秒間に何ビット（ｂｐｓ）を受信したかを帯域情報処理部２５が測定することで算出できる。例えば、１０回、測定してその平均を算出する。送信時の通信速度は、中継装置３０が通信端末１０から映像データを受信した時に測定した通信速度を中継装置３０から通信端末１０が取得すればよい。あるいは、通信端末１０と中継装置３０が直接、接続されている場合（ルータなどのネットワーク機器を介して接続されていない場合）、通信端末１０が１秒間に何ビット（ｂｐｓ）送信したか送信速度としてもよい。

なお、実際に送受信される映像データ、音声データ及び資料データを使用するのでなく、ダミーデータの送受信時の通信速度を利用してもよい。

また、平均でなく、例えばある一定期間内の最大の通信速度を求め、その値を利用できる通信帯域として扱ってもよい。

また、帯域情報処理部２５は速度テストを提供しているサーバを利用してもよい。この場合は、サーバから通信端末１０にスクリプトが送信され、サーバが送信したダミーデータの受信が完了した時のタイムスタンプと、サーバが送信したタイムスタンプとの差からスクリプトが受信時の通信速度を算出する。送信時の通信速度はこの逆にスクリプトがダミーデータをサーバに送信すればよい。

遅延時間は、一般的に求められている方法で算出すればよい。例えば、中継装置３０が映像データと共にタイムスタンプを通信端末１０に送り、受信側の通信端末１０がタイムスタンプを受信した時刻とタイムスタンプと比較することで帯域情報を計算することができる。

また、例えばＲＴＴ（Round Trip Time）値をもとに算出してよい。ＲＴＴ値は、通信相手に信号やデータを発信してから、応答が帰ってくるまでにかかる時間である。従って、ＲＴＴは受信と送信の遅延時間を合わせたものとなる。

また、遅延時間そのものではないが、遅延時間に相関する指標を使ってもよい。例えば、ＴＣＰ通信をしている場合には一定時間のＮＡＣＫの数を遅延のパラメータとして使用してもよい。ＴＣＰのＮＡＣＫは通信が否定的な結果に終わったことを意味する。帯域が狭い場合にＮＡＣＫの数が増えるため、ＮＡＣＫの数が遅延時間と同等の情報を持つ場合がある。

＜＜符号化設定部の処理＞＞
図１３は符号化設定部２６が符号化設定に関する判断を行う手順を示すフローチャート図の一例である。

まず、符号化設定判断部２６ｃが、取得した撮像情報（撮像解像度）と帯域情報に基づいて符号化設定を開始する（Ｓ１０１）。

符号化設定判断部２６ｃは、解像度ビットレート変換テーブルを参照して送信した映像データの画質（見た目）が綺麗となる算出解像度を帯域情報から算出する（Ｓ１０２）。表１の解像度ビットレート変換テーブルを参照して算出解像度の算出例を説明する。まず、帯域情報（映像データの送信速度）は１２００ｋｂｐｓであるとする。１２００ｋｂｐｓに対応付けられた解像度があれば解像度ビットレート変換テーブルにそれを使用する。

１２００ｋｂｐｓに対応付けられた解像度があれば解像度ビットレート変換テーブルになければ以下のように算出する。表１の解像度ビットレート変換テーブルで、１２００ｋｂｐｓに最も近いビットレートは１０００ｋｂｐｓである。１０００ｋｂｐｓとこのビットレートの解像度６４０×３６０の対応関係が、１２００ｋｂｐｓと１２００ｋｂｐｓの解像度にも適用できると仮定する。
６４０×３６０：算出解像度＝１０００：１２００
従って、算出解像度＝（６４０×３６０）×１２００/１０００
＝７６８×４３２
以上から算出解像度は７６８×４３２である。このように、解像度ビットレート変換テーブルに登録されていない帯域の値でも、綺麗に送信できる解像度を算出することができる。なお、上記の算出方法では映像データのアスペクト比を維持する前提で算出されている。

次に、符号化設定判断部２６ｃは、算出解像度と撮像解像度とを比較し、小さい方を特定する（Ｓ１０３）。

撮像解像度の方が小さい場合、映像データをそのまま送信できるので、符号化設定判断部２６ｃは撮像解像度を符号化設定に設定する（Ｓ１０４）。この場合、後述する枠３０２は表示されなくてよい。映像データ欄３０３と画素数が同じ枠３０２を表示する意義は少ないからである。ただし、ユーザに映像データ欄３０３の全体の映像データが送信されていることを知らせることができるため、ステップＳ１４０の場合も映像データ欄３０３に枠３０２を表示してよい。

算出解像度の方が小さい場合、算出解像度以下の映像データしか送信できないので、符号化設定判断部２６ｃは算出解像度を符号化設定に設定する（Ｓ１０５）。

このように、算出解像度と撮像解像度のうち小さい方を枠３０２の画素数に決定できるので、算出解像度を算出した後は枠３０２を決定するための処理負荷がほとんど必要ない。なお、上記の例でいうと算出解像度は７６８×４３２以下であればよい。

また、符号化設定判断部２６ｃは、撮像部１４が撮像した映像データの画像処理が必要となるため、画素数変更フラグを"要"とする（Ｓ１０６）。画素数変更フラグは符号化設定に含まれており、映像符号化部１７が映像データの一部を切り取るか否かを判断するために参照される。

符号化設定判断部２６ｃは符号化設定に関する判断を終了する（Ｓ１０７）。これにより、符号化設定ができ上がる。符号化設定の一例を図１４に示す。

＜＜符号化設定の一例＞＞
図１４は、符号化設定部２６が設定する符号化設定の一例を示す図である。符号化設定部２６で扱う符号化設定は、撮像部１４から取得した撮像解像度、符号化設定判断部２６ｃが算出した映像データを綺麗に送信できる算出解像度、撮像部１４から取得したフレームレート、及び、画素数変更の要否を有する。図１４の例では、画素数変更フラグが要となっているため、映像符号化部１７が送信される映像データの画素数を算出解像度に変更することが示されている。

＜＜会議中画面の映像データ欄に表示される枠＞＞
図１５は、表示制御部２０がディスプレイ１１に表示する会議中画面３０１と映像データ欄３０３に表示される枠３０２の一例を示す。表示制御部２０が図１４のような符号化設定を受け取ると、まず画素数の変更の要否を確認する。

画素数変更の項目が「要」となっていた場合、会議中画面３０１上の、送信元の通信端末１０が撮像している映像データが表示される映像データ欄３０３に、表示制御部２０は符号化設定の算出解像度と同じ画素数の枠３０２を表示する。すなわち、画素数に相当するサイズ（大きさ）の枠３０２を表示する。この枠３０２は、映像符号化部１７が符号化する映像データの範囲を示す。初期状態の枠３０２は例えば、映像データ欄３０３の中央であることが好ましいが、枠３０２は映像データ欄３０３のどこに配置されてもよい。また、表示制御部２０が顔認識を行い、顔を含むように枠３０２を配置してもよい。

枠３０２のアスペクト比は映像データ欄３０３のアスペクト比と同じであってよい。しかし、アスペクト比が変わっても画素数（面積）が同じであれば、通信端末１０は少なくとも映像データの品質劣化を抑制して送信できるので、枠３０２のアスペクト比は映像データ欄３０３と同じでなくてもよい。

＜映像データ送信時の処理＞
以上で会議中画面の映像データ欄３０３に枠３０２が表示されたので、ユーザによる枠３０２の操作、画像処理及び映像データの符号化が可能になる。以下では、図１６～図１９を用いて、ユーザによる枠３０２の操作、画像処理及び映像データの符号化を説明する。

図１６は、主に映像符号化部１７が映像を符号化し中継装置３０に送信する手順を示すシーケンス図の一例である。図１６の処理は図１０の処理に続いて実行される。図１６は、「コンテンツの送信側の通信環境が悪く、通信環境が良好でないことによる遅延や途切れなどの品質の劣化が発生する可能性がある場合に、その時点で利用できる通信環境で解像感を維持して送信できる解像度の枠３０２を提示する」処理の続きのシーケンスである。図１６では、「実際の通信にはその枠３０２内の映像データを用いる」処理について記載されている。

S31：まず、ユーザは、通信端末１０の会議中画面３０１に表示された枠３０２を操作する。通信端末１０の操作入力受付部１３は、ユーザが操作した結果を入力情報として保持する。この操作とは主に枠３０２の移動である。ユーザによる枠３０２の操作については図１７にて詳細に説明し、入力情報の一例を図１８にて説明する。

S32：通信端末１０の撮像部１４は撮像で得た映像データを映像符号化部１７に送出する。

S33：通信端末１０の映像符号化部１７のうちデータ受付部１７ａは、通信端末１０の撮像部１４から映像データを取得する。

S34：映像符号化部１７のうち入力情報受付部１７ｂは操作入力受付部１３から入力情報を取得する。

S35：映像符号化部１７のうち画像処理部１７ｃは、入力情報に基づいて映像データに対し画像処理を実施する。画像処理については図１９にて詳細に説明する。

S36：通信端末１０の映像符号化部１７は、映像データを符号化する。

S37：通信端末１０の送受信部１２は、符号化された映像データを中継装置３０に送信する。

S38：中継装置３０は映像データを通信端末１０Ｂに中継するので、通信端末１０Ｂの送受信部１２は映像データを受信する。枠３０２により映像データの解像度が制限されているので、解像感を維持して映像データを受信できる。

＜＜ユーザ操作について＞＞
図１７は、会議中画面の映像データ欄３０３に表示された枠３０２のユーザによる操作を説明する図である。図１７（ａ）はユーザによる枠３０２の移動を説明する図の一例である。会議中画面３０１の映像データ欄３０３に枠３０２が表示された場合、ユーザは通信端末１０を操作して枠３０２を任意に移動させることができる。動かせる範囲は映像データ欄３０３（自分の映像が表示されている範囲）と重なる範囲である。操作入力受付部１３はユーザの操作を受け付けて枠３０２の位置を表示制御部２０に伝えるので、表示制御部２０はユーザが移動させた位置に枠３０２を表示する。

ユーザが枠３０２を動かすための手段としては、ハード上のボタン、キーボード、タッチパネル上の動作などが考えられる。例えば、顔の部分が相手の通信端末１０で表示されるように、ユーザが枠３０２を顔に移動させることができる。また、ユーザが手に持った資料が相手の通信端末１０で表示されるように、ユーザが枠３０２を資料に移動させることができる。また、表示制御部２０が顔認識を行い、顔を含むように枠３０２を追従させてもよい。

また、図１７（ｂ）に示すように、操作入力受付部１３は枠３０２の画素数を一定にしたまま枠３０２のアスペクト比の変更を受け付けてもよい。画素数が一定であれば、少なくとも映像データの送信時の品質劣化が抑制されるためである。例えば、縦長の資料データの映像を他の通信端末１０に送信したい場合などに有効である。

なお、操作入力受付部１３は枠３０２の画素数を小さくすることを受け付けてもよい。映像データの画素数が小さくなる分には送信時の品質劣化が抑制される点に変わりはないためである。例えば、映像データの一部を送信したくない場合などに有効である。

また、ユーザが枠３０２の画素数を大きくすることは禁止（制限）される。つまり、操作入力受付部１３は算出解像度よりも枠３０２が大きくなる操作を受け付けない。ユーザが枠３０２の画素数を大きくする操作を行った場合、例えば図１７（ｃ）に示すように、エラーメッセージが表示される。図１７（ｃ）では、「枠を７６８×４３２より大きくすることができません。」というメッセージ４５０が表示されている。これにより、ユーザが枠３０２を移動する際に誤って枠３０２を大きくしてしまうことを抑制できる。

＜＜入力情報＞＞
図１８は、入力情報の一例を示す。入力情報は、自分の映像のどの位置に枠３０２が配置されたかを示す情報である。図１８（ａ）は会議中画面の映像データ欄３０３に配置された枠３０２と共に示された入力情報を示す。

図１８では、映像データ欄３０３の左下コーナーを原点Ｏとして、枠３０２の横軸の始点Ｓ１と終点Ｅ１、枠３０２の縦軸の始点Ｓ２と終点Ｅ２を、それぞれ映像データ欄３０３に対する比率で表す。図１８（ａ）では、横軸の始点Ｓ１が原点から４０％の位置であり、終点Ｅ１が原点Ｏから８０％の位置である。縦軸の始点Ｓ２が原点Ｏから４０％の位置であり、終点Ｅ２が原点Ｏから９５％の位置である。

図１８（ｂ）はこのようにして決定された入力情報を数値で示す図である。原点Ｏがどこであるが、枠３０２の横軸の始点Ｓ１と終点Ｅ１、枠３０２の縦軸の始点Ｓ２と終点Ｅ２が、どこであるかが数値で表されている。

＜＜画像処理＞＞
図１９は、映像符号化部１７による画像処理について説明する図の一例である。映像符号化部１７が図１８のような入力情報を取得した場合、映像符号化部１７の画像処理部１７ｃは入力情報の枠３０２が指し示す映像データの一部を映像データから切り取る。画像データを切り取ることをトリミングという場合がある。

図１９（ａ）は枠３０２の配置を入力情報で示す会議中画面３０１であり、図１９（ｂ）は、画像処理部１７ｃが映像データから切り取った映像データの一部である。映像を切り取ることが画像処理に相当する。

このように、本実施形態では、映像データ全体に対して目標となる解像度になるようにリサイズ処理（縮小又は圧縮）を行うわけではなく、画像処理部１７ｃが切り取り処理を行うため、少なくとも映像データの品質を劣化させず、好ましくは解像感を維持して映像データのデータサイズを削減することができる。映像符号化部１７は、画像処理後の映像データを符号化する。

＜まとめ＞
以上説明したように、本実施形態の通信システム１は、ユーザが狙いの範囲を指定し、画像処理によりその範囲のみを送信することで、以下の効果を期待できる。
１．通信環境が各拠点で異なっても、映像データのデータサイズ（画素数）の削減により、通信環境が要因となる映像データの遅延や途切れを回避できる。
２．通信環境が悪化しても、映像データのうちユーザが指定した範囲の解像感を変えずに通信端末１０Ａが他の通信端末１０Ｂに送信することで、ユーザが通信したい情報の品質を維持できる。

本実施例ではシステム構成図の構成例、及び、通信ＩＤの別の例について説明する。

＜システム構成図の別の例＞
実施例１で説明した図２では管理システムが１台であったが管理システム４０は通信システム１内に複数存在してもよい。図２０は、本実施形態に係る通信システム１の概略図である。図２０では、複数の管理システム４０が通信ネットワーク２に接続されている。このように通信システム１に含まれる管理システム４０は複数台でもよく、どの管理システム４０に機能を備えさせてもよい。

また、本実施形態で説明する通信端末１０と管理システム４０とが接続されたシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

また、図２１に示すように、管理システム４０と中継装置３０は１つのサーバ装置８０として存在してもよい。図２１では地域Ｘ、Ｙにそれぞれサーバ装置８０が配置されている。サーバ装置８０は、管理システム４０の機能と中継装置３０の機能を併せ持っている。また、複数の管理システム４０が存在する形態でもある。各サーバ装置８０の管理システム４０に関する機能は互いに通信して通信端末１０のステータスなどを同期している。

サーバ装置８０はインターネット２ｉに接続されてもよいし、地域Ｘ、Ｙにそれぞれ１台しかなくてもよく、図示する構成は一例である。

なお、通信端末１０は中継装置３０による中継なしに他の通信端末１０と通信してもよい。

＜メールアドレスによるユーザの識別＞
本実施形態では通信ＩＤで通信端末１０が識別されていたが、通信端末１０を識別する識別情報として、ユーザＩＤが用いられてもよい。また、このユーザＩＤとしてメールアドレスが用いられてよい。この場合、通信端末１０のユーザはメールアドレスで管理システム４０にログインする。

図２２は、通信端末１０が管理システム４０へログインする処理を示すシーケンス図の一例である。なお、図２２の説明では図９との相違を主に説明する。図２２に示すように、ステップＳ１、Ｓ５、Ｓ７、Ｓ９、Ｓ１０では通信ＩＤでなく、メールアドレスが送信されている。管理システム４０はメールアドレスとパスワードで通信端末１０及びユーザを識別する。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、通信端末１０が行った処理を中継装置３０又は管理システム４０が行ってもよい。図２３は、通信システムが有する中継装置３０の機能をブロック状に示す機能ブロック図の一例である。図２３では、中継装置３０が帯域情報処理部２５、符号化設定部２６、及び、解像度ビットレート変換テーブル記憶部２９を有している。

図２３の構成では、中継装置３０の帯域情報処理部２５が、通信端末１０が送信する映像データの帯域情報を測定する。また、符号化設定部２６は解像度ビットレート変換テーブルを参照して帯域情報に基づいて算出解像度を算出する。算出解像度は通信端末１０に送信されるので、算出解像度が撮像解像度より小さい場合、表示制御部２０は算出解像度以下の枠３０２を表示させ、操作入力受付部１３がユーザによる枠３０２の配置を受け付ける。このように、算出解像度の算出はネットワーク上のサーバが行うことができる。

なお、図２３では中継装置３０が映像データを中継するために中継装置３０が算出解像度を算出したが、管理システム４０が映像データを中継する場合には管理システム４０が同様の機能を有する。

また、図６などの構成例は、管理システム４０、通信端末１０、及び中継装置３０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。管理システム４０、通信端末１０、及び中継装置３０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

なお、帯域情報処理部２５は通信帯域取得手段の一例であり、符号化設定部２６は画素数決定手段の一例であり、送受信部１２は送信手段の一例であり、表示制御部２０は表示制御手段の一例であり、解像度ビットレート変換テーブルは画素数通信速度変換情報の一例であり、画像処理部１７ｃは画像処理手段の一例であり、操作入力受付部１３は操作受付手段の一例である。

１ 通信システム
１０ 通信端末
１１ ディスプレイ
３０ 中継装置
４０ 管理システム
８０ サーバ装置

国際公開第２０１５／０４５７８８号

Claims (8)

1. ネットワークを介して接続された他の通信端末に、撮像手段により撮像した映像データを送信する通信端末であって、
   前記映像データの送信時の通信帯域を取得する通信帯域取得手段と、
   前記通信帯域取得手段が取得した前記通信帯域で送信可能な前記映像データの画素数を決定する画素数決定手段と、
   前記画素数決定手段が決定した前記画素数を指し示す枠を前記通信端末の撮像手段が撮像した前記映像データに重ねてディスプレイに表示する表示制御手段と、
   前記枠内の前記映像データを前記他の通信端末に送信する送信手段と、
   を有することを特徴する通信端末。
2. 前記表示制御手段が前記映像データに重ねて表示した前記枠の位置に関する情報を受け付ける操作受付手段と、
   前記操作受付手段が受け付けた前記枠の位置に関する情報に基づき、前記枠内の前記映像データを切り取る画像処理手段と、を有し、
   前記送信手段は、前記画像処理手段が切り取った前記映像データを前記他の通信端末に送信することを特徴する請求項１に記載の通信端末。
3. 前記画素数決定手段は、前記通信帯域取得手段が取得した前記通信帯域に対応付けられた前記画素数を画素数通信速度変換情報に登録されている前記画素数と前記通信帯域の対応関係に基づいて算出することで、
   前記通信帯域で送信可能な前記映像データの画素数を決定することを特徴する請求項１又は２に記載の通信端末。
4. 前記画素数決定手段は、前記通信帯域取得手段が取得した前記通信帯域に対応付けられた前記画素数と、前記撮像手段が撮像する前記映像データの画素数のうち、小さい方を前記通信帯域で送信可能な前記映像データの画素数に決定することを特徴する請求項３に記載の通信端末。
5. 前記操作受付手段は、前記映像データに重ねて表示された前記枠の画素数を維持したままアスペクト比の変更を受け付け、
   前記画像処理手段は前記操作受付手段が変更を受け付けたアスペクト比の枠内の前記映像データを切り取り、前記送信手段は、前記画像処理手段が切り取った前記映像データを前記他の通信端末に送信することを特徴する請求項２に記載の通信端末。
6. 前記操作受付手段は、前記映像データに重ねて表示された前記枠の面積をユーザが大きくする操作を制限することを特徴する請求項５に記載の通信端末。
7. ネットワークを介して接続された他の通信端末に、撮像手段により撮像した映像データを送信する通信端末が行うデータ送信方法であって、
   通信帯域取得手段が、前記映像データの送信時の通信帯域を取得するステップと、
   画素数決定手段が、前記通信帯域取得手段が取得した前記通信帯域で送信可能な前記映像データの画素数を決定するステップと、
   表示制御手段が、前記画素数決定手段が決定した前記画素数を指し示す枠を前記通信端末の撮像手段が撮像した前記映像データに重ねてディスプレイに表示するステップと、
   送信手段が、前記枠内の前記映像データを前記他の通信端末に送信するステップと、
   を有することを特徴するデータ送信方法。
8. ネットワークを介して接続された他の通信端末に、撮像手段により撮像した映像データを送信する通信端末を、
   前記映像データの送信時の通信帯域を取得する通信帯域取得手段と、
   前記通信帯域取得手段が取得した前記通信帯域で送信可能な前記映像データの画素数を決定する画素数決定手段と、
   前記画素数決定手段が決定した前記画素数を指し示す枠を前記通信端末の撮像手段が撮像した前記映像データに重ねてディスプレイに表示する表示制御手段と、
   前記枠内の前記映像データを前記他の通信端末に送信する送信手段、
   として機能させるためのプログラム。

Images