WO2017013776A1

WO2017013776A1 - 受信システム、送信システム、受信方法、送信方法、通信制御プログラム及び配信サーバ

Info

Publication number: WO2017013776A1
Application number: PCT/JP2015/070881
Authority: WO
Inventors: 雄太楢崎; 貴大宮坂
Original assignee: 株式会社Ｂｏｎｘ
Priority date: 2015-07-22
Filing date: 2015-07-22
Publication date: 2017-01-26

Abstract

同一種別のコンテンツを連続して高速に送信する場合であっても、受信側端末のユーザに与えられる違和感を解消又は軽減しながら、伝送遅延又はその影響を解消又は軽減する。　受信システム２００の受信側演算処理部２１１，２２１は、　受信側記憶部２１２に記憶された音声データ又は動画データを受信側出力部２２５で再生させる再生制御（ＳＴＥＰ５１６、ＳＴＥＰ５２２及びＳＴＥＰ５２３）と、　受信側記憶部２１２に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御（ＳＴＥＰ５１４）とを実行する。

Description

受信システム、送信システム、受信方法、送信方法、通信制御プログラム及び配信サーバ

　本発明は、受信システム、送信システム、受信方法、送信方法、通信制御プログラム及び配信サーバに関する。

　近年、ネットワークを介した音声通話又はビデオ通信等のリアルタイム通信が盛んに行われている。この種のリアルタイム通信においては、送信側端末から受信側端末への音声データ又はビデオデータ等のデータの送受信に要する時間が短ければ、送信側端末から送信されたデータが受信側端末で遅延することなく再生され、受信側端末のユーザに違和感を覚えさせることがない。

　しかし、通信速度が不安定な場合、伝送遅延が発生することにより、データの送受信に長時間を要してしまい、その結果、受信側端末のユーザに違和感を覚えさせるおそれがある。

　このような課題に鑑みて、送信側装置が、QCI（QoS Class Identifier）等からデータパケットの優先度を判別し、当該判別されたデータパケットの優先度及びパケット送信状態に応じて、データパケットを破棄する技術が知られている（特許文献１参照）。

　当該技術によれば、通信速度が不安定な場合であっても、データパケットの優先度に応じてデータパケットを破棄することによって、緊急通信又は高優先度の通信については、伝送遅延の発生を防止又は伝送遅延を解消させることが出来る。

特開２０１２－２５３５３６号公報

　しかしながら、QCIでは、音声通信及びストリーミングビデオ等のデータパケットのコンテンツの種別に応じて優先度が付与される。このため、同一種別のコンテンツのデータパケットを連続して高速に送信する場合には、予め個別に優先度を付与しない限り、特許文献１の技術では、伝送遅延の発生の防止又は伝送遅延の解消が困難であった。この結果、同一種別のコンテンツのデータパケットを連続して高速に送信する場合には、伝送遅延の発生によって受信側端末のユーザに違和感を覚えさせるおそれがあった。

　このような問題に鑑み、本発明は、同一種別のコンテンツを連続して高速に送信する場合であっても、受信側端末のユーザに与えられる違和感を解消又は軽減しながら、伝送遅延又はその影響を解消又は軽減しうる、受信システム、送信システム、受信方法、送信方法、通信制御プログラム及び配信サーバを提供することを目的とする。

　本発明の受信システムは、
　外部と通信する受信側通信部と、演算処理をする受信側演算処理部と、情報を記憶する受信側記憶部と、音声データ又は動画データを再生する受信側出力部とを備える受信システムであって、
　前記受信側演算処理部は、
　前記受信側通信部を用いてネットワークを介して外部から受信した音声データ又は動画データを前記受信側記憶部に記憶する受信側記憶制御と、
　前記受信側記憶部に記憶された前記音声データ又は前記動画データを前記受信側出力部で再生させる再生制御と、
　前記受信側記憶部に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御とを実行することを特徴とする。

　本発明の受信システムによれば、受信側演算処理部は、受信側記憶制御によって受信側通信部を用いて連続的又は断続的に受信した音声データ又は動画データを受信側記憶部に記憶し、再生制御によって当該受信側記憶部に記憶された音声データ又は動画データを受信側出力部で再生する。

　しかし、受信システムと外部との通信状況が悪化し、その後通信状況が回復した場合などにおいて、受信システムが単位時間あたりに受信するデータ量（サイズ又はデータ数）が受信システムが単位時間当たりに再生するデータ量（サイズ又はデータ数）よりも大きいと、未再生の音声データ又は動画データが受信側記憶部にたまっていくこととなる。この結果、受信側記憶部にたまった未再生の音声データ又は動画データ分だけ再生遅れが発生し、ユーザに違和感を与えるおそれがある。

　この点、本発明の受信システムによれば、受信側検出制御が実行されることにより未再生の音声データ又は動画データのサイズ又はデータ数が検出される。この結果、検出結果を用いて受信システムが再生遅れの影響を解消又は軽減しうる。

　本発明の受信システムにおいて、
　前記受信側演算処理部は、
　前記受信側検出制御の検出結果に基づき、前記未再生の音声データ又は動画データの全部又は連続した一部を前記再生制御による再生の対象外とする再生除外制御を実行することが好ましい。

　当該構成の受信システムによれば、再生除外制御が実行されることにより、受信側検出制御の検出結果に基づき、未再生の音声データ又は動画データの全部又は連続した一部が再生制御による再生の対象外とされる。

　この結果、外部から受信システムへの伝送遅延が解消したことにより、受信システムが外部から大量の音声データ又は動画データを短時間で受信し、受信側記憶部に未再生の音声データ又は動画データがたまった場合に、再生除外処理によって、未再生の音声データ又は動画データの全部又は連続した一部が再生制御による再生の対象外とされる。これにより、受信側記憶部に記憶された全部の音声データ又は動画データが再生される場合に比べ、音声データまたは動画データが受信側記憶部に記憶された時から再生されるまでの待ち時間が短くなるので、伝送遅延の影響が解消又は軽減される。

　ここで、再生制御による再生の対象外とされる音声データ又は動画データが連続したデータであれば、ユーザがその欠落した内容を推測できる又は気にしない場合が多いので、受信側通信部を介して受信した及び後に受信される全体の音声データ又は動画データの内容の理解にさほど影響を及ぼさないと考えられる。

　したがって、当該構成の受信システムによれば、ユーザに与えられる違和感が解消又は軽減されながら、伝送遅延の影響が解消又は軽減される。

　当該構成の受信システムにおいて、
　前記再生除外制御は、再生時間にして１～５秒分の連続した前記未再生の音声データ又は動画データを前記再生制御による再生の対象外とする制御を含むことが好ましい。

　本発明者らの検討によって、再生時間にして１～５秒分の連続した未再生の音声データ又は動画データを再生制御による再生の対象外とする制御を行う場合、１秒未満分の連続した未再生の音声データ若しくは動画データを再生対象外としたりする場合又は５秒より長い連続した未再生の音声データ若しくは動画データを再生対象外としたりする場合に比べ、受信側ユーザの違和感を押えることが出来ることが判明した。

　すなわち、１秒未満分の連続した未再生の音声データ又は動画データを再生対象外とする場合であると、再生制御による再生の対象外となるデータ量が小さいため、本願発明の受信システムと比べより頻繁に再生除外処理を行う必要がある。しかしながら、頻繁に再生除外処理が行われるとユーザに違和感が与えられかねない。

　他方、５秒よりも長い連続した未再生の音声データ又は動画データを再生制御による再生の対象外とする場合、再生除外制御一回当たりの欠落データ量が大きくなり、ユーザがその欠落した内容を推測できず又は気にするようになるおそれがある。この結果、５秒以上の連続した未再生の音声データ又は動画データを再生制御による再生の対象外とすると、ユーザに違和感を与えかねない。

　この点、当該構成の受信システムによれば、再生除外制御が実行されることにより、再生時間にして１～５秒分の連続した前記未再生の音声データ又は動画データが再生制御による再生の対象外とされる。１～５秒分の連続した未再生の音声データ又は動画データが再生制御による再生の対象外とされる場合には、前述したような違和感はユーザに与えられないことが多い。

　従って、当該構成の受信システムによれば、ユーザに与えられる違和感が解消又は軽減されながら、伝送遅延の影響が解消又は軽減される。

　これらの受信システムにおいて、
　前記再生除外制御は、前記受信側検出制御により検出された前記未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上である場合に、前記未再生の音声データ又は動画データの全部又は連続した一部を前記再生制御による再生の対象外とする制御を含むことが好ましい。

　当該構成の受信システムによれば、再生除外制御において、前記受信側検出制御により検出された前記未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上であることを一つの要件として、未再生の音声データ又は動画データの全部又は連続した一部が再生制御による再生の対象外とされる。

　すなわち、未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上になったときにのみ再生除外処理が実行されることとなるので、再生除外処理が頻繁に実行されることが回避され、ユーザに与えられる違和感が解消又は軽減される。

　本発明の受信システムにおいて、
　前記再生制御は、
　前記受信側検出制御により検出された未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上であるという条件を充足している場合に、前記条件を充足していない場合よりも、前記未再生の音声データ又は動画データの全部又は連続した一部の再生速度を速くする制御を含むことが好ましい。

　当該構成の受信システムによれば、再生制御において、未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上であるという条件を充足している場合、条件を充足していない場合よりも、未再生の音声データ又は動画データの全部又は連続した一部の再生速度が速くなる。

　この結果、外部から受信システムへの伝送遅延が解消したことにより、受信システムが外部から大量の音声データ又は動画データを短時間で受信し、受信側記憶部に未再生の音声データ又は動画データがたまった場合に、未再生の音声データ又は動画データの全部又は連続した一部が速い再生速度で再生されることにより、たまっているデータの減少を促進することが出来るので、伝送遅延の影響が解消又は軽減される。

　ここで、速い再生速度で再生されても、ユーザは、音声データ又は動画データで再生される内容の全体像を十分把握できる場合が多い。そして、前記条件を充足しているときに早送りされることにより、ユーザに伝送遅延が発生していたことを認識させることが出来る。

　この結果、ユーザに伝送遅延が発生していたことを認識させるとともに当該伝送遅延の影響を解消又は軽減しながら音声データ又は動画データの内容を把握させることが出来るので、ユーザに与えられる違和感が解消又は軽減される。

　本発明の受信システムにおいて、
　前記再生制御は、前記音声データ又は前記動画データを前記受信側記憶部に保持された時刻が早いデータから先に読み出して、前記受信側出力部で再生させる制御を含んでもよい。

　又は、本発明の受信システムにおいて、
　前記再生制御は、前記受信側通信部で受信された前記音声データ又は前記動画データを、当該音声データ又は動画データに含まれる再生順を示すデータに従って再配列して前記受信側出力部で再生させる制御を含んでもよい。

　これらの受信システムによれば、受信側記憶部に保持された時刻が早いデータから先に読み出して受信側出力部で再生され、又は再生順を示すデータに従って再配列された音声データ又は動画データが受信側出力部で再生される。この結果、ユーザに与えられる違和感が軽減又は解消される。

　本発明の受信方法は、
　外部と通信する受信側通信部と、演算処理をする受信側演算処理部と、情報を記憶する受信側記憶部と、音声データ又は動画データを再生する受信側出力部とを備える受信システムの前記受信側演算処理部が実行する方法であって、
　前記受信側通信部を用いてネットワークを介して外部から受信した音声データ又は動画データを前記受信側記憶部に記憶する受信側記憶制御ステップと、
　前記受信側記憶部に記憶された前記音声データ又は前記動画データを前記受信側出力部で再生させる再生制御ステップと、
　前記受信側記憶部に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御ステップとを含むことを特徴とする。

　本発明の受信方法が実行されることにより、本発明の受信システムと同様の作用効果が奏される。

　本発明の通信制御プログラムは、
　外部と通信する受信側通信部と、演算処理をする受信側演算処理部と、情報を記憶する受信側記憶部と、音声データ又は動画データを再生する受信側出力部とを備える受信システムの前記受信側演算処理部を、
　前記受信側通信部を用いてネットワークを介して外部から受信した音声データ又は動画データを前記受信側記憶部に記憶する受信側記憶制御手段、
　前記受信側記憶部に記憶された前記音声データ又は前記動画データを前記受信側出力部で再生させる再生制御手段、及び
　前記受信側記憶部に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御手段として機能させることを特徴とする。

　本発明の通信制御プログラムによって受信システムの受信側演算処理部が受信側記憶制御手段、再生制御手段及び受信側検出制御手段として機能することにより、本発明の受信システムと同様の作用効果が奏される。

　本発明の配信サーバは、
　当該構成の通信制御プログラムを記憶する配信サーバ記憶部と、外部と通信する配信サーバ通信部と、前記通信制御プログラムを前記配信サーバ通信部によりネットワークを介して前記外部に配信する配信サーバ演算処理部とを備える。

　当該構成の配信サーバにより、受信システムに通信プログラムを配信することによって、受信システムで通信プログラムを実行させて、上述した作用効果を奏されることが出来る。

　本発明の送信システムは、
　外部と通信する送信側通信部と、演算処理をする送信側演算処理部と、情報を記憶する送信側記憶部と、音声データ又は動画データの入力又は受信を受け付ける送信側受付部とを備える送信システムであって、
　前記送信側演算処理部は、
　前記送信側受付部を介して受け付けた前記音声データ又は前記動画データを前記送信側記憶部に記憶する送信側記憶制御と、
　前記送信側記憶部に記憶された前記音声データ又は前記動画データを前記送信側通信部によりネットワークを介して他の端末に送信する送信制御と、
　前記送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数を検出する送信側検出制御とを実行することを特徴とする。

　本発明の送信システムによれば、送信側演算処理部は、送信側記憶制御によって送信側受付部を用いて連続的又は断続的に受け付けた音声データ又は動画データを送信側記憶部に記憶し、送信制御によって当該送信側記憶部に記憶された音声データ又は動画データを送信側通信部を用いて他の端末に送信する。送信された音声データまたは動画データは、他の端末（受信側端末）において受信され、再生される。

　しかし、送信システムと外部との間の通信状況が悪化した状況において、単位時間当たりに前記送信側受付部が受け付けるデータ量（サイズ又はデータ数）が、単位時間あたりに前記送信側通信部を用いて送信するデータ量（サイズ又はデータ数）よりも大きくなると、前記送信側記憶部に記憶された未送信の音声データ又は動画データがたまっていくこととなる。

　この点、本発明の送信システムによれば、送信側検出制御が実行されることにより、送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数が検出される。この結果、検出結果を用いて送信システムが送信システムと外部との間の通信状況が悪化したことによる伝送遅延の影響を解消又は軽減しうる。

　本発明の送信システムにおいて、
　前記送信側演算処理部は、
　前記送信側検出制御の検出結果に基づき、前記未送信の音声データ又は動画データの全部又は連続した一部を前記送信制御による送信の対象外とする送信除外制御を実行することが好ましい。

　当該構成の送信システムによれば、送信除外制御が実行されることにより送信側検出制御の検出結果に基づき、未送信の音声データ又は動画データの全部又は連続した一部が送信制御による送信の対象外とされる。この結果、送信待ちとなっている音声データ又は動画データが減少し、送信側受付部により受け付けられて記憶された音声データまたは動画データが送信側通信部を用いて送信されるまでの送信待ち時間が短くなるので、送信システムと外部との間の通信状況が悪化したことによる伝送遅延が解消又は軽減される。

　ここで、送信制御による送信の対象外となる音声データ又は動画データが連続したデータであれば、受信側端末のユーザがその欠落した内容を推測できる又は気にしない場合が多いので、送信制御により送信された及び後に送信される全体の音声データ又は動画データの内容の理解にさほど影響を及ぼさないと考えられる。

　したがって、当該構成の送信システムによれば、受信側端末のユーザに与えられる違和感が解消又は軽減されながら、伝送遅延が解消又は軽減される。

　本発明の送信方法は、
　外部と通信する送信側通信部と、演算処理をする送信側演算処理部と、情報を記憶する送信側記憶部と、音声データ又は動画データの入力又は受信を受け付ける送信側受付部とを備える送信システムの前記送信側演算処理部が実行する方法であって、
　前記送信側受付部を介して受け付けた前記音声データ又は前記動画データを前記送信側記憶部に記憶する送信側記憶制御ステップと、
　前記送信側記憶部に記憶された前記音声データ又は前記動画データを前記送信側通信部によりネットワークを介して他の端末に送信する送信制御ステップと、
　前記送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数を検出する送信側検出制御ステップとを含むことを特徴とする。

　本発明の送信方法が実行されることにより、本発明の送信システムと同様の作用効果が奏される。

　本発明の通信制御プログラムは、
　外部と通信する送信側通信部と、演算処理をする送信側演算処理部と、情報を記憶する送信側記憶部と、音声データ又は動画データの入力又は受信を受け付ける送信側受付部とを備える送信システムの前記送信側演算処理部を、
　前記送信側受付部を介して受け付けた前記音声データ又は前記動画データを前記送信側記憶部に記憶する送信側記憶制御手段、
　前記送信側記憶部に記憶された前記音声データ又は前記動画データを前記送信側通信部によりネットワークを介して他の端末に送信する送信制御手段、及び
　前記送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数を検出する送信側検出制御手段として機能させることを特徴とする。

　本発明の通信制御プログラムによって送信システムの送信側演算処理部が送信側記憶手段、送信制御手段及び送信側検出制御手段として機能することにより、本発明の送信システムと同様の作用効果が奏される。

本実施形態の全体構成図。本実施形態で実行される処理の全体概略フローチャート。第１携帯端末出力装置又は第２携帯端末出力装置に表示されるユーザの画面の構成図で、図３Ａはユーザ登録画面、図３Ｂは音声又は動画登録画面図、図３Ｃはグループ作成画面、図３Ｄはユーザ追加画面、図３Ｅは履歴表示画面、図３Ｆは招待メッセージ画面、図３Ｇはトーク画面の構成図。接続処理のフローチャート。グループ作成処理のフローチャート（前半）。グループ作成処理のフローチャート（後半）。データ送信処理のフローチャート。図７Ａは、上のグラフが第１携帯端末における時系列の未送信のデータの量を示すグラフであり、下のグラフが第２サーバにおける時系列の未送信のデータの量を示すグラフ、図７Ｂは、上のグラフが第２サーバにおける時系列の未送信のデータの量を示すグラフであり、下のグラフが第２携帯端末における時系列の未再生のデータの量を示すグラフ。データ受信処理のフローチャート。

　図１～図８を参照して、本発明の本実施形態について説明する。

　本発明の本実施形態においては、図１に示されるように、第１通信システム１００と、第２通信システム２００と、中継サーバ群３００と、配信サーバ４００とが、インターネット等の広域ネットワークを介して相互に接続されている。

　（第１通信システムの構成）
　第１通信システム１００は、第１ユーザＡに携帯される第１携帯端末１１０と、第１ユーザＡに装着される第１装着端末１２０とを備える。なお、第１通信システム１００が本発明の「送信システム」に相当する。

　第１携帯端末１１０は、タブレット型端末又はスマホなど、ユーザによる携帯が可能なようにサイズ、形状および重量が設計されている情報端末により構成されている。第１携帯端末１１０は、第１携帯端末演算処理装置１１１と、第１携帯端末記憶装置１１２と、第１携帯端末通信装置１１３と、第１携帯端末入力装置１１４と、第１携帯端末出力装置１１５とを備える。

　なお、本実施形態では、第１携帯端末記憶装置１１２が本発明の「送信側記憶部」に相当し、第１携帯端末通信装置１１３が本発明の「送信側通信部」に相当する。

　第１携帯端末演算処理装置１１１は、ＣＰＵ等の演算処理装置により構成されている。第１携帯端末１１０には、配信サーバ４００からダウンロードされた通信制御プログラム（以下、「通信制御アプリ」と適宜言う。）がインストールされている。当該通信制御アプリが起動されることにより、第１携帯端末演算処理装置１１１は、後述の演算処理を実行するように構成されている。通信制御アプリは、あらかじめインストールされていてもよい。

　また、一の装置が他の装置との通信に基づいて情報を「認識する」とは、一の装置が他の装置から当該情報を受信すること、一の装置が他の装置から受信した信号を対象として所定の演算処理（計算処理又は探索処理など）を実行することにより当該情報を導出すること、一の装置が他の装置による演算処理結果としての当該情報を当該他の装置から受信すること、一の装置が当該受信信号にしたがって内部記憶装置又は外部記憶装置から当該情報を読み取ること等、通信を伴って当該情報を取得するためのあらゆる演算処理が実行されることを意味する。

　第１携帯端末記憶装置１１２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等により構成されている。

　第１携帯端末通信装置１１３は、3G（3rd Generation）（登録商標）、4G（4th Generation）（登録商標）、LTE（Long Term Evolution）（登録商標）、WiFi（登録商標）等の遠距離での無線通信に適した通信規格にしたがって、不図示の基地局に接続された広域ネットワークを介して中継サーバ群３００及び配信サーバ４００などの外部端末と相互通信するための外部通信Ｃ１１を確立するように構成されている。

　また、第１携帯端末通信装置１１３は、Classic Bluetooth（登録商標）等のデジタル機器用近距離無線通信規格（以下、「第１通信規格」という。）に従って、近距離にある端末と通信するように構成されている。

　また、第１携帯端末通信装置１１３は、Bluetooth Low Energy(登録商標)等の第１通信規格よりも小さな電力で通信が可能なデジタル機器用近距離無線通信規格（以下、「第２通信規格」という。）に従って、近距離にある端末と通信できるように構成されている。

　第１携帯端末入力装置１１４は、タッチパッドのような位置入力装置により構成され、第１携帯端末出力装置１１５は液晶パネルのような表示装置により構成され、両装置が組み合わせられてタッチパネルが構成されている。すなわち、タッチパネルは、入力インターフェースおよび出力インターフェースとして機能する。タッチパネルには、第１携帯端末１１０にインストールされているアプリ（アプリケーションソフトウェア）の機能に応じた機能画像が表示される。

　第１携帯端末入力装置１１４は、タッチパネルの代替的又は付加的に、音声入力装置（マイク）又は撮像装置などの非接触方式でユーザの入力操作（発話内容又はジェスチャ）の態様を検知する検知装置により構成されていてもよい。第１携帯端末出力装置１１５がタッチパネルの付加的に音声出力装置（スピーカ）により構成されていてもよい。第１携帯端末入力装置１１４が撮像装置など、非接触方式でユーザのジェスチャ（表情の動き、指先又は腕などの身体部分の動き）を識別しうる場合、当該ジェスチャの態様が入力操作の態様として第１携帯端末演算処理装置１１１により検知される。

　第１携帯端末演算処理装置１１１は、タッチパネル（第１携帯端末入力装置１１４及び第１携帯端末出力装置１１５）におけるユーザのタッチジェスチャの態様の別に応じて、タッチパネルにおける表示コンテンツを調節する等、ユーザインターフェースマネージャ（ＵＩＭ）としての機能を果たす。タッチジェスチャには、タップ（シングルタップ、ダブルタップおよびロングタップ）、フリック（上フリック、下フリック、左フリックおよび右フリック）、スワイプ、ピンチ（ピンチインおよびピンチアウト）又はマルチタッチなどが含まれる。

　第１装着端末１２０は、たとえば、ヘッドセットである。これに加えて又は代えて、第１装着端末１２０は、マイク、カメラ、スピーカー及びディスプレイ等の入力装置及び出力装置を備えたメガネ又はイヤホン等のウェアラブルデバイスであってもよい。

　第１装着端末１２０は、第１装着端末演算処理装置１２１と、第１装着端末記憶装置１２２と、第１装着端末通信装置１２３と、第１装着端末入力装置１２４と、第１装着端末出力装置１２５とを備える。

　なお、第１装着端末入力装置１２４が本発明の「送信側受付部」に相当する。第１携帯端末演算処理装置１１１及び第１装着端末演算処理装置１２１が本発明の「送信側演算処理部」を構成する。

　第１装着端末演算処理装置１２１は、ＣＰＵ等の演算処理装置により構成されている。第１装着端末１２０には、予め装着端末装置制御プログラム（以下、「装着端末装置制御アプリ」と適宜いう。）がインストールされており、当該装着端末装置制御アプリが起動されることにより、第１装着端末演算処理装置１２１は、後述の演算処理を実行するように構成されている。装着端末装置制御アプリは、ユーザの操作によって配信サーバ４００からダウンロードされ、第１装着端末１２０にインストールされてもよい。

　第１装着端末記憶装置１２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等により構成されている。

　第１装着端末通信装置１２３は、上述した第１通信規格及び第２通信規格に従って、近距離にある端末と通信できるように構成されている。

　第１装着端末入力装置１２４は、ボタンまたはタッチパネル等の接触方式でユーザの入力操作の態様を検知する検知装置により構成されている。第１装着端末入力装置１２４には、付加的に、音声入力装置（マイク）又は撮像装置などの非接触方式でユーザの入力操作（発話内容又はジェスチャ）の態様を検知する検知装置を備えてもよい。

　第１装着端末入力装置１２４が音声入力装置（マイク）又は撮像装置など、非接触方式でユーザの音声又はジェスチャ（表情の動き、指先又は腕などの身体部分の動き）を識別しうる場合、当該音声又はジェスチャの態様が入力操作の態様として第１装着端末演算処理装置１２１により検知される。

　第１装着端末出力装置１２５は、音声出力装置（スピーカ）又は映像表示装置により構成されている。第１装着端末１２０の装着時に第１装着端末出力装置１２５から出力される情報が第１装着端末入力装置１２４に全く又はほとんど入力されなくなるように、第１装着端末入力装置１２４と第１装着端末出力装置１２５とが配置されている。

　第１携帯端末１１０が、マイク又は撮像装置をそなえることにより、音声データ又は動画データの入力を受け付けるように構成されている場合には、第１装着端末１２０が省略されてもよい。この場合、第１通信システム１００が第１携帯端末１１０のみで構成されてもよい。この場合、第１携帯端末演算処理装置１１１が本発明の「送信側演算処理部」に相当し、第１携帯端末１１０に備えられたマイク又は撮像装置が本発明の「送信側入力部」に相当する。

　（第２通信システムの構成）
　第２通信システム２００は、第２ユーザＢに携帯される第２携帯端末２１０と、第２ユーザＢに装着される第２装着端末２２０とを備える。なお、第２通信システム２００が本発明の「受信システム」に相当する。

　第２携帯端末２１０は、第１携帯端末１１０と同様に、第２携帯端末演算処理装置２１１と、第２携帯端末記憶装置２１２と、第２携帯端末通信装置２１３と、第２携帯端末入力装置２１４と、第２携帯端末出力装置２１５とを備える。

　なお、本実施形態では、第２携帯端末記憶装置２１２が本発明の「受信側記憶部」に相当し、第２携帯端末通信装置２１３が本発明の「受信側通信部」に相当する。

　第２携帯端末演算処理装置２１１、第２携帯端末記憶装置２１２、第２携帯端末通信装置２１３、第２携帯端末入力装置２１４、及び第２携帯端末出力装置２１５は、それぞれ、第１携帯端末演算処理装置１１１、第１携帯端末記憶装置１１２、第１携帯端末通信装置１１３、第１携帯端末入力装置１１４、第１携帯端末出力装置１１５のそれぞれと同様の構成を有している。第２携帯端末演算処理装置２１１は、通信制御アプリにより、後述の演算処理を実行するように構成されている。

　また、第２装着端末２２０は、第１装着端末１２０と同様に、第２装着端末演算処理装置２２１と、第２装着端末記憶装置２２２と、第２装着端末通信装置２２３と、第２装着端末入力装置２２４と、第２装着端末出力装置２２５とを備える。

　なお、第２装着端末出力装置２２５が本発明の「受信側出力部」に相当する。第２携帯端末演算処理装置２１１及び第２装着端末演算処理装置２２１が本発明の「受信側演算処理部」を構成する。

　第２携帯端末通信装置２１３は、第１携帯端末通信装置１１３と同様に、3G（3rd Generation）、4G（4th Generation）、LTE（Long Term Evolution）、WiFi等の遠距離での無線通信に適した通信規格にしたがって、不図示の基地局に接続された広域ネットワークを介して中継サーバ群３００及び配信サーバ４００などの外部端末と相互通信するための外部通信Ｃ２１を確立するように構成されている。

　また、第２携帯端末通信装置２１３は、第１通信規格及び第２通信規格に従って通信するように構成されている。

　第２装着端末演算処理装置２２１、第２装着端末記憶装置２２２、第２装着端末通信装置２２３、第２装着端末入力装置２２４、及び第２装着端末出力装置２２５のそれぞれは、第１装着端末演算処理装置１２１、第１装着端末記憶装置１２２、第１装着端末通信装置１２３、第１装着端末入力装置１２４、及び第１装着端末出力装置１２５のそれぞれと同様の構成を有している。

　なお、第２携帯端末２１０が、スピーカ又は動画再生装置を備えることにより、音声データ又は動画データの出力をするように構成されている場合には、第２装着端末２２０が省略されてもよい。この場合、第２通信システム２００が第２携帯端末２１０のみで構成されてもよい。この場合、第２携帯端末演算処理装置２１１が本発明の「送信側演算処理部」に相当し、第２携帯端末２１０に備えられたスピーカ又は動画再生装置が本発明の「受信側出力部」に相当する。

　（中継サーバ群の構成）
　中継サーバ群３００は、第１サーバ３１０と、第２サーバ３２０とを備える。

　第１サーバ３１０は、第１サーバ演算処理装置３１１と、第１サーバ記憶装置３１２と、第１サーバ通信装置３１３とを備える。

　第１サーバ演算処理装置３１１は、ＣＰＵ等の演算処理装置により構成されている。第１サーバ演算処理装置３１１は、予めインストールされた第１サーバプログラムに従って、後述の演算処理を実行するように構成されている。

　第１サーバ記憶装置３１２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等により構成されている。

　第１サーバ通信装置３１３は、有線通信に適した通信規格にしたがって、第１サーバ３１０に接続された広域ネットワークを介して第１通信システム１００及び第２通信システム２００などの外部端末並びに第２サーバ３２０と相互通信するように構成されている。

　第２サーバ３２０は、第２サーバ演算処理装置３２１と、第２サーバ記憶装置３２２と、第２サーバ通信装置３２３とを備える。

　第２サーバ演算処理装置３２１は、ＣＰＵ等の演算処理装置により構成されている。第２サーバ演算処理装置３２１は、予めインストールされた第２サーバプログラムに従って、後述の演算処理を実行するように構成されている。

　第２サーバ記憶装置３２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等により構成されている。

　第２サーバ通信装置３２３は、有線通信に適した通信規格にしたがって、第２サーバ３２０に接続された広域ネットワークを介して第１通信システム１００、第２通信システム２００などの外部端末、第１サーバ３１０、及びＳＮＳサーバ等の外部のサーバと相互通信するように構成されている。

　（配信サーバの構成）
　配信サーバ４００は、配信サーバ演算処理装置４０１と、配信サーバ記憶装置４０２と、配信サーバ通信装置４０３とを備える。

　配信サーバ演算処理装置４０１は、ＣＰＵ等の演算処理装置により構成されている。配信サーバ演算処理装置４０１は、予めインストールされた配信サーバプログラムに従って、外部から要求を受けた場合、配信サーバ記憶装置４０２に記憶された通信制御プログラム又は装着端末装置制御プログラムを配信する演算処理を実行するように構成されている。本実施形態では、第１通信システム１００及び第２通信システム２００からの要求に応じて、通信制御プログラム及び装着端末装置制御プログラムを第１通信システム１００及び第２通信システム２００に配信する。

　配信サーバ記憶装置４０２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶装置（主記憶装置及び補助記憶装置等）およびＩ／Ｏ回路等により構成されている。

　配信サーバ通信装置４０３は、有線通信に適した通信規格にしたがって、配信サーバ４００に接続された広域ネットワークを介して第１通信システム１００、及び第２通信システム２００などの外部端末と相互通信するように構成されている。

　なお、第１サーバ３１０、第２サーバ３２０及び配信サーバ４００のそれぞれは、その一部又は全部が第１携帯端末１１０及び第２携帯端末２１０の各構成要素により構成されていてもよい。

　例えば、第１サーバ３１０の全部の機能を果たすためのサーバプログラムが第１携帯端末１１０にインストールされ、第１携帯端末演算処理装置１１１が当該サーバプログラムを実行することにより、第１携帯端末１１０が単独で第１サーバ３１０として機能してもよい。

　また、第１サーバ３１０の一部の機能を果たすためのサーバプログラムが第１携帯端末１１０にインストールされ、第１携帯端末演算処理装置１１１が当該サーバプログラムを実行し、第１サーバ３１０の残部の機能を果たすためのサーバプログラムがインストールされた他の機器と通信することにより、第１携帯端末１１０と当該他の機器とが協働して第１サーバ３１０として機能してもよい。

　（情報送受信処理の概略）
　次に、図２を参照しながら、第１ユーザＡが所持する第１通信システム１００から中継サーバ群３００を介して第２ユーザＢが所持する第２通信システム２００へ音声データ又は動画データが送信される場合の一連処理の概略を説明する。

　まず、ＳＴＥＰ００２において、第１ユーザＡによる第１携帯端末入力装置１１４に対する指示操作に応じて、第１通信システム１００の第１携帯端末演算処理装置１１１が、第１携帯端末通信装置１１３を介して中継サーバ群３００の第１サーバ３１０にアクセスし、第１ユーザＡの第１サーバ３１０へのユーザ登録を行う。

　通信制御アプリの初回起動時には、第１携帯端末演算処理装置１１１は、図３Ａに示されるユーザ登録画面Ｐ１を第１携帯端末出力装置１１５に表示させる。

　ユーザ登録画面Ｐ１には、登録を行うユーザの写真等、ユーザを示すアイコンを指定するアイコン指定フィールドＰ１１と、ユーザの氏名を入力するユーザ氏名入力フィールドＰ１２，Ｐ１３と、ユーザ名（ユーザＩＤ）を入力するユーザ名入力フィールドＰ１４と、パスワードを入力するパスワード入力フィールドＰ１５と、音声又は動画登録画面Ｐ２に遷移するための遷移ボタンＰ１６とが含まれている。

　また、これに加えてまたは代えて、第１携帯端末演算処理装置１１１は、外部のＳＮＳサーバのユーザＩＤの登録画面を第１携帯端末出力装置１１５に表示させてもよい。たとえば、第１携帯端末演算処理装置１１１は、最初に外部のＳＮＳサーバのユーザＩＤの登録画面を第１携帯端末出力装置１１５に表示させ、ユーザの選択により、ユーザ登録画面Ｐ１を第１携帯端末出力装置１１５に表示させてもよい。

　第１携帯端末演算処理装置１１１は、所定の情報が入力された状態で、第１ユーザＡによる遷移ボタンＰ１６の押下を検知すると、音声又は動画登録画面Ｐ２を第１携帯端末出力装置１１５に表示させる。

　音声又は動画登録画面Ｐ２では、第１携帯端末入力装置１１４又は第１装着端末入力装置１２４が起動され、第１ユーザＡの挨拶等の短い音声が録音され又は第１ユーザＡのジェスチャー等が撮像される。

　音声又は動画登録画面Ｐ２は、音声の録音状況又は撮像状況を示すステータス表示フィールドＰ２１と、一度録音又は撮像されたデータをクリアするためのクリアボタンＰ２２と、ユーザ登録を完了するための登録ボタンＰ２３とが含まれている。

　第１携帯端末演算処理装置１１１は、録音又は撮像が完了した状態で、第１ユーザＡによる登録ボタンＰ２３の押下を検知すると、入力された情報を第１サーバ３１０に送信する。

　ＳＴＥＰ００４において、第１サーバ演算処理装置３１１は、第１サーバ通信装置３１３を介して入力情報を受信すると、当該入力情報と送信元の連絡先（メールアドレス又は携帯端末の端末識別子等）とを関連付けて第１サーバ記憶装置３１２に記憶する。これにより、第１ユーザＡの第１サーバ３１０に対するユーザ登録が完了する。

　第２携帯端末演算処理装置２１１も、第１携帯端末演算処理装置１１１と同様に、第２ユーザＢの第１サーバ３１０に対するユーザ登録処理を実行する（ＳＴＥＰ００６及びＳＴＥＰ００８参照）。

　ＳＴＥＰ１００において、第１通信システム１００（第１携帯端末１１０及び第１装着端末１２０）は、後述する接続処理を実行することにより、第１携帯端末１１０と第１装着端末１２０とが相互に通信するための第１通信規格に従った内部通信Ｃ１２及び第２通信規格に従った内部通信Ｃ１３を確立する。

　ＳＴＥＰ２００において、第２通信システム２００（第２携帯端末２１０及び第２装着端末２２０）は、第１通信システム１００と同様に、後述する接続処理を実行することにより、第２携帯端末２１０と第２装着端末２２０とが相互に通信するための第１通信規格に従った内部通信Ｃ２２及び第２通信規格に従った内部通信Ｃ２３を確立する。

　ＳＴＥＰ３００において、第１携帯端末１１０、中継サーバ群３００及び第２携帯端末２１０は、後述するグループ作成処理を実行することにより、第１携帯端末１１０と第２携帯端末２１０とが中継サーバ群３００を介して音声データ又は動画データを送受信するための経路を確立する。

　ＳＴＥＰ４００において、第１装着端末１２０、第１携帯端末１１０、及び中継サーバ群３００は、後述するデータ送信処理を行うことにより、第１装着端末１２０で入力された音声データ又は動画データを第１携帯端末１１０が中継サーバ群３００へ送信する。

　ＳＴＥＰ５００において、中継サーバ群３００、第２携帯端末２１０、及び第２装着端末２２０は、後述するデータ再生処理を行うことにより、中継サーバ群３００から受信した音声データ又は動画データを第２装着端末２２０で再生する。

　（接続処理）
　次に、図４を参照して、前述した第１携帯端末１１０と第１装着端末１２０との間で行われる接続処理（ＳＴＥＰ１００）の詳細を説明する。第２携帯端末２１０と第２装着端末２２０との接続処理（ＳＴＥＰ２００）も同様にして行われる。

　第１携帯端末１１０において通信制御アプリが起動すると（ＳＴＥＰ１０１）、第１携帯端末演算処理装置１１１は、第１携帯端末記憶装置１１２を参照することにより、ペアリング（相互接続）済みの装着端末の情報（端末名及び端末識別子）と接続キーとが記憶されている否かを判定する（ＳＴＥＰ１０２）。

　ＳＴＥＰ１０４の判定結果が肯定的である場合（ＳＴＥＰ１０２でＹＥＳ）、第１携帯端末演算処理装置１１１は、当該装着端末の情報と接続キーとを用いて当該装着端末（第１装着端末１２０）との内部通信Ｃ１２、及び内部通信Ｃ１３を確立する（ＳＴＥＰ１０３、図１参照）。

　ＳＴＥＰ１０４の判定結果が否定的である場合（ＳＴＥＰ１０２でＮＯ）、第１携帯端末演算処理装置１１１は、第１通信規格での通信を有効にすることにより、装着端末の探索を行い（ＳＴＥＰ１０４）、発見された（受信した）装着端末の情報に含まれる端末名を第１携帯端末出力装置１１５に出力する。

　第１携帯端末演算処理装置１１１は、第１ユーザＡによる装着端末の選択入力操作の検知に応じて、当該選択された装着端末（第１装着端末１２０）に対し、内部通信Ｃ１２の通信確立要求を送信する（ＳＴＥＰ１０５）。

　第１携帯端末１１０の処理と並行して、第１装着端末１２０では、次の処理が行われる。

　すなわち、第１装着端末１２０の電源がＯＮとなると（ＳＴＥＰ１２１）、第１装着端末演算処理装置１２１は、第１装着端末記憶装置１２２を参照することにより、ペアリング（相互接続）済みの携帯端末の情報（端末名及び端末識別子）と接続キーとが記憶されている否かを判定する（ＳＴＥＰ１２２）。

　ＳＴＥＰ１２４の判定結果が肯定的である場合（ＳＴＥＰ１２２でＹＥＳ）、第１装着端末演算処理装置１２１は、当該装着端末の情報と接続キーとを用いて当該装着端末（第１携帯端末１１０）との内部通信Ｃ１２、及び内部通信Ｃ１３を確立する（ＳＴＥＰ１２３、図１参照）。

　ＳＴＥＰ１２４の判定結果が否定的である場合（ＳＴＥＰ１２２でＮＯ）、第１装着端末演算処理装置１２１は、第１通信規格での通信を有効にすることにより、装着端末の情報を送信可能な状態とする（ＳＴＥＰ１２４）。

　第１装着端末演算処理装置１２１は、第１携帯端末１１０から内部通信Ｃ１２の通信確立要求を受信すると、通信を行うためのキー（接続キー）を第１携帯端末１１０と交換することにより、第１携帯端末１１０との内部通信Ｃ１２を確立する（ＳＴＥＰ１２５、図１参照）。

　続いて、第１装着端末演算処理装置１２１は、通信確立要求に基づき、第１携帯端末１１０の端末名及びＭＡＣアドレス等の端末識別子を認識する（ＳＴＥＰ１２６）。

　第１装着端末演算処理装置１２１は、端末名及び端末識別子に基づき、第１携帯端末１１０が、通信制御アプリ（通信アプリを実行中の第１携帯端末演算処理装置１１１）による第１携帯端末１１０の端末識別子の認識が出来ないように制限している所定種別の端末か否かを判定する（ＳＴＥＰ１２７）。

　当該判定結果が肯定的である場合（ＳＴＥＰ１２７でＹＥＳ）、第１装着端末演算処理装置１２１は、通信制御アプリから認識可能な情報（端末名）を含む、第２通信規格に従った通信確立要求を第１携帯端末１１０に送信する（ＳＴＥＰ１２８）。

　当該判定結果が否定的である場合（ＳＴＥＰ１２７でＮＯ）、第１装着端末演算処理装置１２１は、携帯端末の端末識別子を含む、第２通信規格に従った通常の通信確立要求を第１携帯端末１１０に送信する（ＳＴＥＰ１２９）。

　通信確立要求を受信した第１携帯端末演算処理装置１１１は、通信確立要求に含まれる情報から、第１装着端末１２０か否かを認証する（ＳＴＥＰ１０６）。

　第１携帯端末演算処理装置１１１は、第１装着端末１２０の認証が成功することを要件として、接続キーを第１装着端末１２０と交換することにより、第１装着端末１２０との内部通信Ｃ１３を確立する（ＳＴＥＰ１０７、ＳＴＥＰ１３０）。

　第１携帯端末演算処理装置１１１及び第１装着端末演算処理装置１２１のそれぞれは、それぞれ通信相手の情報（端末名及び端末識別子）と接続キーとを夫々の記憶装置に記憶する（ＳＴＥＰ１０８、ＳＴＥＰ１３１）。

　このような処理により、仮に第１携帯端末１１０が通信制御アプリに対し携帯端末１１０及び外部端末の端末識別子の認識を制限していたとしても、第１ユーザＡによる１度の操作で第１携帯端末１１０と第１装着端末１２０との間で２つの内部通信Ｃ１２，Ｃ１３が確立される。

　第２通信システム２００側でも、第２ユーザＢの操作に応じて、ＳＴＥＰ２００において同様の処理が実行されることにより、第２携帯端末２１０と第２装着端末２２０との間で、２つの内部通信Ｃ２２，Ｃ２３が確立される。

　（グループ作成処理）
　次に、図５Ａ及び図５Ｂを参照して、第１携帯端末１１０と第２携帯端末２１０との間で音声データ又は動画データの送受信を行うための経路を確立するグループ作成処理（ＳＴＥＰ３００）を説明する。

　第１携帯端末１１０の第１携帯端末演算処理装置１１１は、第２通信規格による通信により、周囲の端末を探索する（ＳＴＥＰ３０１）。

　ここで、第２携帯端末２１０の第２携帯端末演算処理装置２１１は、第２通信規格を利用して、ＳＴＥＰ００６で登録したユーザＩＤが含まれるパケット、たとえばアドバタイズパケットを発信する（ＳＴＥＰ３２１）。

　このパケットを受信した第１携帯端末演算処理装置１１１は、パケットに含まれるユーザＩＤを含む、ユーザＩＤに対応するアイコン画像及びＳＴＥＰ００６で登録された音声データ又は動画データ等の取得要求を第１サーバ３１０に送信する（ＳＴＥＰ３０２）。

　当該取得要求を受信した第１サーバ３１０の第１サーバ演算処理装置３１１は、取得要求に含まれるユーザＩＤを、第１サーバ記憶装置３１２又はＳＮＳサーバに照会することにより、当該ユーザＩＤに対応するに対応するアイコン画像及び音声データ又は動画データ等を取得し、当該アイコン画像及び音声データ又は動画データ等を含む返答を第１携帯端末１１０へ送信する（ＳＴＥＰ３４１）。

　第１携帯端末演算処理装置１１１は、第１サーバ３１０より受信した返答に含まれるアイコン画像及び音声データ又は動画データ等に基づき、図３Ｃに示されるグループ作成画面Ｐ３を作成し、第１携帯端末出力装置１１５に出力する（ＳＴＥＰ３０３）。

　グループ作成画面Ｐ３には、各メンバに対応するアイコン画像Ｐ３１と、作成するべきグループの名称を示すグループ名称画像Ｐ３２と、メンバを追加するためのメンバ追加ボタンＰ３３と、過去の履歴を参照する履歴参照ボタンＰ３４と、選択されたメンバを招待してグループ作成処理を進める招待ボタンＰ３５と、選択されているメンバの人数を示すメンバ数表示Ｐ３６とが含まれている。

　第１携帯端末演算処理装置１１１は、第１ユーザＡによるアイコン画像Ｐ３１の押下を検知すると、当該押下されたアイコン画像Ｐ３１のユーザＩＤに対応する音声データ又は動画データを第１携帯端末出力装置１１５に出力する。

　第１携帯端末演算処理装置１１１は、第１ユーザＡによるメンバ追加ボタンＰ３３又は履歴参照ボタンＰ３４の押下を検知すると（ＳＴＥＰ３０４でＹＥＳ）、第１サーバ３１０にユーザのリストの取得要求を送信し（ＳＴＥＰ３０５）、取得したユーザＩＤに対応するアイコン画像及び音声データ又は動画データ等に基づき、グループ作成画面Ｐ３を更新し、第１携帯端末出力装置１１５に出力する（ＳＴＥＰ３０３）。

　第１携帯端末演算処理装置１１１は、たとえば、メンバ追加ボタンＰ３３の押下を検知した場合、図３Ｄに示されるユーザ追加画面Ｐ４を表示する。

　ユーザ追加画面Ｐ４には、氏名等で追加するメンバを検索するための検索ボックスＰ４１と、第１サーバ３１０に記憶された第１携帯端末１１０（に記憶されているユーザＩＤ）の過去の通信履歴に含まれるメンバをリスト表示する過去メンバ表示Ｐ４２と、ＳＮＳ等から取得したメンバをリスト表示するＳＮＳメンバ表示Ｐ４３と、選択されたユーザを追加するための追加ボタンＰ４４とが含まれている。

　第１携帯端末演算処理装置１１１は、メンバが選択された状態で第１ユーザＡによる追加ボタンＰ４４の押下を検知すると、当該選択されたメンバのアイコン画像をグループ作成画面Ｐ３に追加して表示する（ＳＴＥＰ３０３）。

　また、第１携帯端末演算処理装置１１１は、第１ユーザＡによる履歴参照ボタンＰ３４の押下を検知した場合、図３Ｅに示される履歴表示画面Ｐ５を表示する。

　履歴表示画面Ｐ５には、過去のグループ名と参加メンバのアイコン画像とが含まれるグループ表示Ｐ５１が複数含まれている。

　第１携帯端末演算処理装置１１１は、第１ユーザＡによるメンバ追加ボタンＰ３３又は履歴参照ボタンＰ３４の押下を検知しないせずに（ＳＴＥＰ３０４でＮＯ）、たとえば、第１ユーザＡによるいずれかのグループ表示Ｐ５１の押下を検知した場合、当該グループ表示Ｐ５１に含まれる参加メンバのアイコン画像をグループ作成画面Ｐ３に追加して表示する（ＳＴＥＰ３０３）。これに代えて、第１携帯端末演算処理装置１１１は、ＳＴＥＰ３０２に戻らずに、後述するＳＴＥＰ３０６に進み、当該グループ表示Ｐ５１に含まれる参加メンバで構成されるグループを作成するためのグループ作成要求を送信してもよい。

　第１携帯端末演算処理装置１１１は、グループ作成画面Ｐ３で第１ユーザＡによる招待ボタンＰ３５の押下を検知すると、第１ユーザＡのユーザＩＤと選択されたメンバのユーザＩＤとを含めたグループ作成要求を第１サーバ３１０に送信する（ＳＴＥＰ３０６）。

　第１サーバ３１０の第１サーバ演算処理装置３１１は、グループ作成要求に対して固有のグループＩＤを発行し、当該グループ作成要求に含まれるユーザＩＤとグループＩＤとを関連付けて第１サーバ記憶装置３１２に記憶する（ＳＴＥＰ３４２）。

　第１サーバ演算処理装置３１１は、第１ユーザＡのユーザＩＤに対して固有の接続キーを発行し、第１携帯端末１１０宛てに当該接続キーを送信する（ＳＴＥＰ３４３）。

　第１携帯端末演算処理装置１１１は、受信した接続キーを用いて第２サーバ３２０に接続するとともに（ＳＴＥＰ３０７）、招待メッセージ配信要求を第１サーバ３１０に送信する（ＳＴＥＰ３０８）。

　招待メッセージ配信要求を受信した第１サーバ演算処理装置３１１は、各参加メンバのユーザＩＤに対して固有の接続キーを発行し、第１サーバ記憶装置３１２にユーザＩＤと関連付けて記憶されている連絡先である携帯端末宛てに当該接続キーを送信する（ＳＴＥＰ３４４）。

　第１サーバ３１０より接続キーを受信した第２携帯端末２１０の第２携帯端末演算処理装置２１１は、図３Ｆに示される招待メッセージ画面Ｐ６を第２携帯端末出力装置２１５に出力する（ＳＴＥＰ３２２）。

　招待メッセージ画面Ｐ６には、夫々の招待メッセージごとに、グループ名表示Ｐ６１と、招待元ユーザのアイコン画像Ｐ６２と、拒否ボタンＰ６３と、参加ボタンＰ６４とが含まれている。

　第２携帯端末演算処理装置２１１は、拒否ボタンＰ６３の押下を検知すると（ＳＴＥＰ３２３で「拒否」）、グループ不参加の旨を第１サーバ３１０に送信して処理を終了する（ＳＴＥＰ３２４）。グループ不参加の旨の通知を受信した第１サーバ演算処理装置３１１は、その旨を第１サーバ記憶装置３１２に記憶する（ＳＴＥＰ３４５）。

　第２携帯端末演算処理装置２１１は、参加ボタンＰ６４の押下を検知すると（ＳＴＥＰ３２３で「参加」）、受信した接続キーを使って第２サーバ３２０に接続する（ＳＴＥＰ３２５）。

　第２サーバ３２０の第２サーバ演算処理装置３２１は、発行済みの接続キーに基づき、各携帯端末とのセッションを開始する（ＳＴＥＰ３６１）。

　第２サーバ演算処理装置３２１は、各接続キーに基づき、当該接続キーと関連付けられたグループＩＤとユーザＩＤとを第１サーバ３１０に問い合わせる（ＳＴＥＰ３６２）。

　第１サーバ３１０の第１サーバ演算処理装置３１１は、当該接続キーと関連付けられたグループＩＤとユーザＩＤとを含む返答を第２サーバ３２０に送信するとともに（ＳＴＥＰ３４６）、当該参加メンバのユーザＩＤとグループＩＤとを関連付けて第１サーバ記憶装置３１２に記憶する（ＳＴＥＰ３４７）。

　第２サーバ３２０の第２サーバ演算処理装置３２１は、各セッションを当該セッションの接続キーに対応するグループＩＤ及びユーザＩＤに関連付ける（ＳＴＥＰ３６３）。

　以降、第２サーバ演算処理装置３２１は、第１携帯端末１１０及び第２携帯端末２１０からそれらに関連付けられたセッションを介して音声データ又は動画データを受信した場合、当該セッションに関連付けられたグループＩＤと同一のグループＩＤに関連付けられているセッションを介して当該音声データ又は動画データを同一のグループに所属する他のメンバの携帯端末に送信する。

　これにより、同一のグループに所属するメンバ宛てに音声データ又は動画データが配信されるグループ通信が開始される（ＳＴＥＰ３６４）。

　第１携帯端末演算処理装置１１１及び第２携帯端末演算処理装置２１１のそれぞれは、第１携帯端末出力装置１１５及び第２携帯端末出力装置２１５のそれぞれに、図３Ｇに示されるトーク画面Ｐ７を表示し、グループ通信を開始する（ＳＴＥＰ３０９、ＳＴＥＰ３２６）。

　このトーク画面Ｐ７には、グループの名称表示Ｐ７１と、各参加メンバのアイコン画像Ｐ７２と、他のユーザを追加するための追加ボタンＰ７３と、音声データ又は動画データの送受信の有効及び無効を切り替えるためのボタンＰ７４と、グループ通信を終了するための通信終了ボタンＰ７５とが含まれている。

　（データ送信処理）
　次に、図６を参照して、第１装着端末１２０にて音声データ又は動画データの入力があった場合を例に、データ送信処理（ＳＴＥＰ４００）を説明する。

　第１装着端末演算処理装置１２１は、音声データ又は動画データの入力が開始されたか否かを判定する（ＳＴＥＰ４０１）。なお、入力されたデータは、第１装着端末記憶装置１２２（メモリ）に入力された時刻順に保存される。

　第１装着端末演算処理装置１２１は、音声区間検出（voice activity detection)により、第１装着端末入力装置１２４としてのマイクに発話と認められる音声が所定期間以上入力された場合に、音声データ又は動画データの入力が開始されたと判断する。

　なお、第１装着端末１２０に設けられたボタンの押下を検知したときに、第１装着端末演算処理装置１２１が音声データ又は動画データの入力が開始されたと判断する構成としてもよい。

　また、第１装着端末入力装置１２４としての撮像装置により人物又は所定の画像が撮像された場合に、第１装着端末演算処理装置１２１が、音声データ又は動画データの入力が開始されたと判断する構成としてもよい。

　当該判定結果が否定的である場合（ＳＴＥＰ４０１でＮＯ）、第１装着端末演算処理装置１２１は、ＳＴＥＰ４０１の処理を再度実行する。

　当該判定結果が肯定的である場合（ＳＴＥＰ４０１でＹＥＳ）、第１装着端末演算処理装置１２１は、内部通信Ｃ１３を介して第１携帯端末１１０と通信することにより、第１携帯端末１１０との第１通信規格での通信（内部通信Ｃ１２）を再開する（ＳＴＥＰ４０２、ＳＴＥＰ４２１）。

　第１装着端末演算処理装置１２１は、第１装着端末記憶装置１２２から、音声データ又は動画データを読み出し、内部通信Ｃ１２を介して第１携帯端末１１０に送信する（ＳＴＥＰ４０３）。

　第１携帯端末演算処理装置１１１は、第１装着端末１２０から受信した音声データ又は動画データをメモリ等の第１携帯端末記憶装置１１２に記憶する（ＳＴＥＰ４２２）。第１装着端末演算処理装置１２１がＳＴＥＰ４０３を実行し、第１携帯端末演算処理装置１１１がＳＴＥＰ４２２の処理を実行することにより、第１装着端末演算処理装置１２１及び第１携帯端末演算処理装置１１１が本発明の「送信側記憶制御手段」として機能する。また、ＳＴＥＰ４０３及びＳＴＥＰ４２２の処理が、本発明の「送信側記憶制御」及び「送信側記憶制御ステップ」に相当する。

　第１携帯端末演算処理装置１１１は、音声データ又は動画データを第１携帯端末記憶装置１１２から、第１携帯端末記憶装置１１２に記憶された時刻が早い順から読み出し、所定のサイズごとに音声データ又は動画データを分割する（ＳＴＥＰ４２３）。

　第１携帯端末記憶装置１１２に記憶された時刻が、必ずしも音声データまたは動画データの再生順を示しているわけではない場合、第１携帯端末演算処理装置１１１は、音声データまたは動画データのヘッダ等に含まれる時刻情報又は再生番号等を参照することにより、音声データまたは動画データの再生順を特定し、当該再生順に音声データまたは動画データを読み出して所定のサイズごとに音声データ又は動画データを分割する。

　第１携帯端末演算処理装置１１１は、分割されたデータ複数個に対し、１つのヘッダを付与して、１つのパケットデータを作成する（ＳＴＥＰ４２４）。

　第１携帯端末演算処理装置１１１は、第１装着端末１２０から入力完了通知を受信しているか否かを判定する（ＳＴＥＰ４２５）。

　ＳＴＥＰ４２５の判定結果が否定的である場合（ＳＴＥＰ４２５でＮＯ）、第１携帯端末演算処理装置１１１は、ＳＴＥＰ４２４で作成されたパケットデータを第２サーバ３２０に送信する（ＳＴＥＰ４２６）。第１携帯端末演算処理装置１１１は、ＳＴＥＰ４２６を実行することにより、本発明の「送信制御手段」として機能する。また、ＳＴＥＰ４２６の処理が、本発明の「送信制御」及び「送信制御ステップ」に相当する。

　パケットデータの送信に成功した場合（ＳＴＥＰ４２６で「成功」）、第１携帯端末演算処理装置１１１は、ＳＴＥＰ４２２以下の処理を実行する。また、第２サーバ演算処理装置３２１は、受信したパケットデータを第２サーバ記憶装置３２２に記憶する（ＳＴＥＰ４４１）。

　なお、第１携帯端末演算処理装置１１１は、たとえば、パケットデータの送信に対する第２サーバ３２０からの受信通知を所定時間内に受信した場合にパケットデータの送信が成功したと判定し、パケットデータの送信に対する第２サーバ３２０からの受信通知を所定時間内に受信しなかった場合にパケットデータの送信に失敗したと判定してもよい。

　パケットデータの送信に失敗した場合（ＳＴＥＰ４２６で「失敗」）、第１携帯端末演算処理装置１１１は、未送信のパケットデータの合計サイズが所定の第１サイズＳ１以上という第１条件を充足している否かを判定する（ＳＴＥＰ４２７）。これに加えてまたは代えて、第１携帯端末演算処理装置１１１は、第１条件として、未送信のパケットデータのデータ数が所定の第１データ数以上という条件を判定してもよい。

　ここで、第１サイズＳ１又は第１データ数は、リアルタイム性が失われていると受信側端末のユーザが感じる蓋然性が高い再生時間となるサイズ又はデータ数である。

　より詳しくは、未送信のパケットデータの合計サイズ又はデータ数は、受信システム２００がそのデータを受信したのちに再生に要する時間と比例関係にあるので、未送信のパケットデータの合計サイズ又はデータ数が大きくなれば、少なくとも再生に要する時間以上の再生の遅れが生じる。この再生の遅れが大きいと、受信側端末（受信システム２００）のユーザが、リアルタイム性が失われていると感じる蓋然性が高い。

　例えば、未送信の音声データまたは動画データの合計サイズ又はデータ数が再生時間にして５秒程度のサイズ又はデータ数であるとする場合、受信側でこれらのデータを受信し、これらのデータを通常の速度で再生すると、少なくとも再生時間分（５秒分）過去のデータが再生され、再生の遅れが生じる。この再生時間が大きくなればなるほど、再生の遅れが大きくなるので、リアルタイム性が失われているとユーザが感じるおそれが大きくなる。

　第１サイズＳ１又は第１データ数は、上述したように、受信側端末のユーザがリアルタイム性が失われていると感じる蓋然性が高いサイズ又はデータ数であり、たとえば予め実験等により定められてもよいし、第１ユーザＡにより指定されてもよい。

　なお、この第１サイズＳ１は、本発明の「所定のサイズ」に相当する。また第１データ数は、本発明の「所定のデータ数」に相当する。

　当該判定結果が否定的である場合（ＳＴＥＰ４２７でＮＯ）、第１携帯端末演算処理装置１１１は、ＳＴＥＰ４２６のデータ送信処理を再度実行する。

　当該判定結果が肯定的である場合（ＳＴＥＰ４２７でＹＥＳ）、第１携帯端末演算処理装置１１１は、第１携帯端末記憶装置１１２に記憶された未送信の音声データ又は動画データの連続した一部（前記第１サイズよりも小さい所定のサイズ又は前記第１データ数よりも小さいデータ数の音声データ又は動画データ）を削除し（ＳＴＥＰ４２８）、ＳＴＥＰ４２２以下の処理を実行する。

　この場合、未送信の音声データ又は動画データを第１携帯端末記憶装置１１２への記憶時からの経過時間が所定時間以上である古いデータと第１携帯端末記憶装置１１２への記憶時からの経過時間が所定時間未満である新しいデータとに分けた場合に、第１携帯端末演算処理装置１１１は、古いデータを削除することが好ましい。

　また、連続した一部を削除することに代え、第１携帯端末演算処理装置１１１は、未送信の音声データ又は動画データの全部を削除してもよい。

　第１携帯端末演算処理装置１１１は、削除に代え、送信済みのラベルなどを付与することにより、当該データパケットを送信対象外としてもよい。

　ここで、送信対象外とする未送信の音声データ又は動画データのサイズ又はデータ数は、再生時間にして１～５秒となるようなサイズ又はデータ数であることが好ましい。

　ＳＴＥＰ４２７の処理が、本発明の「送信側検出制御」及び「送信側検出制御ステップ」に相当し、ＳＴＥＰ４２８の処理が、本発明の「送信除外制御」に相当する。また、第１携帯端末演算処理装置１１１が、ＳＴＥＰ４２７の処理を実行することにより、本発明の「送信側検出制御手段」として機能する。

　これに代えて又は加えて、第１携帯端末演算処理装置１１１は、送信すべきデータの総サイズが小さくなるように、未送信の音声データ又は動画データを変換して送信してもよい。たとえば、第１携帯端末演算処理装置１１１は、未送信の音声データ又は動画データのビットレートが低くなるように、未送信の音声データ又は動画データを変換し、変換後の未送信の音声データ又は動画データを送信してもよい。また、第１携帯端末演算処理装置１１１は、これに代えてまたは加えて、未送信の音声データ又は動画データのヘッダ等を参照することにより、未送信の音声データ又は動画データの再生順を特定し、当該再生順において所定番目の一部の音声データ又は動画データを間引いたのちに、残りの未送信の音声データ又は動画データを送信してもよい。

　第１携帯端末演算処理装置１１１がこのような送信処理をしている一方で、第１装着端末演算処理装置１２１は、音声データ又は動画データの入力が完了したか否かを判定する（ＳＴＥＰ４０４）。

　当該判定結果が否定的である場合（ＳＴＥＰ４０４でＮＯ）、第１装着端末演算処理装置１２１は、ＳＴＥＰ４０３の処理を実行する。

　当該判定結果が肯定的である場合（ＳＴＥＰ４０４でＹＥＳ）、第１装着端末演算処理装置１２１は、内部通信Ｃ１３を介して、第１携帯端末１１０に入力完了通知を送信し（ＳＴＥＰ４０５）、第１通信規格での通信（内部通信Ｃ１２）を停止する。

　入力完了通知を受信した（ＳＴＥＰ４２５でＹＥＳ）第１携帯端末演算処理装置１１１は、データパケットの削除を行わずに、送信が完了するまでデータパケットの送信を繰り返し（ＳＴＥＰ４２９～ＳＴＥＰ４３０）、送信完了次第（ＳＴＥＰ４３０でＹＥＳ）、第１通信規格での通信（内部通信Ｃ１２）を停止する（ＳＴＥＰ４３１）。

　これらのデータパケットを受信した第２サーバ演算処理装置３２１は、これらのデータパケットを第２サーバ記憶装置３２２に記憶する（ＳＴＥＰ４４１）。

　これらの一連の処理による作用を、図７Ａを参照しながら、時系列に沿って説明する。

　図７Ａは、上のグラフが第１携帯端末１１０における時系列の未送信のデータの量を示すグラフであり、下のグラフが第２サーバ３２０における時系列の未送信のデータの量（データサイズ）を示すグラフである。いずれのグラフにおいても、縦軸がデータの量を示し、横軸が時間軸を示す。

　また、図７Ａのグラフにおいては、第２サーバ３２０と受信側端末（第２携帯端末２１０）との間の通信Ｃ２１の状態は安定していること、及び入力終了時まで、第１装着端末入力装置１２４に入力された音声データ又は動画データが第１携帯端末１１０に常時送信され、第１携帯端末記憶装置１１２に記憶されている（ＳＴＥＰ４２２）ことを前提とする。

　なお、第１携帯端末１１０と第２サーバ３２０との通信状態が安定している場合、第１携帯端末１１０から第２サーバ３２０へ送信可能な単位時間当たりのデータの量は、第１装着端末入力装置１２４に入力される単位時間当たりのデータの量よりも大きい。

　期間ｔ０～ｔ１は、第１携帯端末１１０（送信側端末）と第２サーバ３２０との間の通信Ｃ１１の状態が安定している期間である。

　この期間では、単位時間あたりに第１携帯端末１１０に入力されるデータ量C1_In(byte/sec)と、単位時間当たりに第１携帯端末１１０から第２サーバ３２０へ送信されるデータ量C1_Out(byte/sec)とが釣り合っている。このため、第１携帯端末記憶装置１１２に記憶されている未送信のデータは送信処理待ちのデータのみとなるで、当該データの量はほぼ一定量となる。

　また、期間ｔ０＋Δｔ～期間ｔ１＋Δｔ（Δｔは第１携帯端末１１０から第２サーバ３２０までデータの送受信にかかる微小な時間）の第２サーバ３２０において、単位時間あたりに第１携帯端末１１０から受信するデータ量S_In(byte/sec)と、単位時間あたりに第２携帯端末２１０へ送信するデータ量S_Out(byte/sec)とが釣り合っている。このため、第２サーバ記憶装置３２２に記憶されている未送信のデータの量はほぼ一定となる。

　期間ｔ１～ｔ３は、第１携帯端末１１０と第２サーバ３２０との間の通信Ｃ１１の状態が悪化し、ほぼ通信速度がゼロとなった期間である。

　この期間では、単位時間あたりに第１携帯端末１１０に入力されるデータ量C1_Inが、単位時間当たりに第１携帯端末１１０から第２サーバ３２０へ送信されるデータ量C1_Outよりも大きくなる。このため、第１携帯端末記憶装置１１２に記憶されている未送信のデータの量は徐々に増えていく。

　この時刻ｔ２において、未送信のデータの量が所定の第１サイズＳ１以上となったと判定されると（ＳＴＥＰ４２７でＹＥＳ）、第１携帯端末演算処理装置１１１は、未送信のデータの連続した一部を削除する（ＳＴＥＰ４２８）。これにより、第１携帯端末記憶装置１１２に記憶されている未送信のデータの量は減少する。

　通信状態が悪化したままである場合、期間ｔ２～ｔ３に示されるように、第１携帯端末記憶装置１１２に記憶されている未送信のデータの量は再び増えていく。

　他方、期間ｔ１＋Δｔ～ｔ３＋Δｔの第２サーバ３２０においては、単位時間あたりに第１携帯端末１１０から受信するデータ量S_Inが、単位時間あたりに第２携帯端末２１０へ送信するデータ量S_Outよりも小さくなる。このため、第２サーバ記憶装置３２２に記憶されている未送信のデータの量は漸減し、最終的にほぼゼロとなる。

　期間ｔ３～ｔ５は、第１携帯端末１１０と第２サーバ３２０との間の通信Ｃ１１が回復した期間である。

　期間ｔ３～ｔ４では、単位時間あたりに第１携帯端末１１０に入力されるデータ量C1_Inよりも、単位時間当たりに第１携帯端末１１０から第２サーバ３２０へ送信されるデータ量C1_Outが大きくなる。この結果、第１携帯端末記憶装置１１２に記憶されている未送信のデータの量は漸減する。

　期間ｔ４～ｔ５は、ほぼ伝送遅延が解消され、第１携帯端末記憶装置１１２には、ＳＴＥＰ４２３におけるパケット分解処理等の処理中のデータが一時的に保存されるようになった期間である。この期間では、単位時間あたりに第１携帯端末１１０に入力されるデータ量C1_Inと、単位時間当たりに第１携帯端末１１０から第２サーバ３２０へ送信されるデータ量C1_Outとがほぼ釣り合う。このため、第１携帯端末記憶装置１１２に記憶されている未送信のデータの量はほぼ一定となる。

　時刻ｔ５は、第１携帯端末演算処理装置１１１が入力完了通知を受信した時刻である。以降の期間ｔ５～ｔ６において、第１携帯端末演算処理装置１１１は、未送信のデータをすべて送信（ＳＴＥＰ４２９～ＳＴＥＰ４３０）し、処理を停止する。

　他方、期間ｔ３＋Δｔ～ｔ４＋Δｔの第２サーバ３２０においては、通信Ｃ１１が回復したことにより、単位時間あたりに第１携帯端末１１０から受信するデータ量S_Inが、単位時間あたりに第２携帯端末２１０へ送信するデータ量S_Outよりも大きくなる。この結果、第２サーバ記憶装置３２２に記憶されている未送信のデータ量は漸増する。

　期間ｔ４＋Δｔ～ｔ６＋Δｔにおいては、単位時間あたりに第１携帯端末１１０から受信するデータ量S_Inと、単位時間あたりに第２携帯端末２１０へ送信するデータ量S_Outとが釣り合う。この結果、第２サーバ記憶装置３２２に記憶されている未送信のデータ量はほぼ一定となる。

　第２サーバ演算処理装置３２１においては、第１携帯端末演算処理装置１１１が未送信のデータの送信を完了するまでの期間ｔ５＋Δｔ～ｔ６＋Δｔ分の遅延が生じるものの、その後、期間ｔ６＋Δｔ～ｔ７において未送信のデータをすべて送信し、処理を停止する。

　（データ受信処理）
　次に、図８を参照して、データ受信処理（ＳＴＥＰ５００）を説明する。

　音声データ又は動画データを受信した第２サーバ演算処理装置３２１は、第２サーバ記憶装置３２２を参照することにより、グループに所属する音声データ又は動画データの送信者以外のユーザを特定する（ＳＴＥＰ５０１）。

　第２サーバ演算処理装置３２１は、各データパケットの送信を試み（ＳＴＥＰ５０２）、送信失敗の場合（ＳＴＥＰ５０２で「失敗」）には、送信成功するまで再度送信を行う（ＳＴＥＰ５０２）。

　このような処理を、第２サーバ演算処理装置３２１は、すべてのデータパケットの送信が完了するまで繰り返す（ＳＴＥＰ５０２～ＳＴＥＰ５０３）。

　第２サーバ演算処理装置３２１は、送信が完了すると（ＳＴＥＰ５０３でＹＥＳ）、処理を終了する。

　他方、第２携帯端末演算処理装置２１１は、第２サーバ３２０と通信が可能になった場合（ＳＴＥＰ５１１でＹＥＳ）、内部通信Ｃ２２を使って第２装着端末２２０と通信することにより、第１通信規格での内部通信Ｃ２１を再開する（ＳＴＥＰ５１２、ＳＴＥＰ５２１）。

　続いて、第２携帯端末演算処理装置２１１は、第２サーバ３２０からデータパケットを受信し、第２携帯端末記憶装置２１２に記憶する（ＳＴＥＰ５１３）。なお、第２携帯端末演算処理装置２１１は、ＳＴＥＰ５１３の処理を実行することにより、本発明の「受信側記憶制御手段」として機能する。また、ＳＴＥＰ５１３が本発明の「受信側記憶制御」及び「受信側記憶制御ステップ」に相当する。

　第２携帯端末演算処理装置２１１は、第２携帯端末記憶装置２１２に記憶された未再生のデータパケット（音声データまたは動画データ）のサイズ又はデータ数が所定の第２サイズＳ２又は第２データ数以上か否か判定する（ＳＴＥＰ５１４）。

　なお、第２携帯端末演算処理装置２１１は、ＳＴＥＰ５１４の処理を実行することにより、本発明の「受信側検出制御手段」として機能する。また、ＳＴＥＰ５１４が本発明の「受信側検出制御」及び「受信側検出制御ステップ」に相当する。

　ここで、第２サイズＳ２又は第２データ数は、第１サイズＳ１又は第１データ数と同様に、リアルタイム性が失われているとユーザが感じる蓋然性が高い再生時間となるサイズ又はデータ数である。

　なお、第２サイズＳ２は、本発明の「所定のサイズ」に相当する。また、第２データ数は、本発明の「所定のデータ数」に相当する。

　当該判定結果が肯定的である場合（ＳＴＥＰ５１４でＹＥＳ）、第２携帯端末演算処理装置２１１は、第２携帯端末記憶装置２１２に記憶された未再生のデータパケット（音声データまたは動画データ）の連続した一部を削除し（ＳＴＥＰ５１５）、ＳＴＥＰ５１６の処理を実行する。

　この場合、未再生のデータパケット（音声データまたは動画データ）を第２携帯端末記憶装置２１２への記憶時からの経過時間が所定時間以上である古いデータと第２携帯端末記憶装置２１２への記憶時からの経過時間が所定時間未満である新しいデータとに分けた場合に、第２携帯端末演算処理装置２１１は、古いデータを削除することが好ましい。

　未再生のデータパケット（音声データまたは動画データ）の連続した一部の削除に代え、第２携帯端末演算処理装置２１１は、第２携帯端末記憶装置２１２に記憶された未再生のデータパケット（音声データまたは動画データ）の全部を削除してもよい。また、第２携帯端末演算処理装置２１１は、削除に代え、再生済みのラベルなどを付与することにより、当該データパケット（音声データまたは動画データ）を再生対象外としてもよい。

　ここで、再生対象外とする未再生の音声データ又は動画データのサイズ又はデータ数は、再生時間にして１～５秒となるサイズ又はデータ数であることが好ましい。

　また、これらに代えて又は加えて、第２携帯端末演算処理装置２１１は、未再生のデータパケットを早送り（ＳＴＥＰ５１４の条件が充足されていない場合よりも速い再生速度）で再生する指示を第２装着端末２２０に送信してもよい。

　ＳＴＥＰ５１４の判定結果が否定的である場合（ＳＴＥＰ５１４でＮＯ）、第２携帯端末演算処理装置２１１は、第２携帯端末記憶装置２１２に記憶された未再生のデータパケットを第２携帯端末記憶装置２１２に記憶された時刻が早い順から読み出して第２装着端末２２０に送信し（ＳＴＥＰ５１６）、ＳＴＥＰ５１３の処理を実行する。

　なお、第２携帯端末記憶装置２１２に記憶された時刻が、必ずしも音声データまたは動画データの再生順を示しているわけではない場合、第２携帯端末演算処理装置２１１は、データパケットのヘッダ等に含まれる時刻情報又は再生番号等を参照することにより、音声データまたは動画データの再生順を特定し、当該再生順にデータパケットを読み出して第２装着端末２２０に送信してもよい。

　第２携帯端末２１０からデータパケットを受信した第２装着端末演算処理装置２２１は、それらのデータパケットに含まれる音声データ又は動画データを第２装着端末記憶装置２２２に記憶し（ＳＴＥＰ５２２）、順に再生する（ＳＴＥＰ５２３）。

　第２装着端末演算処理装置２２１は、データパケットを受信する前にユーザから指定された音楽又は動画等を第２装着端末出力装置２２５で再生していてもよい。この場合、第２装着端末演算処理装置２２１は、データパケット受信をトリガーとして、当該音楽又は動画等を停止し、データパケットに含まれる音声データ又は動画データを再生してもよいし、音楽の音量を小さめに制御したり、動画の再生画面を小さめに制御した上で、データパケットに含まれる音声データ又は動画データを再生してもよい。

　ＳＴＥＰ５１５が本発明の「再生除外制御」に相当する。ＳＴＥＰ５１６、ＳＴＥＰ５２２及びＳＴＥＰ５２３が本発明の「再生制御」及び「再生制御ステップ」に相当する。第２携帯端末演算処理装置２１１がＳＴＥＰ５１６を実行し、第２装着端末演算処理装置２２１がＳＴＥＰ５２２及びＳＴＥＰ５２３を実行することにより、第２携帯端末演算処理装置２１１及び第２装着端末演算処理装置２２１が本発明の「再生制御手段」として機能する。

　これらの一連の処理の作用について、図７Ｂを参照して時系列に沿って説明する。

　図７Ｂは、上のグラフが第２サーバ３２０における時系列の未送信のデータの量を示すグラフであり、下のグラフが第２携帯端末２１０における時系列の未再生のデータの量を示すグラフである。いずれのグラフにおいても、縦軸がデータの量を示し、横軸が時間軸を示す。

　また、図７Ｂのグラフにおいては、送信側端末（第１携帯端末１１０）と第２サーバ３２０との間の通信Ｃ１１は安定していること、及び受信側端末（第２携帯端末２１０）で受信した音声データ又は動画データは逐次第２装着端末２２０に転送され、再生されることを前提とする。

　期間ｔ１０～ｔ１１は、第２携帯端末２１０（受信側端末）と第２サーバ３２０との間の通信Ｃ２１が安定している期間である。

　この期間では、単位時間あたりに第２サーバ３２０が受信するデータ量S_In(byte/sec)と、単位時間当たりに第２サーバ３２０から第２携帯端末２１０へ送信されるデータ量S_Out(byte/sec)とが釣り合っている。このため、第２サーバ記憶装置３２２に記憶されている未送信のデータは、送信処理待ちのデータのみとなり、データの量はほぼ一定となる。

　期間ｔ１０＋Δｔ～ｔ１１＋Δｔ（Δｔは第２サーバ３２０と第２携帯端末２１０との間の通信にかかる微小な時間）の第２携帯端末２１０では、単位時間あたりに第２サーバ３２０から受信するデータ量C2_In(byte/sec)と、単位時間当たりに第２装着端末２２０へ送信されるデータ量（単位時間あたりに第２装着端末で再生されるデータ量）C2_Out(byte/sec)とが釣り合っている。このため、第２装着端末記憶装置２２２に記憶されている未再生のデータは転送処理待ちのデータのみとなり、データの量はほぼ一定となる。

　期間ｔ１１～ｔ１２は、第２携帯端末２１０（受信側端末）と第２サーバ３２０との間の通信Ｃ２１が悪化した期間である。

　この期間の第２サーバ３２０では、単位時間あたりに第２サーバ３２０が受信するデータ量S_Inが、単位時間当たりに第２サーバ３２０から第２携帯端末２１０へ送信されるデータ量S_Outよりも大きくなる。このため、第２サーバ記憶装置３２２に記憶されている未送信のデータの量は漸増する。

　また、この期間の第２携帯端末２１０では、単位時間あたりに第２サーバ３２０から受信するデータ量C2_Inが、単位時間当たりに第２装着端末２２０へ送信されるデータ量C2_Outよりも小さくなる。このため、第２携帯端末記憶装置２１２に記憶されている未再生のデータの量は漸減し、最終的にゼロとなる。

　期間ｔ１２～ｔ１５は、第２携帯端末２１０（受信側端末）と第２サーバ３２０との間の通信Ｃ２１が回復した期間である。

　期間ｔ１２～ｔ１５の第２サーバ３２０では、単位時間あたりに第２サーバ３２０が受信するデータ量S_Inが、単位時間当たりに第２サーバ３２０から第２携帯端末２１０へ送信されるデータ量S_Outよりも小さくなる。このため、第２サーバ記憶装置３２２に記憶されている未送信のデータの量は漸減するが、ほぼ伝送遅延が解消され、処理中のデータが一時的に保存されるようになった期間ｔ１４～ｔ１５は、データ量はほぼ一定となる。

　期間ｔ１２＋Δｔ～ｔ１４＋Δｔの第２携帯端末２１０では、単位時間あたりに第２サーバ３２０から受信するデータ量C2_Inが、単位時間当たりに第２装着端末２２０へ送信されるデータ量C2_Outよりも大きくなる。このため、第２装着端末記憶装置２２２に記憶されている未再生のデータの量は漸増する。

　時刻ｔ１３において、未再生のデータの量が第２サイズＳ２以上となると（ＳＴＥＰ５１４でＹＥＳ）、未再生のデータの連続した一部が削除され（ＳＴＥＰ５１５）、未再生のデータ量が減少する。

　期間ｔ１３～ｔ１４＋Δｔの第２携帯端末２１０においても、未再生のデータの量は漸増するが、ほぼ伝送遅延が解消され、処理中のデータが一時的に保存されるようになった期間ｔ１４＋Δｔ～ｔ１５＋Δｔは、第２サーバ記憶装置３２２に記憶されている未再生のデータの量はほぼ一定となる。

　第２サーバ３２０において、第１携帯端末１１０からの音声データ又は動画データの受信が終了すると（時刻ｔ１５）、第２サーバ演算処理装置３２１は、期間ｔ１５～ｔ１６において未送信のデータをすべて送信し、その後処理を停止する。

　第２携帯端末演算処理装置２１１においては、第２サーバ演算処理装置３２１が未送信のデータの送信を完了するまでの期間ｔ１５＋Δｔ～ｔ１６＋Δｔ分の遅延が生じるものの、その後、期間ｔ１６＋Δｔ～ｔ１７において未再生のデータをすべて第２装着端末２２０に再生させ、処理を停止する。

　（本実施形態の作用効果）
　本実施形態の第１通信システム１００によれば、第１携帯端末記憶装置１１２に記憶された未送信の音声データ又は動画データが第１サイズ以上となることを要件として、当該未送信の音声データ又は動画データの全部が第１携帯端末記憶装置１１２から削除される。

　この結果、比較的新しい音声データ又は動画データが送信され、再生されることとなるので、第２通信システム２００のユーザに与えられるリアルタイム性が損なわれたとの違和感が解消又は軽減される。

　また、本実施形態の第２通信システム２００によれば、第２携帯端末記憶装置２１２に記憶された未再生の音声データ又は動画データが第２サイズ以上となることを要件として、当該未再生の音声データ又は動画データの全部が第２携帯端末記憶装置２１２から削除される。

　この結果、比較的新しい音声データ又は動画データが再生されることとなるので、第２通信システム２００のユーザに与えられるリアルタイム性が損なわれたとの違和感が解消又は軽減される。

　（変形態様）
　本実施形態では、第１携帯端末演算処理装置１１１が、第１携帯端末記憶装置１１２に記憶された音声データ又は動画データを、第１携帯端末通信装置１１３によりネットワークを介して第２携帯端末２１０に送信し、かつ、第１携帯端末記憶装置１１２に記憶された未送信の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又は所定のデータ数以上であるという条件を充足している場合に、所定の遅延防止制御を実行した。

　これに加えて又は代えて、第２サーバ演算処理装置３２１が、第２サーバ記憶装置３２２に記憶された音声データ又は動画データを、第２サーバ通信装置３２３によりネットワークを介して第２携帯端末２１０に送信し、かつ、第２サーバ記憶装置３２２に記憶された未送信の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上であるという条件を充足している場合に、本実施形態と同様の所定の遅延防止制御を実行してもよい。

　この場合、第２サーバ通信装置３２３が、本発明の「送信側通信部」及び「送信側受付部」に相当し、第２サーバ演算処理装置３２１が本発明の「送信側演算処理部」に相当し、第２サーバ記憶装置３２２が本発明の「送信側記憶部」に相当する。

　１００‥第１通信システム、１１０‥第１携帯端末、１１１‥第１携帯端末演算処理装置、１１２‥第１携帯端末記憶装置、１１３‥第１携帯端末通信装置、１１４‥第１携帯端末入力装置、１１５‥第１携帯端末出力装置、１２０‥第１装着端末、１２１‥第１装着端末演算処理装置、１２２‥第１装着端末記憶装置、１２３‥第１装着端末通信装置、１２４‥第１装着端末入力装置、１２５‥第１装着端末出力装置、２００‥第２通信システム、２１０‥第２携帯端末、２１１‥第２携帯端末演算処理装置、２１２‥第２携帯端末記憶装置、２１３‥第２携帯端末通信装置、２１４‥第２携帯端末入力装置、２１５‥第２携帯端末出力装置、２２０‥第２装着端末、２２１‥第２装着端末演算処理装置、２２２‥第２装着端末記憶装置、２２３‥第２装着端末通信装置、２２４‥第２装着端末入力装置、２２５‥第２装着端末出力装置、３００‥中継サーバ群、３１０‥第１サーバ、３１１‥第１サーバ演算処理装置、３１２‥第１サーバ記憶装置、３１３‥第１サーバ通信装置、３２０‥第２サーバ、３２１‥第２サーバ演算処理装置、３２２‥第２サーバ記憶装置、３２３‥第２サーバ通信装置、４００‥配信サーバ、４０１‥配信サーバ演算処理装置、４０２‥配信サーバ記憶装置、４０３‥配信サーバ通信装置。

Claims

　外部と通信する受信側通信部と、演算処理をする受信側演算処理部と、情報を記憶する受信側記憶部と、音声データ又は動画データを再生する受信側出力部とを備える受信システムであって、
　前記受信側演算処理部は、
　前記受信側通信部を用いてネットワークを介して外部から受信した音声データ又は動画データを前記受信側記憶部に記憶する受信側記憶制御と、
　前記受信側記憶部に記憶された前記音声データ又は前記動画データを前記受信側出力部で再生させる再生制御と、
　前記受信側記憶部に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御とを実行することを特徴とする受信システム。
　請求項１記載の受信システムにおいて、
　前記受信側演算処理部は、
　前記受信側検出制御の検出結果に基づき、前記未再生の音声データ又は動画データの全部又は連続した一部を前記再生制御による再生の対象外とする再生除外制御を実行することを特徴とする受信システム。
　請求項２記載の受信システムにおいて、
　前記再生除外制御は、再生時間にして１～５秒分の連続した前記未再生の音声データ又は動画データを前記再生制御による再生の対象外とする制御を含むことを特徴とする受信システム。
　請求項２又は３記載の受信システムにおいて、
　前記再生除外制御は、前記受信側検出制御により検出された前記未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上である場合に、前記未再生の音声データ又は動画データの全部又は連続した一部を前記再生制御による再生の対象外とする制御を含むことを特徴とする受信システム。
　請求項１～４のうちいずれか１項に記載の受信システムにおいて、
　前記再生制御は、
　前記受信側検出制御により検出された未再生の音声データ又は動画データのサイズ又はデータ数が所定のサイズ又はデータ数以上であるという条件を充足している場合に、前記条件を充足していない場合よりも、前記未再生の音声データ又は動画データの全部又は連続した一部の再生速度を速くする制御を含むことを特徴とする。
　請求項１～５のうちいずれか１項に記載の受信システムにおいて、
　前記再生制御は、前記音声データ又は前記動画データを前記受信側記憶部に保持された時刻が早いデータから先に読み出して、前記受信側出力部で再生させる制御を含むことを特徴とする受信システム。
　請求項１～５のうちいずれか１項に記載の受信システムにおいて、
　前記再生制御は、前記受信側通信部で受信された前記音声データ又は前記動画データを、当該音声データ又は前記動画データに含まれる再生順を示すデータに従って再配列して前記受信側出力部で再生させる制御を含むことを特徴とする受信システム。
　外部と通信する受信側通信部と、演算処理をする受信側演算処理部と、情報を記憶する受信側記憶部と、音声データ又は動画データを再生する受信側出力部とを備える受信システムの前記受信側演算処理部が実行する方法であって、
　前記受信側通信部を用いてネットワークを介して外部から受信した音声データ又は動画データを前記受信側記憶部に記憶する受信側記憶制御ステップと、
　前記受信側記憶部に記憶された前記音声データ又は前記動画データを前記受信側出力部で再生させる再生制御ステップと、
　前記受信側記憶部に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御ステップとを含むことを特徴とする受信方法。
　外部と通信する受信側通信部と、演算処理をする受信側演算処理部と、情報を記憶する受信側記憶部と、音声データ又は動画データを再生する受信側出力部とを備える受信システムの前記受信側演算処理部を、
　前記受信側通信部を用いてネットワークを介して外部から受信した音声データ又は動画データを前記受信側記憶部に記憶する受信側記憶制御手段、
　前記受信側記憶部に記憶された前記音声データ又は前記動画データを前記受信側出力部で再生させる再生制御手段、及び
　前記受信側記憶部に記憶された未再生の音声データ又は動画データのサイズ又はデータ数を検出する受信側検出制御手段として機能させることを特徴とする通信制御プログラム。
　請求項９記載の通信制御プログラムを記憶する配信サーバ記憶部と、外部と通信する配信サーバ通信部と、前記通信制御プログラムを前記配信サーバ通信部によりネットワークを介して前記外部に配信する配信サーバ演算処理部とを備える配信サーバ。
　外部と通信する送信側通信部と、演算処理をする送信側演算処理部と、情報を記憶する送信側記憶部と、音声データ又は動画データの入力又は受信を受け付ける送信側受付部とを備える送信システムであって、
　前記送信側演算処理部は、
　前記送信側受付部を介して受け付けた前記音声データ又は前記動画データを前記送信側記憶部に記憶する送信側記憶制御と、
　前記送信側記憶部に記憶された前記音声データ又は前記動画データを前記送信側通信部によりネットワークを介して他の端末に送信する送信制御と、
　前記送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数を検出する送信側検出制御とを実行することを特徴とする送信システム。
　請求項１１記載の送信システムにおいて、
　前記送信側演算処理部は、
　前記送信側検出制御の検出結果に基づき、前記未送信の音声データ又は動画データの全部又は連続した一部を前記送信制御による送信の対象外とする送信除外制御を実行することを特徴とする送信システム。
　外部と通信する送信側通信部と、演算処理をする送信側演算処理部と、情報を記憶する送信側記憶部と、音声データ又は動画データの入力又は受信を受け付ける送信側受付部とを備える送信システムの前記送信側演算処理部が実行する方法であって、
　前記送信側受付部を介して受け付けた前記音声データ又は前記動画データを前記送信側記憶部に記憶する送信側記憶制御ステップと、
　前記送信側記憶部に記憶された前記音声データ又は前記動画データを前記送信側通信部によりネットワークを介して他の端末に送信する送信制御ステップと、
　前記送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数を検出する送信側検出制御ステップとを含むことを特徴とする送信方法。
　外部と通信する送信側通信部と、演算処理をする送信側演算処理部と、情報を記憶する送信側記憶部と、音声データ又は動画データの入力又は受信を受け付ける送信側受付部とを備える送信システムの前記送信側演算処理部を、
　前記送信側受付部を介して受け付けた前記音声データ又は前記動画データを前記送信側記憶部に記憶する送信側記憶制御手段、
　前記送信側記憶部に記憶された前記音声データ又は前記動画データを前記送信側通信部によりネットワークを介して他の端末に送信する送信制御手段、及び
　前記送信側記憶部に記憶された未送信の音声データ又は動画データのサイズ又はデータ数を検出する送信側検出制御手段として機能させることを特徴とする通信制御プログラム。