JP6560134B2 - 端末装置、通信方法、及びプログラム - Google Patents

Description

本発明の実施形態は、端末装置、通信方法、及びプログラムに関する。

スマートフォン等の端末装置を使用して、通信相手の端末装置との間で画面に表示されている画像等をリアルタイムで共有する機能が提供されている。
端末装置間で画像を共有する技術に関して、ページめくり等により共有する画像のデータのトラヒック量が短時間で増大するような場合に、転送遅延を削減し、通信帯域を有効利用するように通信帯域を制御する技術が知られている（例えば、特許文献１を参照）。

特開２０１２−１１４６２３号公報

端末装置は、画像を表す情報を送信することによって、通信相手の端末装置との間で画面に表示されている画像をリアルタイムで共有している。画像等をリアルタイムで共有している状態で、画像を送信する送信側の端末装置において、スクロール、フリック（ページめくり）、拡大又は縮小等の画像の変化の大きい操作が行われた場合、送信側の端末装置から通信相手の受信側の端末装置へ送信される画像のデータ量が増大し、受信側の端末装置に表示される画像の画質が劣化し、ユーザが体感する品質を損ねるおそれがある。

本発明は、上記問題を解決すべくなされたもので、端末装置を使用して、通信相手の端末装置との間で画面に表示されている画像等をリアルタイムで共有する際に、通信相手の端末装置のユーザが体感する品質を向上させる、端末装置、通信方法、及びプログラムを提供することを目的とする。

（１）本発明の一態様は、自装置と他装置との間で共有される画像を表示する表示部と、前記他装置に表示される画像の劣化を引き起こす自装置の前記表示部に対する操作を検出する検出部と、前記画像の変化に基づいて、前記他装置へ送信する画像データの符号化パラメータを演算するパラメータ演算部と、前記検出部によって検出された前記操作と、前記パラメータ演算部が演算することによって得られた前記符号化パラメータとに基づいて、画像を他装置へ送信する制御を行う制御部とを備え、前記パラメータ演算部は、前記符号化パラメータが低品質方向に変更されてから所定の時間内に、前記検出部によって前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されたか否かに基づいて、前記符号化パラメータを、通信状況に基づいて、決定する、端末装置である。

（２）本発明の一態様は、上記（１）に記載の端末装置において、前記制御部は、前記検出部が検出した前記自装置に対する前記操作によって引き起こされる前記自装置の画像変化に基づいて、画像を前記他装置へ送信する制御を行う、端末装置である。

（３）本発明の一態様は、上記（１）又は上記（２）に記載の端末装置において、前記パラメータ演算部は、前記符号化パラメータが低品質方向に変更されてから所定の時間内に、前記検出部によって前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されない場合に、前記符号化パラメータを、通信状況に基づいて、決定し、
前記所定の時間は、前記操作毎に設定されている、端末装置である。

（４）本発明の一態様は、上記（１）から上記（３）のいずれか一項に記載の端末装置において、前記パラメータ演算部は、前記画像の変化によって、前記他装置へ送信する画像データの情報量が第１の閾値以上となる場合に、前記符号化パラメータを変更することによって、前記他装置へ送信する画像を低品質へ変更する、端末装置である。

（５）本発明の一態様は、上記（１）から上記（３）のいずれか一項に記載の端末装置において、前記検出部は、前記端末装置が動かされることによって生じた前記自装置に対する前記操作を検出し、前記制御部は、前記端末装置が動かされることによって生じた前記自装置に対する前記操作に基づいて、画像を他装置へ送信する制御を行う、端末装置である。

（６）本発明の一態様は、自装置と他装置との間で共有される画像を表示するステップと、前記他装置に表示される画像の劣化を引き起こす自装置の表示部に対する操作を検出するステップと、前記画像の変化に基づいて、前記他装置へ送信する画像データの符号化パラメータを演算するステップと、前記検出するステップで検出された前記操作と、前記符号化パラメータを演算するステップで演算されることによって得られた前記符号化パラメータとに基づいて、画像を他装置へ送信する制御を行うステップとを実行し、前記符号化パラメータには、高品質方向及び低品質方向に変更可能な画像の品質を示すパラメータが含まれ、前記符号化パラメータを演算するステップでは、前記画像の品質を示す前記パラメータが低品質方向に変更されてから所定の時間内に、前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されない場合に、前記符号化パラメータを、通信状況に基づいて、決定する、端末装置が実行する、通信方法検出された操作に基づいて、画像を他装置へ送信する、通信方法である。

（７）本発明の一態様は、端末装置のコンピュータに、自装置と他装置との間で共有される画像を表示するステップと、前記他装置に表示される画像の劣化を引き起こす自装置の表示部に対する操作を検出するステップと、前記画像の変化に基づいて、前記他装置へ送信する画像データの符号化パラメータを演算するステップと、
検出するステップで検出された前記操作と、前記符号化パラメータを演算するステップで演算されることによって得られた前記符号化パラメータとに基づいて、画像を他装置へ送信する制御を行うステップと、
前記符号化パラメータに含まれる前記画像の品質を示すパラメータが低品質方向に変更されてから所定の時間内に、前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されない場合に、前記符号化パラメータを、通信状況に基づいて、決定するステップと
を実行させる、プログラムである。

本発明によれば、端末装置を使用して、通信相手の端末装置との間で画面に表示されている画像等をリアルタイムで共有する際に、通信相手の端末装置のユーザが体感する品質を向上させることができる。

本実施形態に係る通信システムを示す図である。 本実施形態に係る端末装置によって実行される処理の一例を示す模式図である。 本実施形態に係る端末装置の一例を示す模式図である。 本実施形態に係る端末装置に表示される画像の一例を示す模式図である。 本実施形態に係る端末装置のハードウェア構成の一例を示す図である。 本実施形態に係るシグナリングサーバのハードウェア構成の一例を示す図である。 本実施形態に係る通信システムを示す機能ブロック図である。 本実施形態に係る通信システムの動作（その１）の一例を示す図である。 本実施形態に係る通信システムの動作（その２）の一例を示す図である。

＜実施形態＞
＜通信システム＞
本実施形態に係る通信システムは複数の端末装置を備え、該複数の端末装置のうち一の端末装置は、１又は複数の他の端末装置へ、端末装置の画面に表示されている画像を表す情報をリアルタイムで送信する。これによって、端末装置は、１又は複数の他の端末装置との間で、端末装置の画面に表示されている画像を共有する。
画面に表示されている画像に限らず、複数の端末装置間で動画等をリアルタイムで共有するようにしてもよい。

図１は、本実施形態に係る通信システムを示す。本実施形態に係る通信システム１０は、端末装置１００ａと、端末装置１００ｂと、基地局５０ａと、基地局５０ｂと、シグナリングサーバ３００と、認証サーバ４００と、プッシュサーバ５００とを備えている。基地局５０ａと、基地局５０ｂと、シグナリングサーバ３００と、認証サーバ４００と、プッシュサーバ５００とは、インターネット等の通信網２０を介して接続される。端末装置１００ａは基地局５０ａを経由して通信網２０と接続され、端末装置１００ｂは基地局５０ｂを経由して通信網２０と接続される。
本実施形態に係る通信システム１０は、端末装置１００ａを使用して、通信相手の端末装置１００ｂとの間で端末装置１００ａの画面に表示されている画像等をリアルタイムで共有する。

本実施形態に係る通信システム１０では、一例として、端末装置１００ａの画面に表示されている画像をリアルタイムで端末装置１００ｂと共有する場合について説明する。しかし、端末装置とサーバとの間で、該端末装置又は該サーバの画面に表示されている画像をリアルタイムで共有する場合についても適用できる。

以下、端末装置１００ａと、端末装置１００ｂとを区別しない場合には端末装置１００と記載する。また、基地局５０ａと、基地局５０ｂとを区別しない場合には基地局５０と記載する。端末装置１００は、音声や文字によって他の装置との間で相互に通信が可能な通信装置であり、端末装置１００の一例は、携帯電話、スマートフォン、タブレット端末等である。端末装置１００は、音声情報と、画像情報とを同一の回線で送受信できる高速データ通信回線に接続できる。

ここで、高速データ通信回線の一例は、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ ：ＬＴＥ）にしたがって構築された通信網である。この高速データ通信回線は、画像や文字等のデジタル情報の送受信に加えて、デジタル化された音声を送受信することによって音声通話を可能にする。デジタル化された音声をＬＴＥの通信網を使用したデータ通信で送受信する方式は、ボイスオーバーロングタームエボリューション（Ｖｏｉｃｅ ｏｖｅｒ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ ：ＶｏＬＴＥ）と呼ばれる。ＶｏＬＴＥを使用することによって、音声とデータ通信を同時にやり取りでき、通話しながらアプリで通信することができる。
なお、本実施形態に係る端末装置１００が接続する通信回線は、ＬＴＥにしたがって構築された通信網に限られず適用できる。

本実施形態に係る通信システム１０では、端末装置１００ａは、端末装置１００ｂとの間で画像情報、音声情報等の情報を双方向に送受信する。例えば、送信側の端末装置１００ａは、受信側の端末装置１００ｂへ、画像データを送信する。受信側の端末装置１００ｂは、端末装置１００ａによって送信された画像データを画像処理することによって、端末装置１００ａの画面に表示されている画像を表示する。

基地局５０は、端末装置１００との間で無線通信を行うとともに、通信網２０の末端となり、複数の端末装置間の通信を交換機との間で中継する。
シグナリングサーバ３００は、端末装置１００ａと端末装置１００ｂとの間のセッションを管理する。
認証サーバ４００は、端末装置１００を識別する情報と、インターネットプロトコルアドレス（ＩＰアドレス）とを紐付けて記憶している。端末装置１００を識別する情報の一例は、端末装置１００の電話番号である。

認証サーバ４００は、シグナリングサーバ３００から、端末装置１００を識別する情報に対応するＩＰアドレスの要求があった場合に、該端末装置１００を識別する情報に紐付けられたＩＰアドレスを、シグナリングサーバ３００へ通知する。

プッシュサーバ５００は、プッシュＩＤを発行し、発行したプッシュＩＤを記憶する。プッシュＩＤとは、端末装置１００上で動作し、且つ画像を共有する機能に対応したアプリケーションを識別する情報である。このプッシュサーバ５００に記憶されるプッシュＩＤと、端末装置１００上で動作するアプリケーションとは、シグナリングサーバ３００によって紐付けられて管理されている。具体的には、端末装置１００において、新たなアプリケーションがダウンロードされ、初めて起動されると、端末装置１００は、プッシュサーバ５００へプッシュＩＤの発行の要求を行う。

プッシュサーバ５００は、プッシュＩＤの発行の要求に応じて、端末装置１００によって起動された新たなアプリケーションに対するプッシュＩＤを発行する。そして、プッシュサーバ５００は、発行したプッシュＩＤを端末装置１００に送信する。端末装置１００は、シグナリングサーバ３００へ、新たなアプリケーションを表す情報と、発行されたプッシュＩＤとを送信する。シグナリングサーバ３００は、プッシュサーバ５００によって送信された新たなアプリケーションを表す情報と、発行されたプッシュＩＤとを紐付けて記憶する。このように構成することによって、プッシュサーバ５００に記憶されるプッシュＩＤと、端末装置１００上で動作するアプリケーションとが、シグナリングサーバ３００によって紐付けられる。

＜画像を共有するサービス＞
図２は、本実施形態に係る通信システムによって提供されるサービスの一例を示す模式図である。
図２に示される例では、端末装置１００ａのユーザは、該端末装置１００ａの画面に表示されている地図等の画像に、手書きで目的地を示す矢印を書き込む。矢印を書き込む操作によって、端末装置１００ａは、地図と矢印とが合成された画像Ｐ１０を生成し、該画像Ｐ１０の画像を表す情報を端末装置１００ｂに送信する。端末装置１００ｂは、端末装置１００ａによって送信された画像を表す情報を画像処理することによって該端末装置１００ｂの画面に、画像Ｐ１０に対応する画像Ｐ１１を表示する。このように構成することによって、端末装置１００ａの画面に表示されている画像を、端末装置１００ｂとの間で連動させて表示することができる。

なお、端末装置１００ａが動画を撮像できるカメラを備えている場合には、該カメラによって撮像された動画を表す情報を、端末装置１００ｂへ送信するようにしてもよい。
また、動画を提供するサーバによって動画像を表す情報が送信され、該動画像を表す情報を端末装置１００ａが受信し、端末装置１００ａは該動画像を表す情報を端末装置１００ｂへ送信するようにしてもよい。これによって、端末装置１００ａと、端末装置１００ｂとの間で、動画像をリアルタイムで共有することができる。

なお、端末装置１００ａは、カメラで撮像された動画像等のコンテンツを表す情報をリアルタイムに生成してもよいし、予め用意されている動画像の解像度やフレームレートを変更することによって新たに動画像等のコンテンツを表す情報を生成してもよい。また、端末装置１００ａは、端末装置間において送受信される動画像の情報量を変更することによって新たに動画像等のコンテンツを表す情報を生成してもよい。

＜端末装置の構成＞
図３は、本実施形態に係る端末装置の一例を示す模式図である。端末装置１００は、表示部１１０と、操作検出部１２０と、撮像部１３０と、音再生部１４０と、収音部１５０と、通信部１６０と、制御部１７０とを備えている。

表示部１１０は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等によって構成され、文字や写真等の画像を表示する。
操作検出部１２０は、表示部１１０を覆う透明なタッチパネルセンサを備えており、ユーザの操作を検出する。
撮像部１３０は、静止画及び動画を撮像可能なカメラを備えている。このカメラは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子とレンズ等の光学部材とを備えており、端末装置１００の周囲の画像を撮像する。

音再生部１４０は、スピーカを備えており、入力される音情報を処理することによって音を再生する。
収音部１５０は、マイクを備えており、端末装置１００の周囲の音を収音して、収音した音を音情報に変換する。通信システム１０は、端末装置１００間で動画像に加え、収音部１５０によって収音された音を共有することもできる。

通信部１６０は、通信制御用ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を備え、他の装置との間で通信を行う。端末装置１００は、この通信部１６０による通信動作によって、他の装置と通信を行う。

制御部１７０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、端末装置１００が備える各部を制御する。端末装置１００は、制御部１７０が各部を制御することによって、表示部１１０への表示、操作検出部１２０による操作の検出、通信部１６０による他の装置との通信等の動作を行う。

＜端末装置間で画像を共有する操作の概要＞
図４は、端末装置間で画像を共有する場合にユーザによって行われる操作について説明する。ここでは、一例として、ユーザＡ（Ａさん）が端末装置１００ａを使用して、該端末装置１００ａに表示されている画像を、ユーザＢ（Ｂさん）が使用する端末装置１００ｂとの間で共有する場合について説明する。

ユーザＡと、ユーザＢとが、図４（Ａ）から図４（Ｅ）に示される操作を順に行うことによって、端末装置１００ａに表示されている画像が端末装置１００ｂとの間で共有される。
ユーザＡが使用する端末装置１００ａと、ユーザＢが使用する端末装置１００ｂとは、ＬＴＥ通信網を経由した音声通話を行っている。ユーザＡが使用する端末装置１００ａと、ユーザＢが使用する端末装置１００ｂとが、ＬＴＥ通信網を経由した音声通話を行っている場合に、端末装置１００ａ及び端末装置１００ｂに表示される画像の一例を、図４（Ａ）に示す。

図４（Ａ）において、ユーザＡの端末装置１００ａの表示部１１０、及びユーザＢの端末装置１００ｂの表示部１１０には、いずれも画像ＰＭＢが表示されている。画像ＰＭＢは、通信の相手側の端末装置１００が、画像を共有する機能に対応していることを示す。つまり、端末装置１００が画像を共有する機能に対応し、且つ画像を共有するアプリケーションを起動している場合に端末装置１００の表示部１１０に画像ＰＭＢが表示される。図４（Ａ）に示される例では、画像ＰＭＢの表示は、端末装置１００ａと、端末装置１００ｂとが、いずれも画像を共有する機能に対応し、且つ画像を共有するアプリケーションを起動していることを示す。

ユーザＡは、端末装置１００ａの表示部１１０に表示されている共有メニューボタンの画像ＰＭＢをタップ操作する。このタップ操作を端末装置１００ａの操作検出部１２０が検出すると、ランチャー画像Ｐ２０が表示される（図４（Ｂ）を参照）。このランチャー画像Ｐ２０はメニュー画像の一例であり、ランチャー画像Ｐ２０には画像を共有する機能を表すアイコン画像Ｐ２１が含まれている。アイコン画像Ｐ２１が表示されている表示部１１０上の位置を、ユーザがタップ操作することにより、アイコン画像Ｐ２１に対応づけられた画像を共有する機能が起動する。

アイコン画像Ｐ２１へのタップ操作を端末装置１００ａの操作検出部１２０が検出すると、画像を共有する機能を説明する画像Ｐ２２が表示される（図４（Ｃ）を参照）。また、アイコン画像Ｐ２１へのタップ操作を端末装置１００ａの操作検出部１２０が検出すると、画像を共有する相手となる端末装置１００ｂの表示部１１０に端末装置１００ａの画面に表示されている画像を共有する機能を開始する承諾を求める画像Ｐ２３が表示される。
端末装置１００ａの画面に表示されている画像を共有する承諾を求める画像Ｐ２３が端末装置１００ｂの画面に表示されることによって、端末装置１００ｂのユーザに、画像を共有することを承諾するか否かの回答を促すことができる。図４（Ｃ）の下段に示される例では、承諾を求める画像Ｐ２３は、ユーザＡが使用する端末装置１００ａの画面に表示されている画像を共有することを承諾するか拒否するかの回答を促す画像である。

ここでは、ユーザＢが画像を共有することを承諾するタップ操作を行った場合について説明を続ける。つまり、ユーザＢは、承諾を求める画像Ｐ２３の承諾ボタンの画像Ｐ２４をタップ操作する。承諾ボタンの画像Ｐ２４のタップ操作を端末装置１００ｂの操作検出部１２０が検出すると、端末装置１００ｂ及び端末装置１００ａの各表示部１１０に、接続中を示す画像Ｐ２５が表示される（図４（Ｄ）を参照）。接続中を示す画像Ｐ２５が表示されている間に、端末装置１００ａと端末装置１００ｂとの間で、セッションが構築される。ユーザＢが画像を共有することを拒否する操作を行った場合には、端末装置１００ａの画面に表示されている画像が端末装置１００ｂに送信されず、画面を共有する処理が終了する。

次に、端末装置１００ａと端末装置１００ｂとの間において、セッションが確立すると、端末装置１００ａの表示部１１０に表示されている画像Ｐ２６と同様の画像が、端末装置１００ｂの表示部１１０に表示される（図４（Ｅ）を参照）。すなわち、端末装置１００ａと端末装置１００ｂとの間において、端末装置１００ａの画面に表示されている画像が共有される。

＜端末装置の構成＞
次に、上述した画像を共有する機能を提供する通信システム１０の構成について、図５を参照して説明する。
図５は、本実施形態に係る端末装置１００のハードウェア構成の一例を示す。図５に示される端末装置１００のハードウェア構成においては、図３に示される端末装置の各部と共通する部分についても重複して示される。

端末装置１００は、ＣＰＵ２０２と、メモリ２０４と、不揮発性メモリ２０６と、画像処理部２０８と、ディスプレイ２１０と、操作部２１２と、記録媒体Ｉ／Ｆ２１４と、通信Ｉ／Ｆ２１６と、内部バス２１８とを備えている。
ＣＰＵ２０２は、上述した制御部１７０を構成する。ＣＰＵ２０２は、例えば不揮発性メモリ２０６に格納されるプログラムを実行し、メモリ２０４をワークメモリとして使用して、端末装置１００の各部を制御する。
メモリ２０４は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成され、ＣＰＵ２０２のワークメモリとして使用される。
不揮発性メモリ２０６は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成される。不揮発性メモリ２０６には、ＣＰＵ２０２によって実行されるプログラム２０６２が格納される。

画像処理部２０８は、ＣＰＵ２０２の制御によって、不揮発性メモリ２０６や記録媒体２２０に格納された画像データや、通信Ｉ／Ｆ２１６を介して取得した画像を表す情報等に各種画像処理を行う。画像処理部２０８が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大処理又は縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。
画像処理部２０８は、特定の画像処理を行う専用の回路モジュールによって構成されてもよい。また、画像処理の種別によっては画像処理部２０８の代わりにＣＰＵ２０２がプログラムを実行することによって画像処理を行うようにしてもよい。

ディスプレイ２１０は、上述した表示部１１０を構成する。ディスプレイ２１０は、ＣＰＵ２０２によって制御され、画像、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。ＣＰＵ２０２は、プログラムを実行することによって制御信号や、ディスプレイ２１０に表示する画像を表す映像信号を生成し、ディスプレイ２１０に出力する。

ディスプレイ２１０は、ＣＰＵ２０２によって出力された映像信号を処理することによって、映像を表示する。なお、端末装置１００が映像信号を出力するインターフェースを備え、該インターフェースにディスプレイ２１０を接続するようにしてもよい。このように構成することによって、端末装置１００に外付けのモニターを接続し、該モニターに画像を表示させることができる。

操作部２１２は、上述した操作検出部１２０を構成する。操作部２１２は、ユーザの操作を受け付ける入力デバイスであり、キーボード等の文字情報を入力するデバイス、マウス、タッチパネル等のポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッド等を含む。
本実施形態では、一例として、操作部２１２がタッチパネルを構成する場合について説明を続ける。タッチパネルは、ディスプレイ２１０に重ね合わせて平面的に構成される。

タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルは、接触された位置に応じた座標を表す情報をＣＰＵ２０２へ出力する。なお、操作部２１２にタッチパネルが含まれる場合、ＣＰＵ２０２はタッチパネルに対して行われた操作、あるいはタッチパネルの状態を検出する。

ＣＰＵ２０２は、タッチパネルに触れていなかった指やペンが新たにタッチパネルに触れたことを検出する。つまり、ＣＰＵ２０２は、タッチパネルに対してタッチが開始されたこと（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）という）を検出する。
ＣＰＵ２０２は、タッチパネルを指やペンで触れている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）という）を検出する。
ＣＰＵ２０２は、タッチパネルを指やペンで触れたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）という）を検出する。
ＣＰＵ２０２は、タッチパネルへ触れていた指やペンを離したこと、すなわち、タッチが終了したこと（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）という）を検出する。
ＣＰＵ２０２は、タッチパネルに何も触れていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）という）を検出する。

ＣＰＵ２０２は、タッチダウンを検出すると同時にタッチオンであることも検出する。ＣＰＵ２０２は、タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオン状態を検出し続ける。ＣＰＵ２０２は、タッチオンが検出されている状態で、タッチムーブを検出する。ＣＰＵ２０２は、タッチオンを検出していても、タッチ位置が移動していなければタッチムーブを検出しない。ＣＰＵ２０２は、タッチしていた全ての指やペンがタッチアップしたことを検出した後は、タッチオフを検出する。

タッチパネルに対して行われた操作、あるいはタッチパネルの状態を表す情報は、内部バス２１８を通じてＣＰＵ２０２へ通知される。また、タッチパネルへ指やペンが触れている位置の座標を表す情報は内部バス２１８を通じてＣＰＵ２０２へ通知される。ＣＰＵ２０２は、タッチパネルによって通知された情報に基づいて、タッチパネルに対して行われた操作を判定する。ＣＰＵ２０２は、タッチムーブを検出する際に、タッチパネル上で移動する指やペンの触れている位置の座標の変化に基づいて、タッチパネル上の垂直成分、水平成分毎に判定する。

また、ＣＰＵ２０２は、タッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップが行われたとき、ストロークが描かれたと判定する。ここで、ＣＰＵ２０２は、素早くストロークを描く操作が行われたとき、フリック又はスワイプが行われたと判定する。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離す操作であり、換言すればタッチパネル上を指ではじくように素早くなぞる操作である。スワイプは、タッチパネル上に指を触れたまま一定の方向へある程度の距離だけ動かして、そのまま離す操作であり、換言すればタッチパネル上を指で掃くようになぞる操作である。ＣＰＵ２０２は、所定の距離以上の距離を、所定の速度以上の速度でタッチムーブしたことを検出し、そのままタッチアップを検出した場合にフリックが行なわれたと判定する。また、ＣＰＵ２０２は、所定の距離以上の距離を、所定の速度未満の速度でタッチムーブしたことが検出された場合にドラッグが行なわれたと判定する。

また、ＣＰＵ２０２は、タッチパネル上を２本の指でそれぞれの内側になぞるように動かす操作、換言すれば画面をつまみ、なぞるような操作が行われたとき、ピンチインが行われたと判定する。ピンチインは、主に画像の縮小を行う操作である。
また、ＣＰＵ２０２は、タッチパネル上を２本の指でそれぞれの外側になぞるように動かす操作、換言すれば画面を広げるような操作が行われたとき、ピンチアウトが行われたと判定する。ピンチアウトは、主に画像の拡大を行う操作である。

記録媒体Ｉ／Ｆ２１４は、メモリカード、ＣＤ、ＤＶＤ等の記録媒体２２０が装着可能であり、ＣＰＵ２０２の制御によって、記録媒体Ｉ／Ｆ２１４に装着された記録媒体２２０からのデータの読み出しや、該記録媒体２２０へのデータの書き込みを行う。
通信Ｉ／Ｆ２１６は、上述した通信部１６０によって構成される。通信Ｉ／Ｆ２１６は、外部機器や、インターネット等の通信網２０に接続された基地局５０等と通信して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。

内部バス２１８は、ＣＰＵ２０２、メモリ２０４、不揮発性メモリ２０６、画像処理部２０８、ディスプレイ２１０、操作部２１２、記録媒体Ｉ／Ｆ２１４、通信Ｉ／Ｆ２１６を互いに接続する。内部バス２１８に接続される各部は、内部バス２１８を介して互いにデータのやりとりを行うことができるようにされている。

＜シグナリングサーバの構成＞
図６は、本実施形態に係るシグナリングサーバ３００のハードウェア構成の一例を示す。シグナリングサーバ３００は、ＣＰＵ３０２と、メモリ３０４と、不揮発性メモリ３０６と、通信Ｉ／Ｆ３１６と、内部バス３１８とを備えている。

ＣＰＵ２０２は、例えば不揮発性メモリ３０６に格納されるプログラムを実行し、メモリ３０４をワークメモリとして使用して、シグナリングサーバ３００の各部を制御する。
メモリ３０４は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成される。メモリ３０４は、ＣＰＵ２０２のワークメモリとして使用される。
不揮発性メモリ３０６は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成され、ＣＰＵ３０２によって実行されるプログラムが格納される。

通信Ｉ／Ｆ３１６は、外部機器と通信して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。
内部バス３１８は、ＣＰＵ３０２、メモリ３０４、不揮発性メモリ３０６、通信Ｉ／Ｆ３１６を互いに接続する。内部バス３１８に接続される各部は、内部バス３１８を介して互いにデータのやりとりを行うことができるようにされている。

認証サーバ４００、及びプッシュサーバ５００のハードウェア構成は、図６を適用できる。ただし、認証サーバ４００の不揮発性メモリ３０６には認証サーバ４００のＣＰＵ３０２によって実行されるプログラムが格納され、プッシュサーバ５００の不揮発性メモリ３０６にはプッシュサーバ５００のＣＰＵ３０２によって実行されるプログラムが格納される。

＜本実施形態に係る通信システムの機能構成＞
次に、本実施形態の機能構成について説明する。図７は、本実施形態の通信システム１０を構成する端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００、認証サーバ４００、及びプッシュサーバ５００の機能ブロック図である。図７では、端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００、認証サーバ４００、及びプッシュサーバ５００が、通信網２０を介してデータ通信することができるように接続されている。また、図１に示されている基地局５０ａ、及び基地局５０ｂは、図７では省略されている。

＜端末装置の機能構成＞
端末装置１００ａは、送受信部２５２ａ、操作検出部２５４ａ、パラメータ演算部２５６ａ、通信制御部２５８ａ、画像変換量検出部２５９ａ、画像共有処理部２６０ａ、表示制御部２６２ａ、記憶部２６４ａ、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６８ａを有している。これらの各部は、図５に示されている各構成要素のいずれかが、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。

＜端末装置の各機能構成＞
図５及び図７を用いて、端末装置１００ａの各機能構成について詳細に説明する。なお、以下では、端末装置１００ａの各機能構成を説明するにあたって、図５に示されている各構成要素のうち、端末装置１００ａの各機能構成を実現させるための主な機能要素との関係も説明する。

図７に示されている端末装置１００ａの送受信部２５２ａは、ＣＰＵ２０２からの命令、及び通信Ｉ／Ｆ２１６よって実現される。送受信部２５２ａは、基地局５０ａ、及び通信網２０を介して、端末装置１００ｂ、シグナリングサーバ３００、認証サーバ４００又はプッシュサーバ５００等の他の装置との間で各種データの送受信を行う。

操作検出部２５４ａは、ＣＰＵ２０２からの命令、及び操作部２１２によって実現される。操作検出部２５４ａは、利用者による各種入力を検出する。操作検出部２５４ａは、端末装置１００ａと端末装置１００ｂとの間で、画像を共有する処理が開始された後に、端末装置１００ｂに表示される画像の劣化を引き起こす端末装置１００ａに対する操作を検出する。具体的には、操作検出部２５４ａは、タッチパネルに対して行われた操作のうち、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の端末装置１００ｂに表示される画像の劣化を引き起こす操作を検出する。また、操作検出部２５４ａは、カメラパン等の端末装置１００ａの動作を検出する。操作検出部２５４ａは、検出した操作や動作を表す情報をパラメータ演算部２５６ａへ入力する。
画像変換量検出部２５９ａは、ＣＰＵ２０２からの命令によって実現される。画像変換量検出部２５９ａは、端末装置１００ａに表示される画像の変換量を検出する。画像変換量検出部２５９ａは、画像の変換量を表す情報をパラメータ演算部２５６ａへ出力する。

パラメータ演算部２５６ａは、ＣＰＵ２０２からの命令によって実現される。パラメータ演算部２５６ａは、操作検出部２５４ａによって検出された端末装置１００ｂに表示される画像の劣化を引き起こす操作や動作に基づいて、画像を表す情報に適用する符号化パラメータを演算する。パラメータ演算部２５６ａは、通信制御部２５８ａへ演算した符号化パラメータを出力する。例えば、劣化を引き起こす操作や動作毎に所定の演算処理が紐付けられており、パラメータ演算部２５６ａは、操作検出部２５４ａによって検出された端末装置１００ｂに表示される画像の劣化を引き起こす操作や動作に紐付けられた演算処理を行うことによって、画像を表す情報に適用する符号化パラメータを演算する。
また、パラメータ演算部２５６ａは、画像変換量検出部２５９ａによって供給される端末装置１００ａに表示される画像の変換量が閾値以上である場合に、操作検出部２５４ａによって検出された端末装置１００ｂに表示される画像の劣化を引き起こす操作や動作に紐付けられた演算処理を行うことによって、画像を表す情報に適用する符号化パラメータを演算するようにしてもよい。

該画像を表す情報に適用する符号化パラメータには、端末装置１００ｂへ送信する画像を表す情報が再生されることによって得られる画像の品質を示すパラメータが含まれる。具体的には、符号化パラメータには、画像のフレームレート、ビットレート、解像度、量子化パラメータ、遅延（バッファサイズ）等が含まれる。画像の品質を示すパラメータは、高品質方向及び低品質方向に変更可能である。ここで、画像の品質を示すパラメータを高品質方向に変更することには、例えば、画像のフレームレート、ビットレート、又は解像度を上昇させることや、量子化パラメータ又は遅延を小さくすることが含まれる。また、画像の品質を示すパラメータを低品質方向に変更することには、例えば、画像のフレームレート、ビットレート、又は解像度を低減させることや、量子化パラメータ又は遅延を大きくすることが含まれる。
パラメータ演算部２５６ａは、低品質方向へ変更した後、所定の時間内に操作検出部２５４ａによって端末装置１００ｂに表示される画像の劣化を引き起こす操作が検出されない場合には、該端末装置１００ｂに表示される画像の劣化を引き起こす操作や動作に基づいて符号化パラメータを決定することから通信状況に基づいて符号化パラメータを決定するように変更してもよい。この場合、パラメータ演算部２５６ａは、通信状況に基づいて決定した符号化パラメータを通信制御部２５８ａへ出力する。ここで、所定の時間は、端末装置１００ｂに表示される画像の劣化を引き起こす操作毎に予め設定されていてもよい。

通信制御部２５８ａは、ＣＰＵ２０２からの命令によって実現される。通信制御部２５８ａは、情報を送受信する制御を行う。例えば、通信制御部２５８ａは、パラメータ演算部２５６ａによって供給された符号化パラメータを端末装置１００ｂへ送信する制御を行ったり、端末装置１００ｂへ送信する画像に該符号化パラメータを適用して符号化したりして、送受信部２５２へ出力する。

画像共有処理部２６０ａは、ＣＰＵ２０２からの命令によって実現される。画像共有処理部２６０ａは、端末装置１００ｂとの間で、端末装置１００ａのディスプレイ２１０に表示されている画像を共有する処理を行う。例えば、画像共有処理部２６０ａは、ディスプレイ２１０に表示されている動画又は画像を表す情報を生成し、通信制御部２５８へ出力する。
表示制御部２６２ａは、ＣＰＵ２０２からの命令、及びディスプレイ２１０によって実現される。表示制御部２６２ａは、ディスプレイ２１０に画像等を表示する制御を行う。
記憶部２６４ａには、端末装置１００ａを識別する情報等が記憶される。さらに、記憶部２６４ａには、端末装置１００ｂへ送信する画像を表す情報が一時的に記憶される。

端末装置１００ｂは、送受信部２５２ｂ、操作検出部２５４ｂ、パラメータ演算部２５６ｂ、通信制御部２５８ｂ、画像変換量検出部２５９ｂ、画像共有処理部２６０ｂ、表示制御部２６２ｂ、記憶部２６４ｂ、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６８ｂを有している。これらの各部は、図５に示されている各構成要素のいずれかが、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。

送受信部２５２ｂ、操作検出部２５４ｂ、パラメータ演算部２５６ｂ、通信制御部２５８ｂ、画像変換量検出部２５９ｂ、画像共有処理部２６０ｂ、表示制御部２６２ｂ、及び記憶部２６４ｂは、上述した送受信部２５２ａ、操作検出部２５４ａ、パラメータ演算部２５６ａ、通信制御部２５８ａ、画像変換量検出部２５９ａ、画像共有処理部２６０ａ、表示制御部２６２ａ、及び記憶部２６４ａを適用できる。

＜シグナリングサーバの機能構成＞
シグナリングサーバ３００は、送受信部３５２、判定部３５４、セッション処理部３５６、記憶部３５８、制御部３６０、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３６２を有している。これらの各部は、図６に示されている各構成要素のいずれかが、シグナリングサーバ３００において、不揮発性メモリ３０６からメモリ３０４上に展開されたプログラム３０６２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。

＜シグナリングサーバの各機能構成＞
図６及び図７を用いて、シグナリングサーバ３００の各機能構成について詳細に説明する。なお、以下では、シグナリングサーバ３００の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、シグナリングサーバ３００の各機能構成を実現させるための主な機能要素との関係も説明する。

図７に示されているシグナリングサーバ３００の送受信部３５２は、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６よって実現される。送受信部３５２は、通信網２０を介して、端末装置１００ａ、端末装置１００ｂ、認証サーバ４００又はプッシュサーバ５００等の他の装置との間で各種データの送受信を行う。

判定部３５４は、ＣＰＵ３０２からの命令によって実現される。判定部３５４は、端末装置１００ａにおいて動作するアプリケーションと、端末装置１００ｂにおいて動作するアプリケーションとの適合性を判定する。判定部３５４は、端末装置１００ａにおいて動作するアプリケーションが送信する判定要求に応じて、判定結果を端末装置１００ａに送信する。また、判定部３５４は、セッション処理部３５６によってセッションの構築が開始されるときに、端末装置１００ａ及び端末装置１００ｂがセキュアであるか否かを判定することによって、正規の装置であるか否かを判定する。

例えば、判定部３５４は、送受信部３５２が端末装置１００によって送信される該端末装置１００を識別する情報、及び端末装置１００のＩＰアドレスを受信すると、認証サーバ４００へ該端末装置１００を認証することを要求する。判定部３５４は、送受信部３５２から認証サーバ４００へ端末装置１００を識別する情報を送信する。判定部３５４は、認証サーバ４００から認証が成功したことが通知されると該端末装置１００はセキュアであると判定し、認証が失敗したことが通知されると該端末装置１００はセキュアでないと判定する。

判定部３５４は、端末装置１００ａ及び端末装置１００ｂがセキュアであると判定されることによって正規の装置であると判定された場合には、端末装置１００ａに対して高速通信回線を経由して端末装置１００ａと端末装置１００ｂとの間で通信を行うことを許可する情報（以下、トークンという）を発行する。トークンには、有効期限が設定されている。判定部３５４は、セッション処理部３５６によってセッションが確立された後には、所定の頻度で端末装置１００ａ及び端末装置１００ｂがセキュアであるか否かを判定する。

セッション処理部３５６は、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６によって実現される。セッション処理部３５６は、端末装置１００ａにおいて動作するアプリケーションによって送信される通信開始の要求に応じて、端末装置１００ａにおいて実行されているアプリケーションと、端末装置１００ｂにおいて実行されているアプリケーションとの間のセッションを構築する。例えば、セッション処理部３５６は、端末装置１００ａによって端末装置１００ｂとの間で画像を共有する要求があった場合に、端末装置１００ｂとの間の通信のセッションを構築するためのシグナリング処理を行う。

セッション処理部３５６は、端末装置１００ａと端末装置１００ｂとの間でセッションが確立し、判定部３５４によって発行されたトークンを使用して画像を共有する処理を行う。セッション処理部３５６は、端末装置１００ａと端末装置１００ｂとの間でセッションを確立した後に、判定部３５４によって端末装置１００ａ及び端末装置１００ｂがセキュアであると判定された場合にはセッションを維持し、セキュアでないと判定した場合又はトークンの有効期限が経過している場合にはセッションを終了する。

制御部３６０は、ＣＰＵ３０２からの命令によって実現される。制御部３６０は、端末装置１００によって新たなアプリケーションがダウンロードされ、且つ初めて起動された場合に、該端末装置１００によって送信される該新たなアプリケーションのプッシュＩＤと、該新たなアプリケーションを識別する情報とを紐付けて、記憶部３５８に格納する。
記憶部３５８には、端末装置１００を識別する情報と、アプリケーションを識別する情報と、該アプリケーションを識別する情報のプッシュＩＤとを紐付けて格納する。

＜認証サーバの機能構成＞
認証サーバ４００は、送受信部４５２、認証処理部４５４、記憶部４５６、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン４５８を有している。これらの各部は、図６に示されている各構成要素のいずれかが、認証サーバ４００において、不揮発性メモリ３０６からメモリ３０４上に展開されたプログラム３０６２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。

＜認証サーバの各機能構成＞
図６及び図７を用いて、認証サーバ４００の各機能構成について詳細に説明する。なお、以下では、認証サーバ４００の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、認証サーバ４００の各機能構成を実現させるための主な機能要素との関係も説明する。

図７に示されている認証サーバ４００の送受信部４５２は、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６よって実現される。送受信部４５２は、通信網２０を介して、端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００又はプッシュサーバ５００等の他の装置との間で各種データの送受信を行う。

認証処理部４５４は、端末装置１００を認証する。認証処理部４５４は、シグナリングサーバ３００によって供給される端末装置１００を識別する情報が記憶部４５６に格納されている場合には、該端末装置１００を正規の装置であると判定し、格納されていない場合には該端末装置１００を正規の装置でないと判定する。認証処理部４５４は、正規の装置であると判定した場合には認証が成功したことをシグナリングサーバ３００へ通知し、正規の装置でないと判定した場合には認証が失敗したことをシグナリングサーバ３００へ通知する。

また、認証処理部４５４は、シグナリングサーバ３００によって端末装置１００を識別する情報に対応するＩＰアドレスが要求された場合に、端末装置１００を識別する情報に紐づけられたＩＰアドレスを、シグナリングサーバ３００に通知する。
記憶部４５６は、端末装置１００を識別する情報と、該端末装置１００に割り当てられるＩＰアドレスとを紐付けて格納する。

＜プッシュサーバの機能構成＞
プッシュサーバ５００は、送受信部５５２、プッシュ処理部５５４、記憶部５５６、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５５８を有している。これらの各部は、図６に示されている各構成要素のいずれかが、プッシュサーバ５００において、不揮発性メモリ３０６からメモリ３０４上に展開されたプログラム３０６２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。

＜プッシュサーバの各機能構成＞
図６及び図７を用いて、プッシュサーバ５００の各機能構成について詳細に説明する。なお、以下では、プッシュサーバ５００の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、プッシュサーバ５００の各機能構成を実現させるための主な機能要素との関係も説明する。

図７に示されているプッシュサーバ５００の送受信部５５２は、プッシュサーバ５００のＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６よって実現される。送受信部５５２は、通信網２０を介して、端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００又は認証サーバ４００等の他の装置との間で各種データの送受信を行う。

プッシュ処理部５５４は、端末装置１００によって新たなアプリケーションがダウンロードされ、初めて起動された場合に、該端末装置１００によって要求された該新たなアプリケーションのプッシュＩＤの発行を行い、該プッシュＩＤを送受信部５５２から端末装置１００に送信する。
また、プッシュ処理部５５４は、端末装置１００においてアプリケーションがバージョンアップされた場合に、該端末装置１００によって要求された該バージョンアップされたアプリケーションのプッシュＩＤの発行を行うことによって更新し、該更新したプッシュＩＤを送受信部５５２から端末装置１００に送信する。また、プッシュ処理部５５４は、発行したプッシュＩＤを記憶部５５６に格納する。

また、プッシュ処理部５５４は、画像を共有することを要求された端末装置１００ｂにシグナリングサーバ３００がセッションの構築を開始する要求を行う際に、画像を共有することを要求した端末装置１００ａを識別する情報をプッシュ技術により送受信部５５２から端末装置１００ｂへ送信する。ここで、プッシュ技術とは、シグナリングサーバ３００、プッシュサーバ５００等のサーバ装置側から端末装置１００へＩＰアドレスを用いて、通信リクエストを配信する技術をいう。
記憶部５５６は、複数のプッシュＩＤを記憶する。プッシュＩＤとは、端末装置１００上で動作し、且つ他の端末装置との間で画像を共有する機能を有するアプリケーションを識別する情報である。

＜本実施形態に係る通信システムの動作＞
図８、及び図９は、本実施形態に係る通信システムの動作の一例を示す。以下、初期設定、本人認証、セッション構築、画像を共有する動作の順に説明する。

＜初期設定＞
ステップＳ２−１では、プッシュサーバ５００の送受信部５５２によって端末装置１００ａのアプリケーションが送信するプッシュＩＤの発行の要求が受信されると、プッシュサーバ５００のプッシュ処理部５５４は端末装置１００ａによって起動されたアプリケーションに対応するプッシュＩＤを発行する。そして、プッシュ処理部５５４は、該プッシュＩＤを記憶部５５６へ格納するとともに、送受信部５５２から端末装置１００ａへ送信する。

ステップＳ２−２では、プッシュサーバ５００の送受信部５５２によって端末装置１００ｂのアプリケーションが送信するプッシュＩＤの発行の要求が受信されると、プッシュサーバ５００のプッシュ処理部５５４は端末装置１００ｂによって起動されたアプリケーションに対応するプッシュＩＤを発行する。そして、プッシュ処理部５５４は、該プッシュＩＤを記憶部５５６へ格納するとともに、送受信部５５２から端末装置１００ｂへ送信する。

ステップＳ４−１では、端末装置１００ａの通信制御部２５８ａは、アプリケーションを表す情報と、該アプリケーションのプッシュＩＤとを含むレジストレーション情報を、シグナリングサーバ３００へ送信する。

ステップＳ４−２では、端末装置１００ｂの通信制御部２５８ｂは、アプリケーションを表す情報と、該アプリケーションのプッシュＩＤとを含むレジストレーション情報を、シグナリングサーバ３００へ送信する。

ステップＳ４−３では、シグナリングサーバ３００の制御部３６０は、端末装置１００ａによって送信されたレジストレーション情報に含まれるアプリケーションを表す情報とプッシュＩＤとを紐付けて記憶部３５８に格納し、端末装置１００ｂによって送信されたレジストレーション情報に含まれるアプリケーションを表す情報とプッシュＩＤとを紐付けて記憶部３５８に格納する。

＜本人認証＞
ステップＳ６では、シグナリングサーバ３００の判定部３５４は、端末装置１００ａによって送信されたレジストレーション情報に含まれる端末装置１００ａを識別する情報、及び端末装置１００ｂによって送信されたレジストレーション情報に含まれる端末装置１００ｂを識別する情報を認証サーバ４００へ送信する。

認証サーバ４００の認証処理部４５４は、シグナリングサーバ３００によって送信された端末装置１００ａを識別する情報、及び端末装置１００ｂを識別する情報が記憶部４５６に記憶されているか否かを判定する。これによって、認証サーバ４００は、端末装置１００ａのユーザ、及び端末装置１００ｂのユーザを認証する。

ステップＳ７では、認証サーバ４００の認証処理部４５４は、送受信部４５２から認証が成功したか否かを表す情報をシグナリングサーバ３００へ送信する。認証処理部４５４は、端末装置１００ａを識別する情報が記憶部４５６に記憶されている場合には認証が成功したと判定し、端末装置１００ｂを識別する情報が記憶部４５６に記憶されていない場合には認証が失敗したと判定する。

＜セッション構築＞
ステップＳ１０では、端末装置１００ａの画像共有処理部２６０ａは、端末装置１００ａに表示されている画像を共有する要求を送受信部２５２ａからシグナリングサーバ３００へ送信する。シグナリングサーバ３００の送受信部３５２は、端末装置１００ａによって送信された画像を共有する要求を受信することによって受け付ける。

シグナリングサーバ３００の判定部３５４は、画像を共有する要求に含まれる端末装置１００ｂを識別する情報が記憶部３５８に記憶されているか否かを判定することによって、端末装置１００ｂが画像を共有する機能を利用できるか否かを判定する。判定部３５４は、端末装置１００ｂを識別する情報が記憶部３５８に記憶されている場合には画像を共有する機能を利用できると判定し、端末装置１００ｂを識別する情報が記憶部３５８に記憶されていない場合には画像を共有する機能を利用できないと判定する。

ステップＳ１３では、シグナリングサーバ３００の判定部３５４は、端末装置１００ｂが画像を共有する機能を利用できると判定した場合には端末装置１００ａへ画像を共有する機能を利用できることを通知する。一方、シグナリングサーバ３００の判定部３５４は、端末装置１００ｂが画像を共有する機能を利用できないと判定した場合には端末装置１００ａへ画像を共有する機能を利用できないことを通知するようにしてもよい。

ステップＳ１４では、端末装置１００ａの画像共有処理部２６０ａは、送受信部２５２ａによって画像を共有する機能を利用できることを表す情報が受信された場合、送受信部２５２からシグナリングサーバ３００へセッションを構築する要求を送信する。セッションを構築する要求には、送信側の端末装置１００ａを識別する情報と、該端末装置１００ａのＩＰアドレスと、画像を共有させる端末装置１００ｂを識別する情報と、プッシュＩＤとが含まれる。

ステップＳ１５では、シグナリングサーバ３００のセッション処理部３５６は、送受信部３５２によってセッションを構築する要求が受信されると、プッシュサーバ５００へ、セッションを構築する情報を送信する。セッションを構築する情報には、画像を共有することを要求する端末装置１００ａを識別する情報と、プッシュＩＤとが含まれている。

シグナリングサーバ３００のセッション処理部３５６は、端末装置１００ｂを識別する情報をキーとして、記憶部３５８を検索し、該端末装置１００ｂを識別する情報に紐付けられたプッシュＩＤを取得する。該プッシュＩＤは、画像を共有することを要求された端末装置１００ｂにおいて動作するアプリケーションに対応するものである。

ステップＳ１６では、プッシュサーバ５００のプッシュ処理部５５４は、送受信部５５２によってセッションを構築する情報が受信されると、該セッションを構築する情報に含まれるプッシュＩＤに基づいて、端末装置１００ｂへ、画像を共有するアプリケーションを起動する要求をプッシュする。該画像を共有するアプリケーションを起動する要求には、端末装置１００ａを識別する情報が含まれる。

ステップＳ１９では、端末装置１００ｂの表示制御部２６２ｂは画像を共有することを承諾するか拒否するかの回答を促す画像を表示し、操作検出部２５４ｂは端末装置１００ｂのユーザが承諾する操作を行うまで待機する。
端末装置１００ｂのユーザによって承諾する操作が行われた場合、端末装置１００ｂの画像共有処理部２６０ｂは、セッションを構築することを承諾したことを表す情報を送受信部２５２ｂからシグナリングサーバ３００へ送信する。

シグナリングサーバ３００のセッション処理部３５６は、送受信部３５２によって端末装置１００ｂによって送信されたセッションを構築することを承諾したことを表す情報が受信されると、端末装置１００ａと端末装置１００ｂとの間のセッションを確立する。

＜画像を共有する動作＞
図９は、端末装置１００ａが、該端末装置１００ａの画面に表示されている画像を端末装置１００ｂとの間で共有する動作を示すシーケンスチャートである。

ステップＳ２２では、端末装置１００ａと端末装置１００ｂとの間でセッションが確立される。例えば、図８のステップＳ１０−ステップＳ１９の処理が行われることによって、端末装置１００ａと端末装置１００ｂとの間でセッションが確立される。

ステップＳ２４では、端末装置１００ａの画像共有処理部２６０ａは、端末装置１００ａのディスプレイ２１０に表示されている画像を表す情報を生成する。

ステップＳ２６−Ｓ２８では、端末装置１００ａの送受信部２５２ａは、画像共有処理部２６０ａによって生成した画像を表す情報を端末装置１００ｂへ送信する。ここで、通信制御部２５８ａは、通信状況等に基づいて設定される符号化パラメータを適用して画像を表す情報を送信するようにしてもよい。

ステップＳ３０では、端末装置１００ｂの送受信部２５２ｂは、端末装置１００ａによって送信された画像を表す情報を受信する。

ステップＳ３２では、端末装置１００ｂの表示制御部２６２ｂは、送受信部２５２ｂによって受信された画像を表す情報を画像処理することによってディスプレイ２１０に表示する。

ステップＳ３４では、端末装置１００ａの操作検出部２５４ａは、ユーザによって行われた操作を検出する。例えば、操作検出部２５４は、タッチパネルに対して行われた操作、具体的には、スクロール、フリック（ページめくり）スワイプ、ピンチイン、ピンチアウト等の操作を検出する。

ステップＳ３６では、端末装置１００ａの操作検出部２５４ａは、検出した操作が、端末装置１００ｂにおいて画像の劣化を引き起こす操作に該当するか否かを判定する。

ステップＳ３８では、端末装置１００ａのパラメータ演算部２５６ａは、操作検出部２５４ａによって検出された操作が端末装置１００ｂにおいて画像の劣化を引き起こす操作に該当すると判定した場合、符号化パラメータを演算する。例えば、画像の劣化を引き起こす操作と、該操作が行われた場合に適用する符号化パラメータとが紐付けられていてもよい。この場合、パラメータ演算部２５６ａは、操作検出部２５４ａによって検出された端末装置１００ｂにおいて画像の劣化を引き起こす操作に紐付けられた符号化パラメータを適用する。また、例えば、パラメータ演算部２５６ａは、操作検出部２５４によって検出された操作によって、端末装置１００ａのディスプレイ２１０に表示される画像が変化し、端末装置１００ｂへ送信する画像を表す情報の情報量が第１の閾値以上となる場合に、該端末装置１００ｂのディスプレイ２１０に表示される画像が低品質となるように符号化パラメータを変更する。

ステップＳ４０−Ｓ４２では、端末装置１００ａの送受信部２５２ａは、パラメータ演算部２５６ａによって演算された符号化パラメータを端末装置１００ｂへ送信する。

ステップＳ４４では、端末装置１００ｂの送受信部２５２ｂは、端末装置１００ａによって送信された符号化パラメータを受信する。

ステップＳ４６では、端末装置１００ａの画像共有処理部２６０ａは、端末装置１００ａのディスプレイ２１０に表示されている画像を表す情報を生成する。

ステップＳ４８−Ｓ５０では、端末装置１００ａの送受信部２５２ａは、画像共有処理部２６０ａによって生成した画像を表す情報を端末装置１００ｂへ送信する。

ステップＳ５２では、端末装置１００ｂの送受信部２５２ｂは、端末装置１００ａによって送信された画像を表す情報を受信する。

ステップＳ５４では、端末装置１００ｂの表示制御部２６２ｂは、送受信部２５２ｂによって受信された画像を表す情報を符号化パラメータに基づいて画像処理することによってディスプレイ２１０に表示する。

ステップＳ５４の後、端末装置１００ａと端末装置１００ｂとの間で、ステップＳ３４−Ｓ５４の処理が行われる。ここで、端末装置１００ａのパラメータ演算部２５６ａは、符号化パラメータを低品質方向へ変更した後、所定の時間内に操作検出部２５４ａによって端末装置１００ｂに表示される画像の劣化を引き起こす操作が検出されない場合には、通信状況に基づいて符号化パラメータを決定するようにしてもよい。

ステップＳ５６では、端末装置１００ａと端末装置１００ｂとの間で確立されたセッションが終了する。

上述した実施形態においては、端末装置１００ａに対して操作が行われた場合に、画像を表す情報を送信する際に適用される符号化パラメータを変更する場合について説明したが、操作に限らず、端末装置１００ａが動かされることによって生じた操作を検出し、該操作に基づいて、画像を表す情報を送信する際に適用される符号化パラメータを変更するようにしてもよい。

例えば、端末装置１００に１又は複数のセンサーが搭載される。１又は複数のセンサーの一例は、ジャイロセンサー、及び加速度センサーである。ジャイロセンサーは、例えば３軸ジャイロセンサーによって構成され、互いに直交する３軸方向の地軸の大きさをそれぞれ計測する。加速度センサー１０６は、例えば３軸加速度センサーによって構成され、互いに直交する３軸方向の加速度の大きさをそれぞれ計測する。

端末装置１００は、ジャイロセンサーによって計測される３軸方向の地軸の大きさを表す情報、及び加速度センサーによって計測される３軸方向の加速度の大きさを表す情報の両方又は一方に基づいて、端末装置１００が動かされたか否かを判定する。例えば、端末装置１００は、端末装置１００を携帯するユーザが歩いているとき、又は乗り物に乗車しているときなどに、端末装置１００が動かされたか否かを判定する。そして、端末装置１００は、動かされたと判定した場合に、画像を表す情報を送信する際に適用される符号化パラメータを変更する。

また、端末装置１００にジャイロセンサー及び加速度センサーの代わりに、又はジャイロセンサー及び加速度センサーとともに、地磁気センサー、気圧センサー、近接センサー、照度センサーなどを搭載するようにしてもよい。そして、端末装置１００に搭載したジャイロセンサー及び加速度センサーの代わりに、又はジャイロセンサー及び加速度センサーとともに搭載した地磁気センサー、気圧センサー、近接センサー、照度センサーなどによって端末装置１００が動かされたか否かを判定するようにしてもよい。

本実施形態に係る通信システムによれば、端末装置１００ａと端末装置１００ｂとの間で、端末装置１００ａの画面に表示されている画像が共有される。さらに、端末装置１００ａに対して、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の端末装置１００ｂに表示される画像の劣化を引き起こす操作が行われた場合に、画像を表す情報を送信する際に適用される符号化パラメータを変更する。

例えば、端末装置１００ａに対して操作が行われ、端末装置１００ａのディスプレイ２１０に表示される画像が変化し、端末装置１００ｂへ送信する画像を表す情報の量が第１の閾値以上となる場合に、画像のフレームレート、ビットレート、解像度、量子化パラメータ、遅延（バッファサイズ）等を変更することによって、端末装置１００ｂへ送信する画像が低品質となるように変更する。

これによって、端末装置１００ａによって送信される画像を表す情報は低品質であるが、端末装置１００ｂに表示される画像の乱れは低減できるため、端末装置１００ｂのユーザが体感する品質を向上させることができる。つまり、端末装置１００ａと端末装置１００ｂとの間で端末装置１００ａの画面に表示されている画像を共有する場合に、端末装置１００ｂの画面に表示されるノイズを低減し、快適な映像を端末装置１００ｂへ送信することができる。

以上、本発明の実施形態及びその変形を説明したが、これらの実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

上述した実施形態において、端末装置１００ａは自装置の一例であり、端末装置１００ｂは他装置の一例であり、表示制御部は表示部の一例であり、操作検出部は検出部の一例であり、通信制御部は制御部の一例である。

１０…通信システム
２０…通信網
５０ａ、５０ｂ…基地局
１００ａ、１００ｂ…端末装置
２５２ａ、２５２ｂ…送受信部
２５４ａ、２５４ｂ…操作検出部
２５６ａ、２５６ｂ…パラメータ演算部
２５８ａ、２５８ｂ…通信制御部
２６０ａ、２６０ｂ…画像共有処理部
２６２ａ、２６２ｂ…表示制御部
２６４ａ、２６４ｂ…記憶部
３００…シグナリングサーバ
４００…認証サーバ
５００…プッシュサーバ

Claims (7)

1. 自装置と他装置との間で共有される画像を表示する表示部と、
   前記他装置に表示される画像の劣化を引き起こす自装置の前記表示部に対する操作を検出する検出部と、
   前記画像の変化に基づいて、前記他装置へ送信する画像データの符号化パラメータを演算するパラメータ演算部と、
   前記検出部によって検出された前記操作と、前記パラメータ演算部が演算することによって得られた前記符号化パラメータとに基づいて、画像を他装置へ送信する制御を行う制御部と
   を備え、
   前記パラメータ演算部は、前記符号化パラメータが低品質方向に変更されてから所定の時間内に、前記検出部によって前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されたか否かに基づいて、前記符号化パラメータを、通信状況に基づいて、決定する、端末装置。
2. 前記制御部は、前記検出部が検出した前記自装置に対する前記操作によって引き起こされる前記自装置の画像変化に基づいて、画像を前記他装置へ送信する制御を行う、請求項１に記載の端末装置。
3. 前記パラメータ演算部は、前記符号化パラメータが低品質方向に変更されてから所定の時間内に、前記検出部によって前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されない場合に、前記符号化パラメータを、通信状況に基づいて、決定し、
   前記所定の時間は、前記操作毎に設定されている、請求項1又は請求項２に記載の端末装置。
4. 前記パラメータ演算部は、前記画像の変化によって、前記他装置へ送信する画像データの情報量が第１の閾値以上となる場合に、前記符号化パラメータを変更することによって、前記他装置へ送信する画像を低品質へ変更する、請求項１から請求項３のいずれか一項に記載の端末装置。
5. 前記検出部は、前記端末装置が動かされることによって生じた前記自装置に対する前記操作を検出し、
   前記制御部は、前記端末装置が動かされることによって生じた前記自装置に対する前記操作に基づいて、画像を他装置へ送信する制御を行う、請求項１から請求項４のいずれか一項に記載の端末装置。
6. 自装置と他装置との間で共有される画像を表示するステップと、
   前記他装置に表示される画像の劣化を引き起こす自装置の表示部に対する操作を検出するステップと、
   前記画像の変化に基づいて、前記他装置へ送信する画像データの符号化パラメータを演算するステップと、
   前記検出するステップで検出された前記操作と、前記符号化パラメータを演算するステップで演算されることによって得られた前記符号化パラメータとに基づいて、画像を他装置へ送信する制御を行うステップと
   を実行し、
   前記符号化パラメータを演算するステップでは、前記符号化パラメータが低品質方向に変更されてから所定の時間内に、前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されたか否かに基づいて、前記符号化パラメータを、通信状況に基づいて、決定する、端末装置が実行する、通信方法。
7. 端末装置のコンピュータに、
   自装置と他装置との間で共有される画像を表示するステップと、
   前記他装置に表示される画像の劣化を引き起こす自装置の表示部に対する操作を検出するステップと、
   前記画像の変化に基づいて、前記他装置へ送信する画像データの符号化パラメータを演算するステップと、
   検出するステップで検出された前記操作と、前記符号化パラメータを演算するステップで演算されることによって得られた前記符号化パラメータとに基づいて、画像を他装置へ送信する制御を行うステップと、
   前記符号化パラメータが低品質方向に変更されてから所定の時間内に、前記画像の劣化を引き起こす前記自装置の前記表示部に対する操作が検出されたか否かに基づいて、前記符号化パラメータを、通信状況に基づいて、決定するステップと
   を実行させる、プログラム。

Images