JP6499094B2 - Terminal device, information providing method, and computer program - Google Patents

Terminal device, information providing method, and computer program Download PDF

Info

Publication number
JP6499094B2
JP6499094B2 JP2016012506A JP2016012506A JP6499094B2 JP 6499094 B2 JP6499094 B2 JP 6499094B2 JP 2016012506 A JP2016012506 A JP 2016012506A JP 2016012506 A JP2016012506 A JP 2016012506A JP 6499094 B2 JP6499094 B2 JP 6499094B2
Authority
JP
Japan
Prior art keywords
terminal device
quality
image
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016012506A
Other languages
Japanese (ja)
Other versions
JP2017134510A (en
Inventor
将一 村田
将一 村田
淳悟 知識
淳悟 知識
尚樹 今井
尚樹 今井
圭 河村
圭 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2016012506A priority Critical patent/JP6499094B2/en
Publication of JP2017134510A publication Critical patent/JP2017134510A/en
Application granted granted Critical
Publication of JP6499094B2 publication Critical patent/JP6499094B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明の実施形態は、端末装置、情報提供方法、及びコンピュータプログラムに関する。   Embodiments described herein relate generally to a terminal device, an information providing method, and a computer program.

スマートフォン等の端末装置を使用して、通信相手の端末装置との間で画面に表示されている画像等をリアルタイムで共有する機能が提供されている。
端末装置間で画像を共有する技術に関して、共有される描画オブジェクトを記述する情報と、その作成主体を識別する主体識別情報とを保存する保存手段と、画面に対する入力操作に応答して、事前登録された操作イベントを検出するイベント検出手段と、操作イベントに対応する描画オブジェクトの主体識別情報に応じた他の画面共有端末に対し、操作内容を含むメッセージを発行する発行手段と、他の画面共有端末からメッセージを受信して、事前指定された表示条件にて、操作内容を表す画面表示を画面上に行う技術が知られている（例えば、特許文献１を参照）。 A function of sharing an image displayed on a screen with a communication partner terminal device in real time using a terminal device such as a smartphone is provided.
Regarding technology for sharing images between terminal devices, pre-registration in response to an input operation on a screen, storage means for storing information describing a drawing object to be shared and subject identification information for identifying the creation subject Event detecting means for detecting the operated event, issuing means for issuing a message including the operation contents to other screen sharing terminals corresponding to the subject identification information of the drawing object corresponding to the operation event, and other screen sharing A technique is known in which a message is received from a terminal and a screen display representing operation content is displayed on the screen under display conditions specified in advance (see, for example, Patent Document 1).

特開２０１３−６５１２５号公報JP2013-65125A

端末装置は、画像を表す情報を送信することによって、通信相手の端末装置との間で画面に表示されている画像をリアルタイムで共有している。画像等をリアルタイムで共有している状態で、画像を送信する送信側の端末装置において、スクロール、フリック（ページめくり）、拡大又は縮小等の画像の変化の大きい操作が行われた場合、送信側の端末装置から通信相手の受信側の端末装置へ送信される画像のデータ量が増大し、受信側の端末装置に表示される画像の画質が劣化し、ユーザが体感する品質を損ねるおそれがある。   The terminal device shares the image displayed on the screen in real time with the communication partner terminal device by transmitting information representing the image. When an operation with a large image change such as scrolling, flicking (page turning), enlargement or reduction is performed in a terminal device on the transmission side that transmits an image while sharing the image in real time, the transmission side The amount of data of an image transmitted from the terminal device to the receiving terminal device of the communication partner increases, the image quality of the image displayed on the receiving terminal device may deteriorate, and the quality experienced by the user may be impaired. .

本発明は、上記問題を解決すべくなされたもので、端末装置を使用して、通信相手の端末装置との間で画面に表示されている画像等をリアルタイムで共有する際に、通信相手の端末装置のユーザが体感する品質を向上させる、端末装置、情報提供方法、及びコンピュータプログラムを提供することを目的とする。   The present invention has been made to solve the above-described problem. When a terminal device is used to share an image displayed on the screen with a communication partner terminal device in real time, the communication partner It is an object of the present invention to provide a terminal device, an information providing method, and a computer program that improve the quality experienced by the user of the terminal device.

（１）本発明の一態様は、自装置と他装置との間で共有される画像を表示する表示部と、自装置に対する操作を検出する操作検出部と、自装置が前記他装置へ送信する前記画像について、前記操作検出部が検出した操作に基づく前記他装置での表示の品質の低下を判断する品質判断部と、前記品質判断部の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信部と、を備える端末装置である。 (1) According to one aspect of the present invention, a display unit that displays an image shared between the own device and the other device, an operation detection unit that detects an operation on the own device, and the own device transmits to the other device A quality determination unit that determines a decrease in display quality on the other device based on the operation detected by the operation detection unit, and a display on the other device based on a determination result of the quality determination unit. A transmission unit that transmits information about the cause of quality degradation to the other device.

（２）本発明の一態様は、上記（１）に記載の端末装置において、自装置と前記他装置間の通信回線の品質を検出する回線品質検出部をさらに備え、前記送信部は、前記品質判断部の判断の結果と前記回線品質検出部が検出した前記通信回線の品質とに基づいて、前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する、端末装置である。 (2) One aspect of the present invention is the terminal device according to (1), further including a line quality detection unit that detects a quality of a communication line between the own device and the other device, and the transmission unit includes A terminal that transmits information about a cause of a deterioration in display quality in the other device to the other device based on a result of the judgment by the quality judging unit and the quality of the communication line detected by the channel quality detecting unit; Device.

（３）本発明の一態様は、自装置と他装置との間で共有される画像を表示する表示部と、自装置と前記他装置間の通信回線の品質を検出する回線品質検出部と、自装置が前記他装置へ送信する前記画像について、前記回線品質検出部が検出した前記通信回線の品質に基づく前記他装置での表示の品質の低下を判断する品質判断部と、前記品質判断部の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信部と、を備える端末装置である。 (3) According to one aspect of the present invention, a display unit that displays an image shared between the own device and another device, a line quality detection unit that detects a quality of a communication line between the own device and the other device, A quality determination unit that determines a deterioration in display quality in the other device based on the quality of the communication line detected by the line quality detection unit for the image transmitted from the own device to the other device; A transmission unit that transmits information about the cause of the deterioration in display quality on the other device to the other device based on the result of the determination of the unit.

（４）本発明の一態様は、自装置と他装置との間で共有される画像を表示する表示部と、前記他装置が自装置へ送信する前記画像について、前記画像の表示の品質の低下を検出する品質検出部と、前記他装置に対する操作の情報を前記他装置から受信する受信部と、前記品質検出部が前記画像の表示の品質の低下を検出した場合に、前記受信部が前記他装置から受信した前記操作の情報に基づいて、前記画像の表示の品質の低下の原因について報知する報知部と、を備える端末装置である。 (4) According to one aspect of the present invention, there is provided a display unit that displays an image shared between the own device and the other device, and the display quality of the image with respect to the image that the other device transmits to the own device. A quality detection unit that detects a decrease, a reception unit that receives operation information for the other device from the other device, and when the quality detection unit detects a decrease in display quality of the image, the reception unit A notification unit configured to notify a cause of a deterioration in display quality of the image based on the operation information received from the other device.

（５）本発明の一態様は、上記（４）に記載の端末装置において、前記品質検出部が前記画像の表示の品質の低下を検出した場合に、前記他装置に対する操作の情報を前記他装置へ要求する要求部をさらに備える端末装置である。 (5) According to one aspect of the present invention, in the terminal device described in (4) above, when the quality detection unit detects a decrease in the display quality of the image, the operation information for the other device is The terminal device further includes a request unit for requesting the device.

（６）本発明の一態様は、上記（４）又は上記（５）に記載の端末装置において、自装置と前記他装置間の通信回線の品質を検出する回線品質検出部をさらに備え、前記報知部は、前記受信部が前記他装置から受信した前記操作の情報と、前記回線品質検出部が検出した前記通信回線の品質とに基づいて、前記画像の表示の品質の低下の原因について報知する、端末装置である。 (6) One aspect of the present invention is the terminal device according to (4) or (5), further including a line quality detection unit that detects a quality of a communication line between the own apparatus and the other apparatus, The notification unit notifies the cause of the deterioration in the display quality of the image based on the operation information received by the reception unit from the other device and the quality of the communication line detected by the line quality detection unit. It is a terminal device.

（７）本発明の一態様は、端末装置が、自装置と他装置との間で共有される画像を表示する表示ステップと、前記端末装置が、自装置に対する操作を検出する操作検出ステップと、前記端末装置が、自装置が他装置へ送信する前記画像について、前記操作検出ステップによって検出した操作に基づく前記他装置での表示の品質の低下を判断する品質判断ステップと、前記端末装置が、前記品質判断ステップの判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信ステップと、を含む情報提供方法である。 (7) According to one aspect of the present invention, a display step in which a terminal device displays an image shared between the own device and another device, and an operation detection step in which the terminal device detects an operation on the own device; The terminal device determines a deterioration in display quality on the other device based on the operation detected by the operation detection step for the image transmitted from the device to the other device; and the terminal device And a transmission step of transmitting information about the cause of the deterioration in display quality in the other device to the other device based on the result of the judgment in the quality judging step.

（８）本発明の一態様は、端末装置が、自装置と他装置との間で共有される画像を表示する表示ステップと、前記端末装置が、自装置と前記他装置間の通信回線の品質を検出する回線品質検出ステップと、前記端末装置が、自装置が他装置へ送信する前記画像について、前記回線品質検出ステップによって検出した前記通信回線の品質に基づく前記他装置での表示の品質の低下を判断する品質判断ステップと、前記端末装置が、前記品質判断ステップの判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信ステップと、を含む情報提供方法である。 (8) According to one aspect of the present invention, a display step in which a terminal device displays an image shared between the own device and another device, and a communication line between the own device and the other device is displayed by the terminal device. A line quality detecting step for detecting quality, and a quality of display on the other device based on the quality of the communication line detected by the line quality detecting step for the image that the terminal device transmits to the other device. A quality determining step for determining a decrease in quality, and a transmitting step in which the terminal device transmits information about the cause of the deterioration in display quality on the other device to the other device based on the result of the determination in the quality determining step. And providing information.

（９）本発明の一態様は、端末装置が、自装置と他装置との間で共有される画像を表示する表示ステップと、前記端末装置が、前記他装置が自装置へ送信する前記画像について、前記画像の表示の品質の低下を検出する品質検出ステップと、前記端末装置が、前記他装置に対する操作の情報を前記他装置から受信する受信ステップと、前記端末装置が、前記品質検出ステップによって前記画像の表示の品質の低下を検出した場合に、前記受信ステップによって前記他装置から受信した前記操作の情報に基づいて、前記画像の表示の品質の低下の原因について報知する報知ステップと、を含む情報提供方法である。 (9) According to one aspect of the present invention, the terminal device displays an image shared between the own device and the other device, and the terminal device transmits the image that the other device transmits to the own device. A quality detecting step for detecting a decrease in display quality of the image, a receiving step in which the terminal device receives operation information for the other device from the other device, and a terminal device in the quality detecting step. A notification step for notifying the cause of the deterioration in the display quality of the image based on the operation information received from the other device in the reception step when the deterioration in the display quality of the image is detected by: It is the information provision method containing.

（１０）本発明の一態様は、端末装置のコンピュータに、自装置と他装置との間で共有される画像を表示する表示機能と、自装置に対する操作を検出する操作検出機能と、自装置が他装置へ送信する前記画像について、前記操作検出機能が検出した操作に基づく前記他装置での表示の品質の低下を判断する品質判断機能と、前記品質判断機能の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信機能と、を実現させるためのコンピュータプログラムである。 (10) According to one aspect of the present invention, a display function for displaying an image shared between the own device and another device on the computer of the terminal device, an operation detection function for detecting an operation on the own device, and the own device For the image transmitted to the other device, based on the result of the judgment of the quality judgment function and the quality judgment function for judging the deterioration of the display quality on the other device based on the operation detected by the operation detection function. A computer program for realizing a transmission function for transmitting information about a cause of deterioration in display quality in another device to the other device.

（１１）本発明の一態様は、端末装置のコンピュータに、自装置と他装置との間で共有される画像を表示する表示機能と、自装置と前記他装置間の通信回線の品質を検出する回線品質検出機能と、自装置が前記他装置へ送信する前記画像について、前記回線品質検出機能が検出した前記通信回線の品質に基づく前記他装置での表示の品質の低下を判断する品質判断機能と、前記品質判断機能の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信機能と、を実現させるためのコンピュータプログラムである。 (11) According to one aspect of the present invention, a display function for displaying an image shared between the own device and the other device and a quality of a communication line between the own device and the other device are detected on the computer of the terminal device A line quality detection function for determining the quality of the display on the other apparatus based on the quality of the communication line detected by the line quality detection function for the image transmitted by the own apparatus to the other apparatus. A computer program for realizing a function and a transmission function for transmitting information about a cause of deterioration in display quality in the other apparatus to the other apparatus based on a result of the determination of the quality determination function.

（１２）本発明の一態様は、端末装置のコンピュータに、自装置と他装置との間で共有される画像を表示する表示機能と、前記他装置が自装置へ送信する前記画像について、前記画像の表示の品質の低下を検出する品質検出機能と、前記他装置に対する操作の情報を前記他装置から受信する受信機能と、前記品質検出機能が前記画像の表示の品質の低下を検出した場合に、前記受信機能が前記他装置から受信した前記操作の情報に基づいて、前記画像の表示の品質の低下の原因について報知する報知機能と、を実現させるためのコンピュータプログラムである。 (12) According to one aspect of the present invention, there is provided a display function for displaying an image shared between the own device and the other device on the computer of the terminal device, and the image transmitted from the other device to the own device. A quality detection function for detecting a decrease in image display quality, a reception function for receiving operation information for the other device from the other device, and a case where the quality detection function detects a decrease in the display quality of the image. And a notification function for notifying the cause of deterioration in the display quality of the image based on the operation information received from the other device by the reception function.

本発明によれば、端末装置を使用して、通信相手の端末装置との間で画面に表示されている画像等をリアルタイムで共有する際に、通信相手の端末装置のユーザが体感する品質を向上させることができる。   According to the present invention, when a terminal device is used to share an image displayed on the screen with a communication partner terminal device in real time, the quality of the user of the communication partner terminal device is experienced. Can be improved.

本実施形態に係る通信システムを示す図である。It is a figure which shows the communication system which concerns on this embodiment. 本実施形態に係る端末装置によって実行される処理の一例を示す模式図である。It is a schematic diagram which shows an example of the process performed by the terminal device which concerns on this embodiment. 本実施形態に係る端末装置の一例を示す模式図である。It is a schematic diagram which shows an example of the terminal device which concerns on this embodiment. 本実施形態に係る端末装置に表示される画像の一例を示す模式図である。It is a schematic diagram which shows an example of the image displayed on the terminal device which concerns on this embodiment. 本実施形態に係る端末装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the terminal device which concerns on this embodiment. 本実施形態に係るシグナリングサーバのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the signaling server which concerns on this embodiment. 本実施形態に係る通信システムを示す機能ブロック図である。It is a functional block diagram which shows the communication system which concerns on this embodiment. 本実施形態に係る通信システムの動作の一例を示す図である。It is a figure which shows an example of operation | movement of the communication system which concerns on this embodiment. 本実施形態に係る画像を共有する動作（その１）の一例を示す図である。It is a figure which shows an example of the operation | movement (the 1) which shares the image which concerns on this embodiment. 本実施形態に係る画像を共有する動作（その２）の一例を示す図である。It is a figure which shows an example of the operation | movement (the 2) which shares the image which concerns on this embodiment. 本実施形態に係る通信システムを示す機能ブロック図である。It is a functional block diagram which shows the communication system which concerns on this embodiment. 本実施形態に係る画像を共有する動作（その３）の一例を示す図である。It is a figure which shows an example of the operation | movement (the 3) which shares the image which concerns on this embodiment. 本実施形態に係る画像を共有する動作（その４）の一例を示す図である。It is a figure which shows an example of the operation | movement (the 4) which shares the image which concerns on this embodiment.

＜第１の実施形態＞
＜通信システム＞
本実施形態に係る通信システムは複数の端末装置を備え、該複数の端末装置のうち一の端末装置は、１又は複数の他の端末装置へ、端末装置の画面に表示されている画像を表す情報をリアルタイムで送信する。これによって、端末装置は、１又は複数の他の端末装置との間で、端末装置の画面に表示されている画像を共有する。
画面に表示されている画像に限らず、複数の端末装置間で動画等をリアルタイムで共有するようにしてもよい。 <First Embodiment>
<Communication system>
The communication system according to the present embodiment includes a plurality of terminal devices, and one terminal device among the plurality of terminal devices represents an image displayed on the screen of the terminal device to one or more other terminal devices. Send information in real time. Accordingly, the terminal device shares an image displayed on the screen of the terminal device with one or more other terminal devices.
Not only the image displayed on the screen but also a moving image or the like may be shared between a plurality of terminal devices in real time.

図１は、本実施形態に係る通信システムを示す。本実施形態に係る通信システム１０は、端末装置１００ａと、端末装置１００ｂと、基地局５０ａと、基地局５０ｂと、シグナリングサーバ３００と、認証サーバ４００と、プッシュサーバ５００とを備えている。基地局５０ａと、基地局５０ｂと、シグナリングサーバ３００と、認証サーバ４００と、プッシュサーバ５００とは、インターネット等の通信網２０を介して接続される。端末装置１００ａは基地局５０ａを経由して通信網２０と接続され、端末装置１００ｂは基地局５０ｂを経由して通信網２０と接続される。
本実施形態に係る通信システム１０は、端末装置１００ａを使用して、通信相手の端末装置１００ｂとの間で端末装置１００ａの画面に表示されている画像等をリアルタイムで共有する。 FIG. 1 shows a communication system according to the present embodiment. The communication system 10 according to the present embodiment includes a terminal device 100a, a terminal device 100b, a base station 50a, a base station 50b, a signaling server 300, an authentication server 400, and a push server 500. The base station 50a, the base station 50b, the signaling server 300, the authentication server 400, and the push server 500 are connected via a communication network 20 such as the Internet. The terminal device 100a is connected to the communication network 20 via the base station 50a, and the terminal device 100b is connected to the communication network 20 via the base station 50b.
The communication system 10 according to the present embodiment uses the terminal device 100a to share in real time an image displayed on the screen of the terminal device 100a with the communication partner terminal device 100b.

本実施形態に係る通信システム１０では、一例として、端末装置１００ａの画面に表示されている画像をリアルタイムで端末装置１００ｂと共有する場合について説明する。しかし、端末装置とサーバとの間で、該端末装置又は該サーバの画面に表示されている画像をリアルタイムで共有する場合についても適用できる。   In the communication system 10 according to the present embodiment, as an example, a case where an image displayed on the screen of the terminal device 100a is shared with the terminal device 100b in real time will be described. However, the present invention can also be applied to a case where an image displayed on the terminal device or the server screen is shared in real time between the terminal device and the server.

以下、端末装置１００ａと、端末装置１００ｂとを区別しない場合には端末装置１００と記載する。また、基地局５０ａと、基地局５０ｂとを区別しない場合には基地局５０と記載する。端末装置１００は、音声や文字によって他の装置との間で相互に通信が可能な通信装置であり、端末装置１００の一例は、携帯電話、スマートフォン、タブレット端末等である。端末装置１００は、音声情報と、画像情報とを同一の回線で送受信できる高速データ通信回線に接続できる。   Hereinafter, when the terminal device 100a and the terminal device 100b are not distinguished, they are described as the terminal device 100. Moreover, when not distinguishing the base station 50a and the base station 50b, it describes as the base station 50. The terminal device 100 is a communication device that can communicate with another device by voice or text, and examples of the terminal device 100 are a mobile phone, a smartphone, a tablet terminal, and the like. The terminal device 100 can be connected to a high-speed data communication line that can transmit and receive audio information and image information through the same line.

ここで、高速データ通信回線の一例は、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ ：ＬＴＥ）にしたがって構築された通信網である。この高速データ通信回線は、画像や文字等のデジタル情報の送受信に加えて、デジタル化された音声を送受信することによって音声通話を可能にする。デジタル化された音声をＬＴＥの通信網を使用したデータ通信で送受信する方式は、ボイスオーバーロングタームエボリューション（Ｖｏｉｃｅ ｏｖｅｒ Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ ：ＶｏＬＴＥ）と呼ばれる。ＶｏＬＴＥを使用することによって、音声とデータ通信を同時にやり取りでき、通話しながらアプリで通信することができる。
なお、本実施形態に係る端末装置１００が接続する通信回線は、ＬＴＥにしたがって構築された通信網に限られず適用できる。 Here, an example of a high-speed data communication line is a communication network constructed in accordance with Long Term Evolution (LTE). This high-speed data communication line enables voice calls by transmitting and receiving digitized voice in addition to transmission and reception of digital information such as images and characters. A method of transmitting and receiving digitized voice by data communication using an LTE communication network is called voice over long term evolution (VoLTE). By using VoLTE, voice and data communication can be exchanged at the same time, and communication can be performed with an application while making a call.
Note that the communication line to which the terminal device 100 according to the present embodiment is connected is not limited to a communication network constructed according to LTE, and can be applied.

本実施形態に係る通信システム１０では、端末装置１００ａは、端末装置１００ｂとの間で画像情報、音声情報等の情報を双方向に送受信する。例えば、送信側の端末装置１００ａは、受信側の端末装置１００ｂへ、画像データを送信する。受信側の端末装置１００ｂは、端末装置１００ａによって送信された画像データを画像処理することによって、端末装置１００ａの画面に表示されている画像を表示する。   In the communication system 10 according to the present embodiment, the terminal device 100a bidirectionally transmits and receives information such as image information and audio information to and from the terminal device 100b. For example, the transmission-side terminal device 100a transmits image data to the reception-side terminal device 100b. The terminal device 100b on the receiving side displays an image displayed on the screen of the terminal device 100a by performing image processing on the image data transmitted by the terminal device 100a.

基地局５０は、端末装置１００との間で無線通信を行うとともに、通信網２０の末端となり、複数の端末装置間の通信を交換機との間で中継する。
シグナリングサーバ３００は、端末装置１００ａと端末装置１００ｂとの間のセッションを管理する。
認証サーバ４００は、端末装置１００を識別する情報と、インターネットプロトコルアドレス（ＩＰアドレス）とを紐付けて記憶している。端末装置１００を識別する情報の一例は、端末装置１００の電話番号である。 The base station 50 performs wireless communication with the terminal device 100, and becomes a terminal of the communication network 20, and relays communication between the plurality of terminal devices with the exchange.
The signaling server 300 manages a session between the terminal device 100a and the terminal device 100b.
The authentication server 400 stores information for identifying the terminal device 100 and an Internet protocol address (IP address) in association with each other. An example of information for identifying the terminal device 100 is a telephone number of the terminal device 100.

認証サーバ４００は、シグナリングサーバ３００から、端末装置１００を識別する情報に対応するＩＰアドレスの要求があった場合に、該端末装置１００を識別する情報に紐付けられたＩＰアドレスを、シグナリングサーバ３００へ通知する。   When there is a request for an IP address corresponding to information for identifying the terminal device 100 from the signaling server 300, the authentication server 400 displays the IP address associated with the information for identifying the terminal device 100 as the signaling server 300. To notify.

プッシュサーバ５００は、プッシュＩＤを発行し、発行したプッシュＩＤを記憶する。プッシュＩＤとは、端末装置１００上で動作し、且つ画像を共有する機能に対応したアプリケーションを識別する情報である。このプッシュサーバ５００に記憶されるプッシュＩＤと、端末装置１００上で動作するアプリケーションとは、シグナリングサーバ３００によって紐付けられて管理されている。具体的には、端末装置１００において、新たなアプリケーションがダウンロードされ、初めて起動されると、端末装置１００は、プッシュサーバ５００へプッシュＩＤの発行の要求を行う。   The push server 500 issues a push ID and stores the issued push ID. The push ID is information for identifying an application that operates on the terminal device 100 and corresponds to a function for sharing an image. The push ID stored in the push server 500 and the application operating on the terminal device 100 are managed by being associated with each other by the signaling server 300. Specifically, when a new application is downloaded and activated for the first time in the terminal device 100, the terminal device 100 requests the push server 500 to issue a push ID.

プッシュサーバ５００は、プッシュＩＤの発行の要求に応じて、端末装置１００によって起動された新たなアプリケーションに対するプッシュＩＤを発行する。そして、プッシュサーバ５００は、発行したプッシュＩＤを端末装置１００に送信する。端末装置１００は、シグナリングサーバ３００へ、新たなアプリケーションを表す情報と、発行されたプッシュＩＤとを送信する。シグナリングサーバ３００は、プッシュサーバ５００によって送信された新たなアプリケーションを表す情報と、発行されたプッシュＩＤとを紐付けて記憶する。このように構成することによって、プッシュサーバ５００に記憶されるプッシュＩＤと、端末装置１００上で動作するアプリケーションとが、シグナリングサーバ３００によって紐付けられる。   The push server 500 issues a push ID for a new application activated by the terminal device 100 in response to a request for issuing a push ID. Then, the push server 500 transmits the issued push ID to the terminal device 100. The terminal device 100 transmits information representing a new application and the issued push ID to the signaling server 300. The signaling server 300 stores information indicating a new application transmitted by the push server 500 and the issued push ID in association with each other. With this configuration, the push ID stored in the push server 500 and the application operating on the terminal device 100 are linked by the signaling server 300.

＜画像を共有するサービス＞
図２は、本実施形態に係る通信システムによって提供されるサービスの一例を示す模式図である。
図２に示される例では、端末装置１００ａのユーザは、該端末装置１００ａの画面に表示されている地図等の画像に、手書きで目的地を示す矢印を書き込む。矢印を書き込む操作によって、端末装置１００ａは、地図と矢印とが合成された画像Ｐ１０を生成し、該画像Ｐ１０の画像を表す情報を端末装置１００ｂに送信する。端末装置１００ｂは、端末装置１００ａによって送信された画像を表す情報を画像処理することによって該端末装置１００ｂの画面に、画像Ｐ１０に対応する画像Ｐ１１を表示する。このように構成することによって、端末装置１００ａの画面に表示されている画像を、端末装置１００ｂとの間で連動させて表示することができる。 <Image sharing service>
FIG. 2 is a schematic diagram illustrating an example of a service provided by the communication system according to the present embodiment.
In the example shown in FIG. 2, the user of the terminal device 100a writes an arrow indicating the destination by handwriting on an image such as a map displayed on the screen of the terminal device 100a. By the operation of writing the arrow, the terminal device 100a generates an image P10 in which the map and the arrow are combined, and transmits information representing the image of the image P10 to the terminal device 100b. The terminal device 100b displays an image P11 corresponding to the image P10 on the screen of the terminal device 100b by performing image processing on the information representing the image transmitted by the terminal device 100a. With this configuration, an image displayed on the screen of the terminal device 100a can be displayed in conjunction with the terminal device 100b.

なお、端末装置１００ａが動画を撮像できるカメラを備えている場合には、該カメラによって撮像された動画を表す情報を、端末装置１００ｂへ送信するようにしてもよい。
また、動画を提供するサーバによって動画像を表す情報が送信され、該動画像を表す情報を端末装置１００ａが受信し、端末装置１００ａは該動画像を表す情報を端末装置１００ｂへ送信するようにしてもよい。これによって、端末装置１００ａと、端末装置１００ｂとの間で、動画像をリアルタイムで共有することができる。 In addition, when the terminal device 100a includes a camera capable of capturing a moving image, information representing the moving image captured by the camera may be transmitted to the terminal device 100b.
In addition, information representing a moving image is transmitted by a server that provides a moving image, the terminal device 100a receives information representing the moving image, and the terminal device 100a transmits information representing the moving image to the terminal device 100b. May be. Thereby, a moving image can be shared in real time between the terminal device 100a and the terminal device 100b.

なお、端末装置１００ａは、カメラで撮像された動画像等のコンテンツを表す情報をリアルタイムに生成してもよいし、予め用意されている動画像の解像度やフレームレートを変更することによって新たに動画像等のコンテンツを表す情報を生成してもよい。また、端末装置１００ａは、端末装置間において送受信される動画像の情報量を変更することによって新たに動画像等のコンテンツを表す情報を生成してもよい。   Note that the terminal device 100a may generate information representing content such as a moving image captured by the camera in real time, or a new moving image by changing the resolution or frame rate of the moving image prepared in advance. Information representing content such as an image may be generated. Further, the terminal device 100a may newly generate information representing content such as a moving image by changing the information amount of the moving image transmitted and received between the terminal devices.

＜端末装置の構成＞
図３は、本実施形態に係る端末装置の一例を示す模式図である。端末装置１００は、表示部１１０と、操作検出部１２０と、撮像部１３０と、音再生部１４０と、収音部１５０と、通信部１６０と、制御部１７０とを備えている。 <Configuration of terminal device>
FIG. 3 is a schematic diagram illustrating an example of a terminal device according to the present embodiment. The terminal device 100 includes a display unit 110, an operation detection unit 120, an imaging unit 130, a sound reproduction unit 140, a sound collection unit 150, a communication unit 160, and a control unit 170.

表示部１１０は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等によって構成され、文字や写真等の画像を表示する。
操作検出部１２０は、表示部１１０を覆う透明なタッチパネルセンサを備えており、ユーザの操作を検出する。
撮像部１３０は、静止画及び動画を撮像可能なカメラを備えている。このカメラは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子とレンズ等の光学部材とを備えており、端末装置１００の周囲の画像を撮像する。 The display unit 110 is configured by a liquid crystal display, an organic EL display, or the like, for example, and displays images such as characters and photographs.
The operation detection unit 120 includes a transparent touch panel sensor that covers the display unit 110, and detects a user operation.
The imaging unit 130 includes a camera that can capture still images and moving images. The camera includes an imaging element such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor and an optical member such as a lens, and captures an image around the terminal device 100.

音再生部１４０は、スピーカを備えており、入力される音情報を処理することによって音を再生する。
収音部１５０は、マイクを備えており、端末装置１００の周囲の音を収音して、収音した音を音情報に変換する。通信システム１０は、端末装置１００間で動画像に加え、収音部１５０によって収音された音を共有することもできる。 The sound reproduction unit 140 includes a speaker, and reproduces sound by processing input sound information.
The sound collection unit 150 includes a microphone, collects sounds around the terminal device 100, and converts the collected sounds into sound information. The communication system 10 can also share the sound collected by the sound collection unit 150 in addition to the moving image between the terminal devices 100.

通信部１６０は、通信制御用ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を備え、他の装置との間で通信を行う。端末装置１００は、この通信部１６０による通信動作によって、他の装置と通信を行う。   The communication unit 160 includes a communication control IC (Integrated Circuit), and performs communication with other devices. The terminal device 100 communicates with other devices by the communication operation by the communication unit 160.

制御部１７０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、端末装置１００が備える各部を制御する。端末装置１００は、制御部１７０が各部を制御することによって、表示部１１０への表示、操作検出部１２０による操作の検出、通信部１６０による他の装置との通信等の動作を行う。   The control unit 170 includes a CPU (Central Processing Unit) and controls each unit included in the terminal device 100. The terminal device 100 performs operations such as display on the display unit 110, detection of an operation by the operation detection unit 120, and communication with another device by the communication unit 160, as the control unit 170 controls each unit.

＜端末装置間で画像を共有する操作の概要＞
図４は、端末装置間で画像を共有する場合にユーザによって行われる操作について説明する。ここでは、一例として、ユーザＡ（Ａさん）が端末装置１００ａを使用して、該端末装置１００ａに表示されている画像を、ユーザＢ（Ｂさん）が使用する端末装置１００ｂとの間で共有する場合について説明する。 <Overview of operations for sharing images between terminal devices>
FIG. 4 illustrates an operation performed by a user when an image is shared between terminal devices. Here, as an example, the user A (Mr. A) uses the terminal device 100a, and the image displayed on the terminal device 100a is shared with the terminal device 100b used by the user B (Mr. B). The case where it does is demonstrated.

ユーザＡと、ユーザＢとが、図４（Ａ）から図４（Ｅ）に示される操作を順に行うことによって、端末装置１００ａに表示されている画像が端末装置１００ｂとの間で共有される。
ユーザＡが使用する端末装置１００ａと、ユーザＢが使用する端末装置１００ｂとは、ＬＴＥ通信網を経由した音声通話を行っている。ユーザＡが使用する端末装置１００ａと、ユーザＢが使用する端末装置１００ｂとが、ＬＴＥ通信網を経由した音声通話を行っている場合に、端末装置１００ａ及び端末装置１００ｂに表示される画像の一例を、図４（Ａ）に示す。 The user A and the user B perform the operations shown in FIGS. 4A to 4E in order, so that the image displayed on the terminal device 100a is shared with the terminal device 100b. .
The terminal device 100a used by the user A and the terminal device 100b used by the user B are performing a voice call via the LTE communication network. An example of an image displayed on the terminal device 100a and the terminal device 100b when the terminal device 100a used by the user A and the terminal device 100b used by the user B are performing a voice call via the LTE communication network Is shown in FIG.

図４（Ａ）において、ユーザＡの端末装置１００ａの表示部１１０、及びユーザＢの端末装置１００ｂの表示部１１０には、いずれも画像ＰＭＢが表示されている。画像ＰＭＢは、通信の相手側の端末装置１００が、画像を共有する機能に対応していることを示す。つまり、端末装置１００が画像を共有する機能に対応し、且つ画像を共有するアプリケーションを起動している場合に端末装置１００の表示部１１０に画像ＰＭＢが表示される。図４（Ａ）に示される例では、画像ＰＭＢの表示は、端末装置１００ａと、端末装置１００ｂとが、いずれも画像を共有する機能に対応し、且つ画像を共有するアプリケーションを起動していることを示す。   In FIG. 4A, an image PMB is displayed on both the display unit 110 of the user A terminal device 100a and the display unit 110 of the user B terminal device 100b. The image PMB indicates that the terminal device 100 on the communication partner side supports a function for sharing an image. That is, the image PMB is displayed on the display unit 110 of the terminal device 100 when the terminal device 100 corresponds to the function of sharing an image and an application that shares an image is activated. In the example shown in FIG. 4A, the display of the image PMB corresponds to the function of sharing an image by both the terminal device 100a and the terminal device 100b, and an application that shares the image is activated. It shows that.

ユーザＡは、端末装置１００ａの表示部１１０に表示されている共有メニューボタンの画像ＰＭＢをタップ操作する。このタップ操作を端末装置１００ａの操作検出部１２０が検出すると、ランチャー画像Ｐ２０が表示される（図４（Ｂ）を参照）。このランチャー画像Ｐ２０はメニュー画像の一例であり、ランチャー画像Ｐ２０には画像を共有する機能を表すアイコン画像Ｐ２１が含まれている。アイコン画像Ｐ２１が表示されている表示部１１０上の位置を、ユーザがタップ操作することにより、アイコン画像Ｐ２１に対応づけられた画像を共有する機能が起動する。   The user A taps the image PMB of the shared menu button displayed on the display unit 110 of the terminal device 100a. When the operation detection unit 120 of the terminal device 100a detects this tap operation, a launcher image P20 is displayed (see FIG. 4B). The launcher image P20 is an example of a menu image, and the launcher image P20 includes an icon image P21 representing a function for sharing an image. When the user taps the position on the display unit 110 where the icon image P21 is displayed, a function for sharing an image associated with the icon image P21 is activated.

アイコン画像Ｐ２１へのタップ操作を端末装置１００ａの操作検出部１２０が検出すると、画像を共有する機能を説明する画像Ｐ２２が表示される（図４（Ｃ）を参照）。また、アイコン画像Ｐ２１へのタップ操作を端末装置１００ａの操作検出部１２０が検出すると、画像を共有する相手となる端末装置１００ｂの表示部１１０に端末装置１００ａの画面に表示されている画像を共有する機能を開始する承諾を求める画像Ｐ２３が表示される。   When the operation detection unit 120 of the terminal device 100a detects a tap operation on the icon image P21, an image P22 describing a function for sharing an image is displayed (see FIG. 4C). Further, when the operation detection unit 120 of the terminal device 100a detects a tap operation on the icon image P21, the image displayed on the screen of the terminal device 100a is shared with the display unit 110 of the terminal device 100b that is the partner of image sharing. An image P23 requesting consent to start the function to be displayed is displayed.

端末装置１００ａの画面に表示されている画像を共有する承諾を求める画像Ｐ２３が端末装置１００ｂの画面に表示されることによって、端末装置１００ｂのユーザに、画像を共有することを承諾するか否かの回答を促すことができる。図４（Ｃ）の下段に示される例では、承諾を求める画像Ｐ２３は、ユーザＡが使用する端末装置１００ａの画面に表示されている画像を共有することを承諾するか拒否するかの回答を促す画像である。   Whether or not to permit the user of the terminal device 100b to share the image by displaying the image P23 for requesting permission to share the image displayed on the screen of the terminal device 100a on the screen of the terminal device 100b. Can be encouraged. In the example shown in the lower part of FIG. 4 (C), the image P23 for requesting consent gives an answer as to whether to accept or refuse to share the image displayed on the screen of the terminal device 100a used by the user A. It is an image to encourage.

ここでは、ユーザＢが画像を共有することを承諾するタップ操作を行った場合について説明を続ける。つまり、ユーザＢは、承諾を求める画像Ｐ２３の承諾ボタンの画像Ｐ２４をタップ操作する。承諾ボタンの画像Ｐ２４のタップ操作を端末装置１００ｂの操作検出部１２０が検出すると、端末装置１００ｂ及び端末装置１００ａの各表示部１１０に、接続中を示す画像Ｐ２５が表示される（図４（Ｄ）を参照）。接続中を示す画像Ｐ２５が表示されている間に、端末装置１００ａと端末装置１００ｂとの間で、セッションが構築される。ユーザＢが画像を共有することを拒否する操作を行った場合には、端末装置１００ａの画面に表示されている画像が端末装置１００ｂに送信されず、画面を共有する処理が終了する。   Here, the description will be continued for the case where user B performs a tap operation for accepting sharing of an image. That is, the user B taps the image P24 of the approval button of the image P23 for which approval is requested. When the operation detection unit 120 of the terminal device 100b detects the tap operation of the accept button image P24, an image P25 indicating that the connection is being performed is displayed on each display unit 110 of the terminal device 100b and the terminal device 100a (FIG. 4D )). A session is established between the terminal device 100a and the terminal device 100b while the image P25 indicating that the connection is being displayed. When the user B performs an operation of refusing to share the image, the image displayed on the screen of the terminal device 100a is not transmitted to the terminal device 100b, and the process of sharing the screen ends.

次に、端末装置１００ａと端末装置１００ｂとの間において、セッションが確立すると、端末装置１００ａの表示部１１０に表示されている画像Ｐ２６と同様の画像が、端末装置１００ｂの表示部１１０に表示される（図４（Ｅ）を参照）。すなわち、端末装置１００ａと端末装置１００ｂとの間において、端末装置１００ａの画面に表示されている画像が共有される。   Next, when a session is established between the terminal device 100a and the terminal device 100b, an image similar to the image P26 displayed on the display unit 110 of the terminal device 100a is displayed on the display unit 110 of the terminal device 100b. (See FIG. 4E). That is, the image displayed on the screen of the terminal device 100a is shared between the terminal device 100a and the terminal device 100b.

＜端末装置の構成＞
次に、上述した画像を共有する機能を提供する通信システム１０の構成について、図５を参照して説明する。
図５は、本実施形態に係る端末装置１００のハードウェア構成の一例を示す。図５に示される端末装置１００のハードウェア構成においては、図３に示される端末装置の各部と共通する部分についても重複して示される。 <Configuration of terminal device>
Next, the configuration of the communication system 10 that provides the above-described image sharing function will be described with reference to FIG.
FIG. 5 shows an example of a hardware configuration of the terminal device 100 according to the present embodiment. In the hardware configuration of the terminal device 100 shown in FIG. 5, portions common to the respective portions of the terminal device shown in FIG. 3 are also shown redundantly.

端末装置１００は、ＣＰＵ２０２と、メモリ２０４と、不揮発性メモリ２０６と、画像処理部２０８と、ディスプレイ２１０と、操作部２１２と、記録媒体Ｉ／Ｆ２１４と、通信Ｉ／Ｆ２１６と、内部バス２１８とを備えている。
ＣＰＵ２０２は、上述した制御部１７０を構成する。ＣＰＵ２０２は、例えば不揮発性メモリ２０６に格納されるプログラムを実行し、メモリ２０４をワークメモリとして使用して、端末装置１００の各部を制御する。
メモリ２０４は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成され、ＣＰＵ２０２のワークメモリとして使用される。
不揮発性メモリ２０６は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成される。不揮発性メモリ２０６には、ＣＰＵ２０２によって実行されるプログラム２０６２が格納される。 The terminal device 100 includes a CPU 202, a memory 204, a nonvolatile memory 206, an image processing unit 208, a display 210, an operation unit 212, a recording medium I / F 214, a communication I / F 216, and an internal bus 218. It has.
The CPU 202 constitutes the control unit 170 described above. The CPU 202 executes a program stored in the nonvolatile memory 206, for example, and controls each unit of the terminal device 100 using the memory 204 as a work memory.
The memory 204 is configured by a RAM such as a volatile memory using a semiconductor element, and is used as a work memory for the CPU 202.
The non-volatile memory 206 is configured by, for example, a hard disk (HD) or ROM. The nonvolatile memory 206 stores a program 2062 executed by the CPU 202.

画像処理部２０８は、ＣＰＵ２０２の制御によって、不揮発性メモリ２０６や記録媒体２２０に格納された画像データや、通信Ｉ／Ｆ２１６を介して取得した画像を表す情報等に各種画像処理を行う。画像処理部２０８が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大処理又は縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。
画像処理部２０８は、特定の画像処理を行う専用の回路モジュールによって構成されてもよい。また、画像処理の種別によっては画像処理部２０８の代わりにＣＰＵ２０２がプログラムを実行することによって画像処理を行うようにしてもよい。 The image processing unit 208 performs various types of image processing on the image data stored in the nonvolatile memory 206 and the recording medium 220, information representing an image acquired via the communication I / F 216, and the like under the control of the CPU 202. The image processing performed by the image processing unit 208 includes A / D conversion processing, D / A conversion processing, image data encoding processing, compression processing, decoding processing, enlargement processing or reduction processing (resizing), noise reduction processing, color Conversion processing and the like are included.
The image processing unit 208 may be configured by a dedicated circuit module that performs specific image processing. Depending on the type of image processing, the CPU 202 may execute image processing instead of the image processing unit 208 to execute image processing.

ディスプレイ２１０は、上述した表示部１１０を構成する。ディスプレイ２１０は、ＣＰＵ２０２によって制御され、画像、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。ＣＰＵ２０２は、プログラムを実行することによって制御信号や、ディスプレイ２１０に表示する画像を表す映像信号を生成し、ディスプレイ２１０に出力する。   The display 210 constitutes the display unit 110 described above. The display 210 is controlled by the CPU 202 and displays an image, a GUI (Graphical User Interface), and the like. The CPU 202 generates a control signal and a video signal representing an image to be displayed on the display 210 by executing a program, and outputs the control signal to the display 210.

ディスプレイ２１０は、ＣＰＵ２０２によって出力された映像信号を処理することによって、映像を表示する。なお、端末装置１００が映像信号を出力するインターフェースを備え、該インターフェースにディスプレイ２１０を接続するようにしてもよい。このように構成することによって、端末装置１００に外付けのモニターを接続し、該モニターに画像を表示させることができる。   The display 210 displays a video by processing the video signal output by the CPU 202. Note that the terminal device 100 may include an interface for outputting a video signal, and the display 210 may be connected to the interface. With this configuration, it is possible to connect an external monitor to the terminal device 100 and display an image on the monitor.

操作部２１２は、上述した操作検出部１２０を構成する。操作部２１２は、ユーザの操作を受け付ける入力デバイスであり、キーボード等の文字情報を入力するデバイス、マウス、タッチパネル等のポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッド等を含む。
本実施形態では、一例として、操作部２１２がタッチパネルを構成する場合について説明を続ける。タッチパネルは、ディスプレイ２１０に重ね合わせて平面的に構成される。 The operation unit 212 constitutes the operation detection unit 120 described above. The operation unit 212 is an input device that accepts user operations, and includes a device for inputting character information such as a keyboard, a pointing device such as a mouse and a touch panel, a button, a dial, a joystick, a touch sensor, and a touch pad.
In the present embodiment, as an example, the case where the operation unit 212 forms a touch panel will be described. The touch panel is configured to be two-dimensionally superimposed on the display 210.

タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルは、接触された位置に応じた座標を表す情報をＣＰＵ２０２へ出力する。なお、操作部２１２にタッチパネルが含まれる場合、ＣＰＵ２０２はタッチパネルに対して行われた操作、あるいはタッチパネルの状態を検出する。   The touch panel may be any of various types of touch panels such as a resistive film type, a capacitance type, a surface acoustic wave type, an infrared type, an electromagnetic induction type, an image recognition type, and an optical sensor type. . The touch panel outputs information representing coordinates according to the touched position to the CPU 202. When the operation unit 212 includes a touch panel, the CPU 202 detects an operation performed on the touch panel or the state of the touch panel.

ＣＰＵ２０２は、タッチパネルに触れていなかった指やペンが新たにタッチパネルに触れたことを検出する。つまり、ＣＰＵ２０２は、タッチパネルに対してタッチが開始されたこと（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）という）を検出する。
ＣＰＵ２０２は、タッチパネルを指やペンで触れている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）という）を検出する。
ＣＰＵ２０２は、タッチパネルを指やペンで触れたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）という）を検出する。
ＣＰＵ２０２は、タッチパネルへ触れていた指やペンを離したこと、すなわち、タッチが終了したこと（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）という）を検出する。
ＣＰＵ２０２は、タッチパネルに何も触れていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）という）を検出する。 The CPU 202 detects that a finger or pen that has not touched the touch panel newly touched the touch panel. That is, the CPU 202 detects that a touch is started on the touch panel (hereinafter referred to as touch-down).
The CPU 202 detects that the touch panel is being touched with a finger or a pen (hereinafter referred to as touch-on).
The CPU 202 detects that the touch panel is moved while being touched with a finger or a pen (hereinafter referred to as touch-move).
The CPU 202 detects that the finger or pen that has been touching the touch panel has been released, that is, that the touch has ended (hereinafter referred to as touch-up).
The CPU 202 detects a state where nothing is touched on the touch panel (hereinafter referred to as touch-off).

ＣＰＵ２０２は、タッチダウンを検出すると同時にタッチオンであることも検出する。ＣＰＵ２０２は、タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオン状態を検出し続ける。ＣＰＵ２０２は、タッチオンが検出されている状態で、タッチムーブを検出する。ＣＰＵ２０２は、タッチオンを検出していても、タッチ位置が移動していなければタッチムーブを検出しない。ＣＰＵ２０２は、タッチしていた全ての指やペンがタッチアップしたことを検出した後は、タッチオフを検出する。   The CPU 202 detects that the touch-down is detected at the same time that the touch-down is detected. The CPU 202 normally continues to detect the touch-on state after the touchdown unless a touchup is detected. The CPU 202 detects a touch move in a state where touch-on is detected. Even if the CPU 202 detects the touch-on, the CPU 202 does not detect the touch move unless the touch position is moved. The CPU 202 detects touch-off after detecting that all the fingers or pens that have been touched have touched up.

タッチパネルに対して行われた操作、あるいはタッチパネルの状態を表す情報は、内部バス２１８を通じてＣＰＵ２０２へ通知される。また、タッチパネルへ指やペンが触れている位置の座標を表す情報は内部バス２１８を通じてＣＰＵ２０２へ通知される。ＣＰＵ２０２は、タッチパネルによって通知された情報に基づいて、タッチパネルに対して行われた操作を判定する。ＣＰＵ２０２は、タッチムーブを検出する際に、タッチパネル上で移動する指やペンの触れている位置の座標の変化に基づいて、タッチパネル上の垂直成分、水平成分毎に判定する。   Information representing the operation performed on the touch panel or the state of the touch panel is notified to the CPU 202 through the internal bus 218. Information representing the coordinates of the position where the finger or pen touches the touch panel is notified to the CPU 202 via the internal bus 218. CPU 202 determines an operation performed on the touch panel based on information notified by the touch panel. When detecting the touch move, the CPU 202 makes a determination for each vertical component and horizontal component on the touch panel based on the change in coordinates of the position touched by the finger or pen moving on the touch panel.

また、ＣＰＵ２０２は、タッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップが行われたとき、ストロークが描かれたと判定する。ここで、ＣＰＵ２０２は、素早くストロークを描く操作が行われたとき、フリック又はスワイプが行われたと判定する。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離す操作であり、換言すればタッチパネル上を指ではじくように素早くなぞる操作である。スワイプは、タッチパネル上に指を触れたまま一定の方向へある程度の距離だけ動かして、そのまま離す操作であり、換言すればタッチパネル上を指で掃くようになぞる操作である。ＣＰＵ２０２は、所定の距離以上の距離を、所定の速度以上の速度でタッチムーブしたことを検出し、そのままタッチアップを検出した場合にフリックが行なわれたと判定する。また、ＣＰＵ２０２は、所定の距離以上の距離を、所定の速度未満の速度でタッチムーブしたことが検出された場合にドラッグが行なわれたと判定する。   Further, the CPU 202 determines that a stroke has been drawn when a touch-up is performed on the touch panel through a certain touch move from a touch-down. Here, the CPU 202 determines that a flick or swipe has been performed when an operation for drawing a stroke is performed quickly. A flick is an operation of quickly moving a certain distance while touching a finger on the touch panel and then releasing it. In other words, it is an operation of quickly tracing the touch panel with a finger. Swipe is an operation of moving a certain distance in a certain direction while touching a finger on the touch panel and releasing it, in other words, an operation of tracing the touch panel with a finger. The CPU 202 detects that the touch move is performed at a distance equal to or greater than the predetermined distance at a speed equal to or higher than the predetermined speed, and determines that the flick has been performed when the touch-up is detected as it is. In addition, the CPU 202 determines that the drag has been performed when it is detected that the touch movement is performed at a speed less than the predetermined speed at a distance greater than the predetermined distance.

また、ＣＰＵ２０２は、タッチパネル上を２本の指でそれぞれの内側になぞるように動かす操作、換言すれば画面をつまみ、なぞるような操作が行われたとき、ピンチインが行われたと判定する。ピンチインは、主に画像の縮小を行う操作である。
また、ＣＰＵ２０２は、タッチパネル上を２本の指でそれぞれの外側になぞるように動かす操作、換言すれば画面を広げるような操作が行われたとき、ピンチアウトが行われたと判定する。ピンチアウトは、主に画像の拡大を行う操作である。 Further, the CPU 202 determines that a pinch-in has been performed when an operation of moving the touch panel so as to trace each inside with two fingers, in other words, an operation of pinching and tracing the screen is performed. Pinch-in is an operation that mainly reduces an image.
Further, the CPU 202 determines that the pinch out has been performed when an operation of moving the touch panel so as to trace the outside with two fingers, in other words, an operation of expanding the screen is performed. Pinch out is an operation that mainly enlarges an image.

記録媒体Ｉ／Ｆ２１４は、メモリカード、ＣＤ、ＤＶＤ等の記録媒体２２０が装着可能であり、ＣＰＵ２０２の制御によって、記録媒体Ｉ／Ｆ２１４に装着された記録媒体２２０からのデータの読み出しや、該記録媒体２２０へのデータの書き込みを行う。
通信Ｉ／Ｆ２１６は、上述した通信部１６０によって構成される。通信Ｉ／Ｆ２１６は、外部機器や、インターネット等の通信網２０に接続された基地局５０等と通信して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。 The recording medium I / F 214 can be loaded with a recording medium 220 such as a memory card, a CD, or a DVD. Under the control of the CPU 202, data can be read from the recording medium 220 mounted on the recording medium I / F 214, and the recording can be performed. Data is written to the medium 220.
The communication I / F 216 is configured by the communication unit 160 described above. The communication I / F 216 is an interface for communicating with an external device, the base station 50 connected to the communication network 20 such as the Internet, and the like, and transmitting and receiving various data such as files and commands.

内部バス２１８は、ＣＰＵ２０２、メモリ２０４、不揮発性メモリ２０６、画像処理部２０８、ディスプレイ２１０、操作部２１２、記録媒体Ｉ／Ｆ２１４、通信Ｉ／Ｆ２１６を互いに接続する。内部バス２１８に接続される各部は、内部バス２１８を介して互いにデータのやりとりを行うことができるようにされている。   The internal bus 218 connects the CPU 202, the memory 204, the nonvolatile memory 206, the image processing unit 208, the display 210, the operation unit 212, the recording medium I / F 214, and the communication I / F 216 to each other. Each unit connected to the internal bus 218 can exchange data with each other via the internal bus 218.

＜シグナリングサーバの構成＞
図６は、本実施形態に係るシグナリングサーバ３００のハードウェア構成の一例を示す。シグナリングサーバ３００は、ＣＰＵ３０２と、メモリ３０４と、不揮発性メモリ３０６と、通信Ｉ／Ｆ３１６と、内部バス３１８とを備えている。 <Configuration of signaling server>
FIG. 6 shows an example of the hardware configuration of the signaling server 300 according to this embodiment. The signaling server 300 includes a CPU 302, a memory 304, a nonvolatile memory 306, a communication I / F 316, and an internal bus 318.

ＣＰＵ２０２は、例えば不揮発性メモリ３０６に格納されるプログラムを実行し、メモリ３０４をワークメモリとして使用して、シグナリングサーバ３００の各部を制御する。
メモリ３０４は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成される。メモリ３０４は、ＣＰＵ２０２のワークメモリとして使用される。
不揮発性メモリ３０６は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成され、ＣＰＵ３０２によって実行されるプログラムが格納される。 The CPU 202 executes a program stored in the nonvolatile memory 306, for example, and controls each unit of the signaling server 300 using the memory 304 as a work memory.
The memory 304 is configured by a RAM such as a volatile memory using a semiconductor element. The memory 304 is used as a work memory for the CPU 202.
The nonvolatile memory 306 is configured by, for example, a hard disk (HD), a ROM, or the like, and stores a program executed by the CPU 302.

通信Ｉ／Ｆ３１６は、外部機器と通信して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。
内部バス３１８は、ＣＰＵ３０２、メモリ３０４、不揮発性メモリ３０６、通信Ｉ／Ｆ３１６を互いに接続する。内部バス３１８に接続される各部は、内部バス３１８を介して互いにデータのやりとりを行うことができるようにされている。 The communication I / F 316 is an interface for communicating with an external device and transmitting / receiving various data such as files and commands.
The internal bus 318 connects the CPU 302, the memory 304, the nonvolatile memory 306, and the communication I / F 316 to each other. Each unit connected to the internal bus 318 can exchange data with each other via the internal bus 318.

認証サーバ４００、及びプッシュサーバ５００のハードウェア構成は、図６を適用できる。ただし、認証サーバ４００の不揮発性メモリ３０６には認証サーバ４００のＣＰＵ３０２によって実行されるプログラムが格納され、プッシュサーバ５００の不揮発性メモリ３０６にはプッシュサーバ５００のＣＰＵ３０２によって実行されるプログラムが格納される。   6 can be applied to the hardware configuration of the authentication server 400 and the push server 500. However, a program executed by the CPU 302 of the authentication server 400 is stored in the nonvolatile memory 306 of the authentication server 400, and a program executed by the CPU 302 of the push server 500 is stored in the nonvolatile memory 306 of the push server 500. .

＜本実施形態に係る通信システムの機能構成＞
次に、本実施形態の機能構成について説明する。図７は、本実施形態の通信システム１０を構成する端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００、認証サーバ４００、及びプッシュサーバ５００の機能ブロック図である。図７では、端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００、認証サーバ４００、及びプッシュサーバ５００が、通信網２０を介してデータ通信することができるように接続されている。また、図１に示されている基地局５０ａ、及び基地局５０ｂは、図７では省略されている。 <Functional configuration of communication system according to this embodiment>
Next, the functional configuration of this embodiment will be described. FIG. 7 is a functional block diagram of the terminal device 100a, the terminal device 100b, the signaling server 300, the authentication server 400, and the push server 500 that constitute the communication system 10 of the present embodiment. In FIG. 7, the terminal device 100 a, the terminal device 100 b, the signaling server 300, the authentication server 400, and the push server 500 are connected so that data communication can be performed via the communication network 20. Further, the base station 50a and the base station 50b shown in FIG. 1 are omitted in FIG.

＜端末装置の機能構成＞
端末装置１００ａは、送受信部２５２ａ、操作検出部２５４ａ、回線品質検出部２５５ａ、品質劣化推定部２５６ａ、品質劣化原因処理部２５７ａ、通信制御部２５８ａ、画像共有処理部２６０ａ、表示制御部２６２ａ、記憶部２６４ａ、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６８ａを有している。これらの各部は、図５に示されている各構成要素のいずれかが、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。 <Functional configuration of terminal device>
The terminal device 100a includes a transmission / reception unit 252a, an operation detection unit 254a, a line quality detection unit 255a, a quality deterioration estimation unit 256a, a quality deterioration cause processing unit 257a, a communication control unit 258a, an image sharing processing unit 260a, a display control unit 262a, a storage As shown in FIG. 7, the unit 264a and a bus line 268a such as an address bus and a data bus for electrically connecting the above components are provided. Each of these units is a function realized by any one of the constituent elements shown in FIG. 5 operating according to an instruction from the CPU 202 that executes the program 2062 expanded from the nonvolatile memory 206 onto the memory 204. It is.

＜端末装置の各機能構成＞
図５及び図７を用いて、端末装置１００ａの各機能構成について詳細に説明する。なお、以下では、端末装置１００ａの各機能構成を説明するにあたって、図５に示されている各構成要素のうち、端末装置１００ａの各機能構成を実現させるための主な機能要素との関係も説明する。 <Each functional configuration of terminal device>
Each functional configuration of the terminal device 100a will be described in detail with reference to FIGS. In the following, in describing each functional configuration of the terminal device 100a, among the components illustrated in FIG. 5, the relationship with the main functional elements for realizing each functional configuration of the terminal device 100a is also described. explain.

図７に示されている端末装置１００ａの送受信部２５２ａは、ＣＰＵ２０２からの命令、及び通信Ｉ／Ｆ２１６よって実現される。送受信部２５２ａは、基地局５０ａ、及び通信網２０を介して、端末装置１００ｂ、シグナリングサーバ３００、認証サーバ４００又はプッシュサーバ５００等の他の装置との間で各種データの送受信を行う。   The transmission / reception unit 252a of the terminal device 100a illustrated in FIG. 7 is realized by a command from the CPU 202 and the communication I / F 216. The transmission / reception unit 252a transmits / receives various data to / from other devices such as the terminal device 100b, the signaling server 300, the authentication server 400, or the push server 500 via the base station 50a and the communication network 20.

操作検出部２５４ａは、ＣＰＵ２０２からの命令、及び操作部２１２によって実現される。操作検出部２５４ａは、利用者による各種入力を検出する。操作検出部２５４ａは、端末装置１００ａと端末装置１００ｂとの間で、画像を共有する処理が開始された後に、端末装置１００ｂに表示される画像の劣化を引き起こす端末装置１００ａに対する操作を検出する。具体的には、操作検出部２５４ａは、タッチパネルに対して行われた操作のうち、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の端末装置１００ｂに表示される画像の劣化を引き起こす操作を検出する。また、操作検出部２５４ａは、カメラパン等の端末装置１００ａの動作を検出する。操作検出部２５４ａは、検出した操作や動作を表す情報を品質劣化推定部２５６ａへ入力する。   The operation detection unit 254a is realized by an instruction from the CPU 202 and the operation unit 212. The operation detection unit 254a detects various inputs by the user. The operation detection unit 254a detects an operation on the terminal device 100a that causes deterioration of an image displayed on the terminal device 100b after a process of sharing an image is started between the terminal device 100a and the terminal device 100b. Specifically, the operation detection unit 254a causes deterioration of an image displayed on the terminal device 100b such as scroll, flick (page turning), swipe, pinch in, and pinch out among operations performed on the touch panel. Detect operations. Further, the operation detection unit 254a detects the operation of the terminal device 100a such as a camera pan. The operation detection unit 254a inputs information representing the detected operation or operation to the quality degradation estimation unit 256a.

回線品質検出部２５５ａは、ＣＰＵ２０２からの命令、及び通信Ｉ／Ｆ２１６によって実現される。回線品質検出部２５５ａは、端末装置１００ａと端末装置１００ｂとの間の回線の品質を検出する。例えば、回線品質検出部２５５ａは、通信速度等の回線品質を検出し、品質劣化推定部２５６ａへ出力する。   The line quality detection unit 255a is realized by a command from the CPU 202 and the communication I / F 216. The line quality detection unit 255a detects the quality of the line between the terminal device 100a and the terminal device 100b. For example, the line quality detection unit 255a detects the line quality such as the communication speed and outputs it to the quality deterioration estimation unit 256a.

品質劣化推定部２５６ａは、ＣＰＵ２０２からの命令によって実現される。品質劣化推定部２５６ａは、端末装置１００ｂに表示される画像が劣化するか否かを推定する。例えば、品質劣化推定部２５６ａは、操作検出部２５４ａによって操作や動作を表す情報が入力された場合に、端末装置１００ｂに表示される画像が劣化すると推定する。また、例えば、品質劣化推定部２５６ａは、回線品質検出部２５５ａによって入力される回線品質に基づいて、端末装置１００ｂに表示される画像が劣化するか否かを推定する。この場合、品質劣化推定部２５６ａは、通信速度がしきい値未満である場合に端末装置１００ｂに表示される画像が劣化すると推定し、通信速度がしきい値以上である場合に端末装置１００ｂに表示される画像が劣化しないと推定する。品質劣化推定部２５６ａは、端末装置１００ｂに表示される画像が劣化すると推定した場合に、品質劣化原因処理部２５７ａへ端末装置１００ｂに表示される画像が劣化することを表す情報を出力する。   The quality deterioration estimation unit 256a is realized by an instruction from the CPU 202. The quality deterioration estimation unit 256a estimates whether or not an image displayed on the terminal device 100b is deteriorated. For example, the quality degradation estimation unit 256a estimates that an image displayed on the terminal device 100b is degraded when information indicating an operation or an operation is input by the operation detection unit 254a. For example, the quality degradation estimation unit 256a estimates whether or not the image displayed on the terminal device 100b is degraded based on the channel quality input by the channel quality detection unit 255a. In this case, the quality degradation estimation unit 256a estimates that the image displayed on the terminal device 100b is degraded when the communication speed is less than the threshold value, and determines that the terminal device 100b has a communication speed that is equal to or higher than the threshold value. It is estimated that the displayed image does not deteriorate. When it is estimated that the image displayed on the terminal device 100b is deteriorated, the quality deterioration estimation unit 256a outputs information indicating that the image displayed on the terminal device 100b is deteriorated to the quality deterioration cause processing unit 257a.

品質劣化原因処理部２５７ａは、ＣＰＵ２０２からの命令によって実現される。品質劣化原因処理部２５７ａは、品質劣化推定部２５６ａによって端末装置１００ｂに表示される画像が劣化することを表す情報が供給された場合に、端末装置１００ｂへ画像の品質が劣化することを通知する処理を行う。例えば、品質劣化原因処理部２５７ａは、通信制御部２５８ａへ画像の品質が劣化することを表す情報を出力する。ここで、画像の品質が劣化することを表す情報は画像情報であってもよいし、音声情報であってもよい。   The quality deterioration cause processing unit 257a is realized by a command from the CPU 202. The quality deterioration cause processing unit 257a notifies the terminal device 100b that the quality of the image is deteriorated when the information indicating that the image displayed on the terminal device 100b is deteriorated is supplied by the quality deterioration estimation unit 256a. Process. For example, the quality degradation cause processing unit 257a outputs information indicating that the image quality is degraded to the communication control unit 258a. Here, the information indicating that the quality of the image is deteriorated may be image information or audio information.

通信制御部２５８ａは、ＣＰＵ２０２からの命令によって実現される。通信制御部２５８ａは、情報を送受信する制御を行う。例えば、通信制御部２５８ａは、端末装置１００ｂへ送信する画像に符号化パラメータを適用して符号化し、送受信部２５２へ出力する。また、通信制御部２５８ａは、品質劣化原因処理部２５７ａによって画像の品質が劣化することを表す情報が供給された場合に、端末装置１００ｂへ画像の品質が劣化することを通知する制御を行う。   The communication control unit 258a is realized by a command from the CPU 202. The communication control unit 258a performs control for transmitting and receiving information. For example, the communication control unit 258a encodes an image to be transmitted to the terminal device 100b by applying an encoding parameter, and outputs the image to the transmission / reception unit 252. Further, the communication control unit 258a performs control to notify the terminal device 100b that the image quality is deteriorated when the information indicating that the image quality is deteriorated is supplied by the quality deterioration cause processing unit 257a.

画像共有処理部２６０ａは、ＣＰＵ２０２からの命令によって実現される。画像共有処理部２６０ａは、端末装置１００ｂとの間で、端末装置１００ａのディスプレイ２１０に表示されている画像を共有する処理を行う。例えば、画像共有処理部２６０ａは、ディスプレイ２１０に表示されている画像を表す情報を生成し、通信制御部２５８へ出力する。
表示制御部２６２ａは、ＣＰＵ２０２からの命令、及びディスプレイ２１０によって実現される。表示制御部２６２ａは、ディスプレイ２１０に画像等を表示する制御を行う。
記憶部２６４ａには、端末装置１００ａを識別する情報等が記憶される。さらに、記憶部２６４ａには、端末装置１００ｂへ送信する画像を表す情報が一時的に記憶される。 The image sharing processing unit 260a is realized by a command from the CPU 202. The image sharing processing unit 260a performs a process of sharing an image displayed on the display 210 of the terminal device 100a with the terminal device 100b. For example, the image sharing processing unit 260 a generates information representing an image displayed on the display 210 and outputs the information to the communication control unit 258.
The display control unit 262a is realized by a command from the CPU 202 and the display 210. The display control unit 262a performs control to display an image or the like on the display 210.
The storage unit 264a stores information for identifying the terminal device 100a. Furthermore, information representing an image to be transmitted to the terminal device 100b is temporarily stored in the storage unit 264a.

端末装置１００ｂは、送受信部２５２ｂ、操作検出部２５４ｂ、回線品質検出部２５５ｂ、品質劣化推定部２５６ｂ、品質劣化原因処理部２５７ｂ、通信制御部２５８ｂ、画像共有処理部２６０ｂ、表示制御部２６２ｂ、記憶部２６４ｂ、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６８ｂを有している。これらの各部は、図５に示されている各構成要素のいずれかが、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。   The terminal device 100b includes a transmission / reception unit 252b, an operation detection unit 254b, a line quality detection unit 255b, a quality degradation estimation unit 256b, a quality degradation cause processing unit 257b, a communication control unit 258b, an image sharing processing unit 260b, a display control unit 262b, a storage As shown in FIG. 7, the unit 264b and a bus line 268b such as an address bus or a data bus for electrically connecting the above components are provided. Each of these units is a function realized by any one of the constituent elements shown in FIG. 5 operating according to an instruction from the CPU 202 that executes the program 2062 expanded from the nonvolatile memory 206 onto the memory 204. It is.

送受信部２５２ｂ、操作検出部２５４ｂ、回線品質検出部２５５ｂ、品質劣化推定部２５６ｂ、品質劣化原因処理部２５７ｂ、通信制御部２５８ｂ、画像共有処理部２６０ｂ、表示制御部２６２ｂ、及び記憶部２６４ｂは、上述した送受信部２５２ａ、操作検出部２５４ａ、回線品質検出部２５５ａ、品質劣化推定部２５６ａ、品質劣化原因処理部２５７ａ、通信制御部２５８ａ、画像共有処理部２６０ａ、表示制御部２６２ａ、及び記憶部２６４ａを適用できる。   The transmission / reception unit 252b, the operation detection unit 254b, the line quality detection unit 255b, the quality degradation estimation unit 256b, the quality degradation cause processing unit 257b, the communication control unit 258b, the image sharing processing unit 260b, the display control unit 262b, and the storage unit 264b The transmission / reception unit 252a, the operation detection unit 254a, the line quality detection unit 255a, the quality degradation estimation unit 256a, the quality degradation cause processing unit 257a, the communication control unit 258a, the image sharing processing unit 260a, the display control unit 262a, and the storage unit 264a. Can be applied.

＜シグナリングサーバの機能構成＞
シグナリングサーバ３００は、送受信部３５２、判定部３５４、セッション処理部３５６、記憶部３５８、制御部３６０、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３６２を有している。これらの各部は、図６に示されている各構成要素のいずれかが、シグナリングサーバ３００において、不揮発性メモリ３０６からメモリ３０４上に展開されたプログラム３０６２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。 <Functional configuration of signaling server>
The signaling server 300 includes a transmission / reception unit 352, a determination unit 354, a session processing unit 356, a storage unit 358, a control unit 360, and an address bus for electrically connecting the above components as shown in FIG. And a bus line 362 such as a data bus. Each of these units operates according to an instruction from the CPU 302 that executes a program 3062 expanded from the non-volatile memory 306 to the memory 304 in the signaling server 300 in each of the components illustrated in FIG. It is a function realized by.

＜シグナリングサーバの各機能構成＞
図６及び図７を用いて、シグナリングサーバ３００の各機能構成について詳細に説明する。なお、以下では、シグナリングサーバ３００の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、シグナリングサーバ３００の各機能構成を実現させるための主な機能要素との関係も説明する。 <Functional configuration of signaling server>
Each functional configuration of the signaling server 300 will be described in detail with reference to FIGS. 6 and 7. In the following, in describing each functional configuration of the signaling server 300, among the components illustrated in FIG. 6, the relationship with the main functional components for realizing the functional configurations of the signaling server 300 is also described. explain.

図７に示されているシグナリングサーバ３００の送受信部３５２は、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６よって実現される。送受信部３５２は、通信網２０を介して、端末装置１００ａ、端末装置１００ｂ、認証サーバ４００又はプッシュサーバ５００等の他の装置との間で各種データの送受信を行う。   The transmission / reception unit 352 of the signaling server 300 shown in FIG. 7 is realized by a command from the CPU 302 and a communication I / F 316. The transmission / reception unit 352 transmits / receives various data to / from other devices such as the terminal device 100a, the terminal device 100b, the authentication server 400, or the push server 500 via the communication network 20.

判定部３５４は、ＣＰＵ３０２からの命令によって実現される。判定部３５４は、端末装置１００ａにおいて動作するアプリケーションと、端末装置１００ｂにおいて動作するアプリケーションとの適合性を判定する。判定部３５４は、端末装置１００ａにおいて動作するアプリケーションが送信する判定要求に応じて、判定結果を端末装置１００ａに送信する。また、判定部３５４は、セッション処理部３５６によってセッションの構築が開始されるときに、端末装置１００ａ及び端末装置１００ｂがセキュアであるか否かを判定することによって、正規の装置であるか否かを判定する。   The determination unit 354 is realized by a command from the CPU 302. The determination unit 354 determines compatibility between an application that operates in the terminal device 100a and an application that operates in the terminal device 100b. The determination unit 354 transmits a determination result to the terminal device 100a in response to a determination request transmitted by an application operating in the terminal device 100a. Further, the determination unit 354 determines whether the terminal device 100a and the terminal device 100b are secure by determining whether the terminal device 100a and the terminal device 100b are secure when session construction is started by the session processing unit 356. Determine.

例えば、判定部３５４は、送受信部３５２が端末装置１００によって送信される該端末装置１００を識別する情報、及び端末装置１００のＩＰアドレスを受信すると、認証サーバ４００へ該端末装置１００を認証することを要求する。判定部３５４は、送受信部３５２から認証サーバ４００へ端末装置１００を識別する情報を送信する。判定部３５４は、認証サーバ４００から認証が成功したことが通知されると該端末装置１００はセキュアであると判定し、認証が失敗したことが通知されると該端末装置１００はセキュアでないと判定する。   For example, the determination unit 354 authenticates the terminal device 100 to the authentication server 400 when the transmitting / receiving unit 352 receives the information identifying the terminal device 100 transmitted by the terminal device 100 and the IP address of the terminal device 100. Request. The determination unit 354 transmits information for identifying the terminal device 100 from the transmission / reception unit 352 to the authentication server 400. The determination unit 354 determines that the terminal device 100 is secure when notified from the authentication server 400 that the authentication is successful, and determines that the terminal device 100 is not secure when notified that the authentication has failed. To do.

判定部３５４は、端末装置１００ａ及び端末装置１００ｂがセキュアであると判定されることによって正規の装置であると判定された場合には、端末装置１００ａに対して高速通信回線を経由して端末装置１００ａと端末装置１００ｂとの間で通信を行うことを許可する情報（以下、トークンという）を発行する。トークンには、有効期限が設定されている。判定部３５４は、セッション処理部３５６によってセッションが確立された後には、所定の頻度で端末装置１００ａ及び端末装置１００ｂがセキュアであるか否かを判定する。   When it is determined that the terminal device 100a and the terminal device 100b are secure by determining that the terminal device 100a and the terminal device 100b are secure, the determination unit 354 transmits the terminal device 100a to the terminal device via a high-speed communication line. Information that permits communication between the terminal device 100b and the terminal device 100b (hereinafter referred to as a token) is issued. The token has an expiration date. After the session is established by the session processing unit 356, the determination unit 354 determines whether or not the terminal device 100a and the terminal device 100b are secure at a predetermined frequency.

セッション処理部３５６は、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６によって実現される。セッション処理部３５６は、端末装置１００ａにおいて動作するアプリケーションによって送信される通信開始の要求に応じて、端末装置１００ａにおいて実行されているアプリケーションと、端末装置１００ｂにおいて実行されているアプリケーションとの間のセッションを構築する。例えば、セッション処理部３５６は、端末装置１００ａによって端末装置１００ｂとの間で画像を共有する要求があった場合に、端末装置１００ｂとの間の通信のセッションを構築するためのシグナリング処理を行う。   Session processing unit 356 is realized by a command from CPU 302 and communication I / F 316. The session processing unit 356, in response to a communication start request transmitted by an application operating in the terminal device 100a, a session between the application being executed in the terminal device 100a and the application being executed in the terminal device 100b Build up. For example, when there is a request to share an image with the terminal device 100b by the terminal device 100a, the session processing unit 356 performs a signaling process for establishing a communication session with the terminal device 100b.

セッション処理部３５６は、端末装置１００ａと端末装置１００ｂとの間でセッションが確立し、判定部３５４によって発行されたトークンを使用して画像を共有する処理を行う。セッション処理部３５６は、端末装置１００ａと端末装置１００ｂとの間でセッションを確立した後に、判定部３５４によって端末装置１００ａ及び端末装置１００ｂがセキュアであると判定された場合にはセッションを維持し、セキュアでないと判定した場合又はトークンの有効期限が経過している場合にはセッションを終了する。   The session processing unit 356 performs processing for establishing a session between the terminal device 100a and the terminal device 100b and sharing an image using the token issued by the determination unit 354. The session processing unit 356 maintains the session when the determination unit 354 determines that the terminal device 100a and the terminal device 100b are secure after establishing the session between the terminal device 100a and the terminal device 100b, If it is determined that the token is not secure, or if the token expiration date has passed, the session is terminated.

制御部３６０は、ＣＰＵ３０２からの命令によって実現される。制御部３６０は、端末装置１００によって新たなアプリケーションがダウンロードされ、且つ初めて起動された場合に、該端末装置１００によって送信される該新たなアプリケーションのプッシュＩＤと、該新たなアプリケーションを識別する情報とを紐付けて、記憶部３５８に格納する。
記憶部３５８には、端末装置１００を識別する情報と、アプリケーションを識別する情報と、該アプリケーションを識別する情報のプッシュＩＤとを紐付けて格納する。 The control unit 360 is realized by a command from the CPU 302. The control unit 360, when a new application is downloaded by the terminal device 100 and activated for the first time, the push ID of the new application transmitted by the terminal device 100, and information for identifying the new application, Are stored in the storage unit 358.
The storage unit 358 stores information for identifying the terminal device 100, information for identifying the application, and a push ID of information for identifying the application in association with each other.

＜認証サーバの機能構成＞
認証サーバ４００は、送受信部４５２、認証処理部４５４、記憶部４５６、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン４５８を有している。これらの各部は、図６に示されている各構成要素のいずれかが、認証サーバ４００において、不揮発性メモリ３０６からメモリ３０４上に展開されたプログラム３０６２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。 <Functional configuration of authentication server>
The authentication server 400 includes a transmission / reception unit 452, an authentication processing unit 454, a storage unit 456, and a bus line 458 such as an address bus and a data bus for electrically connecting the above components as shown in FIG. have. Each of these components operates according to an instruction from the CPU 302 that executes the program 3062 expanded from the non-volatile memory 306 to the memory 304 in the authentication server 400 in the authentication server 400. It is a function realized by.

＜認証サーバの各機能構成＞
図６及び図７を用いて、認証サーバ４００の各機能構成について詳細に説明する。なお、以下では、認証サーバ４００の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、認証サーバ４００の各機能構成を実現させるための主な機能要素との関係も説明する。 <Functional configuration of authentication server>
Each functional configuration of the authentication server 400 will be described in detail with reference to FIGS. 6 and 7. In the following, in describing each functional configuration of the authentication server 400, among the components illustrated in FIG. 6, the relationship with the main functional elements for realizing each functional configuration of the authentication server 400 is also described. explain.

図７に示されている認証サーバ４００の送受信部４５２は、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６よって実現される。送受信部４５２は、通信網２０を介して、端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００又はプッシュサーバ５００等の他の装置との間で各種データの送受信を行う。   The transmission / reception unit 452 of the authentication server 400 illustrated in FIG. 7 is realized by a command from the CPU 302 and the communication I / F 316. The transmission / reception unit 452 transmits / receives various data to / from other devices such as the terminal device 100a, the terminal device 100b, the signaling server 300, or the push server 500 via the communication network 20.

認証処理部４５４は、端末装置１００を認証する。認証処理部４５４は、シグナリングサーバ３００によって供給される端末装置１００を識別する情報が記憶部４５６に格納されている場合には、該端末装置１００を正規の装置であると判定し、格納されていない場合には該端末装置１００を正規の装置でないと判定する。認証処理部４５４は、正規の装置であると判定した場合には認証が成功したことをシグナリングサーバ３００へ通知し、正規の装置でないと判定した場合には認証が失敗したことをシグナリングサーバ３００へ通知する。   The authentication processing unit 454 authenticates the terminal device 100. If the information for identifying the terminal device 100 supplied by the signaling server 300 is stored in the storage unit 456, the authentication processing unit 454 determines that the terminal device 100 is a legitimate device and stores the information. If not, the terminal device 100 is determined not to be a regular device. The authentication processing unit 454 notifies the signaling server 300 that the authentication has been successful when it is determined that the device is a legitimate device, and notifies the signaling server 300 that the authentication has failed when it is determined that the device is not a legitimate device. Notice.

また、認証処理部４５４は、シグナリングサーバ３００によって端末装置１００を識別する情報に対応するＩＰアドレスが要求された場合に、端末装置１００を識別する情報に紐づけられたＩＰアドレスを、シグナリングサーバ３００に通知する。
記憶部４５６は、端末装置１００を識別する情報と、該端末装置１００に割り当てられるＩＰアドレスとを紐付けて格納する。 In addition, when the signaling server 300 requests an IP address corresponding to information for identifying the terminal device 100, the authentication processing unit 454 displays the IP address associated with the information for identifying the terminal device 100 as the signaling server 300. Notify
The storage unit 456 stores information for identifying the terminal device 100 and an IP address assigned to the terminal device 100 in association with each other.

＜プッシュサーバの機能構成＞
プッシュサーバ５００は、送受信部５５２、プッシュ処理部５５４、記憶部５５６、及び上記各構成要素を図７に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５５８を有している。これらの各部は、図６に示されている各構成要素のいずれかが、プッシュサーバ５００において、不揮発性メモリ３０６からメモリ３０４上に展開されたプログラム３０６２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。 <Functional configuration of push server>
The push server 500 includes a transmission / reception unit 552, a push processing unit 554, a storage unit 556, and a bus line 558 such as an address bus and a data bus for electrically connecting the above components as shown in FIG. have. Each of these components operates according to an instruction from the CPU 302 that executes the program 3062 expanded from the nonvolatile memory 306 to the memory 304 in the push server 500 in which any of the components illustrated in FIG. It is a function realized by.

＜プッシュサーバの各機能構成＞
図６及び図７を用いて、プッシュサーバ５００の各機能構成について詳細に説明する。なお、以下では、プッシュサーバ５００の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、プッシュサーバ５００の各機能構成を実現させるための主な機能要素との関係も説明する。 <Functional configuration of push server>
Each functional configuration of the push server 500 will be described in detail with reference to FIGS. 6 and 7. In the following, in describing each functional configuration of the push server 500, among the components illustrated in FIG. 6, the relationship with the main functional elements for realizing each functional configuration of the push server 500 is also described. explain.

図７に示されているプッシュサーバ５００の送受信部５５２は、プッシュサーバ５００のＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１６よって実現される。送受信部５５２は、通信網２０を介して、端末装置１００ａ、端末装置１００ｂ、シグナリングサーバ３００又は認証サーバ４００等の他の装置との間で各種データの送受信を行う。   The transmission / reception unit 552 of the push server 500 illustrated in FIG. 7 is realized by a command from the CPU 302 of the push server 500 and a communication I / F 316. The transmission / reception unit 552 transmits / receives various data to / from other devices such as the terminal device 100a, the terminal device 100b, the signaling server 300, or the authentication server 400 via the communication network 20.

プッシュ処理部５５４は、端末装置１００によって新たなアプリケーションがダウンロードされ、初めて起動された場合に、該端末装置１００によって要求された該新たなアプリケーションのプッシュＩＤの発行を行い、該プッシュＩＤを送受信部５５２から端末装置１００に送信する。
また、プッシュ処理部５５４は、端末装置１００においてアプリケーションがバージョンアップされた場合に、該端末装置１００によって要求された該バージョンアップされたアプリケーションのプッシュＩＤの発行を行うことによって更新し、該更新したプッシュＩＤを送受信部５５２から端末装置１００に送信する。また、プッシュ処理部５５４は、発行したプッシュＩＤを記憶部５５６に格納する。 When a new application is downloaded by the terminal device 100 and activated for the first time, the push processing unit 554 issues a push ID of the new application requested by the terminal device 100, and transmits and receives the push ID. The data is transmitted from 552 to the terminal device 100.
In addition, when an application is upgraded in the terminal device 100, the push processing unit 554 updates the updated version by issuing a push ID of the upgraded application requested by the terminal device 100. The push ID is transmitted from the transmission / reception unit 552 to the terminal device 100. In addition, the push processing unit 554 stores the issued push ID in the storage unit 556.

また、プッシュ処理部５５４は、画像を共有することを要求された端末装置１００ｂにシグナリングサーバ３００がセッションの構築を開始する要求を行う際に、画像を共有することを要求した端末装置１００ａを識別する情報をプッシュ技術により送受信部５５２から端末装置１００ｂへ送信する。ここで、プッシュ技術とは、シグナリングサーバ３００、プッシュサーバ５００等のサーバ装置側から端末装置１００へＩＰアドレスを用いて、通信リクエストを配信する技術をいう。
記憶部５５６は、複数のプッシュＩＤを記憶する。プッシュＩＤとは、端末装置１００上で動作し、且つ他の端末装置との間で画像を共有する機能を有するアプリケーションを識別する情報である。 In addition, the push processing unit 554 identifies the terminal device 100a that has requested sharing of the image when the signaling server 300 requests the terminal device 100b that is requested to share the image to start the session construction. The information to be transmitted is transmitted from the transmission / reception unit 552 to the terminal device 100b by the push technique. Here, the push technique refers to a technique for distributing a communication request from the server apparatus side such as the signaling server 300 and the push server 500 to the terminal apparatus 100 using an IP address.
The storage unit 556 stores a plurality of push IDs. The push ID is information for identifying an application that operates on the terminal device 100 and has a function of sharing an image with another terminal device.

＜本実施形態に係る通信システムの動作＞
図８、及び図９は、本実施形態に係る通信システムの動作の一例を示す。以下、初期設定、本人認証、セッション構築、画像を共有する動作の順に説明する。 <Operation of Communication System According to this Embodiment>
8 and 9 show an example of the operation of the communication system according to the present embodiment. Hereinafter, the initial setting, the user authentication, the session construction, and the image sharing operation will be described in this order.

＜初期設定＞
ステップＳ２−１では、プッシュサーバ５００の送受信部５５２によって端末装置１００ａのアプリケーションが送信するプッシュＩＤの発行の要求が受信されると、プッシュサーバ５００のプッシュ処理部５５４は端末装置１００ａによって起動されたアプリケーションに対応するプッシュＩＤを発行する。そして、プッシュ処理部５５４は、該プッシュＩＤを記憶部５５６へ格納するとともに、送受信部５５２から端末装置１００ａへ送信する。 <Initial setting>
In step S2-1, when a request for issuing a push ID transmitted by the application of the terminal device 100a is received by the transmission / reception unit 552 of the push server 500, the push processing unit 554 of the push server 500 is activated by the terminal device 100a. A push ID corresponding to the application is issued. Then, the push processing unit 554 stores the push ID in the storage unit 556 and transmits the push ID from the transmission / reception unit 552 to the terminal device 100a.

ステップＳ２−２では、プッシュサーバ５００の送受信部５５２によって端末装置１００ｂのアプリケーションが送信するプッシュＩＤの発行の要求が受信されると、プッシュサーバ５００のプッシュ処理部５５４は端末装置１００ｂによって起動されたアプリケーションに対応するプッシュＩＤを発行する。そして、プッシュ処理部５５４は、該プッシュＩＤを記憶部５５６へ格納するとともに、送受信部５５２から端末装置１００ｂへ送信する。   In step S2-2, when a request for issuing a push ID transmitted by the application of the terminal device 100b is received by the transmission / reception unit 552 of the push server 500, the push processing unit 554 of the push server 500 is activated by the terminal device 100b. A push ID corresponding to the application is issued. Then, the push processing unit 554 stores the push ID in the storage unit 556 and transmits the push ID from the transmission / reception unit 552 to the terminal device 100b.

ステップＳ４−１では、端末装置１００ａの通信制御部２５８ａは、アプリケーションを表す情報と、該アプリケーションのプッシュＩＤとを含むレジストレーション情報を、シグナリングサーバ３００へ送信する。   In step S4-1, the communication control unit 258a of the terminal device 100a transmits registration information including information indicating the application and the push ID of the application to the signaling server 300.

ステップＳ４−２では、端末装置１００ｂの通信制御部２５８ｂは、アプリケーションを表す情報と、該アプリケーションのプッシュＩＤとを含むレジストレーション情報を、シグナリングサーバ３００へ送信する。   In step S4-2, the communication control unit 258b of the terminal device 100b transmits registration information including information indicating the application and the push ID of the application to the signaling server 300.

ステップＳ４−３では、シグナリングサーバ３００の制御部３６０は、端末装置１００ａによって送信されたレジストレーション情報に含まれるアプリケーションを表す情報とプッシュＩＤとを紐付けて記憶部３５８に格納し、端末装置１００ｂによって送信されたレジストレーション情報に含まれるアプリケーションを表す情報とプッシュＩＤとを紐付けて記憶部３５８に格納する。   In step S4-3, the control unit 360 of the signaling server 300 associates information representing the application included in the registration information transmitted by the terminal device 100a with the push ID and stores the information in the storage unit 358, and stores the information in the terminal device 100b. The information indicating the application included in the registration information transmitted by the above and the push ID are associated with each other and stored in the storage unit 358.

＜本人認証＞
ステップＳ６では、シグナリングサーバ３００の判定部３５４は、端末装置１００ａによって送信されたレジストレーション情報に含まれる端末装置１００ａを識別する情報、及び端末装置１００ｂによって送信されたレジストレーション情報に含まれる端末装置１００ｂを識別する情報を認証サーバ４００へ送信する。 <Person authentication>
In step S6, the determination unit 354 of the signaling server 300 includes information for identifying the terminal device 100a included in the registration information transmitted by the terminal device 100a and the terminal device included in the registration information transmitted by the terminal device 100b. Information for identifying 100b is transmitted to the authentication server 400.

認証サーバ４００の認証処理部４５４は、シグナリングサーバ３００によって送信された端末装置１００ａを識別する情報、及び端末装置１００ｂを識別する情報が記憶部４５６に記憶されているか否かを判定する。これによって、認証サーバ４００は、端末装置１００ａのユーザ、及び端末装置１００ｂのユーザを認証する。   The authentication processing unit 454 of the authentication server 400 determines whether information for identifying the terminal device 100 a and information for identifying the terminal device 100 b transmitted by the signaling server 300 are stored in the storage unit 456. As a result, the authentication server 400 authenticates the user of the terminal device 100a and the user of the terminal device 100b.

ステップＳ７では、認証サーバ４００の認証処理部４５４は、送受信部４５２から認証が成功したか否かを表す情報をシグナリングサーバ３００へ送信する。認証処理部４５４は、端末装置１００ａを識別する情報が記憶部４５６に記憶されている場合には認証が成功したと判定し、端末装置１００ｂを識別する情報が記憶部４５６に記憶されていない場合には認証が失敗したと判定する。   In step S <b> 7, the authentication processing unit 454 of the authentication server 400 transmits information indicating whether or not the authentication is successful from the transmission / reception unit 452 to the signaling server 300. When the information for identifying the terminal device 100a is stored in the storage unit 456, the authentication processing unit 454 determines that the authentication is successful, and the information for identifying the terminal device 100b is not stored in the storage unit 456. It is determined that the authentication has failed.

＜セッション構築＞
ステップＳ１０では、端末装置１００ａの画像共有処理部２６０ａは、端末装置１００ａに表示されている画像を共有する要求を送受信部２５２ａからシグナリングサーバ３００へ送信する。シグナリングサーバ３００の送受信部３５２は、端末装置１００ａによって送信された画像を共有する要求を受信することによって受け付ける。 <Session construction>
In step S10, the image sharing processing unit 260a of the terminal device 100a transmits a request to share the image displayed on the terminal device 100a from the transmission / reception unit 252a to the signaling server 300. The transmission / reception unit 352 of the signaling server 300 receives the request for sharing the image transmitted by the terminal device 100a by receiving the request.

シグナリングサーバ３００の判定部３５４は、画像を共有する要求に含まれる端末装置１００ｂを識別する情報が記憶部３５８に記憶されているか否かを判定することによって、端末装置１００ｂが画像を共有する機能を利用できるか否かを判定する。判定部３５４は、端末装置１００ｂを識別する情報が記憶部３５８に記憶されている場合には画像を共有する機能を利用できると判定し、端末装置１００ｂを識別する情報が記憶部３５８に記憶されていない場合には画像を共有する機能を利用できないと判定する。   The determination unit 354 of the signaling server 300 determines whether or not the information for identifying the terminal device 100b included in the image sharing request is stored in the storage unit 358, whereby the terminal device 100b shares the image. It is determined whether or not can be used. The determination unit 354 determines that the function of sharing an image can be used when the information for identifying the terminal device 100b is stored in the storage unit 358, and the information for identifying the terminal device 100b is stored in the storage unit 358. If not, it is determined that the image sharing function cannot be used.

ステップＳ１３では、シグナリングサーバ３００の判定部３５４は、端末装置１００ｂが画像を共有する機能を利用できると判定した場合には端末装置１００ａへ画像を共有する機能を利用できることを通知する。一方、シグナリングサーバ３００の判定部３５４は、端末装置１００ｂが画像を共有する機能を利用できないと判定した場合には端末装置１００ａへ画像を共有する機能を利用できないことを通知するようにしてもよい。   In step S13, if the determination unit 354 of the signaling server 300 determines that the terminal device 100b can use the function of sharing an image, the determination unit 354 notifies the terminal device 100a that the function of sharing an image can be used. On the other hand, the determination unit 354 of the signaling server 300 may notify the terminal device 100a that the function of sharing an image cannot be used when the terminal device 100b determines that the function of sharing an image cannot be used. .

ステップＳ１４では、端末装置１００ａの画像共有処理部２６０ａは、送受信部２５２ａによって画像を共有する機能を利用できることを表す情報が受信された場合、送受信部２５２からシグナリングサーバ３００へセッションを構築する要求を送信する。セッションを構築する要求には、送信側の端末装置１００ａを識別する情報と、該端末装置１００ａのＩＰアドレスと、画像を共有させる端末装置１００ｂを識別する情報と、プッシュＩＤとが含まれる。   In step S14, the image sharing processing unit 260a of the terminal device 100a receives a request for establishing a session from the transmission / reception unit 252 to the signaling server 300 when information indicating that the function of sharing an image can be used by the transmission / reception unit 252a. Send. The request for establishing a session includes information for identifying the terminal device 100a on the transmission side, the IP address of the terminal device 100a, information for identifying the terminal device 100b for sharing an image, and a push ID.

ステップＳ１５では、シグナリングサーバ３００のセッション処理部３５６は、送受信部３５２によってセッションを構築する要求が受信されると、プッシュサーバ５００へ、セッションを構築する情報を送信する。セッションを構築する情報には、画像を共有することを要求する端末装置１００ａを識別する情報と、プッシュＩＤとが含まれている。   In step S <b> 15, the session processing unit 356 of the signaling server 300 transmits information for constructing a session to the push server 500 when the transmission / reception unit 352 receives a request for constructing a session. The information for constructing a session includes information for identifying the terminal device 100a that requests sharing of an image, and a push ID.

シグナリングサーバ３００のセッション処理部３５６は、端末装置１００ｂを識別する情報をキーとして、記憶部３５８を検索し、該端末装置１００ｂを識別する情報に紐付けられたプッシュＩＤを取得する。該プッシュＩＤは、画像を共有することを要求された端末装置１００ｂにおいて動作するアプリケーションに対応するものである。   The session processing unit 356 of the signaling server 300 searches the storage unit 358 using information for identifying the terminal device 100b as a key, and obtains a push ID associated with the information for identifying the terminal device 100b. The push ID corresponds to an application that operates in the terminal device 100b that is requested to share an image.

ステップＳ１６では、プッシュサーバ５００のプッシュ処理部５５４は、送受信部５５２によってセッションを構築する情報が受信されると、該セッションを構築する情報に含まれるプッシュＩＤに基づいて、端末装置１００ｂへ、画像を共有するアプリケーションを起動する要求をプッシュする。該画像を共有するアプリケーションを起動する要求には、端末装置１００ａを識別する情報が含まれる。   In step S16, when the push processing unit 554 of the push server 500 receives the information for constructing the session by the transmission / reception unit 552, the push processing unit 554 transfers the image to the terminal device 100b based on the push ID included in the information for constructing the session. Push a request to launch an application that shares The request for starting the application sharing the image includes information for identifying the terminal device 100a.

ステップＳ１９では、端末装置１００ｂの表示制御部２６２ｂは画像を共有することを承諾するか拒否するかの回答を促す画像を表示し、操作検出部２５４ｂは端末装置１００ｂのユーザが承諾する操作を行うまで待機する。
端末装置１００ｂのユーザによって承諾する操作が行われた場合、端末装置１００ｂの画像共有処理部２６０ｂは、セッションを構築することを承諾したことを表す情報を送受信部２５２ｂからシグナリングサーバ３００へ送信する。 In step S19, the display control unit 262b of the terminal device 100b displays an image that prompts the user to accept or reject the sharing of the image, and the operation detection unit 254b performs an operation approved by the user of the terminal device 100b. Wait until.
When an operation of consenting is performed by the user of the terminal device 100b, the image sharing processing unit 260b of the terminal device 100b transmits information indicating that the session is accepted from the transmission / reception unit 252b to the signaling server 300.

シグナリングサーバ３００のセッション処理部３５６は、送受信部３５２によって端末装置１００ｂによって送信されたセッションを構築することを承諾したことを表す情報が受信されると、端末装置１００ａと端末装置１００ｂとの間のセッションを確立する。   When the session processing unit 356 of the signaling server 300 receives information indicating that the transmission / reception unit 352 has accepted the establishment of the session transmitted by the terminal device 100b, the session processing unit 356 between the terminal device 100a and the terminal device 100b Establish a session.

＜画像を共有する動作（その１）＞
図９は、端末装置１００ａが、該端末装置１００ａの画面に表示されている画像を端末装置１００ｂとの間で共有する動作を示すシーケンスチャート（その１）である。図９に示される例では、端末装置１００ａに対して行われた操作によって端末装置１００ｂに表示される画像が劣化すると推定された場合に、その画像が劣化する原因を表す情報を端末装置ｂに表示する。 <Operation for sharing images (part 1)>
FIG. 9 is a sequence chart (part 1) illustrating an operation in which the terminal device 100a shares an image displayed on the screen of the terminal device 100a with the terminal device 100b. In the example shown in FIG. 9, when it is estimated that an image displayed on the terminal device 100b is deteriorated by an operation performed on the terminal device 100a, information indicating the cause of the deterioration of the image is displayed to the terminal device b. indicate.

ステップＳ９０２では、端末装置１００ａと端末装置１００ｂとの間でセッションが確立される。例えば、図８のステップＳ１０−ステップＳ１９の処理が行われることによって、端末装置１００ａと端末装置１００ｂとの間でセッションが確立される。
ステップＳ９０４では、端末装置１００ａの画像共有処理部２６０ａは、端末装置１００ａのディスプレイ２１０に表示されている画像を表す情報を生成する。 In step S902, a session is established between the terminal device 100a and the terminal device 100b. For example, a session is established between the terminal device 100a and the terminal device 100b by performing the processing of step S10 to step S19 in FIG.
In step S904, the image sharing processing unit 260a of the terminal device 100a generates information representing an image displayed on the display 210 of the terminal device 100a.

ステップＳ９０６−Ｓ９０８では、端末装置１００ａの送受信部２５２ａは、画像共有処理部２６０ａによって生成した画像を表す情報を端末装置１００ｂへ送信する。ここで、通信制御部２５８ａは、予め設定された符号化パラメータを適用して画像を表す情報を送信するようにしてもよい。
ステップＳ９１０では、端末装置１００ｂの送受信部２５２ｂは、端末装置１００ａによって送信された画像を表す情報を受信する。 In steps S906 to S908, the transmission / reception unit 252a of the terminal device 100a transmits information representing the image generated by the image sharing processing unit 260a to the terminal device 100b. Here, the communication control unit 258a may transmit information representing an image by applying a preset encoding parameter.
In step S910, the transmission / reception unit 252b of the terminal device 100b receives information representing an image transmitted by the terminal device 100a.

ステップＳ９１２では、端末装置１００ｂの表示制御部２６２ｂは、送受信部２５２ｂによって受信された画像を表す情報を画像処理することによってディスプレイ２１０に表示する。
ステップＳ９１４では、端末装置１００ａの操作検出部２５４ａは、ユーザによって行われた操作を検出する。例えば、操作検出部２５４は、タッチパネルに対して行われた操作、具体的には、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の操作を検出する。 In step S912, the display control unit 262b of the terminal device 100b displays the information representing the image received by the transmission / reception unit 252b on the display 210 by performing image processing.
In step S914, the operation detection unit 254a of the terminal device 100a detects an operation performed by the user. For example, the operation detection unit 254 detects operations performed on the touch panel, specifically, operations such as scrolling, flicking (page turning), swipe, pinch-in, and pinch-out.

ステップＳ９１６では、端末装置１００ａの品質劣化推定部２５６ａは、端末装置１００ｂに表示される画像が劣化するか否かを判定する。例えば、品質劣化推定部２５６ａは、操作検出部２５４ａによって操作を表す情報が入力された場合に、端末装置１００ｂに表示される画像が劣化すると推定する。   In step S916, the quality deterioration estimation unit 256a of the terminal device 100a determines whether or not the image displayed on the terminal device 100b is deteriorated. For example, the quality degradation estimation unit 256a estimates that the image displayed on the terminal device 100b is degraded when information indicating an operation is input by the operation detection unit 254a.

ステップＳ９１８では、端末装置１００ａの品質劣化原因処理部２５７ａは、画像の品質が劣化する原因を表す情報を生成する。ここでは、品質劣化原因処理部２５７ａは、画像の品質が劣化する原因が操作であることを表す情報を生成する。さらに、品質劣化原因処理部２５７ａは、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の操作の内容を表す情報を生成してもよい。   In step S918, the quality deterioration cause processing unit 257a of the terminal device 100a generates information indicating the cause of the deterioration of the image quality. Here, the quality degradation cause processing unit 257a generates information indicating that the cause of image quality degradation is an operation. Furthermore, the quality deterioration cause processing unit 257a may generate information representing the contents of operations such as scrolling, flicking (page turning), swipe, pinch-in, and pinch-out.

ステップＳ９２０−Ｓ９２２では、端末装置１００ａの送受信部２５２ａは、品質劣化原因処理部２５７ａによって生成された画像の品質が劣化する原因を表す情報を端末装置１００ｂへ送信（報知）する。
ステップＳ９２４では、端末装置１００ｂの送受信部２５２ｂは、端末装置１００ａによって送信された画像の品質が劣化する原因を表す情報を受信する。 In steps S920 to S922, the transmission / reception unit 252a of the terminal device 100a transmits (notifies) information indicating the cause of the deterioration of the quality of the image generated by the quality deterioration cause processing unit 257a to the terminal device 100b.
In step S924, the transmission / reception unit 252b of the terminal device 100b receives information indicating the cause of deterioration in the quality of the image transmitted by the terminal device 100a.

ステップＳ９２６では、端末装置１００ｂの品質劣化原因処理部２５７ｂは、端末装置１００ｂによって送信された画像の品質が劣化する原因を表す情報をユーザへ通知する。例えば、画像の品質が劣化する原因を表す情報が画像情報である場合、品質劣化原因処理部２５７ｂは、表示制御部２６２ｂに該画像情報を端末装置１００ｂのディスプレイ２１０に表示させる。また、画像の品質が劣化する原因を表す情報が音声情報である場合、品質劣化原因処理部２５７ｂは、該音声情報を再生するようにしてもよい。   In step S926, the quality deterioration cause processing unit 257b of the terminal device 100b notifies the user of information indicating the cause of the deterioration of the quality of the image transmitted by the terminal device 100b. For example, when the information indicating the cause of image quality deterioration is image information, the quality deterioration cause processing unit 257b causes the display control unit 262b to display the image information on the display 210 of the terminal device 100b. In addition, when the information indicating the cause of image quality deterioration is audio information, the quality deterioration cause processing unit 257b may reproduce the audio information.

ステップＳ９２８では、端末装置１００ａの画像共有処理部２６０ａは、端末装置１００ａのディスプレイ２１０に表示されている画像を表す情報を生成する。
ステップＳ９３０−Ｓ９３２では、端末装置１００ａの送受信部２５２ａは、画像共有処理部２６０ａによって生成した画像を表す情報を端末装置１００ｂへ送信する。 In step S928, the image sharing processing unit 260a of the terminal device 100a generates information representing an image displayed on the display 210 of the terminal device 100a.
In steps S930 to S932, the transmission / reception unit 252a of the terminal device 100a transmits information representing the image generated by the image sharing processing unit 260a to the terminal device 100b.

ステップＳ９３４では、端末装置１００ｂの送受信部２５２ｂは、端末装置１００ａによって送信された画像を表す情報を受信する。
ステップＳ９３６では、端末装置１００ｂの表示制御部２６２ｂは、送受信部２５２ｂによって受信された画像を表す情報を符号化パラメータに基づいて画像処理することによってディスプレイ２１０に表示する。 In step S934, the transmission / reception unit 252b of the terminal device 100b receives information representing an image transmitted by the terminal device 100a.
In step S936, the display control unit 262b of the terminal device 100b displays the information representing the image received by the transmission / reception unit 252b on the display 210 by performing image processing based on the encoding parameter.

ステップＳ９３６の後、端末装置１００ａと端末装置１００ｂとの間で、ステップＳ９１４−Ｓ９３６の処理が行われる。
ステップＳ９３８では、端末装置１００ａと端末装置１００ｂとの間で確立されたセッションが終了する。 After step S936, the processes of steps S914 to S936 are performed between the terminal device 100a and the terminal device 100b.
In step S938, the session established between the terminal device 100a and the terminal device 100b ends.

＜画像を共有する動作（その２）＞
図１０は、端末装置１００ａが、該端末装置１００ａの画面に表示されている画像を端末装置１００ｂとの間で共有する動作を示すシーケンスチャート（その２）である。図１０に示される例では、端末装置１００ａと端末装置１００ｂとの間の回線品質に基づいて、端末装置１００ｂに表示される画像が劣化すると推定された場合に、その画像が劣化する原因を表す情報を端末装置１００ｂに表示する。 <Image sharing operation (part 2)>
FIG. 10 is a sequence chart (part 2) illustrating an operation in which the terminal device 100a shares an image displayed on the screen of the terminal device 100a with the terminal device 100b. In the example shown in FIG. 10, when it is estimated that the image displayed on the terminal device 100b is deteriorated based on the channel quality between the terminal device 100a and the terminal device 100b, the cause of the image deterioration is shown. Information is displayed on the terminal device 100b.

ステップＳ１００２−Ｓ１０１２は、図９のステップＳ９０２−Ｓ９１２を適用できる。
ステップＳ１０１４では、端末装置１００ａの回線品質検出部２５５ａは、端末装置１００ａと端末装置１００ｂとの間の回線の品質を検出する。例えば、回線品質検出部２５５は、通信速度等を検出する。 Steps S1002-S1012 can apply steps S902-S912 of FIG.
In step S1014, the line quality detection unit 255a of the terminal device 100a detects the quality of the line between the terminal device 100a and the terminal device 100b. For example, the line quality detection unit 255 detects a communication speed or the like.

ステップＳ１０１６では、端末装置１００ａの品質劣化推定部２５６ａは、端末装置１００ｂに表示される画像が劣化するか否かを判定する。例えば、品質劣化推定部２５６ａは、回線品質検出部２５５ａによって入力された回線品質がしきい値未満である場合に、端末装置１００ｂに表示される画像が劣化すると推定する。
ステップＳ１０１８−Ｓ１０３８は、図９のステップＳ９１８−Ｓ９３８を適用できる。 In step S1016, the quality degradation estimation unit 256a of the terminal device 100a determines whether or not the image displayed on the terminal device 100b is degraded. For example, the quality degradation estimation unit 256a estimates that the image displayed on the terminal device 100b is degraded when the channel quality input by the channel quality detection unit 255a is less than a threshold value.
Steps S918-S1038 can apply steps S918-S938 of FIG.

本実施形態に係る通信システムによれば、端末装置１００ａと端末装置１００ｂとの間で、端末装置１００ａの画面に表示されている画像が共有される。さらに、端末装置１００ａに対して、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の端末装置１００ｂに表示される画像の劣化を引き起こす操作が行われた場合に、画像の品質が劣化(低下)することを表す情報を端末装置１００ｂへ送信する。   According to the communication system according to the present embodiment, the image displayed on the screen of the terminal device 100a is shared between the terminal device 100a and the terminal device 100b. Furthermore, when the terminal device 100a is operated to cause deterioration of the image displayed on the terminal device 100b, such as scrolling, flicking (page turning), swiping, pinching in, and pinching out, the quality of the image is deteriorated. Information indicating that (decrease) occurs is transmitted to the terminal device 100b.

これによって、端末装置１００ａによって送信される画像を表す情報が端末装置１００ｂに表示され、該画像の品質が劣化する場合に、その画像の品質が劣化した原因を通知できるため、端末装置１００ｂのユーザが体感する品質を向上させることができる。つまり、端末装置１００ａと端末装置１００ｂとの間で端末装置１００ａの画面に表示されている画像を共有する場合に、端末装置１００ｂの画面に表示される画像の品質が劣化した場合に、その原因を通知できるため、端末装置１００ｂのユーザは、画像が劣化した場合にその原因を知りながら見ることができる。   As a result, when information indicating an image transmitted by the terminal device 100a is displayed on the terminal device 100b and the quality of the image deteriorates, the cause of the deterioration of the image quality can be notified. Can improve the quality experienced. That is, when the image displayed on the screen of the terminal device 100a is shared between the terminal device 100a and the terminal device 100b, the cause is deteriorated when the quality of the image displayed on the screen of the terminal device 100b deteriorates. Therefore, the user of the terminal device 100b can view the image while knowing the cause when the image is deteriorated.

＜第２の実施形態＞
＜通信システム＞
本実施形態に係る通信システムは、図１−図６を適用できる。 <Second Embodiment>
<Communication system>
1 to 6 can be applied to the communication system according to the present embodiment.

＜本実施形態に係る通信システムの機能構成＞
本実施形態に係る通信システムは、図１−図６を適用できる。本実施形態に係る通信システム１０は、図１に示されるように、端末装置１００ｃと、端末装置１００ｄと、基地局５０ａと、基地局５０ｂと、シグナリングサーバ３００と、認証サーバ４００と、プッシュサーバ５００とを備えている。基地局５０ａと、基地局５０ｂと、シグナリングサーバ３００と、認証サーバ４００と、プッシュサーバ５００とは、インターネット等の通信網２０を介して接続される。端末装置１００ｃは基地局５０ａを経由して通信網２０と接続され、端末装置１００ｄは基地局５０ｂを経由して通信網２０と接続される。 <Functional configuration of communication system according to this embodiment>
1 to 6 can be applied to the communication system according to the present embodiment. As shown in FIG. 1, the communication system 10 according to the present embodiment includes a terminal device 100c, a terminal device 100d, a base station 50a, a base station 50b, a signaling server 300, an authentication server 400, and a push server. 500. The base station 50a, the base station 50b, the signaling server 300, the authentication server 400, and the push server 500 are connected via a communication network 20 such as the Internet. The terminal device 100c is connected to the communication network 20 via the base station 50a, and the terminal device 100d is connected to the communication network 20 via the base station 50b.

＜本実施形態に係る通信システムの機能構成＞
次に、本実施形態の機能構成について説明する。図１１は、本実施形態の通信システム１０を構成する端末装置１００ｃ、端末装置１００ｄ、シグナリングサーバ３００、認証サーバ４００、及びプッシュサーバ５００の機能ブロック図である。図１１では、端末装置１００ｃ、端末装置１００ｄ、シグナリングサーバ３００、認証サーバ４００、及びプッシュサーバ５００が、通信網２０を介してデータ通信することができるように接続されている。また、図１に示されている基地局５０ａ、及び基地局５０ｂは、図１１では省略されている。 <Functional configuration of communication system according to this embodiment>
Next, the functional configuration of this embodiment will be described. FIG. 11 is a functional block diagram of the terminal device 100c, the terminal device 100d, the signaling server 300, the authentication server 400, and the push server 500 that constitute the communication system 10 of the present embodiment. In FIG. 11, the terminal device 100 c, the terminal device 100 d, the signaling server 300, the authentication server 400, and the push server 500 are connected so that data communication can be performed via the communication network 20. Further, the base station 50a and the base station 50b shown in FIG. 1 are omitted in FIG.

＜端末装置の機能構成＞
端末装置１００ｃは、送受信部２５２ｃ、操作検出部２５４ｃ、品質劣化検出部２５９ｃ、品質劣化原因処理部２５７ｃ、通信制御部２５８ｃ、画像共有処理部２６０ｃ、表示制御部２６２ｃ、記憶部２６４ｃ、及び上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６８ｃを有している。これらの各部は、図５に示されている各構成要素のいずれかが、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。 <Functional configuration of terminal device>
The terminal device 100c includes a transmission / reception unit 252c, an operation detection unit 254c, a quality deterioration detection unit 259c, a quality deterioration cause processing unit 257c, a communication control unit 258c, an image sharing processing unit 260c, a display control unit 262c, a storage unit 264c, As shown in FIG. 11, a bus line 268c such as an address bus or a data bus is provided for electrically connecting the components. Each of these units is a function realized by any one of the constituent elements shown in FIG. 5 operating according to an instruction from the CPU 202 that executes the program 2062 expanded from the nonvolatile memory 206 onto the memory 204. It is.

＜端末装置の各機能構成＞
図５及び図１１を用いて、端末装置１００ｃの各機能構成について詳細に説明する。なお、以下では、端末装置１００ｃの各機能構成を説明するにあたって、図５に示されている各構成要素のうち、端末装置１００ｃの各機能構成を実現させるための主な機能要素との関係も説明する。 <Each functional configuration of terminal device>
Each functional configuration of the terminal device 100c will be described in detail with reference to FIGS. In the following description, in describing each functional configuration of the terminal device 100c, among the components illustrated in FIG. 5, the relationship with the main functional components for realizing the functional configurations of the terminal device 100c is also described. explain.

図１１に示されている端末装置１００ｃの送受信部２５２ｃ、操作検出部２５４ｃ、通信制御部２５８ｃ、画像共有処理部２６０ｃ、表示制御部２６２ｃ、記憶部２６４ｃは、図７に示される送受信部２５２ａ、操作検出部２５４ａ、通信制御部２５８ａ、画像共有処理部２６０ａ、表示制御部２６２ａ、記憶部２６４ａを適用できる。
ただし、操作検出部２５４ｃは、検出した操作を表す情報を品質劣化原因処理部２５７ｃへ入力する。 The transmission / reception unit 252c, the operation detection unit 254c, the communication control unit 258c, the image sharing processing unit 260c, the display control unit 262c, and the storage unit 264c of the terminal device 100c illustrated in FIG. An operation detection unit 254a, a communication control unit 258a, an image sharing processing unit 260a, a display control unit 262a, and a storage unit 264a can be applied.
However, the operation detection unit 254c inputs information representing the detected operation to the quality deterioration cause processing unit 257c.

品質劣化検出部２５９ｃは、ＣＰＵ２０２からの命令、及びディスプレイ２１０によって実現される。品質劣化検出部２５９ｃは、ディスプレイ２１０に表示される画像が劣化したことを検出する。例えば、品質劣化検出部２５９ｃは、画像を表す情報が付帯されたパケットのロス率が閾値以上となった場合にディスプレイ２１０に表示される画像が劣化したと判定する。品質劣化検出部２５９ｃは、画像が劣化したことを検出した場合、画像が劣化したことを表す情報を品質劣化原因処理部２５７ｃへ出力する。画像が劣化したことを表す情報は、画像情報であってもよいし、音声情報であってもよい。   The quality deterioration detection unit 259c is realized by a command from the CPU 202 and the display 210. The quality deterioration detection unit 259c detects that the image displayed on the display 210 has deteriorated. For example, the quality deterioration detection unit 259c determines that the image displayed on the display 210 has deteriorated when the loss rate of a packet accompanied by information representing the image is equal to or greater than a threshold value. When detecting that the image has deteriorated, the quality deterioration detection unit 259c outputs information indicating that the image has deteriorated to the quality deterioration cause processing unit 257c. The information indicating that the image has deteriorated may be image information or audio information.

品質劣化原因処理部２５７ｃは、ＣＰＵ２０２からの命令によって実現される。品質劣化原因処理部２５７ｃは、品質劣化検出部２５９ｃによって画像が劣化したことを表す情報が供給された場合、送受信部２５２ｃから端末装置１００ｄへ画像が劣化したことを表す情報を送信する。   The quality deterioration cause processing unit 257c is realized by an instruction from the CPU 202. When the information indicating that the image has deteriorated is supplied by the quality deterioration detection unit 259c, the quality deterioration cause processing unit 257c transmits information indicating that the image has deteriorated from the transmission / reception unit 252c to the terminal device 100d.

また、品質劣化原因処理部２５７ｃは、端末装置１００ｄによって送信された画像が劣化したことを表す情報が送受信部２５２ｃから入力された場合、操作検出部２５４ｃによって入力された操作を表す情報を送受信部２５２ｃから端末装置１００ｄへ送信する。
また、品質劣化原因処理部２５７ｃは、端末装置１００ｄによって送信された操作を表す情報が送受信部２５２ｃから入力され、該操作を表す情報が画像情報である場合、該操作を表す情報を表示制御部２６２ｃ表示させることによって画像の品質が劣化した原因をユーザへ通知する。また、品質劣化原因処理部２５７ｃは、操作を表す情報が音声情報である場合、該操作を表す情報を再生することによって音声で画像の品質が劣化した原因をユーザへ通知するようにしてもよい。 In addition, when the information indicating that the image transmitted by the terminal device 100d has deteriorated is input from the transmission / reception unit 252c, the quality deterioration cause processing unit 257c transmits the information indicating the operation input by the operation detection unit 254c. The data is transmitted from 252c to the terminal device 100d.
In addition, when the information indicating the operation transmitted by the terminal device 100d is input from the transmission / reception unit 252c and the information indicating the operation is image information, the quality deterioration cause processing unit 257c displays the information indicating the operation as a display control unit. The user is notified of the cause of the deterioration of the image quality due to the 262c display. In addition, when the information representing the operation is voice information, the quality degradation cause processing unit 257c may notify the user of the cause of the degradation of the image quality by voice by reproducing the information representing the operation. .

端末装置１００ｄは、送受信部２５２ｄ、操作検出部２５４ｄ、品質劣化検出部２５９ｄ、品質劣化原因処理部２５７ｄ、通信制御部２５８ｄ、画像共有処理部２６０ｄ、表示制御部２６２ｄ、記憶部２６４ｄ、及び上記各構成要素を図１１に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６８ｄを有している。これらの各部は、図５に示されている各構成要素のいずれかが、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。   The terminal device 100d includes a transmission / reception unit 252d, an operation detection unit 254d, a quality degradation detection unit 259d, a quality degradation cause processing unit 257d, a communication control unit 258d, an image sharing processing unit 260d, a display control unit 262d, a storage unit 264d, As shown in FIG. 11, a bus line 268d such as an address bus or a data bus is provided for electrically connecting the components. Each of these units is a function realized by any one of the constituent elements shown in FIG. 5 operating according to an instruction from the CPU 202 that executes the program 2062 expanded from the nonvolatile memory 206 onto the memory 204. It is.

送受信部２５２ｄ、操作検出部２５４ｄ、品質劣化検出部２５９ｄ、品質劣化原因処理部２５７ｄ、通信制御部２５８ｄ、画像共有処理部２６０ｄ、表示制御部２６２ｄ、及び記憶部２６４ｄは、上述した送受信部２５２ｃ、操作検出部２５４ｃ、品質劣化検出部２５９ｃ、品質劣化原因処理部２５７ｃ、通信制御部２５８ｃ、画像共有処理部２６０ｃ、表示制御部２６２ｃ、及び記憶部２６４ｃを適用できる。   The transmission / reception unit 252d, the operation detection unit 254d, the quality degradation detection unit 259d, the quality degradation cause processing unit 257d, the communication control unit 258d, the image sharing processing unit 260d, the display control unit 262d, and the storage unit 264d are the transmission / reception unit 252c, An operation detection unit 254c, a quality degradation detection unit 259c, a quality degradation cause processing unit 257c, a communication control unit 258c, an image sharing processing unit 260c, a display control unit 262c, and a storage unit 264c can be applied.

＜本実施形態に係る通信システムの動作＞
本実施形態に係る通信システムの動作の一例は、図８を適用できる。 <Operation of Communication System According to this Embodiment>
FIG. 8 can be applied to an example of the operation of the communication system according to the present embodiment.

＜画像を共有する動作（その３）＞
図１２は、端末装置１００ｃが、該端末装置１００ｃの画面に表示されている画像を端末装置１００ｄとの間で共有する動作を示すシーケンスチャート（その３）である。図１２に示される例では、端末装置１００ｃは該端末装置１００ｃに対して行われた操作の内容を表す情報を端末装置１００ｄへ定期的に送信している。端末装置１００ｄは、表示される画像が劣化していることを検出した場合に、その画像が劣化する原因として、端末装置１００ｄのユーザへ操作の内容を表す情報を通知する。 <Operation for sharing images (Part 3)>
FIG. 12 is a sequence chart (part 3) illustrating an operation in which the terminal device 100c shares an image displayed on the screen of the terminal device 100c with the terminal device 100d. In the example shown in FIG. 12, the terminal device 100c periodically transmits information representing the contents of the operation performed on the terminal device 100c to the terminal device 100d. When the terminal device 100d detects that the displayed image is deteriorated, the terminal device 100d notifies the user of the terminal device 100d of information indicating the content of the operation as a cause of the deterioration of the image.

ステップＳ１２０２では、端末装置１００ｃと端末装置１００ｄとの間でセッションが確立される。例えば、図８のステップＳ１０−ステップＳ１９の処理が端末装置１００ｃと端末装置１００ｄとの間で行われることによって、端末装置１００ｃと端末装置１００ｄとの間でセッションが確立される。   In step S1202, a session is established between the terminal device 100c and the terminal device 100d. For example, the process of step S10 to step S19 in FIG. 8 is performed between the terminal device 100c and the terminal device 100d, thereby establishing a session between the terminal device 100c and the terminal device 100d.

ステップＳ１２０４では、端末装置１００ｃの画像共有処理部２６０ｃは、端末装置１００ｃのディスプレイ２１０に表示されている画像を表す情報を生成する。
ステップＳ１２０６−Ｓ１２０８では、端末装置１００ｃの送受信部２５２ｃは、画像共有処理部２６０ｃによって生成した画像を表す情報を端末装置１００ｄへ送信する。ここで、通信制御部２５８ｃは、予め設定された符号化パラメータを適用して画像を表す情報を送信するようにしてもよい。 In step S1204, the image sharing processing unit 260c of the terminal device 100c generates information representing an image displayed on the display 210 of the terminal device 100c.
In steps S1206 to S1208, the transmission / reception unit 252c of the terminal device 100c transmits information representing the image generated by the image sharing processing unit 260c to the terminal device 100d. Here, the communication control unit 258c may transmit information representing an image by applying a preset encoding parameter.

ステップＳ１２１０では、端末装置１００ｄの品質劣化検出部２５９ｄは、端末装置１００ｄに表示される画像が劣化しているか否かを判定する。ステップＳ１２１０において、端末装置１００ｄに表示される画像が劣化していないと判定された場合、ステップＳ１２２４へ移行する。
ステップＳ１２１２では、端末装置１００ｃの操作検出部２５４ｃは、ユーザによって行われた操作を検出する。例えば、操作検出部２５４ｃは、タッチパネルに対して行われた操作、具体的には、スクロール、フリック（ページめくり）、スワイプ、ピンチイン、ピンチアウト等の操作を検出する。 In step S1210, the quality degradation detection unit 259d of the terminal device 100d determines whether or not the image displayed on the terminal device 100d is degraded. If it is determined in step S1210 that the image displayed on the terminal device 100d has not deteriorated, the process proceeds to step S1224.
In step S1212, the operation detection unit 254c of the terminal device 100c detects an operation performed by the user. For example, the operation detection unit 254c detects operations performed on the touch panel, specifically, operations such as scrolling, flicking (page turning), swipe, pinch-in, and pinch-out.

ステップＳ１２１４では、端末装置１００ｃの品質劣化原因処理部２５７ｃは、操作検出部２５４ｃによって検出された操作の内容を表す情報を生成する。
ステップＳ１２１６−Ｓ１２１８では、端末装置１００ｃの送受信部２５２ｃは、品質劣化原因処理部２５７ｃによって生成された操作の内容を表す情報を端末装置１００ｄへ送信（報知）する。
ステップＳ１２２０では、端末装置１００ｄの送受信部２５２ｂは、端末装置１００ｃによって送信された操作の内容を表す情報を受信する。 In step S1214, the quality degradation cause processing unit 257c of the terminal device 100c generates information representing the content of the operation detected by the operation detection unit 254c.
In steps S1216 to S1218, the transmission / reception unit 252c of the terminal device 100c transmits (notifies) information representing the content of the operation generated by the quality degradation cause processing unit 257c to the terminal device 100d.
In step S1220, the transmission / reception unit 252b of the terminal device 100d receives information representing the content of the operation transmitted by the terminal device 100c.

ステップＳ１２２２では、端末装置１００ｄの品質劣化原因処理部２５７ｄは、画像の品質が劣化する原因を表す情報をユーザへ通知する。例えば、品質劣化原因処理部２５７ｄは、操作の内容を表す情報が画像情報である場合、表示制御部２６２ｄに操作の内容を表す情報を画像処理させ、画像の品質が劣化する原因としてディスプレイ２１０に表示させる。また、操作の内容を表す情報が音声情報である場合、品質劣化原因処理部２５７ｂは、該音声情報を再生するようにしてもよい。   In step S1222, the quality degradation cause processing unit 257d of the terminal device 100d notifies the user of information indicating the cause of the image quality degradation. For example, if the information representing the operation content is image information, the quality degradation cause processing unit 257d causes the display control unit 262d to perform image processing on the information representing the operation content, and causes the display 210 to cause the image quality to deteriorate. Display. Further, when the information representing the content of the operation is audio information, the quality deterioration cause processing unit 257b may reproduce the audio information.

ステップＳ１２２２の後、端末装置１００ｃと端末装置１００ｄとの間で、ステップＳ１２１２−Ｓ１２２２の処理が行われる。
ステップＳ１２２４では、端末装置１００ｃと端末装置１００ｄとの間で確立されたセッションが終了する。 After step S1222, the processes of steps S1212-S1222 are performed between the terminal device 100c and the terminal device 100d.
In step S1224, the session established between the terminal device 100c and the terminal device 100d ends.

＜画像を共有する動作（その４）＞
図１３は、端末装置１００ｃが、該端末装置１００ｃの画面に表示されている画像を端末装置１００ｄとの間で共有する動作を示すシーケンスチャート（その４）である。図１３に示される例では、端末装置１００ｄに表示される画像が劣化している場合に、その画像が劣化していることを端末装置１００ｃに通知し、画像が劣化している通知を受けた端末装置１００ｃは端末装置１００ｄへ操作の内容を表す情報を送信する。そして、端末装置１００ｄは、画像の品質が劣化する原因として、端末装置１００ｃによって送信された操作の内容を通知する。 <Operation for sharing images (part 4)>
FIG. 13 is a sequence chart (part 4) illustrating an operation in which the terminal device 100c shares an image displayed on the screen of the terminal device 100c with the terminal device 100d. In the example illustrated in FIG. 13, when an image displayed on the terminal device 100 d is deteriorated, the terminal device 100 c is notified that the image is deteriorated, and a notification that the image is deteriorated is received. The terminal device 100c transmits information representing the content of the operation to the terminal device 100d. Then, the terminal device 100d notifies the content of the operation transmitted by the terminal device 100c as a cause of the deterioration of the image quality.

ステップＳ１３０２−Ｓ１３１０は、図１２のステップＳ１２０２−Ｓ１２１０を適用できる。ステップＳ１３１０において、端末装置１００ｄに表示される画像が劣化していないと判定された場合、ステップＳ１３３０へ移行する。
ステップＳ１３１２では、品質劣化検出部２５９ｄによって端末装置１００ｄに表示される画像が劣化していると判断された場合、端末装置１００ｄの品質劣化原因処理部２５７ｄは、画像の品質が劣化していることを表す情報を生成する。 Steps S1302-S1310 can apply steps S1202-S1210 of FIG. If it is determined in step S1310 that the image displayed on the terminal device 100d is not deteriorated, the process proceeds to step S1330.
In step S1312, if the quality degradation detection unit 259d determines that the image displayed on the terminal device 100d is degraded, the quality degradation cause processing unit 257d of the terminal device 100d has degraded the image quality. Generates information that represents

ステップＳ１３１４−Ｓ１３１６では、端末装置１００ｄの送受信部２５２ｄは、品質劣化原因処理部２５７ｄによって生成された画像の品質が劣化していることを表す情報を端末装置１００ｃへ送信する。
ステップＳ１３１８−Ｓ１３３０は、図１２のステップＳ１２１２−Ｓ１２２４を適用できる。 In steps S1314-S1316, the transmission / reception unit 252d of the terminal device 100d transmits information indicating that the quality of the image generated by the quality degradation cause processing unit 257d is degraded to the terminal device 100c.
Steps S1318 to S1330 can apply steps S1212 to S1224 of FIG.

本実施形態に係る通信システムによれば、端末装置１００ｃと端末装置１００ｄとの間で、端末装置１００ｃの画面に表示されている画像が共有される。さらに、端末装置１００ｃは該端末装置１００ｃに対して行われた操作の内容を表す情報を端末装置１００ｄへ定期的に送信し、端末装置１００ｄは表示される画像が劣化していることを検出した場合に画像が劣化する原因として端末装置１００ｄのユーザへ操作の内容を表す情報を通知する。   According to the communication system according to the present embodiment, the image displayed on the screen of the terminal device 100c is shared between the terminal device 100c and the terminal device 100d. Furthermore, the terminal device 100c periodically transmits information representing the contents of the operation performed on the terminal device 100c to the terminal device 100d, and the terminal device 100d detects that the displayed image is deteriorated. In this case, the information indicating the content of the operation is notified to the user of the terminal device 100d as a cause of image deterioration.

これによって、端末装置１００ｃによって送信される画像を表す情報が端末装置１００ｄに表示され、該画像の品質が劣化する場合に、その画像の品質が劣化した原因を通知できるため、端末装置１００ｂのユーザが体感する品質を向上させることができる。つまり、端末装置１００ｃと端末装置１００ｄとの間で端末装置１００ｃの画面に表示されている画像を共有する場合に、端末装置１００ｄの画面に表示される画像の品質が劣化した場合にその原因をユーザへ通知できる。このため、端末装置１００ｄのユーザは、画像が劣化した場合にその原因を知りながら見ることができる。   As a result, when information representing an image transmitted by the terminal device 100c is displayed on the terminal device 100d and the quality of the image is degraded, the cause of the degradation of the image quality can be notified. Can improve the quality experienced. That is, when the image displayed on the screen of the terminal device 100c is shared between the terminal device 100c and the terminal device 100d, the cause is caused when the quality of the image displayed on the screen of the terminal device 100d deteriorates. Users can be notified. For this reason, the user of the terminal device 100d can view the image while knowing the cause when the image deteriorates.

さらに、端末装置１００ｃによって送信される画像を表す情報が端末装置１００ｄに表示され、該画像の品質が劣化する場合に、端末装置１００ｄは、画像の品質が劣化したことを端末装置１００ｃに通知する。端末装置１００ｃは、画像の品質が劣化したことが通知された場合に、端末装置１００ｃに対して行われた操作の内容を表す情報を端末装置１００ｄへ通知し、端末装置１００ｄは画像の品質が劣化した原因として、該操作の内容を表す情報を通知する。これによって、端末装置１００ｃは端末装置１００ｄから画像の品質が劣化した通知を受信した場合に操作の内容を表す情報を送信すればよいため、定期的に操作の内容を表す情報を送信する場合と比較して、端末装置１００ｃにおける処理負荷を低減できる。   Furthermore, when information representing an image transmitted by the terminal device 100c is displayed on the terminal device 100d, and the quality of the image is degraded, the terminal device 100d notifies the terminal device 100c that the quality of the image is degraded. . When the terminal device 100c is notified that the image quality has deteriorated, the terminal device 100c notifies the terminal device 100d of information indicating the contents of the operation performed on the terminal device 100c. Information indicating the contents of the operation is notified as the cause of deterioration. As a result, the terminal device 100c only needs to transmit information representing the content of the operation when receiving a notification that the image quality has deteriorated from the terminal device 100d. In comparison, the processing load on the terminal device 100c can be reduced.

以上、本発明の実施形態及びその変形を説明したが、これらの実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。   As mentioned above, although embodiment of this invention and its deformation | transformation were demonstrated, these embodiment and its deformation | transformation were shown as an example and are not intending limiting the range of invention. These embodiments and modifications thereof can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and at the same time, are included in the invention described in the claims and equivalents thereof.

なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。   Each of the above devices has a computer inside. The process of each device described above is stored in a computer-readable recording medium in the form of a program, and the above-described processing is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

上述した実施形態において、端末装置１００ａは自装置の一例であり、端末装置１００ｂは他装置の一例であり、品質劣化推定部は品質判断部の一例であり、送受信部は送信部の一例であり、品質劣化検出部は品質検出部の一例である。また、表示制御部は表示機能ぼ一例であり、操作検出部は操作検出機能の一例であり、品質劣化推定部は品質判断機能の一例であり、送受信部は送信機能、及び報知機能の一例であり、回線品質検出部は回線品質検出機能の一例であり、品質劣化検出部は品質検出機能の一例である。   In the embodiment described above, the terminal device 100a is an example of the own device, the terminal device 100b is an example of another device, the quality degradation estimation unit is an example of a quality determination unit, and the transmission / reception unit is an example of a transmission unit. The quality deterioration detection unit is an example of a quality detection unit. The display control unit is an example of a display function, the operation detection unit is an example of an operation detection function, the quality degradation estimation unit is an example of a quality judgment function, and the transmission / reception unit is an example of a transmission function and a notification function. The line quality detection unit is an example of a line quality detection function, and the quality deterioration detection unit is an example of a quality detection function.

１０…通信システム
２０…通信網
５０ａ、５０ｂ…基地局
１００ａ、１００ｂ、１００ｃ、１００ｄ…端末装置
２５２ａ、２５２ｂ、２５２ｃ、２５２ｄ…送受信部
２５４ａ、２５４ｂ、２５４ｃ、２５４ｄ…操作検出部
２５５ａ，２５５ｂ、２５５ｃ，２５５ｄ…回線品質検出部
２５６ａ、２５６ｂ、２５６ｃ、２５６ｄ…品質劣化推定部
２５７ａ、２５７ｂ、２５７ｃ、２５７ｄ…品質劣化原因処理部
２５８ａ、２５８ｂ、２５８ｃ、２５８ｄ…通信制御部
２５９ｃ、２５９ｄ…品質劣化推定部
２６０ａ、２６０ｂ、２６０ｃ、２６０ｄ…画像共有処理部
２６２ａ、２６２ｂ、２６２ｃ、２６２ｄ…表示制御部
２６４ａ、２６４ｂ、２６４ｃ、２６４ｄ…記憶部
３００…シグナリングサーバ
４００…認証サーバ
５００…プッシュサーバ DESCRIPTION OF SYMBOLS 10 ... Communication system 20 ... Communication network 50a, 50b ... Base station 100a, 100b, 100c, 100d ... Terminal device 252a, 252b, 252c, 252d ... Transmission / reception part 254a, 254b, 254c, 254d ... Operation detection part 255a, 255b, 255c , 255d... Line quality detection unit 256a, 256b, 256c, 256d... Quality degradation estimation unit 257a, 257b, 257c, 257d... Quality degradation cause processing unit 258a, 258b, 258c, 258d ... Communication control unit 259c, 259d. Units 260a, 260b, 260c, 260d ... Image sharing processing units 262a, 262b, 262c, 262d ... Display control units 264a, 264b, 264c, 264d ... Storage unit 300 ... Signaling server 400 ... Authentication server 500 ... Push server

Claims (12)

自装置と他装置との間で共有される画像を表示する表示部と、
自装置に対する操作を検出する操作検出部と、
自装置が前記他装置へ送信する前記画像について、前記操作検出部が検出した操作に基づく前記他装置での表示の品質の低下を判断する品質判断部と、
前記品質判断部の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信部と、
を備える端末装置。 A display unit for displaying an image shared between the own device and another device;
An operation detection unit that detects an operation on the device;
A quality determination unit that determines a decrease in display quality in the other device based on the operation detected by the operation detection unit for the image transmitted from the device to the other device;
A transmission unit that transmits information about a cause of a decrease in display quality in the other device to the other device based on a determination result of the quality determination unit;
A terminal device comprising: 自装置と前記他装置間の通信回線の品質を検出する回線品質検出部をさらに備え、
前記送信部は、前記品質判断部の判断の結果と前記回線品質検出部が検出した前記通信回線の品質とに基づいて、前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する、
請求項１に記載の端末装置。 A line quality detection unit for detecting the quality of the communication line between the own device and the other device;
The transmission unit obtains information about the cause of the deterioration in display quality in the other device based on the result of the determination by the quality determination unit and the quality of the communication line detected by the line quality detection unit. Send to the device,
The terminal device according to claim 1. 自装置と他装置との間で共有される画像を表示する表示部と、
自装置と前記他装置間の通信回線の品質を検出する回線品質検出部と、
自装置が前記他装置へ送信する前記画像について、前記回線品質検出部が検出した前記通信回線の品質に基づく前記他装置での表示の品質の低下を判断する品質判断部と、
前記品質判断部の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信部と、
を備える端末装置。 A display unit for displaying an image shared between the own device and another device;
A line quality detection unit for detecting the quality of a communication line between the own apparatus and the other apparatus;
A quality determination unit that determines a deterioration in display quality in the other device based on the quality of the communication line detected by the line quality detection unit for the image transmitted from the own device to the other device;
A transmission unit that transmits information about a cause of a decrease in display quality in the other device to the other device based on a determination result of the quality determination unit;
A terminal device comprising: 自装置と他装置との間で共有される画像を表示する表示部と、
前記他装置が自装置へ送信する前記画像について、前記画像の表示の品質の低下を検出する品質検出部と、
前記他装置に対する操作の情報を前記他装置から受信する受信部と、
前記品質検出部が前記画像の表示の品質の低下を検出した場合に、前記受信部が前記他装置から受信した前記操作の情報に基づいて、前記画像の表示の品質の低下の原因について報知する報知部と、
を備える端末装置。 A display unit for displaying an image shared between the own device and another device;
A quality detection unit for detecting a decrease in display quality of the image for the image transmitted from the other device to the device;
A receiving unit that receives operation information from the other device;
When the quality detection unit detects a decrease in the display quality of the image, the reception unit notifies the cause of the decrease in the display quality of the image based on the operation information received from the other device. A notification unit;
A terminal device comprising: 前記品質検出部が前記画像の表示の品質の低下を検出した場合に、前記他装置に対する操作の情報を前記他装置へ要求する要求部をさらに備える請求項４に記載の端末装置。   The terminal device according to claim 4, further comprising: a request unit that requests operation information for the other device from the other device when the quality detection unit detects a decrease in display quality of the image. 自装置と前記他装置間の通信回線の品質を検出する回線品質検出部をさらに備え、
前記報知部は、前記受信部が前記他装置から受信した前記操作の情報と、前記回線品質検出部が検出した前記通信回線の品質とに基づいて、前記画像の表示の品質の低下の原因について報知する、
請求項４又は５のいずれか１項に記載の端末装置。 A line quality detection unit for detecting the quality of the communication line between the own device and the other device;
The notification unit is configured to cause a deterioration in display quality of the image based on the operation information received by the reception unit from the other device and the quality of the communication line detected by the line quality detection unit. To inform,
The terminal device according to any one of claims 4 and 5. 端末装置が、自装置と他装置との間で共有される画像を表示する表示ステップと、
前記端末装置が、自装置に対する操作を検出する操作検出ステップと、
前記端末装置が、自装置が他装置へ送信する前記画像について、前記操作検出ステップによって検出した操作に基づく前記他装置での表示の品質の低下を判断する品質判断ステップと、
前記端末装置が、前記品質判断ステップの判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信ステップと、
を含む情報提供方法。 A display step in which the terminal device displays an image shared between the own device and the other device;
An operation detection step in which the terminal device detects an operation on the device;
A quality determination step for determining a decrease in display quality on the other device based on the operation detected by the operation detection step for the image transmitted by the terminal device to the other device;
A transmission step in which the terminal device transmits information about a cause of a deterioration in display quality in the other device based on a result of the determination in the quality determination step;
Information providing method including 端末装置が、自装置と他装置との間で共有される画像を表示する表示ステップと、
前記端末装置が、自装置と前記他装置間の通信回線の品質を検出する回線品質検出ステップと、
前記端末装置が、自装置が他装置へ送信する前記画像について、前記回線品質検出ステップによって検出した前記通信回線の品質に基づく前記他装置での表示の品質の低下を判断する品質判断ステップと、
前記端末装置が、前記品質判断ステップの判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信ステップと、
を含む情報提供方法。 A display step in which the terminal device displays an image shared between the own device and the other device;
A line quality detecting step in which the terminal device detects the quality of a communication line between the own device and the other device;
A quality determination step of determining a decrease in display quality in the other device based on the quality of the communication line detected by the line quality detection step for the image transmitted by the terminal device to the other device;
A transmission step in which the terminal device transmits information about a cause of a deterioration in display quality in the other device based on a result of the determination in the quality determination step;
Information providing method including 端末装置が、自装置と他装置との間で共有される画像を表示する表示ステップと、
前記端末装置が、前記他装置が自装置へ送信する前記画像について、前記画像の表示の品質の低下を検出する品質検出ステップと、
前記端末装置が、前記他装置に対する操作の情報を前記他装置から受信する受信ステップと、
前記端末装置が、前記品質検出ステップによって前記画像の表示の品質の低下を検出した場合に、前記受信ステップによって前記他装置から受信した前記操作の情報に基づいて、前記画像の表示の品質の低下の原因について報知する報知ステップと、
を含む情報提供方法。 A display step in which the terminal device displays an image shared between the own device and the other device;
The terminal device detects a deterioration in display quality of the image for the image that the other device transmits to its own device; and
A receiving step in which the terminal device receives operation information for the other device from the other device;
When the terminal device detects a decrease in the display quality of the image in the quality detection step, the deterioration in the display quality of the image is performed based on the operation information received from the other device in the reception step. An informing step for informing about the cause of
Information providing method including 端末装置のコンピュータに、
自装置と他装置との間で共有される画像を表示する表示機能と、
自装置に対する操作を検出する操作検出機能と、
自装置が他装置へ送信する前記画像について、前記操作検出機能が検出した操作に基づく前記他装置での表示の品質の低下を判断する品質判断機能と、
前記品質判断機能の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信機能と、
を実現させるためのコンピュータプログラム。 In the terminal computer,
A display function for displaying an image shared between the own device and another device;
An operation detection function for detecting an operation on the device;
A quality determination function for determining a decrease in display quality in the other device based on the operation detected by the operation detection function for the image transmitted from the own device to the other device;
A transmission function for transmitting to the other apparatus information about the cause of deterioration in display quality in the other apparatus based on a result of the determination of the quality determining function;
Computer program for realizing. 端末装置のコンピュータに、
自装置と他装置との間で共有される画像を表示する表示機能と、
自装置と前記他装置間の通信回線の品質を検出する回線品質検出機能と、
自装置が前記他装置へ送信する前記画像について、前記回線品質検出機能が検出した前記通信回線の品質に基づく前記他装置での表示の品質の低下を判断する品質判断機能と、
前記品質判断機能の判断の結果に基づいて前記他装置での表示の品質の低下の原因についての情報を前記他装置へ送信する送信機能と、
を実現させるためのコンピュータプログラム。 In the terminal computer,
A display function for displaying an image shared between the own device and another device;
A line quality detection function for detecting the quality of a communication line between the own apparatus and the other apparatus;
A quality determination function for determining a deterioration in display quality in the other device based on the quality of the communication line detected by the line quality detection function for the image transmitted from the own device to the other device;
A transmission function for transmitting to the other apparatus information about the cause of deterioration in display quality in the other apparatus based on a result of the determination of the quality determining function;
Computer program for realizing. 端末装置のコンピュータに、
自装置と他装置との間で共有される画像を表示する表示機能と、
前記他装置が自装置へ送信する前記画像について、前記画像の表示の品質の低下を検出する品質検出機能と、
前記他装置に対する操作の情報を前記他装置から受信する受信機能と、
前記品質検出機能が前記画像の表示の品質の低下を検出した場合に、前記受信機能が前記他装置から受信した前記操作の情報に基づいて、前記画像の表示の品質の低下の原因について報知する報知機能と、
を実現させるためのコンピュータプログラム。 In the terminal computer,
A display function for displaying an image shared between the own device and another device;
A quality detection function for detecting a deterioration in display quality of the image for the image transmitted from the other device to the device;
A reception function for receiving operation information for the other device from the other device;
When the quality detection function detects a decrease in the display quality of the image, the reception function notifies the cause of the deterioration in the display quality of the image based on the operation information received from the other device. A notification function;
Computer program for realizing.
JP2016012506A 2016-01-26 2016-01-26 Terminal device, information providing method, and computer program Active JP6499094B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016012506A JP6499094B2 (en) 2016-01-26 2016-01-26 Terminal device, information providing method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016012506A JP6499094B2 (en) 2016-01-26 2016-01-26 Terminal device, information providing method, and computer program

Publications (2)

Publication Number Publication Date
JP2017134510A JP2017134510A (en) 2017-08-03
JP6499094B2 true JP6499094B2 (en) 2019-04-10

Family

ID=59502804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016012506A Active JP6499094B2 (en) 2016-01-26 2016-01-26 Terminal device, information providing method, and computer program

Country Status (1)

Country Link
JP (1) JP6499094B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409016B2 (en) * 2019-10-31 2024-01-09 株式会社リコー Communication systems, communication terminals, communication methods, programs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0730870A (en) * 1993-07-07 1995-01-31 Sony Corp Video telephone system
JP2012114623A (en) * 2010-11-24 2012-06-14 Hitachi Ltd Image data communication system and image data communication method
CN106464837A (en) * 2014-03-05 2017-02-22 株式会社理光 Data transmission system, terminal device, program, and method

Also Published As

Publication number Publication date
JP2017134510A (en) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6154374B2 (en) Content control method and apparatus using graphic object
EP2770668B1 (en) Apparatus and Method for Controlling a Messenger Service in a Terminal
CN103139529A (en) Video call switchover method between session initiation protocol (SIP) server and video call devices
AU2013371739A1 (en) Method and mobile device for displaying image
EP2667281A2 (en) Terminal apparatus, display system, display method, and recording medium
JP2020198508A (en) Information processing system and control method of the same
EP2950503A1 (en) Communication system, transfer control device, communication method, and computer program product
JP2017117108A (en) Electronic apparatus and method for controlling the electronic apparatus
US10924529B2 (en) System and method of transmitting data by using widget window
JP6499094B2 (en) Terminal device, information providing method, and computer program
EP2660680A1 (en) System and method for enabling collaborative gesture-based sharing of ressources between devices
JP6254067B2 (en) Inter-terminal communication system, server, and inter-terminal communication method
JP6409092B2 (en) Terminal device, communication method between terminals, and program for terminal device
JP2017135504A (en) Terminal device, communication method, and program
JP6560134B2 (en) Terminal device, communication method, and program
KR20170019248A (en) Mobile terminal and method for controlling the same
JP6081973B2 (en) Inter-terminal communication system, inter-terminal communication method, and inter-terminal communication program
JP6396754B2 (en) Terminal device, communication method between terminals, and program for terminal device
WO2016117249A1 (en) Communication terminal, communication system, display control method and program
GB2554510A (en) Call transfer between devices
JP2017134160A (en) Terminal device, map sharing method, and computer program
JP6010376B2 (en) Electronic device, selection program and method
JP6509917B2 (en) Inter-terminal communication system, inter-terminal communication method, inter-terminal communication program, and communication server
JP2017134503A (en) Terminal device, moving image sharing method, and computer program
JP2017034359A (en) Electronic apparatus, operation method for electronic apparatus, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190314

R150 Certificate of patent or registration of utility model

Ref document number: 6499094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150