JP6216755B2 - Inter-device communication system, information transmitting device, and information receiving device - Google Patents
Inter-device communication system, information transmitting device, and information receiving device Download PDFInfo
- Publication number
- JP6216755B2 JP6216755B2 JP2015194045A JP2015194045A JP6216755B2 JP 6216755 B2 JP6216755 B2 JP 6216755B2 JP 2015194045 A JP2015194045 A JP 2015194045A JP 2015194045 A JP2015194045 A JP 2015194045A JP 6216755 B2 JP6216755 B2 JP 6216755B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- moving image
- determination criterion
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本発明の実施形態は、装置間通信システム、情報送信装置、及び情報受信装置に関する。 Embodiments described herein relate generally to an inter-device communication system, an information transmission device, and an information reception device.
従来、有線通信や無線通信を利用して動画データを装置間において送受信し、受信側の装置において動画を再生することを可能にする通信システムが知られている(例えば、特許文献1を参照)。 2. Description of the Related Art Conventionally, there has been known a communication system that enables video data to be transmitted and received between devices using wired communication or wireless communication and that a moving image can be reproduced on a receiving device (see, for example, Patent Document 1). .
通信環境の状況によっては、動画を滑らかに再生することができない場合がある。しかしながら、上述したような従来の通信システムにおいては、通信環境の状況が動画の再生に適さない場合であっても、そのまま動画を送受信せざるを得なかった。つまり、上述したような従来の通信システムにおいては、通信環境に応じた動画の再生ができなかった。 Depending on the situation of the communication environment, the moving image may not be played smoothly. However, in the conventional communication system as described above, even if the communication environment is not suitable for moving image reproduction, the moving image has to be transmitted and received as it is. That is, in the conventional communication system as described above, it is not possible to reproduce a moving image according to the communication environment.
本発明は、通信環境に応じた動画の再生を可能にする装置間通信システム、情報送信装置、及び情報受信装置を提供することを目的とする。 It is an object of the present invention to provide an inter-device communication system, an information transmission device, and an information reception device that can reproduce a moving image according to a communication environment.
本発明の一実施形態は、情報送信装置と情報受信装置との間のセションの通信状況を、前記通信状況の判定基準情報に基づいて判定する通信状況判定部と、前記通信状況判定部が判定する前記セションの通信状況に基づいて、前記セションによって前記情報送信装置から前記情報受信装置に送信される動画像データの符号化パラメータを算出するパラメータ算出部と、前記パラメータ算出部が算出した前記符号化パラメータに基づいて生成される動画像データを、前記セションによって前記情報送信装置から前記情報受信装置に送信する動画像データ送信部と、前記判定基準情報の更新に用いられる更新情報を前記情報送信装置と前記情報受信装置とのいずれとも異なる他の装置から受信する更新情報受信部と、前記通信状況判定部が前記通信状況の判定に用いる前記判定基準情報を、前記更新情報受信部が受信する前記更新情報に基づいて更新する判定基準情報更新部とを備える装置間通信システムである。 In one embodiment of the present invention, a communication status determination unit that determines a communication status of a session between an information transmission device and an information reception device based on the determination criterion information of the communication status, and the communication status determination unit determines A parameter calculation unit that calculates an encoding parameter of moving image data transmitted from the information transmission device to the information reception device by the session based on a communication status of the session, and the code calculated by the parameter calculation unit the moving image data is generated based on the parameter, wherein the information transmission apparatus and the moving image data transmission unit to be transmitted to the information receiving apparatus from the determination criterion information of the information transmission update information used for updating by the session and than either received from different other devices update information receiving unit of the apparatus and said information receiving apparatus, the communication status determination unit is the communication The determination criterion information used in the determination of the situation, an inter-device communication system comprising a determination criterion information updating unit that updates, based on the update information and the update information receiving unit receives.
また、本発明の一実施形態の装置間通信システムにおいて、前記更新情報受信部は、前記セションによる通信の終了後に、前記更新情報を受信し、前記判定基準情報更新部は、前記更新情報受信部が前記更新情報を受信した後、前記判定基準情報を更新する。 In the inter-device communication system according to an embodiment of the present invention, the update information receiving unit receives the update information after the end of communication by the session, and the determination criterion information updating unit is configured to receive the update information receiving unit. After the update information is received, the determination criterion information is updated.
また、本発明の一実施形態の装置間通信システムにおいて、前記更新情報には、装置間の前記セションによる通信の状況を示す統計情報が含まれ、前記判定基準情報更新部は、前記判定基準情報を、前記更新情報に含まれる前記統計情報に基づいて更新する。 Further, in the inter-device communication system according to an embodiment of the present invention, the update information includes statistical information indicating a status of communication by the session between devices, and the determination criterion information update unit includes the determination criterion information. Is updated based on the statistical information included in the update information.
また、本発明の一実施形態の装置間通信システムにおいて、前記判定基準情報には、前記情報送信装置が有する第1の判定基準情報と、前記情報受信装置が有する第2の判定基準情報とが含まれ、前記通信状況判定部には、前記情報送信装置が備える第1通信状況判定部と、前記情報受信装置が備える第2通信状況判定部とが含まれ、前記第1通信状況判定部は、前記第1の判定基準情報に基づく検査情報を前記情報受信装置に対して送信し、前記第2通信状況判定部は、前記第1通信状況判定部が送信する前記検査情報の受信状況と、前記第2の判定基準情報とに基づいて、前記セションの通信状況を判定する。 In the inter-device communication system according to an embodiment of the present invention, the determination criterion information includes first determination criterion information included in the information transmission device and second determination criterion information included in the information reception device. The communication status determination unit includes a first communication status determination unit included in the information transmission device and a second communication status determination unit included in the information reception device. The first communication status determination unit includes: The inspection information based on the first determination criterion information is transmitted to the information receiving device, and the second communication state determination unit is configured to receive the inspection information transmitted by the first communication state determination unit; The communication status of the session is determined based on the second determination criterion information.
また、本発明の一実施形態の装置間通信システムにおいて、前記第2通信状況判定部は、前記第1の判定基準情報と、前記第2の判定基準情報とが一致しない場合には、前記第1通信状況判定部が送信する前記検査情報の受信状況と、前記第1の判定基準情報とに基づいて、前記セションの通信状況を判定する。 In the inter-device communication system according to an embodiment of the present invention, the second communication status determination unit determines that the first determination criterion information does not match the second determination criterion information. The communication status of the session is determined based on the reception status of the inspection information transmitted by the one communication status determination unit and the first determination criterion information.
また、本発明の一実施形態は、自装置と情報受信装置との間のセションの通信状況の第1の判定基準情報に基づいて、前記セションの通信状況の判定に用いられる検査情報を生成する検査情報生成部と、前記検査情報生成部が生成する前記検査情報と、前記通信状況の第2の判定基準情報とに基づいて前記セションの通信状況を判定する前記情報受信装置に対して、前記検査情報生成部が生成する前記検査情報を送信する検査情報送信部と、前記情報受信装置が判定する前記セションの通信状況に基づいて算出される動画像データの符号化パラメータに基づいて、動画像データを生成する動画像データ生成部と、前記動画像データ生成部が生成する前記動画像データを、前記セションによって前記情報受信装置に送信する動画像データ送信部と、前記第1の判定基準情報の更新に用いられる更新情報を前記情報受信装置とは異なる他の装置から受信する更新情報受信部と、前記更新情報受信部が受信する前記更新情報に基づいて、前記第1の判定基準情報を更新する判定基準情報更新部とを備える情報送信装置である。 Moreover, one Embodiment of this invention produces | generates the test | inspection information used for determination of the communication condition of the said session based on the 1st criteria information of the communication condition of the session between an own apparatus and an information receiver. For the information reception device that determines the communication status of the session based on the test information generation unit, the test information generated by the test information generation unit, and the second determination criterion information of the communication status, Based on an encoding parameter of moving image data calculated based on a communication status of the session determined by the information receiving device and an inspection information transmitting unit that transmits the inspection information generated by the inspection information generating unit A moving image data generating unit that generates data, and a moving image data transmitting unit that transmits the moving image data generated by the moving image data generating unit to the information receiving device through the session The update information receiving unit and the first determination criterion information said information receiving apparatus updates information used to update received from different other devices, based on the update information and the update information receiving unit receives, An information transmission apparatus comprising: a determination criterion information update unit that updates the first determination criterion information.
また、本発明の一実施形態の情報送信装置において、前記更新情報受信部は、前記セションによる通信の終了後に、前記更新情報を受信し、前記判定基準情報更新部は、前記更新情報受信部が前記更新情報を受信した後、前記第1の判定基準情報を更新する。 In the information transmitting apparatus according to the embodiment of the present invention, the update information receiving unit receives the update information after the end of the communication by the session, and the determination criterion information updating unit includes the update information receiving unit. After receiving the update information, the first determination criterion information is updated.
また、本発明の一実施形態の情報送信装置において、前記更新情報には、装置間の前記セションによる通信の状況を示す統計情報が含まれ、前記判定基準情報更新部は、前記第1の判定基準情報を、前記更新情報に含まれる前記統計情報に基づいて更新する。 Further, in the information transmission apparatus according to the embodiment of the present invention, the update information includes statistical information indicating a status of communication between the sessions between the apparatuses, and the determination criterion information update unit includes the first determination The reference information is updated based on the statistical information included in the update information.
また、本発明の一実施形態は、自装置と情報送信装置との間のセションの通信状況の第1の判定基準情報に基づいて前記情報送信装置において生成される検査情報を、前記情報送信装置から受信する検査情報受信部と、前記検査情報受信部が受信する前記検査情報と、前記通信状況の第2の判定基準情報とに基づいて前記セションの通信状況を判定する通信情報判定部と、前記通信状況判定部が判定する前記セションの通信状況に基づく動画像データの符号化パラメータを用いて前記情報送信装置が生成する前記動画像データを、前記セションによって前記情報送信装置から受信する動画像データ受信部と、前記動画像データ受信部が受信する前記動画像データに基づく動画を表示する表示制御部と、前記第2の判定基準情報の更新に用いられる更新情報を前記情報送信装置とは異なる他の装置から受信する更新情報受信部と、前記更新情報受信部が受信する前記更新情報に基づいて、前記第2の判定基準情報を更新する判定基準情報更新部とを備える情報受信装置である。 In addition, according to an embodiment of the present invention, the information transmission device generates inspection information generated in the information transmission device based on first determination criterion information on a communication status of a session between the device and the information transmission device. A communication information determination unit for determining the communication status of the session based on the test information reception unit received from the test information received by the test information reception unit and the second determination criterion information of the communication status; A moving image that receives the moving image data generated by the information transmitting device from the information transmitting device through the session using an encoding parameter of moving image data based on the communication state of the session determined by the communication state determining unit A data receiving unit, a display control unit for displaying a moving image based on the moving image data received by the moving image data receiving unit, and updating the second determination criterion information. That update information to the information transmission apparatus and the update information receiving section for receiving from the different other devices, based on the update information and the update information receiving unit receives, criteria for updating the second determination criterion information An information receiving device including an information updating unit.
また、本発明の一実施形態の情報受信装置において、前記更新情報受信部は、前記セションによる通信の終了後に、前記更新情報を受信し、前記判定基準情報更新部は、前記更新情報受信部が前記更新情報を受信した後、前記第2の判定基準情報を更新する。 Further, in the information receiving apparatus according to an embodiment of the present invention, the update information receiving unit receives the update information after completion of the communication by the session, and the determination criterion information update unit is configured by the update information receiving unit. After receiving the update information, the second determination criterion information is updated.
また、本発明の一実施形態の情報受信装置において、前記更新情報には、装置間の前記セションによる通信の状況を示す統計情報が含まれ、前記判定基準情報更新部は、前記第2の判定基準情報を、前記更新情報に含まれる前記統計情報に基づいて更新する。 Further, in the information receiving device of one embodiment of the present invention, the update information includes statistical information indicating a status of communication between the devices between the devices, and the determination criterion information update unit includes the second determination The reference information is updated based on the statistical information included in the update information.
また、本発明の一実施形態の情報受信装置において、前記通信状況判定部は、前記第1の判定基準情報と、前記第2の判定基準情報とが一致しない場合には、前記情報送信装置が送信する前記検査情報の受信状況と、前記第1の判定基準情報とに基づいて、前記セションの通信状況を判定する。 Further, in the information reception device according to the embodiment of the present invention, the communication status determination unit determines that the information transmission device determines that the first determination criterion information does not match the second determination criterion information. Based on the reception status of the inspection information to be transmitted and the first determination criterion information, the communication status of the session is determined.
本発明によれば、通信環境に応じた動画の再生を可能にする装置間通信システム、情報送信装置、及び情報受信装置を提供できる。 According to the present invention, it is possible to provide an inter-device communication system, an information transmission device, and an information reception device that can reproduce a moving image according to a communication environment.
[第1の実施形態]
以下、図を参照して本実施形態による装置間通信システム1の第1の実施形態について説明する。
図1は、装置間通信システム1が提供する情報通信機能の概要の一例を示す模式図である。本実施形態の装置間通信システム1は、複数の装置間における情報通信機能を提供する。装置間通信システム1において、これら装置の種類は限定されない。例えば、装置間通信システム1は、端末装置相互間における、又はサーバ装置と端末装置との間における、情報通信機能を提供する。すなわち、ここでいう装置には、端末装置とサーバ装置とが含まれる。この一例では、複数の装置が、いずれも携帯端末装置である場合について説明する。ここでいう携帯端末装置とは、音声や文字により装置間で相互に通信が可能な通信装置であり、例えば、携帯電話やスマートフォンである。この携帯端末装置は、音声情報と、画像情報とを同一の回線で送受信可能な、高速データ通信回線に接続が可能である。この高速データ通信回線とは、例えば、LTE(Long Term Evolution)通信網である。この高速データ通信回線は、画像や文字などのデジタル情報の送受信に加えて、音声通話を可能にするサービス(VoLTE;Voice over LTE)を提供する。なお、装置間通信システム1において、通信方式等はこれらに限られない。以下の説明において、この携帯端末装置を単に端末装置10と記載する。また、必要に応じて送信側の端末装置10を、情報送信装置又は端末装置10−1と記載し、受信側の端末装置10を情報受信装置又は端末装置10−2と記載する。
[First Embodiment]
Hereinafter, a first embodiment of the
FIG. 1 is a schematic diagram illustrating an example of an outline of an information communication function provided by the
装置間通信システム1は、複数の端末装置10の間における情報通信機能を提供する。この情報通信機能とは、複数の端末装置10の間において、画像情報又は音声情報を通信する機能である。なお、情報通信機能の一例として、装置間通信システム1は、複数の端末装置10の間において、画像情報又は音声情報を双方向に共有する情報共有機能を提供してもよい。
ここでは、送信側の端末装置10は、受信側の端末装置10に対して、動画像データを送信する場合を一例にして説明する。この一例では、装置間通信システム1は、送信側の端末装置10に表示されている動画像を、受信側の端末装置10に表示させる。
The
Here, a case where the transmission-
図1に示す具体例では、端末装置10−1のユーザが、端末装置10−1の画面に表示されている地図に、目的地を示す矢印を書き込む。この操作により、端末装置10−1は、地図と矢印とが合成された動画像P10を生成する。端末装置10−1は、この動画像P10の動画像データを端末装置10−2に送信する。これにより、端末装置10−2の画面には、動画像P10に対応する動画像P11が表示される。 In the specific example illustrated in FIG. 1, the user of the terminal device 10-1 writes an arrow indicating the destination on the map displayed on the screen of the terminal device 10-1. By this operation, the terminal device 10-1 generates a moving image P10 in which a map and an arrow are combined. The terminal device 10-1 transmits the moving image data of the moving image P10 to the terminal device 10-2. Thereby, the moving image P11 corresponding to the moving image P10 is displayed on the screen of the terminal device 10-2.
なお、動画像データの送信機能の一例としては、端末装置10−1が動画の撮像が可能なカメラを備えている場合には、このカメラによって撮像された動画を、端末装置10−2に送信するものであってもよい。
また、動画像データの送信機能の一例としては、不図示の動画像提供サーバが生成した動画像データを、端末装置10に対して送信するものであってもよい。
なお、ここでいう動画像データの生成には、カメラでリアルタイムに撮像された動画のように動画コンテンツが生成される場合と、予め用意されている動画像データの解像度やフレームレートを変更する場合とが含まれる。また、動画像データの生成には、装置間において送受信される動画像データのデータ量を変更することも含まれる。
As an example of the moving image data transmission function, when the terminal device 10-1 includes a camera capable of capturing a moving image, the moving image captured by the camera is transmitted to the terminal device 10-2. You may do.
Further, as an example of the moving image data transmission function, moving image data generated by a moving image providing server (not shown) may be transmitted to the
Note that the generation of moving image data here refers to the case where moving image content is generated, such as a moving image captured in real time with a camera, or the case where the resolution or frame rate of moving image data prepared in advance is changed. And are included. The generation of moving image data includes changing the data amount of moving image data transmitted and received between apparatuses.
以下の説明において、情報通信機能のうち、端末装置10−1に表示されている画面を、端末装置10−2に表示させる機能のことを、表示画面共有機能とも記載する。この端末装置10の構成について図2を参照して説明する。
In the following description, the function of causing the terminal device 10-2 to display the screen displayed on the terminal device 10-1 among the information communication functions is also referred to as a display screen sharing function. The configuration of the
[端末装置の構成]
図2は、本実施形態の端末装置10の構成の一例を示す模式図である。端末装置10は、表示部100と、操作検出部110と、撮像部120と、音再生部130と、収音部140と、通信部150と、制御部160とを備えている。
[Configuration of terminal device]
FIG. 2 is a schematic diagram illustrating an example of the configuration of the
表示部100は、液晶ディスプレイを備えており、文字や写真などの画像を表示する。
操作検出部110は、表示部100を覆う透明なタッチパネルセンサを備えており、ユーザの操作を検出する。
撮像部120は、静止画及び動画を撮像可能なカメラを備えている。このカメラは、CCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary metal oxide semiconductor)イメージセンサなどの撮像素子とレンズなどの光学部材とを備えており、端末装置10の周囲の像を撮像する。
The
The
The
音再生部130は、スピーカを備えており、入力される音情報に基づく音を再生する。
収音部140は、マイクを備えており、端末装置10の周囲の音を収音して、収音した音を音情報に変換する。装置間通信システム1は、収音部140によって収音された音を、端末装置10間において共有することも可能である。
The
The
通信部150は、通信制御用IC(Integrated Circuit)を備え、他の装置との通信を行う。端末装置10は、この通信部150による通信動作によって、他の装置と通信を行う。以下の説明において、通信部150の構成及び動作の説明は省略する。
The
制御部160は、CPU(Central Processing Unit)を備え、端末装置10が備える各部を制御する。端末装置10は、この制御部160による各部の制御によって、表示部100への表示、操作検出部110による操作の検出、通信部150による他の装置との通信等の動作を行う。
The
[情報通信機能の選択操作の概要]
次に、ユーザが情報通信機能を起動する操作の概要について、図3を参照して説明する。
図3は、本実施形態の装置間通信システム1が提供する情報通信機能の起動操作の一例を示す模式図である。ここでは、ユーザA(Aさん)と、ユーザB(Bさん)とが、それぞれ端末装置10を使用して表示画面共有機能を利用する場合を一例にして説明する。また、この一例の説明において、ユーザAは、端末装置10−1を使用する。また、ユーザBは、端末装置10−2を使用する。
[Overview of selecting information communication function]
Next, an outline of an operation for the user to activate the information communication function will be described with reference to FIG.
FIG. 3 is a schematic diagram illustrating an example of an activation operation of the information communication function provided by the
ユーザAと、ユーザBとは、図3(A)から図3(E)に示す操作を順に行うことにより、表示画面共有機能を利用する。このユーザAと、ユーザBとは、LTE通信網を経由した音声通話を行っている。このユーザAと、ユーザBとが、LTE通信網を経由した音声通話を行っている場合の、各端末装置10に表示される画像の一例を、図3(A)に示す。
The user A and the user B use the display screen sharing function by sequentially performing the operations shown in FIGS. 3 (A) to 3 (E). The user A and the user B are making a voice call via the LTE communication network. FIG. 3A shows an example of an image displayed on each
このとき、ユーザAの端末装置10−1の表示部100、及びユーザBの端末装置10−2の表示部100には、いずれも画像PMBが表示されている。この画像PMBは、通信の相手側の端末装置10が、情報通信機能に対応していることを示す。この一例では、画像PMBの表示は、端末装置10−1と、端末装置10−2とが、いずれも表示画面共有機能に対応していることを示す。
At this time, the image PMB is displayed on both the
ユーザAは、端末装置10−1の表示部100に表示されている共有メニューボタンの画像PMBをタップ操作する。このタップ操作を端末装置10−1の操作検出部110が検出すると、ランチャー画像P20が表示される(図3(B)を参照)。このランチャー画像P20とは、上述したメニュー画像の一例である。この一例においては、ランチャー画像P20には、表示画面共有機能のアイコン画像P21が含まれている。このアイコン画像P21が表示されている表示部100上の位置を、ユーザがタップ操作することにより、アイコン画像P21に対応づけられた機能が起動する。
User A taps the image PMB of the shared menu button displayed on the
このタップ操作を端末装置10−1の操作検出部110が検出すると、表示画面共有機能の機能説明画像P22が表示される(図3(C)を参照)。また、このタップ操作を端末装置10−1の操作検出部110が検出すると、共有先の端末装置10−2の表示部100に画面共有開始の承諾画像P23が表示される。この承諾画像P23とは、情報共有の被要求側の端末装置10に表示される画像であり、要求側の端末装置10による情報共有の要求を承諾するか否かを示す操作を、ユーザに促す画像である。この一例においては、承諾画像P23とは、ユーザAからの画面共有の要求を承諾するか否かを示すタップ操作をユーザBに対して促す画像である。
When the
次に、ユーザBは、承諾画像P23の承諾ボタンの画像P24をタップ操作する。このタップ操作を端末装置10−2の操作検出部110が検出すると、端末装置10−2及び端末装置10−1の各表示部100に、接続中を示す画像P25が表示される(図3(D)を参照)。このとき、端末装置10−1と端末装置10−2との間において、表示画面共有のための端末間通信のセションが構築される。
Next, the user B taps the image P24 of the consent button of the consent image P23. When the
次に、端末装置10−1と端末装置10−2との間において、表示画面共有のための端末間通信のセションが確立すると、端末装置10−1の表示部100に表示されている画像P26が、端末装置10−2の表示部100に画像P27として表示される(図3(E)を参照)。すなわち、端末装置10−1と端末装置10−2との間において、表示画面共有が開始される。
Next, when a session for inter-terminal communication for display screen sharing is established between the terminal device 10-1 and the terminal device 10-2, an image P26 displayed on the
[端末間通信システムの構成]
次に、上述した情報通信機能を提供する装置間通信システム1の構成について、図4を参照して説明する。
図4は、本実施形態の装置間通信システム1の構成の一例を示す概要図である。装置間通信システム1は、複数の端末装置10(この一例では、端末装置10−1及び端末装置10−2)の他に、次の装置を備える。すなわち、装置間通信システム1は、シグナリングサーバ20と、認証サーバ30と、プッシュサーバ40と、中継サーバ50とを備えている。
[Configuration of inter-terminal communication system]
Next, the configuration of the
FIG. 4 is a schematic diagram illustrating an example of the configuration of the
シグナリングサーバ20は、端末装置10の間において行われる情報共有通信のセションを管理する。具体的には、シグナリングサーバ20は、複数の端末装置10、認証サーバ30、及びプッシュサーバ40との間において通信が可能である。シグナリングサーバ20は、端末装置10が情報通信機能に対応している場合、その端末装置10の情報のレジストレーション(初期登録)を行う。また、シグナリングサーバ20は、端末装置10から情報共有の要求があった場合に、共有先の端末装置10との間の通信のセションを構築するためのシグナリング処理を行う。また、シグナリングサーバ20は、端末装置10から情報共有の要求があった場合に、共有の要求先の端末装置10が情報通信機能に対応しているか否かの返答を、要求側の端末装置10に対して行う。
The signaling
このシグナリングサーバ20は、端末情報受信部と、適合性判定部と、判定結果送信部と、セション構築部とを、その機能部として備えている。
このうち、端末情報受信部は、端末情報を端末装置10から受信する。この端末情報には、端末装置10を識別する端末識別情報と、端末装置10において動作するアプリケーションを識別するアプリケーション識別情報とが含まれている。
適合性判定部は、端末装置10−1において動作する第1アプリケーションと、端末装置10−2において動作する第2アプリケーションとの適合性を、端末情報に基づいて判定する。
判定結果送信部は、端末装置10−1において動作する第1アプリケーションが送信する判定要求に応じて、適合性判定部による判定結果を端末装置10−1に送信する。
セション構築部は、第1アプリケーションが送信する通信開始の要求に応じて、通信開始の要求を送信した第1アプリケーションと、第2アプリケーションとの間のセションを、端末情報に基づいて構築する。
The signaling
Among these, the terminal information receiving unit receives terminal information from the
The suitability determination unit determines suitability between the first application operating in the terminal device 10-1 and the second application operating in the terminal device 10-2 based on the terminal information.
The determination result transmission unit transmits the determination result by the suitability determination unit to the terminal device 10-1 in response to the determination request transmitted by the first application operating in the terminal device 10-1.
The session construction unit constructs a session between the first application that transmitted the communication start request and the second application in response to the communication start request transmitted by the first application based on the terminal information.
また、シグナリングサーバ20は、セションの構築開始時に端末装置10が正規の装置であるか否かの判定、つまり、セキュア判定をする。端末装置10が正規の装置であるか否かは、様々な手段によって判定することができる。この一例においては、シグナリングサーバ20は、端末装置10から送信される電話番号及びIPアドレスに基づいて、セキュア判定をする。より具体的には、シグナリングサーバ20は、端末装置10から送信される電話番号及びIPアドレスと、この端末装置10に予め割り当てられている電話番号及びIPアドレスとが一致するか否かに基づいて、セキュア判定をする。
Further, the signaling
また、シグナリングサーバ20は、レジストレーション情報を記憶する。シグナリングサーバ20は、このレジストレーション情報を利用して、セションの構築、及びセキュア判定を行う。シグナリングサーバ20は、セションが確立された後には、所定の頻度でセキュア判定をする。シグナリングサーバ20は、端末装置10が正規の装置であると判定した場合に限り、セションを構築し、又は確立されたセションを維持する。具体的には、シグナリングサーバ20は、端末装置10が正規の装置であると判定した場合には、端末装置10に対してトークンを発行する。このトークンとは、高速通信回線を経由して端末装置10どうしが通信を行うための許可情報である。このトークンには、発行の時点からの有効期限が設定されている。端末装置10は、この有効なトークンが発行されている場合に、他の端末装置10との画面情報共有を行うことができる。また、端末装置10は、トークンが発行されていない場合、及び発行されているトークンの有効期限が途過している場合には、他の端末装置10との画面情報共有を行うことができない。このようにして、シグナリングサーバ20は、端末装置10の間のセションを管理する。
In addition, the signaling
認証サーバ30は、端末装置10の電話番号と、インターネットプロトコルアドレス(IPアドレス)とを関連付けて記憶している。認証サーバ30は、シグナリングサーバ20から、電話番号に対応するIPアドレスの要求があった場合に、端末装置10の電話番号に対応するIPアドレスを、シグナリングサーバ20に返答する。
The
なお、ある端末装置10についての電話番号とIPアドレスとの組み合わせが、認証サーバ30に記憶されている電話番号とIPアドレスとの組み合わせと一致しない場合には、この端末装置10が正規の装置でない可能性がある。シグナリングサーバ20は、ある端末装置10から電話番号及びIPアドレスを取得し、認証サーバに記憶されている電話番号及びIPアドレスと比較して、電話番号とIPアドレスとの組み合わせが一致するか否かを判定する。この比較の結果、電話番号とIPアドレスとの組み合わせが一致すると判定した場合、シグナリングサーバ20は、端末装置10に対してトークンを発行する。また、この比較の結果、電話番号とIPアドレスとの組み合わせが一致しないと判定した場合、シグナリングサーバ20は、端末装置10に対してトークンを発行しない。
If the combination of the telephone number and the IP address for a certain
プッシュサーバ40は、複数のプッシュIDを記憶する。プッシュIDとは、端末装置10上で動作する情報通信機能対応のアプリケーションについて、このアプリケーションを識別する識別情報である。このプッシュサーバ40に記憶されるプッシュIDと、端末装置10上で動作するアプリケーションとは、シグナリングサーバ20によって対応付けられている。具体的には、端末装置10において、ダウンロードされた新たなアプリケーションが初めて起動されると、この端末装置10は、プッシュサーバ40に対してプッシュIDの発行を要求する。プッシュサーバ40は、この要求に基づいて端末装置10の新たなアプリケーションに対するプッシュIDを発行して、発行したプッシュIDを端末装置10に送信する。端末装置10は、この新たなアプリケーションと、発行されたプッシュIDとを関連付けた情報を、シグナリングサーバ20に対してレジストレーション情報として送信する。シグナリングサーバ20は、端末装置10から送信されたレジストレーション情報を記憶する。これにより、プッシュサーバ40に記憶されるプッシュIDと、端末装置10上で動作するアプリケーションとが、シグナリングサーバ20によって対応付けられる。
The
また、プッシュサーバ40は、端末装置10においてアプリケーションがバージョンアップされると、このバージョンアップに伴って新たなプッシュIDを発行する。つまり、プッシュサーバ40は、端末装置10において動作するアプリケーションの、アプリケーションバージョンの更新に伴い、更新される。
Further, when the application is upgraded in the
また、プッシュサーバ40は、被要求側の端末装置10に対してシグナリングサーバ20がセション構築開始の要求を行う際に、要求側の端末装置10の電話番号をプッシュ技術により被要求側の端末装置10に対して送信する。このプッシュ技術とは、端末装置10に対する通信リクエストを、サーバ装置側(この例の場合には、シグナリングサーバ20、及びプッシュサーバ40側)からIPアドレスを用いてプッシュ配信する技術である。なお、以下の説明において、プッシュ技術によって情報を送信することを、単に、情報をプッシュするとも記載する。
Further, when the signaling
中継サーバ50は、複数の端末装置10の間の情報共有通信においてピア・トゥー・ピア接続ができない場合に、複数の端末装置10の間の情報共有通信を行う中継サーバである。ピア・トゥー・ピア接続は、P2P接続とも称する。複数の端末装置10の間の情報共有通信のP2Pセションが、所定の時間を超えても確立できない場合に、中継サーバ50を介したセションが構築される。
次に、上述した各装置によるセション確立までの手順ついて簡単に説明する。
The
Next, a procedure until session establishment by each device described above will be briefly described.
[初期設定(レジストレーション)]
プッシュサーバ40は、端末装置10のアプリケーションが送信するプッシュIDの発行の要求を受信すると、起動されたアプリケーションに対応するプッシュIDを、端末装置10に送信する(ステップS2−1及びステップS2−2)。
端末装置10は、レジストレーション情報を、シグナリングサーバ20に対して送信する(ステップS4−1及びステップS4−2)。
シグナリングサーバ20は、ステップS2−1及びステップS2−2において送信されたレジストレーション情報を記憶して、レジストレーションの処理を終了する。
[Initial Settings (Registration)]
Upon receiving the push ID issuance request transmitted by the application of the
The
The signaling
[本人認証]
シグナリングサーバ20は、ステップS6及びステップS7において、端末装置10の利用者の本人認証を行う。具体的には、シグナリングサーバ20は、認証サーバ30に対して、電話番号を送信する(ステップS6)。この電話番号とは、ステップS20において送信されたレジストレーション情報に含まれる電話番号である。
認証サーバ30は、ステップS6において送信された電話番号を受信し、この電話番号が予め登録されている電話番号であるか否かを判定して、この判定結果をシグナリングサーバ20に送信する(ステップS7)。
[Personal authentication]
The signaling
The
[セション構築]
要求側の端末装置10−1は、情報共有の要求をシグナリングサーバ20に対して送信する(ステップS10)。シグナリングサーバ20は、端末装置10から情報共有の要求を受け付ける。この情報共有の要求には、被要求側の端末装置10の電話番号が含まれている。次に、シグナリングサーバ20は、受け付けた電話番号と、予め記憶しているレジストレーション情報とを比較して、受信した電話番号が利用可能であるか否かを判定する。
シグナリングサーバ20は、受信した電話番号が利用可能であると判定した場合には、要求側の端末装置10に対して、情報通信機能が利用可能である旨を通知する(ステップS13)。
[Session construction]
The requesting terminal device 10-1 transmits an information sharing request to the signaling server 20 (step S10). The signaling
If the signaling
次に、要求側の端末装置10は、情報通信機能が利用可能である旨の通知を受信すると、シグナリングサーバ20にセション構築の要求を送信する(ステップS14)。このセション構築の要求には、送信要求側の端末装置10の電話番号及びIPアドレスと、被要求側の端末装置10の電話番号とが含まれる。
Next, when receiving the notification that the information communication function is available, the requesting
次に、シグナリングサーバ20は、ステップS130において送信されたセション構築の要求を受信すると、プッシュサーバ40に対して、セション構築情報を送信する(ステップS15)。このセション構築情報には、要求側の端末装置10の電話番号と、プッシュIDとが含まれている。このとき、シグナリングサーバ20は、被要求側の端末装置10の電話番号を検索キーにしてレジストレーション情報を検索することにより、プッシュIDを取得する。このプッシュIDは、被要求側の端末装置10において動作する情報共有アプリケーションに対応している。
Next, when the signaling
プッシュサーバ40は、送信されたセション構築情報を受信すると、このセション構築情報に含まれるプッシュIDに基づいて、被要求側の端末装置10に対して、情報共有アプリケーションの起動要求をプッシュする(ステップS16)。このときプッシュサーバ40がプッシュする情報には、要求側の端末装置10の電話番号が含まれている。
被要求側の端末装置10は、情報共有の承認画像を表示し、ユーザの承認操作を待つ。被要求側の端末装置10は、ユーザが承認する操作を行った場合には、シグナリングサーバ20に対してセション構築承認情報を送信する(ステップS19)。
シグナリングサーバ20は、ステップS19において送信されたセション構築承認情報を受信すると、要求側の端末装置10と、被要求側の端末装置10との間においてセションを構築して、セション構築の処理を終了する。
Upon receiving the transmitted session construction information, the
The requested
Upon receiving the session construction approval information transmitted in step S19, the signaling
[端末間通信システムの機能構成]
次に、図5を参照して、装置間通信システム1の機能構成の一例について説明する。
図5は、本実施形態の装置間通信システム1の機能構成の一例を示すブロック図である。シグナリングサーバ20は、更新情報供給部201を備える。なお、シグナリングサーバ20が備える端末情報受信部、適合性判定部、判定結果送信部、及びセション構築部の各部は図示を省略している。
更新情報供給部201は、各端末装置10に対して、判定基準情報を更新するための更新情報を供給する。この判定基準情報とは、セションの通信状況を判定するための基準を示す情報である。
[Functional configuration of communication system between terminals]
Next, an example of a functional configuration of the
FIG. 5 is a block diagram illustrating an example of a functional configuration of the
The update
端末装置10の制御部160は、次に示す各部をその機能部として備える。
すなわち、端末装置10−1の制御部160は、第1更新情報受信部1601と、第1判定基準情報更新部1602と、第1判定基準情報記憶部1603と、検査情報生成部1604と、検査情報送信部1605と、パラメータ受信部1606と、動画像データ生成部1607と、動画像データ記憶部1608と、動画像データ送信部1609とを備える。
また、端末装置10−2の制御部160は、第2更新情報受信部1621と、第2判定基準情報更新部1622と、第2判定基準情報記憶部1623と、検査情報受信部1625と、通信状況判定部1626と、パラメータ算出部1627と、パラメータ送信部1628と、動画像データ受信部1629と、表示制御部1630とを備える。
The
That is, the
In addition, the
第1更新情報受信部1601は、シグナリングサーバ20の更新情報供給部201が供給する更新情報を受信する。
第1判定基準情報記憶部1603には、判定基準情報が記憶されている。
第1判定基準情報更新部1602は、第1更新情報受信部1601が受信した更新情報によって、第1判定基準情報記憶部1603に記憶されている判定基準情報を更新する。
第2更新情報受信部1621、第2判定基準情報更新部1622、及び第2判定基準情報記憶部1623の構成は、それぞれ第1更新情報受信部1601、第1判定基準情報更新部1602、及び第1判定基準情報記憶部1603と同一であるため、説明を省略する。
この第1更新情報受信部1601、及び第1判定基準情報更新部1602を備えることにより、装置間通信システム1は、各端末装置10の判定基準情報を、シグナリングサーバ20が一括して更新することができる。
The first update
The first determination criterion
The first determination criterion
The configuration of the second update
By providing the first update
検査情報生成部1604は、第1判定基準情報記憶部1603に記憶されている第1判定基準情報に基づいて検査情報を生成する。この検査情報の一例としては、パケットトレイン方式などの既知の可用帯域推定手順に用いられる検査用パケットがある。この検査用パケットのパケットサイズや、検査用パケットの送信間隔、検査用パケットの送信数などは、第1判定基準情報記憶部1603に記憶されている第1判定基準情報によって定められている。つまり、第1判定基準情報とは、可用帯域推定に用いられるパラメータを定めるための情報である。なお、以下の説明において、可用帯域推定によって推定された可用帯域を推定可用帯域とも記載する。また、可用帯域の帯域幅を、可用帯域幅の状況又は単に可用帯域幅とも記載する。
The inspection
検査情報送信部1605は、検査情報生成部1604が生成した検査情報を、端末装置10−2に送信する。
検査情報受信部1625は、検査情報送信部1605が送信した検査情報を受信する。
通信状況判定部1626は、第2判定基準情報記憶部1623に記憶されている第2判定基準情報と、検査情報受信部1625が受信した検査情報とに基づいて、セションの通信状況を判定する。この一例では、通信状況判定部1626は、これらの情報に基づいてセションの可用帯域を推定することにより、通信状況を判定する。以下、通信状況判定部1626による通信状況の判定結果を、推定可用帯域情報と記載する。
The inspection
The inspection
The communication
パラメータ算出部1627は、通信状況判定部1626の判定結果である推定可用帯域情報に基づいて、動画像データの符号化パラメータを算出する。この動画像データの符号化パラメータには、動画像データによって再生される動画の品質を示すパラメータが含まれる。具体的には、符号化パラメータには、動画像のフレームレート、ビットレート、解像度、量子化パラメータなどが含まれる。動画の品質を示すパラメータは、高品質方向及び低品質方向に変更可能である。ここで、動画の品質を示すパラメータを高品質方向に変更することには、例えば、動画像のフレームレート、ビットレート、又は解像度を上昇させることや、量子化パラメータを小さくすることが含まれる。また、動画の品質を示すパラメータを低品質方向に変更することには、例えば、動画像のフレームレート、ビットレート、又は解像度を低減させることや、量子化パラメータを大きくすることが含まれる。
以下の説明において、動画像のフレームレート及びビットレートを総称して更新レートと記載する。また、動画の品質を示すパラメータを高品質方向に変更する場合の一例として、更新レートを上昇させる場合について記載する。動画の品質を示すパラメータを低品質方向に変更する場合の一例として、更新レートを低減させる場合について記載する。
パラメータ送信部1628は、パラメータ算出部1627が算出した符号化パラメータを、端末装置10−1に送信する。
The
In the following description, a frame rate and a bit rate of moving images are collectively referred to as an update rate. Also, a case where the update rate is increased will be described as an example of changing the parameter indicating the quality of the moving image in the high quality direction. As an example of changing the parameter indicating the quality of the moving image in the low quality direction, a case of reducing the update rate will be described.
The
なお、この一例では、端末装置10−2、つまり受信側の端末装置10の制御部160がパラメータ算出部1627を備えるとして説明するが、これに限られない。パラメータ算出部1627は、端末装置10−1、つまり送信側の端末装置10の制御部160に備えられていてもよい。この場合、通信状況判定部1626は、符号化パラメータに代えて推定可用帯域情報を、端末装置10−1に対して送信する。
In this example, the terminal device 10-2, that is, the
パラメータ受信部1606は、パラメータ送信部1628が送信した符号化パラメータを受信する。
動画像データ生成部1607は、パラメータ受信部1606が受信した符号化パラメータに基づいて、動画像データを生成する。具体的には、動画像データ生成部1607は、符号化パラメータに含まれる動画像のフレームレート、ビットレート、解像度、及び画像サイズなどの各情報に基づいて、動画像データを生成する。
動画像データ記憶部1608は、バッファメモリを備えており、動画像データ生成部1607が生成した動画像データを、その生成順に一時記憶する。
動画像データ送信部1609は、動画像データ記憶部1608に記憶されている動画像データを、その記憶順、すなわち動画像データの生成順に読み出す。また動画像データ送信部1609は、読み出した動画像データを端末装置10−2に対して送信する。
The
The moving image
The moving image
The moving image
動画像データ受信部1629は、動画像データ送信部1609が送信する動画像データを受信する。
表示制御部1630は、動画像データ受信部1629が受信した動画像データに基づく動画を、表示部100に表示する。
The moving image
The
[端末間通信システムの動作]
次に、図6を参照して、本実施形態の装置間通信システム1の動作について説明する。
図6は、本実施形態の装置間通信システム1の動作の一例を示す流れ図である。この一例では、端末装置10−1から端末装置10−2に対して動画データを供給し、端末装置10−2において動画を再生する場合について説明する。
[Operation of inter-terminal communication system]
Next, the operation of the
FIG. 6 is a flowchart showing an example of the operation of the
端末装置10−1及び端末装置10−2は、セションを構築する(ステップS100、ステップS200)。次に、端末装置10−1は、構築されたセッションによって端末装置10−2に対して検査情報を送信する。まず、端末装置10−1の検査情報生成部1604は、第1判定基準情報記憶部1603に記憶されている第1判定基準情報に基づいて、検査情報を生成する(ステップS110)。検査情報送信部1605は、ステップS110において生成された検査情報を、端末装置10−2に対して送信する(ステップS120)。
The terminal device 10-1 and the terminal device 10-2 construct a session (Step S100, Step S200). Next, the terminal device 10-1 transmits inspection information to the terminal device 10-2 by the constructed session. First, the inspection
端末装置10−2の検査情報受信部1625は、検査情報送信部1605がステップS120において送信した検査情報を受信する(ステップS210)。通信状況判定部1626は、第2判定基準情報記憶部1623に記憶されている第2判定基準情報を読み出す(ステップS220)。通信状況判定部1626は、ステップS210において受信した検査情報と、ステップS220において読み出した第2判定基準情報とに基づいて、判定基準情報の検査を行う(ステップS230)。この通信状況判定部1626が行う判定基準情報の検査の詳細について、図7を参照して説明する。
The inspection
図7は、本実施形態の通信状況判定部1626が行う判定基準情報の検査の動作の一例を示す流れ図である。ここで、判定基準情報の検査とは、それぞれの端末装置10に記憶されている判定基準情報が、一致しているか否かの検査である。具体的には、端末装置10には、それぞれ判定基準情報が記憶されている。送信側の端末装置10−1は、自装置に記憶されている第1判定基準情報に基づいて、検査情報を生成する。また、受信側の端末装置10−2は、自装置に記憶されている第2判定基準情報と、第1判定基準情報に基づいて生成された検査情報とに基づいて、通信状況を判定する。つまり、端末装置10−2は、第1判定基準情報と第2判定基準情報とが一致していることを前提にして、通信状況を判定する。
FIG. 7 is a flowchart illustrating an example of the operation of checking the criterion information performed by the communication
ここで、シグナリングサーバ20は、各端末装置10に記憶されている判定基準情報を更新することがある。この更新の過程において、既に新しい判定基準情報に更新された端末装置10と、まだ新しい判定基準情報に更新されていない端末装置10とが混在することがある。つまり、送信側の端末装置10−1と、受信側の端末装置10−2とにおいて、新旧の判定基準情報が混在している場合が生じる。この場合には、双方の端末装置10がいずれも自装置の判定基準情報を使用して通信状況の判定を行うと、判定精度の低下や、判定そのものを行うことができない場合が生じることがある。そこで、端末装置10は、通信状況の判定に先立って判定基準情報の検査を行う。
Here, the signaling
通信状況判定部1626は、ステップS210において受信した検査情報から、この検査情報に含まれる第1判定基準情報を取得する(ステップS231)。通信状況判定部1626は、ステップS220において第2判定基準情報記憶部1623から読み出した第2判定基準情報を取得する(ステップS232)。通信状況判定部1626は、第1判定基準情報と、第2判定基準情報とが一致するか否かを判定する(ステップS233)。ここで、第1判定基準情報及び第2判定基準情報には、いずれも判定基準情報の更新状況を示す情報、例えば、バージョン情報が含まれている。通信状況判定部1626は、このバージョン情報が一致している場合には、第1判定基準情報と、第2判定基準情報とが一致していると判定し(ステップS233;YES)、第2判定基準情報を通信状況の判定に使用する(ステップS234)。また、通信状況判定部1626は、このバージョン情報が一致していない場合には、第1判定基準情報と、第2判定基準情報とが一致していないと判定し(ステップS233;NO)、第1判定基準情報を通信状況の判定に使用する(ステップS235)。
The communication
図6に戻り、通信状況判定部1626は、検査情報受信部1625が受信した検査情報と、ステップS230において選択された判定基準情報とに基づいて、通信状況を判定する(ステップS240)。この通信状況の判定には、既知の様々な手法が適用可能である。例えば、検査情報がパケットトレイン方式の検査用パケットである場合には、通信状況判定部1626は、検査用パケットの受信間隔や、未受信パケット数などによる可用帯域推定などの既知の手法によって、通信状況を判定する。
Returning to FIG. 6, the communication
次に、パラメータ算出部1627は、通信状況判定部1626が判定した通信状況に基づいて、符号化パラメータを算出する(ステップS250)。パラメータ送信部1628は、ステップS250においてパラメータ算出部1627が算出した符号化パラメータを、端末装置10−1に送信する(ステップS260)。
Next, the
パラメータ受信部1606は、パラメータ送信部1628が送信した符号化パラメータを受信する(ステップS130)。動画像データ生成部1607は、パラメータ受信部1606が受信した符号化パラメータに基づいて、動画像データを生成する(ステップS140)。動画像データ送信部1609は、動画像データ生成部1607が生成した動画像データを、端末装置10−2に送信する(ステップS150)。
The
動画像データ受信部1629は、動画像データ送信部1609が送信した動画像データを受信する(ステップS270)。表示制御部1630は、動画像データ受信部1629が受信した動画像データに基づく動画を、表示部100に表示する(ステップS280)。
The moving image
端末装置10−1及び端末装置10−2は、セションを終了させる(ステップS160、ステップS290)までの間、ステップS140からステップS280までを繰り返し実行する。これにより、装置間通信システム1は、端末装置10−1が生成した動画像データに基づく動画を、端末装置10−2の表示部100に表示させる。
なお、端末装置10−1及び端末装置10−2は、セションを終了させるまでの間、ステップS110からステップS280までを繰り返し実行するようにしてもよい。ここで、ステップS110からステップS130、及びステップS210からステップS260において、端末装置10−1及び端末装置10−2は、セションの可用帯域の推定を行う。すなわち、端末装置10−1及び端末装置10−2は、セションを終了させるまでの間、動画像データの送受信を行いつつ、可用帯域の推定を行う。
The terminal device 10-1 and the terminal device 10-2 repeatedly execute steps S140 to S280 until the session is ended (steps S160 and S290). Thereby, the
Note that the terminal device 10-1 and the terminal device 10-2 may repeatedly execute steps S110 to S280 until the session is terminated. Here, in step S110 to step S130 and in step S210 to step S260, the terminal device 10-1 and the terminal device 10-2 perform estimation of the available bandwidth of the session. That is, the terminal device 10-1 and the terminal device 10-2 perform estimation of the usable bandwidth while transmitting / receiving moving image data until the session is terminated.
次に、図8を参照して、判定基準情報の更新の動作について説明する。
図8は、本実施形態の装置間通信システム1による判定基準情報の更新の動作の一例を示す流れ図である。本実施形態においては、判定基準情報の更新は、上述したセションの終了後に行われる。シグナリングサーバ20は、セションが終了している各端末装置10に対して更新情報を送信する。端末装置10−1の第1更新情報受信部1601は、シグナリングサーバ20が送信する更新情報を受信する(ステップS1010)。第1判定基準情報更新部1602は、第1更新情報受信部1601が受信した更新情報を、第1判定基準情報記憶部1603に書き込むことにより、第1判定基準情報記憶部1603に記憶されている判定基準情報を更新する(ステップ1020)。
端末装置10−2においても、端末装置10−1と同様にして、第2更新情報受信部1621及び第2判定基準情報更新部1622によって、第2判定基準情報記憶部1623に記憶されている判定基準情報が更新される(ステップ2010、ステップ2020)。
Next, with reference to FIG. 8, the operation of updating the criterion information will be described.
FIG. 8 is a flowchart showing an example of the operation of updating the criterion information by the
Also in the terminal device 10-2, the determination stored in the second determination criterion
以上説明したように本実施形態の装置間通信システム1は、動画像データの送受信セションの開始タイミングにおいて通信状況を判定するため、通信状況に応じた動画像データの供給が可能である。また、装置間通信システム1は、送受信セションの開始後、動画像データの送受信を行いつつ、通信状況を判定する。また、装置間通信システム1は、通信状況の判定に用いられる判定基準情報を、各端末装置10に対してシグナリングサーバ20から一括して更新可能である。これにより、端末装置10が販売され、ユーザの手に渡った後においても、判定基準情報を更新することができる。ここで、動画像データなど比較的情報量が大きいデータの送受信は、通信環境の良否の影響を比較的受けやすい。また、通信環境は、様々な要因によって日々変化するため、その通信環境の良否を判定するための判定基準情報を一意に定めることは難しい。シグナリングサーバ20は、動画像データの送受信のための通信環境のセション構築を行うため、その通信環境の統計情報を得ることが容易である。このシグナリングサーバ20が得た統計情報に基づいて、シグナリングサーバ20が判定基準情報の更新制御を行なうことにより、通信環境の変化に応じて判定基準情報を更新することができる。つまり、装置間通信システム1によれば、通信環境に応じた動画の再生を可能にすることができる。
As described above, the
[第2の実施形態]
以下、図9から図11を参照して本実施形態による装置間通信システム1の第2の実施形態について説明する。
図9は、第2の実施形態の装置間通信システム1の機能構成の一例を示すブロック図である。本実施形態の装置間通信システム1は、端末装置10−2が、動画像データの受信状況に応じて、符号化パラメータを変更することができる点において、上述した第1の実施形態と異なる。なお、上述した第1の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
[Second Embodiment]
Hereinafter, a second embodiment of the
FIG. 9 is a block diagram illustrating an example of a functional configuration of the
符号化パラメータは、動画像データ受信部1629が受信した動画像データの通信状況と、通信状況判定部1626が判定するセションの通信状況とに基づいて、パラメータ算出部1627によって算出される。
端末装置10−2は、パラメータ変更部1631を備える。パラメータ変更部1631は、パラメータ算出部1627が算出する符号化パラメータを変更する。つまり、パラメータ変更部1631は、セションによって送受信される動画像データの生成パラメータを、このセションの開始から終了までの間に更新する。すなわち、パラメータ変更部1631は、符号化パラメータを、動画像データの送受信中において動的に更新する。
The encoding parameter is calculated by the
The terminal device 10-2 includes a
このパラメータ変更部1631は、動画像データ送信部1609と動画像データ受信部1629とによる動画像データの通信状況に基づいて、符号化パラメータを変更する。具体的には、パラメータ変更部1631は、動画像データのパケットの到着状況を監視する。このパケットの到着状況には、パケットの遅延の程度、パケットの消失数、及びパケットの消失率がなどの状況が含まれる。以下の説明においては、パラメータ変更部1631が、動画像データのパケットの消失数に基づいて符号化パラメータを変更する場合を一例にして説明する。
The
図10は、本実施形態における装置間通信システム1の動作の一例を示す流れ図である。なお、図10においては、上述した第1の実施形態におけるステップS100からステップS130まで、及びステップS200からステップS260までの各ステップの図示を省略している。
FIG. 10 is a flowchart showing an example of the operation of the
パラメータ変更部1631は、パケット到着状況を監視する(ステップS2210)。この一例では、パラメータ変更部1631は、セション開始後の動画像データの単位時間あたりのパケット消失数を計数することにより、パケット到着状況を監視する。
次に、パラメータ変更部1631は、ステップS2210において計数したパケット消失数に基づいて、符号化パラメータを変更する(ステップS2220)。この一例では、パラメータ変更部1631が、符号化パラメータに含まれる動画の品質を示すパラメータのうち、動画像データの更新レートを変更する場合について説明するが、他のパラメータを変更してもよい。パラメータ変更部1631による符号化パラメータの変更動作について、図11を参照して説明する。
The
Next, the
図11は、本実施形態のパラメータ変更部1631による符号化パラメータの変更動作の一例を示す流れ図である。この一例では、セションの開始時において、通信状況判定部1626が、セションの可用帯域を予め推定している。なお、この通信状況判定部1626が推定した可用帯域を示す情報を、推定可用帯域情報とも記載する。
FIG. 11 is a flowchart illustrating an example of a coding parameter changing operation by the
パラメータ変更部1631は、推定可用帯域情報を取得する(ステップS2221)。次に、パラメータ変更部1631は、ステップ2210において計数しているパケット消失数を取得する(ステップS2222)。
パラメータ変更部1631は、パケット消失数が第1しきい値th1以下であると判定した場合(ステップS2223;YES)には、処理をステップS2224に進める。ここで、第1しきい値は、パケット消失数が0(ゼロ)として設定されていてもよい。この場合には、パラメータ変更部1631は、パケット消失数が0(ゼロ)ある場合に、処理をステップS2224に進める。
次に、パラメータ変更部1631は、推定可用帯域が第2しきい値th2を超えるか否かを判定する(ステップS2224)。パラメータ変更部1631は、推定可用帯域が第2しきい値th2を超えると判定した場合(ステップS2224;YES)には、更新レートを上昇させる。
The
If the
Next, the
つまり、パラメータ変更部1631は、パケット消失数が比較的少なく、推定可用帯域が比較的大きい場合には、通信状況に余裕があると判定し、動画像データの更新レートを上昇させる。すなわち、パラメータ変更部1631は、通信状況に余裕がある場合には、動画像データの更新レートを上昇させることにより、より高品質の動画像データを送受信させることができる。
That is, the
また、推定可用帯域の第2しきい値th2は、ストリームから推定された推定映像MOS(Mean Opinion Score;平均オピニオン評点)に関連付けられていてもよい。ここで、推定映像MOSは、例えば、不図示の映像MOS推定部によって、人の判断を介することなくストリームから自動的に推定される。推定映像MOSは、例えば、5:非常に良い(Excellent)、4:良い(Good)、3:普通(Fair)、2:悪い(Poor)、1:非常に悪い(Bad)の5段階によって示される。第2しきい値th2は、更新レートを上昇させた場合において、推定映像MOSが例えば3以上を維持できるようにして設定される。このように、第2しきい値th2が推定映像MOSと関連付けて設定されていることにより、パラメータ変更部1631が動画像データの更新レートを上昇させた場合においても、動画像の品質を所定以上の品質に維持することができる。
In addition, the second threshold th2 of the estimated usable bandwidth may be associated with an estimated video MOS (Mean Opinion Score) estimated from the stream. Here, the estimated video MOS is automatically estimated from the stream without a human judgment, for example, by a video MOS estimation unit (not shown). The estimated video MOS is indicated by, for example, five levels: 5: Excellent, 4: Good, 3: Fair, 2: Poor, 1: Bad. It is. The second threshold th2 is set so that the estimated video MOS can maintain 3 or more, for example, when the update rate is increased. As described above, since the second threshold th2 is set in association with the estimated video MOS, even when the
また、ステップS2223において、パラメータ変更部1631は、パケット消失数が第1しきい値th1を超えると判定した場合(ステップS2223;NO)には、処理をステップS2226に進める。
In Step S2223, if
パラメータ変更部1631は、パケット消失数が第4しきい値th4以下であると判定した場合(ステップS2226;YES)には、処理をステップS2227に進めて、更新レートを維持する。
パラメータ変更部1631は、パケット消失数が第3しきい値th3以下であると判定した場合(ステップS2228;YES)には、処理をステップS2229に進めて、更新レートを低減する。
If the
If the
ここで、第3しきい値th3は、第4しきい値th4に対して、大きな値が設定されている。つまり、パラメータ変更部1631は、パケット消失数が比較的小さいと判定した場合には、更新レートを維持し、パケット消失数が比較的大きいと判定した場合には、更新レートを低減する。このように、パラメータ変更部1631は、パケット消失数が比較的小さい場合に更新レートを維持することにより、更新レートが頻繁に変化してしまうことを抑止することができる。
Here, the third threshold th3 is set larger than the fourth threshold th4. That is, the
また、動画像データの更新レートが高い(大きい)場合には、セションが輻輳状態になって、動画が正常に再生できない場合がある。パラメータ変更部1631は、パケット消失数が比較的大きい場合には、更新レートを低減することにより、セションが輻輳状態になることを抑止することができる。つまり、パラメータ変更部1631は、更新レートを低減することにより、動画が正常に再生できなくなることを抑止することができる。
In addition, when the update rate of moving image data is high (large), the session may become congested, and the moving image may not be reproduced normally. When the number of lost packets is relatively large, the
なお、パラメータ変更部1631は、パケット消失数が第3しきい値th3を超えると判定した場合(ステップS2228;NO)には、処理をステップS2230に進める。ステップS2230において、パラメータ変更部1631は、表示制御部1630に対して動画の表示を停止し、静止画の表示に切り替える指示を出力する。
パケット消失数が第3しきい値th3を超えている場合には、動画像データの更新レートを低減したとしても、動画が正常に再生できない場合がある。パラメータ変更部1631は、動画が正常に再生できない可能性が高い場合、もしくは、動画が正常に再生できないことを検出した場合には、動画に代えて静止画を表示させる。ここで、動画が正常に再生できないことには、動画の復号の過程において、画像の情報に欠損が生じている場合が含まれる。このように、動画の復号の過程において情報に欠損が生じると、再生される画像に崩れが生じる。すなわち、動画が正常に再生できないことには、再生される画像に崩れが生じている場合が含まれる。また、ここでいう動画に代わる静止画とは、動画が正常に再生できない状態になるよりも以前に復号された静止画である。つまり、ここでいう静止画とは、正常に復号ができているために画像の崩れが無い静止画像である。このようにして、パラメータ変更部1631は、動画に崩れが生じるような場合には、崩れのない静止画を表示することにより、表示画像の品質を維持することができる。すなわち、装置間通信システム1によれば、通信環境に応じた動画の再生を可能にすることができる。
Note that if the
When the number of lost packets exceeds the third threshold th3, even if the update rate of the moving image data is reduced, the moving image may not be reproduced normally. The
[第3の実施形態]
以下、図12から図15を参照して本実施形態による装置間通信システム1の第3の実施形態について説明する。
図12は、第3の実施形態の装置間通信システム1の機能構成の一例を示すブロック図である。本実施形態の装置間通信システム1は、端末装置10−1が、動画像データの送信状況に応じて、動画像データの生成及び送信の制御をすることができる点において、上述した各実施形態と異なる。なお、上述した各実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
[Third Embodiment]
Hereinafter, a third embodiment of the
FIG. 12 is a block diagram illustrating an example of a functional configuration of the
端末装置10−1は、未送信データ検出部1610と、動画像データ制御部1611とを備える。
未送信データ検出部1610は、動画像データ記憶部1608に記憶されている動画像データのうち、動画像データ送信部1609が送信していない未送信データを検出する。
動画像データ制御部1611は、未送信データ検出部1610が検出する未送信データの数量に基づいて、動画像データ送信部1609が送信する動画像データを制御する。ここで、未送信データの数量とは、動画像データ記憶部1608に記憶されている未送信データの数又は量である。一例として、未送信データの数量には、未送信の動画像データのフレーム枚数、未送信の動画像データのデータ量が含まれる。
この動画像データ記憶部1608に記憶されている動画像データの一例について、図13を参照して説明する。
The terminal device 10-1 includes an untransmitted
The untransmitted
The moving image
An example of the moving image data stored in the moving image
図13は、本実施形態の動画像データ記憶部1608に記憶される動画像データの一例を示す図である。動画像データ生成部1607は、動画像データを時系列に順次生成する。この動画像データには、Iフレームと、Pフレームとが含まれる。このIフレームとは、フレーム間予測を用いずに生成されるフレームである。また、Pフレームとは、フレーム間予測を用いて生成されるフレームである。なお、この一例では、Iフレーム及びPフレームのみが含まれるとして説明するが、動画像データ生成部1607が生成するフレームには、他の形式のフレームが含まれていてもよい。例えば、動画像データ生成部1607が生成するフレームには、前方向予測、後方向予測、又は両方向予測のうちいずれかを選択して生成されるBフレームが含まれていてもよい。
ここで、Iフレームは、動画を復号するための基本情報が含まれているため、当該フレームだけで動画に復号することが可能である。一方、Pフレームは、他のフレームとの差分情報のみが含まれているため、Iフレーム及び他のPフレームと組み合わせることで、動画に復号することが可能である。
FIG. 13 is a diagram illustrating an example of moving image data stored in the moving image
Here, since the basic information for decoding the moving image is included in the I frame, it is possible to decode the I frame into the moving image using only the frame. On the other hand, since the P frame includes only difference information from other frames, it can be decoded into a moving image by combining with I frames and other P frames.
動画像データ記憶部1608には、動画像データ生成部1607が生成したフレームが、Pフレームであるフレーム01、Iフレームであるフレーム10…と、古いフレームから新しいフレームまで、フレームの生成順に記憶されている。
動画像データ送信部1609は、動画像データ記憶部1608に記憶されている動画像データを、古いフレームから順に読み出して、端末装置10−2に送信する。動画像データ送信部1609は、読み出したフレームを「読み出し済み」に更新する。動画像データ生成部1607は、「読み出し済み」のフレームが記憶されている位置に、新たに生成したフレームを書き込む。つまり、動画像データ記憶部1608は、動画像データ生成部1607が生成する動画像データを、その生成順に読み出して送信するためのバッファメモリである。
In the moving image
The moving image
図14を参照して、本実施形態における装置間通信システム1の動作の一例について説明する。
図14は、本実施形態における装置間通信システム1の動作の一例を示す流れ図である。なお、図14においては、上述した第1の実施形態におけるステップS100からステップS130まで、及びステップS200からステップS260まで、及びステップS160、ステップS290の各ステップの図示を省略している。
With reference to FIG. 14, an example of operation | movement of the
FIG. 14 is a flowchart showing an example of the operation of the
動画像データ生成部1607は、生成した動画像データのフレームを、その生成順に動画像データ記憶部1608に書き込む(ステップS1310)。動画像データ送信部1609は、動画像データ記憶部1608から動画像データのフレームを、その生成順に読み出し(ステップS1320)、読み出した順に端末装置10−2に送信する(ステップS150)。
端末装置10−2の動画像データ受信部1629は、動画像データを受信する(ステップS270)。表示制御部1630は、動画像データに基づく動画を表示部100に表示させる(ステップS280)。
The moving image
The moving image
未送信データ検出部1610は、動画像データ記憶部1608に記憶されている動画像データのフレームのうち、未送信の動画像データを検出する(ステップS1330)。より具体的には、未送信データ検出部1610は、未送信の動画像データのフレーム数を計数する。
The untransmitted
動画像データ制御部1611は、未送信データ検出部1610が検出した未送信の動画像データの量に基づいて、動画像データ送信部1609が送信する動画像データを制御する(ステップS1340)。この動画像データ制御部1611による動画像データの制御の一例について、図15を参照して説明する。
The moving image
図15は、本実施形態の動画像データ制御部1611による動画像データの制御の動作の一例を示す流れ図である。動画像データ制御部1611は、未送信データ検出部1610が検出した未送信の動画像データの量と、所定のしきい値とに基づいて、動画像データを制御する。具体的には、動画像データ制御部1611は、未送信データ検出部1610が計数した未送信フレーム数が、第5しきい値th5以下であると判定した場合(ステップS1341;YES)には、動画像データの更新レートを維持する(ステップS1342)。また、動画像データ制御部1611は、未送信データ検出部1610が計数した未送信フレーム数が、第5しきい値th5を超えると判定した場合(ステップS1341;NO)には、処理をステップS1343に進める。
FIG. 15 is a flowchart illustrating an example of an operation of controlling moving image data by the moving image
動画像データ制御部1611は、未送信データ検出部1610が計数した未送信フレーム数が、第6しきい値th6以下であると判定した場合(ステップS1343;YES)には、動画像データの更新レートを低減させる(ステップS1344)。ここで、第6しきい値th6は、第5しきい値th5よりも大きい値が設定されている。動画像データ制御部1611は、未送信データの数量が比較的少ない場合には、更新レートを維持することにより、更新レートが頻繁に変化してしまうことを抑止する。また、動画像データ制御部1611は、未送信データの数量が比較的多い場合には、更新レートを低減することにより、動画像データ記憶部1608、すなわち送信バッファメモリにおける動画像データのあふれを抑止する。これにより、動画像データ制御部1611は、端末装置10−2において再生される動画の品質が低下することを抑止することができる。
When the moving image
また、動画像データ制御部1611は、未送信データ検出部1610が計数した未送信フレーム数が、第6しきい値th6を超えると判定した場合(ステップS1343;NO)には、動画像データ記憶部1608に記憶されている動画データの一部又は全部を消去する。すなわち、動画像データ制御部1611は、送信バッファメモリをクリアする(ステップS1345)。つまり、動画像データ制御部1611は、更新レートの低減だけでは送信バッファメモリにおける動画像データのあふれを抑止することができない程度に、未送信データの数量が多い場合や、送信バッファメモリにおける動画像データの累積により遅延量が増加した場合には、動画像データの生成順の送信をあきらめる。換言すれば、動画像データ制御部1611は、未送信の動画像データの量が多く、動画の品質低下が免れない場合には、送信バッファメモリをクリアする。ここで、ある程度時間が経過すると、通信状況が変化して、動画像データの送受信ができる程度に可用帯域が復活することがある。動画像データ制御部1611は、送信バッファメモリをクリアするため、動画の品質低下を招く未送信の動画データが、可用帯域が復活した場合に送信されてしまうことを抑止することができる。つまり、装置間通信システム1によれば、通信環境に応じた動画の再生を可能にすることができる。
Also, when the moving image
また、動画像データ制御部1611は、送信バッファメモリをクリアする場合において、動画像データ記憶部1608に記憶されている動画データの一部を消去し、他の一部を消去しないこともできる。具体的には、図13に示すように、動画像データ制御部1611は、動画像データ記憶部1608に記憶されている動画データのフレームのうち、最新のIフレームである、フレーム20以降のフレームを消去しないようにする。この場合には、動画像データ制御部1611は、動画像データ記憶部1608に記憶されている動画データのフレームのうち、最新のIフレームである、フレーム20よりも過去に生成されたPフレーム及びIフレームを消去する。
上述したように、Iフレームは、動画を復号するための基本情報が含まれているため、当該フレームだけで動画に復号することが可能である。最新のIフレームを消去しないことにより、動画像データ制御部1611は、動画像データをすべて消去する場合に比べて、より迅速に動画を再生させることができる。
Further, when clearing the transmission buffer memory, the moving image
As described above, since the I frame includes basic information for decoding a moving image, the I frame can be decoded into a moving image using only the frame. By not erasing the latest I frame, the moving image
なお、動画像データ制御部1611は、第6しきい値th6を超えると判定した場合に、送信バッファメモリのクリアに代えて、新たに生成された動画像データを動画像データ記憶部1608に記憶させないように破棄することもできる。このように構成することにより、送信バッファメモリのクリアによって動画像データの記憶順序が変化することにより動画の品質が低下してしまうことを抑止することができる。
If the moving image
以上、本発明の実施形態及びその変形を説明したが、これらの実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 As mentioned above, although embodiment of this invention and its deformation | transformation were demonstrated, these embodiment and its deformation | transformation were shown as an example and are not intending limiting the range of invention. These embodiments and modifications thereof can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and at the same time, are included in the invention described in the claims and equivalents thereof.
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。 Each of the above devices has a computer inside. The process of each device described above is stored in a computer-readable recording medium in the form of a program, and the above-described processing is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
1…装置間通信システム、10…端末装置、20…シグナリングサーバ、30…認証サーバ、40…プッシュサーバ、50…中継サーバ
DESCRIPTION OF
Claims (12)
前記通信状況判定部が判定する前記セションの通信状況に基づいて、前記セションによって前記情報送信装置から前記情報受信装置に送信される動画像データの符号化パラメータを算出するパラメータ算出部と、
前記パラメータ算出部が算出した前記符号化パラメータに基づいて生成される動画像データを、前記セションによって前記情報送信装置から前記情報受信装置に送信する動画像データ送信部と、
前記判定基準情報の更新に用いられる更新情報を前記情報送信装置と前記情報受信装置とのいずれとも異なる他の装置から受信する更新情報受信部と、
前記通信状況判定部が前記通信状況の判定に用いる前記判定基準情報を、前記更新情報受信部が受信する前記更新情報に基づいて更新する判定基準情報更新部と、
を備える装置間通信システム。 A communication status determination unit that determines a communication status of a session between the information transmission device and the information reception device based on the determination criterion information of the communication status;
A parameter calculating unit that calculates an encoding parameter of moving image data transmitted from the information transmitting device to the information receiving device through the session, based on the communication status of the session determined by the communication status determining unit;
A moving image data transmitting unit that transmits moving image data generated based on the encoding parameter calculated by the parameter calculating unit from the information transmitting device to the information receiving device through the session;
An update information receiving unit that receives update information used for updating the determination criterion information from another device different from both the information transmitting device and the information receiving device ;
A determination criterion information update unit that updates the determination criterion information used by the communication status determination unit to determine the communication status based on the update information received by the update information reception unit;
An inter-device communication system.
前記セションによる通信の終了後に、前記更新情報を受信し、
前記判定基準情報更新部は、
前記更新情報受信部が前記更新情報を受信した後、前記判定基準情報を更新する
請求項1に記載の装置間通信システム。 The update information receiving unit
After the communication by the session ends, the update information is received,
The determination criterion information update unit includes:
The inter-device communication system according to claim 1, wherein the update information receiving unit updates the determination criterion information after receiving the update information.
前記判定基準情報更新部は、前記判定基準情報を、前記更新情報に含まれる前記統計情報に基づいて更新する
請求項1又は請求項2に記載の装置間通信システム。 The update information includes statistical information indicating the status of communication by the session between devices,
The inter-device communication system according to claim 1 or 2, wherein the determination criterion information update unit updates the determination criterion information based on the statistical information included in the update information.
前記情報送信装置が有する第1の判定基準情報と、前記情報受信装置が有する第2の判定基準情報とが含まれ、
前記通信状況判定部には、
前記情報送信装置が備える第1通信状況判定部と、前記情報受信装置が備える第2通信状況判定部とが含まれ、
前記第1通信状況判定部は、前記第1の判定基準情報に基づく検査情報を前記情報受信装置に対して送信し、
前記第2通信状況判定部は、前記第1通信状況判定部が送信する前記検査情報の受信状況と、前記第2の判定基準情報とに基づいて、前記セションの通信状況を判定する
請求項1から請求項3のいずれか一項に記載の装置間通信システム。 The criterion information includes
The first determination criterion information included in the information transmission device and the second determination criterion information included in the information reception device are included,
In the communication status determination unit,
A first communication status determination unit included in the information transmission device; and a second communication status determination unit included in the information reception device;
The first communication status determination unit transmits inspection information based on the first determination criterion information to the information reception device,
The second communication status determination unit determines the communication status of the session based on the reception status of the inspection information transmitted by the first communication status determination unit and the second determination criterion information. The inter-device communication system according to any one of claims 1 to 3.
請求項4に記載の装置間通信システム。 The second communication status determination unit, when the first determination criterion information and the second determination criterion information do not match, the reception status of the inspection information transmitted by the first communication status determination unit; The inter-device communication system according to claim 4, wherein the communication status of the session is determined based on the first determination criterion information.
前記検査情報生成部が生成する前記検査情報と、前記通信状況の第2の判定基準情報とに基づいて前記セションの通信状況を判定する前記情報受信装置に対して、前記検査情報生成部が生成する前記検査情報を送信する検査情報送信部と、
前記情報受信装置が判定する前記セションの通信状況に基づいて算出される動画像データの符号化パラメータに基づいて、動画像データを生成する動画像データ生成部と、
前記動画像データ生成部が生成する前記動画像データを、前記セションによって前記情報受信装置に送信する動画像データ送信部と、
前記第1の判定基準情報の更新に用いられる更新情報を前記情報受信装置とは異なる他の装置から受信する更新情報受信部と、
前記更新情報受信部が受信する前記更新情報に基づいて、前記第1の判定基準情報を更新する判定基準情報更新部と、
を備える情報送信装置。 A test information generating unit that generates test information used for determining the communication status of the session based on the first determination criterion information of the communication status of the session between the own device and the information receiving device;
The inspection information generation unit generates the inspection information for the information reception device that determines the communication status of the session based on the inspection information generated by the inspection information generation unit and the second determination criterion information of the communication status. An inspection information transmission unit for transmitting the inspection information to be performed;
A moving image data generating unit that generates moving image data based on an encoding parameter of moving image data calculated based on the communication status of the session determined by the information receiving device;
A moving image data transmission unit that transmits the moving image data generated by the moving image data generation unit to the information reception device by the session;
An update information receiving unit for receiving update information used for updating the first determination criterion information from another device different from the information receiving device ;
A determination criterion information updating unit that updates the first determination criterion information based on the update information received by the update information receiving unit;
An information transmission device comprising:
前記セションによる通信の終了後に、前記更新情報を受信し、
前記判定基準情報更新部は、
前記更新情報受信部が前記更新情報を受信した後、前記第1の判定基準情報を更新する
請求項6に記載の情報送信装置。 The update information receiving unit
After the communication by the session ends, the update information is received,
The determination criterion information update unit includes:
The information transmission device according to claim 6, wherein the update information receiving unit updates the first determination criterion information after receiving the update information.
前記判定基準情報更新部は、前記第1の判定基準情報を、前記更新情報に含まれる前記統計情報に基づいて更新する
請求項6又は請求項7に記載の情報送信装置。 The update information includes statistical information indicating the status of communication by the session between devices,
The information transmission apparatus according to claim 6 or 7, wherein the determination criterion information update unit updates the first determination criterion information based on the statistical information included in the update information.
前記検査情報受信部が受信する前記検査情報と、前記通信状況の第2の判定基準情報とに基づいて前記セションの通信状況を判定する通信状況判定部と、
前記通信状況判定部が判定する前記セションの通信状況に基づく動画像データの符号化パラメータを用いて前記情報送信装置が生成する前記動画像データを、前記セションによって前記情報送信装置から受信する動画像データ受信部と、
前記動画像データ受信部が受信する前記動画像データに基づく動画を表示する表示制御部と、
前記第2の判定基準情報の更新に用いられる更新情報を前記情報送信装置とは異なる他の装置から受信する更新情報受信部と、
前記更新情報受信部が受信する前記更新情報に基づいて、前記第2の判定基準情報を更新する判定基準情報更新部と、
を備える情報受信装置。 A test information receiving unit that receives test information generated in the information transmitting device based on first determination criterion information of a communication status of a session between the own device and the information transmitting device from the information transmitting device;
A communication status determination unit that determines a communication status of the session based on the test information received by the test information reception unit and second determination criterion information of the communication status;
A moving image that receives the moving image data generated by the information transmitting device from the information transmitting device through the session using an encoding parameter of moving image data based on the communication state of the session determined by the communication state determining unit A data receiver;
A display control unit for displaying a moving image based on the moving image data received by the moving image data receiving unit;
An update information receiving unit for receiving update information used for updating the second determination criterion information from another device different from the information transmitting device ;
A determination criterion information updating unit that updates the second determination criterion information based on the update information received by the update information receiving unit;
An information receiving apparatus comprising:
前記セションによる通信の終了後に、前記更新情報を受信し、
前記判定基準情報更新部は、
前記更新情報受信部が前記更新情報を受信した後、前記第2の判定基準情報を更新する
請求項9に記載の情報受信装置。 The update information receiving unit
After the communication by the session ends, the update information is received,
The determination criterion information update unit includes:
The information receiving device according to claim 9, wherein the update information receiving unit updates the second determination criterion information after receiving the update information.
前記判定基準情報更新部は、前記第2の判定基準情報を、前記更新情報に含まれる前記統計情報に基づいて更新する
請求項10に記載の情報受信装置。 The update information includes statistical information indicating the status of communication by the session between devices,
The information reception device according to claim 10, wherein the determination criterion information update unit updates the second determination criterion information based on the statistical information included in the update information.
請求項11に記載の情報受信装置。 When the first determination criterion information and the second determination criterion information do not match, the communication status determination unit, the reception status of the inspection information transmitted by the information transmission device, and the first The information receiving device according to claim 11, wherein the communication status of the session is determined based on determination criterion information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015194045A JP6216755B2 (en) | 2015-09-30 | 2015-09-30 | Inter-device communication system, information transmitting device, and information receiving device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015194045A JP6216755B2 (en) | 2015-09-30 | 2015-09-30 | Inter-device communication system, information transmitting device, and information receiving device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017069795A JP2017069795A (en) | 2017-04-06 |
JP6216755B2 true JP6216755B2 (en) | 2017-10-18 |
Family
ID=58492991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015194045A Expired - Fee Related JP6216755B2 (en) | 2015-09-30 | 2015-09-30 | Inter-device communication system, information transmitting device, and information receiving device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6216755B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005167515A (en) * | 2003-12-01 | 2005-06-23 | Matsushita Electric Ind Co Ltd | System and apparatus for streaming data communication, and streaming data distribution method |
JP5877960B2 (en) * | 2011-05-24 | 2016-03-08 | Kddi株式会社 | Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate |
-
2015
- 2015-09-30 JP JP2015194045A patent/JP6216755B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017069795A (en) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11144171B2 (en) | Reduced latency server-mediated audio-video communication | |
RU2608260C2 (en) | Method and device for sharing video information | |
TWI406570B (en) | Personal video recorder functionality for placeshifting | |
CN107277423B (en) | Method and device for packet loss retransmission | |
CN106686438B (en) | method, device and system for synchronously playing audio images across equipment | |
WO2015058590A1 (en) | Control method, device and system for live broadcast of video, and storage medium | |
CN106998485B (en) | Video live broadcasting method and device | |
JP6547349B2 (en) | Data transmission system, terminal device, program and method | |
KR20150068488A (en) | Cooperative provision of personalized user functions using shared and personal devices | |
KR101701742B1 (en) | Apparatus and method for live streaming between mobile communication terminals | |
CN111202980A (en) | Information transmission method, streaming media cloud platform and computer readable storage medium | |
JP5047467B2 (en) | Video recording apparatus, video recording system, and video recording method | |
JP4792495B2 (en) | Communication control apparatus and method | |
JP6216755B2 (en) | Inter-device communication system, information transmitting device, and information receiving device | |
CN113259729B (en) | Data switching method, server, system and storage medium | |
JP6216756B2 (en) | Inter-device communication system, information transmitting device, and information receiving device | |
JP2015119335A (en) | Terminal, system, program and method to thin out frame of photographed moving image in accordance with movement change amount | |
JP2017069796A (en) | Inter-device communication system, information transmitter and information receiver | |
JP2013051565A (en) | Communication terminal device, communication control method, and communication control program | |
KR102109607B1 (en) | System for reducing delay of transmission and reception in communication network, and apparatus thereof | |
JP4943866B2 (en) | Network camera system | |
KR20120009866A (en) | Real-time sport information sharing service method and system | |
JP2012199712A (en) | Electronic equipment, and video recording control program | |
CN112995780A (en) | Network state evaluation method, device, equipment and storage medium | |
JP5764967B2 (en) | Video distribution device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170705 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6216755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |