JP6750799B1

JP6750799B1 - Server, communication method, and communication program

Info

Publication number: JP6750799B1
Application number: JP2019052486A
Authority: JP
Inventors: 天宇トウ
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2020-09-02
Anticipated expiration: 2039-03-20
Also published as: JP2020154709A

Abstract

【課題】通信端末のバッテリ消耗を抑制し、通信端末により要求されたコンテンツを外部ディスプレイ用に最適化させる。【解決手段】サーバ６は、通信端末１及び通信端末１とは別体の外部ディスプレイ２とネットワークを介して接続され、通信端末により要求されたコンテンツを、外部ディスプレイ用に変換し、外部ディスプレイに送信する。【選択図】図１PROBLEM TO BE SOLVED: To suppress battery consumption of a communication terminal and optimize the content requested by the communication terminal for an external display. SOLUTION: A server 6 is connected to a communication terminal 1 and an external display 2 separate from the communication terminal 1 via a network, converts the content requested by the communication terminal for the external display, and converts the content into the external display. Send. [Selection diagram] Fig. 1

Description

本発明は、サーバ、通信端末、通信システム、通信方法及び通信プログラムに関する。 The present invention relates to a server, a communication terminal, a communication system, a communication method, and a communication program.

タッチパネル、メモリ、及びバッテリ等の技術の進展により、内線電話、メール、チャット、文書閲覧、ビデオストリーミング、プリントなどを含むスマートフォンの多様な機能はすでにノートパソコンにも匹敵している。こうした高機能のスマートフォンは、プライベート利用だけでなく、ＢＹＯＤ（Bring your own device）端末として職場に持ち込まれ、業務にも利用されている。ＰＣ（Personal Computer）の入力Ｉ／Ｆ（interface）は、汎用で正確な入力の実現にフォーカスしてきたのに対して、スマートフォンのマルチタッチスクリーンは同等な入力機能に加えて、様々な操作スタイルをサポートする直感的で効率的な操作Ｉ／Ｆを有する。しかし、スマートフォンだけでは、狭く限られた画面サイズにより、視認性が低下し、結果的に、目の疲れなど症状を引き起こす恐れがある。そのため、ＰＣなしの状態でスマートフォンだけで、業務コンテンツの細かい確認と編集を行うことはまだ現実的ではなく、スマートフォンの業務での利用は限られている。 Due to the development of technologies such as touch panel, memory and battery, various functions of smart phone including extension telephone, mail, chat, document viewing, video streaming, printing, etc. are already comparable to those of laptop. These high-performance smartphones are brought to the workplace as BYOD (Bring your own device) terminals and used not only for private use but also for work. While the input I/F (interface) of a PC (Personal Computer) has focused on the realization of general-purpose and accurate input, the multi-touch screen of a smartphone has various input styles as well as equivalent input functions. It has intuitive and efficient operation I/F to support. However, with a smartphone alone, the narrow and limited screen size reduces visibility, and as a result, symptoms such as eye fatigue may occur. Therefore, it is not yet practical to perform detailed confirmation and editing of the business content only with the smartphone without the PC, and the use of the smartphone for business is limited.

そこで、オフィスの従業員のデスクやオープンスペース、会議室に置かれた外部ディスプレイが着目されている。しかし、外部ディスプレイは、ＰＣに接続して大画面での資料閲覧を想定しているため、ＢＹＯＤ端末と接続する際に、接続作業や画面遷移操作が複雑で手間がかかるという問題がある。 Therefore, attention is paid to desks, open spaces, and external displays placed in conference rooms of office employees. However, since the external display is connected to a PC and is intended to browse the material on a large screen, there is a problem that connection work and screen transition operation are complicated and time-consuming when connecting to the BYOD terminal.

この問題を解消するために、ディスプレイ装置で支援される第１通信インタフェース情報とカメラを通じて入力されたモバイル装置の第２通信インタフェース情報に基づいて、モバイル装置との通信連結を設定するディスプレイ装置が開示されている（特許文献１参照）。 In order to solve this problem, a display device is disclosed that sets a communication connection with a mobile device based on first communication interface information supported by the display device and second communication interface information of the mobile device input through a camera. (See Patent Document 1).

また、携帯通信端末が外部表示装置及び外部入力装置と接続した場合、携帯通信端末が外部表示装置と外部入力装置の組み合わせによる最適なユーザインタフェースを認識する通信接続システムが開示されている（特許文献２参照）。さらに、特許文献２には、スマートフォンで動作するＯＳ上に仮想的なＰＣ（所謂、仮想ＰＣ）を作成し、作成した仮想ＰＣ内で別のＯＳを動作させ、別のＯＳのユーザインタフェースをディスプレイに表示することも開示されている。 Further, there is disclosed a communication connection system in which, when a mobile communication terminal is connected to an external display device and an external input device, the mobile communication terminal recognizes an optimal user interface based on a combination of the external display device and the external input device (Patent Document 1). 2). Furthermore, in Patent Document 2, a virtual PC (so-called virtual PC) is created on an OS that operates on a smartphone, another OS is operated in the created virtual PC, and a user interface of the other OS is displayed. It is also disclosed to display.

特開２０１５−１３０６６１号公報JP, 2015-130661, A 特開２０１８−０４２２６０号公報JP, 2008-042260, A

特許文献１のディスプレイ装置では、機器間の通信連絡を要請するユーザの操作に対応して各機器に設けられたカメラとディスプレイを通じて通信連結が自動的に行われる。しかし、外部ディスプレイとスマートフォンとの間のレイアウト及び操作の違いにより、ＢＹＯＤ端末を用いた場合の生産性はあまり改善されていない。 In the display device of Patent Document 1, communication connection is automatically performed through a camera and a display provided in each device in response to a user's operation requesting communication communication between devices. However, due to the difference in layout and operation between the external display and the smartphone, productivity using the BYOD terminal has not been improved so much.

また、特許文献２では、スマートフォンのバッテリ容量が限られているにもかかわらず、スマートフォン上で仮想ＰＣを使用してしまうと、スマートフォンのバッテリの消耗が激しいという問題がある。 Further, in Patent Document 2, when the virtual PC is used on the smartphone even though the battery capacity of the smartphone is limited, there is a problem that the battery of the smartphone is significantly consumed.

本発明は、このような問題点を解決するためになされたものであり、通信端末のバッテリ消耗を抑制し、通信端末により要求されたコンテンツを外部ディスプレイに適切に表示させる、サーバ、通信端末、通信システム、通信方法、及び通信プログラムを提供することを目的とする。 The present invention has been made to solve such a problem, suppresses battery consumption of a communication terminal, and appropriately displays content requested by the communication terminal on an external display, a server, a communication terminal, An object of the present invention is to provide a communication system, a communication method, and a communication program.

本発明の第１の態様にかかるサーバは、通信端末及び前記通信端末とは別体の外部ディスプレイとネットワークを介して接続され、
前記通信端末により要求されたコンテンツを、前記外部ディスプレイ用に変換し、前記外部ディスプレイに送信する。 The server according to the first aspect of the present invention is connected via a network to a communication terminal and an external display separate from the communication terminal,
The content requested by the communication terminal is converted for the external display and transmitted to the external display.

本発明の第２の態様にかかる通信端末は、外部ディスプレイと関連付けるための、前記外部ディスプレイに表示される、識別コードを読み取る撮像部と、
コンテンツを、前記外部ディスプレイ用に変換し、前記外部ディスプレイに送信するようにサーバに要求する制御部と、
を備える。 A communication terminal according to a second aspect of the present invention includes an imaging unit for reading an identification code displayed on the external display, for association with the external display,
A controller for converting content to the external display and requesting the server to send it to the external display;
Equipped with.

本発明の第３の態様にかかる通信システムは、上記のサーバと、
上記の通信端末と、
前記通信端末とは別体の外部ディスプレイと、
を備える。 A communication system according to a third aspect of the present invention includes the above server,
With the above communication terminal,
An external display separate from the communication terminal,
Equipped with.

本発明の第４の態様にかかる通信方法は、通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用にサーバで変換し、前記外部ディスプレイに送信する。 In the communication method according to the fourth aspect of the present invention, the content requested by the communication terminal is converted by the server for an external display separate from the communication terminal and transmitted to the external display.

本発明の第５の態様にかかる通信プログラムは、通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用に変換し、前記外部ディスプレイに送信する処理、をコンピュータに実行させる。 A communication program according to a fifth aspect of the present invention causes a computer to execute a process of converting content requested by a communication terminal for an external display separate from the communication terminal and transmitting the content to the external display. ..

本発明によれば、通信端末のバッテリ消耗を抑制し、通信端末により要求されたコンテンツを外部ディスプレイに最適化させる、サーバ、通信端末、通信システム、通信方法、及び通信プログラムを提供することができる。 According to the present invention, it is possible to provide a server, a communication terminal, a communication system, a communication method, and a communication program that suppress the battery consumption of the communication terminal and optimize the content requested by the communication terminal for an external display. ..

本発明の実施形態にかかる通信システムの概要を説明する概略図である。It is a schematic diagram explaining an outline of a communication system concerning an embodiment of the present invention. 本発明の実施形態にかかる通信システムの全体構成を示すブロック図である。It is a block diagram showing the whole composition of the communication system concerning the embodiment of the present invention. 本発明の実施形態にかかる携帯通信端末の構成を示すブロック図である。It is a block diagram which shows the structure of the mobile communication terminal concerning embodiment of this invention. 本発明の実施形態にかかる各サーバの構成を示すブロック図である。It is a block diagram which shows the structure of each server concerning embodiment of this invention. 本発明の実施形態にかかるコンテンツ表示転送処理を示すフローチャートである。It is a flow chart which shows contents display transfer processing concerning an embodiment of the present invention. ユーザアカウントと仮想ＰＣの関連付ける前の関連データベースのテーブルである。6 is a table of a relational database before associating a user account with a virtual PC. 外部ディスプレイを登録した後の外部ディスプレイテーブルを示す。Figure 4 shows the external display table after registering the external display. クライアントアプリケーションで外部ディスプレイに表示された識別コードを読み取る様子を示す図である。It is a figure which shows a mode that the identification code displayed on the external display is read by a client application. ユーザアカウントと外部ディスプレイを関連付けた後の表示転送設定テーブルである。7 is a display transfer setting table after associating a user account with an external display. クライアントアプリケーション上の「コンテンツ表示転送」ボタンの一例を説明する図である。It is a figure explaining an example of the "content display transfer" button on a client application. コンテンツ表示転送制御要求時の携帯通信端末からの送信データの一例を示すテーブルである。9 is a table showing an example of transmission data from a mobile communication terminal when a content display transfer control request is made. コンテンツ表示転送制御要求時の携帯通信端末の受信データの一例を示すテーブルである。9 is a table showing an example of received data of a mobile communication terminal when a content display transfer control request is made. コンテンツの表示転送が完了し、タッチスクリーンへのユーザ操作が開始された様子を示す図である。It is a figure which shows a mode that the display transfer of the content was completed and the user operation to the touch screen was started. 操作種別と数値化した操作度合データの一例を示す。An example of operation type and numerical operation degree data is shown. コンテンツ表示転送処理のシーケンス図である。It is a sequence diagram of content display transfer processing.

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. However, the present invention is not limited to the following embodiments. Further, the following description and the drawings are simplified as appropriate for clarifying the explanation.

図１は、本実施形態にかかる通信システムの概要を説明する概略図である。図２は、本発明の実施形態にかかる通信システムの全体構成を示すブロック図である。
通信システムは、携帯通信端末１、外部ディスプレイ２、外部ディスプレイ管理サーバ３、データベース４、コンテンツ表示転送制御サーバ５、仮想ＰＣ用サーバ６及びコンテンツサーバ７を備える。なお、図１において、実線は、有線ネットワークにより接続されていることを示している。また、点線は、無線ネットワークにより接続されていることを示している。また、図１の矢印は、識別コード２１を表示した外部ディスプレイ２が、コンテンツ８を表示した外部ディスプレイ２に切り替わることを示している。 FIG. 1 is a schematic diagram for explaining the outline of the communication system according to the present embodiment. FIG. 2 is a block diagram showing the overall configuration of the communication system according to the embodiment of the present invention.
The communication system includes a mobile communication terminal 1, an external display 2, an external display management server 3, a database 4, a content display transfer control server 5, a virtual PC server 6 and a content server 7. In addition, in FIG. 1, a solid line indicates that they are connected by a wired network. Also, the dotted line indicates that they are connected by a wireless network. The arrow in FIG. 1 indicates that the external display 2 displaying the identification code 21 is switched to the external display 2 displaying the content 8.

携帯通信端末１は、スマートフォン、タブレット、携帯電話、ラップトップ型ＰＣなどのＢＹＯＤ（Bring your own device）端末とすることができるが、以下では、スマートフォンを例として説明する。 The mobile communication terminal 1 can be a BYOD (Bring your own device) terminal such as a smartphone, a tablet, a mobile phone, or a laptop PC, but the smartphone will be described below as an example.

スマートフォンである携帯通信端末１は、第１のＯＳ（Operating System）（例えば、Ａｐｐｌｅ社のiOS（登録商標）、Ａｎｄｒｏｉｄ（登録商標）など）を搭載し、図２に示すように第１のＯＳ上で動作するクライアントアプリケーション１１を含む。クライアントアプリケーション１１は、後述する仮想ＰＣクラウドサービスを利用するためのアプリケーションで、携帯通信端末１のバックカメラでＱＲコード（登録商標）を読み取り、外部ディスプレイ管理サーバ３で外部ディスプレイ２と関連付けることができる。また、クライアントアプリケーション１１は、ユーザの入力により、コンテンツ表示転送制御サーバ５にコンテンツ表示転送を要求する。クライアントアプリケーション１１は、ユーザによるマルチタッチスクリーンへの操作データを表示転送・操作制御モジュール６３に送信する。 The mobile communication terminal 1, which is a smartphone, is equipped with a first OS (Operating System) (for example, iOS (registered trademark) and Android (registered trademark) of Apple Inc.), and as shown in FIG. It includes a client application 11 running above. The client application 11 is an application for using a virtual PC cloud service described later, and can read the QR code (registered trademark) with the back camera of the mobile communication terminal 1 and associate it with the external display 2 by the external display management server 3. .. Further, the client application 11 requests the content display transfer control server 5 for content display transfer in response to a user input. The client application 11 transmits the operation data to the multi-touch screen by the user to the display transfer/operation control module 63.

図３は、本発明の実施形態にかかる携帯通信端末の構成を示すブロック図である。携帯通信端末１は、図３に示すように、外部から映像を撮影する撮像部（例えば、カメラ）１１０と、外部から受信された映像信号を処理する映像処理部１２０と、映像処理部１２０によって処理される映像信号を映像で表示するディスプレイ部１３０と、ユーザの入力を受け付けるユーザ入力部１４０と、各種のデータを記憶する記憶部１５０と、外部と無線通信を行う通信部１６０と、携帯通信端末１の各構成要素を制御する制御部１００と、を含む。撮像部（例えば、カメラ）１１０は、イメージセンサ１１１（例えば、ＣＣＤ／ＣＭＯＳイメージセンサ）を含む。また、ディスプレイ部１３０は、タッチスクリーン１３１を含む。前述したクライアントアプリケーション１１は、これらの各構成要素を制御することができる。 FIG. 3 is a block diagram showing the configuration of the mobile communication terminal according to the embodiment of the present invention. As shown in FIG. 3, the mobile communication terminal 1 includes an image capturing unit (for example, a camera) 110 that captures a video from the outside, a video processing unit 120 that processes a video signal received from the outside, and a video processing unit 120. A display unit 130 that displays a processed video signal as a video, a user input unit 140 that receives user input, a storage unit 150 that stores various data, a communication unit 160 that performs wireless communication with the outside, and mobile communication. The control unit 100 that controls each component of the terminal 1. The imaging unit (for example, camera) 110 includes an image sensor 111 (for example, CCD/CMOS image sensor). In addition, the display unit 130 includes a touch screen 131. The client application 11 described above can control each of these components.

外部ディスプレイ２は、携帯通信端末１のディスプレイ部１３０とは物理的に別体の外部表示装置である。本実施の形態では、会社の従業員のデスクやオープンスペース、会議室に置かれている、このような外部ディスプレイ２に、スマートフォンからのコンテンツを表示させるものである。さらに、スマートフォンのマルチタッチスクリーンから、外部ディスプレイ２に表示されたコンテンツを操作できるようにする。これにより、スマートフォンの業務利用を促進するものである。 The external display 2 is an external display device that is physically separate from the display unit 130 of the mobile communication terminal 1. In the present embodiment, the content from the smartphone is displayed on such an external display 2 placed in the desk, open space, or conference room of the company employee. Further, the content displayed on the external display 2 can be operated from the multi-touch screen of the smartphone. This promotes business use of smartphones.

また、本例では、携帯通信端末１は、無線通信機能を有する通信部１６０により、図１に示すように、外部ディスプレイ管理サーバ３やコンテンツ表示転送制御サーバ５、仮想ＰＣ用サーバ等とネットワークを介して無線接続することができる。ここでいうネットワークには、ＬＡＮ、ＷＬＡＮ、セルラネットワーク、または他の適切な無線通信ネットワークなどが含まれる。これにより、専用のケーブルを用いずに、携帯通信端末１を外部ディスプレイ２と容易に接続することができる。 Further, in this example, the mobile communication terminal 1 uses the communication unit 160 having a wireless communication function to establish a network with the external display management server 3, the content display transfer control server 5, the virtual PC server, etc., as shown in FIG. It can be wirelessly connected via. Networks herein include LANs, WLANs, cellular networks, or other suitable wireless communication networks. Thereby, the mobile communication terminal 1 can be easily connected to the external display 2 without using a dedicated cable.

制御部１００は、記憶部１５０に格納された各種プログラム（クライアントアプリケーション１１を含む）に基づいて、各種制御を実行する機能を有する。制御部１００は、中央演算処理装置（ＣＰＵ）、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入出力ポート（Ｉ／Ｏ）等により実現される。 The control unit 100 has a function of executing various controls based on various programs (including the client application 11) stored in the storage unit 150. The control unit 100 is realized by a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), an input/output port (I/O) and the like.

本通信システムでは、利用者は、携帯通信端末１の第１のＯＳ上で動作するクライアントアプリケーション１１を介して、コンテンツを外部ディスプレイ２へ転送することを要求すると、外部ディスプレイ２には、識別コード２１が表示される。 In this communication system, when the user requests to transfer the content to the external display 2 via the client application 11 operating on the first OS of the mobile communication terminal 1, the external display 2 displays the identification code. 21 is displayed.

外部ディスプレイ２は、サーバから映像を受信し、表示することができる。外部ディスプレイ２は、図１に示すように外部ディスプレイ管理サーバ３に有線で接続されている。外部ディスプレイ２の画面をオンにすると、外部ディスプレイ管理サーバ３に外部ディスプレイ２自身の接続情報（ＩＰアドレス、ポート）及び解像度情報が送信され、外部ディスプレイ管理サーバ３から受信した識別ＩＤ情報を含むＱＲコード（登録商標）２１の画像が外部ディスプレイ２に表示される。 The external display 2 can receive and display an image from the server. The external display 2 is connected to the external display management server 3 by wire as shown in FIG. When the screen of the external display 2 is turned on, the connection information (IP address, port) and resolution information of the external display 2 itself is transmitted to the external display management server 3, and the QR including the identification ID information received from the external display management server 3 is transmitted. The code (registered trademark) 21 image is displayed on the external display 2.

外部ディスプレイ管理サーバ３には、ネットワーク内の固定ＵＲＬ（Uniform Resource Locator）でアクセスすることができる。また、外部ディスプレイ管理サーバ３は、外部ディスプレイ２からの登録要求で外部ディスプレイの接続情報（ＩＰアドレス、ポート）及び外部ディスプレイの解像度情報（図７）を受信すると、外部ディスプレイ２に割り当てた識別ＩＤ情報を含む識別コード（ＱＲコード（登録商標））画像を外部ディスプレイ２に送信する。データベース４は、その受信した情報（接続情報及び解像度情報）を格納する。外部ディスプレイ管理サーバ３は、クライアントアプリケーション１１から外部ディスプレイ２との関連付け要求を受信すると、データベース４にその関連付け情報を格納する。 The external display management server 3 can be accessed by a fixed URL (Uniform Resource Locator) in the network. Further, when the external display management server 3 receives the connection information (IP address, port) of the external display and the resolution information of the external display (FIG. 7) in the registration request from the external display 2, the identification ID assigned to the external display 2 An identification code (QR code (registered trademark)) image including information is transmitted to the external display 2. The database 4 stores the received information (connection information and resolution information). When the external display management server 3 receives a request for associating with the external display 2 from the client application 11, the external display management server 3 stores the association information in the database 4.

データベース４は、外部ディスプレイ２の接続先情報（ＩＰアドレス、ポート）及び解像度情報を保存する。また、データベース４は、仮想ＰＣ６０の接続先情報（ＩＰアドレス、ポート）を保存する。データベース４は、外部ディスプレイ２、クライアントアプリケーション１１に紐づくユーザＩＤ、及び仮想ＰＣ６０の関連付け情報を保存する。 The database 4 stores connection destination information (IP address, port) and resolution information of the external display 2. The database 4 also stores connection destination information (IP address, port) of the virtual PC 60. The database 4 stores the external display 2, the user ID associated with the client application 11, and the association information of the virtual PC 60.

利用者は、携帯通信端末１の撮像部１１０（例えば、バックカメラ）で外部ディスプレイ２に表示されている識別コード２１（例えば、ＱＲコード（登録商標））を読み取る。 The user reads the identification code 21 (for example, QR code (registered trademark)) displayed on the external display 2 with the imaging unit 110 (for example, back camera) of the mobile communication terminal 1.

この識別コード２１としては、ＱＲコード（登録商標）、バーコード、データマトリックスコード、Ｍａｘｉコード、Ｖｅｒｉコード、カルラコード、ＤａＴａコード、Ｃｙｂｅｒコード、インタクタコードなどの二次元コードや、文字列などが含まれる。 The identification code 21 may be a two-dimensional code such as a QR code (registered trademark), a bar code, a data matrix code, a Maxi code, a Veri code, a Carla code, a DaTa code, a Cyber code, an interactor code, or a character string. included.

識別コード２１を読み取ると、外部ディスプレイ管理サーバ３は、外部ディスプレイ２とユーザとの関連付けを行う。また、ユーザと仮想ＰＣ６０の関連付けが事前に登録されているため、仮想ＰＣ６０とユーザと外部ディスプレイ２の関連付けが得られる。こうした関連付け情報は、データベース４に格納される。 When the identification code 21 is read, the external display management server 3 associates the external display 2 with the user. Further, since the association between the user and the virtual PC 60 is registered in advance, the association between the virtual PC 60, the user and the external display 2 can be obtained. Such association information is stored in the database 4.

コンテンツ表示転送制御サーバ５は、クライアントアプリケーション１１からコンテンツ表示転送要求を受け付けると、各端末（例えば、外部ディスプレイ２）にコンテンツの表示を転送する。 When receiving the content display transfer request from the client application 11, the content display transfer control server 5 transfers the display of the content to each terminal (for example, the external display 2).

コンテンツ表示転送制御サーバ５には、ネットワーク内の固定ＵＲＬでアクセスすることができる。また、コンテンツ表示転送制御サーバ５は、クライアントアプリケーション１１からコンテンツ表示転送要求を受け付けると、データベース４から取得した後述する仮想ＰＣ６０の表示出力Ｉ／Ｆ（仮想ディスプレイ）６２の接続先情報（ＩＰアドレス及びポート）及び解像度情報を、コンテンツ表示転送要求とともに仮想ＰＣ６０の表示転送・操作制御モジュール６３に送信する。コンテンツ表示転送制御サーバ５は、データベース４から取得した仮想ＰＣ６０の接続先情報（ＩＰアドレス、ポート）を携帯通信端末１のクライアントアプリケーション１１に返送する。 The content display transfer control server 5 can be accessed by a fixed URL in the network. When the content display transfer control server 5 receives the content display transfer request from the client application 11, the connection destination information (IP address and IP address and virtual display) 62 of the virtual PC 60, which will be described later, acquired from the database 4. The port) and the resolution information are transmitted to the display transfer/operation control module 63 of the virtual PC 60 together with the content display transfer request. The content display transfer control server 5 returns the connection destination information (IP address, port) of the virtual PC 60 acquired from the database 4 to the client application 11 of the mobile communication terminal 1.

仮想ＰＣ用サーバ６は、個人利用者がリモート接続で利用する仮想ＰＣクラウドサービスを提供するサーバであり、仮想ＰＣ６０の実行環境である。仮想ＰＣとは、一般的にＰＣで稼働するＯＳ（Operating System）やアプリケーションをサーバ上に集約して管理し、実行するシステムである。実際に稼働するＯＳやアプリケーション、データはサーバ側で実行かつ保存され、その実行画面データのみを端末側に配信して利用される。これにより、携帯通信端末１は、比較的処理負荷の低いクライアントアプリケーション１１のみを実行するだけで、各種アプリケーション及びＯＳを利用することができる。結果的に、携帯通信端末１のバッテリ容量を節約することができる。なお、仮想ＰＣ用サーバ６は、パブリッククラウドサーバでもよいし、社内等のプライベートクラウドサーバでもよい。 The virtual PC server 6 is a server that provides a virtual PC cloud service used by an individual user for remote connection, and is an execution environment of the virtual PC 60. A virtual PC is a system that generally manages and executes an OS (Operating System) and applications that run on a PC on a server. The OS, applications, and data that actually run are executed and saved on the server side, and only the execution screen data is distributed to the terminal side for use. As a result, the mobile communication terminal 1 can use various applications and the OS only by executing the client application 11 having a relatively low processing load. As a result, the battery capacity of the mobile communication terminal 1 can be saved. The virtual PC server 6 may be a public cloud server or a private cloud server in a company or the like.

本例では、スマートフォンは第１のＯＳ（例えば、Ａｐｐｌｅ社のiOS（登録商標）、Ａｎｄｒｏｉｄ（登録商標）で動作するのに対し、仮想ＰＣは、第１のＯＳとは異なる第２のＯＳ（例えば、Windows 10（登録商標）、MacOS（登録商標））で動作するものとする。また、携帯通信端末１であるスマートフォンと外部ディスプレイ２は、異なる解像度を有しているものとする。 In this example, the smartphone operates on the first OS (for example, iOS (registered trademark) and Android (registered trademark) of Apple Inc., while the virtual PC operates on the second OS (second OS) different from the first OS ( For example, it is assumed that it operates on Windows 10 (registered trademark) or MacOS (registered trademark), and that the smartphone as the mobile communication terminal 1 and the external display 2 have different resolutions.

仮想ＰＣ用サーバ６上で動作する仮想ＰＣ６０は、図２に示すように、ＯＳ固有機能モジュール６１、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２、表示転送・操作制御モジュール６３及びスマートフォン表示出力モジュール６４を含む。 The virtual PC 60 operating on the virtual PC server 6 is, as shown in FIG. 2, an OS specific function module 61, a display output I/F (virtual display) 62, a display transfer/operation control module 63, and a smartphone display output module 64. including.

ＯＳ固有機能モジュール６１は、クライアントアプリケーション１１から要求されたコンテンツ拡張子に対応した適切なアプリケーションを用いて、該当コンテンツを起動し、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２にコンテンツを出力する。ＯＳ固有機能モジュール６１は、携帯通信端末１とはアプリケーションを起動し、外部ディスプレイ２に適合したコンテンツに変換して、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２に出力することができる。これにより、スマートフォンでは開けないコンテンツでも、仮想ＰＣ上で起動させて、外部ディスプレイに表示することができる。 The OS unique function module 61 uses the appropriate application corresponding to the content extension requested by the client application 11 to activate the corresponding content and output the content to the display output I/F (virtual display) 62. The OS specific function module 61 can start an application with the mobile communication terminal 1, convert the content into content suitable for the external display 2, and output the content to the display output I/F (virtual display) 62. As a result, even contents that cannot be opened with a smartphone can be activated on the virtual PC and displayed on the external display.

表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、携帯通信端末１のクライアントアプリケーション１１に関連付けられた外部ディスプレイ２と同じ解像度に設定される。表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、アプリケーションの画面表示内容を当該外部ディスプレイ２に転送することができる。表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、スマートフォン表示出力モジュール６４にも同じ画面表示を転送し表示する（ミラーリング）ことができる。 The display output I/F (virtual display) 62 is set to the same resolution as the external display 2 associated with the client application 11 of the mobile communication terminal 1. The display output I/F (virtual display) 62 can transfer the screen display content of the application to the external display 2. The display output I/F (virtual display) 62 can transfer and display the same screen display (mirroring) also on the smartphone display output module 64.

表示転送・操作制御モジュール６３は、コンテンツ表示転送制御サーバ５からコンテンツ表示転送要求、外部ディスプレイ２の接続先情報及び解像度情報を受信する。そして、表示転送・操作制御モジュール６３は、受信した外部ディスプレイ２の解像度情報を表示出力Ｉ／Ｆ（仮想ディスプレイ）６２に設定し、当該仮想ディスプレイの映像出力を外部ディスプレイ２にリモート接続する。また、表示転送・操作制御モジュール６３は、ＯＳ固有機能モジュール６１でコンテンツを当該仮想ディスプレイにフルスクリーンで表示する。これにより、スマートフォンのコンテンツを、外部ディスプレイ２の解像度に合わせたアプリケーションの画面表示内容を表示させることができる。また、表示転送・操作制御モジュール６３は、携帯通信端末１であるスマートフォンのマルチタッチスクリーンへのユーザの操作情報を受信し、それを変換し、ＯＳ固有機能モジュール６１に送信して、コンテンツを操作する。これにより、ユーザは、スマートフォンのタッチスクリーンへの操作で、外部ディスプレイに表示されたコンテンツを操作することができる。 The display transfer/operation control module 63 receives a content display transfer request, connection destination information of the external display 2, and resolution information from the content display transfer control server 5. Then, the display transfer/operation control module 63 sets the received resolution information of the external display 2 in the display output I/F (virtual display) 62, and remotely connects the video output of the virtual display to the external display 2. Further, the display transfer/operation control module 63 causes the OS specific function module 61 to display the content on the virtual display in full screen. As a result, the content of the smartphone can be displayed as the screen display content of the application that matches the resolution of the external display 2. Further, the display transfer/operation control module 63 receives the operation information of the user on the multi-touch screen of the smartphone which is the mobile communication terminal 1, converts it, transmits it to the OS specific function module 61, and operates the content. To do. This allows the user to operate the content displayed on the external display by operating the touch screen of the smartphone.

スマートフォン表示出力モジュール６４は、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２の映像をミラーリングしてクライアントアプリケーション１１の画面解像度情報を元に、スマートフォン画面表示用の映像にトリミング処理等により変換する。さらに、スマートフォン表示出力モジュール６４は、変換された映像を、クライアントアプリケーション１１にストリーミングする。これにより、スマートフォンのディスプレイの画面サイズに適合した映像に変換して、表示させることができる。 The smartphone display output module 64 mirrors the image of the display output I/F (virtual display) 62 and converts it into an image for smartphone screen display by trimming processing or the like based on the screen resolution information of the client application 11. Furthermore, the smartphone display output module 64 streams the converted video to the client application 11. As a result, it is possible to convert and display an image suitable for the screen size of the smartphone display.

コンテンツサーバ７は、ユーザに提供するコンテンツ（情報）を保有・管理しているサーバである。 The content server 7 is a server that holds and manages content (information) provided to users.

図４は、本実施形態におけるサーバ３，５，６，７のハードウェア構成例を示すブロック図である。図４に示すように、本実施形態のサーバ３，５，６，７は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３などを有するコンピュータである。ＣＰＵ２０１は、ＲＡＭ２０２、ＲＯＭ２０３、または、ハードディスク２０４に格納されたソフトウェアに従い演算および制御を行う。ＲＡＭ２０２は、ＣＰＵ２０１が各種処理を実行する際の一時記憶領域として使用される。ハードディスク２０４には、オペレーティングシステム（ＯＳ）や、後述の登録プログラムなどが記憶される。ディスプレイ２０５は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ２０５には、画像やアイコンなどのオブジェクト、および、ＧＵＩなどが表示される。入力部２０６は、ユーザがサーバに各種指示を与えるための装置であり、例えばマウスやキーボードによって構成される。Ｉ／Ｆ（インタフェース）部２０７は、ＩＥＥＥ８０２．１１ａなどの規格に対応した無線ＬＡＮ通信や有線ＬＡＮ通信を制御することができ、ＴＣＰ／ＩＰなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス２０８は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、および、ハードディスク２０４などとのデータのやり取りを制御する。なお、仮想ＰＣ６０自身はホストサーバーである仮想ＰＣ用サーバ６内でハードウェアリソースの一部を使って動作する。 FIG. 4 is a block diagram showing a hardware configuration example of the servers 3, 5, 6, 7 in this embodiment. As shown in FIG. 4, the servers 3, 5, 6, 7 of this embodiment are computers having a CPU 201, a RAM 202, a ROM 203, and the like. The CPU 201 performs calculation and control according to software stored in the RAM 202, ROM 203, or hard disk 204. The RAM 202 is used as a temporary storage area when the CPU 201 executes various processes. The hard disk 204 stores an operating system (OS), a registration program described later, and the like. The display 205 is composed of a liquid crystal display and a graphic controller, and the display 205 displays objects such as images and icons and GUI. The input unit 206 is a device for the user to give various instructions to the server, and is configured by, for example, a mouse or a keyboard. The I/F (interface) unit 207 can control wireless LAN communication or wired LAN communication compatible with the standard such as IEEE 802.11a, and is controlled via the same communication network and the Internet based on a protocol such as TCP/IP. Communicate with external devices. The system bus 208 controls data exchange with the CPU 201, the RAM 202, the ROM 203, the hard disk 204, and the like. The virtual PC 60 itself operates using a part of the hardware resources in the virtual PC server 6 that is the host server.

次に、図５乃至図１５を参照して通信システムの全体動作を説明する。図５は、コンテンツ表示転送処理を示すフローチャートである。 Next, the overall operation of the communication system will be described with reference to FIGS. FIG. 5 is a flowchart showing the content display transfer process.

まず、ユーザは、会議室等に置かれた外部ディスプレイを利用するため、自身のスマートフォン（ＢＹＯＤ端末）のユーザアカウントと仮想ＰＣを関連付けるための事前設定を行う。クライアントアプリケーションのログインに使われるユーザアカウントを仮想ＰＣ６０と関連付ける必要がある。これにより、コンテンツ表示転送制御サーバ５がスマートフォンのクライアントアプリケーション１１からの要求を受け付けて、要求されたコンテンツを起動させるための仮想ＰＣ６０を特定することができる。 First, the user uses an external display placed in a conference room or the like, and thus performs presetting for associating a user account of his or her smartphone (BYOD terminal) with a virtual PC. The user account used to log in the client application needs to be associated with the virtual PC 60. As a result, the content display transfer control server 5 can accept a request from the client application 11 of the smartphone and specify the virtual PC 60 for activating the requested content.

ユーザは、携帯通信端末１のクライアントアプリケーション１１で開けないコンテンツを仮想ＰＣ６０上で表示させて、携帯通信端末１とは異なる解像度を有する外部ディスプレイ２に転送するように要求処理を開始する（ステップＳ１００）。まず、クライアントアプリケーション１１が外部ディスプレイ２と関連付けられているかを判定する（ステップＳ１０１）。 The user starts the request processing so that the content that cannot be opened by the client application 11 of the mobile communication terminal 1 is displayed on the virtual PC 60 and is transferred to the external display 2 having a resolution different from that of the mobile communication terminal 1 (step S100). ). First, it is determined whether the client application 11 is associated with the external display 2 (step S101).

ここで、図６を参照してユーザアカウントと仮想ＰＣとの関連付け情報を管理するためのデータベースのテーブルについて説明する。図６は、ユーザアカウントと仮想ＰＣを関連付ける前の関連データベース４のテーブルである。仮想ＰＣテーブルには、主キーとして一意のシリアル番号（Ｎｏ）が示され、仮想ＰＣＩＤとして仮想ＰＣの一意の識別ＩＤが示され、ＩＰアドレスとして仮想ＰＣへのリモート接続用ＩＰアドレスが示され、ポートとして仮想ＰＣへのリモート接続用ポートが示されている。また、表示転送設定テーブルには、主キーとして一意のシリアル番号（Ｎｏ）が、ユーザＩＤとして利用者アカウントの一意の識別ＩＤが、仮想ＰＣＩＤとして仮想ＰＣの一意の識別ＩＤが示されている。ユーザアカウントと仮想ＰＣと外部ディスプレイを関連付ける前のため、表示転送設定テーブルの外部ディスプレイＩＤには、外部ディスプレイの識別ＩＤが示されていない。 Here, the table of the database for managing the association information between the user account and the virtual PC will be described with reference to FIG. FIG. 6 is a table of the relational database 4 before associating the user account with the virtual PC. In the virtual PC table, a unique serial number (No) is shown as the primary key, a unique identification ID of the virtual PC is shown as the virtual PC ID, and an IP address for remote connection to the virtual PC is shown as the IP address. , The port for remote connection to the virtual PC is shown. Further, in the display transfer setting table, a unique serial number (No) is shown as a main key, a unique identification ID of a user account is shown as a user ID, and a unique identification ID of a virtual PC is shown as a virtual PC ID. .. Before the user account, the virtual PC, and the external display are associated with each other, the external display ID in the display transfer setting table does not indicate the identification ID of the external display.

このように、クライアントアプリケーション１１が外部ディスプレイ２と関連付けられていない（ステップＳ１０１でＮｏ）場合には、ユーザは、以下のように関連付け動作を行う。スマートフォンを持ったユーザは、会議室等に置かれた外部ディスプレイ２を起動する（ステップＳ１０２）。外部ディスプレイ２は、起動後、自動的に外部ディスプレイ管理サーバ３へ登録要求として外部ディスプレイ２の接続先情報及び外部ディスプレイ２の解像度を送信する。外部ディスプレイ管理サーバ３は、図７に示すような外部ディスプレイテーブルを、データベース４に登録するか、又は、一意の外部ディスプライＩＤに基づき、既存のレコードのＩＰアドレスやポートを更新する（ステップＳ１０３）。 As described above, when the client application 11 is not associated with the external display 2 (No in step S101), the user performs the association operation as follows. A user with a smartphone activates the external display 2 placed in a conference room or the like (step S102). After starting, the external display 2 automatically transmits the connection destination information of the external display 2 and the resolution of the external display 2 to the external display management server 3 as a registration request. The external display management server 3 registers the external display table as shown in FIG. 7 in the database 4 or updates the IP address and port of the existing record based on the unique external display ID (step S103). ).

図７に示す外部ディスプレイテーブルには、外部ディスプレイ２への接続用のＩＰアドレスとして、「１９２．１６８．１．１」が、外部ディスプレイ２への接続用のポートとして、「８００１」が、外部ディスプレイ２の解像度として、「１９２０ｘ１４４０」が示されている。 In the external display table shown in FIG. 7, “192.168.1.1” is shown as the IP address for connecting to the external display 2 and “8001” is shown as the port for connecting to the external display 2. As the resolution of the display 2, “1920×1440” is shown.

データベース４への登録後（ステップＳ１０３）、外部ディスプレイ２には、外部ディスプレイ管理サーバ３から送付された識別コード２１の画像（識別ＩＤを含むＱＲコード（登録商標）画像）が表示される（ステップＳ１０４）。ユーザは、図８に示すように、クライアントアプリケーション１１により撮像部１１０を起動させ、外部ディスプレイ２に表示された識別コード２１を読み取り、携帯通信端末１と外部ディスプレイ２との関連付けを行う（ステップＳ１０５）。図９は、ユーザアカウントと外部ディスプレイを関連付けた後の表示転送設定テーブルを示す。図９の表示転送設定テーブルには、主キーとして一意のシリアル番号（Ｎｏ）が、ユーザＩＤとして利用者アカウントの一意の識別ＩＤが、仮想ＰＣＩＤとして仮想ＰＣの一意の識別ＩＤが、外部ディスプレイＩＤとして外部ディスプレイの一意の識別ＩＤが示されている。取得した外部ディスプレイ２の識別ＩＤ（D00001）とユーザＩＤ（U00001）を外部ディスプレイ管理サーバ３に送信して携帯通信端末１（スマートフォン）と外部ディスプレイ２の関連付けを要求する。以上により、関連付けは完了する。 After registration in the database 4 (step S103), an image of the identification code 21 (QR code (registered trademark) image including identification ID) sent from the external display management server 3 is displayed on the external display 2 (step S103). S104). As shown in FIG. 8, the user activates the imaging unit 110 by the client application 11, reads the identification code 21 displayed on the external display 2, and associates the mobile communication terminal 1 with the external display 2 (step S105). ). FIG. 9 shows a display transfer setting table after associating a user account with an external display. In the display transfer setting table of FIG. 9, a unique serial number (No) is used as a primary key, a unique identification ID of a user account is used as a user ID, a unique identification ID of a virtual PC is used as a virtual PC ID, and an external display is used. As the ID, a unique identification ID of the external display is shown. The acquired identification ID (D00001) of the external display 2 and the user ID (U00001) are transmitted to the external display management server 3 to request the association between the mobile communication terminal 1 (smartphone) and the external display 2. With the above, the association is completed.

ユーザは、図１０に示すように、クライアントアプリケーション１１のタッチスクリーン１３１上で、「コンテンツ表示転送」ボタン１３２を押すことで、コンテンツ表示転送制御サーバ５にコンテンツ表示転送を要求する（ステップＳ１０６）。具体的には、ユーザＩＤ、スマートフォンの接続先（外部ディスプレイＩＤ）、スマートフォンの画面解像度、及びクライアントアプリケーション１１で指定した表示転送対象の（タッチスクリーン上に表示された）コンテンツのＵＲＩをコンテンツ表示転送制御サーバ５に送信し、コンテンツ表示転送制御を要求する。図１１は、コンテンツ表示転送制御要求時の携帯通信端末からの送信データの一例を示すテーブルである。図１１には、ユーザＩＤとして「Ｕ００００１」が、クライアントアプリケーション１１のＩＰアドレスとして「４９．１．１．１」が、クライアントアプリケーション１１のポートとして「６００１」が、クライアントアプリケーション１１の解像度として「３２０ｘ５６８」が、コンテンツＵＲＩとして表示転送対象コンテンツを取得するためのＵＲＩ（\\contents_server\ C00001.txt）が示されている。図１２は、コンテンツ表示転送制御要求時の携帯通信端末の受信データの一例を示す。図１２には、仮想ＰＣ用サーバ６の表示転送・操作制御モジュール６３アクセス用のＩＰアドレスとして「192.168.2.1」が、仮想ＰＣ用サーバ６の表示転送・操作制御モジュール６３アクセス用のポートとして「９００１」が示されている。 As shown in FIG. 10, the user requests the content display transfer control server 5 for the content display transfer by pressing the “content display transfer” button 132 on the touch screen 131 of the client application 11 (step S106). Specifically, the user ID, the connection destination (external display ID) of the smartphone, the screen resolution of the smartphone, and the URI of the display transfer target (displayed on the touch screen) specified by the client application 11 are displayed and transferred. It transmits to the control server 5 and requests content display transfer control. FIG. 11 is a table showing an example of transmission data from the mobile communication terminal when requesting content display transfer control. In FIG. 11, “U00001” is the user ID, “49.1.1.1” is the IP address of the client application 11, “6001” is the port of the client application 11, and “320×568” is the resolution of the client application 11. Indicates the URI (\\contents_server\C00001.txt) for acquiring the display transfer target content as the content URI. FIG. 12 shows an example of the reception data of the mobile communication terminal when the content display transfer control request is made. In FIG. 12, “192.168.2.1” is set as the IP address for the display transfer/operation control module 63 access of the virtual PC server 6, and “192.168.2.1” is set as the port for the display transfer/operation control module 63 access of the virtual PC server 6. 9001" is shown.

要求されたコンテンツを、仮想ＰＣ６０で起動し（外部ディスプレイ用の映像に変換し）、外部ディスプレイ２に映像を転送する（ステップＳ１０７）。 The requested content is activated by the virtual PC 60 (converted into an image for external display), and the image is transferred to the external display 2 (step S107).

ユーザは、クライアントアプリケーション１１を用いて、携帯通信端末１のタッチスクリーン１３１を操作すると、表示転送・操作制御モジュール６３を介して仮想ＰＣ６０内のコンテンツを操作できるようになる（ステップＳ１０８）。図１３は、コンテンツ表示転送が完了後、携帯通信端末１のタッチスクリーン１３１へのユーザの入力による操作開始時の様子を示す。図１３に示すように、コンテンツ表示転送モード中は、カーソルがフォーカス枠に変更される。ユーザはスマートフォンのタッチスクリーンを操作するたびに、図１４に示すように、表示転送・操作制御モジュール６３に操作種別（例えば、スクロール（上、下、左、右）／ズーム（イン、アウト）、テキスト内容の編集）と数値化した操作度合データ（例えば、距離（スクロール）／スケール（ズーム））を送信する。これにより、表示転送・操作制御モジュール６３にユーザによる操作関連制御を要求し、ＯＳ固有機能モジュール６１経由で仮想ＰＣ用サーバ６内のコンテンツをスクロールしたり、ズームしたり、テキスト内容を編集したりすることができる。 When the user operates the touch screen 131 of the mobile communication terminal 1 using the client application 11, the user can operate the content in the virtual PC 60 via the display transfer/operation control module 63 (step S108). FIG. 13 shows a state at the time of starting an operation by a user input on the touch screen 131 of the mobile communication terminal 1 after the content display transfer is completed. As shown in FIG. 13, the cursor is changed to the focus frame during the content display transfer mode. Each time the user operates the touch screen of the smartphone, as shown in FIG. 14, the display transfer/operation control module 63 displays an operation type (for example, scroll (up, down, left, right)/zoom (in, out), (Edit text contents) and digitized operation degree data (for example, distance (scroll)/scale (zoom)) are transmitted. As a result, the display transfer/operation control module 63 is requested to perform the operation-related control by the user, and the content in the virtual PC server 6 is scrolled, zoomed, and the text content is edited via the OS-specific function module 61. can do.

以上説明した実施形態によれば、ユーザは、比較的処理負荷の低いクライアントアプリケーション１１のみを携帯通信端末１上で起動することにより、クラウド（仮想ＰＣ）上の様々なアプリケーションで開いたコンテンツを閲覧することができる。結果的に、携帯通信端末１のバッテリを節約することができる。 According to the embodiment described above, the user browses the contents opened by various applications on the cloud (virtual PC) by activating only the client application 11 having a relatively low processing load on the mobile communication terminal 1. can do. As a result, the battery of the mobile communication terminal 1 can be saved.

図１５は、コンテンツ表示転送処理のシーケンス図である。
ユーザが外部ディスプレイ２を起動すると、外部ディスプレイ２は外部ディスプレイ管理サーバ３に登録される（ステップＳ１）。外部ディスプレイ管理サーバ３は登録情報に関し、データベース４を更新する（ステップＳ２）。外部ディスプレイテーブルに外部ディスプライ自らのＩＰアドレス、ポート、解像度を新規登録するか、ＩＰアドレス、ポートなどの接続情報が変わった際に、割り当てられた外部ディスプレイＩＤに基づき、ＤＢを更新する。外部ディスプレイ２には、識別子情報である識別コード２１が表示され、ユーザは、クライアントアプリケーション１１により、撮像部１１０を起動して当該識別コード２１を読み取る（ステップＳ３）。読み取り後、外部ディスプレイ管理サーバ３において、携帯通信端末１と外部ディスプレイ２が関連付けられる（ステップＳ４）。この関連付け情報に関し、外部ディスプレイ管理サーバ３は、データベース４を更新する（ステップＳ５）。読み取った外部ディスプレイＩＤとユーザＩＤを関連付け、表示転送設定テーブルを更新する。 FIG. 15 is a sequence diagram of content display transfer processing.
When the user activates the external display 2, the external display 2 is registered in the external display management server 3 (step S1). The external display management server 3 updates the database 4 regarding the registration information (step S2). When the IP address, port and resolution of the external display itself are newly registered in the external display table, or when the connection information such as the IP address and port is changed, the DB is updated based on the assigned external display ID. The identification code 21, which is the identifier information, is displayed on the external display 2, and the user activates the imaging unit 110 by the client application 11 to read the identification code 21 (step S3). After reading, the mobile communication terminal 1 and the external display 2 are associated with each other in the external display management server 3 (step S4). The external display management server 3 updates the database 4 with respect to this association information (step S5). The read external display ID is associated with the user ID, and the display transfer setting table is updated.

その後、クライアントアプリケーション１１は、コンテンツ表示転送制御サーバ５に対して、コンテンツ表示転送を要求し、仮想ＰＣ用サーバ６上で動作する仮想ＰＣと外部ディスプレイ２との接続情報（図９参照）を取得する（ステップＳ６）。 After that, the client application 11 requests the content display transfer control server 5 to transfer the content display, and acquires the connection information (see FIG. 9) between the virtual PC operating on the virtual PC server 6 and the external display 2. Yes (step S6).

コンテンツ表示転送制御サーバ５はデータベース４から、外部ディスプレイ２の情報（図７）と仮想ＰＣ用サーバ６の情報（図６）を取得する（ステップＳ７）。ユーザＩＤに基づき、表示転送設定テーブル、仮想ＰＣテーブル、外部ディスプレイテーブルから必要な情報を取得する。コンテンツ表示転送制御サーバ５は、仮想ＰＣ用サーバ６の表示転送・操作制御モジュール６３に、コンテンツ表示転送を要求する（ステップＳ８）。表示転送・操作制御モジュール６３は、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２を、外部ディスプレイ２の解像度に設定し、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２を外部ディスプレイ２とリモート接続する（ステップＳ９）。ＯＳ固有機能モジュール６１は、クライアントアプリケーション１１から要求されたコンテンツ拡張子に応じた適切なアプリケーションを用いて、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２にコンテンツを起動させ出力する（ステップＳ１０）。これにより、ユーザは、外部ディスプレイ上で適切にコンテンツを表示させることができる。表示転送・操作制御モジュール６３は、スマートフォン表示出力モジュール６４に、スマートフォンの解像度を設定し、スマートフォンへの接続先情報の設定を行う（ステップＳ１１）。ＯＳ固有機能モジュール６１は、コンテンツサーバ７から所望のコンテンツを読み取り（ステップＳ１２）、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２に表示出力する（ステップＳ１３）。その後、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、外部ディスプレイ２にコンテンツ表示の転送を開始する（ステップＳ１４）。 The content display transfer control server 5 acquires the information of the external display 2 (FIG. 7) and the information of the virtual PC server 6 (FIG. 6) from the database 4 (step S7). Based on the user ID, necessary information is acquired from the display transfer setting table, virtual PC table, and external display table. The content display transfer control server 5 requests the content transfer transfer from the display transfer/operation control module 63 of the virtual PC server 6 (step S8). The display transfer/operation control module 63 sets the display output I/F (virtual display) 62 to the resolution of the external display 2 and remotely connects the display output I/F (virtual display) 62 to the external display 2 (step S9). The OS specific function module 61 activates and outputs the content to the display output I/F (virtual display) 62 using an appropriate application according to the content extension requested by the client application 11 (step S10). This allows the user to properly display the content on the external display. The display transfer/operation control module 63 sets the resolution of the smartphone in the smartphone display output module 64 and sets the connection destination information to the smartphone (step S11). The OS-specific function module 61 reads desired content from the content server 7 (step S12) and outputs it to the display output I/F (virtual display) 62 for display (step S13). Then, the display output I/F (virtual display) 62 starts transferring the content display to the external display 2 (step S14).

また、表示出力Ｉ／Ｆ（仮想ディスプレイ）６２は、映像をスマートフォン表示出力モジュール６４に出力し、当該映像をスマートフォン上にミラーリングする（ステップＳ１５）。具体的には、仮想ＰＣで起動したコンテンツの画面表示を外部ディスプレイに転送しながら、コンテンツを起動した仮想ＰＣ上のアプリケーションにあるフォーカス枠を中心に、スマートフォンの画面サイズ部分の画面映像を同時にクライアントアプリケーション１１に返送する。 Further, the display output I/F (virtual display) 62 outputs the image to the smartphone display output module 64 and mirrors the image on the smartphone (step S15). Specifically, while transferring the screen display of the content activated on the virtual PC to the external display, the screen image of the screen size portion of the smartphone is simultaneously client-focused around the focus frame in the application on the virtual PC that activated the content. It is returned to the application 11.

スマートフォン表示出力モジュール６４は、クライアントアプリケーション１１でのコンテンツ表示を開始する（ステップＳ１６）。クライアントアプリケーション１１は、ユーザによるマルチタッチスクリーンにおける操作情報を表示転送・操作制御モジュール６３に送信し、操作制御を要求する（ステップＳ１７）。これにより、携帯通信端末１を用いて、外部ディスプレイ２に表示されたコンテンツを操作することができる（ステップＳ１８）。 The smartphone display output module 64 starts displaying the content on the client application 11 (step S16). The client application 11 transmits operation information on the multi-touch screen by the user to the display transfer/operation control module 63, and requests operation control (step S17). As a result, the content displayed on the external display 2 can be operated using the mobile communication terminal 1 (step S18).

以上、本実施の形態によれば、ユーザは、比較的処理負荷の低いクライアントアプリケーション１１のみを携帯通信端末１上で起動することにより、クラウド（仮想デスクトップ）上の様々なアプリケーションを使用することができる。また、画面サイズの小さいスマートフォンでの作業を、画面サイズの大きい外部ディスプレイで行うことで、生産性を向上させることができる。また、スマートフォンの無線通信機能により、外部ディスプレイに円滑に画面表示を反映することができる。例えば、メールチェックによる画面遷移と中断した思考の回復時間が削減されることにより、作業時間を確保する上に集中力をキープすることができることが生産性向上につながる。 As described above, according to the present embodiment, the user can use various applications on the cloud (virtual desktop) by activating only the client application 11 having a relatively low processing load on the mobile communication terminal 1. it can. In addition, productivity can be improved by performing work on a smartphone having a small screen size with an external display having a large screen size. Moreover, the screen display can be smoothly reflected on the external display by the wireless communication function of the smartphone. For example, reducing the screen transition due to the mail check and the recovery time of the thought that has been interrupted can improve productivity by being able to keep working time and keep concentration.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of the non-transitory computer readable medium include a magnetic recording medium (for example, flexible disk, magnetic tape, hard disk drive), magneto-optical recording medium (for example, magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R/W, DVD (Digital Versatile Disc), BD (Blu-ray (registered trademark) Disc), semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM ( Random Access Memory)) is included. Further, the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施形態では、仮想ＰＣは、携帯通信端末（スマートフォン）の第１のＯＳ（例えば、Ａｐｐｌｅ社のiOS（登録商標）、Ａｎｄｒｏｉｄ（登録商標）とは異なる第２のＯＳ（例えば、Windows 10（登録商標）、MacOS（登録商標））で動作する例を説明した。しかし、これに限定されず、仮想ＰＣは、携帯通信端末と同一のＯＳであるが、バージョンが異なる場合にも適用可能である。そのため、携帯通信端末は、ラップトップ型ＰＣであってもよい。 The present invention is not limited to the above-mentioned embodiments, but can be modified as appropriate without departing from the spirit of the present invention. For example, in the above-described embodiment, the virtual PC is the second OS (eg, Windows (eg, Windows) of Apple Inc. (registered trademark) or Android (registered trademark)) of the mobile communication terminal (smartphone). 10 (registered trademark) and MacOS (registered trademark)) have been described as examples, but the present invention is not limited to this, and the virtual PC has the same OS as the mobile communication terminal, but is also applicable when the version is different. Therefore, the mobile communication terminal may be a laptop PC.

上記実施形態は、仮想ＰＣ６０の代わりにサーバ６が実行してもよい。 The above embodiment may be executed by the server 6 instead of the virtual PC 60.

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
通信端末及び、前記通信端末とは別体の外部ディスプレイ、とネットワークを介して接続され、
前記通信端末により要求されたコンテンツを、前記外部ディスプレイ用に変換し、前記外部ディスプレイに送信する、
サーバ。
（付記２）
前記通信端末により要求されたコンテンツを前記通信端末用に変換し、前記通信端末に送信する、
付記１に記載のサーバ。
（付記３）
前記要求されたコンテンツの拡張子に対応するアプリケーションを起動させる、
付記１又は２に記載のサーバ。
（付記４）
外部ディスプレイと関連付けるための、前記外部ディスプレイに表示される、識別コードを読み取る撮像部と、
コンテンツを、前記外部ディスプレイ用に変換し、外部ディスプレイに送信するようにサーバに要求する制御部と、
を備える、通信端末。
（付記５）
前記制御部は、前記サーバと前記外部ディスプレイとの接続情報を取得する、付記４に記載の通信端末。
（付記６）
付記１乃至３のいずれか一項に記載のサーバと、
付記４又は５に記載の通信端末と、
前記通信端末とは別体の外部ディスプレイと、
を備える、
通信システム。
（付記７）
前記通信端末は、前記外部ディスプレイとは異なる解像度を有するディスプレイを備える、付記６に記載の通信システム。
（付記８）
前記通信端末は、タッチスクリーンを更に備え、前記タッチスクリーンへの操作データを前記サーバに送信し、
前記サーバは、前記操作データに従い、前記外部ディスプレイに送信するコンテンツを操作する、
付記６又は７に記載の通信システム。
（付記９）
前記外部ディスプレイの登録要求を受け付けると、
前記外部ディスプレイに割り当てた識別コード画像を前記外部ディスプレイに送信し表示させる、外部ディスプレイ管理サーバを更に備える、付記６乃至８のいずれか一項に記載の通信システム。
（付記１０）
前記外部ディスプレイの解像度を、前記サーバの表示出力インタフェースに設定し、
前記表示出力インタフェースを前記外部ディスプレイにリモート接続する、付記６乃至９のいずれか一項に記載の通信システム。
（付記１１）
通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用にサーバで変換し、前記外部ディスプレイに送信する、通信方法。
（付記１２）
前記通信端末により要求されたコンテンツを、前記通信端末用に前記サーバで変換し、前記通信端末に送信する、付記１１に記載の通信方法。
（付記１３）
通信端末により要求されたコンテンツを、前記通信端末とは別体の外部ディスプレイ用に変換し、前記外部ディスプレイに送信する処理、をコンピュータに実行させる通信プログラム。
（付記１４）
前記通信端末により要求されたコンテンツを、前記通信端末用に変換し、前記通信端末に送信する処理、をコンピュータに実行させる、付記１３に記載の通信プログラム。 The whole or part of the exemplary embodiments disclosed above can be described as, but not limited to, the following supplementary notes.
(Appendix 1)
A communication terminal and an external display separate from the communication terminal, and connected via a network,
Converting the content requested by the communication terminal for the external display and transmitting to the external display,
server.
(Appendix 2)
Converting the content requested by the communication terminal for the communication terminal and transmitting to the communication terminal;
The server according to attachment 1.
(Appendix 3)
Start an application corresponding to the extension of the requested content,
The server according to attachment 1 or 2.
(Appendix 4)
An imager for reading an identification code, which is displayed on the external display and is associated with the external display,
A controller that requests the server to convert the content for the external display and send it to the external display;
And a communication terminal.
(Appendix 5)
The communication terminal according to appendix 4, wherein the control unit acquires connection information between the server and the external display.
(Appendix 6)
The server according to any one of appendices 1 to 3,
A communication terminal according to Appendix 4 or 5;
An external display separate from the communication terminal,
With
Communications system.
(Appendix 7)
7. The communication system according to appendix 6, wherein the communication terminal includes a display having a resolution different from that of the external display.
(Appendix 8)
The communication terminal further comprises a touch screen, transmits operation data to the touch screen to the server,
The server operates content to be transmitted to the external display according to the operation data,
The communication system according to appendix 6 or 7.
(Appendix 9)
When receiving the registration request for the external display,
9. The communication system according to any one of appendices 6 to 8, further comprising an external display management server that transmits the identification code image assigned to the external display to the external display for display.
(Appendix 10)
Setting the resolution of the external display to the display output interface of the server,
10. The communication system according to any one of appendices 6 to 9, wherein the display output interface is remotely connected to the external display.
(Appendix 11)
A communication method, wherein content requested by a communication terminal is converted by a server for an external display separate from the communication terminal and transmitted to the external display.
(Appendix 12)
12. The communication method according to appendix 11, wherein the content requested by the communication terminal is converted by the server for the communication terminal and transmitted to the communication terminal.
(Appendix 13)
A communication program that causes a computer to execute processing of converting content requested by a communication terminal for an external display separate from the communication terminal and transmitting the content to the external display.
(Appendix 14)
14. The communication program according to appendix 13, which causes a computer to execute processing of converting content requested by the communication terminal for the communication terminal and transmitting the content to the communication terminal.

１携帯通信端末
２外部ディスプレイ
３外部ディスプレイ管理サーバ
４データベース
５コンテンツ表示転送制御サーバ
６仮想ＰＣ用サーバ
７コンテンツサーバ
８コンテンツ
１１クライアントアプリケーション
２１識別コード
６０仮想ＰＣ
６１ＯＳ固有機能モジュール
６２表示出力Ｉ／Ｆ（仮想ディスプレイ）
６３表示転送・操作制御モジュール
６４スマートフォン表示出力モジュール
１００制御部
１１０撮像部
１１１イメージセンサ
１２０映像処理部
１３０ディスプレイ部
１３１タッチスクリーン
１４０ユーザ入力部
１５０記憶部
１６０通信部 1 Mobile Communication Terminal 2 External Display 3 External Display Management Server 4 Database 5 Content Display Transfer Control Server 6 Virtual PC Server 7 Content Server 8 Content 11 Client Application 21 Identification Code 60 Virtual PC
61 OS specific function module 62 Display output I/F (virtual display)
63 display transfer/operation control module 64 smartphone display output module 100 control unit 110 imaging unit 111 image sensor 120 image processing unit 130 display unit 131 touch screen 140 user input unit 150 storage unit 160 communication unit

Claims

The communication terminal and the communication terminal a server that will be connected through an external display and network separate,
When the external display is activated, the identification code is displayed on the external display,
When the displayed identification code is read by the communication terminal started via the client application of the communication terminal, the communication terminal and the external display are associated with each other,
Starting a virtual PC , converting the content requested by the client application of the communication terminal for the external display associated with the communication terminal and sending to the external display;
server.

The server can start various applications on the virtual PC, and starts an application corresponding to the extension of the content requested by the client application ,
The server according to claim 1.

Converting the content requested by the client application of the communication terminal for the communication terminal and transmitting to the communication terminal;
The server according to claim 1.

The server according to claim 1, wherein the communication terminal and the server are connected by a wireless network, and the external display and the server are connected by a wired network.

5. The operation information of the user on the touch screen provided in the communication terminal is received, and the received operation information of the user is converted so that the content displayed on the external display can be operated. The server according to item 1.

The server according to claim 1, wherein the content requested by the client application of the communication terminal is converted into the same resolution as that of the external display.

A communication method of a server connected via a network with an external display separate from the communication terminal and the communication terminal,
When the external display is activated, the identification code is displayed on the external display,
When the displayed identification code is read by the imaging unit of the communication terminal activated through the client application of the communication terminal, the communication terminal and the external display are associated with each other,
A communication method in which a virtual PC is activated, content requested by the client application of the communication terminal is converted by a server for the external display associated with the communication terminal, and transmitted to the external display.

A communication program of a server connected via a network to an external display separate from the communication terminal and the communication terminal,
A process of displaying an identification code on the external display when the external display is activated;
A process of associating the communication terminal with the external display when the displayed identification code is read by the imaging unit of the communication terminal activated via the client application of the communication terminal,
A process of activating a virtual PC, converting the content requested by the client application of the communication terminal at the server for the external display associated with the communication terminal, and transmitting the content to the external display is executed by the computer. Communication program to let.