JP6360765B2

JP6360765B2 - ミラーリングシステム及びミラーリング方法

Info

Publication number: JP6360765B2
Application number: JP2014200501A
Authority: JP
Inventors: 菅野　勝; 勝菅野; 哲雄浅沼
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2014-09-30
Filing date: 2014-09-30
Publication date: 2018-07-18
Anticipated expiration: 2034-09-30
Also published as: JP2016071636A

Description

本発明は、ある端末装置に表示されている表示画面を他の端末装置に表示させることにより、両端末装置間で表示画面を共有するミラーリングシステム及びミラーリング方法に関する。

従来、複数の端末装置の間で表示画面を共有する技術（ミラーリング）が知られている。例えば、特許文献１には、共有元の端末装置において表示画面のキャプチャ画像を取得すると、このキャプチャ画像に対応した圧縮方式でキャプチャ画像を圧縮し、共有先の端末装置に転送する画面画像転送方法が開示されている。
特許文献１の画面画像転送方法によれば、キャプチャ画像に好適な圧縮方式を用いてキャプチャ画像を圧縮するため、共有元の端末装置の表示画面を少ない遅延で共有先の端末装置に表示することができる。

特開２０１２−１３３５８６号公報

ところで、特許文献１の画面画像転送方法では、キャプチャ画像の種別に応じた圧縮方式を採用するのみであり、キャプチャ画像を送信する共有先の端末装置や、両端末装置間の通信環境等のその他の状況を考慮することがなかった。そのため、特許文献１の画面画像転送装置では、例えば、通信環境が悪いにもかかわらずデータ量が大きいキャプチャ画像等を送信してしまうといったことがあり、更なる改善の余地があった。

本発明は、このような問題に鑑みてなされたものであり、状況に応じた好ましい方法で表示画面の共有を行うミラーリングシステム及びミラーリング方法を提供することを目的とする。
なお、以下において、表示画面の共有元の端末装置、言い換えると共有する表示画面を有する端末装置をソース端末と呼び、表示画面の共有先の端末装置、言い換えるとソース端末の表示画面を共有する端末装置をシンク端末と呼ぶ。

本発明の第１の態様においては、ソース端末の表示画面を少なくとも１台のシンク端末で表示するミラーリングシステムであって、前記ソース端末は、所定の表示画面を表示する表示部と、前記表示部に表示されている表示画面をキャプチャし、画面データを生成するキャプチャ部と、生成した画面データを前記シンク端末に送信する送信部と、を有し、前記シンク端末は、前記ソース端末から前記画面データを受信する受信部と、受信した前記画面データを表示する表示部と、を有するミラーリングシステムを提供する。

また、前記シンク端末は、前記ソース端末に対して画面データのリクエストを送信する送信部を備え、前記ソース端末の前記送信部は、前記リクエストに応じて、前記画面データを前記シンク端末に送信することとしてもよい。

また、前記ソース端末の前記キャプチャ部は、一の表示画面に対して空間解像度が異なる複数の画面データを生成し、前記ソース端末の前記送信部は、空間解像度が異なる複数の前記画面データの中から、第１条件に基づいて一の画面データを選択し、当該一の画面データを前記シンク端末に送信することとしてもよい。

また、前記第１条件は、前記ソース端末及び前記シンク端末の間の通信環境であり、前記ソース端末の前記送信部は、前記通信環境が第１状態よりも良好である場合に、第１空間解像度の前記画面データを前記シンク端末に送信し、前記通信環境が前記第１状態よりも悪い場合に、前記第１空間解像度よりも空間解像度の低い第２空間解像度の前記画面データを前記シンク端末に送信することとしてもよい。

また、前記第１条件は、前記シンク端末の台数であり、前記ソース端末の前記送信部は、前記台数が第１数以下である場合に、第３空間解像度の前記画面データを前記シンク端末に送信し、前記台数が第１数を超える場合に、前記第３空間解像度よりも空間解像度の低い第４空間解像度の前記画面データを前記シンク端末に送信することとしてもよい。

また、前記第１条件は、複数のシンク端末間の優先順位であり、前記ソース端末の前記送信部は、前記優先順位が高いシンク端末に対して、第５空間解像度の前記画面データを送信し、前記優先順位が低いシンク端末に対して、前記第５空間解像度よりも空間解像度の低い第６空間解像度の前記画面データを送信することとしてもよい。

また、前記第１条件は、前記ソース端末の前記表示部に表示されている表示画面に対する管理情報の設定の有無であり、前記ソース端末の前記送信部は、前記表示画面に管理情報が設定されていない場合に、第７空間解像度の前記画面データを前記シンク端末に送信し、前記表示画面に管理情報が設定されている場合に、前記第７空間解像度よりも空間解像度の低い第８空間解像度の前記画面データを前記シンク端末に送信することとしてもよい。

また、前記ソース端末は、前記シンク端末からのリクエストに基づいて、前記シンク端末の属性情報を取得する取得部をさらに備え、前記ソース端末の前記送信部は、取得した前記シンク端末の属性情報に基づいて、空間解像度が異なる複数の前記画面データの中から一の画面データを選択し、当該一の画面データを前記シンク端末に送信することとしてもよい。

また、前記ソース端末の前記キャプチャ部は、第２条件に基づいて決定された時間解像度の前記画面データを生成することとしてもよい。

また、前記第２条件は、前記ソース端末及び前記シンク端末の間の通信環境であり、前記ソース端末の前記キャプチャ部は、前記通信環境が第２状態よりも良好である場合に、第１時間解像度の前記画面データを生成し、前記通信環境が前記第２状態よりも悪い場合に、前記第１時間解像度よりも時間解像度の低い第２時間解像度の前記画面データを生成することとしてもよい。

また、前記第２条件は、前記シンク端末の台数であり、前記ソース端末の前記キャプチャ部は、前記台数が第２数以下である場合に、第３時間解像度の前記画面データを生成し、前記台数が第２数を超える場合に、前記第３時間解像度よりも時間解像度の低い第４時間解像度の前記画面データを生成することとしてもよい。

また、前記第２条件は、前記ソース端末で実行されているアプリケーション種別であり、前記ソース端末の前記キャプチャ部は、前記ソース端末で動画アプリケーションが実行されている場合に、第５時間解像度の前記画面データを生成し、前記ソース端末で前記動画アプリケーション以外のアプリケーションが実行されている場合に、前記第５時間解像度よりも時間解像度の低い第６時間解像度の前記画面データを生成することとしてもよい。

また、前記第２条件は、前記ソース端末の前記表示部に表示されている表示画面に対する管理情報の設定の有無であり、前記ソース端末の前記キャプチャ部は、前記表示画面に管理情報が設定されていない場合に、第７時間解像度の前記画面データを生成し、前記表示画面に管理情報が設定されている場合に、前記第７時間解像度よりも時間解像度の低い第８時間解像度の前記画面データを生成することとしてもよい。

また、前記ソース端末の前記キャプチャ部は、第３条件に基づいて決定された圧縮方式でキャプチャした前記表示画面を圧縮することで、前記画面データを生成することとしてもよい。

また、前記第３条件は、前記ソース端末及び前記シンク端末の間の通信環境であり、前記ソース端末の前記キャプチャ部は、前記通信環境が第３状態よりも良好である場合に、第１圧縮方式を用いて前記画面データを生成し、前記通信環境が前記第３状態よりも悪い場合に、前記第１圧縮方式よりも圧縮率が高い第２圧縮方式を用いて前記画面データを生成することとしてもよい。

また、前記第３条件は、前記シンク端末の台数であり、前記ソース端末の前記キャプチャ部は、前記台数が第３数以下である場合に、第３圧縮方式を用いて前記画面データを生成し、前記台数が第３数を超える場合に、前記第３圧縮方式よりも圧縮率が高い第４圧縮方式を用いて前記画面データを生成することとしてもよい。

また、前記第３条件は、前記ソース端末で実行されているアプリケーション種別であり、前記ソース端末の前記キャプチャ部は、前記ソース端末で動画アプリケーションが実行されている場合に、第５圧縮方式を用いて前記画面データを生成し、前記ソース端末で前記動画アプリケーション以外のアプリケーションが実行されている場合に、前記第５圧縮方式とは異なる第６圧縮方式を用いて前記画面データを生成することとしてもよい。

また、前記第３条件は、前記ソース端末の前記表示部に表示されている表示画面に対する管理情報の設定の有無であり、前記ソース端末の前記キャプチャ部は、前記表示画面に管理情報が設定されていない場合に、第７圧縮方式を用いて前記画面データを生成し、前記表示画面に管理情報が設定されている場合に、前記第７圧縮方式よりも圧縮率が高い第８圧縮方式を用いて前記画面データを生成することとしてもよい。

本発明の第２の態様においては、ソース端末の表示画面を少なくとも１台のシンク端末で共有するミラーリング方法であって、前記ソース端末が、当該ソース端末の表示部に表示されている表示画面をキャプチャし、画面データを生成するステップと、前記ソース端末が、生成した画面データを前記シンク端末に送信するステップと、前記画面データを受信した前記シンク端末が、受信した前記画面データを当該シンク端末の表示部に表示するステップと、を有するミラーリング方法を提供する。

本発明によれば、転送先のリクエストに応じて画面データが送信されるため、リクエストに含まれる各種情報に応じた好ましい画面データを送信することができ、状況に応じた好ましい方法で表示画面の共有を行うことができる。

ミラーリングシステムの概要を示す図である。ソース端末及びシンク端末の機能構成を示すブロック図である。ソース端末の表示部に表示される表示画面を模式的に示す図である。ソース端末の処理の流れを示すフローチャートである。

以下、図面を参照して、本発明のミラーリングシステムＳの一実施形態について説明する。

［ミラーリングシステムＳの概要］
図１は、本発明のミラーリングシステムＳの概要を示す図である。図１に示すように、ミラーリングシステムＳは、ソース端末１とシンク端末２とを含む。ソース端末１及びシンク端末２は、ＴＶ用モニタ、ＰＣ、タブレットＰＣ、携帯電話、スマートフォン等の任意の端末装置であり、画像データを送受信可能な所定の通信ネットワークを介して接続される。

ミラーリングシステムＳでは、ソース端末１の表示画面を、ソース端末１からシンク端末２に対して送信することで、シンク端末２においてソース端末１の表示画面を表示（共有）する。このとき、ソース端末１では、シンク端末２からのリクエストに応じて、要求されたシンク端末２に対して自身の表示画面を提供する。即ち、ソース端末１は、シンク端末２に対してあたかも、リクエストに応じてサービスを提供するサーバのように機能する。
このようにシンク端末２からのリクエストに応じて表示画面の共有が行われるため、ミラーリングシステムＳでは、状況に応じた好ましい方法で表示画面の共有を行うことができる。即ち、サーバとして機能するソース端末１は、リクエストに応じて、例えば、シンク端末２の属性情報や、ソース端末１及びシンク端末２の間の通信状況を把握することができ、把握した状況に好適な態様でシンク端末２に対して表示画面を提供することができる。

なお、図１に示す例では、ソース端末１及びシンク端末２を夫々１台ずつ設けることとしているが、ソース端末１及びシンク端末２は、夫々複数台設けることとしてもよい。本発明のミラーリングシステムＳでは、ソース端末１がサーバとして機能するため、シンク端末２が複数台になった場合であっても好適に利用することができる。即ち、ソース端末１は、リクエストに応じて表示画面を転送するため、リクエストがあったタイミングの通信環境やリクエストを行ったシンク端末の属性等に応じて表示画面を出し分けることができ、シンク端末２に対して適切な表示画面を提供することができる。

［ソース端末１及びシンク端末２の機能構成］
続いて、図２を参照して、ソース端末１及びシンク端末２の機能構成について説明する。図２（Ａ）は、ソース端末１の機能構成を示すブロック図であり、図２（Ｂ）は、シンク端末２の機能構成を示すブロック図である。

［ソース端末１の機能構成］
図２（Ａ）に示すように、ソース端末１は、記憶部１１と、表示部１２と、制御部１３と、キャプチャ記憶部１４と、通信部１５と、を含んで構成される。
記憶部１１は、ＲＯＭ及びＲＡＭ等のメモリ又はハードディスク等の記憶媒体である。記憶部１１は、制御部１３を動作させるためのプログラム及び各種データを記憶する。表示部１２は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成され、制御部１３の制御に基づいて、所定の表示画面を表示する。

制御部１３は、例えばＣＰＵであり、記憶部１１に記憶されたプログラムを実行することによりキャプチャ部１３１、取得部１３２及び送信部１３３として機能する。
キャプチャ部１３１は、表示部１２に表示されている表示画面をキャプチャし、所定の圧縮方法で圧縮することで、画面データを生成する。なお、キャプチャ部１３１は、キャプチャした表示画面を圧縮することなく、画面データを生成することとしてもよい。キャプチャ部１３１は、画面データを生成すると、生成した画面データをキャプチャ記憶部１４に記憶する。

ここで、図３を参照して、キャプチャ部１３１がキャプチャする表示画面の範囲について説明する。図３は、ソース端末１の表示部１２に表示される表示画面１２０を模式的に示す図である。図３（Ａ）に示すように、表示画面１２０は、表示ウィンドウ１２１と表示ウィンドウ１２２とを含む。ここで、表示画面１２０は、表示部１２の全領域を示し、表示ウィンドウ１２１，１２２は、表示部１２の一部領域を示す。また、表示ウィンドウ１２１は、現在アクティブな表示ウィンドウであり、表示ウィンドウ１２２は、非アクティブな表示ウィンドウを示す。

図３（Ｂ）に示すように、キャプチャ部１３１は、表示部１２に表示されている表示画面１２０の一部である表示ウィンドウ１２２のみをキャプチャ対象としてもよく、また、図３（Ｃ）に示すように、表示画面１２０の全てをキャプチャ対象としてもよい。

図２（Ａ）に戻り、取得部１３２は、シンク端末２からのリクエストを受け付けるとともに、シンク端末２の属性情報を取得する。なお、シンク端末２の属性情報は、例えば、シンク端末２の画面サイズ、表示可能な解像度（ｄｐｉ）、ＣＰＵ性能等の表示に関する任意の情報である。

送信部１３３は、シンク端末２からのリクエストに応じて、キャプチャ部１３１が生成した画面データをシンク端末２に対して送信する。具体的には、送信部１３３は、キャプチャ記憶部１４に記憶された画面データを読み出し、シンク端末２に対して送信する。
なお、ソース端末１では、シンク端末２に対して画面データを送信するタイミングよりも前の任意のタイミングにおいて、ソース端末１のユーザに対して送信する画面データについての確認を求めることとしてもよい。一例として、送信する画面データを表示した上で「送る画面はこの画面ですか？」といった表示を行うことで、ユーザに対して確認を求めることができる。図３（Ｂ）に示すように、表示画面１２０の一部である表示ウィンドウ１２２のみをキャプチャ対象とする場合に、ユーザの意図と異なる画面データがシンク端末２に送信されてしまうことを防止でき、好適である。

キャプチャ記憶部１４は、キャプチャ部１３１が生成した画面データを一時的に記憶するバッファである。通信部１５は、所定の通信ネットワークを介してシンク端末２と通信するための通信インターフェイスであり、送信部１３３の制御に応じてキャプチャ記憶部１４から画面データを読み出し、シンク端末２に対して送信する。また、通信部１５は、取得部１３２の制御に応じて、シンク端末２から送信されるリクエスト等を受信する。

ここで、本実施形態のミラーリングシステムＳでは、リクエストを行ったシンク端末２の属性情報やリクエストを受け付けたタイミングにおける各種状況に応じて、ソース端末１からシンク端末２に提供する画面データを出し分けることとしている。
具体的には、ミラーリングシステムＳは、シンク端末２の属性情報等に応じて、画面データの空間解像度（ｄｐｉ）、時間解像度（ｆｐｓ）及び／又は圧縮方式を異ならせて、画面データをシンク端末２に対して提供する。以下、詳細に説明する。

＜空間解像度に基づく出し分け＞
空間解像度に基づく出し分けでは、キャプチャ部１３１は、一の表示画面に対して空間解像度が異なる複数の画面データを生成する。そして、送信部１３３は、空間解像度が異なる複数の画面データの中から、第１条件に基づいて一の画面データを選択し、当該一の画面データをシンク端末２に送信する。

［第１条件の例］
このような第１条件として、例えば、ソース端末１及びシンク端末２の間の通信環境を採用することができる。空間解像度の高い画面データはデータ量が大きいため、空間解像度の低い画面データに比べて通信に時間がかかる。そのため、通信環境が良好でない場合に高解像度の画面データを送信したのでは、シンク端末２における画面データの表示が遅れてしまう。
そこで、送信部１３３は、ソース端末１及びシンク端末２の間の通信環境が良好である場合に高解像度の画面データをシンク端末２に対して送信し、通信環境が良好でない場合に低解像度の画面データをシンク端末２に対して送信する。

なお、通信環境が良好であるか否かは任意の方法で判定することができ、例えば、無線通信する際のシンク端末２の電波強度に基づき判定することができる。電波強度が、例えば、高解像度の画面データのデータ量に基づき定められる閾値を超える場合に良好であると判定することができ、当該閾値未満である場合に良好でないと判定することができる。

［第１条件の別例］
また、第１条件として、表示画面を共有するシンク端末２の台数を採用することができる。シンク端末２の台数が多い場合、ソース端末１には多くのリクエストが通知されることになり、ソース端末１の処理負荷が増大してしまうとともに、ソース端末１の周囲の通信環境が悪化してしまうため、シンク端末２における画面データの表示が遅れてしまう。
そこで、送信部１３３は、リクエストを行ったシンク端末２の台数が、所定数以下である場合に高解像度の画面データをシンク端末２に対して送信し、所定数を超える場合に低解像度の画面データをシンク端末２に対して送信する。

［第１条件の別例］
また、シンク端末２が複数台存在する場合には、第１条件として、シンク端末２の優先順位を採用することとしてもよい。即ち、送信部１３３は、優先順位の高いシンク端末２に対しては、高解像度の画面データを送信し、優先順位の低いシンク端末２に対しては、低解像度の画面データを送信する。
なお、優先順位は、任意の方法により設定することができる。一例として、ソース端末１とミラーリングを開始した順に優先順位を設定、即ち、早くミラーリングを開始したシンク端末２ほど優先順位を高く設定することとしてもよい。また、シンク端末２の属性情報、例えば、画面サイズに基づいて優先順位を設定、即ち、画面サイズが大きいほど優先順位を高く設定することとしてもよい。

また、優先順位の採用は、使用可能な通信帯域が制限されている場合に限ることとしてもよい。具体的には、使用可能な通信帯域が制限されている場合には、優先順位の高いシンク端末２に対して高解像度の画面データを送信する一方で、優先順位の低いシンク端末２に対して低解像度の画面データを送信する。他方、使用可能な通信帯域が制限されていない場合には、シンク端末２に設定された優先順位に関わらず一律同じ空間解像度（高解像度）の画面データをシンク端末２に対して送信する。

［第１条件の別例］
また、第１条件として、ソース端末１の表示部１２に表示されている表示画面に対する管理情報の設定の有無を採用することとしてもよい。ここで、管理情報とは、表示部１２に対する表示を制限するための任意の情報であり、例えば、表示するコンテンツに設定されたデジタル著作権管理（ＤＲＭ：Digital Rights Management）やコピーガードの有無である。このように管理情報により表示が制限されている表示画面（コンテンツ）を、シンク端末２において制限なく表示可能にすることは好ましくない。
そこで、送信部１３３は、表示画面（コンテンツ）に管理情報が設定されていない場合に高解像度の画面データをシンク端末２に対して送信し、管理情報が設定されていない場合に低解像度の画面データをシンク端末２に対して送信する。

［第１条件の別例］
また、第１条件として、シンク端末２の属性情報を採用することとしてもよい。即ち、送信部１３３は、取得部１３２が取得したシンク端末２の属性情報に基づいて、空間解像度が異なる複数の画面データの中から一の画面データを選択し、当該一の画面データをシンク端末２に対して送信する。
一例として、送信部１３３は、画面サイズの大きいシンク端末２（例えば、ＴＶ用モニタ）に対しては、高解像度の画面データを送信する一方で、画面サイズの小さいシンク端末２（例えば、スマートフォン）に対しては、低解像度の画面データを送信する。

＜時間解像度に基づく出し分け＞
時間解像度に基づく出し分けでは、キャプチャ部１３１は、第２条件に基づいて決定された時間解像度の前記画面データを生成し、送信部１３３は、生成した画面データをシンク端末２に対して送信する。
上述した空間解像度に基づく出し分けでは、一の表示画面に対して空間解像度が異なる複数の画面データを生成しておき、これら複数の画面データを第１条件に基づき選択することで、画面データを出し分けることとしていた。この点、時間解像度に基づく出し分けでは、一の表示画面に対して一の時間解像度の画面データを生成するところ、生成する画面データの時間解像度を第２条件に基づいて決定することとしている。なお、時間解像度に基づく出し分けにおいても、一の表示画面に対して時間解像度が異なる複数の画面データを生成しておき、これら複数の画面データを第２条件に基づき出し分けることとしてもよい。

［第２条件の例］
このような第２条件として、例えば、ソース端末１及びシンク端末２の間の通信環境を採用することができる。時間解像度の高い画面データはデータ量が大きいため、通信環境が良好である場合に時間解像度の高い画面データをシンク端末２に対して送信し、通信環境が良好でない場合に時間解像度の低い画面データをシンク端末２に対して送信する。
即ち、キャプチャ部１３１は、ソース端末１及びシンク端末２の間の通信環境が良好である場合に、高解像度の画面データを生成する。また、キャプチャ部１３１は、ソース端末１及びシンク端末２の間の通信環境が良好でない場合に、低解像度の画面データを生成する。

［第２条件の別例］
また、第２条件として、表示画面を共有するシンク端末２の台数を採用することができる。キャプチャ部１３１は、シンク端末２の台数が所定数以下である場合に、高解像度の画面データを生成する。また、キャプチャ部１３１は、シンク端末２の台数が所定数を超える場合に、低解像度の画面データを生成する。
これにより、シンク端末２の台数が多くなると時間解像度が低くなるため、ソース端末１の処理負荷が増加してしまうことを防止できるとともに、ソース端末１の周囲の通信環境が悪化してしまうことを防止できる。

［第２条件の別例］
また、第２条件として、ソース端末１で実行されているアプリケーションの種別を採用することができる。ミラーリングする対象が動画である場合と静止画（Ｗｅｂページや写真等）である場合とでは、表示画面をキャプチャする頻度は異なることが好ましい。即ち、ミラーリングする対象が静止画である場合には、表示画面に変化が少ないため、表示画面を頻繁にキャプチャすることなく表示画面を共有することができる。他方、ミラーリングする対象が動画である場合には、表示画面は逐次変化するため、表示画面を共有するためには、キャプチャする頻度を高くすることが好ましい。
そこで、キャプチャ部１３１は、ソース端末１で動画アプリケーションが実行されている場合には、高解像度の画面データを生成する。また、キャプチャ部１３１は、ソース端末１で動画アプリケーション以外のアプリケーションが実行されている場合には、低解像度の画面データを生成する。なお、動画アプリケーションとは、表示画面が頻繁に変化するアプリケーションであり、例えば、動画を再生可能なアプリケーションに加え、ゲームを実行するアプリケーションを含む。

［第２条件の別例］
また、第２条件として、ソース端末１の表示部１２に表示されている表示画面に対する管理情報の設定の有無を採用することとしてもよい。キャプチャ部１３１は、表示画面に管理情報が設定されていない場合に、高解像度の画面データを生成する。また、キャプチャ部１３１は、表示画面に管理情報が設定されている場合に、低解像度の画面データを生成する。
これにより、ＤＲＭ等の制限がある場合に画面データの品質を落としてミラーリングすることができるため、表示画面（コンテンツ）の権利を適切に保護することができる。

なお、時間解像度の変更は、表示画面のキャプチャ時、キャプチャした表示画面の圧縮時、圧縮したデータの送信時のいずれのタイミングで行うこととしてもよい。

＜圧縮方式に基づく出し分け＞
圧縮方式に基づく出し分けでは、キャプチャ部１３１は、キャプチャした表示画面を、第３条件に基づいて異なる圧縮方式で圧縮することで、画面データを生成する。なお、異なる圧縮方式で圧縮するとは、非圧縮も含むこととする。
この圧縮方式に基づく出し分けでは、一の表示画面から第３条件に基づく圧縮方式に基づいて一の画面データを生成すること路、上述した空間解像度に基づく出し分けと同様に、一の表示画面から、当該一の表示画面を複数の圧縮方式で圧縮した複数の画面データを生成し、これら複数の画面データを第３条件に基づき出し分けることとしてもよい。

［第３条件の例］
このような第３条件として、例えば、ソース端末１及びシンク端末２の間の通信環境を採用することができる。即ち、キャプチャ部１３１は、通信環境が良好である場合には、圧縮後の画質を重視し、画質の劣化が少ない圧縮方式を用いて画面データを生成する。他方、キャプチャ部１３１は、通信環境が良好でない場合には、圧縮後のデータ量を重視し、データ量が小さくなる圧縮方式（即ち、圧縮率が高い圧縮方式）を用いて画面データを生成する。

［第３条件の別例］
また、第３条件として、表示画面を共有するシンク端末２の台数を採用することができる。キャプチャ部１３１は、シンク端末２の台数が所定数以下である場合には、圧縮後の画質を重視し、画質の劣化が少ない圧縮方式を用いて画面データを生成する。他方、キャプチャ部１３１は、シンク端末２の台数が所定数を超える場合には、圧縮後のデータ量を重視し、データ量が小さくなる圧縮方式（即ち、圧縮率が高い圧縮方式）を用いて画面データを生成する。

［第３条件の別例］
また、第３条件として、ソース端末１で実行されているアプリケーションの種別を採用することができる。ミラーリングする対象が動画である場合と静止画（Ｗｅｂページや写真等）である場合とでは、圧縮方式が異なることが好ましい。そこで、キャプチャ部１３１は、ソース端末１で動画アプリケーションが実行されている場合には、動画を圧縮するのに適した圧縮方式を用いて画面データを生成する。他方、キャプチャ部１３１は、ソース端末１で動画アプリケーション以外のアプリケーションが実行されている場合には、任意の圧縮方式を用いて画面データを生成する。なお、任意の圧縮方式は、動画アプリケーションが実行されている場合に採用する圧縮方式であってもよく、また、異なる圧縮方式であってもよい。

［第３条件の別例］
また、第３条件として、ソース端末１の表示部１２に表示されている表示画面に対する管理情報の設定の有無を採用することとしてもよい。キャプチャ部１３１は、表示画面に管理情報が設定されていない場合には、画質の劣化が少ない圧縮方式を用いて画面データを生成する。他方、キャプチャ部１３１は、表示画面に管理情報が設定されている場合には、画質がより劣化する圧縮方式（即ち、圧縮率が高い圧縮方式）を用いて画面データを生成する。

以上、ソース端末１からシンク端末２に提供する画面データの出し分け方法の一例について説明した。これらの空間解像度に基づく出し分け、時間解像度に基づく出し分け、圧縮方式に基づく出し分けは、任意に組み合わせることができる。なお、ソース端末１から提供する画面データは、ソース端末１のユーザやシンク端末２のユーザの選択に基づき出し分けることとしてもよい。即ち、ソース端末１のユーザやシンク端末２のユーザが、ソース端末１から提供する画面データの空間解像度、時間解像度及び／又は圧縮方式を選択できることとしてもよい。

［シンク端末２の機能構成］
続いて、図２（Ｂ）を参照して、シンク端末２の機能構成について説明する。図２（Ｂ）に示すように、シンク端末２は、記憶部２１と、表示部２２と、制御部２３と、通信部２４と、を含んで構成される。
記憶部２１は、ＲＯＭ及びＲＡＭ等のメモリ又はハードディスク等の記憶媒体である。記憶部２１は、制御部２３を動作させるためのプログラム及び各種データを記憶する。表示部２２は、液晶ディスプレイや有機ＥＬディスプレイ等により構成され、制御部２３の制御に基づいて、所定の表示画面を表示する。

制御部２３は、例えばＣＰＵであり、記憶部２１に記憶されたプログラムを実行することにより送信部２３１、受信部２３２及び表示制御部２３３として機能する。
送信部２３１は、ソース端末１に対して画面データのリクエストを送信する。なお、送信部２３１は、ソース端末１に対してシンク端末２の属性情報等を送信することとしてもよい。受信部２３２は、リクエストに応じてソース端末１から提供される画面データを受信する。表示制御部２３３は、リクエストに基づいてソース端末１から受信した画面データを、適宜デコード等を行った上で表示部２２に表示する。

通信部２４は、所定の通信ネットワークを介してソース端末１と通信するための通信インターフェイスであり、送信部２３１の制御に応じてソース端末１に対してリクエスト等を送信するとともに、受信部２３２の制御に応じてソース端末１から画面データを受信する。

［ミラーリングシステムＳの処理］
続いて、図４に示すソース端末１の処理の流れを説明することで、ミラーリングシステムＳの処理について説明する。
ミラーリングが開始されると、ステップＳ１において、ソース端末１のキャプチャ部１３１は、表示部１２に表示される表示画面をキャプチャし、画面データを生成する。なお、キャプチャ部１３１は、上述のように所定条件に応じた空間解像度及び時間解像度で表示画面をキャプチャするとともに、キャプチャした表示画面を好適な圧縮方式を用いて圧縮し、画面データを生成する。

続いて、ステップＳ２において、ソース端末１では、シンク端末２からのリクエストを取得したか否かを判定する。この判定がＹＥＳのときは、ステップＳ３において、ソース端末１の送信部１３３は、リクエストを行ったシンク端末２に対して、ステップＳ１で生成した画面データを送信し、処理をステップＳ４に移す。他方、ステップＳ２の判定がＮＯのときは、ソース端末１は、処理をステップＳ４に移す。

ステップＳ４では、ソース端末１では、ミラーリングを終了するタイミングであるか否かを判定する。ソース端末１は、例えば、ソース端末１又はシンク端末２のユーザからミラーリング終了の指示を受け付けた場合に、ミラーリングを終了するタイミングであると判定する。この判定がＮＯのときは、ソース端末１は、処理をステップＳ１に移し、表示画面のキャプチャ等を繰り返す。他方、この判定がＹＥＳのときは、ソース端末１は、処理を終了する。

以上、本発明のミラーリングシステムＳの一実施形態について説明した。ミラーリングシステムＳでは、ソース端末１は、シンク端末２からの要求に関わらず表示画面をキャプチャし画面データを生成しておくため、シンク端末２からリクエストがあると、直ちに画面データを送信することができる。このとき、ソース端末１では、シンク端末２のリクエストに応じて、画面データを出し分けて送信するため、状況に応じた好ましい方法で表示画面の共有を行うことができる。また、ソース端末１に対してリクエストが可能なシンク端末２であれば、表示画面を共有することができるため、複数のシンク端末２が同時に表示画面を共有することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

Ｓ・・・ミラーリングシステム、１・・・ソース端末、１１・・・記憶部、１２・・・表示部、１３・・・制御部、１３１・・・キャプチャ部、１３２・・・取得部、１３３・・・送信部、１４・・・キャプチャ記憶部、１５・・・通信部、２・・・シンク端末、２１・・・記憶部、２２・・・表示部、２３・・・制御部、２３１・・・送信部、２３２・・・受信部、２３３・・・表示制御部、２４・・・通信部

Claims

ソース端末の表示画面を少なくとも１台のシンク端末で表示するミラーリングシステムであって、
前記ソース端末は、
所定の表示画面を表示する表示部と、
前記シンク端末からの前記表示画面に対応する画面データのリクエストを取得する前に、前記表示部に表示されている表示画面をキャプチャし、一の表示画面に対して空間解像度が異なる複数の画面データを生成するキャプチャ部と、
前記シンク端末から前記リクエストを取得した後に、前記複数の画面データの中から画面データを選択するための第１条件に基づいて一の画面データを選択し、当該一の画面データを前記シンク端末に送信する送信部と、
を有し、
前記シンク端末は、
前記ソース端末から前記一の画面データを受信する受信部と、
受信した前記一の画面データを表示する表示部と、
を有するミラーリングシステム。
前記シンク端末は、前記リクエストを送信する送信部を備え、
前記ソース端末の前記送信部は、前記リクエストに応じて、前記一の画面データを前記シンク端末に送信する、
請求項１に記載のミラーリングシステム。
前記第１条件は、前記ソース端末及び前記シンク端末の間の通信環境であり、
前記ソース端末の前記送信部は、前記通信環境が第１状態よりも良好である場合に、第１空間解像度の前記一の画面データを前記シンク端末に送信し、前記通信環境が前記第１状態よりも悪い場合に、前記第１空間解像度よりも空間解像度の低い第２空間解像度の前記一の画面データを前記シンク端末に送信する、
請求項１又は２に記載のミラーリングシステム。
前記第１条件は、前記シンク端末の台数であり、
前記ソース端末の前記送信部は、前記台数が第１数以下である場合に、第３空間解像度の前記一の画面データを前記シンク端末に送信し、前記台数が第１数を超える場合に、前記第３空間解像度よりも空間解像度の低い第４空間解像度の前記一の画面データを前記シンク端末に送信する、
請求項１又は２に記載のミラーリングシステム。
前記第１条件は、複数のシンク端末間の優先順位であり、
前記ソース端末の前記送信部は、前記優先順位が高いシンク端末に対して、第５空間解像度の前記一の画面データを送信し、前記優先順位が低いシンク端末に対して、前記第５空間解像度よりも空間解像度の低い第６空間解像度の前記一の画面データを送信する、
請求項１又は２に記載のミラーリングシステム。
前記第１条件は、前記ソース端末の前記表示部に表示されている表示画面に対する管理情報の設定の有無であり、
前記ソース端末の前記送信部は、前記表示画面に管理情報が設定されていない場合に、第７空間解像度の前記一の画面データを前記シンク端末に送信し、前記表示画面に管理情報が設定されている場合に、前記第７空間解像度よりも空間解像度の低い第８空間解像度の前記一の画面データを前記シンク端末に送信する、
請求項１又は２に記載のミラーリングシステム。
前記ソース端末は、前記シンク端末からのリクエストに基づいて、前記シンク端末の属性情報を取得する取得部をさらに備え、
前記ソース端末の前記送信部は、取得した前記シンク端末の属性情報に基づいて、前記複数の画面データの中から一の画面データを選択し、当該一の画面データを前記シンク端末に送信する、
請求項１から６のいずれか１項に記載のミラーリングシステム。
前記ソース端末の前記キャプチャ部は、第２条件に基づいて決定された時間解像度の前記画面データを生成する、
請求項１から７のいずれか１項に記載のミラーリングシステム。
前記第２条件は、前記ソース端末及び前記シンク端末の間の通信環境であり、
前記ソース端末の前記キャプチャ部は、前記通信環境が第２状態よりも良好である場合に、第１時間解像度の前記画面データを生成し、前記通信環境が前記第２状態よりも悪い場合に、前記第１時間解像度よりも時間解像度の低い第２時間解像度の前記画面データを生成する、
請求項８に記載のミラーリングシステム。
前記第２条件は、前記シンク端末の台数であり、
前記ソース端末の前記キャプチャ部は、前記台数が第２数以下である場合に、第３時間解像度の前記画面データを生成し、前記台数が第２数を超える場合に、前記第３時間解像度よりも時間解像度の低い第４時間解像度の前記画面データを生成する、
請求項８に記載のミラーリングシステム。
前記第２条件は、前記ソース端末で実行されているアプリケーション種別であり、
前記ソース端末の前記キャプチャ部は、前記ソース端末で動画アプリケーションが実行されている場合に、第５時間解像度の前記画面データを生成し、前記ソース端末で前記動画アプリケーション以外のアプリケーションが実行されている場合に、前記第５時間解像度よりも時間解像度の低い第６時間解像度の前記画面データを生成する、
請求項８に記載のミラーリングシステム。
前記第２条件は、前記ソース端末の前記表示部に表示されている表示画面に対する管理情報の設定の有無であり、
前記ソース端末の前記キャプチャ部は、前記表示画面に管理情報が設定されていない場合に、第７時間解像度の前記画面データを生成し、前記表示画面に管理情報が設定されている場合に、前記第７時間解像度よりも時間解像度の低い第８時間解像度の前記画面データを生成する、
請求項８に記載のミラーリングシステム。
前記ソース端末の前記キャプチャ部は、第３条件に基づいて決定された圧縮方式でキャプチャした前記表示画面を圧縮することで、前記画面データを生成する、
請求項１から１２のいずれか１項に記載のミラーリングシステム。
前記第３条件は、前記ソース端末及び前記シンク端末の間の通信環境であり、
前記ソース端末の前記キャプチャ部は、前記通信環境が第３状態よりも良好である場合に、第１圧縮方式を用いて前記画面データを生成し、前記通信環境が前記第３状態よりも悪い場合に、前記第１圧縮方式よりも圧縮率が高い第２圧縮方式を用いて前記画面データを生成する、
請求項１３に記載のミラーリングシステム。
前記第３条件は、前記シンク端末の台数であり、
前記ソース端末の前記キャプチャ部は、前記台数が第３数以下である場合に、第３圧縮方式を用いて前記画面データを生成し、前記台数が第３数を超える場合に、前記第３圧縮方式よりも圧縮率が高い第４圧縮方式を用いて前記画面データを生成する、
請求項１３に記載のミラーリングシステム。
前記第３条件は、前記ソース端末で実行されているアプリケーション種別であり、
前記ソース端末の前記キャプチャ部は、前記ソース端末で動画アプリケーションが実行されている場合に、第５圧縮方式を用いて前記画面データを生成し、前記ソース端末で前記動画アプリケーション以外のアプリケーションが実行されている場合に、前記第５圧縮方式とは異なる第６圧縮方式を用いて前記画面データを生成する、
請求項１３に記載のミラーリングシステム。
前記第３条件は、前記ソース端末の前記表示部に表示されている表示画面に対する管理情報の設定の有無であり、
前記ソース端末の前記キャプチャ部は、前記表示画面に管理情報が設定されていない場合に、第７圧縮方式を用いて前記画面データを生成し、前記表示画面に管理情報が設定されている場合に、前記第７圧縮方式よりも圧縮率が高い第８圧縮方式を用いて前記画面データを生成する、
請求項１３に記載のミラーリングシステム。
ソース端末の表示画面を少なくとも１台のシンク端末で共有するミラーリング方法であって、
前記ソース端末が、前記シンク端末からの前記表示画面に対応する画面データのリクエストを取得する前に、当該ソース端末の表示部に表示されている表示画面をキャプチャし、一の表示画面に対して空間解像度が異なる複数の画面データを生成するステップと、
前記ソース端末が、前記シンク端末から前記リクエストを取得した後に、前記複数の画面データの中から画面データを選択するための第１条件に基づいて一の画面データを選択し、当該一の画面データを前記シンク端末に送信するステップと、
前記一の画面データを受信した前記シンク端末が、受信した前記一の画面データを当該シンク端末の表示部に表示するステップと、
を有するミラーリング方法。