JP6353793B2 - 画面共有システム、ソース端末、シンク端末及び画面共有方法 - Google Patents

Description

本発明は、ソース端末に表示されている表示画面をシンク端末に表示させることにより、両端末装置間で表示画面を共有する画面共有システム、ソース端末、シンク端末及び画面共有方法に関する。

従来、複数の端末装置の間で表示画面を共有する技術が知られている。表示画面の共有技術として、例えば、特許文献１には、共有元の端末装置（以下、「ソース端末」と呼ぶ）において表示画面のキャプチャ画像を取得し、共有先の端末装置（以下、「シンク端末」と呼ぶ）に転送することで、表示画面の共有を行う手法（以下、「ミラーリング」と呼ぶ）が開示されている。

また、表示画面の共有技術として、ソース端末で表示制御しているコンテンツをシンク端末において独自に表示制御することで、表示画面の共有を行う手法（以下、「キャスティング」と呼ぶ）も知られている。

ミラーリングでは、シンク端末は、ソース端末の表示画面のキャプチャ画像を表示するだけであり、コンテンツを表示するためのアプリケーションを実行する必要がない。これに対して、キャスティングでは、ソース端末からシンク端末に対して表示するコンテンツが通知され、シンク端末において通知されたコンテンツを独自に表示制御する。即ち、キャスティングでは、シンク端末は、通知されたコンテンツを表示するためのアプリケーションを実行することになる。

特開２０１２−１３３５８６号公報

ところで、同一のアプリケーションであっても、実行する端末装置の種類によって表示態様が異なることが知られている。例えば、図７に示す端末装置Ａでは、動画再生アプリケーションにおいてコンテンツ（動画）を再生した場合、画面上には、動画コンテンツ３０１に加え、関連動画やコメント等の関連表示３０２が表示される。一方、図７に示す端末装置Ｂでは、同一の動画再生アプリケーションにおいて同一のコンテンツ（動画）を再生した場合、動画コンテンツ３０１が画面の全面に表示され、関連表示３０２が表示されない。

この点、キャスティングでは、シンク端末において独自にアプリケーションを実行することで表示画面の共有を行うため、シンク端末の種類によっては、ソース端末と異なる態様でコンテンツを表示してしまい、統一感を損ねるおそれがある。
また、ミラーリングでは、キャプチャ画像を用いて画面共有を実現するため、圧縮の有無やソース／シンク端末の画面サイズの差等により、画質が劣化してしまうおそれがある。

本発明は、このような問題に鑑みてなされたものであり、画質の劣化を抑制しつつ、ソース／シンク端末間で統一感のある画面共有が可能な画面共有システム、ソース端末、シンク端末及び画面共有方法を提供することを目的とする。

本発明の第１の態様においては、ソース端末及びシンク端末の間で表示画面を共有する画面共有システムであって、前記ソース端末は、自身の表示画面のうちの一部領域に表示される一部画面に対応する画面データを生成するとともに、前記表示画面のうちの前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を特定する共有制御部と、前記共有制御部が生成した前記画面データ及び特定した前記識別情報を、前記シンク端末に送信する送信部と、前記シンク端末は、前記ソース端末から、前記画面データ及び前記識別情報を受信する受信部と、受信した前記識別情報に基づき、前記コンテンツを取得する取得部と、自身の表示画面のうちの一部領域に対して、前記ソース端末から受信した前記画面データを表示し、当該一部領域以外の他の領域に対して、取得した前記コンテンツを表示する表示制御部と、を備える画面共有システムを提供する。

また、前記ソース端末の前記共有制御部は、自身の前記表示画面のうちの前記他の領域が存在する位置を示す位置情報を特定し、前記ソース端末の前記送信部は、前記位置情報を前記シンク端末に対して更に送信し、前記シンク端末の前記表示制御部は、自身の表示画面のうちの前記ソース端末から受信した前記位置情報に応じた位置を前記他の領域として、当該領域に前記コンテンツを表示することとしてもよい。

また、前記ソース端末は、前記他の領域に表示される前記コンテンツに対する操作を受け付ける操作部、を更に備え、前記ソース端末の前記送信部は、受け付けた前記操作内容を前記シンク端末に対して更に送信し、前記シンク端末の前記表示制御部は、受信した前記操作内容に応じて自身の前記表示画面に表示されている前記コンテンツを制御することとしてもよい。

また、前記シンク端末の前記取得部は、前記識別情報が示すコンテンツのうち自身の端末性能に合ったコンテンツを取得することとしてもよい。

また、前記ソース端末の前記共有制御部は、自身の前記表示画面のうちの全領域に表示される全画面に対応する画面データを生成する第１制御部と、自身の前記表示画面のうちの前記一部領域に応じた前記画面データを生成するとともに、前記他の領域に応じた前記識別情報を特定する第２制御部と、所定の条件に応じて前記第１制御部による制御と前記第２制御部による制御とを切り替える切替部と、を備え、前記ソース端末の前記送信部は、前記第１制御部又は前記第２制御部により生成又は特定された情報を送信し、前記シンク端末の前記表示制御部は、前記ソース端末から受信した前記情報に応じて自身の前記表示画面の表示を制御することとしてもよい。

また、前記切替部は、ユーザから受け付けた操作に応じて、前記第１制御部による制御と前記第２制御部による制御とを切り替えることとしてもよい。

本発明の第２の態様においては、自身の表示画面を他の端末装置との間で共有するソース端末であって、前記表示画面のうちの一部領域に表示される一部画面に対応する画面データを生成するとともに、前記表示画面のうちの前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を特定する共有制御部と、前記共有制御部が生成した前記画面データ及び特定した前記識別情報を、前記他の端末装置に送信する送信部と、を備えるソース端末を提供する。

本発明の第３の態様においては、他の端末装置の表示画面を、当該他の端末装置との間で共有するシンク端末であって、前記他の端末装置から、当該他の端末装置の表示画面のうちの、一部領域に表示される一部画面に対応する画面データ、及び、前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を受信する受信部と、受信した前記識別情報に基づき、前記コンテンツを取得する取得部と、自身の表示画面のうちの一部領域に対して、前記他の端末装置から受信した前記画面データを表示し、当該一部領域以外の他の領域に対して、取得した前記コンテンツを表示する表示制御部と、を備えるシンク端末を提供する。

本発明の第４の態様においては、ソース端末及びシンク端末の間で表示画面を共有する画面共有方法であって、前記ソース端末の表示画面のうちの一部領域に表示される一部画面に対応する画面データを生成するとともに、前記表示画面のうちの前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を特定するステップと、生成した前記画面データ及び特定した前記識別情報を、前記シンク端末に送信するステップと、前記ソース端末から前記画面データ及び前記識別情報を受信すると、受信した前記識別情報に基づき、前記コンテンツを取得するステップと、前記シンク端末の表示画面のうちの一部領域に対して、前記ソース端末から受信した前記画面データを表示し、当該一部領域以外の他の領域に対して、取得した前記コンテンツを表示するステップと、を含む画面共有方法を提供する。

本発明によれば、画質の劣化を抑制しつつ、ソース／シンク端末間で統一感のある画面共有を実現できる。

画面共有システムの概要を示す図である。 ソース端末及びシンク端末の機能構成を示す図である。 コンテンツを表示する領域の位置情報の特定方法を示す図である。 画面共有システムの処理の流れを示す図である。 画面共有システムの処理の流れを示す図である。 画面共有システムの処理の流れを示す図である。 従来の手法により表示画面を共有する際の表示例を示す図である。

［画面共有システムＳの概要］
初めに、図１を参照して、本発明の画面共有システムＳの概要について説明する。図１は、画面共有システムＳの概要を示す図である。図１（Ａ）に示すように、画面共有システムＳは、ソース端末１と、シンク端末２とを含み、ソース端末１の表示画面をシンク端末２に表示するシステムである。

図１（Ａ）に示す例では、ソース端末１と、シンク端末２とは、同一のローカルネットワーク上に存在しており、夫々がルータ３に接続されているものとする。ルータ３は、インターネット等のネットワークＮに接続されており、当該ネットワークＮを介して、コンテンツを提供するコンテンツサーバ４等の外部装置と接続される。

ソース端末１及びシンク端末２は、任意の端末装置であるが、本実施形態では、ソース端末１として、例えば、スマートフォンやタブレット端末等の携帯端末を用い、シンク端末２として、例えば、テレビ受信機（セットトップボックス）を用いる。
また、コンテンツは、表示画面に表示する任意のコンテンツであり、例えば、動画コンテンツ、画像コンテンツ、テキストコンテンツ、ゲームコンテンツ等である。ソース端末１及びシンク端末２は、当該コンテンツを表示するためのアプリケーションを実行できるものとする。

ソース／シンク端末間で表示画面を共有する手法としては、既に説明したミラーリング及びキャスティングが知られているが、本発明の画面共有システムＳでは、これらミラーリング及びキャスティングの双方を用いて表示画面を共有する。以下、ミラーリング及びキャスティングの双方を用いる手法を、「ハイブリッド」と呼ぶことがある。

ミラーリングでは、ソース端末１は、自身の表示画面の全てをキャプチャするものの、画面共有システムＳが実現するハイブリッドでは、ソース端末１は、自身の表示画面のうちの一部領域のみをキャプチャする。
図１（Ｂ）に示すように、ソース端末１においてコンテンツ（例えば、動画コンテンツ）を表示する場合、ソース端末１の表示画面は、コンテンツを表示する領域１０１と、コンテンツ以外の関連情報（関連動画、コメント等）を表示する領域１０２と、に分けることができる。本発明の画面共有システムＳでは、ソース端末１は、コンテンツ以外の関連情報を表示する領域１０２をキャプチャする。

ソース端末１においてキャプチャした領域１０２の画面データをシンク端末２において表示することで、領域１０２の画面データが共有される。図１（Ｂ）に示す例では、シンク端末２の表示画面のうち、領域１０２に対応する領域２０２に、ソース端末１と同様の画面が表示されている。
一方で、ソース端末１においてコンテンツを表示する領域１０１についてはキャプチャしないため、シンク端末２では、領域１０１に対応する領域２０１に当該コンテンツを表示することができない。

そこで、本発明の画面共有システムＳでは、ソース端末１の領域１０１に表示されているコンテンツを、シンク端末２において独自に表示する。具体的には、ソース端末１は、領域１０１に表示されているコンテンツを特定するための情報（例えば、動画ファイル名やＵＲＩ等）をシンク端末２に対して通知する。シンク端末２では、ソース端末１から通知された情報に基づいて、コンテンツサーバ４等にアクセスして、対応するコンテンツを取得し、領域２０１に嵌め込んで表示する。

これにより、図１（Ｃ）に示すように、ソース端末１とシンク端末２とで同じ内容の表示画面が共有されることになる。
このとき、共有するコンテンツは、キャプチャすることなく、シンク端末２において独自に表示制御するため、画質が劣化することがなく、また、著作権の保護によりミラーリングすることが許容されていないコンテンツであっても、ソース端末１と同じ内容をシンク端末２に対して表示することができる。一方、コンテンツ以外の関連情報についてはキャプチャした画面データに基づいて共有するため、シンク端末２においてコンテンツ部分の表示を独自に制御したとしても、ソース端末１の表示態様と合せることができる。

［ソース端末１及びシンク端末２の機能構成］
以下、本発明の画面共有システムＳの好適な実施形態について説明する。図２は、ソース端末１及びシンク端末２の機能構成を示すブロック図である。なお、ソース端末１及びシンク端末２の基本的な構成は同一であるため、以下では、同一の構成については、ソース端末１及びシンク端末２を区別することなく説明する。

ソース端末１（シンク端末２）は、図２（Ａ）に示すように、記憶部１１と、操作部１２と、表示部１３と、通信部１４と、制御部１５と、を含んで構成される。

記憶部１１は、ＲＯＭ及びＲＡＭ等のメモリ又はハードディスク等の記憶媒体である。記憶部１１は、制御部１５を動作させるためのプログラム及び各種データを記憶する。
操作部１２は、例えば、ボタンや、表示部１３に重畳して配置される接触センサ等により構成されており、ソース端末１（シンク端末２）のユーザからの操作入力を受け付ける。例えば、表示部１３において動画コンテンツを表示する場合、操作部１２は、当該動画コンテンツに対する再生操作やシーク操作等の各種操作を受け付ける。

表示部１３は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成され、制御部１５の制御に基づいて、上述したコンテンツや関連情報等を表示する。
通信部１４は、有線又は無線により外部機器と通信を行う。例えば、通信部１４は、WiFi Direct（登録商標）等の所定の無線通信技術を介して、表示画面を共有するシンク端末２（ソース端末１）と通信する。また、通信部１４は、有線又は無線を介して、ソース／シンク端末間で共有するコンテンツを保存する外部機器と通信を行う。例えば、動画サイトやビデオオンデマンドサービスにおいて提供されるコンテンツをソース／シンク端末間で共有する場合、通信部１４は、ネットワークＮを介してコンテンツサーバ４と通信し、当該コンテンツサーバ４から所定のコンテンツを取得する。また、例えば、ユーザが録画等して保存したコンテンツをソース／シンク端末間で共有する場合、通信部１４は、有線又は無線を介して、当該コンテンツを保存するＨＤＤ５と通信し、当該ＨＤＤ５から所定のコンテンツを取得する。

制御部１５は、例えばＣＰＵであり、記憶部１１に記憶されたプログラムを実行することによりソース端末１（シンク端末２）を制御し、ミラーリング機能１５１、キャスティング機能１５２及びハイブリッド機能１５３を含む各種機能を発揮する。

ミラーリング機能１５１は、ミラーリングによりソース端末１及びシンク端末２の間で表示画面の共有を行う機能である。ミラーリング機能１５１では、ソース端末１は、自身の表示部１３に表示している表示画面をキャプチャすることによって表示画面に対応する画面データを生成し、シンク端末２に対して送信する。シンク端末２は、ソース端末１から画面データを受信すると、当該画面データに対応する表示画面を自身の表示部１３に表示することで、表示画面の共有を行う。

キャスティング機能１５２は、キャスティングによりソース端末１及びシンク端末２の間で表示画面の共有を行う機能である。キャスティング機能１５２では、ソース端末１は、自身の表示部１３に表示しているコンテンツを特定し、当該コンテンツを識別する識別情報をシンク端末２に対して送信する。シンク端末２は、ソース端末１から受信した識別情報に基づいて、共有するコンテンツを特定し、当該コンテンツをシンク端末２において実行することで、表示画面の共有を行う。

ハイブリッド機能１５３は、ミラーリング及びキャスティングの双方を用いて表示画面の共有を行う機能である。
ミラーリング機能１５１及びキャスティング機能１５２は、既に公知の機能であるため、当該機能を発揮するための具体的な構成の詳細については省略し、以下では、ハイブリッド機能１５３を発揮するための具体的な構成について説明する。

［ハイブリッド機能を発揮するための機能構成］
図２（Ｂ）に示すように、ハイブリッド機能１５３を発揮する場合、ソース端末１の制御部１５は、共有制御部５１と、送信部５２とを含んで構成され、シンク端末２の制御部１５は、受信部６１と、取得部６２と、表示制御部６３とを含んで構成される。

ソース端末１の共有制御部５１は、ソース端末１及びシンク端末２間での表示画面の共有を実現するための制御を行う。具体的には、共有制御部５１は、ソース端末１の表示画面のうちの一部領域である領域１０２に表示される一部画面に対応する画面データを生成する。例えば、共有制御部５１は、表示画面のうちの一部である領域１０２に表示される一部画面をキャプチャすることで一部画面に対応する画面データを生成する。また、共有制御部５１は、表示画面のうちの領域１０１に表示されるコンテンツを識別するための識別情報を特定する。
このように共有制御部５１は、ソース端末１の表示画面のうちの、コンテンツ以外の関連情報を表示する領域１０２に対してミラーリングを用いて表示画面の共有を行い、コンテンツを表示する領域１０１に対してキャスティングを用いて表示画面の共有を行う。

ここで、ミラーリングとキャスティングとの双方を用いるためには、夫々の領域の位置関係を特定する必要がある。そこで、共有制御部５１は、ソース端末１の表示画面のうちの領域１０１が存在する位置を示す位置情報（座標）を特定する。なお、共有制御部５１による位置情報の特定方法については、図３で後述する。

ところで、ハイブリッド機能では、表示画面のうちの重要なコンテンツ部分（領域１０１）をキャスティングすることで、表示画面の共有時にコンテンツ部分の画質が劣化してしまうことを防止している。この点、ソース端末１及びシンク端末２の関係によっては、コンテンツ部分をキャプチャしミラーリングしたとしても、コンテンツ部分の画質に問題が生じない場合もある。
そこで、共有制御部５１は、ミラーリングによる表示画面の共有と、ハイブリッドによる表示画面の共有とを切り替えて制御することとしてもよい。この場合、共有制御部５１は、第１制御部５１１と、第２制御部５１２と、切替部５１３と、を含んで構成される。

第１制御部５１１は、ミラーリングによる表示画面の共有を行う。即ち、第１制御部５１１は、ソース端末１の表示画面のうちの全領域をキャプチャし、全画面に対応する画面データを生成する。
第２制御部５１２は、ハイブリッドによる表示画面の共有を行う。即ち、第２制御部５１２は、ソース端末１の表示画面のうちの領域１０２をキャプチャし、一部画面に対応する画面データを生成するとともに、領域１０１に表示されるコンテンツの識別情報を特定する。

切替部５１３は、第１制御部５１１による制御と第２制御部５１２による制御とを切り替える。ここで、切替部５１３による切り替えは、任意の条件に基づき行うことができる。
切替条件の一例として、ソース端末１及びシンク端末２間の通信環境を用いることができる。通信環境が良好である場合には、キャプチャした画面データを画質の劣化を抑えた圧縮方式を用いて圧縮し送信することができるため、ミラーリングにより表示画面を共有しても画質の劣化を抑えることができる。他方、通信環境が不良である場合には、画質を劣化させなければ表示画面の共有が困難であるため、ミラーリングではなくハイブリッドによる表示画面の共有を行う。なお、ソース端末１及びシンク端末２間の通信環境は、例えば、共有する画面データのサイズやソース／シンク端末間の通信速度等から判定することができる。

また、その他の切替条件としては、ソース端末１及びシンク端末２の表示画面のサイズ比を用いることができる。表示画面のサイズがソース端末１に対してシンク端末２の方が大きい場合、シンク端末２ではキャプチャした表示画面を拡大して表示することになるため、画質が劣化する。そこで、切替部５１３は、サイズ比が閾値以上である場合にミラーリングからハイブリッドに切り替える。
また、切替条件として、コンテンツの実行権限の有無を用いることとしてもよい。ハイブリッドでは、シンク端末２は、共有するコンテンツを自身で実行することになるが、視聴に際して所定の契約が必要なコンテンツである場合、契約の有無によってはシンク端末２で当該コンテンツを実行することができない。そこで、切替部５１３は、対象のコンテンツをシンク端末２で実行可能であるか否かに基づいて、ミラーリングとハイブリッドとを切り替えることとしてもよい。

なお、画面共有システムＳは、ミラーリングにより表示画面の共有を行うか、ハイブリッドにより表示画面の共有を行うかを、シンク端末２の種類毎に予め設定しておくこととしてもよい。設定方法は任意であるが、一例として、直近の共有履歴を用いて設定することができる。即ち、直近においてハイブリッドにより表示画面の共有を行ったシンク端末２に対しては、ハイブリッドを設定する。もちろん、ミラーリングにより表示画面の共有を行うか、ハイブリッドにより表示画面の共有を行うかを、コンテンツの種類毎に予め設定しておくこととしてもよい。例えば、Ｗｅｂコンテンツについては、ミラーリングにより表示画面の共有を行うと設定し、動画コンテンツについては、ハイブリッドにより表示画面の共有を行うと設定する。
こうして設定された内容は、ソース端末１に登録されることとしてもよく、シンク端末２に登録されることとしてもよく、ソース端末１及びシンク端末２の双方に登録されることとしてもよい。

また、これら切替条件を満たすか否かは、ソース端末１において判定することとしてもよく、また、シンク端末２において判定することとしてもよい。シンク端末２で判定する場合には、判定結果に応じてシンク端末２からソース端末１に対して切替要求を送信することで、切替部５１３による切り替えが行われることになる。
また、切替部５１３は、ユーザから受け付けた操作に応じて、ミラーリングとハイブリッドとを切り替えることとしてもよい。なお、ユーザは、ソース端末１のユーザであってもよく、また、シンク端末２のユーザであってもよい。

送信部５２は、表示画面を共有するために必要な共有制御情報を、シンク端末２に対して送信する。例えば、ハイブリッド（第２制御部５１２）による表示画面の共有を行う場合、送信部５２は、領域１０２に表示される関連情報についての画面データ、領域１０１に表示されるコンテンツを識別する識別情報、及び領域１０１の位置情報を共有制御情報として、シンク端末２に対して送信する。なお、領域１０１に表示されるコンテンツが動画コンテンツである場合には、送信部５２は、再生時刻の情報も送信することで、ソース端末１とシンク端末２との間で同期がとれ好適である。また、コンテンツの実行権限を複数の端末において共有可能である場合には、送信部５２は、実行権限も併せて送信することとしてもよい。この場合、実行権限をセキュアにするため、シンク端末２において、ソース端末１の正しい契約情報と結びついているか確認するといった処理や、実行権限をワンタイム利用にするといった処理を適宜行うことが好ましい。
また、ミラーリング（第１制御部５１１）による表示画面の共有を行う場合、送信部５２は、表示画面の全領域をキャプチャした画面データを共有制御情報として、シンク端末２に対して送信する。

また、送信部５２は、ソース端末１の操作部１２が受け付けた操作内容をシンク端末２に対して送信する。ソース端末１及びシンク端末２の夫々が独自にコンテンツを実行した場合、一方の操作内容が他方に反映されない。例えば、ソース端末１において動画コンテンツを停止した場合であっても、シンク端末２では独自に動画コンテンツを再生し続けてしまう。
ハイブリッドではコンテンツ部分をキャスティングにより共有するため、送信部５２は、ソース端末１における操作内容をシンク端末２に対して送信する。同様に、シンク端末２において操作が行われた場合には、シンク端末２からソース端末１に対してシンク端末２における操作内容が送信される。

なお、送信する操作内容としては、クリックやドラッグ等の操作種別及びその座標位置であってもよく、また、再生、停止、シーク等の操作に応じた処理内容であってもよい。操作内容を受信したシンク端末２又はソース端末１は、その内容に対応する処理を行う。

続いて、シンク端末２の受信部６１は、ソース端末１から送信される共有制御情報（関連情報の画面データ、コンテンツの識別情報及び領域１０１の位置情報）やソース端末１における操作内容を受信する。
取得部６２は、受信した識別情報に基づき、共有するコンテンツを所持する機器（例えば、コンテンツサーバ４やＨＤＤ５）にアクセスし、対応するコンテンツを取得する。なお、取得部６２は、識別情報が示すコンテンツのうちシンク端末２の端末性能に合ったコンテンツを取得することとしてもよい。例えば、ソース端末１がＨＤ非対応の端末装置である一方でシンク端末２がＨＤ対応の端末装置であり、コンテンツサーバ４等に当該コンテンツのＨＤ版及びＳＤ版が存在する場合、取得部６２は、当該コンテンツのＨＤ版を取得することとしてもよい。

表示制御部６３は、ソース端末１から受信した情報に応じて自身の表示画面の表示を制御する。一例として、ソース端末１の第１制御部５１１による制御（ミラーリング）が行われている場合、表示制御部６３は、ソース端末１から受信した全領域の画面データを自身の表示画面に対して表示する。
また、ソース端末１の第２制御部５１２による制御（ハイブリッド）が行われている場合、表示制御部６３は、ソース端末１から受信した領域１０１の位置情報に基づいて、自身の表示画面を、領域１０１に対応する領域２０１と領域１０２に対応する領域２０２とに分割する。そして、表示制御部６３は、領域２０２にソース端末１から受信した画面データを表示し、領域２０１に取得部６２が取得したコンテンツを表示する。

また、表示制御部６３は、ソース端末１から受信した操作内容に応じて自身の表示画面に表示されているコンテンツを制御する。

［領域１０１の位置情報の特定方法］
以上、ハイブリッド機能を発揮するための機能構成について説明した。続いて、コンテンツを表示する領域１０１の位置情報の特定方法の一例について説明する。なお、以下に示す特定方法は一例に過ぎず、他の方法により領域１０１の位置情報を特定することとしてもよい。

図３（Ａ）に示すように、ソース端末１の共有制御部５１は、自身の表示画面に対して領域１０１が位置する座標を特定することで、領域１０１の位置情報を特定する。図３（Ａ）に示す例では、座標「Ｘ０，Ｙ０」から座標「Ｘｎ，Ｙｎ」の領域を全領域とするソース画面の表示画面に対して、領域１０１は座標「Ｘａ，Ｙａ」から座標「Ｘｂ，Ｙｂ」の領域に位置している。

［特定方法１］
領域１０１の座標は、例えば、ソース端末１の表示画面の変化を用いることで特定することができる。具体的には、ソース端末１の共有制御部５１は、自身の表示画面全体を監視し、時間的に変化のある領域を領域１０１（動画コンテンツ部分）として特定し、当該領域１０１の座標を算出する。
なお、領域１０２に表示される関連情報の中には、例えば、関連動画をＦｌａｓｈ（登録商標）等により変化させて表示するものも含まれる。そこで、共有制御部５１は、ソース端末１の表示画面のうちの任意の領域のみを監視し、その他の領域をマスキングすることとしてもよい。例えば、領域１０１に動画コンテンツを表示する場合、通常、領域１０１は、表示画面の中心を含む矩形状の領域となるため、それ以外の領域において時間的に変化する部分があっても無視することとしてもよい。また、動画コンテンツのシークバー（操作部）が表示される場合には、通常、領域１０１（動画コンテンツ）は、シークバーの上方（又は下方）に表示されるため、それ以外の領域において時間的に変化する部分があっても無視することとしてもよい。

［特定方法２］
また、共有制御部５１は、例えば、表示画面のソースコード（ＨＴＭＬ等）を解析し、コンテンツを表示する位置とコンテンツのサイズとを読み出すことで、領域１０１の座標を算出することとしてもよい。

シンク端末２では、ソース端末１から座標情報を取得すると、ソース端末１及びシンク端末２の表示画面のサイズ比に基づいて当該座標情報を補正することで、シンク端末２における領域１０１に対応する領域２０１の位置情報を特定する。
シンク端末２の表示制御部６３は、こうして特定した領域２０１にコンテンツサーバ等から取得したコンテンツを表示し、それ以外の領域２０２にソース端末１から受信した画面データを表示する。

ところで、共有するコンテンツによっては、図３（Ｂ）に示すように、表示画面のスクロールが可能な場合がある。表示画面がスクロール可能である場合、ソース端末１における状況に応じて、領域１０１の位置が異なることになる。このような場合であっても、上述した特定方法１，２により領域１０１の位置情報を特定することができる。
例えば、共有制御部５１は、基準位置における領域１０１の座標情報と、現在のスクロール状況とを算出することで領域１０１の位置情報を特定する。具体的には、スクロール量が「０」である基準位置における領域１０１の位置情報を、上述と同様に時間変化の監視やソースコードを解析することで特定する。また、現在表示中のスクロール量を時間変化の監視やスクロールバー１０５から取得し、「１」スクロール量に対する領域１０１の座標情報の変化量に基づいて、現在の領域１０１の座標情報を特定する。

シンク端末２では、ソース端末１からスクロール量に応じた座標情報を取得すると、ソース端末１及びシンク端末２の表示画面のサイズ比に基づいて当該座標情報を補正することで、シンク端末２における領域１０１に対応する領域２０１の位置情報を特定する。
もちろん、ソース端末１からシンク端末２に対して基準位置における領域１０１の座標情報とスクロール量とを送信し、シンク端末２においてスクロール量に基づく座標情報の更新を行うことで、領域２０１の位置情報を特定することとしてもよい。

［画面共有システムＳの処理］
以上、画面共有システムＳの構成について説明した。続いて、図４から図６を参照して、画面共有システムＳの処理の流れについて説明する。図４は、ソース端末１及びシンク端末２において、上述のハイブリッド機能により表示画面を共有する際の処理の流れを示す図である。また、図５は、ハイブリッド機能により表示画面を共有している際に、ソース端末１において操作が行われた場合の処理の流れを示し、図６は、シンク端末２において操作が行われた場合の処理の流れを示す。

図４に示すように、初めにステップＳ１において、ソース端末１とシンク端末２とはミラーリングにより表示画面の共有を行っている。続いて、ステップＳ２において、ソース端末１の切替部５１３は、ミラーリングからハイブリッドに切り替える必要があるか否かを判定する。一例として、ソース端末１及びシンク端末２間の通信環境が所定未満にまで悪化すると、切替部５１３は、ハイブリッドに切り替える必要があると判定する。
ステップＳ２の判定がＮＯのときは、処理をステップＳ１に戻し、ミラーリングによる表示画面の共有を継続する。他方、ステップＳ２の判定がＹＥＳのときは、処理をステップＳ３に移し、ハイブリッドによる表示画面の共有を行う。

ステップＳ３において、共有制御部５１は、ソース端末１の表示画面のうちの、キャスティングを用いて表示画面の共有を行う領域１０１、及びミラーリングを用いて表示画面の共有を行う領域１０２の位置情報を特定する。具体的には、共有制御部５１は、ソース端末１の表示画面に対して領域１０１が位置する座標を特定し、それ以外の領域を領域１０２として特定する。

続いて、共有制御部５１は、ステップＳ４において、領域１０１に表示中のコンテンツを識別する識別情報を特定し、ステップＳ５において、領域１０２に表示される一部画面をキャプチャし、当該一部画面に対応する画面データを生成する。続いて、ステップＳ６において、送信部５２は、ステップＳ４で特定したコンテンツの識別情報、ステップＳ５で生成した画面データ、及びステップＳ３で特定した領域１０１の位置情報を含む共有制御情報を、シンク端末２に対して送信する。

シンク端末２では、共有制御情報を受信すると、ステップＳ７において、取得部６２が共有制御情報に含まれるコンテンツの識別情報に基づいて、当該コンテンツを取得する。続いて、ステップＳ８において、表示制御部６３は、共有制御情報に含まれる領域１０１の位置情報に基づいて、自身の表示画面を領域２０１と領域２０２とに分割する。

続いて、表示制御部６３は、ステップＳ９において、領域２０１にステップＳ７で取得したコンテンツをセットし、ステップＳ１０において、領域２０２にソース端末１から受信した画面データをセットする。これにより、ソース端末１とシンク端末２との間で表示画面の共有が行われることになる。

続いて、ハイブリッド機能により表示画面を共有している際に操作が行われた場合の処理について説明する。
図５に示すように、初めに、ステップＳ１１において、ソース端末１は、ユーザから制御操作を受け付けたか否かを判定する。ここで、制御操作とは、領域１０１に対する操作、即ち、コンテンツに対する操作をいい、一例として、動画コンテンツを再生／停止する操作や、再生位置を変更するシーク操作等をいう。他方、制御操作以外の操作とは、領域１０２に対する操作であり、例えば、表示画面をスクロールする操作や、設定されているハイパーリンクをクリックする操作等をいう。

ステップＳ１１においてＹＥＳのとき、ステップＳ１２において、ソース端末１は、シンク端末２に対して操作内容（再生、停止、シーク等）を送信し、続くステップＳ１３において、ソース端末１及びシンク端末２は、当該操作内容に応じてコンテンツを制御する。他方、ステップＳ１１においてＮＯのとき、ステップＳ１４において、ソース端末１は、操作に応じた処理を実行し、ハイブリッド機能による表示画面の共有を継続する。
このように、コンテンツに対する操作は、ソース端末１及びシンク端末２の双方で実行する一方で、コンテンツ以外に対する操作は、ソース端末１のみで実行している。この点、コンテンツ以外に対する操作に応じた表示画面の変化は、ハイブリッド機能による表示画面の共有が継続することでシンク端末２においても反映されることになる。

一方、ユーザがシンク端末２を操作した場合、図６に示すように、初めに、ステップＳ２１において、シンク端末２は、ユーザから制御操作を受け付けたか否かを判定する。この判定がＹＥＳのときは、ステップＳ２２において、シンク端末２は、ソース端末１に対して操作内容（再生、停止、シーク等）を送信し、続くステップＳ２３において、ソース端末１及びシンク端末２は、当該操作内容に応じてコンテンツを制御する。

他方、ステップＳ２１の判定がＮＯのときは、シンク端末２では、ステップＳ２４において、受け付けた操作の種別（クリックやドラッグ等）を特定し、ステップＳ２５において、操作された座標位置を特定する。続いて、ステップＳ２６において、シンク端末２は、これら操作種別及び座標位置をソース端末１に対して送信する。
ソース端末１では、ステップＳ２７において、操作種別及び座標位置に基づきシンク端末２で行われた操作（例えば、表示画面をスクロールする操作や設定されているハイパーリンクをクリックする操作等）を特定し、当該操作に応じた処理を実行し、ハイブリッド機能による表示画面の共有を継続する。ステップＳ２７で実行された操作に応じた表示画面の変化は、上述と同様にハイブリッド機能による表示画面の共有が継続することでシンク端末２においても反映されることになる。

［画面共有システムＳの効果］
以上説明した画面共有システムＳによれば、ソース端末１とシンク端末２との間で表示画面を共有する際に、ソース端末１は、自身の表示画面のうち領域１０１に表示しているコンテンツを識別する識別情報を特定し、シンク端末２に対して送信するとともに、自身の表示画面のうち領域１０２に表示している関連情報の画面データを生成し、シンク端末２に対して送信する。シンク端末２では、受信した識別情報に基づいて外部機器からコンテンツを取得するとともに、取得したコンテンツを自身の表示画面のうちの領域２０１に表示し、その他の領域２０２にソース端末１から受信した画面データを表示する。
このように画面共有システムＳでは、コンテンツ部分についてはキャスティングにより表示画面の共有を行い、関連情報部分についてはミラーリングにより表示画面の共有を行うことで、コンテンツ部分の画質を劣化させることなく、かつ、関連情報部分の表示態様を統一的に揃えた状態で、表示画面の共有を実現することができる。

このとき、ソース端末１では、自身の表示画面に占める領域１０１の位置情報を特定し、シンク端末２に対して送信するため、シンク端末２において領域１０１に対応する領域２０１に適切にコンテンツを表示することができる。
また、コンテンツ部分をキャスティングにより共有するため、コンテンツに対する制御は、ソース端末１及びシンク端末２の夫々が独自に行うことになる。この点、画面共有システムＳでは、操作内容を互いに送信しあうため、コンテンツに対する制御をソース／シンク端末間で合せることができる。

また、コンテンツ部分をキャスティングにより共有するため、シンク端末２では、自身の端末性能に合ったコンテンツを取得し、表示することができる。その結果、例えば、シンク端末２がＨＤ対応の端末装置である場合、シンク端末２では、ＨＤ版のコンテンツを表示することができる。

また、画面共有システムＳでは、ミラーリングによる表示画面の共有とハイブリッドによる表示画面の共有とを所定の条件に応じて切り替える。ソース端末１及びシンク端末２の双方がネットワークＮを介してコンテンツを同時に取得した場合、通信負荷が増大してしまうおそれがあるものの、ミラーリングで十分な場合はミラーリングによる表示画面の共有を行い、必要に応じてハイブリッドによる表示画面の共有を行うことで、通信負荷を抑制することができ、好適である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１・・・ソース端末
２・・・シンク端末
１１・・・記憶部
１２・・・操作部
１３・・・表示部
１４・・・通信部
１５・・・制御部
５１・・・共有制御部
５１１・・・第１制御部
５１２・・・第２制御部
５１３・・・切替部
５２・・・送信部
６１・・・受信部
６２・・・取得部
６３・・・表示制御部
Ｓ・・・画面共有システム

Claims (9)

1. ソース端末及びシンク端末の間で表示画面を共有する画面共有システムであって、
   前記ソース端末は、
   自身の表示画面のうちの一部領域に表示される一部画面に対応する画面データを生成するとともに、前記表示画面のうちの前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を特定する共有制御部と、
   前記共有制御部が生成した前記画面データ及び特定した前記識別情報を、前記シンク端末に送信する送信部と、
   を備え、
   前記シンク端末は、
   前記ソース端末から、前記画面データ及び前記識別情報を受信する受信部と、
   受信した前記識別情報に基づき、前記コンテンツを取得する取得部と、
   自身の表示画面のうちの一部領域に対して、前記ソース端末から受信した前記画面データを表示し、当該一部領域以外の他の領域に対して、取得した前記コンテンツを表示する表示制御部と、
   を備える画面共有システム。
2. 前記ソース端末の前記共有制御部は、自身の前記表示画面のうちの前記他の領域が存在する位置を示す位置情報を特定し、
   前記ソース端末の前記送信部は、前記位置情報を前記シンク端末に対して更に送信し、
   前記シンク端末の前記表示制御部は、自身の表示画面のうちの前記ソース端末から受信した前記位置情報に応じた位置を前記他の領域として、当該領域に前記コンテンツを表示する、
   請求項１に記載の画面共有システム。
3. 前記ソース端末は、前記他の領域に表示される前記コンテンツに対する操作を受け付ける操作部、を更に備え、
   前記ソース端末の前記送信部は、受け付けた前記操作内容を前記シンク端末に対して更に送信し、
   前記シンク端末の前記表示制御部は、受信した前記操作内容に応じて自身の前記表示画面に表示されている前記コンテンツを制御する、
   請求項１又は２に記載の画面共有システム。
4. 前記シンク端末の前記取得部は、前記識別情報が示すコンテンツのうち自身の端末性能に合ったコンテンツを取得する、
   請求項１から３のいずれか１項に記載の画面共有システム。
5. 前記ソース端末の前記共有制御部は、
   自身の前記表示画面のうちの全領域に表示される全画面に対応する画面データを生成する第１制御部と、
   自身の前記表示画面のうちの前記一部領域に応じた前記画面データを生成するとともに、前記他の領域に応じた前記識別情報を特定する第２制御部と、
   所定の条件に応じて前記第１制御部による制御と前記第２制御部による制御とを切り替える切替部と、を備え、
   前記ソース端末の前記送信部は、前記第１制御部又は前記第２制御部により生成又は特定された情報を送信し、
   前記シンク端末の前記表示制御部は、前記ソース端末から受信した前記情報に応じて自身の前記表示画面の表示を制御する、
   請求項１から４のいずれか１項に記載の画面共有システム。
6. 前記切替部は、ユーザから受け付けた操作に応じて、前記第１制御部による制御と前記第２制御部による制御とを切り替える、
   請求項５に記載の画面共有システム。
7. 自身の表示画面を他の端末装置との間で共有するソース端末であって、
   前記表示画面のうちの一部領域に表示される一部画面に対応する画面データを生成するとともに、前記表示画面のうちの前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を特定する共有制御部と、
   前記共有制御部が生成した前記画面データ及び特定した前記識別情報を、前記他の端末装置に送信する送信部と、
   を備えるソース端末。
8. 他の端末装置の表示画面を、当該他の端末装置との間で共有するシンク端末であって、
   前記他の端末装置から、当該他の端末装置の表示画面のうちの、一部領域に表示される一部画面に対応する画面データ、及び、前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を受信する受信部と、
   受信した前記識別情報に基づき、前記コンテンツを取得する取得部と、
   自身の表示画面のうちの一部領域に対して、前記他の端末装置から受信した前記画面データを表示し、当該一部領域以外の他の領域に対して、取得した前記コンテンツを表示する表示制御部と、
   を備えるシンク端末。
9. ソース端末及びシンク端末の間で表示画面を共有する画面共有方法であって、
   前記ソース端末の表示画面のうちの一部領域に表示される一部画面に対応する画面データを生成するとともに、前記表示画面のうちの前記一部領域以外の他の領域に表示されるコンテンツを識別するための識別情報を特定するステップと、
   生成した前記画面データ及び特定した前記識別情報を、前記シンク端末に送信するステップと、
   前記ソース端末から前記画面データ及び前記識別情報を受信すると、受信した前記識別情報に基づき、前記コンテンツを取得するステップと、
   前記シンク端末の表示画面のうちの一部領域に対して、前記ソース端末から受信した前記画面データを表示し、当該一部領域以外の他の領域に対して、取得した前記コンテンツを表示するステップと、
   を含む画面共有方法。
   

Images