JP6377032B2 - 電子機器及び画面データ転送方法 - Google Patents

Description

本発明は、表示画面を有する電子機器、及び電子機器から表示制御装置への画面データ転送方法に関するものである。

スマートフォン及びＰＣ（Personal Computer）等の電子機器の表示画面をプロジェクタ又はディスプレイ等の表示制御装置に転送し、スクリーン又はディスプレイ等に表示させるための画面転送システムが利用されている。特許文献１には、携帯情報端末がＷｅｂサーバから取得したコンテンツをレンダリングし、レンダリングしたコンテンツをプロジェクタに転送し、プロジェクタが当該コンテンツを表示するシステムが開示されている。

特開２００２−２９０６０５号公報

スマートフォンが表示しているコンテンツの画面を表示制御装置が表示させる処理は、コンテンツの画面を表示制御装置に転送するアプリケーションプログラム（以下、「画面転送アプリケーション」という）をスマートフォンが実行することにより実現される。スマートフォンは、画面転送アプリケーションを実行することにより、スマートフォンの画面に表示された画面データをキャプチャーし、キャプチャーした画面データを表示制御装置に転送する。

ところが、スマートフォンのＯＳ（Operating System）の中には、セキュリティ上の観点から、バックグラウンド状態で動作しているアプリケーションが、画面に表示されたデータをキャプチャーすることを禁止しているものがある。このようなＯＳに対応するために、画面転送アプリケーションに、コンテンツをレンダリングして画面に表示するビューワ機能を追加することが考えられる。このようにすることで、ユーザは、画面転送アプリケーションを用いてコンテンツを表示させ、表示させたコンテンツを表示制御装置に転送することができる。

しかしながら、ユーザは、コンテンツの表示に画面転送アプリケーションを使用したいとは限らない。例えば、ユーザが、Ｗｅｂコンテンツを表示させるためのアプリケーションとして、自身のお気に入りのサイトをブックマークしたＷｅｂブラウザを使用している場合、画面転送アプリケーションを用いてコンテンツを表示させることは不便であり、好ましくない。

そこで、本発明は上述した点に鑑みてなされたものであり、画面転送機能を有しないアプリケーションを用いて表示させた画面データを表示制御装置に転送できるようにすることを目的とする。

上記の課題を解決するために、本発明に係る電子機器は、表示制御装置に表示させる対象のコンテンツを記憶する記憶手段と、前記記憶手段の所定の領域に前記コンテンツが記憶されている場合に、当該コンテンツに基づく画像データを生成する画像データ生成手段と、前記画像データ生成手段が生成した前記画像データの少なくとも一部を含む画面データを表示手段に表示させる表示制御手段と、前記画面データをキャプチャーするキャプチャー手段と、前記キャプチャー手段がキャプチャーした前記画面データを前記表示制御装置に送信する送信手段と、を有し、前記画像データ生成手段は、前記記憶手段の所定の領域に前記コンテンツが記憶されている状態で、前記送信手段と前記表示制御装置との間で通信リンクが確立すると、前記画像データを生成することを特徴とする。

本発明によれば、画面転送機能を有しないアプリケーションを用いて表示させた画面データを表示制御装置に転送できるという効果を奏する。

本実施形態に係る画面データ転送システムＳの構成を示す。 表示画面の画面データを転送するまでの流れを示す図である。 画面転送アプリケーションの動作状態が遷移する態様を示す図である。 表示画面に表示されたＷｅｂページがプロジェクタに転送されるまでの流れを示す図である。 ユーザ端末１の構成を示す図である。 プロジェクタ２の構成を示す図である。 ユーザ端末１における処理の手順を示すフローチャートである。 ユーザ端末１における処理の手順を示すフローチャートである。 ユーザ端末１に表示される画面データの一例を示す図である。 ユーザ端末１に表示される画面データの一例を示す図である。 第１の画像生成処理の手順を示すフローチャートである。 第２の画像生成処理の手順を示すフローチャートである。

［画面データ転送システムＳの概要］
図１は、本実施形態に係る画面データ転送システムＳの構成を示す。
画面データ転送システムＳは、ユーザが用いる電子機器であるユーザ端末１と、ユーザ端末１から送られた画面データを投影する表示制御装置であるプロジェクタ２とを備える。ユーザ端末１は、例えばスマートフォン又はＰＣであり、表示画面を備えている。

ユーザ端末１には、オペレーティングシステム、Ｗｅｂブラウザアプリケーション及び画面転送アプリケーション等が予めインストールされている。プロジェクタ２は、ユーザ端末１から転送された画面データをスクリーン３に対して投影する。ユーザ端末１とプロジェクタ２とは、無線ＬＡＮ等の無線通信回線Ｎにより接続されている。

図２は、ユーザ端末１に表示された画面データがプロジェクタ２に転送されるまでの流れを示す図である。図３は、ユーザ端末１におけるアプリケーションの動作状態が遷移する態様を説明するための図である。図４は、ユーザ端末１に表示されたＷｅｂページの画面データがプロジェクタ２に転送されるまでの流れを示す図である。
以下、図２、図３及び図４を参照して、ユーザ端末１における画面データがプロジェクタ２に転送されるまでの流れについて説明する。

まず、ユーザは、Ｗｅｂブラウザアプリケーションを起動させてフォアグラウンド状態にして、プロジェクタ２に転送する対象となるコンテンツの表示画面を表示させる（Ｓ１１）。このとき、ユーザ端末１の画面転送アプリケーションは、図３に示す未起動状態又はバックグラウンド状態になっている。バックグラウンド状態になっている画面転送アプリケーションは、表示画面をキャプチャーすることができない。

この状態で、ユーザは、Ｗｅｂブラウザアプリケーションによって表示された画面の全体又は一部の領域を選択し、選択した領域のコンテンツをコピーする操作を行う。図４においては、ユーザが、表示されたＷｅｂページに含まれているＵＲＬをコピーする操作が例示されているが、ユーザは、メールアプリケーションで受信したＵＲＬ等の文字列をコピーしてもよい。ユーザにより選択されたコンテンツは、ユーザ端末１が有するメモリ内のクリップボードに格納される（Ｓ１２）。ユーザがＵＲＬをコピーする操作を行った場合、ＵＲＬを示すテキストデータがクリップボードに格納される。

次いで、ユーザは、画面転送アプリケーションを起動する（Ｓ１３）。ユーザが画面転送アプリケーションを起動することにより、図３における「再起動」が行われ、Ｓ１１及びＳ１２で未起動状態又はバックグラウンド状態であった画面転送アプリケーションが、フォアグラウンド状態に遷移する。

画面転送アプリケーションは、フォアグラウンド状態に遷移すると、ユーザ端末１とプロジェクタ２との間の論理的な接続（以下、「通信リンク」という）を確立する（Ｓ１４）。続いて、画面転送アプリケーションは、クリップボードに格納されたコンテンツに基づいて画像データを生成する（Ｓ１５）。図４に示す例においては、画面転送アプリケーションは、クリップボードに格納されたＵＲＬに対応するＷｅｂページにアクセスして、ＷｅｂページのＨＴＭＬデータを取得することにより画像データを生成する。なお、画像データを生成する手法は、クリップボードに格納されたコンテンツの種別により異なる。画像データを生成する手法の詳細については、後述する。

次に、画面転送アプリケーションは、生成した画像データの少なくとも一部を含む画面データを表示する（Ｓ１６）。具体的には、画面転送アプリケーションは、生成した画像データをＶＲＡＭに格納することにより、画面データをユーザ端末１のディスプレイに表示する。

続いて、画面転送アプリケーションは、画面データをキャプチャーする（Ｓ１７）。これにより、プロジェクタ２に転送する画面データであるＷｅｂページは、ユーザ端末１のメモリ内の転送バッファに格納される。続いて、画面転送アプリケーションは、転送バッファ内の画面データをプロジェクタ２に対して転送する（Ｓ１８）。プロジェクタ２は、ユーザ端末１から転送された画面データをスクリーン３に投影する。

なお、図３に示すように、ユーザ端末１では、画面転送アプリケーションがフォアグラウンド状態で動作中に、ユーザによる一時停止操作が行われた場合、又は電話着信等の優先順位が高い他のアプリケーションが起動した場合、画面転送アプリケーションはバックグラウンド状態に遷移する。

また、図３に示すように、画面転送アプリケーションがバックグラウンド状態で動作中に、ユーザ端末１においてメモリ不足等の異常状態が発生した場合、又はユーザによる強制終了操作が行われた場合、画面転送アプリケーションはバックグラウンド状態から未起動状態に遷移する。また、画面転送アプリケーションは、バックグラウンド状態で予め設定された時間が経過した場合に、未起動状態に遷移してもよい。

以上のように、本実施形態に係るユーザ端末１では、バックグラウンド状態で表示画面をキャプチャーすることが禁止されている場合でも、ユーザは、使い慣れたＷｅｂブラウザ等のアプリケーションを用いて表示画面に表示させたコンテンツを、プロジェクタ２に対して転送することが可能となる。

［ユーザ端末１の構成］
続いて、ユーザ端末１の構成について説明する。
図５は、ユーザ端末の構成を示す図である。ユーザ端末１は、操作部１１と、通信部１２と、表示部１３と、ＶＲＡＭ１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、操作受付部１６１、コピー部１６２、レンダリング部１６３、表示制御部１６４、キャプチャー部１６５及び送信部１６６を有する。

操作部１１は、例えば操作ボタン又はタッチパネル等によって構成されている。操作部１１は、ユーザによる操作内容を示すデータを操作受付部１６１に通知する。操作部１１は、例えば、表示部１３に重ねられたタッチパネルにユーザがタッチした位置を示す座標データを操作受付部１６１に通知する。

通信部１２は、プロジェクタ２に画面データを送信するための通信インターフェイスである。通信部１２は、アンテナ、ＲＦ（Radio Frequency）部及びベースバンド部を含んで構成され、予め設定された無線ＬＡＮ規格に適合したパケットデータの送受信を行う。

表示部１３は、表示制御部１６４の制御に基づいて、ＶＲＡＭ１４から読み出された画面データを表示する。表示部１３は、例えば、液晶パネル又は有機ＥＬ（Electro Luminescence）パネルである。液晶パネル又は有機ＥＬパネルの表示面には、操作部１１に含まれるタッチパネルが重ねられている。

ＶＲＡＭ１４は、表示部１３に表示される画面データを格納する。なお、後述する記憶部１５に含まれるＲＡＭのアクセス速度が十分に高速であれば、記憶部１５内のＲＡＭをＶＲＡＭ１４として用いてもよい。

記憶部１５は、ＲＯＭ、ＲＡＭ及びフラッシュメモリ等の記憶媒体である。ＲＯＭは、制御部１６により実行される各種のプログラム（例えば、ブートプログラム、ＯＳ及びアプリケーションプログラム）及びパラメータ等のデータを記憶している。ＲＡＭは、制御部１６がプログラムを実行する際のワーク領域、及び各種のデータの格納領域として使用される。例えば、ＲＡＭは、それぞれ異なる記憶領域であるクリップボード１５１の領域、及び転送バッファ１５２の領域を含んでいる。クリップボード１５１には、コピー部１６２によりコピーされたコンテンツデータが格納される。転送バッファ１５２には、キャプチャー部１６５により取得された画面データが格納される。

制御部１６は、例えばＣＰＵである。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、操作受付部１６１、コピー部１６２、レンダリング部１６３、表示制御部１６４、キャプチャー部１６５及び送信部１６６として機能する。制御部１６は、例えば、画面転送アプリケーション以外のＷｅｂブラウザアプリケーション等がフォアグラウンド状態で動作している間に、操作受付部１６１及びコピー部１６２として動作することにより、ユーザが選択したコンテンツをクリップボード１５１に格納する。

また、制御部１６は、画面転送アプリケーションがフォアグラウンド状態で動作している間に、レンダリング部１６３、表示制御部１６４、キャプチャー部１６５及び送信部１６６として動作する。制御部１６は、ユーザが画面転送を開始する操作をしてから、画面転送を停止する操作をするまでの間、表示部１３に表示された画面データのキャプチャー、エンコード、及びプロジェクタへの送信の処理を、画面データが変化したことを検知するたびに繰り返す。

操作受付部１６１は、操作部１１を介してユーザにより入力された操作を受け付ける。操作受付部１６１は、例えば、表示部１３に表示された文字列、ＵＲＬ、写真、ビデオデータ、ビデオファイル及びドキュメントファイル等のコンテンツを選択する操作、並びに選択されたコンテンツをコピーする操作を示すデータを操作部１１から取得し、取得したデータに対応する操作内容を特定する。操作受付部１６１は、特定した操作内容を示す操作指示を制御部１６の各部に通知する。例えば、操作受付部１６１は、コンテンツをコピーする操作を示すデータを取得した場合、コピーする領域を特定するための座標データを含むコピー操作指示をコピー部１６２に通知する。

コピー部１６２は、操作受付部１６１と連携して記憶制御手段として動作し、表示部１３にコンテンツが表示された状態において、操作受付部１６１が当該コンテンツをクリップボード１５１に記憶するための操作を受け付けた場合に、当該コンテンツをクリップボード１５１に記憶させる。具体的には、コピー部１６２は、操作受付部１６１を介して取得した操作内容に基づいて、指定された文字列、ＵＲＬ、写真、ビデオデータ、ビデオファイル及びドキュメントファイル等を含むコンテンツを、クリップボード１５１に格納する。コピー部１６２は、記憶部１５に、コンテンツをクリップボード１５１に格納した時刻を記憶させてもよい。

レンダリング部１６３は、コンテンツの種別に対応する画像データを生成する画像データ生成手段である。レンダリング部１６３は、複数種類のレンダリング処理方法を実行することができる。レンダリング部１６３は、例えば、ＵＲＬに対応するＷｅｂページのＨＴＭＬを取得して、取得したＨＴＭＬに基づく画像データを生成するＷｅｂレンダラ（例えばＷｅｂブラウザ）、ドキュメントファイルに基づく画像データを生成するドキュメントレンダラ、及び写真ファイル又はビデオファイルに基づく画像データを生成するマルチメディアレンダラとして動作する。レンダリング部１６３は、ユーザからの指示に基づいて、又はコンテンツの種別を識別することにより、複数種類のレンダリング処理方法から適切なレンダリング処理方法を選択して、レンダリング処理を実行する。

レンダリング部１６３は、例えば、ファイル形式の種別、データヘッダ、又はファイルの拡張子を用いることにより、クリップボード１５１に格納されているコンテンツの種別を識別する。レンダリング部１６３は、コンテンツが、例えば、ＲＦＣ１７３８に規定されているＵＲＬの表記型式で記述されたテキストデータである場合に、コンテンツがＵＲＬであると判定する。レンダリング部１６３は、クリップボード１５１に格納されたコンテンツがＵＲＬである場合には、Ｗｅｂレンダラを起動してＵＲＬに対応するＨＴＭＬデータを取得し、取得したＨＴＭＬデータに基づいてＷｅｂページの画像データを生成する。

レンダリング部１６３は、クリップボード１５１に格納されたコンテンツがドキュメントファイルである場合には、ドキュメントレンダラを起動してドキュメントファイルの画像データを生成する。レンダリング部１６３は、クリップボード１５１に格納されたコンテンツが写真ファイル又はビデオファイルである場合には、マルチメディアレンダラを起動して、写真ファイル又はビデオファイルの画像データを生成する。レンダリング部１６３は、生成した画像データを記憶部１５に記憶させる。

また、レンダリング部１６３は、通信部１２の状態を監視し、プロジェクタ２と通信部１２との間での通信リンクが確立していることを検知する。レンダリング部１６３は、例えば、通信リンクが確立している間に記憶部１５の所定の領域（例えばクリップボード１５１）にコンテンツが記憶されている場合に、画像データを生成する。

レンダリング部１６３は、クリップボード１５１にコンテンツが格納されている状態で、プロジェクタ２と通信部１２との通信リンクが確立された場合に、クリップボード１５１内のコンテンツに対するレンダリング処理を実行してもよい。この場合、レンダリング部１６３は、コンテンツがクリップボード１５１に格納された時刻を記憶部１５から取得し、クリップボード１５１にコンテンツが記憶されてから所定の時間が経過する前に通信リンクが確立した場合に画像データを生成してもよい。

例えば、上記の所定の時間を３０秒とする。この場合、レンダリング部１６３は、通信接続が確立されてから２０秒後にクリップボード１５１に格納されたコンテンツは、プロジェクタ２に対して転送する対象のコンテンツであると判別する。他方で、例えば、３０分前にコピーされたコンテンツがクリップボード１５１に格納されている場合、レンダリング部１６３は、このコンテンツが転送対象のコンテンツではないと判別する。このようにすることで、ユーザが転送したいと考えていない画面データがプロジェクタ２に転送されることを防止できる。

表示制御部１６４は、レンダリング部１６３により生成された画像データの少なくとも一部を含む画面データをＶＲＡＭ１４に格納することにより、画面データを表示部１３に表示させる。表示制御部１６４は、例えば、記憶部１５に記憶された画像データのうち、ユーザの操作により指定された領域に対応する画像データを切り出して、切り出した画像データをＶＲＡＭ１４に格納することにより、画面データを表示部１３に表示させる。なお、レンダリング部１６３が、表示制御部１６４の機能を有していてもよい。

キャプチャー部１６５は、ＶＲＡＭ１４に格納された画面データを転送バッファ１５２に格納することによりキャプチャーする。キャプチャー部１６５は、転送バッファ１５２に格納された画面データのうち、予め定められた一部の領域の画面データを転送バッファ１５２に格納してもよい。なお、キャプチャー部１６５は、所定の間隔で画面データを連続的にキャプチャーしてもよく、ユーザから、画面データをプロジェクタ２に転送する指示を受けた時点で画面データをキャプチャーしてもよい。

送信部１６６は、通信部１２を介してプロジェクタ２との通信リンクを確立する。送信部１６６は、通信リンクが確立された状態で、ユーザから、画面データをプロジェクタ２に転送する指示を受けると、転送バッファ１５２に格納されている画面データをプロジェクタ２に送信する。具体的には、送信部１６６は、キャプチャー部１６５によって転送バッファ１５２に格納された画面データを、例えばＪＰＥＧ符号化方式を用いてエンコードし、エンコード後の画面データをプロジェクタ２に送信する。

なお、送信部１６６が画面データをエンコードする処理の方法は任意であり、例えば、画面データが変化したことを検知した場合に、画面データをエンコードしてもよい。また、送信部１６６は、ユーザが画面転送を停止する操作を行った場合には、画面データのエンコード処理及びプロジェクタ２への送信処理を停止する。

［プロジェクタ２の構成］
続いて、プロジェクタ２の構成について説明する。
図６は、プロジェクタ２の構成を示す図である。プロジェクタ２は、操作部２１と、通信部２２と、投影部２３と、ＶＲＡＭ２４と、記憶部２５と、制御部２６とを有する。制御部２６は、操作受付部２６１、取得部２６２、デコーダ２６３及び投影制御部２６４を有する。

操作部２１は、例えば、電源ボタン、及びリモコン（不図示）からのユーザ操作を受け付けるリモコン受信部等を含み、ユーザからの入力操作を受け付ける。
通信部２２は、ユーザ端末１から画面データを受信するための通信インターフェイスである。通信部２２は、ユーザによる操作に応じて、ユーザ端末１との通信リンクの確立及び切断を行う。

投影部２３は、液晶パネル、レンズ及び光源を含んで構成される。投影部２３は、投影制御部２６４の制御により、ＶＲＡＭ２４から読み出された画面データをスクリーン３に投影する。
ＶＲＡＭ２４は、スクリーン３に投影される画面データを記憶する。
記憶部２５は、ＲＯＭ、ＲＡＭ及びフラッシュメモリ等の記憶媒体である。記憶部２５は、制御部２６により実行されるプログラムを記憶している。

制御部２６は、例えばＣＰＵである。制御部２６は、記憶部２５に記憶されたプログラムを実行することにより、操作受付部２６１、取得部２６２、デコーダ２６３及び投影制御部２６４として機能する。

操作受付部２６１は、操作部２１を介してユーザにより入力された操作内容を受け付けて、操作内容を制御部２６の各部に通知する。
取得部２６２は、通信部２２がユーザ端末１から受信した画面データを取得し、取得した画面データをデコーダ２６３に入力する。取得部２６２は、取得した画面データを記憶部２５に格納し、記憶部２５を介して、画面データをデコーダ２６３に入力してもよい。

デコーダ２６３は、取得部２６２から入力された画面データをデコードする。デコーダ２６３は、スケーリング処理を実施して、画面データの画像サイズを所望のサイズに変更してもよい。

投影制御部２６４は、デコーダ２６３によりデコードされた画面データをＶＲＡＭ２４に格納する。また、投影制御部２６４は、投影部２３を制御して、ＶＲＡＭ２４に格納された画面データをスクリーン３に投影させる。なお、デコーダ２６３が、投影制御部２６４の機能を有していてもよい。

［ユーザ端末１が画面データをプロジェクタ２に表示させる処理］
続いて、ユーザが画面データをプロジェクタ２に表示させる処理について説明する。
図７は、ユーザ端末１においてユーザが指定したコンテンツを表示部１３に表示するまでの処理の手順を示すフローチャートである。図８は、表示部１３に表示されたコンテンツの画像をプロジェクタ２に転送するまでの処理の手順を示すフローチャートである。図９及び図１０は、画面転送アプリケーションがユーザ端末１に表示する画面の例である。以下、図７〜図１０を参照して、ユーザ端末１においてユーザが指定したコンテンツをプロジェクタ２に転送するまでの処理について説明する。

まず、図７に示すフローチャートに沿って、プロジェクタ２に転送する画面データを表示部１３に表示するまでの処理について説明する。
制御部１６は、ユーザによる画面転送アプリケーションの起動操作に基づいて、画面転送アプリケーションをユーザ端末１におけるフォアグランド状態に遷移させる（Ｓ２１）。制御部１６は、画面転送アプリケーションをフォアグラウンド状態に遷移させると、プロジェクタ２との間の通信リンクが確立しているか否かを判定する（Ｓ２２）。制御部１６は、プロジェクタ２との間の通信リンクが確立している場合（Ｓ２２におけるＹＥＳ）、Ｓ２４に遷移する。

制御部１６は、通信リンクが確立されていない場合（Ｓ２２におけるＮＯ）、図９（ａ）に示すように、画面データを投影させるプロジェクタ２をユーザが選択するためのプロジェクタ選択画面を表示部１３に表示させる。ユーザによって、画面データを表示させるプロジェクタ２を選択する操作が行われた場合、制御部１６は、ユーザ端末１と選択されたプロジェクタ２との間の通信リンクを確立する（Ｓ２３）。

続いて、制御部１６は、クリップボード１５１に、所定時間以内に格納されたコンテンツが含まれているか否かを判定する（Ｓ２４）。制御部１６は、クリップボード１５１に、所定時間以内に格納されたコンテンツが含まれている場合（Ｓ２４におけるＹＥＳ）、レンダリング部１６３において、クリップボード１５１に格納されたコンテンツに対するレンダリング処理を行い、表示部１３に表示する画像データを生成する（Ｓ２５）。

制御部１６は、クリップボード１５１に、所定時間以内に格納されたコンテンツが含まれていない場合（Ｓ２４におけるＮＯ）、ユーザに、表示部１３に表示するコンテンツを選択させる。そして、レンダリング部１６３において、選択されたコンテンツに対するレンダリング処理を行い、表示部１３に表示する画像データを生成する（Ｓ２６）。なお、第１の画像データ生成処理（Ｓ２５）、及び第２の画像データ生成処理（Ｓ２６）の詳細については、図１１及び図１２を用いて後述する。

続いて、制御部１６は、画像データをＶＲＡＭ１４に格納し、画像データの少なくとも一部を含む画面データを表示部１３に表示させる（Ｓ２７）。制御部１６は、図１０（ａ）及び図１０（ｂ）に示すように、コンテンツの種別に応じた画面データを表示部１３に表示させる。図１０（ａ）は、制御部１６が、ドキュメントレンダラにより生成された画像データを、画面転送アプリケーション内のドキュメントビューワを用いて表示部１３に表示させた画面を示す。図１０（ｂ）は、制御部１６が、Ｗｅｂレンダラにより生成された画像データを、画面転送アプリケーション内のＷｅｂブラウザを用いて表示部１３に表示させた画面を示す。

続いて、図８に示すフローチャートに沿って、画面転送処理の手順について説明する。図８は、ユーザ端末１における画面データがキャプチャーされてから画面転送アプリケーションが終了するまでの流れを示すフローチャートである。

図７のＳ２７に続いて、制御部１６は、ＶＲＡＭ１４に格納された画面データをキャプチャーする（Ｓ３１）。続いて、制御部１６は、図１０（ｃ）に示すように、画面転送処理の開始／停止をユーザが指示するための操作画像１１０を表示する。制御部１６は、ユーザが、操作画像１１０にタッチすることにより、画面転送処理の開始の指示を取得した場合（Ｓ３２におけるＹＥＳ）、制御部１６は、画面データの転送処理を開始し、転送バッファ１５２に格納された画面データをプロジェクタ２に転送する（Ｓ３３）。

制御部１６は、画面データの転送処理中に、ユーザが、操作画像１１０にタッチして、画面データの転送を停止する指示をするまで、画面転送処理を繰り返す。制御部１６は、画面データの転送処理中に、ユーザが、操作画像１１０にタッチした場合（Ｓ３４におけるＹＥＳ）、制御部１６は、画面転送処理を停止し、転送するコンテンツの変更があるか否かを選択可能なダイアログ画面を表示部１３に表示する（Ｓ３５）。

制御部１６は、プロジェクタ２に対して転送するコンテンツの変更がある場合（Ｓ３５におけるＹＥＳ）、図７のＳ２４に遷移し、クリップボード１５１内に所定時間以内に格納されたコンテンツが含まれるか否かを判定する。ユーザは、この時点で、Ｗｅｂブラウザアプリケーション等の画面転送アプリケーションをフォアグラウンド状態にして、プロジェクタ２に転送させたいコンテンツをクリップボード１５１にコピーする操作をすることができる。

制御部１６は、プロジェクタ２に転送する対象のコンテンツに変更がない場合（Ｓ３５においてＮＯ）、プロジェクタ２との間の通信リンクを切断する指示を待ち受ける（Ｓ３６）。制御部１６は、プロジェクタ２との間の通信リンクを切断する指示が入力された場合（Ｓ３６においてＹＥＳ）、プロジェクタ２との間の通信リンクを切断し、図７のＳ２３に処理を移す。制御部１６は、通信リンクを切断する指示が入力されない場合（Ｓ３６におけるＮＯ）、Ｓ３７に遷移して、画面転送アプリケーションを終了させる指示を待ち受ける。例えば、制御部１６は、画面転送アプリケーションを終了させるか否かをユーザに選択させるダイアログ画面を表示部１３に表示する。

ここで、画面転送アプリケーションを終了する指示が入力されない場合（Ｓ３７におけるＮＯ）、制御部１６は、Ｓ３２に処理を移す。ユーザによって画面転送アプリケーションの終了が選択された場合（Ｓ３７におけるＹＥＳ）、制御部１６は、画面転送アプリケーションを終了し、画面転送アプリケーションを未起動状態に遷移させる。

続いて、図１１を参照して、図７における第１の画像生成処理（Ｓ２５）の詳細について説明する。図１１は、第１の画像生成処理（Ｓ２５）の手順を示すフローチャートである。

まず、レンダリング部１６３は、コンテンツの種別を判定する（Ｓ２５−１）。レンダリング部１６３は、コンテンツのデータヘッダ又は拡張子に基づいて、コンテンツが、テキスト情報を含むドキュメントファイルであると判定した場合、ドキュメントレンダラを起動する（Ｓ２５−２）。レンダリング部１６３は、コンテンツがＵＲＬであると判定した場合、Ｗｅｂレンダラを起動する（Ｓ２５−３）。

レンダリング部１６３は、コンテンツのデータヘッダ又は拡張子に基づいて、コンテンツが、写真及び動画等のマルチメディアデータであると判定した場合、マルチメディアレンダラを起動する（Ｓ２５−４）。レンダリング部１６３は、起動した各レンダラを用いて、画像データを生成する（Ｓ２５−５）。レンダリング部１６３は、生成した画像データをＶＲＡＭ１４に格納する（Ｓ２５−６）。このようにして、所定の時間内にクリップボードにコピーしたコンテンツであれば、特にユーザがレンダラを選択しなくとも、自動的に適切なレンダラが選択され、コンテンツがプロジェクタ２に転送される。もちろん、自動的にレンダラが選択された後、ユーザの確認を促すガイダンスなどを表示することも可能である。

なお、制御部１６は、所定時間以内に格納された複数のコンテンツがクリップボード１５１に含まれている場合、Ｓ２５−１におけるコンテンツの種別を判定する処理の代わりに、図９（ｂ）に示すように、クリップボード内の複数のコンテンツから、プロジェクタ２に転送するコンテンツを選択するための画面を表示部１３に表示させてもよい。この場合、レンダリング部１６３は、コンテンツを選択する指示に応じて選択したコンテンツに基づく画像データを生成する。また、制御部１６は、所定時間以内に格納された複数のコンテンツがクリップボード１５１に含まれている場合、コンテンツを選択する指示を受け付けるための画面を表示部１３に表示させる代わりに、クリップボード１５１に格納された複数のコンテンツのうち、格納された日時が最も新しいコンテンツを選択してもよい。

続いて、図１２を参照して、図７における第２の画像生成処理（Ｓ２６）の詳細について説明する。図１１は、第２の画像生成処理（Ｓ２６）の手順を示すフローチャートである。

まず、表示制御部１６４は、プロジェクタ２に転送するコンテンツを選択する指示を受け付けるための画面を表示部１３に表示させる。表示部１３には、例えば、図９（ｃ）に示すような操作画面が表示される（Ｓ２６−１）。ユーザが、図９（ｃ）に示す操作画面における「ドキュメント」を選択した場合、レンダリング部１６３は、ドキュメントレンダラを起動する（Ｓ２６−２）。ユーザが、図９（ｃ）に示す操作画面における「Ｗｅｂ」を選択した場合、レンダリング部１６３は、Ｗｅｂレンダラを起動する（Ｓ２６−２）。ユーザが、図９（ｃ）に示す操作画面における「写真／ビデオ」を選択した場合、レンダリング部１６３は、マルチメディアレンダラを起動する（Ｓ２６−２）。

レンダリング部１６３は、起動した各レンダラを用いて、画像データを生成する（Ｓ２６−５）。レンダリング部１６３は、生成した画像データをＶＲＡＭ１４に格納する（Ｓ２６−６）。このようにして、ユーザは、所望のコンテンツを選択してプロジェクタ２に転送することができる。

［本実施形態における効果］
以上説明したように、本実施形態に係る画面データ転送システムＳにおいては、ユーザ端末１における画面転送アプリケーションが、クリップボード１５１に格納されたコンテンツに基づいて画像データを生成し、画像データの少なくとも一部の画面データをキャプチャーしてプロジェクタ２に転送する。このようにすることで、ユーザ端末１は、バックグラウンド状態のアプリケーションが画面をキャプチャーできないという制限がある場合であっても、画面転送機能を有しない、使い慣れたＷｅｂブラウザ等のレンダラを用いてユーザが表示させた画面データを、容易にプロジェクタ２に転送することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記の実施形態において、ユーザ端末１とプロジェクタ２との間が無線通信回線Ｎにより接続されているものとしたが、ユーザ端末１とプロジェクタ２との間は、有線の通信回線により接続されてもよい。また、上記の実施形態において、表示制御装置がプロジェクタ２である場合について説明したが、表示制御装置は液晶パネル等を有するディスプレイであってもよい。

１ ユーザ端末
２ プロジェクタ
１５ 記憶部
１６３ レンダリング部
１６４ 表示制御部
１６５ キャプチャー部
１６６ 送信部

Claims (15)

1. 表示制御装置に表示させる対象のコンテンツを記憶する記憶手段と、
   前記記憶手段の所定の領域に前記コンテンツが記憶されている場合に、当該コンテンツに基づく画像データを生成する画像データ生成手段と、
   前記画像データ生成手段が生成した前記画像データの少なくとも一部を含む画面データを表示手段に表示させる表示制御手段と、
   前記画面データをキャプチャーするキャプチャー手段と、
   前記キャプチャー手段がキャプチャーした前記画面データを前記表示制御装置に送信する送信手段と、を有し、
   前記画像データ生成手段は、前記記憶手段の所定の領域に前記コンテンツが記憶されている状態で、前記送信手段と前記表示制御装置との間で通信リンクが確立すると、前記画像データを生成することを特徴とする電子機器。
2. 前記画像データ生成手段は、前記記憶手段に前記コンテンツが記憶されてから所定の時間が経過する前に前記通信リンクが確立した場合に、前記画像データを生成することを特徴とする、
   請求項１に記載の電子機器。
3. 前記画像データ生成手段は、互いに異なる複数の前記コンテンツが前記記憶手段の前記所定の領域に記憶されている場合に、コンテンツを選択する指示に基づいて選択した一の前記コンテンツに基づく前記画像データを生成することを特徴とする、
   請求項１または２に記載の電子機器。
4. 前記画像データ生成手段は、前記コンテンツの種別に対応するレンダリング手段を用いて前記画像データを生成することを特徴とする、
   請求項１から３のいずれか１項に記載の電子機器。
5. 前記コンテンツの種別は、ドキュメント、Ｗｅｂページ、写真、ビデオの少なくとも１つを含むことを特徴とする、
   請求項４に記載の電子機器。
6. 前記送信手段は、前記キャプチャー手段がキャプチャーした前記画面データを送信する指示を受けたことに応じて、前記画面データを前記表示制御装置に送信することを特徴とする、
   請求項１から５のいずれか１項に記載の電子機器。
7. 前記表示手段に前記コンテンツが表示された状態において、当該コンテンツを前記記憶手段に記憶するための操作を受け付けた場合に、当該コンテンツを前記記憶手段の前記所定の領域に記憶させる記憶制御手段をさらに有することを特徴とする、
   請求項１から６のいずれか１項に記載の電子機器。
8. 前記所定の領域は、クリップボードとして用いられる領域であることを特徴とする、
   請求項１から７のいずれか１項に記載の電子機器。
9. 前記キャプチャー手段は、前記表示制御手段による表示の対象となるデータ用の記憶領域に記憶された画面データを、前記送信手段による送信の対象となるデータ用の記憶領域に格納することでキャプチャーを行うことを特徴とする、
   請求項１から８のいずれか１項に記載の電子機器。
10. 前記所定の領域へのコンテンツの記憶と、前記画像データ生成手段による当該コンテンツに基づく画像データの生成は、異なるアプリケーションで行われることが可能であることを特徴とする、
    請求項１から９のいずれか１項に記載の電子機器。
11. 前記表示制御装置はプロジェクタであることを特徴とする、
    請求項１から１０のいずれか１項に記載の電子機器。
12. 前記電子機器はスマートフォンであることを特徴とする、
    請求項１から１１のいずれか１項に記載の電子機器。
13. 電子機器から表示制御装置に画面データを送信する画面データ転送方法であって、
    前記電子機器において実行される、
    前記表示制御装置に表示させる対象のコンテンツを、前記電子機器の記憶手段の所定の領域に記憶させるステップと、
    前記記憶手段の所定の領域に前記コンテンツが記憶されている場合に、当該コンテンツに基づく画像データを生成する画像データ生成ステップと、
    前記画像データの少なくとも一部を含む画面データを表示手段に表示させるステップと、
    前記画面データが前記表示手段に表示された後に、前記画面データをキャプチャーするステップと、
    キャプチャーした前記画面データを前記表示制御装置に送信するステップと、を有し、前記画像データ生成ステップでは、前記記憶手段の所定の領域に前記コンテンツが記憶されている状態で、前記電子機器と前記表示制御装置との間で通信リンクが確立すると、前記画像データを生成することを特徴とする画面データ転送方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の電子機器の各手段として機能させることを特徴とする、前記コンピュータが実行可能なプログラム。
15. 請求項１３に記載の画面データ転送方法の各ステップをコンピュータに実行させるためのプログラム。