JP5680400B2 - 表示装置、画面画像転送方法、及びプログラム - Google Patents

Description

本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。

従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献１には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。

また、特許文献２には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献３には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献４，５がある。

特開２０１０−５５１５３号公報 特開２００６−３２３６０７号公報 特開平１１−６５９７５号公報 特開２０１０−１８６３６９号公報 特開２０１０−１４７９０５号公報

上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ（被アシスト側）が使用する表示装置（第１の表示装置）に表示される表示画面を、当該操作をアシストするユーザ（アシスト側）の表示装置（第２の表示装置）に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第１の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。

表示画面を共有して操作のアシストを行う技術においては、適確なアシストを行うために、被アシスト側で表示される表示画面の更新等の変化が、リアルタイムでアシスト側の表示装置に反映されることが望ましい。

しかし、そのためには、非常に短い時間間隔で、被アシスト側で表示画面をキャプチャし、キャプチャ画像をアシスト側の表示装置に転送する必要があり、これは装置負荷及びネットワーク負荷の観点から好ましくない。また、この場合、被アシスト側の表示画面に変化がない期間もあるため、無駄にキャプチャ画像を送ることにもなる。

一方、装置負荷及びネットワーク負荷を軽減するために、被アシスト側で表示画面のキャプチャを行う時間間隔を広くすると、被アシスト側での操作に対応した適切な表示画面をアシスト側の表示装置に迅速に表示できなくなり、適確なアシストを行えなくなる可能性があるという問題がある。

例えば、アシスト者が、被アシスト者による操作（ボタンを押す等）が行われたことにより表示される画面を確認して、その後のアシストを行いたいと考えたとしても、操作のタイミングで被アシスト側に表示される画面がうまくアシスト者の表示装置に表示されなければ、このようなアシストを行うことができない。

本発明は上記の点に鑑みてなされたものであり、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、装置負荷及びネットワーク負荷を増大させることなく、操作に基づき第１の表示装置に表示された表示画面を、迅速に第２の表示装置に表示させるための技術を提供することを目的とする。

上記の課題を解決するために、本発明は、表示部、操作部、及び通信部を備え、前記表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記操作部に対してユーザにより操作がなされた場合に、当該操作がなされた時点から、当該操作による画面画像が前記表示部に表示されるまでの時間である画面画像表示時間を推定し、当該操作がなされた時点から、前記画面画像表示時間が経過した時点で、前記キャプチャ手段に対して画面画像のキャプチャを指示する画面画像表示時間推定指示手段と、前記指示に基づき前記キャプチャ手段によりキャプチャされた前記キャプチャ画像を前記通信部を介して前記他の装置に転送する転送手段と、を備えることを特徴とする表示装置として構成される。

前記表示装置は、操作の内容を示す操作情報と、所定時間とを対応付けて格納するキャプチャ制御情報格納手段を備え、前記画面画像表示時間推定指示手段は、前記ユーザによる操作の内容に対応する所定時間を前記キャプチャ制御情報格納手段から取得し、当該所定時間に基づき前記画面画像表示時間を推定するように構成してもよい。

前記画面画像表示時間推定指示手段は、前記キャプチャ制御情報格納手段から取得した前記所定時間と、前記表示装置の処理負荷情報とに基づき前記画面画像表示時間を推定するようにしてもよい。

また、前記ユーザによる操作が、ネットワーク上のサーバからコンテンツをダウンロードする指示である場合において、前記画面画像表示時間推定指示手段は、ダウンロード開始を示す画面が前記表示部に表示されたと推定される第１の時点で画面画像のキャプチャを行うよう前記キャプチャ手段に指示し、更に、ダウンロードが完了し、ダウンロード完了後の画面が表示されたと推定される第２の時点で画面画像のキャプチャを行うよう前記キャプチャ手段に指示することとしてもよい。

また、前記表示装置は、前記通信部において送受信されるデータの単位時間当たりの通信量を測定するトラヒック測定手段を備え、前記画面画像表示時間推定指示手段は、前記トラヒック測定手段により測定される通信量が予め定めた値以上になった時点を前記第１の時点として決定し、その後、前記トラヒック測定手段により測定される通信量が予め定めた値以下になった時点を前記第２の時点として決定するように構成してもよい。

また、前記転送手段は、転送の候補となる最新のキャプチャ画像と、直前に転送したキャプチャ画像とを比較し、これらのキャプチャ画像間に差分がある場合に、当該最新のキャプチャ画像を転送し、前記キャプチャ画像間に差分がない場合、前記最新のキャプチャ画像を転送せず、所定の時間経過後に、前記キャプチャ手段が、転送の候補となる最新のキャプチャ画像として再度キャプチャ画像を取得するように構成してもよい。

また、本発明は、上記表示装置が実行する処理に対応する画面画像転送方法として構成することもできるし、表示部、操作部、及び通信部を備えるコンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。

本発明によれば、第１の表示装置に表示される表示画面を第２の表示装置に表示させることにより画面共有を行う技術において、装置負荷及びネットワーク負荷を増大させることなく、操作に基づき第１の表示装置に表示された表示画面を、迅速に第２の表示装置に表示させるための技術を提供することが可能となる。

本発明の実施の形態に係るシステム構成図である。 表示装置１の機能構成図である。 キャプチャ制御情報格納部２１に格納されているテーブルの一例を示す図である。 システムの動作概要を説明するための図である。 表示装置１における一定時間間隔キャプチャ処理を説明するためのシーケンス図である。 表示装置１における操作に応じたキャプチャ処理を説明するためのシーケンス図である。 変形例を説明するためのシーケンス図である。

以下、図面を参照して本発明の実施の形態を説明する。

(システム構成）
図１に、本発明の実施の形態に係るシステム構成を示す。図１に示すように、本実施の形態に係るシステムは、表示装置１と表示装置２が、通信ネットワーク３を介して接続された構成を有する。

本実施の形態では、表示装置１、２は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク３は、画像データ等を送受信可能なネットワークである。

本実施の形態では、表示装置１に表示される画面を表示装置２に表示させることを想定している。つまり、表示装置１に表示される画面のキャプチャ画像が表示装置２に送信され、表示装置２が当該キャプチャ画像に基づいて画面表示を行う。表示装置２は、表示装置１から受信する画面情報を表示する機能があればよい。

図２に、本実施の形態に係る表示装置１の機能構成図を示す。図２に示すように、表示装置１は、通信部１１、表示部１２、操作部１３、表示情報生成部１４、表示処理部１６、キャプチャ部１７、キャプチャ画像格納部１８、転送用画面情報生成転送部１９、キャプチャ制御部２０、キャプチャ制御情報格納部２１を備えている。

通信部１１は、通信ネットーク３を介して他の装置とデータ等の通信を行うための機能部である。表示部１２は、いわゆるディスプレイであり、画像を表示する機能部である。操作部１３は、ユーザが表示装置１に対して情報入力や各種指示を行うためのボタンやキーボード等である。操作部１３は、表示部１２と一体として構成されるタッチスクリーンでもよい。

表示情報生成部１４は、表示部１２に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部１４に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。

また、例えば、表示装置１が、携帯電話機である場合、表示情報生成部１４は、表示部１２に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。

表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等であり、更に、表示部１２に表示される画面内の表示位置情報を含む。表示情報は、その種別を示す識別情報（例えば、ファイル名の拡張子は識別情報の一種である）を含むものとする。

表示処理部１６は、表示情報生成部１４から表示情報を受け取り、表示部１２に対して表示する機能部であり、表示情報（例えば、テキスト＋画像）を一時的に格納する記憶領域や、グラフィック用記憶領域（グラフィックメモリ等）を含み、表示のためのグラフィック処理を行う。

キャプチャ部１７は、キャプチャ制御部２０からの指示に基づき、表示処理部１６により表示部１２に表示される画面画像を表示処理部１６から取得（キャプチャ）し、キャプチャ画像格納部１８に格納する機能部である。

転送用画面情報生成転送部１９は、キャプチャ部１７により取得されたキャプチャ画像を転送用画面情報として表示装置２に転送する機能部である。なお、キャプチャ画像に対して圧縮処理を施すことにより圧縮画像を生成し、これを転送用画面情報として転送してもよい。
キャプチャ制御部２０は、キャプチャ部１７に対してキャプチャ指示を行う機能部であり、一定時間間隔キャプチャ指示部２０１、画面更新時間推定キャプチャ指示部２０２、及びトラフィック監視部２０３を備える。

一定時間間隔キャプチャ指示部２０１は、予め定めた一定時間間隔でキャプチャ部１７に対してキャプチャを行うよう指示する機能を備える。

画面更新時間推定キャプチャ指示部２０２は、操作部１３からの操作に基づき操作に対応した処理を行う表示情報生成部１４から、当該操作に対応する操作情報を受信し、受信した時点から、その操作情報に対応する画面画像が表示されるまでの時間である画面更新時間を決定（推定）し、操作情報を受信した時点（≒操作がなされた時刻）から、推定した画面更新時間が経過した時点で、キャプチャ部１７に対してキャプチャを行うよう指示する機能を備える。

本実施の形態において、キャプチャ制御情報格納部２１に格納されるテーブルの例を図３に示す。図３に示すように、キャプチャ制御情報格納部２１には、操作情報毎に、それに対応する画面更新時間が記録されている。これらの情報は、設定により予め登録しておく情報である。"操作情報"は、例えば、"アプリAの起動操作"、"アプリ終了操作"、"Webダウンロード操作"、等である。例えば、操作情報が"アプリAの起動操作"である場合における画面更新時間は、操作を行ってからアプリAの最初の画面が表示されるまでの時間である。

画面更新時間推定キャプチャ指示部２０２は、表示情報生成部１４から受信した操作情報を用いてキャプチャ制御情報格納部２１を検索することにより、当該操作情報に対応する画面更新時間を取得し、当該画面更新時間の経過を検知した時点で、キャプチャ部１７へのキャプチャ指示を行う。

上記のように予め設定した画面更新時間のみを用いる他、表示装置１の処理負荷を加味して画面更新時間を推定してもよい。この場合、例えば、画面更新時間推定キャプチャ指示部２０２は、キャプチャ制御情報格納部２１から画面更新時間を取得するとともに、表示装置１を構成しているコンピュータのOSからCPU使用率を取得し、このCPU使用率に応じて、画面更新時間を増加又は減少させ、これを画面更新時間として用いるようにしてもよい。例えば、CPU使用率が、予め定めたXパーセント以上である場合に、キャプチャ制御情報格納部２１から取得した画面更新時間にある係数α（αは１以上）を乗じた時間を画面更新時間として用い、CPU使用率が、予め定めたＹパーセント以下である場合に、キャプチャ制御情報格納部２１から取得した画面更新時間にある係数α（αは１以下）を乗じた時間を画面更新時間として用いるよう構成することができる。

なお、キャプチャ制御情報格納部２１に予め設定しておく操作情報は、画面表示（画面更新）にある程度の時間を要する操作に関するもののみとしてもよい。この場合、例えば、画面更新時間推定キャプチャ指示部２０２は、表示情報生成部１４から受信した操作情報が、キャプチャ制御情報格納部２１にないことを検知した場合に、すぐにキャプチャ部１７に対してキャプチャを指示する。もしくは、予め定めた時間（キャプチャ制御情報格納部２１に設定されているいずれよりも短い時間）経過後にキャプチャを指示する。

また、画面更新時間推定キャプチャ指示部２０２は、操作情報として、ネットワーク上のサーバからコンテンツ（Webページ、画像ファイル、音楽等）をダウンロードすることを示す操作情報を、表示情報生成部１４から受信した場合、ダウンロード開始を示す画面（例：ダウンロード中であることを示す画面）が表示されたと推定される時点に１回目のキャプチャを行うようキャプチャ部１７に指示し、ダウンロードが完了し、ダウンロード完了後の画面が表示されたと推定される時点に２回目のキャプチャを行うようキャプチャ部１７に指示する機能も備える。

この機能においては、例えば、画面更新時間推定キャプチャ指示部２０２は、表示情報生成部１４から、ダウンロードを開始したことを示す制御情報を取得した時点を、ダウンロード開始を示す画面が表示されたと推定される時点とし、表示情報生成部１４から、ダウンロードが終了したことを示す制御情報を取得した時点を、ダウンロード完了後の画面が表示されたと推定される時点とすることができる。

上記のように表示情報生成部１４から取得する制御情報を利用することに代えて、以下のように処理を行ってもよい。以下の処理は、上記のような制御情報を取得しない、もしくは取得できない場合に特に有効である。

この場合、画面更新時間推定キャプチャ指示部２０２が、ネットワーク上のサーバからコンテンツをダウンロードすることに対応する操作情報を表示情報生成部１４から受信した場合、トラフィック監視部２０３にトラフィック監視を指示する。指示を受けたトラフィック監視部２０３は、通信部１１におけるデータの単位時間あたりの通信量を計測し、画面更新時間推定キャプチャ指示部２０２に通知する。画面更新時間推定キャプチャ指示部２０２は、通信量が予め定めた値以上になったときに１回目のキャプチャを行うようキャプチャ部１７に指示を行い、その後、通信量が予め定めた値以下になったときに２回目のキャプチャを行うようキャプチャ部１７に指示を行う。

表示装置１におけるキャプチャ部１７、キャプチャ画像格納部１８、転送用画面情報生成転送部１９、キャプチャ制御部２０、及びキャプチャ制御情報格納部２１は、ＣＰＵ、メモリ、通信インターフェース等を備えたコンピュータ（上記以外の機能部である表示情報生成部１４や表示処理部１６等に相当する機能部を含む）に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。
（システムの動作）
次に、本実施の形態におけるシステムの動作を説明する。まず、図４のシーケンスチャートを参照して、システムの動作概要を説明する。

表示装置２が、画面共有要求を表示装置１に送信し（ステップ１）、表示装置１が、画面共有許可を表示装置２に送信することにより、画面共有が開始される。これ以降、表示装置１に表示される画面画像がキャプチャされ（ステップ３）、転送用画面情報が表示装置２に転送され（ステップ４）、表示装置２で画面画像の表示が行われる（ステップ５）ことにより、画面共有が実現される。

図４では、表示装置２から画面共有要求を送信し、表示装置１が画面共有許可を表示装置２に送る例を示したが、表示装置１から画面共有要求を送信し、表示装置２が画面共有許可を表示装置２に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。

（動作の詳細）
以下、画面共有状態になった後、表示装置１（特にキャプチャ制御部２０、キャプチャ部１７）が実行する処理をフローチャートを参照して詳細に説明する。

まず、図５を参照して、一定時間間隔キャプチャ指示部２０１の制御による一定時間間隔でのキャプチャ処理について説明する。図５で説明する処理は、基本的に、ユーザによる操作にかかわらず、画面共有を行う場合に常に行われている処理である。

キャプチャ制御部２０の一定時間間隔キャプチャ指示部２０１は、タイマをカウントアップすることにより、前回の一定時間間隔キャプチャ指示部２０１によるキャプチャ指示から一定時間が経過したかどうかをチェックする（ステップ１１）。一定時間が経過した時点で、一定時間間隔キャプチャ指示部２０１はキャプチャ部１７に対して画面キャプチャを指示する（ステップ１２）。指示を受けたキャプチャ部１７は、表示部１２に表示されている画面画像を表示処理部１６からキャプチャし、キャプチャ画像としてキャプチャ画像格納部１８に格納する（ステップ１３）。

次に、転送用画面情報生成転送部１９は、ステップ１３で取得したキャプチャ画像を転送用画面情報として表示装置２に転送する（ステップ１４）。転送が終了すると、一定時間間隔キャプチャ指示部におけるタイマが初期化され（ステップ１５）、ステップ１１からの処理が繰り返し行われる。表示装置２では、受信した転送用画面情報により、画面表示が行われる。

一方、上記のような一定時間間隔での処理が行われる中で、ユーザにより、操作部１３から操作がなされたものとする。この場合における処理（主に画面更新時間推定キャプチャ指示部２０２による処理）を、図６にフローチャートを参照して説明する。

操作に起因して、キャプチャ制御部２０の面更新時間推定キャプチャ指示部２０２は、表示情報生成部１４から当該操作に対応する操作情報を受信する（ステップ２１）。

操作情報を受信した画面更新時間推定キャプチャ指示部２０２は、操作情報が、コンテンツのダウンロードに係る操作情報か否かを判定し（ステップ２２）、コンテンツのダウンロードに係る操作情報でないならばステップ２３に進み、コンテンツのダウンロードに係る操作情報であればステップ２４に進む。

コンテンツのダウンロードに係る操作情報でない場合（ステップ２２のＮｏ）、画面更新時間推定キャプチャ指示部２０２は、キャプチャ制御情報格納部２１を参照することにより、受信した操作情報に対応する画面更新時間を取得（推定）し（ステップ２３）、操作情報を受信した時点から画面更新時間が経過した時点で、キャプチャ部１７に対してキャプチャを行うよう指示する（ステップ２５、２６）。その後は、前述した一定時間間隔での処理と同様に、画面キャプチャを行い（ステップ２７）、キャプチャ画像を転送する（ステップ２８）。

前述したように、CPU使用率を取得し、このCPU使用率に応じて、画面更新時間を調整し、これを画面更新時間として用いるようにしてもよい。また、キャプチャ制御情報格納部２１に設定されていない操作情報を受信した場合は、予め定めた時間を画面更新時間として用いることとしてよい。なお、ステップ２８の後、一定時間間隔キャプチャ指示部２０１に対して一定時間の計測を初期化するよう指示してもよい。

受信した操作情報が、コンテンツのダウンロードに係る操作情報である場合（ステップ２２のＹｅｓ）、画面更新時間推定キャプチャ指示部２０２は、ダウンロード開始を示す画面（例：ダウンロード中であることを示す画面）が表示されたと推定される時点に１回目のキャプチャを行うようキャプチャ部１７に指示し（ステップ２４）、それにより、1回目のキャプチャ及び転送が行われる（ステップ３１、３２）。そして、ダウンロードが終了し、ダウンロード完了後の画面が表示されたと推定される時点に２回目のキャプチャを行うようキャプチャ部１７に指示し（ステップ３３）、それにより、２回目のキャプチャ及び転送が行われる（ステップ３４、３５）。

前述したように、画面更新時間推定キャプチャ指示部２０２は、表示情報生成部１４から、操作情報に対応するダウンロードを開始したことを示す制御情報を取得した時点を、ダウンロード開始を示す画面が表示されたと推定される時点とし、表示情報生成部１４から、操作情報に対応するダウンロードが終了したことを示す制御情報を取得した時点を、ダウンロード完了後の画面が表示されたと推定される時点とすることができる。ただし、この場合、表示情報生成部１４が上記の制御情報を画面更新時間推定キャプチャ指示部２０２に通知する機能を備えている。

もしくは、画面更新時間推定キャプチャ指示部２０２が、トラフィック監視部２０３にトラフィック監視を指示し、トラフィック監視部２０３から、通信部１１におけるデータの単位時間あたりの通信量を取得し、通信量が予め定めた値以上になったときに１回目のキャプチャを行うようキャプチャ部１７に指示を行い、その後、通信量が予め定めた値以下になったときに２回目のキャプチャを行うようキャプチャ部１７に指示を行うようにしてもよい。

なお、操作情報がコンテンツのダウンロードに係る操作情報である場合において、１回目のキャプチャから２回目のキャプチャまでの期間における表示画面を表示装置２に転送する必要性は低いことから、１回目のキャプチャを行った時点で、画面更新時間推定キャプチャ指示部２０２が、一定時間間隔キャプチャ指示部２０１に対して一定時間の計測を停止するよう指示し、２回目のキャプチャを行った時点で、一定時間間隔キャプチャ指示部２０１に対して一定時間の計測を再開（もしくは初期化）するよう指示してもよい。これにより、ダウンロード操作による１回目のキャプチャから２回目のキャプチャまでの期間において、一定時間間隔でのキャプチャは行われないことになる。

＜変形例＞
図６を参照して説明した処理において、実際の画面更新時間は、種々の要因により変化し得るため、キャプチャ指示を行って取得したキャプチャ画像が、未だ操作に対応する画面更新がなされていない状態の画像である可能性がある。そこで、以下のように、現時点のキャプチャ画像（以下、転送候補キャプチャ画像と呼ぶ）と、直前に転送したキャプチャ画像（以下、前回転送キャプチャ画像と呼ぶ）とを比較し、変化があった場合に転送候補キャプチャ画像の転送を行うようにしてもよい。

この場合における、キャプチャ指示を行うところからの処理内容を図７のフローチャートを参照して説明する。以下の処理は、図６におけるステップ２６〜２８の処理、ステップ２４〜３２の処理、ステップ３３〜３５の処理のいずれか又は全てに適用することを想定している。また、以下の処理では、キャプチャ画像の転送（図５の場合を含む）を行った場合に、転送用画面情報生成転送部１９は、転送したキャプチャ画像を前回転送キャプチャ画像としてキャプチャ画像格納部１８に保持する。

画面更新時間推定キャプチャ指示部２０２が、キャプチャ部１７に対してキャプチャを行うよう指示すると（ステップ１０１）、キャプチャ部１７は、画面のキャプチャを行い、キャプチャ画像を転送候補キャプチャ画像としてキャプチャ画像格納部１８に格納する（ステップ１０２）。

転送用画面情報生成転送部１９は、キャプチャ画像格納部１８から、前回転送キャプチャ画像と転送候補キャプチャ画像とを取得し、これらを比較し、これらの間に差分があるか否かを判定する（ステップ１０３）。なお、キャプチャ画像間の比較については、画素毎に全部の画素を比較することとしてもよいし、処理量削減のために、一部の画素（例えば、飛び飛びの領域等）を比較することとしてもよい。

ステップ１０３での判定結果が「差分なし」である場合、画面更新時間推定キャプチャ指示部２０２に当該判定結果が通知され、画面更新時間推定キャプチャ指示部２０２は、所定の時間経過後（ステップ１０４）に、ステップ１０１に戻り、キャプチャ指示からの処理を繰り返す。ここでの「所定の時間」は、比較的短い時間であり、例えば、予め定めた固定値（例えば１０ｍｓ）としてもよいし、キャプチャ制御情報格納部２１（図３）から画面更新時間を取得している場合には、当該画面更新時間の数分の一（例えば半分）の値としてもよい。

ステップ１０３での判定結果が「差分あり」の場合、転送用画面情報生成転送部１９は、転送候補キャプチャ画像の転送を行い、転送したキャプチャ画像を、新たな前回転送キャプチャ画像としてキャプチャ画像格納部１８に保持する（ステップ１０５）。

以上の処理により、比較の結果、キャプチャ画像に変化がなければ所定時間（短時間）経過後に再度キャプチャを行い、キャプチャ画像に変化が現れるまでキャプチャが繰り返される。これにより、対象とするキャプチャ画像が、前回転送時のキャプチャ画像から変化した場合にのみ転送を行うことが可能となるので、より確実に無駄のない効率的な転送を行うことが可能となる。

（実施の形態の効果について）
上記のように、本実施の形態によれば、操作（キー押下等）の後、アプリケーション等の画面更新にかかる時間を見積もり、当該時間経過後にキャプチャ処理を行うこととしたので、操作内容に対応した適切な画面をキャプチャし、それを迅速に転送でき、画面更新が完了していない状態の画面をキャプチャしてしまうといったことを回避できる。

また、Ｗｅｂページや着メロ（登録商標）等のダウンロードを行なう場合、ダウンロードの開始時に1回目のキャプチャを行い、ダウンロードの完了後に2回目のキャプチャを行なうこととしたので、表示装置２のユーザは、表示装置１においてダウンロードを開始し、それが完了したことを確実に把握できるだけでなく、表示装置１におけるダウンロード処理への影響を極力抑えることが可能になる。

また、トラフィック監視部２０３を用いて通信トラフィックを監視し、単位時間あたりの通信量が一定値以上になった時に1回目のキャプチャを行い、一定値以下になった時に2回目のキャプチャを行うことが可能なので、ダウンロードの開始/終了の契機を取得できない（しない）場合でも、適確にダウンロードの開始/終了に対応したキャプチャを行うことができる。また、この手法により、各アプリケーション（表示情報生成部）の修正は不要となり、実装が容易になる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１、２ 表示装置
３ 通信ネットワーク
１１ 通信部
１２ 表示部
１３ 操作部
１４ 表示情報生成部
１６ 表示処理部
１７ キャプチャ部
１８ キャプチャ画像格納部
１９ 転送用画面情報生成転送部
２０ キャプチャ制御部
２１ キャプチャ制御情報格納部
２０１ 一定時間間隔キャプチャ指示部
２０２ 画面更新時間推定キャプチャ指示部
２０３ トラフィック監視部

Claims (8)

1. 表示部、操作部、及び通信部を備え、前記表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
   前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、
   前記操作部に対してユーザにより操作がなされた場合に、当該操作がなされた時点から、当該操作による画面画像が前記表示部に表示されるまでの時間である画面画像表示時間を推定し、当該操作がなされた時点から、前記画面画像表示時間が経過した時点で、前記キャプチャ手段に対して画面画像のキャプチャを指示する画面画像表示時間推定指示手段と、
   前記指示に基づき前記キャプチャ手段によりキャプチャされた前記キャプチャ画像を前記通信部を介して前記他の装置に転送する転送手段と、
   を備えることを特徴とする表示装置。
2. 前記表示装置は、操作の内容を示す操作情報と、所定時間とを対応付けて格納するキャプチャ制御情報格納手段を備え、
   前記画面画像表示時間推定指示手段は、前記ユーザによる操作の内容に対応する所定時間を前記キャプチャ制御情報格納手段から取得し、当該所定時間に基づき前記画面画像表示時間を推定することを特徴とする請求項１に記載の表示装置。
3. 前記画面画像表示時間推定指示手段は、前記キャプチャ制御情報格納手段から取得した前記所定時間と、前記表示装置の処理負荷情報とに基づき前記画面画像表示時間を推定することを特徴とする請求項２に記載の表示装置。
4. 前記ユーザによる操作が、ネットワーク上のサーバからコンテンツをダウンロードする指示である場合において、前記画面画像表示時間推定指示手段は、ダウンロード開始を示す画面が前記表示部に表示されたと推定される第１の時点で画面画像のキャプチャを行うよう前記キャプチャ手段に指示し、更に、ダウンロードが完了し、ダウンロード完了後の画面が表示されたと推定される第２の時点で画面画像のキャプチャを行うよう前記キャプチャ手段に指示する
   ことを特徴とする請求項１ないし３のうちいずれか１項に記載の表示装置。
5. 前記表示装置は、前記通信部において送受信されるデータの単位時間当たりの通信量を測定するトラヒック測定手段を備え、
   前記画面画像表示時間推定指示手段は、前記トラヒック測定手段により測定される通信量が予め定めた値以上になった時点を前記第１の時点として決定し、その後、前記トラヒック測定手段により測定される通信量が予め定めた値以下になった時点を前記第２の時点として決定する
   ことを特徴とする請求項４に記載の表示装置。
6. 前記転送手段は、転送の候補となる最新のキャプチャ画像と、直前に転送したキャプチャ画像とを比較し、これらのキャプチャ画像間に差分がある場合に、当該最新のキャプチャ画像を転送し、前記キャプチャ画像間に差分がない場合、前記最新のキャプチャ画像を転送せず、所定の時間経過後に、前記キャプチャ手段が、転送の候補となる最新のキャプチャ画像として再度キャプチャ画像を取得する
   ことを特徴とする請求項１ないし５のうちいずれか１項に記載の表示装置。
7. 表示部、操作部、及び通信部を備え、前記表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
   前記操作部に対してユーザにより操作がなされた場合に、当該操作がなされた時点から、当該操作による画面画像が前記表示部に表示されるまでの時間である画面画像表示時間を推定し、当該操作がなされた時点から、前記画面画像表示時間が経過した時点で、前記表示装置が備えるキャプチャ手段に対して画面画像のキャプチャを指示する画面画像表示時間推定指示ステップと、
   前記指示に基づき前記キャプチャ手段によりキャプチャされたキャプチャ画像を前記通信部を介して前記他の装置に転送する転送ステップと、
   を備えることを特徴とする画面画像転送方法。
8. 表示部、操作部、及び通信部を備えるコンピュータを、請求項１ないし６のうちいずれか１項に記載の表示装置における各手段として機能させるためのプログラム。

Images