JP6386809B2 - 情報処理装置およびその制御方法、システム、並びにプログラム - Google Patents

Description

本発明は、情報処理装置に表示される画像を表示制御装置に転送するシステムに関する。

近年、スマートフォンやタブレット端末等の情報処理装置に表示される画像を無線ＬＡＮなどの通信ネットワークを介してプロジェクタ等の表示制御装置に転送し、情報処理装置と同じ画面を表示するシステムが普及しつつある。このようなシステムでは、情報処理装置側でユーザがスクロールや拡大・縮小等の操作を行ったときに、表示制御装置でも同様にスクロールや拡大・は縮小等の操作中の画面が表示され、表示画面がどのように遷移していくかをユーザが把握できることが望ましい。しかしながら、データ転送量が大きくなるため、情報処理装置側での操作中に表示される画面をその都度転送して表示制御装置に表示することは難しい。

このような課題に対し、特許文献１では、ファイルのページ全体をスクロール幅単位に分割し、スクロール時は、単位毎にキャッシュメモリに格納したデータを用いて表示制御装置で表示の更新を行う技術が提案されている。

特開２００９−１０９４８号公報

しかしながら、特許文献１に記載の技術では、キャッシュデータをスクロール幅単位で処理しているため、縦方向や横方向の細かいスクロールに対応することは困難である。また、画像の拡大・縮小には対応できていない。

本発明は、上記課題に鑑みてなされ、その目的は、情報処理装置側で行われた操作に応じて表示制御装置側でより短い時間で表示の更新を行うことができ、操作に応じて表示画面がどのように遷移していくかをユーザが把握できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の情報処理装置は、表示部への表示対象となる画像データを表示制御装置に送信する情報処理装置であって、前記表示対象となる画像データをキャプチャするキャプチャ手段と、前記キャプチャした画像データを前記表示制御装置に送信するよう制御する送信制御手段と、前記情報処理装置に対する操作を検出する検出手段と、を有し、前記検出手段により、前記表示対象となる画像データの表示態様を変更するための所定の操作を検出した場合、前記送信制御手段は前記キャプチャした画像データを新たに送信する前に、前記所定の操作による表示態様の変化量の情報を前記表示制御装置に送信するよう制御し、前記変化量の情報は、前記表示制御装置が前記情報処理装置から前記変化量の情報を受信した場合、前記表示制御装置が既に受信している前記キャプチャした画像データを処理するために、使用される。

本発明によれば、情報処理装置側で行われた操作に応じて表示制御装置側でより短い時間で表示の更新を行うことができ、操作に応じて表示画面がどのように遷移していくかをユーザが把握できるようになる。

本実施形態のシステム構成図。 本実施形態の装置構成を示すブロック図。 本実施形態のスクロール動作を説明する図。 本実施形態の拡大・縮小動作を説明する図。 本実施形態の情報処理装置側でのスクロール処理を示すフローチャート。 本実施形態の表示制御装置側での拡大・縮小処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］以下、本発明の情報処理装置としてスマートフォン、表示制御装置としてプロジェクタを適用し、これらが無線ＬＡＮによる通信ネットワークを形成しているシステムについて説明する。なお、本実施形態では、情報処理装置として携帯電話の一種であるスマートフォンを想定しているが、他のカメラ付き携帯電話やタブレット端末などの携帯型電子機器にも適用可能である。

＜システム構成＞
本実施形態のシステム構成を示す図１において、スマートフォン１００は、そのディスプレイに表示中の映像をキャプチャして通信ネットワークに接続されたプロジェクタ２００に映像データとして送信することができる。一方、プロジェクタ２００は、スマートフォン１００から映像データを受信して、スクリーンなどに投影することができる。

＜装置構成＞図２を参照して、本発明に係る実施形態のスマートフォン１００およびプロジェクタ２００の構成及び機能の概略について説明する。

図２（ａ）に示すように、スマートフォン１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＶＲＡＭ１０３、ＲＯＭ１０４、表示部１０５、表示制御部１０６、操作部１０７、通信部１０８を有する。なお、スマートフォン１００はさらに、画像を撮像する撮像部や、撮像された画像を記録する記録媒体を有していても良い。

ＣＰＵ１０１は、スマートフォン１００の各動作ブロックを制御する。ＲＡＭ１０２は、データの格納を行うメインメモリである。ＲＡＭ１０２は、主に、ＣＰＵ１０１が実行するプログラムを格納または展開する領域、プログラム実行中のワーク領域など、様々なデータの格納領域として使用される。

ＶＲＡＭ１０３は、後述する表示部１０５に表示する画像を格納するための領域として使用される。なお，ＲＡＭ１０２のデータ転送速度が十分高速であれば、ＶＲＡＭ１０３は、ＲＡＭ１０２と同じであっても良い。

ＲＯＭ１０４は、ブートプログラム、アプリケーションプログラム（本実施形態で説明する画面転送アプリケーションやＷｅｂブラウザアプリケーションなど）、ＯＳなどの各種プログラムとデータを格納するために使用される。

表示部１０５は、後述する表示制御部１０６からの制御信号に基づき画像の表示を行う。表示部１０５は例えば、液晶パネル、或いは有機ＥＬパネルである。

表示制御部１０６は、ＶＲＡＭ１０３に格納された画像データを読み出し、表示部１０５に表示するよう制御を行う。

操作部１０７は、例えばスイッチやボタン、表示部１０５上に設けられたタッチパネルなどからなり、ユーザの操作指示を受け付け、ＣＰＵ１０１に制御信号を送出する。ＣＰＵ１０１は、操作部１０７から入力された制御信号を受信して、スマートフォン１００の各動作ブロックを制御する。

スマートフォン１００では、タッチパネルはＬＣＤパネルと一体的に構成されており、表示部１０５に対する接触を検知可能である。そして、タッチパネルにおける入力座標と、表示部１０５上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１０５上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。ＣＰＵ１０１は、タッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと（以下、タッチダウン）。タッチパネルを指やペンで触れている状態であること（以下、タッチオン）。タッチパネルを指やペンで触れたまま移動していること（以下、ムーブ）。タッチパネルへ触れていた指やペンを離したこと（以下、タッチアップ）。タッチパネルに何も触れていない状態（以下、タッチオフ）。これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バス１０９を通じてＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行われたと判定するものとする。

通信部１０８は、プロジェクタ２００などの外部装置との間で制御信号や映像信号などを送受信する機能を有し、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、通信方式を特に限定するものではない。ここで、外部装置は、スマートフォン１００と通信が可能な機器であれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであっても良い。通信部１０８が無線ＬＡＮによる通信を行う場合、アンテナ、ＲＦ部、ベースバンド部などを備え、サポートする無線ＬＡＮ規格に適合したパケットを送受信することが可能である。

内部バス１０９は、上述した各動作ブロック間をデータ通信可能に接続し、各種データや制御情報などスマートフォン１００の各動作ブロックに送出するための伝送路として機能する。

図２（ｂ）に示すように、プロジェクタ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＶＲＡＭ２０４、デコーダ２０５、投影部２０６、投影制御部２０７、操作部２０８、通信部２０９を有する。なお、プロジェクタ２００はさらに、後述する投影部２０６に投影された映像を撮像する撮像部や、撮像された映像を記録する記録媒体を有していても良い。

ＣＰＵ２０１は、プロジェクタ２００の各動作ブロックを制御する。ＲＡＭ２０２は、データの格納を行うメインメモリである。ＲＡＭ２０２は、主に、ＣＰＵ２０１が実行するプログラムを格納または展開する領域、プログラム実行中のワーク領域など、様々なデータの格納領域として使用される。

ＲＯＭ２０３は、プロジェクタ２００が動作するための制御プログラムやパラメータなどのデータを予め格納しておくために使用される。

ＶＲＡＭ２０４は、後述する投影部２０６で投影する画像データを格納するための領域として使用される。

デコーダ２０５は、スマートフォン１００から受信した画像データが、ＪＰＥＧなどの符号化方式によってエンコードされたファイルであった場合に、これをデコードする。

投影部２０６は、後述する投影制御部２０７からの制御信号に基づき映像の表示を行う。投影部２０６は具体的には、不図示の液晶パネル、レンズ、光源で構成される。

投影制御部２０７は、ＶＲＡＭ２０４に格納された画像データを読み出し、投影部２０６に投影させるよう制御を行う。

操作部２０８は、筐体に設けられたスイッチやタッチパネル、不図示のリモコンからのユーザの操作指示を受け付けるリモコン受信部などからなり、ユーザの操作指示を受け付け、ＣＰＵ２０１に制御信号を送出する。

通信部２０９は、スマートフォン１００などの外部装置との間で制御信号や映像信号などを送受信する機能を有し、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、通信方式を特に限定するものではない。ここで、外部装置は、プロジェクタ２００と通信が可能な機器であれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであっても良い。通信部２０９が無線ＬＡＮによる通信を行う場合、アンテナ、ＲＦ部、ベースバンド部などを備え、サポートする無線ＬＡＮ規格に適合したパケットを送受信することが可能である。

内部バス２１０は、上述した各動作ブロック間をデータ通信可能に接続し、各種データや制御情報などプロジェクタ２００の各動作ブロックに送出するための伝送路として機能する。

＜システムの動作説明＞次に、図３から図６を参照して、本実施形態のシステムの動作説明を行う。

なお、本実施形態では、スマートフォン１００で表示される画像の表示態様を変更するための操作として、図３に示すような画面をスクロールする操作を行う場合と、図４に示すような画面表示を拡大や縮小する操作を行う場合について説明する。

（基本動作の説明）まず、図５（ａ）を参照して、スマートフォン１００の基本動作について説明する。なお、図５の動作は、ＣＰＵ１０１が、ＲＯＭ１０４に格納されたプログラムを、ＲＡＭ１０２のワーク領域に展開し、各動作ブロックを制御することにより実現される。また、図５の動作は、ユーザが操作部１０７によりスマートフォン１００の画面転送アプリケーションが起動されると開始される。

画面転送アプリケーションが起動されると、ステップＳ５０１では、ＣＰＵ１０１は、ユーザからの操作指示に応じて、通信部１０８を制御し、プロジェクタ２００と接続されているか判定する。判定の結果、プロジェクタ２００と接続されていなかった場合は、ステップＳ５０１でプロジェクタ２００と接続されるのを待ち、接続されていた場合はステップＳ５０２に進む。プロジェクタ２００では、ＣＰＵ２０１が通信部２０９を制御することで、接続要求を待ち受けており、接続要求を受け付けると、これをスマートフォン１００に通知する。スマートフォン１００の通信部１０８は上記通知により接続が確立された場合には、ＣＰＵ１０１にイベント通知を行う。接続が確立されない場合にはＳ５０１の処理を繰り返す。なお、接続先のプロジェクタ２００はユーザがプロジェクタ２００のＩＰアドレスを入力することで決定する。

ステップＳ５０２では、ＣＰＵ１０１は、表示制御部１０６を制御し、表示部１０５に表示中の画像データをＶＲＡＭ１０３からＲＡＭ１０２に転送する。なお、本実施形態においてキャプチャとは、ＶＲＡＭ１０３に描画されたデータをＲＡＭ１０２に格納する処理をいう。

ステップＳ５０３では、ＣＰＵ１０１は、キャプチャによりＲＡＭ１０２に格納された画像データを画面転送アプリケーションのプログラムによってエンコードする処理を行う。ここでエンコード方式は、例えば画像データの圧縮に一般的に用いられるＪＰＥＧ符号化である。なお、圧縮方法はこれに限定されるものではなく、後述するプロジェクタ２００でデコードが可能なものであればどのような態様であっても良い。

ステップＳ５０４では、ＣＰＵ１０１は、通信部１０８を介して、エンコードした画像ファイルをプロジェクタ２００へ送信する。

ステップＳ５０５では、ＣＰＵ１０１は、操作部１０７を介して画面に対するタッチダウンが検出されたか判定し、タッチダウンが検出されない場合はステップＳ５０６に進み、タッチダウンが検出された場合はステップＳ５０７に進む。

ステップＳ５０６では、ＣＰＵ１０１は、ＶＲＡＭ１０３に格納されている画像データが、ステップＳ５０２でキャプチャされた画像データと同じであるか判定する。判定の結果、画像データに変化があった場合はステップＳ５０２に戻り、画面のキャプチャ、エンコード、送信を再度実行し、変化がなかった場合はステップＳ５０５に戻り、再度ユーザによるタッチダウンを監視する。

ステップＳ５０７では、ＣＰＵ１０１は、操作部１０７を介してユーザがタッチした位置座標を取得する。

ステップＳ５０８では、ＣＰＵ１０１は、タッチ位置が１点であるか判定し、タッチ位置が１点の場合はステップＳ５０９に進み、１点でない場合はステップＳ５１１Ａへ進む。

ステップＳ５１１Ａでは、ＣＰＵ１０１は、後述する拡大・縮小処理を行う。

ステップＳ５０９では、ＣＰＵ１０１は、操作部１０７を介して画面に対するタッチオンを監視し、所定時間以内（例えば０．５秒程度）にタッチアップが検出されたか判定する。判定の結果、所定時間以内にタッチアップが検出された場合はステップＳ５１０に進み、タッチアップが検出されない場合はステップＳ５１２に進む。

ステップＳ５１０では、ＣＰＵ１０１は、フリック操作が行われたものと判定し、画面からタッチアップが検出された時点での位置座標を取得する。

ステップＳ５１１Ｂでは、ＣＰＵ１０１は、画面を更新し、ステップＳ５０２へ戻る。なお、ステップＳ５１１Ｂにおける画面の更新処理とは、フリック操作に対応する画面に更新する処理である。フリック操作に基づく画面の更新処理では、ステップＳ５０７とＳ５１０で取得した位置座標から、フリック操作が行われた方向を判定し、例えば画像送りやページ送りなどの処理を行い、画面の更新を行う。

ステップＳ５１２では、ＣＰＵ１０１は、後述するスクロール処理を行う。

次に、図６（ａ）を参照して、プロジェクタ２００の基本動作について説明する。なお、図６の動作は、ＣＰＵ２０１が、ＲＯＭ２０３に格納されたプログラムを、ＲＡＭ２０２のワーク領域に展開し、各動作ブロックを制御することにより実現される。また、図６の動作は、ユーザが操作部２０８によりプロジェクタ２００の電源をオンすると開始される。

ステップＳ６０１では、ＣＰＵ２０１は、スマートフォン１００からの接続を待ち、接続があった場合にステップＳ６０２に進む。

ステップＳ６０２では、ＣＰＵ２０１は、通信部２０９を制御し、スマートフォン１００からデータを受信するのを待ち、通信部２０９がスマートフォン１００からプロジェクタ２００に送信された画像データを受信すると、ステップＳ６０３に進む。

ステップＳ６０３では、ＣＰＵ２０１は、スマートフォン１００から受信した画像データをＲＡＭ２０２に格納する。

ステップＳ６０４では、ＣＰＵ２０１は、スマートフォン１００から受信したデータが画像データであるか判定し、画像データの場合はステップＳ６０５に進み、画像データ以外の場合はステップＳ６０７に進む。

ステップＳ６０５では、ＣＰＵ２０１は、デコーダ２０５を制御し、ＲＡＭ２０２に格納されているエンコードされた画像データに対してデコード処理を行い、ＶＲＡＭ２０４に格納する。なお、デコード処理後に、スケーリング処理を実施して画像サイズを所望の表示サイズに変更しても良い。

ステップＳ６０６では、ＣＰＵ２０１は、投影制御部２０７を制御し、ＶＲＡＭ２０４に格納された画像データを読み出し、投影部２０６に投影表示する。

ステップＳ６０７では、ＣＰＵ２０１は、スマートフォン１００から受信したデータがスクロール移動量であるか判定し、スクロール移動量の場合は、後述するスクロール処理を行い（Ｓ６０８）、スクロール移動量ではなく、拡大率もしくは縮小率であった場合は、後述する拡大・縮小処理を行う（Ｓ６０９）。

ＣＰＵ２０１は、ユーザから画面転送プログラムの終了指示やプロジェクタ２００の電源のオフ指示があるまで、スマートフォン１００からデータを受信する度に上述の受信、デコード、投影制御処理、スクロール処理、拡大・縮小処理を繰り返し行う。

（スクロール動作の説明）次に、図３、図５（ｂ）、図６（ｂ）を参照して、スクロール動作について説明する。

以下では、図３（ａ）に示すような全体画像３００をスクロールしながらスマートフォン１００で閲覧している状態を一例として説明する。スクロールが開始されたときにスマートフォン１００の画面に表示されている領域は、図３（ａ）の点線で示された矩形３０１の領域である。スクロールが終了したときにスマートフォン１００の画面に表示されている領域は、図３（ａ）の破線で示された矩形３０２の領域である。

図３（ｂ）はスクロール開始時、図３（ｃ）はスクロール中、図３（ｄ）はスクロール終了時のスマートフォン１００およびプロジェクタ２００の画面を示している。

まず、図５（ｂ）を参照して、図５（ａ）のステップＳ５１２におけるスマートフォン１００でのスクロール処理について説明する。

ステップＳ５１３では、スクロール操作が開始されると、ＣＰＵ１０１は、ステップＳ５０７で取得した位置座標をタッチオンの起点位置としてＲＡＭ１０２に格納する。ここでタッチオンの起点位置とは、図３（ｂ）において、スマートフォン１００を操作するユーザが画面にタッチしている位置座標を表す。

ステップＳ５１４では、ＣＰＵ１０１は、操作部１０７を介してユーザがタッチした位置座標を取得する。

ステップＳ５１５では、ＣＰＵ１０１は、ステップＳ５１３とＳ５１４で取得した位置座標から、スクロール移動量を算出し、ステップＳ５１６では、通信部１０８を介してプロジェクタ２００へ送信する。

ステップＳ５１７では、ＣＰＵ１０１は、操作部１０７を介してユーザが画面に対してタッチオンを継続しているか判定し、タッチオンが継続している場合はステップＳ５１８に進み、タッチアップが検出された場合はステップＳ５１９へ進む。

ステップＳ５１８では、ＣＰＵ１０１は、スクロール移動量が所定値以上であるか判定し、所定値以上の場合はステップＳ５１９へ進み、所定値未満の場合はステップＳ５１４に戻り、スクロール処理を継続する。なお、ステップＳ５１８においてスクロール移動量が所定値未満であれば、スクロール移動量の送信は行わずに、ステップＳ５０２に戻り、キャプチャされた画像データを再度送信するように構成しても良い。また、スクロール移動量が大きいために画像データの切り出し範囲がキャプチャした画像データの範囲を超えてしまう場合や投影画面に対して所定の割合未満となってしまう場合には、ステップＳ５０２に戻り、キャプチャされた画像データを再度送信するように構成しても良い。

このようにスクロール移動量が所定値以上であるかを判定することで、後述するプロジェクタ２００におけるスクロール処理において、投影する画像がなくなってしまったり、投影できる領域が極端に小さくなってしまう事態を回避できる。

ステップＳ５１９では、ＣＰＵ１０１は、ステップＳ５１３で取得した起点位置と、現在のスクロール移動量から差分領域を算出し、差分領域をキャプチャする。

ここで、図３（ｄ）を参照して、ステップＳ５１９における差分領域のキャプチャ処理について説明する。

図３（ｄ）に示すスクロール終了時に、スマートフォン１００では矩形３０９の領域が表示されている状態となる。一方、プロジェクタ２００では画像３１１が投影されている状態である。このような状態で、プロジェクタ２００の投影画像３１１の斜線部で示される領域を更新するためには、スマートフォン１００から破線で囲まれた矩形領域３１０の画像データをプロジェクタ２００に送信する必要がある。矩形領域３１０は、ステップＳ５１３で記憶した起点位置と、スクロール終了時点の座標から容易に算出可能である。

ステップＳ５１９では、ＣＰＵ１０１は、Ｓ５１３で取得した起点位置と、現在のスクロール移動量から矩形領域３１０を算出してキャプチャ処理を行い、ステップＳ５０３に戻り、エンコード処理を行う。このように差分領域のキャプチャ処理を行うことによって、スマートフォン１００で実行される、キャプチャ、エンコード、送信に係る処理負荷を軽減することが可能となる。また、プロジェクタ２００における受信、デコード、投影処理に係る処理負荷も軽減可能となる。これにより、スクロール終了後に、より少ない時間でプロジェクタ２００の投影画像をスマートフォン１００の表示画面と同期させることが可能となる。

上述したスクロール処理によって、図３（ｂ）から図３（ｄ）の間はスマートフォン１００からプロジェクタ２００に対してスクロール移動量のみが送信されることとなる。

次に、図６（ｂ）を参照して、図６（ａ）のステップＳ６０８におけるプロジェクタ２００でのスクロール処理について説明する。なお、図５（ａ）に示すようなスマートフォン１００の画面に表示されている画像からわかるように、スマートフォン１００は、ステップＳ５０５でタッチダウンが検出される前に、ステップＳ５０２からＳ５０４の処理が必ず１度は実行されている状態である。よって、プロジェクタ２００では、ステップＳ６０３からＳ６０６までの処理が必ず１回は実行されている状態でスクロール処理が開始されることとなる。すなわち、ステップＳ６０８におけるスクロール処理が実行される前に、ステップＳ６０５の処理が必ず１回は実行されている状態であるため、デコード済みの画像データがＶＲＡＭ２０４に格納されている状態でステップＳ６０８のスクロール処理が開始される。

ステップＳ６１０では、スクロール処理が開始されると、ＣＰＵ２０１は、ステップＳ６０５でデコードした画像データを、ＲＡＭ２０２に格納する。なお、本実施形態ではデコード済みの画像データをＲＡＭ２０２に格納すると説明したが、ＶＲＡＭ２０４に十分な記憶領域があれば、デコード済みの画像データをＶＲＡＭ２０４に保持しておく構成としても良い。

ステップＳ６１１では、ＣＰＵ２０１は、ＶＲＡＭ２０４の記憶領域を予め決められた背景色で塗りつぶす。ここでは背景色と説明したが、背景色以外にも、特定のパターンで塗りつぶすようにしても良い。

ステップＳ６１２では、ＣＰＵ２０１は、ステップＳ６０３にて受信したスクロール移動量から、画像の切り出し位置を算出する。

ステップＳ６１３では、ＣＰＵ２０１は、ステップＳ６１０でＲＡＭ２０２に記憶した画像データから画像の切り出しを行う。

ステップＳ６１４では、ＣＰＵ２０１は、切り出された画像データをＶＲＡＭ２０４に描画する。

ここで、ステップＳ６１２からＳ６１４までの処理を、図３（ｃ）を用いて説明する。３０３はＲＡＭ２０２に記憶された画像データを表し、破線で囲まれた矩形３０４がステップＳ６１３で切り出しを行う画像領域を表している。一方、３０５はＶＲＡＭ２０４に描画された画像データを示している。破線で囲まれた矩形３０６がステップＳ６１４でＶＲＡＭ２０４に描画された画像データである。また、斜線領域３０７は、ステップＳ６１１で塗りつぶされた記憶領域を示している。

ステップＳ６１０からＳ６１４までの処理の結果、プロジェクタ２００から投影画像３０８が投影されることとなる。

ステップＳ６１５では、ＣＰＵ２０１は、通信部２０９を監視し、データが到着するのを待ち、通信部２０９を介してデータを受信する（Ｓ６１６）。

ステップＳ６１７では、ＣＰＵ２０１は、ステップＳ６１６で受信したデータがスクロール移動量であるか判定し、スクロール移動量の場合は本処理を終了し、スクロール移動量でない場合はステップＳ６１１に戻り、スクロール処理を継続する。

本実施形態のスクロール処理によれば、スクロール処理においてスマートフォン１００からプロジェクタ２００へスクロール移動量のみを送信することによって、通信量を削減することができる。また、プロジェクタ２００において、スクロール移動量に基づき画面更新を行うことによって、通常の画面転送処理に比べて、より短い時間でプロジェクタ２００の投影画面を更新することが可能となる。よって、プロジェクタ２００の投影画面を視聴しているユーザは、スマートフォン１００で行われた操作を即座に認識することが可能となり、画面のスクロール方向をより容易に把握できるという効果が得られる。

また、プロジェクタ２００でのスクロール処理（ステップＳ６１０）において、投影画像データをＲＡＭ２０２に一時的に記憶しているため、ユーザがスクロール操作で画面を移動し、再び元の位置に戻った場合も、スクロール移動量を送信するだけで、画像を更新することが可能である。

なお、本実施形態では、スマートフォン１００において、スクロールが開始された時点で、すぐさまスクロール移動量の送信を行うと説明したが、スクロール開始時により広い領域を予め送信するようにしても良い。具体的には、図３（ｂ）のスクロール開始時に、図３（ａ）の矩形領域３０１のみを送信するだけではなく、全体画像３００や矩形領域３０２を事前に送信しても良い。このようにスクロール開始時に少し広めの画像データを送信することによって、図３（ｃ）、（ｄ）で斜線により表された背景色で塗りつぶされた領域が表示されてしまうことを防止できる。また、このように構成することによって、より広い範囲のスクロールが可能となる。

また、本実施形態では、プロジェクタ２００のスクロール処理において、ステップＳ６１７で再度スクロール移動量を受信した際に、ステップＳ６１１からＳ６１４の処理を行うと説明したが、前回のスクロール移動量と今回のスクロール移動量とを比較し、その差に応じて中間画像を生成しても良い。すなわち、前回のスクロール移動量と今回のスクロール移動量の差が所定値より大きい場合は、その中間のスクロール移動量の画像を一時的にプロジェクタ２００に投影するように構成しても良い。このような中間画像を生成することによって、スマートフォン１００で素早いスクロール処理が行われた場合でも、プロジェクタ２００の投影画面を見ているユーザが、スクロール方向を容易に把握できるようになるという効果が得られる。

（拡大・縮小（ズーム）動作の説明）次に、図４、図５（ｃ）、図６（ｃ）を参照して、拡大・縮小動作について説明する。

以下では、図４（ａ）に示すような全体画像４００のうち、点線で示された矩形４０１を表示している状態から、破線で示された矩形４０２を拡大表示する例を説明する。図４（ｂ）は拡大開始時、図４（ｃ）は拡大中、図４（ｄ）は拡大終了時のスマートフォン１００およびプロジェクタ２００の画面を示している。

まず、図５（ｂ）を参照して、図５（ａ）のステップＳ５１２におけるスマートフォン１００でのスクロール処理について説明する。

なお、以下の説明は、図４（ｂ）から図４（ｄ）の拡大処理の遷移について説明を行うが、縮小処理についても同様であり、図４（ｅ）は縮小処理の例を示している。

まず、図５（ｃ）を参照して、図５（ａ）のステップＳ５１１Ａにおけるスマートフォン１００での拡大・縮小処理について説明する。

ステップＳ５２０では、拡大操作が開始されると、ＣＰＵ１０１は、ステップＳ５０７で取得した２点の位置座標をタッチオンの起点位置としてＲＡＭ１０２に格納する。ここでタッチオンの起点位置とは、図４（ｂ）において、スマートフォン１００を操作するユーザが２本の指で画面にタッチしている２点の位置座標を表す。

ステップＳ５２１では、ＣＰＵ１０１は、操作部１０７を介して２点の位置座標を取得する。

ステップＳ５２２では、ＣＰＵ１０１は、ステップＳ５２０で取得した２点のタッチ位置の距離と、ステップＳ５２１で取得した２点のタッチ位置の距離の比率から拡大率を算出し、ステップＳ５２３では、通信部１０８を介してプロジェクタ２００へ送信する。

ステップＳ５２４では、ＣＰＵ１０１は、操作部１０７を介してユーザが画面に対するタッチオンを継続しているか判定し、タッチオンを継続している場合はステップＳ５２５に進み、タッチアップが検出された場合はステップＳ５０２に戻る。

ステップＳ５２５では、ＣＰＵ１０１は、位置座標が所定時間以上変化していないか判定し、変化していない場合はステップＳ５０２に戻り、変化している場合はステップＳ５２１に戻り、拡大処理を継続する。

このようにステップＳ５２５で位置座標が所定時間以上変化していない場合は、拡大・縮小処理を終了することで、プロジェクタ２００の投影画像をスマートフォン１００でキャプチャされた画像に更新することができる（ステップＳ５０２からＳ５０４）。本実施形態では、プロジェクタ２００スマートフォン１００から受信した画像データに対して拡大や縮小を行っているが、プロジェクタ２００側で拡大処理を行うと画質が劣化してしまう。また、プロジェクタ２００側で縮小処理を行うと図４（ｅ）のように周辺に画像を表示できない領域が形成されてしまう。スマートフォン１００を操作しているユーザが拡大や縮小を途中で終了して、指を離さない状態では、このような劣化した画像や画面周辺に未表示領域がある画像がプロジェクタ２００で投影され続けてしまう。このような事態を回避するために、ステップＳ５２５でのタッチ位置の変化判定を行う。このようにタッチ位置の変化判定を行うことによって、プロジェクタ２００での投影画像をより適切な状態で表示することができる。

なお、ステップＳ５２５では所定時間以上にわたり変化がないことを処理の終了条件としたが、拡大処理が所定の拡大率以内であれば、拡大率の送信は行わずに、ステップＳ５０２に戻り、キャプチャされた画像データを送信するように構成しても良い。すなわち、ユーザによる拡大処理が遅い場合は、ステップＳ５０２に戻り、キャプチャ、エンコード、送信を行うように構成しても良い。

上述した拡大処理によって、図４（ｂ）から図４（ｄ）の間はスマートフォン１００からプロジェクタ２００に対して拡大率のみが送信されることとなる。

次に、図６（ｂ）を参照して、図６（ａ）のステップＳ６０８におけるプロジェクタ２００でのスクロール処理（Ｓ６０８）について説明する。

以上のＳ５２０からＳ５２５までの処理がスマートフォン１００における拡大縮小処理である。以上の説明した拡大縮小処理によって、図４（ｂ）から図４（ｄ）の間はスマートフォン１００からプロジェクタ２００に対して拡大率もしくは縮小率のみが送信されることとなる。

次に、図６（ｃ）を参照して、図６（ａ）のステップＳ６０９におけるプロジェクタ２００での拡大・縮小処理について説明する。

なお、以下では、図４（ｂ）から図４（ｄ）の拡大処理の遷移について説明を行うが、縮小処理についても同様である。また、上記スクロール処理と同様に、拡大・縮小処理が実行される前に、デコード済みの画像データがＶＲＡＭ２０４に格納されている状態でステップＳ６０９の拡大・縮小処理が開始される。

ステップＳ６２０では、拡大・縮小処理が開始されると、ＣＰＵ２０１は、ステップＳ６０５でデコードした画像データを、ＲＡＭ２０２に格納する。なお、本実施形態ではデコード済みの画像データをＲＡＭ２０２に格納すると説明したが、ＶＲＡＭ２０４に十分な記憶領域があれば、デコード済みの画像データをＶＲＡＭ２０４に保持しておく構成としても良い。

ステップＳ６２１では、ＣＰＵ２０１は、ＶＲＡＭ２０４の記憶領域を予め決められた背景色で塗りつぶす。ここでは背景色と説明したが、背景色以外にも、特定のパターンで塗りつぶすようにしても良い。

ステップＳ６２２では、ＣＰＵ２０１は、ステップＳ６０３にて受信した拡大率から、画像の切り出し位置を算出する。

ステップＳ６２３では、ＣＰＵ２０１は、ステップＳ６２０でＲＡＭ２０２に記憶した画像データから画像の切り出しを行う。

ステップＳ６２４では、ＣＰＵ２０１は、拡大処理を施した画像データをＶＲＡＭ２０４に描画する。

ステップＳ６２５では、ＣＰＵ２０１は、通信部２０９を監視し、データが到着するのを待ち、通信部２０９を介してデータを受信する（Ｓ６２６）。

ステップＳ６２７では、ＣＰＵ２０１は、ステップＳ６２６で受信したデータが拡大率であるか判定し、拡大率の場合は本処理を終了し、拡大率でない場合はステップＳ６２１に戻り、拡大・縮小処理を継続する。

本実施形態の拡大・縮小処理によれば、拡大・縮小処理においてスマートフォン１００からプロジェクタ２００へ拡大率または縮小率のみを送信することによって、通信量を削減することができる。また、プロジェクタ２００において、拡大率や縮小率に基づき画面更新を行うことによって、通常の画面転送処理に比べて、より短い時間でプロジェクタ２００の投影画面を更新することが可能となる。よって、プロジェクタ２００の投影画面を視聴しているユーザは、スマートフォン１００で行われた操作を即座に認識することが可能となり、画面の拡大や縮小をより容易に把握できるという効果が得られる。

なお、本発明は、スクロール操作や拡大・縮小操作に限らず、スマートフォン１００で表示される画像の表示態様が変更可能なあらゆる操作に適用できる。この場合、スマートフォン１００は、操作により変更される画像の表示態様の変化量に関する情報をプロジェクタ２００に送信し、プロジェクタ２００はスマートフォン１００から受信した情報に基づいて画像データを切り出し投影画面を更新すれば良い。

［他の実施形態］
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００…スマートフォン、１０１…ＣＰＵ、１０２…ＲＡＭ、１０４…ＲＯＭ、１０５…表示部、１０６…表示制御部、１０７…操作部、１０８…通信部、２００…プロジェクタ、２０１…ＣＰＵ、２０２…ＲＡＭ、１０３…ＲＯＭ、２０６…投影部、２０７…投影制御部、２０８…操作部、２０９…通信部、

Claims (18)

1. 表示部への表示対象となる画像データを表示制御装置に送信する情報処理装置であって、
   前記表示対象となる画像データをキャプチャするキャプチャ手段と、
   前記キャプチャした画像データを前記表示制御装置に送信するよう制御する送信制御手段と、
   前記情報処理装置に対する操作を検出する検出手段と、を有し、
   前記検出手段により、前記表示対象となる画像データの表示態様を変更するための所定の操作を検出した場合、前記送信制御手段は前記キャプチャした画像データを新たに送信する前に、前記所定の操作による表示態様の変化量の情報を前記表示制御装置に送信するよう制御し、
   前記変化量の情報は、前記表示制御装置が前記情報処理装置から前記変化量の情報を受信した場合、前記表示制御装置が既に受信している前記キャプチャした画像データを処理するために、使用されることを特徴とする情報処理装置。
2. 前記所定の操作は、前記表示対象となる画像データをスクロールするための操作を含み、
   前記送信制御手段は、前記変化量の情報として前記スクロールするための操作による移動量を送信するよう制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記所定の操作は、前記表示対象となる画像データを拡大または縮小するための操作を含み、
   前記送信制御手段は、前記変化量の情報として前記拡大または縮小のための操作による拡大率または縮小率を送信するよう制御することを特徴とする請求項１または２に記載の情報処理装置。
4. 表示部への表示対象となる画像データを表示制御装置に送信する情報処理装置であって、
   前記表示対象となる画像データをキャプチャするキャプチャ手段と、
   前記キャプチャした画像データを前記表示制御装置に送信するよう制御する送信制御手段と、
   前記情報処理装置に対する操作を検出する検出手段と、を有し、
   前記検出手段により、前記表示対象となる画像データの表示態様を変更するための所定の操作を検出した場合、前記送信制御手段は前記キャプチャした画像データを新たに送信する前に、前記所定の操作による表示態様の変化量の情報を前記表示制御装置に送信するよう制御し、
   前記変化量が所定の値よりも大きくなった場合、前記送信制御手段は前記キャプチャ手段により新たにキャプチャされた画像データを送信するよう制御することを特徴とする情報処理装置。
5. 前記所定の操作は、前記表示対象となる画像データをスクロールするための操作であり、
   前記送信制御手段は、前記キャプチャ手段により新たにキャプチャされた画像データを送信する場合、既に表示制御装置に送信された画像データと表示中の画像データとの差分を送信するよう制御することを特徴とする請求項４に記載の情報処理装置。
6. 前記所定の操作が所定時間行われない場合、前記キャプチャ手段は表示対象となる画像データのキャプチャを行い、前記送信制御手段は、前記キャプチャした画像データを送信するよう制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記検出手段は前記表示部へのタッチ操作を検出し、
   前記所定の操作は、指を前記表示部にタッチしたまま移動させる操作を含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記検出手段は前記表示部へのタッチ操作を検出し、
   前記所定の操作は、複数の指を前記表示部にタッチしたまま移動させる操作を含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
9. 前記情報処理装置は、携帯電話であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記情報処理装置は、タブレット端末であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
11. 前記表示制御装置はプロジェクタであることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記表示対象となる画像データは、前記情報処理装置の表示部に表示中の画像データであることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記表示対象となる画像データは、前記情報処理装置が有する第１の記憶媒体に保存された画像データであることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
14. 前記第１の記憶媒体はＶＲＡＭであることを特徴とする請求項１３に記載の情報処理装置。
15. 前記キャプチャ手段による画像データのキャプチャは、前記第１の記憶媒体に保存された画像データを、前記情報処理装置が有する第２の記憶媒体に保存することであることを特徴とする請求項１３または１４に記載の情報処理装置。
16. 表示制御装置と、表示部への表示対象となる画像データを前記表示制御装置に送信する情報処理装置と、を有するシステムであって、
    前記情報処理装置は、
    前記表示対象となる画像データをキャプチャするキャプチャ手段と、
    前記キャプチャした画像データを前記表示制御装置に送信するよう制御する送信制御手段と、
    前記情報処理装置に対する操作を検出する検出手段と、を有し、
    前記検出手段により、前記表示対象となる画像データの表示態様を変更するための所定の操作を検出した場合、前記送信制御手段は前記キャプチャした画像データを新たに送信する前に、前記所定の操作による表示態様の変化量の情報を前記表示制御装置に送信するよう制御し、
    前記表示制御装置は、
    前記情報処理装置から前記変化量の情報を受信した場合、既に受信している前記キャプチャした画像データを前記変化量の情報に基づいて処理することを特徴とするシステム。
17. 表示部への表示対象となる画像データを表示制御装置に送信する情報処理装置の制御方法であって、
    前記表示対象となる画像データをキャプチャするステップと、
    前記キャプチャした画像データを前記表示制御装置に送信するステップと、
    前記情報処理装置に対する操作を検出するステップと、を有し、
    前記表示対象となる画像データの表示態様を変更するための所定の操作を検出した場合、前記キャプチャした画像データを新たに送信する前に、前記所定の操作による表示態様の変化量の情報を前記表示制御装置に送信するよう制御し、
    前記変化量の情報は、前記表示制御装置が前記情報処理装置から前記変化量の情報を受信した場合、前記表示制御装置が既に受信している前記キャプチャした画像データを処理するために、使用されることを特徴とする情報処理装置の制御方法。
18. コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images