JP6360296B2 - 画像送信装置、画像提示システム、制御方法、及びプログラム - Google Patents

Description

本発明は、画像送信装置、画像提示システム、制御方法、及びプログラムに関し、特に表示画面の画像を外部の表示装置に転送して提示させる技術に関する。

従来、ＰＣ等の情報処理装置の表示画面を画像として取得（キャプチャ）し、ネットワークを介して液晶プロジェクタ等の画像提示装置に伝送し、ユーザに対して画像提示を行う技術がある。近年では、スマートフォンやタブレット端末等の情報通信端末が広く普及しており、提示する画像を送信する装置としてこのような端末が使用される機会も増えている。

ところで、このような情報通信端末はユーザが端末を把持して使用することを想定しているため、装置の姿勢を考慮して表示画面の表示態様を異ならせる制御が行われている。具体的には表示画面における上方向が現実世界の鉛直上方向に対応するように、表示態様の描画が変更されている。該表示態様の変更は、例えば情報通信端末で実行されている画像閲覧アプリケーションにおける画像の回転制御にも利用されている。特許文献１には、撮像装置に記録されている画像の一覧をＰＣに表示する際に、撮像装置の表示画面に表示されている画像の上下方向を反映するように、ＰＣにおける該画像の表示方向を制御する技術が開示されている。

特開２００９−１４１４８４号公報

しかしながら、上述した特許文献１のように情報通信端末の表示画面を画像提示装置に伝送して画像提示する際に、表示画面に表示されている画像の上下方向を反映するように表示制御した場合、次のような問題が生じる。

近年の情報通信端末における表示制御は、特許文献１のように画像閲覧アプリケーションの画像単位ではなく、画面全体の描画を端末の姿勢に応じて異ならせるものである。つまり、表示画面をキャプチャして伝送する場合、端末の姿勢変更が生じる度に表示画面の描画が変化するため、画像提示装置により提示される画像が頻繁に切り替わる可能性がある。具体的には、縦長の描画範囲に対して描画対象のオブジェクトや文字を配置して描画した表示画面と、横長の描画範囲に対して描画対象を配置して描画した表示画面とが交互に表示されるため、提示された画像を観察する観察者に不快感を与える可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、端末の姿勢に応じた表示制御を行う情報通信端末における表示画像を好適に外部に提示する画像送信装置、画像提示システム、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像送信装置は、以下の構成を備えることを特徴とする。具体的には画像送信装置は、表示手段を有し、画像提示装置と通信する画像送信装置であって、画像送信装置が有する表示対象データに基づく画像を描画するための描画バッファと、画像送信装置が有する表示対象データに基づく、表示手段に表示する表示画像を格納するための表示バッファと、画像送信装置の姿勢を検出する検出手段と、画像提示装置の画像提示の解像度を示す情報を画像提示装置から取得する取得手段と、描画バッファへの画像の描画及び表示バッファへの表示画像の格納を制御する制御手段と、描画バッファに描画された画像を前記画像提示装置に送信する送信手段と、を有し、制御手段は、画像提示装置との通信接続が確立している場合、取得手段により取得された画像提示装置の解像度に基づく解像度で描画バッファの領域を確保し、描画バッファのレイアウトに基づいて画像を描画し、検出手段により検出された画像送信装置の姿勢に基づく解像度で表示バッファの領域を確保し、描画バッファに描画された画像に基づく表示画像を、描画されたレイアウトを維持しながら、表示バッファの領域に合わせて格納することを特徴とする。

このような構成により本発明によれば、端末の姿勢に応じた表示制御を行う情報通信端末における表示画像を好適に外部に提示するが可能となる。

本発明の実施形態に係る画像提示システムのシステム構成を示した図 本発明の実施形態に係るタブレット端末１００及び液晶プロジェクタ２００の機能構成を示したブロック図 本発明の実施形態に係るタブレット端末１００における４種類の表示態様を示した図 本発明の実施形態に係るタブレット端末１００で実行される通常の表示制御処理を例示したフローチャート 本発明の実施形態に係るタブレット端末１００で実行される通常の表示制御処理において生成される各種画像を説明するための図 本発明の実施形態に係るタブレット端末１００で実行される画面送信処理を例示したフローチャート 本発明の実施形態に係るタブレット端末１００で実行される画面送信処理において生成される各種画像を説明するための図 本発明の実施形態に係るタブレット端末１００で実行される画面送信処理において生成される各種画像を説明するための別の図 本発明の実施形態に係るタブレット端末１００で実行される通常の画面送信処理における、液晶プロジェクタ２００が提示する画像と表示部１０７上の表示画像の態様を示した図 本発明の実施形態に係るタブレット端末１００で実行される画面送信処理における、液晶プロジェクタ２００が提示する画像と表示部１０７上の表示画像の態様を示した図 本発明の実施形態に係るタブレット端末１００で実行される画面送信処理における、液晶プロジェクタ２００が提示する画像と表示部１０７上の表示画像の態様を示した別の図 本発明の実施形態の変形例に係る画像提示システムにおける、液晶プロジェクタ２００が提示する画像と表示部１０７上の表示画像の態様を示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像提示装置が画像送信装置から送信された画像を提示する画像提示システムについて、画像送信装置の一例としてのタブレット端末と、画像提示装置の一例としての液晶プロジェクタとに、本発明を適用した例を説明する。しかし、本発明は、画像提示装置が画像送信装置から送信された画像を提示する構成であれば、任意の機器に適用可能である。即ち、画像提示装置は、液晶プロジェクタのように投影という形で送信された画像を提示する装置に限らず、各種ディスプレイなどの画像提示を行う任意の機器に適用可能である。また、画像送信装置もいわゆるスマートフォンと呼ばれる携帯電話や、デジタルカメラなどの撮像装置、表示部を備えた楽曲プレーヤー、ノートパソコンなどにも適用可能である。

《画像提示システムの構成》
図１は、本発明の実施形態に係る画像提示システムの構成を示した図である。

図示されるように、本実施形態ではタブレット端末１００において生成された画像データが、無線通信により液晶プロジェクタ２００に伝送される。そして液晶プロジェクタ２００は、該画像データを不図示の投影面に投影することで、ユーザに画像を提示する。なお、タブレット端末１００と液晶プロジェクタ２００との間の通信方式は、無線通信に限らず、ＩＥＥＥ８０２．３で規定されるイーサーネット（登録商標）ケーブルを用いた有線通信であってもよい。

〈タブレット端末１００及び液晶プロジェクタ２００の機能構成〉
図２は、本発明の実施形態に係るタブレット端末１００及び液晶プロジェクタ２００の機能構成を示すブロック図である。

ＣＰＵ１０１は、タブレット端末１００の各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、フラッシュメモリ１０４あるいはＨＤＤ１０５に格納された各ブロックの動作プログラムやアプリケーションプログラムを読み出し、ＲＡＭ１０２に展開して実行することにより各ブロックの動作を制御する。

フラッシュメモリ１０４は、例えば書き換え可能な不揮発性メモリである。フラッシュメモリ１０４は、タブレット端末１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。またＨＤＤ１０５は、ＨＤＤ１０５に着脱可能に接続された記憶装置である。ＨＤＤ１０５は、各ブロックの動作プログラムやアプリケーションプログラムに加え、タブレット端末１００の全体動作を制御するＯＳ（オペレーティングシステム）等を記憶する。またＲＡＭ１０２は、揮発性メモリである。ＲＡＭ１０２は、各プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データ等を記憶する。本実施形態ではＲＡＭ１０２は、液晶プロジェクタ２００に対して送信する画像データを一時的に格納する格納領域としても用いられる。

表示部１０７は、例えばＬＣＤや有機ＥＬパネル等のタブレット端末１００に内蔵もしくは外付けされた表示装置である。表示部１０７の表示領域に表示される画像の表示制御は、表示制御部１０８により行われる。また表示部１０７の表示領域に表示する表示画像の生成は、ＧＰＵ１１１により行われる。具体的にはＧＰＵ１１１は、例えばＨＤＤ１０５に記憶されるＧＵＩデータ等を読み出して内蔵のＧＰＵメモリに展開した後、画面形成に係る情報に従ってＶＲＡＭ１０３に表示画像の描画用の２次元の描画領域を確保する。そしてＧＰＵ１１１は、ＧＵＩデータ等を用いて表示画像を描画し、該描画領域に格納する。表示制御部１０８は、このようにＶＲＡＭ１０３に格納された表示画像を読み出し、表示部１０７に表示する処理を行う。なお、ＲＡＭ１０２のアクセス速度が十分に高速である場合、ＶＲＡＭ１０３はＲＡＭ１０２により代用されてもよい。

操作部１０９は、例えば操作ボタンや表示部１０７とともに設けられたタッチセンサ等のタブレット端末１００が有するユーザインタフェースである。操作部１０９は、ユーザによりなされた操作入力を検出すると、対応する制御信号をＣＰＵ１０１に送信する。

タブレット通信部１１０は、タブレット端末１００が有する通信インタフェースである。通信部１１０は、アンテナ、ＲＦ部、ベースバンド部を有する。本実施形態ではタブレット端末１００は通信部１１０及び通信ネットワーク１５０を介して液晶プロジェクタ２００と無線通信により通信接続し、対応する無線通信規格に適合したパケットにてデータ通信可能である。通信部１１０は、液晶プロジェクタ２００に対して送信する画像データを、不図示の符号化部により符号化して送信する。

姿勢検出部１０６は、例えば加速度センサやジャイロセンサである。姿勢検出部１０６は、タブレット端末１００の姿勢を検出し、姿勢情報を出力する。本実施形態では姿勢情報は、タブレット端末１００が縦持ち状態（表示領域の長手方向が現実世界の鉛直上方向に対応）であるか、横持ち状態（表示領域の短手方向が現実世界の鉛直上方向に対応）であるかを示すものとする。

ＣＰＵ２０１は、液晶プロジェクタ２００が有する各ブロックの動作を制御する。具体的にはＣＰＵ２０１は、フラッシュメモリ２０３に格納された各ブロックの動作プログラムを読み出し、ＲＡＭ２０２に展開して実行することにより各ブロックの動作を制御する。

フラッシュメモリ２０３は、例えば書き換え可能な不揮発性メモリである。フラッシュメモリ２０３は、液晶プロジェクタ２００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。またＲＡＭ２０２は、揮発性メモリである。ＲＡＭ２０２は、各プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データ等を記憶する。

通信部２０９は、液晶プロジェクタ２００が有する通信インタフェースである。本実施形態では液晶プロジェクタ２００は、通信部２０９及び通信ネットワーク１５０を介して液晶プロジェクタ２００と通信接続可能である。通信部２０９は、通信接続している装置からの入力信号を投影するモードが液晶プロジェクタ２００に設定されている場合に、タブレット端末１００から送信された画像データを受信する。また本実施形態の液晶プロジェクタ２００は、通信接続している装置からの入力信号を投影するモードが設定されていることを示す情報を、通信部２０９を介してタブレット端末１００に伝送するものとする。

デコーダ２０５は、通信部２０９により受信された画像データに対して復号処理を行う。デコーダ２０５により復号された画像データは、ＶＲＡＭ２０４に展開される。また画像処理部２１０は、ＶＲＡＭ２０４に展開された画像データに対して、投影用の画像処理を適用する。このようにして生成された投影用の画像データは、投影制御部２０７により投影部２０６を用いて投影面に投影される。投影部２０６は、液晶パネル、レンズ、光源を有する。

操作部２０８は、例えば電源ボタンやメニューボタン、あるいは液晶プロジェクタ２００の動作に係る入力ボタンを備えるリモートコントローラから送信された赤外線信号を受信する信号受信部等の、液晶プロジェクタ２００が有するユーザインタフェースである。操作部２０８は、ユーザによりなされた操作入力を検出すると、対応する制御信号をＣＰＵ２０１に出力する。

《通常の描画・表示》
ここで、本実施形態のタブレット端末１００について、装置の姿勢に応じて表示方法を変更する際の挙動について図を用いて説明する。

本実施形態のタブレット端末１００の表示部１０７における表示態様を、４種類の態様に分類して説明する。図３は、４種類の表示態様をそれぞれタブレット端末１００の外観とともに示したものである。図３（ａ）は、基準となる縦持ちの状態を示しており、以下「縦持ちＡ」と称して説明する。図３（ｂ）は、基準の状態から天地を逆転させた縦持ちの状態を示しており、以下「縦持ちＢ」と称して説明する。図３（ｃ）は、基準の状態から時計回りに９０度回転させた横持ちの状態を示しており、以下「横持ちＡ」と称して説明する。図３（ｄ）は、基準の状態から反時計回りに９０度回転させた横持ちの状態を示しており、以下「横持ちＢ」と称して説明する。図３の例では、各状態での画像の表示状態を示しており、図示されるようにいずれの姿勢であっても、現実空間の鉛直上方向が画像の上方向、現実空間の重力方向が画像の下方向に対応するよう、表示制御がなされている。

〈表示制御処理〉
次に、通常状態のタブレット端末１００において、姿勢検出部１０６から出力された姿勢情報に応じて表示部１０７に表示する表示画像を描画し、表示する表示制御処理について、図４のフローチャートを参照して説明する。なお、本実施形態では表示画像の描画内容の変化が明確になるよう、１２文字で構成されるテキストデータを表示するアプリケーションに係る表示制御処理を例に説明する。本表示制御処理は、ＣＰＵ１０１がテキスト表示アプリケーションに対応するプログラムをＨＤＤ１０５から読み出し、ＲＡＭ１０２に展開して実行することにより実現される。

Ｓ４０１で、ＣＰＵ１０１は、姿勢検出部１０６から出力された姿勢情報を参照し、タブレット端末１００の姿勢が縦持ち状態及び横持ち状態のいずれであるかを判断する。ＣＰＵ１０１は、姿勢情報が「縦持ちＡ」または「縦持ちＢ」を示す場合は処理をＳ４０２に移し、姿勢情報が「横持ちＡ」または「横持ちＢ」を示す場合は処理をＳ４１０に移す。

Ｓ４０２で、ＧＰＵ１１１は、ＶＲＡＭ１０３上にテキスト表示アプリケーションに係る表示画像の描画用の描画領域（バッファ）を確保する。該バッファは、現在のタブレット端末１００の姿勢に応じて解像度が決定される２次元の領域である。本ステップではタブレット端末１００は縦持ち状態であるため、基準の状態（縦持ちＡ）で表示部１０７の解像度が７６８[px]×１０２４[px]である場合は、幅７６８[px]、高さ１０２４[px]のバッファがＶＲＡＭ１０３上に確保される。

Ｓ４０３で、ＧＰＵ１１１は、ＶＲＡＭ１０３に確保した描画用バッファに対し、テキストデータに対応するテキスト画像を描画する。本実施形態ではテキストデータは、「ＡＢＣＤＥＦＧＨＩＪＫＬ」の１２文字のデータであるものとし、バッファの左上から順に１文字につき２５６[px]×２５６[px]の領域を割り当て、行ごとに３文字ずつ対応する画像が描画される。このようにして描画されたテキスト画像は、図５の５０１のようになる。なお、本実施形態の説明においてテキストデータに対応するテキスト画像の描画は、確保されたバッファの左上から時計回りに順に、１文字につき２５６[px]×２５６[px]の領域を使用して行われるものとする。また行に描画スペースがなくなった場合は、ＧＰＵ１１１は次の行の左端に移動し、続きの文字を描画するものとする。

Ｓ４０４で、ＣＰＵ１０１は、ＶＲＡＭ１０３に描画された表示画像が、表示部１０７への表示の際に回転する必要があるか否かを判断するために、姿勢情報が「縦持ちＢ」を示すか否かを判断する。図３を用いて例示したように、「縦持ちＢ」の状態は基準の状態と天地逆転の関係にあるため、表示画像の上方向が現実世界の鉛直上方向に対応するよう、表示画像は１８０度回転を行う必要がある。ＣＰＵ１０１は、姿勢情報が「縦持ちＢ」を示す場合には、描画された表示画像の表示の際に回転が必要であると判断する。ＣＰＵ１０１は、姿勢情報が「縦持ちＢ」を示す場合は処理をＳ４０６に移し、「縦持ちＡ」を示す場合は処理をＳ４０５に移す。

Ｓ４０５で、ＧＰＵ１１１は、回転を行うことなく、描画用バッファとは別にＶＲＡＭ１０３に確保された表示画像の表示用バッファに表示画像を転送する。なお、表示用バッファは基準の状態での表示部１０７の表示領域の態様に対応させて設けられた２次元領域であり、該領域の左上は基準の状態での表示部１０７の左上、該領域の右下は基準の状態での表示部１０７の右下に対応付けられている。図５の５０２は本ステップの処理により表示用バッファに格納された表示画像を示しており、表示部１０７の対応付けられた位置に該画像が表示されることで、５０３のように「縦持ちＡ」での好適な表示態様で表示画像は表示される。

一方、Ｓ４０４において姿勢情報が「縦持ちＢ」を示すと判断された場合、ＧＰＵ１１１はＳ４０６で、１８０度回転させた上で表示用バッファに表示画像を転送する。即ち、図５の５０７のように天地逆転した状態で表示画像が表示用バッファに格納される。そして該表示画像が表示部１０７の対応付けられた位置に表示されることで、５０８のように「縦持ちＢ」での好適な表示態様で表示画像は表示される。

Ｓ４０７で、表示制御部１０８はＣＰＵ１０１の制御の下、ＶＲＡＭ１０３の表示用バッファから表示画像を読み出し、表示部１０７に表示する。

Ｓ４０８で、ＣＰＵ１０１は、操作部１０９からテキスト表示アプリケーションの終了指示に係る制御信号を受信したか否かを判断する。ＣＰＵ１０１は、テキスト表示アプリケーションの終了指示に係る制御信号を受信したと判断した場合は本表示制御処理を完了し、受信していないと判断した場合は処理をＳ４０９に移す。

Ｓ４０９で、ＣＰＵ１０１は、横持ち状態への姿勢変化がなされたか否かを判断する。具体的にはＣＰＵ１０１は、姿勢検出部１０６に姿勢検出を行わせて新たに得られた姿勢情報を参照し、姿勢情報が「横持ちＡ」または「横持ちＢ」を示すか否かを判断する。ＣＰＵ１０１は、横持ち状態への姿勢変化がなされたと判断した場合は処理をＳ４１０に移し、なされていないと判断した場合は処理をＳ４０３に戻す。

一方、Ｓ４０１において姿勢情報が「横持ちＡ」または「横持ちＢ」を示す場合、ＧＰＵ１１１はＳ４１０で、ＶＲＡＭ１０３上に表示画像の描画用バッファを確保する。このとき確保される描画バッファは、タブレット端末１００が横持ち状態であるため、基準の状態で表示部１０７の解像度が７６８[px]×１０２４[px]である場合は、幅１０２４[px]、高さ７６８[px]のバッファがＶＲＡＭ１０３上に確保される。

Ｓ４１１で、ＧＰＵ１１１は、Ｓ４０３と同様に描画用バッファに対しテキストデータに対応するテキスト画像を描画する。本ステップで描画されるテキスト画像は、図５の５０４のようになる。縦持ちの場合とは確保されるバッファ領域が異なるため、アルファベットの行と列の数が入れ替わっている。このように、縦持ちと横持ちの場合では、単に９０度回転しているか否かの違いだけでなく、画面内容のレイアウトそのものが変化することになる。

Ｓ４１２で、ＣＰＵ１０１は、ＶＲＡＭ１０３描画された表示画像が、表示部１０７への表示の際にいずれの方向に９０度回転するかを判断するために、姿勢情報が「横持ちＢ」を示すか否かを判断する。図３を用いて例示したように、「横持ちＡ」の状態は基準の状態からタブレット端末１００が時計回りに９０度回転された状態であるため、表示画像の上方向が現実世界の鉛直上方向に対応するよう、表示画像は反時計回りに９０度回転を行う必要がある。また反対に、「横持ちＢ」の状態は基準の状態からタブレット端末１００が反時計回りに９０度回転された状態であるため、表示画像の上方向が現実世界の鉛直上方向に対応するよう、表示画像は時計回りに９０度回転を行う必要がある。ＣＰＵ１０１は、姿勢情報が「横持ちＡ」を示す場合は処理をＳ４１３に移し、「横持ちＢ」を示す場合は処理をＳ４１４に移す。

Ｓ４１３で、ＧＰＵ１１１は、描画結果を反時計回りに９０度回転させた上で表示用バッファに表示画像を転送する。即ち、図５の５０５のように反時計回りに９０度回転された状態で表示画像が表示バッファに格納され、該表示画像は表示部１０７の対応付けられた位置に表示されることで、５０６のように「横持ちＡ」での好適な表示態様で表示される。

一方、Ｓ４１２において姿勢情報が「横持ちＢ」を示すと判断された場合、ＧＰＵ１１１はＳ４１４で、時計回りに９０度回転させた上で表示用バッファに表示画像を転送する。即ち、図５の５０９のように時計回りに９０度回転された状態で表示画像が表示バッファに格納され、該表示画像は表示部１０７の対応付けられた位置に表示されることで、５１０のように「横持ちＢ」での好適な表示態様で表示される。

Ｓ４１５で、表示制御部１０８はＣＰＵ１０１の制御の下、ＶＲＡＭ１０３の表示用バッファから表示画像を読み出し、表示部１０７に表示する。

Ｓ４１６で、ＣＰＵ１０１はＳ４０８と同様にテキスト表示アプリケーションの終了指示に係る制御信号を受信したか否かを判断する。ＣＰＵ１０１は、テキスト表示アプリケーションの終了指示に係る制御信号を受信したと判断した場合は本表示制御処理を完了し、受信していないと判断した場合は処理をＳ４１７に移す。

Ｓ４１７で、ＣＰＵ１０１は、Ｓ４０９と同様に縦持ち状態への姿勢変化がなされたか否かを判断する。ＣＰＵ１０１は、縦持ち状態への姿勢変化がなされたと判断した場合は処理をＳ４０２に移し、なされていないと判断した場合は処理をＳ４１１に戻す。

なお、本実施形態では、テキスト表示アプリケーションを例に表示制御処理を説明したが、本発明の適用範囲はこれに限定されない。例えば、表示画像の描画及び表示において次のようなステップの動作を行うアプリケーションであれば、同様の処理が適用可能である（例えばＨＴＭＬファイルを描画するＷｅｂブラウザ等）。
１．姿勢検出を行い、横持ちか縦持ちかに応じて描画用バッファの解像度を切り替える
２．検出された姿勢に応じて描画用バッファに描画された画像データを回転させる
３．描画用バッファから表示用バッファに表示画像を転送した後、表示する（このとき、スケーリング処理を伴ってもよい。）

《画像提示システムにおける画像提示》
次に、本実施形態の画像提示システムにおける、タブレット端末１００の表示部１０７に表示されている表示画像を液晶プロジェクタ２００に送信して投影させる際の動作概要について説明する。本動作概要の説明において、タブレット端末１００と液晶プロジェクタ２００とは、通信部１１０及び通信部２０９を介して既に通信接続が確立しているものとする。

本実施形態のタブレット端末１００は、表示画面のキャプチャ画像を送信して投影する画面送信アプリケーションがインストールされているものとする。この画面送信アプリケーションが実行されている間、ＣＰＵ１０１は所定のタイミングで表示用バッファに格納された表示画像を取得（キャプチャ）し、ＲＡＭ１０２に格納する。キャプチャにより得られる画像は、図５の５０２、５０５、５０７、５０９であり、以下、キャプチャ画像と称して説明する。

ＣＰＵ１０１は、ＲＡＭ１０２にキャプチャ画像が格納されると、該キャプチャ画像に対して、例えばＪＰＥＧ符号化等の送信用形式に変更する処理を適用する。そしてＣＰＵ１０１は処理後のキャプチャ画像を通信部１１０に伝送し、該画像を液晶プロジェクタ２００において、どのように回転して投影するかを示す回転情報とともに液晶プロジェクタ２００に送信する。

表示用バッファは、上述したように、タブレット端末１００が基準の状態である際の表示部１０７の表示領域の態様に対応して設けられた２次元領域である。即ち、キャプチャ画像は、タブレット端末１００の姿勢を考慮し、単に表示部１０７への好適表示を目的としたものであるため、取得したままの状態で液晶プロジェクタ２００において投影したとしても正しい上下関係で投影されない可能性がある。回転情報は、このようなキャプチャ画像が液晶プロジェクタ２００において正しい上下関係で投影されるようにするための回転指示を有する情報である。具体的には、「縦持ちＡ」の場合には回転なし、「縦持ちＢ」の場合には１８０度回転、「横持ちＡ」の場合には時計回りに９０度回転、「横持ちＢ」の場合には反時計回りに９０度回転する回転指示が、回転情報に含まれる。

液晶プロジェクタ２００では、このように送信されたキャプチャ画像と回転情報とを受信すると、ＣＰＵ２０１は画像と回転情報とをＲＡＭ２０２に格納する。そしてＣＰＵ２０１は、受信したキャプチャ画像をデコーダ２０５に復号させ、画像処理部２１０に回転情報に従った回転処理、及びスケーリング処理等の投影に必要な画像処理を適用させた後、投影用の画像をＶＲＡＭ２０４に生成させる。このようにして投影用の画像がＶＲＡＭ２０４に展開されると、投影制御部２０７はＣＰＵ２０１の制御の下、該画像を投影部２０６に投影させ、投影面への画像提示を行わせる。

このようにすることで図５の５０２、５０５、５０７、５０９の各々は、図９（ａ）〜（ｄ）に示されるように適切に回転されて投影面に提示される。

しかしながら、上述したようにタブレット端末１００が縦持ち状態にある際に生成された表示画像と、横持ち状態にある際に生成された表示画像とは、そもそも解像度も表示されるオブジェクトの配置も異なる。故に、表示画像の投影中にタブレット端末１００の姿勢が変化することで、例えば図９（ａ）と（ｃ）とが交互に表示される等、観察者にとって見づらい画像提示が行われることになる。

《画面送信処理》
以下、このような好ましくない画像提示を回避する、本実施形態のタブレット端末１００において実行される画面送信処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＨＤＤ１０５に記録されている対応する処理プログラムを読み出し、ＲＡＭ１０２に展開して実行することにより実現することができる。なお、本画面送信処理は、例えばタブレット端末１００において画面送信アプリケーションが実行された際に開始されるものとして説明する。また、本画面送信処理において、上述した表示制御処理と同様の処理を行うステップについては、同一の参照符号を付して説明を省略する。

Ｓ６０１で、ＣＰＵ１０１は、通信部１１０を制御して液晶プロジェクタ２００との通信接続の確立を試みる。そしてＣＰＵ１０１は、通信接続が確立したか否かを判断する。具体的にはＣＰＵ１０１は、通信接続の接続要求を受け付けた液晶プロジェクタ２００から、接続要求を受け付けたことを示す通知を受信したか否かを、通信部１１０からの対応するイベント通知の有無により判断する。ＣＰＵ１０１は、通信接続が確立したと判断した場合は処理をＳ６０２に移し、確立していないと判断した場合は確立するまで本ステップで処理を待機する。

Ｓ６０２で、ＣＰＵ１０１は、表示部１０７に表示画像を表示させているアプリケーション（対象アプリケーション）が、上述したようなタブレット端末１００の姿勢に応じて表示態様を変化させるアプリケーションであるか否かを判断する。ここで対象アプリケーションとは、表示対象のコンテンツである表示画像を生成するアプリケーションであり、画面送信アプリケーションによって液晶プロジェクタ２００に該表示画像を送信して提示させるアプリケーションを示している。対象アプリケーションは、例えば写真閲覧アプリケーション、Ｗｅｂブラウザアプリケーション、文章表示アプリケーション等の、その実行に表示部１０７に対するＧＵＩ表示を伴うアプリケーションである。ＣＰＵ１０１は、対象アプリケーションが姿勢に応じて表示態様を変化させるアプリケーションであると判断した場合は処理をＳ６０３に移し、変化するアプリケーションではないと判断した場合は上述した画面提示動作を行う通常の画面送信処理を実行する。

Ｓ６０３で、ＣＰＵ１０１は、液晶プロジェクタ２００が提示する画像の情報（画面情報）を取得する。具体的にはＣＰＵ１０１は、通信部１１０を介して液晶プロジェクタ２００に画面情報の送信要求を送信し、該要求への応答として該情報を受信する。画面情報は、入力された画像信号を投影する際の液晶プロジェクタ２００における投影解像度を示す情報であり、例えば投影部２０６の液晶パネルに形成される画像の幅及び高さをピクセル数で示した情報である。なお、画面情報の構成はこれに限られず、例えば液晶パネルに形成される画像のアスペクト比等の情報であってもよい。

Ｓ６０４で、ＣＰＵ１０１は、取得した画面情報を参照し、液晶プロジェクタ２００が提示する画像が縦長（長手方向が高さ方向）画像であるか、横長（長手方向が幅方向）であるかを判断する。ＣＰＵ１０１は、液晶プロジェクタ２００が提示する画像が縦長画像であると判断した場合は処理をＳ４０２に移し、横長画像であると判断した場合は処理をＳ４１０に移す。

Ｓ４０２乃至Ｓ４０７の処理を行った後、ＣＰＵ１０１はＳ６０５で、ＶＲＡＭ１０３の表示用バッファに格納された表示画像を取得し、ＲＡＭ１０２にキャプチャ画像として格納する。またＣＰＵ１０１は、表示用バッファに格納された表示画像が１８０度回転させる処理が適用されたものであるか否かの情報を取得し、１８０度回転させる画像処理が適用されたものである場合は１８０度回転の指示を含む回転情報を生成する。そしてＣＰＵ１０１は、符号化処理を適用して得られたキャプチャ画像と回転情報とを通信部１１０に伝送し、液晶プロジェクタ２００に送信させる。

このように本実施形態の画面送信処理では、液晶プロジェクタ２００が提示する画像が縦長画像である場合、図８の８０１ように、タブレット端末１００の姿勢によらずＶＲＡＭ１０３の描画用バッファには縦持ち状態用の縦長の表示画像が描画される。即ち、本実施形態の画面送信アプリケーションでは、タブレット端末１００と液晶プロジェクタ２００との通信接続が確立している間、タブレット端末１００の表示部１０７に表示される表示画像は縦長に固定される。つまり、通信接続が確立している間、ＶＲＡＭ１０３上に確保される描画用バッファの解像度は縦長に固定される。

また本実施形態ではタブレット端末１００が「縦持ちＢ」の状態にある場合には、表示用バッファに格納される表示画像は天地逆転された表示画像となっている。図８において横持ち状態については、「縦持ちＡ」の状態とキャプチャ画像の解像度変化を生じさせないように表示用バッファへの表示画像の展開が制御されている。しかしながら、「縦持ちＢ」の状態については、「縦持ちＡ」と同様の解像度を有する表示画像が得られるため、表示用バッファへの表示画像の展開時には１８０度の回転を適用することが許容されている。つまり本ステップでは、タブレット端末１００が「縦持ちＢ」の状態にある場合は、タブレット端末１００のユーザの視認性を優先して表示部１０７の表示がなされるよう、１８０度の回転を許容している。

Ｓ６０６で、ＣＰＵ１０１は、画面送信アプリケーションの終了指示に係る制御信号を受信したか否かを判断する。ＣＰＵ１０１は、画面送信アプリケーションの終了指示に係る制御信号を受信したと判断した場合は本画面送信処理を完了し、受信していないと判断した場合は処理をＳ４０３に戻す。

一方、Ｓ６０４において液晶プロジェクタ２００が提示する画像が横長画像であると判断した場合、Ｓ４１０乃至Ｓ４１５の処理を行った後、ＣＰＵ１０１はＳ６０７で、表示用バッファに格納された表示画像を取得し、ＲＡＭ１０２に格納する。またＣＰＵ１０１は、表示用バッファに格納された表示画像が時計方向に９０度回転させる処理が適用されたものであるか否かの情報を取得する。ＣＰＵ１０１は、表示画像が時計方向に９０度回転させる処理が適用されたものである場合、反時計回りに９０度回転の指示を含む回転情報を生成する。また表示画像が時計方向に９０度回転させる処理が適用されたものではない場合、時計回りに９０度回転の指示を含む回転情報を生成する。そしてＣＰＵ１０１は、符号化処理を適用して得られたキャプチャ画像と回転情報とを通信部１１０に伝送し、液晶プロジェクタ２００に送信させる。

このように本実施形態の画面送信処理では、液晶プロジェクタ２００が提示する画像が横長画像である場合、図７の７０１のように、タブレット端末１００の姿勢によらずＶＲＡＭ１０３の描画付バッファには横持ち状態用の横長の表示画像が描画される。即ち、本実施形態の画面送信アプリケーションでは、タブレット端末１００と液晶プロジェクタ２００との通信接続が確立している間、表示部１０７に表示される表示画像は横長に固定される。つまり、通信接続が確立している間、ＶＲＡＭ１０３上に確保される描画用バッファの解像度は横長に固定される。

また本実施形態では、タブレット端末１００が「横持ちＢ」の状態にある場合には表示用バッファに格納される表示画像は時計回りに９０度回転され、それ以外の状態にある場合には表示画像は反時計回りに９０度回転された表示画像となっている。図７において縦持ち状態については、「横持ちＡ」の状態とキャプチャ画像の解像度変化を生じさせないように表示用バッファへの表示画像の展開が制御されている。しかしながら、「横持ちＢ」の状態については、「横持ちＡ」と同様の解像度を有する表示画像が得られるため、表示用バッファへの表示画像の展開時には時計回りに９０度の回転を適用することが許容されている。つまり本ステップでは、タブレット端末１００が「横持ちＢ」の状態にある場合は、タブレット端末１００のユーザの視認性を優先して表示部１０７の表示がなされるよう、「横持ちＡ」の状態とは反対回りの回転を許容している。

Ｓ６０８で、ＣＰＵ１０１は、画面送信アプリケーションの終了指示に係る制御信号を受信したか否かを判断する。ＣＰＵ１０１は、画面送信アプリケーションの終了指示に係る制御信号を受信したと判断した場合は本画面送信処理を完了し、受信していないと判断した場合は処理をＳ４１１に戻す。

このようにすることで、本実施形態の画像提示システムではタブレット端末１００の姿勢変化によらず、同様の解像度の画像を液晶プロジェクタ２００に提示させることができる。具体的には液晶プロジェクタ２００が提示する画像が横長画像である場合は図１０に示されるように、縦長画像である場合は図１１に示されるように提示されるため、観察者は解像度変化により見づらくなることなく、提示画像を観察できる。またタブレット端末１００のユーザも、把持するタブレット端末１００の姿勢を気にすることなく、画像提示を行うことができる。

なお、本実施形態の画像送信処理では、タブレット端末１００のユーザの視認性を優先して表示用バッファへの表示画像の展開において一部の回転を許容するものとして説明したが、本発明の実施はこれに限られる必要はない。即ち、タブレット端末１００の姿勢によらず表示用バッファに展開される表示画像は常に同様の上下方向を有して構成されてもよい。

また本実施形態では、液晶プロジェクタ２００から取得した画面情報を参照してＶＲＡＭ１０３に確保する描画用バッファの解像度を決定するものとして説明したが、本発明の実施はこれに限られるものではない。解像度の決定は、例えばユーザによるタブレット端末１００を縦持ち及び横持ちのいずれの状態で使用するかの選択に応じて行われてもよい。あるいは、解像度の変化に相当する姿勢変化が検出された際にユーザに通知を行い、送信する画像のアスペクト比を変更するか否かを問い合わせた応答により行われてもよい。あるいは、単に画面送信アプリケーションの実行時の表示態様を継続するように行われてもよい。

また本実施形態ではキャプチャ画像は表示用バッファから取得するものとして説明したが、これに限らず描画用バッファから取得する構成であってもよい。この場合、回転情報の送信を不要とすることができる。

また、表示用バッファへの表示画像の展開時の回転処理を、液晶プロジェクタ２００における視認性のみを考慮して行うことで、液晶プロジェクタ２００が提示する画像の視認性と、表示部１０７における表示画像の視認性との両方を優先する構成としてもよい。つまり、図１２に示されるように、表示部１０７にはタブレット端末１００の姿勢によらず常に横長（あるいは縦長）の表示画像が表示され、液晶プロジェクタ２００に送信される画像も同様に、常に横長（あるいは縦長）の画像となるように処理してもよい。

また、本実施形態では姿勢に応じたバッファ領域を確保し、そのバッファ領域に合わせた描画を行うようにしたが、必ずしもこの構成には限定されない。例えば、予め縦位置用のレイアウト情報と横位置用のレイアウト情報を予め保持しておき、姿勢に応じたレイアウト情報を参照し、表示画面をバッファに描画してもよい。

以上説明したように、本実施形態の画像送信装置は、装置の姿勢に応じた表示制御を行う該装置における表示画像を、好適に外部に提示することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 表示手段を有し、画像提示装置と通信する画像送信装置であって、
   前記画像送信装置が有する表示対象データに基づく画像を描画するための描画バッファと、
   前記画像送信装置が有する表示対象データに基づく、前記表示手段に表示する表示画像を格納するための表示バッファと、
   前記画像送信装置の姿勢を検出する検出手段と、
   前記画像提示装置の画像提示の解像度を示す情報を前記画像提示装置から取得する取得手段と、
   前記描画バッファへの画像の描画及び前記表示バッファへの表示画像の格納を制御する制御手段と、
   前記描画バッファに描画された画像を前記画像提示装置に送信する送信手段と、を有し、
   前記制御手段は、前記画像提示装置との通信接続が確立している場合、
   前記取得手段により取得された前記画像提示装置の解像度に基づく解像度で前記描画バッファの領域を確保し、前記描画バッファのレイアウトに基づいて画像を描画し、
   前記検出手段により検出された前記画像送信装置の姿勢に基づく解像度で前記表示バッファの領域を確保し、前記描画バッファに描画された画像に基づく表示画像を、前記描画されたレイアウトを維持しながら、前記表示バッファの領域に合わせて格納することを特徴とする画像送信装置。
2. 前記制御手段は、
   前記画像提示装置との通信接続が確立していない場合には、前記検出手段により検出された前記画像送信装置の姿勢に応じて、前記描画バッファの解像度を異ならせ、前記画像提示装置との通信接続が確立している場合には、前記画像送信装置の姿勢によらず前記描画バッファの解像度を変更しない
   ことを特徴とする請求項１に記載の画像送信装置。
3. 前記取得手段は、前記画像提示装置との通信接続が確立している場合に、前記画像提示装置の画像提示におけるアスペクト比を前記画像提示の解像度を示す情報として取得することを特徴とする請求項１または２に記載の画像送信装置。
4. 前記制御手段は、前記画像提示装置との通信接続が確立している場合に、該通信接続が確立した際の解像度に前記描画バッファの解像度を固定することを特徴とする請求項１または２に記載の画像送信装置。
5. 前記画像提示装置との通信接続が確立している場合に、前記検出手段により前記画像送信装置の前記表示画像の解像度を変更する姿勢の変化が検出された場合、前記制御手段は、前記描画されたレイアウトを維持して、前記変化後の姿勢に基づく解像度で確保された前記表示バッファの領域に合わせて前記表示画像を描画する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像送信装置。
6. 画像提示装置が、画像送信装置から送信された画像を提示する画像提示システムであって、
   前記画像送信装置は、
   表示手段と、
   前記画像送信装置が有する表示対象データに基づく画像を描画するための描画バッファと、
   前記画像送信装置が有する表示対象データに基づく、前記表示手段に表示する表示画像を格納するための表示バッファと、
   前記画像送信装置の姿勢を検出する検出手段と、
   前記画像提示装置の画像提示の解像度を示す情報を前記画像提示装置から取得する取得手段と、
   前記描画バッファへの画像の描画及び前記表示バッファへの表示画像の格納を制御する制御手段と、
   前記描画バッファに描画された画像を前記画像提示装置に送信する送信手段と、を有し、
   前記画像提示装置は、
   前記送信手段により送信された前記表示画像を受信する受信手段と、
   前記受信手段により受信された前記表示画像を提示する提示手段と、を有し、
   前記制御手段は、前記画像提示装置との通信接続が確立している場合、
   前記取得手段により取得された前記画像提示装置の解像度に基づく解像度で前記描画バッファの領域を確保し、前記描画バッファのレイアウトに基づいて画像を描画し、
   前記検出手段により検出された前記画像送信装置の姿勢に基づく解像度で前記表示バッファの領域を確保し、前記描画バッファに描画された画像に基づく表示画像を、前記描画されたレイアウトを維持しながら、前記表示バッファの領域に合わせて格納する
   ことを特徴とする画像提示システム。
7. 画像提示装置と通信する画像送信装置の制御方法であって、
   前記画像送信装置は、
   表示手段と、
   前記画像送信装置が有する表示対象データに基づく画像を描画するための描画バッファと、
   前記画像送信装置が有する表示対象データに基づく、前記表示手段に表示する表示画像を格納するための表示バッファと、を有し、前記制御方法が、
   前記画像送信装置の検出手段が、前記画像送信装置の姿勢を検出する検出工程と、
   前記画像送信装置の取得手段が、前記画像提示装置の画像提示の解像度を示す情報を前記画像提示装置から取得する取得工程と、
   前記画像送信装置の制御手段が、前記描画バッファへの画像の描画及び前記表示バッファへの表示画像の格納を制御する制御工程と、
   前記画像送信装置の送信手段が、前記描画バッファに描画された画像を前記画像提示装置に送信する送信工程と、を有し、
   前記制御手段は前記制御工程において、前記画像提示装置との通信接続が確立している場合、
   前記取得工程で取得された前記画像提示装置の解像度に基づく解像度で前記描画バッファの領域を確保し、前記描画バッファのレイアウトに基づいて画像を描画し、
   前記検出工程で検出された前記画像送信装置の姿勢に基づく解像度で前記表示バッファの領域を確保し、前記描画バッファに描画された画像に基づく表示画像を、前記描画されたレイアウトを維持しながら、前記表示バッファの領域に合わせて格納する
   ことを特徴とする画像送信装置の制御方法。
8. コンピュータを、請求項１乃至５のいずれか１項に記載の画像送信装置の表示手段を除く各手段として機能させるためのプログラム。

Images