JP4996539B2 - 情報処理装置、表示方法 - Google Patents

Description

本発明は、複数のアプリケーションを同時に実行させる情報処理装置及び表示方法に関する。

一般に、マルチタスクＯＳ（Operating System）を使用したパーソナルコンピュータ等の情報機器では、ＯＳが画面描画全体を管理している。情報機器において複数のアプリケーションが並行して動作する場合、各アプリケーションは配下のウィンドウについての描画のみを行い、ＯＳが前面側に表示させるウィンドウの順序や位置、大きさ、表示タイミングの調整を行っている。ＯＳは、あるアプリケーションが全画面、最前面に表示をしている時でも同様に各アプリケーションのウィンドウ表示を調整している。

一方、動画像を再生するアプリケーションは、音声との同期、滑らかな動画像再生のために画面描画の表示タイミング、回数を正確に制御する必要がある。このようなアプリケーションのためにＯＳはフルスクリーンモードを用意している。

フルスクリーンモードでは、画面描画を行うアプリケーションを１つに限定する。アプリケーション（以降 主アプリケーション)は、フルスクリーンモードで動作している時には、画面描画の表示タイミングや回数を含めて様々な制御が可能になる。また、フルスクリーンモードの間、ＯＳは、他のアプリケーション(以降 副アプリケーション)が起動していても画面にウインドウを表示しない。

特許文献１には、複数のスクリーンデスクを透過合成して表示し、アクセスや切換えの容易化を図ったディスプレイ装置が記載されている。特許文献１に記載されたディスプレイ装置では、制御手段が、複数のフルスクリーンのディスプレイデスクが透過して他のフルスクリーンのディスプレイデスクのアイコンやウィンドウが表示されるように表示制御する。
特許第２８６１２１１号公報

従来では、フルスクリーンモードによって動画像が表示されている場合には、他のアプリケーションが動作していたとしても同アプリケーションによるウィンドウイメージをディスプレイに表示させることができなかった。従って、フルスクリーンモードでは、動画像を表示させるアプリケーション以外のアプリケーションを利用することができなかった。

本発明は上述の事情を考慮してなされたものであり、フルスクリーンモードにおいて動画像を表示中に他のアプリケーションによるウィンドウイメージを表示させることが可能な情報処理装置、表示方法を提供することを目的とする。

実施形態によれば、動画像を再生する第１のアプリケーションと、第２のアプリケーションとを同時に実行可能な情報処理装置において、第１のアプリケーションは、他のアプリケーションによる描画を排除して全画面で描画するフルスクリーンモードにより動画像を描画する描画手段と、ウィンドウイメージの取得が可能な前記第２のアプリケーションが起動しているか否かを判別する手段と、前記描画手段による前記フルスクリーンモードによる動作時に、前記判別手段により起動していると判別された前記第２のアプリケーションからの動作モードの問い合わせに対して、前記フルスクリーンモードである旨を通知するモード通知手段と、他のアプリケーションと共有するメモリ領域を通じて、前記第２のアプリケーションが出力するウィンドウイメージをキャプチャするキャプチャ手段と、前記モードの通知に対する前記第２のアプリケーションからのウィンドウイメージ更新通知に応じて、前記キャプチャ手段によりキャプチャされた前記第２のアプリケーションのウィンドウイメージを前記動画像に合成するイメージ合成手段とを具備し、前記描画手段は、前記イメージ合成手段により前記ウィンドウイメージが合成された動画像を、前記フルスクリーンモードで描画する。

本発明によれば、フルスクリーンモードにおいて動画像の表示を行っているアプリケーションによって、他のアプリケーションのウィンドウイメージを表示させることが可能となる。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成を説明する。本実施形態の情報処理装置は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０により実現されている。

パーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。

図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。

コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＴＶアプリケーションプログラム２０２（アプリケーションＡ２０２）やその他のアプリケーション（アプリケーションＢ２０３）などの各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。アプリケーションＢ２０３は、例えばユーザからの入力操作を受け付けて他のアプリケーションの動作を制御するためのアプリケーションである。ユーザからの入力操作を受け付ける方法としては、例えばパーソナルコンピュータ１０に搭載されたカメラ（図示せず）を使って人の手や指の動きをリアルタイムに認識し、その動き（ハンド・ジェスチャ）によって判別するものがある。例えば、カメラに向かって手をジャンケンのグーの形に握ると、メニュー画面が現れてマウスカーソルを操作できるようになる。この状態で手を上下左右に動かせば、手の動きに応じてカーソルが移動する。クリックは親指を立てることによって実行される。なお、ハンド・ジェスチャのリアルタイム認識処理は、ビデオプロセッサ１１３により実行されるものとする。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。

ビデオプロセッサ１１３は、映像のストリーミング処理や認識処理を行う専用エンジンである。例えば、ビデオプロセッサ１１３は、パーソナルコンピュータ１０に搭載されたカメラ（図示せず）からの画像をリアルタイム認識するための処理に使用される。例えば、アプリケーションＢ２０３が人の手や指の動き（ハンド・ジェスチャ）によってユーザからの入力操作を受け付ける場合に、手や指の動き（ハンド・ジェスチャ）を認識するための処理に使用される。

メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によって例えばハンド・ジェスチャの認識処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、ハンド・ジェスチャの認識処理が可能となる。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。

図３は、フルスクリーンモード時に動作するアプリケーションＡ４０（アプリケーションＡ２０２）とアプリケーションＢ４１（アプリケーションＢ２０３）の機能を示すブロック図である。
アプリケーションＡ４０は、ＨＤＤ１１１に記録された映像コンテンツ（放送番組データ／ビデオデータなどの動画像）を再生する再生処理を実行するものとする。アプリケーションＡ４０は、映像コンテンツ（動画像）を高品質で再生するために、フルスクリーンモードによって音声との同期や画面描画のタイミングを制御する。アプリケーションＢ４１は、アプリケーションＡ４０により映像が表示される間に並行して実行されるもので、例えばアプリケーションＡ４０の動作を制御するユーザからの入力操作（例えばハンド・ジェスチャ）を受け付けてアプリケーションＡ４０に通知する機能を有するアプリケーションとする。なお、アプリケーションＡ４０とは関係しないで独立して動作するアプリケーションであっても勿論良い。

図３に示すように、アプリケーションＡ４０には、ウィンドウイメージ合成部４０ａ、描画部４０ｂ、モード通知部４０ｃが設けられる。

ウィンドウイメージ合成部４０ａは、アプリケーションＢ４１により表示されるべきウィンドウイメージを取得して、自アプリケーションによって表示される動画像に合成する。ウィンドウイメージ合成部４０ａは、アプリケーションＡ４０とアプリケーションＢ４１とが共有するメモリ領域５０ｂを通じて、アプリケーションＢ４１のウィンドウイメージを取得する。

描画部４０ｂは、フルスクリーンモードにより動画像を描画する。描画部４０ｂは、アプリケーションＢ４１が起動されている場合、ウィンドウイメージ合成部４０ａによりアプリケーションＢ４１のウィンドウイメージが合成された動画像を描画する。

モード通知部４０ｃは、動作モードがフルスクリーンモードである場合に、アプリケーションＢ４１に対してフルスクリーンモードにより動作していることを通知する。

また、アプリケーションＢ４１には、ウィンドウイメージ書き込み部４１ａ、更新通知部４１ｂ、モード問い合わせ部４１ｃが設けられる。

ウィンドウイメージ書き込み部４１ａは、アプリケーションＡ４０がフルスクリーンモードによる動作中に、自アプリケーションにより表示すべきウィンドウイメージを、アプリケーションＡ４０と共有するメモリ領域に書き込むことで、アプリケーションＡ４０に受け渡す。

更新通知部４１ｂは、ウィンドウイメージ書き込み部４１ａによりウィンドウイメージの書込みを行った際に、アプリケーションＡ４０（ウィンドウイメージ合成部４０ａ）に対して更新通知を出力する。

モード問い合わせ部４１ｃは、アプリケーションＢ４１の起動時に、アプリケーションＡ４０が動作中であればアプリケーションＡ４０に動作モードを問い合わせる。また、モード問い合わせ部４１ｃは、動作中にアプリケーションＡ４０が起動された場合に、アプリケーションＡ４０（モード通知部４０ｃ）からの動作モードの通知を受信する。

次に、本実施形態におけるパーソナルコンピュータ１０の表示動作について説明する。まず、パーソナルコンピュータ１０による基本的な表示動作について、図４及び図５を参照しながら説明する。
図４は、アプリケーションＡ４０がフルスクリーンモードにより表示を行わない場合（ウィンドウモードの場合。各アプリケーションが描画可能）の表示動作を説明するための図である。アプリケーションＡ４０がフルスクリーンモードで表示を行っていない場合には、それぞれのアプリケーションＡ，Ｂ，Ｃが、それぞれのアプリケーションが表示しようとするウィンドウの描画を実行する。ＯＳ５０（ＯＳ２０１）は、ディスプレイ６０の表示画面おける各アプリケーションが表示するウィンドウ６０Ａ，６０Ｂ，６０Ｃの表示順序や位置、表示タイミングの調整を制御している。

図５は、通常のフルスクリーンモードにより表示を行う場合の表示動作を説明するための図である。アプリケーションＡ４０が動画像をフルスクリーンモードにより表示する場合、ＯＳ５０は、画面描画を行うアプリケーションをアプリケーションＡ４０に限定し、他のアプリケーションによる描画を排除して行わない。アプリケーションＡ４０は、ディスプレイ６０の全画面を用いて、音声との同期、滑らかな動画再生ための描画タイミングや回数などを制御して表示を行う。他のアプリケーションＢ４１及びアプリケーションＣ４２が起動していても、アプリケーションＡ４０によるフルスクリーンモードによる表示が行われているためウィンドウが表示されない。

図６は、本実施形態におけるアプリケーションＡ４０がスクリーンモードにより表示を行う場合の表示動作を説明するための図である。アプリケーションＡ４０が動画像をフルスクリーンモードにより表示する場合、アプリケーションＡ４０にウィンドウイメージを提示することができるアプリケーションＢ４１が動作中であれば、アプリケーションＢ４１が表示すべきウィンドウイメージを取得し、動画像に合成してディスプレイ６０に表示させる。従って、画面中にはアプリケーションＡ４０により表示される動画像にアプリケーションＢ４１のウィンドウイメージ６０Ｂが組み込まれた画像がフルスクリーンモードにより表示される。

次に、本実施形態におけるパーソナルコンピュータ１０のアプリケーションＡ４０とアプリケーションＢ４１による表示動作について、フローチャートを参照しながら説明する。図７は、アプリケーションＡ４０のフルスクリーンモードにおける動作を説明するためのフローチャート、図８は、アプリケーションＢ４１の動作を説明するためのフローチャートである。

まず、アプリケーションＡ４０による動作について説明する。
アプリケーションＡ４０は、フルスクリーンモードによる動画像（映像コンテンツ）の表示が起動されると（ステップＡ１）、アプリケーションＢ４１が動作中であるかを判別する。ここで、アプリケーションＢ４１が動作中でないと判別された場合（ステップＡ２、Ｎｏ）、アプリケーションＡ４０は、自アプリケーションのウィンドウイメージを読み込み（ステップＡ１１）、フルスクリーンモードによる画面描画を実行する（ステップＡ１２）（図５に示す動作状態）。

アプリケーションＡ４０は、フルスクリーンモードによる動画像（映像コンテンツ）の描画を行っている間に（ステップＡ１１〜Ａ１３）、アプリケーションＢ４１が起動されることによって、アプリケーションＢ４１から動作モードの問い合わせがあると、モード通知部４０ｃによってフルスクリーンモードによる動作中であることを通知する（ステップＡ１５）。

アプリケーションＡ４０は、アプリケーションＢ４１が起動された後、アプリケーションＢ４１（更新通知部４１ｂ）から更新通知がなければ（ステップＡ４、Ｎｏ）、自アプリケーションのウィンドウイメージを読み込み（ステップＡ５）、フルスクリーンモードによる画面描画を継続して実行する（ステップＡ８）。

一方、フルスクリーンモードによる画面描画中に（ステップＡ９、Ｎｏ）、アプリケーションＢ４１から更新通知を受け取ると（ステップＡ４、Ｙｅｓ）、アプリケーションＡ４０のウィンドウイメージ合成部４０ａは、アプリケーションＢ４１と共有しているメモリ領域５０ｂを通じてアプリケーションＢ４１のウィンドウイメージを読み込み（ステップＡ６）、メモリ領域５０ａにおいて自アプリケーションのウィンドウイメージ、すなわちフルスクリーンモードによって描画中の動画像に合成する（ステップＡ７）。描画部４０ｂは、ウィンドウイメージ合成部４０ａによってアプリケーションＢ４１のウィンドウイメージが合成された動画像をフルスクリーンモードによって描画する（ステップＡ８）。

すなわち、画像描画のタイミングはフルスクリーンモードにおいてアプリケーションＡ４０が制御するため、アプリケーションＢ４１は、自アプリケーションのウィンドウイメージがいつ表示するのか制御することができない。アプリケーションＡ４０が頻繁に画面描画を行っている場合には問題ないが、例えば動画像の一時停止がユーザによって指示されることによって画面描画を停止する場合もある。こうした場合、アプリケーションＢ４１がウィンドウイメージを更新したとしても、それがアプリケーションＡ４０による画面描画が再開されるまで表示されなくなってしまう。そこで、アプリケーションＢ４１は、ウィンドウイメージ書き込み部４１ａによってウィンドウイメージの書き込みを行った場合に、更新通知部４１ｂによりアプリケーションＡ４０（ウィンドウイメージ合成部４０ａ）に対して更新通知を出力することによって、動画その表示が一時停止されている場合であってもウィンドウイメージをアプリケーションＡ４０により描画させることができる。

なお、アプリケーションＡ４０は、フルスクリーンモードによる動画像の表示が終了すると（ステップＡ９、Ｙｅｓ）、アプリケーションＢ４１に対してフルスクリーンモードが終了したことを通知する（ステップＡ１０）。これにより、アプリケーションＢ４１においてウィンドウイメージをアプリケーションＡ４０に受け渡すためのウィンドウイメージの書き込みを終了させることができる。

また、アプリケーションＡ４０は、起動時にアプリケーションＢ４１が動作中であった場合には（ステップＡ１，Ａ２、Ｙｅｓ）、モード通知部４０ｃによってアプリケーションＢ４１（モード通知部４０ｃ）に対して、フルスクリーンモードに移行したことを通知する（ステップＡ３）。これにより、動作中のアプリケーションＢ４１に対して、ウィンドウイメージを受け渡すように動作させることができる。

次に、アプリケーションＢ４１による動作について説明する。
アプリケーションＢ４１は、ウィンドウイメージを表示する機能が起動されると（ステップＢ１）、フルスクリーンモードにより描画を行うアプリケーションＡ４０が動作中であるか判別する。

ここで、アプリケーションＡ４０が動作中でない場合（ステップＢ２、Ｎｏ）、アプリケーションＢ４１は、通常動作としてウィンドウイメージをメモリに書き込む。アプリケーションＢ４１に書き込まれたウィンドウイメージは、ＯＳ５０の制御によりディスプレイ６０に描画される。アプリケーションＢ４１は、アプリケーションＡ４０がフルスクリーンモードにより動作していなければ、ウィンドウイメージを表示する機能が終了するまで（ステップＢ１１、Ｙｅｓ）、配下のウィンドウについての描画のみを行う（図４に示す動作状態）。

一方、通常の動作中にアプリケーションＡ４０のモード通知部４０ｃからフルスクリーンモードへ移行したことが通知されると（ステップＢ１０、Ｙｅｓ）、モード問い合わせ部４１ｃは、ウィンドウイメージ書き込み部４１ａに通知する。

ウィンドウイメージ書き込み部４１ａは、自アプリケーションのウィンドウイメージをアプリケーションＡ４０に受け渡すために、アプリケーションＡ４０と共有しているメモリ領域５０ｂに対してウィンドウイメージの書き込みを行う（ステップＢ５）。また、更新通知部４１ｂは、ウィンドウイメージ書き込み部４１ａによるウィンドウイメージの書き込みに伴って、アプリケーションＡ４０（ウィンドウイメージ合成部４０ａ）に対して更新通知を出力する（ステップＢ６）。

以下、アプリケーションＡ４０がフルスクリーンモードによる動作中には、アプリケーションＢ４１は、自アプリケーションのウィンドウイメージをアプリケーションＡ４０に共有メモリを通じて提供することにより、アプリケーションＡ４０によるフルスクリーンモードにおいて表示させることができる（ステップＢ５〜Ｂ８）。

なお、アプリケーションＢ４１は、ウィンドウイメージを表示する機能が終了するまでに（ステップＢ８、Ｙｅｓ）、アプリケーションＡ４０のモード通知部４０ｃからフルスクリーンモードの終了が通知された場合には（ステップＢ７、Ｙｅｓ）、通常の動作に戻る（ステップＢ９〜Ｂ１１）。

また、アプリケーションＢ４１は、機能起動時にアプリケーションＡ４０が起動中であった場合には（ステップＢ１、Ｂ２、Ｙｅｓ）、モード問い合わせ部４１ｃによってアプリケーションＡ４０（モード通知部４０ｃ）に対して、フルスクリーンモードの動作中であるかを問い合わせる。これにより、起動時に、アプリケーションＡ４０によるフルスクリーンモードに対応する動作をするか、あるいは通常動作をするかを判別することができる。

このように、アプリケーションＡ４０にモード通知部４０ｃを設け、アプリケーションＢ４１にモード問い合わせ部４１ｃを設けることによって、アプリケーションＡ４０とアプリケーションＢ４１が相互に常に動作を監視している必要がない。すなわち、アプリケーションＡ４０は、フルスクリーンモードへの移行時にアプリケーションＢ４１が動作中であれば通知し、フルスクリーンモード時にアプリケーションＢ４１が起動された場合には、アプリケーションＢ４１からの問い合わせに対して応答すれば良い。また、アプリケーションＢ４１は、起動時にアプリケーションＡ４０が動作中であれば動作モードを確認し、起動後にアプリケーションＡ４０がフルスクリーンモードに移行された場合には、アプリケーションＡ４０からのモード変更の通知に応じて動作を変更すれば良い。

このようにして、本実施形態におけるパーソナルコンピュータ１０では、フルスクリーンモードによってアプリケーションＡ４０が動作する場合、アプリケーションＢ４１のウィンドウイメージをアプリケーションＡ４０による描画される動画像に合成して表示させることができるので、フルスクリーンモード時であってもアプリケーションＢ４１を使用することが可能となる。また、アプリケーションＡ４０とアプリケーションＢ４１で画面更新のタイミングが異なる場合でも、ウィンドウイメージの更新が滞ることがない。

図９には、アプリケーションＡ４０によるフルスクリーンモードによる動画像の表示中にアプリケーションＢ４１が起動された場合の表示画面の具体例を示す図である。
図９に示す例では、アプリケーションＢ４１は、人の手や指の動き（ハンド・ジェスチャ）によってユーザから動画像の再生を制御するための入力操作を受け付け、アプリケーションＡ４０に通知する機能を有するアプリケーションとする。アプリケーションＢ４１が起動されると、アプリケーションＢ４１のウィンドウイメージとして、図９に示すように、再生、停止、一時停止、早送り等を指示するためのボタンが設けられたコントロールパネルＡの他、特定機能を指示するための複数の機能エリアＢ，Ｃ，Ｄ．Ｅを表示する。また、人の手の動きに追随して移動されるポインタＰが表示されている。

アプリケーションＢ４１は、コントロールパネルＡ、機能エリアＢ，Ｃ，Ｄ．Ｅ、及びポインタＰを、アプリケーションＡ４０と共有するメモリ領域５０ｂを通じて受け渡すことによって、フルスクリーンモードにより表示中の動画像と共に表示させることができる。図９に示す例では、アプリケーションＢ４１のウィンドウイメージを半透明化して合成している例であるが、半透明化しないで合成することも勿論可能である。

アプリケーションＢ４１は、例えばパーソナルコンピュータ１０に搭載されたカメラ（図示せず）により撮影された画像から人の手や指の動きをリアルタイムに認識するもので、カメラに向かって手をジャンケンのグーの形に握られたことを検出すると、コントロールパネルＡや機能エリアと共にポインタＰを表示させる。そして、手が上下左右に動かされたことを検知して、その手の動きに応じてポインタＰを移動させ、例えば親指を立てる操作がされたことを検知して、選択操作（クリック）がされたものと判別する。アプリケーションＢ４１は、コントロールパネルＡを通じて指示された入力操作をアプリケーションＡ４０に通知して、アプリケーションＡ４０による動画再生を制御させる。

図９の例であれば、アプリケーションＢ４１がジェスチャ入力に応じて各種制御を行うアプリケーションであるが、このアプリケーションはアプリケーションＡ４０以外のプログラムに対する操作制御も可能であるので、アプリケーションＡ４０と同一プログラムとして構成するのは困難である。一方で、アプリケーションＡ４０の再生制御を行うためのユーザ操作のためにはコントロールパネルＡの描画が必要であるが、アプリケーションＢ４１のように再生制御を行うアプリケーションが動画再生を行うアプリケーションＡ４０とは別に設けられていると、フルスクリーンモードではアプリケーションＢ４１は描画することができない。よって、このような場合に、アプリケーションＡ４０が、アプリケーションＢ４１が出力するウィンドウイメージを描画することとする本実施例の方式は顕著な効果を得ることができる。

なお、アプリケーションＢ４１は、フルスクリーンモードにより表示を行うアプリケーションＡ４０の制御だけでなく、フルスクリーンモードにより表示を行わない他のアプリケーションの制御用に利用することもできる。アプリケーションＢ４１は、アプリケーションＡ４０がフルスクリーンモードにより動作している場合に、ウィンドウイメージをアプリケーションＢ４１に受け渡すことで、アプリケーションＡ４０と並行して動作させて利用可能とする。

また、前述したアプリケーションＢ４１は、アプリケーションＡ４０に対して更新通知を出力し、アプリケーションＡ４０と共有するメモリ領域５０ｂを通じてウィンドウイメージを受け渡す機能を有しているが、こうした機能を有していないアプリケーションＣ４２のウィンドウイメージを、前述と同様にしてアプリケーションＡ４０によるフルスクリーンモードにおいて表示させることができる。

アプリケーションＣ４２は、動作中にアプリケーションＡ４０の動作モードに関係なく自アプリケーションにより表示すべきウィンドウイメージの描画を例えばメモリ領域５０ｃに描画を行っている。

アプリケーションＡ４０は、アプリケーションＣ４２によってメモリ領域５０ｃに描画されているウィンドウイメージをキャプチャしてメモリ領域５０ｂに書き込む。以下、アプリケーションＡ４０は、前述したように、ウィンドウイメージ合成部４０ａによりメモリ領域５０ｂに書き込まれたアプリケーションＣ４２のウィンドウイメージを動画像に合成し、このウィンドウイメージが合成された動画像を描画部４０ｂによりフルスクリーンモードにより表示させる。

これにより、アプリケーションＡ４０とは関係なく動作するアプリケーションＣ４２のウィンドウイメージについても、アプリケーションＡ４０によってフルスクリーンモードで表示される画面中に表示させることができる。この場合、アプリケーションＣ４２がウィンドウイメージの書き換えを頻繁に行うアプリケーションである場合には、アプリケーションＣ４２のウィンドウイメージをキャプチャの頻度も、それに合わせで実行することが好ましい。これにより、アプリケーションＣ４２のウィンドウイメージを滑らかに表示させることができる。なお、アプリケーションＣ４２がウィンドウイメージの書き換えを頻繁に行わない場合、例えば静止画やテキストを表示するアプリケーションである場合には、キャプチャの頻度が高くなくても良い。

なお、前述した説明では、アプリケーションＡ４０は、１つのアプリケーションＢ４１のウィンドウイメージを表示するものとして説明しているが、２つ以上の他のアプリケーションのウィンドウイメージを表示するようにしても良い。アプリケーションＡ４０は、前述した説明と同様にして、フルスクリーンモード時に各アプリケーションのウィンドウイメージをメモリなどを通じて取得して自アプリケーションのウィンドウイメージに合成して表示する。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本実施形態におけるコンピュータ１０のディスプレイユニットを開いた状態における斜視図。 コンピュータ１０のシステム構成について示すブロック図。 フルスクリーンモード時に動作するアプリケーションＡ４０とアプリケーションＢ４１の機能を示すブロック図。 アプリケーションＡ４０がフルスクリーンモードにより表示を行わない場合の表示動作を説明するための図。 通常のフルスクリーンモードにより表示を行う場合の表示動作を説明するための図。 本実施形態におけるアプリケーションＡ４０がスクリーンモードにより表示を行う場合の表示動作を説明するための図。 アプリケーションＡ４０のフルスクリーンモードにおける動作を説明するためのフローチャート。 アプリケーションＢ４１の動作を説明するためのフローチャート。 アプリケーションＡ４０によるフルスクリーンモードによる動画像の表示中にアプリケーションＢ４１が起動された場合の表示画面の具体例を示す図。

符号の説明

１０…パーソナルコンピュータ、１０１…ＣＰＵ、１１３…ビデオプロセッサ、４０…アプリケーションＡ、４０ａ…ウィンドウイメージ合成部、４０ｂ…描画部、４０ｃ…モード通知部、４１…アプリケーションＢ、４１ａ…ウィンドウイメージ書き込み部、４１ｂ…更新通知部、４１ｃ…モード問い合わせ部、５０…ＯＳ、６０…ディスプレイ。

Claims (15)

1. 動画像を再生する第１のアプリケーションと、第２のアプリケーションとを同時に実行可能な情報処理装置において、
   第１のアプリケーションは、
   他のアプリケーションによる描画を排除して全画面で描画するフルスクリーンモードにより動画像を描画する描画手段と、
   ウィンドウイメージの取得が可能な前記第２のアプリケーションが起動しているか否かを判別する手段と、
   前記描画手段による前記フルスクリーンモードによる動作時に、前記判別手段により起動していると判別された前記第２のアプリケーションからの動作モードの問い合わせに対して、前記フルスクリーンモードである旨を通知するモード通知手段と、
   他のアプリケーションと共有するメモリ領域を通じて、前記第２のアプリケーションが出力するウィンドウイメージをキャプチャするキャプチャ手段と、
   前記モードの通知に対する前記第２のアプリケーションからのウィンドウイメージ更新通知に応じて、前記キャプチャ手段によりキャプチャされた前記第２のアプリケーションのウィンドウイメージを前記動画像に合成するイメージ合成手段とを具備し、
   前記描画手段は、前記イメージ合成手段により前記ウィンドウイメージが合成された動画像を、前記フルスクリーンモードで描画する情報処理装置。
2. 動画像を再生する第１のアプリケーションと、第２のアプリケーションとを同時に実行する情報処理装置において、
   第１のアプリケーションは、
   フルスクリーンモードにより全画面で動画像を描画する描画手段と、
   前記フルスクリーンモードによる動作時に、前記第２のアプリケーションが出力するウィンドウイメージをキャプチャするキャプチャ手段と、
   前記キャプチャ手段によりキャプチャされた前記第２のアプリケーションのウィンドウイメージを前記動画像に合成するイメージ合成手段とを具備し、
   前記描画手段は、前記イメージ合成手段により前記ウィンドウイメージが合成された動画像を、前記フルスクリーンモードで描画する情報処理装置。
3. 前記第１のアプリケーションは、前記イメージ合成手段によりウィンドウイメージの取得が可能な前記第２のアプリケーションが起動しているか否かを判別する手段と、
   前記判別手段により前記第２のアプリケーションが起動していると判別された場合に、前記第２のアプリケーションに対して動作モードを通知するモード通知手段とをさらに具備する請求項２記載の情報処理装置。
4. 前記第１のアプリケーションの前記描画手段は、他のアプリケーションも描画可能なウィンドウモードと、前記フルスクリーンモードとのいずれかのモードにより前記動画像が描画可能であり、
   前記モード通知手段は、前記第１のアプリケーションは、前記イメージ合成手段によりウィンドウイメージの取得が可能な前記第２のアプリケーションが動作している場合であって、前記フルスクリーンモードへの移行時に、前記第２のアプリケーションに対して動作モードの移行を通知する請求項１または請求項２記載の情報処理装置。
5. 前記イメージ合成手段は、前記第２のアプリケーションからのウィンドウイメージを更新したことを示す更新通知に応じて、前記ウィンドウイメージの合成を行うことを特徴とする請求項２記載の情報処理装置。
6. 前記モード通知手段は、前記描画手段による前記フルスクリーンモードによる動作時に、前記第２のアプリケーションからの動作モードの問い合わせに対して、前記フルスクリーンモードである旨を通知することを特徴とする請求項２記載の情報処理装置。
7. 前記イメージ合成手段は、前記第２のアプリケーションと共有するメモリ領域を通じて前記ウィンドウイメージを取得することを特徴とする請求項２記載の情報処理装置。
8. 前記第２のアプリケーションは、
   前記第１のアプリケーションがフルスクリーンモードによる動作中に、自アプリケーションにより表示すべきウィンドウイメージを前記メモリ領域に書き込むウィンドウイメージ書き込み手段と、
   前記ウィンドウイメージ書込み手段によりウィンドウイメージの書込みを行った際に更新通知を出力する更新通知手段とを具備することを特徴とする請求項１または請求項５記載の情報処理装置。
9. 動画像を再生する第１のアプリケーションと、第２のアプリケーションとを同時に実行可能な情報処理装置における表示方法であって、
   第１のアプリケーションは、
   他のアプリケーションによる描画を排除して全画面で描画するフルスクリーンモードでの動作時に、ウィンドウイメージの取得が可能な前記第２のアプリケーションが起動しているか否かを判別し、
   起動していると判別された前記第２のアプリケーションからの動作モードの問い合わせに対して、前記フルスクリーンモードである旨を通知し、
   他のアプリケーションと共有するメモリ領域を通じて、前記第２のアプリケーションが出力するウィンドウイメージをキャプチャし、
   前記モードの通知に対する前記第２のアプリケーションからのウィンドウイメージ更新通知に応じて、前記キャプチャ手段によりキャプチャされた前記第２のアプリケーションのウィンドウイメージを前記動画像に合成し、
   このウィンドウイメージが合成された動画像を前記フルスクリーンモードにより描画する表示方法。
10. 動画像を再生する第１のアプリケーションと、第２のアプリケーションとを同時に実行する情報処理装置における表示方法であって、
    第１のアプリケーションは、
    フルスクリーンモードによる動作時に、前記第２のアプリケーションが出力するウィンドウイメージをキャプチャし、
    キャプチャされた前記第２のアプリケーションのウィンドウイメージを前記動画像に合成し、
    前記ウィンドウイメージが合成された動画像を、前記フルスクリーンモードで描画する表示方法。
11. 前記第１のアプリケーションは、ウィンドウイメージの取得が可能な前記第２のアプリケーションが起動しているか否かを判別し、
    前記第２のアプリケーションが起動していると判別された場合に、前記第２のアプリケーションに対して動作モードを通知する請求項１０記載の表示方法。
12. 前記第１のアプリケーションは、前記第２のアプリケーションからのウィンドウイメージを更新したことを示す更新通知に応じて、前記ウィンドウイメージを合成する請求項１０記載の表示方法。
13. 前記第１のアプリケーションは、前記フルスクリーンモードによる動作時に、前記第２のアプリケーションからの動作モードの問い合わせに対して、前記フルスクリーンモードである旨を通知する請求項１０記載の表示方法。
14. 前記第１のアプリケーションは、他のアプリケーションと共有するメモリ領域を通じて前記ウィンドウイメージを取得する請求項１０記載の表示方法。
15. 前記第２のアプリケーションは、
    前記第１のアプリケーションが前記フルスクリーンモードによる動作中に、自アプリケーションにより表示すべきウィンドウイメージを前記メモリ領域に書き込み、
    このウィンドウイメージの書込みを行った際に更新通知を前記第１のアプリケーションに対して出力する請求項９または請求項１２記載の表示方法。

Images