JP7808375B2 - クラウドデスクトップの展示方法、装置、デバイス及び記憶媒体 - Google Patents

Description

［関連出願の相互参照］
本出願は２０２２年３月３１日に出願された名称が「クラウドデスクトップの表示方法、装置、デバイス及び記憶媒体」である第２０２２１０３２９６８０．６号の中国特許出願を参照し、参照によりその全体が本明細書に組み込まれる。

本出願の実施形態はスマートウェアラブル技術分野に関し、特にクラウドデスクトップの展示方法、装置、デバイス及び記憶媒体に関する。

仮想現実、拡張現実及び複合現実などの関連技術の高速発展に伴い、頭部装着型仮想現実メガネ、頭部装着型複合現実メガネなどのスマートグラスなど、頭部装着型スマートデバイスは次々と新しいものを開発し、且つ使用体験が徐々に向上する。

従来技術において、スマートグラスを利用してクラウドサーバが送信するクラウドデスクトップビデオを表示することができ、且つスマートグラスとセットになるハンドル又は他のコントローラによってクラウドデスクトップと相互作用を行い、これによりユーザは仮想世界においてクラウドデスクトップによってテレワークまたはレジャー活動を行うことができる。

しかし、この方式では、ユーザがスマートグラスを着用した後に現実世界の実際のシーンを感知することができないため、ユーザが現実世界のツールを使用しようとする際、スマートグラスを取り外す必要があり、それによりユーザの仮想世界における没入感を低下させる。そこで、解決策が提案される必要がある。

本出願の実施形態はクラウドデスクトップの展示方法、装置、デバイス及び記憶媒体を提供し、ユーザがウェアラブルデバイスを装着した後に依然として現実世界の実景を感知することができ、さらにユーザの仮想世界における没入感を向上させる。

本出願の実施形態はクラウドデスクトップの展示方法を提供し、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得することを含む；前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示することと、を含む。

さらにオプションとして、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得することは、クラウドデスクトップビデオストリームにおけるいずれかのフレームのクラウドデスクトップ画像について、前記クラウドデスクトップ画像のタイムスタンプを取得することを含む；前記ウェアラブルデバイスが位置する現実環境を撮影した現実景のビデオストリームから前記クラウドデスクトップ画像のタイムスタンプと同じフレーム画像を前記実景画像として選択することと、を含む。

さらにオプションとして、前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示することは、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることを含む；前記ウェアラブルデバイスの仮想シーンにおいて、前記融合画像を表示することと、を含む。

さらにオプションとして、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることは、前記実景画像を前記クラウドデスクトップ画像に重ね合わせ、前記融合画像を得ることを含む。

さらにオプションとして、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることは、前記実景画像と前記クラウドデスクトップ画像をスプライシングして前記融合画像を得ることを含む。

さらにオプションとして、前記実景画像は、両眼カメラが撮影した左視実景画像及び右視実景画像を含み、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることは、前記クラウドデスクトップ画像に対して両眼レンダリングを行い、左視仮想画像と右視仮想画像を得ること、前記左視実景画像と前記左視仮想画像を融合し、左視融合画像を得ること、及び前記右視実景画像と前記右視仮想画像を融合し、右視融合画像を得ること、を含む。

さらにオプションとして、前記ウェアラブルデバイスは、さらに視線検出モジュールを含み、前記方法は、前記視線検出モジュールによってユーザの視線を検出し、視線方向を得ることをさらに含み；前記視線方向に基づき、前記ユーザの前記仮想シーンにおける注視領域を確定し；前記注視領域が前記実景画像が位置する領域にある場合、前記実景画像を強調表示する。

本出願の実施形態は、さらにクラウドデスクトップの表示装置を提供し、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得する取得モジュールと、前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示する表示モジュールとを含む。

本出願の実施形態はさらにメモリ及びプロセッサを含む端末装置を提供し、前記メモリは１つ又は複数のコンピュータコマンドを記憶することに用いられ、クラウドデスクトップの表示方法におけるステップを実行するために、前記プロセッサは前記１つ又は複数のコンピュータコマンドを実行することに用いられる。

本出願の実施形態はさらにコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供し、コンピュータプログラムがプロセッサに実行される際、プロセッサにクラウドデスクトップの表示方法におけるステップを実行させる。

本出願の実施形態が提供するクラウドデスクトップの表示方法、装置、デバイス及び記憶媒体は、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得することができ、且つウェアラブルデバイスの仮想シーンにおいて、クラウドデスクトップ画像と同期して実景画像を表示する。この方式により、仮想シーンにおいてクラウドデスクトップ画像と同期して実景画像を表示し、ユーザがウェアラブルデバイスを装着した後に依然として現実世界の実景を感知することができ、ユーザが現実世界のツールを使用しようとする際にウェアラブルデバイスを取り外す必要がなく、それによりユーザの仮想世界における没入感を向上させる。

本発明の実施形態又は従来技術における技術的解決手段をより明確に説明するために、以下は実施形態又は従来技術の説明に使用する必要がある図面を簡単に紹介し、明らかに、以下の説明における図面は本発明のいくつかの実施形態を示すものであり、当業者は創造的な労働を伴わずに、さらにこれらの図面に基づいて他の図面を得ることが可能である。

本出願の代表的な一実施形態の提供するクラウドデスクトップの表示方法のフローチャートである； 本出願の代表的な一実施形態の提供するオーバーレイの概略図である； 本出願の代表的な一実施形態の提供するスプライシングの概略図である； 本出願の代表的な一実施形態の提供する両眼レンダリングの概略図である； 本出願の代表的な一実施形態の提供する両眼レンダリングの修正の概略図である； 本出願の代表的な一実施形態の提供する移動端末のアーキテクチャ図である； 本出願の代表的な一実施形態の提供する表示端末の概略図である； 本出願の代表的な一実施形態の提供するクラウドデスクトップの表示装置の概略図である； 本出願の代表的な一実施形態の提供する端末装置の概略図である。

本発明の実施形態の目的、技術的解決手段及び利点をより明確にするために、以下は本発明の実施形態における図面を参照し、本発明の実施形態における技術的解決手段を明確、且つ完全に説明し、明らかに、説明された実施形態は本発明の一部の実施形態であり、全ての実施形態ではない。本発明における実施形態に基づき、当業者が創造的な労働をしない前提で得られた全ての他の実施形態は、いずれも本発明の保護範囲に属する。

従来技術において、スマートグラスを利用してクラウドサーバが送信するクラウドデスクトップビデオを表示することができ、且つスマートグラスとセットになるハンドル又は他のコントローラによってクラウドデスクトップと相互作用を行い、これによりユーザは仮想世界においてクラウドデスクトップによってテレワーク又はレジャー活動を行うことができる。しかし、この方式では、ユーザがスマートグラスを着用した後に依然として現実世界の実際のシーンを感知することができないため、ユーザが現実世界のツールを使用しようとする際、スマートグラスを取り外す必要があり、それによりユーザの仮想世界における没入感を低下させる。

上記技術的問題に対し、本出願のいくつかの実施形態において、解決手段を提供し、以下は図面を参照し、本出願の各実施形態が提供する技術的解決手段を詳細に説明する。

図１は本出願の代表的な一実施形態の提供するクラウドデスクトップの表示方法のフローチャートであり、図１に示すように、該方法は、
ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得するステップ１１と、
ウェアラブルデバイスの仮想シーンにおいて、クラウドデスクトップ画像と同期して実景画像を表示するステップ１２と、を含む。

本実施形態は端末装置によって実行されることができ、ウェアラブルデバイスによって実行されることもでき、クラウドサーバによって実行されることもできる。そのうち、端末装置はコンピュータ、タブレットコンピュータ又は携帯電話等を含むことができる。そのうち、ウェアラブルデバイスは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔy）メガネ、ＭＲ（Ｍｉxｅｄ Ｒｅａｌｉｔy）メガネ、ＶＲヘッドマウントディスプレイ（（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａy）、ＨＭＤ）、ＨＭＤ）等を含むことができる。

そのうち、現実環境とは実世界における環境であり、実景画像はウェアラブルデバイスが位置する現実環境を反映するために用いられる。本実施形態において、現実環境に取り付けられたカメラによってウェアラブルデバイスが位置する現実環境を撮影し、実景ビデオストリームを得ることができる。実景画像は該実景ビデオストリームにおけるいずれかのフレーム画像である。そのうち、現実環境を撮影するためのカメラは、ウェアラブルデバイスに取り付けることができ、且つその取り付け位置はカメラの視野範囲が人間の目の視野範囲内に位置することを確保すべきであり、それにより人間の目の視線がウェアラブルデバイスに遮られた場合、カメラが人間の目を代替して現実景を観察することができる。

そのうち、クラウドデスクトップはデスクトップ仮想化、クラウドコンピュータとも呼ばれ、仮想技術を利用し、各種の物理的装置に対して仮想化処理を行うことができ、それによりリソースの利用率を効果的に向上させることで、コストを節約し、応用品質を向上させる。クラウドサーバにおけるクラウドプラットフォームに仮想デスクトップを配置した後、ユーザは任意の場所で仮想デスクトップ及びアプリケーションにアクセスすることができる。クラウドサーバはクラウドデスクトップビデオストリームをウェアラブルデバイスに送信して表示することができる。そのうち、クラウドデスクトップ画像はクラウドデスクトップビデオストリームにおけるいずれかのフレーム画像を指す。

実景画像及びクラウドデスクトップ画像を取得した後、ウェアラブルデバイスの仮想シーンにおいて、クラウドデスクトップ画像と同期して実景画像を表示することができる。

本実施形態は端末装置によって実行される時、タブレットコンピュータを例とし、タブレットコンピュータはウェアラブルデバイスから送信された実景画像及びクラウドサーバから送信されたクラウドデスクトップ画像を取得することができ、且つ実景画像及びクラウドデスクトップ画像をウェアラブルデバイスに送信して同期表示を行う。

本実施形態はウェアラブルデバイスにより実行される時、ＶＲメガネを例とし、ＶＲメガネは実景画像を収集することができ、且つクラウドサーバから送信されたクラウドデスクトップ画像を取得し、実景画像とクラウドデスクトップ画像を同期表示し；又は、端末装置はクラウドサーバから送信されたクラウドデスクトップ画像を受信し且つＶＲメガネに転送することができ；ＶＲメガネは端末装置から送信されたクラウドデスクトップ画像を取得することができ、実景画像を収集し、且つ実景画像とクラウドデスクトップ画像を同期表示する。

本実施形態はクラウドサーバによって実行される時、クラウドサーバはウェアラブルデバイスから送信された実景画像を取得することができ、且つ実景画像及びクラウドデスクトップ画像をウェアラブルデバイスに送信して同期表示を行う。

そのうち、クラウドデスクトップ画像と同期して実景画像を表示することは、ウェアラブルデバイスの仮想シーンにおいてクラウドデスクトップ画像を表示すると同時に、実景画像を表示することである。即ち、ユーザは仮想シーンにおいて仮想的なクラウドデスクトップ画像を見ることができ、また実際の実景画像を見ることができる。

このような実施形態により、仮想シーンにおいてクラウドデスクトップ画像と同期して実景画像を表示することができ、ユーザがウェアラブルデバイスを装着した後に依然として現実世界の実景を感知することができ、ユーザが現実世界のツールを使用しようとする際にウェアラブルデバイスを取り外す必要がなく、それによりユーザの仮想世界における没入感を向上させる。

同時に、実景画像を収集するためのカメラがウェアラブルデバイスに取り付けられる時、外付けのウェアラブルデバイスとセットになるハンドル又は他のコントローラを設置する必要がなくクラウドデスクトップとの相互作用を実現することができ、ハードウェアコストを低減させる一方、ウェアラブルデバイスのより一体化、軽量化に有利である。

以下の実施形態では、実行主体としてウェアラブルデバイスを例に挙げて説明する。

いくつかの選択可能な実施形態において、ウェアラブルデバイスはクラウドサーバから送信されたクラウドデスクトップビデオストリーム及びシーンを表示する実景ビデオストリームをリアルタイムに取得することができ、且つクラウドデスクトップビデオストリームにおけるクラウドデスクトップ画像及び実景ビデオストリームにおける実景画像に対してフレーム毎の同期表示を行うことができる。以下、例を挙げて説明する。

取得されたクラウドデスクトップビデオストリームにおけるいずれかのフレームのクラウドデスクトップ画像について、ウェアラブルデバイスは該クラウドデスクトップ画像のタイムスタンプを取得することができる。例えば、クラウドデスクトップ画像Ｐ１のタイムスタンプが２０：５９：０１である。さらに、ウェアラブルデバイスはウェアラブルデバイスが位置する現実環境で撮影した現実景のビデオストリームからクラウドデスクトップ画像のタイムスタンプと同じフレーム画像を選択し、実景画像とすることができる。例えば、ウェアラブルデバイスは現実景のビデオストリームからタイムスタンプが２０：５９：０１の画像Ｐ１’を選択し、実景画像とすることができる。それにより、ウェアラブルデバイスはタイムスタンプが同じである異なる画像を同期表示することができる。いくつかの可能な実際の応用シーンにおいて、クラウドデスクトップにいくつかの特定のアプリケーションを実行することができ、取得したクラウドデスクトップ画像と実景画像のタイムスタンプが同じであるため、ユーザは実景画像における特定の物品と相互作用を行うことでアプリケーションとリアルタイムな相互作用を行うことができる。例えば、ユーザは実景画像における充電器をタッチすることにより、アプリケーションにおいて対応する操作（アプリケーションのオフ、アプリケーションのオン又はアプリケーションの再起動等）を同期に実行させることができる。実行されているアプリケーションがゲームである場合、ユーザは実景画像におけるコップ又は歯ブラシ等をクリックすることにより、ゲーム中の仮想キャラクタに対応する操作（水飲み又は歯磨き等）を同期して実行させることができる。

このような実施形態により、取得したクラウドデスクトップ画像と実景画像のタイムスタンプを同じにすることができ、さらに、クラウドデスクトップ画像と実景画像の同期効果を向上させ、クラウドデスクトップ画像が実景画像と同期表示を行う時の孤立感を低減させる。

オプションとして、上記実施形態のステップ１２「ウェアラブルデバイスの仮想シーンにおいて、クラウドデスクトップ画像と同期して実景画像を表示する」操作は、
クラウドデスクトップ画像及び実景画像を融合し、融合画像を得るステップ１２１と、
ウェアラブルデバイスの仮想シーンにおいて、融合画像を表示するステップ１２２に基づいて実現することができる。

この方式により、ユーザは融合画像からクラウドデスクトップの関連情報と現実世界の関連情報を同時に観察することができ、ユーザが現実世界のツールを使用しようとする時にウェアラブルデバイスを取り外す必要がなく、さらに、ユーザがウェアラブルデバイスを使用する時に、より容易に現実世界の物と相互作用を行うことができる。

オプションとして、ウェアラブルデバイスは、
実景画像をクラウドデスクトップ画像に重ね合わせ、融合画像を得る実施形態１と、
実景画像とクラウドデスクトップ画像をスティッチングし、融合画像を得る実施形態２に基づいてクラウドデスクトップ画像及び実景画像を融合することができる。

実施形態１では、図２のＡ部分に示すように、全体の実景画像と全体のクラウドデスクトップ画像を重ね合わせることができる。図２のＢ部分に示すように、実景画像から一部の実景画像を切り出し且つクラウドデスクトップ画像の指定領域内に重ね合わせる。又は、実景画像を切り出さず、実景画像を縮小し、且つクラウドデスクトップ画像の一部の領域内に重ね合わせる。オプションとして、ユーザはウェアラブルデバイス上のエンティティキー又は仮想シーンにおける仮想キーにより、実景画像に対して拡大、縮小又は切り出し等の操作を行うことができ、且つ実景画像がクラウドデスクトップ画像に重ね合わせる領域を調整することができる。

実施形態２において、図３に示すように、実景画像とクラウドデスクトップ画像をスティッチングすることができる。オプションとして、ユーザはウェアラブルデバイス上のエンティティキー又は仮想シーンにおける仮想キーにより、実景画像に対して拡大、縮小又は切り出し等の操作を行うことができ、且つ実景画像とクラウドデスクトップ画像の位置を調整することができる。

説明すべきものとして、ユーザはウェアラブルデバイス上のエンティティキー又は仮想シーンにおける仮想キーにより、上記オーバーレイ及びスプライシングの二種類の実施形態の間に切り替えることができる。

上記実施形態により、オーバーレイ又はスプライシングによりクラウドデスクトップ画像と実景画像を融合し、ユーザはクラウドデスクトップ画像と実景画像の融合方式を自由に調整することができ、且つクラウドデスクトップ画像と実景画像をより完全に同時に観察することができる。

オプションとして、実際のシーンでは、ウェアラブルデバイスに通常左右２つのカメラが取り付けられ、両眼カメラと略称する。ウェアラブルデバイスは両眼カメラに基づいて実景画像を収集することができる。そのうち、実景画像は、両眼カメラが撮影して得られた左視実景画像及び右視実景画像を含む。そのうち、左視実景画像は両眼カメラにおける左カメラが収集した実景画像であり、且つ該左視実景画像はユーザの左眼に対応し；右視実景画像は両眼カメラにおける右カメラが収集した実景画像であり、且つ該右視実景画像はユーザの右眼に対応する。

これに基づき、ウェアラブルデバイスはクラウドデスクトップ画像及び実景画像を融合し、融合画像を取得する時、以下のステップに基づいて実現することができる：
クラウドデスクトップ画像に対して両眼レンダリングを行い、左視仮想画像と右視仮想画像を得るステップＳ１。そのうち、左視仮想画像はユーザの左眼に対応する仮想画像であり、右視仮想画像はユーザの右眼に対応する仮想画像である。
左視実景画像と左視仮想画像を融合し、左視融合画像を得る；及び右視実景画像と右視仮想画像を融合し、右視融合画像を得るステップＳ２。このステップに基づき、ユーザの左眼と右眼がそれぞれ左視融合画像と右視融合画像を見ると、ユーザの脳は左右の眼で見た画像を自動的に３Ｄの画像に合成することができる。

以下、図４を参照し、ステップＳ１における両眼レンダリングについて詳細に説明する。

図４に示すように、Ｒはメガネが要求する表示距離であり、ＦＯＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）、ｗはユーザの両眼間の距離である。

Ｄは、左右の画面に出力される画素幅、即ち、ユーザが片目で見ることができる画面の最大幅であり、以下の式１に基づいて算出することができる：
数１

クラウドデスクトップ画像におけるある画素点から中心軸までの距離をＳとし、該点の座標を（Ｓ、Ｒ）とする。

上記プロセスに基づき、それぞれ以下の式２及び式３によりこの画素点のx座標値が左視仮想画像における割合（Ｂ１で表す）、及びこの画素点のx座標値が右視仮想画像における割合（Ｂ２で表す）を算出することができる。
数２
数３

この画素点のx座標値が左視仮想画像と右視仮想画像における割合を算出した後、スクリーンの実際の画素幅ａを乗算すれば最終的なx座標値を得ることができ、y座標値は変化しない。

このような両眼レンダリングの方式により、それぞれユーザの左眼及び右眼に対応する左視仮想画像及び右視仮想画像を得ることができ、さらにユーザはウェアラブルデバイスを利用してクラウドデスクトップをよりリアルに見ることができ、ユーザとクラウドデスクトップとの相互作用における没入感を向上させる。

クラウドデスクトップ画像に対して両眼レンダリングを行った後、さらに画像融合を行うことができる。しかし、図５に示すように、上述した両眼レンダリングでは、通常、両眼カメラ間の距離とユーザの両眼間の距離とが異なるため、両眼レンダリングの後に以下の式により更なる補正を行うことができる。

図５に示すように、ｄはカメラと眼との間の偏差距離であり、以下の式に基づいて計算することができる：
数４
ここで、ｅは両眼の間の距離であり、ｗ’はカメラの間の距離である。

これに基づき、以下の式５及び式６によりカメラの右画面における左辺x座標のオフセット量ｒx１及びカメラの右画面における右辺x座標のオフセット量ｒx２を算出することができる：
数５
数６
ここで、FOV_dはカメラの視野角であり、FOV_eは眼の視野角であり、Ｒはメガネが要求する表示距離である。

上記オフセット量の算出により、さらに両眼レンダリングの後に得られた左視仮想画像及び右視仮想画像を補正し、比較的正確な仮想画像に基づき、後続融合で得られた融合画像の画質を向上させることができる。

いくつかの実施形態において、ウェアラブルデバイスは視線検出モジュールを取り付けることができる。ウェアラブルデバイスは視線検出モジュールによってユーザに対して視線検出を行い、ユーザの視線方向を得ることができる。さらに、ウェアラブルデバイスは、視線方向に基づき、ユーザの仮想シーンにおける注視領域を特定することができる。

注視領域は実景画像の位置する領域に位置すれば、実景画像を強調表示し；注視領域はクラウドデスクトップ画像の位置する領域に位置すれば、クラウドデスクトップ画像を強調表示する。

説明すべきものとして、ユーザはクラウドデスクトップ画像を長時間注視すると、実景画像を隠し且つクラウドデスクトップ画像を全画面で表示することができる；ユーザが実景画像を長時間注視すると、クラウドデスクトップ画像を隠し且つ実景画像を全画面で表示することができる。オプションとして、ウェアラブルデバイスの仮想シーンに一つの仮想キー／領域が予め設定され、ユーザが該キー／領域を注視する時、対応する機能を実行することができ、例えばクラウドデスクトップ画像を全画面で表示する、又は実景画像を全画面で表示する、又は、予め設定されたレイアウトスタイルに従ってクラウドデスクトップ画像及び実景画像を表示するなどが含まれる。

以下は図６、図７及び実際の応用シーンを参照し、クラウドデスクトップの表示方法についてさらに説明する。

図６は移動端末（即ち上述の端末装置）のビデオストリーム処理方式のアーキテクチャ図であり、図７は表示端末（即ち上述のウェアラブルデバイス）のビデオストリーム処理方式のアーキテクチャ図である。

実際のシーンにおいて、移動端末に特定のアプリケーションプログラム（以下Ｍａｐｐと略称する）をインストールすることができ、該アプリケーションプログラムは許可されたアカウント情報を取得することができる。ユーザがアカウントパスワードを入力した後、該アプリケーションプログラムはクラウドデスクトップＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ、アプリケーションプログラムインタフェース）を呼び出して権限認証を行うことができる。ユーザが入力したアカウントパスワードが認証された後、Ｍａｐｐはユーザのアカウントに対応するクラウドデスクトップ仮想マシンのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ネットワーク間の相互接続プロトコル）アドレス及びポート番号を取得することができる。

Ｍａｐｐは無線伝送の方式により、遠隔デスクトップ接続プロトコルに基づいてクラウドデスクトップ仮想マシンと接続を確立することを試みることができる。説明すべきものとして、該遠隔デスクトップ接続プロトコルは、ＴＣＰ／ＩＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコル、ＮｅｔＢＥＵＩ（ＮｅｔＢｉｏｓＥｎｈａｎｃｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）プロトコル、ＩＰＸ／ＳＰＸ（ＩｎｔｅｒｎｅｔｗｏｒｋＰａｃｋｅｔ Ｅxｃｈａｎｇｅ／Ｓｅｑｕｅｎｃｅｓ Ｐａｃｋｅｔ Ｅxｃｈａｎｇｅ）プロトコル、ＲＤＰ（Ｒｅｍｏｔｅ Ｄｉｓｐｌａy Ｐｒｏｔｏｃａｌ）プロトコル等を含むがそれらに限定されなく、本実施形態は限定されない。そのうち、ＲＤＰプロトコルはＴＣＰ／ＩＰプロトコルの上に確立されたリモートデスクトッププロトコルである。

Ｍａｐｐがクラウドデスクトップ仮想マシンとの接続を成功した後、両者の間はＩＳＯ層のリモートデスクトップ接続プロトコルに基づくデータ通信を開始することができる。表示端末がＭａｐｐに接続されない場合、Ｍａｐｐは通常のクラウドデスクトップクライアントとして動作して使用され、表示端末がＭａｐｐに接続されることを検出した場合、Ｍａｐｐはクラウドデスクトップインタフェースを直接表示せず、クラウドデスクトップ仮想マシンから返信されたクラウドデスクトップビデオストリームに対して画像処理を行い、且つ表示端末に送信して表示する。

上述したリモートデスクトップ接続プロトコルに基づく接続が全て成功した後、Ｍａｐｐプログラムは確立された仮想チャネルから、画像チャネルを識別することができる。そのうち、画像チャネルは特別な識別子を有する。Ｍａｐｐは画像チャネルから送信された画像データを取得することができ、クラウドデスクトップのオリジナルビットマップストリームデータを得る。

さらに、Ｍａｐｐはビットマップの解像度を取得することができ、且つ表示端末の解像度及びフレームレートパラメータなどのパラメータに基づき、得られたオリジナルビットマップストリームデータに対して圧縮最適化を行い、後続の画像処理効率を向上させる。

Ｍａｐｐは表示端末の他のパラメータ（瞳孔間距離（ｏｆｆｓｅｔ）、視野角（ＦＯＶ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）、レンダリング画面幅高（ｒｅｎｄｅｒ Ｗｉｄｔｈ／ｒｅｎｄｅｒ Ｈｅｉｇｈｔ）、視錐台の極大値／極小値（ｄｅｐｔｈ Ｆａｒ／ｄｅｐｔｈ Ｎｅａｒ）、レンズ焦点距離（Ｃｏｎｖｅｒｇｅｎｃｅ）又は逆歪み係数（Ａｎｔｉ－ｄｉｓｔｏｒｔｉｏｎ）など）に基づき、両眼レンダリングの入力パラメータを確定することができる。さらに、該入力パラメータに基づき、画像計算により、各フレームのクラウドデスクトップ画像に左視仮想画像と右視仮想画像を生成することができる。

Ｍａｐｐは表示端末上の両眼カメラが撮影した左視実景画像及び右視実景画像を取得することができる、且つ左視実景画像と左視仮想画像を融合し、左視融合画像を得ており、右視実景画像と右視仮想画像を融合し、右視融合画像を得る。

説明すべきものとして、Ｍａｐｐは有線接続（ｔyｐｅ－ｃ又はｌｉｇｈｔｎｉｎｇ）を介して表示端末上で動作する特定のアプリケーションプログラム（以下はＶａｐｐと略称する）と伝送チャネルを確立することができる。該伝送チャネルはさらにパッケージされた後、左視融合画像と右視融合画像をそれぞれ対応するチャネルにより、表示端末のＶａｐｐに送信することができる。表示端末Ｖａｐｐは融合画像を識別した後、それぞれ表示端末上の左右２つのスクリーンに出力して展示する。

このような実施形態により、仮想シーンにおいてクラウドデスクトップ画像と同期して実景画像を表示することができ、ユーザがウェアラブルデバイスを装着した後に依然として現実世界の実景を感知することができ、ユーザが現実世界のツールを使用しようとする時にウェアラブルデバイスを取り外す必要がなく、それによりユーザの仮想世界における没入感を向上させる。

図８は本出願の代表的な一実施形態の提供するクラウドデスクトップの表示装置の概略図であり、図８に示すように、該表示装置は、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得する取得モジュール８０１と；前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示する表示モジュール８０２とを含む。

さらにオプションとして、取得モジュール８０１はウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得する時に、具体的には、クラウドデスクトップビデオストリームにおけるいずれかのフレームのクラウドデスクトップ画像について、前記クラウドデスクトップ画像のタイムスタンプを取得すること；前記ウェアラブルデバイスが位置する現実環境を撮影した実景のビデオストリームから前記クラウドデスクトップ画像のタイムスタンプと同じフレーム画像を前記実景画像として選択することに用いられる。

さらにオプションとして、表示モジュール８０２は、前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示する時に、具体的には、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ること；前記ウェアラブルデバイスの仮想シーンにおいて、前記融合画像を表示することに用いられる。

さらにオプションとして、表示モジュール８０２は、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得る時に、具体的に、前記実景画像を前記クラウドデスクトップ画像に重ね合わせ、前記融合画像を得ることに用いられる。

さらにオプションとして、表示モジュール８０２は、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得る際に、具体的に、前記実景画像と前記クラウドデスクトップ画像をスプライシング（結合）し、前記融合画像を得ることに用いられる。

さらにオプションとして、前記実景画像は、両眼カメラが撮影した左視実景画像及び右視実景画像を含む。表示モジュール８０２は、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得る際に、具体的には、前記クラウドデスクトップ画像に対して両眼レンダリングを行い、左視仮想画像と右視仮想画像を得ること；前記左視実景画像と前記左視仮想画像を融合し、左視融合画像を得ること；及び前記右視実景画像と前記右視仮想画像を融合し、右視融合画像を得ることに用いられる。

さらにオプションとして、前記ウェアラブルデバイスは、視線検出手段をさらに含む。表示モジュール８０２はさらに、前記視線検出モジュールによりユーザの視線を検出し、視線方向を取得すること；および前記視線方向に基づいて、前記ユーザの前記仮想シーンにおける注視領域を確定することと；前記注視領域は前記実景画像が位置する領域にある場合、前記実景画像を強調表示することに用いられる。

本実施形態では、、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得でき、さらにウェアラブルデバイスの仮想シーンにおいて、クラウドデスクトップ画像と同期して実景画像を表示する。この方式により、仮想シーンにおいてクラウドデスクトップ画像と同期して実景画像を表示し、ユーザがウェアラブルデバイスを装着した後でも現実世界の実景を認識することができ、さらにユーザが現実世界のツールを使用する際にウェアラブルデバイスを取り外す必要がなくなり、それによりユーザの仮想世界における没入感が向上する。

図９は、本出願における代表的な一実施形態が提供する端末装置の構造概略図である。図９に示すように、該端末装置はメモリ９０１及びプロセッサ９０２を含む。

メモリ９０１は、コンピュータプログラムを格納するために使用され、また、端末装置での操作をサポートするために、その他の様々なデータを格納するように構成されることができる。これらのデータの例としては、端末装置上で動作するアプリケーションや方法の指示、連絡先データ、電話帳データ、メッセージ、写真、ビデオなどが含まれる。

そのうち、メモリ９０１は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、又は光ディスクなど、任意のタイプの揮発性又は不揮発性記憶装置、或いはそれらの組み合わせで実現できる。

プロセッサ９０２は、メモリ９０１に接続され、メモリ９０１に格納されたコンピュータプログラムを実行するために使用される：また、ウェアラブルデバイスが位置する現実環境の実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得すること；さらには、前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示するために使用される。

さらにオプションとして、プロセッサ９０２は、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得する際に、具体的には、クラウドデスクトップビデオストリームのいずれかのフレームのクラウドデスクトップ画像について、前記クラウドデスクトップ画像のタイムスタンプを取得すること；前記ウェアラブルデバイスが位置する現実環境を撮影した実景のビデオストリームから前記クラウドデスクトップ画像のタイムスタンプと同じフレーム画像を前記実景画像として選択するために使用される。

さらにオプションとして、プロセッサ９０２は前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示する際に、具体的には、前記クラウドデスクトップ画像と前記実景画像を融合し、融合画像を得ること；及び前記ウェアラブルデバイスの仮想シーンにおいて、前記融合画像を表示するために使用される。

さらにオプションとして、プロセッサ９０２は、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得る際に、具体的には、前記実景画像を前記クラウドデスクトップ画像に重ね合わせて前記融合画像を得るために用いられる。

さらにオプションとして、プロセッサ９０２は、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得る際に、具体的には、前記実景画像と前記クラウドデスクトップ画像をスプライシング（結合）し、前記融合画像を得るために用いられる。

さらにオプションとして、前記実景画像は、両眼カメラが撮影された左視実景画像及び右視実景画像を含む。プロセッサ９０２は、前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得る際に、具体的に、前記クラウドデスクトップ画像に対して両眼レンダリングを行い、左視仮想画像と右視仮想画像を得ること；前記左視実景画像と前記左視仮想画像を融合し、左視融合画像を得ること；及び前記右視実景画像と前記右視仮想画像を融合し、右視融合画像を得ることに用いられる。

さらにオプションとして、前記ウェアラブルデバイスには、さらに視線検出手段が含まれる。プロセッサ９０２はさらに、前記視線検出モジュールによりユーザの視線を検出し、視線方向を取得すること；前記視線方向に基づいて、前記ユーザの前記仮想シーンにおける注視領域を確定すること；前記注視領域が前記実景画像が位置する領域にある場合、前記実景画像を強調表示することに用いられる。

上述の図９に示されたメモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなど、任意のタイプの揮発性又は不揮発性記憶装置、あるいはそれらの組み合わせで実現することができる。

上記図９に示されたディスプレイ９０３は画面を含み、その画面は液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含むことができる。また、画面がタッチパネルが含まれる場合、それはタッチスクリーンとして実現され、ユーザからの入力信号を受信する。タッチパネルは１つ又は複数のタッチセンサを含み、タッチ、スライド、及びタッチパネル上のジェスチャーを検知する。前記タッチセンサは、タッチ又はスライド動作の境界を検知するだけでなく、さらに、前記タッチ又はスライド動作に関連する持続時間及び圧力を検出することも可能である。

図９に示されたオーディオコンポーネント９０４は、オーディオ信号の出力及び／又は入力を行う構成になっている。例えば、オーディオコンポはマイク（ＭＩＣ）が含まれ、オーディオコンポーネントが設置されたデバイスが、呼び出しモード、記録モード及び音声認識モードなどの動作モードにある場合、マイクは外部オーディオ信号を受信するように構成される。受信された音声信号は、さらにメモリに記憶されたり、通信コンポーネントを介して送信されたりすることができる。いくつかの実施形態において、オーディオコンポーネントにはさらにオーディオ信号を出力するためのスピーカも含まれる。

さらに、図９に示されているように、該端末装置にはさらに、通信コンポーネント９０５、電源コンポーネント９０６などの他のコンポーネントも含まれる。なお、図９は、構成要素の一部のみを概略的に示しており、端末装置が図９に示されている構成要素だけを備えているわけではない。

上述の図９に示された通信コンポーネント９０５は、デバイスと他のデバイスとの間で有線または無線による通信を可能にするように構成されている。通信コンポーネントが位置するデバイスは、ＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ又は５Ｇ、又はそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。代表的な一実施形態において、通信コンポーネントは、放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。代表的な一実施形態において、通信コンポーネントは近距離通信（ＮＦＣ）技術、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現することが可能である。

電源コンポーネント９０６は、該装置内の各コンポーネントに電力を供給する。電源コンポーネントには、電源管理システム、１つまたは複数の電源、および装置内の他の電源関連コンポーネントが含まれており、これらによって電力を生成、管理、および分配する。

本実施形態では、ウェアラブルデバイスが位置する現実環境における実景画像及びクラウドサーバが提供するクラウドデスクトップ画像を取得することができ、且つウェアラブルデバイスの仮想シーンにおいて、クラウドデスクトップ画像と同期して実景画像を表示することができる。この方式により、仮想シーンにおいてクラウドデスクトップ画像と同期して実景画像を表示し、ユーザがウェアラブルデバイスを装着した後に依然として現実世界の実景を感知でき、ユーザが現実世界のツールを使用する際にウェアラブルデバイスを取り外す必要がなくなり、それによりユーザの仮想世界における没入感が向上する。

それに応じて、本出願の実施形態では、さらにコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供し、コンピュータプログラムが実行される時に上記方法の実施形態における端末装置によって実行可能な各ステップを実現できる。

当業者であれば、本発明の実施形態が、方法、システム、又はコンピュータプログラム製品として提供可能であることを理解するべきである。したがって、本発明は完全なハードウェアの実施形態、完全なソフトウェアの実施形態、又はソフトウェアとハードウェアを結合する実施形態の形式を採用することができる。また、本発明は、１つ又は複数の、コンピュータの利用可能なプログラムコードを含む、コンピュータの利用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むがこれらに限定されない）に実施されるコンピュータプログラム製品の形式を採用することができる。

本発明は、本発明の実施形態に基づく方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明する。コンピュータプログラム命令によってフローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現できることを理解すべきである。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブルデータ処理装置のプロセッサに提供して機器を生成することができ、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行される命令はフローチャートの一つのフロー又は複数のフロー及び／又はブロック図の一つのブロック又は複数のブロックに指定された機能を実現するための装置を生成する。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置が特定の方式で動作することを案内できるコンピュータ可読メモリに記憶することができ、該コンピュータ可読メモリに記憶された命令は命令装置を含む製造品を生成し、該命令装置はフローチャートの一つのフロー又は複数のフロー及び／又はブロック図の一つのブロック又は複数のブロックに指定された機能を実現する。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置にロードすることができ、コンピュータ又は他のプログラマブル装置に一連の操作ステップを実行させ、コンピュータにより実現される処理を生成し、それによりコンピュータ又は他のプログラマブル装置に実行される命令は、フローチャートにおける一つのフロー又は複数のフロー及び／又はブロック図の一つのブロック又は複数のブロックに指定された機能を実現するためのステップを提供する。

一つの典型的な構成では、計算装置は一つ又は複数のプロセッサ（ＣＰＵ）、入力/出力インタフェース、ネットワークインタフェース及びメモリを含む。

メモリは、読み取り専用メモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈＲＡＭ）、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリなどのコンピュータ可読媒体における非永続的メモリ形式を含む可能性がある。メモリは、コンピュータ可読媒体の一例である。

コンピュータ可読媒体には、永久性と非永久性、リムーバブルと非リムーバブル媒体を含み、いかなる方法又は技術で情報記憶を実現できる。情報はコンピュータ読み取り可能な命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体としては、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他のランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又はその他のメモリ技術、読取り専用光ディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）又は他の光学記憶装置、磁気カセットテープなどが挙げられるが、これらに限定されるものではない。磁気ディスク記憶装置又は他の磁気記憶装置又は他の非伝送媒体は、計算装置がアクセス可能な情報を記憶するために用いることができる。本明細書の定義によれば、コンピュータ可読媒体は、変調されたデータ信号及び搬送波のような一時記憶コンピュータ可読媒体（ｔｒａｎｓｉｔｏｒyｍｅｄｉａ）を含まない。

説明すべき点として、用語「備える」や「含む」、またはそのいずれかの変形は、非排他的な包含を意図しており、それによって一連の要素を含む過程、方法、商品、または装置は、明確に列挙されていない他の要素を含む場合がある。また、このような過程、方法、商品、または装置に固有の要素を含むこともある。「一つの…を含む」という文によって限定された要素は、そのプロセス、方法、商品、または装置にさらに同じ要素が含まれていることを排除するものではない。

上記は本出願の実施形態に過ぎず、本出願を限定するものではない。当業者にとって、本出願には様々な変更や修正が可能である。本出願の精神と原理に基づいて行われた修正、均等な置換、改善などは、すべて本出願の請求項の範囲内に含まれるべきである。

Claims (9)

1. クラウドデスクトップの展示方法であって、
   クラウドデスクトップビデオストリームにおけるいずれかのフレームのクラウドデスクトップ画像について、前記クラウドデスクトップ画像のタイムスタンプを取得することと、
   ウェアラブルデバイスが位置する現実環境を撮影した現実景のビデオストリームから前記クラウドデスクトップ画像のタイムスタンプと同じフレーム画像を実景画像として選択することと、を含み、
   同一のタイムスタンプを有する実景画像とクラウドデスクトップ画像とを用いて、ユーザが実景画像における特定の物品と相互作用を行うことでアプリケーションとリアルタイムな相互作用を行い、
   前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示することを特徴とする、クラウドデスクトップの展示方法。
2. 前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示することは、
   前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることと、
   前記ウェアラブルデバイスの仮想シーンにおいて、前記融合画像を表示することと、を含むことを特徴とする、請求項１に記載の方法。
3. 前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることは、
   前記実景画像を前記クラウドデスクトップ画像に重ね合わせ、前記融合画像を得ることを含むことを特徴とする、請求項２に記載の方法。
4. 前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることは、
   前記実景画像と前記クラウドデスクトップ画像をスプライシングして前記融合画像を得ることを特徴とする、請求項２に記載の方法。
5. 前記実景画像は、両眼カメラにより撮影された左視実景画像及び右視実景画像を得ることを含み、
   前記クラウドデスクトップ画像及び前記実景画像を融合し、融合画像を得ることは、
   前記クラウドデスクトップ画像に対して両眼レンダリングを行い、左視仮想画像と右視仮想画像を得ること、
   前記左視実景画像と前記左視仮想画像を融合し、左視融合画像を得ること、および前記右視実景画像と前記右視仮想画像を融合し、右視融合画像を得ることを含むことを特徴とする、請求項２～４のいずれか一項に記載の方法。
6. 前記ウェアラブルデバイスが、視線検出モジュールをさらに備え、前記方法はさらに、
   前記視線検出モジュールによってユーザの視線を検出し、視線方向を取得することと、
   前記視線方向に基づき、前記ユーザの仮想シーンにおける注視領域を確定することと、
   前記注視領域が前記実景画像の位置する領域に位置する場合、前記実景画像を強調表示することと、を含むことを特徴とする請求項１～４のいずれか一項に記載の方法。
7. クラウドデスクトップの表示装置であって、
   クラウドデスクトップビデオストリームにおけるいずれかのフレームのクラウドデスクトップ画像について、前記クラウドデスクトップ画像のタイムスタンプを取得し、ウェアラブルデバイスが位置する現実環境を撮影した現実景のビデオストリームから前記クラウドデスクトップ画像のタイムスタンプと同じフレーム画像を実景画像として選択し、同一のタイムスタンプを有する実景画像とクラウドデスクトップ画像とを用いて、ユーザが実景画像における特定の物品と相互作用を行うことでアプリケーションとリアルタイムな相互作用を行うための取得モジュールと、
   前記ウェアラブルデバイスの仮想シーンにおいて、前記クラウドデスクトップ画像と同期して前記実景画像を表示するための表示モジュールと、
   を含むことを特徴とする、クラウドデスクトップの表示装置。
8. メモリ及びプロセッサを含む端末装置であって、
   前記メモリは、１つ又は複数のコンピュータコマンドを記憶するために用いられ；
   前記プロセッサは、前記１つ又は複数のコンピュータコマンドを実行し、請求項１～４のいずれか一項に記載の方法におけるステップを実行することを特徴とする、端末装置。
9. コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
   コンピュータプログラムがプロセッサにより実行された際に、プロセッサに請求項１～４のいずれか一項に記載の方法におけるステップを実行させることを特徴とする、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体。