JP7300563B2 - 拡張現実に基づいた表示方法、装置、及び記憶媒体 - Google Patents

Description

本開示の実施形態は、拡張現実に基づいた表示方法及び装置、並びに記憶媒体に関する。

拡張現実（ＡＲ）技術は、仮想情報を現実世界と統合する技術であり、様々な技術手段、例えば、マルチメディア、３次元モデリング、実時間トラッキング及びレジストレーション、インテリジェントインタラクション、及びセンシングを広く使用して、テキスト、画像、３次元モデル、音楽、及び映像などの、コンピュータにより生成された仮想情報をシミュレートし、かつ、コンピュータにより生成された仮想情報を現実世界に適用する。２種類の情報は相互補完的であり、これによって、現実世界の「拡張」（augmentation）が実装される。ＡＲ技術の発展とともに、それは様々な産業で広範囲にわたって使用されている。

先行技術でのＡＲ技術の応用は、仮想モデル（例えば、カートゥーンキャラクタモデル、動物モデル、など）を現実世界の上に重ね合わせることである。しかし、先行技術の仮想モデルは、通常は固定されており、開発者によって予め設計された仮想モデル画像である。結果として、ユーザの様々なニーズを満足することができない比較的に単一の仮想モデル画像となり、ＡＲ技術を使用しようとするユーザの意欲及びユーザ経験に影響を及ぼす。

本開示の実施形態は、仮想モデル画像が比較的に単一であり、ユーザの様々なニーズを満足することができない、という問題を解決するように、拡張現実に基づいた表示方法及び装置、並びに記憶媒体を提供する。

第１の態様では、本開示の実施形態は、拡張現実に基づいた表示方法であって、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内ターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するステップと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップと、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示するステップとを有する方法を提供する。

第２の態様では、本開示の実施形態は、拡張現実に基づいた表示装置であって、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内ターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するよう構成されるターゲットオブジェクト決定ユニットと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される生成ユニットと、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示するよう構成される表示ユニットとを有する表示装置を提供する。

第３の態様では、本開示の実施形態は、少なくとも１つのプロセッサと、メモリとを有し、メモリは、コンピュータ実行可能命令を記憶し、少なくとも１つのプロセッサは、少なくとも１つのプロセッサに、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法を実行させるように、メモリに記憶されているコンピュータ実行可能命令を実行する、電子機器を提供する。

第４の態様では、本開示の実施形態は、コンピュータ実行可能命令を記憶し、コンピュータ実行可能命令がプロセッサによって実行される場合に、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法が実装されるコンピュータ可読記憶媒体を提供する。

本開示の実施形態は、拡張現実に基づいた表示方法及び装置、並びに記憶媒体を提供する。方法は、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行することによってターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成し、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示する。ターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成することによって、仮想画像が予め設計される必要があり、画像が単一であって固定されているという問題は、回避可能である。本開示の実施形態では、様々な仮想画像がユーザ要求に応じて生成可能であり、ユーザの様々なニーズが満足され得る。仮想画像は、拡張現実技術を使用することによって実時間シーン画像において強調及び表示され得る。それにより、ＡＲ技術を使用しようとするユーザの意欲及びユーザ経験は改善され得る。

本開示の実施形態における技術的解決法又は既知の技術における技術的解決法についてより明りょうに説明するために、以下は、実施形態又は既知の技術の記載において使用される必要がある添付の図面を簡潔に紹介する。当業者にとっては当然ながら、以下で説明される添付の図面は、本開示の一部の実施形態であり、他の図面も、創造的な作業を前提とせずに、これらの図面に従って得られる。

本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。 本開示の実施形態に従う、ターゲットオブジェクト画像の輪郭を表示する例を表す図である。 本開示の実施形態に従う、ユーザが第１指示を発すること、及びターゲットオブジェクト画像を表示することの例を表す図である。 本開示の実施形態に従う、ターゲットオブジェクト画像に対応する仮想画像の例を表す図である。 本開示の実施形態に従う、実時間シーン画像において仮想画像を表示する例を表す図である。 本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。 本開示の実施形態に従う、ターゲットオブジェクトに対応する仮想画像を生成するステップの例を表す図である。 本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。 本開示の実施形態に従う拡張現実に基づいた表示装置の構造ブロック図である。 本開示の実施形態に従う電子装置のハードウェア構造を表す概略図である。

本開示の実施形態の目的、技術的解決法、及び利点をより明らかにするために、本開示の実施形態の技術的解決法は、本開示の実施形態における添付の図面を参照して以下で明りょうにかつ完全に記載される。明らかに、記載されている実施形態は、本開示の実施形態のほんの一部であり、全部ではない。本開示中の実施形態に基づき、当業者は、如何なる創造的な作業もなしで、他の実施形態を得ることができ、そのような他の実施形態は、本開示の保護範囲内にあるべきである。

本開示の実施形態は、スマートフォン、タブレットコンピュータ、及びウェアラブルデバイス、などのような、ＡＲ機能を備えているあらゆる電子機器に適用可能であり、本開示の実施形態の適用シナリオは、例えば、電子機器がその画像収集ユニットを通じて実時間シーン画像を捕捉し、実時間シーン内のターゲットオブジェクトに従って、対応する仮想画像を生成し、最後に、本開示の様々な実施形態に従う拡張現実に基づいた表示方法により、生成された仮想画像を実時間シーン画像において表示する、ことを含んでよい。例えば、実時間シーン画像内のターゲットオブジェクトは、マンゴー（mango）であり、ターゲットオブジェクト‘マンゴー’に対応する仮想画像は、本開示の実施形態における仮想画像生成方法を使用することによって、生成される。‘マンゴー’に対応する仮想画像は、実時間シーン画像において表示され、更には、仮想画像が本開示の様々な実施形態に従う拡張現実に基づいた表示方法によって処理された後で、アニメーションの形で動的に表示され得る。更に、マンゴーに対応する仮想画像は、手足及び／又は表情を有してもよく、手足及び／又は表情は、マンゴーに対応する仮想画像が実時間シーン内で動くように、特定の動作を有してもよい。

図１を参照すると、図１は、本開示の実施形態に従う拡張現実に基づいた表示方法の略フローチャートである。実施形態の方法は、ＡＲ機能を備えている電子機器又はサーバに適用されてよい。拡張現実に基づいた表示方法は、以下で記載されるステップを含み得る。

Ｓ１０１，ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行する。

実施形態において、電子機器の、カメラなどの画像収集ユニットは、実時間シーン画像を捕捉し、電子機器の表示ユニットで実時間シーン画像を表示し得る。電子機器は、実時間シーン画像からターゲットオブジェクトをセグメント化することによって、ターゲットオブジェクト画像を取得し得る。具体的に、電子機器は、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行してターゲットオブジェクト画像を取得するために、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行し得る。本開示の実施形態で使用されるオブジェクトセグメンテーションアルゴリズムは、サリエントオブジェクト（salient object）セグメンテーションアルゴリズムを含んでもよく、セグメント化中に、実時間シーン画像内の顕著な（salient）オブジェクトがターゲットオブジェクトとして使用され、ターゲットオブジェクト画像を取得するようセグメント化され得る。顕著なオブジェクトは、実時間シーン画像内の背景色とは有意な相違を有しているオブジェクトであってよく、また、実時間シーン画像の中央領域にあるオブジェクト、又は実時間シーン画像内で最大面積を占有しているオブジェクトであってもよい。例えば、図２ａに示されるように、実時間シーン画像内のマンゴーは、実時間シーン画像の中央領域に位置し、最大面積を占有しているので、ターゲットオブジェクトと見なされ得る。その上、ひと組のイヤホンは、実時間シーン画像の中央領域に位置しておらず、マンゴーよりもずっと占有面積が小さいので、ターゲットオブジェクトと見なされない。

一実施形態では、ユーザが実時間シーン画像内の特定のターゲットオブジェクト画像に対応する仮想画像を取得したい場合に、ユーザは第１指示を与えてよく、それにより、電子機器は、第１指示に従って、実時間シーン画像においてターゲットオブジェクト画像を取得する。一実施形態では、電子機器は、第１指示に従って、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクト画像に基づき、取得されたターゲットオブジェクト画像と同じターゲットオブジェクト画像を複製し、複製されたターゲットオブジェクト画像に基づき仮想画像を生成し得る。

一実施形態では、電子機器がターゲットオブジェクトをセグメント化してターゲットオブジェクト画像を取得する場合に、ターゲットオブジェクト画像はまた、タグ付けもされ得る。例えば、電子機器は、ターゲットオブジェクト画像を強調表示し得る。例えば、図２ａに示されるように、電子機器は、ストローク（strokes）によりターゲットオブジェクト画像の輪郭を強調表示することができ、あるいは、ターゲットオブジェクト画像を強調表示することもでき、あるいは、ターゲットオブジェクト画像以外の画像領域をより低い輝度で表示することができる、など。それによって、ユーザは、電子機器によって目下セグメント化されているターゲットオブジェクトが、ユーザによって要求されているターゲットオブジェクトと一致しているかどうかを確かめることができる。ターゲットオブジェクトがユーザによって要求されているターゲットオブジェクトと一致することをユーザが確認すると、ユーザは第１指示を発し得る。ここで、第１指示は、タグ付けされたターゲットオブジェクト画像に対するクリック操作指示、ドラッグ操作指示、などを含むが、これらに限られず、図２ｂに示されるように、ユーザは、ターゲットオブジェクト画像の輪郭領域内をドラッグすることによって、上記のドラッグ操作指示を与えることができる。ターゲットオブジェクトがユーザによって要求されているターゲットオブジェクトと一致しないことをユーザが確認する場合に、ユーザは電子機器を動かしてよく、それにより、電子機器の画像収集ユニットは、実時間シーン画像を捕捉し直すよう角度を変え、それからオブジェクトセグメンテーションアルゴリズムを再び実行して、実時間シーン画像内の顕著なオブジェクトをターゲットオブジェクトとしてセグメント化し、取得されたターゲットオブジェクト画像にタグ付けする。よって、ユーザは、電子機器によって決定された現在のターゲットオブジェクトがユーザによって要求されているターゲットオブジェクトと一致するかどうかを、そして、セグメンテーション効果がユーザの期待を満足するかどうかを再確認することができる。

Ｓ１０２，ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する。

実施形態において、ターゲットオブジェクト画像（例えば、オリジナルのターゲットオブジェクト画像から複製した後に取得されたターゲットオブジェクト画像）を取得した後、電子機器は、ターゲットオブジェクト画像に基づき、ターゲットオブジェクトに対応する仮想画像を生成し得る。ここで、仮想画像は、手足－身体（limb-body）動作及び／又は表情動作を有してよい。例えば、ターゲットオブジェクト画像がマンゴーの画像である場合に、対応する仮想画像は、図３に示されるように、マンゴーの画像に手足及び顔の表情を有してもよい。更に、手足及び表情は、電子機器の画面上で動くようにマンゴーの仮想画像を駆動するための特定の動作を有してもよい。

代替的に、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する場合に、ターゲットオブジェクト画像は、ターゲットオブジェクトに対応する仮想画像を生成するようアニメーション素材と合成されてもよく、アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。言い換えると、実施形態において、ターゲットオブジェクトに対応する仮想画像の手足－身体動作及び／又は表情動作は、その後の合成プロセスで使用される対応する手足－身体アニメーション素材及び／又は表情アニメーション素材を生成するよう前もってセットされてもよい。すなわち、身体アニメーション素材及び／又は表情アニメーション素材が、ターゲットオブジェクトに対応する仮想画像を取得するためにターゲットオブジェクト画像に加えられてもよく、仮想画像の手足及び／又は表情は、手足－身体アニメーション素材及び／又は表情アニメーション素材の再生に従って特定の動作を実行し得る。

Ｓ１０３，拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示する。

実施形態において、ターゲットオブジェクトの仮想画像を取得した後、電子機器は、拡張現実表示技術によって実時間シーン画像においてターゲットオブジェクトの仮想画像を表示し得る。すなわち、仮想画像は、図４に示されるように、拡張表示の効果を達成するために拡張現実表示技術によって現実の実時間シーン画像の上に重ね合わされ得る。一実施形態では、電子機器は、実時間シーン画像においてターゲットオブジェクトの仮想画像を動的に表示してもよい。

一実施形態では、電子機器は、ユーザからの第１指示に応答して、実時間シーン画像における仮想画像の拡張表示を実行し得る。第１指示は、ターゲットオブジェクト画像に対する、ユーザによって発せられたクリック操作指示、ドラッグ操作指示、音声操作指示、表情認識により得られる操作指示、などを含み得るが、それらに限られない。更に、電子機器は、仮想画像の表示位置を決定した後、実時間シーン画像内の表示位置でのターゲットオブジェクトの仮想画像の拡張表示を自動的に実行してもよい。

代替の実施形態では、ユーザは、取得された複製ターゲットオブジェクト画像をオリジナルのターゲットオブジェクト画像の初期位置から実時間シーン画像内の位置へドラッグしてもよい。更に、ターゲットオブジェクトの仮想画像は、拡張現実表示技術に基づきこの位置で表示される。代替的に、複製ターゲットオブジェクト画像に基づき生成されたターゲットオブジェクトの仮想画像は、最初に表示されてもよく、それから、仮想画像は、ユーザのドラッグ操作に基づき実時間シーン画像内の位置で表示され得る。

任意に、ユーザは、表示されている仮想画像を回転させ、ズームイン若しくはズームアウトし、又は移動するなどしてもよい。例えば、ユーザは、電子機器の表示インターフェースで仮想画像に対する制御指示を与えることができる。制御指示は、回転制御指示、ズームアウト制御指示、移動制御指示、ズームイン制御指示、などを含み得るが、これらに限られず、電子機器は、仮想画像に対するユーザの制御指示に応答して、対応する制御を仮想画像に対して実行し得る。留意されるべきは、実施形態における回転は、任意の場合の下での仮想画像の角度の変化を含んでもよく、移動は、任意の場合の下での仮想画像の位置の変化を含んでもよい点である。ズームイン又はズームアウト（スケーリング）は、任意の場合の下での仮想画像のサイズの変化を含んでもよい。当然のこととして、実施形態において、ユーザは、仮想画像との更なる他のインタラクションプロセスを実行してもよいが、これは、簡潔さのために、ここで１つずつ冗長的に記載されない。

実施形態で提供される拡張現実に基づいた表示方法は、画像収集ユニットによって捕捉された実時間シーン画像からターゲットオブジェクト画像をセグメント化することによってターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成し、拡張現実表示技術に基づき、実時間シーン画像において仮想画像を表示し得る。ターゲットオブジェクト画像を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成することによって、仮想画像が前もって設計される必要があり、画像が単一であって固定されているという問題は、回避され得る。実施形態において、様々な仮想画像がユーザ要求に応じて生成可能であり、ユーザの様々なニーズが満足され得る。仮想画像は、拡張現実技術を使用することによって実時間シーン画像内で表示可能であり、それにより、ＡＲ技術を使用しようとするユーザの意欲及びユーザ経験は、高められ得る。

上記のいずれかの実施形態に基づき、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成する場合に、ターゲットオブジェクト画像は、ターゲットオブジェクトに対応する仮想画像を生成するようアニメーション素材と合成されてよく、アニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。

任意、図５に示されるように、ターゲットオブジェクト画像をアニメーション素材と合成するステップは、具体的に、次のステップを含み得る。

Ｓ２０１，手足－身体アニメーション素材及び／又は表情アニメーション素材を取得する。

Ｓ２０２，ターゲットオブジェクト画像に基づきターゲットオブジェクト画像上の複数の接続点を決定する。

Ｓ２０３，複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成する。

実施形態において、電子機器は、最初に、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を取得してよく、手足－身体アニメーション素材及び／又は表情アニメーション素材は、電子機器で事前設定され記憶されてよい。合成が必要とされる場合に、電子機器は、手足－身体アニメーション素材及び／又は表情アニメーション素材を取り出し、それから、ターゲットオブジェクト画像の特性（例えば、形状、サイズ、テクスチャ）に基づきターゲットオブジェクト画像上の複数の接続点を決定してよく、接続点は、手足－身体アニメーション素材及び／又は表情アニメーション素材がターゲットオブジェクト画像と結合される位置である。例えば、電子機器は、ターゲットオブジェクト画像を仮想画像の身体の胴体として、及びターゲット画像上で決定された複数の接続点を手足接続点としてセットし得る。よって、接続点は、身体の胴体との手足の接続点を含み得る。更に、電子機器は次いで、ターゲットオブジェクト画像が手足を有するように、接続点を用いて手足－身体アニメーション素材をターゲットオブジェクト画像と合成し得る。更に、電子機器はまた、ターゲットオブジェクト画像に従って、ターゲットオブジェクト画像上で仮想画像の身体の胴体での表情の配置位置（例えば、身体の胴体の中心、つまり、ターゲットオブジェクト画像の中心位置）を決定し、ターゲットオブジェクト画像に対応する仮想画像も表情を有するように表情アニメーション素材をターゲットオブジェクト画像と合成してもよい。更に、手足及び／又は表情はまた、特定のアニメーション効果を有してもよく、従って、アニメーション効果を有しているターゲットオブジェクトに対応する仮想画像が、図６で詳細に示されるように、更に生成される。

上記の実施形態に基づき、ターゲットオブジェクト画像上の複数の接続点を取得するステップは、具体的に、ターゲットオブジェクト画像に基づきアニメーション素材を調整するステップと、ターゲットオブジェクト画像上の複数の接続点の位置を決定するステップとを含み得る。

実施形態において、ターゲットオブジェクト画像はサイズが様々であり得るので、アニメーション素材は、ターゲットオブジェクト画像のサイズに基づきそれに応じて調整される必要があり、それにより、調整されたアニメーション素材は、スケールにおいてターゲットオブジェクト画像と一致することができる。更に、電子機器はまた、ターゲットオブジェクト画像の形状などの因子に基づき、ターゲットオブジェクト画像上の複数の接続点の位置を決定してもよく、それにより、アニメーション素材は、良好な審美的外観をもたらすよう、適切な位置にある接続点でターゲットオブジェクト画像に接合され得る。すなわち、調整された手足－身体アニメーション素材は、ターゲットオブジェクト画像の適切な位置に位置付けられ得、調整された表情アニメーション素材も、ターゲットオブジェクト画像の適切な位置に位置付けられ得る。

本開示の実施形態における方法によれば、電子機器によって、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行することは、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するようオブジェクトセグメンテーションアルゴリズムを実行し、それによって、ターゲットオブジェクト画像のマスク及び境界ボックスを取得し、マスクの内部領域のテクスチャを取得するステップを含む。

実施形態において、オブジェクトセグメンテーションアルゴリズムを使用することによってターゲットオブジェクトをセグメント化する場合に、ターゲットオブジェクトのマスクＭａｓｋ及び境界ボックスＢｏｘ並びにマスクの内部領域のテクスチャが取得され得る。

相応して、電子機器は、境界ボックスのサイズに基づきアニメーション素材のサイズを調整し、境界ボックスの長さと幅の比及び対称軸に基づき、ターゲットオブジェクト画像上の複数の接続点の位置を調整し得る。

実施形態において、電子機器は、境界ボックスのサイズに基づきアニメーション素材のサイズを調整し、それから、境界ボックスの長さと幅の比及び対称軸に基づき、ターゲットオブジェクト画像上の複数の接続点の位置を調整し得る。言い換えると、境界ボックスのサイズが大きい場合に、アニメーション素材のサイズは適応的に大きくされ、境界ボックスのサイズが小さい場合に、アニメーション素材のサイズは適応的に小さくされる。電子機器はまた、境界ボックスの長さと幅の比及び対称軸に基づき、ターゲットオブジェクト画像上の複数の接続点の位置を決定し、例えば、上肢の接続点の位置及び下肢の接続点の位置を決定し、そして、ターゲット画像に基づきターゲット画像内の顔表情の配置位置を決定するなどし得る。手足の接続点は、ターゲットオブジェクト画像の対称軸の両側に対象に配置されてよく、接続点の具体的な位置は、長さと幅の比に基づき決定される必要がある。例えば、細長い（つまり、境界ボックスがより大きい長さと幅の比を有する）ターゲットオブジェクト画像については、上肢の接続点は上方へ移動される必要があり、下肢の接続点は下方へ移動される必要がある。ずんぐりした（つまり、境界がより小さい長さと幅の比を有する）ターゲットオブジェクト画像については、上肢の接続点は下方へ移動される必要があり、下肢の接続点は上方へ移動される必要があり、そのような調整により、最終的に取得された仮想画像は、より調和の取れた適当な身体特性を有することになる。

上記の実施形態に基づき、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成することは、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をマスクの内部領域のテクスチャと合成して、ターゲットオブジェクトに対応する仮想画像を生成することを含む。

実施形態において、電子機器は、複数の接続点を用いて、手足－身体アニメーション素材及び／又は表情アニメーション素材をマスクの内部領域のテクスチャと合成して、ターゲットオブジェクトに対応する仮想画像を取得し得る。つまり、電子機器は、マスクの内部領域のテクスチャに基づき手足－身体アニメーション素材及び／又は表情アニメーション素材を表示し得る。一実施形態では、ターゲットオブジェクト画像上の接続点及びアニメーション素材の調整されたサイズを決定した後に、電子機器は、ターゲットオブジェクトに対応する仮想画像を取得するために、複数の接続点を用いて、手足－身体アニメーション素材及び／又は表情アニメーション素材をマスクの内部領域のテクスチャと合成し得る。

更に、電子機器はまた、手足－身体アニメーション素材及び／又は表情アニメーション素材を再生することを含め、アニメーション素材を再生してもよく、よって、仮想画像に対して動き及び／又は表情制御を実行する、すなわち、仮想画像の手足及び／又は表情が対応する動きを示すことを可能にする。

具体的に、電子機器は、仮想画像に対して動き及び／又は表情制御を実行するようアニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生しても、かつ／あるいは、ターゲットオブジェクトに対応する仮想画像に対して動き及び／又は表情制御を実行するようユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生してもよい。言い換えると、上記のアニメーション素材は、前もってセットされたアニメーションフレームを含んでよく、どのような具体的なアニメーションが手足及び／又は表情について示されるかが、前もってセットされたアニメーションフレームにおいて、前もってセットされてよい。一実施形態では、電子機器はまた、実時間でユーザの画像を捕捉し、ユーザの手足－身体動作及び／又は表情動作に従って手足－身体アニメーション素材及び／又は表情アニメーション素材のアニメーションフレームを生成してもよく、そのようにして、ユーザが、ユーザの動作により、ターゲットオブジェクトに対応する仮想画像の動きを制御することができることを達成する。例えば、ユーザが特定の手足－身体動作を行う場合に、仮想画像はそれに応じて同じ手足－身体動作を示し、かつ／あるいは、ユーザが特定の表情をする場合に、仮想画像はそれに応じて同じ表情を示す。ユーザの操作経験及び満足は、ユーザの動作を用いてターゲットオブジェクトに対応する仮想画像の動作を駆動及び制御することによって、高められ得る。

上記のいずれかの実施形態に基づき、拡張現実表示技術に基づき実時間シーン画像内のターゲット位置でターゲットオブジェクトの仮想画像を表示するステップは、次の：実時間シーン画像内に仮想平面を生成し、仮想平面で３次元（３Ｄ）空間を生成し、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示する動作を含む。

実施形態において、ターゲットオブジェクトの仮想画像の拡張表示を実行する場合に、実時間シーン画像内の仮想画像の動きがより現実的かつ３次元であることを確かにするために、仮想３Ｄ空間が実時間シーン画像において作られ得る。具体的に、電子機器は、最初に仮想平面を実時間シーン画像において生み出し、次いで、仮想平面に基づき仮想平面上に３Ｄ空間を生成し、そして、拡張現実表示技術に基づき３Ｄ空間において仮想画像を表示する。

上記の実施形態に基づき、実時間シーン画像内に仮想平面を生成することは、具体的に、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成することを含んでもよく、ここで、ターゲット平面領域は、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である。あるいは、実時間シーン画像内に仮想平面を生成することは、具体的に、実時間シーン画像内の特定の位置で仮想平面を生成することを含んでもよい。

実施形態において、電子機器は、例えば、自己位置推定及びマッピングの同時実行（simultaneous localization and mapping）（ＳＬＡＭ）アルゴリズムにより、実時間シーン画像に基づき、実時間シーン画像に含まれている平面領域を検出し、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域が存在するかどうかを決定し得る。そのような平面領域が存在する場合には、検出された平面領域がターゲット平面領域として使用され得る。更に、仮想平面は、ターゲット平面領域に基づき作られ、仮想平面は、ターゲット平面領域に近くても、あるいは、ターゲット平面領域に平行であり、ターゲット平面領域まである一定距離を保ってもよい。電子機器によってターゲット平面領域が検出されない場合には、仮想平面は、実時間シーン画像内の特定の位置で作られてもよい。代替的に、電子機器はターゲット平面領域を検出せず、仮想平面は、実時間シーン画像内の特定の位置で直接に作られる。実時間シーン画像内の特定の位置は、実時間シーン画像の中央領域又は左上隅のような領域を含んでもよく、特定の位置が実時間シーン画像において具体的に位置している位置は、実際には必要に応じてセットされてよい。

上記の実施形態に基づき、生成された３Ｄ空間においてターゲットオブジェクトの仮想画像を表示する場合に、３Ｄ空間は比較的に大きい可能性があるので、仮想画像が３Ｄ空間のターゲット位置で特に表示されることが決定される必要がある。すなわち、ターゲット位置が最初に３Ｄ空間において決定されてよく、ターゲットオブジェクトの仮想画像は、拡張現実表示技術に基づき３Ｄ空間のターゲット位置で表示され得る。

上記の実施形態に基づき、３次元空間においてターゲット位置を決定することは、具体的、ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを定め、その３次元アンカーポイントをターゲット位置として使用することを含んでもよい。

実施形態において、ユーザは位置指定指示を発してよく、電子機器は、ユーザから位置指定指示を受け取った後、ユーザからの位置指定指示によってトリガされた位置ポイントを決定してよい。直線が、その直線と３Ｄ空間との間の交点を形成するように位置ポイントから３Ｄ空間へ延在し、そして、３Ｄアンカーポイントが、交点に基づき３Ｄ空間において作られる。３Ｄアンカーポイントは、３Ｄ空間において仮想画像を表示するためのターゲット位置であり、次いで、電子機器は、３Ｄ空間内の３Ｄアンカーポイントでのターゲットオブジェクトの仮想画像の拡張表示を実行し得る。

任意に、ユーザからの位置指定指示は、仮想画像上でのユーザのドラッグ操作の終了指示であってもよく、ドラッグ終了指示によってトリガされた位置（つまり、ユーザのドラッグが終了した位置）が、ユーザからの位置指定指示によってトリガされた位置ポイントである。更に、位置指定指示は、仮想画像上でのユーザのドラッグ操作の終了指示に限られず、ユーザからのクリック操作指示であってもよく、クリック操作指示によってトリガされた位置ポイント（つまり、ユーザがクリックした位置）が、ユーザからの位置指定指示によってトリガされた位置ポイントである。

当然、電子機器はまた、実時間シーン画像内の如何なる位置でも仮想モデルを表示してもよく、例えば、実時間シーン画像において電子機器によって特定された任意の平面領域に表示してもよい。当然、電子機器は、他の方法で仮想モデルの表示位置を決定してもよく、これは、ここで制限されない。

上記のいずれかの実施形態に基づき、ターゲットオブジェクト画像に基づきターゲットオブジェクトの仮想画像を生成した後、実時間シーン画像内のターゲット位置でターゲットオブジェクトの仮想画像の拡張表示を実行する前に、事前配置段が更に含まれる。すなわち、ターゲットオブジェクトに対応する仮想画像は、画像収集ユニットの前の所定の位置でサスペンドされてもよく、それから、仮想画像は、実時間シーン画像内のターゲット位置が確認された後で、ターゲット位置に表示され得る。上記のいずれかの実施形態に基づき、図７に示されるように、方法は、次のステップを更に含む。

Ｓ３０１，ユーザから第１トリガ指示を受け取り、第１トリガ指示に従って、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行する。

Ｓ３０２，ユーザから第２トリガ指示を受け取り、第２トリガ指示に従ってオブジェクトセグメンテーションアルゴリズムの実行を止める。

実施形態において、画像収集ユニットによって捕捉された実時間シーン画像においてターゲットオブジェクト画像を取得するときに、オブジェクトセグメンテーションアルゴリズムについて、オブジェクトセグメンテーションアルゴリズムが長時間実行されて、電子機器の計算資源を占有することを防ぐために、オブジェクトセグメンテーションアルゴリズムは、タイムリーに実行されて、実行を止めるよう制御され得る。オブジェクトセグメンテーションアルゴリズムが実行される必要がある場合に、ユーザは第１トリガ指示を与えることができる。第１トリガ指示は、画像収集ユニットをオンするトリガ指示、又は画像収集ユニットが実時間シーン画像を捕捉する過程でユーザがインターフェース内の開始ボタンをトリガする場合にユーザによって発せられるトリガ指示であってよい。電子機器は、ユーザからのトリガ指示に応答してオブジェクトセグメンテーションアルゴリズムを開始及び実行し、それによって、実時間シーン画像からターゲットオブジェクトをセグメント化することを開始する。

更に、電子機器が実時間シーン画像においてターゲットオブジェクト画像を取得している場合に、オブジェクトセグメンテーションアルゴリズムの実行はこの時点で停止され得る。代替的に、電子機器は、ユーザからの第２トリガ指示に応答して、オブジェクトセグメンテーションアルゴリズムの実行を停止する。例えば、ユーザは、画像収集ユニットを閉じ、あるいは、インターフェース内の停止ボタンをトリガする。代替的に、セグメント化されたターゲットオブジェクト画像を選択するためのユーザからの第１指示に応答して、電子機器は、その第１指示に従ってオブジェクトセグメンテーションアルゴリズムの実行を停止し、本開示は、ここで限定されなくてもよい。

例えば、電子機器は、アルゴリズムモジュールでオブジェクトセグメンテーションアルゴリズムを実行する。第１トリガ指示（実行するようにアルゴリズムをトリガするための指示に対応）が受け取られると、オブジェクトセグメンテーションアルゴリズムの実行が開始される。第２トリガ指示（実行を停止するようにアルゴリズムをトリガするための指示に対応）が受け取られると、オブジェクトセグメンテーションアルゴリズムの実行が停止される。

一実施形態では、ユーザがセグメント化されたターゲットオブジェクト画像を選択するための第１指示を与えた後、電子機器は、第１指示に応答して実時間シーン画像においてターゲットオブジェクト画像を取得しており、オブジェクトセグメンテーションアルゴリズムの実行はこの時点で停止され得る。

一実施形態では、ユーザはまた、長押し操作によりオブジェクトセグメンテーションアルゴリズムの開始を制御することもできる。オブジェクトセグメンテーションアルゴリズムは、長押し操作の過程で実行し続けてよい。長押し操作が終わると、オブジェクトセグメンテーションアルゴリズムの実行は終了し得る。

オブジェクトセグメンテーションアルゴリズムは、上記の方法を採用することによって適宜実行されて実行を停止するよう制御され、従って、オブジェクトセグメンテーションアルゴリズムが電子機器で長時間作動することは回避され得、電子機器の計算資源は節約され得る。

上記の実施形態における拡張現実に基づいた表示方法に対応して、図８は、本開示の実施形態に従う拡張現実に基づいた表示装置の構造ブロック図である。記載を簡単にするために、本開示の実施形態に関係がある部分のみが説明される。図８を参照して、拡張現実に基づいた表示装置８０は、ターゲットオブジェクト決定ユニット８０１、生成ユニット８０２、及び表示ユニット８０３を含む。

ターゲットオブジェクト決定ユニット８０１は、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するよう構成される。

生成ユニット８０２は、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

表示ユニット８０３は、拡張現実表示技術に基づき実時間シーン画像においてを表示するよう構成される。

本開示の１つ以上の実施形態に従って、生成ユニット８０２は、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するときに、ターゲットオブジェクト画像をアニメーション素材と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

前もってセットされたアニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。

本開示の１つ以上の実施形態に従って、生成ユニット８０２は、ターゲットオブジェクト画像をアニメーション素材と合成するときに、手足－身体アニメーション素材及び／又は表情アニメーション素材を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクト画像上の複数の接続点を決定し、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニット８０１は、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するときに、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するようオブジェクトセグメンテーションアルゴリズムを実行し、それによって、ターゲットオブジェクト画像のマスク及び境界ボックスを取得し、マスクの内部領域のテクスチャを取得するよう構成される。

本開示の１つ以上の実施形態に従って、生成ユニット８０２は、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する前記仮想画像を生成するときに、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をマスクの内部領域のテクスチャと合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

本開示の１つ以上の実施形態に従って、生成ユニット８０２は、境界ボックスのサイズに基づきアニメーション素材のサイズを調整し、境界ボックスの長さと幅の比及び対称軸に基づきターゲットオブジェクト画像上の複数の接続点の位置を調整するよう更に構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するよう更に構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するときに、アニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生して、仮想画像に対して動き及び／又は表情制御を実行するよう、かつ／あるいは、ユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生して、仮想画像に対して動き及び／又は表情制御を実行するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示するときに、実時間シーン画像内に仮想平面を生成し、仮想平面で３次元空間を生成し、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、実時間シーン画像においてターゲット平面領域に基づき仮想平面を生成するときに、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成し、ターゲット平面領域が、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である、よう、あるいは、実時間シーン画像内の特定の位置で仮想平面を生成するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するときに、３次元空間においてターゲット位置を決定し、拡張現実表示技術に基づき３次元空間内のターゲット位置でターゲットオブジェクトの仮想画像を表示するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、３次元空間においてターゲット位置を決定するとき、ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを設置し、３次元アンカーポイントをターゲット位置として使用するよう構成される。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニット８０１は、ユーザから第１トリガ指示を受け取り、第１トリガ指示に従って、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行し、ユーザから第２トリガ指示を受け取り、第２トリガ指示に従ってオブジェクトセグメンテーションアルゴリズムの実行を止めるよう更に構成される。

本開示の１つ以上の実施形態に従って、表示ユニット８０３は、実時間シーン画像において仮想画像を表示するときに、実時間シーン画像において仮想画像を動的に表示するよう構成される。

実施形態で提供される拡張現実に基づいた表示装置は、上記の方法実施形態の拡張現実に基づいた表示方法の技術的解決法を実行するために使用されてもよく、拡張現実に基づいた表示装置の実施原理及び技術的効果は、方法実施形態のそれらと同様であり、詳細は、実施形態において再びここで記載されない。

本開示の実施形態に従う電子機器９００を実装するのに適した構造を表す概略図である図９を参照する。電子機器９００は、端末デバイス又はサーバであってよく、上記の方法実施形態における拡張現実に基づいた表示方法を実行するために使用されてもよい。特に、端末デバイスは、携帯電話機、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブルアンドロイド（登録商標）デバイス（ＰＡＤ）、ポータブルメディアプレイヤー（ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）、などのような移動端末、及びデジタルＴＶ、デスクトップコンピュータ、などのような固定端末を含み得るが、これらに限られない。図９に示される電子機器は一例にすぎず、本開示の実施形態の使用の範囲及び機能に対して如何なる制限も課すべきではない。

図９に示されるように、電子機器９００は、リードオンリーメモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶デバイス９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムに従って様々な適切な動作及び処理を実行することができる処理デバイス（例えば、中央演算処理装置、グラフィクス処理ユニット、など）９０１を含み得る。ＲＡＭ９０３は、電子機器９００の動作に必要な様々なプログラム及びデータを更に記憶する。処理デバイス９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を通じて互いに接続され、入出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続されている。

通常、Ｉ／Ｏインターフェース９０５には、次のデバイス：例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープ、などを含む入力デバイス９０６；例えば、液晶ディスプレイ（ＬＣＤ）、ラウドスピーカ、バイブレータ、などを含む出力デバイス９０７；例えば、磁気テープ、ハードディスク、などを含む記憶デバイス９０８；及び通信デバイス９０９が接続され得る。通信ユニット９０９は、電子機器９００が無線により又は有線で他のデバイスと通信してデータを交換することを可能にする。図９は、様々なデバイスを備えている電子機器９００を表すが、理解されるべきは、表されている全てのデバイスが必ずしも実装又は包含されるわけではない点である。より多くの又はより少ないデバイスが代替的に実装又は包含されてもよい。

特に、本開示の実施形態に従って、フローチャートを参照して上述されたプロセスは、コンピュータソフトウェアプログラムとして実装され得る。例えば、本開示の実施形態は、コンピュータ可読媒体で運ばれるコンピュータプログラムを含むコンピュータプログラム製品を含む。コンピュータプログラムは、フローチャートに示されている方法を実行するためのプログラムコードを含み、上記の方法実施形態における拡張現実に基づいた表示方法を実行するために使用され得る。そのような実施形態では、コンピュータプログラムは、通信デバイス９０９を通じてオンラインでダウンロードされてインストールされても、あるいは、記憶デバイス９０８からインストールされても、あるいは、ＲＯＭ９０２からインストールされてもよい。コンピュータプログラムが処理デバイス９０１によって実行されると、本開示の実施形態で提供される方法で定義されている上記の機能が実行される。

留意されるべきは、本開示において上述されたコンピュータ可読媒体は、コンピュータ可読信号媒体若しくはコンピュータ可読記憶媒体又はそれらの任意の組み合わせであってよい点である。例えば、コンピュータ可読記憶媒体は、電気、磁気、光学、電磁気、赤外線、若しくは半導体システム、装置、若しくはデバイス、又はそれらの任意の組み合わせであってよいが、それらに限られない。コンピュータ可読記憶媒体のより具体的な例は、１つ以上の配線を有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらの任意の適切な組み合わせを含み得るが、それらに限られない。本開示において、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用され得るプログラムを収容又は記憶する如何なる有形媒体であってもよい。本開示において、コンピュータ可読信号媒体は、ベースバンドで又は搬送波の一部として伝播し、コンピュータ可読プログラムコードを運ぶデータ信号を含み得る。そのようにして伝播するデータ信号は、電磁気信号、光信号、又はそれらの任意の適切な組み合わせを含むが、それらに限られない様々な形を取り得る。コンピュータ可読信号媒体はまた、コンピュータ可読記憶媒体以外のあらゆるコンピュータ可読媒体であってもよい。コンピュータ可読信号媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用されるプログラムを送信、伝搬、又は伝送し得る。コンピュータ可読媒体に含まれるプログラムコードは、電気配線、光ファイバケーブル、無線周波数（ＲＦ）、など、又はそれらの任意の適切な組み合わせを含むが、それらに限られない如何なる適切な媒体も使用することによって、伝送されてよい。

上記のコンピュータ可読媒体は、上記の電子機器に含まれてよく、あるいは、電子機器内に組み立てられずに単独で存在してもよい。

上記のコンピュータ可読媒体は、１つ以上のプログラムを運んでよく、１つ以上のプログラムが電子機器によって実行されると、電子機器は、上記の実施形態で説明された方法を実行させられる。

本開示における動作を実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語又はそれらの組み合わせで記述されてよい。プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、及びＣ＋＋のようなオブジェクト指向のプログラミング言語を含み、また、“Ｃ”言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザのコンピュータで実行されるか、部分的にユーザのコンピュータで実行されるか、独立したソフトウェアパッケージとして実行されるか、部分的にユーザのコンピュータで及び部分的に遠隔のコンピュータで実行されるか、あるいは、完全に遠隔のコンピュータ又はサーバで実行され得る。遠隔のコンピュータを伴うシナリオでは、遠隔のコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む如何なるタイプのネットワークによってもユーザのコンピュータへ接続されてよく、あるいは、外部のコンピュータへ接続されても（例えば、インターネットサービスプロバイダからインターネットを通じて接続されても）よい。

添付の図面のフローチャート及びブロック図は、本開示の様々な実施形態に従うシステム、方法、及びコンピュータプログラム製品によって実装され得るシステムアーキテクチャ、機能、及び動作を表す。これに関連して、フローチャート又はブロック図の各ブロックは、モジュール、プログラムセグメント、又はコードの部分を表すことができ、モジュール、プログラムセグメント、又はコードの部分は、特定のロジック機能を実装するための１つ以上の実行可能命令を含む。また、留意されるべきは、いくつかの代替の実施において、ブロックでマークされた機能は、添付の図面に示されている順序とは異なる順序でも起こり得る点である。例えば、２つの連続したブロックは、実際には略同時に実行可能であり、それらは、ときどき、関連する機能によっては逆の順序で実行されてもよい。また、留意されるべきは、フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図のブロックの組み合わせは、特定の機能又は動作を実行するための専用のハードウェアベースシステムによって実装されてもよく、あるいは、専用のハードウェアとコンピュータ命令との組み合わせによって実行されてもよい点である。

本開示の実施形態で記載されている関連ユニットは、ソフトウェアによって実装されてもよく、あるいは、ハードウェアによって実装されてもよい。ユニットの名称は、ユニット自体に対する制限を構成しない。例えば、第１収集ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するユニット」とも記載され得る。

本開示における上記の機能は、少なくとも部分的に１つ以上のハードウェアロジックコンポーネントによって実行されてもよい。例えば、制限なしに、使用され得るハードウェアロジックコンポーネントの例示的なタイプは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（application specific standard product）（ＡＳＳＰ）、システム・オン・チップ（ＳＯＣ）、結合プログラム可能ロジックデバイス（complex programmable logic device）（ＣＰＬＤ）、などを含む。

本開示の文脈中、マシン可読媒体は、命令実行システム、装置、若しくはデバイスによって又はそれと組み合わせて使用されるプログラムを収容又は記憶し得る有形媒体であってよい。マシン可読媒体は、マシン可読信号媒体又はマシン可読記憶媒体であってよい。マシン可読媒体は、電子、磁気、光学、電磁気、赤外線、若しくは半導体システム、装置、若しくはデバイス、又はそれらの任意の適切な組み合わせを含み得るが、それらに限られない。マシン可読記憶媒体のより具体的な例は、１つ以上の配線に基づいた電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらの任意の適切な組み合わせを含み得る。

第１の態様で、本開示の１つ以上の実施形態に従って、拡張現実に基づいた表示方法が提供され、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するステップと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップと、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示するステップとを含む。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するステップは、ターゲットオブジェクトに対応する仮想画像を生成するようターゲットオブジェクト画像をアニメーション素材と合成するステップを有する。前もってセットされたアニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を有する。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト画像をアニメーション素材と合成するステップは、手足－身体アニメーション素材及び／又は表情アニメーション素材を取得するステップと、ターゲットオブジェクト画像に基づきターゲットオブジェクト画像上の複数の接続点を決定するステップと、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するステップとを有する。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するステップは、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するようオブジェクトセグメンテーションアルゴリズムを実行し、それによって、ターゲットオブジェクト画像のマスク及び境界ボックスを取得し、マスクの内部領域のテクスチャを取得するステップを有する。

本開示の１つ以上の実施形態に従って、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するステップは、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をマスクの内部領域のテクスチャと合成して、ターゲットオブジェクトに対応する仮想画像を生成するステップを有する。

本開示の１つ以上の実施形態に従って、方法は、境界ボックスのサイズに基づきアニメーション素材のサイズを調整するステップと、境界ボックスの長さと幅の比及び対称軸に基づきターゲットオブジェクト画像上の複数の接続点の位置を調整するステップとを更に有する。

本開示の１つ以上の実施形態に従って、方法は、仮想画像に対して動き及び／又は表情制御を行うためにアニメーション素材を再生するステップを更に有する。

本開示の１つ以上の実施形態に従って、仮想画像に対して動き及び／又は表情制御を行うためにアニメーション素材を再生するステップは、アニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生して、仮想画像に対して動き及び／又は表情制御を行うステップ、及び／又はユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生して、仮想画像に対して動き及び／又は表情制御を行うステップを有する。

本開示の１つ以上の実施形態に従って、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示するステップは、実時間シーン画像内に仮想平面を生成するステップと、仮想平面で３次元空間を生成するステップと、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの前記仮想画像を表示するステップとを有する。

本開示の１つ以上の実施形態に従って、実時間シーン画像においてターゲット平面領域に基づき仮想平面を生成するステップは、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成するステップであり、ターゲット平面領域は、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である、ステップ、又は実時間シーン画像内の特定の位置で仮想平面を生成するステップを有する。

本開示の１つ以上の実施形態に従って、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するステップは、３次元空間においてターゲット位置を決定するステップと、拡張現実表示技術に基づき３次元空間内のターゲット位置でターゲットオブジェクトの仮想画像を表示するステップとを有する。

本開示の１つ以上の実施形態に従って、３次元空間においてターゲット位置を決定するステップは、ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを定め、３次元アンカーポイントをターゲット位置として使用するステップを有する。

本開示の１つ以上の実施形態に従って、方法は、ユーザから第１トリガ指示を受け取り、第１トリガ指示に従って、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するステップと、ユーザから第２トリガ指示を受け取り、第２トリガ指示に従ってオブジェクトセグメンテーションアルゴリズムの実行を止めるステップとを更に有する。

本開示の１つ以上の実施形態に従って、実時間シーン画像において仮想画像を表示するステップは、実時間シーン画像において仮想画像を動的に表示するステップを有する。

第２の態様で、本開示の１つ以上の実施形態に従って、拡張現実に基づいた表示装置が提供され、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するよう構成されるターゲットオブジェクト決定ユニットと、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するよう構成される生成ユニット８０２と、拡張現実表示技術に基づき実時間シーン画像においてを表示するよう構成される表示ユニットとを含む。

本開示の１つ以上の実施形態に従って、生成ユニットは、ターゲットオブジェクト画像に基づきターゲットオブジェクトに対応する仮想画像を生成するときに、ターゲットオブジェクト画像をアニメーション素材と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

前もってセットされたアニメーション素材は、仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む。

本開示の１つ以上の実施形態に従って、生成ユニットは、ターゲットオブジェクト画像をアニメーション素材と合成するときに、手足－身体アニメーション素材及び／又は表情アニメーション素材を取得し、ターゲットオブジェクト画像に基づきターゲットオブジェクト画像上の複数の接続点を決定し、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニットは、ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するときに、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するようオブジェクトセグメンテーションアルゴリズムを実行し、それによって、ターゲットオブジェクト画像のマスク及び境界ボックスを取得し、マスクの内部領域のテクスチャを取得するよう構成される。

本開示の１つ以上の実施形態に従って、生成ユニットは、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をターゲットオブジェクト画像と合成して、ターゲットオブジェクトに対応する前記仮想画像を生成するときに、複数の接続点を用いて手足－身体アニメーション素材及び／又は表情アニメーション素材をマスクの内部領域のテクスチャと合成して、ターゲットオブジェクトに対応する仮想画像を生成するよう構成される。

本開示の１つ以上の実施形態に従って、生成ユニットは、境界ボックスのサイズに基づきアニメーション素材のサイズを調整し、境界ボックスの長さと幅の比及び対称軸に基づきターゲットオブジェクト画像上の複数の接続点の位置を調整するよう更に構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するよう更に構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、仮想画像に対して動き及び／又は表情制御を実行するためにアニメーション素材を再生するときに、アニメーション素材の前もってセットされたアニメーションフレームに従ってアニメーション素材を再生して、仮想画像に対して動き及び／又は表情制御を実行するよう、かつ／あるいは、ユーザの手足－身体動作及び／又は表情に基づきアニメーション素材のアニメーションフレームを生成及び再生して、仮想画像に対して動き及び／又は表情制御を実行するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、拡張現実表示技術に基づき実時間シーン画像において仮想画像を表示するときに、実時間シーン画像内に仮想平面を生成し、仮想平面で３次元空間を生成し、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、実時間シーン画像においてターゲット平面領域に基づき仮想平面を生成するときに、ターゲット平面領域が実時間シーン画像に存在することを検出する場合に、ターゲット平面領域に基づき仮想平面を生成し、ターゲット平面領域が、第１の前もってセットされた距離範囲内の画像収集ユニットまでの距離を有する平面領域、及び／又は実時間シーン画像の中央領域に位置している平面領域である、よう、あるいは、実時間シーン画像内の特定の位置で仮想平面を生成するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、拡張現実表示技術に基づき、生成された３次元空間において、ターゲットオブジェクトの仮想画像を表示するときに、３次元空間においてターゲット位置を決定し、拡張現実表示技術に基づき３次元空間内のターゲット位置でターゲットオブジェクトの仮想画像を表示するよう構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、３次元空間においてターゲット位置を決定するとき、ユーザから位置指定指示を受け取り、ユーザからの位置指定指示によってトリガされた位置ポイントに基づき３次元空間において３次元アンカーポイントを設置し、３次元アンカーポイントをターゲット位置として使用するよう構成される。

本開示の１つ以上の実施形態に従って、ターゲットオブジェクト決定ユニットは、ユーザから第１トリガ指示を受け取り、第１トリガ指示に従って、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行して、実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行し、ユーザから第２トリガ指示を受け取り、第２トリガ指示に従ってオブジェクトセグメンテーションアルゴリズムの実行を止めるよう更に構成される。

本開示の１つ以上の実施形態に従って、表示ユニットは、実時間シーン画像において仮想画像を表示するときに、実時間シーン画像において仮想画像を動的に表示するよう構成される。

第３の態様で、本開示の１つ以上の実施形態に従って、電子機器が提供され、少なくとも１つのプロセッサと、メモリとを含み、メモリはコンピュータ実行可能命令を記憶し、少なくとも１つのプロセッサは、少なくとも１つのプロセッサに、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法を実行させるように、メモリに記憶されているコンピュータ実行可能命令を実行する。

第４の態様で、本開示の１つ以上の実施形態に従って、コンピュータ可読記憶媒体が提供され、コンピュータ可読信号媒体はコンピュータ実行可能命令を記憶し、コンピュータ実行可能命令がプロセッサによって実行される場合に、上記の第１の態様及び第１の態様の様々な可能な設計で記載される方法が実装される。

以上の記載は、本開示の代替の実施形態の例示及び関連する技術的原理の説明にすぎない。当業者は、本開示に関連する開示の範囲が上記の技術的特徴の特定の組み合わせによって形成される技術的解決法に限られず、本開示の概念から逸脱せずに上記の技術的特徴又はその同等の特徴の任意の組み合わせによって形成される他の技術的解決法もカバーすべきであることを理解するはずである。例えば、上記の技術的特徴は、新しい技術的解決法を形成するように、ここで開示されている（しかし、限られない）同様の機能を有している技術的特徴と相互に置換されてもよい。

更に、動作は特定の順序で記載されているが、そのような動作が、述べられている特定の順序で、又は連続した順序で実行されることを要求していると解釈されるべきではない。特定の状況の下で、マルチタスク及び並列処理は有利であり得る。同様に、いくつかの具体的な実施詳細が上記の議論に含まれているが、それらは、本開示の範囲に対する制限と解釈されるべきではない。別個の実施形態に関連して記載されているいくつかの特徴は、単一の実施形態にまとめられてもよい。反対に、単一の実施形態に関連して記載されている様々な特徴は、個別的に様々な実施形態で、又は任意の適切なサブコンビネーションで複数の実施形態で、実装されてもよい。

本主題は、構造的な特徴及び／又は論理的な方法動作に特有の言語で記載されているが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴又は動作に制限されないことが理解されよう。むしろ、上記の特定の特徴又は動作は、特許請求の範囲を実施するための例示的な形態にすぎない。

本願は、２０２０年９月９日付けで出願された中国特許出願第２０２０１０９３７９２３．５号の優先権を主張するものである。この中国特許出願によって開示されている全内容は、本願の部分として参照により本願に援用される。

Claims (15)

1. 拡張現実に基づいた表示方法であって、
   ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するステップと、
   前記ターゲットオブジェクト画像に基づき前記ターゲットオブジェクトに対応する仮想画像を生成するステップと、
   拡張現実表示技術に基づき前記実時間シーン画像において前記仮想画像を表示するステップと
   を有し、
   拡張現実表示技術に基づき前記実時間シーン画像において前記仮想画像を表示する前記ステップは、
   前記実時間シーン画像内に仮想平面を生成するステップと、
   前記仮想平面で３次元空間を生成するステップと、
   前記拡張現実表示技術に基づき、生成された前記３次元空間において、前記ターゲットオブジェクトの前記仮想画像を表示するステップと
   を有し、
   前記拡張現実表示技術に基づき、生成された前記３次元空間において、前記ターゲットオブジェクトの前記仮想画像を表示する前記ステップは、
   前記３次元空間においてターゲット位置を決定するステップと、
   前記拡張現実表示技術に基づき前記３次元空間内の前記ターゲット位置で前記ターゲットオブジェクトの前記仮想画像を表示するステップと
   を有する、
   方法。
2. 前記ターゲットオブジェクト画像に基づき前記ターゲットオブジェクトに対応する仮想画像を生成する前記ステップは、
   前記ターゲットオブジェクトに対応する前記仮想画像を生成するよう前記ターゲットオブジェクト画像をアニメーション素材と合成するステップを有し、
   前記アニメーション素材は、前記仮想画像の手足－身体アニメーション素材及び／又は表情アニメーション素材を含む、
   請求項１に記載の方法。
3. 前記ターゲットオブジェクト画像をアニメーション素材と合成する前記ステップは、
   前記手足－身体アニメーション素材及び／又は前記表情アニメーション素材を取得するステップと、
   前記ターゲットオブジェクト画像に基づき前記ターゲットオブジェクト画像上の複数の接続点を決定するステップと、
   前記複数の接続点を用いて前記手足－身体アニメーション素材及び／又は前記表情アニメーション素材を前記ターゲットオブジェクト画像と合成して、前記ターゲットオブジェクトに対応する前記仮想画像を生成するステップと
   を有する、
   請求項２に記載の方法。
4. ターゲットオブジェクト画像を取得するよう、画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行する前記ステップは、
   前記実時間シーン画像内の前記ターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するようオブジェクトセグメンテーションアルゴリズムを実行し、それによって、前記ターゲットオブジェクト画像のマスク及び境界ボックスを取得し、前記マスクの内部領域のテクスチャを取得するステップを有する、
   請求項３に記載の方法。
5. 前記複数の接続点を用いて前記手足－身体アニメーション素材及び／又は前記表情アニメーション素材を前記ターゲットオブジェクト画像と合成して、前記ターゲットオブジェクトに対応する前記仮想画像を生成する前記ステップは、
   前記複数の接続点を用いて前記手足－身体アニメーション素材及び／又は前記表情アニメーション素材を前記マスクの前記内部領域の前記テクスチャと合成して、前記ターゲットオブジェクトに対応する前記仮想画像を生成するステップを有する、
   請求項４に記載の方法。
6. 前記境界ボックスのサイズに基づき前記アニメーション素材のサイズを調整するステップと、
   前記境界ボックスの長さと幅の比及び対称軸に基づき前記ターゲットオブジェクト画像上の前記複数の接続点の位置を調整するステップと
   を更に有する、請求項４又は５に記載の方法。
7. 前記仮想画像に対して動き及び／又は表情制御を行うために前記アニメーション素材を再生するステップを更に有する、
   請求項２乃至５のうちいずれか一項に記載の方法。
8. 前記仮想画像に対して動き及び／又は表情制御を行うために前記アニメーション素材を再生する前記ステップは、
   前記アニメーション素材の前もってセットされたアニメーションフレームに従って前記アニメーション素材を再生して、前記仮想画像に対して動き及び／又は表情制御を行うステップ、及び／又は
   ユーザの手足－身体動作及び／又は表情に基づき前記アニメーション素材のアニメーションフレームを生成及び再生して、前記仮想画像に対して動き及び／又は表情制御を行うステップ
   を有する、
   請求項７に記載の方法。
9. 前記実時間シーン画像内に仮想平面を生成する前記ステップは、
   ターゲット平面領域が前記実時間シーン画像に存在することを検出する場合に、該ターゲット平面領域に基づき前記仮想平面を生成するステップであり、前記ターゲット平面領域は、第１の前もってセットされた距離範囲内の前記画像収集ユニットまでの距離を有する平面領域、及び／又は前記実時間シーン画像の中央領域に位置している平面領域である、ステップ、又は
   前記実時間シーン画像内の特定の位置で前記仮想平面を生成するステップ
   を有する、
   請求項１に記載の方法。
10. 前記３次元空間においてターゲット位置を決定する前記ステップは、
    ユーザから位置指定指示を受け取り、前記ユーザからの前記位置指定指示によってトリガされた位置ポイントに基づき前記３次元空間において３次元アンカーポイントを定め、該３次元アンカーポイントを前記ターゲット位置として使用するステップを有する、
    請求項１に記載の方法。
11. ユーザから第１トリガ指示を受け取り、該第１トリガ指示に従って、プレロードされているオブジェクトセグメンテーションアルゴリズムを実行して、前記実時間シーン画像内の前記ターゲットオブジェクトに対してオブジェクトセグメンテーションを実行するステップと、
    前記ユーザから第２トリガ指示を受け取り、該第２トリガ指示に従って前記オブジェクトセグメンテーションアルゴリズムの実行を止めるステップと
    を更に有する、請求項１乃至１０のうちいずれか一項に記載の方法。
12. 前記実時間シーン画像において前記仮想画像を表示する前記ステップは、
    前記実時間シーン画像において前記仮想画像を動的に表示するステップを有する、
    請求項１乃至１１のうちいずれか一項に記載の方法。
13. 拡張現実に基づいた表示装置であって、
    画像収集ユニットによって捕捉された実時間シーン画像内のターゲットオブジェクトに対してオブジェクトセグメンテーションを実行して、ターゲットオブジェクト画像を取得するよう構成されるターゲットオブジェクト決定ユニットと、
    前記ターゲットオブジェクト画像に基づき前記ターゲットオブジェクトに対応する仮想画像を生成するよう構成される生成ユニットと、
    拡張現実表示技術に基づき前記実時間シーン画像において前記仮想画像を表示するよう構成される表示ユニットと
    を有し、
    前記表示ユニットは、拡張現実表示技術に基づき前記実時間シーン画像において前記仮想画像を表示するときに、
    前記実時間シーン画像内に仮想平面を生成し、
    前記仮想平面で３次元空間を生成するし、
    前記拡張現実表示技術に基づき、生成された前記３次元空間において、前記ターゲットオブジェクトの前記仮想画像を表示する
    よう構成され、
    前記表示ユニットは、前記拡張現実表示技術に基づき、生成された前記３次元空間において、前記ターゲットオブジェクトの前記仮想画像を表示するときに、
    前記３次元空間においてターゲット位置を決定し、
    前記拡張現実表示技術に基づき前記３次元空間内の前記ターゲット位置で前記ターゲットオブジェクトの前記仮想画像を表示する
    よう構成される、
    表示装置。
14. 少なくとも１つのプロセッサと、
    メモリと
    を有し、
    前記メモリは、コンピュータ実行可能命令を記憶し、
    前記少なくとも１つのプロセッサは、該少なくとも１つのプロセッサに請求項１乃至１２のうちいずれか一項に記載の方法を実行させるように、前記メモリに記憶されている前記コンピュータ実行可能命令を実行する、
    電子機器。
15. コンピュータ実行可能命令を記憶し、該コンピュータ実行可能命令がプロセッサによって実行される場合に、請求項１乃至１２のうちいずれか一項に記載の方法が実装されるコンピュータ可読記憶媒体。

Images