JP2023515205A - 表示方法、装置、端末機器及びコンピュータプログラム - Google Patents

Abstract

表示方法、装置、端末機器及び記憶媒体であって、前記方法は、ユーザの現在の画像上での注視情報を取得するステップ（１１０）と、前記注視情報に基づいて、対応する目標奥行き平面を決定するステップ（１２０）と、残りの奥行き平面の表示パラメータを調整するステップであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、ステップ（１３０）と、を含む。該方法を利用することにより、ユーザが視聴する現在の画像の奥行き感を高めることができる。【選択図】図１

Description

本発明の実施例は、コンピュータ技術分野に関し、特に表示方法、装置、端末機器及び記憶媒体に関する。

仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）技術は、仮想世界を作成して体験できるコンピュータシミュレーションシステムであり、ＶＲ技術は、コンピュータを利用して仮想環境を生成し、マルチソース情報を融合するインタラクティブな３次元動的ビューとエンティティ行動のシステムシミュレーションであり、ユーザを該環境に没入させる。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）技術は、仮想情報と現実世界を巧みに融合する技術であり、マルチメディア、３次元モデリング、リアルタイム追跡及び登録、インテリジェントインタラクション、センシングなどの多種の技術手段を広く利用して、コンピュータで生成されたテキスト、画像、３次元モデル、音楽、ビデオなどの仮想情報を模擬・シミュレーションして、現実世界に適用し、２種の情報を相互に補完し、それにより現実世界に対する「拡張」を実現する。

ＶＲ及びＡＲ技術を利用した仮想シーンの開発過程では、ユーザの視覚システムによる奥行きの知覚を十分に利用してより強い立体感と奥行き感を生み出す必要がある。しかしながら、例えば視野角が小さすぎるシーン又は遠方の物体を含むシーンなどのいくつかのシーンでは、ユーザの視覚システムだけでは仮想シーンでの立体感と奥行き感を実現することができない。

本発明の少なくとも一部の実施例は、表示方法、装置、端末機器及び記憶媒体を提供し、該方法を利用することにより、ユーザが視聴する現在の画像の奥行き感を高める。

本発明の一実施例では、表示方法が提供され、ユーザの現在の画像上での注視情報を取得するステップと、前記注視情報に基づいて、対応する目標奥行き平面を決定するステップと、残りの奥行き平面の表示パラメータを調整するステップであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、ステップと、を含む。

１つの選択可能な実施例では、前記注視情報は注視点情報を含み、前記注視情報に基づいて、対応する目標奥行き平面を決定する前記ステップは、前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む。

１つの選択可能な実施例では、前記表示パラメータはぼかし半径を含む。

１つの選択可能な実施例では、前記残りの奥行き平面の数が少なくとも２つである場合、各残りの奥行き平面のぼかし半径は、該残りの奥行き平面と前記目標奥行き平面との距離に正比例する。

１つの選択可能な実施例では、前記残りの奥行き平面と前記目標奥行き平面との距離は、前記残りの奥行き平面の距離情報と前記目標奥行き平面の距離情報との差により決定される。

１つの選択可能な実施例では、該方法は、仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面及び対応する距離情報を決定するステップをさらに含み、前記現在の画像は、前記仮想現実又は拡張現実ビデオに現在表示されている画像であり、前記距離情報は、対応する奥行き平面と前記ユーザとの絶対距離情報である。

１つの選択可能な実施例では、仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面を決定する前記ステップは、前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得するステップと、前記目標画像に含まれる物体の奥行き情報を取得するステップと、各前記奥行き情報に基づいて前記目標画像を分割して少なくとも１つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するステップと、を含む。

１つの選択可能な実施例では、同一の奥行き平面に含まれる物体の奥行き情報は同じである。

本発明の一実施例では、表示装置がさらに提供され、ユーザの現在の画像上での注視情報を取得するように構成される取得モジュールと、前記注視情報に基づいて、対応する目標奥行き平面を決定するように構成される決定モジュールと、残りの奥行き平面の表示パラメータを調整するように構成される調整モジュールであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、調整モジュールと、を含む。

本発明の一実施例では、端末機器がさらに提供され、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するように構成される記憶装置と、を含み、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに本発明の実施例に係る方法を実現させる。

本発明の一実施例では、コンピュータ可読記憶媒体がさらに提供され、コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行されると、本発明の実施例に係る方法を実現する。

本発明の少なくとも一部の実施例は、表示方法、装置、端末機器及び記憶媒体を提供し、先ず、ユーザの現在の画像上での注視情報を取得し、次に、前記注視情報に基づいて、対応する目標奥行き平面を決定し、最後に、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定される残りの奥行き平面の表示パラメータを調整する。上記技術的解決手段を利用することにより、ユーザが視聴する現在の画像の奥行き感を高めることができる。

図１は本発明の実施例１に係る表示方法のフローチャートである。 図２は本発明の実施例２に係る表示方法のフローチャートである。 図３ａは本発明の実施例２に係る画像前処理効果の模式図である。 図３ｂは本発明の実施例２に係る複数の奥行き平面を含むシーンの模式図である。 図４は本発明の実施例３に係る表示装置の構造模式図である。 図５は本発明の実施例４に係る端末機器の構造模式図である。

以下、図面及び実施例を参照しながら、本発明をさらに詳細に説明する。ここで説明される具体的な実施例は、本発明を解釈するためのものに過ぎず、本発明を限定するものではないことを理解されたい。また、説明されるように、説明を容易にするために、図面では、全部の構造ではなく本発明に関連する一部の構造のみが示されている。

例示的な実施例をより詳細に検討する前に言及されるように、いくつかの例示的な実施例は、フローチャートとして示される処理又は方法として説明されている。フローチャートは、各項の操作（又はステップ）を逐次処理として説明するが、そのうちの多くの操作は、並列的に、並行的に又は同時に実施され得る。また、各項の操作の順序は再設定され得る。その操作が完了すると、前記処理が終了する場合があるが、図面に含まれていない追加のステップを有する場合もある。前記処理は、方法、関数、規程、サブルーチン、サブプログラムなどに対応することができる。また、矛盾がない場合、本発明における実施例及び実施例における特徴を互いに組み合わせることができる。

本発明で使用される「含む」という用語及びその変形は、開放的なものであり、すなわち「含むがこれらに限定されない」ことを意味する。「に基づく」という用語は、「少なくとも部分的に基づく」ことを意味する。「１つの実施例」という用語は、「少なくとも１つの実施例」を意味する。

（実施例１）
図１は本発明の実施例１に係る表示方法のフローチャートであり、該方法は、画像の奥行き感を向上させる状況に適用でき、該方法は、表示装置により実行され得、該装置は、ソフトウェア及び／又はハードウェアにより実現され、一般的に端末機器に集積されてもよく、本実施例では、端末機器は、ＶＲ機器などの仮想現実シーンの表示を実現できる機器、又はＡＲ機器などの拡張現実シーンの表示を実現できる機器を含むが、これらに限定されない。

該実施例に係る表示方法は、３次元仮想シーンの奥行き知覚強化方法と見なしてもよく、奥行き知覚とは、人間の眼の視覚システムが異なる物体の遠近を判断する過程を指す。一般的には、視覚システムが奥行きを知覚する手がかりの源は２つの種類に分けられる。第１種類は単眼手がかりであり、このような手がかりは単眼の視覚情報のみから取得できる。他の種類は両眼手がかりであり、両眼の協力を必要とする。

焦点合わせと焦点ぼけは、視覚システムが奥行きを知覚する主な単眼手がかりの１つである。観察者が特定の物体を注視するとき、該物体の周辺の同一の奥行き平面にある画面は、相対的に鮮明（焦点合わせ）になり、異なる奥行き平面にある画面は、相対的にぼかし（焦点ぼけ）になり、ぼかしの程度は、奥行き平面間の絶対距離差により影響される。

両眼視差は、視覚システムが奥行きを知覚する主な両眼手がかりの１つである。物体が観察者に近いほど、両眼が見た物体の差が大きくなり、両眼視差が形成される。脳は、この視差を計測することにより、物体と眼の距離を推定することができる。

該実施例に係る表示方法は、アイトラッキング技術を利用してユーザが画像を視聴する時の奥行き感を高め、アイトラッキング技術は、アイトラッカーを用いて画像認識アルゴリズムにより注視点を推定することができる。アイトラッキングは、視線追跡とも呼ばれ、眼の動き状況を計測することにより眼の視線及び／又は注視点を推定することができる。視線は、１つの３次元ベクトルとして理解されてもよく、注視点は、上記３次元ベクトルの特定の平面、例えば注視された平面上での２次元座標として理解されてもよい。

該実施例に係る表示方法は、該光学記録法における瞳孔－角膜反射法によりアイトラッキングを実現できるとともに、眼部画像に基づかない方法、例えば接触／非接触センサ（例えば電極、容量センサ）により眼の動きを推定することができる。

光学記録法は、カメラ又はビデオカメラを用いて被験者の眼の動き状況を記録し、すなわち眼の動きを反映する眼部画像を取得し、及び視線／注視点を推定するモデルを確立するために取得された眼部画像から眼部特徴を抽出する。眼部特徴は、瞳孔位置、瞳孔形状、虹彩位置、虹彩形状、まぶた位置、眼角位置、光スポット（プルキンエ像とも呼ばれる）位置などを含んでもよい。

瞳孔－角膜反射法の作動原理は、眼部画像の取得、眼部画像に基づいた視線／注視点の推定に概要されてもよい。

瞳孔－角膜反射法のハードウェア要件としては、
光源：赤外線光線が眼の視覚に影響しないため、一般的に赤外線光源であり、例えば品字型及び／又は一字型などの所定の方式で配列される複数の赤外線光源であってもよく、
画像収集機器：例えば赤外線撮像機器、赤外線画像センサ、カメラ又はビデオカメラなど。

瞳孔－角膜反射法の具体的な実施としては、
眼部画像の取得：光源が眼を照射し、画像収集機器により眼部を撮影し、撮影光源の角膜上での反射点である光スポット（プルキンエ像とも呼ばれる）に応答して、光スポット付きの眼部画像を取得する。

視線／注視点の推定：眼球が回転するにつれて、瞳孔の中心と光スポットの相対位置関係が変化し、収集された光スポット付きの複数の眼部画像に応答してこの位置変化関係を反映する。

前記位置変化関係に基づいて視線／注視点を推定する。

図１に示すように、該実施例に係る表示方法は以下のステップを含む。

Ｓ１１０、ユーザの現在の画像上での注視情報を取得する。

本発明のシーンは、ユーザが拡張現実画像を視聴するシーン、又はユーザが仮想現実ビデオを視聴するシーンであってもよい。例えば、ユーザがＶＲ機器により仮想現実ビデオを視聴するシーンが挙げられる。

本実施例では、ユーザは、現在画像を視聴している人であってもよい。現在の画像は、ユーザが現在注視している画像であってもよい。注視情報は、ユーザが現在の画像を注視している時の眼部を表す情報として理解されてもよい。注視情報は、視線情報及び注視点情報を含むが、これらに限定されず、視線情報は、方向などのユーザの視線を表す情報であってもよい。注視点情報は、座標などのユーザの注視点を表す情報であってもよい。注視情報は、視線追跡機器により取得されてもよく、視線追跡機器は、例えばＶＲ又はＡＲ機器などの、現在の画像を表示する機器に取り付けられてもよい。

本発明は、瞳孔－角膜反射法によりユーザの現在の画像上での注視情報を取得してもよく、他の方法を使用してユーザの注視情報を取得してもよく、例えば、眼球追跡装置は、ＭＥＭＳ赤外線走査反射鏡、赤外線光源、赤外線受信機を含むＭＥＭＳ微小電気機械システムであってもよく、他の別の実施例では、眼球追跡装置は、眼球と容量極板との間の容量値に基づいて眼球の動きを検出する容量センサであってもよく、他のさらに別の実施例では、眼球追跡装置は、例えば鼻筋、額、耳又は耳たぶに電極を配置することにより、検出された筋電流信号パターンに基づいて眼球の動きを検出する筋電流検出器であってもよい。ここでは限定されない。

Ｓ１２０、前記注視情報に基づいて、対応する目標奥行き平面を決定する。

目標奥行き平面は、現在の画像における注視情報に対応する奥行き平面として理解されてもよい。例示的には、注視情報が注視点情報である場合、目標奥行き平面は、現在の画像上での注視点情報に対応する目標物体が位置する奥行き平面と見なしてもよい。

理解できるように、現在の画像には複数の物体が含まれてもよく、各物体には物体情報が予め設定され、物体情報は、該物体を識別することに用いられてもよい。物体情報は、位置情報及び奥行き情報を含み、奥行き情報は、物体の現在の画像での奥行きを表す情報と見なしてもよい。各奥行き情報は１つの奥行き平面に対応でき、それにより、各物体は１つの奥行き平面に対応できる。目標奥行き平面は、ユーザが現在注視している物体の奥行き平面と見なしてもよい。目標物体は、ユーザが現在注視している物体と見なしてもよい。

目標奥行き平面を決定するとき、注視情報と現在の画像に含まれる物体の物体情報における位置情報とをマッチングして、注視情報に対応する物体情報を決定し、物体情報における奥行き平面に基づいて、目標奥行き平面を決定する。

１つの選択可能な実施例では、注視情報が注視点情報である場合、注視点情報と現在の画像に含まれる物体の物体情報における位置情報とを比較することができ、例えば座標の比較を行う。現在の画像における位置情報が注視点情報に等しいか又は偏差が設定された範囲にある物体を目標物体として、該目標物体の奥行き平面を目標奥行き平面とする。

Ｓ１３０、残りの奥行き平面の表示パラメータを調整し、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である。

現在の画像の奥行き感を向上させるために、本発明は、目標奥行き平面を決定した後、残りの奥行き平面の表示パラメータを調整することができる。残りの奥行き平面の数は少なくとも１つであってもよく、少なくとも２つの残りの奥行き平面を含む場合、調整された各残りの奥行き平面の表示パラメータの大きさは、同じであってもよく、異なってもよい。

表示パラメータは、表示効果を決定するパラメータと見なしてもよい。表示パラメータは、画素値及びぼかし半径を含むが、これらに限定されない。異なる表示パラメータは、異なる調整手段を有してもよく、ここでは限定されず、残りの奥行き平面の鮮明度が目標奥行き平面の鮮明度よりも低くなることを満たせばよい。

具体的には、残りの奥行き平面と目標奥行き平面との距離に基づいて、残りの奥行き平面の表示パラメータを決定することができる。表示パラメータがぼかし半径であることを例にとると、残りの奥行き平面と目標奥行き平面との距離が大きいほど、残りの奥行き平面のぼかし半径が大きくなってもよく、残りの奥行き平面と目標奥行き平面との距離が小さいほど、残りの奥行き平面のぼかし半径が小さくなってもよい。ここでは、残りの奥行き平面のぼかし半径の具体的な数値が限定されず、残りの奥行き平面と目標奥行き平面との距離が、ぼかし半径に正比例することを確保すればよい。表示パラメータが画素値であるとき、残りの奥行き平面と目標奥行き平面との距離は画素値に反比例する。

残りの奥行き平面と目標奥行き平面との距離は、現在の画像に対して奥行き分析を直接行うことにより決定されてもよく、残りの奥行き平面とユーザとの絶対距離情報及び目標奥行き平面とユーザとの絶対距離情報に基づいて決定されてもよい。

残りの奥行き平面の表示パラメータを調整した後、残りの奥行き平面の表示パラメータと目標奥行き平面の表示パラメータには違いが存在し、現在の画像の奥行き感を向上させる。

１つの選択可能な実施例では、表示パラメータはぼかし半径を含む。ぼかし半径は画像のぼかし度に正比例する。本発明は、ぼかし半径を調整するときにガウスぼかしアルゴリズムを用いて実現することができる。

該実施例に係る表示方法により、先ず、ユーザの現在の画像上での注視情報を取得し、次に、前記注視情報に基づいて、対応する目標奥行き平面を決定し、最後に、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定される残りの奥行き平面の表示パラメータを調整する。上記方法を利用することにより、ユーザが視聴する現在の画像の奥行き感を高めることができる。上記実施例に基づき、上記実施例の変形実施例が提出されており、ここで説明されるように、説明を簡単にするために、変形実施例では上記実施例との相違点のみが説明されている。１つの選択可能な実施例では、前記残りの奥行き平面の数が少なくとも２つである場合、各残りの奥行き平面のぼかし半径は、該残りの奥行き平面と前記目標奥行き平面との距離に正比例する。各残りの奥行き平面のぼかし半径が、残りの奥行き平面と前記目標奥行き平面との距離に正比例する場合、目標奥行き平面から遠くなる残りの奥行き平面がぼかしになり、現在の画像の立体感と奥行き感を向上させることを確保する。

１つの選択可能な実施例では、前記残りの奥行き平面と前記目標奥行き平面との距離は、前記残りの奥行き平面の距離情報と前記目標奥行き平面の距離情報との差により決定される。

残りの奥行き平面の距離情報は、残りの奥行き平面とユーザとの絶対距離情報として理解されてもよい。目標奥行き平面の距離情報は、目標奥行き平面とユーザとの絶対距離情報として理解されてもよい。

残りの奥行き平面の表示パラメータを調整するとき、残りの奥行き平面の距離情報と前記目標奥行き平面の距離情報との差を、残りの奥行き平面と目標奥行き平面との距離とすることができる。

（実施例２）
図２は本発明の実施例２に係る表示方法のフローチャートであり、本実施例２は、上記各実施例に基づいて最適化されている。本実施例では、前記注視情報は具体的に、注視点情報を含み、それに対応して、前記注視情報に基づいて、対応する目標奥行き平面を決定するステップは、
前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、
前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む。物体自体は必ずしも平面的ではなく、立体的である可能性があるため、立体物体の奥行き平面については、物体とユーザとの最も近い距離にある平面を奥行き平面として決定してもよく、又は物体の中心が位置する平面を奥行き平面として決定してもよく、又は立体物体のいずれかの面を奥行き平面として決定してもよく、ここでは制限されない。

１つの選択可能な実施例では、上記方法は、仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面及び対応する距離情報を決定するステップをさらに含み、前記現在の画像は、前記仮想現実又は拡張現実ビデオに現在表示されている画像であり、前記距離情報は、対応する奥行き平面と前記ユーザとの絶対距離情報である。

本実施例ではまだ詳述されていない内容については、実施例１を参照すればよい。

図２に示すように、該実施例に係る表示方法は以下のステップを含む。

Ｓ２１０、仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面及び対応する距離情報を決定し、前記現在の画像は、前記仮想現実又は拡張現実ビデオに現在表示されている画像であり、前記距離情報は、対応する奥行き平面と前記ユーザとの絶対距離情報である。

現在の画像は、仮想現実又は拡張現実ビデオにおけるフレーム画像であってもよい。現在の画像を表示する前、本発明は、先ず仮想現実又は拡張現実ビデオにおける各フレーム画像を処理して、各画像に含まれる物体情報を決定することができ、該物体情報は、例えば各画像に含まれる奥行き平面及び対応する距離情報などの、画像に予め設定された情報であってもよい。

仮想現実ビデオは、仮想現実技術により具現化されたビデオと見なしてもよい。拡張現実ビデオは、拡張現実技術により具現化されたビデオと見なしてもよい。画像に含まれる奥行き平面は、画像に含まれる物体の奥行き情報により決定されてもよい。各物体の奥行き情報は、画像を処理したものであってもよく、又は奥行きカメラにより取得された画像における各物体の奥行き情報を直接読み取ったものであってもよく、ここでは限定されず、画像における各物体の奥行き情報を読み取ることができればよい。該実施例は、各異なる奥行き情報に対応する平面を１つの奥行き平面とすることにより、複数の奥行き平面を含むように画像を分割することができる。

画像に含まれる奥行き平面を決定した後、各奥行き平面に対して１つの対応する距離情報を決定することができ、該距離情報は、該奥行き平面とユーザとの絶対距離情報であってもよく、ここでは如何に奥行き平面とユーザとの絶対距離情報を決定するかが限定されず、例えば、各奥行き平面の奥行き情報と表示装置のサイズに基づいて決定されてもよい。例えば、各奥行き平面の距離情報は、表示機器が現在の画像を表示している平面とユーザの眼との距離及び各奥行き平面の奥行き情報に基づいて決定される。

Ｓ２２０、ユーザの現在の画像上での注視情報を取得する。

Ｓ２３０、前記現在の画像上での前記注視点情報に対応する目標物体を決定する。

目標奥行き平面を決定するとき、本発明は、座標比較により、現在の画像上での注視点情報に対応する目標物体を決定することができる。例えば、現在の画像における各物体をトラバーサルして、座標が注視情報と同じであるか又は偏差が所定の範囲にある物体を目標物体とする。

Ｓ２４０、前記目標物体が位置する奥行き平面を目標奥行き平面として決定する。

目標物体を決定した後、本発明は、目標物体が位置する奥行き平面を目標奥行き平面、すなわちユーザが現在注視している奥行き平面とすることができる。

Ｓ２５０、残りの奥行き平面の表示パラメータを調整する。以下、本発明を例示的に説明する。

ＶＲビデオなどの３次元仮想シーンの開発では、視覚システムによる奥行きの知覚を十分に利用して、より強い立体感と奥行き感を生み出す必要がある。既存の３次元仮想シーンでは、使用者の視覚システムは、主に両眼視差に依存して奥行きを知覚するが、シーンにおける遠方の物体を観察するとき、視軸が平行に近く、両眼視差がゼロであるため、この奥行き知覚手がかりの源は機能しなくなる。このとき、使用者が物体の相対大きさ、透視などの画像情報のみに基づき、経験により奥行きを知覚することができ、３次元仮想シーンの立体感と奥行き感に大きく影響する。

また、ＶＲヘッドディスプレイなどの３次元仮想シーンの実際の用途では、視野角が小さすぎるという問題が存在し、単眼視覚範囲内に表示されるものが少なくなる場合が多くある。このとき、使用者がシーンにおける１つの物体を単眼だけで見て、もう１つの眼で見ないと、使用者がこの物体の奥行きを判定することは困難になり、さらにシーンでの体験に影響する可能性がある。

既存の３次元仮想シーンでは、シーンで定焦点画面を具現化するため、使用者（すなわちユーザ）は異なる奥行き平面の焦点合わせ＆焦点ぼけの奥行き手がかりを取得することができない。このとき、使用者は、物体の絶対距離が遠く、視野角が小さすぎるなどの問題に起因して、両眼視差に依存して奥行きを知覚できない場合、３次元仮想シーンでのゲーム、インタラクションなどの体験に深刻に影響する。

該実施例は、３次元仮想シーンにおける異なる奥行き平面の絶対距離情報をマークし、シーン画面を前処理し、さらにアイトラッキング技術に基づいて使用者の注視点情報を取得し、注視点位置に基づいて注視点が位置する奥行き平面の絶対距離情報を把握することにより、焦点合わせと焦点ぼけの奥行き手がかりを使用者に提供して、既存の奥行き手がかりの不十分及び欠損を効果的に補い、使用者の３次元仮想シーンでの立体感と奥行き感を大幅に高めることができる。

該実施例に係る表示方法は、３次元仮想シーンの奥行きを知覚することができ、該方法は以下のステップを含んでもよい。

ステップ１、３次元仮想シーン画像の前処理
３次元仮想シーンでは、異なる奥行き平面にある画像領域をフレーム毎に分割する。その後、該画像が位置する平面の奥行きに基づいて、各画像領域に絶対距離情報をマークする。

画像内の各領域の具体的な物体の奥行き情報は、画像に予め含まれてもよい。

図３ａは本発明の実施例２に係る画像前処理効果の模式図であり、図３ａを参照し、画像を分割した後、異なる奥行き平面に位置する第１物体１、第２物体２及び第３物体３を得る。「第１」、「第２」及び「第３」などは、対応する内容を区別するためのものに過ぎず、順序又は相互依存関係を限定するものではない。

各物体の奥行き情報は、画像に予め含まれてもよく、各物体の奥行き情報に基づいて各物体のユーザに対する絶対距離情報を決定することができる。図３ｂは本発明の実施例２に係る複数の奥行き平面を含むシーンの模式図であり、図３ｂを参照し、第１物体１に対応する奥行き平面の距離情報は、第１物体１とユーザ４との絶対距離情報ａであり、第２物体２に対応する奥行き平面の距離情報は、第２物体２とユーザ４との絶対距離情報ｂであり、第３物体３に対応する奥行き平面の距離情報は、第３物体３とユーザ４との絶対距離情報ｃである。図３ｂから、ｃ＞ｂ＞ａであり、すなわち第３物体３とユーザ４との絶対距離が最も遠く、第１物体１とユーザ４との絶対距離が最も近いことが分かる。

図３ｂを例にとると、ユーザ４が第１物体１を注視するとき、第１物体１の奥行き平面は目標奥行き平面であり、第２物体２の奥行き平面の表示パラメータは、第２物体２と目標奥行き平面との距離に基づいて調整されてもよい。第３物体３の奥行き平面の表示パラメータは、第３物体３と目標奥行き平面との距離に基づいて調整されてもよい。第２物体２の奥行き平面と目標奥行き平面との距離が、第３物体３の奥行き平面と目標奥行き平面との距離よりも小さいため、第２物体２の表示パラメータの調整の大きさは、第３物体３の表示パラメータの調整の大きさよりも小さく、それによりユーザが第１物体１を注視するとき、第２物体２は、第３物体３よりも鮮明になる。

図３ｂを参照し、図中では、フィラーの疎密さに基づいて鮮明度を特徴付けることができる。図３ｂでは、フィラーが密になるほど、鮮明度が高くなることが示され、フィラーが疎になるほど、鮮明度が低くなることが示される。第１物体１の奥行き平面と第２物体２の奥行き平面との距離は、第１物体１の奥行き平面と第３物体３の奥行き平面との距離よりも小さいため、ユーザが第２物体２を注視するときの第１物体１の鮮明度は、ユーザが第３物体３を注視するときの第１物体１の鮮明度よりも高くなる。ステップ２、注視点情報を取得し、使用者が３次元仮想シーンを体験するとき、アイトラッカーにより使用者のリアルタイムの注視点情報を取得し、さらに注視された画像領域が位置する奥行き平面を判断する。

アイトラッカーはＶＲ機器に位置してもよい。

ステップ３、異なる奥行き平面の焦点合わせと焦点ぼけ効果を具現化し、３次元仮想シーンのリアルタイム画像は、使用者の注視点が位置する奥行き平面に焦点合わせされ、他の奥行き平面に位置する画像領域には、絶対距離の差に基づいて異なる焦点ぼけ状態を具現化する。このとき、使用者の手前の３次元仮想シーンでは、それが注視する物体に対応する奥行き平面のみは鮮明であり、他の奥行き平面に位置する物体は、「注視された奥行き平面」との絶対距離差に基づき、異なる程度のぼかし状態を示している。

１つの選択可能な実施例では、注視点が位置する奥行き平面との絶対距離が近いほど鮮明になり、遠いほどぼかしになる。

該実施例は、３次元仮想シーン画像の分割及びマークにより、アイトラッキング技術を組み合わせて、人間の眼の視覚システムが３次元仮想シーンを観察するとき、焦点合わせと焦点ぼけの奥行き手がかりを取得させる。３次元仮想シーンでは、焦点合わせと焦点ぼけの奥行き手がかりを使用者に提供し、既存のシーンでの定焦点画面を使用することに起因する奥行き手がかりの不十分及び欠損を効果的に補い、使用者の３次元仮想シーンでの立体感と奥行き感を大幅に高める。

該実施例に係る表示方法は、目標奥行き平面を決定する操作と、奥行き平面及び対応する距離情報を決定する操作とを説明する。該方法を利用することにより、仮想現実又は拡張現実ビデオの立体感と奥行き感を向上させることができる。

本発明の実施例は、上記各実施例の技術的解決手段に基づいて、以下の複数種の具体的な実施形態を提供する。

１つの選択可能な実施例では、前記仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面を決定するステップは、
前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得するステップと、
前記目標画像に含まれる物体の奥行き情報を取得するステップと、
各前記奥行き情報に基づいて前記目標画像を分割して少なくとも１つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するステップと、を含む。

奥行き平面を決定するとき、仮想現実又は拡張現実ビデオにおける画像を目標画像としてフレーム毎に取得し、各目標画像について、目標画像に含まれる物体の奥行き情報を取得し、各物体は１つの奥行き情報に対応できる。奥行き情報を決定した後、本発明は、各奥行き情報に基づいて目標画像を分割して少なくとも１つの奥行き平面を得ることができ、奥行き平面の数は、奥行き情報の数に基づいて決定されてもよい。複数の奥行き情報の数値が同じであるとき、該複数の奥行き情報の数を１として決定することができる。

目標画像を奥行き情報に応じて複数の奥行き平面を含むように分割し、各奥行き平面の距離情報は、奥行き情報により決定されてもよい。例えば、奥行き平面の距離情報は、奥行き平面に対応する奥行き情報の差により決定される。

１つの選択可能な実施例では、同一の奥行き平面に含まれる物体の奥行き情報は同じである。

（実施例３）
図４は本発明の実施例３に係る表示装置の構造模式図であり、該装置は、画像の奥行き感を向上させる状況に適用でき、該装置は、ソフトウェア及び／又はハードウェアにより実現され、一般的に端末機器に集積されてもよい。

図４に示すように、該装置は、取得モジュール３１、決定モジュール３２及び調整モジュール３３を含み、取得モジュール３１は、ユーザの現在の画像上での注視情報を取得するように構成され、決定モジュール３２は、前記注視情報に基づいて、対応する目標奥行き平面を決定するように構成され、調整モジュール３３は、残りの奥行き平面の表示パラメータを調整するように構成され、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である。

本実施例では、該装置は、先ず、取得モジュール３１によりユーザの現在の画像上での注視情報を取得し、次に、決定モジュール３２により前記注視情報に基づいて、対応する目標奥行き平面を決定し、最後に、調整モジュール３３により、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定される残りの奥行き平面の表示パラメータを調整する。

該実施例に係る表示装置は、ユーザが視聴する現在の画像の奥行き感を高めることができる。

１つの選択可能な実施例では、前記注視情報は注視点情報を含み、前記注視情報に基づいて対応する目標奥行き平面を決定するステップは、
前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む。１つの選択可能な実施例では、前記表示パラメータはぼかし半径を含む。

１つの選択可能な実施例では、前記残りの奥行き平面の数が少なくとも２つである場合、各残りの奥行き平面のぼかし半径は、該残りの奥行き平面と前記目標奥行き平面との距離に正比例する。

１つの選択可能な実施例では、前記残りの奥行き平面と前記目標奥行き平面との距離は、前記残りの奥行き平面の距離情報と前記目標奥行き平面の距離情報との差により決定される。

１つの選択可能な実施例では、該装置は、情報決定モジュールをさらに含み、前記情報決定モジュールは、仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面及び対応する距離情報を決定するように構成され、前記現在の画像は、前記仮想現実又は拡張現実ビデオに現在表示されている画像であり、前記距離情報は、対応する奥行き平面と前記ユーザとの絶対距離情報である。

１つの選択可能な実施例では、情報決定モジュールは、
前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得し、
前記目標画像に含まれる物体の奥行き情報を取得し、
各前記奥行き情報に基づいて前記目標画像を分割して少なくとも１つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するように構成される。

１つの選択可能な実施例では、同一の奥行き平面に含まれる物体の奥行き情報は同じである。

上記表示装置は、本発明の任意の実施例に係る表示方法を実行でき、実行方法に対応する機能モジュール及び有益な効果を備える。

（実施例４）
図５は本発明の実施例４に係る端末機器の構造模式図である。図５に示すように、該実施例に係る端末機器は、１つ又は複数のプロセッサ４１と、記憶装置４２とを含み、該端末機器のプロセッサ４１は、１つ又は複数であってもよく、図５では１つのプロセッサ４１を例として挙げる。

記憶装置４２は、１つ又は複数のプログラムを記憶することに用いられ、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサ４１により実行されると、前記１つ又は複数のプロセッサ４１に本発明の実施例のいずれか１項に記載の方法を実現させる。

前記端末機器は、入力装置４３及び出力装置４４をさらに含んでもよい。

端末機器のプロセッサ４１、記憶装置４２、入力装置４３及び出力装置４４は、バス又は他の方式を介して接続されてもよく、図５ではバスを介して接続されることを例とする。

該端末機器の記憶装置４２は、コンピュータ可読記憶媒体として、１つ又は複数のプログラムを記憶することに用いられてもよく、前記プログラムは、ソフトウェアプログラム、コンピュータ実行可能プログラム及びモジュール、例えば本発明の実施例１又は２に係る方法に対応するプログラム命令／モジュール（例えば、図４に示される表示装置のモジュールは、取得モジュール３１、決定モジュール３２及び調整モジュール３３を含む）であってもよい。プロセッサ４１は、記憶装置４２に記憶されたソフトウェアプログラム、命令及びモジュールを実行することにより、端末機器の様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法実施例における表示方法を実現する。

記憶装置４２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶でき、データ記憶領域は、端末機器の使用に応じて作成されたデータなどを記憶できる。また、記憶装置４２は、高速ランダムアクセスメモリを含んでもよく、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどの不揮発性メモリを含んでもよい。いくつかの実例では、記憶装置４２は、プロセッサ４１に対してリモートに設けられたメモリをさらに含んでもよく、これらのリモートメモリは、ネットワークを介して機器に接続されてもよい。上記ネットワークの実例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。

入力装置４３は、入力された数字又は文字情報を受信し、及び端末機器のユーザ設定及び機能制御に関連するキー信号入力を生成するように構成されてもよい。出力装置４４は、表示画面などの表示機器を含んでもよい。また、上記端末機器に含まれる１つ又は複数のプログラムが前記１つ又は複数のプロセッサ４１により実行されると、プログラムは、
ユーザの現在の画像上での注視情報を取得する操作と、
前記注視情報に基づいて、対応する目標奥行き平面を決定する操作と、
残りの奥行き平面の表示パラメータを調整する操作であって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、操作と、を実行する。

（実施例５）
本発明の実施例５は、コンピュータ可読記憶媒体を提供し、コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行されると、本発明に係る表示方法を実行することに用いられ、該方法は、
ユーザの現在の画像上での注視情報を取得するステップと、
前記注視情報に基づいて、対応する目標奥行き平面を決定するステップと、
残りの奥行き平面の表示パラメータを調整するステップであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、ステップと、を含む。

選択可能に、該プログラムがプロセッサにより実行されると、本発明の任意の実施例に係る表示方法を実行することに用いられてもよい。

本発明の実施例のコンピュータ記憶媒体は、１つ又は複数のコンピュータ可読媒体の任意の組み合わせを用いてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又はそれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非限定的なリスト）は、１つ又は複数の導線を有する電気コネクタ、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、フラッシュメモリ、光ファイバー、携帯型ＣＤ－ＲＯＭ、光記憶デバイス、磁気記憶デバイス、又は上記任意の適切な組み合わせを含む。コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスにより使用されるか又はそれらと組みわせて使用されてもよい。

コンピュータ可読信号媒体は、ベースバンドにおいて又はキャリアの一部として伝播されるデータ信号を含んでもよく、その中にコンピュータ可読プログラムコードが運ばれる。このように伝播されるデータ信号は、複数種の形態を用いてもよく、電磁信号、光信号又は上記任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はさらに、コンピュータ可読記憶媒体を除いた任意のコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、命令実行システム、装置又はデバイスにより使用するか又はそれらと組み合わせて使用するためのプログラムを送信、伝播又は伝送することができる。

コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送されてもよく、無線、電線、光ファイバーケーブル、無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）など、又は上記任意の適切な組み合わせを含むが、これらに限定されない。１種又は複数種のプログラミング言語又はそれらの組み合わせによって本発明の操作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、さらに「Ｃ」言語又は同様のプログラミング言語などの通常の手続き型プログラミング言語を含む。プログラムコードは、ユーザコンピュータ上で完全に実行されてもよく、ユーザコンピュータ上で部分的に実行されてもよく、１つの独立したパッケージとして実行されてもよく、一部がユーザコンピュータ上で実行され一部がリモートコンピュータ上で実行されてもよく、又はリモートコンピュータ又はサーバ上で完全に実行されてもよい。リモートコンピュータに関連する場合には、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続されてもよいか、又は外部コンピュータに接続されてもよい（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続される）。

なお、以上は、本発明の好ましい実施例及び運用する技術原理に過ぎない。当業者であれば理解されるように、本発明は本明細書に記載される特定の実施例に限定されず、当業者であれば、本発明の保護範囲から逸脱することなく、様々な顕著な変化、再調整及び置換を行うことができる。従って、以上の実施例により本発明を詳細に説明したが、本発明は以上の実施例に限定されるものではなく、本発明の発想から逸脱することなく、より多くの他の等価実施例を含むことができ、本発明の範囲は添付の特許請求の範囲により決定される。

Claims (11)

1. 表示方法であって、
   ユーザの現在の画像上での注視情報を取得するステップと、
   前記注視情報に基づいて、対応する目標奥行き平面を決定するステップと、
   残りの奥行き平面の表示パラメータを調整するステップであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、ステップと、を含む、表示方法。
2. 前記注視情報は注視点情報を含み、
   前記注視情報に基づいて、対応する目標奥行き平面を決定する前記ステップは、
   前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、
   前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む、請求項１に記載の方法。
3. 前記表示パラメータはぼかし半径を含む、請求項１に記載の方法。
4. 前記残りの奥行き平面の数が少なくとも２つである場合、各残りの奥行き平面のぼかし半径は、該残りの奥行き平面と前記目標奥行き平面との距離に正比例する、請求項３に記載の方法。
5. 前記残りの奥行き平面と前記目標奥行き平面との距離は、前記残りの奥行き平面の距離情報と前記目標奥行き平面の距離情報との差により決定される、請求項１に記載の方法。
6. 仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面及び対応する距離情報を決定するステップをさらに含み、前記現在の画像は、前記仮想現実又は拡張現実ビデオに現在表示されている画像であり、前記距離情報は、対応する奥行き平面と前記ユーザとの絶対距離情報である、請求項１に記載の方法。
7. 仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面を決定する前記ステップは、
   前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得するステップと、
   前記目標画像に含まれる物体の奥行き情報を取得するステップと、
   各前記奥行き情報に基づいて前記目標画像を分割して少なくとも１つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するステップと、を含む、請求項６に記載の方法。
8. 同一の奥行き平面に含まれる物体の奥行き情報は同じである、請求項７に記載の方法。
9. 表示装置であって、
   ユーザの現在の画像上での注視情報を取得するように構成される取得モジュールと、
   前記注視情報に基づいて、対応する目標奥行き平面を決定するように構成される決定モジュールと、
   残りの奥行き平面の表示パラメータを調整するように構成される調整モジュールであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、調整モジュールと、を含む、表示装置。
10. 端末機器であって、１つ又は複数のプロセッサと、１つ又は複数のプログラムを記憶するように構成される記憶装置と、を含み、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１～８のいずれか１項に記載の方法を実現させる、端末機器。
11. コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行されると、請求項１～８のいずれか１項に記載の方法を実現する、コンピュータ可読記憶媒体。
    
    

Images