JP7408678B2 - 画像処理方法およびヘッドマウントディスプレイデバイス - Google Patents

Description

本出願は、その全体が参照により本明細書に組み込まれる、2019年3月25日に中国国家知識産権局に出願され、「IMAGE PROCESSING METHOD AND HEAD MOUNTED DISPLAY DEVICE」と題する中国特許出願第201910228846．3号の優先権を主張する。

本出願は、通信技術の分野に関し、詳細には、画像処理方法およびヘッドマウントディスプレイデバイスに関する。

拡張現実（Augmented Reality、AR）は、カメラビデオの位置および角度をリアルタイムで計算し、対応する画像、ビデオ、または3D（Three Dimensional）モデルを追加する技術である。典型的なビデオ視点ベースのヘッドマウントディスプレイデバイス（またはヘッドマウントディスプレイ（Head－mounted display、HMD）と呼ばれる）は、カメラを使用して実景画像を取り込み、次いで、取り込まれた画像を仮想オブジェクトと合成し、ヘッドマウントディスプレイデバイスの画面上に合成画像を表示することができる。

ユーザがヘッドマウントディスプレイデバイスを装着すると、ヘッドマウントディスプレイデバイスの画面はヒトの眼に近くにあり、ヒトの眼が最適な鮮明度を感じるとき、画像の角度解像度は60PPD（Pixel Per Degree）に達する場合がある。しかしながら、現在のヘッドマウントディスプレイデバイスは、解像度要件を満たすことができない。カメラによって取り込まれた実景画像の解像度が向上した場合、画像処理のデータ量および画像処理の複雑さが大幅に増加し、表示遅延の増加およびユーザのめまいなどの問題が引き起こされる。

本出願は、ヘッドマウントディスプレイデバイスを使用してユーザが画像を見る鮮明度要件を満たし、かつデータ量および表示遅延を低減するのに役立つ、画像処理方法およびヘッドマウントディスプレイデバイスを提供する。

第1の態様によれば、本出願は、ヘッドマウントディスプレイデバイスに適用される画像処理方法を提供する。2つのモジュールがヘッドマウントディスプレイデバイスに配置され、各モジュールは、カメラモジュール、カメラモジュールに対応する表示画面、および処理モジュールを含み、カメラモジュールは第1のカメラおよび第2のカメラを含み、第1のカメラの視野は第2のカメラの視野よりも大きく、各モジュールは以下の方法を実行する：検出された起動操作に応答して、第1のカメラは第1の解像度の第1の画像を収集し、第2のカメラは第2の解像度の第2の画像を収集し、第1の解像度は第2の解像度よりも小さい；処理モジュールは、第1の画像および第2の画像に基づいて第4の画像を生成し、第4の画像は実景画像であり、第1の解像度の画像および第2の解像度の画像を含む；処理モジュールは、第4の画像および仮想オブジェクトを含む第3の画像に基づいて第5の画像を生成し、第5の画像は実景画像および仮想オブジェクトを含む；モジュールの表示画面は第5の画像を表示する。

第1のカメラによって収集された第1の画像の視野は大きいので、第5の画像内の背景領域の視野は大きく、その結果、より広い視野角をユーザに提供することができ、それにより、ユーザのヒトの眼の視野が比較的広いという要件を満たすことが分かる。加えて、第2のカメラによって取り込まれた第2の画像の第2の解像度は高いので、第5の画像内の中央領域の画像は高い解像度をもち、その結果、ユーザの視線焦点範囲内の高精細画像をユーザに提供することができる。本出願で提供される技術的解決策は、ユーザの没入感、現実感、および視覚体験を改善するのに役立つことが分かる。

加えて、第1のカメラによって収集された第1の画像の第1の解像度は低いので、第5の画像内の背景領域の画像は低い解像度をもち、その結果、画像処理中のデータ量および計算の複雑さを低減することができ、それにより、表示中の遅延を低減するのに役立つ。

可能な実装形態では、1つのモジュールの第1のカメラの光学中心から他方のモジュールの第1のカメラの光学中心までの距離は、61ミリメートル～65ミリメートルである。

2つのカメラモジュール内の第1のカメラ間の距離は、ユーザの両眼によって見られる実景をシミュレートすることができるように、ユーザの両眼の間の瞳孔距離と一致することが可能にされることが分かる。

可能な実装形態では、各モジュール内の第1のカメラの光学中心から第2のカメラの光学中心までの距離は、20ミリメートル未満である。

2つのカメラモジュール内の第2のカメラは、ユーザの視覚焦点領域内の画像を収集するために使用されることが分かる。したがって、同じカメラモジュール内で、第2のカメラは第1のカメラに可能な限り近い。

可能な実装形態では、各モジュールは接眼レンズをさらに含み、表示画面は接眼レンズとカメラモジュールとの間に位置する。

可能な実装形態では、接眼レンズの光学中心、表示画面の光学中心、および各モジュール内の第1のカメラの光学中心は、直線上に位置する。

本出願では、左カメラモジュール内の大きい視野カメラおよび右カメラモジュール内の大きい視野カメラは、ユーザの両眼をシミュレートして実景画像を撮影するために使用される。したがって、2つのカメラの光学中心は、ユーザの左右の眼の中心とそれぞれ位置合わせされる。さらに、実景画像は最終的に第1の表示画面および第2の表示画面を使用して提示されるので、ユーザが没入し現実を感じることを可能にするために、第1の表示画面および第2の表示画面の光学中心も、ユーザの左右の眼の中心とそれぞれ位置合わせされるべきである。加えて、ユーザは、第1の接眼レンズおよび第2の接眼レンズを使用して画面上の画像を別々に見る。したがって、第1の接眼レンズおよび第2の接眼レンズも、ユーザの左右の眼の中心とそれぞれ位置合わせされるべきである。

可能な実装形態では、処理モジュールが第1の画像および第2の画像に基づいて第4の画像を生成することは、処理モジュールが第2の画像の画角を第1の画像の画角と同じになるように調整し、調整された第2の画像および第1の画像に基づいて第4の画像を生成することを含む。

第2の画像および第1の画像は同じ撮影対象を有するが、第1のカメラおよび第2のカメラの異なる位置に起因して、2つの画像内の同じ撮影対象の画像間に特定の画角差が存在する。したがって、2つの画像の画角は位置合わせされる必要がある。

可能な実装形態では、処理モジュールが第2の画像の画角を第1の画像の画角と同じになるように調整することは、処理モジュールが、第2の画像の画角が第1の画像の画角と同じになることを可能にするために、第2の画像に対して回転、並進、および非同一平面上の行較正処理を実行することを含む。

可能な実装形態では、処理モジュールが調整された第2の画像および第1の画像に基づいて第4の画像を生成することは、処理モジュールが、ターゲット領域として、重複した画角を有する調整された第2の画像内の領域および第1の画像内の領域を決定し、第1の画像内のターゲット領域の画像を調整された第2の画像と置き換えることを含む。

第1の画像内のターゲット領域の画像は除去されてよく、次いで、画角位置合わせ後に取得された第2の画像内のターゲット領域の画像が埋められてよい。埋めた後、画像合成プロセスにおいて生じるエイリアシング感などの問題を回避するために、重み付きブレンド法を使用して2つの画像（すなわち、ターゲット領域のエッジ位置）の合成エッジ位置がブレンドされ、その結果、最終的な合成画像（すなわち、第4の画像）がより自然でリアルになる。

画像合成方法は、直接カットペースト（cut－paste）技術、アルファブレンディング（alpha blending）、マルチバンドブレンディング（multiband blending）、またはポアソンブレンディング（poisson blending）のうちのいずれか1つまたはいくつかであってよい。具体的な画像合成方法は、本出願では限定されない。

可能な実装形態では、処理モジュールが第4の画像および仮想オブジェクトを含む第3の画像に基づいて第5の画像を生成する前に、方法は、処理モジュールが、ヘッドマウントディスプレイデバイスの姿勢情報および第1の画像に基づいて、仮想オブジェクトを含む第3の画像を生成することをさらに含む。

可能な実装形態では、第4の画像および仮想オブジェクトを含む第3の画像に基づいて第5の画像を生成するステップは、第1の画像の第1の解像度に基づいて第3の画像の解像度を調整し、かつ／または第1の画像内の光情報に基づいて第3の画像内の仮想オブジェクトの影を調整するステップと、第4の画像および調整された第3の画像に基づいて第5の画像を生成するステップとを含む。

第2の態様によれば、本出願は、2つのモジュールおよびメモリを含む、ヘッドマウントディスプレイデバイスを提供する。各モジュールは、カメラモジュール、カメラモジュールに対応する表示画面、および処理モジュールを含み、カメラモジュールは第1のカメラおよび第2のカメラを含み、第1のカメラの視野は第2のカメラの視野よりも大きく、メモリはコンピュータプログラムコードを記憶するように構成され、コンピュータプログラムコードはコンピュータ命令を含み、処理モジュールがメモリからコンピュータ命令を読み取ると、ヘッドマウントディスプレイデバイス内の各モジュールは、以下の動作を実行することが可能になる：検出された起動操作に応答して、第1のカメラは第1の解像度の第1の画像を収集し、第2のカメラは第2の解像度の第2の画像を収集し、第1の解像度は第2の解像度よりも小さい。処理モジュールは、第1の画像および第2の画像に基づいて第4の画像を生成し、第4の画像は実景画像であり、第1の解像度の画像および第2の解像度の画像を含む。処理モジュールは、第4の画像および仮想オブジェクトを含む第3の画像に基づいて第5の画像を生成し、第5の画像は実景画像および仮想オブジェクトを含む。モジュールの表示画面は第5の画像を表示する。

可能な実装形態では、1つのモジュールの第1のカメラの光学中心から他方のモジュールの第1のカメラの光学中心までの距離は、61ミリメートル～65ミリメートルである。

可能な実装形態では、各モジュール内の第1のカメラの光学中心から第2のカメラの光学中心までの距離は、20ミリメートル未満である。

可能な実装形態では、各モジュールは接眼レンズをさらに含み、表示画面は接眼レンズとカメラモジュールとの間に位置する。

可能な実装形態では、ヘッドマウントディスプレイデバイスが水平に配置されたとき、各モジュール内の第1のカメラの光学中心と第2のカメラの光学中心との間の接続線は、水平面に平行である。

可能な実装形態では、接眼レンズの光学中心、表示画面の光学中心、および各モジュール内の第1のカメラの光学中心は、直線上に位置する。

可能な実装形態では、処理モジュールがメモリからコンピュータ命令を読み取ると、ヘッドマウントディスプレイデバイス内の各モジュールは、以下の動作を実行することがさらに可能になる：処理モジュールが、第2の画像の画角を第1の画像の画角と同じになるように調整し、調整された第2の画像および第1の画像に基づいて第4の画像を生成する。

可能な実装形態では、処理モジュールがメモリからコンピュータ命令を読み取ると、ヘッドマウントディスプレイデバイス内の各モジュールは、以下の動作を実行することがさらに可能になる：処理モジュールが、第2の画像の画角が第1の画像の画角と同じになることを可能にするために、第2の画像に対して回転、並進、および非同一平面上の行較正処理を実行する。

可能な実装形態では、処理モジュールがメモリからコンピュータ命令を読み取ると、ヘッドマウントディスプレイデバイス内の各モジュールは、以下の動作を実行することがさらに可能になる：処理モジュールが、ターゲット領域として、重複した画角を有する調整された第2の画像内の領域および第1の画像内の領域を決定し、第1の画像内のターゲット領域の画像を調整された第2の画像と置き換える。

可能な実装形態では、処理モジュールがメモリからコンピュータ命令を読み取ると、ヘッドマウントディスプレイデバイス内の各モジュールは、以下の動作を実行することがさらに可能になる：処理モジュールが、ヘッドマウントディスプレイデバイスの姿勢情報および第1の画像に基づいて、仮想オブジェクトを含む第3の画像を生成する。

可能な実装形態では、処理モジュールがメモリからコンピュータ命令を読み取ると、ヘッドマウントディスプレイデバイス内の各モジュールは、以下の動作を実行することがさらに可能になる：処理モジュールが、第1の画像の第1の解像度に基づいて第3の画像の解像度を調整し、かつ／または第1の画像内の光情報に基づいて第3の画像内の仮想オブジェクトの影を調整し、第4の画像および調整された第3の画像に基づいて第5の画像を生成する。

第3の態様によれば、コンピュータ命令を含むコンピュータ記憶媒体が提供される。コンピュータ命令が端末上で実行されると、端末は、第1の態様または第1の態様の可能な実装形態のいずれか1つによる方法を実行することが可能になる。

第4の態様によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、第1の態様または第1の態様の可能な実装形態のいずれか1つによる方法を実行することが可能になる。

本出願の一実施形態による、画像内の異なる領域の視野の概略図である。 本出願の一実施形態による、ヘッドマウントディスプレイデバイスの概略構造図である。 本出願の一実施形態による、いくつかのヘッドマウントディスプレイデバイスのカメラモジュールの概略構造図である。 本出願の一実施形態による、別のヘッドマウントディスプレイデバイスの概略構造図である。 本出願の一実施形態による、別のヘッドマウントディスプレイデバイスの概略構造図である。 本出願の一実施形態による、別のヘッドマウントディスプレイデバイスの概略構造図である。 本出願の一実施形態による、別のヘッドマウントディスプレイデバイスの概略構造図である。 本出願の一実施形態による、画像処理方法の概略フローチャートである。 本出願の一実施形態による、画像処理プロセスの概略図である。

以下では、本出願の実施形態における添付図面を参照して、本出願の実施形態における技術的解決策を記載する。本出願の実施形態の説明では、別段の指定がない限り、「／」は「または」を意味する。たとえば、A／BはAまたはBを表すことができる。本明細書では、「および／または」は、関連付けられたオブジェクトを記載するための関連付け関係のみを記載し、3つの関係が存在してよいことを表す。たとえば、Aおよび／またはBは、以下の3つのケースを表すことができる：Aのみが存在する、AとBの両方が存在する、およびBのみが存在する。

以下の「第1の」および「第2の」という用語は、説明を目的としたものにすぎず、相対的な重要性の指示もしくは示唆、または示された技術的特徴の数の暗黙的な指示として理解されてはならない。したがって、「第1の」または「第2の」によって限定される特徴は、1つまたは複数の特徴を明示的または暗黙的に含んでよい。本出願の実施形態の説明では、別段の記載がない限り、「複数の」は2つ以上を意味する。

本出願の実施形態では、「例」または「たとえば」などの単語は、例、例示、または説明を与えることを表すために使用される。本出願の実施形態において「例」または「たとえば」として記載されるいかなる実施形態または設計解も、別の実施形態または設計解よりも好ましいか、またはより多くの利点を有するものとして説明されるべきでない。正確には、「例」または「たとえば」などの単語の使用は、特定の方式で相対的な概念を提示するように意図されている。

現在のヘッドマウントディスプレイデバイスの画像解像度は、一般に、近距離視聴中のユーザの鮮明度要件を満たすことができない。加えて、画像の解像度を向上させるだけでは、データ量の増大および画像処理の複雑さなどの問題が生じる。ヒトの眼は、そのような視覚的特徴を有すると考えられる：観察中、ユーザの眼の真正面の領域は、通常、視覚焦点領域である。領域のこの部分は、最も鋭く検知され、ヘッドマウントディスプレイデバイスに対する高い画像解像度要件を有する。しかしながら、眼によって視認可能な別の領域は、ユーザによって鋭く検知されず、ヘッドマウントディスプレイデバイスに対する画像解像度要件が低い。すなわち、ヘッドマウントディスプレイデバイスに表示される画像は、中央領域および背景領域に分割されてよい。図1Aに示されたように、ヘッドマウントディスプレイデバイスに表示される画像は、中央領域および背景領域を含む。中央領域はユーザの視覚焦点領域であり、近距離視聴中のユーザのヒトの眼の鮮明度要件を満たすために、比較的高い解像度の画像を提供することができる。背景領域は、画像内の中央領域以外の部分であり、ヘッドマウントディスプレイデバイスによって実行される画像処理のデータ量および複雑さを低減するために、比較的低い解像度の画像のみを提供することができる。言い換えれば、中央領域の解像度は、背景領域の解像度よりも高い。図1Aにおいて、長方形は、ユーザのヒトの眼の視覚焦点領域（すなわち、中央領域）を示すために使用され、主に、ヘッドマウントディスプレイデバイスに表示される画像内の中央領域のおおよその位置を表すために使用されることに留意されたい。これは、ユーザのヒトの眼の視覚焦点領域の形状を限定するものではない。

加えて、ヒトの眼の視野は比較的大きく、180度に達する場合があると考えられるが、従来のヘッドマウントディスプレイデバイスの視野は比較的小さく、その結果、ユーザがヘッドマウントディスプレイデバイスを観察に使用するときに、両側に比較的多くの死角が生じ、ユーザの没入感が不十分になる可能性がある。本出願は、比較的大きい視野画像（背景領域を含む画像）を取り込むために大きい視野カメラが使用され、大きい視野画像は通常低い解像度を有し、同時に、中央領域の高精細画像を取り込むために小さい視野カメラが使用されることを提供する。図1Aに示された画像では、背景領域に対応する視野αは、中央領域に対応する視野βよりも大きい。

視野は、画像撮影中にカメラによって撮影され得る最大角度範囲を示すために使用されることに留意されたい。撮影対象が角度範囲内にある場合、撮影対象はカメラによって収集され、次いでプレビュー画像に提示される。撮影対象が角度範囲外にある場合、撮影デバイスは画像取込み装置によって収集されない、言い換えれば、プレビュー画像に提示されない。通常、より大きい視野のカメラは、より大きい撮影範囲およびより短い焦点距離に対応し、より小さい視野のカメラは、より小さい撮影範囲およびより長い焦点距離に対応する。

一般に、視野は、水平方向の角度および垂直方向の角度を含む。本出願では、水平方向の角度および垂直方向の角度は、2つの視野を使用して別々に表されてよいか、または水平方向の角度および垂直方向の角度は、両方とも1つの視野を使用して表されてよい。説明を容易にするために、本出願は、1つの視野が水平方向の角度と垂直方向の角度の両方を表す例を使用して、以下のすべての説明を提供する。たとえば、図1Aに示されたように、視野αは、大きい視野カメラによって取り込まれた画像（すなわち、背景領域の画像）の2つのエッジの対角線に対応する角度であり、水平方向の角度と垂直方向の角度の両方を表すことができる。βは、小さい視野カメラによって取り込まれた画像（すなわち、中央領域の画像）の2つのエッジの対角線に対応する角度であり、水平方向の角度幅と垂直方向の角度幅の両方を表すことができる。

本出願では、「視野」は、「視野範囲」または「視界範囲」などの単語として呼ばれる場合もある。「視野」の名称は、前述の概念が表現される限り、本明細書では限定されない。

次いで、大きい視野画像が中央領域の高精細画像と合成されて実景画像が取得される。次いで、ヘッドマウントディスプレイデバイスの取得された姿勢情報および大きい視野画像に基づいて、仮想オブジェクトを含む画像が生成される。最後に、仮想オブジェクトを含む画像が最初の合成後に取得された実景画像とさらに合成されて、実景および仮想オブジェクトを含む画像が取得され、画像はヘッドマウントディスプレイデバイスに表示される。この場合、表示画像の視野は比較的大きく、ヒトの眼の視野に可能な限り近い場合がある。加えて、ヒトの眼の視覚焦点領域内の画像の解像度は比較的高い。これは、近距離画像視聴中のユーザの鮮明度要件を満たし、それにより、ユーザの没入感が大幅に改善され、視覚体験が改善される。

本出願の実施形態で提供される技術的解決策は、仮想現実（Virtual Reality、VR）／拡張現実（Augmented Reality、AR）／複合現実（Mixed Reality、MR）などのシナリオにおいて、ヘッドマウントディスプレイデバイスなどに適用されてよい。技術的解決策を実行するヘッドマウントディスプレイデバイスの具体的な形態は、本出願では特に限定されない。

図1Bは、本出願の一実施形態による、ヘッドマウントディスプレイデバイス100の概略構造図である。ヘッドマウントディスプレイデバイス100は、ヘルメット本体110およびベルト140を含む。ベルト140は、ヘッドマウントディスプレイデバイス100をユーザの頭部に装着するように構成される。ヘルメット本体110は、フロントパネル120、およびフロントパネル120に対向するリアパネル130を有する。フロントパネル120は、ユーザがヘッドマウントディスプレイデバイス100を装着したときに、ユーザから遠く離れた面である。リアパネル130は、ユーザがヘッドマウントディスプレイデバイス100を装着したときに、ユーザに近い面である。

ユーザの前方の実景画像を取り込むために、2つのカメラモジュール：左カメラモジュール150および右カメラモジュール160がフロントパネル120に配置される。左カメラモジュール150はユーザの左眼の前に位置し、右カメラモジュール160はユーザの右眼の前に位置する。各カメラモジュールは少なくとも2つのカメラを含み、少なくとも2つのカメラは、少なくとも1つの大きい視野カメラおよび少なくとも1つの小さい視野カメラを含む。（たとえば、100度から200度の視野およびVGAから720pの解像度を有する）少なくとも1つの大きい視野カメラは、たとえば、カメラ151およびカメラ161である。（たとえば、20度から60度の視野および720pから2Kpの解像度を有する）少なくとも1つの小さい視野カメラは、たとえば、カメラ152およびカメラ162である。大きい視野カメラによって取り込まれた画像は、比較的大きい視野および比較的低い解像度を有する。小さい視野カメラによって取り込まれた画像は、比較的小さい視野および比較的高い解像度を有する。

本出願では、大きい視野カメラによって取り込まれた画像は比較的大きい視野を有するので、より広い画角をユーザに提供することができ、それにより、ユーザのヒトの眼の視野が比較的広いという要件を満たす。小さい視野カメラによって取り込まれた画像は比較的高い解像度を有するので、ユーザの視線焦点範囲内の画像をユーザに提供することができる。本出願では、大きい視野カメラによって取り込まれた画像が小さい視野カメラによって取り込まれた画像と合成され、次いで、合成された画像がAR／VR／MRなどのシナリオに適用され、それにより、ユーザの没入感、現実感、および視覚体験を改善するのに役立つことが分かる。加えて、背景領域の画像は低い解像度を有するので、画像処理中のデータ量および計算の複雑さをさらに低減することができ、それにより、表示中の遅延を低減するのに役立つ。

いくつかの実施形態では、左右のカメラモジュールが、各々実景画像を撮影するための1つの大きい視野カメラを含むとき、2つの大きい視野カメラ（たとえば、カメラ151およびカメラ161）の光学中心間の距離D1は、ユーザの両眼の瞳孔距離とほぼ一致する。したがって、D1は、通常、61mm～65mmの範囲であり、たとえば、63mmであってよい。1つのカメラモジュールでは、小さい視野カメラは大きい視野カメラの近くに位置する。通常、小さい視野カメラの光学中心と大きい視野カメラの光学中心との間の距離D2は、20mm未満である。図1Bは、ヘッドマウントデバイスがほぼ水平に前方に配置されたときのヘッドマウントディスプレイデバイス100の中心軸を示す。中心軸を参照して、以下では、一例として左眼の前のカメラモジュール150を使用して、大きい視野カメラ151に対する小さい視野カメラ152の位置を記載する。たとえば、フロントパネル120に面して、小さい視野カメラ152は、大きい視野カメラ151の左側（言い換えれば、小さい視野カメラ152は、図1Bに示されたように、大きい視野カメラ151よりも中心軸に近い）、または大きい視野カメラ151の右側（言い換えれば、小さい視野カメラ152は、図2A（1）に示されたように、大きい視野カメラ151よりも中心軸から離れている）に位置してよく、大きい視野カメラ151、小さい視野カメラ152、大きい視野カメラ161、および小さい視野カメラ162の光学中心は、おおよそ1つの水平面上に位置する。

別の例として、ヘッドマウントデバイスが図1Bに示されたようにほぼ水平に前方に配置されると、小さい視野カメラ152は、大きい視野カメラ151の上方（言い換えれば、小さい視野カメラ152の光学中心から大きい視野カメラ151の光学中心への方向は、図2A（2）に示されように、重力方向と同じである）、または大きい視野カメラ151の下方（言い換えれば、小さい視野カメラ152の光学中心から大きい視野カメラ151の光学中心への方向は、重力方向と反対である）に位置してよい。あるいは、小さい視野カメラ152は、大きい視野カメラ151の（図2A（3）に示されたような）斜め上側、または斜め下側などの任意の位置に配置されてよい。すなわち、1つのカメラモジュール内の小さい視野カメラと大きい視野カメラとの間の相対的な位置関係は、本出願では限定されない。確かに、小さい視野カメラは、大きい視野カメラの近くの位置に固定されてよい。あるいは、小さい視野カメラは、回転可能または取り外し可能な装置内に位置してよく、言い換えれば、小さい視野カメラは、大きい視野カメラの近くに移動してよい。小さい視野カメラ152および大きい視野カメラ151の上記の説明は、それぞれ、小さい視野カメラ162および大きい視野カメラ161に適用可能である。本出願のこの実施形態では、これらは繰り返されない。

いくつかの他の実施形態では、左右のカメラモジュールは、各々2つ以上の大きい視野カメラを含む、言い換えれば、複数のカメラによって取り込まれた画像を合成または接合して実景画像が取得される。この場合、通常、左右のカメラモジュールの各々にメインカメラとして1つの大きい視野カメラが配置されてよい。すなわち、メインカメラによって撮影された画像の画角は、実景画像を取得するために、他の大きい視野カメラによって撮影された合成画像および接合画像に対する基準として使用される。この場合、2つのメインカメラの光学中心間の距離はD1であり、ユーザの両眼の瞳孔距離と一致するように保たれるべきである。1つのカメラモジュールでは、小さい視野カメラは、大きい視野カメラの中のメインカメラの近くに位置する。通常、小さい視野カメラの光学中心とメインカメラの光学中心との間の距離はD2であり、20mm未満である。たとえば、図2Bに示されたように、ヘッドマウントディスプレイデバイス100の左右のカメラモジュールは、各々2つの大きい視野カメラを含む。すなわち、左カメラモジュール150は、2つの大きい視野カメラ：カメラ1511およびカメラ1512を含み、右カメラモジュール160は、2つの大きい視野カメラ：カメラ1611およびカメラ1612を含む。中心軸に近い2つの大きい視野カメラ（すなわち、カメラ1511およびカメラ1611）がメインカメラとして配置されると仮定する。この場合、カメラ1511の光学中心とカメラ1611の光学中心との間の距離はD1である。小さい視野カメラは、大きい視野カメラの中のメインカメラの近くに位置する。すなわち、カメラ152の光学中心とカメラ1511の光学中心との間の距離はD2であり、カメラ162の光学中心とカメラ1611の光学中心との間の距離はD2である。

さらにいくつかの他の実施形態では、ヘッドマウントディスプレイデバイス100の三軸姿勢角（または角速度）および加速度などのヘッドマウントディスプレイデバイス100の姿勢情報を測定するように構成された慣性測定ユニット（Inertial measurement unit、IMU）170などの、ヘッドマウントディスプレイデバイス100の動きを検知するセンサが、フロントパネル120にさらに配置されてよい。通常、IMUは3つの加速度計および3つのジャイロスコープを含み、加速度計およびジャイロスコープは互いに垂直な測定軸に取り付けられる。低精度IMUは、別の方式でさらに補正されてよい。たとえば、長期的な位置ずれを補正するためにGPSが使用され、高さを補正するために気圧計が使用され、または姿勢を補正するために磁力計が使用される。VR／AR／MRなどのシナリオでは、IMU170によって取得されたヘッドマウントディスプレイデバイス100の姿勢情報、およびカメラモジュールによって取得された実景画像は、ヘッドマウントディスプレイデバイス100が位置する実景を位置特定し構成するために使用されてよい。

ヘッドマウントディスプレイデバイス100の構成要素および構成要素間の位置関係をより明確に記載するために、本出願のこの実施形態は、図3に示されたように、ユーザによって装着されたヘッドマウントディスプレイデバイス100の上面図を提供する。図3は、左右のカメラモジュールが各々1つの大きい視野カメラおよび1つの小さい視野カメラを含む一例を示す。

ヘッドマウントディスプレイデバイス100のリアパネル130には、左眼および右眼にそれぞれ対応する左接眼レンズ230および右接眼レンズ240が配置される。ヘッドマウントディスプレイデバイス100は、左右の接眼レンズにそれぞれ対応するディスプレイを内部に含む。ディスプレイの視野は、カメラモジュール内の大きい視野カメラの視野以上であり、その結果、ディスプレイは、大きい視野カメラによって撮影された画像を完全に提示できることが理解されよう。左接眼レンズ230は左ディスプレイ210に対応し、右接眼レンズ240は右ディスプレイ220に対応する。左右の接眼レンズは、ヒトの眼が左右のディスプレイなどに焦点を合わせるのを助けることができ、その結果、ユーザの左眼は、左接眼レンズ230を使用することにより、左ディスプレイ210に表示された画像を見ることができ、ユーザの右眼は、右接眼レンズ240を使用することにより、右ディスプレイ220に表示された画像を見ることができる。左ディスプレイ210および右ディスプレイ220は、2つの独立したディスプレイであってもよく、1つのディスプレイ内の異なる表示領域であってもよい。これは、本出願のこの実施形態では限定されない。

ユーザの左眼に対応する左カメラモジュール150は、大きい視野カメラ151および小さい視野カメラ152を含むヘッドマウントディスプレイデバイス100のフロントパネル120に配置され、ユーザの右眼に対応する右カメラモジュールは、大きい視野カメラ161および小さい視野カメラ162を含むヘッドマウントディスプレイデバイス100のフロントパネル120に配置されることが図3からさらに分かる。IMU170がフロントパネル120にさらに配置されてよい。

このようにして、左カメラモジュール150内の2つのカメラによって取り込まれた2つの画像が本出願で提供される方法を使用して処理された後に、処理された画像は、左眼で見るために左眼の前の左ディスプレイ210に表示される。右カメラモジュール160内の2つのカメラによって取り込まれた2つの画像が本出願で提供される方法を使用して処理された後に、処理された画像は、右眼で見るために右眼の前の右ディスプレイ220に表示される。一般に、左カメラモジュール150および右カメラモジュール160の中のカメラは画像を同時に取り込む。加えて、左カメラモジュール150と右カメラモジュール160との間の位置差に起因して、2つのモジュールによって同時に取り込まれた画像間にも画角差が存在し、画角差は顔の視覚差と同じである。したがって、ユーザの両眼が左ディスプレイ210および右ディスプレイ220からの2つの画像を同時に見るときに、3D画角効果が生まれる。

本出願では、左カメラモジュール内の大きい視野カメラおよび右カメラモジュール内の大きい視野カメラが、ユーザの両眼をシミュレートして実景画像を撮影するために使用されることが分かる。したがって、2つのカメラの光学中心は、ユーザの左右の眼の中心とそれぞれ位置合わせされる。さらに、実景画像は最終的に左ディスプレイ210および右ディスプレイ220を使用して提示されるので、ユーザが没入感および現実感を感じることを可能にするために、左ディスプレイ210および右ディスプレイ220の光学中心もユーザの左右の眼の中心とそれぞれ位置合わせされるべきである。加えて、ヘッドマウントディスプレイデバイス100では、ユーザは、左接眼レンズ230および右接眼レンズ240を使用してディスプレイ上の画像を別々に見る。したがって、左接眼レンズ230および右接眼レンズ240の光学中心も、ユーザの左右の眼の中心とそれぞれ位置合わせされるべきである。図4は、ユーザが視聴するためにヘッドマウントディスプレイデバイスを使用する概略図を示す。右眼が例として使用される。ユーザの右眼の中心、右接眼レンズ240の光学中心A点、右ディスプレイ220の光学中心B点、および右カメラモジュール内の大きい視野161の光学中心C点は、直線上に位置するか、またはほぼ直線上に位置する。

図5は、本出願の一実施形態による、別のヘッドマウントディスプレイデバイス100の概略構造図である。（左カメラモジュール150、右カメラモジュール160、左ディスプレイ210、右ディスプレイ220、およびIMU170などの）図1B～図3に示された構成要素に加えて、ヘッドマウントディスプレイデバイス100は、プロセッサ501、外部メモリインターフェース502、内部メモリ503、ユニバーサルシリアルバス（universal serial bus、USB）インターフェース504、充電管理モジュール505、電源管理モジュール506、バッテリ507、ワイヤレス通信モジュール508、オーディオモジュール509、スピーカ510、受話器511、マイクロフォン512、ヘッドセットジャック513、ボタン514、モータ515、およびインジケータ516をさらに含んでよい。

本発明のこの実施形態における概略構造は、ヘッドマウントディスプレイデバイス100を具体的に限定するものではないことが理解されよう。本出願のいくつかの他の実施形態では、ヘッドマウントディスプレイデバイス100は、図に示された構成要素よりも多いかもしくは少ない構成要素を含んでよく、またはいくつかの構成要素を組み合わせるか、もしくはいくつかの構成要素を分割するか、もしくは異なる構成要素配置を有してよい。図に示された構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組合せを使用して実現されてよい。

プロセッサ501は、1つまたは複数の処理ユニットを含む。たとえば、プロセッサ501は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィックス処理ユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、ビデオコーダ／デコーダ、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラルネットワーク処理ユニット（neural－network processing unit、NPU）を含んでよい。異なる処理ユニットは、独立した構成要素であってもよく、1つまたは複数のプロセッサに統合されてもよい。

コントローラは、命令動作コードおよび時系列信号に基づいて動作制御信号を生成して、命令読取りおよび命令実行の制御を完了することができる。

メモリは、命令およびデータを記憶するために、プロセッサ501内にさらに配置されてよい。いくつかの実施形態では、プロセッサ501内のメモリはキャッシュである。メモリは、プロセッサ501によって使用されたばかりか、または周期的に使用された命令またはデータを記憶することができる。プロセッサ501が再び命令またはデータを使用する必要がある場合、プロセッサ501はメモリから命令またはデータを直接呼び出すことができる。これにより、度重なるアクセスが回避され、プロセッサ501の待ち時間が低減され、それによってシステム効率が改善される。

いくつかの実施形態では、プロセッサ501は、1つまたは複数のインターフェースを含んでよい。インターフェースには、集積回路間（inter－integrated circuit、I2C）インターフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インターフェース、パルスコード変調（pulse code modulation、PCM）インターフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インターフェース、モバイルインダストリプロセッサインターフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インターフェース、加入者識別モジュール（subscriber identity module、SIM）インターフェース、ユニバーサルシリアルバス（universal serial bus、USB）インターフェースなどが含まれてよい。

本出願のこの実施形態におけるモジュール間の概略的なインターフェース接続関係は、単なる例示説明であり、ヘッドマウントディスプレイデバイス100の構造を限定するものではないことが理解されよう。本出願のいくつかの他の実施形態では、ヘッドマウントディスプレイデバイス100は、前述の実施形態における方式とは異なるインターフェース接続方式を使用するか、または複数のインターフェース接続方式の組合せを使用することができる。

充電管理モジュール505は、充電器から充電入力を受け取るように構成される。充電器は、ワイヤレス充電器であってもよく、有線充電器であってもよい。有線充電のいくつかの実施形態では、充電管理モジュール505は、USBインターフェース504を使用して有線充電器から充電入力を受け取ることができる。ワイヤレス充電のいくつかの実施形態では、充電管理モジュール505は、ヘッドマウントディスプレイデバイス100のワイヤレス充電コイルを使用してワイヤレス充電入力を受け取ることができる。バッテリを充電している間、充電管理モジュール505は、電源管理モジュールを使用してヘッドマウントディスプレイデバイスにさらに電力を供給することができる。

電源管理モジュール506は、バッテリ507、充電管理モジュール505、およびプロセッサ501に接続するように構成される。電源管理モジュール506は、バッテリ507および／または充電管理モジュール505から入力を受け取って、プロセッサ501、内部メモリ、左ディスプレイ210、右ディスプレイ220、カメラモジュール150、カメラモジュール160、ワイヤレス通信モジュールなどに電力を供給する。電源管理モジュール506は、バッテリ507の容量、バッテリ507のサイクル数、ならびにバッテリ507の健全状態（漏電およびインピーダンス）などのパラメータを監視するようにさらに構成されてよい。いくつかの他の実施形態では、電源管理モジュール506は、プロセッサ501内に配置されてよい。いくつかの他の実施形態では、電源管理モジュール506および充電管理モジュール505は、同じ構成要素内に配置されてよい。

ワイヤレス通信モジュール508は、（ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワークなどの）ワイヤレスローカルエリアネットワーク（wireless local area networks、WLAN）、ブルートゥース（bluetooth、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）技術、赤外線（infrared、IR）技術などを含む、ヘッドマウントディスプレイデバイス100に適用されるワイヤレス通信解決策を提供することができる。ワイヤレス通信モジュール508は、少なくとも1つの通信処理モジュールが統合される1つまたは複数の構成要素であってよい。ワイヤレス通信モジュール508は、アンテナを使用して電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を実行し、処理された信号をプロセッサ501に送る。ワイヤレス通信モジュール508は、プロセッサ501から送信されるべき信号をさらに受け取り、信号に対して周波数変調および増幅を実行し、放射用のアンテナを使用して周波数変調および増幅後に取得された信号を電磁波に変換することができる。

ヘッドマウントディスプレイデバイス100は、GPU、左ディスプレイ210、右ディスプレイ220、アプリケーションプロセッサなどを使用して表示機能を実現する。GPUは画像処理用のマイクロプロセッサであり、左ディスプレイ210、右ディスプレイ220、およびアプリケーションプロセッサに接続される。GPUは、数学計算および幾何計算を実行するように構成され、グラフィックスレンダリングを実行するように構成される。プロセッサ501は1つまたは複数のGPUを含んでよく、1つまたは複数のGPUは、プログラム命令を実行して表示情報を生成または変更する。

本出願のいくつかの実施形態では、ヘッドマウントディスプレイデバイス100は一体型HMDであってよい。すなわち、ヘッドマウントディスプレイデバイス100は、CPU、GPU、NPU、アプリケーションプロセッサなどを使用して、取得された画像およびヘッドマウントディスプレイデバイス100の姿勢情報に対してデータ処理を実行し、たとえば、大きい視野カメラによって取り込まれた低精細画像、および小さい視野カメラによって取り込まれた高精細画像に対して前処理および画像合成を実行して、実景画像を取得し、仮想オブジェクトを含む画像を生成し、仮想オブジェクトを含む画像を実景画像と合成することができる。

大きい視野カメラによって取り込まれた低精細画像は、小さい視野カメラによって取り込まれた画像と比べて記述され、大きい視野カメラによって取り込まれた画像の解像度は、小さい視野カメラによって取り込まれた画像の解像度よりも低い。大きい視野カメラによって取り込まれた低精細画像は、HDMによる画像視聴中に背景領域の画像の解像度に対するユーザの要件を満たす。同様に、小さい視野カメラによって取り込まれた高精細画像は、大きい視野カメラによって取り込まれた画像と比べて記述され、小さい視野カメラによって取り込まれた画像の解像度は、小さい視野カメラによって取り込まれた画像の解像度よりも高い。小さい視野カメラによって取り込まれた高精細画像は、HDMによる画像視聴中に中央領域の画像の解像度に対するユーザの要件を満たす。

本出願のいくつかの他の実施形態では、ヘッドマウントディスプレイデバイス100は、分割されたHMDであってよい。すなわち、ヘッドマウントディスプレイデバイス100は、取得された画像およびヘッドマウントディスプレイデバイス100の姿勢情報に対して実行されるデータ処理を、別の電子デバイスまたは装置に完全または部分的に引き渡すことができる。たとえば、ヘッドマウントディスプレイデバイス100は、たとえば、USBインターフェース504を使用して、取得された高精細画像および低精細画像ならびにヘッドマウントディスプレイデバイス100の取得された姿勢を、ヘッドマウントディスプレイデバイス100に接続された別の電子デバイス（たとえば、携帯電話、パーソナルコンピュータ、またはタブレットコンピュータ）に送信することができる。電子デバイスはデータ処理を実行し、次いで、ヘッドマウントディスプレイデバイス100による表示のために、ヘッドマウントディスプレイデバイス100に処理結果を返信する。この例では、ヘッドマウントディスプレイデバイス100は、GPU、NPU、アプリケーションプロセッサなどのうちのいずれか1つまたはいくつかのハードウェアデバイスを含まない場合がある。

左ディスプレイ210は、左眼に対応する画像、ビデオなどを表示するように構成され、右ディスプレイ220は、右眼に対応する画像、ビデオなどを表示するように構成される。左ディスプレイ210および右ディスプレイ220は、各々表示パネルを含んでよい。表示パネルは、液晶ディスプレイ（liquid crystal display，LCD）、有機発光ダイオード（organic light－emitting diode，OLED）、アクティブマトリクス／有機発光ダイオード（active－matrix organic light emitting diode，AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode，FLED）、Miniled、MicroLed、Micro－oLed、または量子ドット発光ダイオード（quantum dot light emitting diodes，QLED）などであってよい。

ヘッドマウントディスプレイデバイス100は、ISP、カメラモジュール150、カメラモジュール160、ビデオコーダ／デコーダ、GPU、左ディスプレイ210、右ディスプレイ220、アプリケーションプロセッサなどを使用して撮影機能を実現することができる。

ISPは、カメラモジュール150およびカメラモジュール160によってフィードバックされたデータを処理するように構成される。たとえば、カメラモジュールが画像を取り込むとき、光はレンズを通ってカメラの光検知素子に伝達され、その結果、光信号は電気信号に変換され、カメラの光検知素子は、電気信号が可視画像に変換されるように、処理のためにISPに電気信号を送信する。ISPは、画像のノイズ、輝度、および色艶に対してアルゴリズム最適化をさらに実行することができる。ISPは、撮影シナリオの露出時間および色温度などのパラメータをさらに最適化することができる。いくつかの実施形態では、ISPは、カメラモジュール150およびカメラモジュール160内に配置されてよい。

カメラモジュール150およびカメラモジュール160は、各々静止画像またはビデオを取り込むように構成されてよい。オブジェクトの光学像は、レンズを介して生成され、光検知素子に投影される。光検知素子は、電荷結合素子（charge coupled device，CCD）、または相補型金属酸化膜半導体（complementary metal－oxide－semiconductor，CMOS）フォトトランジスタであってよい。光検知素子は、光信号を電気信号に変換し、次いで、電気信号がデジタル画像信号に変換されるように、ISPに電気信号を送信する。ISPは、処理のためにDSPにデジタル画像信号を出力する。DSPは、RGBまたはYUVなどの標準フォーマットの画像信号にデジタル画像信号を変換する。いくつかの実施形態では、ヘッドマウントディスプレイデバイス100は、1つまたはN個のカメラモジュール150を含み、1つまたはM個のカメラモジュール160を含んでもよい。NおよびMは各々1より大きい正の整数である。

デジタル信号プロセッサはデジタル信号を処理するように構成され、デジタル画像信号に加えて別のデジタル信号をさらに処理することができる。たとえば、ヘッドマウントディスプレイデバイス100が周波数選択を実行するとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換などを実行するように構成される。

ビデオコーダ／デコーダは、デジタルビデオを圧縮または解凍するように構成される。ヘッドマウントディスプレイデバイス100は、1つまたは複数のタイプのビデオコーダ／デコーダをサポートすることができる。このようにして、ヘッドマウントディスプレイデバイス100は、ムービングピクチャーエキスパートグループ（moving picture experts group，MPEG）1、MPEG2、MPEG3、およびMPEG4などの複数のコーディングフォーマットでビデオを再生または録画することができる。

NPUはニューラルネットワーク（neural－network、NN）コンピューティングプロセッサであり、人間の脳神経細胞間の伝達のモードなどの生物学的ニューラルネットワーク構造を使用して入力情報を迅速に処理し、さらに自己学習を常に実行することができる。NPUは、ヘッドマウントディスプレイデバイス100のインテリジェントな認知、たとえば、画像認識、顔認識、音声認識、またはテキスト理解などのアプリケーションを実現するために使用されてよい。

外部メモリインターフェース502は、ヘッドマウントディスプレイデバイス100の記憶能力を拡張するために、Micro SDカードなどの外部記憶カードに接続するように構成されてよい。外部記憶カードは、外部メモリインターフェース502を使用してプロセッサ501と通信して、データ記憶機能を実現する、たとえば、外部記憶カードに音楽またはビデオなどのファイルを記憶する。

内部メモリ503は、コンピュータ実行可能プログラムコードを記憶するように構成されてよく、実行可能プログラムコードは命令を含む。内部メモリ503は、プログラム記憶領域およびデータ記憶領域を含んでよい。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能（たとえば、音声再生機能または画像再生機能）によって必要とされるアプリケーションプログラムなどを記憶することができる。データ記憶領域は、ヘッドマウントディスプレイデバイス100の使用中に作成された（オーディオデータおよびアドレス帳などの）データなどを記憶することができる。加えて、内部メモリ503は、高速ランダムアクセスメモリを含んでよいか、または少なくとも1つの磁気ディスクメモリ、フラッシュメモリ、もしくはユニバーサルフラッシュストレージ（universal flash storage、UFS）などの不揮発性メモリを含んでよい。プロセッサ501は、内部メモリ503に記憶された命令および／またはプロセッサ501内に配置されたメモリに記憶された命令を実行して、ヘッドマウントディスプレイデバイス100の様々な機能アプリケーションおよびデータ処理を実行する。

ヘッドマウントディスプレイデバイス100は、オーディオモジュール509、スピーカ510、受話器511、マイクロフォン512、ヘッドセットジャック513、アプリケーションプロセッサなどを使用することにより、オーディオ機能を実現する、たとえば、音楽の再生または録音を実行することができる。

オーディオモジュール509は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、またアナログオーディオ入力をデジタルオーディオ信号に変換するように構成される。オーディオモジュール509は、オーディオ信号を符号化および復号するようにさらに構成されてよい。いくつかの実施形態では、オーディオモジュール509はプロセッサ501内に配置されてよく、またはオーディオモジュール509のいくつかの機能モジュールはプロセッサ501内に配置されてよい。

スピーカ510は「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成される。ヘッドマウントディスプレイデバイス100は、スピーカ510を使用して音楽またはハンズフリー通話を聴くことができる。

受話器511は「イヤホン」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成される。ヘッドマウントディスプレイデバイス100が電話に応答するか、または音声メッセージを受信すると、受話器511は、人の耳の近くに配置されて音声を受信することができる。

「マイク」または「マイクロフォン」とも呼ばれるマイクロフォン512は、音声信号を電気信号に変換するように構成される。音声メッセージを収集すると、ユーザはマイクロフォン512に口を近づけて発話し、マイクロフォン512に音声信号を入力することができる。少なくとも1つのマイクロフォン512は、ヘッドマウントディスプレイデバイス100の中に配置されてよい。いくつかの他の実施形態では、音声信号の収集に加えて、ノイズ低減機能を実現するために、2つのマイクロフォン512がヘッドマウントディスプレイデバイス100の中に配置されてよい。いくつかの他の実施形態では、音声信号を収集しノイズ低減を実現し、さらに音源を認識して指向性録音機能などを実現するために、3つ、4つ、またはそれ以上のマイクロフォン512がヘッドマウントディスプレイデバイス100の中に配置されてよい。

ヘッドセットジャック513は、有線ヘッドセットに接続するように構成される。ヘッドセットジャック513は、USBインターフェースであってよいか、または3．5mmオープンモバイル端末プラットフォーム（open mobile terminal platform、OMTP）標準インターフェース、もしくは米国セルラー電気通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インターフェースであってよい。

ボタン514は、電源ボタン、音量ボタンなどを含む。ボタン514は、機械式ボタン514であってよいか、またはタッチボタン514であってよい。ヘッドマウントディスプレイデバイス100は、ボタン514から入力を受け取り、ヘッドマウントディスプレイデバイス100のユーザ設定および機能制御に関するボタン信号入力を生成することができる。

モータ515は、振動プロンプトを生成することができる。モータ515は、着信通話用の振動プロンプトを提供するように構成されてよいか、またはタッチ振動フィードバックを提供するように構成されてよい。たとえば、異なるアプリケーション（たとえば、撮影およびオーディオ再生）に対して実行されるタッチ操作は、異なる振動フィードバック効果に対応してよい。左ディスプレイ210および右ディスプレイ220の異なる領域に対して実行されるタッチ操作の場合、モータ515も異なる振動フィードバック効果に対応してよい。異なるアプリケーションシナリオ（たとえば、タイムリマインダ、情報受信、目覚まし時計、およびゲーム）も、異なる振動フィードバック効果に対応してよい。タッチ振動フィードバック効果は、代替としてカスタマイズされてよい。

インジケータ516はインジケータライトであってよく、充電状況およびバッテリの変化を示すように構成されてよく、またはメッセージ、不在着信、通知などを示すように構成されてよい。

以下の実施形態におけるすべての技術的解決策は、図1B～図5に示されたヘッドマウントディスプレイデバイス100において実現されてよい。

図6は、本出願の一実施形態による画像処理方法のフローチャートである。方法は、具体的に以下のステップを含む。

S101．ユーザの検出された起動操作に応答して、第1のカメラを使用して第1の解像度の第1の画像を収集し、同時に第2のカメラを使用して第2の解像度の第2の画像を収集する。

本出願のこの実施形態では、ユーザの両眼をシミュレートするために、2つの第1のカメラが使用されてよい（左側の第1のカメラは左眼に対応し、右側の第1のカメラは右眼に対応する）。ユーザの両眼によって見える最大範囲内の画像またはビデオを収集するために、2つの第1のカメラの光学中心は、ユーザの両眼の中心とそれぞれ位置合わせされ、各第1のカメラの視野は、ヒトの眼の視野に近くなければならない。このようにして、2つの第1のカメラによって同時に収集された2つの第1の画像は、ユーザの両眼によって見える最大範囲内の2つの画像と見なされてよく、ユーザによって見える実景内の背景領域の画像として使用されてよい。2つの第1のカメラが第1の画像を収集するとき、2つの第2のカメラ（左側の第2のカメラは左眼に対応し、右側の第2のカメラは右眼に対応する）は、ユーザの視覚焦点領域の画像、すなわち中央領域の画像を収集するために使用される。上述されたように、ユーザの視覚焦点領域の範囲は、ユーザの両眼によって見られる最大範囲よりも小さく、視覚焦点領域は比較的高い精細度要件を有する。したがって、第2のカメラの視野は第1のカメラの視野よりも小さく、第2のカメラの解像度（すなわち、第2の解像度）は、第1のカメラの解像度（すなわち、第1の解像度）よりも高い。

背景領域および中央領域の視野、ならびに近距離視聴中のユーザの鮮明度要件は、ヒトの眼の視覚的特徴に基づいて決定される。たとえば、第1のカメラの視野は100度から200度の範囲であってよく、第1のカメラの解像度（すなわち、第1の解像度）はVGAから720pの範囲であってよい。第2のカメラの視野は20度から60度の範囲であってよく、第2のカメラの解像度（すなわち、第2の解像度）は720pから2Kpの範囲であってよい。

たとえば、ユーザの起動操作は、ユーザがARアプリケーションを開始する操作であってもよく、ユーザがサービスを開始する操作であってもよく、ユーザがカメラを起動する操作であってもよい。たとえば、ユーザは、制御スイッチをタップし、物理的なボタンを押し、または特定の音声もしくは既定のジェスチャを入力することができる。これは、本出願のこの実施形態では限定されない。

ユーザの起動操作が検出された後に、ヘッドマウントディスプレイデバイスは、2つの第1のカメラおよび2つの第2のカメラを制御して、画像を同時に収集し、大きい視野の2つの第1の画像を取得する。水平方向のみの2つの第1のカメラ間の特定の位置差により、水平方向のみの2つの取得された第1の画像間の画角差は比較的小さい。たとえば、図7に示されたように、第1の画像内の撮影対象は、木、犬、およびボールを含み、第1の画像は第1の解像度の画像である。

第2のカメラの視野は第1のカメラの視野よりも小さいので、第2のカメラによって取得された第2の画像は、第1の画像内のコンテンツの一部であり、第1の画像内の中央領域のコンテンツであるが、第2の画像の解像度は第1の画像の解像度よりも高い。たとえば、図7に示されたように、第2の画像内の撮影対象は木であり、第2の画像は第2の解像度の画像である。図7では、第2の解像度の画像をマークして第1の解像度の画像と区別するために影が使用されていることに留意されたい。これは、以下では再び記載されない。

本出願のこの実施形態では、ヘッドマウントディスプレイデバイスは、それぞれ、ユーザの両眼に対応する（各々が第1のカメラおよび第2のカメラを含む）2つのカメラモジュールと、2つのディスプレイとを有することに留意されたい。すなわち、左側の第1のカメラおよび第2のカメラは画像を収集し、画像処理後、処理された画像は、ユーザの左眼によって見るために、左側のディスプレイに表示される。右側の第1のカメラおよび第2のカメラは画像を収集し、画像処理後、処理された画像は、ユーザの右眼によって見るために、右側のディスプレイに表示される。左側および右側で同じ画像処理が実行されるので、以下では、説明のための例として一方の側の画像処理プロセスを使用する。これは、以下では再び記載されない。

加えて、カメラによって撮影されたビデオも複数の連続する画像フレームを含むので、ビデオに対する処理はまた、複数の画像フレームに対する処理として理解されてよい。したがって、ビデオ処理方法は本出願では記載されない。

S102．第1の画像および第2の画像を別々に前処理する。

前処理には、ひずみ除去およびホワイトバランスなどの処理が含まれる。カメラはレンズのグループによって形成され、レンズ固有の特徴が撮影された画像のひずみを引き起こす。したがって、各カメラの物理的な特徴に基づいて撮影された画像に対してひずみ除去処理が実行される必要がある。加えて、周辺光などの要因の影響により、カメラによって撮影された元の画像がひずむ。そのため、撮影された画像に対してホワイトバランスなどの処理がさらに実行される必要がある。すなわち、第1の画像は、第1のカメラの物理的な特徴に基づいて前処理され、第2の画像は、第2のカメラの物理的な特徴に基づいて前処理される。前処理は、第1の画像および第2の画像における視野、解像度、撮影対象などを変更しないことに留意されたい。

画像のひずみ除去処理およびホワイトバランス処理の両方は、当技術分野の関連技術を使用して実行されてよい。本明細書では詳細は記載されない。

S103．第1のカメラに対する第2のカメラの位置に基づいて、前処理された第2の画像の画角を処理された第1の画像の画角と位置合わせする。

前処理された第2の画像および前処理された第1の画像は同じ撮影対象を有するが、第1のカメラおよび第2のカメラの異なる位置に起因して、2つの画像内の同じ撮影対象の画像間に特定の画角差が存在する。したがって、2つの画像の画角は位置合わせされる必要がある。上記は、1つのカメラモジュール内の第1のカメラと第2のカメラとの間の位置関係を詳細に記載している。したがって、2つの画像間の画角差は位置関係に基づいて決定されてよく、次いで、前処理された第2の画像の画角は、画角差に基づいて、前処理された第1の画像の画角と一致するように調整されてよい。画角調整プロセスは、前処理された第2の画像に対する回転、並進、および非同一平面上の行較正などのプロセスを含むことがコンピュータグラフィックスから分かる。関連する画角調整方法については、従来技術を参照されたい。本明細書では詳細は記載されない。

あるいは、第2の画像の画角は、最初に同じ側の第1の画像の画角と位置合わせされてよく、次いで、画角位置合わせ後に取得された第2の画像が前処理されることに留意されたい。画角位置合わせステップおよび前処理ステップの順序は、本出願のこの実施形態では限定されない。

S104．ヘッドマウントディスプレイデバイスの姿勢情報を取得し、前処理された第1の画像に基づいて、仮想オブジェクトを含む第3の画像を生成する。

たとえば、ヘッドマウントディスプレイデバイスは、前処理された第1の画像に対して単一チャネルデータ抽出およびダウンサンプリングを実行し、モーションセンサ（たとえば、IMU）から取得された姿勢情報（すなわち、第1の画像の収集中のヘッドマウントディスプレイデバイスの姿勢情報）を参照して、同時位置特定およびマッピングSLAM（Simultaneously Localization and Mapping）アルゴリズムを使用して、ヘッドマウントディスプレイデバイスの位置および姿勢情報、実環境の深度情報、ならびに3次元復元結果を計算する。次いで、仮想オブジェクトを含む第3の画像は、ヘッドマウントディスプレイデバイスにおいて、関連するアプリケーション（たとえば、ARアプリケーション）によって生成された仮想オブジェクトを参照して生成される。図7に示されたように、ヘッドマウントディスプレイデバイスによって生成された仮想オブジェクトはロボットであり、ロボットを含む画像、すなわち第3の画像は、計算された位置および姿勢情報、環境深度情報、ならびに3次元復元結果に基づいて生成される。

加えて、関連アプリケーションによって単独で生成された仮想オブジェクトが実景と自然にブレンドされることを可能にして、ユーザが唐突かつ非現実的に感じることを防ぐために、仮想オブジェクトは実景画像に基づいてさらに調整されてよい。たとえば、仮想オブジェクトの解像度が実景画像の解像度に適合され、仮想オブジェクトの位置が調整され、仮想オブジェクトの影が実景内の光の状態に基づいて計算される。

S105．実景の第4の画像として、前処理された第1の画像を画角位置合わせ後に取得された第2の画像と合成し、第4の画像は第1の解像度の画像および第2の解像度の画像を含む。

たとえば、ヘッドマウントディスプレイデバイスは、画角が重複する、前処理された第1の画像内の領域、および画角位置合わせ後に取得された第2の画像内の領域を、ターゲット領域として決定する。すなわち、2つの画像におけるターゲット領域内の画像は、同時に同じ画角から同じ撮影対象を撮影することによって取得された画像である。前処理された第1の画像および画角位置合わせ後に取得された第2の画像に対して画像合成が実行されて、第4の画像が取得される。第4の画像内のターゲット領域の画像は、画角位置合わせ後に取得された第2の画像内のターゲット領域の画像と同じであり、比較的高い第2の解像度を有する。第4の画像内のターゲット領域以外の領域の画像は、前処理された第1の画像内の画像と同じであり、比較的低い第1の解像度を有する。たとえば、図7に示されたように、第4の画像では、木の解像度は第2の解像度であり、木以外の犬、ボールなどの解像度は第1の解像度である。

第4の画像内のターゲット領域は、ユーザの視覚焦点領域、すなわち中央領域であり、比較的高い解像度要件を有することが理解されよう。第4の画像内のターゲット領域以外の領域は、前述の背景領域であり、比較的低い解像度要件を有するが、比較的大きい視野を有する。

たとえば、前述の画像合成プロセスでは、前処理された第1の画像内のターゲット領域の画像は除去されてよく、次いで、画角位置合わせ後に取得された第2の画像内のターゲット領域の画像が埋められてよい。埋めた後、画像合成プロセスで生じるエイリアシング感などの問題を回避するために、重み付きブレンド法を使用して2つの画像の合成エッジ位置（すなわち、ターゲット領域のエッジ位置）がブレンドされ、その結果、最終的な合成画像（すなわち、第4の画像）がより自然でリアルになる。

画像合成方法は、直接カットペースト（cut－paste）技術、アルファブレンディング（alpha blending）、マルチバンドブレンディング（multiband blending）、またはポアソンブレンディング（poisson blending）のうちのいずれか1つまたはいくつかであってよい。具体的な画像合成方法は、本出願では限定されない。

たとえば、ターゲット領域は、特徴点マッチング法を使用して決定されてよい。2つの画像内のターゲット領域の画像は、同じ撮影対象を同時に撮影することによって取得され、同じ画角を有するが、2つの写真は異なる位置にある2つのカメラによって撮影され、2つの画像内のターゲット領域内の画像のピクセル値は光などの要因のために完全に一致しないので、ターゲット領域は、2つの画像に基づいて決定される必要があることに留意されたい。

単に、2つの画像に対して特徴点認識が別々に実行され、次いで、2つの画像内の特徴点の類似性が比較されてターゲット領域が決定される。すなわち、2つの画像内の特徴点が類似する領域は、画角が同じ領域、すなわちターゲット領域として決定される。特徴点は1つまたは複数のピクセルであり、2つの画像内の特徴点の類似性は、以下の理由で、特徴点のピクセル値と特徴点の周囲のピクセルのピクセル値との間の類似する関係であってよい。すなわち、2つの画像のターゲット領域内のピクセルのピクセル値は光などの要因のために異なるが、ターゲット領域は同じ撮影対象を表示するので、ターゲット領域内のピクセルとピクセルの周囲のピクセルとの間には固定された関係が存在する。たとえば、同時に撮影された同じ葉の場合、画像1では、光は比較的強く、葉全体は比較的明るく、画像2では、光は比較的暗く、葉全体は比較的暗い。言い換えれば、画像1における葉のピクセル値は、画像2における葉のピクセル値とは異なる。しかしながら、画像1における葉の異なる部分のピクセル値間の差は、画像2における葉の異なる部分のピクセル値間の差と同じである。

特徴点認識方法は、SIFTアルゴリズム、SURF（Speeded Up Robust Features）アルゴリズム、FASTアルゴリズム、ORB（ORiented Brief）アルゴリズムなどのうちのいずれか1つまたはいくつかであってよい。具体的な特徴点認識方法は、本出願のこの実施形態では限定されない。

確かに、ターゲット領域は別の方法を使用して決定されてよい。たとえば、第1のカメラと第2のカメラとの間の固定された位置関係により、後の前処理された第1の画像内のターゲット領域の位置も固定され、画角位置合わせ後に取得された第2の画像内のターゲット領域の位置も固定される。したがって、前処理された第1の画像内のターゲット領域の位置および画角位置合わせ後に取得された第2の画像内のターゲット領域の位置はあらかじめ決定されてよく、次いで、それらの位置に基づいて画像合成が直ちに実行される。ターゲット領域決定方法もまた、本出願のこの実施形態では具体的に限定されない。

本出願のこの実施形態では、ステップS105はステップS104の前に実行されてよく、またはステップS104とS105は同時に実行されてよいことに留意されたい。これは本出願では限定されない。

S106．第4の画像を第3の画像と合成して第5の画像を生成し、第5の画像を表示し、第5の画像は実景および仮想オブジェクトを含む。

具体的には、第4の画像および第3の画像に対して画像合成が実行され、その結果、合成画像（すなわち、第5の画像）は、第3の画像内の仮想オブジェクトを含み、第4の画像内の実景も含む、言い換えれば、現実と仮想の組合せを実現する。

たとえば、第3の画像と第4の画像の画像合成プロセスでは、ステップS104において第3の画像が生成されたときに仮想オブジェクトの位置が計算されるからである。したがって、第4の画像内の同じ位置にある画像が除去されてよく、第3の画像内の仮想オブジェクトが埋められてよい。第5の画像を取得するために、ブレンドのために埋められた位置のエッジに対して重み付きブレンド法が使用される。言い換えれば、ステップS105に記載された画像合成方法が処理に使用される。

あるいは、第3の画像および第4の画像の画像合成プロセスでは、仮想オブジェクトのピクチャまたはテクスチャは、前述のステップで計算された、仮想オブジェクトの位置に基づいて、第4の画像内の同じ位置に貼り付けられてよい。たとえば、画像合成は、シェーダー（shader）を使用して実現されてよい。言い換えれば、第3の画像および第4の画像は、一緒にレンダリングに関与するために使用される。具体的なレンダリング方式については、関連する従来技術を参照されたい。本明細書では詳細は記載されない。

本出願のこの実施形態では、具体的な画像合成方法は限定されないことに留意されたい。

ヘッドマウントディスプレイデバイスは、前述の方法に従って取得された現実と仮想の組合せを有する画像を左右のディスプレイに別々に表示することができ、左右のディスプレイ上の画像間に特定の画角距離が存在し、その結果、ユーザは視聴中に3D効果を楽しむことが上記から分かる。

加えて、表示画像内の背景領域の視野が大きいので、より広い画角をユーザに提供することができ、それにより、ユーザのヒトの眼の視野が比較的広いという要件を満たす。加えて、中央領域の画像は高い解像度を有するので、ユーザの視線焦点範囲内の高精細画像をユーザに提供することができる。本出願で提供される技術的解決策は、ユーザの没入感、現実感、および視覚体験を改善するのに役立つことが分かる。

加えて、背景領域の画像は低い解像度を有するので、画像処理中のデータ量および計算の複雑さを低減することができ、それにより、表示中の遅延を低減するのに役立つ。

前述の機能を実現するために、前述の端末などは、機能を実行するための対応するハードウェア構造および／またはソフトウェアモジュールを含むことが理解されよう。本明細書に開示された実施形態に記載された例と組み合わせて、ユニット、アルゴリズム、およびステップは、本出願の実施形態では、ハードウェア、またはハードウェアとコンピュータソフトウェアの組合せによって実現され得ることが当業者には容易に認識されよう。機能がハードウェアによって実行されるか、またはコンピュータソフトウェアによって駆動されるハードウェアによって実行されるかは、技術的解決策の特定の用途および設計制約に依存する。当業者は、特定の用途ごとに、記載された機能を実現するために異なる方法を使用することができるが、その実現が本発明の実施形態の範囲を超えると考えられるべきではない。

本出願の実施形態では、前述の端末などは、前述の方法例に基づいて機能モジュールに分割されてよい。たとえば、各機能モジュールが対応する機能に基づいて分割を介して取得されてよく、または2つ以上の機能が1つの処理モジュールに統合されてよい。統合モジュールは、ハードウェアの形態で実現されてもよく、ソフトウェア機能モジュールの形態で実現されてもよい。本発明の実施形態では、モジュール分割は一例であり、論理的な機能分割にすぎないことに留意されたい。実際の実現では、別の分割方式が使用されてよい。

実現の前述の説明により、説明を分かりやすくかつ簡潔にする目的で、前述の機能モジュールの分割が説明用の例として使用されていることを当業者が明確に理解することが可能になる。実際の用途では、前述の機能は、要件に応じて実現用の様々な機能モジュールに割り振られてよい。すなわち、装置の内部構造は、前述の機能のすべてまたは一部を実現するために様々な機能モジュールに分割される。前述のシステム、装置、およびユニットの詳細な作業プロセスについては、前述の方法実施形態における対応するプロセスを参照されたい。本明細書では詳細は再び記載されない。

本出願の実施形態における機能ユニットは1つの処理ユニットに統合されてよく、またはユニットの各々は物理的に単独で存在してよく、または2つ以上のユニットが1つのユニットに統合されてよい。統合ユニットは、ハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。

統合ユニットが、ソフトウェア機能ユニットの形態で実現され、単独の製品として販売または使用されるとき、統合ユニットはコンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づいて、本出願の技術的解決策は本質的に、または従来技術に寄与する部分、または技術的解決策のすべてもしくは一部は、ソフトウェア製品の形態で実現されてよい。コンピュータソフトウェア製品は、記憶媒体に記憶され、本出願の実施形態に記載された方法のステップのすべてまたは一部を実行するように、（パーソナルコンピュータ、サーバ、ネットワークデバイスなどであり得る）コンピュータデバイスまたはプロセッサ501に指示するためのいくつかの命令を含む。前述の記憶媒体には、フラッシュメモリ、リムーバブルハードディスク、読出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクなどの、プログラムコードを記憶することができる任意の媒体が含まれる。

前述の説明は、本出願の単なる特定の実装形態であり、本出願の保護範囲を限定するものではない。本出願に開示された技術的範囲内のいかなる変形または置換も、本出願の保護範囲内に入るべきである。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。

100 ヘッドマウントディスプレイデバイス
110 ヘルメット本体
120 フロントパネル
130 リアパネル
140 ベルト
150 左カメラモジュール
151 大きい視野カメラ
1511 大きい視野カメラ
1512 大きい視野カメラ
152 小さい視野カメラ
160 右カメラモジュール
161 大きい視野カメラ
1611 大きい視野カメラ
1612 大きい視野カメラ
162 小さい視野カメラ
170 慣性測定ユニット
210 左ディスプレイ
220 右ディスプレイ
230 左接眼レンズ
240 右接眼レンズ
501 プロセッサ
502 外部メモリインターフェース
503 内部メモリ
504 ユニバーサルシリアルバスインターフェース
505 充電管理モジュール
506 電源管理モジュール
507 バッテリ
508 ワイヤレス通信モジュール
509 オーディオモジュール
510 スピーカ
511 受話器
512 マイクロフォン
513 ヘッドセットジャック
514 ボタン
515 モータ
516 インジケータ

Claims (20)

1. ヘッドマウントディスプレイデバイスに適用される画像処理方法であって、2つのモジュールが前記ヘッドマウントディスプレイデバイスに配置され、各モジュールが、カメラモジュール、前記カメラモジュールに対応する表示画面、および処理モジュールを備え、前記カメラモジュールが第1のカメラおよび第2のカメラを備え、前記第1のカメラの視野が前記第2のカメラの視野よりも大きく、各モジュールが、以下の方法：
   検出された起動操作に応答して、前記第1のカメラにより、第1の解像度の第1の画像を収集し、前記第2のカメラにより、第2の解像度の第2の画像を収集するステップであって、前記第1の解像度が前記第2の解像度よりも小さい、ステップと、
   前記処理モジュールにより、前記第1の画像および前記第2の画像に基づいて第4の画像を生成するステップであって、前記第4の画像が実景画像であり、前記第1の解像度の画像および前記第2の解像度の画像を備える、ステップと、
   前記処理モジュールにより、前記第1の画像の前記第1の解像度に基づいて第3の画像の解像度を調整し、および／または前記第1の画像内の光情報に基づいて前記第3の画像内の仮想オブジェクトの影を調整するステップと、
   前記処理モジュールにより、前記第4の画像、および調整された第3の画像に基づいて第5の画像を生成するステップであって、前記第5の画像が前記実景画像および前記仮想オブジェクトを備える、ステップと、
   前記モジュールの前記表示画面により、前記第5の画像を表示するステップと
   を実行し、
   前記処理モジュールにより、前記第1の画像および前記第2の画像に基づいて第4の画像を生成する前記ステップが、
   前記処理モジュールにより、前記第2の画像の画角を前記第1の画像の画角と同じになるように第1の画像および第2の画像の特徴点マッチングを行ってターゲット領域を特定し、位置を調整するステップと、
   調整された第2の画像および前記第1の画像に基づいて前記第4の画像を生成するステップと、をさらに含む、
   方法。
2. 1つのモジュールの第1のカメラの光学中心から他方のモジュールの第1のカメラの光学中心までの距離が、61ミリメートル～65ミリメートルである、請求項1に記載の方法。
3. 各モジュール内の前記第1のカメラの光学中心から前記第2のカメラの光学中心までの距離が、20ミリメートル未満である、請求項2に記載の方法。
4. 各モジュールが接眼レンズをさらに備え、前記表示画面が前記接眼レンズと前記カメラモジュールとの間に位置する、請求項1から3のいずれか一項に記載の方法。
5. 前記接眼レンズの光学中心、前記表示画面の光学中心、および各モジュール内の前記第1のカメラの前記光学中心が、直線上に位置する、請求項4に記載の方法。
6. 前記処理モジュールにより、前記第2の画像の画角を前記第1の画像の画角と同じになるように調整する前記ステップが、
   前記第2の画像の前記画角が前記第1の画像の前記画角と同じになることを可能にするために、前記処理モジュールにより、前記第2の画像に対して回転、並進、および非同一平面上の行較正処理を実行するステップ
   を備える、請求項1に記載の方法。
7. 前記処理モジュールにより、調整された第2の画像および前記第1の画像に基づいて前記第4の画像を生成する前記ステップが、
   前記処理モジュールにより、ターゲット領域として、重複した画角を有する前記調整された第2の画像内の領域および前記第1の画像内の領域を決定するステップと、
   前記第1の画像内の前記ターゲット領域の画像を前記調整された第2の画像と置き換えるステップと
   を備える、請求項1または6に記載の方法。
8. 前記処理モジュールにより、前記第4の画像、および仮想オブジェクトを備える第3の画像に基づいて第5の画像を生成する前記ステップの前に、前記方法が、
   前記処理モジュールにより、前記ヘッドマウントディスプレイデバイスの姿勢情報および前記第1の画像に基づいて、前記仮想オブジェクトを備える前記第3の画像を生成するステップ
   をさらに備える、請求項1から7のいずれか一項に記載の方法。
9. 2つのモジュールおよびメモリを備えるヘッドマウントディスプレイデバイスであって、各モジュールが、カメラモジュール、前記カメラモジュールに対応する表示画面、および処理モジュールを備え、前記カメラモジュールが第1のカメラおよび第2のカメラを備え、前記第1のカメラの視野が前記第2のカメラの視野よりも大きく、前記メモリがコンピュータプログラムコードを記憶するように構成され、前記コンピュータプログラムコードがコンピュータ命令を備え、前記処理モジュールが前記メモリから前記コンピュータ命令を読み取ると、前記ヘッドマウントディスプレイデバイス内の各モジュールが、以下の動作：
   検出された起動操作に応答して、前記第1のカメラにより、第1の解像度の第1の画像を収集し、前記第2のカメラにより、第2の解像度の第2の画像を収集することであって、前記第1の解像度が前記第2の解像度よりも小さい、収集することと、
   前記処理モジュールにより、前記第1の画像および前記第2の画像に基づいて第4の画像を生成することであって、前記第4の画像が実景画像であり、前記第1の解像度の画像および前記第2の解像度の画像を備える、生成することと、
   前記処理モジュールにより、前記第1の画像の前記第1の解像度に基づいて第3の画像の解像度を調整し、および／または前記第1の画像内の光情報に基づいて前記第3の画像内の仮想オブジェクトの影を調整することと、
   前記処理モジュールにより、前記第4の画像、および調整された第3の画像に基づいて第5の画像を生成することであって、前記第5の画像が前記実景画像および前記仮想オブジェクトを備える、生成することと、
   前記モジュールの前記表示画面により、前記第5の画像を表示することと
   を実行することが可能になり、
   前記処理モジュールにより、前記第1の画像および前記第2の画像に基づいて第4の画像を生成することが、
   前記処理モジュールにより、前記第2の画像の画角を前記第1の画像の画角と同じになるように第1の画像および第2の画像の特徴点マッチングを行ってターゲット領域を特定し、位置を調整することと、
   調整された第2の画像および前記第1の画像に基づいて前記第4の画像を生成することと、をさらに含む、
   ヘッドマウントディスプレイデバイス。
10. 1つのモジュールの第1のカメラの光学中心から他方のモジュールの第1のカメラの光学中心までの距離が、61ミリメートル～65ミリメートルである、請求項9に記載のヘッドマウントディスプレイデバイス。
11. 各モジュール内の前記第1のカメラの光学中心から前記第2のカメラの光学中心までの距離が、20ミリメートル未満である、請求項10に記載のヘッドマウントディスプレイデバイス。
12. 各モジュールが接眼レンズをさらに備え、前記表示画面が前記接眼レンズと前記カメラモジュールとの間に位置する、請求項10または11に記載のヘッドマウントディスプレイデバイス。
13. 前記ヘッドマウントディスプレイデバイスが水平に配置されたとき、各モジュール内の前記第1のカメラの前記光学中心と前記第2のカメラの前記光学中心との間の接続線が水平面に平行である、請求項12に記載のヘッドマウントディスプレイデバイス。
14. 前記接眼レンズの光学中心、前記表示画面の光学中心、および各モジュール内の前記第1のカメラの前記光学中心が、直線上に位置する、請求項12または13に記載のヘッドマウントディスプレイデバイス。
15. 前記処理モジュールが前記メモリから前記コンピュータ命令を読み取ると、前記ヘッドマウントディスプレイデバイス内の各モジュールが、以下の動作：
    前記処理モジュールにより、前記第2の画像の画角を前記第1の画像の画角と同じになるように調整することと、
    調整された第2の画像および前記第1の画像に基づいて前記第4の画像を生成することと を実行することがさらに可能になる、請求項9から14のいずれか一項に記載のヘッドマウントディスプレイデバイス。
16. 前記処理モジュールが前記メモリから前記コンピュータ命令を読み取ると、前記ヘッドマウントディスプレイデバイス内の各モジュールが、以下の動作：
    前記第2の画像の前記画角が前記第1の画像の前記画角と同じになることを可能にするために、前記処理モジュールにより、前記第2の画像に対して回転、並進、および非同一平面上の行較正処理を実行すること
    を実行することがさらに可能になる、請求項15に記載のヘッドマウントディスプレイデバイス。
17. 前記処理モジュールが前記メモリから前記コンピュータ命令を読み取ると、前記ヘッドマウントディスプレイデバイス内の各モジュールが、以下の動作：
    前記処理モジュールにより、ターゲット領域として、重複した画角を有する前記調整された第2の画像内の領域および前記第1の画像内の領域を決定することと、
    前記第1の画像内の前記ターゲット領域の画像を前記調整された第2の画像と置き換えることと
    を実行することがさらに可能になる、請求項15または16に記載のヘッドマウントディスプレイデバイス。
18. 前記処理モジュールが前記メモリから前記コンピュータ命令を読み取ると、前記ヘッドマウントディスプレイデバイス内の各モジュールが、以下の動作：
    前記処理モジュールにより、前記ヘッドマウントディスプレイデバイスの姿勢情報および前記第1の画像に基づいて、前記仮想オブジェクトを備える前記第3の画像を生成すること
    を実行することがさらに可能になる、請求項9から17のいずれか一項に記載のヘッドマウントディスプレイデバイス。
19. コンピュータ命令を備えるコンピュータ記憶媒体であって、前記コンピュータ命令が端末上で実行されると、前記端末が、請求項1から8のいずれか一項に記載の画像処理方法を実行することが可能になる、コンピュータ記憶媒体。
20. コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で実行されると、前記コンピュータが、請求項1から8のいずれか一項に記載の画像処理方法を実行することが可能になる、コンピュータプログラム製品。

Images