JP6560463B1 - ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション - Google Patents
ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション Download PDFInfo
- Publication number
- JP6560463B1 JP6560463B1 JP2018563028A JP2018563028A JP6560463B1 JP 6560463 B1 JP6560463 B1 JP 6560463B1 JP 2018563028 A JP2018563028 A JP 2018563028A JP 2018563028 A JP2018563028 A JP 2018563028A JP 6560463 B1 JP6560463 B1 JP 6560463B1
- Authority
- JP
- Japan
- Prior art keywords
- face
- user
- calibration
- hmd
- head mounted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
HMDを装着したユーザにコンテンツを表示するように構成された表示素子と、
表示素子からの光をHMDの射出瞳に導くように構成された光学ブロックと、
光学ブロックの周りの離散した位置に配置されており、HMD内のユーザの顔の複数の部分を照明するように構成された複数の光源と、
複数の光源のうちの1つまたは複数によって照明された顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
顔センサからキャプチャされた複数の顔データを受信し、
キャプチャされた複数の顔データに少なくとも部分的に基づいてユーザの顔の一部を表す顔アニメーション情報を生成するように構成されたコントローラとを備える。
HMDを装着したユーザにコンテンツを表示するように構成された表示素子と、
表示素子からの光をHMDの射出瞳に導くように構成された光学ブロックと、
光学ブロックの周りの離散した位置に配置されており、HMD内のユーザの顔の複数の部分を照明するように構成された複数の光源と、
複数の光源のうちの1つまたは複数によって照明された顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
顔センサからキャプチャされた複数の顔データを受信し、
キャプチャされた複数の顔データに少なくとも部分的に基づいて、ユーザの顔の一部を表す顔アニメーション情報を生成し、および/または
キャプチャされた顔データをバーチャルリアリティ(VR)コンソールに提供し、
VRコンソールから、キャプチャされた複数の顔データに少なくとも部分的に基づいて、ユーザの顔の一部の仮想アニメーションを受信するように構成されたコントローラとを備えてもよい。
コントローラは、
較正処理において1つまたは複数の表情を実行するようにユーザに命令を供給し、
顔センサからの1つまたは複数の表情のうちの少なくとも1つに対応する較正属性を受信し、
較正属性に少なくとも部分的に基づいて、ユーザの顔の1つまたは複数のランドマークを特定するように更に構成されてもよく、
ユーザの顔の一部を表す顔アニメーション情報は、1つまたは複数のランドマークに更に基づく。
コントローラは、
複数のキャプチャされた顔データに少なくとも部分的に基づいて顔の一部の複数の表面を特定し、
複数の表面を、顔のセクションを表す1つまたは複数のランドマークにマッピングするように更に構成されてもよく、ユーザの顔の一部を表す顔アニメーション情報は、マッピングに更に基づく。
コントローラは、
顔の複数の部分を照明するように複数の光源に命令を与え、1つまたは複数の顔データをキャプチャするように、複数の光源への命令に協調させて、顔センサに命令を供給するように更に構成されてもよい。
複数の顔データから鏡面反射情報を受信し、
鏡面反射情報に少なくとも部分的に基づいてユーザの目の位置を特定するように更に構成されてもよい。
本発明による実施形態において、ヘッドマウントディスプレイ(HMD)は、
HMDを装着したユーザにコンテンツを表示するように構成された表示素子と、
ユーザの視線外の離散した位置に配置された複数の光源であって、HMD内のユーザの顔の複数の部分に光を照射するように構成された複数の光源と、
複数の光源のうちの1つまたは複数によって照明された顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
顔センサからキャプチャされた複数の顔データを受信し、
キャプチャされた複数の顔データに少なくとも部分的に基づいてユーザの顔の一部を表す顔アニメーション情報を生成するように構成されたコントローラと、を備える。
HMDを装着したユーザにコンテンツを表示するように構成された表示素子と、
表示素子からの光をHMDの射出瞳に導くように構成された光学ブロックと、
光学ブロックの周りの離散した位置に配置されており、HMD内のユーザの顔の複数の部分に光を照射するように構成された複数の光源と、
複数の光源のうちの1つまたは複数によって照明された顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
顔センサから複数のキャプチャされた顔データを受信し、
キャプチャされた顔データをバーチャルリアリティ(VR)コンソールに提供し、
VRコンソールから、複数のキャプチャされた顔データに少なくとも部分的に基づいて、ユーザの顔の一部の仮想アニメーションを受信するように構成されたコントローラと、を備えてもよい。
1つまたは複数の光源を介して、ヘッドマウントディスプレイ(HMD)内の、HMDを装着したユーザの顔の複数の部分を照明すること、
HMD内に配置された1つまたは複数の顔センサを使用して、顔の一部の複数の顔データをキャプチャすること、
複数の顔データに少なくとも部分的に基づいて、顔の一部の複数の平面セクションを特定すること、
複数の平面セクションを顔の1つまたは複数のランドマークにマッピングすること、マッピングに少なくとも部分的に基づいて、ユーザの顔の一部に対応する仮想顔の一部を表す顔アニメーション情報を生成すること、を含む。
1つまたは複数の光源を介して、ヘッドマウントディスプレイ(HMD)を装着したユーザのHMD内の顔の複数の部分に光を照射すること、
HMD内に配置された1つまたは複数の顔センサを使用して、顔の一部の複数の顔データをキャプチャすること、
複数の顔データに少なくとも部分的に基づいて、顔の一部の複数の平面セクションを特定すること、
複数の平面セクションを顔の1つまたは複数のランドマークにマッピングすること、マッピングに少なくとも部分的に基づいて、ユーザの顔の一部に対応する仮想顔の一部を表す顔アニメーション情報を生成すること、および/または
バーチャルリアリティ(VR)コンソールにマッピングを提供すること、
VRコンソールから、マッピングに少なくとも部分的に基づいて、ユーザの顔の一部を含む仮想顔を表す顔アニメーション情報を受信すること、
顔アニメーション情報をHMDのディスプレイに提供してユーザに提示することを含んでもよい。
HMDの表示素子に仮想顔を提供してユーザに提示することを更に含んでもよい。
顔センサからの1つまたは複数の表情のうちの少なくとも1つに対応する較正属性を受信すること、
較正属性に少なくとも部分的に基づいて、ユーザの顔の1つまたは複数のランドマークを特定することを更に含んでもよく、
顔アニメーション情報の生成は、顔の1つまたは複数のランドマークに更に基づく。
顔の1つまたは複数のランドマークは、ユーザの目、ユーザの眉、ユーザの鼻、ユーザの口、およびユーザの頬のうちの1つまたは複数の、位置を表してもよい。
顔データは画像のフレームを表してもよく、画像は複数の画素を含んでもよく、各画素は画像の座標(x,y)位置に関連付けられ、
複数の顔データに少なくとも部分的に基づいて顔の一部の複数の平面セクション特定することは、
画像の各座標位置について、座標位置における最も明るい画素値に対応する平面セクションを特定すること、
特定された平面セクションの各々に対応する光センサ位置を特定すること、
特定された平面セクションおよび特定された光センサ位置に少なくとも部分的に基づいて、顔の一部の仮想表面を生成すること、を含んでもよく、
顔アニメーション情報を生成することは、仮想表面に更に基づいてもよい。
カメラ、オーディオセンサ、歪みゲージ、電磁センサ、および近接センサからなる群から選択されてもよい。
顔の複数の部分に光を照射するように複数の光源に命令を供給すること、
1つまたは複数の顔データをキャプチャするように、複数の光源への命令と協調させて、複数の光源に命令を供給することを含んでもよい。
本発明による実施形態では、方法は、複数の顔データから鏡面反射情報を受信すること、
鏡面反射情報に少なくとも部分的に基づいてユーザの目の位置を特定すること、を更に含んでもよい。
本発明による一実施形態では、方法は、
ヘッドマウントディスプレイ(HMD)を装着したユーザのHMD内の顔の1つまたは複数のランドマークを含む較正属性を受信すること、
HMD内に配置されてユーザの視線から離れた1つまたは複数の顔センサを使用して、顔の一部の複数の顔データをキャプチャすること、
複数の顔データに少なくとも部分的に基づいて顔の一部の複数の平面セクションの表面を特定すること、
複数の平面セクションを顔の1つまたは複数のランドマークにマッピングすること、
マッピングに少なくとも部分的に基づいて、ユーザの顔の一部を含む仮想顔を表す顔アニメーション情報を生成すること、
顔アニメーション情報をHMDのディスプレイに提供してユーザに提示すること、を含んでもよい。
本発明による実施形態では、方法は、複数の顔データから鏡面反射情報を受信すること、
鏡面反射情報に少なくとも部分的に基づいてユーザの目の位置を特定することを更に含んでもよい。
1つまたは複数の光源を介して、ヘッドマウントディスプレイ(HMD)内のHMDを装着したユーザの顔の複数の部分を照明すること、
HMD内に配置された1つまたは複数の顔センサを使用して、顔の一部の複数の顔データをキャプチャすること、
複数の顔データに少なくとも部分的に基づいて顔の複数の平面セクションを特定すること、
複数の平面セクションを顔の1つまたは複数のランドマークにマッピングすること、
バーチャルリアリティ(VR)コンソールにマッピングを提供すること、
VRコンソールから、マッピングに少なくとも部分的に基づいて、ユーザの顔の一部を含む仮想顔を表す顔アニメーション情報を受信すること、
顔アニメーション情報をHMDのディスプレイに提供してユーザに提示することを含んでもよい。
図2は、一実施形態によるVRシステム100の顔トラッキングシステム160のブロック図である。図2に示す例において、顔トラッキングシステム160は、1つまたは複数の光源200、1つまたは複数の顔センサ210、およびコントローラ220を含む。他の実施形態では、異なるおよび追加の構成要素、あるいは異なるまたは追加の構成要素が顔トラッキングシステム160に含まれてもよく、または顔トラッキングシステム160がVRシステム100とは異なるシステムの一部であってもよい。
図3は、一実施形態による仮想現実HMD300の配線図である。HMD300は、HMD105の一実施形態であり、前方剛体305およびバンド310を含む。前方剛体305は、電子ディスプレイ(図3には図示せず)、IMU130、1つ以上の位置センサ125、およびロケータ120を含む。図3に示す実施形態では、位置センサ125は、IMU130内に配置され、IMU130も位置センサ125もユーザには見えない。
図6は、一実施形態による顔アニメーションの処理600を示すフローチャートである。一実施形態では、処理600は、図1のVRシステム100内で使用される。図6の処理例は、顔トラッキングシステム160、HMD105、コンソール110、および/または何らかの他のシステム(例えば、ARまたはMRシステム)によって実行されてもよい。他の実施形態では、他のエンティティが処理のステップの一部または全部を実行する。同様に、実施形態は、異なるステップおよび追加のステップ、あるいは異なるステップまたは追加のステップを含むか、または異なる順序でステップを実行する。さらに、この処理は、いくつかの実施形態において、図6と関連して説明したもの以外の異なるステップおよび追加のステップ、あるいは異なるステップまたは追加のステップを含む。
本開示の実施形態の前述の説明は、例示の目的のために提示されており、網羅的であること、または、開示された正確な形態に本開示を限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして多くの修正および変形が可能であることを理解することができる。
Claims (20)
- ヘッドマウントディスプレイ(HMD)であって、
前記ヘッドマウントディスプレイを装着したユーザにコンテンツを表示するように構成された表示素子と、
前記表示素子からの光を前記ヘッドマウントディスプレイの射出瞳に導くように構成された光学ブロックと、
前記光学ブロックの周りの離散した位置に配置され、且つ前記ヘッドマウントディスプレイ内の前記ユーザの顔の複数の部分に光を照射するように構成された複数の光源と、
前記複数の光源のうちの1つまたは複数によって光が照射された前記顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
コントローラであって、
前記顔センサからキャプチャされた複数の顔データを受信すること、
前記キャプチャされた複数の顔データに少なくとも部分的に基づいて前記顔の一部の複数の表面を特定すること、
複数のランドマークを取得することであって、前記複数のランドマークの各々は、前記顔の異なる特徴の位置を示し、前記複数のランドマークは、較正処理のために前記ユーザによって実行された複数の異なる顔の表情に対応する複数の較正属性に基づいて決定される、前記複数のランドマークを取得すること、
ユーザの集団によって実行される複数の顔の表情に基づいて生成される複数の包括的な較正属性を取得すること、
前記複数の較正属性と、前記複数の包括的な較正属性との差が閾値よりも小さいことに応答して、
前記複数の表面を前記複数のランドマークのうちの1つにマッピングすること、
前記キャプチャされた複数の顔データおよび前記マッピングに少なくとも部分的に基づいて前記ユーザの顔の一部を示す顔アニメーション情報を生成すること、を実行するように構成された前記コントローラと、を備えるヘッドマウントディスプレイ。 - 前記コントローラは、
前記較正処理のために複数の異なる表情を実行するように前記ユーザに命令を提供し、
前記ユーザが前記複数の異なる表情のうちの少なくとも1つを実行することに応答して前記複数の較正属性を生成し、
前記複数の較正属性に少なくとも部分的に基づいて、前記複数のランドマークを特定するように更に構成される、請求項1に記載のヘッドマウントディスプレイ。 - 前記表示素子は、前記ユーザにアバターを表示するように構成され、
前記アバターの顔は、前記顔アニメーション情報に基づく、請求項1に記載のヘッドマウントディスプレイ。 - 前記コントローラは、
前記キャプチャされた複数の顔データの画素値を用いて前記キャプチャされた複数の顔データの複数のフレームの複数の座標についての複数の強度曲線を生成するようにさらに構成され、
前記顔の一部の複数の表面を特定することは、
前記複数の強度曲線を用いて複数の法線ベクトルを決定することを含む、請求項1に記載のヘッドマウントディスプレイ。 - 前記キャプチャされた複数の顔データは、画像の複数のフレームを示し、前記画像は複数の画素を含み、各画素は前記画像の座標(x,y)位置に関連付けられ、
前記コントローラは、
前記画像の各座標位置について、前記座標位置における最も明るい画素値に対応する平面セクションを特定すること、
特定された複数の平面セクションの各々に対応する光源位置を特定すること、
前記特定された複数の平面セクションと、特定された複数の光源位置とに少なくとも部分的に基づいて前記顔の一部の仮想表面を生成すること、を実行するようにさらに構成され、
前記顔アニメーション情報を生成することは、前記仮想表面に更に基づく、請求項1に記載のヘッドマウントディスプレイ。 - 前記コントローラは、
前記顔の複数の部分に光を照射するように前記複数の光源に命令を供給し、
前記1つまたは複数の顔データをキャプチャするように、前記複数の光源への前記命令と協調させて前記顔センサに命令を供給するように更に構成される、請求項1に記載のヘッドマウントディスプレイ。 - 前記複数の光源は、前記光学ブロックの周りにリング配置で配置され、
前記複数の光源に供給される命令は、前記複数の光源のうちの1つの光源のみが所定の時間に前記顔の一部に光を照射するように協調される、請求項6に記載のヘッドマウントディスプレイ。 - 前記コントローラは、
前記複数の顔データから鏡面反射情報を受信し、
前記鏡面反射情報に少なくとも部分的に基づいて前記ユーザの目の位置を特定するように更に構成される、請求項1に記載のヘッドマウントディスプレイ。 - 前記複数の包括的な較正属性は、オンライン較正サーバから取得され、
前記コントローラは、前記複数の較正属性を前記オンライン較正サーバにアップロードするようにさらに構成される、請求項1に記載のヘッドマウントディスプレイ。 - ヘッドマウントディスプレイ(HMD)であって、
前記ヘッドマウントディスプレイを装着したユーザにコンテンツを表示するように構成された表示素子と、
前記ユーザの視線の外側の離散した位置に配置され、且つ前記ヘッドマウントディスプレイ内の前記ユーザの顔の複数の部分に光を照射するように構成された複数の光源と、
前記複数の光源のうちの1つまたは複数によって光が照射された前記顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
コントローラであって、
前記顔センサからキャプチャされた複数の顔データを受信すること、
前記キャプチャされた複数の顔データに少なくとも部分的に基づいて前記顔の一部の複数の表面を特定すること、
複数のランドマークを取得することであって、前記複数のランドマークの各々は、前記顔の異なる特徴の位置を示し、前記複数のランドマークは、較正処理のために前記ユーザによって実行された複数の異なる顔の表情に対応する複数の較正属性に基づいて決定される、前記複数のランドマークを取得すること、
ユーザの集団によって実行される複数の顔の表情に基づいて生成される複数の包括的な較正属性を取得すること、
前記複数の較正属性と、前記複数の包括的な較正属性との差が閾値よりも小さいことに応答して、
前記複数の表面を前記複数のランドマークのうちの1つにマッピングすること、
前記キャプチャされた複数の顔データおよび前記マッピングに少なくとも部分的に基づいて前記ユーザの顔の一部を示す顔アニメーション情報を生成すること、を実行するように構成された前記コントローラと、を備えるヘッドマウントディスプレイ。 - 前記コントローラは、
前記較正処理のために複数の異なる表情を実行するように前記ユーザに命令を提供し、
前記ユーザが前記複数の異なる表情のうちの少なくとも1つを実行することに応答して前記複数の較正属性を生成し、
前記複数の較正属性に少なくとも部分的に基づいて、前記複数のランドマークを特定するように更に構成される、請求項10に記載のヘッドマウントディスプレイ。 - 前記表示素子は、前記ユーザにアバターを表示するように構成され、
前記アバターの顔は、前記顔アニメーション情報に基づく、請求項10に記載のヘッドマウントディスプレイ。 - 前記コントローラは、
前記キャプチャされた複数の顔データの画素値を用いて前記キャプチャされた複数の顔データの複数のフレームの複数の座標についての複数の強度曲線を生成するようにさらに構成され、
前記顔の一部の複数の表面を特定することは、
前記複数の強度曲線を用いて複数の法線ベクトルを決定することを含む、請求項10に記載のヘッドマウントディスプレイ。 - 前記キャプチャされた複数の顔データは、画像の複数のフレームを示し、前記画像は複数の画素を含み、各画素は前記画像の座標(x,y)位置に関連付けられ、
前記コントローラは、
前記画像の各座標位置について、前記座標位置における最も明るい画素値に対応する平面セクションを特定すること、
特定された複数の平面セクションの各々に対応する光源位置を特定すること、
前記特定された複数の平面セクションと、特定された複数の光源位置とに少なくとも部分的に基づいて前記顔の一部の仮想表面を生成すること、を実行するようにさらに構成され、
前記顔アニメーション情報を生成することは、前記仮想表面に更に基づく、請求項10に記載のヘッドマウントディスプレイ。 - 前記コントローラは、
前記顔の複数の部分に光を照射するように前記複数の光源に命令を供給し、
前記1つまたは複数の顔データをキャプチャするように、前記複数の光源への前記命令と協調させて前記顔センサに命令を供給するように更に構成される、請求項10に記載のヘッドマウントディスプレイ。 - 前記複数の光源は、光学ブロックの周りにリング配置で配置され、
前記複数の光源に供給される命令は、前記複数の光源のうちの1つの光源のみが所定の時間に前記顔の一部に光を照射するように協調される、請求項15に記載のヘッドマウントディスプレイ。 - 前記コントローラは、
前記複数の顔データから鏡面反射情報を受信し、
前記鏡面反射情報に少なくとも部分的に基づいて前記ユーザの目の位置を特定するように更に構成される、請求項10に記載のヘッドマウントディスプレイ。 - ヘッドマウントディスプレイ(HMD)であって、
前記ヘッドマウントディスプレイを装着したユーザにコンテンツを表示するように構成された表示素子と、
前記表示素子からの光を前記ヘッドマウントディスプレイの射出瞳に導くように構成された光学ブロックと、
前記光学ブロックの周りの離散した位置に配置され、且つ前記ヘッドマウントディスプレイ内の前記ユーザの顔の複数の部分に光を照射するように構成された複数の光源と、
前記複数の光源のうちの1つまたは複数によって光が照射された前記顔の一部の1つまたは複数の顔データをキャプチャするように構成された顔センサと、
コントローラであって、
前記顔センサからキャプチャされた複数の顔データを受信すること、
前記キャプチャされた複数の顔データに少なくとも部分的に基づいて前記顔の一部の複数の表面を特定すること、
ユーザの集団によって実行される複数の顔の表情に基づいて生成される複数の包括的な較正属性を取得すること、
前記複数の較正属性と、前記複数の包括的な較正属性との差が閾値よりも小さいことに応答して、
バーチャルリアリティ(VR)コンソールに前記複数の表面を供給すること、
前記バーチャルリアリティコンソールから、前記ユーザの顔の一部の仮想アニメーションを受信することであって、前記仮想アニメーションは、前記複数の表面を複数のランドマークのうちの一つにマッピングすることによって生成され、前記複数のランドマークの各々は、前記顔の異なる特徴の位置を示し、前記複数のランドマークは、較正処理のために前記ユーザによって実行された複数の異なる顔の表情に対応する前記ユーザの複数の較正属性に基づいて決定される、前記ユーザの顔の一部の仮想アニメーションを受信すること、を実行するように構成された前記コントローラと、を備えるヘッドマウントディスプレイ。 - 前記コントローラは、
前記較正処理のために複数の異なる表情を実行するように前記ユーザに命令を提供し、
前記ユーザが前記複数の異なる表情のうちの少なくとも1つを実行することに応答して前記複数の較正属性を生成し、
前記複数の較正属性に少なくとも部分的に基づいて、前記複数のランドマークを特定し、
前記複数のランドマークを前記バーチャルリアリティコンソールに供給するように更に構成される、請求項18に記載のヘッドマウントディスプレイ。 - 前記1つまたは複数の顔センサが、カメラ、オーディオセンサ、歪みゲージ、電磁センサ、および近接センサからなる群から選択される、請求項18に記載のヘッドマウントディスプレイ。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/172,473 | 2016-06-03 | ||
US15/172,484 | 2016-06-03 | ||
US15/172,484 US10430988B2 (en) | 2016-06-03 | 2016-06-03 | Facial animation using facial sensors within a head-mounted display |
US15/172,473 US9959678B2 (en) | 2016-06-03 | 2016-06-03 | Face and eye tracking using facial sensors within a head-mounted display |
PCT/US2016/046375 WO2017209777A1 (en) | 2016-06-03 | 2016-08-10 | Face and eye tracking and facial animation using facial sensors within a head-mounted display |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6560463B1 true JP6560463B1 (ja) | 2019-08-14 |
JP2019525288A JP2019525288A (ja) | 2019-09-05 |
Family
ID=60477735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563028A Active JP6560463B1 (ja) | 2016-06-03 | 2016-08-10 | ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6560463B1 (ja) |
KR (1) | KR102144040B1 (ja) |
CN (1) | CN109643152B (ja) |
WO (1) | WO2017209777A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021145243A1 (ja) * | 2020-01-16 | 2021-07-22 | 株式会社コロプラ | プログラム、コンピュータが実行する方法及びコンピュータ |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113519154A (zh) * | 2019-03-13 | 2021-10-19 | 惠普发展公司,有限责任合伙企业 | 检测眼睛跟踪校准误差 |
US11181973B2 (en) * | 2019-05-09 | 2021-11-23 | Apple Inc. | Techniques related to configuring a display device |
KR102362137B1 (ko) | 2019-10-30 | 2022-02-11 | 주식회사다스 | Bldc 모터 시스템 및 구동 장치 |
TWI761930B (zh) * | 2019-11-07 | 2022-04-21 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置以及距離量測器 |
JP2022086027A (ja) * | 2020-11-30 | 2022-06-09 | 株式会社電通 | 情報処理システム |
KR102501719B1 (ko) | 2021-03-03 | 2023-02-21 | (주)자이언트스텝 | 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치 |
WO2024071632A1 (ko) * | 2022-09-30 | 2024-04-04 | 삼성전자 주식회사 | 메타버스 영상을 표시하는 영상 표시 장치 및 그 표시 방법 |
KR102547358B1 (ko) | 2022-11-15 | 2023-06-23 | 엠앤앤에이치 주식회사 | 볼류메트릭 동영상을 이용한 아바타 퍼포밍 장치 및 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6850872B1 (en) * | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
HUP0203993A2 (hu) * | 2002-11-19 | 2004-08-30 | László Domján | Binokuláris videoszemüveg optikai rendszere |
WO2004081854A1 (en) * | 2003-03-06 | 2004-09-23 | Animetrics, Inc. | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery |
CN103033936A (zh) * | 2011-08-30 | 2013-04-10 | 微软公司 | 具有虹膜扫描剖析的头戴式显示器 |
US8752963B2 (en) * | 2011-11-04 | 2014-06-17 | Microsoft Corporation | See-through display brightness control |
US9035955B2 (en) * | 2012-05-16 | 2015-05-19 | Microsoft Technology Licensing, Llc | Synchronizing virtual actor's performances to a speaker's voice |
US9058053B2 (en) * | 2012-10-26 | 2015-06-16 | The Boeing Company | Virtual reality display system |
JP6066676B2 (ja) * | 2012-11-06 | 2017-01-25 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイおよび映像提示システム |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20160054791A1 (en) * | 2014-08-25 | 2016-02-25 | Daqri, Llc | Navigating augmented reality content with a watch |
-
2016
- 2016-08-10 JP JP2018563028A patent/JP6560463B1/ja active Active
- 2016-08-10 KR KR1020187037042A patent/KR102144040B1/ko active IP Right Grant
- 2016-08-10 CN CN201680088273.3A patent/CN109643152B/zh active Active
- 2016-08-10 WO PCT/US2016/046375 patent/WO2017209777A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021145243A1 (ja) * | 2020-01-16 | 2021-07-22 | 株式会社コロプラ | プログラム、コンピュータが実行する方法及びコンピュータ |
JP2021114036A (ja) * | 2020-01-16 | 2021-08-05 | 株式会社コロプラ | プログラム、コンピュータが実行する方法及びコンピュータ |
JP7295045B2 (ja) | 2020-01-16 | 2023-06-20 | 株式会社コロプラ | プログラム、コンピュータが実行する方法及びコンピュータ |
Also Published As
Publication number | Publication date |
---|---|
CN109643152B (zh) | 2020-03-13 |
KR102144040B1 (ko) | 2020-08-13 |
KR20190004806A (ko) | 2019-01-14 |
CN109643152A (zh) | 2019-04-16 |
JP2019525288A (ja) | 2019-09-05 |
WO2017209777A1 (en) | 2017-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9959678B2 (en) | Face and eye tracking using facial sensors within a head-mounted display | |
JP6560463B1 (ja) | ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション | |
US11604509B1 (en) | Event camera for eye tracking | |
EP3252566B1 (en) | Face and eye tracking and facial animation using facial sensors within a head-mounted display | |
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
US10257507B1 (en) | Time-of-flight depth sensing for eye tracking | |
KR102062658B1 (ko) | 안구 모델을 생성하기 위한 각막의 구체 추적 | |
US10614577B1 (en) | Eye tracking system with single point calibration | |
JP6886510B2 (ja) | 視線追跡情報に基づく画像領域内の適応パラメータ | |
US10430988B2 (en) | Facial animation using facial sensors within a head-mounted display | |
US10401625B2 (en) | Determining interpupillary distance and eye relief of a user wearing a head-mounted display | |
US10529113B1 (en) | Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions | |
US10684674B2 (en) | Tracking portions of a user's face uncovered by a head mounted display worn by the user | |
US10636192B1 (en) | Generating a graphical representation of a face of a user wearing a head mounted display | |
US10120442B2 (en) | Eye tracking using a light field camera on a head-mounted display | |
US20190101978A1 (en) | Eye tracking system using dense structured light patterns | |
US10109067B2 (en) | Corneal sphere tracking for generating an eye model | |
CN110658914A (zh) | 边界区域的闪烁追踪 | |
US10495882B1 (en) | Positioning cameras in a head mounted display to capture images of portions of a face of a user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181130 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190408 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6560463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |