JP7026214B2 - ヘッドマウントディスプレイ追跡システム - Google Patents
ヘッドマウントディスプレイ追跡システム Download PDFInfo
- Publication number
- JP7026214B2 JP7026214B2 JP2020518428A JP2020518428A JP7026214B2 JP 7026214 B2 JP7026214 B2 JP 7026214B2 JP 2020518428 A JP2020518428 A JP 2020518428A JP 2020518428 A JP2020518428 A JP 2020518428A JP 7026214 B2 JP7026214 B2 JP 7026214B2
- Authority
- JP
- Japan
- Prior art keywords
- hmd
- camera
- cameras
- local area
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
- H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示は、一般にヘッドマウントディスプレイに関し、詳細には、ヘッドマウントディスプレイ追跡システムに関する。
ヘッドマウントディスプレイ(HMD)は、少なくとも一部がステレオでの局所エリアのイメージおよび/またはビデオをキャプチャするように構成される。HMDは、撮像アセンブリと、コントローラとを含む。
詳細な説明
追加の構成情報
Claims (19)
- ヘッドマウントディスプレイ(HMD)上の異なるロケーションに位置決めされ、前記HMDを取り巻く局所エリアの異なる部分のイメージをキャプチャするように向きを定められた複数のカメラを含む撮像アセンブリであって、前記複数のカメラがそれぞれ、隣接するカメラとの重畳視野を有し、前記撮像アセンブリが、
前記複数のカメラのそれぞれに関して露出設定を生成すること、および
撮像命令に従って前記局所エリアのイメージをキャプチャすること
を行うように構成された、撮像アセンブリと、
前記露出設定を使用して撮像命令を生成することであって、前記撮像命令が、前記複数のカメラのそれぞれに関する露出時間のそれぞれの中点を、キャプチャされた前記イメージのそれぞれに関して同じ時間値で生じさせる、前記露出設定を使用して撮像命令を生成すること、
前記撮像命令を前記撮像アセンブリに提供すること、および
キャプチャされた前記イメージを使用して前記局所エリア内でのHMDのロケーションを決定すること
を行うように構成されたコントローラと、
を備える、ヘッドマウントディスプレイ(HMD)であって、
前記撮像命令が、前記複数のカメラのそれぞれに関するプログラムされた時間遅延を含み、前記時間遅延が、基準時点と前記カメラに関する露出の開始との間の期間であり、前記基準時点が、前記HMDによって検出される同期パルスによって制御される、ヘッドマウントディスプレイ(HMD)。 - 前記撮像アセンブリが4つのカメラを備え、各カメラが120~180度の範囲内の視野を有する、請求項1に記載のHMD。
- 第1のカメラと第2のカメラとが平行な向きを有し、前記第1のカメラおよび前記第2のカメラの前記視野が、前記局所エリアの一部分の立体視撮像を提供する、請求項2に記載のHMD。
- 前記第1のカメラと前記第2のカメラとが前記HMDの底部に位置され、前記第1のカメラと前記第2のカメラとの前記視野が、静止して前記HMDを着用しているユーザをキャプチャする、請求項3に記載のHMD。
- 第3のカメラと第4のカメラとが異なる向きを有し、前記第3のカメラと前記第4のカメラとの前記視野の一部分のみが重畳する、請求項3に記載のHMD。
- 前記同期パルスが、周辺デバイスによって放出される光のパルスである、請求項1に記載のHMD。
- 前記局所エリア内での前記HMDのロケーションが変化するときに、前記複数のカメラのそれぞれに関する前記露出設定が変わり、前記コントローラが、変更された前記露出設定に基づいて、更新された撮像命令を生成する、請求項1に記載のHMD。
- 前記コントローラが、前記複数のカメラのそれぞれの前記露出設定と、キャプチャされた前記イメージからの深度情報とを使用してモデルを更新し、前記モデルが、前記局所エリアのマッピング関数を表す、請求項1に記載のHMD。
- 前記モデルと、前記HMD内の慣性測定ユニットからの情報とを使用して、前記コントローラが、
前記慣性測定ユニットからの情報を使用して、前記局所エリア内での前記HMDの将来のロケーションを予測すること、および
予測された前記将来のロケーションと前記モデルとに基づいて、前記複数のカメラのそれぞれに関する露出設定を決定すること
を行うようにさらに構成された、請求項8に記載のHMD。 - 前記コントローラが、
前記複数のカメラのうちの1つのカメラの視野内にどちらもある、前記局所エリア内の高優先度の領域と前記局所エリア内の低優先度の領域とを識別することであって、高優先度エリアが、第1の露出値に関連付けられ、低優先度エリアが、異なる露出値に関連付けられる、前記局所エリア内の高優先度の領域と前記局所エリア内の低優先度の領域とを識別すること、および
前記露出設定が前記第1の露出値に関する露出を行うように、前記高優先度エリアのための前記カメラに関する露出設定を決定すること
を行うように構成された、請求項1に記載のHMD。 - 前記コントローラが、
前記複数のカメラのそれぞれの露出長さの中点を決定すること、
各カメラに関する決定された前記中点を同じ時点に合わせること、および
各カメラに関する時間遅延を決定することを行うようにさらに構成され、前記時間遅延が、基準時点と前記カメラの前記露出長さの開始との間の期間であり、各カメラに、各カメラの前記露出長さの中点が同じ時点で生じるようにイメージキャプチャを開始させる、
請求項1に記載のHMD。 - ヘッドマウントディスプレイ(HMD)上の撮像アセンブリの複数のカメラに関するイメージ情報を生成することであって、前記複数のカメラのそれぞれが、前記HMD上の異なるロケーションに位置決めされ、前記HMDを取り巻く局所エリアの異なる部分のイメージをキャプチャするように向きを定められ、前記複数のカメラがそれぞれ、隣接するカメラとの重畳視野を有する、ヘッドマウントディスプレイ(HMD)上の撮像アセンブリの複数のカメラに関するイメージ情報を生成すること、
前記複数のカメラのそれぞれに関する前記イメージ情報に基づいてモデルを更新することであって、前記モデルが、前記局所エリア内での前記HMDのロケーションに基づく前記局所エリアのマッピング関数を表す、前記複数のカメラのそれぞれに関する前記イメージ情報に基づいてモデルを更新すること、
前記撮像アセンブリによってキャプチャされたイメージを使用して、前記局所エリア内の前記HMDのロケーションを決定すること、
前記HMDの決定された前記ロケーションを前記モデルに入力することによって、前記複数のカメラのそれぞれに関する露出設定を決定すること、
決定された前記露出設定に基づいて、前記複数のカメラのそれぞれに関する撮像命令を生成すること、
前記撮像アセンブリに前記撮像命令を提供すること、
前記撮像命令に従って前記局所エリアの複数のイメージをキャプチャすること、および
キャプチャされた前記複数のイメージを使用して前記HMDの前記ロケーションを更新すること、
を含む方法であって、前記撮像命令が、前記複数のカメラのそれぞれに関するプログラムされた時間遅延を含み、前記時間遅延が、基準時点と前記カメラに関する露出の開始との間の期間であり、前記基準時点が、前記HMDによって検出される同期パルスによって制御される、方法。 - 前記複数のカメラのそれぞれに関する撮像命令を生成することが、
前記複数のカメラのそれぞれの露出長さの中点を決定すること、
各カメラに関する決定された前記中点を同じ時点に合わせること、および
各カメラに関する時間遅延を決定することをさらに含み、前記時間遅延が、基準時点と前記カメラの前記露出長さの開始との間の期間であり、各カメラに、各カメラの前記露出長さの中点が同じ時点で生じるようにイメージキャプチャを開始させる、
請求項12に記載の方法。 - 前記基準時点が、前記HMDによって検出される同期パルスによって制御される、請求項13に記載の方法。
- 前記HMDの動きに応答して慣性測定ユニット(IMU)を使用して測定信号を生成すること
をさらに含む、請求項12に記載の方法。 - 前記IMUおよび前記モデルからの情報を使用して、前記局所エリア内での前記HMDの将来のロケーションを予測すること
をさらに含む、請求項15に記載の方法。 - 予測された前記将来のロケーションに基づいて、前記複数のカメラのうちの1つのカメラに関する露出設定を決定すること
をさらに含む、請求項16に記載の方法。 - 前記複数のカメラのうちの1つのカメラの視野内にどちらもある、前記局所エリア内の高優先度の領域と前記局所エリア内の低優先度の領域とを識別することであって、高優先度エリアが、第1の露出値に関連付けられ、低優先度エリアが、異なる露出値に関連付けられる、前記局所エリア内の高優先度の領域と前記局所エリア内の低優先度の領域とを識別すること、および
前記露出設定が前記第1の露出値に関する露出を行うように、前記高優先度エリアのための前記カメラに関する露出設定を決定すること
をさらに含む、請求項12に記載の方法。 - 1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、
ヘッドマウントディスプレイ(HMD)上の撮像アセンブリの複数のカメラに関するイメージ情報を生成することであって、前記複数のカメラのそれぞれが、前記HMD上の異なるロケーションに位置決めされ、前記HMDを取り巻く局所エリアの異なる部分のイメージをキャプチャするように向きを定められ、前記複数のカメラがそれぞれ、隣接するカメラとの重畳視野を有する、HMD上の撮像アセンブリの複数のカメラに関するイメージ情報を生成すること、
前記複数のカメラのそれぞれに関する前記イメージ情報に基づいてモデルを更新することであって、前記モデルが、前記局所エリア内での前記HMDのロケーションに基づく前記局所エリアのマッピング関数を表す、前記複数のカメラのそれぞれに関する前記イメージ情報に基づいてモデルを更新すること、
前記撮像アセンブリによってキャプチャされたイメージを使用して、前記局所エリア内の前記HMDのロケーションを決定すること、
前記HMDの決定された前記ロケーションを前記モデルに入力することによって、前記複数のカメラのそれぞれに関する露出設定を決定すること、
決定された前記露出設定に基づいて、前記複数のカメラのそれぞれに関する撮像命令を生成すること、
前記撮像アセンブリに前記撮像命令を提供すること、
前記撮像命令に従って前記局所エリアの複数のイメージをキャプチャすること、および
キャプチャされた前記複数のイメージを使用して前記HMDの前記ロケーションを更新すること
を含む動作を実施させる命令を格納する非一時的なコンピュータ可読記憶媒体であって、前記撮像命令が、前記複数のカメラのそれぞれに関するプログラムされた時間遅延を含み、前記時間遅延が、基準時点と前記カメラに関する露出の開始との間の期間であり、前記基準時点が、前記HMDによって検出される同期パルスによって制御される、非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/728,389 US10506217B2 (en) | 2017-10-09 | 2017-10-09 | Head-mounted display tracking system |
US15/728,389 | 2017-10-09 | ||
PCT/US2017/056183 WO2019074503A1 (en) | 2017-10-09 | 2017-10-11 | HEAD-ON DISPLAY MONITORING SYSTEM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537383A JP2020537383A (ja) | 2020-12-17 |
JP7026214B2 true JP7026214B2 (ja) | 2022-02-25 |
Family
ID=65993593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020518428A Active JP7026214B2 (ja) | 2017-10-09 | 2017-10-11 | ヘッドマウントディスプレイ追跡システム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10506217B2 (ja) |
EP (1) | EP3467585B1 (ja) |
JP (1) | JP7026214B2 (ja) |
KR (1) | KR102448284B1 (ja) |
CN (1) | CN111194423A (ja) |
WO (1) | WO2019074503A1 (ja) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
US10536646B2 (en) * | 2017-07-28 | 2020-01-14 | Panasonic Intellectual Property Corporation Of America | Imaging control device and imaging control method |
US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
GB2569785B (en) * | 2017-12-20 | 2022-07-13 | Sony Interactive Entertainment Inc | Data processing |
EP3627827B1 (en) * | 2018-04-28 | 2024-05-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for controlling photographing, electronic device, and computer readable storage medium |
US11906353B2 (en) | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
US10475415B1 (en) * | 2018-08-20 | 2019-11-12 | Dell Products, L.P. | Strobe tracking of head-mounted displays (HMDs) in virtual, augmented, and mixed reality (xR) applications |
US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
WO2020213088A1 (ja) * | 2019-04-17 | 2020-10-22 | 楽天株式会社 | 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
US20210021743A1 (en) * | 2019-07-19 | 2021-01-21 | Htc Corporation | Handheld electronic device and head mounted electronic device |
WO2021054342A1 (ja) * | 2019-09-20 | 2021-03-25 | ソニー株式会社 | 情報処理装置および制御方法 |
US11936998B1 (en) | 2019-10-17 | 2024-03-19 | Meta Platforms Technologies, Llc | Digital pixel sensor having extended dynamic range |
US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
AU2020417796B2 (en) * | 2019-12-30 | 2023-09-14 | Matterport, Inc. | System and method of capturing and generating panoramic three-dimensional images |
US11943539B2 (en) * | 2019-12-30 | 2024-03-26 | Matterport, Inc. | Systems and methods for capturing and generating panoramic three-dimensional models and images |
AU2021251117A1 (en) * | 2020-04-06 | 2022-11-03 | Pike Enterprises, Llc | Virtual reality tracking system |
US11733529B1 (en) * | 2020-04-21 | 2023-08-22 | Apple Inc. | Load-distributing headband for head-mounted device |
US11902685B1 (en) | 2020-04-28 | 2024-02-13 | Meta Platforms Technologies, Llc | Pixel sensor having hierarchical memory |
US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
US11910114B2 (en) | 2020-07-17 | 2024-02-20 | Meta Platforms Technologies, Llc | Multi-mode image sensor |
CN112214106B (zh) * | 2020-09-16 | 2023-05-30 | 青岛小鸟看看科技有限公司 | 高精度抗干扰的vr系统、运行方法 |
CN112203076B (zh) | 2020-09-16 | 2022-07-29 | 青岛小鸟看看科技有限公司 | Vr系统中多摄像头曝光中心点的对齐方法、系统 |
US11956560B2 (en) | 2020-10-09 | 2024-04-09 | Meta Platforms Technologies, Llc | Digital pixel sensor having reduced quantization operation |
EP4244673A1 (en) | 2020-11-12 | 2023-09-20 | Iristick nv | Multi-camera head-mounted device |
CN112416125A (zh) * | 2020-11-17 | 2021-02-26 | 青岛小鸟看看科技有限公司 | Vr头戴式一体机 |
KR20220083346A (ko) | 2020-12-11 | 2022-06-20 | 삼성전자주식회사 | 영상 표시 장치의 위치를 추정하는 방법 및 장치 |
US11935575B1 (en) | 2020-12-23 | 2024-03-19 | Meta Platforms Technologies, Llc | Heterogeneous memory system |
US12022218B2 (en) | 2020-12-29 | 2024-06-25 | Meta Platforms Technologies, Llc | Digital image sensor using a single-input comparator based quantizer |
CN112822480B (zh) * | 2020-12-31 | 2022-05-17 | 青岛小鸟看看科技有限公司 | Vr系统及其定位追踪方法 |
TW202235956A (zh) | 2021-03-05 | 2022-09-16 | 大立光電股份有限公司 | 頭戴裝置 |
TWM621801U (zh) | 2021-08-16 | 2022-01-01 | 大立光電股份有限公司 | 頭戴裝置 |
US20230072623A1 (en) * | 2021-09-03 | 2023-03-09 | Meta Platforms Technologies, Llc | Artificial Reality Device Capture Control and Sharing |
CN114785924A (zh) * | 2022-04-11 | 2022-07-22 | 北京梦想绽放技术有限公司 | 用于vr设备的摄像模组 |
TW202416037A (zh) * | 2022-06-30 | 2024-04-16 | 日商索尼半導體解決方案公司 | 攝影裝置、攝影方法、程式 |
WO2024096267A1 (ko) * | 2022-11-01 | 2024-05-10 | 삼성전자주식회사 | 외부 객체를 추적하여 획득된 정보에 기반하여 어플리케이션을 실행하기 위한 웨어러블 장치 및 그 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344800A (ja) | 2001-05-18 | 2002-11-29 | Minolta Co Ltd | 同期撮影方法および撮影システム |
JP2016099598A (ja) | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP2017174125A (ja) | 2016-03-23 | 2017-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7224382B2 (en) * | 2002-04-12 | 2007-05-29 | Image Masters, Inc. | Immersive imaging system |
US8165416B2 (en) * | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
US8908043B2 (en) | 2010-04-12 | 2014-12-09 | Symbol Technologies, Inc. | System and method for location-based operation of a head mounted display |
US10007330B2 (en) * | 2011-06-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Region of interest segmentation |
US9402034B2 (en) * | 2011-07-29 | 2016-07-26 | Apple Inc. | Adaptive auto exposure adjustment |
KR20220032059A (ko) * | 2011-09-19 | 2022-03-15 | 아이사이트 모빌 테크놀로지 엘티디 | 증강 현실 시스템용 터치프리 인터페이스 |
EP2747414B1 (en) * | 2012-12-18 | 2015-04-08 | Axis AB | Monitoring method and camera |
KR102019124B1 (ko) * | 2013-01-04 | 2019-09-06 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어 방법 |
JP5790949B2 (ja) * | 2013-02-14 | 2015-10-07 | カシオ計算機株式会社 | カメラ、撮影制御プログラム及び撮影制御方法、並びにカメラシステム |
KR101882594B1 (ko) * | 2013-09-03 | 2018-07-26 | 토비 에이비 | 휴대용 눈 추적 디바이스 |
US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
CA2888943C (en) * | 2013-10-03 | 2015-08-18 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
US20150097719A1 (en) * | 2013-10-03 | 2015-04-09 | Sulon Technologies Inc. | System and method for active reference positioning in an augmented reality environment |
US10257494B2 (en) * | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
WO2016095057A1 (en) * | 2014-12-19 | 2016-06-23 | Sulon Technologies Inc. | Peripheral tracking for an augmented reality head mounted device |
US9766461B2 (en) | 2015-01-20 | 2017-09-19 | Microsoft Technology Licensing, Llc | Head-mounted display device with stress-resistant components |
US20160225191A1 (en) | 2015-02-02 | 2016-08-04 | Daqri, Llc | Head mounted display calibration |
US20160248995A1 (en) * | 2015-02-19 | 2016-08-25 | Daqri, Llc | System and method for using millimeter wave in a wearable device |
US9961258B2 (en) * | 2015-02-23 | 2018-05-01 | Facebook, Inc. | Illumination system synchronized with image sensor |
US10684485B2 (en) | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
US9549100B2 (en) * | 2015-04-23 | 2017-01-17 | Microsoft Technology Licensing, Llc | Low-latency timing control |
US10440355B2 (en) | 2015-11-06 | 2019-10-08 | Facebook Technologies, Llc | Depth mapping with a head mounted display using stereo cameras and structured light |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
WO2017092804A1 (en) | 2015-12-02 | 2017-06-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Electronic device and method for controlling cameras thereof |
US10708577B2 (en) * | 2015-12-16 | 2020-07-07 | Facebook Technologies, Llc | Range-gated depth camera assembly |
US9986169B2 (en) * | 2016-02-04 | 2018-05-29 | KARL STORZ, Imaging, Inc. | Exposure control method and system for an image capture device |
CN109477966B (zh) | 2016-02-18 | 2022-06-03 | 苹果公司 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
-
2017
- 2017-10-09 US US15/728,389 patent/US10506217B2/en active Active
- 2017-10-11 KR KR1020207010053A patent/KR102448284B1/ko active IP Right Grant
- 2017-10-11 WO PCT/US2017/056183 patent/WO2019074503A1/en active Application Filing
- 2017-10-11 JP JP2020518428A patent/JP7026214B2/ja active Active
- 2017-10-11 CN CN201780095731.0A patent/CN111194423A/zh active Pending
-
2018
- 2018-08-16 EP EP18189223.3A patent/EP3467585B1/en active Active
-
2019
- 2019-11-01 US US16/671,510 patent/US10848745B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344800A (ja) | 2001-05-18 | 2002-11-29 | Minolta Co Ltd | 同期撮影方法および撮影システム |
JP2016099598A (ja) | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP2017174125A (ja) | 2016-03-23 | 2017-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3467585A1 (en) | 2019-04-10 |
WO2019074503A1 (en) | 2019-04-18 |
KR20200055010A (ko) | 2020-05-20 |
JP2020537383A (ja) | 2020-12-17 |
KR102448284B1 (ko) | 2022-09-29 |
US10506217B2 (en) | 2019-12-10 |
US20200068187A1 (en) | 2020-02-27 |
US10848745B2 (en) | 2020-11-24 |
EP3467585B1 (en) | 2023-07-26 |
CN111194423A (zh) | 2020-05-22 |
US20190110039A1 (en) | 2019-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7026214B2 (ja) | ヘッドマウントディスプレイ追跡システム | |
US10504243B2 (en) | Calibration system for a head-mounted display tracking system | |
KR101762297B1 (ko) | 가상 현실 시스템의 캘리브레이션 | |
US11523213B2 (en) | Audio system for dynamic determination of personalized acoustic transfer functions | |
JP6860488B2 (ja) | 複合現実システム | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
CN110771145A (zh) | 事件摄像机 | |
EP3631600B1 (en) | Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem | |
JP2019533918A (ja) | 深度マッピング用のアレイ検出器 | |
US10997741B2 (en) | Scene camera retargeting | |
CN112655202B (zh) | 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正 | |
CN113641088B (zh) | 用于深度传感的时间数字转换器 | |
JP6859447B2 (ja) | 情報処理システムおよび対象物情報取得方法 | |
CN110554501B (zh) | 头戴式显示器及用于确定佩戴其的用户的视线的方法 | |
US10992928B1 (en) | Calibration system for concurrent calibration of device sensors | |
US20230319476A1 (en) | Eyewear with audio source separation using pose trackers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7026214 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |