JP6609929B2 - 両眼光学拡張現実システムの深さ−視差較正 - Google Patents
両眼光学拡張現実システムの深さ−視差較正 Download PDFInfo
- Publication number
- JP6609929B2 JP6609929B2 JP2015014180A JP2015014180A JP6609929B2 JP 6609929 B2 JP6609929 B2 JP 6609929B2 JP 2015014180 A JP2015014180 A JP 2015014180A JP 2015014180 A JP2015014180 A JP 2015014180A JP 6609929 B2 JP6609929 B2 JP 6609929B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- real world
- parallax
- calibration
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title description 15
- 230000003190 augmentative effect Effects 0.000 title description 10
- 238000000034 method Methods 0.000 claims description 89
- 238000013507 mapping Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 22
- 238000009877 rendering Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 58
- 238000010586 diagram Methods 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 18
- 238000013500 data storage Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013480 data collection Methods 0.000 description 9
- 230000002207 retinal effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001025261 Neoraja caerulea Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 208000003164 Diplopia Diseases 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 208000029444 double vision Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本願は、米国仮特許出願番号第61/933178、2014年1月29日出願、名称「Binocular Optical See-Through System and Associated Calibration Procedure」の35U.S.C.§119に基づく優先権を主張する。該米国仮特許出願は、参照することによりその全体がここに組み込まれる。
102 ヒューマンインタフェースモジュール
103 較正アプリケーション
104 計算及び通信モジュール
106 ネットワーク
108 バックエンドサービスサーバ
110 位置決めシステム
112 他のシステム
200 コンピューティング装置
201 制御部
203 画像配信モジュール
205 較正エンジン
207 ユーザインタフェースエンジン
220 バス
235 プロセッサ
237 メモリ
241 通信ユニット
243 データ記憶装置
Claims (18)
- 1又は複数のプロセッサにより、ヒューマンインタフェースモジュールのディスプレイで、現実世界オブジェクトに対して位置決めされた仮想オブジェクトをレンダリングするステップと、
ユーザの目と前記現実世界オブジェクトとの間の第1の深さを決定するステップと、
前記1又は複数のプロセッサにより、前記ユーザの前記目と前記現実世界オブジェクトとの間の前記第1の深さにおいて、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるためのユーザ入力を受信するステップであって、前記ユーザ入力は、前記ユーザの左目により、前記仮想オブジェクトの2次元位置を前記ディスプレイ上の前記現実世界オブジェクトに揃えるための第1の部分と、前記ユーザの右目を用いてスクリーン視差を調整するための第2の部分と、を有する、ステップと、
前記1又は複数のプロセッサにより、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための前記ユーザ入力に基づき、前記第1の深さの視差を決定するステップと、
前記1又は複数のプロセッサにより、前記ユーザ入力の前記第1の部分及び前記第2の部分に基づき、前記第1の深さと前記視差との間のマッピングを決定するステップと、
を有するコンピュータが実施する方法。 - 前記第1の深さは、前記ユーザ入力、センサから受信した深さ、及び前記ヒューマンインタフェースモジュールによる入力の処理、を有するグループからの1つに基づく、請求項1に記載の方法。
- マッピングを決定する前記ステップの後に、前記方法は、
前記ユーザの前記目と前記現実世界オブジェクトとの間の第2の深さにおいて、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための第2のユーザ入力を受信するステップと、
前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための前記第2のユーザ入力に基づき、前記第2の深さの第2の視差を決定するステップと、
前記第2の深さと前記視差との間の第2のマッピングを決定するステップと、
を有する請求項1に記載の方法。 - 第2のマッピングを決定する前記ステップの後に、前記方法は、
前記ユーザの前記目と前記現実世界オブジェクトとの間の第3の深さにおいて、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための第3のユーザ入力を受信するステップと、
前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための前記第3のユーザ入力に基づき、前記第3の深さの第3の視差を決定するステップと、
前記第2の深さと前記視差との間の第3のマッピングを決定するステップと、
を有し、
前記第1の深さは近距離であり、前記第2の深さは中距離であり、前記第3の深さは長距離である、請求項3に記載の方法。 - マッピングを決定する前記ステップの後に、前記方法は、
前記深さと前記視差との間の前記マッピングに基づき勾配値が線形であると決定するステップを更に有し、前記勾配値は定数である、請求項1に記載の方法。 - ユーザ入力を受信する前記ステップの後に、前記方法は、
前記受信したユーザ入力に応答して、前記仮想オブジェクトが前記ユーザの融合立体視領域の範囲内に含まれるまで、前記ディスプレイ上で前記仮想オブジェクトを移動するステップと、
前記受信したユーザ入力に応答して、前記融合立体視領域の範囲内の知覚される深さにおいて、前記ディスプレイ上の前記仮想オブジェクトを前記現実世界オブジェクトに揃えるステップと、
を更に有し、
前記第1の深さの前記視差を決定するステップは、前記ユーザの前記融合立体視領域の範囲内で前記仮想オブジェクトを移動し及び揃えるための前記ユーザ入力に基づく、請求項1に記載の方法。 - ユーザ入力を受信する前記ステップの後に、前記方法は、
ユーザ入力の前記第1の部分に応答して、前記仮想オブジェクトが前記現実世界オブジェクトに2次元位置が揃うまで、前記ディスプレイ上で前記仮想オブジェクトを移動するステップと、
ユーザ入力の前記第2の部分に応答して、両目で同じ画像が見えるように、スクリーン視差を調整するために前記仮想オブジェクトを移動するステップと、
を更に有する、請求項1に記載の方法。 - レンダリングする前記ステップは、
深さ較正を実行し、深さ視差マッピングを決定するステップと、
前記決定した深さ視差マッピングを用いて、ある深さにおいて前記ディスプレイ上で前記仮想オブジェクトをレンダリングするステップと、
を更に有し、
ユーザ入力を受信する前記ステップの後に、前記方法は、
前記受信したユーザ入力に応答して、前記融合立体視領域の範囲内の前記知覚される深さにおいて、前記ディスプレイ上の前記仮想オブジェクトを前記現実世界オブジェクトに揃えるステップと、
前記深さと前記視差との間の前記マッピングから正しい深さを決定するステップと、
前記正しい深さに基づき、前記現実世界オブジェクトの3次元点座標と前記ディスプレイ上の前記仮想オブジェクトの2次元ピクセル座標との間のマッピングを決定するステップと、
を更に有する請求項6に記載の方法。 - 前記第1の深さの前記視差を決定するステップは、第1の目の較正データを決定し及び第2の目の較正データを決定するステップを有し、
前記第1の深さと前記視差との間の前記マッピングを決定するステップは、前記第1の目の較正データを用いて2D較正回帰を実行し及び前記第2の目の較正データを用いて3D較正回帰を実行するステップを有する、
請求項1に記載の方法。 - プログラムであって、プロセッサに、 ヒューマンインタフェースモジュールのディスプレイで、現実世界オブジェクトに対して位置決めされた仮想オブジェクトをレンダリングするステップと、
ユーザの目と前記現実世界オブジェクトとの間の第1の深さを決定するステップと、
前記ユーザの前記目と前記現実世界オブジェクトとの間の前記第1の深さにおいて、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるためのユーザ入力を受信するステップであって、前記ユーザ入力は、前記ユーザの左目により、前記仮想オブジェクトの2次元位置を前記ディスプレイ上の前記現実世界オブジェクトに揃えるための第1の部分と、前記ユーザの右目を用いてスクリーン視差を調整するための第2の部分と、を有する、ステップと、
前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための前記ユーザ入力に基づき、前記第1の深さの視差を決定するステップと、
前記ユーザ入力の前記第1の部分及び前記第2の部分に基づき、前記第1の深さと前記視差との間のマッピングを決定するステップと、
を実行させる、プログラム。 - 前記第1の深さは、前記ユーザ入力、センサから受信した深さ、及び前記ヒューマンインタフェースモジュールによる入力の処理、を有するグループからの1つに基づく、請求項10に記載のプログラム。
- 前記プロセッサに、マッピングを決定する前記ステップの後に、
前記ユーザの前記目と前記現実世界オブジェクトとの間の第2の深さにおいて、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための第2のユーザ入力を受信するステップと、
前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための前記第2のユーザ入力に基づき、前記第2の深さの第2の視差を決定するステップと、
前記第2の深さと前記視差との間の第2のマッピングを決定するステップと、
を更に実行させる、請求項10に記載のプログラム。 - 前記プロセッサに、第2のマッピングを決定する前記ステップの後に、
前記ユーザの前記目と前記現実世界オブジェクトとの間の第3の深さにおいて、前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための第3のユーザ入力を受信するステップと、
前記仮想オブジェクトを前記現実世界オブジェクトに揃えるための前記第3のユーザ入力に基づき、前記第3の深さの第3の視差を決定するステップと、
前記第2の深さと前記視差との間の第3のマッピングを決定するステップと、
を更に実行させ、
前記第1の深さは近距離であり、前記第2の深さは中距離であり、前記第3の深さは長距離である、請求項12に記載のプログラム。 - 前記プロセッサに、マッピングを決定する前記ステップの後に、前記深さと前記視差との間の前記マッピングが線形であることに基づき勾配値を決定するステップを更に実行させ、前記勾配値は定数である、請求項10に記載のプログラム。
- 前記プロセッサに、ユーザ入力を受信する前記ステップの後に、
前記受信したユーザ入力に応答して、前記仮想オブジェクトが前記ユーザの融合立体視領域の範囲内に含まれるまで、前記ディスプレイ上で前記仮想オブジェクトを移動するステップと、
前記受信したユーザ入力に応答して、前記融合立体視領域の範囲内の知覚される深さにおいて、前記ディスプレイ上の前記仮想オブジェクトを前記現実世界オブジェクトに揃えるステップと、
を更に実行させ、
前記第1の深さの前記視差の決定は、前記ユーザの前記融合立体視領域の範囲内で前記仮想オブジェクトを移動し及び揃えるための前記ユーザ入力に基づく、請求項10に記載のプログラム。 - 前記プロセッサに、ユーザ入力を受信する前記ステップの後に、
ユーザ入力の前記第1の部分に応答して、前記仮想オブジェクトが前記現実世界オブジェクトに2次元位置が揃うまで、前記ディスプレイ上で前記仮想オブジェクトを移動するステップと、
ユーザ入力の前記第2の部分に応答して、両目で同じ画像が見えるように、スクリーン視差を調整するために前記仮想オブジェクトを移動するステップと、
を更に実行させる、請求項10に記載のプログラム。 - レンダリングする前記ステップは、
深さ較正を実行し、深さ視差マッピングを決定するステップと、
前記決定した深さ視差マッピングを用いて、ある深さにおいて前記ディスプレイ上で前記仮想オブジェクトをレンダリングするステップと、
を更に有し、
前記プロセッサに、ユーザ入力を受信する前記ステップの後に、
前記受信したユーザ入力に応答して、前記融合立体視領域の範囲内の前記知覚される深さにおいて、前記ディスプレイ上の前記仮想オブジェクトを前記現実世界オブジェクトに揃えるステップと、
前記深さと前記視差との間の前記マッピングから正しい深さを決定するステップと、
前記正しい深さに基づき、前記現実世界オブジェクトの3次元点座標と前記ディスプレイ上の前記仮想オブジェクトの2次元ピクセル座標との間のマッピングを決定するステップと、
を更に実行させる、請求項15に記載のプログラム。 - 前記第1の深さの前記視差を決定するステップは、第1の目の較正データを決定し及び第2の目の較正データを決定するステップを有し、
前記第1の深さと前記視差との間の前記マッピングを決定するステップは、前記第1の目の較正データを用いた2D較正回帰の実行、及び前記第2の目の較正データを用いた3D較正回帰を実行するステップを有する、
請求項10に記載のプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461933178P | 2014-01-29 | 2014-01-29 | |
US61/933,178 | 2014-01-29 | ||
US14/296,396 | 2014-06-04 | ||
US14/296,396 US9405122B2 (en) | 2014-01-29 | 2014-06-04 | Depth-disparity calibration of a binocular optical augmented reality system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015141418A JP2015141418A (ja) | 2015-08-03 |
JP6609929B2 true JP6609929B2 (ja) | 2019-11-27 |
Family
ID=53679532
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015014180A Active JP6609929B2 (ja) | 2014-01-29 | 2015-01-28 | 両眼光学拡張現実システムの深さ−視差較正 |
JP2015014181A Active JP6531404B2 (ja) | 2014-01-29 | 2015-01-28 | 両眼光学拡張現実システムの範囲較正 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015014181A Active JP6531404B2 (ja) | 2014-01-29 | 2015-01-28 | 両眼光学拡張現実システムの範囲較正 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9804395B2 (ja) |
JP (2) | JP6609929B2 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9489765B2 (en) * | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
US9804395B2 (en) * | 2014-01-29 | 2017-10-31 | Ricoh Co., Ltd | Range calibration of a binocular optical augmented reality system |
US10198865B2 (en) * | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US20160116740A1 (en) * | 2014-10-24 | 2016-04-28 | Seiko Epson Corporation | Display device, control method for display device, display system, and computer program |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
CA2979560C (en) | 2015-03-05 | 2023-11-07 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
CN104765156B (zh) * | 2015-04-22 | 2017-11-21 | 京东方科技集团股份有限公司 | 一种三维显示装置和三维显示方法 |
WO2016202762A1 (en) * | 2015-06-15 | 2016-12-22 | Essilor International (Compagnie Générale d'Optique) | Method for calibrating a binocular displaying device |
US10192133B2 (en) | 2015-06-22 | 2019-01-29 | Seiko Epson Corporation | Marker, method of detecting position and pose of marker, and computer program |
US10484824B1 (en) * | 2015-06-26 | 2019-11-19 | Lucasfilm Entertainment Company Ltd. | Content presentation and layering across multiple devices |
US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
WO2017034860A1 (en) | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
US10559130B2 (en) * | 2015-08-31 | 2020-02-11 | Microsoft Technology Licensing, Llc | Displaying image data behind surfaces |
IL297610B2 (en) | 2015-10-16 | 2023-11-01 | Magic Leap Inc | Eye position detection using eye features |
CA3004278C (en) * | 2015-11-04 | 2024-04-09 | Magic Leap, Inc. | Light field display metrology |
US10347048B2 (en) | 2015-12-02 | 2019-07-09 | Seiko Epson Corporation | Controlling a display of a head-mounted display device |
CN108604383A (zh) | 2015-12-04 | 2018-09-28 | 奇跃公司 | 重新定位系统和方法 |
CN105654476B (zh) * | 2015-12-25 | 2019-03-08 | 江南大学 | 基于混沌粒子群优化算法的双目标定方法 |
CN105653032B (zh) * | 2015-12-29 | 2019-02-19 | 小米科技有限责任公司 | 显示调整方法及装置 |
US10218793B2 (en) * | 2016-06-13 | 2019-02-26 | Disney Enterprises, Inc. | System and method for rendering views of a virtual space |
US10212414B2 (en) | 2016-08-01 | 2019-02-19 | Microsoft Technology Licensing, Llc | Dynamic realignment of stereoscopic digital consent |
KR102626821B1 (ko) * | 2016-08-02 | 2024-01-18 | 매직 립, 인코포레이티드 | 고정-거리 가상 및 증강 현실 시스템들 및 방법들 |
US10425636B2 (en) | 2016-10-03 | 2019-09-24 | Microsoft Technology Licensing, Llc | Automatic detection and correction of binocular misalignment in a display device |
CN109863747A (zh) * | 2016-10-28 | 2019-06-07 | 三菱电机株式会社 | 显示控制装置及显示控制方法 |
EP3555865B1 (en) | 2016-12-13 | 2024-09-18 | Magic Leap, Inc. | 3d object rendering using detected features |
CN106843677A (zh) * | 2016-12-29 | 2017-06-13 | 华勤通讯技术有限公司 | 一种虚拟现实vr眼镜的图像显示方法、设备和终端 |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
CN110402425B (zh) | 2017-03-17 | 2024-01-09 | 奇跃公司 | 具有彩色虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 |
JP7009495B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 |
CN110431599B (zh) | 2017-03-17 | 2022-04-12 | 奇跃公司 | 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 |
WO2018191312A1 (en) * | 2017-04-11 | 2018-10-18 | Dolby Laboratories Licensing Corporation | Layered augmented entertainment experiences |
GB2566744B (en) * | 2017-09-26 | 2021-03-03 | Sony Interactive Entertainment Inc | Head-mountable display system |
US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
JP2021509482A (ja) * | 2018-01-02 | 2021-03-25 | ルムス エルティーディー. | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 |
US11893755B2 (en) | 2018-01-19 | 2024-02-06 | Interdigital Vc Holdings, Inc. | Multi-focal planes with varying positions |
CN110120098B (zh) * | 2018-02-05 | 2023-10-13 | 浙江商汤科技开发有限公司 | 场景尺度估计及增强现实控制方法、装置和电子设备 |
CN108398787B (zh) * | 2018-03-20 | 2023-05-16 | 京东方科技集团股份有限公司 | 增强现实显示设备、方法和增强现实眼镜 |
EP4266113A3 (en) | 2018-03-23 | 2023-12-27 | InterDigital VC Holdings, Inc. | Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr) |
US10546431B2 (en) * | 2018-03-29 | 2020-01-28 | Disney Enterprises, Inc. | Systems and methods to augment an appearance of physical object for an augmented reality experience |
CN108830894B (zh) * | 2018-06-19 | 2020-01-17 | 亮风台(上海)信息科技有限公司 | 基于增强现实的远程指导方法、装置、终端和存储介质 |
CN112585963B (zh) | 2018-07-05 | 2024-04-09 | Pcms控股公司 | 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统 |
US10943521B2 (en) | 2018-07-23 | 2021-03-09 | Magic Leap, Inc. | Intra-field sub code timing in field sequential displays |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
EP3599539B1 (en) | 2018-07-26 | 2023-08-23 | Nokia Technologies Oy | Rendering objects in virtual views |
CN109343578B (zh) * | 2018-11-16 | 2020-05-19 | 北京理工大学 | 一种基于视觉反馈的tdi-ccd相机双目视觉系统视场对齐方法 |
KR20200090315A (ko) * | 2019-01-18 | 2020-07-29 | 삼성전자주식회사 | 영상을 처리하는 방법 및 디바이스 |
JP6943913B2 (ja) * | 2019-03-18 | 2021-10-06 | Necプラットフォームズ株式会社 | 情報表示システムおよびウェアラブルデバイス |
SG10201902889VA (en) * | 2019-03-29 | 2020-10-29 | Nec Corp | System and Method for Adaptively Constructing a Three-Dimensional Facial Model Based on Two or More Inputs of a Two- Dimensional Facial Image |
US11024096B2 (en) | 2019-04-29 | 2021-06-01 | The Board Of Trustees Of The Leland Stanford Junior University | 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device |
CN110197510B (zh) * | 2019-06-05 | 2021-08-17 | 广州极飞科技股份有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
CN111028281B (zh) * | 2019-10-22 | 2022-10-18 | 清华大学 | 基于光场双目系统的深度信息计算方法及装置 |
CN111751988B (zh) * | 2020-06-16 | 2023-03-28 | 深圳珑璟光电科技有限公司 | 一种景深调节方法、装置及双目近眼显示设备 |
CN112581542B (zh) * | 2020-12-24 | 2024-07-19 | 阿波罗智联(北京)科技有限公司 | 自动驾驶单目标定算法的评估方法、装置及设备 |
CN112967348A (zh) * | 2021-04-01 | 2021-06-15 | 深圳大学 | 基于一维扫描结构光系统的三维重建方法及其相关组件 |
WO2023003558A1 (en) * | 2021-07-22 | 2023-01-26 | Innopeak Technology, Inc. | Interactive stereoscopic display calibration |
CN113592956B (zh) * | 2021-07-30 | 2023-12-19 | 武汉精测电子集团股份有限公司 | 一种基于显微检测机台的多镜头联合标定方法和装置 |
WO2023049086A2 (en) * | 2021-09-22 | 2023-03-30 | Veyezer, Llc | Holographic real space refractive system |
US11961258B2 (en) | 2022-01-26 | 2024-04-16 | Industrial Technology Research Institute | Calibration method for optical see-through display and calibration system |
GB2612663B (en) * | 2022-05-17 | 2023-12-20 | Envisics Ltd | Head-up display calibration |
TWI812566B (zh) * | 2022-12-28 | 2023-08-11 | 宏碁股份有限公司 | 立體影像深度調整方法與裝置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5175616A (en) * | 1989-08-04 | 1992-12-29 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada | Stereoscopic video-graphic coordinate specification system |
US20020105484A1 (en) * | 2000-09-25 | 2002-08-08 | Nassir Navab | System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality |
US6753828B2 (en) * | 2000-09-25 | 2004-06-22 | Siemens Corporated Research, Inc. | System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality |
JP2004221700A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
WO2010019926A1 (en) * | 2008-08-14 | 2010-02-18 | Real D | Stereoscopic depth mapping |
US9182596B2 (en) * | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
JP5525924B2 (ja) * | 2010-06-14 | 2014-06-18 | 任天堂株式会社 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
JP2013235374A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
US9804395B2 (en) * | 2014-01-29 | 2017-10-31 | Ricoh Co., Ltd | Range calibration of a binocular optical augmented reality system |
-
2014
- 2014-06-04 US US14/296,398 patent/US9804395B2/en active Active
- 2014-06-04 US US14/296,396 patent/US9405122B2/en active Active
-
2015
- 2015-01-28 JP JP2015014180A patent/JP6609929B2/ja active Active
- 2015-01-28 JP JP2015014181A patent/JP6531404B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015142383A (ja) | 2015-08-03 |
US20150215611A1 (en) | 2015-07-30 |
US20150213648A1 (en) | 2015-07-30 |
US9405122B2 (en) | 2016-08-02 |
JP2015141418A (ja) | 2015-08-03 |
US9804395B2 (en) | 2017-10-31 |
JP6531404B2 (ja) | 2019-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6609929B2 (ja) | 両眼光学拡張現実システムの深さ−視差較正 | |
US20220366598A1 (en) | Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display | |
AU2015265416B2 (en) | Method and system for image georegistration | |
US9961335B2 (en) | Pickup of objects in three-dimensional display | |
US20230269358A1 (en) | Methods and systems for multiple access to a single hardware data stream | |
JP5966510B2 (ja) | 情報処理システム | |
KR20160121798A (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
CN114945853A (zh) | 用于头戴式显示系统中的变形的补偿 | |
WO2016191043A1 (en) | Calibration of an optical see-through head mounted display | |
JP2011128220A (ja) | 情報提示装置、情報提示方法及びプログラム | |
CN109117684A (zh) | 用于在双目增强现实设备上选择性扫描的系统和方法 | |
US20200242335A1 (en) | Information processing apparatus, information processing method, and recording medium | |
US20190236847A1 (en) | Method and system for aligning digital display of images on augmented reality glasses with physical surrounds | |
WO2022005698A1 (en) | Visual-inertial tracking using rolling shutter cameras | |
JP2015060071A (ja) | 画像表示装置、画像表示方法、および画像表示プログラム | |
US10931938B2 (en) | Method and system for stereoscopic simulation of a performance of a head-up display (HUD) | |
CN110864673A (zh) | 信息显示方法及其显示系统 | |
JP2024019662A (ja) | 角検出のための方法および装置 | |
TW202125401A (zh) | 資訊顯示方法及其處理裝置與顯示系統 | |
KR20240112293A (ko) | 모노 비주얼 추적 시스템에서의 카메라 고유 재교정 | |
US20140285484A1 (en) | System of providing stereoscopic image to multiple users and method thereof | |
Orlosky | Depth based interaction and field of view manipulation for augmented reality | |
US10634920B2 (en) | System and method for recording and representing measurement points on a body surface | |
Levin et al. | Some aspects of the geospatial reality perception in human stereopsis-based defense display systems | |
JP2024040034A (ja) | プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191014 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6609929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |