JP2023525508A - 畳み込みベースのカメラおよびディスプレイ較正 - Google Patents
畳み込みベースのカメラおよびディスプレイ較正 Download PDFInfo
- Publication number
- JP2023525508A JP2023525508A JP2022567088A JP2022567088A JP2023525508A JP 2023525508 A JP2023525508 A JP 2023525508A JP 2022567088 A JP2022567088 A JP 2022567088A JP 2022567088 A JP2022567088 A JP 2022567088A JP 2023525508 A JP2023525508 A JP 2023525508A
- Authority
- JP
- Japan
- Prior art keywords
- image
- matrices
- target
- unique patterns
- tiles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 2
- 230000001568 sexual effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 13
- 230000003936 working memory Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
- G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
カメラおよびディスプレイを較正するための技法が、開示される。標的の画像が、カメラを使用して捕捉される。標的は、繰り返されるタイルの構造を有する、テッセレーションを含む。標的はさらに、テッセレーション上に重畳される、一意のパターンを含む。行列が、捕捉された画像内のピクセル強度に基づいて形成される。行列のそれぞれは、それぞれがタイルのうちの1つ内のピクセル強度に対応する、値を含む。行列は、カーネルで畳み込まれ、強度マップを生成する。カーネルのそれぞれは、一意のパターンの対応する一意のパターンに基づいて生成される。極値が、強度マップのそれぞれ内で識別される。画像内の一意のパターンのそれぞれの場所は、強度マップ毎に、極値に基づいて決定される。デバイス較正が、一意のパターンのそれぞれの場所を使用して実施される。
Description
本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、2020年5月6日に出願され、「CONVOLUTION-BASED CAMERA AND DISPLAY CALIBRATION」と題された、米国仮特許出願第63/020,787号の優先権の利益を主張する。
カメラは、多くの場合、画像またはビデオを捕捉するために採用される、入力デバイスである。カメラによって捕捉されたデータは、種々の異なる目的およびコンテキストで使用される。例えば、ウェアラブルデバイスは、1つまたはそれを上回るオンボードカメラを含み、そのウェアラブルデバイスのユーザの周囲の周囲環境に関する画像データを提供してもよい。一実施例は、立体視ディスプレイを通したユーザへの拡張現実(AR)提示のために、画像を捕捉するように構成される、2つの前方に配向されたカメラを特徴とする、立体視ウェアラブル眼鏡である。ウェアラブル眼鏡はまた、ユーザの眼の画像を捕捉する後方に配向されたカメラを含んでもよい。
カメラ較正が、多くの場合、カメラおよびカメラによって捕捉された画像データから抽出された情報の精度および正確度を確実にするために実施される。カメラ較正プロセスは、画像を生産する、カメラデバイスの真のパラメータを決定し、これは、固有のパラメータおよび付帯パラメータ等のカメラの較正データの決定を可能にする。固有のパラメータは、限定ではないが、焦点、焦点距離、主点、および歪曲係数を含む。付帯パラメータは、限定ではないが、複数のカメラ間の位置関係およびセンサ間の平行移動および回転オフセットを含む。
ディスプレイデバイスとも称される、ディスプレイは、情報を視覚的形態で提示する、出力デバイスである。スマートフォン、コンピュータ、およびタブレット内で使用されるもの等のディスプレイは、光学コンポーネントの特性に起因して、その色応答、色調応答等に有意な量の変動性を呈し得る。カメラ較正と同様に、ディスプレイ較正は、ディスプレイと関連付けられる、種々のパラメータを決定するために使用されることができる。これらのパラメータの決定に応じて、ディスプレイは、可能性の中でもとりわけ、所望の輝度または明度レベル、色、色調、ピクセル場所を生産するように調節されることができる。
いくつかのインスタンスでは、ディスプレイ較正は、幾何学的側面を含むことができる。例えば、ARディスプレイに見出されるもの等の両眼ディスプレイでは、3次元(3D)画像が、知覚される深度テクスチャとともに表示されてもよい。接眼レンズ歪曲、不整合発光ダイオード(LED)チャネル、および/または不整合接眼レンズ等に起因して、各ディスプレイピクセルをユーザによって知覚される3D空間内の特定の方向から生じる光にマッピングする、座標系が、最初に、把握されていない場合がある。幾何学形状ディスプレイ較正が、標的(市松模様または一連のドット等)を表示することによって、各特徴のピクセル内の間隔を決定するために採用されることができる。
カメラおよびディスプレイは両方とも、多くの場合、マーカまたは標的と称される、2次元(2D)パターンの使用を通して較正される。一般に使用される標的は、ArUco標的およびその派生物、すなわち、ChArUco標的を含む。これらの標的は、良好に照明された環境内で従来的コンピュータビジョン方法を介して、カメラを使用して捕捉される。捕捉された画像は、分析され、標的に沿って2D点を識別することができ、これは、次いで、6自由度(6DOF)姿勢推定を実施するために使用されることができる。例えば、基点ベースのSLAMは、最初に、少数の固定かつ一意のパターンを世界内に設置することによって、世界を再構築する。較正されたカメラの姿勢は、いったん少なくとも1つのそのような標的が検出されると、推定されることができる。
本開示は、概して、カメラおよびディスプレイデバイスの性能を改良するための技法に関する。より具体的には、本開示の実施形態は、デバイスが画像を捕捉するか、またはデバイスが捕捉された画像内に含有される標的を表示するかのいずれかの較正のために、マルチパターン標的を含有する、画像の捕捉および処理のための技法を提供する。本開示は、多くの場合、拡張現実(AR)デバイスを参照して説明されるが、本開示は、コンピュータビジョンおよびディスプレイ技術における種々の用途に適用可能である。
本発明の種々の実施形態の説明が、実施例の一覧として、下記に提供される。下記に使用されるように、一連の実施例への任意の言及は、それらの実施例のそれぞれへの離接的な言及として理解されるものである(例えば、「実施例1-4」は、「実施例1、2、3、または4」として理解されるものである)。
実施例1は、デバイス較正を実施するための方法であって、カメラを使用して、標的の画像を捕捉するステップであって、標的は、繰り返されるタイルの構造を有する、テッセレーションを含み、標的はさらに、テッセレーション上に重畳される、1つまたはそれを上回る一意のパターンを含む、ステップと、画像のピクセル強度に基づいて、1つまたはそれを上回る行列を形成するステップであって、1つまたはそれを上回る行列のそれぞれは、それぞれがタイルのうちの1つ内のピクセル強度に対応する、複数の値を含む、ステップと、1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込み、1つまたはそれを上回る強度マップを生成するステップであって、1つまたはそれを上回るカーネルのそれぞれは、1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ステップと、1つまたはそれを上回る強度マップのそれぞれ内の極値を識別するステップと、1つまたはそれを上回る強度マップ毎に、極値に基づいて、画像内の1つまたはそれを上回る一意のパターンのそれぞれの場所を決定するステップと、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施するステップとを含む、方法である。
実施例2は、デバイス較正を実施するステップが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、カメラを較正するステップを含む、実施例1に記載の方法。
実施例3は、標的をディスプレイ上にレンダリングするステップをさらに含む、実施例1-2に記載の方法。
実施例4は、デバイス較正を実施するステップが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、ディスプレイを較正するステップを含む、実施例3に記載の方法。
実施例5は、画像を複数の画像領域に分割するステップをさらに含み、1つまたはそれを上回る行列の行列が、複数の画像領域毎に形成される、実施例1-4に記載の方法。
実施例6は、1つまたはそれを上回る行列を形成するステップが、1つまたはそれを上回る行列毎に、タイルの対応するタイル内のピクセル強度を平均することによって、複数の値のそれぞれを計算するステップを含む、実施例1-5に記載の方法。
実施例7は、1つまたはそれを上回るカーネルがそれぞれ、テッセレーション上に重畳されている、1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、実施例1-6に記載の方法。
実施例8は、非一過性コンピュータ可読媒体であって、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、カメラを使用して、標的の画像を捕捉するステップであって、標的は、繰り返されるタイルの構造を有する、テッセレーションを含み、標的はさらに、テッセレーション上に重畳される、1つまたはそれを上回る一意のパターンを含む、ステップと、画像のピクセル強度に基づいて、1つまたはそれを上回る行列を形成するステップであって、1つまたはそれを上回る行列のそれぞれは、それぞれがタイルのうちの1つ内のピクセル強度に対応する、複数の値を含む、ステップと、1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込み、1つまたはそれを上回る強度マップを生成するステップであって、1つまたはそれを上回るカーネルのそれぞれは、1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ステップと、1つまたはそれを上回る強度マップのそれぞれ内の極値を識別するステップと、1つまたはそれを上回る強度マップ毎に、極値に基づいて、画像内の1つまたはそれを上回る一意のパターンのそれぞれの場所を決定するステップと、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施するステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。
実施例9は、デバイス較正を実施するステップが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、カメラを較正するステップを含む、実施例8に記載の非一過性コンピュータ可読媒体。
実施例10は、動作はさらに、標的をディスプレイ上にレンダリングするステップを含む、実施例8-9に記載の非一過性コンピュータ可読媒体。
実施例11は、本デバイス較正を実施するステップが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、ディスプレイを較正するステップを含む、実施例10に記載の非一過性コンピュータ可読媒体。
実施例12は、動作はさらに、画像を複数の画像領域に分割するステップを含み、1つまたはそれを上回る行列の行列が、複数の画像領域毎に形成される、実施例8-11に記載の非一過性コンピュータ可読媒体。
実施例13は、1つまたはそれを上回る行列を形成するステップが、1つまたはそれを上回る行列毎に、タイルの対応するタイル内のピクセル強度を平均することによって、複数の値のそれぞれを計算するステップを含む、実施例8-12に記載の非一過性コンピュータ可読媒体。
実施例14は、1つまたはそれを上回るカーネルがそれぞれ、テッセレーション上に重畳されている、1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、実施例8-13に記載の非一過性コンピュータ可読媒体。
実施例15は、システムであって、1つまたはそれを上回るプロセッサと、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、カメラを使用して、標的の画像を捕捉するステップであって、標的は、繰り返されるタイルの構造を有する、テッセレーションを含み、標的はさらに、テッセレーション上に重畳される、1つまたはそれを上回る一意のパターンを含む、ステップと、画像のピクセル強度に基づいて、1つまたはそれを上回る行列を形成するステップであって、1つまたはそれを上回る行列のそれぞれは、それぞれがタイルのうちの1つ内のピクセル強度に対応する、複数の値を含む、ステップと、1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込み、1つまたはそれを上回る強度マップを生成するステップであって、1つまたはそれを上回るカーネルのそれぞれは、1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ステップと、1つまたはそれを上回る強度マップのそれぞれ内の極値を識別するステップと、1つまたはそれを上回る強度マップ毎に、極値に基づいて、画像内の1つまたはそれを上回る一意のパターンのそれぞれの場所を決定するステップと、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施するステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体とを備える、システムである。
実施例16は、デバイス較正を実施するステップが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、カメラを較正するステップを含む、実施例15に記載のシステム。
実施例17は、動作がさらに、標的をディスプレイ上にレンダリングするステップを含む、実施例15-16に記載のシステム。
実施例18は、デバイス較正を実施するステップが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、ディスプレイを較正するステップを含む、実施例17に記載のシステム。
実施例19は、動作がさらに、画像を複数の画像領域に分割するステップを含み、1つまたはそれを上回る行列の行列が、複数の画像領域毎に形成される、実施例15-18に記載のシステム。
実施例20は、1つまたはそれを上回る行列を形成するステップが、1つまたはそれを上回る行列毎に、タイルの対応するタイル内のピクセル強度を平均することによって、複数の値のそれぞれを計算するステップを含む、実施例15-19に記載のシステム。
従来の技法に優る多数の利益が、本開示の方法によって達成される。例えば、実施形態は、標的の一部のみがカメラによって検出されるときでも、正確なデバイス較正を可能にする。加えて、実施形態は、ChArUco等の他の標的と比較して、標的内のはるかに細かい間隔を可能にし、標的上のより小さい標的およびより識別可能な点を可能にする。さらに、実施形態は、画像を画像領域に分割し、異なる処理コアを使用して、領域のそれぞれを同時に処理することによって、サイクル時間における短縮を可能にする。
本開示のさらなる理解を提供するために含まれる、付随の図面は、本明細書に組み込まれ、その一部を成し、本開示の実施形態を図示し、詳細な説明とともに、本開示の原理を解説する役割を果たす。本開示の基本的な理解およびこれが実践され得る種々の方法に関して必要であり得るよりも詳細に、本開示の構造的詳細を示す試みは、行われない。
詳細な説明
本開示の実施形態は、標的と称される、2次元(2D)パターンを使用して、カメラおよびディスプレイを較正するための技法を提供する。本明細書に説明される、いくつかの実施形態では、標的は、繰り返されるタイルの構造を有する、テッセレーションを含むように提供される。タイルのそれぞれは、正方形、矩形、三角形、六角形等の同一形状を有してもよい、またはいくつかの異なる形状が、単一テッセレーションまたは標的内のタイルのために使用されてもよい。標的はさらに、テッセレーション上に重畳される、1つまたはそれを上回る一意のパターンを含む。これらの一意のパターンは、少なくとも1つの一意のパターンが画像内で捕捉される、高尤度が存在するように、テッセレーションに沿って、種々の既知の場所に設置されてもよい。
本開示の実施形態は、標的と称される、2次元(2D)パターンを使用して、カメラおよびディスプレイを較正するための技法を提供する。本明細書に説明される、いくつかの実施形態では、標的は、繰り返されるタイルの構造を有する、テッセレーションを含むように提供される。タイルのそれぞれは、正方形、矩形、三角形、六角形等の同一形状を有してもよい、またはいくつかの異なる形状が、単一テッセレーションまたは標的内のタイルのために使用されてもよい。標的はさらに、テッセレーション上に重畳される、1つまたはそれを上回る一意のパターンを含む。これらの一意のパターンは、少なくとも1つの一意のパターンが画像内で捕捉される、高尤度が存在するように、テッセレーションに沿って、種々の既知の場所に設置されてもよい。
いくつかの実装では、カーネルが、画像内のパターンの場所の抽出を可能にする、一意のパターン毎に生成される。各カーネルは、行列であって、その値は、テッセレーション上に重畳される、一意のパターンの検出または予期されるピクセル強度に基づいて決定される。例えば、カーネルを決定するとき、最適化ルーチンが、予期される照明および他の画像効果を考慮するために実施されてもよい。カーネルは、事前に決定され、較正プロセスの間、読出のためにメモリ内に記憶されてもよい。
説明される実施形態を使用して、カメラを較正するとき、カメラは、少なくとも部分的に、標的を含有する、画像を捕捉する。標的は、可能性の中でもとりわけ、画面上に表示される、プロジェクタによって表示される、オブジェクト上に印刷される(例えば、紙片上に印刷される)等、いくつかの方法で提示されてもよい。カメラによって捕捉された画像は、分析され、標的上のテッセレーションのタイルを識別してもよい。画像内のピクセル強度は、タイル毎に平均されてもよい。平均された強度は、タイルを表す、行列を形成するために使用されてもよい。
次に、カーネルのそれぞれが、タイルを表す行列で畳み込まれ、1つまたはそれを上回る強度マップを生成してもよい。いくつかのインスタンスでは、画像は、複数の画像領域に分割されてもよい。各画像領域は、分析され、平均ピクセル強度を伴う、行列を形成してもよい。各カーネルは、次いで、対応する一意のパターンを含むことが予期される、対応する行列で畳み込まれてもよい。1つまたはそれを上回る強度マップが、分析され、最大または最小値等の極値を識別してもよい。識別された極値は、捕捉された画像内の一意のパターンを位置特定するために使用される。いったん一意のパターンが、位置特定されると、カメラは、一意のパターンの決定された場所に基づいて較正されてもよい。
説明される実施形態を使用して、ディスプレイを較正するとき、ディスプレイは、説明されるテッセレーションおよび一意のパターンを有する、標的をレンダリングする。いくつかのインスタンスでは、ディスプレイは、デジタルコンテンツを知覚させるように、光をユーザ側に向かって投影するように構成される、光学導波管を有する、ウェアラブルヘッドセットである。較正されたカメラが、少なくとも部分的に、ディスプレイによってレンダリングされている標的を含有する、画像を捕捉させられ、上記に説明されるステップが、捕捉された画像内の一意のパターンを位置特定するために実施される。
以下の説明では、種々の実施例が、説明されるであろう。解説の目的のために、具体的構成および詳細が、実施例の完全な理解を提供するために記載される。しかしながら、また、実施例が具体的詳細を伴わずに実践されてもよいことが当業者に明白となるであろう。さらに、周知の特徴は、説明されている実施形態を不明瞭にしないために、省略または簡略化され得る。
図1Aは、本開示のいくつかの実施形態による、例示的カメラ較正スキームを図示する。図示される実施例では、カメラ104が、標的106の画像を捕捉し、これは、ディスプレイ上にレンダリングされる、またはオブジェクト上に印刷される等、いくつかの方法で提示されてもよい。カメラ104は、ウェアラブルデバイス102のコンポーネントとして描写されるが、カメラ104は、独立型デバイスであってもよい、または可能性の中でもとりわけ、ポータブル電子デバイス(例えば、スマートフォン、タブレット、腕時計等)、コンピュータ、スマートデバイス、家電、車両等、画像検出を組み込む、任意のタイプのシステムのコンポーネントであってもよい。カメラ104が、標的106の画像を捕捉後、画像は、本明細書に説明されるように、標的106についての既知の情報を使用して分析され、較正を実施する。
図1Bは、本開示のいくつかの実施形態による、例示的ディスプレイ較正スキームを図示する。図示される実施例では、標的110が、ウェアラブルデバイス102のディスプレイ112上にレンダリングされ、1つまたはそれを上回るカメラ108が、表示されている間、標的110の画像を捕捉する。標的110は、相互に類似する、またはディスプレイ特有であってもよい。ディスプレイ112は、光をユーザ側に向かって投影するように構成される、光学導波管を有する、ウェアラブルデバイス102のコンポーネントとして描写されるが、ディスプレイ112は、独立型デバイスであってもよい、または可能性の中でもとりわけ、ポータブル電子デバイス(例えば、スマートフォン、タブレット、腕時計等)、プロジェクタ、テレビ、コンピュータ等のディスプレイを組み込む、任意のタイプのシステムのコンポーネントであってもよい。カメラ108が、標的110の画像を捕捉後、画像は、本明細書に説明されるように、標的110についての既知の情報を使用して分析され、較正を実施する。
図2は、市松模様標的202、ArUco標的204、およびChArUco標的206を含む、種々の例示的標的を図示する。市松模様標的202の1つの利点は、市松模様の各角および交点が明確に定義されることである。しかしながら、市松模様を見出すことは、それが完全に可視である必要があって、部分的オクルージョンが較正を妨げ得るため、困難であり得る。ArUco標的204は、これらの欠点のうちのいくつかを解決する。ArUco標的204は、区別可能であって、既知の相対的位置を有し、いくつかのマーカのみが必要とされ、部分的オクルージョンが許容可能であるため、姿勢推定をはるかに多用途にする、種々のマーカを含む。しかしながら、ArUco標的204は、角位置が市松模様標的202ほど分解可能ではないため、正確度問題点に悩まされる。ChArUco標的206は、市松模様と、白色正方形の内側に埋め込まれる、ArUcoマーカとを組み合わせることによって、市松模様標的202およびArUco標的204の利益を組み合わせるように試みる。ArUcoマーカの検出は、ArUco模様の多用途性を有するように、市松模様角の位置を補間するために使用され、補間された角は、市松模様の一部であるため、それらは、サブピクセル正確度の観点から非常に正確である。
図3Aは、本開示のいくつかの実施形態による、マルチパターン標的300の実施例を図示する。マルチパターン標的300は、繰り返されるタイルの構造を有する、テッセレーション302と、テッセレーション302上に重畳される、パターン310のセットとを含む。各パターン310は、一意であってもよい、または他のパターンのうちの1つに類似してもよい。その中で各パターン310が一意である、ある実施例では、パターン310-1は、第1のパターンであってもよく、パターン310-2は、第2のパターン(第1のパターンと異なる)であってもよく、パターン310-3は、第3のパターン(第1および第2のパターンと異なる)であってもよく、パターン310-4は、第4のパターン(第1、第2、および第3のパターンと異なる)であってもよい。その中でマルチパターン標的300が2つの一意のパターンを含む、別の実施例では、パターン310-1および310-3は、第1のパターンであってもよく、パターン310-2および310-4は、第2のパターン(第1のパターンと異なる)であってもよい。
パターン310は、カメラによるパターンのうちの少なくとも1つの検出の高尤度が存在するように、マルチパターン標的300内の異なる場所に位置付けられてもよい。パターン310はまた、マルチパターン標的300の画像が、別個に処理される(および可能性として、同時に)、異なる画像領域に分割され、各画像領域が、パターンのうちの少なくとも1つを含有し得るような様式で位置付けられてもよい。図示される実施例では、パターン310は、マルチパターン標的300の異なる象限内に比較的に均一に離間され、マルチパターン標的300の画像は、画像を、中心線に沿って垂直に、かつ中央線に沿って水平に分裂させることによって、4つの画像領域に分割されてもよい。
図3Bは、本開示のいくつかの実施形態による、マルチパターン標的300の例示的実装を図示する。図示される実施例では、テッセレーション302は、白色と黒色との間で交互する、正方形形状の繰り返されるタイル304の構造を有する。タイル304によって形成される角および交点は、タイル点306と称される。パターン310-1および310-3のそれぞれは、垂直に分離され、テッセレーション302の白色タイル上に重畳される、2つの黒色円形を含む。パターン310-2および310-4のそれぞれは、水平に分離され、また、テッセレーション302の白色タイル上に重畳される、2つの黒色円形を含む。
図4A-4Hは、本開示のいくつかの実施形態による、標的内に含まれ得る、パターンの種々の実施例を図示する。図4Aは、垂直に分離される、2つの黒色円形を含む、パターン410Aを図示する。図4Bは、水平に分離される、2つの黒色円形を含む、パターン410Bを図示する。図4Cは、菱形に配列される、4つの黒色円形を含む、パターン410Cを図示する。図4Dは、垂直に分離される、2つの黒色三角形を含む、パターン410Dを図示する。図4Eは、水平および垂直に分離される、3つの黒色菱形を含む、パターン410Eを図示する。図4Fは、他のパターンより大きい面積にわたって、水平および垂直に分離される、5つの黒色円形を含む、パターン410Fを図示する。図4Gは、対角線に沿って配列される、3つの白色円形を含む、パターン410Gを図示する。図4Hは、水平に分離される、2つの黒色円形と、対角線に沿って配列される、3つの白色円形とを含む、パターン410Hを図示する。
図5は、本開示のいくつかの実施形態による、マルチパターン標的500のために生成され得る、カーネル512の実施例を図示する。図示される実施例では、テッセレーション502およびパターン510は、前述のものに類似してもよい。いくつかの実施形態では、カーネル512が、テッセレーション502上に重畳されている対応するパターンに基づいて、パターン510のために生成されてもよい。例えば、各タイル(対応するパターンが重畳される)の平均強度が、計算され、カーネルの値を計算するために使用されてもよい。テッセレーション502上に重畳される、パターン510-1に関して、黒色タイルの平均強度は、低く、白色タイルの平均強度は、高く、黒色円形がそれら上に重畳される、白色タイルの平均強度は、全ての黒色と全ての白色タイルとの間の中間値である。タイルに関する平均強度は、予期される照明および他の画像効果を組み込んでもよい。例えば、マルチパターン標的500の縁の近くのタイルは、あるディスプレイに関して、中心の近くのタイルより暗いことが予期され得る。
図6は、本開示のいくつかの実施形態による、2つのカーネル612の例示的計算を図示する。図示される実施例では、テッセレーション602、パターン610、およびカーネル612は、前述のものに類似してもよい。カーネル612は、標的内のパターン610を位置特定するために最適化されてもよい。示されるように、カーネル値は、必ずしも、タイルの大きさと相関しない。例えば、白色タイルは、必ずしも、対応するカーネル内の大値に対応せず、同様に、黒色タイルは、必ずしも、小値に対応しない。
いくつかの実施形態では、最適化プロシージャは、パターンがオーバーレイされたテッセレーションに由来しない、畳み込み内の値と、それに由来する、単一値との間の大きさにおける最大差異を生産する、カーネルを見出し、それによって、パターン場所が容易に区別されることを可能にすることを狙いとする。用途特有のコントラストおよびパターン円形サイズが、考慮され、試験画像に類似する条件下で一意のパターンを区別する際に高度に効率的である、カーネルをもたらし得ることを意図して、大画像セットが、最適化プロシージャのために使用されてもよい。最適化されない、カーネルも、依然として、良好な結果をもたらし得るが、最適化されたカーネルは、高度な強度ロールオフを有する、不良照明条件またはディスプレイに対処するとき、非常に効率的であり得る。
図7は、本開示のいくつかの実施形態による、マルチパターン標的700の画像718に基づいてデバイスを較正するための種々の例示的ステップを図示する。図示される実施例では、マルチパターン標的700およびカーネル712は、前述のものに類似してもよい。画像718は、マルチパターン標的700に指向される、カメラによって捕捉されてもよい。画像718は、次いで、複数の画像領域720に分割されてもよい。各画像領域720は、画像718および/またはマルチパターン標的700の一部を被覆してもよく、異なる画像領域720は、部分的に、相互に空間的に重複してもよい。いくつかのインスタンスでは、画像領域720は、重複し、特定のパターンが各画像領域720内に含有されることを確実にしてもよい。
行列714が、画像718のピクセル強度に基づいて、画像領域720のために形成される。画像領域720毎に、タイルが、識別され、識別されたタイルのそれぞれ内のピクセル強度が、行列714の各値を算出するために使用される。いくつかの実施形態では、平均ピクセル強度が、行列の値毎に使用される。いくつかの実施形態では、最大ピクセル強度または最小ピクセル強度等の他のメトリックもまた、行列の値毎に使用されてもよい。
各行列714は、対応する画像領域720内で見出されることが予期されるパターンに関して、カーネル712で畳み込まれる。例えば、行列714-1は、カーネル712-1が画像領域720-1(画像718の左上)に見出されることが予期されるパターンに関して生成されたため、カーネル712-1で畳み込まれる。別の実施例として、行列714-2は、カーネル712-2が画像領域720-2(画像718の右上)に見出されることが予期されるパターンに関して生成されたため、カーネル712-2で畳み込まれる。行列714をカーネル712で畳み込む結果は、強度マップ716であって、これもまた、行列であってもよく、行列714と類似寸法を有してもよい。極値(例えば、最大値または最小値)が、強度マップ716のそれぞれ内で識別される。極値は、パターンが画像718内で位置特定されることを可能にする。
図8は、本開示のいくつかの実施形態による、強度マップ816の実施例を図示する。いくつかの実施形態では、極値824(例えば、最小値)が、最大または最小値を決定することによって、強度マップ816内で識別される。いくつかの実施形態では、画像を横断した照明の変動等、捕捉された画像内の画像効果を考慮するために、表面826は、強度マップ816に適合されてもよい。表面826は、平坦平面表面または湾曲表面であってもよい。平面表面が、1次元(1D)方向における変動を考慮し得るが、湾曲表面は、異なる方向における異なる変動を考慮することができる。いったん適合された表面826が、取得されると、極値824が、適合された表面826を参照して識別されてもよい(例えば、表面826の特定の側上の表面826からより離れた距離)。
図9は、本開示のいくつかの実施形態による、マルチパターン標的900を含有する、画像918の実施例を図示する。図示される実施例では、マルチパターン標的900、タイル904、タイル点906、および画像918は、前述のものに類似してもよい。いったん画像918内のパターンの場所が、決定されると、タイル点906は、画像918内で位置合わせされ、画像918を捕捉したカメラまたはマルチパターン標的900をレンダリングしたディスプレイのいずれかを較正するために使用されてもよい。例えば、マルチパターン標的900に対するカメラの姿勢が、推定されてもよく、タイル点906間の間隔が、カメラの姿勢に基づいて照合されてもよい。いくつかのインスタンスでは、いったんカメラの姿勢が、推定されると、タイル点906間で予期される間隔が、算出され、タイル点906間で検出された間隔と比較されてもよい。予期および検出された間隔間の差異が、大きい場合、カメラおよび/またはディスプレイのパラメータは、2つの間の一貫性を改良するために調節されてもよい。
図10は、本開示のいくつかの実施形態による、デバイス較正を実施する方法1000を図示する。方法1000の1つまたはそれを上回るステップは、方法1000の実施の間、省略されてもよく、方法1000の1つまたはそれを上回るステップは、示される順序で実施される必要はない。方法1000は、プログラムが、1つまたはそれを上回るコンピュータによって実行されると、1つまたはそれを上回るコンピュータに、方法1000のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。そのようなコンピュータプログラム製品は、有線または無線ネットワークを経由して、コンピュータプログラム製品を搬送するデータキャリア信号内で伝送されることができる。
ステップ1002では、標的(例えば、標的106、110、300、500、700、900)が、ディスプレイ(例えば、ディスプレイ112)上にレンダリングされる。ディスプレイは、標的が知覚されるように、光をデバイスのユーザ側に向かって投影するように構成される、導波管を有する、光学シースルー(OST)頭部搭載型ディスプレイ(HMD)であってもよい。
ステップ1004では、標的の画像(例えば、画像718、918)が、カメラ(例えば、カメラ104、108)を使用して捕捉される。画像は、複数のピクセル強度を含んでもよい。標的は、テッセレーション(例えば、テッセレーション302、502、602)を含んでもよい。テッセレーションは、繰り返されるタイル(例えば、タイル304、904)の構造を有してもよい。標的は、テッセレーション上に重畳される、1つまたはそれを上回る一意のパターン(例えば、パターン310、410、510、610)を含んでもよい。いくつかの実施形態では、画像は、複数の画像領域(例えば、画像領域720)に分割されてもよい。複数の画像領域のうちの2つまたはそれを上回るものは、相互に重複してもよい。いくつかの実施形態では、画像を分割するステップは、画像を複数の非重複画像領域にパーティション化するステップを含んでもよい。いくつかの実施形態では、複数の画像領域は、複数のプロセッサまたはプロセッサコアを使用して、同時に処理されてもよい。
ステップ1006では、1つまたはそれを上回る行列(例えば、行列714)が、画像のピクセル強度に基づいて、形成される。1つまたはそれを上回る行列のそれぞれは、複数の値を含んでもよい。複数の値のそれぞれは、画像内で捕捉されるようなタイルのうちの1つ内のピクセル強度に対応し得る。例えば、複数の値のそれぞれは、タイルのうちの1つ内のピクセル強度を平均することによって計算されてもよい。別の実施例では、複数の値のそれぞれは、タイルのうちの1つ内の最大または最小ピクセル強度を決定することによって計算されてもよい。
ステップ1008では、1つまたはそれを上回る行列が、1つまたはそれを上回るカーネル(例えば、カーネル512、612、712)で畳み込まれる。1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込むステップは、1つまたはそれを上回る強度マップ(例えば、強度マップ716、816)を生成し得る。1つまたはそれを上回るカーネルのそれぞれは、1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成されてもよい。例えば、1つまたはそれを上回るカーネルのそれぞれは、テッセレーション上に重畳されている、対応する一意のパターンの検出または予期されるピクセル強度に基づいて生成されてもよい。
ステップ1010では、極値(例えば、極値824)が、1つまたはそれを上回る強度マップのそれぞれ内で識別される。極値は、最大値または最小値であってもよい。極値は、1つまたはそれを上回る強度マップの強度マップに適合される、表面(例えば、表面826)を参照して識別されてもよい。
ステップ1012では、画像内の1つまたはそれを上回る一意のパターンのそれぞれの場所が、1つまたはそれを上回る強度マップ毎に、極値に基づいて決定される。1つまたはそれを上回る一意のパターンのそれぞれの場所は、画像内のタイル点(例えば、タイル点306、906)を位置合わせする(例えば、位置特定する)ために使用されてもよく、これは、デバイス較正のために使用される。
ステップ1014では、デバイス較正が、実施される。デバイス較正は、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して(および/または位置合わせされたタイル点を使用して)、実施されてもよい。ステップ1014は、ステップ1016および1018の一方または両方を含んでもよい。ステップ1016では、カメラが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して(および/または位置合わせされたタイル点を使用して)、較正される。カメラを較正するステップは、位置合わせされたタイル点を使用して、実世界座標系をマッピングするステップを含んでもよい。ステップ1018では、ディスプレイが、1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して(および/または位置合わせされたタイル点を使用して)、較正される。ディスプレイを較正するステップは、位置合わせされたタイル点を使用して、実世界座標系をマッピングするステップを含んでもよい。いくつかのインスタンスでは、ステップ1018を実施することに先立って、ステップ1004において画像を捕捉するために使用されるカメラは、実世界座標系をマッピングすることによって事前に較正されている。
図11は、本発明の実施形態による、上記に説明される実施形態のうちの1つまたはそれを上回るものにおいて使用され得る、例示的ウェアラブルシステム1100の概略図を図示する。ウェアラブルシステム1100は、ウェアラブルデバイス1101と、ウェアラブルデバイス1101から遠隔の少なくとも1つの遠隔デバイス1103(例えば、別個のハードウェアであるが、通信可能に結合される)とを含んでもよい。ウェアラブルデバイス1101が、ユーザによって装着されている間(概して、ヘッドセットとして)、遠隔デバイス1103は、ユーザによって保持される(例えば、ハンドヘルドコントローラとして)、またはフレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において等)等、種々の構成において搭載されてもよい。
ウェアラブルデバイス1101は、並置構成において配列され、左光学スタックを構成する、左接眼レンズ1102Aと、左レンズアセンブリ1105Aとを含んでもよい。左レンズアセンブリ1105Aは、遠近調節レンズを左光学スタックのユーザ側上に、および補償レンズを左光学スタックの世界側上に含んでもよい。同様に、ウェアラブルデバイス1101は、並置構成に配列され、右光学スタックを構成する、右接眼レンズ1102Bと、右レンズアセンブリ1105Bとを含んでもよい。右レンズアセンブリ1105Bは、遠近調節レンズを右光学スタックのユーザ側上に、および補償レンズを右光学スタックの世界側上に含んでもよい。
いくつかの実施形態では、ウェアラブルデバイス1101は、限定ではないが、左接眼レンズ1102Aに直接またはその近くに取り付けられる、左正面に向いた世界カメラ1106Aと、右接眼レンズ1102Bに直接またはその近くに取り付けられる、右正面に向いた世界カメラ1106Bと、左接眼レンズ1102Aに直接またはその近くに取り付けられる、左側に向いた世界カメラ1106Cと、右接眼レンズ1102Bに直接またはその近くに取り付けられる、右側に向いた世界カメラ1106Dと、左眼に向かって指向される、左眼追跡カメラ1126Aと、右眼に向かって指向される、右眼追跡カメラ1126Bと、接眼レンズ1102間に取り付けられる、深度センサ1128とを含む、1つまたはそれを上回るセンサを含む。ウェアラブルデバイス1101は、左接眼レンズ1102Aに光学的に連結される、左プロジェクタ1114A、および右接眼レンズ1102Bに光学的に連結される、右プロジェクタ1114B等の1つまたはそれを上回る画像投影デバイスを含んでもよい。
ウェアラブルシステム1100は、システム内のデータを収集、処理、および/または制御するための処理モジュール1150を含んでもよい。処理モジュール1150のコンポーネントは、ウェアラブルデバイス1101と遠隔デバイス1103との間に分散されてもよい。例えば、処理モジュール1150は、ウェアラブルシステム1100のウェアラブル部分上のローカル処理モジュール1152と、ローカル処理モジュール1152と物理的に別個であって、それに通信可能に連結される、遠隔処理モジュール1156とを含んでもよい。ローカル処理モジュール1152および遠隔処理モジュール1156のそれぞれは、1つまたはそれを上回る処理ユニット(例えば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)等)と、不揮発性メモリ(例えば、フラッシュメモリ)等の1つまたはそれを上回る記憶デバイスとを含んでもよい。
処理モジュール1150は、カメラ1106、眼追跡カメラ1126、深度センサ1128、遠隔センサ1130、周囲光センサ、マイクロホン、慣性測定ユニット(IMU)、加速度計、コンパス、グローバルナビゲーション衛星システム(GNSS)ユニット、無線デバイス、および/またはジャイロスコープ等のウェアラブルシステム1100の種々のセンサによって捕捉されたデータを収集してもよい。例えば、処理モジュール1150は、画像1120をカメラ1106から受信してもよい。具体的には、処理モジュール1150は、左正面画像1120Aを左正面に向いた世界カメラ1106Aから、右正面画像1120Bを右正面に向いた世界カメラ1106Bから、左側画像1120Cを左側に向いた世界カメラ1106Cから、および右側画像1120Dを右側に向いた世界カメラ1106Dから受信してもよい。いくつかの実施形態では、画像1120は、単一画像、一対の画像、画像のストリームから成るビデオ、ペアリングされた画像のストリームから成るビデオ、および同等物を含んでもよい。画像1120は、ウェアラブルシステム1100が電源投入されている間、周期的に、生成され、処理モジュール1150に送信されてもよい、または処理モジュール1150によってカメラのうちの1つまたはそれを上回るものに送信される命令に応答して、生成されてもよい。
カメラ1106は、ユーザの周囲の画像を捕捉するように、ウェアラブルデバイス1101の外面に沿って、種々の位置および配向において構成されてもよい。いくつかのインスタンスでは、カメラ1106A、1106Bはそれぞれ、ユーザの左および右眼のFOVと実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ1106の設置は、ユーザの眼の近くにあり得るが、ユーザのFOVを不明瞭にするほど近くない。代替として、または加えて、カメラ1106A、1106Bはそれぞれ、仮想画像光1122A、1122Bの内部結合場所と整合するように位置付けられてもよい。カメラ1106C、1106Dは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚の外側の画像を捕捉するように位置付けられてもよい。カメラ1106C、1106Dを使用して捕捉された画像1120C、1120Dは、必ずしも、カメラ1106A、1106Bを使用して捕捉された画像1120A、1120Bと重複する必要はない。
いくつかの実施形態では、処理モジュール1150は、周囲光情報を周囲光センサから受信してもよい。周囲光情報は、ある明度値またはある範囲の空間的に分解された明度値を示し得る。深度センサ1128は、ウェアラブルデバイス1101の正面に向いた方向において深度画像1132を捕捉してもよい。深度画像1132の各値は、特定の方向における深度センサ1128と最も近くの検出されたオブジェクトとの間の距離に対応し得る。別の実施例として、処理モジュール1150は、眼追跡データ1134を眼追跡カメラ1126から受信してもよく、これは、左および右眼の画像を含んでもよい。別の実施例として、処理モジュール1150は、投影された画像明度値をプロジェクタ1114の一方または両方から受信してもよい。遠隔デバイス1103内に位置する遠隔センサ1130は、類似機能性を伴う上記に説明されるセンサのいずれかを含んでもよい。
仮想コンテンツは、光学スタック内の他のコンポーネントとともに、プロジェクタ1114および接眼レンズ1102を使用して、ウェアラブルシステム1100のユーザに送達される。例えば、接眼レンズ1102A、1102Bは、それぞれ、プロジェクタ1114A、1114Bによって生成された光を指向および外部結合するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール1150は、左プロジェクタ1114Aに、左仮想画像光1122Aを左接眼レンズ1102A上に出力させ得、右プロジェクタ1114Bに、右仮想画像光1122Bを右接眼レンズ1102B上に出力させ得る。いくつかの実施形態では、プロジェクタ1114は、微小電気機械システム(MEMS)空間光変調器(SLM)走査デバイスを含んでもよい。いくつかの実施形態では、接眼レンズ1102A、1102Bのそれぞれは、異なる色に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、レンズアセンブリ1105A、1105Bは、接眼レンズ1102A、1102Bに結合され、および/または統合されてもよい。例えば、レンズアセンブリ1105A、1105Bは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ1102A、1102Bのうちの1つを構成する、1つまたはそれを上回る層を形成してもよい。
図12は、本明細書に説明される実施形態による、簡略化されたコンピュータシステム1200を図示する。図12に図示されるようなコンピュータシステム1200は、本明細書に説明されるようなデバイスの中に組み込まれてもよい。図12は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム1200の一実施形態の概略化された例証を提供する。図12は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図12は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。
コンピュータシステム1200は、バス1205を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および/または同等物等の、1つまたはそれを上回る汎用プロセッサおよび/または1つまたはそれを上回る特殊目的プロセッサを含む、1つまたはそれを上回るプロセッサ1210と、限定ではないが、マウス、キーボード、カメラ、および/または同等物を含むことができる、1つまたはそれを上回る入力デバイス1215と、限定ではないが、ディスプレイデバイス、プリンタ、および/または同等物を含むことができる、1つまたはそれを上回る出力デバイス1220とを含んでもよい。
コンピュータシステム1200はさらに、限定ではないが、ローカルおよび/またはネットワークアクセス可能記憶装置を備えることができ、および/または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および/または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)等のソリッドステート記憶デバイス、および/または読取専用メモリ(「ROM」)を含むことができる、1つまたはそれを上回る非一過性記憶デバイス1225を含む、および/またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および/または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
コンピュータシステム1200はまた、限定ではないが、Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備等、および/または同等物等のモデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイス、および/またはチップセットを含むことができる、通信サブシステム1219を含み得る。通信サブシステム1219は、1つまたはそれを上回る入力および/または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および/または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および/または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム1219を介して、画像および/または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第1の電子デバイスは、コンピュータシステム1200、例えば、電子デバイスの中に入力デバイス1215として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム1200はさらに、作業メモリ1235を備え、これは、上記に説明されるようなRAMまたはROMデバイスを含むことができる。
コンピュータシステム1200はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および/または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および/またはシステムを構成するように設計され得る、1つまたはそれを上回るアプリケーションプログラム1245等のオペレーティングシステム1240、デバイスドライバ、実行可能ライブラリ、および/または他のコードを含む、作業メモリ1235内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される1つまたはそれを上回るプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび/または命令として実装され得、ある側面では、次いで、そのようなコードおよび/または命令は、説明される方法に従って1つまたはそれを上回る動作を実施するように汎用コンピュータまたは他のデバイスを構成および/または適合するために使用されることができる。
これらの命令および/またはコードのセットは、上記に説明される記憶デバイス1225等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム1200等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および/または記憶媒体が、汎用コンピュータをその上に記憶される命令/コードを用いてプログラム、構成、および/または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム1200によって実行可能である、実行可能コードの形態をとり得る、および/または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等のいずれかを使用したコンピュータシステム1200上へのコンパイルおよび/またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび/またはインストール可能コードの形態をとり得る。
実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および/または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム1200等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ1210が、オペレーティングシステム1240の中に組み込まれ得る、1つまたはそれを上回る命令の1つまたはそれを上回るシーケンス、および/または作業メモリ1235内に含有される、アプリケーションプログラム1245等の他のコードを実行することに応答して、コンピュータシステム1200によって実施される。そのような命令は、記憶デバイス1225のうちの1つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ1235の中に読み取られてもよい。単に、一例として、作業メモリ1235内に含有される命令のシーケンスの実行は、プロセッサ1210に、本明細書に説明される方法の1つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム1200を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令/コードをプロセッサ1210に提供する際に関わり得る、および/またはそのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス1225等の光学および/または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ1235等の動的メモリを含む。
一般的形態の物理的および/または有形コンピュータ可読媒体は、例えば、フロッピー(登録商標)ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる、任意の他の媒体を含む。
種々の形態のコンピュータ可読媒体が、実行のための1つまたはそれを上回る命令の1つまたはそれを上回るシーケンスをプロセッサ1210に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび/または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム1200によって受信および/または実行される伝送媒体を経由して、命令を信号として送信し得る。
通信サブシステム1219および/またはそのコンポーネントは、概して、信号を受信し、バス1205が、次いで、信号および/または信号によって搬送されるデータ、命令等を作業メモリ1235に搬送し得、そこから、プロセッサ1210が、命令を読み出し、実行する。作業メモリ1235によって受信された命令は、随意に、プロセッサ1210による実行前または後のいずれかにおいて、非一過性記憶デバイス1225上に記憶されてもよい。
上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および/または種々の段階は、追加される、省略される、および/または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、順次プロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
本明細書および添付の請求項で使用されるように、単数形「a」、「an」、および「the」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、1つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。
また、単語「comprise(~を備える)」、「comprising(~を備える)」、「contains(~を含有する)」、「containing(~を含有する)」、「include(~を含む)」、「including(~を含む)」、および「includes(~を含む)」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、1つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。
Claims (20)
- デバイス較正を実施するための方法であって、前記方法は、
カメラを使用して、標的の画像を捕捉することであって、前記標的は、繰り返されるタイルの構造を有するテッセレーションを含み、前記標的はさらに、前記テッセレーション上に重畳される1つまたはそれを上回る一意のパターンを含む、ことと、
前記画像のピクセル強度に基づいて、1つまたはそれを上回る行列を形成することであって、前記1つまたはそれを上回る行列のそれぞれは、それぞれが前記タイルのうちの1つ内の前記ピクセル強度に対応する複数の値を含む、ことと、
前記1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込み、1つまたはそれを上回る強度マップを生成することであって、前記1つまたはそれを上回るカーネルのそれぞれは、前記1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ことと、
前記1つまたはそれを上回る強度マップのそれぞれ内の極値を識別することと、
前記1つまたはそれを上回る強度マップ毎に、前記極値に基づいて、前記画像内の前記1つまたはそれを上回る一意のパターンのそれぞれの場所を決定することと、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記デバイス較正を実施することと
を含む、方法。 - 前記デバイス較正を実施することは、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記カメラを較正することを含む、請求項1に記載の方法。 - 前記標的をディスプレイ上にレンダリングすることをさらに含む、請求項1に記載の方法。
- 前記デバイス較正を実施することは、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記ディスプレイを較正することを含む、請求項3に記載の方法。 - 前記画像を複数の画像領域に分割することをさらに含み、前記1つまたはそれを上回る行列の行列は、前記複数の画像領域毎に形成される、請求項1に記載の方法。
- 前記1つまたはそれを上回る行列を形成することは、
前記1つまたはそれを上回る行列毎に、前記タイルの対応するタイル内の前記ピクセル強度を平均することによって、前記複数の値のそれぞれを計算することを含む、請求項1に記載の方法。 - 前記1つまたはそれを上回るカーネルのそれぞれは、前記テッセレーション上に重畳されている前記1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、請求項1に記載の方法。
- 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
カメラを使用して、標的の画像を捕捉することであって、前記標的は、繰り返されるタイルの構造を有するテッセレーションを含み、前記標的はさらに、前記テッセレーション上に重畳される1つまたはそれを上回る一意のパターンを含む、ことと、
前記画像のピクセル強度に基づいて、1つまたはそれを上回る行列を形成することであって、前記1つまたはそれを上回る行列のそれぞれは、それぞれが前記タイルのうちの1つ内の前記ピクセル強度に対応する複数の値を含む、ことと、
前記1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込み、1つまたはそれを上回る強度マップを生成することであって、前記1つまたはそれを上回るカーネルのそれぞれは、前記1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ことと、
前記1つまたはそれを上回る強度マップのそれぞれ内の極値を識別することと、
前記1つまたはそれを上回る強度マップ毎に、前記極値に基づいて、前記画像内の前記1つまたはそれを上回る一意のパターンのそれぞれの場所を決定することと、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施することと
を含む動作を実施させる、非一過性コンピュータ可読媒体。 - 前記デバイス較正を実施することは、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記カメラを較正することを含む、請求項8に記載の非一過性コンピュータ可読媒体。 - 前記動作はさらに、
前記標的をディスプレイ上にレンダリングすることを含む、請求項8に記載の非一過性コンピュータ可読媒体。 - 前記デバイス較正を実施することは、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記ディスプレイを較正することを含む、請求項10に記載の非一過性コンピュータ可読媒体。 - 前記動作はさらに、
前記画像を複数の画像領域に分割することを含み、前記1つまたはそれを上回る行列の行列は、前記複数の画像領域毎に形成される、請求項8に記載の非一過性コンピュータ可読媒体。 - 前記1つまたはそれを上回る行列を形成することは、
前記1つまたはそれを上回る行列毎に、前記タイルの対応するタイル内の前記ピクセル強度を平均することによって、前記複数の値のそれぞれを計算することを含む、請求項8に記載の非一過性コンピュータ可読媒体。 - 前記1つまたはそれを上回るカーネルのそれぞれは、前記テッセレーション上に重畳されている前記1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、請求項8に記載の非一過性コンピュータ可読媒体。
- システムであって、
1つまたはそれを上回るプロセッサと、
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
カメラを使用して、標的の画像を捕捉することであって、前記標的は、繰り返されるタイルの構造を有するテッセレーションを含み、前記標的はさらに、前記テッセレーション上に重畳される1つまたはそれを上回る一意のパターンを含む、ことと、
前記画像のピクセル強度に基づいて、1つまたはそれを上回る行列を形成することであって、前記1つまたはそれを上回る行列のそれぞれは、それぞれが前記タイルのうちの1つ内の前記ピクセル強度に対応する複数の値を含む、ことと、
前記1つまたはそれを上回る行列を1つまたはそれを上回るカーネルで畳み込み、1つまたはそれを上回る強度マップを生成することであって、前記1つまたはそれを上回るカーネルのそれぞれは、前記1つまたはそれを上回る一意のパターンの対応する一意のパターンに基づいて生成される、ことと、
前記1つまたはそれを上回る強度マップのそれぞれ内の極値を識別することと、
前記1つまたはそれを上回る強度マップ毎に、前記極値に基づいて、前記画像内の前記1つまたはそれを上回る一意のパターンのそれぞれの場所を決定することと、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、デバイス較正を実施することと
を含む動作を実施させる、非一過性コンピュータ可読媒体と
を備える、システム。 - 前記デバイス較正を実施することは、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記カメラを較正することを含む、請求項15に記載のシステム。 - 前記動作はさらに、
前記標的をディスプレイ上にレンダリングすることを含む、請求項15に記載のシステム。 - 前記デバイス較正を実施することは、
前記1つまたはそれを上回る一意のパターンのそれぞれの場所を使用して、前記ディスプレイを較正することを含む、請求項17に記載のシステム。 - 前記動作はさらに、
前記画像を複数の画像領域に分割することを含み、前記1つまたはそれを上回る行列の行列は、前記複数の画像領域毎に形成される、請求項15に記載のシステム。 - 前記1つまたはそれを上回る行列を形成することは、
前記1つまたはそれを上回る行列毎に、前記タイルの対応するタイル内の前記ピクセル強度を平均することによって、前記複数の値のそれぞれを計算することを含む、請求項15に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063020787P | 2020-05-06 | 2020-05-06 | |
US63/020,787 | 2020-05-06 | ||
PCT/US2021/030962 WO2021226282A1 (en) | 2020-05-06 | 2021-05-05 | Convolution-based camera and display calibration |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023525508A true JP2023525508A (ja) | 2023-06-16 |
JPWO2021226282A5 JPWO2021226282A5 (ja) | 2024-05-01 |
Family
ID=78412937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022567088A Pending JP2023525508A (ja) | 2020-05-06 | 2021-05-05 | 畳み込みベースのカメラおよびディスプレイ較正 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11704834B2 (ja) |
EP (1) | EP4147206A4 (ja) |
JP (1) | JP2023525508A (ja) |
CN (1) | CN115516513A (ja) |
WO (1) | WO2021226282A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD951961S1 (en) * | 2020-01-30 | 2022-05-17 | Magic Leap, Inc. | Head strap |
CN115423804B (zh) * | 2022-11-02 | 2023-03-21 | 依未科技(北京)有限公司 | 影像标定方法及装置、影像处理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401294B1 (en) * | 2008-12-30 | 2013-03-19 | Lucasfilm Entertainment Company Ltd. | Pattern matching using convolution of mask image and search image |
US8106949B2 (en) * | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
US9172913B1 (en) | 2010-09-24 | 2015-10-27 | Jetprotect Corporation | Automatic counter-surveillance detection camera and software |
PT2742484T (pt) * | 2011-07-25 | 2017-01-02 | Univ De Coimbra | Método para alinhamento e rastreamento de regiões de pontos em imagens com distorção radial, que produz parâmetros de modelo de movimento, calibração de distorção e variação de zoom |
CN106611148B (zh) * | 2015-10-21 | 2020-04-24 | 北京百度网讯科技有限公司 | 基于图像的离线公式识别方法和装置 |
WO2018005561A1 (en) * | 2016-06-28 | 2018-01-04 | Magic Leap, Inc. | Improved camera calibration system, target, and process |
US10958843B2 (en) * | 2018-05-04 | 2021-03-23 | Raytheon Technologies Corporation | Multi-camera system for simultaneous registration and zoomed imagery |
US10805535B2 (en) * | 2018-05-25 | 2020-10-13 | Aquifi, Inc. | Systems and methods for multi-camera placement |
US11361474B2 (en) | 2018-08-03 | 2022-06-14 | Magic Leap, Inc. | Method and system for subgrid calibration of a display device |
CN109086753B (zh) * | 2018-10-08 | 2022-05-10 | 新疆大学 | 基于双通道卷积神经网络的交通标志识别方法、装置 |
CA3131071A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Spatial registration of tracking system with an image using two-dimensional image projections |
US11256214B2 (en) * | 2019-10-18 | 2022-02-22 | Looking Glass Factory, Inc. | System and method for lightfield capture |
US20210256729A1 (en) * | 2020-02-13 | 2021-08-19 | Proprio, Inc. | Methods and systems for determining calibration quality metrics for a multicamera imaging system |
US11206294B2 (en) * | 2020-03-31 | 2021-12-21 | Konica Minolta Business Solutions U.S.A., Inc. | Method for separating local and remote content in a camera-projector based collaborative system |
-
2021
- 2021-05-05 JP JP2022567088A patent/JP2023525508A/ja active Pending
- 2021-05-05 WO PCT/US2021/030962 patent/WO2021226282A1/en unknown
- 2021-05-05 US US17/308,918 patent/US11704834B2/en active Active
- 2021-05-05 EP EP21800056.0A patent/EP4147206A4/en active Pending
- 2021-05-05 CN CN202180033037.2A patent/CN115516513A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021226282A1 (en) | 2021-11-11 |
CN115516513A (zh) | 2022-12-23 |
EP4147206A1 (en) | 2023-03-15 |
EP4147206A4 (en) | 2023-11-08 |
US20210350574A1 (en) | 2021-11-11 |
US11704834B2 (en) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102417177B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
CN108307675B (zh) | 用于vr/ar应用中的深度增强的多基线相机阵列系统架构 | |
US10242504B2 (en) | Head-mounted display device and computer program | |
US20210142508A1 (en) | Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display | |
CN108886578B (zh) | 用于增强现实姿势对准的虚拟提示 | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
EP3752898B1 (en) | External ir illuminator enabling improved head tracking and surface reconstruction for virtual reality | |
US20200027201A1 (en) | Augmented reality system and color compensation method thereof | |
US20160033770A1 (en) | Head-mounted display device, control method of head-mounted display device, and display system | |
JP2023525508A (ja) | 畳み込みベースのカメラおよびディスプレイ較正 | |
US11030793B2 (en) | Stylized image painting | |
US10832427B1 (en) | Scene camera retargeting | |
EP4042230A1 (en) | Multi-dimensional rendering | |
US10896494B1 (en) | Dirty lens image correction | |
WO2021242338A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
EP2706508B1 (en) | Reducing latency in an augmented-reality display | |
EP4198873A1 (en) | Sparse rgb filter hardware accelerator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240419 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240419 |