JPWO2020023582A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020023582A5 JPWO2020023582A5 JP2021503757A JP2021503757A JPWO2020023582A5 JP WO2020023582 A5 JPWO2020023582 A5 JP WO2020023582A5 JP 2021503757 A JP2021503757 A JP 2021503757A JP 2021503757 A JP2021503757 A JP 2021503757A JP WO2020023582 A5 JPWO2020023582 A5 JP WO2020023582A5
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- metric
- user
- map
- camera system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
本開示の付加的および他の目的、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。
本発明は、例えば、以下を提供する。
（項目１）
ユーザの頭部上に装着されるように構成される装置であって、
グラフィックをユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
少なくとも部分的に、前記カメラシステムからの出力に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成される、装置。
（項目２）
前記処理ユニットは、異なるカメラ位置と関連付けられる着目点の同時可視性に基づいて、前記メトリックを決定するように構成される、項目１に記載の装置。
（項目３）
前記メトリックは、前記環境に対して前記ユーザを位置特定するために使用可能な基準点の数を示す、項目１に記載の装置。
（項目４）
前記メトリックは、１つ以上の視認方向における前記ユーザを位置特定することの成功の可能性を示す、項目１に記載の装置。
（項目５）
前記処理ユニットは、着目点が異なるカメラ位置から検出された回数に基づいて、前記メトリックを決定するように構成される、項目１に記載の装置。
（項目６）
前記処理ユニットは、任意の凸包を決定せずに、前記メトリックを決定するように構成される、項目１に記載の装置。
（項目７）
前記メトリックは、指向性に基づく値を有する、項目１に記載の装置。
（項目８）
前記メトリックは、複数のセルのうちの１つに関するものであり、前記セルはそれぞれ、前記環境の一部の３次元空間を表し、前記メトリックは、前記複数のセルのうちの１つ内の位置に基づく値を有する、項目１に記載の装置。
（項目９）
前記メトリックは、複数のセルのうちの１つに関するものであり、前記セルはそれぞれ、前記環境の一部の３次元空間を表す、項目１に記載の装置。
（項目１０）
前記カメラシステムは、複数の画像を取得するように構成され、前記処理ユニットは、
視認方向の同一範囲に属する前記画像のサブセットを識別することと、
前記画像のサブセット内の画像に関する個別のスコアを決定することと、
前記スコアを総和し、総スコアを取得することと
によって、前記複数のセルのうちの１つに関する前記メトリックを決定するように構成される、項目９に記載の装置。
（項目１１）
前記処理ユニットはまた、前記総スコアを前記画像のサブセット内の画像の数で除算することによって、平均スコアを決定するように構成される、項目１０に記載の装置。
（項目１２）
前記処理ユニットは、基準点と前記複数の画像を関連付ける同時可視性グラフにアクセスすることによって、前記個別のスコアを決定するように構成される、項目１０に記載の装置。
（項目１３）
前記同時可視性グラフは、前記基準点のいずれが前記複数の画像内のものの中で可視であるかを示す、項目１２に記載の装置。
（項目１４）
前記処理ユニットは、前記画像のサブセット内の画像の対応するもの内で検出された基準点の数を決定することによって、前記個別のスコアのそれぞれを決定するように構成される、項目１０に記載の装置。
（項目１５）
前記処理ユニットはまた、前記マップによる被覆度を示す面積スコアを決定するように構成される、項目１に記載の装置。
（項目１６）
前記処理ユニットは、
複数の画像を前記カメラシステムから取得することと、
同時可視性値を決定することであって、前記同時可視性値はそれぞれ、前記複数の画像の対応するもの内で検出された基準点の数を示す、ことと
によって、前記メトリックを決定するように構成される、項目１に記載の装置。
（項目１７）
前記処理ユニットは、前記メトリックの値を改良するための前記カメラシステムの所望の視認方向を決定するように構成される、項目１に記載の装置。
（項目１８）
前記処理ユニットは、前記決定された所望の視認方向に基づいて、前記グラフィックを生成するように構成され、前記グラフィックは、前記ユーザに、前記カメラシステムの現在の視認方向を前記所望の視認方向に変化させるように命令するように構成される、項目１７に記載の装置。
（項目１９）
前記処理ユニットは、前記所望の視認方向が達成された後、前記メトリックを更新するように構成される、項目１８に記載の装置。
（項目２０）
前記処理ユニットは、前記データが前記マップを決定するために使用される場合、サニタイゼーションを実施し、そうでなければ、前記マップに関して望ましくない寄与を提供するであろうデータを除去するか、または考慮しないように構成される、項目１に記載の装置。
（項目２１）
前記データは、前記カメラシステムからの画像を含み、前記処理ユニットは、（１）前記画像を除去するか、または考慮しないこと、（２）前記画像内の基準点の識別を考慮しないこと、および／または（３）前記画像と関連付けられる、光線または線を考慮しないことによって、前記サニタイゼーションを実施するように構成される、項目２０に記載の装置。
（項目２２）
前記処理ユニットは、バンドル調整を実施し、前記カメラシステムからの１つ以上の画像と関連付けられる１つ以上の光線を調節するように構成され、前記処理ユニットは、前記サニタイゼーションを実施し、前記データを除去した後、前記バンドル調整を実施するように構成される、項目２０に記載の装置。
（項目２３）
前記処理ユニットは、前記カメラシステムからの画像、３次元基準点、および前記カメラシステムのカメラ間の相対的配向に基づいて、最適化を実施するように構成される、項目１に記載の装置。
（項目２４）
前記処理ユニットは、前記カメラシステムから取得される画像に関するスコアを決定するように構成される、項目１に記載の装置。
（項目２５）
前記スコアは、前記画像が制約されている程度を示す、項目２４に記載の装置。
（項目２６）
前記処理ユニットは、基準点測定のＪａｃｏｂｉａｎに基づいて、前記スコアを決定するように構成される、項目２４に記載の装置。
（項目２７）
前記処理ユニットは、前記スコアに基づいて、データサニタイゼーションを実施するように構成され、
前記処理ユニットは、前記データサニタイゼーションを実施するとき、前記画像の制約を除去する、または前記画像を除去するように構成される、
項目２４に記載の装置。
（項目２８）
前記処理ユニットは、
複数のマップセグメントを決定することと、
前記マップセグメントを接続することと
によって、前記マップを決定するように構成される、項目１に記載の装置。
（項目２９）
前記処理ユニットは、画像を前記カメラシステムから取得し、前記画像をリンクさせることによって、前記マップセグメントの第１のマップセグメントを決定するように構成され、前記画像は、前記カメラシステムによってシーケンスにおいて生成される、項目２８に記載の装置。
（項目３０）
前記処理ユニットは、
付加的画像を前記カメラシステムから取得することと、
前記付加的画像に関するスコアを決定することと、
前記カメラシステムからの付加的画像のスコアが基準を満たすことに応答して、前記マップセグメントの第２のマップセグメントを開始することと
を行うように構成される、項目２９に記載の装置。
（項目３１）
前記処理ユニットは、前記スコアが、前記第１のマップセグメントに対する制約度を有する前記画像が閾値を下回ることを示すとき、前記第２のマップセグメントを開始するように構成される、項目３０に記載の装置。
（項目３２）
ユーザの頭部上に装着されるように構成される装置によって実施される方法であって、前記装置は、グラフィックをユーザに提示するように構成される画面と、前記ユーザが位置する環境を視認するように構成されるカメラシステムと、処理ユニットとを有し、前記方法は、
前記処理ユニットによって、前記カメラシステムからの出力を取得することと、
前記処理ユニットによって、少なくとも部分的に、前記カメラシステムからの出力に基づいて、マップを決定することであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、ことと、
前記処理ユニットによって、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得することであって、前記取得する行為は、前記処理ユニットによって、前記メトリックを算出することまたは前記メトリックを受信することを含む、ことと
を含む、方法。
Additional and other objects, features, and advantages of the disclosure are set forth in the detailed description, drawings, and claims.
The present invention provides, for example, the following.
(Item 1)
A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to a user;
a camera system configured to view an environment in which the user is located;
A processing unit configured, at least in part, to determine a map based, at least in part, on the output from the camera system, the map adapted to localize the user with respect to the environment. a processing unit configured for use by the unit;
with
A processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit calculating the metric to: or a device configured to obtain said metric by receiving said metric.
(Item 2)
The apparatus of item 1, wherein the processing unit is configured to determine the metric based on simultaneous visibility of points of interest associated with different camera positions.
(Item 3)
2. The apparatus of item 1, wherein the metric indicates a number of reference points available for locating the user with respect to the environment.
(Item 4)
2. The apparatus of item 1, wherein the metric indicates the likelihood of success in locating the user in one or more viewing directions.
(Item 5)
The apparatus of item 1, wherein the processing unit is configured to determine the metric based on the number of times a point of interest is detected from different camera positions.
(Item 6)
The apparatus of item 1, wherein the processing unit is configured to determine the metric without determining any convex hull.
(Item 7)
2. The apparatus of item 1, wherein the metric has a value based on directivity.
(Item 8)
The metric is for one of a plurality of cells, each cell representing a three-dimensional space of a portion of the environment, and the metric is a position within one of the plurality of cells. A device according to item 1, having a value based on
(Item 9)
2. The apparatus of item 1, wherein the metric is for one of a plurality of cells, each cell representing a three-dimensional space of a portion of the environment.
(Item 10)
The camera system is configured to acquire a plurality of images, the processing unit comprising:
identifying subsets of the images that belong to the same range of viewing directions;
determining individual scores for images in the subset of images;
summing the scores to obtain a total score;
10. The apparatus of item 9, configured to determine the metric for one of the plurality of cells by:
(Item 11)
11. The apparatus of item 10, wherein the processing unit is also configured to determine an average score by dividing the total score by the number of images in the subset of images.
(Item 12)
11. The apparatus of item 10, wherein the processing unit is configured to determine the individual score by accessing a simultaneous visibility graph associating reference points with the plurality of images.
(Item 13)
13. The apparatus of item 12, wherein the simultaneous visibility graph indicates which of the reference points are visible among those in the plurality of images.
(Item 14)
11. The method of item 10, wherein the processing unit is configured to determine each of the individual scores by determining a number of fiducial points detected in a corresponding one of the images in the subset of images. device.
(Item 15)
The apparatus of item 1, wherein the processing unit is also configured to determine an area score indicative of coverage by the map.
(Item 16)
The processing unit is
acquiring a plurality of images from the camera system;
determining simultaneous visibility values, each of said simultaneous visibility values indicating the number of fiducial points detected within a corresponding one of said plurality of images;
Apparatus according to item 1, configured to determine said metric by:
(Item 17)
Apparatus according to item 1, wherein the processing unit is configured to determine a desired viewing direction of the camera system for improving the value of the metric.
(Item 18)
The processing unit is configured to generate the graphic based on the determined desired viewing direction, the graphic instructing the user to change the current viewing direction of the camera system to the desired viewing direction. 18. Apparatus according to item 17, configured to command to change.
(Item 19)
19. The apparatus of item 18, wherein the processing unit is configured to update the metric after the desired viewing direction is achieved.
(Item 20)
The processing unit performs sanitization if the data is used to determine the map, and otherwise removes data that would provide an undesirable contribution to the map, or The apparatus of item 1, configured not to consider.
(Item 21)
The data includes images from the camera system, and the processing unit (1) removes or does not consider the images, (2) does not consider identifying fiducials within the images, and /or (3) The apparatus of item 20, configured to perform the sanitization by not considering light rays or lines associated with the image.
(Item 22)
The processing unit is configured to perform bundle adjustment and adjust one or more rays associated with one or more images from the camera system; the processing unit performs the sanitization; 21. Apparatus according to item 20, configured to perform said bundle adjustment after removing data.
(Item 23)
The apparatus of item 1, wherein the processing unit is configured to perform optimization based on images from the camera system, 3D reference points, and relative orientations between cameras of the camera system.
(Item 24)
Apparatus according to item 1, wherein the processing unit is configured to determine a score for images acquired from the camera system.
(Item 25)
25. Apparatus according to item 24, wherein the score indicates the degree to which the image is constrained.
(Item 26)
25. The apparatus of item 24, wherein the processing unit is configured to determine the score based on the Jacobian of reference point measurements.
(Item 27)
the processing unit is configured to perform data sanitization based on the score;
the processing unit is configured to remove constraints on the image or to remove the image when performing the data sanitization;
25. Apparatus according to item 24.
(Item 28)
The processing unit is
determining a plurality of map segments;
connecting the map segments;
A device according to item 1, configured to determine said map by:
(Item 29)
The processing unit is configured to determine a first map segment of the map segments by obtaining images from the camera system and linking the images, the images generated in sequence by the camera system. 29. Apparatus according to item 28, wherein:
(Item 30)
The processing unit is
acquiring additional images from the camera system;
determining a score for the additional image;
initiating a second of the map segments in response to scores of additional images from the camera system meeting criteria;
30. Apparatus according to item 29, configured to perform
(Item 31)
31. The method of claim 30, wherein the processing unit is configured to initiate the second map segment when the score indicates that the image with a degree of constraint on the first map segment is below a threshold. device.
(Item 32)
A method performed by a device configured to be worn on the head of a user, the device viewing a screen configured to present graphics to the user and an environment in which the user is located. and a processing unit, the method comprising:
obtaining, by the processing unit, an output from the camera system;
determining, by the processing unit, a map based, at least in part, on output from the camera system, the map adapted to localize the user with respect to the environment; configured for use by
Obtaining, by the processing unit, a metric indicative of the likelihood of success in locating the user using the map, the act of obtaining calculating, by the processing unit, the metric. or receiving said metric;
A method, including
Claims (32)
グラフィックを前記ユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の前記処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成される、装置。 A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to the user;
a camera system configured to view an environment in which the user is located;
A processing unit configured to determine a map based at least in part on the output from the camera system, the map adapted to localize the user with respect to the environment. a processing unit configured for use by the unit;
The processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit by calculating the metric or an apparatus configured to obtain said metric by receiving said metric.
グラフィックを前記ユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の前記処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成され、
前記メトリックは、複数のセルのうちの１つに関するものであり、前記セルはそれぞれ、前記環境の一部の３次元空間を表す、装置。 A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to the user;
a camera system configured to view an environment in which the user is located;
a processing unit configured to determine a map based, at least in part, on output from the camera system, the map to localize the user with respect to the environment; a processing unit configured for use by
with
The processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit by calculating the metric , or configured to obtain said metric by receiving said metric,
The apparatus of claim 1, wherein the metric is for one of a plurality of cells, each cell representing a three-dimensional space of a portion of the environment.
視認方向の同一範囲に属する前記画像のサブセットを識別することと、
前記画像のサブセット内の画像に関する個別のスコアを決定することと、
前記スコアを総和し、総スコアを取得することと
によって、前記複数のセルのうちの１つに関する前記メトリックを決定するように構成される、請求項１７に記載の装置。 The camera system is configured to acquire a plurality of images, the processing unit comprising:
identifying subsets of the images that belong to the same range of viewing directions;
determining individual scores for images in the subset of images;
18. The apparatus of claim 17 , configured to determine the metric for one of the plurality of cells by: summing the scores to obtain a total score.
グラフィックを前記ユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の前記処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成され、
前記処理ユニットは、
複数の画像を前記カメラシステムから取得することと、
同時可視性値を決定することであって、前記同時可視性値はそれぞれ、前記複数の画像の対応するもの内で検出された基準点の数を示す、ことと
によって、前記メトリックを決定するように構成される、装置。 A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to the user;
a camera system configured to view an environment in which the user is located;
a processing unit configured to determine a map based, at least in part, on output from the camera system, the map to localize the user with respect to the environment; a processing unit configured for use by
with
The processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit by calculating the metric , or configured to obtain said metric by receiving said metric,
The processing unit is
acquiring a plurality of images from the camera system;
determining the metric by A device configured to:
グラフィックを前記ユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の前記処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成され、
前記処理ユニットは、データが前記マップを決定するために使用される場合、サニタイゼーションを実施し、そうでなければ前記マップに関して望ましくない寄与を提供するであろう前記データを除去するかまたは考慮しないように構成される、装置。 A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to the user;
a camera system configured to view an environment in which the user is located;
a processing unit configured to determine a map based, at least in part, on output from the camera system, the map adapted to localize the user with respect to the environment; a processing unit configured for use by
with
The processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit by calculating the metric , or configured to obtain said metric by receiving said metric,
The processing unit performs sanitization when data is used to determine the map, and removes or does not consider the data that would otherwise provide an undesirable contribution to the map. A device configured to .
グラフィックを前記ユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の前記処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成され、
前記処理ユニットは、前記カメラシステムから取得される画像に関するスコアを決定するように構成され、
前記処理ユニットは、前記スコアに基づいて、データサニタイゼーションを実施するように構成され、
前記処理ユニットは、前記データサニタイゼーションを実施するとき、前記画像の制約を除去する、または前記画像を除去するように構成される、装置。 A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to the user;
a camera system configured to view an environment in which the user is located;
a processing unit configured to determine a map based, at least in part, on output from the camera system, the map to localize the user with respect to the environment; a processing unit configured for use by
with
The processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit by calculating the metric , or configured to obtain said metric by receiving said metric,
the processing unit is configured to determine a score for images acquired from the camera system;
the processing unit is configured to perform data sanitization based on the score;
The apparatus of claim 1, wherein the processing unit is configured to deconstrain or remove the image when performing the data sanitization.
グラフィックを前記ユーザに提示するように構成される画面と、
前記ユーザが位置する環境を視認するように構成されるカメラシステムと、
前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定するように構成される処理ユニットであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、処理ユニットと
を備え、
前記装置の前記処理ユニットはまた、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得するように構成され、前記処理ユニットは、前記メトリックを算出することによって、または前記メトリックを受信することによって、前記メトリックを取得するように構成され、
前記処理ユニットは、
複数のマップセグメントを決定することと、
前記マップセグメントを接続することと
によって、前記マップを決定するように構成される、装置。 A device configured to be worn on a user's head, comprising:
a screen configured to present graphics to the user;
a camera system configured to view an environment in which the user is located;
a processing unit configured to determine a map based, at least in part, on output from the camera system, the map adapted to localize the user with respect to the environment; a processing unit configured for use by
with
The processing unit of the device is also configured to obtain a metric indicative of the likelihood of success in locating the user using the map, the processing unit by calculating the metric , or configured to obtain said metric by receiving said metric,
The processing unit is
determining a plurality of map segments;
An apparatus configured to determine said map by connecting said map segments.
付加的画像を前記カメラシステムから取得することと、
前記付加的画像に関するスコアを決定することと、
前記カメラシステムからの前記付加的画像のスコアが基準を満たすことに応答して、前記マップセグメントの第２のマップセグメントを開始することと
を行うように構成される、請求項２９に記載の装置。 The processing unit is
acquiring additional images from the camera system;
determining a score for the additional image;
30. The apparatus of claim 29, configured to: initiate a second of the map segments in response to scores of the additional images from the camera system meeting criteria. .
前記処理ユニットによって、前記カメラシステムからの出力を取得することと、
前記処理ユニットによって、前記カメラシステムからの出力に少なくとも部分的に基づいて、マップを決定することであって、前記マップは、前記環境に対して前記ユーザを位置特定するために、前記処理ユニットによる使用のために構成される、ことと、
前記処理ユニットによって、前記マップを使用して前記ユーザを位置特定することの成功の可能性を示すメトリックを取得することであって、前記取得する行為は、前記処理ユニットによって、前記メトリックを算出することまたは前記メトリックを受信することを含む、ことと
を含む、方法。
A method performed by a device configured to be worn on the head of a user, the device displaying a screen configured to present graphics to the user and an environment in which the user is located. Having a camera system configured to view and a processing unit, the method comprises:
obtaining, by the processing unit, an output from the camera system;
determining, by the processing unit, a map based at least in part on output from the camera system, the map being used by the processing unit to locate the user with respect to the environment; configured for use; and
Obtaining, by the processing unit, a metric indicative of the likelihood of success in locating the user using the map, the act of obtaining calculating, by the processing unit, the metric. or receiving said metric.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023110450A JP2023126303A (en) | 2018-07-24 | 2023-07-05 | Method and apparatus for determining and/or evaluating localizing map of image display device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862702829P | 2018-07-24 | 2018-07-24 | |
| US62/702,829 | 2018-07-24 | ||
| PCT/US2019/043154 WO2020023582A1 (en) | 2018-07-24 | 2019-07-24 | Methods and apparatuses for determining and/or evaluating localizing maps of image display devices |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023110450A Division JP2023126303A (en) | 2018-07-24 | 2023-07-05 | Method and apparatus for determining and/or evaluating localizing map of image display device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021530817A JP2021530817A (en) | 2021-11-11 |
| JPWO2020023582A5 true JPWO2020023582A5 (en) | 2022-07-29 |
| JP7309849B2 JP7309849B2 (en) | 2023-07-18 |
Family
ID=69178530
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021503757A Active JP7309849B2 (en) | 2018-07-24 | 2019-07-24 | Method and Apparatus for Determining and/or Evaluating Localization Maps of Image Display Devices |
| JP2023110450A Pending JP2023126303A (en) | 2018-07-24 | 2023-07-05 | Method and apparatus for determining and/or evaluating localizing map of image display device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023110450A Pending JP2023126303A (en) | 2018-07-24 | 2023-07-05 | Method and apparatus for determining and/or evaluating localizing map of image display device |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US11182614B2 (en) |
| EP (1) | EP3827302A4 (en) |
| JP (2) | JP7309849B2 (en) |
| CN (2) | CN112639664B (en) |
| WO (1) | WO2020023582A1 (en) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3339807B1 (en) * | 2016-12-20 | 2024-03-13 | HERE Global B.V. | An apparatus and associated methods for determining the location of a vehicle |
| JP6484603B2 (en) * | 2016-12-26 | 2019-03-13 | 新日鉄住金ソリューションズ株式会社 | Information processing apparatus, system, information processing method, and program |
| CN112639664B (en) | 2018-07-24 | 2023-03-24 | 奇跃公司 | Method and device for determining and/or evaluating a positioning map of an image display device |
| WO2020036898A1 (en) | 2018-08-13 | 2020-02-20 | Magic Leap, Inc. | A cross reality system |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| EP3857291A4 (en) | 2018-09-25 | 2021-11-24 | Magic Leap, Inc. | Systems and methods for augmented reality |
| WO2020072985A1 (en) | 2018-10-05 | 2020-04-09 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
| JP2022551735A (en) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | Cross-reality system using wireless fingerprints |
| JP2022551733A (en) | 2019-10-15 | 2022-12-13 | マジック リープ， インコーポレイテッド | Cross-reality system with localization service |
| WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
| EP4052086A4 (en) * | 2019-10-31 | 2023-11-15 | Magic Leap, Inc. | Cross reality system with quality information about persistent coordinate frames |
| EP4059007A4 (en) | 2019-11-12 | 2023-11-01 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
| EP4062380A4 (en) * | 2019-11-18 | 2023-11-29 | Magic Leap, Inc. | Mapping and localization of a passable world |
| WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
| WO2021163300A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
| JP2023514205A (en) | 2020-02-13 | 2023-04-05 | マジック リープ， インコーポレイテッド | Cross-reality system with accurate shared maps |
| CN115151947B (en) * | 2020-02-20 | 2024-03-19 | 奇跃公司 | Cross-reality system with WIFI/GPS-based map merging |
| EP4111425A4 (en) | 2020-02-26 | 2024-03-13 | Magic Leap Inc | Cross reality system with fast localization |
| US11501489B2 (en) | 2020-02-27 | 2022-11-15 | Magic Leap, Inc. | Cross reality system for large scale environment reconstruction |
| EP4115329A4 (en) | 2020-03-03 | 2024-04-24 | Magic Leap Inc | Efficient localization based on multiple feature types |
| US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
Family Cites Families (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1040861A (en) | 1909-01-13 | 1912-10-08 | John Parkinson Bland | Apparatus for preparing stereotype-matrices. |
| US1026246A (en) | 1910-05-07 | 1912-05-14 | Addressograph Co | Printing device. |
| US6549203B2 (en) * | 1999-03-12 | 2003-04-15 | Terminal Reality, Inc. | Lighting and shadowing methods and arrangements for use in computer graphic simulations |
| US20030169334A1 (en) * | 2001-08-06 | 2003-09-11 | Michael Braithwaite | Iris capture device having expanded capture volume |
| US20050088435A1 (en) * | 2003-10-23 | 2005-04-28 | Z. Jason Geng | Novel 3D ear camera for making custom-fit hearing devices for hearing aids instruments and cell phones |
| US7542034B2 (en) * | 2004-09-23 | 2009-06-02 | Conversion Works, Inc. | System and method for processing video images |
| JP5403861B2 (en) | 2006-11-06 | 2014-01-29 | キヤノン株式会社 | Information processing apparatus and information processing method |
| US20080167807A1 (en) * | 2007-01-09 | 2008-07-10 | Jien-Yang Chang | Navigation system with immediate language transform and method thereof |
| US8065429B2 (en) * | 2007-06-28 | 2011-11-22 | Nokia Corporation | System, apparatus and method for associating an anticipated success indication with data delivery |
| US8379021B1 (en) * | 2008-01-30 | 2013-02-19 | Adobe Systems Incorporated | System and methods for rendering height-field images with hard and soft shadows |
| JP2009237846A (en) | 2008-03-27 | 2009-10-15 | Sony Corp | Information processor, information processing method, and computer program |
| US20100026710A1 (en) * | 2008-07-29 | 2010-02-04 | Ati Technologies Ulc | Integration of External Input Into an Application |
| US8504322B2 (en) | 2008-12-01 | 2013-08-06 | Agilent Technologies, Inc. | Likelihood map system for localizing an emitter |
| US9098926B2 (en) * | 2009-02-06 | 2015-08-04 | The Hong Kong University Of Science And Technology | Generating three-dimensional façade models from images |
| US9147206B2 (en) * | 2009-08-31 | 2015-09-29 | Accenture Global Services Limited | Model optimization system using variable scoring |
| US8350758B1 (en) * | 2009-10-01 | 2013-01-08 | Lighthouse Signal Systems LLC | Systems and methods for indoor geolocation based on yield of RF signals |
| US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US20140063055A1 (en) * | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
| US20130314303A1 (en) * | 2010-02-28 | 2013-11-28 | Osterhout Group, Inc. | Ar glasses with user action control of and between internal and external applications with feedback |
| US9224050B2 (en) * | 2010-03-16 | 2015-12-29 | The University Of Sydney | Vehicle localization in open-pit mining using GPS and monocular camera |
| KR101782057B1 (en) * | 2010-05-03 | 2017-09-26 | 삼성전자주식회사 | Apparatus for building map and method thereof |
| US20120306850A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
| GB201116443D0 (en) * | 2011-09-23 | 2011-11-02 | Airbus Operations Ltd | Installation optimisation |
| JP2013225245A (en) | 2012-04-23 | 2013-10-31 | Sony Corp | Image processing device, image processing method, and program |
| GB2502622B (en) * | 2012-06-01 | 2015-04-29 | Sony Comp Entertainment Europe | Apparatus and method of augmenting video |
| US20150193977A1 (en) * | 2012-08-31 | 2015-07-09 | Google Inc. | Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces |
| ES2780575T3 (en) * | 2013-01-21 | 2020-08-26 | Vricon Systems Ab | A procedure and arrangement for providing a 3d model |
| US9472017B2 (en) * | 2013-01-29 | 2016-10-18 | Siemens Aktiengesellschaft | Fast rendering of curved reformation of a 3D tubular structure |
| AU2014248874B2 (en) | 2013-03-11 | 2019-07-11 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
| KR102227059B1 (en) | 2013-09-06 | 2021-03-15 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | Multilayer reflective polarizer |
| US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| CA2888943C (en) * | 2013-10-03 | 2015-08-18 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
| US20150145887A1 (en) * | 2013-11-25 | 2015-05-28 | Qualcomm Incorporated | Persistent head-mounted content display |
| CN107300769B (en) | 2013-11-27 | 2019-12-13 | 奇跃公司 | Virtual and augmented reality systems and methods |
| WO2015165071A1 (en) * | 2014-04-30 | 2015-11-05 | Google Inc. | Identifying entities to be investigated using storefront recognition |
| GB201409625D0 (en) * | 2014-05-30 | 2014-07-16 | Isis Innovation | Vehicle localisation |
| CN106663411A (en) * | 2014-11-16 | 2017-05-10 | 易欧耐特感知公司 | Systems and methods for augmented reality preparation, processing, and application |
| CN104537709B (en) * | 2014-12-15 | 2017-09-29 | 西北工业大学 | It is a kind of that method is determined based on the real-time three-dimensional reconstruction key frame that pose changes |
| WO2016095983A1 (en) * | 2014-12-17 | 2016-06-23 | Here Global B.V. | Providing constraint to a position |
| US9866815B2 (en) | 2015-01-05 | 2018-01-09 | Qualcomm Incorporated | 3D object segmentation |
| US9984283B2 (en) * | 2015-02-14 | 2018-05-29 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for automated detection of abnormalities in medical images |
| US10676303B2 (en) * | 2015-04-30 | 2020-06-09 | Krones Aktiengesellschaft | Method and apparatus for supplying, staging and for replacing rolls with flat material and/or film material wound thereonto |
| US10332265B1 (en) * | 2015-09-30 | 2019-06-25 | Hrl Laboratories, Llc | Robust recognition on degraded imagery by exploiting known image transformation under motion |
| EP3369034B1 (en) * | 2015-10-26 | 2023-07-05 | RealD Spark, LLC | Intelligent privacy system, apparatus, and method thereof |
| US10415978B2 (en) * | 2015-11-20 | 2019-09-17 | Samsung Electronics Co., Ltd. | Landmark location determination |
| DE102015120221A1 (en) * | 2015-11-23 | 2017-05-24 | Alfred Kärcher Gmbh & Co. Kg | Floor cleaning system and method for cleaning a floor surface |
| JP6688088B2 (en) | 2016-01-19 | 2020-04-28 | キヤノン株式会社 | Information processing apparatus and control method thereof |
| JPWO2017134886A1 (en) * | 2016-02-02 | 2018-11-22 | ソニー株式会社 | Information processing apparatus, information processing method, and recording medium |
| EP3217361B1 (en) * | 2016-03-11 | 2021-12-15 | Imagination Technologies Limited | Importance sampling for determining a light map |
| JP2017207818A (en) | 2016-05-16 | 2017-11-24 | キヤノン株式会社 | Image processing apparatus, image processing method and program |
| US10037626B2 (en) * | 2016-06-30 | 2018-07-31 | Microsoft Technology Licensing, Llc | Interaction with virtual objects based on determined restrictions |
| JP7054677B2 (en) | 2016-08-10 | 2022-04-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Camera work generation method and video processing equipment |
| US10902158B2 (en) * | 2017-11-16 | 2021-01-26 | International Business Machines Corporation | Daylight livability index from images |
| US10810754B2 (en) * | 2018-04-24 | 2020-10-20 | Ford Global Technologies, Llc | Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation |
| US10455351B1 (en) * | 2018-05-04 | 2019-10-22 | Microsoft Technology Licensing, Llc | Sharing geo-located information |
| US20190373413A1 (en) * | 2018-06-01 | 2019-12-05 | Apple Inc. | Feature-based slam with z-axis location |
| CN112639664B (en) | 2018-07-24 | 2023-03-24 | 奇跃公司 | Method and device for determining and/or evaluating a positioning map of an image display device |
-
2019
- 2019-07-24 CN CN201980049093.8A patent/CN112639664B/en active Active
- 2019-07-24 CN CN202310122842.3A patent/CN116088783A/en active Pending
- 2019-07-24 JP JP2021503757A patent/JP7309849B2/en active Active
- 2019-07-24 WO PCT/US2019/043154 patent/WO2020023582A1/en unknown
- 2019-07-24 US US16/520,582 patent/US11182614B2/en active Active
- 2019-07-24 EP EP19841887.3A patent/EP3827302A4/en active Pending
-
2021
- 2021-10-13 US US17/500,798 patent/US11687151B2/en active Active
-
2023
- 2023-05-09 US US18/314,289 patent/US20230273676A1/en active Pending
- 2023-07-05 JP JP2023110450A patent/JP2023126303A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2020023582A5 (en) | ||
| US11687151B2 (en) | Methods and apparatuses for determining and/or evaluating localizing maps of image display devices | |
| CN109561296B (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
| JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
| EP3113110B1 (en) | Image processing device and image processing method | |
| US20050058336A1 (en) | Measuring the location of objects arranged on a surface, using multi-camera photogrammetry | |
| EP3622481B1 (en) | Method and system for calibrating a velocimetry system | |
| EP2294555A1 (en) | Three dimensional mesh modeling | |
| WO2012081687A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2018113021A5 (en) | ||
| CN111388092A (en) | Positioning tracking piece, registration method, storage medium and electronic equipment | |
| JP5494427B2 (en) | Image processing program and image processing apparatus | |
| JP4283816B2 (en) | Three-dimensional environment information acquisition apparatus, three-dimensional environment information acquisition method, and recording medium storing a program realizing the method | |
| CN108053481B (en) | Method and device for generating three-dimensional point cloud normal vector and storage medium | |
| JP3919722B2 (en) | Skin shape measuring method and skin shape measuring apparatus | |
| CN110796699B (en) | Optimal view angle selection method and three-dimensional human skeleton detection method for multi-view camera system | |
| JP5448952B2 (en) | Same person determination device, same person determination method, and same person determination program | |
| US20220292707A1 (en) | Estimation device, learning device, control method and storage medium | |
| JP2020201823A (en) | Image processing device, image processing method, and program | |
| JP6762108B2 (en) | Target detection device, processing method, program | |
| JP4830585B2 (en) | Image processing apparatus and image processing method | |
| CN111829489B (en) | Visual positioning method and device | |
| JP6306903B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP6981340B2 (en) | Display control programs, devices, and methods | |
| JP2021152764A (en) | Information processing device, information processing method, and program |