JP7283506B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法、及び情報処理プログラム Download PDFInfo
- Publication number
- JP7283506B2 JP7283506B2 JP2021142651A JP2021142651A JP7283506B2 JP 7283506 B2 JP7283506 B2 JP 7283506B2 JP 2021142651 A JP2021142651 A JP 2021142651A JP 2021142651 A JP2021142651 A JP 2021142651A JP 7283506 B2 JP7283506 B2 JP 7283506B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- unit
- input
- real space
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 310
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000003384 imaging method Methods 0.000 claims description 138
- 238000005259 measurement Methods 0.000 claims description 68
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 107
- 238000000034 method Methods 0.000 description 92
- 238000004364 calculation method Methods 0.000 description 76
- 238000012545 processing Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 45
- 238000000691 measurement method Methods 0.000 description 36
- 238000012986 modification Methods 0.000 description 34
- 230000004048 modification Effects 0.000 description 34
- 210000001508 eye Anatomy 0.000 description 32
- 238000010586 diagram Methods 0.000 description 27
- 239000003550 marker Substances 0.000 description 27
- 238000004891 communication Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 210000005252 bulbus oculi Anatomy 0.000 description 14
- 230000004044 response Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 230000004270 retinal projection Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000009191 jumping Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
Description
このような物体認識の応用例の一つとして、拡張現実(AR:Augmented Reality)と呼ばれる技術が知られている。AR技術を利用することで、実空間の画像に撮像された実オブジェクトに対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツ(以降では、「仮想オブジェクト」とも称する)を重畳してユーザに提示することが可能となる。例えば、特許文献1には、AR技術の一例が開示されている。
1.はじめに
1.1.入出力装置の構成
1.2.自己位置推定の原理
2.第1の実施形態
2.1.測定方法
2.2.機能構成
2.3.処理
2.4.評価
3.第2の実施形態
3.1.測定方法
3.2.処理
3.3.評価
4.第3の実施形態
4.1.測定方法
4.2.機能構成
4.3.処理
4.4.評価
5.第4の実施形態
5.1.測定方法
5.2.機能構成
5.3.処理
5.4.評価
6.変形例
6.1.変形例1:曲線の長さの測定
6.2.変形例2:仮想オブジェクトの操作に基づく測定方法の一例
6.3.変形例3:複数の装置を連携させる場合の一例
7.適用例
8.ハードウェア構成例
9.むすび
<1.1.入出力装置の構成>
まず、図1を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明する。図1は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
第2撮像部203a及び203bと、操作部207と、メガネのフレームに相当する保持部291とを備える。保持部291は、入出力装置20がユーザの頭部に装着されたときに、出力部211と、第1撮像部201a及び201bと、第2撮像部203a及び203bと、操作部207とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図1には図示していないが、入出力装置20は、ユーザの音声を集音するための集音部を備えていてもよい。
り、没入型HMDは、画像を視聴しているユーザに対して没入感を与えることが可能となる。
次いで、入出力装置20が、実オブジェクトに対して仮想オブジェクトを重畳させる際に、実空間上における自身の位置及び姿勢を推定するための手法(即ち、自己位置推定)の原理の一例について説明する。
いては、当該マーカが提示された実オブジェクト)に対する自身の位置及び姿勢を推定することが可能となる。
続いて、本開示の第1の実施形態に係る情報処理システムの一例について説明する。本実施形態に係る情報処理システムは、前述したARや自己位置推定(SLAM等)の技術を応用することで、入出力装置20を介した操作に基づき、実空間上の複数の位置間の距離の測定を可能とする。そこで、以降では、本実施形態に係る情報処理システムについて、当該システムを利用した距離の測定方法、当該システムの構成、及び当該システムの処理についてそれぞれ説明する。
まず、図2及び図3を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図2は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図2では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
に基づき、当該開始点と当該終点との間の距離を測定(算出)し、測定結果を示す表示情報V17を、入出力装置20(例えば、表示部211)を介してユーザに提示する。例えば、図3は、距離の測定結果に応じて提示される表示情報の一例を示している。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置20を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。
続いて、図4を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図4は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。
してもよい。
施すことで、画像中に撮像された眼球が向いている方向を認識する。視線検出部105は、画像中に撮像された眼球が向いている方向の認識結果と、当該眼球と第2撮像部203との間の位置関係と、に基づき、実空間上において当該眼球が向いている方向、即ち、視線方向を検出する。なお、眼球と第2撮像部203との間の位置関係については、想定される入出力装置20の装着状態に基づきあらかじめ認識または推定することが可能であることは言うまでもない。また、このとき検出される視線方向は、入出力装置20の位置及び姿勢を基準として相対的な方向に相当する。そして、視線検出部105は、視線方向の検出結果を示す視線情報を、注視点検出部107に出力する。
報に基づき、注視点の実空間上における3次元的な位置を、入出力装置20の位置及び姿勢を基準とした相対的な位置として認識する。また、基準点推定部111は、実空間上における入出力装置20の位置及び姿勢については、位置姿勢推定部103から取得した情報に基づき認識する。これにより、基準点推定部111は、注視点の実空間上における3次元的な位置を、例えば、絶対位置として推定することが可能となる。
する。これにより、出力制御部115は、実空間上における入出力装置20と認識された実オブジェクトとの間の位置関係を推定することが可能となる。
での距離(深度)を含めた画像(所謂距離画像)を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離(深度)を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成(例えば、単眼カメラ、ステレオカメラ等)を変更してもよい。
続いて、図5を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10の処理に着目して説明する。図5は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。
な位置を、開始点として登録する(S113)。開始点の登録後は、情報処理装置10(距離算出部113)は、登録された開始点から現在の注視点までの距離を算出する(S115)。
以上、説明したように、本実施形態に係る情報処理システムにおいては、ユーザは、入出力装置20を装着したうえで、視線により実空間上における距離の測定の開始点及び終点を指定する。このとき、情報処理装置10は、入出力装置20により互いに異なる複数の視点から撮像された各画像と、各視点における当該入出力装置20の位置及び姿勢の推定結果とに基づき、開始点や終点等の基準点の実空間上における位置を推定する。また、情報処理装置10は、開始点及び終点それぞれの実空間上における位置の推定結果に基づき、当該開始点と当該終点との間の距離を算出(測定)する。そして、情報処理装置10は、開始点と終点との間の距離の算出結果に基づく表示情報を、入出力装置20を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置20を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。
して、開始点と経由点との間の距離と、当該経由点と新たに登録された終点との間の距離とを算出してもよい。また、経由点の数は1つに限らず、複数登録できてもよい。これは、後述する他の実施形態や変形例に係る情報処理システムについても同様である。
続いて、本開示の第2の実施形態に係る情報処理システムの一例について説明する。
まず、図6を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図6は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図6では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
当該開始点と当該終点との間の距離を測定(算出)し、測定結果に応じて各種表示情報を、入出力装置20を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置20を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。
次いで、図7~図9を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10の処理に着目して説明する。図7~図9は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。なお、本実施形態に係る情報処理システムは、基本的な機能構成は、前述した第1の実施形態に係るシステム(図4参照)と同様であるが、一部の構成における処理が異なる。そこで、本説明では、本実施形態に係る情報処理システムの特徴について、特に、前述した第1の実施形態に係る情報処理システムと異なる処理に着目して、より詳しく説明する。
以上、説明したように、本実施形態に係る情報処理システムにおいては、情報処理装置10は、入出力装置20を装着したユーザの視線を検出し、当該視線の検出結果に基づき、開始点や終点等のような基準点を指定するための仮想オブジェクトV19を、入出力装置20を介してユーザに提示する。ユーザは、自身の視線の検出結果に応じて提示された仮想オブジェクトV19の方向や長さを、入出力装置20を介した操作に基づき調整することで、実空間上における距離の測定の開始点及び終点を指定する。情報処理装置10は、方向や長さが調整された仮想オブジェクトV19が指し示す実空間上の位置に応じて開始点及び終点の3次元的な位置を認識し、当該開始点と当該終点との間の距離を算出(測定)する。そして、情報処理装置10は、開始点と終点との間の距離の算出結果に基づく表示情報を、入出力装置20を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置20を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。
続いて、本開示の第3の実施形態に係る情報処理システムの一例について説明する。
まず、図10及び図11を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図10及び図11は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図10及び図11では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
即ち、システムは、登録された開始点及び終点それぞれの3次元的な位置に基づき、当該開始点と当該終点との間の距離を測定(算出)し、測定結果に応じて各種表示情報を、入出力装置20を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、入出力装置20を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。
続いて、図12を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図12は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。なお、本説明においては、図11に示すように、端末装置30を用いて実空間上の距離を測定する場合に着目して、本実施形態に係る情報処理システムの機能構成について説明する。
結果に基づき、開始点や終点等のような基準点の実空間上の位置を推定する。
続いて、図13を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置40の処理に着目して説明する。図13は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。
以上、説明したように、本実施形態に係る情報処理システムにおいては、ユーザは、例えば、所望の実空間上の位置に端末装置30を接触または近接させ、当該端末装置30に
対して所定の操作を行うことで、実空間上における距離の測定の開始点及び終点を指定する。このとき、情報処理装置40は、例えば、推定した端末装置30の実空間上の位置を、開始点や終点等の基準点の位置として認識する。また、情報処理装置40は、開始点及び終点それぞれの実空間上における位置の認識結果に基づき、当該開始点と当該終点との間の距離を算出(測定)する。そして、情報処理装置40は、開始点と終点との間の距離の算出結果に基づく表示情報を、端末装置30を介してユーザに提示する。このような構成により、ユーザは、実際に物差しや巻尺等の道具を使用して距離の測定を行わずとも、端末装置30を使用したより簡便な操作により、実空間上における距離の測定を行うことが可能となる。
続いて、本開示の第4の実施形態に係る情報処理システムの一例について説明する。
まず、図14を参照して、本実施形態に係る情報処理システムを利用した、実空間上における距離の測定方法の一例について説明する。例えば、図14は、本実施形態に係る情報処理システムの概要について説明するための説明図であり、実空間上における距離の測定方法の一例について示している。なお、図14では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
ることで、提示された仮想オブジェクトV43により、開始点として登録する実空間上の位置を指し示し、端末装置30または入出力装置20に対して、開始点の登録に係る所定の操作を行う。この操作を受けて、システムは、仮想オブジェクトV43により指定された実空間上の位置を開始点として登録する。例えば、図14に示す例では、システムは、矢印状の仮想オブジェクトV43が指し示す実空間上の位置を開始点として登録する。
続いて、図15を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図15は、本実施形態に係る情報処理システムの機能構成の一例について示したブロック図である。
装置50は、深度検出部501と、位置姿勢推定部503と、物体認識部505と、トリガ検出部507と、基準点推定部509と、距離算出部511と、出力制御部513とを含む。なお、深度検出部501及び位置姿勢推定部503は、前述した第1及び第2の実施形態に係る情報処理装置10(図4参照)における深度検出部501及び位置姿勢推定部503に相当する。
に、入出力装置20の位置及び姿勢の推定結果と、端末装置30の位置及び姿勢の認識結果と、に基づき、開始点や終点等のような基準点の実空間上の位置を推定する。
な説明は省略する。
続いて、図16を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置50の処理に着目して説明する。図16は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。
ある。
以上、説明したように、本実施形態に係る情報処理システムにおいて、情報処理装置50は、入出力装置20に設けられた撮像部により撮像された画像に基づき、端末装置30等のような物体を認識する。そして、情報処理装置50は、当該認識結果に応じて、認識した物体に対して、開始点や終点等のような基準点を指定するための仮想オブジェクトV43が重畳するように、入出力装置20を介して当該仮想オブジェクトV43をユーザに提示する。このような構成のもと、ユーザは、入出力装置20を介して仮想オブジェクトV43を確認しながら、端末装置30の位置や向きを変えることで、当該仮想オブジェクトV43により、開始点及び終点として登録する実空間上の位置を指定する。このとき、情報処理装置50は、例えば、仮想オブジェクトV43により指定された実空間上の位置を、端末装置30の位置及び姿勢の認識結果に基づき推定し、推定した当該位置を、開始点や終点等の基準点の位置として登録する。
続いて、本開示の一実施形態に係る情報処理システムの変形例について説明する。
まず、変形例1に係る情報処理システムについて説明する。前述した各実施形態では、開始点や終点等の基準点を指定することで、複数の基準点間の距離(即ち、直線距離)を測定する場合の例について説明した。一方で、変形例1に係る情報処理システムでは、直線距離に限らず、曲面の表面上の距離等のような曲線の長さを測定可能に構成されている。例えば、図17は、変形例1に係る情報処理システムの概要について説明するための説明図である。なお、図17では、変形例1に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
次いで、変形例2に係る情報処理システムについて説明する。前述した各実施形態や変形例では、入出力装置20や端末装置30を介した指定された複数の基準点間の距離や、指定された軌跡に沿った距離を測定していた。これに対して、変形例2では、前述した各実施形態や変形例とは異なる手順に基づき、実空間上の距離を測定する手順や、当該手順を実現するための制御の一例について説明する。例えば、図18は、変形例2に係る情報処理システムの概要について説明するための説明図である。なお、図18では、変形例2に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
次いで、変形例3に係る情報処理システムについて説明する。変形例3では、入出力装置20や端末装置30等のような装置を複数台連携させることで、実空間上においてより離間した複数の位置の間の距離を測定する場合の構成や制御の一例について説明する。例えば、図19は、変形例3に係る情報処理システムの概要について説明するための説明図
である。なお、図19では、変形例3に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。
続いて、本開示の各実施形態に係る情報処理システムの適用例について説明する。
前述したように、各実施形態や各変形例として説明した各測定方法は、使用する装置や手順が異なる。そのため、システムが、例えば、上述した各測定方法のうち少なくとも一部を、状況に応じて選択的に利用可能に構成されていてもよい。
また、開始点や終点等の基準点の設定方法は、上述した各測定手順で示した例に限定されず、状況に応じて適宜切り替えられてもよい。具体的な一例として、顔認識、手認識、及び足認識等のような、画像解析に基づく所謂物体認識を利用することで、基準点が自動で登録されてもよい。
また、実空間上における距離の測定結果を、各種情報の提示に利用してもよい。例えば、図20及び図21は、実空間上における距離の測定結果を利用した各種情報の提示方法の一例について説明するための説明図であり、キャンプ時に、距離の測定結果に応じて、テント等の設置イメージを提示する場合の一例を示している。
ーツケース内の寸法の測定結果を利用することで、スーツケース内に収納する物の収納イメージを提示することも可能である。また、他の一例として、腕や足のような部位のサイズの測定結果を利用することで、服を着用した場合のイメージを提示してもよい。
また、上記では、距離等のような1次元のサイズの測定について説明したが、面積のような2次元的なサイズの測定や、体積のような3次元的なサイズの測定を行うことも可能である。
次に、図24を参照して、本開示の一実施形態にかかる情報処理装置10、40、及び50、入出力装置20、並びに端末装置30のような所謂情報処理装置のハードウェア構成の一例について説明する。なお、本説明では、情報処理装置10に着目して説明する。例えば、図24は、本開示の一実施形態にかかる情報処理装置10のハードウェア構成例
を示すブロック図である。
用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
所定の撮像部により撮像された画像と、当該撮像部の位置及び向きのうち少なくともいずれかに基づく位置情報とを取得する取得部と、
第1の視点及び第2の視点それぞれにおいて撮像された前記画像である第1の画像及び第2の画像と、前記第1の視点及び前記第2の視点それぞれの前記位置情報である第1の位置情報及び第2の位置情報と、に基づき、実空間上における第1の位置及び第2の位置を推定する推定部と、
前記推定結果に基づき、前記第1の位置と前記第2の位置との間の距離を測定する測定部と、
を備える、情報処理装置。
(2)
ユーザの視線を検出する検出部を備え、
前記推定部は、
前記第1の視点における前記視線の検出結果と、前記第1の画像と、前記第1の位置情報と、に基づき、前記第1の位置を推定し、
前記第2の視点における前記視線の検出結果と、前記第2の画像と、前記第2の位置情報と、に基づき、前記第2の位置を推定する、
前記(1)に記載の情報処理装置。
(3)
前記推定部は、
前記第1の位置を、前記第1の視点からの前記視線による指定に基づき推定し、
前記第2の位置を、前記第2の視点からの前記視線による指定に基づき推定する、
前記(2)に記載の情報処理装置。
(4)
前記視線の検出結果に応じて、仮想オブジェクトを所定の表示部に表示させる表示制御部を備え、
前記推定部は、
前記第1の位置を、前記第1の視点からの視線に応じて表示された前記仮想オブジェクトによる指定に基づき推定し、
前記第2の位置を、前記第2の視点からの視線に応じて表示された前記仮想オブジェクトによる指定に基づき推定する、
前記(2)に記載の情報処理装置。
(5)
前記推定部は、前記第1の位置及び前記第2の位置のうち少なくともいずれかを、所定の検知部による実空間上の実オブジェクトへの接触または近接の検知結果に応じた指定に基づき推定する、前記(1)に記載の情報処理装置。
(6)
実空間上の実オブジェクトの認識結果に応じて、仮想オブジェクトを所定の表示部に表示させる表示制御部を備え、
前記推定部は、前記第1の位置及び前記第2の位置のうち少なくともいずれかを、前記仮想オブジェクトによる指定に基づき推定する、
前記(1)に記載の情報処理装置。
(7)
前記推定部は、前記第1の位置及び前記第2の位置のうち少なくともいずれかを、実空間上における物体の認識結果に応じた指定に基づき推定する、前記(1)に記載の情報処理装置。
(8)
前記距離の測定結果に基づき所定の表示部に表示情報を表示させる表示制御部を備える、前記(1)に記載の情報処理装置。
(9)
前記表示制御部は、前記距離の測定結果を示す前記表示情報を表示させる、前記(8)に記載の情報処理装置。
(10)
前記表示制御部は、前記距離の測定結果に基づき、実空間上の尺度を示す前記表示情報を表示させる、前記(8)または(9)に記載の情報処理装置。
(11)
前記表示制御部は、前記距離の測定結果に応じたサイズで前記表示情報を表示させる、前記(8)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記測定部は、前記第1の位置と前記第2の位置との間に指定された第3の位置を経由する、当該第1の位置と当該第2の位置との間の経路の距離を推定する、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
前記測定部は、前記第1の位置と前記第2の位置との間に指定された軌跡の長さを前記距離として測定する、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(14)
前記取得部は、前記第1の画像及び前記第1の位置情報と、前記第2の画像及び前記第2の位置情報とを、互いに異なる外部装置から取得する、前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
所定の撮像部により撮像された画像と、当該撮像部の位置及び向きのうち少なくともいずれかに基づく位置情報とを取得することと、
プロセッサが、
第1の視点及び第2の視点それぞれにおいて撮像された前記画像である第1の画像及び第2の画像と、前記第1の視点及び前記第2の視点それぞれの前記位置情報である第1の位置情報及び第2の位置情報と、に基づき、実空間上における第1の位置及び第2の位置を推定することと、
前記推定結果に基づき、前記第1の位置と前記第2の位置との間の距離を測定することと、
を含む、情報処理方法。
(16)
コンピュータに、
所定の撮像部により撮像された画像と、当該撮像部の位置及び向きのうち少なくともいずれかに基づく位置情報とを取得することと、
第1の視点及び第2の視点それぞれにおいて撮像された前記画像である第1の画像及び第2の画像と、前記第1の視点及び前記第2の視点それぞれの前記位置情報である第1の位置情報及び第2の位置情報と、に基づき、実空間上における第1の位置及び第2の位置を推定することと、
前記推定結果に基づき、前記第1の位置と前記第2の位置との間の距離を測定することと、
を実行させるプログラムが記録された記録媒体。
10 情報処理装置
101 深度検出部
103 位置姿勢推定部
105 視線検出部
107 注視点検出部
109 トリガ検出部
111 基準点推定部
113 距離算出部
115 出力制御部
20 入出力装置
201 第1撮像部
203 第2撮像部
205 入力部
207 操作部
209 集音部
30 端末装置
301 撮像部
303 入力部
305 出力部
40 情報処理装置
401 深度検出部
403 位置姿勢推定部
405 トリガ検出部
407 基準点推定部
409 距離算出部
411 出力制御部
50 情報処理装置
501 深度検出部
503 位置姿勢推定部
505 物体認識部
507 トリガ検出部
509 基準点推定部
511 距離算出部
513 出力制御部
Claims (15)
- 撮像部に撮像された画像と、前記撮像部の位置情報とを取得する取得部と、
ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における前記撮像部が向けられた第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における前記撮像部が向けられた第二の位置を推定する推定部と、
前記第一の位置と前記第二の位置の間の距離を測定する測定部と、
前記測定部の測定結果を含む表示情報を表示する制御を行う出力制御部と、
を備える情報処理装置。 - 前記推定部は、
前記第二の画像の解析結果に基づいて物体認識を行う
請求項1に記載の情報処理装置。 - 物体認識における物体は、
人体の少なくとも一部である
請求項1または2に記載の情報処理装置。 - 前記物体は、
顔、手、足の少なくともいずれかを含む
請求項3に記載の情報処理装置。 - 推定された前記第二の位置は、
前記測定部における前記距離の測定位置の対象として自動的に登録される
請求項1~4のいずれか1つに記載の情報処理装置。 - 前記出力制御部は、
前記測定部の測定結果を逐次出力して表示制御を行う
請求項1~5のいずれか1つに記載の情報処理装置。 - 前記出力制御部は、
前記第一の位置と前記第二の位置とに、仮想オブジェクトが重畳するように表示制御を行う
請求項1~6のいずれか1つに記載の情報処理装置。 - 撮像部に撮像された画像と、前記撮像部の位置情報とを取得することと、
ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における前記撮像部が向けられた第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における前記撮像部が向けられた第二の位置を推定することと、
前記第一の位置と前記第二の位置の間の距離を測定することと、
前記距離の測定結果を含む表示情報を表示する制御を行うことと、
を含む情報処理方法。 - 前記第二の画像の解析結果に基づいて物体認識を行う
請求項8に記載の情報処理方法。 - 物体認識における物体は、
人体の少なくとも一部である
請求項8または9に記載の情報処理方法。 - 前記物体は、
顔、手、足の少なくともいずれかを含む
請求項10に記載の情報処理方法。 - 推定された前記第二の位置は、
前記距離の測定位置の対象として自動的に登録される
請求項8~11のいずれか1つに記載の情報処理方法。 - 前記距離の測定結果を逐次出力して表示制御を行う
請求項8~12のいずれか1つに記載の情報処理方法。 - 前記第一の位置と前記第二の位置とに、仮想オブジェクトが重畳するように表示制御を行う
請求項8~13のいずれか1つに記載の情報処理方法。 - コンピュータに、
撮像部に撮像された画像と、前記撮像部の位置情報とを取得することと、
ユーザによる前記撮像部の移動前に第一の視点で前記撮像部に撮像された第一の画像と、前記第一の視点の位置情報とに基づいて、実空間上における前記撮像部が向けられた第一の位置を推定し、前記撮像部の移動後に第二の視点で前記撮像部に撮像された第二の画像と、前記第二の視点の位置情報と、物体認識結果に基づいて、前記実空間上における前記撮像部が向けられた第二の位置を推定することと、
前記第一の位置と前記第二の位置の間の距離を測定することと、
前記距離の測定結果を含む表示情報を表示する制御を行うことと、
を実行させる情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023081068A JP2023101560A (ja) | 2016-02-02 | 2023-05-16 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016017623 | 2016-02-02 | ||
JP2016017623 | 2016-02-02 | ||
JP2017565404A JPWO2017134886A1 (ja) | 2016-02-02 | 2016-11-04 | 情報処理装置、情報処理方法、及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017565404A Division JPWO2017134886A1 (ja) | 2016-02-02 | 2016-11-04 | 情報処理装置、情報処理方法、及び記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023081068A Division JP2023101560A (ja) | 2016-02-02 | 2023-05-16 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022000640A JP2022000640A (ja) | 2022-01-04 |
JP7283506B2 true JP7283506B2 (ja) | 2023-05-30 |
Family
ID=59499615
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017565404A Pending JPWO2017134886A1 (ja) | 2016-02-02 | 2016-11-04 | 情報処理装置、情報処理方法、及び記録媒体 |
JP2021142651A Active JP7283506B2 (ja) | 2016-02-02 | 2021-09-01 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2023081068A Pending JP2023101560A (ja) | 2016-02-02 | 2023-05-16 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017565404A Pending JPWO2017134886A1 (ja) | 2016-02-02 | 2016-11-04 | 情報処理装置、情報処理方法、及び記録媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023081068A Pending JP2023101560A (ja) | 2016-02-02 | 2023-05-16 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10942024B2 (ja) |
EP (2) | EP3413013B1 (ja) |
JP (3) | JPWO2017134886A1 (ja) |
CN (2) | CN108603749B (ja) |
WO (1) | WO2017134886A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10587858B2 (en) * | 2016-03-14 | 2020-03-10 | Symbol Technologies, Llc | Device and method of dimensioning using digital images and depth data |
CN109643456A (zh) | 2016-06-17 | 2019-04-16 | 因默希弗机器人私人有限公司 | 图像压缩方法与设备 |
US11429337B2 (en) * | 2017-02-08 | 2022-08-30 | Immersive Robotics Pty Ltd | Displaying content to users in a multiplayer venue |
JP2018169428A (ja) * | 2017-03-29 | 2018-11-01 | セイコーエプソン株式会社 | 画像表示装置 |
KR102450236B1 (ko) * | 2017-09-06 | 2022-10-04 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
AU2018372561B2 (en) | 2017-11-21 | 2023-01-05 | Immersive Robotics Pty Ltd | Image compression for digital reality |
TW201935927A (zh) | 2017-11-21 | 2019-09-01 | 澳大利亞商伊門斯機器人控股有限公司 | 用於影像壓縮之頻率分量選擇 |
WO2019123770A1 (ja) * | 2017-12-20 | 2019-06-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10937240B2 (en) * | 2018-01-04 | 2021-03-02 | Intel Corporation | Augmented reality bindings of physical objects and virtual objects |
JP6896688B2 (ja) * | 2018-02-28 | 2021-06-30 | 東芝デジタルソリューションズ株式会社 | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム |
CN108917703A (zh) * | 2018-03-30 | 2018-11-30 | 京东方科技集团股份有限公司 | 距离测量方法及装置、智能设备 |
DK180640B1 (en) | 2018-05-07 | 2021-11-09 | Apple Inc | Devices and methods of measurement using augmented reality |
JP7432534B2 (ja) * | 2018-06-27 | 2024-02-16 | コロラド・ステート・ユニバーシティ・リサーチ・ファウンデーション | 双方向にマルチユーザの仮想現実体験を効率的にレンダリング、管理、記録、および再生するための方法及び装置 |
CN109217943A (zh) * | 2018-07-19 | 2019-01-15 | 珠海格力电器股份有限公司 | 定向播报方法、装置、家用电器及计算机可读存储介质 |
WO2020023582A1 (en) * | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Methods and apparatuses for determining and/or evaluating localizing maps of image display devices |
JP7202805B2 (ja) * | 2018-08-03 | 2023-01-12 | 北陸電力株式会社 | 工事記録用プログラム |
US10785413B2 (en) | 2018-09-29 | 2020-09-22 | Apple Inc. | Devices, methods, and graphical user interfaces for depth-based annotation |
WO2020095639A1 (ja) * | 2018-11-09 | 2020-05-14 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6650639B1 (ja) * | 2019-05-31 | 2020-02-19 | 株式会社鴻池組 | 構造物の検査装置、構造物の検査方法及びプログラム |
US11227446B2 (en) | 2019-09-27 | 2022-01-18 | Apple Inc. | Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality |
WO2021141055A1 (ja) * | 2020-01-08 | 2021-07-15 | 株式会社Nttドコモ | 測定装置 |
US11080879B1 (en) | 2020-02-03 | 2021-08-03 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
JP6867070B1 (ja) * | 2020-05-08 | 2021-04-28 | アイタックソリューションズ株式会社 | 測定装置、測定プログラム及び測定方法 |
JP6821222B1 (ja) * | 2020-05-08 | 2021-01-27 | アイタックソリューションズ株式会社 | 測定装置、測定プログラム及び測定方法 |
JP6867071B1 (ja) * | 2020-05-08 | 2021-04-28 | アイタックソリューションズ株式会社 | 測定装置、測定プログラム及び測定方法 |
US11615595B2 (en) | 2020-09-24 | 2023-03-28 | Apple Inc. | Systems, methods, and graphical user interfaces for sharing augmented reality environments |
CN111932606A (zh) * | 2020-10-12 | 2020-11-13 | 歌尔光学科技有限公司 | 物体边界尺寸检测方法、装置、头戴显示设备及存储介质 |
US20220261085A1 (en) * | 2021-02-12 | 2022-08-18 | Apple Inc. | Measurement based on point selection |
US11941764B2 (en) | 2021-04-18 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for adding effects in augmented reality environments |
JP7354186B2 (ja) * | 2021-06-18 | 2023-10-02 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
CN115602286B (zh) * | 2022-10-18 | 2024-06-04 | 上海诠视传感技术有限公司 | 一种基于ar眼镜的双眼同时知觉检测和训练方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000152125A (ja) | 1998-11-09 | 2000-05-30 | Sharp Corp | ヘッドマウントディスプレイ装置 |
EP2546806A2 (en) | 2011-07-11 | 2013-01-16 | Deutsche Telekom AG | Image based rendering for AR - enabling user generation of 3D content |
JP2015510112A (ja) | 2012-01-13 | 2015-04-02 | クアルコム,インコーポレイテッド | 仮想定規 |
JP2015510113A (ja) | 2012-01-13 | 2015-04-02 | クアルコム,インコーポレイテッド | 実際の距離を推定するための較正されたハードウェアセンサ |
JP6241752B2 (ja) | 2014-11-21 | 2017-12-06 | 住友電装株式会社 | レバー式コネクタ |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3141049B2 (ja) * | 1992-08-14 | 2001-03-05 | オリンパス光学工業株式会社 | 3次元計測方法及び3次元計測装置 |
JPH06241754A (ja) * | 1992-08-28 | 1994-09-02 | Kageisa Noro | 仮想現実空間を利用した測定システム |
JPH06241752A (ja) | 1993-02-18 | 1994-09-02 | Sony Corp | Icリード曲り測定方法 |
JP2006010312A (ja) * | 2004-06-21 | 2006-01-12 | Constec Engi Co | 撮像装置 |
CA2750287C (en) * | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
JP5821526B2 (ja) | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9372621B2 (en) * | 2012-09-18 | 2016-06-21 | Asustek Computer Inc. | Operating method of electronic device |
JP5951043B2 (ja) * | 2012-11-30 | 2016-07-13 | シャープ株式会社 | 画像計測装置 |
US20140201023A1 (en) * | 2013-01-11 | 2014-07-17 | Xiaofan Tang | System and Method for Virtual Fitting and Consumer Interaction |
JP5790692B2 (ja) * | 2013-03-29 | 2015-10-07 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
JP2015095802A (ja) * | 2013-11-13 | 2015-05-18 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US10114545B2 (en) * | 2014-09-03 | 2018-10-30 | Intel Corporation | Image location selection for use in depth photography system |
EP3193765B1 (en) * | 2014-09-16 | 2018-12-12 | Koninklijke Philips N.V. | Processing system arranged to cooperate with an optical-shape-sensing-enabled interventional device |
US20160147408A1 (en) * | 2014-11-25 | 2016-05-26 | Johnathan Bevis | Virtual measurement tool for a wearable visualization device |
CN105242400B (zh) * | 2015-07-10 | 2017-12-29 | 上海鹰为智能科技有限公司 | 虚拟现实眼镜 |
CN105159450B (zh) * | 2015-08-25 | 2018-01-05 | 中国运载火箭技术研究院 | 一种便携式可交互桌面级虚拟现实系统 |
-
2016
- 2016-11-04 CN CN201680080201.4A patent/CN108603749B/zh active Active
- 2016-11-04 EP EP16889369.1A patent/EP3413013B1/en active Active
- 2016-11-04 JP JP2017565404A patent/JPWO2017134886A1/ja active Pending
- 2016-11-04 CN CN202111438702.4A patent/CN114327043A/zh active Pending
- 2016-11-04 US US16/072,038 patent/US10942024B2/en active Active
- 2016-11-04 WO PCT/JP2016/082841 patent/WO2017134886A1/ja active Application Filing
- 2016-11-04 EP EP21196258.4A patent/EP3979047A1/en active Pending
-
2021
- 2021-01-08 US US17/144,572 patent/US11796309B2/en active Active
- 2021-09-01 JP JP2021142651A patent/JP7283506B2/ja active Active
-
2023
- 2023-05-16 JP JP2023081068A patent/JP2023101560A/ja active Pending
- 2023-09-07 US US18/243,396 patent/US20230417538A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000152125A (ja) | 1998-11-09 | 2000-05-30 | Sharp Corp | ヘッドマウントディスプレイ装置 |
EP2546806A2 (en) | 2011-07-11 | 2013-01-16 | Deutsche Telekom AG | Image based rendering for AR - enabling user generation of 3D content |
JP2015510112A (ja) | 2012-01-13 | 2015-04-02 | クアルコム,インコーポレイテッド | 仮想定規 |
JP2015510113A (ja) | 2012-01-13 | 2015-04-02 | クアルコム,インコーポレイテッド | 実際の距離を推定するための較正されたハードウェアセンサ |
JP6241752B2 (ja) | 2014-11-21 | 2017-12-06 | 住友電装株式会社 | レバー式コネクタ |
Also Published As
Publication number | Publication date |
---|---|
CN108603749B (zh) | 2021-12-21 |
JPWO2017134886A1 (ja) | 2018-11-22 |
US20210131790A1 (en) | 2021-05-06 |
CN114327043A (zh) | 2022-04-12 |
US10942024B2 (en) | 2021-03-09 |
EP3979047A1 (en) | 2022-04-06 |
EP3413013A1 (en) | 2018-12-12 |
US11796309B2 (en) | 2023-10-24 |
US20230417538A1 (en) | 2023-12-28 |
CN108603749A (zh) | 2018-09-28 |
EP3413013B1 (en) | 2021-09-22 |
US20190033058A1 (en) | 2019-01-31 |
EP3413013A4 (en) | 2019-01-23 |
WO2017134886A1 (ja) | 2017-08-10 |
JP2023101560A (ja) | 2023-07-21 |
JP2022000640A (ja) | 2022-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7283506B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
US11861062B2 (en) | Blink-based calibration of an optical see-through head-mounted display | |
WO2022216784A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
KR20230074780A (ko) | 검출된 손 제스처들에 응답한 터치리스 포토 캡처 | |
CN113168007A (zh) | 用于增强现实的系统和方法 | |
CN111108462B (zh) | 用于头戴式显示系统的测距和附件跟踪 | |
JP2023507867A (ja) | 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム | |
WO2013185714A1 (zh) | 增强现实中识别对象的方法及系统和计算机 | |
WO2017213070A1 (ja) | 情報処理装置および方法、並びに記録媒体 | |
WO2019142560A1 (ja) | 視線を誘導する情報処理装置 | |
JP2017129904A (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
US11069137B2 (en) | Rendering captions for media content | |
EP4172708A1 (en) | Visual-inertial tracking using rolling shutter cameras | |
JP2021060627A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN117280711A (zh) | 头部相关传递函数 | |
CN108830944B (zh) | 光学透视式三维近眼显示系统及显示方法 | |
CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 | |
WO2021241110A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20240050831A1 (en) | Instructor avatars for augmented reality experiences | |
US20240119928A1 (en) | Media control tools for managing communications between devices | |
US20240036336A1 (en) | Magnified overlays correlated with virtual markers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7283506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |