JP7105996B2 - 拡張現実環境内の使い捨てステッカー - Google Patents

拡張現実環境内の使い捨てステッカー Download PDF

Info

Publication number
JP7105996B2
JP7105996B2 JP2021517551A JP2021517551A JP7105996B2 JP 7105996 B2 JP7105996 B2 JP 7105996B2 JP 2021517551 A JP2021517551 A JP 2021517551A JP 2021517551 A JP2021517551 A JP 2021517551A JP 7105996 B2 JP7105996 B2 JP 7105996B2
Authority
JP
Japan
Prior art keywords
sticker
hmd
determining
registration information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021517551A
Other languages
English (en)
Other versions
JP2021526701A (ja
JPWO2019231849A5 (ja
Inventor
ケー．サウスワース マイケル
ブルーメ ヴァルター
エヌ．アヴァリ シルヴァ ジェニファー
アール．シルヴァ ジョナサン
Original Assignee
センティエーアール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by センティエーアール インコーポレイテッド filed Critical センティエーアール インコーポレイテッド
Publication of JP2021526701A publication Critical patent/JP2021526701A/ja
Publication of JPWO2019231849A5 publication Critical patent/JPWO2019231849A5/ja
Application granted granted Critical
Publication of JP7105996B2 publication Critical patent/JP7105996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06103—Constructional details the marking being embedded in a human recognizable image, e.g. a company logo with an embedded two-dimensional code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/04—Key management, e.g. using generic bootstrapping architecture [GBA]
    • H04W12/041—Key generation or derivation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/80—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/88—Medical equipments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/067—Network architectures or network communication protocols for network security for supporting key management in a packet data network using one-time keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/69—Identity-dependent
    • H04W12/77—Graphical identity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、一般に、拡張現実（ＡＲ）環境内のデバイスの登録に用いられることができる使い捨てステッカー、またはパッチに関する。
本出願は、２０１８年５月２９日に出願された米国仮出願第６２／６７７，５４４号の優先権の利益を主張し、これは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
治療介入医療処置は、それぞれが独自の特定のセットアップメカニズムを有するさまざまな段階で導入されている多様な医療デバイスを用いる複雑な作業環境を有することが可能である。拡張現実（ＡＲ）デバイスは、治療介入室において用いるために開発されている。使用および高信頼システムのセットアップをトラッキングするためのユーザーフレンドリーなメカニズムを提供することが望ましい。このような環境内で動作するデバイスは、サイバーセキュリティおよび患者の秘密保持に対する厳格な要件を有する場合があり、工学上のトレードオフを要求し、且つデバイスを登録する従来のシステムにおける使い易さを犠牲にする場合がある。
本明細書に開示されるのは、例えば、治療介入医療処置アプリケーションにおいてステッカーを用いるシステムおよび方法である。さらに、ステッカーは、システムセキュリティ、デバイス登録、または拡張現実（ＡＲ）環境におけるグラフィックまたは他のデータの表示に用いられることができる。ＡＲ環境における有用なグラフィックを提供するために、空間的な位置は、不明瞭ではない方法でマーキングされ、且つトラッキングされるべきである。基準グラフィックは、基準としているオブジェクトに対して、正確且つ動的に配置されるべきである。
一態様において、ステッカーシステムは、画像センサーによって取得されたステッカーの画像を受信し、その画像は、ステッカーの基準マーカーを示す。ステッカーシステムは、画像の中のステッカーの基準マーカーを処理することによって、登録情報を判断する。ステッカーシステムは、ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）の位置情報を判断する。ステッカーシステムは、登録情報および位置情報を用いて、ＨＭＤに対するステッカーの位置を判断する。ステッカーシステムは、ステッカーの位置に基づいてユーザーに提示するグラフィックをＨＭＤに提供する。
ある実施形態において、ＨＭＤ（またはステッカーシステム）は、登録情報を用いて暗号化キーを生成し、暗号化キーは、ステッカーに固有である。ＨＭＤは、暗号化キーを用いて別のデバイスと通信する。
ある実施形態において、ＨＭＤ（またはステッカーシステム）は、医療処置のために登録情報を用いて暗号化キーを生成し、暗号化キーは、ステッカーに固有である。暗号化キーが以前に別のデバイスによって異なる医療処置に用いられたと判断することに応答して、ステッカーシステムは、暗号化キーを医療処置に用いないと判断する。
ある実施形態において、ステッカーシステムは、ステッカーの基準マーカーを示す追加の画像を処理することによって追加の登録情報を判断し、ここで、追加の画像は、追加のＨＭＤによって取得される。ステッカーシステムは、登録情報と追加の登録情報とを比較することによって、ＨＭＤおよび追加のＨＭＤが同一の医療処置に用いられていることを判断する。
ある実施形態において、ステッカーシステムは、ステッカーとＨＭＤとの間の３次元における距離および角度を判断することによって、ＨＭＤに対するステッカーの位置を判断する。ある実施形態において、グラフィックのサイズまたは向きは、距離および角度を用いて判断される。
ある実施形態において、ステッカーシステムは、拡張現実のコンテンツをグラフィックとして生成し、ＨＭＤは、拡張現実のコンテンツを提示するよう構成されるディスプレイを含む。ある実施形態において、画像センサーは、ＨＭＤに結合されている。ある実施形態において、基準マーカーは、ＱＲコードまたはバーコードである。
ある実施形態において、非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行された場合に、１つまたは複数のプロセッサに、本明細書に説明される方法のうちのいずれかを含むステップを実行させる命令を格納する。
開示された実施形態は、詳細な説明、添付の特許請求の範囲、および添付の図（または図面）からより容易に明らかとなる利点、および特徴を有する。図の簡単な紹介を以下に示す。
本発明のさまざまな実施形態によるシステム環境の図である。 本発明のさまざまな実施形態によるステッカーシステムのデータフロー図である。 本発明のさまざまな実施形態による例示的なステッカーの図である。 本発明のさまざまな実施形態によるステッカーを用いるデバイス登録のプロセスのフロー図である。
（Ｉ．システム概要の例示）
図１は、本発明のさまざまな実施形態によるシステム環境の図である。図１に図示されるシステム環境は、ステッカーシステム１００と、ユーザー１０５のヘッドマウントデバイス（ＨＭＤ）１１０と、例えば、１つまたは複数のネットワークアクセスポイント１４５を用いて、ネットワーク１３０を介して互いに通信可能に接続することが可能であるコンピューティングデバイス１２０とを含む。ネットワーク１３０は、無線および／または有線接続を含むことができる。他の実施形態において、システム環境は、任意の数のユーザーおよびＨＭＤを含むことができる。図１のさまざまなエンティティによって実行される機能は、異なる実施形態において変化する場合がある。
（Ｉ．Ａ．デバイス）
ＨＭＤ１１０は、画像センサーを用いて、ステッカー１６０を含むシーン１４０の画像を取得することができる。さらに、ＨＭＤ１１０は、物理空間（例えば、２次元または３次元）におけるＨＭＤ１１０の位置または向きを判断する情報を取得するセンサー、ユーザーの音声入力を取得するマイクロフォン、音声出力を生成するスピーカー、ステッカー１６０において符号化されるデジタル情報を含む画像を取得する画像センサー、ＨＭＤ１１０または他のタイプのデバイス間の情報（例えば、音声データまたは、位置もしくは向き情報などの他のセンサーデータ）と通信する無線手段、情報を格納する手段、およびＨＭＤ１１０間で通信される音声を計算または制御する１つまたは複数のプロセッサのうち、１つまたは複数を有する。ある実施形態において、１つまたは複数のＨＭＤ１１０は、ＭＩＣＲＯＳＯＦＴ ＨＯＬＯＬＥＮＳであってよいが、医療環境用にカスタム設計されるＨＭＤ１１０を含むさまざまな他のタイプのＨＭＤ１１０も用いられることが可能である。センサーの例示は、とりわけ、加速度計、ジャイロスコープ、慣性計測装置（ＩＭＵ）（ＨＭＤ１１０の位置情報の判断用など）、深度カメラ、グローバルポジショニングシステム（ＧＰＳ）センサー、超音波センサー、赤外線センサー、および近接センサーを含む。
ある実施形態において、ＨＭＤ１１０は、ステッカーシステム１００、別のＨＭＤ１１０、または別のソースから受信したデータに従ってユーザー１０５に画像を表示する電子ディスプレイを含む。電子ディスプレイの例示は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、シリコンディスプレイ上の液晶（ＬＣＯＳ）、他のディスプレイ、またはそれらのいくつかの組み合わせを含む。ある実施形態において、電子ディスプレイは、１つまたは複数の光学レンズ、光導波路、または光学コンバイナを含むことができる。ある実施形態において、ＨＭＤ１１０は、必ずしも電子ディスプレイを含むわけではない。
コンピューティングデバイス１２０は、任意の数のディスプレイ、キーボード、タッチスクリーン、光学カメラ、ネットワーク通信デバイス、またはプロセッサを含むことができる。コンピューティングデバイス１２０は、画像センサーを用いて、ステッカー１６０において符号化されるデジタル情報を含む画像を取得することができる。また、コンピューティングデバイス１２０は、ステッカー１６０において符号化されるデジタル情報を取得する他の手段（例えば、タッチスクリーン、キーボード、ＲＦＩＤなど）を用いることができる。コンピューティングデバイス１２０は、ステッカー１６０において符号化される取得されたデジタル情報を用いて、ネットワークアクセスポイント１４５に無線暗号化キーを設定することができる。コンピューティングデバイス１２０は、ＨＭＤ１１０で画像センサーから取得された画像情報を受信することができる。コンピューティングデバイス１２０は、例えば、受信した画像情報を処理または分析することが可能であり、１つまたは複数のＨＭＤ１１０にグラフィックを提供する。
（Ｉ．Ｂ．ステッカー）
ステッカー１６０は、１つまたは複数の応用のためにステッカーシステム１００によって検出および使用されることが可能である情報を含む。ステッカー１６０は、１回限りの使用、使い捨て、および／または印刷タイプのステッカーであってよい。ステッカー１６０は、ステッカー１６０を表面に固定する接着剤を含むことができる。他の実施形態において、ステッカーは、必ずしも接着剤を有する必要はなく、むしろパッチに似ており、他のタイプの取り付け機構の中で、磁石、ベルクロ、おもり、ピン、クリップ、またはボタンなどの他の手段を用いて表面に固定されることができる。ステッカー１６０は、画像センサーに対するステッカー１６０の向きを確立するための１つまたは複数の手段と、例えば、ＱＲコードまたはバーコードなどの基準マーカーである光学的に（例えば、デジタル）情報を符号化する手段とを含む。
（Ｉ．Ｃ．ステッカーシステム）
ステッカーシステム１００は、環境の中に存在する１つまたは複数のステッカー１６０を識別することができる。ステッカーシステム１００は、センサーを用いてステッカー１６０を検出することが可能である、ＨＭＤ１１０またはコンピューティングデバイス１２０からステッカー１６０に関連付けられる情報を受信することができる。情報は、ステッカー１６０において符号化されるデジタル情報、および／または取得されたシーン１４０についての他の情報、例えば、ステッカー１６０に近接する他のオブジェクトの存在、サイズ、および位置を含むことができる。一例示として、ステッカーシステム１００は、受信した情報を用いることが可能であり、ＨＭＤ１１０の位置からステッカー１６０の位置までの位置オフセット１３５を算定する。ステッカーシステム１００は、オフセット１３５を用いることができ、ＨＭＤ１１０および／またはステッカー１６０の位置に対するデジタルコンテンツ１５０を生成、修正、または表示する。
ステッカーシステム１００は、ＡＲシステム、仮想現実（ＶＲ）システム、複合現実システム、または必ずしもＡＲデバイスもしくはＶＲデバイスを含まない他のタイプのシステム環境において動作することができる。ＡＲ環境において、ステッカー１６０の（例えば、動的に）検出された位置は、ＨＭＤ１１０のユーザー１０５に提示するＡＲグラフィックに対して配置される基準として用いられることができる。ステッカーシステム１００は、医療処置が実行される部屋の外にあってもよいサーバーなどのＨＭＤ１１０または異なるコンピューティングデバイス１２０で実行することができる。
ある実施形態において、ステッカーシステム１００は、システムの設置または較正の間に利用可能、収集され、または確立された既存のマッピングデータを用いる。ステッカーシステム１００は、ＨＭＤ１１０からの情報を用いることができ、異なるマッピングデータセット間の補正を確立する。例えば、ＨＭＤ１１０からのマッピングデータを用いて判断されたステッカー１６０の位置が、（例えば、別のコンピューティングデバイス１２０の）画像センサーによって感知される観察された位置（または方向）よりも（例えば、位置または方向の少なくとも閾値の相違によって）逸脱しているという判断に応答し、ステッカーシステム１００は、１つまたは複数のデータセットにオフセットを適用することができ、例えば、デカルト座標系におけるＸ、Ｙ、またはＺ座標を修正する。
ある実施形態において、ステッカー１６０の感知された位置および／または向きに応答し、ステッカーシステム１００（またはＨＭＤ１１０）は、ＡＲ情報を表示することに用いられる独立した座標系を確立することができる。一態様において、ステッカー１６０からの感知データに応答し、ステッカーシステム１００は、他のデータソース（例えば、プライベートデータ）を感知されたデータと組み合わせることができ、例えば、外科的、または別のタイプの医学的もしくは治療介入処置である１回限りの使用手順データセットを生成する。別の態様において、ＨＭＤ１１０または他のコンピューティングデバイス１２０は、人間の入力を用いることができ、１回限りの使用手順データセットを生成するプライベートデータと組み合わされたデジタル情報を取得する。ある実施形態において、ステッカーシステム１００は、ステッカー１６０の検出された位置に対する基準グラフィックを配置する人間の入力を用いて、グラフィックに適用される基準オフセットを判断し、ステッカー１６０の次の動きを補償する。
（Ｉ．Ｄ．システムセキュリティ）
ある実施形態において、（例えば、ＨＭＤ１１０によって）ステッカーシステム１００は、ステッカー１６０に関連付けられる情報を用いることができ、暗号化キーを生成し、ネットワークアクセスポイント１４５と通信する。ある実施形態において、ステッカーシステム１００は、対称鍵交換を含む公開鍵暗号の例示的なクラスである楕円曲線暗号（ＥＣＣ）を用いる。ステッカーシステム１００は、ＥＣＣを用いて暗号化キーを生成し、これは、ネットワークアクセスポイント１４５、または他のセキュリティデバイスもしくはシステムによって用いられることができ、ＨＭＤ１１０またはコンピューティングデバイス１２０の真正性を検証する。ある実施形態において、ステッカー１６０は、ステッカーシステム１００によって用いられる追加のトークンを提供することが可能であり、例えば、ＥＣＣの検証の後に、真正性を検証する。さまざまな実施形態において、ステッカー１６０が強化されたセキュリティを提供するのは、ステッカー１６０がＨＭＤ１１０に隣接して物理的に存在する必要があるためであり、それによって、ＨＭＤ１１０がステッカー１６０の画像、例えば、具体的にステッカー１６０のＱＲコードを取得することが可能である。
さまざまな実施形態において、ステッカーシステム１００は、１回限りの使用手順データセットを実装し、ステッカー１６０の再利用を防止する。１回限りの使用ステッカー１６０が一度用いられると、ステッカー１６０は廃棄されてよい。ステッカーシステム１００は、以前に使用された１回限りの使用ステッカー１６０をトラッキングすることによって、ステッカー１６０の不正使用を判断することができる。ステッカーシステム１００は、手順データセットを用いることができ、有線または無線ネットワーク通信の１回限りの使用の暗号化キーを確立する。また、ステッカーシステム１００は、トランスポート層暗号化として交換される対称鍵の構成要素として、ステッカー１６０の符号化された情報を検出し、用いることが可能である。ある実施形態において、ステッカーシステム１００は、ステッカーに関連付けられる情報を無線鍵交換におけるハードウェア層の暗号化鍵として、または無線暗号化鍵のネゴシエーションのシードとして用いる。一実施形態において、ステッカーシステム１００は、アプリケーション層暗号化スキームの構成要素としてステッカー１６０に関連付けられる情報を用いることができる。一実施形態では、ステッカーシステム１００は、ステッカー１６０に関連付けられる情報を暗号化キーとして、またはネットワーク１３０を介してアプリケーションデータを送信する暗号化キーのシードとして用いる。
（Ｉ．Ｅ．マルチユーザーの例示）
あらゆる実施形態において、ステッカーシステム１００は、例えば、医者および／または医療処置を実行する他の要員など、多様なＨＭＤ１１０および／またはユーザー１０５を含む使用例において、ステッカー１６０に関連付けられる情報を用いることができる。例えば、ＨＭＤ１１０は、多様なＨＭＤ１１０間の共有座標系におけるネットワーク１３０を介して算定されたオフセット１３５をやりとりすることができ、他のＨＭＤ１１０のうちの１つもしくは複数（またはすべて）の補正を確立する。この態様において、１つまたは複数のＨＭＤ１１０は、少なくとも１つのＨＭＤ１１０がステッカー１６０を検出し、関連する符号化情報を取得したと判断するステッカーシステム１００に応答して、デジタルコンテンツ１５０を表示または変更することができる。別の態様において、特定のＨＭＤ１１０は、位置または向きセンサーを用いて、ステッカー１６０のうちの少なくとも一部がＨＭＤ１１０の画像センサーの視野外にあるという判断に応答して、デジタルコンテンツ１５０を表示することができる。
ある実施形態において、ステッカーシステム１００は、１つまたは複数のＨＭＤ１１０から情報を用いることができ、具体的なステッカー１６０に対するＨＭＤ１１０のうちの所与の１つの位置をマッピングする。ある実施形態において、多様なＨＭＤ１１０のうちのそれぞれは、デジタルコンテンツ１５０を表示するステッカー１６０の位置にオフセット１３５を独立して算定することができる。ステッカーシステム１００は、対応するオフセット１３５に基づいて特定のＨＭＤ１１０のグラフィックをカスタマイズすることができる。
（ＩＩ．データフローの例示）
図２は、本発明のさまざまな実施形態によるステッカーシステム１００のデータフロー図である。ステッカーシステム１００は、ステッカー１６０から取得されたデジタル情報を用いることができ、またはユーザーによって入力されることができ、１つまたは複数の位置および／または向きデータ、暗号化キー、および１回限りの使用手順コードを生成する。さまざまな実施形態において、（例えば、ＨＭＤ１１０またはコンピューティングデバイス１２０の）画像センサー２００は、ステッカー１６０によって符号化された情報を含む画像を取得する。ステッカーシステム１００は、画像センサー２００の較正パラメーター２０５、およびコード認識アルゴリズム２１０の座標系を用いることが可能であり、例えば、１つまたは複数のスケール、距離、および３次元までの角度情報である位置情報２１５を抽出する。距離および角度は、画像センサー２００とステッカー１６０との間の相対位置を示すことができる。スケールは、画像センサー２００、または別の基準によって取得された画像に対するステッカー１６０のサイズを示すことができる。ステッカーシステム１００は、例えば、ＨＭＤ１１０または他のディスプレイに３次元のＡＲコンテンツを表示するために、位置情報２１５を用いることができ、（例えば、３次元）座標系２２０の原点を判断する。
ステッカーシステム１００は、コード認識アルゴリズム２１０を用いることが可能であり、１回限りの使用手順コード２２５を生成する。あるいは、１回限りの使用手順コード２５は、ユーザー入力２３０によってステッカーシステム１００に提供されることができる。ステッカーシステム１００は、手順特殊コーディング２３５において、インストール特殊データ２３０と共に１回限りの使用手順コード２２５を用いることができ、１つまたは複数の固有暗号化キー２４０、および固有手順コード２４５を生成する。ステッカーシステム１００は、手順検証２５０において、固有手順コード２２を用いることができ、一回限りの使用手順コード２２５の真正性、および単一使用を検証する。
一実施形態において、それぞれのネットワーク化されたデバイスは、独立して、図２に図示されるプロセスを完了することによって、例えば、ステッカーシステム１００におけるすべてのデバイスがそれぞれのキーを有し、ネットワーク通信を確立する。しかしながら、セキュリティ上の理由から、キー自体も、キーの生成に用いられるいかなる情報も、デバイス間に無線で伝送されない。
（ＩＩＩ．ステッカーの例示）
図３は、本発明のさまざまな実施形態による例示的なステッカーの図である。ステッカー３００は、ＱＲコードに隣接する解剖学的用語を含むＱＲコードを含み、（例えば、外科的手術）台または別のオブジェクト上の患者に対するステッカー３００を配置するためのヒントまたは指示として役立つ。ステッカー３１０は、ステッカー配置の正しい方向を示す人型、または（患者を表現する）漫画のアイコンを含むＱＲコードを含む。
ある実施形態において、ステッカーは、回転が固有であり、且つ既知のスケールの基準マーカーまたは光学パターンを含む。基準マーカーは、位置算定またはセキュリティアプリケーションに用いられることができるデータのビットを符号化することができる。ＱＲコードはスケールが不変であり、既知のサイズに生成（例えば、印刷）されることができる。ＱＲコードまたはＱＲコードの他の属性の既知のサイズに基づいて、ステッカーシステム１００は、ＱＲコードの同一のインスタンス、または固有基準マーカーの別のタイプにおける１つまたは複数のスケール、回転、および追加のデータを符号化することができる。また、ステッカーは、例えば、バーコードもしくは英数字および／または１６進文字のシーケンスである、別個のマーカーにおける追加のデータビットからのスケールおよび回転を独立して符号化することができる。文字のシーケンスは、既知のスケールの回転が固有の光学マーカーに隣接している場合がある。
（ＩＶ．方法の例示）
図４は、本発明のさまざまな実施形態によるステッカーを用いるデバイス登録のプロセス４００のフロー図である。さまざまな実施形態において、ステッカーシステム１００は、ＨＭＤ１１０（またはコンピューティングデバイス１２０）などのデバイスを登録することができ、医療または治療介入処置に関連付けられる情報を受信または提供するＨＭＤ１１０を許可する。追加的または代替的に、登録は、部屋または別の基準の境界に対して登録されたデバイスの位置を判断（または再較正）することに用いられることが可能である。ステッカーシステム１００は、図１に図示されるシステム環境における方法４００を実行することができる。
ステッカーシステム１００は、（例えば、ＨＭＤ１１０またはコンピューティングデバイス１２０の）画像センサーによって取得されたステッカー１６０の画像を受信し４１０、ここで画像は、例えば、図３に図示される例示的なＱＲコードに類似する、ステッカー１６０の基準マーカーを示す。ステッカーシステム１００は、画像の中のステッカー１６０の基準マーカーを処理することによって、登録情報を判断する４２０。ステッカー基準マーカーを検出する方法は、文献において既知である。一実施形態において、ステッカー基準マーカーは、ＱＲコードなどの高コントラストの白黒グラフィックを含む。登録情報は、ＱＲコードのサイズまたは向きなど、基準マーカーの属性を任意の数だけ含むことができる。登録情報は、例えば、処置が実行されることとなる部屋、（配置のための基準として用いられてよい）部屋の中のオブジェクトの位置または寸法、患者、ユーザー、または医療処置を伴うデバイス情報（例えば、ＨＭＤ）である医療処置に関連する他のタイプの情報を含むことができる。
ステッカーシステム１００は、ユーザー１０５によって着用されるＨＭＤ１１０の位置情報を判断する４３０。画像センサーは、ＨＭＤ１１０に結合されることができる。ステッカーシステム１００は、登録情報および位置情報を用いてＨＭＤに対するステッカー１６０の位置を判断する。ステッカーシステム１００は、ステッカー１６０の位置に基づいてユーザー１０５に提示するために、ＨＭＤ１１０に対するグラフィックおよび適切な３次元位置情報を提供する４５０。図１に図示される例示を参照すると、グラフィックは、患者の生理学の３次元レンダリングなどのＡＲコンテンツを含むことができる。例えば、心臓のグラフィック（または別の生理学的な身体部分のモデル）は、心臓病学手順のＨＭＤ１１０によって表示される。グラフィックは、身体部分に対する医療機器の位置を示すことができる。例えば、グラフィックは、医師によって患者の体内へと誘導されているカテーテルを図示することができる。
さまざまな実施形態において、ステッカー１６０は、処置中に、患者に近接した手術台、または別の（例えば、静止した）オブジェクトに取り付けられることができる。他の実施形態において、ステッカー１６０は、非静止オブジェクト（例えば、可動テーブル、椅子、または機器）に貼付され、ステッカーシステム１００は、ステッカー１６０の新しい画像が受信されると、登録情報を更新することが可能である。したがって、ＡＲ環境において、ステッカーシステム１００は、移動しているオブジェクトに取り付けられることで、ユーザー１０５によって知覚されるグラフィックを提供することができる。
ある実施形態において、ステッカーシステム１００は、ＨＭＤ１１０に対するステッカー１６０の位置を用いて、グラフィックのサイズまたは向きを判断する。一例示として、ＨＭＤ１１０のユーザー１０５が患者またはステッカー１６０の周りを歩くと、ステッカーシステム１００は、グラフィックを更新することができ、例えば、患者の心臓の３次元モデルの異なる視点または角度を図示する。さらに、ステッカーシステム１００は、ユーザー１０５が患者またはステッカー１６０に近づいたり遠ざかったりすると、グラフィックのサイズを更新することが可能である。
ある実施形態において、ステッカーシステム１００は、ユーザー１０５がジェスチャーをしていること、またはそうでなければ、例えば、ステッカー１６０の位置に向けてまたはその位置を指している、ステッカー１６０と相互作用していることを検出することに応答してグラフィックを更新する。ある実施形態において、ステッカーシステム１００は、（例えば、医療処置のために）登録情報を用いて暗号化キーを生成し、ここで、暗号化キーは、ステッカー１６０に固有である。
一使用例において、ステッカーシステム１００は、ＨＭＤ１１０で実行され、暗号化キーを用いて別のデバイスと通信することができる。異なる例示において、暗号化キーが以前に別のデバイスによって異なる医療処置に用いられたと判断することに応答して、ステッカーシステム１００は、暗号化キーを現在の医療処置に用いないと判断する。したがって、ステッカーシステム１００は、例えば、具体的な手順のために、１回限りの使用のステッカーを保持する。
ある実施形態において、ステッカーシステムは、多様なＨＭＤを有する環境の中でステッカーを用いることができる。例えば、ステッカーシステム１００は、追加の画像を処理し、ＨＭＤ１１０および別のＨＭＤがそれらの関連する登録情報を比較することによって同一の医療処置に用いられていることを判断する。この判断に応答することで、ステッカーシステム１００は、ＨＭＤに提示するために提供される情報を調整することができる。例えば、ステッカーシステム１００は、ＨＭＤに表示されるグラフィックの注釈を同期することができ、ＨＭＤ間でメッセージを通信し、またはＨＭＤ間で医療処置について他のデータを共有する。
（Ｖ．追加の検討事項）
本発明の実施形態の前述の説明は、例示の目的で提示されており、網羅的であること、または開示された正確な形態に限定することは、意図されていない。関連技術分野における当業者は、上記の開示を考慮すると、多くの修正例および変形例が可能となることを理解することが可能である。
この説明のある部分は、情報に対するオペレーションのアルゴリズムおよび記号表現の観点から見ると本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理技術における当業者によって一般的に用いられ、彼らの仕事の趣旨を効果的に他の当業者に伝える。これらのオペレーションは、機能的、計算的、または論理的に説明されている一方で、コンピュータプログラム、または等価電気回路、マイクロコードなどによって実装されると理解される。さらに、普遍性を失うことなく、これらのオペレーションの配列をモジュールと呼ぶことが便利な場合もある。説明されるオペレーションおよびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具現化されてよい。
本明細書で説明される任意のステップ、オペレーション、またはプロセスは、単独または他のデバイスと組み合わせることで、１つもしくは複数のハードウェアまたはソフトウェアモジュールで実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明される任意またはすべてのステップ、オペレーション、またはプロセスを実行するコンピュータプロセッサによって実行されることが可能であるコンピュータプログラムコードを含む非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。
また、本発明の実施形態は、本明細書で説明されるコンピューティングプロセスによって生成される製品に関する場合がある。このような製品は、コンピューティングプロセスから生じる情報を含むことができ、ここで、この情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書で説明されるコンピュータプログラム製品、または他のデータの組み合わせの任意の実施形態を含むことができる。
本明細書で用いられるように、「一実施形態」、または「実施形態」への参照は、この実施形態に関連して記載される具体的な要素、特徴、構造、または特性が少なくとも１つの実施形態において含まれることを意味する。本明細書におけるさまざまな場所において、「一実施形態において」という表現の説明は、必ずしもすべてが同一の実施形態を参照しているわけではない。
本明細書で用いられるように、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」、またはそれらの任意の他の変形例は、非排他的な包含を含むことが意図されている。例えば、要素のリストを備えるプロセス、方法、条項、もしくは装置は、必ずしもそれらの要素のみに限定されるのではなく、そのようなプロセス、方法、条項、もしくは装置に明示的に記載されていない、または内在する他の要素を含む場合がある。さらに、そうではないと明示的に述べられていない限り、「または」は、包括的な「または」を参照し、排他的な「または」を参照しない。例えば、条件ＡまたはＢは、以下のいずれか１つによって満たされ、Ａは真（または存在する）およびＢは偽（または存在しない）、Ａは偽（または存在しない）およびＢは真（または存在する）、ならびにＡおよびＢの両方が真（または存在する）である。
最後に、明細書で用いられる文言は、主に読み易さおよび教育目的のために選択されており、本発明の主題を描写または制限するために選択されていない場合がある。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づいた出願で発行される任意の請求項によって制限されることが意図されている。故に、本発明の実施形態の開示は、例示することを意図しており、以下の請求項に記載される本発明の範囲を限定しない。

Claims (14)

  1. コンピューティングデバイスと、
    ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）と、
    基準マーカーを含むステッカーと、
    命令を格納する非一時的なコンピュータ可読記憶媒体とを備え、前記命令が１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
    前記ＨＭＤの画像センサーによって取得された前記ステッカーの画像を受信するステップであって、前記画像は、前記基準マーカーを示しているステップと、
    前記画像の中の前記基準マーカーを処理することによって登録情報を判断するステップと、
    前記ＨＭＤの位置情報を判断するステップと、
    前記登録情報および前記位置情報を用いて、前記ＨＭＤに対する前記ステッカーの位置を判断するステップと、
    前記ステッカーの位置に基づいて前記ユーザーに提示するために前記ＨＭＤにグラフィックを提供するステップと、
    医療処置のために前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
    前記ＨＭＤおよび前記コンピューティングデバイスが前記医療処置に用いられていることを判断するステップと、
    前記ＨＭＤおよび前記コンピューティングデバイスが前記医療処置に用いられていることを判断するステップに応答して、前記位置情報を前記ＨＭＤから前記コンピューティングデバイスに前記暗号化キーを用いて無線ネットワーク通信を介して送信するステップとを含むステップを実行させる、
    システム。
  2. 前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
    前記ステッカーの前記基準マーカーを示す追加の画像を処理することによって追加の登録情報を判断するステップであって、前記追加の画像は、追加のＨＭＤによって取得された、ステップと、
    前記登録情報と前記追加の登録情報とを比較することによって、前記ＨＭＤおよび前記追加のＨＭＤが前記医療処置に用いられていることを判断するステップとを含むステップを実行させるさらなる命令を格納する、
    請求項１に記載のシステム。
  3. 前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
    前記ステッカーと前記ＨＭＤとの間の距離および角度を３次元で判断することによって、前記ＨＭＤに対する前記ステッカーの位置を判断するステップを実行させるさらなる命令を格納する、
    請求項１に記載のシステム。
  4. 前記グラフィックのサイズまたは向きは、前記距離および角度を用いて判断される、
    請求項３に記載のシステム。
  5. 前記非一時的なコンピュータ可読記憶媒体は、前記１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
    前記グラフィックとして拡張現実のコンテンツを生成するステップであって、前記ＨＭＤは、前記拡張現実のコンテンツを提示するよう構成されるディスプレイを含むステップを実行させるさらなる命令を格納する、
    請求項１に記載のシステム。
  6. 前記基準マーカーは、ＱＲコードまたはバーコードである、
    請求項１に記載のシステム。
  7. 画像センサーによって取得されたステッカーの画像を受信するステップであって、前記画像は、前記ステッカーの基準マーカーを示しているステップと、
    前記画像の中の前記ステッカーの前記基準マーカーを処理することによって登録情報を判断するステップと、
    ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）の位置情報を判断するステップと、
    前記登録情報および前記位置情報を用いて、前記ＨＭＤに対する前記ステッカーの位置を判断するステップと、
    前記ステッカーの位置に基づいて前記ＨＭＤによって前記ユーザーに提示するためにグラフィックを提供するステップと、
    医療処置のために前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
    前記ＨＭＤおよびコンピューティングデバイスが前記医療処置に用いられていることを判断するステップと、
    前記ＨＭＤおよび前記コンピューティングデバイスが前記医療処置に用いられていることを判断するステップに応答して、前記位置情報を前記ＨＭＤから前記コンピューティングデバイスに前記暗号化キーを用いて無線ネットワーク通信を介して送信するステップと
    を備える、
    方法。
  8. 前記ステッカーの前記基準マーカーを示す追加の画像を処理することによって、追加の登録情報を判断するステップであって、前記追加の画像は、追加のＨＭＤによって取得された、ステップと、
    前記登録情報と前記追加の登録情報とを比較することによって、前記ＨＭＤおよび前記追加のＨＭＤが前記医療処置に用いられていることを判断するステップとをさらに備える、
    請求項７に記載の方法。
  9. 前記ＨＭＤに対する前記ステッカーの位置を判断するステップは、
    前記ステッカーと前記ＨＭＤとの間の距離および角度を３次元で判断するステップを含む、
    請求項７に記載の方法。
  10. 前記グラフィックのサイズまたは向きは、前記距離および角度を用いて判断される、
    請求項９に記載の方法。
  11. 前記グラフィックとして拡張現実のコンテンツを生成するステップであって、前記ＨＭＤは、前記拡張現実のコンテンツを提示するよう構成されるディスプレイを含むステップをさらに備える、
    請求項７に記載の方法。
  12. 前記画像センサーは、前記ＨＭＤに結合されている、
    請求項７に記載の方法。
  13. 前記基準マーカーは、ＱＲコードまたはバーコードである、
    請求項７に記載の方法。
  14. 非一時的なコンピュータ可読記憶媒体に格納される命令であって、前記命令が１つまたは複数のプロセッサによって実行された場合に、前記１つまたは複数のプロセッサに、
    画像センサーによって取得されたステッカーの画像を受信するステップであって、前記画像は、前記ステッカーの基準マーカーを示しているステップと、
    前記画像の中の前記ステッカーの前記基準マーカーを処理することによって登録情報を判断するステップと、
    ユーザーによって着用されるヘッドマウントデバイス（ＨＭＤ）の位置情報を判断するステップと、
    前記登録情報および前記位置情報を用いて、前記ＨＭＤに対する前記ステッカーの位置を判断するステップと、
    前記ステッカーの位置に基づいて前記ユーザーに提示するために前記ＨＭＤにグラフィックを提供するステップと、
    医療処置のために前記登録情報を用いて暗号化キーを生成するステップであって、前記暗号化キーは、前記ステッカーに固有であるステップと、
    前記ＨＭＤおよびコンピューティングデバイスが前記医療処置に用いられていることを判断するステップと、
    前記ＨＭＤおよび前記コンピューティングデバイスが前記医療処置に用いられていることを判断するステップに応答して、前記位置情報を前記ＨＭＤから前記コンピューティングデバイスに前記暗号化キーを用いて無線ネットワーク通信を介して送信するステップとを含むステップを実行させる、
    非一時的なコンピュータ可読記憶媒体。
JP2021517551A 2018-05-29 2019-05-24 拡張現実環境内の使い捨てステッカー Active JP7105996B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862677544P 2018-05-29 2018-05-29
US62/677,544 2018-05-29
PCT/US2019/033974 WO2019231849A1 (en) 2018-05-29 2019-05-24 Disposable sticker within augmented reality environment

Publications (3)

Publication Number Publication Date
JP2021526701A JP2021526701A (ja) 2021-10-07
JPWO2019231849A5 JPWO2019231849A5 (ja) 2022-06-01
JP7105996B2 true JP7105996B2 (ja) 2022-07-25

Family

ID=68694117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517551A Active JP7105996B2 (ja) 2018-05-29 2019-05-24 拡張現実環境内の使い捨てステッカー

Country Status (6)

Country Link
US (2) US10733960B2 (ja)
EP (1) EP3801344A4 (ja)
JP (1) JP7105996B2 (ja)
AU (1) AU2019277064A1 (ja)
CA (1) CA3101798A1 (ja)
WO (1) WO2019231849A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373742B2 (en) * 2019-08-23 2022-06-28 Change Healthcare Holdings Llc Augmented reality pharmacy system and method
US11538265B2 (en) * 2020-03-11 2022-12-27 Universal City Studios Llc Orientation tag for providing orientation information
KR102479477B1 (ko) * 2021-09-07 2022-12-20 주식회사 한컴위드 실물 상품에 인쇄된 2차원 코드와의 연동을 통해 상기 실물 상품에 매칭되는 아이템을 메타버스 환경 상에 제공할 수 있는 메타버스 서비스를 운영하기 위한 블록체인 기반의 메타버스 서비스 운영 서버 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121497A (ja) 2004-10-22 2006-05-11 Nec Corp 近接する端末間における認証方法、秘匿情報の配送方法、装置、システム、及び、プログラム
US20170354342A1 (en) 2014-11-30 2017-12-14 Elbit Systems Ltd. Model registration system and method
WO2018012207A1 (ja) 2016-07-12 2018-01-18 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
US20070244825A1 (en) * 2006-04-14 2007-10-18 Gilbert Semmer Item, accessory kit, and method for software based medical resource activation
US9483677B2 (en) * 2010-09-20 2016-11-01 Hid Global Corporation Machine-readable symbols
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US9143402B2 (en) 2012-02-24 2015-09-22 Qualcomm Incorporated Sensor based configuration and control of network devices
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
US8990914B2 (en) 2012-09-28 2015-03-24 Intel Corporation Device, method, and system for augmented reality security
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US9804813B2 (en) * 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
KR102347827B1 (ko) * 2015-02-12 2022-01-07 삼성전자주식회사 보안 메시지 전송 장치 및 그 처리 방법
JP6328579B2 (ja) * 2015-03-13 2018-05-23 富士フイルム株式会社 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121497A (ja) 2004-10-22 2006-05-11 Nec Corp 近接する端末間における認証方法、秘匿情報の配送方法、装置、システム、及び、プログラム
US20170354342A1 (en) 2014-11-30 2017-12-14 Elbit Systems Ltd. Model registration system and method
WO2018012207A1 (ja) 2016-07-12 2018-01-18 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム

Also Published As

Publication number Publication date
JP2021526701A (ja) 2021-10-07
AU2019277064A1 (en) 2021-01-21
US10964291B2 (en) 2021-03-30
US20200342832A1 (en) 2020-10-29
US10733960B2 (en) 2020-08-04
EP3801344A1 (en) 2021-04-14
WO2019231849A1 (en) 2019-12-05
EP3801344A4 (en) 2022-03-09
US20190371272A1 (en) 2019-12-05
CA3101798A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
US10964291B2 (en) Disposable sticker within augmented reality environment
US11836284B2 (en) Sensor fusion for electromagnetic tracking
US11829526B2 (en) Gaze based interface for augmented reality environment
Harders et al. Calibration, registration, and synchronization for high precision augmented reality haptics
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
TW201911133A (zh) 用於多個自由度之控制器追蹤
US11265721B1 (en) Secure device attestation and mutual authentication of artificial reality devices
JP2020523102A (ja) 滅菌野及び他の作業環境のためのユーザインターフェースシステム
EP2962237A1 (en) Systems and methods for authenticating a user based on a biometric model associated with the user
TW202113594A (zh) 具有處理器間通訊(ipc)的人工實境系統
US20210200498A1 (en) Method for information display, processing device, and display system
EP3142588B1 (en) Method for determining the spatial position of objects
Bannis et al. IDIoT: Multimodal framework for ubiquitous identification and assignment of human-carried wearable devices
US11238159B1 (en) Artificial reality system with verified boot sequences
Plopski et al. Tracking systems: Calibration, hardware, and peripherals
De Luca et al. Accurate Registration of 3D Models with Organs in Augmented Reality Through Inertial Sensors
KR20220056702A (ko) 증강 현실 장치 및 증강 현실 장치의 동작 방법
JP2021063922A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220524

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220712

R150 Certificate of patent or registration of utility model

Ref document number: 7105996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150