JP7453708B2 - 拡張された解剖学的特徴を表示するためのシステム及び方法 - Google Patents

拡張された解剖学的特徴を表示するためのシステム及び方法 Download PDF

Info

Publication number
JP7453708B2
JP7453708B2 JP2022135107A JP2022135107A JP7453708B2 JP 7453708 B2 JP7453708 B2 JP 7453708B2 JP 2022135107 A JP2022135107 A JP 2022135107A JP 2022135107 A JP2022135107 A JP 2022135107A JP 7453708 B2 JP7453708 B2 JP 7453708B2
Authority
JP
Japan
Prior art keywords
target individual
augmented reality
anatomical
data processing
processing hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022135107A
Other languages
English (en)
Other versions
JP2022174119A (ja
Inventor
ロウ，グスタフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2022174119A publication Critical patent/JP2022174119A/ja
Application granted granted Critical
Publication of JP7453708B2 publication Critical patent/JP7453708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Description

この開示は、概括的には、拡張された解剖学的特徴（augmented anatomical features）を表示するための方法、システム、及びユーザーデバイスに関し、より具体的には、ユーザーの解剖学的特徴の１つ又はそれ以上の特性に近似する拡張された解剖学的特徴を表示するためのシステム及び方法に関する。
本項は、本開示に関連した背景情報を提供するものであり、必ずしも先行技術であるとは限らない。
拡張現実技術は、現実世界に対するユーザーのビューの上へコンピュータ生成画像を重ね合わせ（オーバーレイし）、現実要素と仮想要素の両方からなる複合ビューを作成することによって、周囲環境に対するユーザーのビューを改変し又は拡張する能力を有する。拡張現実は、ユーザーの環境及びユーザーの身近な周辺に対するユーザーの知覚を、重ね合わされたデジタルコンテンツを介して拡張することによって、ユーザーに豊かな経験を提供する。ユーザーは、ウェアラブル技術（例えば、ヘッドセット、眼鏡、スマートウォッチなど）、タブレット、ラップトップ、モバイルデバイス、又は他のデバイスの様な、様々な電子デバイスを通して自身のビューを拡張することができる。ユーザーは、これらの電子デバイスを使用し、例えばユーザーの周辺についての情報を重ね合わせる又はユーザーの現在の環境に対する自身の知覚を強化するためのグラフィカル画像を重ね合わせることによって、ユーザーの環境に対する自身の知覚を拡張することができる。
拡張現実は、様々な環境で、様々なユーザーによって、各ユーザーを自身の周辺について教育するために使用できる。例えば、車両基地の職員が、車両基地の列車についての情報を職員が見られるようにする拡張現実眼鏡を着用することもできるだろうし、生物学者が彼らの周囲の様々な植物種を識別するのに拡張現実を使用することもあるだろう。
医師や看護師の様な保健医療専門家は、自分たちの患者を治療するために技術的支援を絶えず必要としている。特に、保健医療専門家は患者にとって最善の治療計画を評定するために、常々、患者に関するデータを入手し蓄積する必要がある。保健医療専門家は、患者に関するデータを集めるうえで、拡張現実を使用することから大きな恩恵を得るはずである。保健医療専門家が患者データを集めるために既知の拡張現実技術が使用されてはいるが、関連技術には継続的な改善の必要性がなおも存在する。
本項は、開示の全般的な概要を提供するものであり、その完全な範囲又はその特徴すべての包括的な開示ではない。
現開示は、拡張された解剖学的特徴を表示するための様々な方法、ユーザーデバイス、及びシステムを提供している。開示の１つの態様は方法を提供している。方法は、目標個体を検出する段階を含む。目標個体は身体を有している。方法は、更に、目標個体をトラッキングする段階を含む。方法は、更に、ディスプレイ上に、身体の視覚的表現を表示する段階を含む。方法は、更に、身体の視覚的表現上に複数の参照マーカを識別する段階を含む。方法は、更に、プロセッサにて、目標個体の解剖学的プロファイル（anatomical profile）を決定する段階を含む。目標個体の解剖学的プロファイルは、複数の参照マーカに基づいて決定される。解剖学的プロファイルは、複数の解剖学的特徴を含む。方法は、更に、ディスプレイ上に、身体の視覚的表現に重ね合わせた（オーバーレイさせた）解剖学的特徴のグラフィカル表現を表示する段階を含む。解剖学的特徴のグラフィカル表現は身体の視覚的表現上に解剖学的プロファイルに基づいて定位される。
開示の諸実施形は、更に、以下の特徴の１つ又はそれ以上を含むことができる。幾つかの実施形では、複数の参照マーカは、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する。
幾つかの実施形では、目標個体の解剖学的プロファイルは、更に、身体に対応した複数のデータに基づく。
幾つかの実施形では、複数の解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む。
幾つかの実施形では、複数の参照マーカは、ディスプレイと対話するユーザーによって識別される。
幾つかの実施形では、目標個体の解剖学的プロファイルは、複数の参照マーカに基づいて修正されるデフォルトの解剖学的プロファイルを含む。
開示の別の態様によれば、ユーザーデバイスが提供されている。ユーザーデバイスはディスプレイを含んでいる。ユーザーデバイスは、更に、ディスプレイと通信しているデータ処理ハードウェアを含んでいる。ユーザーデバイスは、更に、データ処理ハードウェアと通信しているメモリハードウェアを含んでいる。メモリハードウェアは、データ処理ハードウェア上で実行されたときにデータ処理ハードウェアにオペレーションを遂行させる命令を記憶している。この態様によれは、オペレーションは方法を実施する。方法は、目標個体を検出する段階を含む。目標個体は身体を有している。方法は、更に、目標個体をトラッキングする段階を含む。方法は、更に、ディスプレイ上に、身体の視覚的表現を表示する段階を含む。方法は、更に、身体の視覚的表現上に複数の参照マーカを識別する段階を含む。方法は、更に、プロセッサにて、目標個体の解剖学的プロファイルを決定する段階を含む。目標個体の解剖学的プロファイルは、複数の参照マーカに基づいて決定される。解剖学的プロファイルは、複数の解剖学的特徴を含む。方法は、更に、ディスプレイ上に、身体の視覚的表現に重ね合わせた解剖学的特徴のグラフィカル表現を表示する段階を含む。解剖学的特徴のグラフィカル表現は、身体の視覚的表現上に解剖学的プロファイルに基づいて定位される。
この態様は、更に、以下の特徴の１つ又はそれ以上を含むことができる。幾つかの実施形では、複数の参照マーカは、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する。
幾つかの実施形では、目標個体の解剖学的プロファイルは、更に、身体に対応した複数のデータに基づく。
幾つかの実施形では、複数の解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む。
幾つかの実施形では、複数の参照マーカは、ディスプレイと対話するユーザーによって識別される。
幾つかの実施形では、目標個体の解剖学的プロファイルは、複数の参照マーカに基づいて修正されるデフォルトの解剖学的プロファイルを含む。
開示の別の態様によれば、システムが提供されている。システムは、ユーザーデバイスを含んでいる。ユーザーデバイスは第１のディスプレイを含んでいる。ユーザーデバイスは、更に、第１のディスプレイと通信しているデータ処理ハードウェアを含んでいる。ユーザーデバイスは、更に、データ処理ハードウェアと通信しているメモリハードウェアを含んでいる。メモリハードウェアは、データ処理ハードウェア上で実行されたときにデータ処理ハードウェアにオペレーションを遂行させる命令を記憶している。この態様によれは、オペレーションは方法を実施する。方法は、目標個体を検出する段階を含む。目標個体は身体を有している。方法は、更に、目標個体をトラッキングする段階を含む。方法は、更に、第１のディスプレイ上に、身体の視覚的表現を表示する段階を含む。方法は、更に、身体の視覚的表現上に複数の参照マーカを識別する段階を含む。方法は、更に、プロセッサにて、目標個体の解剖学的プロファイルを決定する段階を含む。目標個体の解剖学的プロファイルは、複数の参照マーカに基づいて決定される。解剖学的プロファイルは、複数の解剖学的特徴を含む。方法は、更に、第１のディスプレイ上に、身体の視覚的表現に重ね合わせた解剖学的特徴のグラフィカル表現を表示する段階を含む。解剖学的特徴のグラフィカル表現は、身体の視覚的表現上に解剖学的プロファイルに基づいて定位される。システムは、更に、ユーザーデバイスと通信しているウェアラブル部を含んでいる。ウェアラブル部は、身体の視覚的表現に重ね合わせた解剖学的特徴のグラフィカル表現を表示するように構成された第２のディスプレイを含んでいる。解剖学的特徴のグラフィカル表現は身体の視覚的表現上に解剖学的プロファイルに基づいて定位される。
この態様は、更に、以下の特徴の１つ又はそれ以上を含むことができる。幾つかの実施形では、複数の参照マーカは、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する。
幾つかの実施形では、目標個体の解剖学的プロファイルは、更に、身体に対応した複数のデータに基づく。
幾つかの実施形では、複数の解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む。
幾つかの実施形では、複数の参照マーカは、ディスプレイと対話するユーザーによって識別される。
幾つかの実施形では、ウェアラブル部は、更に、ユーザーデバイスとは独立に目標個体を検知し及びトラッキングするように構成される。
幾つかの実施形では、目標個体の解剖学的プロファイルは、複数の参照マーカに基づいて修正されるデフォルトの解剖学的プロファイルを含む。
開示の１つ又はそれ以上の実施形の詳細事項は添付図面及び以下の説明に示されている。他の態様、特徴、及び利点は、説明及び図面並びに特許請求の範囲から明らかであろう。
本明細書で説明される図面は、選択された諸構成の例示のみを目的とし、すべての実施可能な実施形を例示することが目的ではなく、本開示の範囲を限定する意図はない。
本開示の原理による或る例示としての拡張現実システムを描いている。 図１Ａの拡張現実システムのユーザーデバイスの或る例示としての使用を描いている。 本開示の原理による図１Ａの拡張現実システムの或る例示としての使用を描いている。 本開示の原理による図１Ａの拡張現実システムの或る例示としての使用を描いている。 本開示の原理による図１Ａの拡張現実システムの或る例示としての使用を描いている。 本開示の原理による図１Ａの拡張現実システムの或る例示としての使用を描いている。 本開示の原理による或る例示としての拡張現実システムを描いているブロック線図である。 本開示の原理による拡張された解剖学的特徴を表示するための或る例示としての方法を示すブロック線図である。 本開示の原理による拡張された解剖学的特徴を表示するための命令を実行する或る例示としての電子デバイスの概略図である。
様々な図面中の同様の符号は同様の要素を表す。
添付図面を参照しながら開示の実施形の幾つかをより完全に説明してゆく。この開示が綿密なものとなり、開示の範囲が当業者へ十分に伝わるように、例としての構成が提供されている。本開示の構成の十分な理解を提供するために、特定の構成要素の例、特定のデバイスの例、及び特定の方法の例の様な、特定の詳細事項が述べられている。当業者には明らかな様に、特定の詳細事項は採用される必要はなく、例としての構成は多くの異なる形態に具現化される余地があり、特定の詳細事項及び例としての構成は開示の範囲を限定するものと考えられてはならない。
例としての実施形は、拡張された解剖学的特徴を表示するための方法、ユーザーデバイス、及びシステムを提供している。拡張現実デバイス、例えば拡張現実ヘッドセット又は他の電子デバイスなど（例えば、電話、タブレットコンピューティングデバイス、又は他のコンピュータ）が、現実世界のビュー上へコンピュータ生成画像又は仮想画像を重ね合わせるのに使用されてもよい。特に、医師又は看護師の様な保健医療専門家の視野内に患者の様な目標個体がいるときに、保健医療専門家は拡張現実デバイスを使用して、目標個体に重ね合わせた人体の解剖学的特徴の仮想画像を見ることができる。拡張現実デバイスは、解剖学的特徴の仮想画像が目標個体の実際の解剖学的特徴の１つ又はそれ以上の特性（例えば、大きさ、位置、形状など）に近似するように仮想画像を拡張現実デバイスのディスプレイ上へ投影することができる。例えば、拡張現実デバイスは、仮想画像が目標個体の解剖学的構造に従って目標個体の実際の解剖学的特徴の近似した適切な場所に重ねて位置付けられるように、仮想画像を拡張現実デバイスのディスプレイ上へ投影することができる。仮想画像は、保健医療専門家が治療計画を精確に評定するのを又はそれ以外に患者を治療するのを、患者の身体に対する保健医療専門家の視覚化を強化することによって支援することができる。
これより図１Ａを参照すると、１つ又はそれ以上の拡張現実デバイス１０２を含む或る例示としての拡張現実システム１０が示されている。以下に詳述される様に、ユーザー１０４は、保健医療環境１００で、目標個体１０６に対するユーザーのビューを強化するために、（単数又は複数の）拡張現実デバイス１０２を使用することができる。例えば、ユーザー１０４が医師であり、目標個体１０６が患者であり、保健医療環境１００が医師の診察室であるとしてもよく、そうすると医師は医師の診察室で患者を診察することができる。別の例では、ユーザー１０４は、救急車という保健医療環境１００で目標個体１０６へ緊急治療を施す救急救命士であるとしてもよい。本明細書ではユーザー１０４は概して保健医療専門家（例えば、医師、看護師、理学療法士又はトレーナー、救急救命士、医療助手、薬剤師など）であるとして示され説明されており、また本明細書では目標個体１０６は概して保健医療的な患者であるとして描かれ説明されているが、ユーザー１０４又は目標個体１０６は本開示の範囲内で様々な他の人物を含み得る。例えば、個体１０６は、身体を有していて別のユーザー１０４による調査又は研究の対象である運動選手、学生、又は他の個体であってもよい。これに関し、（単数又は複数の）拡張現実デバイス１０２は、保健医療環境１００を含む様々な環境で目標個体１０６を調べるために様々なユーザー１０４によって広範な状況で使用され得る。
拡張現実デバイス１０２は、画像キャプチャデバイス１０８とディスプレイ１１０を含むものとすることができる。以下に詳述される様に、使用中、画像キャプチャデバイス１０８は、保健医療環境１００についてのデータ、具体的には保健医療環境１００内に所在する目標個体１０６についてのデータを取得し、ディスプレイ１１０は、拡張現実デバイス１０２によって生成された仮想画像が重ね合わせてある保険医療環境１００の複合ビューを、ユーザー１０４が見るために表示することができる。幾つかの実施形では、システム１０は、第１の拡張現実デバイス１０２ａ及び第２の拡張現実デバイス１０２ｂを含んでいる。第１の拡張現実デバイス１０２ａは、スマートフォン、タブレットコンピュータ、又は他の適切なモバイルコンピューティングデバイスを含み、第２の拡張現実デバイス１０２ｂは、拡張現実ヘッドセットを含んでいてもよい。本明細書での拡張現実デバイス１０２への言及は、第１の拡張現実デバイス１０２ａ及び／又は第２の拡張現実デバイス１０２ｂに等しく適用されるものと理解しておきたい。
第１の拡張現実デバイス１０２ａは、画像キャプチャデバイス１０８ａ（例えば、カメラ）及びディスプレイ１１０ａ（例えば、画面）を含んでいてもよい。使用中、画像キャプチャデバイス１０８ａは、保健医療環境１００の画像、特に目標個体１０６の画像をキャプチャすることができる。第１の拡張現実デバイス１０２ａの画面１１０ａは、保健医療環境１００の複合ビュー、即ちカメラ１０８ａによってキャプチャされ、第１の拡張現実デバイス１０２ａによって生成された仮想画像が重ね合わせてあるビューを表示するのに使用されてもよい。第１の拡張現実デバイス１０２ａは、ユーザー１０４が第１及び／又は第２の拡張現実デバイス１０２ａ、１０２ｂへデータを入力できるようにするためのキーボード、マウス、マイク、カメラ１０８ａ、又はタッチスクリーンを含んでいてもよい。
第２の拡張現実デバイス１０２ｂは、画像キャプチャデバイス１０８ｂ（例えば、カメラ）及びディスプレイ１１０ｂ（例えば、接眼レンズ）を含んでいてもよい。使用中、画像キャプチャデバイス１０８ｂは、保健医療環境の画像、特に目標個体１０６の画像をキャプチャすることができる。ディスプレイ１１０ｂは、保健医療環境１００の複合ビュー、即ちカメラ１０８ｂ及び／又はカメラ１０８ａによってキャプチャされ、第２の拡張現実デバイス１０２ｂによって生成された仮想画像が重ね合わせてあるビューを表示するようになっていてもよい。第２の拡張現実デバイス１０２ｂは、ユーザー１０４が第１及び／又は第２の拡張現実デバイス１０２ａ、１０２ｂへデータを入力できるようにするためのトラックパッド１１１、カメラ１０８ｂ、マイク、アイトラッキングデバイス、又はジェスチャトラッキングデバイスを含んでいてもよい。例えば、ユーザー１０４は、データを入力することができ、またそれ以外のやり方で、トラックパッド１１１を介したタッチ、マイクを介した発話コマンド、カメラ１０８ｂを介したアイジェスチャ、カメラ１０８ｂを介した手部又は他の身体部分の位置トラッキング、カメラ１０８ｂを介したハンドジェスチャトラッキング、又はカメラ１０８ｂを介した指し棒、スタイラス、ポインタ、又は手袋の様な物体の位置トラッキングによって、第２の拡張現実デバイス１０２ｂと対話することができる。
示されている例は、拡張現実デバイス１０２を第１の拡張現実デバイス１０２ａ又は第２の拡張現実デバイス１０２ｂとして描写しているが、拡張現実デバイス１０２は、現実世界のビュー上へコンピュータ生成画像又は仮想画像を重ね合わせることのできる任意のデバイス（例えば、拡張現実眼鏡、拡張現実ヘルメット、タブレットなど）であってもよいことに留意されたい。
これより図１Ｂを参照すると、或る例示としての拡張現実デバイスが示されている。図１Ｂは、拡張現実デバイス１０２を、画面１１０ａに視覚的データを表示する第１の拡張現実デバイス１０２として描写しているが、同様に、第２の拡張現実デバイス１０２ｂも接眼ディスプレイ１１０ｂ上に視覚的データを表示することができる、ということに留意されたい。拡張現実デバイス１０２は、画像キャプチャデバイス１０８を使用することによって目標個体１０６を検出することができる。拡張現実デバイス１０２は、次いで、ディスプレイ１１０上に、目標個体１０６の身体の視覚的表現１０５を表示することができる。一部の実施形では、視覚的表現１０５は、目標個体１０６のライブ（例えば、リアルタイム）画像である。他の実施形では、視覚的表現１０５は、目標個体１０６の静止画像（例えば写真）である。幾つかの実施形では、画像キャプチャデバイス１０８は、目標個体１０６の三次元の視覚的表現１０５を作成するために、例えば赤外線レーザー散乱ビーム技術を使用する赤外線カメラを含んでいる。
拡張現実デバイス１０２は、視覚的表現１０５上に１つ又はそれ以上の参照マーカ１１２を識別する（例えば、割り当てる）。上述の様に、幾つかの実施形では、参照マーカ１１２は、赤外線レーザー散乱ビーム技術を使用して作成される三次元の視覚的表現１０５上に識別される。各参照マーカ１１２は、目標個体１０６の身体の特定の部分又は身体上の場所に対応していてもよい。幾つかの実施形では、拡張現実デバイス１０２は、目標個体１０６の身体の１つ又はそれ以上の特定の部分に対応したユーザー１０４からの入力（例えば、タッチ、ハンドジェスチャなど）を検出することによって、（単数又は複数の）参照マーカ１１２を割り当てる。特に、参照マーカ１１２は、ユーザー１０４の拡張現実デバイス１０２との対話によって識別されることができる。例えば、幾つかの実施形では、ユーザー１０４が画面１１０ａの各参照マーカ１１２に対応した場所をタッチする。他の実施形では、拡張現実デバイス１０２ｂが、ユーザー１０４からカメラ１０８ｂ又はトラックパッド１１１を介して各参照マーカ１１２に対応した入力を受信する。例えば、カメラ１０８ｂは、各参照マーカ１１２に対応した場所に置かれたユーザー１０４の手の位置をキャプチャすることができる。
幾つかの実施形では、拡張現実デバイス１０２は、目標個体１０６の身体の１つ又はそれ以上の特定の部分（例えば、顔の特徴）を認識し、それらに（単数又は複数の）参照マーカ１１２を割り当てる。例えば、画像キャプチャデバイス１０８は、目標個体１０６の身体の１つ又はそれ以上の部分（例えば、顔の特徴）を認識し、それらに（単数又は複数の）参照マーカ１１２を割り当てるために、例えば赤外線レーザー散乱ビーム技術を使用する赤外線カメラを含んでいてもよい。特に、画像キャプチャデバイス１０８は、目標個体１０６の顔の三次元参照マップを作成し、三次元参照マップを、ストレージデバイス４３０（図４）の様な拡張デバイス１０２のストレージリソースに記憶された参照データに比較するようになっていてもよい。拡張現実デバイス１０２は、目標個体１０６の顔面上に参照マーカ１１２を識別するために画像キャプチャデバイス１０８の赤外線カメラを使用してもよい。拡張現実デバイス１０２は、目標個体１０６の唇、口角、鼻先、又は耳上に参照マーカ１１２を識別することができる。例えば、拡張現実デバイス１０２は、ユーザー１０４からの入力（例えば、タッチ、ハンドジェスチャなど）に基づいて参照マーカ１１２を識別することができる。以下により詳しく解説される様に、幾つかの実施形では、拡張デバイス１０２は、赤外線カメラからの識別情報を、ユーザー１０４からの入力に基づく識別された参照マーカ１１２と併せて用いて、参照マーカ１１２の場所に対応したデータを処理モジュール（例えば、図４のプロセッサ４１０）へ伝送し、好都合にも拡張現実デバイス１０２が、下層の血管、神経、及び筋肉を含めた目標個体１０６の身体（例えば、顔面）上の様々な解剖学的特徴の場所の、より個別化された固有の推定を与えることができるようにする。
幾つかの実施形では、拡張現実デバイス１０２は、目標個体１０６の身体の特定の部分を識別する機械学習アルゴリズム又は人工知能アルゴリズムを使用することによって（単数又は複数の）参照マーカ１１２を識別し及び割り当てる。拡張現実デバイス１０２は、目標個体１０６上の参照マーカ１１２の場所を、１個又はそれ以上の他の目標個体１０６上の類似の参照マーカ１１２の場所に基づいて割り当てるようになっていてもよい。拡張現実デバイス１０２は、機械学習アルゴリズム又は人工知能アルゴリズムを使用し、目標個体１０６のシルエットを検出し、検出されたシルエットの身体部分（例えば、四肢、股、腋窩、又は首）を認識し、次いで認識された身体部分に基づいて参照マーカ１１２の場所を決定し、参照マーカ１１２を割り当てることによって、目標個体１０６を人体として識別するようになっていてもよい。
図示の実施例では、第１の参照マーカ１１２ａは、目標個体１０６の臍部に対応する。第２の参照マーカ１１２ｂは、目標個体１０６の右肩部の一部分に対応する。第３の参照マーカ１１２ｃは、目標個体１０６の左肩部の一部分に対応する。第４の参照マーカ１１２ｄは、目標個体１０６の鎖骨の一部分に対応する。第５の参照マーカ１１２ｅは、目標個体１０６の左臀部の一部分に対応する。第６の参照マーカ１１２ｆは、目標個体１０６の右臀部の一部分に対応する。第７の参照マーカ１１２ｇは、目標個体１０６の胸骨の一部分に対応する。参照マーカ１１２ａ－１１２ｇは、すべての参照マーカの網羅的なリストを表しているのではなく、むしろ拡張現実デバイス１０２によって識別され得る参照マーカの例示としてのリストを表している。また、拡張現実デバイス１０２は、本明細書の教示を逸脱することなく、参照マーカ１１２ａ－１１２ｇに加えて、首、鼻、眼、口、膝、足首、臀溝、肩甲骨、手首、又は肘に対応した参照マーカの様な他の参照マーカを識別することもできる。拡張現実デバイス１０２はまた、本明細書の教示から逸脱することなく、１つ又はそれ以上の参照マーカ１１２ａ－１１２ｇを省略することもできる。
拡張現実デバイス１０２は、目標個体１０６の解剖学的プロファイルを決定することができる。解剖学的プロファイルは、個体１０６に対応した複数の特性を含んでいてもよい。幾つかの実施形では、解剖学的プロファイルは、目標個体１０６の年齢又は性別の様な複数の目標データを含んでいるか又はその様なデータに基づいている。幾つかの実施形では、拡張現実デバイス１０２は、ユーザー１０４からの入力（例えば、タッチ、ハンドジェスチャなど）に基づいて解剖学的プロファイルを決定する。他の実施形では、拡張現実デバイス１０２は、解剖学的プロファイルを決定するのに機械学習アルゴリズム又は人工知能アルゴリズムを使用する。例えば、拡張現実デバイス１０２は、拡張現実デバイス１０２によって受信された複数の目標データ（例えば、複数の参照マーカ１１２）に基づいて解剖学的プロファイルを決定するようになっていてもよい。
これより図１Ｃを参照すると、例示としての拡張現実デバイスが示されている。拡張現実デバイス１０２ａ、１０２ｂは、目標個体１０６のグラフィカル表現１１３を表示することができる。幾つかの実施形では、拡張現実デバイス１０２は、目標個体１０６が完全に衣服をまとっているときでさえ、グラフィカル表現１１３を表示することができる。これは、目標個体１０６が自分の衣服を脱ぐ必要がないため時間を節約でき、好都合である。目標個体のグラフィカル表現１１３は、解剖学的特徴の１つ又はそれ以上の仮想画像１１４ａ－１１４ｃを含んでいてもよい。例えば、仮想画像１１４ａ－１１４ｃは、内部の解剖学的特徴（例えば、骨又は他の器官）又は外部の解剖学的特徴（例えば、皮膚又はその輪郭）の仮想画像であってもよい。幾つかの実施形では、拡張現実デバイス１０２は、グラフィカル表現１１３を生成するのに、目標個体１０６に対応した三次元データを使用する。幾つかの実施形では、グラフィカル表現１１３は、目標個体１０６の顔の、詳細な下層の解剖学的構造の仮想画像１１４を含んでいる。
グラフィカル表現１１３を表示する方法は様々な段階を含み得る。例えば、グラフィカル表現１１３を表示する方法は、拡張現実デバイス１０２（例えば、１０２ａ、１０２ｂ）を用いて１つ又はそれ以上の参照マーカ１１２（図１Ｂ）を識別する段階を含んでいてもよい。拡張現実デバイス１０２は、更に、各参照マーカ１１２から他の参照マーカ１１２のそれぞれまでの距離を決定し、距離に対応したデータをプロセッサ（例えば、図４のプロセッサ４１０）へ伝送するようになっていてもよい。拡張現実デバイス１０２は、更に、参照マーカ１１２（例えば、図４のメモリ４２０）に対応したデータを有するデータベース（例えば、図２のデータベース２１８）内でルックアップを遂行してもよい。拡張現実デバイス１０２は、参照マーカ１１２に対応したデータ及び幾つかの実施形では複数の目標データを使用して、解剖学的特徴の特性（例えば、大きさ、場所など）に対応するデータを決定する。例えば、拡張現実デバイス１０２は、参照マーカ１１２と、画像キャプチャデバイス１０８の赤外線レーザー散乱ビーム技術から作成される目標個体１０６の三次元の視覚的表現１０５と、を使用して、解剖学的特徴の仮想画像１１４ａ－１１４ｃを含むグラフィカル表現１１３を作成することができる。特に、拡張現実デバイス１０２は、解剖学的特徴の特性に対応したデータをプロセッサ（例えば、図４のプロセッサ４１０）へ伝送し、解剖学的特徴の仮想画像１１４ａ－１１４ｃを含むグラフィカル表現１１３を、ディスプレイ１１０上の、目標個体１０６に対応した場所に表示することができる（図１Ｃを参照）。
図１Ｃに描かれている様に、第２の拡張現実デバイス１０２ｂは、接眼ディスプレイ１１０ｂ上にグラフィカル表現１１３を表示し、第１の拡張現実デバイス１０２ａは、画面１１０ａ上にグラフィカル表現１１３を表示することができる。先述の様に、画面１１０上に表示され目標個体１０６の視覚的画像１０５の上に重ね合わせたグラフィカル表現１１３は、コンピュータ生成仮想画像（例えば、解剖学的特徴の仮想画像１１４ａ－１１４ｃ）を含んでいてもよい。図示の実施例では、拡張現実デバイス１０２は、ディスプレイ１１０上に、それぞれが人体内の器官、骨、又は構造を表現している仮想画像１１４ａ－１１４ｃを含むグラフィカル表現１１３を表示している。
第１の仮想画像１１４ａは、人体の胸郭を表現している。仮想画像１１４ａは、目標個体１０６の視覚的表現１０５上で、目標個体１０６の胸郭が位置する場所に近似した場所に重ね合わせてある。第２の仮想画像１１４ｂは、人体の腸を表現している。仮想画像１１４ｂは、目標個体１０６の視覚的表現１０５上で、目標個体１０６の腸が位置する場所に近似した場所に重ね合わせてある。第３の仮想画像１１４ｃは、人体の膵臓を表現している。仮想画像１１４ｃは、目標個体１０６の視覚的表現１０５上で、目標個体１０６の膵臓が位置する場所に近似した場所に重ね合わせてある。仮想画像１１４ａ－１１４ｃは、すべての仮想画像の網羅的なリストを表しているのではなく、むしろ拡張現実デバイス１０２によってグラフィカル表現１１３内に表示され得る仮想画像の例示としてのリストを表している。また、拡張現実デバイス１０２は、本明細書の教示から逸脱することなく、仮想画像１１４ａ－１１４ｃに加え、他の仮想画像を表示することもでき、又は１つ又はそれ以上の仮想画像１１４ａ－１１４ｃを省略することもできる。
視覚的表現１０５と組み合わされたグラフィカル表現１１３は、ディスプレイ１１０上に現実画像と仮想画像の両方からなる複合ビューを作成することによって、ユーザー１０４のビューと経験を強化する。ユーザー１０４は、ディスプレイ１１０を通して、目標個体１０６の視覚的表現１０５を、目標個体１０６のグラフィカル表現１１３によって表現される器官及び他の解剖学的特徴の仮想画像１１４ａ－１１４ｃと併せて見ることができる。解剖学的特徴は、器官、骨、筋肉、血管、腱、靭帯、又は神経を含んでいてもよい。幾つかの実施形では、仮想画像１１４ａ－１１４ｃは、目標個体１０６の内部の器官、骨、又は他の身体構造の実際の画像ではなく、むしろそれらの身体構造の代表的な描写（例えば、イラスト）である。拡張現実デバイス１０２が任意の目標個体１０６のために使用できる代表的な仮想画像１１４ａ－１１４ｃを記憶できるようにすれば、仮想画像１１４ａ－１１４ｃを記憶するために必要なスペース（例えば、メモリ４２０）がより少なくて済み、拡張現実デバイス１０２をより高速で動作させ、仮想画像１１４ａ－１１４ｃを表示させられるようになるので好都合である。
幾つかの実地形では、拡張現実デバイス１０２は、目標個体１０６の静止画を撮る又は映像を録画するのに画像キャプチャデバイス１０８を使用することができる。拡張現実デバイス１０２は、次いで、目標個体１０６の静止画又は録画映像上へ解剖学的特徴の仮想画像１１４を重ね合わせてもよい。拡張現実デバイスは、次いで、静止画又は録画映像を、重ね合わせた仮想画像１１４と共にディスプレイ１１０上へ表示してもよい。これは、特に教育目的上は好都合であり、というのも保健医療専門家が患者に患者自身の解剖学的構造について教える場合に、患者自身の個々の解剖学的構造がおおよそどのように機能するかを患者に示すことによって、教えるのを支援することができるからである。他の実施形では、拡張現実デバイス１０２は、目標個体１０６の画又は映像を、器官及び他の解剖学的特徴の仮想画像１１４を含む視覚的表現１０５と共に撮影可能又は録画可能であってもよい。拡張現実デバイス１０２は、ストレージデバイス４３０（図４）の様なストレージリソース内に画又は録画映像を記憶してもよい。
これより図１Ｄ－１Ｆを参照して、幾つかの実施形では、拡張現実デバイス１０２（例えば、１０２ａ、１０２ｂ）は、目標（例えば、目標個体１０６）の解剖学的プロファイルを目標個体１０６への或る特定の予想される変化に基づいて表示することができる。図１Ｄは、ディスプレイ１１０上に表示された或る代替目標個体１０６’の視覚的表現１０５’を示している。拡張現実デバイス１０２は、代替目標個体１０６’の視覚的表現１０５’を、画像キャプチャデバイス１０８を用いて決定することができる。図１Ｂの視覚的表現１０５と同様の図１Ｅに描かれている様に、拡張現実デバイス１０２は、視覚的表現１０５’上に複数の参照マーカ１１２を識別するようになっていてもよい。幾つかの実施形では、拡張現実デバイス１０２は、代替目標個体１０６’の解剖学的プロファイルを決定するようになっていてもよい。解剖学的プロファイルは、代替目標個体１０６’に対応した複数の特性を含んでいてもよい。図１Ｂを参照して上述されている様に、解剖学的プロファイルは、複数の目標データ、ユーザー１０４からの入力、又は機械学習アルゴリズム又は人工知能アルゴリズムに基づいていてもよい。幾つかの実施形では、解剖学的プロファイルは、更に、代替目標個体１０６’が経験し得る或る特定の変化に基づくものであってもよい。例えば、解剖学的プロファイルは、代替目標個体１０６’が経験するであろう又は経験したいと望む将来的な体重の減量又は体重の増量に基づいていてもよい。
図１Ｅ及び図１Ｆは、代替目標個体１０６’の視覚的表現１０５’をディスプレイ１１０上に表示する拡張現実デバイス１０２を示している。拡張現実デバイス１０２は、代替目標個体１０６’のグラフィカル表現１１３であって解剖学的特徴の仮想画像１１４を含むグラフィカル表現１１３を表示する。図１Ｆに示されている実施例では、拡張現実デバイス１０２は、代替目標個体１０６’が体重を減らした場合の代替目標個体１０６’の視覚的表現１０５’を表示する（図１Ｆ）。拡張現実デバイスは、更に、解剖学的特徴の仮想画像１１４を含むグラフィカル表現１１３を重ね合わせる。解剖学的特徴の仮想画像１１４は、代替目標個体１０６’が減量した場合の代替目標個体１０６’の解剖学的特徴に基づいたものとすることができる。また、代替目標個体１０６’の視覚的表現１０５’（図１Ｆ）は、代替目標個体１０６’が減量した場合に基づいたものとすることができる。
図１Ｆは、代替目標個体１０６’が減量した場合に基づく解剖学的特徴の仮想画像１１４を表示する拡張現実デバイス１０２を描写しているが、留意すべきこととして、拡張現実デバイスは、体重が増加する、妊娠する、再建手術又は美容整形手術を受けるという様な他の特定の変化又は個体の身体が被り得る他の変化に基づく仮想画像１１４を表示するようになっていてもよい。また、拡張現実デバイス１０２は、特定の変化の下でどのように筋骨格系の特徴が機能することになるのかを示す他の仮想画像１１４を表示するようになっていてもよい。
これより図２を参照して、幾つかの実施形では、拡張された解剖学的特徴（例えば、仮想画像１１４ａ－１１４ｃ）を表示するための或る例示としてのシステム２００は、ユーザー１０４（例えば、保健医療提供者）に、目標個体１０６に対するユーザー１０４のビューを強化する拡張現実モジュール２０４へのアクセスを提供する。システム２００は、リモートデバイス上での諸サービスの遂行を提供する拡張現実モジュール２０４へのアクセスを提供するネットワーク２０８を含んでいてもよい。したがって、ネットワーク２０８は、ユーザー１０４と拡張現実モジュール２０４の間の対話を可能にさせる。例えば、拡張現実モジュール２０４は、拡張現実モジュール２０４へのアクセスをユーザー１０４に提供し、拡張現実モジュール２０４とのユーザーの１０４の対話に関連したユーザー１０４によって入力されるイベントデータを受信する。次いで、拡張現実モジュール２０４はイベントデータをストレージリソースに記憶してもよい。
ネットワーク２０８は、通信信号の送受信を可能にする任意の型式のネットワークを含むことができ、例えば、ワイヤレステレコミュニケーションネットワーク、セルラーフォンネットワーク、時分割多重化アクセス（ＴＤＭＡ）ネットワーク、符号分割多重化アクセス（ＣＤＭＡ）ネットワーク、モバイル通信用グローバルシステム（ＧＳＭ）、第３世代（３Ｇ）ネットワーク、第４世代（４Ｇ）ネットワーク、衛星通信ネットワーク、及び他の通信ネットワークなどが挙げられる。ネットワーク２０８は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、及びパーソナルエリアネットワーク（ＰＡＮ）のうちの１つ又はそれ以上を含んでいてもよい。幾つかの実施例では、ネットワーク２０８は、データネットワークの組合せ、テレコミュニケーションネットワークの組合せ、又はデータネットワークとテレコミュニケーションネットワークの組合せを含んでいる。拡張現実デバイス１０２と拡張現実モジュール２０４は、ネットワーク２０８を介して信号（ワイヤード又はワイヤレス）を送受信することによって互いと通信する。幾つかの実施例では、ネットワーク２０８は、ネットワーク２０８上で利用できる、エラスティックコンピューティングリソース／オンデマンドコンピューティングリソース及び／又はストレージリソースであり得るクラウドコンピューティングリソースへのアクセスを提供する。「クラウド」サービスという用語は、概して、ローカル的にユーザーのデバイス（例えば、デバイス１０２）上で遂行されるのではなくむしろ１つ又はそれ以上のネットワーク２０８を介してアクセス可能な１つ又はそれ以上のリモートデバイスから配信されるサービスをいう。
拡張現実デバイス１０２は、限定するわけではないが、ポータブル型電子デバイス（スマートフォン、携帯電話、パーソナルデジタルアシスタント、パーソナルコンピュータ、又はワイヤレスタブレットデバイス）、ウェアラブル型拡張現実デバイス、又は画像をキャプチャすること及びコンピュータ生成画像又は仮想画像（例えば、仮想画像１１４ａ－１１４ｃ）を現実世界のビュー（例えば、視覚的表現１０５）の上に重ね合わせることのできる任意の他の電子デバイスを含み得る。拡張現実デバイス１０２は、データ処理ハードウェア（命令を実行するコンピューティングデバイス）、メモリハードウェア、及びデータ処理ハードウェアと通信しているディスプレイ１１０を含んでいる。入力モジュール２１４が、拡張現実デバイス１０２を通して拡張現実モジュール２０４と対話することへのアクセスをユーザー１０４に提供する。幾つかの実施例では、入力モジュール２１４は、ユーザー１０４がデータを入力できるようにするためのキーボード、タッチパッド、マウス、マイク、アイトラッキングデバイス、ジェスチャトラッキングデバイス、及び／又はカメラを含む。拡張現実デバイス１０２は、ディスプレイ１１０に加えて又は代えて、ユーザー１０４へ音声データを出力する１つ又はそれ以上のスピーカを含んでいてもよい。
幾つかの実施形では、ユーザー１０４は、参照マーカ２２４に対応したデータを入力することによって入力モジュール２１４と対話することができる。参照マーカ２２４は、目標個体１０６上の場所に対応していてもよい。次いで、参照マーカ２２４に対応したデータが拡張現実モジュール２０４へ送信される。拡張現実モジュール２０４は解剖学モジュール２１６と通信することができる。例えば、拡張現実モジュール２０４は、参照マーカ２２４に対応した解剖学的データ２２２を解剖学モジュール２１６へ送信してもよい。次いで、拡張現実モジュール２０４は、解剖学モジュール２１６からの解剖学的特徴の視覚的表現（例えば、仮想画像１１４ａ－１１４ｃ）に対応するデータを要求してもよい。すると解剖学モジュール２１６が解剖学的特徴の視覚的表現に対応したデータを解剖学的データベース２１８から取り出すようになっていてもよい。解剖学モジュール２１６は、次いで、ディスプレイ１１０上に表示させるべき解剖学的プロファイル２２０を生成するようになっていてもよい。
拡張現実デバイス１０２は、検出モジュール２１０及びトラッキングモジュール２１２を有する画像キャプチャデバイス１０８を含んでいてもよい。検出モジュール２１０及びトラッキングモジュール２１２は、目標個体１０６に対応した視覚的データを入手し、それを拡張現実モジュール２０４へ送信するようになっていてもよい。視覚的データは、画像キャプチャデバイス１０８の現在の現実世界のビューに対応したデータであり、目標個体１０６と拡張現実デバイス１０２の間の距離や目標個体１０６が動いているか又は静止しているかという様なデータ、又は拡張現実デバイス１０２による目標個体１０６の視覚化に対応する任意の他のデータを含むことができる。画像キャプチャデバイス１０８は、検出モジュール２１０及びトラッキングモジュール２１２からのデータを拡張現実モジュール２０４へ送信することができる。拡張現実モジュール２０４は、検出モジュール２１０及びトラッキングモジュール２１２からの、画像キャプチャデバイス１０８の現実世界のビューに対応したデータを、解剖学的プロファイル２１６の仮想画像と連結させて使用し、ディスプレイ１１０上に目標個体１０６の複合的な強化されたビューを作成することができる。
図３は、開示されている技術の例としての実施形による、拡張された解剖学的特徴（例えば、仮想画像１１４ａ－１１４ｃ）を表示するための方法３００を示すフローチャートである。１つの実施例によれば、方法３００は、拡張現実デバイス１０２の様な電子デバイスによって遂行されることができる。方法３００はブロック３０２に始まり、ここで拡張現実デバイスは目標個体（例えば、目標個体１０６）を検出し、目標個体をトラッキングする。目標個体は身体を有している。例えば、ブロック３０２にて、画像キャプチャデバイス１０８ａ、１０８ｂは検出モジュール２１０及び／又はトラッキングモジュール２１２を介して目標個体１０６を検出し及び／又はトラッキングすることができる。
方法は、ブロック３０４にて、ディスプレイ（例えば、ディスプレイ１１０）上に、身体の視覚的表現を表示する段階を含む。例えば、ブロック３０２にて、ディスプレイ１１０ａ、１１０ｂは、拡張現実モジュール２０４から視覚的表現１０５，１０５’を受信し及び表示することができる。幾つかの実施形では、ブロック３０４の後、方法はブロック３０２へ戻るようになっていてもよい。他の実施形では、方法はブロック３０６へ進むことになる。
方法は、ブロック３０６にて、身体の視覚的表現（例えば、視覚的表現１０５、１０５’）上に複数の参照マーカ（例えば、参照マーカ１１２）を識別する段階を含む。例えば、拡張現実デバイス１０２は、ユーザーとディスプレイ１１０ａ、１１０ｂとの対話から、機械学習から、又は別の上述の方法から、参照マーカ１１２を受信することができる。幾つかの実施形では、拡張現実デバイス１０２は、ユーザー１０４から参照マーカ１１２の入力を受信し、拡張現実モジュール２０４からグラフィカル表現１１３を受信し及び生成することができる。
方法は、ブロック３０８で、プロセッサにて、複数の参照マーカに基づいて目標個体の解剖学的プロファイル（例えば、解剖学的プロファイル２１６）を決定する段階を含む。解剖学的プロファイルは、目標個体に対応した複数の特性（例えば、年齢、性別など）を含むことができる。幾つかの実施形では、拡張現実デバイス１０２は、参照マーカ１１２に基づく解剖学的プロファイルを受信する。例えば、解剖学モジュール２１６が拡張現実モジュール２０４を通して拡張現実デバイス１０２へ解剖学的プロファイルを伝送してもよい。
方法は、ブロック３１０にて、ディスプレイ上に、身体の視覚的表現１０５、１０５’に重ね合わせた解剖学的特徴のグラフィカル表現（例えば、仮想画像１１４ａ－１１４ｃ）を表示する段階を含む。解剖学的特徴のグラフィカル表現は、身体の視覚的表面上で、解剖学的プロファイルに基づいて定位されるようになっていてもよい。幾つかの実施形では、拡張現実デバイスは、目標個体の視覚的表現に重ね合わせた解剖学的プロファイルのグラフィカル表現を生成し及び表示する。ブロック３１０に続いて、方法３００は終了してもよい。
図４は、この文書に記載されたシステム及び方法を実施するために使用され得る或る例示としてのコンピューティングデバイス４００の概略図である。コンピューティングデバイス４００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム、及び他の適切なコンピュータの様な、様々な形態のデジタルコンピュータを代表するものとする。本明細書に示された構成要素、それらの接続及び関係、及びそれらの機能は、単に例示とすることを意図しており、この文書の中で説明され及び／又は請求される発明の実施形を限定しようとするものではない。
コンピューティングデバイス４００は、プロセッサ４１０と、メモリ４２０と、ストレージデバイス４３０と、メモリ４２０及び高速拡張ポート４５０へ接続している高速インターフェース／コントローラ４４０と、低速バス４７０及びストレージデバイス４３０へ接続している低速インターフェース／コントローラ４６０と、を含んでいる。各構成要素４１０、４２０、４３０、４４０、４５０、及び４６０は、各種バスを用いて相互接続されていて、共通のマザーボード上に又は適切な他の方法で実装されることができる。プロセッサ４１０は、メモリ４２０内又はストレージデバイス４３０上に記憶された命令を含め、コンピューティングデバイス４００内で実行するための命令を処理して、高速インターフェース４４０へ連結されたディスプレイ４８０の様な外部入力／出力デバイス上に、グラフィカルユーザーインターフェース（ＧＵＩ）のためのグラフィカル情報を表示させることができる。他の実施形では、複数のプロセッサ及び／又は複数のバスが、適宜、複数のメモリ及び複数のメモリタイプと共に使用され得る。更に、複数のコンピューティングデバイス４００が接続されていて、各デバイスが必要なオペレーションの諸部分を提供していてもよい（例えば、サーバーバンク、ブレードサーバーのグループ、又はマルチプロセッサシステムとして）。
メモリ４２０は、情報をコンピューティングデバイス４００内に非一時的に記憶する。メモリ４２０は、コンピュータ可読媒体、（単数又は複数の）揮発性メモリユニット、又は（単数又は複数の）不揮発性メモリユニットであってもよい。非一時的メモリ４２０は、プログラム（例えば、命令のシーケンス）又はデータ（例えば、プログラム状態情報）を、コンピューティングデバイス４００による使用のために、仮に又は永久的に記憶するのに使用される物理的なデバイスとすることができる。不揮発性メモリの例としては、限定するわけではないが、フラッシュメモリ及び読み出し専用メモリ（ＲＯＭ）／プログラム可能読み出し専用メモリ（ＰＲＯＭ）／消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）／電子的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）（例えば、ブートプログラムの様なファームウェア向けに使用されるのが典型的）が挙げられる。揮発性メモリの例としては、限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、並びにディスク又はテープが挙げられる。
ストレージデバイス４３０は、コンピューティングデバイス４００のためのマスストレージを提供可能である。幾つかの実施形では、ストレージデバイス４３０は、コンピュータ可読媒体である。種々の異なる実施形では、ストレージデバイス４３０は、フロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、又はテープデバイス、フラッシュメモリ又は他の類似の固体メモリデバイス、又はストレージエリアネットワーク又は他の構成にあるデバイスを含むデバイスのアレイであってもよい。追加の実施形では、コンピュータプログラム製品が情報担体内に実体的に具現化される。コンピュータプログラム製品は、実行されると上述の様な１つ又はそれ以上の方法を遂行する命令を格納している。情報担体は、メモリ４２０、ストレージデバイス４３０、又はプロセッサ４１０上のメモリの様な、コンピュータ可読媒体又は機械可読媒体である。
高速コントローラ４４０は、コンピューティングデバイス４００のための帯域幅集約的オペレーションを管理し、一方、低速コントローラ４６０は、より低い帯域幅集約的オペレーションを管理している。その様な動作責務の割付けは単に例示である。幾つかの実施形では、高速コントローラ４４０は、メモリ４２０へ、ディスプレイ４８０へ（例えば、グラフィックスプロセッサ又はアクセラレータを通して）、及び各種拡張カード（図示せず）を受容し得る高速拡張ポート４５０へ、連結されている。幾つかの実施形では、低速コントローラ４６０は、ストレージデバイス４３０及び低速拡張ポート４９０へ連結されている。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、Ｅｔｈｅｒｎｅｔ、ワイヤレスＥｔｈｅｒｎｅｔ）を含み得る低速拡張ポート４９０は、１つ又はそれ以上の入力／出力デバイス、例えば、キーボード、ポインティングデバイス、スキャナ、又はスイッチやルーターの様なネットワーキングデバイスなどへ、例えばネットワークアダプタを通して連結されていてもよい。
コンピューティングデバイス４００は、図に示されている様に数々の異なる形態に実施され得る。例えば、それは、標準的サーバー４００ａとして又は多くの場合その様なサーバー４００ａのグループとして、ラップトップコンピュータ４００ｂとして、又はラックサーバーシステム４００ｃの一部として、実施され得る。
他にも利点はあるが中でも、本開示は、拡張された解剖学的特徴を表示するための方法、ユーザーデバイス、及びシステムを開示している。拡張現実デバイスは、保健医療専門家の様なユーザーの目の前の目標個体の様な個体の表面の下に横たわる構造、組織、又は器官の近似を描く解剖学的構造の仮想画像を人体に重ね合わせることができる。仮想画像は目標個体に適合するように調節されることができる。ユーザーは、拡張現実デバイスを使用して、目標個体の身体上に特定の解剖学的基準点を識別し、それらの点を、目標個体に重ねて仮想画像を固定し及び調節するために使用することができる。仮想画像は、同年齢の人や同性別の人などの人の解剖学的構造を代表していてもよい。
他にも利点はあるが中でも、本開示は、更に、外部の画像化法（例えば、Ｘ線、磁気共鳴画像化法、コンピュータ断層撮影スキャンなど）からのデータファイルの入力を必要としない方法、ユーザーデバイス、及びシステムを提供している。その様なファイルは、互換性のない形式を有していたり、大きくて扱いにくかったり、又は各目標個体について膨大な量の処理パワーを必要としたりするものである。
他にも利点はあるが中でも、本開示は、更に、一般的な使用に供され得る方法、ユーザーデバイス、及びシステムを提供している。この点に関し、拡張現実デバイスの使用は、認定された保険医療提供者に限定されるものではない。また、拡張現実デバイスの可能性は、代表的な人体の解剖学的構造のコンピュータ生成された近似を出力し又は表示することであるとしてもよい。
他にも利点はあるが中でも、本開示は、更に、広範な適用可能性を提供している。拡張現実デバイスは、目標個体を次から次に相手にしながら一貫的かつ迅速に、しかも外部データの入力を必要とすることなく使用できる。
本明細書に記載のシステム及び技法の様々な実施形は、デジタル電子回路構成及び／又は光学回路構成、集積回路構成、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せ、に実現され得る。これらの様々な実施形は、専用か汎用かを問わず少なくとも１つのプログラム可能なプロセッサであって、データ及び命令をストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスから受信するように、及びデータ及び命令をストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスへ伝送するように、連結されている少なくとも１つのプログラム可能なプロセッサ、を含むプログラム可能なシステム上で実行可能及び／又は翻訳可能である１つ又はそれ以上のコンピュータプログラムでの実施形を含むことができる。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとしても知られている）は、プログラム可能なプロセッサのための機械命令を含み、高水準手続き型及び／又はオブジェクト指向型のプログラミング言語に、及び／又はアセンブリ／機械言語に、実施され得る。ここでの使用に際し、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械命令を機械可読信号として受信する機械可読媒体を含め、機械命令及び／又はデータをプログラム可能なプロセッサへ提供するのに使用される任意のコンピュータプログラム製品、非一時的コンピュータ可読媒介、装置、及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／又はデータをプログラム可能なプロセッサへ提供するのに使用される任意の信号を指す。
この明細書に記載のプロセス及び論理フローは、１つ又はそれ以上のコンピュータプログラムを実行して入力データに対するオペレーションと出力生成によって機能を遂行する、データ処理ハードウェアと呼ばれることもある１つ又はそれ以上のプログラム可能なプロセッサによって遂行され得る。プロセス及び論理フローは、同様に、専用論理回路構成、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって遂行されることもできる。コンピュータプログラムの実行に適したプロセッサには、一例として、汎用と専用の両方のマイクロコンピュータ、及び任意の種類のデジタルコンピュータの何れか１つ又はそれ以上のプロセッサが挙げられる。概して、プロセッサは、命令及びデータを、読み出し専用メモリ又はランダムアクセスメモリ又はそれら両方から受信するだろう。コンピュータの必須要素は、命令を遂行するためのプロセッサと、命令及びデータを記憶するための１つ又はそれ以上のメモリデバイスである。概して、コンピュータは、更に、データ記憶用の１つ又はそれ以上のマスストレージデバイス、例えば、磁気ディスク、光磁気ディスク、光ディスク、を含んでいるか、又はその様なマスストレージデバイスからデータを受信する又はマスストレージデバイスへデータを伝送する又はその両方を行うように動作可能に連結されているだろう。とはいえ、コンピュータはその様なデバイスを有していなくてもよい。コンピュータプログラム、命令、及びデータを記憶するのに適したコンピュータ可読媒体には、あらゆる形態の不揮発性メモリ、媒体、及びメモリデバイスが含められ、一例として半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば、内部ハードディスク又はリムーバブルディスク；光磁気ディスク；及びＣＤ ＲＯＭディスク及びＤＶＤ－ＲＯＭディスク、が挙げられる。プロセッサ及びメモリは、専用論理回路構成によって補完されていてもよいし、又は専用論理回路構成に組み入れられていてもよい。
ユーザーとの対話を提供するために、開示の１つ又はそれ以上の態様は、ユーザーへの情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（ブラウン管）、ＬＣＤ（液晶ディスプレイ）モニタ、又はタッチスクリーンと、随意的にはユーザーが入力をコンピュータへ提供できるようにするキーボード及びポインティングデバイス、例えばマウス又はトラックボールと、を有するコンピュータ上に実装され得る。ユーザーとの対話を提供するのに同様に他の種類のデバイスを使用することもでき、例えば、ユーザーへ提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであってもよいし、またユーザーからの入力は、音響入力、発話入力、又は触覚入力を含む任意の形態で受信されてもよい。加えて、コンピュータは、ユーザーによって使用されているデバイスへドキュメントを送信し及びユーザーによって使用されているデバイスからドキュメントを受信することによってユーザーと対話することができ、例えば、ユーザーのクライアントデバイス上のウェブブラウザから受信された要求に応えてウェブページをウェブブラウザへ送信することによって対話することができる。
ソフトウェアアプリケーション（即ち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを遂行させるコンピュータソフトウェアを指すとしてもよい。幾つかの実施例では、ソフトウェアアプリケーションは、「アプリケーション」、「アプリ」、又は「プログラム」と呼ばれることもある。例としてのアプリケーションには、限定するわけではないが、システム診断アプリケーション、システム管理アプリケーション、システム保守アプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、及びゲーミングアプリケーションが挙げられる。
非一時的メモリは、プログラム（例えば、命令のシーケンス）又はデータ（例えば、プログラム状態情報）を、コンピューティングデバイスによる使用のために、仮に又は永久的に記憶するのに使用される物理的なデバイスであるとしてもよい。非一時的メモリは、揮発性及び／又は不揮発性のアドレス可能な半導体メモリであってもよい。不揮発性メモリの例としては、限定するわけではないが、フラッシュメモリ及び読み出し専用メモリ（ＲＯＭ）／プログラム可能読み出し専用メモリ（ＰＲＯＭ）／消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ）／電子的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）（例えば、ブートプログラムの様なファームウェア向けに使用されるのが典型的）が挙げられる。揮発性メモリの例としては、限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、並びにディスク又はテープが挙げられる。
本願発明の実施例は、例えば、以下の通りである。
［実施例１］
身体を有する目標個体を検出する段階と、
前記目標個体をトラッキングする段階と、
ディスプレイ上に、前記身体の視覚的表現を表示する段階と、
前記身体の前記視覚的表現上に複数の参照マーカを識別する段階と、
プロセッサにて、前記複数の参照マーカに基づいて前記目標個体の解剖学的プロファイルを決定する段階であって、前記解剖学的プロファイルは複数の解剖学的特徴を含む、解剖学的プロファイルを決定する段階と、
前記ディスプレイ上に、前記身体の前記視覚的表現にオーバーレイさせた前記解剖学的特徴のグラフィカル表現を表示する段階であって、前記解剖学的特徴の前記グラフィカル表現は前記身体の前記視覚的表現上に前記解剖学的プロファイルに基づいて定位される、グラフィカル表現を表示する段階と、
を備えている方法。
［実施例２］
前記複数の参照マーカは、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する、実施例１に記載の方法。
［実施例３］
前記目標個体の前記解剖学的プロファイルは、更に、前記身体に対応した複数のデータに基づく、実施例１に記載の方法。
［実施例４］
前記複数の解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む、実施例１に記載の方法。
［実施例５］
前記複数の参照マーカは、前記ディスプレイと対話するユーザーによって識別される、実施例１に記載の方法。
［実施例６］
前記目標個体の前記解剖学的プロファイルは、前記複数の参照マーカに基づいて修正されるデフォルトの解剖学的プロファイルを含む、実施例１に記載の方法。
［実施例７］
ディスプレイと、
前記ディスプレイと通信しているデータ処理ハードウェアと、
前記データ処理ハードウェアと通信しているメモリハードウェアであって、前記データ処理ハードウェア上で実行されたときに前記データ処理ハードウェアに以下を含むオペレーションを遂行させる命令、即ち、
身体を有する目標個体を検出すること、
前記目標個体をトラッキングすること、
ディスプレイ上に、前記身体の視覚的表現を表示すること、
前記身体の前記視覚的表現上に複数の参照マーカを識別すること、
前記複数の参照マーカに基づいて前記目標個体の解剖学的プロファイルを決定することであって、前記解剖学的プロファイルは複数の解剖学的特徴を含む、解剖学的プロファイルを決定すること、及び、
前記ディスプレイ上に、前記身体の前記視覚的表現にオーバーレイさせた前記解剖学的特徴のグラフィカル表現を表示することであって、前記解剖学的特徴の前記グラフィカル表現は前記身体の前記視覚的表現上に前記解剖学的プロファイルに基づいて定位される、グラフィカル表現を表示すること、
を含むオペレーションを遂行させる命令、を記憶しているメモリハードウェアと、
を備えているユーザーデバイス。
［実施例８］
前記複数の参照マーカは、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する、実施例７に記載のユーザーデバイス。
［実施例９］
前記目標個体の前記解剖学的プロファイルは、更に、前記身体に対応した複数のデータに基づく、実施例７に記載のユーザーデバイス。
［実施例１０］
前記複数の解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む、実施例７に記載のユーザーデバイス。
［実施例１１］
前記複数の参照マーカは、前記ディスプレイと対話するユーザーによって識別される、実施例７に記載のユーザーデバイス。
［実施例１２］
前記複数の参照マーカは前記データ処理ハードウェアによって識別される、実施例７に記載のユーザーデバイス。
［実施例１３］
前記目標個体の前記解剖学的プロファイルは、前記複数の参照マーカに基づいて修正されるデフォルトの解剖学的プロファイルを含む、実施例７に記載のユーザーデバイス。
［実施例１４］
ユーザーデバイスであって、
第１のディスプレイ、
前記第１のディスプレイと通信しているデータ処理ハードウェア、
前記データ処理ハードウェアと通信しているメモリハードウェアであって、前記データ処理ハードウェア上で実行されたときに前記データ処理ハードウェアに以下を含むオペレーションを遂行させる命令、即ち、
身体を有する目標個体を検出すること、
前記目標個体をトラッキングすること、
前記第１のディスプレイ上に、前記身体の視覚的表現を表示すること、
前記身体の前記視覚的表現上に複数の参照マーカを識別すること、及び、
前記複数の参照マーカに基づいて前記目標個体の解剖学的プロファイルを決定することであって、前記解剖学的プロファイルは複数の解剖学的特徴を含む、解剖学的プロファイルを決定すること、
を含むオペレーションを遂行させる命令、を記憶しているメモリハードウェア、
を含んでいるユーザーデバイスと、
前記ユーザーデバイスと通信しているウェアラブル部であって、前記ウェアラブル部は、前記身体の前記視覚的表現にオーバーレイさせた前記解剖学的特徴のグラフィカル表現を表示するように構成された第２のディスプレイを含み、前記解剖学的特徴の前記グラフィカル表現は前記身体の前記視覚的表現上に前記解剖学的プロファイルに基づいて定位される、ウェアラブル部と、
を備えているシステム。
［実施例１５］
前記複数の参照マーカは、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する、実施例１４に記載のシステム。
［実施例１６］
前記目標個体の前記解剖学的プロファイルは、更に、前記身体に対応した複数のデータに基づく、実施例１４に記載のシステム。
［実施例１７］
前記複数の解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む、実施例１４に記載のシステム。
［実施例１８］
前記複数の参照マーカは、前記ディスプレイと対話するユーザーによって識別される、実施例１４に記載のシステム。
［実施例１９］
前記ウェアラブル部は、更に、前記ユーザーデバイスとは独立に前記目標個体を検知し及びトラッキングするように構成される、実施例１４に記載のシステム。
［実施例２０］
前記目標個体の前記解剖学的プロファイルは、前記複数の参照マーカに基づいて修正されるデフォルトの解剖学的プロファイルを含む、実施例１４に記載のシステム。
数多くの実施形を説明してきた。それでもなお、様々な修正が開示の精神及び範囲を逸脱することなくなされ得るものと理解しておきたい。したがって、他の実施形は付随の特許請求の範囲による範囲の内にある。
１０ 拡張現実システム
１００ 保健医療環境
１０２ 拡張現実デバイス
１０２ａ 第１の拡張現実デバイス
１０２ｂ 第２の拡張現実デバイス
１０４ ユーザー
１０５、１０５’ 視覚的表現
１０６、１０６’ 目標個体
１０８ 画像キャプチャデバイス
１０８ａ、１０８ｂ カメラ
１１０、１１０ａ、１１０ｂ ディスプレイ
１１１ トラックパッド
１１２、１１２ａ－１１２ｇ 参照マーカ
１１３ グラフィカル表現
１１４、１１４ａ－１１４ｃ 仮想画像
２００ システム
２０４ 拡張現実モジュール
２０８ ネットワーク
２１０ 検出モジュール
２１２ トラッキングモジュール
２１４ 入力モジュール
２１６ 解剖学モジュール
２１８ 解剖学的データベース
２２０ 解剖学的プロファイル
２２２ 解剖学的データ
２２４ 参照マーカ
４００ コンピューティングデバイス
４００ａ サーバー
４００ｂ ラップトップコンピュータ
４００ｃ ラックサーバーシステム
４１０ プロセッサ
４２０ メモリ
４３０ ストレージデバイス
４４０ 高速インターフェース／コントローラ
４５０ 高速拡張ポート
４６０ 低速インターフェース／コントローラ
４７０ 低速バス
４８０ ディスプレイ
４９０ 低速拡張ポート

Claims (19)

  1. 方法において、
    データ処理ハードウェアにて、ユーザーからの複数のジェスチャの入力を受け取る段階であって、ジェスチャの入力の各々が目標個体の１つ又はそれ以上の特定の位置に対応している、受け取る段階と、
    前記データ処理ハードウェアにて、前記１つ又はそれ以上の特定の位置に基づいた前記目標個体の解剖学的プロファイルを決定する段階であって、前記解剖学的プロファイルが解剖学的特徴を含んでいる、決定する段階と、
    前記データ処理ハードウェアにて、前記解剖学的特徴のグラフィカル表現を生成する段階であって、前記解剖学的プロファイルに基いて前記グラフィカル表現を前記目標個体の視覚的表現に重ね合わせるように構成されている、生成する段階と、
    を含んでおり、
    前記グラフィカル表現は前記目標個体の将来の状態に対応し、前記将来の状態は前記解剖学的特徴に対する変更を備える、方法。
  2. 前記データ処理ハードウェアを使用して、前記ジェスチャの入力に基づき、前記目標個体の前記視覚的表現上に複数の参照マーカを識別する段階を更に含む、請求項１に記載の方法。
  3. 前記１つ又はそれ以上の特定の位置は、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する、請求項１に記載の方法。
  4. 前記データ処理ハードウェアと通信する拡張現実デバイスを用意する段階であって、前記拡張現実デバイスが、拡張現実眼鏡、拡張現実ヘルメット、又は拡張現実ヘッドセットを備える、拡張現実デバイスを用意する段階を更に含む、請求項１に記載の方法。
  5. 前記解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む、請求項１に記載の方法。
  6. 前記目標個体の視覚的表現は、前記目標個体の現実世界のビューを備える、請求項１乃至５のいずれか１項に記載の方法。
  7. ユーザーデバイスにおいて、
    ディスプレイと、
    前記ディスプレイと通信している画像キャプチャデバイスと、
    前記ディスプレイと通信しているデータ処理ハードウェアと、
    前記データ処理ハードウェアと通信しているメモリハードウェアであって、前記データ処理ハードウェア上で実行されたときに前記データ処理ハードウェアに以下を含むオペレーションを遂行させる命令、即ち、
    前記データ処理ハードウェアにて、ユーザーからの複数のジェスチャの入力を受け取ることであって、ジェスチャの入力の各々が目標個体の１つ又はそれ以上の特定の位置に対応している、受け取ること、
    前記データ処理ハードウェアにて、前記１つ又はそれ以上の特定の位置に基づいた前記目標個体の解剖学的プロファイルを決定することであって、前記解剖学的プロファイルが解剖学的特徴を含んでいる、決定すること、及び
    前記データ処理ハードウェアにて、前記解剖学的特徴のグラフィカル表現を生成することであって、前記解剖学的プロファイルに基いて前記グラフィカル表現を前記目標個体の視覚的表現に重ね合わせるように構成されている、生成すること、を含むオペレーションを遂行させる命令、を記憶しているメモリハードウェアと、
    を備えており、
    前記グラフィカル表現は前記目標個体の将来の状態に対応し、前記将来の状態は前記解剖学的特徴に対する変更を備える、ユーザーデバイス。
  8. 前記オペレーションは、前記データ処理ハードウェアを使用して、前記ジェスチャの入力に基づき、前記目標個体の前記視覚的表現上に複数の参照マーカを識別することを更に含む、請求項７に記載のユーザーデバイス。
  9. 前記１つ又はそれ以上の特定の位置は、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する、請求項７に記載のユーザーデバイス。
  10. 前記ユーザーデバイスは、拡張現実眼鏡、拡張現実ヘルメット、又は拡張現実ヘッドセットを備える、請求項７に記載のユーザーデバイス。
  11. 前記解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む、請求項７に記載のユーザーデバイス。
  12. 前記目標個体の視覚的表現は、前記目標個体の現実世界のビューを備える、請求項７乃至１１のいずれか１項に記載のユーザーデバイス。
  13. システムにおいて、
    ユーザーデバイスであって、
    第１のディスプレイ、
    前記第１のディスプレイと通信しているデータ処理ハードウェア、並びに
    前記データ処理ハードウェアと通信しているメモリハードウェアであって、前記データ処理ハードウェア上で実行されたときに前記データ処理ハードウェアに以下を含むオペレーションを遂行させる命令、即ち、
    前記データ処理ハードウェアにて、ユーザーからの複数のジェスチャの入力を受け取ることであって、ジェスチャの入力の各々が目標個体の１つ又はそれ以上の特定の位置に対応している、受け取ること、
    前記データ処理ハードウェアにて、前記１つ又はそれ以上の特定の位置に基づいた前記目標個体の解剖学的プロファイルを決定することであって、前記解剖学的プロファイルが解剖学的特徴を含んでいる、決定すること、及び
    前記データ処理ハードウェアにて、前記解剖学的特徴のグラフィカル表現を生成すること、を含むオペレーションを遂行させる命令、を記憶しているメモリハードウェア、
    を含んでいるユーザーデバイスと、
    前記ユーザーデバイスと通信しているウェアラブル部であって、前記ウェアラブル部は、前記目標個体の視覚的表現に重ね合わせた前記解剖学的特徴のグラフィカル表現を表示するように構成された第２のディスプレイを含み、前記解剖学的特徴の前記グラフィカル表現は前記目標個体の前記視覚的表現上に前記解剖学的プロファイルに基づいて定位される、ウェアラブル部と、
    を備えており、
    前記グラフィカル表現は前記目標個体の将来の状態に対応し、前記将来の状態は前記解剖学的特徴に対する変更を備える、システム。
  14. 前記オペレーションは、前記データ処理ハードウェアを使用して、前記ジェスチャの入力に基づき、前記目標個体の前記視覚的表現上に複数の参照マーカを識別することを更に含む、請求項１３に記載のシステム。
  15. 前記１つ又はそれ以上の特定の位置は、臍部、胸骨の一部、臀部の一部、鎖骨の一部、又は肩部の一部のうちの少なくとも１つに対応する、請求項１３に記載のシステム。
  16. 前記ウェアラブル部は、拡張現実眼鏡、拡張現実ヘルメット、又は拡張現実ヘッドセットを備える、請求項１３に記載のシステム。
  17. 前記解剖学的特徴は、器官、骨、筋肉、又は血管のうちの少なくとも１つを含む、請求項１３に記載のシステム。
  18. 前記ウェアラブル部は、更に、前記ユーザーデバイスとは独立に前記目標個体を検知し及びトラッキングするように構成される、請求項１３に記載のシステム。
  19. 前記目標個体の視覚的表現は、前記目標個体の現実世界のビューを備える、請求項１３乃至１８のいずれか１項に記載のシステム。
JP2022135107A 2019-07-17 2022-08-26 拡張された解剖学的特徴を表示するためのシステム及び方法 Active JP7453708B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/514,163 US10832486B1 (en) 2019-07-17 2019-07-17 Systems and methods for displaying augmented anatomical features
US16/514,163 2019-07-17
JP2021577869A JP7137259B2 (ja) 2019-07-17 2020-07-15 拡張された解剖学的特徴を表示するためのシステム及び方法
PCT/US2020/042042 WO2021011596A1 (en) 2019-07-17 2020-07-15 Systems and methods for displaying augmented anatomical features

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021577869A Division JP7137259B2 (ja) 2019-07-17 2020-07-15 拡張された解剖学的特徴を表示するためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2022174119A JP2022174119A (ja) 2022-11-22
JP7453708B2 true JP7453708B2 (ja) 2024-03-21

Family

ID=73052007

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021577869A Active JP7137259B2 (ja) 2019-07-17 2020-07-15 拡張された解剖学的特徴を表示するためのシステム及び方法
JP2022135107A Active JP7453708B2 (ja) 2019-07-17 2022-08-26 拡張された解剖学的特徴を表示するためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021577869A Active JP7137259B2 (ja) 2019-07-17 2020-07-15 拡張された解剖学的特徴を表示するためのシステム及び方法

Country Status (5)

Country Link
US (1) US10832486B1 (ja)
EP (1) EP3998981A4 (ja)
JP (2) JP7137259B2 (ja)
CA (1) CA3147594A1 (ja)
WO (1) WO2021011596A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4041088A1 (en) * 2019-10-08 2022-08-17 Smith & Nephew, Inc. Methods for improved ultrasound imaging to emphasize structures of interest and devices thereof
EP4364668A1 (en) * 2022-11-03 2024-05-08 Koninklijke Philips N.V. A device, computer program product and method for assisting in positioning at least one body part of a patent for an x-ray acquisition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
JP2018022426A (ja) 2016-08-05 2018-02-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP2019087279A (ja) 2013-06-27 2019-06-06 アイサイト モバイル テクノロジーズ リミテッド デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002080773A1 (en) 2001-04-05 2002-10-17 Johns Hopkins University Augmentet reality apparatus and ct method
US20110313479A1 (en) * 2010-06-22 2011-12-22 Philip Rubin System and method for human anatomic mapping and positioning and therapy targeting
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
KR101711358B1 (ko) 2012-05-02 2017-02-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
US10037820B2 (en) 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US11096668B2 (en) * 2013-03-13 2021-08-24 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for displaying an object
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
WO2015145395A1 (en) 2014-03-28 2015-10-01 Alma Mater Studiorum - Universita' Di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US11147652B2 (en) * 2014-11-13 2021-10-19 Align Technology, Inc. Method for tracking, predicting, and proactively correcting malocclusion and related issues
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
JP2018516718A (ja) 2015-03-01 2018-06-28 アリス エムディー, インコーポレイテッドARIS MD, Inc. 拡張リアリティの形態学的診断法
US20180140362A1 (en) 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
RU2714665C2 (ru) 2015-05-20 2020-02-18 Конинклейке Филипс Н.В. Направляющая система для позиционирования пациента для медицинской визуализации
US20160370239A1 (en) * 2015-05-22 2016-12-22 Peter M. Cummings Body Motion Assessment Using Image Analysis
DE102015212806A1 (de) 2015-07-08 2017-01-12 Sirona Dental Systems Gmbh System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
AU2017227708A1 (en) * 2016-03-01 2018-10-18 ARIS MD, Inc. Systems and methods for rendering immersive environments
WO2017151963A1 (en) 2016-03-02 2017-09-08 Truinject Madical Corp. Sensory enhanced environments for injection aid and social training
CA3016346A1 (en) 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
US20170296292A1 (en) 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
CN105788390A (zh) 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CN206431875U (zh) 2016-04-29 2017-08-22 吉林医药学院 基于增强现实的医学解剖辅助教学系统
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
WO2018162079A1 (en) 2017-03-10 2018-09-13 Brainlab Ag Augmented reality pre-registration
WO2018165767A1 (en) 2017-03-17 2018-09-20 Intellijoint Surgical Inc. Systems and methods for augmented reality display in navigated surgeries
WO2018187748A1 (en) 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
US10895906B2 (en) 2017-04-20 2021-01-19 The Cleveland Clinic Foundation System and method for holographic image-guided non-vascular percutaneous procedures
WO2018195529A1 (en) 2017-04-21 2018-10-25 Samadani Uzma Using augmented reality in surgical navigation
CN107536643A (zh) 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
US10568602B2 (en) * 2017-09-06 2020-02-25 General Electric Company Virtual positioning image for use in imaging
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
IT201700103440A1 (it) 2017-09-15 2017-12-15 Torino Politecnico Sistema e metodo per fornire informazioni sul sistema neuromuscolare in realtà aumentata
US11024084B2 (en) * 2018-02-08 2021-06-01 Varian Medical Systems International Ag Systems and methods for providing medical information and for performing a medically-related process using augmented reality technology

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087279A (ja) 2013-06-27 2019-06-06 アイサイト モバイル テクノロジーズ リミテッド デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US20160324580A1 (en) 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
JP2018022426A (ja) 2016-08-05 2018-02-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、及び、表示装置の制御方法

Also Published As

Publication number Publication date
EP3998981A1 (en) 2022-05-25
JP7137259B2 (ja) 2022-09-14
US10832486B1 (en) 2020-11-10
EP3998981A4 (en) 2023-08-02
WO2021011596A1 (en) 2021-01-21
JP2022174119A (ja) 2022-11-22
JP2022536544A (ja) 2022-08-17
CA3147594A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP7453708B2 (ja) 拡張された解剖学的特徴を表示するためのシステム及び方法
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
Desselle et al. Augmented and virtual reality in surgery
US11776123B2 (en) Systems and methods for displaying augmented anatomical features
Ullah et al. Exploring the potential of metaverse technology in healthcare: Applications, challenges, and future directions
Athar et al. Applications and possible challenges of healthcare metaverse
Kanevsky et al. Making augmented and virtual reality work for the plastic surgeon
Sugimoto Cloud XR (extended reality: virtual reality, augmented reality, mixed reality) and 5g mobile communication system for medical image-guided holographic surgery and telemedicine
Spanakis et al. Secure access to patient's health records using SpeechXRays a mutli-channel biometrics platform for user authentication
Taghian et al. Virtual and augmented reality in biomedical engineering
Gupta et al. Augmented reality based human-machine interfaces in healthcare environment: benefits, challenges, and future trends
Castelan et al. Augmented reality anatomy visualization for surgery assistance with HoloLens: AR surgery assistance with HoloLens
Wong et al. Mixed reality improves 3D visualization and spatial awareness of bone tumors for surgical planning in orthopaedic oncology: a proof of concept study
Keswani et al. World of virtual reality (VR) in healthcare
Rutkin Digital mirror revelas what lies under your skin
US20230290085A1 (en) Systems and Methods for Displaying Layered Augmented Anatomical Features
CA3194439A1 (en) Systems and methods for displaying augmented anatomical features
US20240046555A1 (en) Arcuate Imaging for Altered Reality Visualization
Menon et al. On the suitability of current Augmented Reality head-mounted devices
Dagli Application of metaverse and immersive technology in cancer care
Kolivand et al. Virtual surgery, applications and limitations
Jiménez-Pérez et al. Mobile devices in the context of bone fracture reduction: challenges and opportunities
Moglia et al. Mixed Reality and Artificial Intelligence: A Holistic Approach to Multimodal Visualization and Extended Interaction in Knee Osteotomy
Proniewska et al. Overview of the holographic-guided cardiovascular interventions and training–a perspective
Sirse et al. CHAR: A Novel Cloud-Based Live Health Augmented Reality Framework

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240301

R150 Certificate of patent or registration of utility model

Ref document number: 7453708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150