JP7292878B2 - 患者アバターを用いた医療記録システム - Google Patents

患者アバターを用いた医療記録システム Download PDF

Info

Publication number
JP7292878B2
JP7292878B2 JP2018548337A JP2018548337A JP7292878B2 JP 7292878 B2 JP7292878 B2 JP 7292878B2 JP 2018548337 A JP2018548337 A JP 2018548337A JP 2018548337 A JP2018548337 A JP 2018548337A JP 7292878 B2 JP7292878 B2 JP 7292878B2
Authority
JP
Japan
Prior art keywords
medical
avatar
patient
timeline
content item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018548337A
Other languages
English (en)
Other versions
JP2019514105A (ja
Inventor
オリバー クレスポ ディアス
ユーリ ヘイバーマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Becton Dickinson and Co
Original Assignee
Becton Dickinson and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Becton Dickinson and Co filed Critical Becton Dickinson and Co
Publication of JP2019514105A publication Critical patent/JP2019514105A/ja
Priority to JP2022005543A priority Critical patent/JP2022064915A/ja
Application granted granted Critical
Publication of JP7292878B2 publication Critical patent/JP7292878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、医療情報システムに関し、具体的には、3Dアバターを用いて医療情報を表示する方法及びシステムに関する。
医者又は病院への通院中には、医者が患者を診察し、その後にこの受診情報(encounter)を医療情報システムに記録する。このような受診中、医者は、大量の医療情報を生成して素早く正確に患者の診療記録に記憶する必要がある。記憶される医療情報は、例えば患者に取り付けられた医療機器及びセンサによって生成された医療データを含むことができる。
医者は、自身のメモを医療情報システムにタイピング又は口述録音することができる。しかしながら、このようなタイピング又は口述録音には時間が掛かることがあり、医者が記録した全ての異なるタイプの情報が後で検索できるように単純かつ便利なフォーマットで正確にリンクされないこともある。
本明細書では、患者アバターを用いて医療情報の表示及び記録を行う装置及び方法を開示する。1つの例では、装置が、1又は2以上のセンサと、これらのセンサに動作可能に結合されたプロセッサと、プロセッサに動作可能に結合されたメモリ要素とを含み、プロセッサ及びメモリ要素が、3D患者アバターを表示して3Dアバター上に医療情報の第1の内容項目を表示するように集合的に構成される。1つの例では、方法が、3Dアバターを表示するステップと、この3Dアバター上に医療情報の第1の内容項目を表示するステップとを含む。
3Dアバター医療情報システムが実装する3Dアバターを用いた医療専門家と医療情報との間の例示的な相互作用を示す概略図である。 医療専門家と医療記録との間の例示的な相互作用を示す概略図である。 医療専門家と疾病タイムラインとの間の例示的な相互作用を示す概略図である。 医療専門家による、新たな医療記録の作成と、3Dアバター上への新たな医療記録のピニングとを示す概略図である。 ホログラフィックアイウェア、3Dアバター医療情報システム及び電子医療記録システムの例示的な動作環境を示すブロック図である。
以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図面では、文脈において別途指示していない限り、通常は同様の構成要素を同様の符号によって識別する。詳細な説明に記載する例示的な実施形態、図面及び特許請求の範囲は、限定を意図するものではない。本明細書に示す主題の趣旨又は範囲から逸脱することなく、他の実施形態の利用及び他の変更を行うこともできる。本明細書で大まかに説明して図に示す本開示の態様は、様々な異なる構成での配置、置換、組み合わせ、分離及び設計が可能であり、これらの全てが本明細書で想定されていると容易に理解されるであろう。
本明細書に開示する3Dアバター医療情報システムの例示的な実施形態は、以下に限定するわけではないが、医師、看護師、医療専門家、医療提供者、医療管理職員及び病院管理者を含む様々な人物が操作又は利用することができる。簡潔にするために、以下ではこれらのユーザを「医療専門家」と呼ぶ。医療専門家は、3Dアバター医療情報システムのユーザであることができる。患者も、3Dアバター医療情報システムのユーザであることができる。
本発明の実施形態は、「3Dアバター」と呼ばれる患者の3次元表現を医療専門家に提示するシステム及び方法に関する。3Dアバターは、医療専門家が特殊なヘッドセット、バイザー、眼鏡、アイウェアを着用した時に、又は3次元画像を表示するように構成された特製のディスプレイを覗いた時に見える。3Dアバターは、人体を3次元で表現する。この3Dアバターを用いて、患者の医療情報を患者の特定の部位にリンクさせることができる。例えば、左膝の手術からの回復期の患者が医師の診察を受けることがある。医師は、後述するように構成されたホログラフィックアイウェアを着用して、患者の医療記録を表す3Dアバター画像を生成することができる。医師は、アバターの左膝の位置に関連するファイルのグラフィック表示(graphical indicium)を確認する。アイウェアシステムは、医師の指の位置を記録することができる。アイウェアシステムは、医師が左膝に関連するファイル画像のグラフィック表示にタッチしたかどうかを判断することができる。アイウェアシステムは、医師が左膝に関連するファイルを選択したと判断した場合、患者の左膝に関連するx線写真、メモ、手術の詳細及びその他の情報などの手術記録を表示することができる。これにより、システムは、特定の患者の医療情報を医師によるアクセス及び理解が容易な形で都合良く直感的に記憶できるようになる。
なお、2次元「2D」及び3次元「3D」アバターは、患者の医療を管理するための1又は2以上の相互作用的画像の非限定的な例であると理解されたい。いくつかの実施形態では、本明細書に開示するシステム及び方法が、3Dアバターを利用して患者医療情報の取り込み及び医療記録の維持を行う。この3Dアバターは、ホログラフィック3Dアバターとすることができる。本明細書に開示する方法及びシステムを実装する技術の非限定的な例としては、複合現実技術、拡張現実技術及び仮想現実技術が挙げられる。
システムアーキテクチャ
図1は、3Dアバター医療情報システム(3D AMIS)104が実装する3Dアバター102を用いた医療専門家100と医療情報との間の例示的な相互作用を示す概略図である。医療専門家100は、アバター又はその他の情報の3D表現を表示するように構成されたホログラフィックアイウェア106を用いて3Dアバター医療情報システム104と相互作用することができる。Microsoft(登録商標)HoloLens(登録商標)は、本発明の実施形態において使用できる1つのホログラフィックアイウェアタイプの非限定的な例である。他の非限定的なホログラフィックアイウェアの例としては、Google Glass(登録商標)、Oculus Rift(登録商標)、Sony(登録商標)Glasstron(商標)、及びHTC Vive(登録商標)が挙げられる。
一般に、ホログラフィックアイウェア106は、医療専門家の視野内に3D画像を提示するために、医療専門家の片方の目に1つずつの2つのレンズを含む。ホログラフィックアイウェア106は、これらの2つのレンズを介して、例えば医療情報などの情報を医療専門家100に表示することができる。いくつかの実施形態では、ホログラフィックアイウェア106が、ホログラフィックアイウェア106と有線又は無線で通信する1又は2以上のオーディオ装置(例えばスピーカ及びイヤホン)を用いて医療専門家100と通信することができる。
ホログラフィックアイウェア106は、ホログラフィックアイウェア106と有線又は無線で通信する1又は2以上のセンサを用いて医療専門家の指示又は命令をモニタして判別するように構成される。医療専門家100は、自身のジェスチャを用いてホログラフィックアイウェア106に指示を与えることができる。これに加えて、又はこれとは別に、医療専門家100は、自身の指、手、腕又は脚(又はいずれかの身体部分)、或いは医療専門家100につながっている他の物体を用いてホログラフィックアイウェア106に指示を与えることもできる。
ホログラフィックアイウェア106は、ネットワーク108を介して3Dアバター医療情報システム104と有線又は無線で通信することができる。3Dアバター医療情報システム104は、ホログラフィックアイウェア106が医療専門家100に表示する医療記録などの医療情報を電子医療記録システム(EMRS)110から検索するように構成することができる。電子医療記録システム110から検索された医療情報は、2又は3以上のホログラフィックアイウェア106及び/又は2又は3以上の3Dアバター医療情報システム104が取り込んで記録することもできる。いくつかの実施形態では、電子医療記録システム110から検索された医療情報を、ホログラフィックアイウェア106及び3Dアバター医療情報システム104以外のシステムが取り込んで記録することもできる。このようなシステムが取り込んで記録する医療情報の非限定的な例としては、例えばMRI装置、X線装置及び血液分析器などの、3Dアバター医療情報システム104の一部ではない医療機器が挙げられる。
いくつかの実施形態では、2人又は3人以上の医療専門家及び患者が、2又は3以上のホログラフィックアイウェア106を用いて3Dアバター医療情報システム104と同時に相互作用することができる。2人又は3人以上の医療専門家100は、互いに近くに存在することも、又は遠くに存在することもでき、システムは、ネットワーク108を介してこれらの医療専門家を互いにリンクすることができる。
3Dアバター
1つの実施形態では、患者の医療情報と共に3Dアバター102を表示することができる。患者の医療情報は、3Dアバター102の上位又は下位に出現するように表示することができる。患者の医療情報は、3Dアバター102に重なるように又は隣接するように表示することもできる。表示される医療情報は、電子医療記録システム110に記憶されている患者の医療情報の一部又は全部を含むことができる。表示される医療情報は、患者の現在又は過去の医者又は病院への通院中に取り込んで記録しておくことができる。表示される医療情報は、疾病、疾病事例、関連する疾病群又は医学専門領域に関連することができる。
医療記録
医療情報は、医療記録111を含むことができる。ホログラフィックアイウェア106は、その1又は2以上のレンズを用いて、医療記録111を医療記録内容項目114A~Cとして医療専門家100に表示することができる。医療記録111は、3Dアバター102と共に表示することができる。表示される医療記録111は、例えば疾病のタイプ、疾病の重症度、症状、疾病の進行及び治癒、医学上の専門性に基づいてグループ化することができる。表示される医療記録111は、医療記録111を作成した医者、又は医療記録111の作成時の通院に基づいてグループ化することもできる。図1には、医療記録111を疾病のタイプによって「頭痛」112A、「発疹」112B、「火傷」112Cという医療情報カテゴリにグループ化できることを示す。カテゴリ112A、112B及び112Cの医療記録111は、それぞれ医療記録内容項目114A、114B及び114Cとして表示することができる。医療記録内容項目は、医療記録111のプレビューを含むことができる。
ホログラフィックアイウェア106は、記録された内容項目114A~Cを3Dアバター102に関する異なる地理的位置に表示するように構成される。3Dアバター医療情報システム104は、医療記録に記憶されているデータを参照することによって医療記録内容項目114A~Cの位置を決定することができる。いくつかの実施形態では、医療専門家が、医療記録内容項目114A~Cを作成する際に医療記録内容項目114A~Cの位置を決定する。いくつかの実施形態では、取り込まれて最初に記録された時に位置情報が決定されていない既存の医療記録内容項目について、医療専門家が医療記録内容項目114A~Cの位置を決定する。
医療記録内容項目114A~Cは、例えば3Dアバター102の上位に、3Dアバター102に重なって、3Dアバター102の下位に、又は3Dアバター102に隣接して出現するように表示することができる。いくつかの実施形態では、医療記録内容項目114A~Cを、例えば3Dアバターの頭部、腕、脚、腎臓又は肝臓などの、人物の臓器に対応する3Dアバター102上の位置の空間的近傍に出現するように表示することができる。医療専門家100は、例えば患者の状態、疾病の進行及び治癒を反映させることが望ましい又は必要である時に、3Dアバター102に関する異なるピニング位置に医療記録内容項目114A~Cを動かすことができる。例えば、医療専門家100は、医療記録内容項目114Cを3Dアバター102の右膝から左膝に動かすために、医療記録内容項目114Cを表すグラフィック表示に1本又は2本以上の指で「タッチ」し、これらの指を3Dアバター102の右膝から左膝に動かすことができる。ホログラフィックアイウェア106は、このような「タッチ」及び「動き」を取り込む1又は2以上の画像センサを含むことができる。
図1に示すように、「頭痛」カテゴリ112Aの医療記録内容項目114Aは、3Dアバター102の頭部の、患者が頭痛を感じていた又は感じている箇所の空間的近傍に出現するように表示することができる。「発疹」カテゴリ112Bの医療記録内容項目114Bは、患者の右前腕の発疹に関連することができ、従って3Dアバター102の右前腕の上位に出現するように表示することができる。「火傷」カテゴリ112Cの医療記録内容項目114Cは、右膝蓋骨上の火傷に関連することができ、従って3Dアバター102の右膝蓋骨に重ねて表示することができる。
記憶される医療記録111に含めることができるデータタイプの非限定的な例としては、テキストデータ、2Dデータ、3Dデータ、オーディオデータ、ビデオデータ、又はこれらのいずれかの組み合わせが挙げられる。医療記録111は、例えば今もなおデータが収集されている最中のリアルタイムMRIデータなどのリアルタイムデータを含むこともできる。医療記録111は、疾病又は症状の重症度及び継続期間と、薬剤の投与量、タイミング及び結果を含む治療歴と、その疾病又は症状に関する患者の家族の履歴とに関するテキストデータとすることもできる。テキストデータは、医療専門家及び患者によるメモ及び観察記録とすることができる。テキストデータは、検査結果及び患者情報を含むこともできる。患者情報は、名前、住所、電話番号、最近親者の連絡先、主治医の名前、住所及び電話番号、誕生日、目の色、眼鏡の処方箋、コンタクトレンズの使用、血液型、アレルギー、投薬、その用量と頻度、処置及び手術、これらに関連する日付及び転帰、家族の病歴、糖尿病の病状、ペースメーカーの使用、履歴及びモデル、例えばアルツハイマーの症状などの病徴、心臓ステントの存在、疼痛ポンプの使用、癌の病歴、化学療法のタイプ、期間、過程及び履歴、補聴器の使用、義歯の存在、保険情報、ワクチンの接種履歴、幼少期の病歴、大腸内視鏡検査の結果、又はこれらのいずれかの組み合わせを含むことができる。
2Dデータ及び3Dデータは、患者の写真ID、指紋、目の画像、バイオメトリック情報、超音波画像、歯科X線画像、母斑の光学画像、コンピュータ断層撮影(「CT」)画像、陽電子放射断層撮影(「PET」)画像、単一光子放射コンピュータ断層撮影(「SPECT」)画像、超音波(「US」)画像、X線画像、マンモグラフィ、磁気共鳴撮像(「MRI」)画像、拡散テンソル撮像(「DTI」)画像、磁気共鳴血管造影図(「MRA」)、コンピュータ断層血管造影(CTA)画像、コンピュータ光学断層撮影(「COT」)画像などの医療光学撮像(「MOI」)画像、中性子誘発放射コンピュータ断層撮影(「NSECT」)画像、二重エネルギーx線吸収測定(「DEXA」)画像、デジタル放射線写真、ダクトグラフィ、超音波検査画像、サーモグラフィ、電気インピーダンス断層撮影画像、脳磁図(「MEG」)、心電図(「EKG」)、脳波図(「EEG」)、又はこれらのいずれかの組み合わせを含むことができる。オーディオデータは、医療専門家及び患者の音声録音とすることができる。ビデオデータは、医療専門家が行った治療及び患者の挙動の録画とすることができる。
いくつかの実施形態では、患者が口頭などで医療記録111を提供することができる。医療記録111は、電子医療記録システム110に記憶されるように、医療専門家が3Dアバター医療情報システム104に入力することができる。いくつかの実施形態では、3Dアバター医療情報システム104が電子医療記録システム110から医療記録111を検索することができる。3Dアバター医療情報システム104が電子医療記録システム110から検索する医療記録111は、様々な専門性の医療専門家を含む他の医療専門家が様々な病院、都市、州及び国において作成した医療記録111を含むことができる。電子医療記録システム110から検索される医療記録111は、同時に記録することも、又は異なる時点で記録することもできる。
ユーザメニュー
ホログラフィックアイウェア106は、ユーザメニュー120を表示することができる。ユーザメニュー120は、3Dアバター102の上位に、3Dアバター102に重なって、3Dアバター102の下位に、又は3Dアバター102に隣接して出現するように表示することができる。ユーザメニュー120は、「患者情報の表示」122A、「検査の指示」122B、「タイムラインの表示」122C及び「新たな医療記録の作成」122Dなどのメインメニュー内容項目を含むことができる。「患者情報の表示」というメインメニュー内容項目122Aは、「現在の状態」130A、「治療歴」130B、「To Doリスト」130C及び「その他」の患者情報表示130Dの表示などのサブメニュー内容項目を含むことができる。「検査の指示」というメインメニュー内容項目122Bは、「MRI」140A、「X線」140B、「血液検査」140C及び「その他」の検査140Dの指示などのサブメニュー内容項目140を含むことができる。
「タイムラインの表示」というメインメニュー内容項目122Cは、例えば3Dアバター102上に表示された医療記録111のタイムラインを表示するためのサブメニュー内容項目を含むことができる。これらのサブメニュー内容項目は、医療情報カテゴリ112A~Cに基づいて表示されるように医療記録111をグループ化することができる。例えば、「タイムラインの表示」のメインメニュー内容項目122Cは、サブメニュー内容項目150Aである「頭痛」カテゴリ112A、サブメニュー内容項目150Bである「発疹」カテゴリ112B、サブメニュー内容項目150Cである「火傷」カテゴリ112C及びサブメニュー内容項目150Dである「その他」の医療情報カテゴリのタイムラインを表示するためのサブメニュー内容項目を含むことができる。「新たな医療記録の作成」というメインメニュー内容項目122Dは、例えば新たな「テキスト」医療記録160A、新たな「オーディオ」医療記録160B、新たな「ビデオ」医療記録160C及び新たな「その他」の医療記録160Dなどの様々なデータ型の新たな医療記録を作成するためのサブメニュー内容項目を含むことができる。
内容項目は、メインメニュー内容項目122A~Dと、サブメニュー内容項目130A~D、140A~D、150A~D及び160A~Dと、医療記録内容項目114A~Cとを含む。様々な内容項目は、アイコン、画像、医療記録、テキストデータ、2Dデータ、3Dデータ、オーディオデータ、ビデオデータ、プレビュー、概要、又はこれらのいずれかの組み合わせを含み、又はこれらに関連することができる。
医療専門家と3Dアバター医療情報システムとの相互作用
医療専門家100は、例えば内容項目に関連する表示画像上で指を上下させることで様々な内容項目に「タッチ」して3Dアバター102及びユーザメニュー120と相互作用することによって、3Dアバター医療情報システム104と相互作用することができる。例えば、医療専門家100は、「発疹」カテゴリ112Bのさらなる情報を見るために、「発疹」カテゴリ112Bの医療記録内容項目114Bが3Dアバター102の前方空間に浮かんで見えている時にこれに「タッチ」170することができる。医療専門家100は、タイムラインとして示されている「火傷」カテゴリ112Cの医療記録111を見るために、「火傷」カテゴリ112Cの医療記録111に対応するサブメニュー内容項目150Cを「タッチ」172することができる。医療専門家100は、新たな医療記録を作成するために、新たな「オーディオ」医療記録を作成するためのサブメニュー内容項目160Bに「タッチ」174することができる。空間内に出現する様々な内容項目と相互作用する能力は、医療専門家の指が3次元空間内で動いた時にこれらの指の位置を特定するヘッドセット内の画像センサ(例えば、カメラ)によって制御することができる。
医療専門家100と3Dアバター医療情報システム104との相互作用の他の非限定的な例としては、3Dアバター102上でのズームイン及びズームアウト、3Dアバター102の回転、及び3Dアバター102の配向が挙げられる。医療専門家100は、3Dアバター102上でズームイン又はズームアウトを行いたいと望む時には、3Dアバター102に2本の指で「タッチ」し、これら指を互いに遠ざけ又は近づけて「動かす」ことができる。ホログラフィックアイウェア106は、このような「タッチ」及び「動き」が生じたと判断すると、拡大又は縮小された3Dアバター102を医療専門家100に表示することができる。
タッチ
医療専門家100は、内容項目に「タッチ」すると、ホログラフィックアイウェア106を通じて、1本又は2本以上の自分の指、手、腕、脚、或いは自分とつながっている1又は2以上の物体が内容項目を表す図形表示に接触する様子が見える。ホログラフィックアイウェア106は、例えばホログラフィックアイウェア106のセンサを用いてこのような接触が生じたと判断する。ホログラフィックアイウェア106は、このような接触が生じたと判断すると、医療専門家100が「タッチ」した内容項目に対するプログラムされた応答に基づいて、医療専門家100への表示を更新することができる。
医療専門家と3Dアバターとの相互作用
図2は、医療専門家100と3Dアバター102上に表示された医療記録との例示的な相互作用を示す概略図である。医療専門家100は、「発疹」カテゴリ112Bのさらなる情報を取得するために、表示された「発疹」カテゴリ112Bの医療記録内容項目114Bのグラフィック表現又はグラフィック表示に「タッチ」することができる。ホログラフィックアイウェア106は、表示された「発疹」112Bの医療記録内容項目114Bのグラフィック表現に医療専門家100が「タッチ」したと判断すると、医療記録内容項目114Bが「タッチ」されたことに基づいて、医療専門家100に示す表示を更新することができる。図2には、本開示のいくつかの実施形態において医療専門家100に示される更新後の表示を示す。
更新後の医療記録内容項目114B’は、医療記録内容項目114Bの拡大版とすることができる。いくつかの実施形態では、更新後の医療記録内容項目114B’が、「発疹」カテゴリ112Bのさらに詳細な医療記録を医療専門家100に示すことができる。ホログラフィックアイウェア106は、例えば右前腕を強調表示ボックス202Bで強調表示することによって、医療記録内容項目114B’が患者の右前腕上の発疹に関連している旨を示すことができる。
ホログラフィックアイウェア106が更新後の医療記録内容項目114B’を医療専門家100に表示すると、医療専門家100は、この更新後の医療記録内容項目114B’と相互作用することができる。例えば、医療専門家100は、更新後の医療記録内容項目114B’上で、例えば自分の指を動かすことによってズームインを行うことができる。医療専門家100は、更新後の医療記録内容項目114B’上でズームインを行いたいと望む場合、表示された更新後の医療記録内容項目114B’のグラフィック表現に2本の指で「タッチ」し、これら指を互いに遠ざけて動かすことができる204。ホログラフィックアイウェア106は、このような「タッチ」及び「動き」が生じたと判断すると、更新後の医療記録内容項目114B”を表示することができる。更新後の医療記録内容項目114B’及び114B”は、同じサイズ又は異なるサイズを有することができる。医療専門家100と3Dアバター医療情報システム104との他の非限定的な相互作用の例としては、ズームアウト、クリックして拡大、及びユーザメニュー120に戻る、が挙げられる。
疾病タイムライン
図3は、医療専門家100と疾病タイムラインとの例示的な相互作用を示す概略図である。医療専門家100は、強調表示ボックス202Cに関連する記録、或いは強調表示ボックス202C内に表示又は要約された記録を見るために、「火傷」カテゴリのサブメニュー内容項目に「タッチ」することができる。システムは、火傷に関する経時的な情報を含むタイムライン302を表示することができる。医療専門家100は、タイムライン302を用いて患者の疾病の進行及び回復をモニタし、異なる治療過程が実行可能であるかどうか又は望ましいかどうかを判断することができる。タイムライン302は、各医学的問題が身体のどこで診断されたかに基づいて、医療記録を視覚的かつ直感的に編成して表示することができる。患者が後で再び医者又は病院を訪れた場合、医療専門家100は、以前の通院からの医療記録のタイムライン302を調べることができる。いくつかの実施形態では、医療専門家100が、タイムライン302をスクロールして以前の通院からの様々な医療記録を見直すことができる。
タイムライン302を有する更新後の医療記録内容項目114C’は、例えばテキストデータ、2Dデータ、3Dデータ、オーディオデータ、ビデオデータ、プレビュー、概要、又はこれらのいずれかの組み合わせなどの様々なデータ型の複数の医療記録内容項目を含むことができる。例えば、図3では、更新後の医療記録内容項目114C’内に3つの医療記録内容項目312A~312Cが示されている。医療記録内容項目312A~312Cは、それぞれテキストデータ、オーディオデータ及びビデオデータとすることができる。医療記録内容項目312A~312Cは、異なる時点における患者の疾病の進行及び回復のタイムラインを表すことができる。例えば、医療記録内容項目312Aのテキストデータは、例えば7月23日などの第1の時点における火傷に関する医療専門家100が書いたメモ及び観察記録とすることができる。医療記録内容項目312Bのオーディオデータは、例えば8月24日などの第1の時点よりも後の第2の時点における火傷に関する医療専門家100による音声メモ及び音声観察記録とすることができる。医療記録内容項目312Cとして表示されるビデオ医療記録は、例えば9月15日などの第1及び第2の時点よりも後の第3の時点における火傷のビデオデータを含むことができる。
ホログラフィックアイウェア106は、例えば右膝蓋骨を強調表示ボックス202Cで強調表示することによって、医療記録内容項目114C’が右膝蓋骨上の火傷に関連する旨を示すことができる。ホログラフィックアイウェア106が更新後の医療記録内容項目114C’を医療専門家100に表示すると、医療専門家100は、この更新後の医療記録内容項目114C’と相互作用することができる。例えば、医療専門家100は、例えば指を動かしてスクロール310することによって、図示の医療記録内容項目302の第1の時点よりも前の医療記録内容項目を見ることができる。医療専門家100は、スクロール310したいと望む場合、更新後の医療記録内容項目114C’のグラフィック表示に1本の指で「タッチ」し、例えば医療記録内容項目312Aの第1の時点よりも前の時点に対応する左方向に指を「動かす」ことができる。アイウェア106上の画像センサは、この指の動きをモニタして取り込むことにより、医療専門家100が表示中の記録以外の記録を見直したいと望んでいると判断することができる。ホログラフィックアイウェア106は、このような「タッチ」及び「動き」が生じたと判断すると、更新後の医療記録内容項目114C”を表示することができる。
いくつかの実施形態では、医療専門家100が、例えば指を動かすことによって医療記録内容項目312Cのビデオ医療記録を見ることができる。医療専門家100は、医療記録内容項目312Cのビデオ医療記録を見たいと望む場合、医療記録内容項目312に1本の指で「タッチ」320することができる。ホログラフィックアイウェア106は、このような「タッチ」が行われたと判断すると、医療記録内容項目312Cのビデオ医療記録を表示することができる。医療専門家100と更新後の医療記録内容項目114C’との他の非限定的な相互作用の例としては、ズームイン、ズームアウト、クリックして拡大、及びユーザメニュー120に戻る、が挙げられる。
患者タイムライン
いくつかの実施形態では、ホログラフィックアイウェア106が、医療専門家100に患者のタイムラインを表示することができる。このタイムラインは、患者の医療記録が利用可能な時点を表示することができる。医療専門家100は、タイムラインをスクロールして、異なる時点における患者の医療記録を調べることができる。医療専門家100がタイムラインをスクロールするにつれ、医療記録の表示は、異なる時点における患者の病状及び患者の医療記録の利用可能性に基づいて変化することができる。医療専門家100は、このタイムラインを用いて患者の健康及び疾病の経時的な進行をモニタすることができる。
医療専門家100は、タイムラインのグラフィック表示に1本の指で「タッチ」し、例えば第1の時点からその後の第2の時点への移動に対応する右方向に指を「動かす」ことによって、タイムラインを図形入力としてスクロールすることができる。アイウェア106上の画像センサは、この動きをモニタして取り込むことにより、医療専門家100が第1の時点から第2の時点にスクロールしたいと望んでいると判断することができる。ホログラフィックアイウェア106は、このような「タッチ」及び「動き」が生じたと判断すると、3Dアバター106上に更新後の医療記録内容項目を表示することができる。例えば、第1の時点では、患者が肝臓癌を有している可能性があり、ホログラフィックアイウェア106は、肝臓癌に関する医療記録を、3Dアバターの肝臓の空間的近傍に出現する医療記録内容項目として表示することができる。第2の時点では、肝臓癌が患者の肺及び脳に転移している可能性がある。医療専門家100が第2の時点にスクロールすると、ホログラフィックアイウェア106は、これらの転移に関する医療記録を、肺及び脳に対応する3Dアバターの位置の空間的近傍に出現する2つの医療記録内容項目として表示することができる。
記録の作成
図4は、医療専門家100による、新たな医療記録の作成と、3Dアバター上への新たな医療記録のピニングとを示す概略図である。患者は、医者又は病院への通院中に、例えば左足首112Dの骨折などの新たな疾病又は症状を患っていることを医療専門家100に告げることがある。医療専門家100は、左足首112Dの骨折についての新たな医療記録を作成するために、表示された新たな「オーディオ」記録を作成するためのサブメニュー内容項目のグラフィック表現に「タッチ」することができる。いくつかの実施形態では、医療専門家100が新たな医療記録を取り込んで記録すると、ホログラフィックアイウェア106は、例えば図3に示すタイムライン302などのタイムラインを医療専門家100に表示することができる。
ホログラフィックアイウェア106は、医療専門家100が新たなオーディオ医療記録を記録するためのサブメニュー内容項目の表示グラフィック表現に「タッチ」したと判断すると、新たなオーディオ医療記録を記録するための記録メニュー内容項目400を示すように表示を更新することができる。記録メニュー内容項目400のグラフィック表現は、1又は2以上のサブメニュー内容項目402A~Dを含むことができる。非限定的な1又は2以上の新たなサブメニュー内容項目の例としては、新たなオーディオ医療記録を記録するためのサブメニュー内容項目402A、新たなオーディオ医療記録の記録を一時停止するためのサブメニュー内容項目402B、新たなオーディオ医療記録を記録しながら巻戻しを行うためのサブメニュー内容項目402C、及び新たなオーディオ医療記録を記録しながら早送りを行うためのサブメニュー内容項目402Dが挙げられる。
ホログラフィックアイウェア106が医療専門家100に記録メニュー内容項目400を表示すると、医療専門家100は、表示された新たなオーディオ医療記録を記録するためのサブメニュー内容項目402Aのグラフィック表現を「タッチ」することによって記録メニュー内容項目400と相互作用することができる。1つの例では、アイウェア106が、医療専門家の指の位置を検出して内容項目が「タッチ」されたと判断する1又は2以上のセンサを含む。ホログラフィックアイウェア106は、新たなオーディオ医療記録を記録するための1又は2以上のマイクを含むこともできる。医療専門家100は、新たなオーディオ医療記録を作成したら、この新たなオーディオ医療記録を3Dアバター102の左足首のピニング位置にピニング412することができる。この新たなオーディオ医療記録は、左足首112Dの骨折箇所のピニング位置に医療記録内容項目114Dとして表示することができる。ホログラフィックアイウェア106は、医療専門家100に、3Dアバター102の左足首に対する新たな医療記録内容項目114Dのピニングを確認410するように要求することができる。いくつかの実施形態では、ホログラフィックアイウェア106が、医療記録をピニング位置にピニングする必要なく、例えば3Dアバター102の左足首などの新たなオーディオ医療記録のためのピニング位置を特定することができる。いくつかの実施形態では、ホログラフィックアイウェア106が、特定した新たな医療記録内容項目114Dのピニング位置を確認するように医療専門家100に要求することができる。ホログラフィックアイウェア106は、その後の医療専門家110とホログラフィックアイウェア106との相互作用中に、医療専門家110及び他の医療専門家に対してこのピニング位置に医療記録内容項目114Dを表示することができる。
ホログラフィックアイウェア
図5は、ホログラフィックアイウェア106、3Dアバター医療情報システム104及び電子医療記録システム110の例示的な動作環境を示すブロック図である。ホログラフィックアイウェア106の構成は数多く考えられるが、図5には、ホログラフィックアイウェア106のいくつかの実施形態のみを示す。図示のように、ホログラフィックアイウェア106は、メモリ508A、ストレージ510A及び通信インターフェイス512Aと電気的に通信するプロセッサ506Aを含むことができる。メモリ508Aは、ホログラフィックアイウェア106の電源オン時にホログラフィックアイウェア106に実装された機能又はプロセスを実行するようにプロセッサ506Aを構成する命令を記憶する。ホログラフィックアイウェア106の電源オフ時には、ストレージ510Aが、このホログラフィックアイウェア106の機能を実行するようにプロセッサ506Aを構成する命令を記憶する。通信インターフェイス512Aは、ホログラフィックアイウェア106と、例えば3Dアバター医療情報システム104などの、ネットワーク108に接続された他の装置との間の通信を容易にする。
ホログラフィックアイウェア106は、プロセッサ506Aと電気的に通信する、動きセンサ514A、方位センサ514B、画像センサ514C、マイク514C及び位置センサ514Dなどの1又は2以上のセンサを含むことができる。これらのセンサは、医療専門家の動きと、例えばホログラフィックアイウェア106への音声指示などの医療専門家が発する音とを検出するように構成することができる。これらのセンサは、ホログラフィックアイウェア106のレンズを通じて医療専門家100に見えるような、医療専門家100の周囲の人々及び物体の動きを検出することもできる。
ホログラフィックアイウェア106は、医療専門家識別器524A及びアバター表示器526を含むことができる。医療専門家識別器524Aは、ホログラフィックアイウェア106の1又は2以上のセンサ514A~Eによって取り込まれたデータを用いた画像認証及び生体認証に基づいて、ホログラフィックアイウェア106の着用者のアイデンティティを特定するように構成される。アバター表示器526は、医療専門家100に対して3Dアバター102を表示するように構成される。
ホログラフィックアイウェア106は、記録検索器528Aと、内容項目表示器530と、記録作成器532Aと、記録更新器534Aと、記録ピニング器536Aとを含むことができる。記録検索器528Aは、電子医療記録システム110から医療記録を検索するように構成される。内容項目表示器530は、医療記録を内容項目及びタイムラインとして医療専門家100に表示するように構成される。記録作成器532Aは、電子医療記録システム110に記憶する医療記録を作成するように構成される。記録更新器534Aは、電子医療記録システム110に記憶された医療記録を更新するように構成される。記録ピニング器536Aは、医療記録内容項目として表示するための医療記録を医療専門家が3Dアバター102上の位置にピニングできるようにするよう構成される。
ホログラフィックアイウェア106は、患者識別器538、計器識別器539、指示判別器540、3Dアバター医療情報システムコミュニケータ542A及びタスクワークフローモジュール544Aのうちの1つ又は2つ以上を含むこともできる。患者識別器538は、例えばコンピュータビジョンアルゴリズムを用いて、医療専門家がホログラフィックアイウェア106のレンズを通じて見ている患者のアイデンティティを特定するように構成される。計器識別器539は、医療専門家がホログラフィックアイウェア106のレンズを通じて見ている計器のアイデンティティを特定するように構成される。指示判別器540は、1又は2以上のセンサに基づいて、医療専門家100がホログラフィックアイウェア106に与えた指示を判別するように構成される。3Dアバター医療情報システムコミュニケータ542A及び通信インターフェイス512Aは、ホログラフィックアイウェア106と3Dアバター医療情報システム104との間の通信を容易にするように構成される。タスクワークフローモジュール544Aは、様々な状況下において従うべき手順を医療専門家100に知らせるように構成される。
3Dアバター医療情報システム
3Dアバター医療情報システム104の構成は数多く考えられるが、図5には、3Dアバター医療情報システム104のいくつかの実施形態のみを示す。図示のように、3Dアバター医療情報システム104は、メモリ508B、ストレージ510B及び通信インターフェイス512Bと電気的に通信するプロセッサ506Bを含むことができる。プロセッサ506B、メモリ508B及びストレージ510Bの機能は、プロセッサ506A、メモリ508A及びストレージ510Aの機能と同様である。通信インターフェイス512Bは、3Dアバター医療情報システム104と、例えばホログラフィックアイウェア106及び電子医療記録システム110などの、ネットワーク108に接続された他の装置との間の通信を容易にする。
3Dアバター医療情報システム104は、ホログラフィックアイウェア106の着用者のアイデンティティを特定するように構成された医療専門家識別器524Bを含むことができる。ホログラフィックアイウェア106は、記録検索器528B、記録作成器532B、記録更新器534B及び記録ピニング器536Bのうちの1つ又は2つ以上を含むことができる。記録検索器528Bは、電子医療記録システム110に記憶されている医療記録111を検索するように構成される。記録作成器532Bは、電子医療記録システム110に記憶する新たな医療記録を作成するように構成される。記録ピニング器536Bは、ピニング位置と、ピニング位置と医療記録111との間の関連性とを記憶するように構成される。
3Dアバター医療情報システム104は、タスクワークフローモジュール544B、アイウェアコミュニケータ550及び電子医療記録システム(EMRS)コミュニケータ552のうちの1つ又は2つ以上を含むことができる。タスクワークフローモジュール544Bは、様々な状況下において医療専門家100が従うべき適切な命令を決定するように構成される。アイウェアコミュニケータ550及び通信インターフェイス512Bは、3Dアバター医療情報システム104とホログラフィックアイウェア106との間の通信を容易にするように構成される。電子医療記録システムコミュニケータ552及び通信インターフェイス512Bは、3Dアバター医療情報システム104と電子医療記録システム110との間の通信を容易にするように構成される。
電子医療記録システム
電子医療記録システム110の構成は数多く考えられるが、図5には、電子医療記録システム110のいくつかの実施形態のみを示す。図示のように、電子医療記録システム110は、メモリ508C、ストレージ510C及び通信インターフェイス512Cと電気的に通信するプロセッサ506Cを含むことができる。プロセッサ506C、メモリ508C及びストレージ510Cの機能は、プロセッサ506A、メモリ508A及びストレージ510Aの機能と同様である。ストレージ510Cは、患者医療記録を記憶することもできる。通信インターフェイス512Cは、電子医療記録システム110と、例えば3Dアバター医療情報システム104などの、ネットワーク108に接続された他の装置との間の通信を容易にする。
ホログラフィックアイウェア106は、記録検索器528C、記録作成器532C、記録更新器534C及び3Dアバター医療情報システムコミュニケータ542Cのうちの1つ又は2つ以上を含むことができる。記録検索器528Cは、電子医療記録システム110のストレージ510Cに記憶されている医療記録を検索するように構成される。記録作成器532Cは、電子医療記録システム110のストレージ510Cに記憶する医療記録を作成するように構成される。記録更新器534Cは、ストレージ510Cに記憶されている医療記録を更新するように構成される。3Dアバター医療情報システムコミュニケータ542Cは、電子医療記録システム110と3Dアバター医療情報システム104との間の通信を容易にするように構成される。
いくつかの実施形態では、3Dアバター医療情報システム104が、ホログラフィックアイウェア106に実装された機能又はプロセスの一部を実行することができる。いくつかの実施形態では、ホログラフィックアイウェア106が、3Dアバター医療情報システム104に実装された機能又はプロセスの一部を実行することができる。いくつかの実施形態では、3Dアバター医療情報システム104が、電子医療記録システム110に実装された機能又はプロセスの一部を実行することができる。いくつかの実施形態では、電子医療記録システム110が、3Dアバター医療情報システム104に実装された機能又はプロセスの一部を実行することができる。
本開示によるいくつかの実施形態では、プロセッサ506A~506Cを、メモリ508A~508C及びストレージ510A~510Cのうちの1つ又は2つ以上にそれぞれデータを記憶又は送信するように構成することができる。プロセッサ506A~506Cは、メモリ508A~508Cをそれぞれ利用して、ホログラフィックアイウェア106、3Dアバター医療情報システム104及び電子医療記録システム110の動作中にそれぞれ動的に作成されたデータを記憶することができる。メモリ508A~508Cは、プロセッサ506A~506C上で実行されるプログラムが利用するスタックデータ又はヒープデータなどの動的ランタイムデータをそれぞれ記憶することもできる。ストレージ510A~510Cは、ホログラフィックアイウェア106、3Dアバター医療情報システム104及び電子医療記録システム110によって生成されたデータをそれぞれ記憶するために利用することができる。例えば、ストレージ510A~510Bには、医療専門家100による指示を記憶することができる。いくつかの実施形態では、メモリ508A~508B及びストレージ510A~510Bのうちの1つ又は2つ以上に1又は2以上のセンサからのセンサデータを記憶することができる。
本開示によるいくつか実施形態では、メモリ508~508Cをコンピュータ可読媒体と見なすことができ、これらのメモリは、ホログラフィックアイウェア106、3Dアバター医療情報システム104及び電子医療記録システム110の1又は2以上のプログラムをそれぞれ記憶することができる。1又は2以上のプログラムは、プロセッサ506A~506Cのための命令を定めるデータ値を記憶する。これらの命令は、プロセッサ506A~506Cを、ホログラフィックアイウェア106、3Dアバター医療情報システム104及び電子医療記録システム110の機能をそれぞれ実行するように構成する。例えば、いくつかの態様では、メモリ508A~508Cを、例えばホログラフィックアイウェア106によって要求された医療記録111を検索することなどの様々な機能をプロセッサ506A~506Cにそれぞれ実行させる命令を記憶するように構成することができる。
3Dアバター医療情報システム104及びホログラフィックアイウェア106は、それぞれ通信インターフェイス512A~512Bを用いてネットワーク108を介して互いに通信することができる。3Dアバター医療情報システム104及び電子医療記録システム110は、それぞれ通信インターフェイス512B~512Cを用いてネットワーク108を介して互いに通信することができる。通信インターフェイス512A~512Cは、有線又は無線通信、セルラー通信、Bluetooth(登録商標)、ローカルエリアネットワーク(LAN)、ワイドローカルエリアネットワーク(WLAN)、無線周波数(RF)、赤外線(IR)、或いは当業で周知の他のいずれかの通信方法又はシステムによってネットワーク108に接続することができる。いくつかの実施形態では、通信インターフェイス512A~512Cがクラウド接続を用いて互いに通信する。3Dアバター医療情報システム104は、通信インターフェイス512A~512B、3Dアバター医療情報システムコミュニケータ542A及びアイウェアコミュニケータ550を用いてホログラフィックアイウェア106との間でデータを送受信することができる。3Dアバター医療情報システム104は、通信インターフェイス512B~512C、電子医療記録システムコミュニケータ552及び3Dアバター医療情報システム544Cを用いて電子医療記録システム110との間でデータを送受信することができる。
センサ
ホログラフィックアイウェアは、動きセンサ514A、方位センサ514B、画像センサ514C、マイク514D及び位置センサ514Eのうちの1つ又は2つ以上を含むことができる。動きセンサ514Aは、ホログラフィックアイウェア106を着用して操作している医療専門家100のうなずきなどの動きの検知、検出及び特定を行うように構成することができる。図4に関して説明したように、ホログラフィックアイウェア106が、3Dアバター102の左足首に新たな医療記録内容項目114Dをピニング412したことを確認するように医療専門家100に要求すると、医療専門家100は、うなずいてピニング412の位置の確認を示すことができる。いくつかの実施形態では、動きセンサ514Aが、医療専門家の動きを、指示判別器540が処理する電気信号に変換することができる。
図5を参照すると、いくつかの実施形態では、動きセンサ514Aが、医療専門家100がホログラフィックアイウェア106上で伝えた動きの検知、検出及び特定を行えるように構成された単軸加速度計を含むことができる。いくつかの実施形態では、動きセンサ514Aが、複数方向の動き及び振動の検出を可能にして検出感度を高めるように、例えば単軸加速度計及び3D加速度計などの複数の加速度計を含むことができる。
方位センサ514Bは、例えば医療専門家100が検査を行っている病院内の検査室の床などの固定面に対する医療専門家の頭部の配向を判断するように構成することができる。例えば、ホログラフィックアイウェア106は、3Dアバター102を固定面に対して一定配向で表示するように構成することができる。医療専門家100が頭部を一方向に10°などの一定程度だけ傾けると、ホログラフィックアイウェア106は、方位センサ514Bを用いてこのような傾きを検出することができる。ホログラフィックアイウェア106は、このような傾きを検出したことに応答して、医療専門家100に対する3Dアバター102の表示を10°などの同程度だけ逆方向に傾けることができる。この結果、医療専門家100は、3Dアバター102が固定面に対して一定の配向を有していることが分かる。ホログラフィックアイウェア106の配向が変化しても、固定面に対する3Dアバター102の配向は変化しない。いくつかの実施形態では、方位センサ514Bが、指示判別器540が処理できるように配向情報を電気信号に変換することができる。
ホログラフィックアイウェア106は、例えば2つの画像センサ514Cを含むことができる。ホログラフィックアイウェア106は、この2つの画像センサ514Cにより、医療専門家100が見ているものを取り込んで再現することができる。2つの画像センサ514Cの一方は、医療専門家100の左目の空間的近傍に配置し、医療専門家の左目が見ている物の一部又は全部を取り込むように配向することができる。2つの画像センサ514Cの他方は、医療専門家100の右目の空間的近傍に配置し、医療専門家の右目が見ている物の一部又は全部を取り込むように配向することができる。いくつかの実施形態では、2つの画像センサ514Cが、指示判別器540が処理できるように光子を電気信号及び画像に変換する。いくつかの実施形態では、ホログラフィックアイウェア106が、プロセッサ506A及びメモリ508Aを用いて2つの画像センサ514Cからの画像を組み合わせて、医療専門家100が両目で見ている物の立体画像を形成することができる。いくつかの実施形態では、ホログラフィックアイウェア106が1つの画像センサ514Cを含むこともできる。この画像センサ514Cは、両目の間に配置して、医療専門家100が両目で見ている物を検出して近似させるように配向することができる。いくつかの実施形態では、画像センサ514Cをホログラフィックアイウェア106上の他の位置に配置することもできる。
ホログラフィックアイウェア106は、1又は2以上の画像センサ514Cを用いて、医療専門家100が視野内で見ている物を取り込むことができる。いくつかの実施形態では、ホログラフィックアイウェア106が、1又は2以上の画像センサ514Cを用いて、医療専門家100がほぼ視野内で見ている物を取り込むことができる。図1に関して説明したように、医療専門家100が、ホログラフィックアイウェア106を通じて、自分の指、手、腕、脚、或いは自分とつながっている1又は2以上の物体が内容項目に接触する様子を見ると、ホログラフィックアイウェア106は、このような接触が生じたと判断することができる。ホログラフィックアイウェア106は、画像センサ514Cを用いてこのような接触が生じたと判断することができる。この結果、ホログラフィックアイウェア106は、医療専門家100がホログラフィックアイウェア106に与えた視覚による指示を取り込んで「見る」ことができる。いくつかの実施形態では、ホログラフィックアイウェア106が、画像センサ514Cを用いて新たなビデオ医療記録又は新たな画像医療記録を作成することができる。
マイク514Cは、ホログラフィックアイウェア106の周囲の環境及び医療専門家100からの音を検出するように構成することができる。ホログラフィックアイウェア106は、医療専門家100が聞いたもの及び言ったことを検出して「聞く」。図4に関して説明したように、ホログラフィックアイウェア106が、新たな医療記録内容項目114Dを3Dアバター102の左足首にピニング412したことを確認するように医療専門家100に要求すると、医療専門家100は、ピニング412の位置の確認を示すために「はい」と言うことができる。いくつかの実施形態では、マイク514Cが、指示判別器540が処理できるように音波を電気信号に変換することができる。
図5を参照すると、位置センサ514Dは、ホログラフィックアイウェア106の位置に基づいて医療専門家100の位置を特定するように構成することができる。位置センサ514Dの非限定的な例としては、全地球測位システム(GPS)及び補助GPS(aGPS)トランシーバが挙げられる。医療専門家の指示に対するホログラフィックアイウェアの応答は、医療専門家100の位置に基づくことができる。ホログラフィックアイウェア106は、医療専門家100の位置に基づいて医療専門家の指示を許可又は拒否することができる。例えば、ホログラフィックアイウェア106が、医療専門家100が病院外に存在すると判断した場合には、医療専門家が機密患者情報にアクセスすることを一切禁止することができる。いくつかの実施形態では、ホログラフィックアイウェア106が、医療専門家100の位置に基づいて、ユーザメニュー120、様々な内容項目及び3Dアバター102の調整、再配置又は再編成を行うことができる。例えば、医療専門家100が病院のカフェテリアに存在する場合には、患者の検査を指示する権限を医療専門家100に与えないようにすることができる。従って、ユーザメニュー120は、「検査指示」のメインメニュー内容項目122B、並びに「MRI」140A、「X線」140B、「血液検査」140C及び「その他」の検査140Dの指示などのサブメニュー内容項目140を表示しないようにすることができる。
医療専門家識別器
医療専門家が患者の医療を上手く管理するには、プライバシーが重要である。ホログラフィックアイウェア106は、患者のプライバシーを維持するために、プロセッサ506と通信する医療専門家識別器524Aを含むことができる。医療専門家識別器524Aは、ホログラフィックアイウェア106の着用者のアイデンティティを特定する。ホログラフィックアイウェア106の着用者のアイデンティティを特定する方法としては、画像認証及び生体認証が挙げられる。例えば、ホログラフィックアイウェア106の着用者が鏡を覗き込み、画像センサ514Cが着用者の写真を撮影することができる。医療専門家識別器524Aは、この着用者の写真に基づいて着用者のアイデンティティを特定することができる。いくつかの実施形態では、医療専門家識別器524Aが、3Dアバター医療情報システム104の医療専門家識別器524Bに着用者のアイデンティティを送信することができる。いくつかの実施形態では、医療専門家識別器524Aが、着用者のアイデンティティを特定できるように医療専門家識別器524Bに着用者の画像を送信することができる。
ホログラフィックアイウェア106は、着用者のアイデンティティに基づいて、着用者が許可された医療専門家であるかどうか、及び許可された医療専門家がホログラフィックアイウェア106を用いて特定の相互作用を行うことを許可されているかどうかを判断することができる。例えば、許可された医療専門家が医師である場合には、この許可された医療専門家が他の患者ではなく自分の患者の検査を指示することを許可することができる。許可された医療専門家が病院の管理職員である場合には、この許可された医療専門家が患者の検査を指示することを許可しないようにすることができる。病院の管理職員には、患者の支払履歴を調べることを許可することができる。
アバター表示
ホログラフィックアイウェア106は、プロセッサ506Aと通信するアバター表示器526を含むことができる。アバター表示器526は、医療専門家100に対してホログラフィックアイウェア106のレンズ上に表示される3Dアバター102の特性を決定する。非限定的な3Dアバター102の特性の例としては、色、不透明度、サイズ、配向及び位置が挙げられる。いくつかの実施形態では、アバター表示器526が、患者の体重及び身長に基づいて3Dアバター102のサイズを決定することができる。アバター表示器526は、例えばホログラフィックアイウェア106のレンズが医療専門家100に示す様々な内容項目の数及びサイズに基づいて3Dアバターのサイズを決定することができる。アバター表示器526は、例えばホログラフィックアイウェアの視野内の他の物体の色、不透明度、サイズ、配向及び位置に基づいて3Dアバター102の位置を決定することもできる。他の物体の非限定的な例としては、患者、診療室の備品及び医療機器が挙げられる。例えば、アバター表示器526は、ホログラフィックアイウェア106のレンズ上に患者と一致又は重複するように3Dアバター102を表示することができる。別の例として、アバター表示器526は、ホログラフィックアイウェア106のレンズ上に患者に隣接するように3Dアバター102を表示することができる。アバター表示器526は、例えばホログラフィックアイウェアの視野内の他の物体の色に基づいて3Dアバター102の色を決定することもできる。
記録の検索、表示、作成及びピニング
ホログラフィックアイウェア106は、プロセッサ506Aと通信する記録検索器528A、内容項目表示器530、記録作成器532A、記録更新器534A、及び記録ピニング器536Aのうちの1つ又は2つ以上を含むことができる。記録検索器528Aは(3Dアバター医療情報システム104の記録検索器528B及び電子医療記録システム110の記録検索器528Cと連携して)、電子医療記録システム110に記憶されている医療記録111を検索することができる。記録検索器528Aは、電子医療記録システム110に記憶されている医療記録111を検索するために、医療記録111を求める1又は2以上の要求を3Dアバター医療情報システム104の記録検索器528Bに送信することができる。記録検索器528Bは、例えば医療専門家識別器524Aによって特定された医療専門家100のアイデンティティに基づいて、要求された医療記録111を電子医療記録システム110の記録検索器528Cから検索することができる。その後、記録検索器528Bは、電子医療記録システム110から検索された要求医療記録111をホログラフィックアイウェア106に送信することができる。記録検索器528Cは、医療専門家100のアイデンティティと3Dアバター医療情報システム104の認証とに基づいて、要求された医療記録111へのアクセスを許可又は拒否することができる。
内容項目表示器530は、ホログラフィックアイウェア106のレンズ上の様々な位置に様々な内容項目を表示することができる。内容項目表示器530は、ホログラフィックアイウェア106のレンズ上の様々な内容項目の位置を決定することができる。いくつかの実施形態では、内容項目表示器530が、電子医療記録システム110から検索された医療記録111の一部又は全部を医療専門家100に表示することができる。内容項目表示器530は、検索された医療記録111を、例えば医療記録内容項目114A~Dなどの医療記録内容項目としてホログラフィックアイウェア106のレンズ上の特定の位置に表示することができる。いくつかの実施形態では、医療記録内容項目114の位置が、医療記録内容項目114A~Dの作成時に医療専門家100が決定したピニング位置である。図4に関して説明したように、医療記録内容項目114Dのピニング位置は、医療記録内容項目114の作成時に医療専門家100が決定した3Dアバター102の左足首とすることができる。いくつかの実施形態では、この特定の位置が、ホログラフィックアイウェア106のレンズ上の3Dアバター102の位置に関連することができる。
図1に関して説明したように、内容項目114は医療記録111を含むことができる。記録検索器528Aは、内容項目表示器530が「頭痛」カテゴリ112Aの内容項目を表示できるように、「頭痛」カテゴリ112Aの患者の医療記録111の一部又は全部を検索することができる。医療専門家100が「発疹」カテゴリ112Bの医療記録内容項目114Bに「タッチ」170すると、記録検索器528Aは、内容項目表示器530が表示できるように「発疹」カテゴリの患者の医療記録111の一部又は全部を検索することができる。内容項目表示530は、患者の医療記録111を、図2に関して説明したような更新後の医療記録内容項目114B’として表示することができる。記録検索器528Aは、内容項目表示器530が医療記録内容項目312A~312Cを図3に関して説明したようなタイムラインとして表示できるように、「火傷」カテゴリ112Cの患者の医療記録111の一部又は全部を検索することができる。記録検索器528Aは、内容項目表示器530が医療記録内容項目312Cのビデオ医療記録を表示できるように、ビデオ医療記録の一部又は全部を検索することができる。
図5を参照すると、記録作成器532Aは(3Dアバター医療情報システム104の記録作成器532B及び電子医療記録システム110の記録作成器532Cと連携して)、医療専門家100による新たな医療記録の作成及び記憶を可能にする。電子医療記録システム110は、新たな医療記録をストレージ510Cに記憶することができる。図1及び図4に関して説明したように、医療専門家100は、新たな医療記録を作成するために、新たな「オーディオ」記録を作成するサブメニュー内容項目160Bに「タッチ」174することができる。ホログラフィックアイウェア106が、表示された新たなオーディオ医療記録を記録するサブメニュー内容項目160Bのグラフィック表現に医療専門家100が「タッチ」174したと判断すると、内容項目表示器530は、医療専門家100に示す表示を更新することができる。内容項目表示器530は、新たなオーディオ医療記録を記録するための新たなメニュー内容項目400を表示することができる。医療専門家100が新たなオーディオ医療記録の作成完了を確認すると、記録作成器532Aは、この新たなオーディオ医療記録を、電子医療記録システム110の記録作成器532Cがストレージ510Cに記憶できるように記録作成器532Bに送信する。
図5を参照すると、記録更新器534Aは、電子医療記録システム110のストレージ510Cに記憶されている医療記録111を医療専門家100が更新できるようにする。いくつかの実施形態では、記録更新器534Aが、既存の医療記録111の内容を更新することができる。記録更新器534Aは(3Dアバター医療情報システム104の記録更新器534B及び電子医療記録システム110の記録更新器534Cと連携して)、ストレージ510Cに記憶されている医療記録111を更新することができる。いくつかの実施形態では、記録更新器534Aが(記録作成器532Aと連携して)、更新後の医療記録を新たな医療記録としてストレージ510Cに記憶することができる。
記録ピニング器536Aは、医療専門家が医療記録を3Dアバター102上の位置にピニングして医療記録内容項目として表示できるようにする。記録ピニング器536Aは(指示判別器540と連携して)、ピニング位置を特定することができる。図4に関して説明したように、新たなオーディオ医療記録が生成されると、医療専門家100は、この新たなオーディオ医療記録をピニング位置にピニングすることができる412。例えば、ピニング位置は、3Dアバター102の左足首とすることができる。新たなオーディオ医療記録は、3Dアバター102の左足首112Dのピニング位置に医療記録内容項目114Dとして表示することができる。いくつかの実施形態では、医療専門家100が医療記録をピニング位置にピニングする必要なく、記録ピニング器536Aが、例えば3Dアバター102の左足首などの新たなオーディオ医療記録のためのピニング位置を特定することができる。いくつかの実施形態では、記録ピニング器536Aが、医療専門家100に新たな医療記録内容項目114Dのピニング位置を確認するように要求することができる。内容項目表示器530は、その後の医療専門家100とホログラフィックアイウェア106との間の相互作用中に、記録ピニング器536Aによって提供されたピニング位置に医療記録内容項目114Dを表示することができる。
いくつかの実施形態では、記録ピニング器536Aが、既存のピニング位置を有する医療記録のピニング位置を医療専門家110が更新できるようにする。例えば、内容項目表示器530は、新たなオーディオ医療記録を3Dアバター102の左足首112Dのピニング位置に医療記録内容項目114Dとして表示することができる。医療専門家110は、このピニング位置を、例えば3Dアバター102の左足首から右足首に動かすことができる。いくつかの実施形態では、記録ピニング器536Aが、ストレージ510Cに既存のピニング位置を伴わずに記憶されている既存の医療記録111のピニング位置を医療専門家110が作成できるようにする。
ピニング位置が決まると、記録ピニング器536Aは、このピニング位置を3Dアバター医療情報システム104の記録ピニング器536Bに送信することができる。記録ピニング器536Bは、ピニング位置と、ピニング位置と医療記録111との間の関連性とをストレージ510Bに記憶することができる。記録ピニング器536Bは、ストレージ510Bにおけるピニング位置と、ピニング位置と医療記録111との間の関連性とに基づいて、医療記録111のピニング位置を記録ピニング器536Aに提供することができる。内容項目表示器530は、記録ピニング器536Bが記録ピニング器536Aに提供した医療記録111のピニング位置に基づいて、医療専門家の視野内の適切な位置に医療記録111を医療記録内容項目114として表示することができる。
患者の識別
ホログラフィックアイウェア106は、プロセッサ506Aと通信する患者識別器538を含むことができる。患者識別器538は、患者のアイデンティティを特定することができる。例えば、患者識別器538は、画像センサ514Cによって取り込まれた患者の画像に基づいて、医療専門家100がホログラフィックアイウェアの1又は2以上のレンズを通じて見ている患者のアイデンティティを特定することができる。いくつかの実施形態では、患者識別器538が、マイク514Cによって取り込まれた患者の音声に基づいて、医療専門家100が見ている患者のアイデンティティを特定することができる。ホログラフィックアイウェア106は、患者識別器538によって特定された患者のアイデンティティに基づいて、適切なユーザメニュー120、適切な内容項目及び適切な3Dアバター102を医療専門家100に表示することができる。
計器の識別
いくつかの実施形態では、ホログラフィックアイウェア106が、プロセッサ506Aと通信する計器識別器539を含むことができる。計器識別器539は、計器のアイデンティティを特定することができる。計器のアイデンティティは、例えば計器のメーカー、モデル、製造年度、使用履歴及び稼働履歴を含むことができる。例えば、計器識別器539は、画像センサ514Cによって取り込まれた計器の画像に基づいて、医療専門家100がホログラフィックアイウェアのレンズを通じて見ている計器のアイデンティティを特定することができる。いくつかの実施形態では、計器識別器539が、計器によって放出されマイク514Cによって取り込まれた音波に基づいて、医療専門家100が見ている計器のアイデンティティを特定することができる。ホログラフィックアイウェア106は、計器識別器539によって特定された計器のアイデンティティに基づいて、例えば医療専門家100が検討する計器の使用説明書メニューを表示することができる。
指示の判別
ホログラフィックアイウェア106は、プロセッサ506Aと通信する指示判別器540を含むことができる。指示判別器540は(ホログラフィックアイウェア106の1又は2以上のセンサと連携して)、医療専門家100がホログラフィックアイウェア106に与える指示を判別することができる。従って、医療専門家100は、指示判別器540及び1又は2以上のセンサ514を通じてホログラフィックアイウェア106及び3Dアバター医療情報システム104と相互作用することができる。
いくつかの実施形態では、ホログラフィックアイウェア106上に1又は2以上の画像センサ514Cが配置されて、医療専門家100が見ているものを取り込むように配向される。ホログラフィックアイウェア106は、画像センサ514Cを用いて、医療専門家の指、手、腕、脚、及び医療専門家とつながっている1又は2以上の物体の動きを取り込んで「見る」ことができる。指示判別器540は、画像センサ514Cによって取り込まれた画像に基づいて、これらの動きが医療専門家100によって与えられた視覚による指示であると判断することができる。ホログラフィックアイウェア106は、視覚による指示に基づいて、医療専門家100に対してレンズ上に示す表示を更新することができる。図1に関して説明したように、指示判別器540は(画像センサ514Cと連携して)、医療専門家100が内容項目のグラフィック表現に「タッチ」したと判断することができる。指示判別器540は、内容項目のアイデンティティに基づいて、医療専門家100によって与えられた、例えば疾病タイムラインを見ることなどの特定の指示を判別することができる。図2に関して説明したように、指示判別器540は、医療専門家100が2本の指を互いに遠ざけた204と判断することができる。指示判別器540は、この特定の動きに基づいて、医療専門家100によって与えられた、例えば更新後の医療記録内容項目114B’上でズームインを行うことなどの特定の指示を判別することができる。
図5を参照すると、いくつかの実施形態では、ホログラフィックアイウェア106が、1又は2以上の動きセンサ514Aを用いて医療専門家のうなずきを検出することができる。指示判別器540は、動きセンサ514Aによって生成された電気信号に基づいて、これらの動きが医療専門家100によって与えられた動きによる指示であると判断することができる。ホログラフィックアイウェア106は、この動きによる指示に基づいて、医療専門家100に示す表示を更新することができる。
いくつかの実施形態では、ホログラフィックアイウェア106が、1又は2以上のマイク514Cを用いて医療専門家100が発した言葉を特定することができる。指示判別器540は、1又は2以上のマイク514Cによって生成された信号に基づいて、これらの言葉が医療専門家100によって与えられた1又は2以上の言葉による指示であると判断することができる。ホログラフィックアイウェア106は、この言葉による指示に基づいて、医療専門家100にて示す表示を更新することができる。
指示判別器540内の命令は、医療専門家100によって与えられた指示を判別するようにプロセッサ506Aを構成することができる。いくつかの実施形態では、指示判別器540が、1又は2以上のセンサから受け取ったデータを解釈して1又は2以上のフィルタを適用するようにプロセッサ506Aを構成する命令を含むことができる。例えば、指示判別器540は、マイク514Cによって取り込まれた音波波形を解釈して、例えばマイク514Cによって取り込まれた医療専門家の環境からのノイズを除去するために1又は2以上のフィルタを適用するようにプロセッサ506Aを構成する命令を含むことができる。
指示判別器540内の命令は、1又は2以上のセンサによって受け取られたデータから指示パラメータを抽出するようにプロセッサ506Aを構成することもできる。指示パラメータの非限定的な例としては、指示のタイプ及び指示の数値が挙げられる。図2に関して説明したように、指示判別器540は、医療専門家100が2本の指を互いに遠ざけた204と判断することができる。このような動きの指示タイプは、例えばズームイン又はズームアウトとすることができる。指示パラメータは、例えば2本の指を互いに遠ざける大きさに基づくズームインの程度とすることができる。従って、指示判別器540内の命令は、センサからの信号が未処理であるか、それとも処理済みであるかに関わらず、これらの信号を解釈し、フィルタ処理して解析するようにプロセッサ505Aを構成することができる。
タスクワークフロー表示器
ホログラフィックアイウェア106は、プロセッサ506Aと通信するタスクワークフロー表示器544Aを含むことができる。3Dアバター医療情報システム104は、プロセッサ506Bと通信するタスクワークフロー表示器544Bを含むことができる。タスクワークフロー表示器544Aは、タスクワークフロー表示器544Bと共に、所与のタスクについて医療専門家100が従うべき適切な命令を決定することができる。タスクワークフロー表示器544Aは、様々なタスクについて医療専門家100が従うべき命令をストレージ510Aに記憶することができる。いくつかの実施形態では、タスクワークフロー表示器544Bが、様々なタスクについて医療専門家100が従うべき命令をストレージ510Bに記憶することができる。タスクワークフロー表示器544Bは、ストレージ510Bに記憶された、様々なタスクについて医療専門家100が従うべき命令をタスクワークフロー表示器544Aに与えることができる。
例えば、タスクワークフロー表示器544Aは、採血目的で患者の腕の静脈を特定するために、医療専門家100に対してホログラフィックアイウェアのレンズ上に、採血目的で患者の腕の静脈を正しく特定するために医療専門家100が従うべき命令を表示することができる。例えば、タスクワークフロー表示器544Aは、患者にカテーテルを挿入するために、医療専門家100に対してホログラフィックアイウェアのレンズ上に、患者にカテーテルを正しく挿入するために医療専門家100が従うべき命令を表示することができる。いくつかの実施形態では、タスクワークフロー表示器544Aが、病院、市、州又は連邦政府によって義務付けられた手順の遵守を促すための命令を医療専門家100に対して表示することができる。
アイウェア、3Dアバター医療情報システム及び電子医療記録システム間の通信
ホログラフィックアイウェア106は、プロセッサ506A及び通信インターフェイス512Aと通信する3Dアバター医療情報コミュニケータ542Aを含むことができる。3Dアバター医療情報システム104は、プロセッサ506B及び通信インターフェイス512Bと通信するアイウェアコミュニケータ550を含むことができる。3Dアバター医療情報コミュニケータ542A及びアイウェアコミュニケータ550は、通信インターフェイス512A~512Bと共に、ホログラフィックアイウェア106と3Dアバター医療情報システム104との間の通信を容易にする。いくつかの実施形態では、3Dアバター医療情報コミュニケータ542A及びアイウェアコミュニケータ550が、通信インターフェイス512A~512Bと共に、医療専門家識別器524A~524B、記録検索器528A~528B、記録作成器532A~532B、記録更新器534A~534B,記録ピニング器536A~536B及びタスクワークフロー表示器544A~544B間の通信を容易にする。
3Dアバター医療情報システム104は、プロセッサ506B及び通信インターフェイス512Bと通信する電子医療記録システムコミュニケータ552を含むことができる。電子医療記録システム110は、プロセッサ506C及び通信インターフェイス512Cと通信する3Dアバター医療情報コミュニケータ542Cを含むことができる。電子医療記録システムコミュニケータ550及び3Dアバター医療情報コミュニケータ542Aは、通信インターフェイス512B~512Cと共に、3Dアバター医療情報システム104と電子医療記録システム110との間の通信を容易にする。いくつかの実施形態では、電子医療記録システムコミュニケータ550及びアイウェアコミュニケータ550が、通信インターフェイス512A~512Bと共に、記録検索器528B~528C、記録作成器532B~532C及び記録更新器534B~534C間の通信を容易にする。
当業者であれば理解するように、本発明の実施形態による3Dアバター医療情報システム及びホログラフィックアイウェアの実施例、改善及び配置を行う方法は数多く存在する。図面及び上記の説明に示す例示的な実施形態を参照したが、本明細書に開示した実施形態は、開示する様々な別の設計及び実施形態を完全に示すことを意図するものではない。当業者であれば、本発明から逸脱することなく様々な修正及び様々な組み合わせを行うことができると容易に理解するであろう。
上記の説明では、実施例を完全に理解できるように特定の詳細を示した。しかしながら、当業者であれば、これらの特定の詳細を伴わずに実施例を実施することもできると理解するであろう。例えば、これらの実施例を不必要な詳細で曖昧にしないように、電気的な構成要素/装置についてはブロック図で示していることもある。その他の場合には、実施例をさらに説明するためにこのような構成要素、他の構造及び手法を詳細に示していることもある。
また、実施例は、フローチャート、フロー図、有限状態図、構造図又はブロック図として示すプロセスとして説明することもできる。フローチャートには、動作を逐次プロセスとして説明していることもあるが、動作の多くは、並行して又は同時に実行することもでき、プロセスを繰り返すこともできる。また、動作の順序は並べ替えることもできる。プロセスは、その動作の完了時に終了する。プロセスは、方法、関数、手順、サブルーチン又はサブプログラムなどに対応することができる。プロセスがソフトウェア関数に対応する場合、そのプロセスの終了は、関数が呼び出し関数又はメイン関数に戻ることに対応する。
当業者であれば、情報及び信号は、様々な異なる技術及び手法のうちのいずれかを用いて表すことができると理解するであろう。例えば、本開示全体を通じて参照できるデータ、命令、コマンド、情報、信号、ビット、記号及びチップは、電圧、電流、電磁波、磁場又は磁性粒子、光場又は光粒子、或いはこれらのあらゆる組み合わせによって表すことができる。
上記の詳細な説明は、本発明のいくつかの具体的な実施形態に関するものである。しかしながら、本発明は、多くの異なる方法で具体化することができる。本明細書の態様は様々な形で具体化することができ、本明細書に開示したあらゆる特定の構造、機能、又はこれらの両方は代表的なものにすぎないと理解されたい。当業者であれば、本明細書の教示に基づいて、本明細書に開示した態様は、本発明の新規の教示及び利点から大きく逸脱することなく他のあらゆる態様と無関係に実装することができ、これらの態様のうちの2つ又は3つ以上を様々な形で組み合わせることもできると理解すべきである。従って、本発明の範囲にはこのような全ての修正が含まれるように意図される。例えば、本明細書に示したあらゆる数の態様を用いて装置を実装し、又は方法を実施することができる。また、本明細書に示した態様のうちの1つ又は2つ以上に加えて又はこれらとは別に、他の構造、機能又はその両方を用いてこのような装置を実装し、又はこのような方法を実施することもできる。
上述した実施形態の少なくとも一部では、技術的に実行可能である限り、1つの実施形態において使用される1又は2以上の要素を別の実施形態において互換的に使用することもできる。当業者であれば、特許請求する主題の範囲から逸脱することなく、上述した方法及び構造に他の様々な省略、追加及び修正を加えることもできると理解するであろう。このような修正及び変更は、全て添付の特許請求の範囲に定められる主題の範囲に含まれるように意図される。
さらに、本明細書で説明したシステム及び方法は、コンピュータ装置と通信する3Dアバター医療情報システム及びホログラフィックアイウェアによって実装することができる。これらのコンピュータ装置は、モバイル装置又は非モバイル装置、並びに汎用又は専用コンピュータシステム環境又は構成を含む。本発明との使用に適することができるコンピュータシステム、環境及び/又は構成の例としては、以下に限定されるわけではないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラム可能な消費者向け電子装置、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又は装置のいずれかを含む分散コンピュータ環境、及び同様のものが挙げられる。さらに、これらのシステム及び方法は、モバイル装置に実装することもできる。モバイル装置の非限定的な例としては、電話機、スマートフォン、携帯情報端末(PDA)、ウルトラモバイルパーソナルコンピュータ(UMPC)及びモバイルインターネット装置(MID)が挙げられる。
本明細書で使用する「決定する(determining)」という用語は、様々な動作を含む。例えば、「determining」は、計算すること(calculating、computing)、処理すること(processing)、導出すること(deriving)、調査すること(investigating)、参照すること(looking up)(例えば、テーブル、データベース又は別のデータ構造を参照すること)及び確認すること(ascertaining)などを含むことができる。また、「determining」は、受け取ること(receivind)(例えば、情報を受け取ること)及びアクセスすること(accessing)(例えば、メモリ内のデータにアクセスすること)などを含むこともできる。さらに「determining」は、解決すること(resolving)、選択すること(selecting、choosing)及び確立すること(establishing)などを含むこともできる。
当業者であれば、本明細書における実質的に全ての複数形及び/又は単数形の用語の使用について、文脈及び/又は用途に適するように複数形から単数形への、及び/又は単数形から複数形への変換を行うことができる。本明細書では、明確にするために様々な単数形/複数形の置換を明確に示すことができる。
本明細書における「第1の(first)」及び「第2の(second)」などの指示を用いた要素へのあらゆる言及は、一般にこれらの要素の量又は順序を限定するものではないと理解されたい。むしろ、本明細書では、これらの指示を、2又は3以上の要素又は要素例同士を区別するための便利な方法として使用することができる。従って、第1及び第2の要素についての言及は、そこで2つの要素しか使用できないこと、又は第1の要素が何らかの形で第2の要素に先行しなければならないことを意味するものではない。また、別途述べていない限り、要素の組は、1又は2以上の要素を含むことができる。また、本明細書又は特許請求において使用する「A、B又はCのうちの少なくとも1つ(at least one of:A、B、or C)」という形の用語は、「A、B、C、又はこれらの要素のいずれかの組み合わせ」を意味する。
本明細書で使用する、項目リスト「のうちの少なくとも1つ(at least one of)」という表現は、単一の要素を含むこれらの項目のあらゆる組み合わせを意味する。一例として、「a、b又はcのうちの少なくとも1つ」は、a、b、c、aとb、aとc、bとc、及びaとbとcをカバーするように意図される。
一般に、当業者であれば、本明細書で使用する用語、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本文)で使用する用語は、一般に「オープン(open)な」用語として意図されている(例えば、「含む(including)」という用語は、「含むけれどもそれに限定されない」と解釈すべきであり、「有する(having)」という用語は、「少なくとも有する」と解釈すべきであり、「含む(includes)」という用語も、「含むけれどもそれに限定されない」と解釈すべきであり、その他も同様である)と理解するであろう。当業者であれば、導入する請求項の記載において特定の数が意図されている場合、このような意図はその請求項に明確に記載され、このような記載がない場合には、そのような意図も存在しないとさらに理解するであろう。例えば、理解を容易にするために、以下に添付する特許請求の範囲では、「少なくとも1つの(at least one)」及び「1又は2以上の(one or more)」という導入句を用いて請求項の記載を導入していることがある。しかしながら、このような句を使用しているからといって、「a」又は「an」という不定冠詞による請求項の記載を導入した場合に、たとえ「1又は2以上の」又は「少なくとも1つの」という導入句と、「a」又は「an」という不定冠詞とが同じ請求項内に含まれているとしても、このような導入される請求項の記載を含むいずれかの特定の請求項がこのような記載を1つしか含まない実施形態に限定されることを意味すると解釈すべきではなく(例えば、「a」及び/又は「an」は、「少なくとも1つの」又は「1又は2以上の」を意味すると解釈すべきである)、定冠詞を用いて請求項の記載を導入する場合にも同じことが当てはまる。また、導入する請求項の記載に特定の数が明示されている場合でも、当業者であれば、このような記載は、少なくとも記載されている数を意味するものとして解釈すべきであると認識するであろう(例えば、他に修飾語を使用せずに「2つの記載」とだけ記載されている場合、少なくとも2つの記載、或いは2又は3以上の記載を意味する)。さらに、「A、B及びCなどのうちの少なくとも1つ」に類する規定を使用している場合、一般にこのような構造は、当業者がこの規定を理解するであろう意味で意図されたものである(例えば、「A、B及びCのうちの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方、及び/又はAとBとC全てなどを有するシステムを含むが、これらに限定されるわけではない)。「A、B又はCなどのうちの少なくとも1つ」に類する規定を使用している場合、一般にこのような構造は、当業者がこの規定を理解するであろう意味で意図されたものである(例えば、「A、B又はCのうちの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方、及び/又はAとBとC全てなどを有するシステムを含むが、これらに限定されるわけではない)。さらに、当業者であれば、2又は3以上の選択的な用語を示す事実上全ての離接語及び/又は離接句は、説明内に存在するか、請求項内に存在するか、それとも図面内に存在するかに関わらず、これらの用語のうちの1つ、これらの用語のうちのいずれか、又は両方の用語を含む可能性を意図するものとして理解すべきであると理解するであろう。例えば、「A又はB」という句は、「A」又は「B」又は「AとB」の可能性を含むと理解されるであろう。
また、本開示の特徴又は態様をマーカッシュ群に関して記載している場合、当業者であれば、これによって本開示がマーカッシュ群の要素のうちのいずれかの個々の要素又は下位集団に関しても記載されていると認識するであろう。
当業者であれば理解するように、本明細書に開示した全ての範囲は、明細書を提供することなどのありとあらゆる目的において、全ての考えられる部分範囲、及びその部分範囲の組み合わせも含む。列挙する範囲は、同じ範囲を少なくとも2等分、3等分、4等分、5等分、10等分などに分解することを十分に記述しており、これを可能にすることができると容易に認識することができる。非限定的な例として、本明細書で説明した各範囲は、下部3分の1、中間3分の1及び上部3分の1などに容易に分解することができる。やはり当業者であれば理解するように、「最大で(up to)」、「少なくとも(at least)」、「~よりも大きい(greater than)」及び「~よりも小さい(less than)」などの全ての表現は、列挙する数字を含むとともに、その後に上述したような部分範囲に分解できる範囲を意味する。最後に、当業者であれば理解するように、範囲は、各個々の要素を含む。従って、例えば、1~3個の項目を有する群は、1個、2個又は3個の項目を有する群を意味する。同様に、1~5個の項目を有する群は、1個、2個、3個、4個又は5個の項目を有する群を意味し、他も同様である。
本明細書に開示した実装に関連して説明した方法又はプロセスのステップは、直接ハードウェアの形で、プロセッサによって実行されるソフトウェアモジュールの形で、或いはこれらの組み合わせの形で具体化することができる。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、又は当業で周知の他のいずれかの形態の非一時的記憶媒体内に存在することができる。例示的なコンピュータ可読記憶媒体は、プロセッサに結合されて、プロセッサがこのコンピュータ可読記憶媒体との間で情報を読み書きできるようにされる。代替例では、記憶媒体をプロセッサに一体化することもできる。プロセッサ及び記憶媒体は、ASIC内に存在することもできる。ASICは、ユーザ端末、カメラ又はその他の装置内に存在することができる。代替例では、プロセッサ及び記憶媒体が、ユーザ端末、カメラ又はその他の装置内に離散的要素として存在することができる。
ソフトウェアで実装する場合、これらの機能をコンピュータ可読媒体上の1又は2以上の命令又はコードとして記憶し、又は送信することができる。本明細書に開示した方法又はアルゴリズムのステップは、コンピュータ可読媒体上に存在できるプロセッサ実行可能ソフトウェアモジュールに実装することができる。コンピュータ可読媒体は、コンピュータプログラムを1つの場所から別の場所に転送できるあらゆる媒体を含むコンピュータ記憶媒体及び通信媒体の両方を含むことができる。記憶媒体は、コンピュータがアクセスできるあらゆる利用可能な媒体とすることができる。限定ではなく一例として、このようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM又はその他の光ディスクストレージ、磁気ディスクストレージ又はその他の磁気記憶装置、或いは、命令又はデータ構造の形のプログラムコードを記憶するために使用できるとともに、コンピュータがアクセスできる他のいずれかの媒体を含むことができる。また、正確にはあらゆる接続をコンピュータ可読媒体と呼ぶこともできる。本明細書で使用するディスク(disk又はdisc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク及びブルーレイディスクを含み、この場合、diskは、通常データを磁気的に再生し、discは、レーザを用いてデータを光学的に再生する。これらの組み合わせもコンピュータ可読媒体の範囲に含めるべきである。また、方法又はアルゴリズムの動作は、コンピュータプログラム製品に組み込むことができる機械可読媒体及びコンピュータ可読媒体上に、コード及び命令の1つの又はあらゆる組み合わせ又は集合として存在することができる。
当業者には、本開示において説明した実装に対する様々な修正が容易に明らかになると思われ、本明細書に定める一般原理は、本開示の趣旨又は範囲から逸脱することなく他の実装に適用することもできる。従って、特許請求の範囲は、本明細書に示した実装に限定されるものではなく、本開示と一致する最も広い範囲、本明細書に開示した原理及び新規の特徴が認められるべきものである。本明細書で使用する「例示的な(exemplary)」という単語は、専ら「実施例、事例又は例証としての役割を果たす」ことを意味するものである。本明細書において「例示的」なものとして説明したあらゆる実装は、必ずしも他の実装よりも好ましいもの又は有利なものとして解釈すべきではない。また、当業者であれば、図の説明を容易にするために「上側(upper)」及び「下側(lower)」という用語を使用していることがあるが、これらの用語は、正しく配向されたページ上の図の配向に対応する相対的な位置を示すものであり、本開示の実施形態の実装通りの正しい配向を反映していないこともあると容易に理解するであろう。
本明細書では様々な態様及び実施形態を開示したが、当業者には他の態様及び実施形態が明らかであろう。本明細書に開示した様々な態様及び実施形態は、限定を意図するものではなく例示を目的とするものであり、真の範囲及び趣旨は以下の特許請求の範囲に示される。
本明細書において別個の実装の文脈で説明したいくつかの特徴は、単一の実装において組み合わせて実装することもできる。これとは逆に、単一の実装の文脈で説明した様々な特徴は、複数の実装において別個に、又はいずれかの好適な部分的組み合わせの形で実装することもできる。さらに、上記ではいくつかの組み合わせで機能するように特徴を説明し、最初はこのように特許請求していることもあるが、場合によっては、特許請求する組み合わせから生じる1又は2以上の特徴をこれらの組み合わせから削除することもでき、特許請求する組み合わせを下位の組み合わせ又は下位の組み合わせの変形例に向けることもできる。
本明細書には、参照用に、及び様々な節の位置を特定するのに役立つように見出しを含めている。これらの見出しは、関連して説明した概念の範囲を限定するものではない。このような概念は、本明細書全体を通じて適用することができる。
以上、開示した実装の説明は、あらゆる当業者が本発明を実践又は使用できるように行ったものである。当業者には、これらの実装の様々な修正が容易に明らかになるであろうし、本発明の趣旨又は範囲から逸脱することなく、本明細書で定義した一般原理を他の実装に適用することもできる。従って、本発明は、本明細書に示す実装に限定されるものではなく、本明細書で開示した原理及び新規の特徴と整合する最も広い範囲が認められるべきものである。
100 医療専門家
102 3Dアバター
104 3Dアバター医療情報システム
106 ホログラフィックアイウェア
108 ネットワーク
110 電子医療記録システム
111 医療記録
112A 頭痛
112B 発疹
112C 火傷
114A~C 医療記録内容項目
120 ユーザメニュー
122A 患者情報の表示
122B 検査の指示
122C タイムラインの表示
122D 新たな医療記録の作成
130A 現在の状態
130B 治療歴
130C To Doリスト
130D その他
140B X線
140C 血液検査
140D その他
150A 頭痛
150B 発疹
150C 火傷
150D その他
160A テキスト
160B オーディオ
160C ビデオ
160D その他
170、172、174 タッチ

Claims (32)

  1. 3次元(3D)アバターを用いて患者の医療情報をユーザに表示して記録するための装置であって、
    患者を表す3次元(3D)アバターの画像をユーザに提示するように構成されたディスプレイと、
    前記ユーザの入力指示を取り込むように構成された1又は2以上のセンサと、
    プロセッサと、
    を備え、前記プロセッサは、
    前記3次元アバターとともに提示されたタイムライン要求内容項目の活性化を検知することによりタイムライン要求ユーザ活動が起こったことを検知し、
    前記タイムライン要求ユーザ活動に応じて、前記ディスプレイを用いて、前記ユーザに対して前記3Dアバターに関連する第1の位置の医療記録の第1のタイムラインのグラフィック表示を表示し、医療記録の前記第1のタイムラインは、第1の時間範囲の第1の位置に関連した情報を含み、
    前記ユーザによる第1の入力指示を判別して前記患者の医療情報の修正済みタイムラインを表示し、医療情報の前記修正済みタイムラインは、第2の時間範囲の前記第1の位置に関連した情報を含み、
    前記ディスプレイを用いて、前記修正済みタイムラインに対応する修正済みグラフィック表示を前記ユーザに表示する、
    ように構成される、
    ことを特徴とする装置。
  2. 前記第1のタイムラインの前記グラフィック表示は、前記第1の時間範囲において取得された前記患者の第1の複数の医療記録を表す第1の複数のグラフィック表示を含む、
    請求項1に記載の装置。
  3. 前記修正済みタイムラインの前記修正済みグラフィック表示は、前記患者の第2の複数の医療記録を表す第2の複数のグラフィック表示を含む、
    請求項2に記載の装置。
  4. 前記第2の時間範囲は前記第1の時間範囲に続き、前記患者の前記第2の複数の医療記録は、前記第2の時間範囲中に記録された前記患者の医療情報に対応する、
    請求項3に記載の装置。
  5. 前記第1のタイムラインは、疾病の進行又は回復のタイムラインに対応する、
    請求項1に記載の装置。
  6. 前記第1のタイムラインの前記グラフィック表示は、前記第1の位置において、前記3Dアバターの上位に、前記3Dアバターに重なって、前記3Dアバターに隣接して、又は前記3Dアバターの下位に出現するように表示される、
    請求項1に記載の装置。
  7. 前記第1の時間範囲及び前記第2の時間範囲は重複し、前記患者の前記第1の複数の医療記録は、前記患者の前記第2の複数の医療記録のうちの1つの医療記録を含む、
    請求項に記載の装置。
  8. 前記1又は2以上のセンサは、画像センサを含む、
    請求項1に記載の装置。
  9. 前記第1の複数のグラフィック表示は、前記ユーザに対して水平に出現するように表示される、
    請求項2に記載の装置。
  10. 前記第1の複数のグラフィック表示のうちの第1のグラフィック表示が、前記患者の前記第1の複数の医療記録のうちの第1の医療記録の要約を表す、
    請求項2に記載の装置。
  11. 前記プロセッサは、
    前記ユーザによる第2のグラフィック表示の選択を示す前記ユーザの第2の入力指示を判別し、
    電子医療記録システムから第2の医療記録を検索する、
    ようにさらに構成される、請求項1に記載の装置。
  12. 前記プロセッサは、前記ユーザから更新後の医療情報を受け取り、前記第2の医療記録を、前記更新後の医療情報を含むように更新するようにさらに構成される、
    請求項11に記載の装置。
  13. 前記更新後の医療情報は、前記ユーザの書面による医療情報、前記ユーザの視覚による医療情報、前記ユーザの音声による医療情報、又はこれらのいずれかの組み合わせを含む、
    請求項12に記載の装置。
  14. 前記プロセッサは、前記ユーザから前記患者の更新後の医療情報を受け取って前記患者の新たな医療記録を作成するようにさらに構成される、
    請求項1に記載の装置。
  15. 前記ディスプレイは、前記患者を表す前記3Dアバターを表示するように構成された仮想現実(VR)ヘッドセットを含む、
    請求項1に記載の装置。
  16. 前記プロセッサは、前記ユーザからジェスチャインターフェイスを通じて命令を受け取るように構成される、
    請求項15に記載の装置。
  17. 前記プロセッサは、前記第1のタイムラインを更新するように構成されたジェスチャインターフェイスを通じて前記ユーザから命令を受け取るように構成される、
    請求項16に記載の装置。
  18. 3次元(3D)アバターを用いて患者の医療情報をユーザに表示して記録する方法であって、
    前記3次元アバターとともに提示されたタイムライン要求内容項目の活性化を検知することによりタイムライン要求ユーザ活動が起こったことを検知するステップと、
    前記タイムライン要求ユーザ活動に応じて、ディスプレイを用いて、3Dアバターに関連する第1の位置の医療記録の第1のタイムラインのグラフィック表示を表示するステップであって、前記3Dアバターは患者を表し、前記第1の医療記録タイムラインは、第1の時間範囲の第1の位置に関連した情報を含む、ステップと、
    前記ユーザの入力指示を取り込むステップと、
    前記ユーザによる第1の入力指示を判別して前記患者の医療情報の修正済みタイムラインを表示するステップであって、医療情報の前記修正済みタイムラインは、第2の時間範囲の前記第1の位置に関連した情報を含む、ステップと、
    前記ディスプレイを用いて、前記修正済みタイムラインに対応する修正済みグラフィック表示を表示するステップと、
    を含むことを特徴とする方法。
  19. 前記ユーザから、新たな関連する日付をともなう新たな医療記録を受け取るステップと、
    前記新たな医療記録を前記第1のタイムラインの前記新たな関連する日付に記憶するステップと、
    前記第1のタイムラインを、前記新たな医療記録が前記新たな関連する日付に関連する旨を前記3Dアバター上で示すように更新するステップと、
    をさらに含む請求項18に記載の方法。
  20. 前記3Dアバターに関連するピニング位置に前記新たな医療記録のグラフィック表示を表示するステップをさらに含む、
    請求項18に記載の方法。
  21. 前記患者の前記医療情報を受け取るステップは、前記ユーザから前記患者の前記医療情報を受け取るステップを含む、
    請求項18に記載の方法。
  22. 前記受け取られた新たな医療記録は、テキストデータ、2次元(2D)データ、3Dデータ、ビデオデータ、オーディオデータ、又はこれらのいずれかの組み合わせを含む、
    請求項18に記載の方法。
  23. さらに、前記患者の医療情報を表す第1の内容項目を表示するステップを含み、前記第1の内容項目は、前記第1のタイムラインの特定の日付と関連するものとして表示される、請求項18に記載の方法。
  24. 前記医療情報を表す第1の内容項目は、前記患者のアイデンティティを認識したことに応答して、前記3Dアバターの前記第1の位置に関連するものとして表示される、
    請求項23に記載の方法。
  25. 前記医療情報の第1の内容項目は個人健康情報を含み、前記ユーザは許可された医療専門家である、
    請求項23に記載の方法。
  26. 前記ユーザの第2のジェスチャによって示される第1の指示を前記ユーザから受け取るステップをさらに含む、
    請求項23に記載の方法。
  27. 前記第1の内容項目を拡大し、前記第1の内容項目を縮小し、又は前記第1の内容項目を前記3Dアバターに関連する第2の位置に関連するものとして表示することによって、前記医療情報の第1の内容項目を修正するステップをさらに含む、
    請求項26に記載の方法。
  28. 前記医療情報の第1の内容項目を表示から削除する命令を受け取り、その後に前記医療情報の第1の内容項目を表示から削除するステップをさらに含む、
    請求項23に記載の方法。
  29. 医療情報の第2の内容項目を表示する命令を受け取り、前記医療情報の第2の内容項目を前記3Dアバターの第2の位置に関連するものとして表示するステップをさらに含む、請求項23に記載の方法。
  30. 前記第2の内容項目は、タスクを前記患者に対して実行する命令を含む、
    請求項29に記載の方法。
  31. 前記プロセッサは、前記ユーザが装着したホログラフィックアイウェアから前記タイムライン要求内容項目の活性化を検知するように構成されている、
    請求項1に記載の装置。
  32. 前記プロセッサは、さらに、前記ユーザにホログラフィックアイウェアにより前記タイムライン要求内容項目が活性化されたかどうかを提示するように構成されている、
    請求項31に記載の装置。
JP2018548337A 2016-03-17 2017-03-15 患者アバターを用いた医療記録システム Active JP7292878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022005543A JP2022064915A (ja) 2016-03-17 2022-01-18 患者アバターを用いた医療記録システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662309862P 2016-03-17 2016-03-17
US62/309,862 2016-03-17
PCT/US2017/022428 WO2017160920A1 (en) 2016-03-17 2017-03-15 Medical record system using a patient avatar

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022005543A Division JP2022064915A (ja) 2016-03-17 2022-01-18 患者アバターを用いた医療記録システム

Publications (2)

Publication Number Publication Date
JP2019514105A JP2019514105A (ja) 2019-05-30
JP7292878B2 true JP7292878B2 (ja) 2023-06-19

Family

ID=59850435

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018548337A Active JP7292878B2 (ja) 2016-03-17 2017-03-15 患者アバターを用いた医療記録システム
JP2022005543A Pending JP2022064915A (ja) 2016-03-17 2022-01-18 患者アバターを用いた医療記録システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022005543A Pending JP2022064915A (ja) 2016-03-17 2022-01-18 患者アバターを用いた医療記録システム

Country Status (7)

Country Link
US (1) US20200293174A1 (ja)
EP (1) EP3429463A4 (ja)
JP (2) JP7292878B2 (ja)
CN (1) CN108778100A (ja)
AU (1) AU2017235338B2 (ja)
CA (1) CA3016176A1 (ja)
WO (1) WO2017160920A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017235338B2 (en) * 2016-03-17 2022-02-17 Becton, Dickinson And Company Medical record system using a patient avatar
US20190244691A1 (en) * 2018-02-05 2019-08-08 Dharmendra Sushilkumar GHAI Medical record/management system with augmented patient images for rapid retrieval
WO2019165432A1 (en) * 2018-02-26 2019-08-29 Children's Medical Center Corporation Extended reality medical report generating system
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
EP3709307A1 (en) * 2019-03-13 2020-09-16 Koninklijke Philips N.V. Storing and rendering audio and/or visual content of a user
US11205306B2 (en) * 2019-05-21 2021-12-21 At&T Intellectual Property I, L.P. Augmented reality medical diagnostic projection
KR102324217B1 (ko) * 2019-06-24 2021-11-10 (주)비주얼터미놀로지 건강기록 시스템
CN110638524B (zh) * 2019-09-16 2021-11-02 山东省肿瘤防治研究院(山东省肿瘤医院) 一种基于vr眼镜的肿瘤穿刺实时模拟系统
US20230047622A1 (en) * 2020-02-03 2023-02-16 Neurotechnology Pty. Ltd. VR-Based Treatment System and Method
US20210295963A1 (en) * 2020-03-18 2021-09-23 BuddhiMed Technologies Pvt. Ltd. Real-time interactive digital embodiment of a patient
EP4185232A1 (en) 2020-07-23 2023-05-31 Align Technology, Inc. Systems, apparatus, and methods for dental care
US12004871B1 (en) * 2020-08-05 2024-06-11 Amazon Technologies, Inc. Personalized three-dimensional body models and body change journey
DE102020123601A1 (de) * 2020-09-10 2022-03-10 Löwenstein Medical Technology S.A. Koordinationseinheit und Behandlungssystem
CN117677918A (zh) * 2021-05-07 2024-03-08 斯纳普公司 增强现实体验的虚拟品尝和导览
CN113487942B (zh) * 2021-06-25 2022-11-11 深圳市妇幼保健院 一种聋哑人口腔治疗过程中的交流方法及相关设备
WO2023159236A1 (en) * 2022-02-18 2023-08-24 Curelator, Inc. Personal medical avatar
US11983833B2 (en) * 2022-03-30 2024-05-14 Health Connect Global Limited Computer-implemented method of generating an avatar
WO2023196872A1 (en) * 2022-04-06 2023-10-12 Predictiv Care, Inc. Disease or drug association providing system for digital twins with genetic information screened by artificial intelligence
WO2023196868A1 (en) * 2022-04-06 2023-10-12 Predictiv Care, Inc. Gene-based digital twin system that can predict medical risk
WO2024069382A1 (en) * 2022-09-26 2024-04-04 Ajith Kumar Perakathu Somasekharan Method and system for medical record processing and display
US20240233057A9 (en) * 2022-10-24 2024-07-11 Truist Bank Systems and methods for collaborative training in a graphically simulated virtual reality (vr) environment
US20240177326A1 (en) * 2022-11-28 2024-05-30 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for human model recovery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005565A (ja) 2003-04-07 2004-01-08 Toshitada Kameda 医療計画及び記録支援システム並びにプログラムを記録した機械読み取り可能な媒体
JP2004529401A (ja) 2000-11-17 2004-09-24 ドレーガー メディカル システムズ インコーポレイテッド 患者情報の処理システムおよび処理方法
JP2015062119A (ja) 2013-09-22 2015-04-02 株式会社リコー 医療関係者用モバイル情報ゲートウェイ
JP2015099184A (ja) 2013-11-18 2015-05-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150278483A1 (en) 2014-03-07 2015-10-01 Mark A. Pruitt System and Technique To Document A Patient Encounter

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010041992A1 (en) * 2000-03-10 2001-11-15 Medorder, Inc. Method and system for accessing healthcare information using an anatomic user interface
JP3586183B2 (ja) * 2000-10-13 2004-11-10 俊忠 亀田 医療計画及び記録支援システム並びにプログラムを記録した機械読み取り可能な媒体
CN1443329A (zh) * 2000-11-22 2003-09-17 里科尔公司 记录医疗体检结果的系统和方法
US8926511B2 (en) * 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
WO2010035811A1 (ja) * 2008-09-29 2010-04-01 テルモ株式会社 血糖値情報処理装置、血糖値情報処理方法及び血糖値情報処理プログラム
US8928671B2 (en) * 2010-11-24 2015-01-06 Fujitsu Limited Recording and analyzing data on a 3D avatar
US8963914B2 (en) * 2011-01-18 2015-02-24 Rishi Rawat Computer based system and method for medical symptoms analysis, visualization and social network
KR20160084502A (ko) * 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5701685B2 (ja) * 2011-05-26 2015-04-15 富士フイルム株式会社 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
CN103562846B (zh) * 2011-06-01 2017-07-14 皇家飞利浦有限公司 时间线显示工具
US9424393B2 (en) * 2011-07-21 2016-08-23 Emergent Health Care Solutions, Llc Method, apparatus, and system for reading, processing, presenting, and/or storing electronic medical record information
US20130046556A1 (en) * 2011-08-18 2013-02-21 Vijaykalyan Yeluri Medical presentation creator
AU2013249502B2 (en) * 2012-04-16 2017-12-14 Airstrip Ip Holdings, Llc Systems and methods for displaying patient data
US10037820B2 (en) * 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
JP2014123181A (ja) * 2012-12-20 2014-07-03 Fuji Xerox Co Ltd プログラム及び診療記録表示装置
WO2015134953A1 (en) * 2014-03-06 2015-09-11 Virtual Reality Medical Applications, Inc. Virtual reality medical application system
AU2017235338B2 (en) * 2016-03-17 2022-02-17 Becton, Dickinson And Company Medical record system using a patient avatar

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004529401A (ja) 2000-11-17 2004-09-24 ドレーガー メディカル システムズ インコーポレイテッド 患者情報の処理システムおよび処理方法
JP2004005565A (ja) 2003-04-07 2004-01-08 Toshitada Kameda 医療計画及び記録支援システム並びにプログラムを記録した機械読み取り可能な媒体
JP2015062119A (ja) 2013-09-22 2015-04-02 株式会社リコー 医療関係者用モバイル情報ゲートウェイ
JP2015099184A (ja) 2013-11-18 2015-05-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150278483A1 (en) 2014-03-07 2015-10-01 Mark A. Pruitt System and Technique To Document A Patient Encounter

Also Published As

Publication number Publication date
AU2017235338A1 (en) 2018-09-20
JP2019514105A (ja) 2019-05-30
WO2017160920A1 (en) 2017-09-21
CN108778100A (zh) 2018-11-09
EP3429463A1 (en) 2019-01-23
JP2022064915A (ja) 2022-04-26
CA3016176A1 (en) 2017-09-21
AU2017235338B2 (en) 2022-02-17
EP3429463A4 (en) 2019-11-27
US20200293174A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7292878B2 (ja) 患者アバターを用いた医療記録システム
US11830614B2 (en) Method and system for optimizing healthcare delivery
CN112740285B (zh) 在虚拟环境中对医学图像的叠加和操纵
US9841811B2 (en) Visually directed human-computer interaction for medical applications
JP2024096186A (ja) 医療アシスタント
WO2012160796A1 (en) Medical information display apparatus, operation method and program
JP5309187B2 (ja) 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US11351312B2 (en) Use of infrared light absorption for vein finding and patient identification
JP2015533248A (ja) Ems環境内で三次元対話をモニタするためのシステム及び方法
US20200234809A1 (en) Method and system for optimizing healthcare delivery
JP2018502636A (ja) ヘッドマウント式コンピュータ装置、その方法及びコンピュータプログラム製品
JP7386368B1 (ja) 治療効果ならびに治療過程予測装置
JP6891000B2 (ja) 病院情報システム
WO2018209515A1 (zh) 显示系统及方法
JP2017016347A (ja) 情報処理装置、情報処理方法及びプログラム
JP2022525867A (ja) ユーザの音響的及び/又は映像的コンテンツの記憶及びレンダリング
JP2020177482A (ja) 医用情報処理装置及び医用情報処理方法
Antonelli et al. Magnetic resonance imaging based neurosurgical planning on hololens 2: A feasibility study in a paediatric hospital
Egger et al. Is the Apple Vision Pro the Ultimate Display? A First Perspective and Survey on Entering the Wonderland of Precision Medicine
JP2022056713A (ja) 情報処理装置、情報処理方法及びプログラム
JP2007089759A (ja) 映像表示装置、及び映像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210921

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220118

C116 Written invitation by the chief administrative judge to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C116

Effective date: 20220131

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220131

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220413

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220601

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221128

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221212

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230607

R150 Certificate of patent or registration of utility model

Ref document number: 7292878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150