JP6636629B2 - 拡張現実眼鏡を介して空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステム - Google Patents

拡張現実眼鏡を介して空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステム Download PDF

Info

Publication number
JP6636629B2
JP6636629B2 JP2018521609A JP2018521609A JP6636629B2 JP 6636629 B2 JP6636629 B2 JP 6636629B2 JP 2018521609 A JP2018521609 A JP 2018521609A JP 2018521609 A JP2018521609 A JP 2018521609A JP 6636629 B2 JP6636629 B2 JP 6636629B2
Authority
JP
Japan
Prior art keywords
remote
pane
scene
helper
portable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018521609A
Other languages
English (en)
Other versions
JP2018531731A (ja
JP2018531731A5 (ja
Inventor
ヨハン パルトモ ジャジャディニングラット
ヨハン パルトモ ジャジャディニングラット
ペイ‐イン チャオ
ペイ‐イン チャオ
ウィング ラム ルイ
ウィング ラム ルイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018531731A publication Critical patent/JP2018531731A/ja
Publication of JP2018531731A5 publication Critical patent/JP2018531731A5/ja
Application granted granted Critical
Publication of JP6636629B2 publication Critical patent/JP6636629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/332—Portable devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H31/00—Artificial respiration or heart stimulation, e.g. heart massage
    • A61H31/004—Heart stimulation
    • A61H31/007—Manual driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/38—Applying electric currents by contact electrodes alternating or intermittent currents for producing shock effects
    • A61N1/39—Heart defibrillators
    • A61N1/3993—User interfaces for automatic external defibrillators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62B—DEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Pain & Pain Management (AREA)
  • Emergency Medicine (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Rehabilitation Therapy (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Urology & Nephrology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Electrotherapy Devices (AREA)

Description

[0001] 本実施形態は、概して、遠隔援助の提供に関し、より詳細には、拡張現実眼鏡を介して空間的配置タスクの遠隔援助を提供するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステムに関する。
[0002] 遠隔援助者又は専門家がいくつかの形態のビデオコラボレーション又は他の遠隔援助ツールを使用して、援助を必要としている人物にガイダンスを提供する様々な方法及びシステムが当技術分野において知られている。知られている方法の１つは、拡張現実眼鏡などの拡張現実ディスプレイと対話することを含み、第１のユーザの拡張現実デバイスから視野の視覚的記録を受信し、それを遠隔援助者のディスプレイデバイスに表示することで促進される。方法は、遠隔援助者のディスプレイデバイスへのタッチ入力の指標を受信するステップと、プロセッサによって、画像内の入力の場所を判定するステップと、拡張現実によって提供されるビューの入力の場所に指標（すなわち、矢印アイコン）が重畳されるように、入力の場所に関する情報が拡張現実デバイスに提供されるようにするステップとを更に有する。しかしながら、このような方法及びシステムによる矢印アイコンの提供は、特定の環境の下では、例えば、医療的な緊急状況の場合には、著しく不適切である。
[0003] 換言すれば、ディスプレイ上の矢印アイコンは、特には、初期対応者（ｆｉｒｓｔ ｒｅｓｐｏｎｄｅｒ）が単純な２次元的（２Ｄ）な援助よりもむしろ３次元的（３Ｄ）なガイダンスを必要とする緊急状況においては、使用が限定される。例えば、高品質のＣＰＲを提供するためには、初期対応者が、自身の手を犠牲者の胸の適切な場所に位置付ける必要があるだけではなく、初期対応者が正しい深さ（すなわち、犠牲者の胸部の圧迫）及び正しい速度（すなわち、圧迫の頻度）で行為を行う必要もある。ガイドラインは、２インチ（２ｉｎ）の深さを推奨している。圧迫は血液を身体内で移動させ、生命維持に必要な臓器に酸素が供給された状態を保つ。加えて、適切な深さでの圧迫は、心臓を胸骨と脊柱との間に本質的に留め、血液を効果的に絞り出す。さもなければ、ＣＰＲは不適切なものになる。
[0004] 更には、緊急状況においては、初期対応者は、痩せた人にも大柄な人にも同一の深さで圧迫を実施するように初期対応者をガイドする、現在知られているＣＰＲメトロノームを使用していることもある。問題は、浅すぎる深さでの圧迫の実施は効果がなく、深すぎる深さでの圧迫の実施は、例えば、特には小児におけるＣＰＲでの胸部の圧迫の深さに関して、圧迫されている構造の損傷につながることがあるということにある。また、ＣＰＲ中に肋骨の骨折が起こることも知られており、これは他の合併症を引き起こす。ＣＰＲを施す際の別の問題は、胸部の不完全な解放である。圧迫の深さ、すなわち胸部を十分に深く圧迫することが重要である一方で、犠牲者の胸部への圧力を十分に解放することも重要である。初期対応者が自身の手を十分に持ち上げないと、犠牲者の胸部は圧迫されたままになり、心臓へのポンプ効果が減少する。
[0005] 緊急看護のためのＣＰＲに加えて、自動体外式除細動器（ＡＥＤ：ａｕｔｏｍａｔｉｃ ｅｘｔｅｒｎａｌ ｄｅｆｉｂｒｉｌｌａｔｏｒ）も知られている。ＡＥＤを使用する場合、蘇生は、厳密で、時間が重要視されるプロトコルに従って実施されなければならない。典型的には、緊急時における最初の数分が非常に重要であり、誰かがＡＥＤを持って到着するには時間がかかるため、犠牲者の蘇生は非公式の看護者（例えば、同僚、家族の一員、第三者）によって開始される。蘇生（すなわち、犠牲者の胸部へのポンプ動作、口対口式の方法で代替される）が適正に機能するためには、非公式の看護者は、正しい深さ（すなわち、犠牲者の胸部の圧迫）及び正しい速度（すなわち、圧迫の頻度）で圧迫を行う必要がある。
[0006] 更に、ＡＥＤによる除細動及び緊急看護に関連して、心臓が細動されているとき、無秩序な電気信号が心臓の筋肉の同期した収縮を妨げることも留意される。ＡＥＤデバイスは、電気ショックを施すことによって、心臓の電気信号を再び同期させることを助けることができる。このショックを施すために、２つの粘着式電極パッドが犠牲者の身体上に、特定の場所及び向きで位置付けられる必要がある。詳細には、電極パッドは、心臓が電極パッドの間に位置した状態で身体の斜め方向に沿って置かれる必要がある。大人の患者に対する最適な配置は、第１のパッドが犠牲者の右上胸部に装着され、次いで第２のパッドが左下側部に装着されることを伴う。専門の看護者にとってはこれは容易かもしれないが、非公式の看護者にとっては、これは手の込んだ作業となり得る。いくつかのＡＥＤは、非公式の看護者が電極パッド及びデバイスを適正に使用するのを援助する段階的な音声指示及び／又はイラストレーションを提供している。しかしながら、電極パッド自体に描かれたイラストレーションによってのみガイドされる非専門家にとっては、緊急看護を必要としている犠牲者の最適な場所にパッドを置くことは難しい。
[0007] ＣＰＲを施すことに関して上に論じられた問題に加えて、ＡＥＤを使用する際の別の問題は、犠牲者への電極パッドの間違った配置である。最適な除細動のために、２つの電極パッドは、犠牲者の身体に正しく配置されなくてはならない。医療専門家は、一般に、乳首、へそ、肋骨のラインなどの身体の特徴に対してパッドをどのように配置するかを知っている。しかしながら、非専門家の初期対応者は、典型的には、この情報を知らず、緊急状況において、製品が、この複雑な医療情報を非動的な２Ｄグラフィックによって素早く伝えることは難しい。各ＡＥＤ電極パッドには、通常、非動的な２Ｄグラフィックが描かれていることが見受けられるが、これを犠牲者の身体と関連付けることは難しい。
[0008] 心臓停止中には一分一秒が争われる。それ故、例えば、蘇生又は他の緊急治療を開始するために必要となる時間を短縮し、それによって犠牲者の生存の可能性を高めるために、拡張現実眼鏡を介した空間的配置タスクの遠隔援助を初期対応者に提供するためのグラフィカルユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステムを提供することが望ましい。それ故、当技術分野における問題点を克服するための、改良された方法及び装置が望まれている。
[0009] 本開示の一態様によると、拡張現実ヘッドセットの出現に伴って、このような拡張現実ヘッドセット又は眼鏡を着用した「現場に存在する人物」が遠隔地の専門家と連絡をとることが可能になる。次いで、遠隔地の専門家は、ＡＲ眼鏡におけるカメラによって撮影されたライブストリームを見ることができ、「現場に存在する人物」の「目を通して見る」ことが可能になる。考えられる使用事例としては、緊急状況にある初期対応者が９１１コールセンターの医療専門家によって援助される場合、保守又は修繕を実行する現場技術者又はエンジニアが、特定の機械、ある処置、コンポーネントの利用可能性などについてより知識のある、バックオフィスにいる遠隔地の専門家に相談する場合などがある。第１の使用事例は、緊急看護に高い関連性を有し、最も注目すべきは、緊急応答チームが初期対応者を遠隔地から支援することができる製品−サービスの連携である。第２の使用事例は、例えば、現場にいる保守エンジニアが専門的な医療機器（例えば、ＭＲＩ、ＣＴ、ｉＸＲ及び超音波スキャナ、患者モニタなど）に関する作業を行う必要があるヘルスケアビジネスに高い関連性を有する。第２の使用事例は、照明システム（オフィスの照明、道路の照明など）に関する照明ビジネスにも関連性を有する。この種類の適用例の本質は、遠隔地の専門家が、本実施形態によるグラフィカルユーザインターフェースを使用して、現場にいる人物によって着用されたＡＲ眼鏡において仮想的な２Ｄ又は３Ｄの図像ガイダンスをどのように提供できるかということにある。
[0010] 本開示の一実施形態によると、拡張現実眼鏡を介して遠隔援助を提供する際に遠隔地の専門家によって使用されるためのグラフィカルユーザインターフェースは、少なくとも２つのペインを備える。第１のペインは、拡張現実眼鏡におけるカメラから取得されたライブビデオストリームビューを含む。第２のペインは、遠隔の現場の所与の向き（例えば、トップビュー又は他の向き）の２Ｄビューを示す表現と、描画される遠隔援助に関連した３Ｄ仮想オブジェクトの様々な移動可能な２Ｄ表現、より詳細には、選択可能で、３Ｄシーンにおける基準ポイントに対して移動可能な仮想コンテンツの２Ｄビューを示す２Ｄ表現とを含む。仮想オブジェクトは、専門家援助者入力を介して、少なくとも第２のペイン内で選択及び移動可能である。
[0011] 遠隔援助者グラフィカルユーザインターフェースＧＵＩは、遠隔地の専門家に、「現場に存在する人物」に情報を通信するための少なくとも２つのモードを提供する。第１のモードにおいて、遠隔地の専門家は、（ｘ，ｙ）座標を選択、例えば、第１のペインにライブビデオストリームが表示されているタッチスクリーンディスプレイにタッチすることによって選択して、第１のペインにおけるライブビデオストリームの任意の部分をハイライトすることができ、ＡＲ眼鏡を着用している人物が見る立体ＡＲ眼鏡においては正確に同じ部分がハイライトされる。仮想ハイライトは、ライブビューペインのフレームに対して（すなわち、専門家にとって）固定的であり、同様にＡＲ眼鏡に対しても固定的である。従って、この第１のモードは、現場にいる人物が自身の頭部を一時的に静止しているときにだけ機能する。というのは、さもなければスクリーン上のビューは、仮想ハイライトに対して「スライド」してしまうからである。第２のモードにおいて、遠隔地の専門家は、第２のペインに表示された現場の２Ｄ表現において仮想コンテンツを選択し、あちこちに移動（すなわち、ドラッグ）させることができる。仮想コンテンツは、遠隔援助者によってユーザインターフェースの第２のペインにおいて移動されるとき、３Ｄシーンにおける固定された基準ポイントに対して位置決めされているため、ＡＲ眼鏡を着用している人物が自身の頭部を動かしたとしても問題ない。拡張現実眼鏡の動きに伴って仮想コンテンツが跳ね回ることなく、遠隔地の専門家は仮想コンテンツを移動させることができる。
[0012] 最も重要な点として、初期対応者が自身の頭部を動かしているとき、遠隔援助者は、第１のペイン（すなわち、ライブビデオストリーム）内でコンテンツを単純に移動させることはできない。頭部を動かしている状況は、遠隔地の専門家が、３Ｄ仮想コンテンツを、すなわち第１のペインのライブビデオストリーム内で、安定した状態に保つことを不可能にする。それ故、遠隔援助ワークステーションは、第２のペイン（すなわち、２Ｄトップビュー又は他の所望の２Ｄ方向のビュー）を介して３Ｄ仮想コンテンツを非直接的に適用して利用する。遠隔援助者は、現場における対象者又は第２のオブジェクトの２Ｄトップビュー内の３Ｄ仮想コンテンツの２Ｄ表現を選択し、移動させる。遠隔援助者による２Ｄトップビュー内での所望の場所への３Ｄ仮想コンテンツの配置に続いて、遠隔援助ワークステーションのコントローラは、３Ｄ仮想コンテンツがライブビデオストリーム内に表示されるように、及びライブビデオストリーム中の基準ポイントに対して安定した状態で維持されるようにする遠隔援助信号を生成する。
[0013] 一実施形態によると、遠隔援助ワークステーションは、少なくとも１対の立体拡張現実眼鏡を備えるポータブルデバイスに動作可能に結合されるために構成され、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者及び第２のオブジェクトのうちの少なくとも１つとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものである。遠隔援助ワークステーションは、通信モジュールと、ユーザインターフェースモジュールと、コントローラとを備える。通信モジュールは、ポータブルデバイスから起きる遠隔援助リクエストに応答してポータブルデバイスと通信するために構成される。遠隔援助リクエストは、現場において立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む。
[0014] ユーザインターフェースモジュールは、（ａ）遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画するため、及び（ｂ）遠隔援助者からの遠隔援助者入力を受信するために構成される。遠隔援助者グラフィカルユーザインターフェースは、（ｉ）遠隔援助リクエストのライブビデオストリームを表示するための第１のペインと、（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を表示するための第２のペインと、を少なくとも含む。描画された２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して第２のペイン内で移動可能である。遠隔援助者グラフィカルユーザインターフェースは更に、第１のペイン内に、現場における第１のオブジェクトの２Ｄ表現に対応する、対応する３Ｄ仮想コンテンツの少なくとも１つのアイテムを、第１のペイン内の少なくとも基準ポイントに対して相対的に描画するために構成される。基準ポイントは、ライブビデオストリームのコンテンツに基づく。
[0015] コントローラは、ＡＲ眼鏡のカメラによって撮影された現場のライブビュー内の初期対応者に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡に表示するために、ポータブルデバイスに通信モジュールを介して出力される１つ又は複数の遠隔援助信号を生成するために構成される。初期対応者が、第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するのを援助するために、遠隔援助者グラフィカルユーザインターフェースの第２のペイン内で現場における第１のオブジェクトの２Ｄ表現を移動させる１つ又は複数の遠隔援助者入力に応答して、３Ｄ仮想コンテンツの少なくとも１つのアイテムは、ライブビュー内の基準ポイントに対して正しい場所に現れる。
[0016] 別の実施形態において、ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備える。加えて、現場における第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える。
[0017] 更なる実施形態において、３Ｄ仮想コンテンツの少なくとも１つのアイテムは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム、のうちの少なくとも１つを表す少なくとも１つの仮想表現輪郭を備える。
[0018] 別の実施形態によると、遠隔援助ワークステーションは、ビデオ描画モジュールと、２Ｄ図像ビュー描画モジュールと、基準ポイントモジュールと、ＸＹ座標モジュールと、のうちの１つ又は複数を更に備える。ビデオ描画モジュールは、第１のペイン内に、少なくとも遠隔援助リクエストのライブビデオストリームを描画するために動作可能である。２Ｄ図像ビュー描画モジュールは、第２のペイン内に、少なくとも（ｉ）現場における対象者又は第２のオブジェクトの２Ｄ表現、及び（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を描画するために動作可能である。基準ポイントモジュールは、第１のペインに表示された遠隔援助リクエストのライブビデオストリームのコンテンツ内の基準ポイントを確立するために動作可能である。最後に、ＸＹ座標モジュールは、遠隔援助リクエストのライブビデオストリームのための基準ポイントに少なくとも基づいて、第１のペイン内にＸＹ座標系を確立するために動作可能である。
[0019] 追加的な実施形態において、基準ポイントは、（ｉ）ライブビデオストリーム中の対象者の画像に適用された顔認識アルゴリズムを介して判定された対象者の顔、及び（ｉｉ）第１のペインに描画されたライブビデオストリームのコンテンツ内の遠隔援助者選択基準ポイント（ｒｅｍｏｔｅ ａｓｓｉｓｔａｎｔ ｓｅｌｅｃｔｅｄ ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔ）、のうちの少なくとも１つを備える。更には、遠隔援助者選択基準ポイントは、（ｉ）現場における対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備え得る。更には、遠隔援助者選択基準ポイントは垂直方向を更に備え得、垂直方向は、第２のペインのビューを、ビューの垂直方向が現場における対象者又は第２のオブジェクトの中央軸に対応するようにビューを回転させることによって修正することによって選択される。
[0020] 更に別の実施形態において、１つ又は複数の遠隔援助信号は、ＡＲ眼鏡のカメラによって撮影された現場のライブビュー内の初期対応者に対して、立体拡張現実眼鏡に少なくとも１つのハイライトを表示するために構成される。少なくとも１つのハイライトは、遠隔専門家グラフィカルユーザインターフェースの第１のペインに表示されたライブビデオストリームにおいて遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して表示される。この実施形態において、少なくとも１つのハイライトは、初期対応者によって見られる拡張現実眼鏡における合致するＸＹ座標に表示される。
[0021] なおも更なる実施形態において、遠隔援助者グラフィカルユーザインターフェースの第２のペインは、現場における対象者又は第２のオブジェクトに関連して実行されるべき複数の種類の行為各々のための少なくとも１つのタブを含む。遠隔援助者が、遠隔援助者グラフィカルユーザインターフェースを介して、第２のペインにおける所与のタブを選択することに応じて、２Ｄ図像ビュー描画モジュールは、第２のペイン内に、対応する所与の種類の行為に関して遠隔援助者による使用のために利用可能な所与のタブに関連付けられた第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する。例えば、１つのタブはＡＥＤ及び電極配置などその関連する行為に専用のものであり、他のタブは、ＣＰＲ、トリアージなどに専用のものである。
[0022] 一実施形態において、ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備える。第１のオブジェクトの１つ又は複数の２Ｄ表現は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数に対応し得る。加えて、ポータブルデバイスの少なくとも１つのアイテムの１つ又は複数の２Ｄ表現は、ＡＥＤパッド配置、ＣＰＲ圧迫配置、及びＥＣＧセンサ配置からなる群から選択される少なくとも１つのものを更に表し得る。更には、遠隔援助ワークステーションは、ディスプレイデバイスを備え得、ディスプレイデバイスは、遠隔援助者入力を受信するためのタッチスクリーンデバイスを含む。
[0023] 別の態様によると、方法は、遠隔援助ワークステーション及びポータブルデバイスを介して遠隔援助を提供するステップを有し、ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備える。ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者及び第２のオブジェクトのうちの少なくとも１つとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものである。詳細には、方法は、動作可能に結合するステップ、描画及び受信するステップ、及び生成するステップ、の少なくとも３つのステップを有する。
[0024] 第１のステップは、ポータブルデバイスから起きる遠隔援助リクエストに応答して、通信モジュールを介して遠隔援助ワークステーションをポータブルデバイスに動作可能に結合するステップを含む。遠隔援助リクエストは、現場において立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む。
[0025] 第２のステップは、ユーザインターフェースモジュールを介して、遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画し、及び遠隔援助者からの遠隔援助者入力を受信するステップを含む。遠隔援助者グラフィカルユーザインターフェースは、（ｉ）遠隔援助リクエストのライブビデオストリームを表示するための第１のペインと、（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を表示するための第２のペインと、を少なくとも含む。描画された２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して第２のペイン内で移動可能であり、遠隔援助者グラフィカルユーザインターフェースは更に、第１のペイン内に、現場における第１のオブジェクトの２Ｄ表現に対応する、対応する３Ｄ仮想コンテンツの少なくとも１つのアイテムを、第１のペイン内の少なくとも基準ポイントに対して相対的に描画する。基準ポイントは、ライブビデオストリームのコンテンツに基づく。
[0026] 第３のステップは、カメラによって撮影された現場のライブビュー内の初期対応者に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡に表示するために、ポータブルデバイスに通信モジュールを介して出力される１つ又は複数の遠隔援助信号を、コントローラを介して生成するステップを含む。初期対応者が、現場における対象者又は第２のオブジェクトに関連して少なくとも１つの行為を実行するのを援助するために、遠隔援助者グラフィカルユーザインターフェースの第２のペイン内で現場における第１のオブジェクトの２Ｄ表現を移動させる１つ又は複数の遠隔援助者入力に応答して、３Ｄ仮想コンテンツの少なくとも１つのアイテムはライブビュー内の基準ポイントに対して正しい場所に現れる。
[0027] 別の態様の方法において、コントローラを介した生成するステップは、遠隔専門家グラフィカルユーザインターフェースの第１のペインに表示されたライブビデオストリームにおいて遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、カメラによって撮影された現場のライブビュー内の初期対応者に対して、立体拡張現実眼鏡に少なくとも１つのハイライトを表示するための１つ又は複数の遠隔援助信号を生成するステップを更に含み、更に、少なくとも１つのハイライトは、初期対応者によって見られる拡張現実眼鏡における合致するＸＹ座標に表示される。
[0028] 更に別の態様において、基準ポイントは、（ｉ）第１のペインに描画されたライブビデオストリーム中の対象者の画像に適用された顔認識アルゴリズムを介して判定された対象者の顔の基準ポイント、及び（ｉｉ）第１のペインに描画されたライブビデオストリームのコンテンツ内の遠隔援助者選択基準ポイントからなる群から選択されるものを備える、ことを方法は含む。遠隔援助者選択基準ポイントは、（ｉ）現場における対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを更に備え、遠隔援助者基準ポイントを選択するステップは、第２のペインのビューを、ビューの垂直方向が現場における対象者又は第２のオブジェクトの中央軸に対応するようにビューを回転させることによって修正するステップを更に含む。
[0029] 本開示の更なる実施形態において、非一時的コンピュータ読み取り可能媒体は、プロセッサによって実行されたときに、本明細書において論じられる方法をプロセッサに実行させる命令が具現化される。
[0030] なおも更なる実施形態において、遠隔援助システムは、本明細書において論じられる遠隔援助ワークステーションと、ポータブルデバイスとを備える。ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備え、現場における第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）少なくとも１つのアイテム、のうちの１つ又は複数を備え、更に、ポータブルデバイスは、現場における対象者及び第２のオブジェクトのうちの少なくとも１つに関連して、少なくとも１つの行為を実行するために初期対応者によって使用されるものである。ポータブルデバイスは、遠隔援助ワークステーションと通信するために構成された通信モジュールを更に備える。加えて、少なくとも１つのアイテムは、現場における対象者又は第２のオブジェクトに対して少なくとも１つの行為を実行することに関連して初期対応者によって使用されるための少なくとも１つのワークピースを備える。更には、初期対応者によって着用される少なくとも１対の立体拡張現実眼鏡は、現場における対象者又は第２のオブジェクトのリアルタイム画像を撮影するためのカメラを含む。
[0031] なおも更なる利点及び利益は、以下の詳細な説明を読み、理解することで、当業者に明らかになるであろう。
[0032] 本開示の実施形態は、様々なコンポーネント及びコンポーネントの配置、並びに様々なステップ及びステップの配置の形態をとる。それ故、図面は、様々な実施形態を例示するためのものであり、実施形態を限定するものと解釈されるべきではない。図面において、類似の参照番号は類似の要素を指す。加えて、図面は縮尺どおりに描かれていない場合もあることに留意されたい。
[0033] 本開示の実施形態による、空間的配置タスクの遠隔援助を提供するためのユーザインターフェースを有する遠隔援助ワークステーションと、ポータブルデバイスとのブロック図であって、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるための少なくとも１対の立体拡張現実（ＡＲ）眼鏡を備える、ブロック図である。 [0034] 本開示の実施形態による、空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーションの更に詳細なブロック図である。 [0035] 本開示の実施形態による、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるためのポータブルデバイスのブロック図である。 [0036] 本開示の実施形態による、遠隔援助ワークステーションのグラフィカルユーザインターフェースの第１の及び第２のペインの組み合わされた画像及び対応する注釈図であり、グラフィカルユーザインターフェースの第２のペイン内で選択及び移動された３Ｄコンテンツの移動可能な２Ｄ表現の遠隔援助者入力を示す図である。 [0037] 本開示の実施形態による、現場における対象者が示された状態の、ポータブルデバイスを使用する初期対応者の拡張現実眼鏡に表示される組み合わされた画像及び対応する注釈図であり、図４のグラフィカルユーザインターフェースの第２のペインにおける遠隔援助者入力に従った３Ｄ仮想コンテンツの配置を示す図である。 [0038] 本開示の実施形態による、遠隔援助ワークステーションのグラフィカルユーザインターフェースの第１の及び第２のペインの組み合わされた画像及び対応する注釈図であり、グラフィカルユーザインターフェースの第１のペイン内で受信された（ｘ，ｙ）座標選択の遠隔援助者入力を示す図である。 [0039] 本開示の実施形態による、現場における対象者が示された状態の、ポータブルデバイスを使用する初期対応者の拡張現実眼鏡に表示される組み合わされた画像及び対応する注釈図であり、図６のグラフィカルユーザインターフェースの第１のペインにおける遠隔援助者入力に従った、対応する（ｘ，ｙ）座標におけるハイライトの配置を示す図である。 [0040] 本開示の実施形態による、遠隔援助ワークステーションのユーザインターフェースとポータブルデバイスとを介して、空間的配置タスクの遠隔援助を提供するための方法のフロー図であって、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるための少なくとも１対の立体拡張現実眼鏡を備える、フロー図である。
[0041] 本開示の実施形態及びその様々な特徴及び有利な詳細が、図面において説明及び／又は示され、以下の説明において詳細が示される非限定的な例を参照してより完全に説明される。当業者が恐らく認識するように、本明細書において明示的に述べられていなくても、図面において示される特徴は、必ずしも縮尺通りに描かれていないこと、及び１つの実施形態の特徴は他の実施形態とともに用いられてもよいことに留意されたい。よく知られたコンポーネント及び処理技術の説明は、本開示の実施形態を不必要に不明瞭にすることがないように省略されることがある。本明細書において使用される例は、単に、本開示の実施形態が実践されるやり方の理解を促進し、更に、当業者がこれを実践できるようにすることを意図されるものである。それ故、本明細書における例は、本開示の実施形態の範囲を限定するものと解釈されるべきでなく、この範囲は添付の特許請求の範囲及び適用され得る法律によってのみ定められる。
[0042] 本開示の実施形態は変動し得るため、本明細書において説明される特定の手法、プロトコル、デバイス、装置、材料、用途などに限定されるものではないことが理解される。本明細書において使用される用語は、特定の実施形態を説明するためにのみ使用されるものであり、特許請求される実施形態の範囲を限定することを意図されるものではないことも理解されたい。本明細書及び添付の特許請求の範囲において使用されるとき、文脈がそうでないことを明白に示さない限り、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は複数の参照先を含むことが留意されなければならない。
[0043] 別に定めのない限り、本明細書において使用される全ての技術的及び科学的用語は、本開示の実施形態が属する技術分野の当業者によって一般に理解されるものと同一の意味を有する。好ましい方法、デバイス、及び材料が説明されるが、本明細書において説明されるものと類似又は同等の任意の方法及び材料が、本実施形態の実践又は検査において使用されてよい。
[0044] 本明細書における開示から理解されるように、拡張現実（ＡＲ）眼鏡の出現に伴って、着用者が遠隔地の専門家に相談することを可能にする用途について大きな関心が持たれている。拡張現実眼鏡はカメラを有するので、このカメラのライブビューは、インターネットリンク又は他の適切な通信リンクを介して、遠隔地の専門家に転送され得る。典型的には、ＡＲ眼鏡の着用者は、現場において「実地作業可能に（ｈａｎｄｓ−ｏｎ）」存在する。遠隔地の専門家は、現場にいる人物に物理的には何もすることができない。しかしながら、遠隔地の専門家は、概して、リソースに対する知識又はアクセスをより豊富に有している。結果として、遠隔地の専門家は、現場に存在する人物にある事を行うように依頼することができ、例えば、医療的な緊急事態において、処置全体にわたってその人物をガイドすることができる。
[0045] 拡張現実眼鏡を介した空間的配置タスクの遠隔援助を初期対応者に提供するための本開示のユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステムを介したいくつもの有利な利益がある。この利益は、現場に存在するのが「訓練が乏しい」人物でよいこと、遠隔地の専門家がタスク支援を提供できること、遠隔地の専門家が精神面での支援を提供できること、及び、遠隔地の専門家の助けを借りて、現場を二度訪れる必要なく問題が解決され得ること、のうちの１つ又は複数を含む。一例において、緊急状況にある初期対応者は、ＡＲ眼鏡及び遠隔地の専門家のユーザインターフェースを介して９１１緊急応答チームの専門家と連絡し得る。別の例において、保守又は修繕作業を実行する現場エンジニアは、バックオフィスと連絡して、ある機械、ある処置、コンポーネントの利用可能性などについてより知識のある専門家に相談することができる。
[0046] 本明細書における開示から理解されるように、本開示の実施形態は、立体拡張現実（ＡＲ）眼鏡を使用するが、これは「補助ディスプレイを有する眼鏡」とは区別されるべきである。「補助ディスプレイを有する眼鏡」（例えば、Ｇｏｏｇｌｅ（商標）眼鏡）に関しては、しばしば視野の右上方向の角部に位置付けられる補助ディスプレイは、眼鏡のカメラによって撮影されたビデオストリームを表示することができる。このディスプレイは、ユーザが実際に見ている現実世界の光景の隣に存在する。ユーザが見ている現実世界の光景の上に直接的に仮想オブジェクトを置くことはできない。結果として、遠隔地の専門家はカメラ画像における要素をハイライトすることはできるが、眼鏡を着用している人物にとって、これらは補助ディスプレイに現れ、その人物が直接的に見ている物理的世界の光景の中に現れるものではない。従って、欠点は、そこに「間接性」があることである。ユーザは、遠隔地の専門家によって何の要素がハイライトされたかを見るために補助ディスプレイをチェックし、その後、自身の実際の物理的環境において対応する要素を探す必要がある。
[0047] 次に、立体拡張現実（ＡＲ）眼鏡に関しては、立体ＡＲ眼鏡の本質は、ユーザの目の直前にあるディスプレイを通じて、仮想コンテンツが、物理世界と同時に配置され得ることである。すなわち、仮想コンテンツは、ユーザにとって、コンピュータで生成されたホログラフのように、自身の物理環境における特定の場所に現れるように表示され得る。このようなＡＲ眼鏡の利点は、遠隔援助者又は専門家が、特定の遠隔援助の適用（例えば、緊急状況において）のために、現場にいる人物の注意を引き、方向を示し、何をどこへ動かすべきかを示すなどのために、仮想コンテンツを特定の３Ｄ位置へ移動させる（すなわち、仮想コンテンツを３Ｄシーンの２Ｄ表現における特定の場所へ移動させ、次いでこれは初期対応者のＡＲ眼鏡において提示又は可視化される）ことができるということである。１つの問題点は、ＡＲ眼鏡におけるカメラからのライブビデオフィードが遠隔地の専門家のディスプレイに画像として表示されるとき、画像が現場にいる人物の頭部の位置に伴って動き回ることである。このことは、遠隔地の専門家がライブビューにおいて仮想コンテンツを直接的に操作することを不可能にする。同時に、現場にいる人物が自身の視界において同じ要素の上に仮想ポインタを見ていることを完全に確信しつつ、遠隔援助者又は専門家が仮想カーソルでライブビュー内の何かを指し示すことは非常に便利である。
[0048] 上記に鑑みて、２つのペインを備える遠隔援助者又は専門家のための遠隔援助者グラフィカルユーザインターフェース（ＧＵＩ）が考案された。第１のペインは、ＡＲ眼鏡からのライブビューを表示する。第２のペインは、３Ｄシーンの二次元的（２Ｄ）ビューを表示し、その中で遠隔援助者又は専門家は仮想コンテンツをあちこちに動かすことができる。すなわち、第２のペインは、遠隔地の現場の２Ｄビューによる（すなわち、トップビュー、サイドビューなどの所与の向きに対する）図像表現、及び様々な移動可能な仮想オブジェクトを表示する。遠隔援助者ＧＵＩは、遠隔援助者に、現場に存在する人物又は初期対応者に対して情報を通信するための少なくとも２つのモードを有利に提供する。
[0049] １つのモードにおいて、遠隔援助者は、（ｘ，ｙ）座標を選択、例えば、第１のペインにライブビデオストリームが表示されているタッチスクリーンディスプレイにタッチすることによって選択して、第１のペインにおけるライブビデオストリームの任意の部分をハイライトすることができ、ＡＲ眼鏡を着用している人物が見る立体ＡＲ眼鏡においては正確に同じ部分がハイライトされる。仮想ハイライトは、ライブビューペインのフレームに対して（すなわち、専門家にとって）固定的であり、同様にＡＲ眼鏡に対しても固定的である。しかしながら、このモードは、「現場にいる人物」が自身の頭部を一時的に静止しているときにだけ機能し、というのは、さもなければスクリーン上のビューは、仮想ハイライトに対して「スライド」してしまうからである。
[0050] 別のモードにおいて、遠隔援助者は、現場の２Ｄ表現において１つ又は複数の所望の仮想コンテンツを選択し、あちこちに移動（すなわち、ドラッグ）することができる。仮想コンテンツは、遠隔援助者によってユーザインターフェースの第２のペインにおいて移動されるとき、３Ｄシーンにおける固定された基準ポイントに対して位置決めされているため、ＡＲ眼鏡を着用している人物が自身の頭部を動かしたとしても問題ない。拡張現実眼鏡の動きに伴って仮想コンテンツが第１のペインのライブビデオビュー内で跳ね回ることなく、遠隔援助者は仮想コンテンツを第２のペイン内で移動させることができる。遠隔援助者が第２のペインにおいて仮想コンテンツを移動させると、遠隔援助者は、「現場にいる人物」に対して仮想コンテンツがどのように現れるかを、つまり、３Ｄ仮想コンテンツが含まれたライブビデオストリームを表示する第１のペインを介して、見ることができる。
[0051] 本開示の別の実施形態によると、遠隔援助システムは、拡張現実ゴーグル（例えば、ＡＲヘッドセット）を一端部に含み、コンピュータディスプレイ（例えば、遠隔処理装置、ワークステーションなど）を他端部に含む。コンピュータディスプレイは、ビデオを表示する３Ｄペインを一端部に有し、及び、３Ｄペインにおけるアイテムの図像表現（例えば、現場におけるアイテム、現場における医療機器、又は現場におけるポータブル医療装置を表す）を備える２Ｄペインを有する。遠隔援助者は、２Ｄペイン内のアイテムを操作し、これは、３Ｄペインにおいて、３Ｄペインに表示されたビデオのシーン内の所与の基準ポイントに対して正しい位置に自動的に適用され、維持される。基準ポイントは現場の実際のポイント又は場所に対応している。
[0052] 別の実施形態において、拡張現実ヘッドセット（ＡＲヘッドセット）を使用する現場に存在する人物（例えば、初期対応者）が遠隔援助者と連絡するための方法は、遠隔援助者が遠隔援助者グラフィカルユーザインターフェースを使用するステップを有する。遠隔援助者グラフィカルユーザインターフェース（ＧＵＩ）は、２つのペイン、すなわち、ＡＲ眼鏡におけるカメラからのライブビデオストリームビューを備える第１のペインと、遠隔の現場の２Ｄビューと様々な移動可能な仮想オブジェクトとを備える表現を表示する第２のペインとを備える。遠隔援助者ＧＵＩは、遠隔援助者又は専門家に、「現場に存在する人物」に情報を通信するための２つのモードを提供する。１つのモードにおいて、遠隔援助者は、第１のペインにおけるライブビデオストリームビューの任意の部分をハイライトすることができ、ＡＲ眼鏡を着用している人物の眼鏡においては正確に同じ部分がハイライトされる。別のモードにおいて、遠隔援助者は、現場の２Ｄ表現において１つ又は複数の所望の仮想コンテンツを選択し、あちこちに移動（すなわち、ドラッグ）することができる。この場合、仮想コンテンツは現場のライブビデオ画像における固定された基準ポイントに対して位置決めされているため、ＡＲ眼鏡を着用している人物が自身の頭部を動かしたとしても問題ない。
[0053] 図１から図８を参照した以下の議論において、本開示の実施形態は、突然の心臓停止状況における遠隔援助を伴う実際の使用事例の文脈において論じられる。しかしながら、本開示の実施形態は、所与の状況に応じて、他の種類の遠隔援助の状況にも適用され得る。
[0054] 先ず図１を参照すると、通信リンク１６を介して互いに結合された遠隔援助ワークステーション１２とポータブルデバイス１４とを備える遠隔援助システム１０のブロック図が図示されている。通信リンク１６は、遠隔援助ワークステーション１２とポータブルデバイス１４との間で直接的又は間接的に通信するための、任意の適切なネットワーク、例えば、ワイヤレスネットワーク、インターネット、又は他の既知の若しくは後に開発されるネットワークを備えてよい。例えば、通信リンク１６は、参照番号１８及び参照番号２０によって示されるように、遠隔援助ワークステーション１２とポータブルデバイス１４との間に直接的に結合されてよい。同様に、通信リンク１６は、参照番号１８、参照番号２４及び参照番号２６によって示されるように、例えば、ポータブル医療デバイス１４から所与の近接距離内に位置するスマートフォン２２を介して、遠隔援助ワークステーション１２とポータブルデバイス１４との間に間接的に結合されてよい。本明細書において論じられる様々なデバイスとコンポーネントとの間の通信の詳細な細目は、好ましくは、当技術分野において知られる適切な技術を使用して達成され、従って、本明細書において更に論じられることはない。
[0055] 遠隔援助ワークステーション１２は、遠隔援助者３２による使用のための、少なくとも１つの入力／出力デバイス２８（例えば、キーボード、マウス、タッチ入力など）と、ディスプレイ３０とを含む。本明細書において後に更に論じられるように、遠隔援助ワークステーション１２は、ポータブルデバイス１４を使用した空間的配置タスクの遠隔援助を初期対応者３４に提供するためのユーザインターフェースを更に含む。
[0056] なおも図１を参照すると、ポータブルデバイス１４は、現場における対象者４２（例えば、犠牲者）又は第２のオブジェクト（不図示）に関連して、現場４０における第１のオブジェクト３８（例えば、１対のＡＥＤ電極、初期対応者の片手又は両手など）を使用して少なくとも１つの行為を実行するために、初期対応者３４によって使用されるための少なくとも１対の立体拡張現実（ＡＲ）眼鏡３６を備える。一実施形態において、ポータブルデバイス１４は、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備える。加えて、現場４０における第１のオブジェクト３８は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）ポータブルデバイスの少なくとも１つのアイテム（電極又はＣＰＲメトロノーム）、のうちの１つ又は複数を備え得る。図１において、ポータブルデバイス１４は、ＣＰＲメトロノーム４４を更に含み得る。拡張現実眼鏡３６とポータブルデバイス１４との間の通信は、参照番号４６によって示される。同様に、ポータブルデバイス１４とＣＰＲメトロノーム４４との間の通信は参照番号４８によって示される。加えて、ＡＥＤ電極３８の場合は、ＡＥＤ電極は、適切な信号／電力ライン５０を介して、ポータブルデバイス１４に結合される。本明細書において論じられる様々なデバイスとコンポーネントとの間の通信及び信号／電力ラインの細目の詳細は、好ましくは、当技術分野において知られる適切な技術を使用して達成され、従って、本明細書において更に論じられることはない。
[0057] 動作においては、「現場にいる人物」又は初期対応者３４は、立体拡張現実眼鏡３６を着用する。ＡＲ眼鏡３６と、遠隔地の専門家又は援助者３２がそばに付いている遠隔援助ワークステーション１２との間でデータ接続が確立される。本明細書において更に論じられるように、遠隔援助者３２は、遠隔援助者グラフィカルユーザインターフェースを利用し、これは少なくとも２つのペイン、すなわち、ＡＲ眼鏡３６からのライブビデオストリームを表示する第１のペインと、現場の（又はその一部分の、例えばトップビュー、サイドビューなどの所与の向きにおける）図像２Ｄビューを表示する第２のペインとを含み、第２のペインにおいては、３Ｄ仮想オブジェクトの２Ｄ表現が、選択され、あちこちに移動され得る。換言すれば、第２のペインは、現場における実際の対象者又はオブジェクトに関する現場の例示的な２Ｄ図像ビューと、現場における実際の対象者又はオブジェクトについての基準ポイントとを含む。本明細書において更に論じられるように、３Ｄ仮想オブジェクトの２Ｄ表現は、遠隔援助者によって第２のペイン内で選択され、あちこちに移動され得る。
[0058] 次に図２を参照すると、空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション１２の更に詳細なブロック図が図示されている。遠隔援助ワークステーション１２は、ユーザインターフェース５２と、通信モジュール５４（例えば、ポータブル医療デバイス１４及びポータブルデバイスから所与の近接距離内に位置するスマートフォン２２のうちの１つ又は複数と通信するために構成されたもの）と、コントローラ５６とを少なくとも備える。一実施形態において、ユーザインターフェース５２は、少なくとも、遠隔援助者３２（図１）から遠隔援助者入力を取得、すなわち、入力／出力デバイス２８を介して取得するために構成される。本明細書において更に論じられるように、ユーザインターフェース５２は、所与の遠隔援助状況、例えば緊急時に関連した使用のために、信号ライン５８を介して、少なくともコントローラ５６に動作可能に結合されたグラフィカルユーザインターフェースを少なくとも備える。加えて、ユーザインターフェース５２は、所与の遠隔援助の実施態様及び／又は応用例の要件に従い必要に応じて決定された、入力／出力デバイス、触覚デバイス、タッチスクリーン、光学ディスプレイ、マイクロフォン、キーパッド、キーボード、ポインティングデバイス、画像キャプチャデバイス、ビデオカメラ、音声入力／出力デバイス、及びこれらの任意の組み合わせからなる群から選択される少なくとも１つのものを更に備え得る。更には、一実施形態において、本明細書において論じられる様々な機能を実施するために、コントローラ５６は、所与のポータブル医療デバイスの実施態様及び／又は応用例の要件に更に従い、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、集積回路、別個のアナログ又はデジタル回路コンポーネント、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせのうちの１つ又は複数を備える。コントローラ５６は、本明細書において論じられる様々なモジュールのうちの１つ又は複数を更に備え得る。コントローラ５６に関する追加的な詳細は、図面を参照して、本明細書において後に提供される。
[0059] なおも図２を参照すると、遠隔援助者ワークステーション１２は、ビデオ描画モジュール６０と、２Ｄ図像ビュー描画モジュール６２と、基準ポイントモジュール６４と、ＸＹ座標モジュール６６と、のうちの１つ又は複数を更に備え得る。ビデオ描画モジュール６０は、遠隔援助者グラフィカルユーザインターフェースの第１のペイン内に、少なくとも遠隔援助リクエストのライブビデオストリームを描画するために動作可能である。２Ｄ図像ビュー描画モジュール６２は、第２のペイン内に、少なくとも（ｉ）現場における対象者又は第２のオブジェクトの２Ｄ表現、及び（ｉｉ）現場における第１のオブジェクトの２Ｄ表現を描画するために動作可能である。基準ポイントモジュール６４は、第１のペインに表示された遠隔援助リクエストのライブビデオストリームのコンテンツ内の基準ポイントを確立するために動作可能である。最後に、ＸＹ座標モジュール６６は、遠隔援助リクエストのライブビデオストリームのための基準ポイントに少なくとも基づいて、第１のペイン内にＸＹ座標系を確立するために動作可能である。遠隔援助ワークステーション１２は、データベース６８及びメモリ７０のうちの１つ又は複数をなおも更に備え得る。データベース６８及びメモリ７０の各々は、例えば信号ライン５８を介して、少なくともコントローラ５６に動作可能に結合される。一実施形態において、本明細書において論じられる様々な機能を実施するために、モジュール６０から７０は、所与の遠隔援助者ワークステーションの実施態様及び／又は応用例の要件に更に従い、集積回路、別個のアナログ又はデジタル回路コンポーネント、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせのうちの１つ又は複数を備え得る。加えて、モジュール６０から７０のうちの１つ又は複数は、様々なモジュールのうちの１つ又は複数の様々な組み合わせを更に備え得る。
[0060] 次に、図３を参照すると、本開示の実施形態による、現場４０における第１のオブジェクトを現場における対象者４２又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者３４によって使用されるためのポータブルデバイス１４のブロック図が図示されている。一実施形態において、ポータブルデバイス１４は、ユーザインターフェース７２と、通信モジュール７４と、コントローラ７６とを少なくとも含むポータブル医療デバイスを備える。本明細書において更に論じられるように、ユーザインターフェース７２は、少なくとも遠隔援助のためのリクエストを起こすように構成され、緊急状況において遠隔援助を受けることに関連した使用のために、信号ライン７８を介して、少なくともコントローラ７６に動作可能に結合される任意の適切なユーザインターフェースを備える。例えば、ユーザインターフェース７２は、所与のポータブル医療デバイスの実施態様及び／又は応用例の要件に従い必要に応じて決定された、入力／出力デバイス、触覚出力デバイス、タッチスクリーン、光学ディスプレイ、マイクロフォン、キーパッド、キーボード、ポインティングデバイス、画像キャプチャデバイス、ビデオカメラ、音声出力デバイス、及びこれらの任意の組み合わせからなる群から選択される少なくとも１つのものを備え得る。
[0061] 通信モジュール７４は、（ｉ）遠隔援助ワークステーション１２、及び（ｉｉ）ポータブル医療デバイスから所与の近接距離内に位置するスマートフォン２２のうちの少なくとも１つと通信するために構成される。通信モジュール７４は更に、初期対応者の遠隔援助リクエストに応答して、遠隔援助ワークステーション１２又は遠隔援助者ワークステーションと通信するスマートフォン２２のうちの少なくとも１つを介して、遠隔援助ワークステーション１２からの１つ又は複数の遠隔援助信号を受信するためのものである。遠隔援助ワークステーション１２からの１つ又は複数の遠隔援助信号は、ＡＲ眼鏡３６のカメラによって撮影された現場４０のライブビュー内の初期対応者３４に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡３６に表示するための情報を含む。加えて、本明細書において更に論じられるように、初期対応者が、第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するのを援助するために、遠隔援助ワークステーション１２の遠隔援助者グラフィカルユーザインターフェースの対応する２Ｄ表現ペイン内で現場における第１のオブジェクトの２Ｄ表現を移動させる１つ又は複数の遠隔援助者入力に応答して、３Ｄ仮想コンテンツの少なくとも１つのアイテムはライブビュー内の基準ポイントに対して正しい場所に現れる。
[0062] ポータブル医療デバイス１４の通信モジュール７４と遠隔援助者ワークステーション１２との間の通信は、参照番号１８及び参照番号２０によって示され、これはネットワーク１６を含む（図１）。ポータブル医療デバイス１４の通信モジュール７４と遠隔援助ワークステーション１２との間の通信は、スマートフォン２２を介しても行われることができ、これは参照番号１８、参照番号２４及び参照番号２６によって示され、ネットワーク１６を含む（図１）。ポータブル医療デバイス１４の通信モジュール７４とＡＲ眼鏡３６との間の通信は、参照番号４６によって示される。ポータブル医療デバイス１４の通信モジュール７４とＣＰＲメトロノーム４４との間の通信は、参照番号４８によって示される。各場合において、本明細書において論じられる様々なデバイスとコンポーネントとの間の通信は、好ましくは、当技術分野において知られる適切な技術を使用して達成され、従って、本明細書において更に論じられることはない。
[0063] コントローラ７６は、ユーザインターフェース７２及び通信モジュール７４に、参照番号７８によって示される適切な信号ラインを介して、動作可能に結合する。コントローラ７６は、遠隔援助者ワークステーション１２からの１つ又は複数の遠隔援助信号に応答して、ＡＲ眼鏡３６のカメラ部分によって撮影された現場４０のライブビュー内の初期対応者３４に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムをＡＲ眼鏡３６に表示するためにＡＲ眼鏡３６に出力される制御信号を生成するために構成される。それ故、初期対応者は、第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、遠隔援助を受ける。一実施形態において、本明細書において論じられる様々な機能を実施するために、コントローラ７６は、所与のポータブル医療デバイスの実施態様及び／又は応用例の要件に更に従い、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、集積回路、別個のアナログ又はデジタル回路コンポーネント、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせのうちの１つ又は複数を備える。コントローラ７６は、本明細書において論じられる様々なモジュールのうちの１つ又は複数を更に備え得る。コントローラ７６に関する追加的な詳細は、図面を参照して、本明細書において後に提供される。
[0064] なおも図３を参照すると、ポータブル医療装置１４は、ＯＮ／ＯＦＦスイッチ８０と、仮想ハイライト描画モジュール８２と、仮想コンテンツ描画モジュール８４と、バッテリ８６と、エネルギー源８８と、メモリ９０と、ショックボタン９２（例えば、ＡＥＤパッド電極を介したショックの施術を開始するため）と、ＧＰＳモジュール９４と、のうちの１つ又は複数を更に備え得る。ＯＮ／ＯＦＦスイッチ８０、仮想ハイライト描画モジュール８２、仮想コンテンツ描画モジュール８４、バッテリ８６、エネルギー源８８、メモリ９０、ショックボタン９２、及びＧＰＳモジュール９４のうちの１つ又は複数の各々は、例えば信号ライン７８を介して、少なくともコントローラ７６に動作可能に結合される。ＯＮ／ＯＦＦスイッチ８０は、ＯＮとＯＦＦとの間でポータブル医療装置１４に電力供給するための任意の適切なスイッチを備える。仮想ハイライト描画モジュール８２は、ＡＲ眼鏡３６のカメラ部分によって撮影された現場４０のライブビュー内の初期対応者３４に対して、ＡＲ眼鏡３６に仮想ハイライトを描画するための任意の適切なコンピュータプログラムモジュールを備える。仮想コンテンツ描画モジュール８４は、ＡＲ眼鏡３６のカメラ部分によって撮影された現場４０のライブビュー内の初期対応者３４に対して、ＡＲ眼鏡３６に３Ｄ仮想コンテンツの少なくとも１つのアイテムを描画するための任意の適切なコンピュータプログラムモジュールを備える。説明されたモジュールは、非一時的コンピュータ読み取り可能媒体において提供されたコンピュータプログラムモジュールであってよいことが理解される。ポータブル医療デバイス１４は、所与の実施態様及び／又はポータブル医療デバイスの応用例のための音声スピーカ（不図示）を更に備え得る。
[0065] 一実施形態において、バッテリ８６は、所与のポータブル医療デバイスの実施態様及び／又は応用例のための任意の適切な電力源又は電力供給装置を備え得る。加えて、エネルギー源８８は、所与のポータブル医療デバイスの実施態様及び／又は応用例のための任意の適切な電力源又は電力供給装置を備え得る。例えば、ＡＥＤデバイスを備えるポータブル医療デバイスについては、エネルギー源８８は、除細動ショックにおいて効果的なエネルギーを保管するために適切な高電圧キャパシタを備え得、キャパシタは充電回路（不図示）を通じてバッテリ８６によって充電される。更には、メモリ９０は、少なくともコントローラ７６に動作可能に結合された、少なくともそこに情報を記憶し、更に、少なくとも後にそこから情報を読み出すための、任意の適切なメモリデバイスを備え得る。
[0066] グローバルポジショニングシステムモジュール９４は、ポータブル緊急医療装置１４のグローバル位置を判定するために構成された任意の適切なＧＰＳモジュールを備える。コントローラ７６は更に、ポータブル緊急医療装置１４のグローバル位置とスマートフォン２２のグローバル位置とに基づいて、スマートフォンがポータブル緊急医療装置から所与の近接距離内に位置していることを判定するために構成される。
[0067] ポータブル医療装置１４は、ポータブル医療デバイス１４がＡＥＤデバイスとして使用されている際の電気ショックの施術のために、エネルギー源８８に動作可能に結合された１対のＡＥＤパッド電極３８を更に備え得る。ポータブル医療装置１４は、例えば、緊急治療時にＡＥＤ及び／又はＣＰＲを実行する際に初期対応者又は救助者によって着用される１対の拡張現実眼鏡３６を更に備え得る。拡張現実眼鏡３６は、適切な通信リンク４６（例えば、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は他の適切な近距離通信リンク）を介して、ポータブル医療装置１４の通信モジュール７４に動作可能に結合される。
[0068] なおも更に、ポータブル医療装置１４は、緊急治療時にＣＰＲを実行する際に初期対応者又は救助者によって使用されるＣＰＲメトロノーム４４を備え得る。ＣＰＲメトロノームは、適切な通信リンク４８（例えば、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は他の適切な近距離通信リンク）を介して、ポータブル医療装置１４の通信モジュール７４に動作可能に結合される。一実施形態において、ＣＰＲメトロノーム４４は、加速度計ベースのＣＰＲメトロノームを備える。ＣＰＲメトロノームは、胸部の深さを考慮に入れてどの程度深く押すかについて初期対応者をガイドするように構成される。別の実施形態において、ＣＰＲメトロノーム４４は、ＡＲ眼鏡３６のライブビュー上の情報及び／又は音声ガイダンスを通じて、胸部の深さを考慮に入れてどの程度深く押すかについて初期対応者をガイドするＣＰＲアプリケーションを有し、加速度計を備えたスマートフォンを備え得る。上記においては加速度計ベースのメトロノームデバイスについて言及しているが、このようなデバイスは常に加速度計ベースである必要はないことに留意されたい。基本的に、メトロノームデバイスは、身体に対する深さを認識している。それ故、別の実施形態において、拡張現実眼鏡３６は、初期対応者が、ＣＰＲメトロノームの位置又は圧力をかけるための初期対応者の手の位置を定めることを、遠隔援助を介して援助するために使用され得る。
[0069] 実施形態のよりよい理解を得るために、図１、図２、及び図３を参照して、突然の心臓停止状況を伴う遠隔援助の使用事例を考察する。緊急現場４０における初期対応者３４は、立体ＡＲ眼鏡３６を着用する。遠隔地の医療専門家３２は、９１１緊急応答チームにいる。初期対応者３４のＡＲ眼鏡３６は、インターネットを介して遠隔地の医療専門家３２のワークステーション１２に接続する。遠隔地の医療専門家３２は、（図４を参照して本明細書において更に論じられるように）２つのペインを有するグラフィカルユーザインターフェースを含むワークステーション１２を操作する。第１のペインは、初期対応者の立体ＡＲ眼鏡から撮影されたライブビデオストリームを表示し、これは犠牲者（すなわち、ライブビデオストリームの３Ｄシーンにおける対象者又はオブジェクト）及び周囲環境（すなわち、ライブビデオストリームの３Ｄシーンにおける周囲環境）の表示を含む。ＧＵＩの第２のペインは、タッチデバイス又はポインティングデバイスを使用する遠隔地の医療専門家によって第２のペイン内で選択され、あちこちに移動され得る仮想コンテンツを含んだ犠牲者の２Ｄトップビューの図像表現（すなわち、ライブビデオストリームの３Ｄシーンにおける対象者又はオブジェクトの２Ｄ表現）を含む。別の実施形態において、いったん選択及び移動された仮想コンテンツは、遠隔地の専門家によって、ユーザ入力及びワークステーションのコントローラ５６を介して、更にアクティブ化／非アクティブ化され得、第１のペインの３Ｄビュー内でそれぞれ出現／消失する。
[0070] 遠隔地の医療専門家は、少なくとも２つのモード、すなわちハイライトモード及び仮想コンテンツモードにおいて、初期対応者に情報を通信することができる。ハイライトモードにおいて、遠隔地の医療専門家は（図６及び図７を参照して本明細書において後に更に論じられるように）、第１のペインにおけるライブビデオストリームにタッチして、初期対応者のＡＲ眼鏡にハイライトを出現させることができる。換言すれば、ハイライトモードにおいて、遠隔地の医療専門家が第１のペインにおいて表示されたライブビデオ内のポイントにタッチする（すなわち、選択する）ことに応じて、ワークステーション１２は、少なくともコントローラ５６及びＸＹ座標モジュール６６を介して、初期対応者のＡＲ眼鏡に現れる３Ｄシーン内の対応するポイントにハイライトを出力する。遠隔地の医療専門家は、少なくともコントローラ５６及び基準ポイントモジュール６４を介して、このハイライトモードを、仮想コンテンツモードのための基準ポイントを確立するために使用することもでき、これは例えば、基準ポイントを含むシーンのスナップショットを介して行われる。
[0071] 仮想コンテンツモードにおいて、遠隔地の医療専門家は、仮想コンテンツを選択し、あちこちに移動すること、及び２Ｄペイン、すなわち遠隔援助者グラフィカルユーザインターフェースの第２のペインにおいて仮想コンテンツをアクティブ化／非アクティブ化させる（例えば、出現／消失させる）ことが可能である。換言すれば、仮想コンテンツモードにおいて、遠隔地の医療専門家がグラフィカルユーザインターフェースの第２のペイン内で仮想コンテンツを選択し、３Ｄシーンの基準ポイントに対して相対的に移動させることに応じて、ライブビデオペイン内に３Ｄで描画された仮想コンテンツの対応した移動が起こる。更には、本明細書において使用されるとき、「３Ｄ仮想コンテンツの移動可能な２Ｄ表現」という語句は、以下のように理解されるべきである。遠隔地の専門家が、３Ｄ仮想コンテンツの２Ｄ表現を２Ｄ図像ビュー内で選択し、移動させることに応答して、（ｉ）現場における対象者又はオブジェクトの２Ｄ表現、及び（ｉｉ）（第２のペインにおける）２Ｄ表現及び（第１のペインにおける）ライブビデオ内の１つ又は複数の対応する基準ポイントに応じてマッピングされた場所において、ライブビデオペイン（すなわち、第１のペイン）内に３Ｄで描画された仮想コンテンツの対応した移動が起こる。
[0072] 一実施形態において、３Ｄ仮想コンテンツの２Ｄ表現は、所与の遠隔援助状況（例えば、医療的に緊急状況−突然の心臓停止状況）に固有の（すなわち、関連する）コンテンツを含む。加えて、３Ｄ仮想コンテンツは、第１のペインのライブビデオ内の基準ポイント（例えば、基準ポイントは犠牲者の顔である）に対して相対的に移動する。１つの例は、医療的な緊急現場において自動体外式除細動器（ＡＥＤ）の電極パッドが犠牲者のどこに配置されるべきかを示す仮想輪郭（すなわち、重畳された輪郭）を選択して、移動させることである。別の例は、ＣＰＲの圧迫／圧迫解除を施すために初期対応者が犠牲者の胸部のどこに圧力を与えるべきかを示すために、手のアイコンを選択して、移動させることである。
[0073] 次に、図４を参照すると、本開示の実施形態による、遠隔援助ワークステーションのグラフィカルユーザインターフェース１００の、参照番号９６及び参照番号９８によってそれぞれ示される第１の及び第２のペインの組み合わされた画像及び対応する注釈図であり、グラフィカルユーザインターフェース１００の第２のペイン９８において受信された、参照番号１０２によって示される３Ｄコンテンツの移動可能な２Ｄ表現の遠隔援助者入力を示す図が図示されている。注釈図は、第１の及び第２のペイン９６及び９８の図解をより明確に示すために提供されている。遠隔援助者３２は、第１のペイン９６のライブビデオにおいて、初期対応者３４が犠牲者の胸部にＡＥＤ電極３８を装着しようとする際に、除細動を必要とする犠牲者４２を見ている。本明細書において論じられるように、第２のペイン９８は、例えば現場における犠牲者の２Ｄ図像ビューと、第２のペイン９８内の、例えば各ＡＥＤ電極を表す、３Ｄコンテンツの移動可能な２Ｄ表現１０２とを含む。
[0074] 加えて、なおも図４を参照すると、更なる実施形態において、遠隔援助者グラフィカルユーザインターフェース１００の第２のペイン９８は、現場における対象者又は第２のオブジェクトに関連して実行されるべき複数種類の行為各々のための少なくとも１つのタブ（９９、１０１、及び／又は１０３）を含む（例えば、様々なフォルダ又は行為の種類のためのタブ）。遠隔援助者が、遠隔援助者グラフィカルユーザインターフェースを介して、第２のペインにおける所与のタブ（９９、１０１、又は１０３）を選択することに応じて、２Ｄ図像ビュー描画モジュールは、第２のペイン内に、対応する所与の種類の行為に関して遠隔援助者による使用のために利用可能な所与のタブ（９９、１０１、又は１０３）に関連付けられた第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する。例えば、図４において、２Ｄ図像ビュー９８は、ＡＥＤ及び電極配置などその関連する行為に専用のアクティブタブ１０１を図示しており、他のタブは、ＣＰＲ（タブ１０３）、トリアージ（タブ９９）などに専用のものである。
[0075] 図４に図示されるように、遠隔援助者３２は、第２のペイン９８の２Ｄ図像ビュー内の電極３８の各々を選択し、移動させる。第２のペイン内で３Ｄコンテンツの２Ｄ表現を移動、例えば、第２のペイン９８内でのタッチスクリーン制御を介して移動させると、結果として、第１のペイン９６のライブビデオ上で移動可能なオブジェクトの３Ｄ輪郭又は重畳が対応して配置され、現場における対応する空間的配置タスクの遠隔援助を初期対応者３４に提供する。換言すれば、図４は、２つのペインを有するワークステーションの場所にいる遠隔地の専門家、現場のＡＲ眼鏡からのビデオフィードを表示するライブビデオペイン、及び３Ｄ仮想コンテンツの２Ｄ表現を伴う図像２Ｄペインを示している。
[0076] 別の実施形態において、第２のペインは、（例えば、２Ｄ図像ビュー９８の上側部分に）ステージングエリアを含み得、そこから３Ｄ仮想コンテンツを選択し、選択された３Ｄ仮想コンテンツを（例えば、２Ｄ図像ビュー９８の下側部分の）アクティブエリアに移動し、アクティブエリアにおいては、選択され、移動された３Ｄ仮想コンテンツがアクティブになり、ライブビデオペイン内にも出現する。更なる機能も適用され得、例えば、３Ｄ仮想コンテンツがいったん選択され、アクティブ領域に移動されると、追加的な遠隔援助者入力を使用して、ライブビデオペイン内での３Ｄ仮想コンテンツの出現／消失を切り換えることができる。
[0077] 加えて、第１のペイン９６は、場所情報挿入部１０４も含んでよく、挿入部１０４は、ポータブル医療デバイス１４のＧＰＳモジュール９４を介して取得されたＧＰＳ信号に応じて犠牲者４２の物理的アドレス及び／又は場所を表す。なおも更に、遠隔援助者グラフィカルユーザインターフェース１００は、もしも入手可能であるならば、ポータブル医療デバイス１４又は他の適切なソースからの犠牲者の身元情報及び医療記録を遠隔援助者３２に提示する別のペイン１０６を含み得る。
[0078] 次に図５を参照すると、現場４０における対象者４２が示された状態の、ポータブルデバイス１４を使用する初期対応者３４の拡張現実眼鏡３６に表示される組み合わされた画像及び対応する注釈図が図示されている。本開示の実施形態によると、図４のグラフィカルユーザインターフェース１００の第２のペイン９８における遠隔援助者入力に応答して、ＡＲ眼鏡３６におけるディスプレイ１０８は、初期対応者３４に対して、遠隔援助者グラフィカルユーザインターフェース１００の第１のペイン９６のライブビデオビュー上での遠隔援助者による３Ｄ仮想コンテンツ３８１の配置を表示する。換言すれば、遠隔地の専門家が、２Ｄペイン（すなわち、第２のペイン）において仮想コンテンツを選択し、移動させることに応じて、初期対応者のＡＲ眼鏡において仮想コンテンツが正確で適切な相互関係で出現する。図５の画像ビューにおいて、空間的配置ガイダンス及び／又は援助のためのライブビデオビュー上での遠隔援助者による３Ｄ仮想コンテンツ３８の配置を使用し、犠牲者の胸部にＡＥＤ電極の１つを配置しようとしている初期対応者の手がこれを保持しているところが見られる。
[0079] 次に図６を参照すると、遠隔援助ワークステーションのグラフィカルユーザインターフェース１１０の、参照番号９６及び参照番号１１２によってそれぞれ示される第１の及び第２のペインの組み合わされた画像及び対応する注釈図が示されている。この実施形態において、第２のペイン１１２は、所与の遠隔援助の適用中に遠隔援助者による選択のために使用され得る１つ又は複数のタブ１０５、１０７、及び１０９を備え、これらのタブは、図４のタブ９９、１０１、及び１０３を参照して本明細書において上述されたものと同様であるか、又はそれらに付け加えられるものである。例えば、図６におけるタブ１０５の選択に応じて、遠隔援助者は、図４のペイン１０６のものと同様に、犠牲者の身元に関する情報及び医療記録情報を提供される。加えて、第１のペイン９６は、図４に関して論じられたものと同様の場所情報挿入部１０４も含む。なおも更に、グラフィカルユーザインターフェース１１０は、もしも入手可能であるならば、適切な地図ソースからの犠牲者の地理的場所を示す地図を提示する別のペイン１１４も含み得る。
[0080] なおも図６を参照すると、第１のペイン９６のライブビデオにおいて、遠隔援助者３２は、ライブビデオ内の場所を指し示して、初期対応者３４のためにライブシーン内の所望の場所１１６を特定又はハイライトする。詳細には、図６は、本開示の実施形態に従って、（ｘ，ｙ）座標選択を有する遠隔援助者入力がグラフィカルユーザインターフェース１１０の第１のペイン９６において受信された様子を図示している。一実施形態において、ハイライトは円形状の輪郭を備え、又は所与の遠隔援助の適用に適した任意の幾何学的形状のハイライトを備えてよい。
[0081] 次に図７を参照すると、現場４０における対象者４２が示された状態の、ポータブルデバイス１４を使用する初期対応者３４の拡張現実眼鏡３６に表示される組み合わされた画像及び対応する注釈図が図示されている。本開示の実施形態に従って、ＡＲ眼鏡３６におけるディスプレイ１１８は、図６のグラフィカルユーザインターフェース１１０の第１のペイン９６における遠隔援助者入力に従った対応する（ｘ，ｙ）座標におけるハイライト１１６の配置を表示している。換言すれば、遠隔援助者は、ビデオペイン（すなわち、第１のぺイン）において（ｘ，ｙ）座標にタッチする（すなわち、（ｘ，ｙ）座標を選択する）ことで、初期対応者のＡＲ眼鏡における同一の（ｘ，ｙ）座標にハイライトを出現させることができる。
[0082] 図８は、本開示の実施形態による、遠隔援助ワークステーションのユーザインターフェースとポータブルデバイスとを介して、空間的配置タスクの遠隔援助を提供するための方法１５０のフロー図である。第１のステップにおいて、ポータブルデバイスが現場に提供され、ポータブルデバイスは、現場における第１のオブジェクトを現場における対象者又は第２のオブジェクトとの関連で使用して、少なくとも１つの行為を実行するために、初期対応者によって使用されるための少なくとも１対の立体拡張現実眼鏡を備える（ステップ１５２）。
[0083] 次のステップ（ステップ１５４）において、方法は、ポータブルデバイスから開始される遠隔援助リクエストに応答して、遠隔援助ワークステーションをポータブルデバイスに動作可能に結合するステップを有する。例えば、初期対応者は、遠隔援助のリクエストを遠隔援助ワークステーションに送るために構成されたポータブルデバイスの所定のボタン又はソフトキーのうちの１つ又は複数を選択することを介して、遠隔援助をリクエストすることができる。一実施形態において、遠隔援助のリクエストは、拡張現実眼鏡のカメラから見られたライブビデオを遠隔援助ワークステーションに対して提供することを含む。
[0084] 次のステップ（ステップ１５６）において、方法は、遠隔援助者グラフィカルユーザインターフェース（ＧＵＩ）を遠隔援助ワークステーションのディスプレイデバイスに描画し、及び遠隔援助者入力を受信するステップを有し、遠隔援助者ＧＵＩは、遠隔援助リクエストのライブビデオストリームを表示するための第１のペインと、現場における第１のオブジェクトの２Ｄ表現を表示するための第２のペインとを含む。
[0085] 次のステップ（ステップ１５８）において、方法は、遠隔援助者ＧＵＩの第２のペイン内で現場における第１のオブジェクトの２Ｄ表現を選択し、移動させる１つ又は複数の遠隔援助者入力に応答して、ライブビュー内の初期対応者に対して、３Ｄ仮想コンテンツの少なくとも１つのアイテムを立体拡張現実眼鏡に表示するために、ポータブルデバイスに出力される１つ又は複数の遠隔援助信号を生成するステップを有する。
[0086] 本開示の実施形態は、３Ｄ仮想コンテンツの素早く、直感的な選択及び移動を、有利に可能にする。例えば、遠隔援助者は、犠牲者の上方に浮遊する２Ｄ平面における仮想コンテンツ（すなわち、犠牲者のトップビュー２Ｄ表現の上方に浮遊する第２のペインにおける仮想コンテンツ）を選択し、移動させることができる。顔認識によって、犠牲者の身体の向きが導出され、スクリーンの（すなわち、第２のペインにおける）２ＤのＸＹ座標系が、Ｙ軸が身体の正中線である身体の（すなわち、第１のペインにおける）ＸＹ座標系と整列され得、遠隔援助者が３Ｄ仮想オブジェクトの２Ｄ表現をスクリーン上で（すなわち、第２のペインにおいて）Ｙ方向に移動させると、仮想オブジェクトは犠牲者の正中線に平行に移動する。
[0087] 緊急の状況下で、初期対応者が犠牲者に対して緊急援助を提供するにつれて、初期対応者の視点は変化し得る。初期対応者が自身の頭部を移動させると（そして、タスクの性質上移動させると予想される）、指導者（遠隔地の専門家／援助者）は、２Ｄスクリーン上で（すなわち第２のペインにおいて）３Ｄ仮想コンテンツを選択し、移動させることができ、この選択された仮想コンテンツは、初期対応者のＡＲ眼鏡において適切な相互関係で（ｐｅｒｓｐｅｃｔｉｖｅｌｙ）安定する。換言すれば、３Ｄ仮想コンテンツが２Ｄスクリーン内で選択され、位置決めされることに応じて、３Ｄ仮想コンテンツの知覚的な位置は初期対応者又は遠隔地の専門家／援助者のどちらの動きによっても、（もちろん、遠隔地の専門家／援助者が、積極的に、意図的に又は肯定的に３Ｄ仮想コンテンツの２Ｄ表現を選択し、移動させない限りではあるが）乱されることがない。
[0088] 上記において、いくつかの例示的な実施形態のみが詳細に説明されたが、本開示の実施形態の新規な教示及び利点から実質的に逸脱することなく、例示的な実施形態において多くの修正が可能であることを、当業者は容易に理解するだろう。例えば、本開示の実施形態は、本明細書において緊急看護の文脈において説明されたが、実施形態は、拡張現実（ＡＲ）を使用する遠隔援助を伴う他の使用事例にも同じように適用可能である。それ故、全てのそのような修正は、以下の特許請求の範囲によって定められる本開示の実施形態の範囲に含まれることが意図される。特許請求の範囲において、ミーンズプラスファンクション節（ｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎ ｃｌａｕｓｅ）は、列記された機能を実行するものとして本明細書において説明された構造をカバーすることを意図され、構造的均等物だけでなく均等な構造物もカバーすることを意図される。
[0089] 加えて、１つ又は複数の請求項において括弧の中に置かれた任意の参照符号は、特許請求の範囲を限定するものと解釈されるべきではない。「備える（ｃｏｍｐｒｉｓｉｎｇ及びｃｏｍｐｒｉｓｅｓ）」などの語は、任意の請求項又は本明細書全体において記載されたもの以外の要素又はステップの存在を排除するものではない。要素への単数での参照は、そのような要素への複数での参照を排除するものではなく、その逆も同様である。実施形態のうちの１つ又は複数が、いくつかの個別の要素を備えたハードウェアによって、及び／又は適切にプログラムされたコンピュータによって実現されてよい。いくつかの手段を列挙するデバイスの請求項において、これらの手段のうちのいくつかがハードウェアの１つの及び同一のアイテムによって具現化されてよい。特定の手段が互いに異なる従属請求項に列記されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。

Claims (20)

  1. 少なくとも１対の立体拡張現実眼鏡を備えるポータブルデバイスに動作可能に結合されるための遠隔援助ワークステーションであって、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記遠隔援助ワークステーションは、
    前記ポータブルデバイスから起きる遠隔援助リクエストに応答して前記ポータブルデバイスと通信するための通信モジュールであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、通信モジュールと、
    （ａ）遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画するため、及び（ｂ）遠隔援助者からの遠隔援助者入力を受信するためのユーザインターフェースモジュールであって、前記遠隔援助者グラフィカルユーザインターフェースは、
    （ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
    （ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画するためのものであり、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
    を少なくとも含む、ユーザインターフェースモジュールと、
    前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記第１のオブジェクトを使用して前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を生成するためのコントローラと、
    を備える、遠隔援助ワークステーション。
  2. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１に記載の遠隔援助ワークステーション。
  3. 更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項２に記載の遠隔援助ワークステーション。
  4. 前記第１のペイン内に、少なくとも前記遠隔援助リクエストの前記ライブビデオストリームを描画するために動作可能である、ビデオ描画モジュールと、
    前記第２のペイン内に、少なくとも（ｉ）前記現場における前記対象者又は前記第２のオブジェクトの２Ｄ表現、及び（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を描画するために動作可能である、２Ｄ図像ビュー描画モジュールと、
    前記第１のペインに表示された前記遠隔援助リクエストの前記ライブビデオストリームの前記コンテンツ内の前記基準ポイントを確立するために動作可能である、基準ポイントモジュールと、
    前記遠隔援助リクエストの前記ライブビデオストリームのための前記基準ポイントに少なくとも基づいて、前記第１のペイン内にＸＹ座標系を確立するために動作可能である、ＸＹ座標モジュールと、
    のうちの１つ又は複数を更に備える、請求項１に記載の遠隔援助ワークステーション。
  5. 前記基準ポイントは、（ｉ）前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔、及び（ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、のうちの少なくとも１つを備える、請求項４に記載の遠隔援助ワークステーション。
  6. 更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備える、請求項５に記載の遠隔援助ワークステーション。
  7. 前記遠隔援助者選択基準ポイントは垂直方向を更に備え、前記垂直方向は、前記第２のペインのビューを、前記ビューの前記垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることにより修正することによって選択される、請求項６に記載の遠隔援助ワークステーション。
  8. 前記１つ又は複数の遠隔援助信号は更に、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示し、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項４に記載の遠隔援助ワークステーション。
  9. 更に、前記第２のペインは、前記現場における前記対象者又は第２のオブジェクトに関連して実行されるべき複数の種類の行為各々のための少なくとも１つのタブを含み、前記遠隔援助者が、前記遠隔援助者グラフィカルユーザインターフェースを介して、前記第２のペイン内の所与のタブを選択することに応じて、前記２Ｄ図像ビュー描画モジュールは、前記第２のペイン内に、対応する所与の種類の行為に関して前記遠隔援助者による使用のために利用可能な前記所与のタブに関連付けられた前記第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する、請求項４に記載の遠隔援助ワークステーション。
  10. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、更に、前記第１のオブジェクトの前記１つ又は複数の２Ｄ表現は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数に対応する、請求項９に記載の遠隔援助ワークステーション。
  11. 前記ポータブルデバイスの前記少なくとも１つのアイテムの１つ又は複数の２Ｄ表現は、ＡＥＤパッド配置、ＣＰＲ圧迫配置、及びＥＣＧセンサ配置からなる群から選択される少なくとも１つのものを更に表す、請求項１０に記載の遠隔援助ワークステーション。
  12. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、前記遠隔援助者入力を受信するためのタッチスクリーンデバイスを含む、請求項１に記載の遠隔援助ワークステーション。
  13. 遠隔援助ワークステーション及びポータブルデバイスを介して遠隔援助を提供するための方法であって、前記ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備え、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記方法は、
    前記ポータブルデバイスから起きる遠隔援助リクエストに応答して、通信モジュールを介して前記遠隔援助ワークステーションを前記ポータブルデバイスに動作可能に結合するステップであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、ステップと、
    ユーザインターフェースモジュールを介して、遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画し、及び遠隔援助者からの遠隔援助者入力を受信するステップであって、前記遠隔援助者グラフィカルユーザインターフェースは、
    （ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
    （ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画し、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
    を少なくとも含む、ステップと、
    前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を、コントローラを介して生成するステップと、
    を有する、方法。
  14. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１３に記載の方法。
  15. 更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの前記少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項１４に記載の方法。
  16. 前記コントローラを介して前記生成するステップは、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示するための１つ又は複数の遠隔援助信号を生成するステップを更に含み、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項１３に記載の方法。
  17. 前記基準ポイントは、
    （ｉ）前記第１のペインに描画された前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔の基準ポイント、及び
    （ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、
    からなる群から選択されるものを備える、請求項１３に記載の方法。
  18. 更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備え、前記遠隔援助者選択基準ポイントを選択することは、前記第２のペインのビューを、前記ビューの垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることによって修正することを更に含む、請求項１７に記載の方法。
  19. プロセッサによって実行されたときに、請求項１３に記載の方法を前記プロセッサに実行させる命令が具現化された、非一時的コンピュータ読み取り可能媒体。
  20. 請求項１に記載の遠隔援助ワークステーションと、
    ポータブルデバイスであって、少なくとも１対の立体拡張現実眼鏡を備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）少なくとも１つのアイテム、のうちの１つ又は複数を備え、更に、前記ポータブルデバイスは、現場における対象者及び第２のオブジェクトのうちの少なくとも１つに関連して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものであり、前記ポータブルデバイスは、前記遠隔援助ワークステーションと通信するための通信モジュールを更に備え、前記少なくとも１つのアイテムは、前記現場における前記対象者又は第２のオブジェクトに対して前記少なくとも１つの行為を実行することに関連して前記初期対応者によって使用される少なくとも１つのワークピースを備え、前記初期対応者によって着用される前記少なくとも１対の立体拡張現実眼鏡は、前記現場における前記対象者又は第２のオブジェクトのリアルタイム画像を撮影するためのカメラを含む、ポータブルデバイスと、
    を備える、遠隔援助システム。
JP2018521609A 2015-10-29 2016-10-12 拡張現実眼鏡を介して空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステム Active JP6636629B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562247797P 2015-10-29 2015-10-29
US62/247,797 2015-10-29
PCT/IB2016/056084 WO2017072616A1 (en) 2015-10-29 2016-10-12 Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses

Publications (3)

Publication Number Publication Date
JP2018531731A JP2018531731A (ja) 2018-11-01
JP2018531731A5 JP2018531731A5 (ja) 2019-11-14
JP6636629B2 true JP6636629B2 (ja) 2020-01-29

Family

ID=57349091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018521609A Active JP6636629B2 (ja) 2015-10-29 2016-10-12 拡張現実眼鏡を介して空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステム

Country Status (5)

Country Link
US (1) US10431008B2 (ja)
EP (1) EP3369021B1 (ja)
JP (1) JP6636629B2 (ja)
CN (1) CN108352195A (ja)
WO (1) WO2017072616A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10469803B2 (en) * 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
CN106980379B (zh) * 2017-03-30 2020-05-19 联想(北京)有限公司 一种显示方法及终端
DE102017108235A1 (de) * 2017-04-18 2018-10-18 Bredent Medical Gmbh & Co. Kg Brille mit wenigstens einem teiltransparenten Bildschirm und Verfahren zum Betrieb einer Brille
US20180338119A1 (en) * 2017-05-18 2018-11-22 Visual Mobility Inc. System and method for remote secure live video streaming
NL2019059B1 (en) 2017-06-13 2018-12-19 Maritime Medical Applications B V Wireless communication system for remote medical assistance
EP3438859A1 (en) 2017-08-01 2019-02-06 Predict Srl Method for providing remote assistance services using mixed and/or augmented reality visors and system for implementing it
US10785269B2 (en) * 2017-11-20 2020-09-22 Streem, Inc. Augmented reality platform for professional services delivery
US11323657B2 (en) * 2017-11-20 2022-05-03 Streem, Inc. Initiation of two-way AR sessions using physical markers
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11585672B1 (en) * 2018-04-11 2023-02-21 Palantir Technologies Inc. Three-dimensional representations of routes
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US10511881B1 (en) 2018-05-31 2019-12-17 Titan Health & Security Technologies, Inc. Communication exchange system for remotely communicating instructions
US10810758B2 (en) * 2018-06-27 2020-10-20 General Electric Company Method and system using augmentated reality for positioning of ECG electrodes
WO2020000098A1 (en) * 2018-06-28 2020-01-02 Ositech Communications Inc. System and method for managing a defibrillator
CN109243622A (zh) * 2018-09-18 2019-01-18 宁波众鑫网络科技股份有限公司 一种基于互联网的医疗保健的方法及装置
US11810202B1 (en) 2018-10-17 2023-11-07 State Farm Mutual Automobile Insurance Company Method and system for identifying conditions of features represented in a virtual model
US11556995B1 (en) 2018-10-17 2023-01-17 State Farm Mutual Automobile Insurance Company Predictive analytics for assessing property using external data
US11024099B1 (en) 2018-10-17 2021-06-01 State Farm Mutual Automobile Insurance Company Method and system for curating a virtual model for feature identification
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
KR102638956B1 (ko) * 2018-11-26 2024-02-22 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
US10873724B1 (en) * 2019-01-08 2020-12-22 State Farm Mutual Automobile Insurance Company Virtual environment generation for collaborative building assessment
DE102019000067A1 (de) * 2019-01-09 2020-07-09 Thomas Lipp Audio-Videokonferenzsystem der Telemedizin
JP7494196B2 (ja) 2019-02-12 2024-06-03 インテュイティブ サージカル オペレーションズ， インコーポレイテッド コンピュータ支援手術システムの手術セッション中の撮像デバイス視点の最適化を容易にするシステム及び方法
CN109768997B (zh) * 2019-03-07 2023-06-16 贵州电网有限责任公司 一种电力现场巡检远程监控设备及其监控方法
US11049072B1 (en) 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
US11032328B1 (en) 2019-04-29 2021-06-08 State Farm Mutual Automobile Insurance Company Asymmetric collaborative virtual environments
US11816800B2 (en) * 2019-07-03 2023-11-14 Apple Inc. Guided consumer experience
FR3098317B1 (fr) * 2019-07-03 2021-05-28 Psa Automobiles Sa Procédé et système pour gérer une tâche de maintenance d’un véhicule automobile
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
FR3102255B1 (fr) 2019-10-17 2022-01-21 Endel Système de communication pour la maintenance d’un site
WO2021087297A1 (en) 2019-10-31 2021-05-06 Terumo Cardiovascular Systems Corporation Heart-lung machine with augmented reality display
US11087552B2 (en) 2019-11-26 2021-08-10 Rufina Shatkina Collaborative on-demand experiences
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11724098B2 (en) 2020-01-30 2023-08-15 Terumo Cardiovascular Systems Corporation Stepper motor drive systems and tubing occluder system
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11043038B1 (en) 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
US20210308007A1 (en) * 2020-04-06 2021-10-07 Keith G. Lurie Location guidance-enabled cpr assist device
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
NL2026677B1 (en) 2020-10-15 2022-06-14 B V Maritime Medical Applications Wireless communication system for medical assistance
CN112153267B (zh) * 2020-10-22 2022-02-22 国网江苏省电力有限公司镇江供电分公司 基于ar智能眼镜的人眼视角局限空间作业远程监护系统
CN112751977A (zh) * 2020-12-17 2021-05-04 青岛地铁集团有限公司运营分公司 呼叫处理方法、装置、系统及存储介质
EP4271304A1 (en) * 2020-12-30 2023-11-08 Novarad Corporation Alignment of medical images in augmented reality displays
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
TWI804294B (zh) * 2022-04-28 2023-06-01 中華電信股份有限公司 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介
EP4319170A1 (en) * 2022-08-04 2024-02-07 Koninklijke Philips N.V. Vendor-agnostic remote-controlled screen overlay for collaboration in a virtualized radiology environment
WO2024028235A1 (en) * 2022-08-04 2024-02-08 Koninklijke Philips N.V. Vendor-agnostic remote-controlled screen overlay for collaboration in a virtualized radiology environment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319631B2 (en) * 2009-03-04 2012-11-27 Cardiac Pacemakers, Inc. Modular patient portable communicator for use in life critical network
US9067080B2 (en) * 2009-03-16 2015-06-30 Gilad Einy Method and apparatus of remotely-operated automated external defribrallator incorporated into a handheld device
US20120299962A1 (en) 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
CN103890765A (zh) * 2011-09-07 2014-06-25 皇家飞利浦有限公司 用于医疗设备的非接触式远程控制系统和方法
EP4140414A1 (en) 2012-03-07 2023-03-01 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
KR20140019519A (ko) * 2012-08-06 2014-02-17 주식회사 유코리아 근거리 무선개인통신망을 활용한 원격진단 보조기기 인터페이스 시스템
WO2014076236A1 (en) 2012-11-15 2014-05-22 Steen Svendstorp Iversen Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
US10013531B2 (en) 2012-12-20 2018-07-03 Accenture Global Services Limited Context based augmented reality
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system

Also Published As

Publication number Publication date
EP3369021B1 (en) 2023-08-16
JP2018531731A (ja) 2018-11-01
EP3369021A1 (en) 2018-09-05
CN108352195A (zh) 2018-07-31
US20180322702A1 (en) 2018-11-08
WO2017072616A1 (en) 2017-05-04
US10431008B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
JP6636629B2 (ja) 拡張現実眼鏡を介して空間的配置タスクを遠隔援助するためのユーザインターフェースを有する遠隔援助ワークステーション、方法、及びシステム
JP2018531731A5 (ja)
CN108135772B (zh) 用于基于具有身体测量结果的在线存储资料的个性化治疗指导的便携式医疗设备和方法
US20230029639A1 (en) Medical device system for remote monitoring and inspection
US9555255B2 (en) Touch screen finger position indicator for a spinal cord stimulation programming device
US10642046B2 (en) Augmented reality systems for time critical biomedical applications
CN111091732B (zh) 一种基于ar技术的心肺复苏指导器及指导方法
JP2018503416A (ja) ユーザガイダンスシステム及び方法、拡張現実デバイスの使用
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
US11244381B2 (en) Collaborative virtual reality computing system
US11366631B2 (en) Information processing device, information processing method, and program
LIU et al. A preliminary study of kinect-based real-time hand gesture interaction systems for touchless visualizations of hepatic structures in surgery
US11106357B1 (en) Low latency tactile telepresence
WO2020240044A1 (en) Rendering an image on a virtual user interface of an augmented or virtual reality device
US10810758B2 (en) Method and system using augmentated reality for positioning of ECG electrodes
Kwon et al. Projector-camera based remote assistance system for the elderly: Design issues and implementation
US12009097B2 (en) Wireless communication system for remote medical assistance
Rebol et al. Evaluating Augmented Reality Communication: How Can We Teach Procedural Skill in AR?
Dell et al. Designing extended reality guidance for physical caregiving tasks
Shluzas et al. Mobile augmented reality for distributed healthcare
CN204950964U (zh) 人体姿态感测装置
Ohmura et al. Practical Feedback Method for Mobile CPR Support Systems Considering Noise and User's Attention
EP3825816A1 (en) Rendering a virtual object on a virtual user interface
KR20170024947A (ko) 모바일기기를 이용한 심폐소생술 훈련 시스템 및 방법
Cho Augmented Reality-Based Health-Care and Emergency-Treatment System for the Elderly

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191002

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191002

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191218

R150 Certificate of patent or registration of utility model

Ref document number: 6636629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250