JPWO2019200381A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2019200381A5
JPWO2019200381A5 JP2021505628A JP2021505628A JPWO2019200381A5 JP WO2019200381 A5 JPWO2019200381 A5 JP WO2019200381A5 JP 2021505628 A JP2021505628 A JP 2021505628A JP 2021505628 A JP2021505628 A JP 2021505628A JP WO2019200381 A5 JPWO2019200381 A5 JP WO2019200381A5
Authority
JP
Japan
Prior art keywords
virtualized
laboratory
markers
experimental
optical tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021505628A
Other languages
English (en)
Other versions
JP2021521572A (ja
JP7406780B2 (ja
Publication date
Application filed filed Critical
Priority claimed from PCT/US2019/027464 external-priority patent/WO2019200381A1/en
Publication of JP2021521572A publication Critical patent/JP2021521572A/ja
Publication of JPWO2019200381A5 publication Critical patent/JPWO2019200381A5/ja
Application granted granted Critical
Publication of JP7406780B2 publication Critical patent/JP7406780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (12)

  1. ハイブリッド現実環境(400)において仮想化された実験室器具(230、410、及び420)を利用するシステム(200、600、及び700)であって、
    一意に識別可能なマーカーのセット(230、410、420)とそれぞれ結合された少なくともつの仮想化された実験室器具であって、前記マーカーのセットと前記少なくとも2つの仮想化された実験室器具は、光学的に追跡されるものであり、前記結合は、前記少なくとも2つの仮想化された実験室器具の自然な触覚的操作及び使用(230、410、及び420)との干渉と、前記マーカーのセットの実時間の光学追跡(200)との干渉の両方を最低限にすることを特徴とする少なくともつの仮想化された実験室器具(230、410、420)と、
    記少なくともつの仮想化された実験室器具のそれぞれの位置および方位を追跡するための少なくとも1つ光学追跡モジュール(210、220)であって、前記光学追跡は、前記少なくとも2つの仮想化された実験室器具の少なくとも2つの間の少なくとも1つの機能的に関連する対応相互関係(400)を検出可能にすることを特徴とし、さらに、前記少なくとも1つの光学追跡モジュールと前記少なくとも2つの仮想化された実験室器具は、科学実験訓練アプリケーション(300)用に高費用でないことを特徴とする、少なくとも1つ光学追跡モジュール(210、220)と、
    複数の一意に識別可能なマーカーのセットであって、各マーカーのセットは、幾何学的にエンコードされたアイデンティティ(420)を有し、受動的に追跡される(220)か、またはデジタル的にエンコードされたアイデンティティ(410)を有し、能動的に追跡される(210)かのどちらかであり、前記マーカーのセットのサイズ、形状、及び容量は、前記少なくとも2つの仮想化された実験装置の前記自然な触覚操作及び使用への干渉と、前記マーカーのセットの実時間の光学追跡との干渉の両方を最低限にすることを特徴とする、複数の一意に識別可能なマーカーのセットと、
    メモリに記憶される仮想モデルであって、前記少なくともつの仮想化された実験室器具の前記少なくともつの3D仮想表示とこれらが結合されたマーカーのセット(400)を有するものである仮想モデル(630、700)と、
    実験モジュール(640、740)であって、
    前記メモリに記憶された前記仮想モデルにアクセスし(650、750)
    記少なくともつの仮想化された実験室器具の位置および方位に関して、前記少なくとも1つの光学追跡モジュールから入力を受け取り(660、760)
    前記少なくとも1つの光学追跡モジュールからの前記入力に基づいて、前記少なくともつの仮想化された実験室器具の間または前記少なくともつの仮想化された実験室器具の1つとユーザーの少なくとも一部との間の前記少なくとも1つの機能的に関連する対応相互関係を決定し(670、770)
    前記機能的に関連する対応相互関係の結果を決定し(680、780)
    前記少なくともつの3D仮想表示、前記ユーザーの少なくとも一部、前記少なくとも1つの機能的に関連する対応相互関係、前記少なくとも1つの機能的に関連する対応相互関係の結果、またはそれらの組み合わせの特定のセットを有するハイブリッド表示をディスプレイに表示する(690、790)ものである実験モジュールと、
    を有するものであるシステム。
  2. 請求項1記載のシステムにおいて、リアルタイム評価モジュール(500)をさらに有し、このモジュールは、ユーザーの概念的知識、情動状態、および触覚的スキルを評価し、これらの評価の結果をデジタル形式で保存し、前記ユーザー、及びインストラクターの両方に評価情報を提供するものである、システム。
  3. 請求項1記載のシステムにおいて、前記複数の一意に識別可能なマーカーのセット(410、420)のうちの1つにそれぞれ結合されている仮想化された実験装置が少なくとも5つあるものである、システム。
  4. 請求項1記載のシステムにおいて、少なくとも1つの後付けのマーカー取り付けアダプタ(210、510、および420)が使用されて、前記少なくとも2つの仮想化された実験装置のうちの少なくとも1つを、当該の一意に認識可能なマーカーのセットに結合させるものである、システム。
  5. 請求項1記載のシステムにおいて、前記少なくとも2つの仮想化された実験装置の少なくとも1つは、ピペットマン(420)、ビーカー(410)、目盛り付きシリンダー、試薬ボトル(420)、血清ピペット、全容ピペット、洗瓶、小型サンプルチューブ、ペトリ皿、遠心チューブ(420)、丸底フラスコ、蒸留塔、コンデンサー、分離漏斗、三角フラスコ、計量ボート、ビュレット、スパチュラ、接種ループ、クロマトグラフィーカラム、薄層クロマトグラフィープレート、薄層クロマトグラフィーチャンバー、キャピラリーチューブ、ゲル電気泳動システム、ゲルブロッティングシステム、または実験室用固体材料、実験室用液体材料、実験室用気体材料、またはそれらの組み合わせを少なくとも1つを収容するように機能するその他の実験ツールまたは器具、またはそれらの組み合わせを有するものである、システム。
  6. 請求項2記載のシステムにおいて、前記少なくとも2つの仮想化された実験装置の少なくとも1つは、ピペットマン(420)、ビーカー(410)、目盛り付きシリンダー、試薬ボトル(420)、血清ピペット、全容ピペット、洗瓶、小型サンプルチューブ、ペトリ皿、遠心チューブ(420)、丸底フラスコ、蒸留塔、コンデンサー、分離漏斗、三角フラスコ、計量ボート、ビュレット、スパチュラ、接種ループ、クロマトグラフィーカラム、薄層クロマトグラフィープレート、薄層クロマトグラフィーチャンバー、キャピラリーチューブ、ゲル電気泳動システム、ゲルブロッティングシステム、または実験室用固体材料、実験室用液体材料、実験室用気体材料、またはそれらの組み合わせを少なくとも1つを収容するように機能するその他の実験ツールまたは器具、またはそれらの組み合わせである、システム。
  7. 請求項1記載のシステムにおいて、前記少なくとも2つの仮想化された実験装置のうちの少なくとも1つは、はかり、ピペットチップラック、サンプルチューブラック、マイクロ遠心機、ミニ遠心機、pHメーター、温度計、導電率プローブ、ブンセンバーナー、漏斗、ラボスタンド、ラボスタンドクランプ、ボルテクサー、鉗子、または少なくとも1つの実験用固体材料、実験用液体材料、実験用気体材料、またはそれらの組み合わせを直接収容するように機能しないその他の実験用ツールまたは機器を有するものである、システム。
  8. 請求項2記載のシステムにおいて、前記少なくとも2つの仮想化された実験装置のうちの少なくとも1つは、はかり、ピペットチップラック、サンプルチューブラック、マイクロ遠心機、ミニ遠心機、pHメーター、温度計、導電率プローブ、ブンセンバーナー、漏斗、ラボスタンド、ラボスタンドクランプ、ボルテクサー、鉗子、または少なくとも1つの実験用固体材料、実験用液体材料、実験用気体材料、またはそれらの組み合わせを直接収容するように機能しないその他の実験用ツールまたは機器を有するものである、システム。
  9. 請求項1記載のシステムにおいて、前記少なくとも2つの仮想化された実験装置のうちの少なくとも1つは、NMR分光計;真空マニホールドシステム;液体クロマトグラフィーシステム、嫌気性チャンバー、光学顕微鏡、質量分析計;電子顕微鏡、シンクロトロン、細胞培養シェーカー、オートクレーブ、超遠心分離機、核酸シーケンサー、ゲルスキャナー、IR分光計;ドラフト、安全キャビネット、冷蔵庫、冷凍庫の一部、またはユーザーが操作するためにその極一部に触れるだけでよいその他の大型または高価な実験装置を有するものである、システム。
  10. 請求項2記載のシステムにおいて、前記少なくとも2つの仮想化された実験装置のうちの少なくとも1つは、NMR分光計;真空マニホールドシステム;液体クロマトグラフィーシステム、嫌気性チャンバー、光学顕微鏡、質量分析計;電子顕微鏡、シンクロトロン、細胞培養シェーカー、オートクレーブ、超遠心分離機、核酸シーケンサー、ゲルスキャナー、IR分光計;ドラフト、安全キャビネット、冷蔵庫、冷凍庫の一部、またはユーザーが操作するために極一部に触れるだけでよいその他の大型または高価な実験装置を有するものである、システム。
  11. ハイブリッド現実環境においての使用のために実験室器具を仮想化するための方法であって、
    複数の一意に識別可能なマーカーのセット(230、410、420)を開発する工程であって、前記マーカーの各セットは、幾何学的にエンコードされたアイデンティティ(420)を有し、受動的に光学的に追跡可能か(220)か、またはデジタル的にエンコードされたアイデンティティ(410)を有し、能動的に光学的に追跡可能(210)かのどちらかであり、開発された前記マーカーのセットのサイズ、形状、及び容量は、仮想化される少なくとも2つの実験室器具(230、410、420)の自然な触覚的操作及び使用との干渉と、前記マーカーのセットの実時間の光学追跡(200)との干渉の両方を最低限にすることを特徴とする、開発する工程と、
    前記仮想化する少なくとも2つの実験装置のうちの少なくとも1つを前記マーカーのセットの1つと結合するために後付けのマーカー取り付けアダプタ(420、410)を開発して利用する工程であって、前記結合は、前記仮想化する少なくとも2つの実験室器具の自然な触覚的操作及び使用との干渉と、前記マーカーのセットの実時間の光学追跡(200)との干渉の両方を最低限にすることを特徴とする、開発して利用する工程と、
    前記仮想化する少なくとも2つの実験室器具のそれぞれの位置および方位とこれらと結合されたマーカーのセットを追跡するための少なくとも1つ光学追跡モジュール(200、210、220)を提供して利用する工程であって、前記少なくとも1つの光学追跡モジュールと前記仮想化される少なくとも2つの実験室器具は、科学実験訓練アプリケーション(300)用に高費用でないことを特徴とする、提供して利用する工程と、
    前記仮想化される少なくとも2つの実験室器具の少なくとも2つの3D仮想表示とこれらの当該マーカーのセットとを有する、メモリに記憶される仮想モデル(630、730)を作成し、マーカー取り付けアダプター(400)を後付けする工程と、
    実験モジュール(640、740)を利用する工程であって、この実験モジュールは機能して、
    前記メモリに記憶された前記仮想モデルにアクセスし(650、750)、
    前記仮想化する少なくとも2つの実験室器具の位置および方位に関して、前記少なくとも1つの光学追跡モジュールから入力を受け取り(660、760)、
    前記少なくとも1つの光学追跡モジュールからの前記入力に基づいて、前記仮想化される少なくとも2つの実験室器具の間の、または前記仮想化される少なくとも2つの実験室器具の1つとユーザーの少なくとも一部またはこれらの組み合わせとの間の少なくとも1つの機能的に関連する対応相互関係を決定し(670、770)、
    前記機能的に関連する対応相互関係の結果を決定し(680、780)、
    前記少なくとも2つの3D仮想表示、前記ユーザーの少なくとも一部、前記少なくとも1つの機能的に関連する対応相互関係、前記少なくとも1つの機能的に関連する対応相互関係の結果、またはそれらの組み合わせの特定のセットを有するハイブリッド表示をディスプレイに表示する(690、790)ものである、利用する工程と、
    を有するものである、方法。
  12. 請求項11記載の方法において、前記複数の一意に識別可能なマーカーのセットの各マーカーのセットは、受動型赤外線再帰反射マーカー(420)、能動型赤-緑-青エミッターマーカー、能動型赤外線エミッターマーカー、または能動型赤外線センサーマーカー(410)を有するものである、方法。
JP2021505628A 2018-04-14 2019-04-15 ハイブリッド仮想/拡張環境を有する実践的実験室器具および実証機並びにその使用方法 Active JP7406780B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862657771P 2018-04-14 2018-04-14
US62/657,771 2018-04-14
PCT/US2019/027464 WO2019200381A1 (en) 2018-04-14 2019-04-15 Hands on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use

Publications (3)

Publication Number Publication Date
JP2021521572A JP2021521572A (ja) 2021-08-26
JPWO2019200381A5 true JPWO2019200381A5 (ja) 2022-04-20
JP7406780B2 JP7406780B2 (ja) 2023-12-28

Family

ID=66625248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505628A Active JP7406780B2 (ja) 2018-04-14 2019-04-15 ハイブリッド仮想/拡張環境を有する実践的実験室器具および実証機並びにその使用方法

Country Status (6)

Country Link
US (2) US11694575B2 (ja)
EP (1) EP3782013A1 (ja)
JP (1) JP7406780B2 (ja)
AU (2) AU2019253089C1 (ja)
CA (1) CA3104974C (ja)
WO (1) WO2019200381A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3527333B1 (en) * 2018-02-20 2022-07-20 Tecan Trading AG Virtual pipetting
KR102212510B1 (ko) * 2019-10-21 2021-02-04 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
CN112379783B (zh) * 2019-11-15 2021-12-07 同济大学 增强使用者沉浸感的上肢多向活动的虚拟现实系统
CN110928414A (zh) * 2019-11-22 2020-03-27 上海交通大学 三维虚实融合实验系统
EP3886112A1 (en) * 2020-03-26 2021-09-29 Roche Diagnostics GmbH Method and devices for tracking laboratory resources
CN111554142A (zh) * 2020-06-18 2020-08-18 广西生态工程职业技术学院 一种基于Vr的虚拟现实实验室
CN111862346B (zh) * 2020-07-29 2023-11-07 重庆邮电大学 基于虚拟现实及互联网的高锰酸钾制取氧气实验教学方法
US20220366803A1 (en) * 2021-05-17 2022-11-17 Northeastern University Center for Research Innovation, Northeastern Univ. Computer-implemented methods and systems for designing and conducting virtual reality experiments
WO2023158793A1 (en) * 2022-02-17 2023-08-24 Humana Machina, Llc Parallel content authoring and remote expert method and system
US20230419614A1 (en) * 2022-06-27 2023-12-28 City University Of Hong Kong System and method for delivering interactive laboratory experiments real-time in simulated environments
CN115090349B (zh) * 2022-07-06 2023-12-22 安徽盛偕电子信息科技有限公司 一种化学实验教学实训平台

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0813040A3 (en) * 1996-06-14 1999-05-26 Xerox Corporation Precision spatial mapping with combined video and infrared signals
WO2009049282A2 (en) * 2007-10-11 2009-04-16 University Of Florida Research Foundation, Inc. Mixed simulator and uses thereof
US9251721B2 (en) 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
US9318032B2 (en) * 2011-02-04 2016-04-19 University of Pittsburgh—of the Commonwealth System of Higher Education Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model
AU2013284996A1 (en) 2012-07-19 2015-03-12 Gaurav VATS User-controlled 3D simulation for providing realistic and enhanced digital object viewing and interaction experience
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
WO2016112383A1 (en) * 2015-01-10 2016-07-14 University Of Florida Research Foundation, Inc. Simulation features combining mixed reality and modular tracking
CN109906488A (zh) * 2016-09-29 2019-06-18 西姆博尼克斯有限公司 虚拟现实或增强现实环境下的手术室中医疗模拟的方法和系统
CN107066082B (zh) * 2016-12-30 2018-10-02 百度在线网络技术(北京)有限公司 显示方法和装置
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device

Similar Documents

Publication Publication Date Title
US20240257900A1 (en) Laboratory experiment data exploration and visualization
JPWO2019200381A5 (ja)
Kolukisaoglu et al. Future and frontiers of automated screening in plant sciences
CN103257213B (zh) 一种全集成高通量细胞水平微流控芯片药物评价系统
CN104321442B (zh) 具有多类处理模块的装置
CN101349643A (zh) 一种多通道表面等离子波传感检测系统
Lombardi et al. Biophysical assays to probe the mechanical properties of the interphase cell nucleus: substrate strain application and microneedle manipulation
EP3888795A1 (en) Centrifuge and specimen preparation device
CN1792459A (zh) 一种基于虚拟仪器控制技术的物理化学实验系统
CN110032719A (zh) 一种生物化学实验记录模板设计方法
CN202201884U (zh) 一种细胞生物技术用试剂盒
CN212254279U (zh) 托盘天平及托盘天平教学数据采集系统
Unger et al. Colorimetric in-situ hybridization in clinical virology: development of automated technology
CN2907888Y (zh) 一种基于虚拟仪器控制技术的物理化学实验装置
Kopac Cytochemical micrurgy
Schorpp et al. Small Molecule Screening at Helmholtz Zentrum München–From Biology to Molecules
Deleo et al. Bacterial pathogenesis: methods and protocols
Biosciences Tissue culture and cell manipulation
CN221668428U (zh) 一种热力学演示仪
Zippel et al. Migration Assay for Leukemic Cells in a 3D Matrix Toward a Chemoattractant
Becker et al. Automated multi-parametric label free 24 channel real-time screening system
Misevic et al. Chemical Microscopy of Biological Samples by Dynamic Mode Secondary Ion Mass Spectrometry (SIMS)
CN105813750A (zh) 可折叠微型板
LLS0S Out with the old–in with the new
Sahoo et al. Predicting problems caused by the air-water interface in cryo-electron microscopy: Insights from molecular dynamics simulations