JP7406780B2 - ハイブリッド仮想／拡張環境を有する実践的実験室器具および実証機並びにその使用方法 - Google Patents

Description

（関連出願の相互参照）
本特許協力条約（ＰＣＴ）出願は、やはり共同所有で参照として全体が援用される、「ハイブリッド仮想環境を有する実践的実験室器具および実証機並びにその使用方法」と言う題の、２０１８年４月１４日出願の米国仮特許出願第６２／６５７７７１号の優先権を主張するものである。

主題の分野は、実地用に設計されている実験室器具および実証機であって、実写環境およびハイブリッド仮想または拡張環境の両方において、全経験が実証され、および利用される。

理論と実践がシームレスに統合され、空間／時間的に調整された視覚、聴覚、触覚学習経験が相互に強化される場合に、学習効果が最大化できる。学生が眼、耳、手を用いて、活発に、指導の下、並びにしばしばオープンエンド的なやり方で、論理的概念を適用し、実験／手順を実施し、データ分析を行う従来の実地実験室クラス、企業インターンシップ、および個人指導研究プロジェクトにおいて、これは最も顕著である。斯かる経験は、ＳＴＥＭ学生、雇用主、および学術研究団体によって高く評価されてはいるが、資源集約的であり、従って、スケーラブルなやり方で提供するのは困難である。例えば、長期に亘る危険で複雑な実験、または高価な実験は、提供するのが困難な場合が多い。

学習一般においても、特定の分野としての科学的方法においても、我々の環境を概念的に理解するには反復的な改良が必要であると言う事実があるにも拘わらず、従来の実験室クラスの学生には、間違いを犯す自由、実験を再試する自由、あるいは仮説を反復改良して技術および概念を習熟する自由が存在しない場合が多い。長時間を要しスケジュールの柔軟性に欠ける従来の実地の実験においては、低所得で代表者の少ない少数派の学生は、学生時代に仕事をしなければならない場合が多いので、ＳＴＥＭ参加の機会は削減されている。マクロな実験室観察用の分子ベースまたは顕微鏡ベースにおけるオンデマンドでダイナミックな可視化は、従来の教科書、講義、および実験室活動においては欠如している場合が多い。最後に、実験室の指導員、企業トレーナー、および研究指導者は、学生と一緒にいる時間に制限があるので、学生が新しい方法を学習する際に犯すし易い最も微妙なタイプの間違いを修正できない。

ＳＴＥＭ訓練を学生に提供する大学および大学院は、いくつかの目標のバランスを取っている。第一に、主要な実験技術が実施され、最終的にはそれが学習される環境を提供しなければならない。第二に、必要なリソースを提供すると同時に、全体的な経費を最小限に抑えなければならない。第三に、学生も実験室の環境も出来る限り目的に集中し安全であることを保証しなければならない。

従来の実験室の訓練においては、実際の器具、例えば、ビーカー、ピペット、化学薬品、熱源、および未経験の科学専攻の学生には予測不能であるかもしれない他の材料を、学生は扱う。実験内容次第ではあるが、安全問題がそれに関係する場合もある。しかし、少なくとも、実験は学生またはチームによって２度以上実施される必要がある場合もあるし、供給品が損傷したり、破壊されたりする場合もあるし、材料の経費が高価である場合もある。

実際の器具の使用や実地実験を取り止め、代わりに仮想環境またはアニメ環境を選択する学習環境もいくつか存在し、その場合、学生は実施される実験を実質的に観察し、自らの手、眼、声、または頭を動かすことにより実験室経験に参加する場合もある。いくつかの仮想システムにおいては、実際に動作を行うロボットまたはロボット装置を学生の手が操作する。

手術シミュレーションまたは訓練の分野、あるいは実際の手術における仮想／拡張現実の使用において、この分野の作業が数多く存在する。例えば、（特許文献１：米国特許第９２５１７２１号）は、物理モデルに接続された仮想現実を使用して手術手順をシミュレーションする工程を開示している。その特許、およびその関連特許並びに特許出願は、対象物体の物理モデルが外部表面または内部表面を通して貫通可能であるか否かを考察している。通常の手術プロセスを通して内部にあるかユーザーには「見えない」体の仮想モデル部分（「物体の内部特徴または隠れた特徴」）の使用をユーザーが「見る」ことができるようにするのも、当該発明の目的の１つであることを、その特許は開示している。加えて、その特許は、ユーザーに提示される「仮想表示」（体の内部器官、手術器具、および通常の環境ではユーザーが見ることのできない追加用品の仮想表示を含む）も開示している。実験室設定において、拡張現実ビューイング／シミュレーションを用いる必要性が依然存在する。

生化学／分子生物学の研究者の実験台で費やされる時間の約９５％は、試験管、ピペット、チップラック、および種々の液体／試薬の貯蔵品との関係に費やされる。斯かる実験室の器具の感覚的経験を提供するのと同時に、教育シミュレーションにおける現実世界と仮想世界との間の境界を跨ぐことができるならば、全く新しいタイプの「実地」ハイブリッド仮想実験室がアクセス可能となるであろう。学生は、大学および他の学校が特定の実験コースにおいて必要とされる全リソースを提供するのを妨げる従来のリソース制限なしに、完全に実践的な科学学習経験を得ることができるようになるであろう。

例えば、学習コースの内容への学生参加を改善するため、および／または公的機関がより多くのクラスを提供するのを妨げる障害物／リソース制限を減らすため、仮想実験モジュールを効果的に使用するように科学講義および実験コースを再設計することができるならば、それは好ましいことであろう。しかし、従来の仮想現実器具および教育用実験室モジュールの主な問題点は、ユーザーにとって信頼できる触覚的な経験の欠如である。仮想現実（ＶＲ）、拡張現実（ＡＲ）、および混合現実（ＭＲ）アプリケーションは、過去５年間に飛躍的に進歩した。しかし、今日ではゲーム、経験、およびハードウェアコントローラーが教育以外の分野のアプリケーションにおいて数多く存在するが、教育分野におけるＶＲ、ＡＲ、およびＭＲの使用は制限されている。これは主に、実際の物理器具を用いて学生が作業しなければならない高等教育の実験室においては、仮想実験室は斯かる学生ユーザーに、信頼できる「実地」経験を提供しないからである。

諸会社が開発している実地経験を提供する１つのルートは、ソフトウェアや類似の技術に関連付けられた触覚型手袋の使用であり、それを使用する場合、学生は、センサーおよびアクチュエーター付きの手袋（ユーザーの手の位置を感知し仮想世界内に「一応満足できる」ユーザーの手の仮想表示を作成する）を着用する。次に、リアルタイムソフトウェアは１セットの抵抗力を計算し、その抵抗力は、ユーザーの手に適用された場合、仮想経験の特定の瞬間に仮想世界がユーザーに与える触覚抵抗を確実に再作成する。次に、斯かる力は、実際世界の触覚型手袋のアクチュエーターに渡され、抵抗および触覚経験をユーザー用に再作成する。学生は、手袋付きの手を動かすと、仮想現実ポータルを通して双方向的な経験を味わうことになる。これは拡張／仮想現実の広範囲な分野における素晴らしい発展であり、ユーザーが実験室での実験を行う場合に経験する（例えば、メスシリンダーの掌握）触覚的抵抗を最も粗雑なレベルで、ある程度確実に反復するものであるかもしれないが、仮想世界からの洗練された触覚的フィードバック、あるいは使用している器具を実際に感じる能力、例えば、斯かる器具がどのように扱われているか、液体はどのように移されたか、試験管はどのように開けられたか、培養プレートがどのように扱われたか、成分はどのように混合／追加されたかなどを感知する能力を学生に提供するものではない。学生の手における器具の「感触」は、実験室環境での機能方法を学習するための必要要素である。

Ｓｃｈｅｌｌ Ｇａｍｅｓは、いくつかの実験をシミュレーションし、ユーザーが実験室での技術を開発し、最良実施を学習するのを可能にする、ＨｏｌｏＬａｂ Ｃｈａｍｐｉｏｎｓと呼ばれる仮想実験室を開発した。しかし、ユーザーは、仮想世界と相互作用する（すなわち、用品または使用器具を手に持ったり、操作したりする）のに、ラケット状のコントローラーを手に握らなければならない。ビーカーを持ち上げたり、粉体の重量を量ったりする場合の確実な触覚的感覚はそこには存在しない。ユーザーはビーカーを持ち上げたり、他の器具を手で操作したりするのではなく、代わりにコントローラを使用するものである。従来技術の図１は、斯かる問題の解決を助けるいくつかの追跡方法を簡単に比較したものである。特に、追跡技術により、実際の物体（例えば、遊戯銃、ゴルフバット、野球のバット、ピンポンのラケットなど）の位置および状態が検出でき、ユーザーは、斯かる物体を現実世界で保持および操作するときでさえ、仮想環境にそれを移動させることが可能である。

今日、ユーザーが保持し、上記追跡技術のいずれかを用いて追跡される実際の科学実験室の器具（例えば、ピペット、試験管、メスシリンダー、および他の器具）を仮想世界に移動させることによって、科学専攻の学部学生を訓練するように特別に適合された斯かるタイプのものは何も存在しない。「実験室器具の仮想化」と我々が呼ぶ斯かるアプローチは、保持している実際の物理的科学器具からユーザーへ、洗練された完全に現実的な触覚フィードバックを直接提供するとともに、物理的な科学器具が仮想世界へ移され、全ての完全に仮想的な器具および仮想現実経験の試薬（例えば、試験管から別の試験管へピペットで移される液体など）との間で適切に相互作用を行うのを可能にすると言う利点を有している。

従来の科学実験室を仮想実験室で置き換えることに反対する共通の反対意見は、仮想実験室は重要ないくつかの知覚フィードバックを学生に提供できないと言うものである。実験室の器具を保持し、操作し、それに慣れることによってのみ獲得できる実際的な実験技術がいくつか存在するのは確かであるが、斯かる技術とは一体何であるのか、または器具の操作は学習をどのように簡便化するのかなどを明確に特定する研究は現在ほとんどなされていない。これは、仮想実験室経験と従来の実験室経験との間に存在する他の全ての違いから触覚フィードバックの影響をデコンボルーションする際に関係する問題に主に起因している。本発明で開発される方法は、管理下試験（すなわち、実地実験を有するＶＲ対実験室の器具なしのＶＲ対従来の実地実験）を可能にするものであり、それは斯かる重要な課題に直接対処するのを可能にするのと同時に、触覚フィードバックが科学の学習にとってどのように、またはいつ重要であるのかの確実な画定も可能にするものである。

従来技術の欠陥に対処するため、ハイブリッド仮想学生経験が開発されたが、それは、確実な触覚力フィードバックをユーザーへ提供するのに斯かる経費を排除または最小限に抑えると同時に、操作物体の実際の感触を保存するため、ユーザーによって実際に操作される必要のある実験室用品および器具（ピペット、試料管等）に、位置追跡マーカー／センサーが配置または内蔵されたものである。理想的な使用において、既存の機能しない器具を取り替える余裕のない実験室および学校は、追跡マーカー／センサーを用いて、機能しない実験室の器具を仮想化し、実際に修理したり維持したりしなくても、それを仮想学習環境内で教育目的のために機能させることが可能である。

本明細書には、ハイブリッド現実環境において実験室器具を利用するシステムおよび方法が想定されており、それには、少なくとも１つの特徴を有する少なくとも１つの実験室器具であって、追跡される少なくとも１つの実験室器具と、少なくとも１つの追跡された実験室器具の位置および方位を追跡するための追跡モジュールと、メモリに記憶される仮想モデルであって、少なくとも１つの実験室器具の少なくとも１つの特徴の少なくとも１つの３Ｄ仮想表示を有するものである仮想モデルと、実験モジュールであって、メモリに記憶された仮想モデルにアクセスし、少なくとも１つの追跡された実験室器具の位置および方位に関して、追跡モジュールから入力を受け取り、追跡モジュールからの入力に基づいて、少なくとも１つの実験室器具、少なくとも１つの追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせとの間の対応相互関係を決定し、対応相互関係の結果を決定し、少なくとも１つの３Ｄ仮想表示、ユーザーの少なくとも部分または一部、対応相互関係、対応相互関係の結果、またはそれらの組み合わせの特定のセットを有するハイブリッド表示をディスプレイに表示する実験モジュールとが含まれる。

本明細書には、ハイブリッド現実環境において実験室器具を利用する追加のシステムおよび方法が想定されており、それには、少なくとも１つの特徴を有する少なくとも１つの第１の実験室器具であって、追跡されるものである少なくとも１つの第１の実験室器具と、前記追跡された少なくとも１つの実験室器具の位置および方位を追跡するための追跡モジュールと、メモリに記憶される仮想モデルであって、追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせの少なくとも１つの特徴の少なくとも１つの３Ｄ仮想表示を有するものである仮想モデルと、実験モジュールであって、メモリに記憶された仮想モデルにアクセスし、少なくとも１つの第一の追跡された実験室器具の位置および方位に関して、追跡モジュールから入力を受け取り、追跡システムからの入力に基づいて、少なくとも１つの実験室器具、少なくとも１つの追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせとの間の対応相互関係を決定し、対応相互関係の結果を決定し、少なくとも１つの追跡された実験室器具の物理的視覚表示、少なくとも１つの３Ｄ仮想表示、ユーザーの少なくとも部分または一部、対応相互関係、対応相互関係の結果、またはそれらの組み合わせを有するハイブリッド表示をディスプレイに表示するものである実験モジュールとが含まれる。

ハイブリッド現実環境または拡張仮想現実環境で使用される実験室器具も含まれており、それには、少なくとも１つの特徴を有する少なくとも１つの実験室器具であって、追跡される少なくとも１つの実験室器具と、少なくとも１つの実験室器具に接続される少なくとも１つのマーカーと、少なくとも１つの追跡された実験室器具の位置および方位を追跡するための追跡モジュールであって、少なくとも１つのマーカーにアクセスする追跡モジュールとが含まれる。

従来技術である図１は、ＶＲ／ＡＲ／ＭＲ技術で使用される種々の追跡アプローチの比較を示している。この作業に関連する１つの対象基準は、追跡アプローチの空間分解能である。 図２は、データの流れと共に、種々のハードウェアおよびソフトウェア構成要素を示す図を含んでいる。ＳｔｅａｍＶＲのＬｉｇｈｔｈｏｕｓｅ２．０追跡システムを用いた能動追跡およびＨＭＤディスプレイ（左）。Ｏｐｔｉｔｒａｃｋ ＩＲカメラを用いた再帰反射マーカーの受動追跡。小さい丸は、我々が既に開発した「仮想化された実験室器具」を保持している学生の画像を示す。緑はデータ出力を示す。破線矢印は無線または光学データ送信を示す。 図３は、作成対象の種々の「実地」ＶＲ実験室モジュール／サブモジュールおよびそれが実施／試験されるクラスを示す。青、赤、および緑の矢印は、各クラス内でモジュールが実施されるレベル（入門レベル、中間レベル、上級レベル）を示す。 図４において、このパネルの３つの二重ビュー画像の各々が、仮想化された実験室器具を使用している学生の物理世界（左）および仮想世界画像（右）を含んでいる。左上の二重ビューは、受動追跡され仮想化されたピペットを用いて、受動追跡され仮想化された２５０ｍＬの試薬容器から仮想液体を吸い上げている学生を示している（この場合、ピペット軸に再帰反射マーカーを取り付けたレイニンピペット、プランジャー、および追加のマーカー４２０を有するチップエジェクターが含まれる）。左下において、学生は、吸い上げたばかりの仮想液体を５０ｍＬの仮想化容器に移している。右上において、受動追跡された２５０ｍＬの容器からの液体試薬を能動追跡されたビーカーに注いでいる学生が示されている（Ｖｉｖｅ Ｔｒａｃｋｅｒユニット４１０がビーカーの上部に取り付けられている）。 図５において、「実地」仮想実験がテストされようとしている各クラスにおいて、学生は対照第一（ＣＦ）カテゴリーおよび実験第一（ＥＦ）カテゴリーにランダムに割り当てられる。全ての学生が予備テストを受け、次にＣＦ学生が対照ＶＲモジュールに（すなわち、実際の実験室の器具からの確実な知覚フィードバックなしに、あるいはダイナミックな分子可視化なしに）曝露され、ＥＦ学生は実験ＶＲ分子を受け取る。学生はＶＲモジュール内でリアルタイム評価を用いて評価されるが、ＶＲモジュール外で中間テストも行われる。最後に、学生は活動を交代し、追加のリアルタイム評価が行われ、実験の第二バージョン完了後、ポストテストが行われる。この手順は、我々が試験するほとんどのＶＲモジュールに関して使用される。いくつかのクラス（すなわち、実験クラス）においては、評価のため、学生の作業能力に関する追加の測定基準が使用される（底部に示される）。 図６は、想定されているシステムおよび方法を示す。 図７は、想定されているシステムおよび方法を示す。

特に、現在想定している実施形態は、ウェットラボの科学研究を行う上で、確実な触覚経験を提供できる新規なハードウェアおよびソフトウェアの作成および使用を通して、従来技術の課題の多くを解決するものである。

追加のいくつかの目標には、化学および生化学の訓練生が直接操作することの多い実験室の器具（例えば、ピペット、試験管、ビーカーなど）の位置、方位、および状態を追跡するための、高性能モーションキャプチャー方法を開発および利用すること、実験室での作業能率にリアルタイムで肉眼的なフィードバックを学生に提供するため、並びに現在扱っているシミュレーションタスクに関連した重要概念を示すダイナミックで時宜を得た分子／顕微鏡的可視化を学生に提供するため、斯かる追跡データを使用する仮想化学／生化学経験を作成すること、および斯かる目標集中／実地仮想現実実験室での経験が学生の学習、自己効力感、および内発的動機付けに及ぼす影響力を評価することなどが含まれる。

従って、実際の装置を複製する必要性を回避しつつ、操作対象物体の実際の感触を維持するため、あるいは触覚型手袋を用いて仮想世界からの力フィードバックを模倣するため、ユーザーが直接操作する必要のある用品（例えば、ピペット、試料管など）にセンサーを配置または内蔵したハイブリッド仮想学生経験が開発された。

特に、本明細書においては、ハイブリッド現実環境において実験室器具を利用するシステムおよび方法が想定されており、それには、少なくとも１つの特徴を有する少なくとも１つの実験室器具（当該少なくとも１つの実験室器具は追跡される）が含まれる。

図６に示されるように、ハイブリッド現実環境において実験室器具を利用するシステムおよび方法６００が想定されており、それには、少なくとも１つの特徴を有する少なくとも１つの実験室器具６１０であって、追跡される少なくとも１つの実験室器具と、少なくとも１つの追跡された実験室器具の位置および方位を追跡するための追跡モジュール６２０と、メモリに記憶される仮想モデル６３０であって、少なくとも１つの実験室器具の少なくとも１つの特徴の少なくとも１つの３Ｄ仮想表示を有するものである仮想モデルと、実験モジュール６４０であって、メモリに記憶された仮想モデルにアクセスし６５０、少なくとも１つの追跡された実験室器具の位置および方位に関して、追跡モジュールから入力を受け取り６６０、追跡モジュールからの入力に基づいて、少なくとも１つの実験室器具、少なくとも１つの追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせとの間の対応相互関係を決定し６７０、対応相互関係の結果を決定し６８０、少なくとも１つの３Ｄ仮想表示、ユーザーの少なくとも部分または一部、対応相互関係、対応相互関係の結果、またはそれらの組み合わせの特定のセットを有するハイブリッド表示をディスプレイに表示する６９０ものである実験モジュールとが含まれる。

図７に示されるように、ハイブリッド現実環境において実験室器具を利用する追加のシステムおよび方法７００が想定されており、それには、少なくとも１つの特徴を有する少なくとも１つの第１の実験室器具７１０であって、追跡される少なくとも１つの第１の実験室器具と、少なくとも１つの追跡された実験室器具の位置および方位を追跡するための追跡モジュール７２０と、メモリに記憶される仮想モデル７３０であって、追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせの少なくとも１つの特徴の少なくとも１つの３Ｄ仮想表示を有するものである仮想モデルと、実験モジュール７４０であって、メモリに記憶された仮想モデルにアクセスし７５０、少なくとも１つの第一の追跡された実験室器具の位置および方位に関して、追跡モジュールから入力を受け取り７６０、追跡システムからの入力に基づいて、少なくとも１つの実験室器具、少なくとも１つの追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせとの間の対応相互関係を決定し７７０、対応相互関係の結果を決定し７８０、少なくとも１つの追跡された実験室器具の物理的視覚表示、少なくとも１つの３Ｄ仮想表示、ユーザーの少なくとも部分または一部、対応相互関係、対応相互関係の結果、またはそれらの組み合わせを有するハイブリッド表示をディスプレイに表示する７９０ものである実験モジュールとが含まれる。

ハイブリッド現実環境または拡張仮想現実環境で使用される実験室器具も含まれており、それには、少なくとも１つの特徴を有する少なくとも１つの実験室器具であって、追跡される少なくとも１つの実験室器具と、少なくとも１つの実験室器具に接続される少なくとも１つのマーカーと、少なくとも１つの追跡された実験室器具の位置および方位を追跡するための追跡モジュールであって、少なくとも１つのマーカーにアクセスする追跡モジュールとが含まれる。

本明細書全体で述べられているように、ハイブリッド現実環境とは、学校および企業の実験室に従来存在する現実世界の実験室の器具、機器、および構成部品が、仮想環境で観察および操作できるように修正または補足可能であることを意味している。想定されているいくつかの実施形態においては、機器、ユーザーの手、他の実験材料は全て、仮想現実へデジタル的に変換される。想定されている他の実施形態では、環境がハイブリッドのデジタル／物理的環境となるように、構成部品、実験室の器具、およびユーザーの手／腕は、物理的な現実世界同様、視覚的に示され、他の構成部品、例えば、液体、粉体、高価な機器、手に入りにくい材料、またはそれらの組み合わせは、仮想的環境で示される。しかし、理解されるべき点は、実験室、学校、および大学は、特別な仮想現実器具および機器（例えば、触覚型手袋）に何千ドルまたは何十万ドルも費やす必要はなく、その代わり、センサーまたは他の適切なマーカー／ソフトウェアを購入し、既に手元に有している機器を、ユーザーが既に自分の手に有する何十億もの「センサー」または神経と共に利用できることである。

想定されている実施形態において、学生、作業者、または教授が選択、使用、あるいは操作する必要のある実験室の器具はいずれも改装可能である、あるい器具の実際の位置および状態をコンピューターによって検出し、仮想現実経験を操作するコンピューターまたは他の計算機環境へ情報をユーザー（複数も可）のために送信できる適切なハードウェアおよび装置を用いて、最初から構築することも可能である。

本明細書に記載される場合、「少なくとも１つの特徴を有する少なくとも１つの実験室器具であって、追跡される少なくとも１つの実験室器具」または「少なくとも１つの特徴を有する少なくとも１つの第１の実験室器具であって、追跡される少なくとも１つの第１の実験室器具」と言う句は、使用する人が存在する、または訓練用に必要とする人が存在する、適切なまたは利用可能な任意の物理的実験室の機器（または信頼できる適切なその模造品、例えば、プラスチックまたは複合物から構築された実験室の機器など）を意味し、それには、ガラス製品（または追跡マーカーを有するガラス製品のプラスチック製模造品）、ピペット、ビーカー、計量機器／秤、分析機器／器具、あるいはその他任意の適切な機器が含まれる。斯かる例の各々において、想定されている実験室の機器は、適切な追跡モジュールによって追跡される。想定されている実施形態においては、斯かる実験室の機器（複数も可）は、実際の物理的な機器であってもよいし、最初の材料以外の素材（例えば、プラスチックまたは複合素材）を含む物理的な機器であってもよいし、仮想機器であってもよいし、あるいはそれらの組み合わせであってもよい。前述したように、新しい学生の場合、あるいは高価な機器の場合、斯かる機器は他の素材製であってもよいので、学生が機器を落としたり、乱暴に扱ったりしてもその機器は壊れたり失われたりすることがない。いくつかの実施形態においては、機器は３Ｄ印刷されたものであってもよいし、別の方法で購入されたり準備されたりしたものであってもよい。

想定されている実施形態において、少なくとも１つの実験室器具または少なくとも１つの追加の実験室器具は、少なくとも１つの実験室の固体材料、少なくとも１つの実験室の液体材料、少なくとも１つの実験室の気体材料、またはそれらの組み合わせを有し、斯かる少なくとも１つの実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはそれらの組み合わせは、実際の物理的表示、仮想モデル表示、またはそれらの組み合わせである。

想定されている実験室の固体材料は機器を含んでもよいし、粉体、微粒子、塊、結晶、または実験室に存在するあるいはテスト用に実験室で購入される他の任意の固体材料、化学物質、あるいは化合物を含んでもよい。想定されている実験室の液体は任意の適切な液体を含んでもよく、それには、水、液状の化学物質、液状の塩水またはブロス、および実験室に存在するあるいはテスト用に実験室で購入される他の任意の液体が含まれてもよい。想定されている実験室の気体材料は、実験室に存在するあるいはテスト用に実験室で購入される任意の適切な気体または気体状物質を含んでもよい。

本明細書に記載される場合、「実際の物理的表示」と言う句は、一般的に、ユーザーの手、腕、指、または他の一部あるいは部分のデジタル表示を意味する。想定されているシステムは、アニメ、仮想現実およびユーザーの実際の手、または実際のビーカー、または実際の機器の混合体をユーザーに示す場合もあることは理解されるべきである。拡張現実は、実験のニーズおよび実験室設定において利用可能な用品次第で、ユーザー用の混合ビューまたは混成ビューであってもよい。

本明細書に記載される場合、「少なくとも１つの追跡された実験室器具の位置および方位を追跡するための追跡モジュール」と言う句は、ハイブリッド仮想環境または空間においてリアルタイムでユーザーが見ることができるように、想定されている追跡モジュールが、少なくとも１つの追跡された実験室器具の位置および方位を追跡する機能を有していることを意味する。想定されている追跡モジュールは、機器センサー、マーカー、発信機、受信機、処理用ソフトエア、またはそれらの組み合わせを含むいくつかの構成部品を有していてもよい。想定されている追跡モジュールの一部として、各実験室器具をユニークに認識するため、非縮退マーカージオメトリまたはデジタル的にコード化されたアイデンティティを有する物理的マーカーが、撮像／追跡ソフトウェアによって利用される。幾何学的にコード化された実験室器具のアイデンティティに関して言えば、マーカーが相互に類似していて、撮像ソフトウェアを「混乱」させることがないようにすることが極めて重要である。想定されているマーカーは、受動追跡および能動追跡のいずれかを提供するものと考えられる。能動追跡はデジタルであり、実験室器具のマーカーとしてＩＲセンサー（マーカーに電力を供給する限り機能するが、これはすなわち、小さい実験室器具を追跡する際にユーティリティを妨害する場合が多い大き目のマーカーを意味する）を使用する。

本明細書に記載される場合、「メモリに記憶される仮想モデルであって、少なくとも１つの実験室器具の少なくとも１つの特徴の少なくとも１つの３Ｄ仮想表示を有するものである仮想モデル」と言う句は、少なくとも１つの追跡された実験室器具が仮想環境の他の構成要素と一緒に示される環境を意味する。（実際の実験室には物理的に位置していない）完全に仮想として設計された実験およびいくつかの機器および実験室の構成部品も、それらは想定されている仮想モデルに記憶されているので、ハイブリッド仮想環境に導入され、ユーザーによって利用可能である。想定されている仮想モデルは、ユーザーの一部または部分、例えば、ユーザーの手（複数も可）、指、腕（複数も可）、またはユーザーの他の適切な一部または部分を有していてもよい。

想定されているいくつかの実施形態において、実験モジュールが利用されるが、当該実験モジュールは、メモリに記憶された仮想モデルにアクセスし、少なくとも１つの追跡された実験室器具の位置および方位に関して、追跡モジュールから入力を受け取り、追跡モジュールからの入力に基づいて、少なくとも１つの実験室器具、少なくとも１つの追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせとの間の対応相互関係を決定し、対応相互関係の結果を決定し、少なくとも１つの３Ｄ仮想表示、ユーザーの少なくとも部分または一部、対応相互関係、対応相互関係の結果、またはそれらの組み合わせを有するハイブリッド表示をディスプレイに表示するように機能する。

他の実施形態において、想定された実験モジュールが利用されるが、当該実験モジュールは、メモリに記憶された仮想モデルにアクセスし、少なくとも１つの第一の追跡された実験室器具の位置および方位に関して、追跡モジュールから入力を受け取り、追跡システムからの入力に基づいて、少なくとも１つの実験室器具、少なくとも１つの追加の実験室器具、ユーザーの少なくとも一部または部分、またはそれらの組み合わせとの間の対応相互関係を決定し、対応相互関係の結果を決定し、少なくとも１つの追跡された実験室器具の物理的視覚表示、少なくとも１つの３Ｄ仮想表示、ユーザーの少なくとも部分または一部、対応相互関係、対応相互関係の結果、またはそれらの組み合わせを有するハイブリッド表示をディスプレイに表示するように機能する。
（実施例：拡張仮想または仮想化されたピペット）
１つの想定された実施形態において、「仮想化されたピペット」または「拡張現実ピペット」は、ピペットの状態に関する情報を検出し、それをアプリケーションベースの仮想／拡張現実プログラム／学習モジュールへ送信できるハードウェアによって改装または構築された通常のピペットを有する。ユーザーのヘッドギアまたはヘッドマウントディスプレイ（携帯電話またはＰＣ統合型撮像装置）はピペットの位置、方位、および状態（試料充填、空、または液体の排出）を統合し、ヘッドギアを通してユーザーに示される仮想現実世界にそのピペットの画像を投影する。想定されたいくつかの実施形態においては、
特別な試験管およびチップラックが提供されてもよく、ユーザーはそれらを用いて仮想チップを再充填し、実際に保持して自分の手でキャップを開けている試験管に、仮想試料を入れることができる。想定されているハードウェアは、他の従来の仮想現実会社によって既に開発済みの器具／機器／所有物並びに他の任意の３Ｄベースのゲームエンジン／プラットフォームとの間で互換性を有するであろう。斯かる想定された新規な技術の需要を満足させるドライバおよびＡＰＩが想定されている。

想定されたピペット変更に関する改装的性質により、広範囲なピペットの「仮想化」が可能となり、仮想実験及び活動を行うユーザーにより、様々なピペットが取り扱い／経験可能となる。仮想であるが「触覚的な」信頼できるバージョンの斯かる実験が保証されるならば、想定されている技術の使用により、更に多くの大学が、「実地」実験への学生の曝露を犠牲にすることなく、より多くの科学実験セクションを提供できるようになるであろう。その結果、個々のピペット使用工程の各段階において実験室手順でリアルタイムのフィードバックを得ることができ、学習対象の方法および手順をマスターするのに必要だと思われる回数だけ、確実な触覚フィードバックにより仮想実験を行うことができるようになるので、全世界の多くの分子生物学／生化学／化学課程および学生が恩恵に与かることができるであろう。

想定されている実施形態は、学生研究者と、他の仮想化された実地実験室器具並びに完全に仮想化された実験室機器との間を調整する、一応満足できる中間器具へ現実世界の標準ピペットを改装および「仮想化」できるハードウェアおよびソフトウェアを含んでいる。ユーザーは、仮想経験内で、実施する実験手順の各工程に関する詳細なフィードバックを受け取ることになる。今日、従来の技術は、ユーザーにとってはハードウェアコストを増大させ、ユーザーへ提供されるフィードバックの信頼性を大幅に減少させながら、完全な仮想物体との間の相互関係を模倣できる触覚型手袋の開発に集中している。実際の人間によって自然に操作可能であり、斯かる操作が追跡され、仮想世界の実験および器具との間で調整されて、間違って実験を行っているかもしれないことをユーザーに自動的にフィードバックすることができるような、余り高価でなく狭い範囲のアプローチ（例えば、追跡マーカーで特定の実験室器具を改装すること）が欠落している。費用効果を考慮し、関心のある相互関係に関する範囲を狭めて、すなわちユーザーが物理的に最もよく接触する重要な要素（例えば、ピペット、試験管、ビーカーなど）だけを「仮想化して」、仮想世界と現実世界との間のギャップを埋めることにより、学生の学習における多くの障害が最小化できるであろう、あるいは完全に払拭できるであろう。

学生参加および実験の実施方法に関するより現実的な感覚面での改善が、多くの生化学、分子生物学、および化学の課程で必要とされている。この革新的な技術は、斯かる必要性の大きい情報源を提供することになるであろう。教職員チームは、学生が実際の科学器具のうち小さいサブセットだけを操作すること、それを用いて、特定の方法で、完全仮想または部分仮想の器具とインターフェースすること、およびそれを用いて完全に現実的な「実地」触覚フィードバックを受け取ること（これに関しては、従来の実験室は正当に高く評価されている）を知った上で、教育面での革新的な仮想／拡張実験室経験を構築するのに必要な、完全仮想または部分仮想の道具／財産を構築することができるであろう。実験室の指導技術は長時間とリソースの大幅な消費を要するものである。学習するためには、学生は多くの間違いを経なければならないが、それには時間とお金が必要である。拡張現実および仮想現実システムは斯かる問題に上手に対処するかもしれないが、確実にシミュレートされた実験室での研究経験を学生に提供するには、ハードウェアおよびソフトウェアの慎重な統合が必要である。

本明細書記載の実地ＶＲアプローチは、大学だけでなく企業においても、教育、学習、および訓練の面で、新しい技術指導のアプローチを可能にするものである。このアプローチは、積極的な学習を全く新しいレベルまで引き上げる。実地仮想実験室の経費削減のお蔭で、全ての科学課程が効果的な実験室課程を含むことができるようになることを、我々は予測する。本明細書に一般的に記載されているデジタルアセット、方法、およびワークフローは、非専門家のプログラマーおよびデジタルアーチストによる将来のコンテンツ作成を簡便化し、その結果、様々な分野の才能が、自らの実地ＶＲ経験を短期間で作成できるようになるであろう。最後に、斯かる実地ＶＲ実験室経験は、実験室課程のコンテンツを用いる方法および時期に関して追加の選択を学生に提供することにより、重要な国家的優先課題である、不十分に代表された少数派の学生のＳＴＥＭ永続の問題への対処の手助けになるかもしれない。

図２は、データの流れと一緒に、種々のハードウェアおよびソフトウェアを示す図２００を含んでいる。能動追跡およびヘッドマウントディスプレイ（ＨＭＤ）は、ＳｔｅａｍＶＲのＬｉｇｈｔｈｏｕｓｅ２．０追跡システム（２１０）を用いて表示を行う。再帰反射マーカーの受動追跡は、Ｏｐｔｉｔｒａｃｋ ＩＲカメラ２２０を用いる。小さい円２３０は、我々が既に開発した「仮想化された実験室器具」を保持する学生の画像を示す。緑はデータ出力を示す。破線矢印は無線または光学データ送信を示す。

図３は、想定されている種々の「実地」ＶＲ実験室モジュール／サブモジュール並びにそれらが実施／試験されるクラスの図３００を示す。青（実線）矢印、赤（短い破線）矢印、および緑（長い破線）矢印は、各クラス内でモジュールが実施される際のレベル（入門レベル、中間レベル、または上級レベル）を示す。

図４は、簡単な仮想化された実験室器具４００を使用する学生を示す。このパネルの３つの二重ビュー画像の各々が、仮想化された実験室器具を使用している学生の物理世界（左）および仮想世界画像（右）を含んでいる。左上の二重ビューは、受動追跡され仮想化されたピペットを用いて、受動追跡され仮想化された２５０ｍＬの試薬容器から仮想液体を吸い上げている学生を示している（この場合、ピペット軸に再帰反射マーカーを取り付けたレイニンピペット、プランジャー、およびチップエジェクターが含まれる）。左下において、学生は、吸い上げたばかりの仮想液体を５０ｍＬの仮想化容器に移している。右上において、受動追跡された２５０ｍＬの容器からの液体試薬を能動追跡されたビーカーに注いでいる学生が示されている（Ｖｉｖｅ Ｔｒａｃｋｅｒユニットがビーカーの上部に取り付けられている）。

図５は、想定されている実地仮想実験室の効果を証明するのに使用される評価方法５００を示す。「実地」仮想実験がテストされようとしている各クラスにおいて、学生は対照第一（ＣＦ）カテゴリーおよび実験第一（ＥＦ）カテゴリーにランダムに割り当てられる。全ての学生が予備テストを受け、次にＣＦ学生が対照ＶＲモジュールに（すなわち、実際の実験室の器具からの確実な知覚フィードバックなしに、あるいはダイナミックな分子可視化なしに）曝露され、ＥＦ学生は実験ＶＲ分子を受け取る。学生はＶＲモジュール内でリアルタイム評価（ＲＴＡ）を用いて評価されるが、ＶＲモジュール外で中間テストも行われる。最後に、学生は活動を交代し、追加のリアルタイム評価が行われ、実験の第二バージョン完了後、ポストテストが行われる。この手順は、我々が試験するほとんどのＶＲモジュールに関して使用される。いくつかのクラス（すなわち、実験クラス）においては、評価のため、学生の作業能力に関する追加の測定基準が使用される（底部に示される）。

このように、実地実験室およびハイブリッド仮想環境を有する実証機の使用に関する特定の実施形態および方法が開示されている。しかし、既に記載された内容以外に数多くの変更が本明細書記載の発明概念から逸脱することなく可能であることは、当業者には明白であるべきである。従って、発明の主題は、本明細書開示の精神で制限される以外、制限されるべきものではない。更に、本明細書の解釈において、全ての用語は、文脈と一致する方法で可能な限り最も広く解釈されるべきである。特に、「有する」および「有して」と言う用語は、非制限的な方法で要素、構成部品、または工程に言及するものとして解釈されるべきであり、従って、参照される要素、構成部品、または工程は、明確に参照されない他の要素、構成部品、または工程と一緒に存在しても、利用されても、組み合わされてもよいものである。

Claims (18)

1. ハイブリッド現実環境で仮想化された実験室器具を利用するためのシステムであって、
   少なくとも２つの仮想化された実験室器具と、
   前記少なくとも２つの仮想化された実験室器具の位置および方位の光学的な追跡のための少なくとも１つの光学追跡モジュールであって、前記光学的な追跡は、前記少なくとも２つの仮想化された実験室器具のうちの少なくとも２つの間の少なくとも１つの機能的に関連する対応する相互関係の検出を可能にするものである、少なくとも１つの光学追跡モジュールと、
   前記少なくとも２つの仮想化された実験室器具に接続される、複数のユニークに識別可能なマーカーのセットであって、前記マーカーは、受動的に追跡される少なくとも１つの非縮退マーカージオメトリ、または能動的に追跡される少なくとも１つのデジタル的にコード化されたアイデンティティを有し、仮想化された実験室器具の各器具は、前記複数のユニークに識別可能なマーカーのセットと接続され、前記マーカーのセットおよび前記少なくとも２つの実験室器具は、完全に光学的に追跡されるものである、複数のユニークに識別可能なマーカーのセットと、
   メモリに格納された仮想モデルであって、前記２つの仮想化された実験室器具の少なくとも２つの３Ｄ仮想表示と、前記少なくとも２つの仮想化された実験室器具に接続される前記複数のユニークに識別可能なマーカーのセットとを含む仮想モデルと、
   実験モジュールであって、
   前記メモリに保存された前記仮想モデルにアクセスし、
   前記少なくとも２つの仮想された実験室器具の位置および方位に関する前記少なくとも１つの光学追跡モジュールからの入力を受信し、
   前記少なくとも１つの光学追跡モジュールからの前記入力に完全に基づいて、前記少なくとも２つの仮想化された実験室器具、ユーザーの少なくとも一部または部分、またはこれらの組み合わせの間の、前記少なくとも１つの機能的に関連する対応する相互関係を決定し、
   前記少なくとも１つの機能的に関連する対応する相互関係の結果を決定し、
   前記少なくとも２つの３Ｄ仮想表示の特定のセット、前記ユーザーの少なくとも一部または部分、前記少なくとも１つの機能的に関連する対応する相互関係、前記少なくとも１つの機能的に関連する対応する相互関係の結果、またこれらの組み合わせを含むハイブリッド表示をディスプレイ上に表示する、
   実験モジュールと、
   を有するシステム。
2. 請求項１記載のシステムにおいて、少なくとも１つの実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはこれらの組み合わせを更に有し、前記少なくとも１つの実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはこれらの組み合わせは、物理的な実際モデルの表示、仮想モデルの表示、またはこれらの組み合わせであるシステム。
3. 請求項１記載のシステムにおいて、少なくとも１つの追加の実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはこれらの組み合わせを更に有し、前記少なくとも１つの追加の実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはこれらの組み合わせは、物理的な実際モデルの表示、仮想モデルの表示、またはこれらの組み合わせであるシステム。
4. 請求項２記載のシステムにおいて、前記少なくとも１つの実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはこれらの組み合わせは、仮想モデルの表示であるシステム。
5. 請求項３記載のシステムにおいて、前記少なくとも１つの追加の実験室器具、実験室の固体材料、実験室の液体材料、実験室の気体材料、またはこれらの組み合わせは仮想モデルの表示であるシステム。
6. 請求項１記載のシステムにおいて、少なくとも５つの仮想化された実験室器具が存在するものである、システム。
7. 請求項１記載のシステムにおいて、前記少なくとも１つのユニークに識別可能なマーカーは、前記少なくとも１つの追跡モジュールによって継続的かつ同時に追跡されるものである、システム。
8. 請求項１記載のシステムにおいて、前記少なくとも１つのユニークに識別可能なマーカーは、前記少なくとも１つの追跡モジュールによって高性能で追跡されるものである、システム。
9. 請求項８記載のシステムにおいて、高性能には、サブミリメートルの解像度が含まれるものである、システム。
10. 請求項１記載のシステムにおいて、
    リアルタイム評価モジュールをさらに有するものである、システム。
11. 請求項１０記載のシステムにおいて、前記リアルタイム評価モジュールは、ユーザーの作業能力を評価し、前記ユーザーおよび指導員に情報を提供するものである、システム。
12. 請求項２記載のシステムにおいて、前記物理的な実際モデルの表示、仮想モデルの表示、またはこれらの組み合わせは、３Ｄ仮想モデルの表示である、システム。
13. 請求項１記載のシステムにおいて、前記ハイブリッド現実環境における前記仮想モデルは、前記少なくとも２つの仮想化された実験室器具の少なくとも１つと仮想環境の少なくとも１つの他のコンポーネントを示すものである、システム。
14. 請求項１記載のシステムにおいて、前記少なくとも２つの仮想化された実験室器具の少なくとも１つは、ガラス製品、ガラス製品のプラスチック製模造品、ピペット、ビーカー、計量機器／秤、分析機器、器具、またはその他の適切な器具を含むものである、システム。
15. ハイブリッド現実環境での使用のために仮想化される実験室器具を生成する方法であって、
    少なくとも２つの仮想化する実験室器具を特定する工程と、
    複数のユニークに識別可能なマーカーのセットを開発する工程であって、各マーカーのセットは、受動的に追跡可能な少なくとも１つの非縮退マーカージオメトリ、または能動的に追跡可能な少なくとも１つのデジタル的にコード化されたアイデンティティを有するものである、開発する工程と、
    前記少なくとも２つの仮想化される実験室器具とこれらに接続される各マーカーのセットの位置および方位の光学的な追跡のために少なくとも１つの光学追跡モジュールを提供し利用する工程であって、前記光学的追跡により、前記少なくとも２つの仮想化される実験室器具のうちの少なくとも２つの間の少なくとも１つの機能的に関連する対応する相互関係の検出を可能にするものである、提供し利用する工程と、
    前記複数のユニークに識別可能なマーカーのセットを、前記少なくとも２つの仮想化される実験室器具に接続する工程であって、前記複数のユニークに識別可能なマーカーのセットは、前記光学追跡モジュールによって追跡され、前記複数のユニークに識別可能なマーカーのセットは、ユーザーによる前記少なくとも２つの仮想化される実験室器具の触覚操作および使用を妨げないものである、接続する工程と、
    メモリに格納される仮想モデルを作成する工程であって、この仮想モデルは、前記少なくとも２つの仮想化される実験室器具の少なくとも２つの３Ｄ仮想表示と、それらに接続されるユニークに識別可能なマーカーのセットのそれぞれとを含む、仮想モデルを作成する工程と、
    実験モジュールを利用する工程であって、この実験モジュールは、
    前記メモリに保存された前記仮想モデルにアクセスし、
    前記少なくとも２つの仮想化される実験室器具の位置および方位に関する前記少なくとも１つの光学追跡モジュールからの入力を受信し、
    前記少なくとも１つの光学追跡モジュールからの前記入力に完全に基づいて、前記少なくとも２つの仮想化される実験室器具、ユーザーの少なくとも一部または部分、またはこれらの組み合わせの間の、前記少なくとも１つの機能的に関連する対応する相互関係を決定し、
    前記少なくとも１つの機能的に関連する対応する相互関係の結果を決定し、
    前記少なくとも２つの３Ｄ仮想表示の特定のセット、前記ユーザーの少なくとも一部または部分、前記少なくとも１つの機能的に関連する対応する相互関係、前記少なくとも１つの機能的に関連する対応する相互関係の結果、またこれらの組み合わせを含むハイブリッド表示をディスプレイ上に表示する、
    機能を行うものである、利用する工程と、
    を有する、方法。
16. 請求項１５記載の方法において、前記複数のマーカーは、受動型赤外再帰反射器、能動型赤緑青（ＲＧＢ）エミッタ、能動型赤外線（ＩＲ）エミッタ、能動型赤外線（ＩＲ）センサ、またはこれらの組み合わせを含むものである、方法。
17. 請求項１５記載の方法において、前記少なくとも１つの光学追跡モジュールは、少なくとも１つのモーションキャプチャ装置、少なくとも１つのモーションキャプチャカメラ、少なくとも１つの赤外線（ＩＲ）カメラ、またはこれらの組み合わせを有するものである、方法。
18. 仮想化された実験室器具をハイブリッド現実環境で利用するためのシステムであって、
    少なくとも２つの仮想化された実験室器具と、
    前記少なくとも２つの仮想化された実験室器具の位置および方位の光学的な追跡のための少なくとも１つの光学追跡モジュールであって、前記光学的な追跡は、前記少なくとも２つの仮想化された実験室器具のうちの少なくとも２つの間の少なくとも１つの機能的に関連する対応する相互関係の検出を可能にするものである、少なくとも１つの光学追跡モジュールと、
    前記少なくとも２つの仮想化された実験室器具に接続される、複数のユニークに識別可能なマーカーのセットであって、各マーカーのセットは、受動的に追跡される少なくとも１つの非縮退マーカージオメトリ、または能動的に追跡される少なくとも１つのデジタル的にコード化されたアイデンティティを有し、仮想化された実験室器具の各器具は、前記複数のユニークに識別可能なマーカーのセットの１セットと接続され、前記マーカーのセットおよび前記少なくとも２つの実験室器具は、完全に光学的に追跡されるものであり、前記接続は、前記少なくとも２つの仮想化された実験室器具の触覚操作および使用への妨げと、前記マーカーのセットのリアルタイムの光学的な追跡への妨げの両方を最小限にし、前記マーカーのセットのサイズ、形状、および大きさは、前記少なくとも２つの仮想化された実験室器具の触覚操作および使用への妨げと、前記マーカーのセットのリアルタイムの光学的な追跡への妨げの両方を最小限にするものである、複数のユニークに識別可能なマーカーのセットと、
    メモリに格納された仮想モデルであって、前記２つの仮想化された実験室器具の少なくとも２つの３Ｄ仮想表示と、前記少なくとも２つの仮想化された実験室器具に接続される前記複数のユニークに識別可能なマーカーのセットとを含む仮想モデルと、
    実験モジュールであって、
    前記メモリーに保存された前記仮想モデルにアクセスし、
    前記少なくとも２つの仮想実験室器具の位置および方位に関する前記少なくとも１つの光学追跡モジュールからの入力を受信し、
    前記少なくとも１つの光学追跡モジュールからの前記入力に完全に基づいて、前記少なくとも２つの仮想化された実験室器具、ユーザーの少なくとも一部または部分、またはこれらの組み合わせの間の、前記少なくとも１つの機能的に関連する対応する相互関係を決定し、
    前記少なくとも１つの機能的に関連する対応する相互関係の結果を決定し、
    前記少なくとも２つの３Ｄ仮想表示の特定のセット、前記ユーザーの少なくとも一部または部分、前記少なくとも１つの機能的に関連する対応する相互関係、前記少なくとも１つの機能的に関連する対応する相互関係の結果、またこれらの組み合わせを含むハイブリッド表示をディスプレイ上に表示する、
    実験モジュールと、
    を有するシステム。

Images