JP2023536228A - ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス - Google Patents

ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス Download PDF

Info

Publication number
JP2023536228A
JP2023536228A JP2023500045A JP2023500045A JP2023536228A JP 2023536228 A JP2023536228 A JP 2023536228A JP 2023500045 A JP2023500045 A JP 2023500045A JP 2023500045 A JP2023500045 A JP 2023500045A JP 2023536228 A JP2023536228 A JP 2023536228A
Authority
JP
Japan
Prior art keywords
laboratory automation
automation device
person
information
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023500045A
Other languages
English (en)
Inventor
ミニアチ,チーロ
シュティーフェル,マクシミリアン
ヘルグ,ベルナー
ルブデック,ロナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tecan Trading AG
Original Assignee
Tecan Trading AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tecan Trading AG filed Critical Tecan Trading AG
Publication of JP2023536228A publication Critical patent/JP2023536228A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N2035/00178Special arrangements of analysers
    • G01N2035/00306Housings, cabinets, control panels (details)
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N2035/00891Displaying information to the operator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N2035/00891Displaying information to the operator
    • G01N2035/0091GUI [graphical user interfaces]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ラボラトリオートメーションデバイス(10)は、液体容器(16)と、前記液体容器(16)間で液体(18)を移動させるためのピペットアーム(20)と、を有するワークスペース(26)と、前記ワークスペース(26)を囲むハウジング(28)と、前記ワークスペース(26)にアクセスするための前記ハウジング(28)のドア(30)であって、情報(34)を表示し人が前記ワークスペース(26)内を見ることを可能にする透明ディスプレイ(32)を、含むドア(30)と、前記人(42)の目の位置(46)を追跡する追跡センサ(36)と、を含む。前記ラボラトリオートメーションデバイス(10)は、前記追跡センサ(36)により取得されたセンサデータから、前記人(42)の前記目の位置(46)を判断し、前記人(42)の視点から通知領域(48)の前に情報(34b)が表示されるように、前記ワークスペース(26)内の前記通知領域(48)の前記情報(34b)を前記透明ディスプレイ(32)上に表示するように適合される。【選択図】図1

Description

本発明は、ラボラトリオートメーションデバイスに関する。さらに、本発明は、ラボラトリオートメーションデバイスを操作するための方法、コンピュータプログラム、コンピュータ可読媒体ならびに、コントローラに関する。
ラボラトリオートメーションデバイスは、例えば、特定の疾患について患者を検査する検査技師の作業を自動化するために使用される。通常、患者の血液、尿、便などの試料が採取され、生化学的手順によって分析される。このような手順は、物質の添加、培養、分離などの様々な操作と、特定の疾患を示す物質の量、存在または不存在を、定量的または定性的に測定する測定プロセスと、からなる。
特定のラボラトリオートメーションデバイスは、ドアを備えたハウジングによって囲まれたワークスペースを含む。ハウジング内では、一つの容器から液体を吸引し、この液体を別の容器に分配することができるピペットアームにより、容器に収容された試薬が処理されうる。ドアは、人がワークスペース内を見ることができるように透明でありうるが、ワークスペース内への意図的でないアクセスを遮断しうる。
ラボラトリオートメーションデバイスは、例えばピペットアームの制御を行うコントローラ、通常はPC、と接続されうる。ラボラトリオートメーションデバイス内の様々な構成要素の状態およびエラーメッセージが、PCのモニタ上に表示されうる。グラフィック記号に基づくワークスペースの概略配置がモニタに表示されてもよい。ラボラトリオートメーションデバイスの状態をチェックするためには、人がモニタ上を見なければならず、モニタ上の特定のメッセージおよび記号の少なくとも一方に、ワークスペース内のどの構成要素が関連するのかを、特定しなければならない。
本発明の目的は、ラボラトリオートメーションデバイスの監督を単純化することである。
この目的は、独立請求項の主題によって達成される。さらなる例示的な実施形態は、従属請求項および以下の説明から明らかである。
本発明の第一態様は、ラボラトリオートメーションデバイスに関する。一般に、ラボラトリオートメーションデバイスは、検査技師の作業を自動的に実行するように適合されたどのようなデバイスであってもよい。少なくともそのようなラボラトリオートメーションデバイスは、ロボットピペットを異なる位置間で移動させ、かつ、これらの位置で液体を吸引および排出するように適合されたピペットアームを含む。加えて、または、代わりに、このようなラボラトリオートメーションデバイスは、少なくともグリッパアームを含み、グリッパアームは、ロボットグリッパを異なる位置間で移動させ、これらの位置から物体を除去するか、または、これらの位置に物体を設置するように適合される。液体は、ラボラトリオートメーションデバイスのワークテーブル上に配置されうる液体容器に設けられる空洞から吸引され、空洞内に排出されうる。このような液体容器は、ウェル、試料管、マイクロタイタープレート、および/または、試薬容器などのうちの少なくとも一つを含みうる。
本発明の一実施形態によれば、ラボラトリオートメーションデバイスは、 液体容器と、前記液体容器間で液体を移動させるためのピペットアームと、を有するワークスペースと、前記ワークスペースを囲むハウジングと、前記ワークスペースにアクセスするための前記ハウジングのドアであって、情報を表示し人が前記ワークスペース内を見ることを可能にする透明ディスプレイを、含むドアと、前記人の目の位置を追跡する追跡センサとを含む。
このような設備により、ラボラトリオートメーションデバイスは、ドア上に情報を直接表示するように適合され、人がそのドアを通してハウジング、特にワークスペースの内部を見ることができる。さらに、ラボラトリオートメーションデバイスは、その人がワークスペース内のどの領域の方を見ているかを判断するように適合される。このようにして、その人は、ラボラトリオートメーションデバイス内の手順およびエラーについて、最適な情報を得ることができる。
ハウジングおよびドアは、ワークスペースを完全に囲みうる。しかし、特定の方向からのワークスペースへのアクセスのみがハウジングによって制限されてもよい。
透明ディスプレイは、OLEDまたはLCDディスプレイでありうる。このようなタイプのディスプレイは、透明スクリーン上に、情報、テキスト、および、グラフィックを表示しうる。
本発明の一実施形態によれば、ラボラトリオートメーションデバイスは、追跡センサにより取得されたセンサデータから人の目の位置を判断し、人の視点から通知領域の前に情報が表示されるように、ワークスペース内の通知領域の情報を透明ディスプレイ上に表示するように適合される。これらのステップは、ラボラトリオートメーションデバイスに接続されたコンピューティングデバイスおよび/またはPCでありうるラボラトリオートメーションデバイスのコントローラによって、制御されうる。コントローラは、外部装置であってもよく、または、ラボラトリオートメーションデバイス内に、特にそのハウジング内に、含まれてもよい。ピペットアーム、追跡センサ、および、透明ディスプレイは、コントローラと、データ通信のために接続されうる。
透明ディスプレイは、ラボラトリオートメーションデバイスのワークスペースを拡張する拡張現実アプリケーションを表示するために使用されうる。この拡張現実アプリケーションは、コントローラで実行されうる。人の視点は、その人の目の位置によって定義されうる。目の位置から、透明ディスプレイのどの部分が通知領域の前に位置しているかが判断されうる。この部分が、情報が表示される表示領域を定義しうる。
透明ディスプレイ上に示される情報は、ワークスペース内の特定のオブジェクト/構成要素に関連する通知およびエラーメッセージの少なくとも一方でありうる。拡張現実アプリケーションは、情報を、人の目の位置に対して、対応する構成要素の近くおよび上方の少なくとも一方に、表示しうる。
情報は、色付きおよび点滅状態の少なくとも一方でありうる記号インジケータを、含みうる。インジケータは、通知領域の輪郭であってもよい。
目の位置は、ラボラトリオートメーションデバイスによって定義される座標系に関した三次元座標として提供されうる。
本発明の一実施形態によれば、通知領域は、目の位置に向けて透明ディスプレイ上に投影される。投影により、透明ディスプレイ上の表示領域が決定され、この表示領域内に情報が表示される。ラボラトリオートメーションデバイスおよびそのコントローラの少なくとも一方は、ワークスペースの現在の配置の内部モデルを有してもよい。特に、ワークスペース内の構成要素の位置およびオプションタイプが内部モデルに記憶されうる。そのような構成要素は、液体容器、ピペットチップ容器などの他のタイプの容器、試験試料、ピペットアームなどを含みうる。構成要素の三次元外形が構成要素と一緒に記憶されてもよい。このような形状は、構成要素のタイプから決定されうる。
ラボラトリオートメーションデバイスは、構成要素間のピペットアームおよびグリッパの移動を判断しなければならないこともあるため、ワークスペース内のそのような構成要素の位置および伸展の少なくとも一方を含みうるワークスペースの内部モデルが、既に存在しうる。さらに、そのような内部モデルは、ラボラトリオートメーションデバイスが、センサを用いてワークスペースの内容を判断するコンテキストワークテーブル認識において生成されうる。
構成要素の位置における、構成要素のこの特定の形状、または、より一般的な箱状もしくはその他の一般的な形状が、人の目の位置に向けて透明ディスプレイ上に投影されうる。これにより、人の視点から見て構成要素の前にある表示領域が決定される。この表示領域内に情報が示されたときには、その情報はその構成要素に直接関連することになる。
本発明の一実施形態によれば、通知領域は、ラボラトリオートメーションデバイスの構成要素が位置している領域である。例えば、透明ディスプレイ上に表示される情報は、構成要素のステータス情報である。この情報は、容器の補充時に、存在するピペッティングチップが少なすぎること、および、液体容器の液体の含有量が少なすぎること、の少なくとも一方を示しうる。ステータス情報はエラーメッセージでありうる。ステータス情報は、ワークスペース内のそれぞれの構成要素と関わりあう要求でありうる。構成要素は除去可能であってもよく、情報は、構成要素が除去されねばならないことを示してもよい。
ワークスペースは、カメラ、または、より一般的なセンサによって、監視されてもよい。センサデータを評価することにより、構成要素が正しい位置にあるか否かが判断されうる。構成要素が誤った場所にあるときには、対応するエラーメッセージが生成される。
本発明の一実施形態によれば、通知領域は、ラボラトリオートメーションデバイスの構成要素が設置されるべき領域である。一般に、通知領域は、ワークスペースの空きスペースであってもよい。透明ディスプレイ上に表示される情報は、通知領域に設置されるべき構成要素のステータス情報でありうる。この情報は、この領域に液体容器が設置されるべきことを示しうる。
本発明の一実施形態によれば、追跡センサは、一つ以上のカメラを含む。目の位置は、ビデオストリームから推定されうる。例えば、ビデオストリームから人の顔を抽出することによって、人の頭の位置およびサイズの少なくとも一方が抽出されうる。
本発明の一実施形態によれば、追跡センサは、視線追跡センサを含む。そのようなセンサは、赤外線カメラと、人の目で反射される赤外光源と、を含みうる。視線追跡センサにより、ビデオストリームのみによる場合と同様に、視線の方向および目の位置がより正確に推定されうる。
本発明の一実施形態によれば、追跡センサは、複数の人がその感知領域内にいることを判断するように適合される。例えば、ビデオストリームからドアの前にいる人およびドアを通して見ている人の少なくとも一方が、判断されうる。このようなビデオストリームは、追跡センサのカメラによって提供されうる。
本発明の一実施形態によれば、目の位置が判断される対象の人は、追跡センサのセンサデータを用いて行われるジェスチャ検出を介して選択される。カメラのビデオストリームも、ジェスチャ検出のために使用されうる。手を振る等のジェスチャにより、そのジェスチャを行っている人が目の位置を判断されるべき対象の人物であること、および、拡張現実が生成されるべき対象の人物であること、の少なくとも一方が示されうる。
追跡センサによって複数の人が検出されたときに、拡張現実機能を用いられずに情報が表示されてもよい。
本発明の一実施形態によれば、目の位置が判断される対象の人は、透明ディスプレイを介して選択される。透明ディスプレイは、タッチスクリーンを含んでもよい。透明ディスプレイは、カメラによって撮影されうるユーザグループの写真を表示しうる。正しい視点で拡張現実が表示される人の写真が、それぞれの人を選択するための透明ディスプレイ上で触れられうる。
本発明の一実施形態によれば、ドアは、ドアの位置を判断するための位置センサを有する。ドアは、スライド可能ドアまたはヒンジ付きドアでありうる。「閉」、「ワークベンチアクセス可能」および「全開」の位置がありうる。位置センサは、ドアが開かれるとき、および、特定の位置に移動されるとき、の少なくとも一方のとき、にピペットアームを停止するためにも使用されうる。
本発明の一実施形態によれば、情報が表示される透明ディスプレイ上の表示領域は、ドアの位置に応じて決定される。人がドアを通してワークスペース内を見ることが可能な、ドアのいくつかの位置が、ありうる。
位置センサにより、開および閉などのドアの二つ以上の位置が検出されうる。ドアおよび透明ディスプレイの少なくとも一方の三次元モデルが、その位置および向きの少なくとも一方と一緒にコントローラに記憶されうる。このモデルは、透明ディスプレイ上への通知領域の投影を決定するために使用されうる。位置センサおよび検出されたドアの位置の少なくとも一方により、ドアの位置をさらに考慮して投影が決定されうる。
本発明の一実施形態によれば、透明ディスプレイはタッチスクリーンを含む。既に述べたように、透明ディスプレイは、ユーザインタフェースとしても使用されうる。
本発明のさらなる態様は、以上および以下に記載されるラボラトリオートメーションデバイスを操作する方法に関する。この方法は、コントローラによって行われうる。
本発明の一実施形態によれば、この方法は、追跡センサにより取得されたセンサデータから人の目の位置を判断することと、人に対して通知領域の前に情報が表示されるように、ワークスペース内の通知領域の情報を透明ディスプレイ上に表示することとを含む。以上および以下に記載される方法の特徴は、以上および以下に記載されるラボラトリオートメーションデバイスの特徴でありうることが理解されねばならない。
本発明のさらなる態様は、プロセッサによって実行されたときに以上および以下に記載される方法を行うために適合される、ラボラトリオートメーションデバイスのコントローラのためのコンピュータプログラムに関する。本発明のさらなる態様は、そのようなコンピュータプログラムが記憶されるコンピュータ可読媒体に関する。ラボラトリオートメーションデバイスのコントローラは、コントローラのメモリに記憶されうるコンピュータプログラムを実行するプロセッサを含みうる。
コンピュータ可読媒体は、ハードディスク、USB(Universal Serial Bus、ユニバーサルシリアルバス)記憶装置、RAM(Random Access Memory、ランダムアクセスメモリ)、ROM(Read Only Memory、リードオンリメモリ)、EPROM(Erasable Programmable Read Only Memory、消去可能プログラム可能リードオンリメモリ)またはフラッシュメモリでありうる。コンピュータ可読媒体は、プログラムコードのダウンロードが可能な、例えばインターネットなどの、データ通信ネットワークでもありうる。一般に、コンピュータ可読媒体は、非一時的な媒体であっても一時的媒体であってもよい。
本発明のさらなる態様は、本明細書に記載の方法を行うように適合されたラボラトリオートメーションデバイス(10)のコントローラに関する。方法は、少なくとも部分的に、例えばFPGAなどの、ハードウェアにおいて実装されうる。
本発明のこれらおよび他の態様は、以下に説明する実施形態から明らかになり、それらを参照して解明されるであろう。
以下では、本発明の実施形態が添付の図面を参照しながら、より詳細に説明される。
本発明の一実施形態によるラボラトリオートメーションデバイスの概略斜視図を示す。 本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。 本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。 本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。 本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。 本発明の一実施形態によるラボラトリオートメーションデバイスを操作するための方法を説明するフローダイヤグラムを示す。
図面で使用される参照記号およびそれらの意味は、符号の説明に要約形式で列挙される。原則として、同一の部分には図面において同じ参照記号が付される。
図1は、ラボラトリオートメーションデバイス10のいくつかの構成要素14が搭載されたワークベンチ12を含む、ラボラトリオートメーションデバイス10を示す。図示の例は、ピペットチップ14bを有するカートリッジ14a、試験管16aを有するカートリッジ14c、ウェル16bを有するマイクロプレート14d、および試薬18を含む容器16cを含む。一般に、構成要素14のいくつかは液体容器16でありうる。
ラボラトリオートメーションデバイス10は、例えばモータを利用して三次元で移動されうる、ピペット22を備えたピペットアーム20をさらに含む。ピペット22により試験管16aから吸引されることにより試料が取り出され、ウェル16b内に分注されうる。同様に、試薬18がウェル16b内に運ばれうる。グリッパ24を装備したグリッパアーム23により、マイクロプレート14dが交換され、ヒータ、光学的分析デバイスなどのさらなるデバイス内に移動されうる。
ラボラトリオートメーションデバイス10の構成要素14、20、22、24は、ハウジング28によって囲まれたワークスペース26内のワークベンチ12の上方に設けられる。ハウジング28は前面にドア30があり、構成要素14、20、22、24にアクセスするために開けることができる。ドア30の一部またはドア30全体が透明ディスプレイ32であり、それによりワークスペース26内を見ることができ、透明ディスプレイ上に情報34を表示することができる。そのような情報は、構成要素14、20、22、24からの輪郭表示および強調表示34b、ならびに、記号、テキストおよび画像34aの少なくとも一方を含みうる。
情報34の一部または全部は、ラボラトリオートメーションデバイス10の前にいる人の特定の視点に対して、その人にとって情報34が構成要素14、20、22、24の近くまたは前に表示されるように、表示されうる。
一般に、情報34は、人の目の位置とは無関係に(および任意にドア30の位置とは無関係に)透明ディスプレイ32上の同じ位置上に表示される静止情報34aを含みうる。さらに、情報34は、人の目の位置に応じた(および任意にドア30の位置に応じた)透明ディスプレイ32上の位置に表示される拡張現実情報34bを含みうる。
例えば、構成要素14、20、22、24の輪郭表示および強調表示の少なくとも一方34bは、構成要素14、20、22、24がワークスペース内に設けられる領域に重なるように表示されうる。
目の位置を判断するために、ラボラトリオートメーションデバイス10は、カメラ36aおよび視線追跡センサ36bの少なくとも一方を含む追跡センサ36を含む。例えば、カメラ36aに加えて、視線追跡センサが一つ以上の赤外光源36cを含みうる。追跡センサ36、特にカメラ36aおよび赤外光源36cは、ハウジング28に取り付けられうる。
図1は、目の位置の判断および透明ディスプレイ32上に表示される情報34のレンダリングを行いうる、ラボラトリオートメーションデバイス10のコントローラ38を、さらに示す。コントローラ38は、ラボラトリオートメーションデバイス10とデータ通信するコンピュータまたは組み込みデバイスであってもよく、またはラボラトリオートメーションデバイス10に含まれてもよい。
図2は、ヒンジ付きドア30を備えたラボラトリオートメーションデバイス10の一実施形態を示す。図1のラボラトリオートメーションデバイス10のドア30は、このように設計されてもよい。ドア30は、軸Aの周りにヒンジで連結されうる。第一位置40aでは、ドア30は閉じられ、ドア30によって閉じられた開口部を通してワークスペース26がアクセス可能であることを妨げる。第二位置40bでは、ドア30が開かれ、その結果、人42が、透明ディスプレイを通して見ることができ、ワークスペース26内に、例えば液体容器16を交換するために、手を伸ばしうる。ドア30が完全に開かれたさらなる位置があってもよい。ドアの位置40a、40bは、位置センサ44により判断される。
位置センサ44は、ドア30が完全に閉じられていないとき、すなわち、位置40aにないときに、ピペットアーム20およびグリッパ24の少なくとも一方の動作を停止するために、コントローラ38によって使用されうる。
図2は、コントローラ38が情報34bの表示領域50をどのように決定するかも示す。既知の目の位置46を用いて、ワークスペース内の通知領域48が透明ディスプレイ32上に投影される。この投影が、情報34bが表示される表示領域40として用いられる。通知領域48は、ワークスペース26内のある体積でありうる。表示領域40は、ディスプレイの多角形部分などの二次元形状でありうる。
通知領域48の投影を行うためには、コントローラ38は、目の位置46および透明ディスプレイ32の位置を知らなければならない。この位置は、ドア位置40a、40bから決定されてもよいし、一定であると仮定されてもよい。
図3A、3Bおよび3Cは、スライドドア30を備えたラボラトリオートメーションデバイス10の一実施形態を示す。図1のラボラトリオートメーションデバイス10のドア30は、このように設計されてもよい。スライドドア30は、第一ドア位置40a(位置「閉」)でワークスペース26へのアクセスを妨げることができ、第二ドア位置40b(位置「ワークベンチアクセス可能」)でワークスペース26へのアクセスを可能にすることができ、第三ドア位置40c(位置「全開」)でワークスペース26全体へのアクセスを可能にすることができる。ここでも、表示領域50は、ドア位置40a、40bによって決定されうる。スライドドアは、アセシングギャップ52の高さdが異なる様々な「ワークベンチアクセス可能」40bの位置を有しうる。
図4は、先の図に示したようなラボラトリオートメーションデバイス10を操作するための方法のフロー図を示す。
ステップS10において、複数の人42がドア30の前にいるときには、一人の人42が選択される。コントローラ38は、カメラ36aのビデオストリームを評価することによってドア30の前に何人の人がいるのかを判断しうる。カメラ36aは、その視野が、複数の人42がいることが予想されるドア30の前の領域に向けられるように、配置されうる。人42または人の頭が、物体認識によって識別されうる。
追跡センサ36の、および、特にカメラ36aの、センサデータにより行われるジェスチャ検出を介して、一人の人42が選択されてもよい。例えば、腕を振るまたは特定のジェスチャが、手および腕の少なくとも一方の物体認識およびその位置の追跡によって判断されうる。
透明ディスプレイ32を介して一人の人42が選択されてもよい。カメラ36aの視野内の全ての人42の頭および顔の少なくとも一方が、透明ディスプレイ32上に例えば静止情報34aとして表示されうる。透明ディスプレイ32は、タッチスクリーンを含んでもよく、それぞれの静止情報34aの領域に触れることによって人が選択されてもよい。
ステップS12では、追跡センサ36により取得されるセンサデータから人42の目の位置46が判断される。例えば、ステップS10で選択された人の頭の画像から、または、ドア30の前にいる一人の人から、目の位置46が抽出されうる。カメラ36aからのビデオストリーム中の物体認識を介して目の位置46が判断されうる。目で反射されてビデオストリームにおいてその反射が識別されうる赤外光源36cが使用されてもよい。
目の位置46は、ワークスペース26内の点の位置も計算されうる、かつ/または、透明ディスプレイ32の位置も既知である、座標系に関して、提供される三次元座標とすることができる。
ステップS14において、ワークスペース26内の通知領域48の拡張現実情報34bが透明ディスプレイ32上に表示される。
コントローラ38は、情報34bが表示されるべき一つ以上の通知領域48を決定する。通知領域48は、ラボラトリオートメーションデバイス10の構成要素14が位置している領域でありうる。情報34bは、エラーメッセージまたは人が構成要素14を交換または補充するためのメッセージなどの、構成要素14のステータス情報でありうる。通知領域48は、ワークスペース26内の空領域であってもよい。例えば、ラボラトリオートメーションデバイス10の構成要素14が人42によって設置されるべき領域。情報34bは、設置されるべき構成要素14のステータス情報でありうる。
コントローラ38は、ワークスペース26および構成要素14の内部モデルを内部に維持しうる。このモデルは、どの位置にどの構成要素14が置かれているかの情報を提供しうる。このモデルは、構成要素の境界体積についての情報も提供しうる。このような境界体積は、通知領域48として使用されうる。内部モデルは、構成要素14がワークスペース26に入れられたとき、および、ワークスペース26から除去されたときに更新されうる。内部モデルは、構成要素14の位置が例えばピペットアーム20およびグリッパ24の少なくとも一方の動作により変わったときに更新されうる。
一つ以上の通知領域48が決定されると、透明ディスプレイ32上の表示領域50を決定するために、通知領域48が目の位置46に向けて透明ディスプレイ32上に投影される。透明ディスプレイ32は、ドア30の位置40a、40b、40cによって位置が決定される矩形としてモデル化されうる。通知領域48は、目の位置46による中心投影を介してこの矩形上に投影されうる。
最後に、それぞれの表示領域50内に示される情報34bがレンダリングされる。情報34bは、テキスト、数字、記号、輪郭表示、強調表示などのうちの少なくとも一つを含みうる。人42の注意を引くためにグラフィック情報34bが点滅していたり色が変わったりしてもよい。
投影により、情報34bが人42の視点から通知領域48の前に表示される。このようにして、その人は、情報34bがどの構成要素14に属するかを、特にスライドドア30の位置40a、40b(図3A~3C)またはヒンジ付きドア30の開口角度(図2)に関わらず、容易に識別することができる。
図面および前述の説明において本発明を詳細に例示および記載しているが、そのような例示および記載は例証的または説明的であり、限定的ではないものと考えられねばならず、本発明は開示された実施形態に限定されない。開示された実施形態に対する他の変形例は、当業者で請求された本発明を実践する者により、図面、本開示、および添付の特許請求の範囲の検討から理解され達成されうる。特許請求の範囲において、「含む」という語は他の要素またはステップを除外せず、不定冠詞「一つの(a)」または「一つの(an)」は複数を除外しない。単一のプロセッサもしくはコントローラまたは他のユニットは、特許請求の範囲に引用された、いくつかの項目の機能を果たしうる。ある手段が相互に異なる従属請求項において引用されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。特許請求の範囲におけるいかなる参照符号も、その範囲を限定するものと解釈されてはならない。
10 ラボラトリオートメーションデバイス
12 ワークベンチ
14 構成要素
14a カートリッジ
14b ピペットチップ
14c カートリッジ
14d マイクロプレート
16 液体容器
16a 試験管
16b ウェル
16c 容器
18 試薬
20 ピペットアーム
22 ピペット
23 グリッパアーム
24 グリッパ
26 ワークスペース
28 ハウジング
30 ドア
32 透明ディスプレイ
34 情報
34a 静止情報
34b 拡張現実情報
36 追跡センサ
36a カメラ
36b 視線追跡センサ
36c 赤外光源
38 コントローラ
40a 第一ドア位置
40b 第二ドア位置
40c 第三ドア位置
42 人
44 ドア位置センサ
46 目の位置
48 通知領域
50 表示領域
52 アセシングギャップ

Claims (15)

  1. ラボラトリオートメーションデバイス(10)であって、
    液体容器(16)と、前記液体容器(16)間で液体(18)を移動させるためのピペットアーム(20)と、を有するワークスペース(26)と、
    前記ワークスペース(26)を囲むハウジング(28)と、
    前記ワークスペース(26)にアクセスするための前記ハウジング(28)のドア(30)であって、情報(34)を表示し人が前記ワークスペース(26)内を見ることを可能にする透明ディスプレイ(32)を、含むドア(30)と、
    前記人(42)の目の位置(46)を追跡する追跡センサ(36)と
    を含み、
    前記ラボラトリオートメーションデバイス(10)は、
    前記追跡センサ(36)により取得されたセンサデータから、前記人(42)の前記目の位置(46)を判断し、
    前記人(42)の視点から通知領域(48)の前に情報(34b)が表示されるように、前記ワークスペース(26)内の前記通知領域(48)の前記情報(34b)を前記透明ディスプレイ(32)上に表示する
    ように適合される、ラボラトリオートメーションデバイス(10)。
  2. 請求項1に記載のラボラトリオートメーションデバイス(10)であって、
    前記通知領域(48)は、前記情報(34b)が表示される前記透明ディスプレイ(32)上の表示領域(50)を決定するために、前記目の位置(46)に向けて前記透明ディスプレイ(32)上に投影される、ラボラトリオートメーションデバイス(10)。
  3. 請求項1~2のいずれか一項に記載のラボラトリオートメーションデバイスであって、
    前記通知領域(48)は、前記ラボラトリオートメーションデバイスの構成要素(14)が位置する領域であり、
    前記透明ディスプレイ(32)上に表示される情報(34b)は、前記構成要素(14)のステータス情報である、ラボラトリオートメーションデバイス(10)。
  4. 請求項1~3のいずれか一項に記載のラボラトリオートメーションデバイス(10)であって、
    前記通知領域(48)は、前記ラボラトリオートメーションデバイス(10)の構成要素(14)が設置されるべき領域であり、
    前記透明ディスプレイ(32)上に表示される情報(34b)は、設置されるべき前記構成要素(14)のステータス情報である、ラボラトリオートメーションデバイス(10)。
  5. 請求項1~4のいずれか一項に記載のラボラトリオートメーションデバイス(10)であって、
    前記追跡センサ(36)はカメラ(36a)を含む、ラボラトリオートメーションデバイス(10)。
  6. 請求項1~5のいずれか一項に記載のラボラトリオートメーションデバイス(10)であって、
    前記追跡センサ(36)は視線追跡センサ(36b)を含む、ラボラトリオートメーションデバイス(10)。
  7. 請求項1~6のいずれか一項に記載のラボラトリオートメーションデバイス(10)であって、
    前記追跡センサ(36)は、複数の人(42)が前記ドア(30)の前にいることを判断するように適合される、ラボラトリオートメーションデバイス(10)。
  8. 請求項7に記載のラボラトリオートメーションデバイス(10)であって、
    前記目の位置(46)が判断される対象の前記人(42)は、前記追跡センサのセンサデータを用いて行われるジェスチャ検出を介して選択される、ラボラトリオートメーションデバイス(10)。
  9. 請求項7または8に記載のラボラトリオートメーションデバイス(10)であって、
    前記目の位置(46)が判断される対象の前記人(42)は、前記透明ディスプレイ(32)を介して選択される、ラボラトリオートメーションデバイス(10)。
  10. 請求項1~9のいずれか一項に記載のラボラトリオートメーションデバイス(10)であって、
    前記ドア(30)は、前記ドアの位置(40a、40b、40c)を判断するための位置センサ(44)を有し、
    前記情報(34b)が表示される前記透明ディスプレイ(32)上の表示領域(50)は、前記ドア(30)の前記位置(40a、40b、40c)に応じて決定される、ラボラトリオートメーションデバイス(10)。
  11. 請求項1~10のいずれか一項に記載のラボラトリオートメーションデバイス(10)であって、
    前記透明ディスプレイ(32)はタッチスクリーンを含む、ラボラトリオートメーションデバイス(10)。
  12. 請求項1~11のいずれか一項に記載のラボラトリオートメーションデバイス(10)を操作する方法であって、
    前記追跡センサ(36)により取得されたセンサデータから前記人(42)の前記目の位置(46)を判断し、
    前記人(42)の視点から通知領域(48)の前に情報(34b)が表示されるように前記ワークスペース(26)内の前記通知領域(48)の前記情報(34b)を前記透明ディスプレイ(32)上に表示する、
    方法。
  13. ラボラトリオートメーションデバイス(10)のコントローラ(38)のためのコンピュータプログラムであって、プロセッサによって実行されたときに請求項13に記載の方法を行うように適合される、コンピュータプログラム。
  14. 請求項13に記載のコンピュータプログラムが記憶された、コンピュータ可読媒体。
  15. 請求項1~12のいずれか一項に記載の方法を行うために適合された、ラボラトリオートメーションデバイス(10)のコントローラ(38)。
JP2023500045A 2020-07-08 2020-07-08 ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス Pending JP2023536228A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/069190 WO2022008044A1 (en) 2020-07-08 2020-07-08 Laboratory automation device with transparent display in door

Publications (1)

Publication Number Publication Date
JP2023536228A true JP2023536228A (ja) 2023-08-24

Family

ID=71527809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023500045A Pending JP2023536228A (ja) 2020-07-08 2020-07-08 ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス

Country Status (5)

Country Link
US (1) US20230228776A1 (ja)
EP (1) EP4179336A1 (ja)
JP (1) JP2023536228A (ja)
CN (1) CN115803632A (ja)
WO (1) WO2022008044A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5828728B2 (ja) * 2011-09-28 2015-12-09 株式会社日立ハイテクノロジーズ 自動分析装置
DK2857841T3 (da) * 2013-10-07 2021-07-26 Eppendorf Ag Laboratorieapparat til apparatstyret behandling af mindst én laboratorieprøve, og en fremgangsmåde til konfigurering af laboratorieapparatet ved hjælp af konfigurationsstyringen
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models

Also Published As

Publication number Publication date
US20230228776A1 (en) 2023-07-20
EP4179336A1 (en) 2023-05-17
WO2022008044A1 (en) 2022-01-13
CN115803632A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
US11380074B2 (en) Augmented reality devices for hazardous contaminant testing
CN111108363A (zh) 用于有害污染物测试的反应性划分模板
CN106971290A (zh) 用于生成关于电子实验室日志的条目的方法
US20230333134A1 (en) Virtual Pipetting
US20210401287A1 (en) Evaluation apparatus, evaluation method, and non-transitory storage medium
JP2023536228A (ja) ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス
US20230012125A1 (en) Sensing vessels for cell cultures
CN107533579A (zh) 具有位置敏感键盘的显示器
CN116469285A (zh) 对在ivd实验室系统中可执行的方法进行用户交互式训练的计算机实现的训练系统和方法
US20220253148A1 (en) Devices, Systems, and Methods for Contactless Interfacing
US20230007854A1 (en) Connected ecosystem for laboratory environment
JP7393454B2 (ja) 近接相互作用および音声コマンドによるトラブルシューティング
EP4016167B1 (en) A laboratory analyzer
JP7303283B2 (ja) 実験室用分析装置
US20240181642A1 (en) Protocol simulation in a virtualized robotic lab environment
JP2002182892A (ja) オブジェクトの選択確定方法及びオブジェクトの選択確定プログラムを記憶した記憶媒体
EP4377973A1 (en) Systems and methods for processing electronic images of pathology data and reviewing the pathology data
GB2612967A (en) Computer vision system for a biological assay
Blaha et al. Watching You Watching You: Visualization of Visual-Motor Behavior
Kalaiarasu GAZE ANALYSIS FOR TCAS SYMBOL: DESIGN STUDY USING EYE TRACKING SYSTEM

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514