JP6917496B1 - 分注支援システム - Google Patents

分注支援システム Download PDF

Info

Publication number
JP6917496B1
JP6917496B1 JP2020043033A JP2020043033A JP6917496B1 JP 6917496 B1 JP6917496 B1 JP 6917496B1 JP 2020043033 A JP2020043033 A JP 2020043033A JP 2020043033 A JP2020043033 A JP 2020043033A JP 6917496 B1 JP6917496 B1 JP 6917496B1
Authority
JP
Japan
Prior art keywords
dispensing
information
well
plate
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020043033A
Other languages
English (en)
Other versions
JP2021143950A (ja
Inventor
飯田 哲也
哲也 飯田
卓 塩川
卓 塩川
宏 早川
宏 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aioi Systems Co Ltd
Original Assignee
Aioi Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aioi Systems Co Ltd filed Critical Aioi Systems Co Ltd
Priority to JP2020043033A priority Critical patent/JP6917496B1/ja
Application granted granted Critical
Publication of JP6917496B1 publication Critical patent/JP6917496B1/ja
Publication of JP2021143950A publication Critical patent/JP2021143950A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Sampling And Sample Adjustment (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

【課題】複数のウェルを有するプレートへの分注作業を支援するにあたって利便性が高い分注支援システムを提供する。【解決手段】分注支援システム(1)は、プレート(PL)を固定可能な固定部が設けられたスクリーン(40a)と、分注作業に関する情報に基づき画像データを生成するコントローラー(20)と、プレート(PL)の上面を含む投影領域に画像データに基づく画像を投影する、プレート(PL)の上方に設けられたプロジェクター(10)と、を備える。【選択図】図1

Description

本発明は、分注支援システムに関する。
従来、複数のウェルを有するプレートへ分注作業(液体等の吐出、吸引、ピペッティングによる攪拌、等のピペット操作を含む、以下同じ)を行う際、作業者はノートに記載した作業表等を参照しながら手で作業していた。しかし、1プレート当たりのウェルの数が増えると、分注漏れや誤分注といった作業ミスが発生する確率が高くなるという問題があった。
これに関連して、分注作業を支援する技術が開発されている。例えば、特許文献1は、予め設定された分注パターンに応じた情報をモニターに表示しつつ、パターンに対応しない位置に分注しようとすると、分注を禁止する分注装置を含む分注システムを開示している。また、特許文献2は、プレートを固定する箱の底面に、プログラミングされたピペッティングシークエンスの順で発光する光源を備え、検知したピペット位置と発光位置が異なる場合に警報を発する装置を開示している。
特開2017−170292号公報 特開昭61−294330号公報
特許文献1に記載のシステムでは、複数のウェルに対してどのように分注作業を行うかを作業者が外部モニターで確認する必要があるため、作業ミスが生じる恐れがあり、作業者にとって利便性が低かった。また、特許文献2の装置は、固定光源の光をプレートの底面越しに確認しなければならないため、プレートのレイアウトや溶液の色が限定されるなど、作業者にとって利便性が低かった。
本発明は、このような事情に鑑み、複数のウェルを有するプレートへの分注作業を支援するにあたって利便性が高い分注支援システムを提供することを目的とする。
以下に、(発明を実施するための形態)で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、(特許請求の範囲)の記載と(発明を実施するための形態)との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、(特許請求の範囲)に記載されている発明の技術的範囲の解釈に用いてはならない。
一実施形態に係る分注支援システムは複数のウェル(W)を備えるプレート(PL)を配置可能な配置部(40)と、分注作業に関する情報に基づき画像データを生成する制御部(20、60)と、プレート(PL)の上面を含む投影領域に画像データに基づく画像を投影する、プレート(PL)の上方に設けられたプロジェクター(10)と、を備える。
本発明によれば、複数のウェルを有するプレートへの分注作業を支援するにあたって利便性が高い分注支援システムを提供できる。
実施形態に係る分注支援システムの構成を示す斜視図である。 分注支援システムの構成を示す右側面図である。 分注支援システムが分注位置を検出する構成を説明する斜視図である。 分注支援システムのセンサーとセンシング可能エリアを説明する上面図である。 分注支援システムのセンサーとセンシング可能エリアを説明する断面図である。 分注支援システムのシステム構成を示すブロック図である。 分注支援システムが投影する画像の例を示す図である。 分注支援システムが投影する画像の例を示す図である。 分注支援システムのアプリケーション構成を示すブロック図である。 分注支援システムが記憶するレイアウト情報の例を示す図である。 分注支援システムが実行するセンシングエリア設定処理を示すフローチャートである。 分注支援システムのセンシングエリアの例を示す図である。 分注支援システムが記憶するセンシングエリア情報の例を示す図である。 分注支援システムが記憶する分注スケジュール情報の例を示す図である。 分注支援システムが記憶する分注時表示情報の例を示す図である。 分注支援システムが実行する分注支援処理の例を示すフローチャートである。 変形例に係る分注支援システムの構成を示す右側面図である。 変形例に係る分注支援システムのシステム構成を示すブロック図である。 変形例に係る分注支援システムのアプリケーション構成を示すブロック図である。 変形例に係る他の容器の配置を示す上面図である。 変形例に係る固定部を設けた配置部の上面図である。 変形例に係る固定部を設けた配置部の断面図である。
以下、図面を参照して本発明の実施形態について説明する。なお、同一又は対応する構成については同一の符号を付し、説明を省略する場合がある。また、図面には必要に応じてxyz軸の直行座標系が付されている。
本実施形態の分注支援システム1は、図1及び図2に示すように、投影レンズ10aを有するプロジェクター10と、コントローラー20と、センサー30と、スクリーン40aを上面に有する配置部40と、固定ガイド50と、コンピューター60と、スペーサー70と、を備える。本実施形態では、プロジェクター10と、コントローラー20と、センサー30と、配置部40と、が筐体によって一つの支援装置として結合される。
分注支援システム1の使用時には、例えば、プレートPLが配置される配置部40の上面(スクリーン40a)が水平(xy平面上)になるように配置される。なお、分注支援システム1を用いて作業する場合、作業者は図1の手前(+y方向)から作業を行う。この作業者から見てスクリーン40aの左から右方向を+x方向、奥から手前方向を+y方向、下から上方向を+z方向と定義する。プレートPLは、ウェルWの開口部が上方(+z方向)に向くように配置部40上に配置される。本実施形態では、プレートPLは配置部40に設けられた固定ガイド50に固定される。この場合、作業者は手前側(+y方向)から奥側(−y方向)へ手を伸ばしてプレートPLに対する分注作業を行う。なお、図2は分注支援システム1を図1の右側(+x方向)から見た側面図である。
プロジェクター10は、通常のプロジェクター(例えば投影距離1メートル)よりも短い投影距離(例えば20〜50センチメートルなど)で画像を投影可能な超短焦点プロジェクターである。図2の点線で示されているように、プロジェクター10は、プレートPLが配置された配置部40の上方(+z方向)かつ奥方向(−y方向)に投影レンズ10aが配置され、この投影レンズ10aからプレートPLの上面(第1投影領域PA1)と配置部40の上面(スクリーン40a)の他の領域(第2投影領域PA2)を含む投影領域に投影画像を投影可能に構成されている。このため、プロジェクター10は、プレートPLへの分注作業の際に手や器具の影が作業対象のウェルW近辺に発生しにくい。よって、分注作業の支援画像を投影するにあたって作業者の利便性が高い。
コントローラー20は、プロジェクター10とセンサー30とに対して通信可能に接続された、プロジェクター10やセンサー30等を制御する制御デバイスである。コントローラー20は、コンピューター60と情報を通信可能に設けられ、コンピューター60から伝達される設定情報やコマンド等に基づいて、プロジェクター10に画像を投影させる。また、コントローラー20はセンサー30から検出結果を示す位置情報を受信する。なお、本実施形態では、コントローラー20はプロジェクター10等と共に同一の筐体に保持される専用コントローラーであるが、これに限らず、汎用のコンピューターであってもよい。
コンピューター60は、コントローラー20と通信可能な、コントローラー20に制御用コマンドを送る制御用コンピューターである。例えば、コンピューター60は後述するようなソフトウェアをインストールされた汎用PCである。コンピューター60は、これらのソフトウェアを用いて作業者あるいは管理者等のユーザーによる設定を受け付け、これに基づき後述する設定情報を生成乃至更新する。コンピューター60は、生成した設定情報に基づき、コントローラー20と共同して後述する支援処理を実行する。このように、コントローラー20とコンピューター60は、共同して分注支援を行うための制御部として機能する。
配置部40は、プレートPLを配置可能な板状部材である。例えば、配置部40は、プロジェクター10と、コントローラー20と、センサー30と、を含む支援装置の筐体の一部である。また、配置部40の上部には、スペーサー70を挟んでセンサー30が乗せられている。配置部40の上面は、投影面であるスクリーン40aを形成している。配置部40の上面のうち、プロジェクター10が画像を投影可能な位置に、プロジェクター10からの投影画面を歪みなく高効率で表示するために例えば白色に着色された平面である、スクリーン40aが形成されている。本実施形態では、図2及び図3に示すように、配置部40は、その上面であるスクリーン40a上にプレートPLを固定するための固定ガイド50が設けられている。また、配置部40の上面には、スクリーン40aを囲うようにスペーサー70が設けられている。スペーサー70は、センサー30(特に後述するフレーム30a)をあらかじめ定められた位置に保持する保持部材である。
本実施形態では、スクリーン40aはプレートPLの底面積よりも面積が大きい。後述するように、プロジェクター10は、スクリーン40a上の固定ガイド50に固定されるプレートPLの上面が位置する部位(第1投影領域PA1)には分注作業の対象となるウェルを示す画像を投影する。一方、スクリーン40aのうち、プレートPLが配置される部位の外側の第2投影領域PA2には後述するように分注を支援する画像が表示可能である。
固定ガイド50は、複数のウェルを備えたプレートPLを固定可能な形状を有する、配置部40の上面(スクリーン40a)のあらかじめ定められた位置に固定された部材である。ここで、プレートPLは、例えば96ウェルのマイクロプレートである。しかしこれに限らず、固定ガイド50には、6ウェル〜384ウェルなど、分注作業を行うべき複数のウェルを有するプレートが設けられてもよい。あるいは、固定ガイド50を構成する部材は、複数種類のプレートに対応してスライドするなど、配置部40上で複数の位置にプレートPLを固定可能であっても良い。
センサー30は、配置部40上に配置されたプレートPLの上面近傍、及び、スクリーン40aの上方を含む後述するセンシング可能エリアSA内の物体(例えば、分注器Pの先端や指)の位置を検出可能な検出デバイスである。本実施形態では、センサー30は、投影型赤外線方式のフレーム型センサーデバイスとして構成されている。
本実施形態では、分注作業時には、図3に示すように、複数のウェルW_A1〜ウェルW_MNを備えるプレートPLが固定ガイド50に固定される。なお、m、nを自然数として、プレートPLはm行n列(例えば、8行12列)のウェルを備える。必要に応じて、各行をアルファベットA、B、C、…とアルファベットで表し、各列を1、2、3、…と数字で表す。便宜上、最終行をM、最終列をNと表す。図3の例では、1行目1列目の左上がウェルW_A1、m行n列目の右下がウェルW_MNである。複数のウェルを互いに区別しない場合には単にウェルWと呼ぶ。
センサー30(検出部)は、図3、図4A、及び、図4Bに示すように、フレーム30aと、反射テープ30cと、複数(ここでは2個)のセンシングユニット30bと、コントロール基盤30dと、を備える。フレーム30aは、スペーサー70に保持されて、配置部40の上部の所定の位置で、プレートPLが配置されるべき領域を含むスクリーン40aの上方を囲うように設けられたフレーム材である。なお、図4Bは、センサー30等を図4Aの線AAで切断して矢印方向(+x方向)から見た断面図である。例えば、プレートPLの高さが所定の高さD5(例えば、15〜25ミリメートル)であることに対応して、スペーサー70の高さが、プレートPLの高さD5と同じ又は少し(例えば1ミリメートル)大きい高さD4に設定される。フレーム30aは、スペーサー70のさらに上部に、所定の高さ(z軸方向)の幅(例えば、10ミリメートル等)をもって形成されている。反射テープ30cは、フレーム30aの内側に張り付けられた赤外線を反射可能な反射テープである。反射テープ30cは、入射した光を再び入射方向へ反射する再帰反射テープでもよい。例えば、フレーム30aの左(−x方向)側の内壁、右(+y方向)側の内壁、手前(+y方向)の内壁、の三辺に、所定の幅(例えば、7.5ミリメートル又はそれ以上)の反射テープ30cが張り付けられている。
センシングユニット30bは、フレーム30aに張り付けられた反射テープ30cに向けて赤外線を投光する投光器と、反射テープ30cに反射された赤外線を検出可能な受光器と、を備える。なお、受光器は特定の中心軸(受光軸ともいう)を中心とした領域から赤外線を検出するように構成されても良い。本実施形態では、2つのセンシングユニット30bのうち一つはフレーム30aの左奥(―X方向かつ―Y方向)の隅に、もう一方は右奥(+x方向かつ―Y方向)の隅に、それぞれ配置される。
コントロール基盤30dは、センシングユニット30bを制御する演算チップを備え、例えばUSBケーブルといった接続ケーブルを介して、コントローラー20と接続される。
センサー30は、このような構成により、図4A及び図4Bに示すようなフレーム30a内の空間に規定されるセンシング可能エリアSA内の物体の位置を検出する。センシング可能エリアSAは、プレートPLにアクセスする分注器Pの位置を特定可能な領域を含む。また、センシング可能エリアSAはスクリーン40aの第2投影領域PA2に投影された画像へ近づく物体(分注器Pや作業者の指等)の位置を特定可能な領域を含んでも良い。本実施形態では、図4Aに示すように、フレーム30aの内壁に対して所定長のマージン分だけ内側にセンシング可能エリアSA(位置検出の有効エリア)が定義される。例えば、フレーム30aの奥側(−Y方向)の内壁から長さD1(例えば、15mmメートルあるいはそれ以上)だけ、左右の内壁から長さD2(例えば、45ミリメートルあるいはそれ以上)だけ、手前の内壁から長さD3(例えば、15ミリメートルあるいはそれ以上)だけ、それぞれマージンが設けられている。
図4Bに示すように、z軸方向については、スクリーン40aの成す投影面(xy平面)と略平行な境界線を有するセンシング可能エリアSAが定義される。センシング可能エリア領域SAをz軸方向に横切る物体が、センサー30に検出される。本実施形態では、反射テープ30cがフレーム30aのz軸方向の中央部に張り付けられていると共に、二つのセンシングユニット30bの受光器の検出領域の中心軸が、反射テープ30cのz軸方向の中心の高さと一致するように設けられている。一例として、反射テープ30cが設けられた幅に対応する高さの領域が、センシング可能エリアSAのz方向の領域と一致する。他の例では、センシング可能エリアSAは、z軸方向においてこのセンシングユニット30bの受光器の検出領域の中心軸を中心に、センシングユニット30bの物理特性(例えば受光部のレンズの特性等)に応じた幅(例えば0.1〜3ミリメートル、あるいはそれ以上)に広がる。センシング可能エリアは、z軸方向において、プレートPLのウェルWにアクセスする分注器Pを検出可能となるように定められる。また、センシング可能エリアは、z軸方向において、第2投影領域PA2に表示された画像にアクセスする物体を検出可能となるように定められても良い。一例として、センシング可能エリアSAの下端の高さが、プレートPLの上面(例えば、スクリーン40aから高さ15〜23ミリメートル)と同じ高さ、あるいは、上面よりも少し(例えば数ミリ〜数センチ)上部になるようにスペーサー70(特に高さD5)やセンシングユニット30b、反射テープ30cが設置される。このため、固定ガイド50にプレートPLが固定されていたとしても、プレートPLにより物体検出のために必要な赤外線を遮られることなく、センサー30はセンシング可能エリアSA内の物体(例えば、チップを含む分注器Pの先端や作業者の指)の位置を検出できる。また、センサー30のセンシング可能エリアSAを、プレートPLの上面と接近させることが出来るので、プレートPLに分注作業を行う分注器Pの位置を正確に検出できる。
センサー30が物体を検出する場合は、まずセンシングユニット30bが反射テープ30cへ向けて赤外線を発する。例えば、センシングユニット30bの投光器は、配置された位置からフレーム30a内の領域の対角線方向(右側のセンシングユニット30bは左手前方向、左側のセンシングユニット30bは右手前方向)かつスクリーン40a(xy平面)と平行の投光軸方向を中心に赤外線を投影する。また、センシングユニット30bの受光器は投光された赤外線の反射光を受信して、反射光の強さと、反射光の角度(例えば、y軸と反射光の角度や、受光軸と反射光の角度など)と、を検出する。このとき、何らかの物体がセンシング可能エリアSAに侵入すると、赤外線光が遮られ物体の位置の方向から受光される赤外線の強さが小さくなる。赤外線の強さが小さくなる物体の影の位置(乃至角度)を2つのセンシングユニット30bがそれぞれ検出し、コントロール基盤30dが物体の位置(乃至角度)に基づき三角法を用いて物体の位置を決定する。そして、コントロール基盤30dが決定した位置情報をコントローラー20に出力する。なお、コントロール基盤30dは物体の位置情報に代えて、赤外線の強さが小さくなる角度又はセンシングユニット30bが検知した赤外線の強さ情報といった処理前の情報をコントローラー20に出力しても良い。この場合、コントローラー20が受信した処理前の情報から物体の位置情報を決定する処理を行う。
このような構成により、センサー30は、センシング可能エリアSAのうちプレートPLの上面(第1投影領域PA1)に対応する部分領域内の物体、特に複数のウェルWの開口部にアクセスした物体(分注器Pの先端等)の位置を検出可能である。また、センサー30は、センシング可能エリアSAのうち、スクリーン40aのうちプレートPLが配置される外側の領域(第2投影領域PA2)に対応する部分領域内の物体の位置を検出可能である。本実施形態では、このような構成によりスクリーン40aにタッチスクリーンとしての機能が付加される。なお、ここではセンサー30は赤外線投影方式の検出デバイスとして説明したが、これに代えて赤外線走査方式や画像解析を用いるカメラ方式といった他の検出部を用いても良い。また、D1〜D5を含むフレーム30aや反射テープ30c、スペーサー70、センシング可能エリアSAの寸法及び位置は、プレートPLの上面にアクセスする分注器Pを検出可能な範囲で、分注のための作業領域やプロジェクター10の投影領域の大きさ、プレートPLの高さ等に応じて任意に変更可能である。
分注支援システム1は、機能構成としては、図5に示すように、互いに通信可能に接続されたコンピューター60と、コントローラー20と、スピーカー110を備えるプロジェクター10と、センサー30と、を備える。コントローラー20は、インターフェース(I/F)部210と、演算装置220と、記憶装置230と、インターフェース(I/F)部240と、を備える。また、コンピューター60は、入力部610と、CPU(Central Processing Unit)620と、RAM(Random Access Memory)630と、ストレージ632と、インターフェース(I/F)部640と、表示部650と、を備える。コントローラー20のI/F部240はプロジェクター10、センサー30と通信可能に接続されている。また、コンピューター60のI/F部640と、コントローラー20のI/F部210と、は互いに通信可能に接続されている。本実施形態では、コンピューター60とコントローラー20とは、TCP(Transmission Control Protocol)/IP(Internet Protocol)プロトコルを用いて通信を行い、コンピューター60はコントローラー20のIPアドレスを管理している。なお、これに限らず、コンピューター60とコントローラー20は例えばシリアルケーブルやパラレルケーブル、USB(Universal Serial Bus)ケーブルといったデータ通信可能なラインで接続されても良い。
コンピューター60の入力部610は、例えばキーボードやマウス、タッチパネルといった入力デバイスを含み、分注作業を行う作業者や、分注作業の管理を行う管理者といったユーザーの入力を受け付ける。例えば、入力部610は、投影領域のどの位置にどのような画像を表示するかを示すレイアウトの設定、センサー30のセンシング可能エリアSAのうちどの部分領域がどのウェルWに対応するかを示すセンシングエリアの設定、及び、どのプレートPLの複数のウェルWに対してどのような順番でどのような分注操作を行うかを示す分注スケジュールの設定、等の設定入力を受け付ける。
CPU620は、コンピューター60の各部を制御することにより、ユーザー入力やコントローラー20から受信する情報に基づきプログラムを実行し、実行結果に基づく信号を出力する。例えば、CPU620は、入力部610を用いて、レイアウトの設定、分注スケジュールの設定、センシングエリアの設定、といった設定入力のための処理を行う。また、CPU620は、設定入力に基づき生成した設定情報をストレージ632に記憶すると共に、I/F部640を介してコントローラー20に出力する。また、CPU620は、コントローラー20と情報を通信し、コントローラー20がプロジェクター10に投影させている投影画像を表示部650にクローン表示させる。CPU620が行う処理の詳細については後述する。
RAM630は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)といった揮発性メモリモジュールを含む。RAM630は、CPU620がプログラムを実行するための作業用メモリ領域を提供する。
ストレージ632は、例えば、ハードディスクドライブやフラッシュメモリといった不揮発性記憶デバイスであり、後述する分注支援処理や設定入力処理のためのソフトウェアプログラムや、分注スケジュール情報を含む設定情報等を記憶する。
I/F部640は、コントローラー20といったコンピューター60の外部デバイスと通信するための機能を提供するインターフェースデバイスである。表示部650は、液晶パネルやOLED(organic light−emitting diode)パネルといった表示デバイスを備える。表示部650は、表示機能とタッチパネル機能を備えたタッチパネルであってもよい。この場合、表示部650は入力部610としての機能を兼ね備える。また、表示部650はCPU620の表示制御に基づき、ユーザーに認識可能に設定入力操作のためのユーザーインターフェース画像や分注支援のための支援画像、及び、プロジェクター10の投影画像のクローン画像、等をユーザーに視認可能に表示する。コンピューター60は、このようなハードウェア構成により、後述する分注支援のための処理をコントローラー20と共同して実行する。
コントローラー20のI/F部210は、コントローラー20が外部と通信するインターフェース機能を担うデバイスである。I/F部210は、コンピューター60のI/F部640と接続され、コントローラー20がコンピューター60と情報通信する際の入出力機能を担う。
演算装置220は、CPUやデジタルシグナルプロセッサといった演算デバイスを備え、コントローラー20の各部を制御する。演算装置220は、I/F部210が取得したコンピューター60からの情報や、I/F部240が取得した情報(例えば、センサー30の検出結果を示す情報)に基づいて、記憶装置230が記憶するプログラムを実行することで、後述する分注支援処理を実行する。
記憶装置230は、DRAMまたはSRAMといった揮発性メモリモジュール、又は、ハードディスクまたはフラッシュメモリなどの不揮発性記憶デバイス、又は、その両方といった演算装置220が利用可能な記憶デバイスを備える。記憶装置230は、このような物理構成により、後述する分注支援処理を含むコントローラー20が実行すべき処理のプログラムを記憶し、さらに演算装置220のために作業用のメモリ領域を提供する。本実施形態では、記憶装置230は、I/F部210がコンピューター60から取得したレイアウト情報、センシングエリア情報、分注スケジュール情報、分注時表示情報等を記憶する。
I/F部240は、プロジェクター10やセンサー30といった外部デバイスと接続可能であり、コントローラー20がこれら接続された外部機器と通信するデバイスである。例えば、I/F部240は、USBインターフェースや映像出力インターフェースを含む。具体的には、I/F部240は、演算装置220からの制御信号を、プロジェクター10、及び、センサー30へ出力する。また、I/F部240はセンサー30の検出情報を含む、外部機器からの情報を受信する。
プロジェクター10は、スピーカー110を備える。スピーカー110は、演算装置220がI/F部240を介して出力する音声信号に基づき音を発するスピーカーデバイスである。なお、プロジェクター10が内蔵するスピーカー110に代えて、I/F部240に外付けされたスピーカーデバイスを用いても良い。
なお、コントローラー20とコンピューター60とは、互いに必要なコマンドを送受信して、プロジェクター10が投影する画像が表示部650にクローン表示されるように制御する。また、コントローラー20は、センサー30が検出した物体の位置情報を、プロジェクター10の投影画像に対して行われたタッチ操作として受け付ける。コントローラー20とコンピューター60とは、入力部610が受け付けた操作と、プロジェクター10の投影画像へのタッチ操作と、の情報を必要に応じて共有する。具体的には、コントローラー20は、受け付けたタッチ操作の情報といった、センサー30が検出した物体の位置情報に関する情報をコンピューター60に出力する。コンピューター60は、この物体の位置情報に基づき、表示部650上のクローン表示画面において、物体の検出位置にポインタ表示を行う。また、コンピューター60はこの情報に基づきタッチ操作に基づく処理を実行する。以下、プロジェクター10が投影すると共に表示部650に表示される画像を出力画像と呼ぶ。また、入力部610又はセンサー30により受け付けた入力を単にユーザー入力と呼ぶ。ただし、分注支援システム1は、ユーザー設定等によっては、投影画像を表示部650に表示しないモードで作動しても良い。また、入力部610への入力と、センサー30が受け付けたタッチ入力とを区別しても良い。
このような物理構成により、分注支援システム1は、分注作業を支援するために、図6及び図7に示すように、分注作業の状況に応じて出力画像を表示する。例えば、コントローラー20は、分注スケジュール情報やレイアウト情報といった分注作業に関する情報と、センサー30の検出結果と、に基づいて、分注器Pが複数のウェルWのうち分注作業をすべき正しいウェルWと対応する位置で検出されたか、誤ったウェルWに対応する位置で検出されたか、を判別する。そして、コントローラー20は、検出した分注器Pの位置が正しいウェルWに対応している場合には、図6に示すように、分注位置が正しいことを示す投影画像の画像データを生成してプロジェクター10に出力する。一方、誤ったウェルWに対応している場合には、図7に示すように、分注位置が間違っていることを示す投影画像の画像データを生成し、プロジェクター10に出力する。
図6の例では、投影画像全体のうち、プレートPLの上面に対応する画像領域であるプレート領域EPとして示されている。ここで、現在の分注作業をウェルW_A1(1行1列目のウェルW)に対して行うべきであることに対応して、プレート領域EPのうちウェルW_A1に対応する位置に、ウェルW_A1を示すロケーション表示要素EW_A1が表示されている。本実施形態では、プレートPLが備える複数のウェルWのそれぞれに対応して、各ウェルの場所を示すロケーション表示要素EWが定義されている。分注前、及び正しい分注位置で分注作業中には、その分注作業をすべきウェルWを示すロケーション表示要素EW(例えば、白いスポット光でそのウェルW_A1を強調表示するなど)が表示される。
ユーザー設定により、投影画像のうち、第2投影領域PA2に対応する画像領域に、メッセージ表示要素E1、メディア表示要素E2、及び、操作ボタン表示要素E3といった一以上の表示要素Eが表示される。例えば、メッセージ表示要素E1には、分注すべきウェルWを示すテキストや、現在検出されている分注器Pが正しい分注位置にあるか否かを示すテキストといった、分注スケジュール情報及びセンサー30の検出結果に応じたテキストが表示される。また、メディア表示要素E2では、現在行うべき分注作業の内容に応じたメディア(例えば静止画や動画など)が表示される。具体的には、例えば、分注を行うべき溶液のラベルや位置などが表示され得る。さらに、操作ボタン表示要素E3には、ユーザーインターフェース画像(例えば、“作業完了”といった分注作業の対象ウェルWへの作業終了操作を行うためのボタンを含む)が表示される。操作ボタン表示要素E3への入力は、センサー30によって受け付けられる。また、プレート領域EPとは異なる、第2投影領域PA2に対応する画像領域において、表示要素E4のように分注作業の対象となるウェルWを示す画像が表示されても良い。このように、分注支援システム1は、複数種類の表示要素を含む投影画像を、プレートPLの上面(第1投影領域PA1)と、スクリーン40aのプレートPLの外側の領域(第2投影領域PA2)と、を含む投影領域に投影することで分注作業を支援する。
間違ったウェルWに分注作業を行おうとしている分注器Pを検出した場合には、例えば図7に示すように、コントローラー20は、正しい位置の分注器Pを検出した場合とは異なるエラー画像の投影画像の画像データを生成し、プロジェクター10に撮影画像を投影させる。この例では、メッセージ表示要素E1に警告文が表示される他、ロケーション表示要素EWが警告モードで表示されている。具体例としては、正しい分注対象のウェルW_A1以外のウェルWに対応するすべてのロケーション表示要素EWが、警告モード(例えば、赤といった警告色)で表示されている。このため、プレートPLを見て分注作業を行っている作業者が警告を見落とす割合が少ない。また、このときコントローラー20はスピーカー110に作業者に警告するエラー音声の音声データを出力して、このエラー音声を発音するように制御してもよい。
図6及び7のような画像を表示部650及びプロジェクター10に出力させるために、コンピューター60は図8に示すようなソフトウェアを用いる。例えば、コンピューター60は、ミドルウェア乃至アプリケーションソフトウェアとして、レイアウト設定ツールと、分注スケジュール設定ツールと、をストレージ632に記憶している。
レイアウト設定ツールは、投影画像の画像領域のうちプレートPLの上面に対応するプレート領域EPにおいて表示すべきロケーション表示要素EWと、第2投影領域PA2に対応する表示領域において表示すべき表示要素Eと、のレイアウトを設定するレイアウト設定機能を含む。レイアウト機能として、コンピューター60は、表示要素Eの種類と表示レイアウトとを設定するための入力画面を表示部650及びプロジェクター10に表示させる。ここで、例えば通常のPCで画面にウインドウを表示するレイアウトを設定する場合と同様に、入力部610がレイアウトを設定するユーザー入力を受け付ける。
予め複数種類のプレートPLに対応して複数のウェルWがどのように位置しているかの位置情報を含むレイアウト情報がストレージ632に記憶されている。ロケーション表示要素EWのレイアウトは、例えば、ユーザー入力によって選択されるプレートPLの種類に応じて対応するレイアウト情報として読み出される。プレートPLの上面に対応するプレート領域EPが固定ガイド50の設置位置によって定まるため、コンピューター60は読みだしたロケーション表示要素EWをプレート領域EPに当てはめる。
本実施形態では、レイアウト設定ツールは、確認のために一度全てのロケーション表示要素EWをプレートPLの上面に投影し、ユーザーにロケーション表示要素EWの投影位置が正しいか否かを判断できるようにする。いずれかのロケーション表示要素EWの投影位置がウェルWからずれている場合、そのロケーション表示要素EWの画像領域における位置を変更する入力をセンサー30又は入力部610により受け付ける。
レイアウト設定ツールを用いて、コンピューター60は投影画像のレイアウトを表すレイアウト情報を生成する。レイアウト情報は、図9に示すように、ロケーション表示要素EWを含む複数の表示要素Eについて、要素を特定するための固有の識別子(ID)として用いる“表示要素アドレス”と、その表示要素が複数種類の表示要素のうち何れであるかを示す“種類”と、投影画像の画像領域内のどの部分領域に表示すべきかその位置を示す“画像領域”(ここでは、表示すべき部分領域の右上端の座標が(x、y)として、左下端の座標が(x′,y′)として記載されている)と、が対応付けて記憶されている。なお、図9では、理解を容易にするため、レイアウト情報の各行が図6で図示された表示要素Eのうち何れと対応しているかを(符号)の列に示している。
レイアウト設定ツールは、ユーザー入力に基づいてこのようなレイアウト情報を生成可能なプログラムである。コンピューター60は生成したレイアウト情報をコントローラー20に出力する。コントローラー20は、受け取ったレイアウト情報を記憶装置230に記憶して、これに基づいて後述の分注支援処理を実行する。
図8に戻って、本実施形態では、レイアウト設定ツールは、プレートPLが備える複数のウェルWのそれぞれについて、センサー30のセンシング可能エリアSAのうち対応する部分領域であるセンシングエリアを設定するためのセンシングエリア設定機能を含んでいる。
コンピューター60のCPU620は、レイアウト設定ツールのセンシングエリア設定機能が呼び出されると、図10に示すようなセンシングエリア設定処理を開始する。センシングエリア設定処理では、まずコンピューター60はセンシングエリアを設定するための投影画像をプロジェクター10に表示させると共に、同じ画像を表示部650に表示させる(ステップS1002)。例えば、CPU620は、出力画像として、表示部650(及び、プロジェクター10)に「各ウェルのセンシングエリア設定を開始します」といったセンシングエリアの設定入力を求めるテキストを表示させる。
そして、CPU620は次にセンシングエリアの設定を行う対象ウェルWを選択する(ステップS1004)。例えば最初に先頭のウェルW_A1が選択され、以下ウェルW_A2、…、ウェルW_AM、ウェルW_B1、ウェルW_B2、…、ウェルW_MN、といったように、配置順にウェルWが選択される。そして、選択されたウェルWに対応するロケーション表示要素EWをプロジェクター10に投影させると共に表示部650に表示させ、何れのウェルWが選択されたかを作業者に示す。併せて、「ウェルW_A1のセンシングエリアを設定します」、といったように選択されたウェルWについてセンシングエリア設定を行う旨の文章が表示される。
次に、CPU620は選択されたウェルWのセンシングエリアを設定する処理を実行する(ステップS1006)。例えば、図11に示すように、ウェルW_A1のセンシングエリアを左上の点(X_A1,Y_A1)と右下の点(X′_A1、Y′_A1)の2点で示す場合には、この2点を示すタッチ操作を、センサー30が受け付ける。例えば、CPU620は出力画像に「A−1のウェルの左上の点を分注器で2秒間示してください」と表示して、作業者にプレートPLの上面のウェルW_A1の左上の点に物体(例えば分注器Pの先端)を所定時間だけ差し入れるように促す。そして、作業者によって物体が差し入れられると、コントローラー20が、センサー30が検出した物体の位置を取得し、コンピューター60に伝達する。伝達された情報に基づき、CPU620が所定時間実質的に同じ位置に物体を検出したと判別すると、その位置をセンシングエリアの左上の境界であると決定する。その後、コントローラー20は共同して右下の点についても同様に位置を指示する入力を受け付け、コンピューター60が右下の位置を決定する。なお、ユーザー設定によっては、CPU620はセンサー30に代えて入力部610を用いてウェルWのセンシングエリア設定入力を受け付けても良い。
次に、CPU620はステップS1006で受け付けた設定入力に基づき、センシングエリア情報を更新する。図12に示すように、センシングエリア情報として、各ウェルWに対応して与えられるセンシングエリアアドレス(ID)と、センシングエリアを定義する情報(例えば、左上の点の座標、右下の点の座標)と、をRAM630に一時記憶する。一例として、ウェルWのロケーション表示要素EWのアドレスが000xであった場合に、センシングエリアのアドレスが100xというように、各ウェルWのセンシングエリアとロケーション表示要素EWの表示要素アドレスと、を互いに対応する値に設定する。
各ウェルWに対応するセンシングエリアは、センサー30のセンシング可能エリアSAの部分領域であり、物体(例えば分注器P)がその範囲で検出された場合にそのウェルWへ分注作業が行われていると判別される領域である。なお、図12のセンシングエリア情報に限らず、各ウェルのセンシングエリアの領域を参照可能な他の形式の情報が利用可能である。
対象のウェルWに対応したセンシングエリアについてセンシングエリア情報を更新した後、CPU620は、プレートPLが備えるすべてのウェルWについてセンシングエリア設定が終了したか判別する(ステップS1010)。いまだ設定されていないウェルWがある場合には(ステップS1010;NO)、ステップS1004に戻って、そのウェルを選択する。すべてのウェルWについて設定が終わっている場合には(ステップS1010;YES)、CPU620は生成したセンシングエリア情報をコントローラー20へ送信する(ステップS1012)。この場合、コントローラー20は受信したセンシングエリア情報を記憶装置230に記憶する。そして、センシングエリア設定情報は終了する。このようにして、コンピューター60はセンサー30が検出した物体の位置に基づいてセンシングエリア情報を生成する。
図8に戻って、分注スケジュール設定ツールは、複数のウェルWに対してどの順でどのような分注作業を行うか、を設定する機能を担う。分注スケジュール設定ツールは、分注作業の順番及び各分注作業の終了条件を対応付けて記憶する分注スケジュール情報を設定する分注スケジュール設定機能を備える。また、分注スケジュール設定ツールは、それぞれのウェルWへの分注作業中に各表示要素Eにどのような内容を表示させるかを記憶する分注時表示情報(支援情報)を設定する分注時表示設定機能を備える。
本実施形態では、分注スケジュール情報は、図13に示すように、複数のウェルWに対応して、各作業の順番と、分注作業の対象ウェルWのロケーション表示要素EWのアドレス(例えば”表示要素アドレス”)と、対象ウェルWのセンシングエリアのアドレス(例えば“センシングエリアアドレス”)と、各ウェルへの分注作業が終了したと判別する条件(“終了条件”)と、が複数セット対応付けられて記憶される。例えば、“終了条件”として、対象ウェルWにおいて1度検出した物体(分注器Pの先端)が検出されなくなったこと(1度分注作業が行われたことに対応)、n度この検出と非検出とを繰り返したこと(n度分注作業が行われたことに対応)、分注終了操作を受け付けたこと、といった複数の終了条件の何れかが各分注作業に対応付けて記憶されている。
また、分注時表示情報は、図14に示すように、分注スケジュール情報に登録された各作業順序の分注作業(例えば“作業順序”)に対して、作業時に表示すべき表示要素Eを示す情報(例えば“要素1”、“要素2”、…)及びその表示要素Eに表示すべき内容(例えば、“表示内容1”、“表示内容2”、…)と、が1セット以上対応付けて記憶される。例えば、表示内容として、各ウェルへの分注作業に対応して、分注位置を示す内容や分注すべき溶液を示す内容といった、分注を支援する表示内容が記憶される。コンピューター60は、分注スケジュール設定ツールを起動したユーザーの設定入力に基づき分注スケジュール情報と分注時表示情報とを生成し、ストレージ632に記憶すると共に、コントローラー20に出力する。コントローラー20は受信した分注スケジュール情報と分注時表示情報とを記憶装置230に記憶する。
なお、どのウェルWにどの順番で分注作業を行い、各タイミングでどのような内容を表示するか、を特定可能であれば、図13及び図14とは異なる形態の情報を採用しても良い。
コントローラー20は、コンピューター60から受信した設定情報を用いて、図15の分注支援処理を実行する。コントローラー20は、例えば作業者が分注処理を開始する旨の入力を行ったときに、図15の処理を開始する。
分注支援処理では、まず演算装置220が、レイアウト情報、センシングエリア情報、分注スケジュール情報、といった分注作業に関する情報を取得する(ステップS2002)。例えば、演算装置220は、記憶装置230が記憶するレイアウト情報、センシングエリア情報、及び、分注スケジュール情報を読み出す。あるいは、レイアウト情報、センシングエリア情報、及び/又は、分注スケジュール情報をコンピューター60のストレージ632に記憶する構成を採用した場合には、演算装置220はステップS2002で、あるいは各分注作業の実行時に、コンピューター60からI/F部210を介してこれらの情報を取得してもよい。
そして、演算装置220は、現在行うべき分注作業の対象となるウェルの情報を取得し、分注対象の対象となる対象ウェルWのセンシングエリアと、ロケーション表示要素EWの投影位置を取得する(ステップS2005)。例えば、演算装置220は、ステップS2002で取得した分注スケジュール情報の各行に記憶されている分注作業の情報を、“作業順序”の順でステップS2005を一度実行するたびに一つ抽出する。そして、抽出した行の“表示要素アドレス”に対応するロケーション表示要素EWの画像領域を、レイアウト情報から抽出する。さらに、抽出した行の“センシングエリアアドレス”が示すセンシングエリアを、センシングエリア情報から抽出する。このようにして、演算装置220はプレートPLが備える複数のウェルWのうち、分注対象となるウェルWを決定する。また、このウェルWに対応するセンシングエリア、及び、このウェルWを示すロケーション表示要素を表示する投影領域内の画像領域を示す情報を取得する。
次に演算装置220は、分注位置を示すロケーション表示要素EWを含む画像の投影をプロジェクター10に開始させ、投影画像においてウェルWの位置と表示内容に応じた情報を表示させる(ステップS2008)。言い換えると、演算装置220は、分注作業の対象ウェルWを示すロケーション表示要素EWと、対象ウェルWに応じた情報が表示された表示要素Eと、を含む投影画像をプロジェクター10に投影させる。
例えば、演算装置220は、分注時表示情報からステップS2005で抽出した分注作業の情報の“作業順序”に対応する行を抽出する。そして、抽出した行に含まれるこの分注作業中に表示すべき表示要素Eを示す情報(例えば、“要素1”、“要素2”、…)と、各表示要素に表示すべき内容を示す情報(例えば、“表示内容1”、“表示内容2”、…)とを取得する。そして、プレートPLの上面のうちステップS2005で取得した対象ウェルWの位置にロケーション表示要素EWが含まれ、かつ抽出した内容の情報が各表示要素Eに含まれる投影画像の画像データを生成する。そして、演算装置220はI/F部240を介して、生成した投影画像のデータをプロジェクター10に出力して、この投影画像をプロジェクター10が投影するように制御する。
ステップS2008の処理により、プレートPLの上面のうち対象ウェルWの位置に、この対象ウェルWを示す画像が作業者に認識可能に投影される。また、例えば対象ウェルWの名称を含むテキストや、分注位置を示すマーク、分注すべき溶液を示す情報(例えば溶液の名称と容量、ラベル画像)といった、分注を支援する情報がスクリーン40aのプレートPLの外側に作業者に認識可能に表示される。さらに、必要に応じて、分注作業の終了操作を行うためのユーザーインターフェースが表示される。また、この投影画像に含まれる表示内容を示す情報(例えば、各表示要素Eのアドレスおよび表示内容を示す情報)をコンピューター60に出力する。コンピューター60は、この情報に基づいて、投影画像を表示部650にクローン表示する。
次に演算装置220は、センサー30が分注器Pを検出したか否か判別する(ステップS2010)。例えば、演算装置220は、プレートPLの上面に対応する領域を含むセンシング可能エリアSAにおいて物体(例えば分注器P)を継続的に検出することを指示するコマンドをセンサー30に出力する。そして、センサー30が検出した物体の位置情報をI/F部240を介して取得する。そして、演算装置220は、ステップS2002で取得したセンシングエリア情報の“センシングエリア”が示す、プレートPLの複数のウェルWの何れかに対応するセンシングエリア内においてセンサー30が物体を検出した場合に、プレートPLに分注操作を行う分注器Pを検出したと判別する(ステップS2010;YES)。この場合、演算装置220はステップS2012を実行する。一方、何れかのウェルWのセンシングエリア内に物体を検出しない場合には、演算装置220はNOと判別して、検出するまでステップS2010を繰り返す。なお、ステップS2010では、演算装置220はプレートPLの上面に対応する位置に物体を検出したときに、プレートPLに分注処理を行うためにアクセスする分注器Pを検出したと判別しても良い。
そして、演算装置220は、ステップS2010で検出した物体が正しい分注位置にあるか否か判別する(ステップS2012)。例えば、演算装置220は、ステップS2010で検出した物体が、ステップS2005で取得した分注対象のウェルWのセンシングエリア内に位置するか否か判別する。そして、このセンシングエリア内に位置する場合には、演算装置220はYESと判別して、ステップS2016を実行する。一方、例えば他のウェルWのセンシングエリア内であった場合には、誤ったウェルWへの分注操作が行われようとしていると考えられるため、演算装置220はNOと判別し、ステップS2014に移行する。
ステップS2012でNOと判別した場合には、コントローラー20は、設定によってあらかじめ定められたエラー音及びエラー表示に対応するデータを出力する(ステップS2014)。例えば、演算装置220が、作業者への警告を含むエラー音の音声情報(エラー音声データ)をI/F部240を介してスピーカー110に出力して、エラー音声を発生させる。また、例えば演算装置220が対象のウェルW以外のすべてのロケーション表示要素EWを警告色で表示すると共に、警告テキストをメッセージ表示要素E1に表示するエラー画像の画像データ(エラー画像データ)を生成して、この投影画像データをプロジェクター10へ出力する。このとき、演算装置220はセンサー30が分注器Pを検出しなくなるまでエラー画像を投影し続けてるように、エラー画像データをプロジェクター10へ出力し続ける。あるいは、分注器Pの検出位置が正しい位置で検出されるまでエラー画像データを出力し続けてもよい。その後、演算装置220は処理をステップS2010に戻す。このときステップS2008で生成した投影画像の画像データをプロジェクター10へ出力して正しい作業対象のウェルWへ分注作業を行うことを作業者に促す投影画像を出力する。なお、エラー画像データ、エラー音声データ、又はその両方を、警告信号ともいう。
一方、ステップS2012でYESと判別した場合には、演算装置220は現在行っている分注作業が終了したか否か判別する(ステップS2016)。例えば、演算装置220は、分注スケジュール情報のうちステップS2005で抽出した現在の分注作業に対応する行に含まれる分注作業の終了条件を示す情報(例えば、“終了条件”)に示された条件に基づいて分注作業が終了したか否か判別する。一例として、“終了条件”が分注器の検出終了を示している場合、ステップS2010で検出した物体がセンサー30により検出されなくなったときに、分注器Pによる現在の分注作業が終了したと判別する(ステップS2016;YES)。このとき、演算装置220はステップS2018に移行する。一方、物体が検出され続けているときには、ステップS2016でNOと判別し、ステップS2010に戻って現在の検出作業を繰り返す。
なお、“終了条件”に終了入力の受付が示されている場合には、ステップS2016において、演算装置220は、センサー30が分注作業終了を示すタッチ入力を受け付けたか否かに応じて分注作業の終了判定を行う。この場合、例えば操作ボタン表示要素E3に分注作業終了のインターフェース画像を表示し、センサー30がこのインターフェース画像の位置に物体(例えば指や分注器Pの先端)を検出したことに基づいて、ステップS2016でYESと判別する。あるいは、入力部610が受け付けた分注作業の終了操作に基づいて判別しても良い。また、分注器Pの先端にチップを装着する場合、“チップ廃棄時”を終了条件として記憶し、例えばこのチップを廃棄する容器等にセンサーを設けるなどして、チップの脱着を検出した場合に分注作業が終了したと判別しても良い。あるいは、n回分注処理を行ったことが終了条件である場合、対象のウェルWにアクセスする分注器Pをn回検出したことに基づいて分注作業の終了を決定しても良い。このように、本実施形態では分注作業の終了の判定基準を複数設定可能であり、複数の判定基準のうち何れで分注作業の終了判別を行うかを選択可能にしている。
本実施形態では、ステップS2010〜ステップS2012において、プレートPL外の領域で分注器P等の物体を検出した場合には、演算装置220はこれをロケーション表示要素EW以外の表示要素Eへのタッチ操作として認識する。あるいは、プレートPL外の領域で物体を検出した場合でも演算装置220がステップS2014でエラー情報を出力するように設定されても良い。
ステップS2016でYESと判別した場合、演算装置220は、ステップS2018において終了した分注作業が最後の分注作業であるか否か判別する。例えば、演算装置220は、ステップS2002で取得した分注スケジュール情報に、今まで実行していた作業の次の作業が登録されているか否か判別し、次の作業が登録されている場合には未実行の分注作業があると判別する(ステップS2018;NO)。このときには、演算装置220は、ステップS2005に戻り、分注スケジュール情報に登録された次のウェルWを分注作業の対象ウェルWとして決定して、この次の作業についてステップS2005〜ステップS2018の処理を繰り返す。
一方、ステップS2016で終了したと認定した作業が、分注スケジュール情報に登録された最後のウェルWへの分注作業である場合には、演算装置220はステップS2018でYESと判別して、分注支援処理を終了する。
以上説明したように、分注支援システム1は、分注を支援する画像をプレートPLの上面に表示する。この結果、作業者は手元から目線を移動することなく分注を支援する画像を確認できるため、ウェルWが多数あったとしてもミスが減少する。
また、プロジェクター10によりプレートPLの上方から画像を投影するため、固定された光源等の位置に制限されず、分注支援システム1は複数種類のプレートPLに対応して分注作業を支援する画像を投影できる。例えばプレートPLの下から光を投影する場合、プレートPLによって光が拡散して作業者が確認しづらくなる恐れがある。また、溶液に色がついている場合には光が見えなくなる場合もある。分注支援システム1では、このような制限なく柔軟に支援画像を投影できるため、分注作業を支援するにあたって作業者の利便性が高い。
また、分注支援システム1は、分注作業の対象となるウェルWを示す投影画像を第1投影領域PA1に投影する。
このため、分注支援システム1は分注作業の対象となるウェルWを示すことが出来るため、作業者が対象のウェルWを間違える割合を低減することが出来る。
特に、分注支援システム1は分注作業の対象となるウェルWを示すロケーション表示要素WEが当該ウェルWの位置に表示される投影画像をプレートPLの上面に投影する。このため、分注作業対象のウェルWを直接その位置において示すことができるため、作業者が対象のウェルWをさらに容易に確認できる。
また、分注支援システム1はプレートPLの上面に対応する領域を含むセンシング可能エリアSA内の物体(例えば分注器P)の位置を検出可能なセンサー30を備えており、検出した物体の位置が分注作業を行うべきウェルWとは異なるウェルWに対応すると判別したときに、警告信号を出力する。
このため、作業者が設定された分注作業を行うべきウェルWと異なるウェルWに分注作業を行う割合を低減することが出来る。
分注支援システム1は、検出した物体の位置が分注作業を行うべきウェルWに対応すると判別した後にこの物体が検出されなくなったことに基づいて、分注作業を行うべきウェルを次のウェルWに移行する。このため、作業者は煩わしい操作の必要なく複数のウェルへの分注作業を的確に実行できる。
分注支援システム1は、センサー30を用いて、センシング可能エリアSAにプレートPLが備える複数のウェルWの何れかに対応するセンシングエリアを設定する操作を受け付ける。このため、作業者は実際のプレートPLに合わせて正確にセンシングエリアの設定をすることが出来る。
プロジェクター10は、プレートPLの上面(第1投影領域PA1)と、プレートPLの上面とは異なる領域(第2投影領域PA2)と、に投影画像を投影可能に設けられている。分注支援システム1は、分注作業を行うべきウェルWへの分注作業を支援する画像を第2投影領域PA2に投影させる。このため、分注支援システム1はプレートPLの上面に投影可能な量に限定されず分注を支援する情報を投影でき、作業者は目線を大きく動かすことなくこれらの支援情報を視認できる。
分注支援システム1は、第2投影領域PA2に対応する領域を含むセンシング可能エリアSA内の物体の位置を検出可能なセンサー30を更に備え、第2投影領域PA2においてユーザーインターフェース画像を有する操作ボタン要素等を投影させると共に、センサー30を用いてこのユーザーインターフェースへの入力を受け付ける。この結果、分注器Pや指等を用いてスクリーン40a上で分注支援に必要な操作を行えるため、作業者の利便性が高い。
例えば、第2投影領域PA2に分注作業を行うべきウェルWへの分注作業の終了入力のためのユーザーインターフェース画像を投影させると共に、このユーザーインターフェース画面への入力に基づいて、分注作業を行うべきウェルWを次のウェルWに移行する。このため、作業者はスクリーン40a上で次の分注作業への移行操作を行えるため、表示部650や入力部610へ目線を動かす必要性が少ない。また、分注器PをプレートPLから離すといった動作によって自動的に次の作業へ移行するよりも作業の柔軟性が高い。
配置部40は、プレートPLをスクリーン40a上の予め定められた位置に固定可能な固定ガイド50を備える。このため、プレートPLの位置を正確に定めることが出来、設定のための操作が簡便になる。
(変形例)
以上、本発明の実施形態について説明したが、これに限らず、様々な変形が可能である。例えば、上記実施形態では、分注支援システム1は、画像の投影に超短焦点プロジェクターであるプロジェクター10を使用している。しかし、これに限らず非短焦点プロジェクター(例えば、投影距離が数メートル程度のもの)も採用可能である。この場合、分注支援システム2は、例えば図16に示すように、投影レンズ11aを有する非短焦点のプロジェクター11と、プロジェクター11を支持する固定アーム12と、を備える。その他の構成は分注支援システム1と同様である。この例では、画像を歪まずに投影可能な位置になるように、固定アーム12によって投影レンズ11aがプレートPLの真上付近となる位置にプロジェクター11が支持される。これにより、プロジェクターの種類を超短焦点プロジェクターに限らず分注支援システムを構築できる。
また、上述の実施形態では、プロジェクター10等を制御するコントローラー20と、各種設定情報等を生成乃至更新するためのコンピューター60とが別装置として説明された。しかし、これに限らず、コンピューター60とコントローラー20の機能を一つの装置(制御部)が担っても良い。例えば、スタンドアローンで機能することを重視した場合、プロジェクター10を備えた分注支援装置に付属する専用のコントローラーデバイスが、コンピューター60とコントローラー20の機能を備えても良い。あるいは、汎用性の観点から、コンピューター60とコントローラー20の両方の機能を(例えばソフトウェア的に)実現した汎用PCが分注支援装置を制御してもよい。また、上述の実施形態でコントローラー20が行った処理の一部をコンピューター60が行っても良い。逆に、実施形態でコンピューター60が行った処理をコントローラー20が行っても良い。
さらに、上述の実施形態では、1台のコンピューター60が1台のコントローラー20を含む装置を制御していた。これに限らず、1台のコンピューター60が複数台のコントローラー20を含む装置を制御する構成を採用しても良い。この場合、分注支援システム3では、例えば図17に示すように、1台のコンピューター60に複数台のコントローラー20がTCP/IPのバス62を介して接続される。
このコンピューター60は、例えば図18に示すように、レイアウト設定ツールと、分注スケジュール設定ツールに加えて、コントローラー設定ツールを含むアプリケーションソフトを記憶する。このコントローラー設定ツールは、コンピューター60がコントローラー20を管理するための情報を設定するためのツールである。例えば、IPアドレス設定機能により、IPアドレスを用いて各コントローラー20を識別する。また、各コントローラー20の電源をコントローラー電源制御機能で制御する。そして、各コントローラー20のIPに対応付けて、レイアウト情報、センシングエリア情報、分注スケジュール情報等を生成してストレージ632に記憶すればよい。このように、コントローラー設定ツールは、コントローラー20の電源のON/OFFを切り替えるコントローラー電源機能や、複数のコントローラーPCのIPアドレスを登録してコントローラー20をTCP/IPを介して制御するための機能を含む。
また、上記投影対象となるプレートは、マルチウェルのマイクロプレートに限らない。例えば、分注作業を行うべき複数の容器を備え、上面に画像を投影可能なプレートであれば、例えばPCRチューブを挿入されたPCRプレートや、マイクロチューブを挿入されたチューブラック等にも利用可能である。
また、上記実施形態では、分注作業の対象の容器が一つのプレートPLである場合を例にとって説明した。しかし、分注支援システムは、分注作業の対象の容器が複数領域に配置される場合でも対応可能である。例えば、図19に示すように、分注作業を行うべきプレートPLに加えて、他のマイクロプレートや1以上の他の容器(例えばチューブT)への分注作業(例えば、ストックされている溶液を吸い出す等)を支援しても良い。図19の例では、配置部40は、上面部に、プレートPLに加えチューブTが置かれたラックRを配置可能なスクリーン40aが形成されている。また、スクリーン40aにはラックRを固定可能な固定ガイド52が設けられている。言い換えれば、チューブTは、固定ガイド52に固定されるラックRを介して、配置部40の所定位置に固定される。なお、チューブTは溶液をストック可能な容器であれば、例えば0.2〜2ミリリットルのマイクロチューブでもよく、15〜50ミリリットルの遠心管であってもよい。また、ラックRは、開口部を上側にして安定的にチューブTを縦置きできる部材であればよい。この場合、プレートPLの上面(第1投影領域PA1)に加え、他の分注作業の対象となる容器が配置される領域(第3投影領域PA3)にも、分注対象の容器を示す画像(ロケーション表示要素)が表示される。
この変形例では、プレートPLのウェルWと同様に、レイアウト情報やセンシングエリア情報、分注スケジュール情報を含む、チューブTへの分注作業に関する情報が定義される。具体的には、レイアウト情報が複数のウェルWに加え1以上のチューブTに対して画像を投影する位置の情報を含むように、各チューブTの位置に対応する画像領域が定義されたロケーション表示要素がレイアウト設定ツールを用いて設定される。分注スケジュール情報についても、ウェルWに加え1以上のチューブTのうち分注作業を行うべきウェルW又はチューブTを特定する情報となるように、各チューブTに分注作業を行うべき順序と内容に応じて、分注スケジュール設定ツールを用いてユーザーがチューブTに対応する作業の情報を登録する。例えば、あるウェルWに注入すべき溶液がチューブTにストックされていることに対応して、分注スケジュール情報において、このチューブTへの分注作業の情報の次にウェルWへの分注作業の情報を登録される。分注時表示情報についても、ウェルWに加えチューブTへの分注作業中に各表示要素Eにどのような内容を表示させるかを含む情報になるように、スケジュール設定ツールを用いて、ユーザーが各チューブTへの分注内容に応じた表示内容を設定される。また、チューブTについても分注位置が正しいか否かを判別して異なる場合には警告信号を出力する場合には、センシングエリア情報として、ウェルWに加えチューブTに対応付けられたセンシングエリアを含む情報になるように、図10のセンシングエリア設定処理でチューブTに対応するセンシングエリアが設定される。
そして、このように設定されたレイアウト情報及び分注スケジュール情報、センシングエリア情報、及び、分注時表示情報を用いて、分注支援処理を図15と同様に実行する。これにより、プレートPLに加えて、分注スケジュール情報が示すチューブTへの分注作業を行うべきときに、チューブTへの分注作業に応じた分注を支援する画像を表示要素Eに表示することが出来る。また、必要な場合は、コントローラー20は、分注器Pが作業対象のチューブTとは異なる位置(例えば他のチューブTやウェルW)の位置で検出された場合に、警告信号を出力する。なお、この変形例の分注支援システムは、例えばウェルWについては検出した物体の位置に基づき警告信号を出力するが、チューブTについては行わない、という構成を採用可能である。例えば、記憶装置230が、ユーザーの設定入力に基づいて、分注スケジュール情報の対応する“作業順序”の行において、“センシングエリアアドレス”にNULLを記憶するといったように、分注を行う物体の位置検出を行わないことを示す情報を記憶する。そして、図15のステップS2005で取得した対象ウェルの作業において、演算装置220は、物体の位置検出を行わないことを示す情報が取得された場合には、ステップS2010〜ステップS2014をスキップする。このような構成によれば、分注すべき対象のウェルWやチューブTを示す画像を表示しつつ、作業者に不要な警告を発することがないため、分注作業を支援するにあたって作業者の利便性が高い。
なお、図19の例では、チューブTやラックRによってセンシング可能エリアSAが遮られず、かつ、必要な場合にはチューブTにアクセスする物体(分注器Pの先端のチップ等)を検出可能な位置に、センサー30のセンシング可能エリアSAが定義されるように、センサー30及びスペーサー70が設けられる。例えば、センシング可能エリアSAの上下方向(z軸方向)の下端が、チューブTの上面と同じ又は少し高い位置となり、xy平面上では、チューブTが位置する領域に対応する領域を含むように、センサー30及びスペーサー70が設置される。また、プロジェクター10は、第3投影領域PA3において、固定ガイド52に固定されたラックRに収納された作業対象のチューブTの上面に画像を投影可能な位置に固定される。
また、上述の実施形態では、プレートPL(チューブTといった他の容器を含む、以下同じ)を固定可能な固定部として、固定ガイド50(あるいは固定ガイド52)を用いた。しかしこれに限らず、図20A及び図20Bに示すように、固定部51を用いてプレートPLを固定してもよい。なお、図20Bは、図20Aの線BBで切断して矢印方向(−Y方向)から見た断面図である。固定部51は、例えば、スペーサー71及びフレーム30aに囲まれる直方体状の領域にはめ込み可能な、直方体様の形状を有する部材である。また、固定部51には、プレートPLをはめ込み可能な形状の貫通穴部(又は凹部)が形成されている。この固定部51を配置部40の上であってスペーサー71が囲む領域に配置することで、プレートPLをこの貫通穴部に固定可能である。さらに、固定部51は、プレートPLを固定する貫通穴部以外の上面に、第2投影領域PA2に対応する投影面としてスクリーン51aが形成されている。
図20A及び図20Bの例では、固定部51の挿入時や取り出し時等にセンサー30に接触しないように、スペーサー71がフレーム30aの内壁よりも所定長(例えば10ミリメートル等)内側に張り出すように設けられている。固定部51は、このスペーサー71の内寸に対して縦横にマージン分(例えば、縦横各3ミリメートル)だけ小さい外寸を有する。なお、これに限らず、固定部51を用いる場合でもスペーサーの内壁をフレーム30aと同じ位置に合わせても良い。
固定部51は、プレートPLを固定するために、内寸がプレートPLの外寸(例えば、横方向に)に対してマージン(例えば、縦横各1ミリメートル)分だけ大きい貫通穴部を有する。本実施形態では、配置部40に設置したときに、固定部51は、スクリーン51aがプレートPLの上面と高さD5と略同じ又は少し高くなるように設けられている。このため、固定部51を利用する構成によれば、分注対象のウェルWを示す画像が投影されるプレートPLの上面(第1投影領域PA1に対応)と、分注作業を支援する他の画像が投影される領域(第2投影領域PA2に対応)と、の高さを略同一又は接近させることができる。これにより、センサー30のセンシング可能エリアSAとスクリーン51a間のギャップを小さく出来るので、第2投影領域PA2に表示された画像に接近する物体の位置を正確に検出できる。なお、固定部51はスペーサー70等の上から挿入する構成に加え、横からスライドして配置する構成を採用しても良い。
あるいは、例えば配置部40にプレートPLと対応する大きさの陥凹部を設け、ここにプレートを挿入することでプレートPLを固定する構成を採用してもよい。
さらに、プレートPLを何らかの固定手段で固定する代わりに、配置部40の上にプレートPLを固定せずに配置する構成も可能である。この場合、例えばセンサー30のフレーム30aに囲まれたスクリーン40a上に作業者が自由にプレートを配置する。この変形例の分注支援システムは、カメラを用いた画像認識によりプレートPL及び各ウェルWの位置を検出し、レイアウト情報を生成すればよい。あるいは、分注支援システムは、この自動認識に変えて、あるいはこれに加えて、プレートPLの各ウェルWへの投影位置を分注器Pの先端によって設定操作を行って、レイアウト情報を生成すればよい。又は、制御コンピューターが備える入力部によりレイアウト情報の設定入力を行っても良い。このような構成によれば、固定ガイドの仕様によらずプレートPLの種別を自由に選択できる。また、作業者が自由にプレートPLを配置できる、柔軟な分注支援を行うことが出来る。
上記実施形態で説明したコントローラー20やコンピューター60が実行する処理や設定情報は一例であって、同様の機能を実現できる他の処理や設定情報で代替可能である。例えば、センシングエリア情報は図10のセンシングエリア設定処理によらず、複数種類のプレートに対応してあらかじめストレージ632に記憶されていた複数のセンシングエリア情報から、ユーザー設定に基づいて必要なセンシングエリア情報を選択して読みだしても良い。あるいは、レイアウト情報についても、図10のセンシングエリア設定処理と同様にユーザー入力によって各ウェルWに対応するロケーション表示要素EWの表示範囲を設定しても良い。さらに、分注スケジュール情報において作業対象となる複数のウェルWについて記憶されていれば、レイアウト情報及びセンシングエリア情報はプレートPLが備えるすべてのウェルWについてロケーション表示要素EWの情報及びセンシングエリアの情報が登録されていなくてもよい。
上述した実施形態の各処理のステップを入れ替える、あるいはステップとステップの間に他のステップを挿入する、他のステップで代替する、といった変形も可能である。例えば、上述の実施形態では、分注スケジュール情報にはウェル単位で作業内容を記憶していた。しかし、分注スケジュール情報には1回の分注作業単位で作業内容を記憶しても良い。この場合、連続して同じウェルWに分注作業を行うときは、分注スケジュールのウェルを示す情報(例えば“表示要素アドレス”及び“センシングエリアアドレス”)として連続して同じウェルWに対応する情報を登録する。そして、作業終了の判定を行ったとき(図15のステップS2016;YES)、次の作業に直前の作業と同じウェルWが作業対象として登録されているか否かを判別する。同じウェルWが登録されている場合、次のステップS2005において同じウェルWが分注作業の対象ウェルWとして決定される。一方、次の作業において異なるウェルWが登録されている場合には、次のステップS2005において新たなウェルWを分注作業の対象ウェルWとして決定される。
また、第2投影領域PA2に分注を支援するための情報を表示するための支援情報として、分注時表示情報を使用した。これに限らず、例えば、記憶装置230に分注スケジュール情報に、各作業時に表示すべきテキストデータやメディアデータを対応付けて記憶し、分注支援システムがこのデータを支援情報として用いても良い。
また、上述したコントローラー20やコンピューター60が実行するプログラム及び必要な情報は、光学ディスクやハードディスクドライブ、フラッシュメモリデバイスといったコンピューター読み取り可能な不揮発性記憶媒体に記憶して配布されても良い。あるいは、これらのプログラムデータが、インターネットを介して配布されてもよい。
1 分注支援システム
2 分注支援システム
3 分注支援システム
10 プロジェクター
110 スピーカー
10a 投影レンズ
11 プロジェクター
11a 投影レンズ
12 固定アーム
20 コントローラー
210 I/F部
220 演算装置
230 記憶装置
240 I/F部
30 センサー
30a フレーム
30b センシングユニット
30c 反射テープ
30d コントロール基盤
40 配置部
40a スクリーン
50 固定ガイド
51 固定部
51a スクリーン
52 固定ガイド
60 コンピューター
62 バス
610 入力部
620 CPU
630 RAM
632 ストレージ
640 I/F部
70 スペーサー
71 スペーサー
PA1 第1投影領域
PA2 第2投影領域
PA3 第3投影領域
PL プレート
P 分注器
W、W_A1、WM1、W_AN、W_MN ウェル
EP プレート領域
EW_A1 ロケーション表示要素
E1 メッセージ表示要素
E2 メディア表示要素
E3 操作ボタン表示要素
E4 表示要素
SA センシング可能エリア
R ラック
T チューブ

Claims (8)

  1. 複数のウェルを備えるプレートを配置可能な配置部と、
    分注作業に関する情報に基づき画像データを生成する制御部と、
    前記プレートの上面を含む投影領域に前記画像データに基づく画像を投影する、前記プレートの上方に設けられたプロジェクターであり、前記投影領域が前記配置部に配置される前記プレートの上面に対応する第1投影領域と、前記プレートの上面とは異なる第2投影領域と、を含むプロジェクターと、
    前記第2投影領域に対応する領域を含むセンシング可能エリア内の物体の位置を検出可能な検出部と、
    を備え
    前記制御部は、
    前記プレートが備える前記複数のウェルに対して画像を投影する位置の情報を含むレイアウト情報と、前記複数のウェルのうち分注作業を行うべきウェルを特定する情報を含むスケジュール情報と、を取得し、
    前記スケジュール情報と前記レイアウト情報とに基づき、分注作業を行うべき前記ウェルを示す前記画像データを生成し、
    分注作業を行うべき前記ウェルに対する分注作業を支援する情報を含む支援情報を更に取得し、
    前記支援情報に基づいて、分注作業を行うべき前記ウェルへの分注作業を支援する要素が前記第2投影領域に表示される前記画像データを生成し、
    前記プロジェクターに、前記第2投影領域においてユーザーインターフェース画像を投影させると共に、前記検出部を用いて前記ユーザーインターフェース画像への入力を受け付ける、
    分注支援システム。
  2. 前記制御部は、前記分注作業の対象となる前記ウェルを示す要素が当該ウェルの位置に表示される画像データを生成する、
    請求項に記載の分注支援システム。
  3. 前記検出部は、更に、前記プレートにアクセスする物体の位置を検出可能に構成され
    前記制御部は、
    前記プレートが備える前記複数のウェルと、前記検出部が物体を検出可能なセンシング可能エリアの部分領域と、をそれぞれ対応付けた情報を含むセンシングエリア情報を更に取得し、
    前記検出部が前記物体を検出したとき、前記センシングエリア情報と前記スケジュール情報とに基づき、検出した前記物体の位置が分注作業を行うべき前記ウェルに対応するか、異なるウェルに対応するかを判別し、
    検出した前記物体の位置が異なる前記ウェルに対応すると判別したときに、警告信号を出力する、
    請求項又はに記載の分注支援システム。
  4. 前記制御部は、検出した前記物体の位置が分注作業を行うべき前記ウェルに対応すると判別した後に当該物体が検出されなくなったことに基づいて、このウェルに対する分注作業が終了したと決定し、分注対象を行うべき前記ウェルを次のウェルに移行する、
    請求項に記載の分注支援システム。
  5. 前記制御部は、前記検出部を用いて、前記検出部が物体を検出可能なセンシング可能エリアのうち前記プレートが備える前記複数のウェルの何れかに対応する部分領域を設定する操作を受け付け、受け付けた操作に基づき前記センシングエリア情報を生成する、
    請求項又はに記載の分注支援システム。
  6. 前記制御部は、前記プロジェクターに、分注作業を行うべき前記ウェルへの分注作業の終了入力のためのユーザーインターフェース画像を前記第2投影領域に投影させると共に、前記検出部が前記終了入力のための入力を受け付けたことに応答して、分注作業を行うべき前記ウェルを次のウェルに移行する、
    請求項に記載の分注支援システム。
  7. 前記配置部は、前記プレートに加え1以上の容器を配置可能であり、
    前記容器の上面を含む投影領域に画像を投影し、
    前記複数のウェルに加え前記1以上の容器に対して画像を投影する位置の情報を含む前記レイアウト情報と、前記複数のウェルに加え前記1以上の容器のうち分注作業を行うべきウェル又は容器を特定する情報を含む前記スケジュール情報と、を取得し、
    前記スケジュール情報と前記レイアウト情報とに基づき、分注作業を行うべき前記ウェル又は容器を示す前記画像データを生成する、
    請求項1〜の何れかに記載の分注支援システム。
  8. 前記プレートを固定可能な、前記配置部に設けられる固定部を更に備える、
    請求項1〜の何れかに記載の分注支援システム。
JP2020043033A 2020-03-12 2020-03-12 分注支援システム Active JP6917496B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020043033A JP6917496B1 (ja) 2020-03-12 2020-03-12 分注支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020043033A JP6917496B1 (ja) 2020-03-12 2020-03-12 分注支援システム

Publications (2)

Publication Number Publication Date
JP6917496B1 true JP6917496B1 (ja) 2021-08-11
JP2021143950A JP2021143950A (ja) 2021-09-24

Family

ID=77172686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020043033A Active JP6917496B1 (ja) 2020-03-12 2020-03-12 分注支援システム

Country Status (1)

Country Link
JP (1) JP6917496B1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5308513B2 (ja) * 2008-04-24 2013-10-09 テカン・トレーディング・アクチェンゲゼルシャフト コンピュータ制御の液体処理ワークステーションにおける直接分注
EP2669011B1 (de) * 2012-05-30 2018-05-16 Bruker Daltonik GmbH Bildprojektionsverfahren und -vorrichtung zur Unterstützung der händischen MALDI-Probenpräparation
ITMI20130812A1 (it) * 2013-05-17 2014-11-18 Copan Information Technologies S R L Apparecchiatura e procedimento per il trattamento di campioni di materiale biologico o microbiologico
US10449534B2 (en) * 2014-11-17 2019-10-22 Brand Gmbh + Co Kg Control unit for pipetting machines
WO2018088460A1 (ja) * 2016-11-11 2018-05-17 株式会社アイカムス・ラボ ウェルアドレス取得システム、ウェルアドレス取得方法、及びプログラム

Also Published As

Publication number Publication date
JP2021143950A (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
US20050280631A1 (en) Mediacube
EP2570891A1 (en) Projector
US8274497B2 (en) Data input device with image taking
US20050264541A1 (en) Information input/output apparatus, information input/output control method, and computer product
US20110141067A1 (en) Information processing system and electronic pen
US20110169736A1 (en) Interactive input system and tool tray therefor
JP5482522B2 (ja) 表示制御装置、表示制御方法及びプログラム
US10042464B2 (en) Display apparatus including touchscreen device for detecting proximity touch and method for controlling the same
CN101359272B (zh) 显示装置和显示方法
JP2013045310A (ja) 表示装置、表示装置の制御方法およびプログラム
CN101897248A (zh) 电子部件安装数据的生成方法及生成装置
US20140137015A1 (en) Method and Apparatus for Manipulating Digital Content
JP6917496B1 (ja) 分注支援システム
JP5773003B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR20120120697A (ko) 멀티터치 및 근접한 오브젝트 센싱 장치, 그리고, 디스플레이 장치
JP4615178B2 (ja) 情報入出力システム、プログラムおよび記憶媒体
JP4335468B2 (ja) 情報入出力システム、情報制御方法、プログラムおよび記録媒体
US8712717B2 (en) Computer device with digitizer calibration system and method
JP2002268812A (ja) 情報入力装置、情報入出力システム、プログラム及び記憶媒体
TWI442066B (zh) 光學滑鼠測試系統
JP4603183B2 (ja) 情報入出力システム、表示制御方法、記憶媒体およびプログラム
JP2000205839A (ja) 形状測定器
US20230083428A1 (en) Image editing support method and image editing support device
US20230084108A1 (en) Image editing support method and image editing support device
JP2001318759A (ja) 座標入力/検出装置、電子黒板システム、座標検出方法及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6917496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150