JP6323356B2 - 処理システム、監視方法及びコンピュータプログラム - Google Patents

Description

本発明は、処理システム、監視方法及びコンピュータプログラムに関する。

生化学や生物・生命工学の分野における、一連の検査や培養、増幅といった処理対象に対してする操作（以降、これらを一まとめにして「実験」と称する。）の作業手順や条件は一般にプロトコルと呼びならわされている。実験をプロトコルに基づいて行うことは、再現性のある結果を得、或いはその実験結果の検証を行う上で重要となる。

本発明は、ロボットを含む処理システムに実験を行わせる場合に、同システムにより行われる実験の過程を客観的に記録し、確認できる処理システムを提供することをその課題とする。

本発明の一の側面による処理システムは、生化学や生物・生命工学の分野における処理対象を収容した容器に対する処理を動作指令に基づいて行うロボットを含む処理装置を少なくとも含む処理システムであって、前記処理を連続して撮影する撮影装置と、前記撮影装置により撮影された動画を記憶する記憶部を有する監視装置と、を含み、前記監視装置は、少なくとも前記処理及び前記ロボットの動作情報のいずれかの一覧を表示する一覧表示部と、指定した前記処理又は前記動作情報に対応するタイミングから前記動画を再生する再生部と、を有する。

また、本発明の別の側面による処理システムでは、前記再生部は、指定した前記処理又は前記動作情報の時刻情報に基づいて、指定した前記処理又は前記動作情報に対応する時刻から前記動画を再生してよい。

また、本発明の別の側面による処理システムでは、前記一覧表示部は、前記処理及び前記動作情報のいずれか毎に、前記処理に要した時間又は前記動作情報が表す動作に要した時間をさらに表示してよい。

また、本発明の別の側面による処理システムでは、前記監視装置は、前記記憶部の記憶容量の残量を測定する残量測定部と、前記残量を表示する残量表示部と、をさらに有してよい。

また、本発明の別の側面による処理システムでは、前記監視装置は、前記残量測定部により測定された前記残量に基づいて、前記記憶部の記憶容量の残量に関する警告を発する残量警告部と、前記残量測定部により測定された前記残量に基づいて、前記撮影部による撮影が中止されたことを警告する中止警告部と、をさらに有してよい。

また、本発明の別の側面による処理システムでは、前記撮影装置は、前記処理装置の全景を撮影する全景撮影部と、前記処理を含む部分景を撮影する部分景撮影部と、を有してよい。

また、本発明の別の側面による処理システムでは、前記部分景撮影部は、少なくとも前記処理がなされている期間、撮影を行ってよい。

また、本発明の別の側面による処理システムは、前記処理を表す処理シンボルを少なくとも含み、前記動作指令の生成元であるプロトコルチャートを記憶するプロトコルチャート記憶部と、前記動作指令に基づいて前記ロボットが動作する場合に、前記ロボットが実行中の動作に対応する前記プロトコルチャート上の前記処理シンボルを追跡する追跡部と、前記動作指令に基づいて前記ロボットが動作する場合に、前記追跡部により追跡されている前記処理シンボルを示して、前記プロトコルチャートを表示するプロトコルチャート表示部と、を有するプロトコルチャートモニタ装置をさらに含む。

また、本発明の別の側面による処理システムでは、前記プロトコルチャートモニタ装置は、前記動作指令に基づいて前記ロボットが動作する場合に、前記プロトコルチャートの一部の領域を拡大表示する拡大表示部と、前記追跡部により追跡されている前記処理シンボルが当該領域に含まれない場合に、前記追跡部により追跡されている前記処理シンボルの前記プロトコルチャート上における位置を表示する追跡シンボル表示部と、をさらに有してよい。

また、本発明の別の側面による監視方法は、生化学や生物・生命工学の分野における処理対象を収容した容器に対する処理を動作指令に基づいて行うロボットを含む処理装置を監視する監視方法であって、前記処理を連続して撮影し、撮影された動画を記憶し、少なくとも前記処理及び前記ロボットの動作情報のいずれかの一覧を表示し、指定した前記処理又は前記動作情報に対応するタイミングから前記動画を再生する。

また、本発明の別の側面によるコンピュータプログラムは、コンピュータを、上述の処理システムに含まれる監視装置として機能させる。

また、本発明の別の側面によるコンピュータプログラムは、コンピュータを、上述の処理システムに含まれるプロトコルチャートモニタ装置として機能させる。

本発明の実施形態に係る処理システムの物理的な構成を示す概略図である。 本発明の実施形態に係る処理システムに含まれる監視装置の物理的な構成を示す構成ブロック図である。 本発明の実施形態に係る処理システムに含まれる監視装置及びプロトコルチャートモニタ装置、ロボット制御装置及び撮影装置の機能ブロック図である。 本発明の実施形態に係るロボットに対する動作指令の生成元となるプロトコルチャートの例を示す図である。 本発明の実施形態に係る監視装置により表示される一覧表示画面の例を示す図である。 本発明の実施形態に係る監視装置により表示される残量警告の例を示す図である。 本発明の実施形態に係る監視装置により表示される中止警告の例を示す図である。 本発明の実施形態に係る監視装置による監視処理のフローチャートである。 本発明の実施形態に係るプロトコルチャートモニタ装置により表示されるプロトコルチャートモニタ画面の第１の例である。 本発明の実施形態に係るプロトコルチャートモニタ装置により表示されるプロトコルチャートモニタ画面の第２の例である。 本発明の実施形態に係るプロトコルチャートモニタ装置によるモニタ処理のフローチャートである。

本発明の発明者の知見によれば、生化学、生物／生命工学における実験においては、実験者の技量に依存する部分が大きいため、得られた結果が実験者の技量に依存するのか、その他の要因に依存するのか判別が難しく、客観的な検証の妨げとなる。そこで、発明者は、ロボットを含む処理システムを用いて実験を実施することで、人為的要因を排除することを検討している。

ロボットにより実験を実施することで、実験の再現性が高まり、その結果に対する信頼性が向上する。さらには、得られた結果に対する原因分析や、信頼性担保のため、実験工程がすべて記録されることが望ましいと考えられる。すなわち、実験中に生じた事象を後から詳しく分析したり、ロボットを含む処理システムが正しく動作していることを事後的に証明するためには、実験の結果だけでなく、その過程が検証・分析可能に記録されることが望ましい。

そこで、本発明者は、プロトコルに基づく実験をロボットに行わせる場合における、ロボットを含む処理システムによる実験の過程を記録することについて鋭意研究開発を行い、新規かつ独創的な処理システム等を発明するに至った。以下、かかる処理システム等について、実施形態を例示して説明する。

図１は、本発明の実施形態に係る処理システム２００の物理的な構成を示す概略図である。処理システム２００は、監視装置及びプロトコルチャートモニタ装置１と、プロトコルチャートに基づいて生成された動作指令によりロボット３を制御するロボット制御装置２と、ロボット制御装置２により制御され、実験を実行するロボット３とを含む。また、処理装置２０は、ロボット３及び実験に用いられる周辺機器を含む。監視装置及びプロトコルチャートモニタ装置１は、実験において行われる処理を監視する監視装置１ｊ（図３）と、実行中のプロトコルを視覚的に表したプロトコルチャートを表示するプロトコルチャートモニタ装置１ｋ（図３）とが一体となった装置である。監視装置及びプロトコルチャートモニタ装置１自体は、専用の機器であってもよいが、ここでは一般的なコンピュータを使用して実現されている。すなわち、市販のコンピュータにおいて、当該コンピュータを監視装置及びプロトコルチャートモニタ装置として動作させるそれぞれのコンピュータプログラムを実行することによりかかるコンピュータを監視装置及びプロトコルチャートモニタ装置１として使用する。かかるコンピュータプログラムは、一般にアプリケーションソフトウェアの形で提供され、コンピュータにインストールされて使用される。当該アプリケーションソフトウェアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭその他のコンピュータ読み取り可能な適宜の情報記録媒体に記録されて提供されてよく、また、インターネット等の各種の情報通信ネットワークを通じて提供されてもよい。あるいは、情報通信ネットワークを通じて遠隔地にあるサーバによりその機能が提供される、いわゆるクラウドコンピューティングにより実現されてもよい。また、ロボット制御装置２は、ここではロボット３と一体となって、又は別体に設けられており、動作指令通信ケーブル２ａにより監視装置及びプロトコルチャートモニタ装置１と接続されている。なお、監視装置とプロトコルチャートモニタ装置とは、それぞれ別体で設けられた専用の機器であってもよいし、いずれか一方又は両方が、別体で設けられた市販のコンピュータにより実現されてもよい。

本実施形態に係る処理システム２００は、撮影装置９（図３）を含む。この例では、撮影装置９は、実験において行われる処理の全景を撮影する２台のカメラである全景撮影部９ａと、処理を含む部分景を撮影する１台のカメラである部分景撮影部９ｂとを有する。全景撮影部９ａ及び部分景撮影部９ｂと、監視装置及びプロトコルチャートモニタ装置１とは、撮影情報通信ケーブル９ｃにより接続されている。なお、撮影装置９を構成する各部材は、必ずしも独立した部材である必要はない。例えば、部分景撮影部９ｂは、ロボット３の一部として搭載されたモニタカメラを援用するものであってもよい。

ロボット３は、多関節ロボットであり、処理対象に対する処理を行う。ロボット３は、アームによりピペット４を把持し操作する等、図示しあるいは図示しない実験器具を操作し、また、チューブ棚５に格納されたマイクロチューブ６を把持し、マイクロチューブ６をチューブ棚５からメインラック７等へ移動させるなど、図示しあるいは図示しない各種容器を移動させることができる。本実施形態では、ロボット３は、処理対象をマイクロチューブ６に注入する等、マイクロチューブ６に対する処理を行う場合、メインラック７にマイクロチューブ６を移動させ、メインラック７上で処理を行うようにしている。処理システム２００には、さらに、撹拌機８を始めとする種々の機器が含まれてよい。図１には、実験を行う場合に用いられる他の器具の例として、ペトリ皿を保管するラックや、遠心分離器、マグネットラック等が示されている。また、ロボット３は図示した形態のものに限られず、単腕型ロボット等であってもよい。

図２は、本発明の実施形態に係る監視装置及びプロトコルチャートモニタ装置１の物理的な構成を示すブロック図である。図２に示した構成は、監視装置及びプロトコルチャートモニタ装置１として用いられる一般的なコンピュータを示しており、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１ｂ、外部記憶装置１ｃ、ＧＣ（Ｇｒａｐｈｉｃｓ Ｃｏｎｔｒｏｌｌｅｒ）１ｄ、入力デバイス１ｅ及びＩ／Ｏ（Ｉｎｐｕｒ／Ｏｕｔｐｕｔ）１ｆがデータバス１ｇにより相互に電気信号のやり取りができるよう接続されている。ここで、外部記憶装置１ｃはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の静的に情報を記録できる装置であり、監視装置及びプロトコルチャートモニタ装置１の記憶部として機能する。またＧＣ１ｄからの信号はフラットパネルディスプレイ等の、使用者が視覚的に画像を認識するモニタ１ｈに出力され、画像として表示される。入力デバイス１ｅはキーボードやマウス、タッチパネル等の、ユーザが情報を入力するための機器であり、Ｉ／Ｏ１ｆは監視装置及びプロトコルチャートモニタ装置１が外部の機器と情報をやり取りするためのインタフェースである。

図３は、本実施形態に係る処理システム２００に含まれる監視装置及びプロトコルチャートモニタ装置１、ロボット制御装置２、撮影装置９及び処理装置２０の機能ブロック図である。なお、ここで示した機能ブロックは、監視装置及びプロトコルチャートモニタ装置１と撮影装置９とが有する機能に着目して示したものであり、必ずしも各機能ブロックに１対１に対応する物理的構成が存在することを有しない。いくらかの機能ブロックは監視装置及びプロトコルチャートモニタ装置１のＣＰＵ１ａ等の情報処理装置が特定のソフトウェアを実行することにより実現され、またいくらかの機能ブロックは監視装置及びプロトコルチャートモニタ装置１のＲＡＭ１ｂ等の情報記憶装置に特定の記憶領域が割り当てられることにより実現されてよい。

撮影装置９は、実験において行われる容器に対する処理の全景を撮影する全景撮影部９ａと、処理を含む部分景を撮影する部分景撮影部９ｂとを含む。部分景撮影部９ｂは、少なくとも処理がなされている期間、撮影を行う。

処理装置２０は、生化学や生物・生命工学の分野における処理対象を収容した容器に対する処理を動作指令に基づいて行うロボット３を含む。処理装置２０は、ロボット３の他に、撹拌機８、遠心分離器、マグネットラック、恒温槽等の周辺機器を含んでよく、ロボット３はそれらの周辺機器を用いて実験を行う。

監視装置及びプロトコルチャートモニタ装置１のうち監視装置１ｊは、ロボット制御装置２からロボット３の動作に関する情報である動作情報を取得する動作情報取得部１０と、撮影装置９により撮影された動画を取得する動画取得部１１とを含む。動作情報取得部１０及び動画取得部１１により取得された情報は、外部記憶装置１ｃ等から構成される記憶部１９に記憶される。監視装置１ｊには、少なくとも容器に対する処理及びロボット３の動作情報のいずれかの一覧を表示する一覧表示部１２と、指定した処理又は動作情報に対応する動画の再生を受け付ける再生受付部１３と、指定した処理又は動作情報に対応するタイミングから動画を再生する再生部１４とが含まれる。また、監視装置及びプロトコルチャートモニタ装置１のうち監視装置１ｊには、外部記憶装置１ｃに記憶された動画等の記憶容量から記憶部１９の記憶容量の残量を測定する残量測定部１５と、記憶部１９の記憶容量の残量を表示する残量表示部１６と、残量測定部１５により測定された残量に基づいて、記憶部１９の記憶容量の残量に関する警告を発する残量警告部１７と、残量測定部１５により測定された残量に基づいて、撮影装置９による撮影が中止されたことを警告する中止警告部１８とが含まれる。

一覧表示部１２は、少なくとも容器に対する処理及びロボット３の動作情報のいずれかを並び替えるソート部１２ａと、容器に対する処理が実行されるのに要した時間を表示する実行時間表示部１２ｂとを含んでよい。

監視装置及びプロトコルチャートモニタ装置１のうちプロトコルチャートモニタ装置１ｋは、ロボット制御装置２からロボット３の動作に関する情報である動作情報を取得する動作情報取得部２１と、処理を表す処理シンボルを少なくとも含み、ロボット３の動作指令の生成元であるプロトコルチャートを記憶するプロトコルチャート記憶部２２とを含む。また、プロトコルチャートモニタ装置１ｋには動作指令に基づいてロボット３が動作する場合に、ロボット３が実行中の動作に対応するプロトコルチャート上の処理シンボルを追跡する追跡部２３と、動作指令に基づいてロボット３が動作する場合に、追跡部２３により追跡されている処理シンボルを示して、プロトコルチャートを表示するプロトコルチャート表示部２４とが含まれる。

プロトコルチャート表示部２４は、動作指令に基づいてロボット３が動作する場合に、プロトコルチャートの一部の領域を拡大表示する拡大表示部２４ａと、追跡部２３により追跡されている処理シンボルが拡大表示された領域に含まれない場合に、追跡部２３により追跡されている処理シンボルのプロトコルチャート上における位置を表示する追跡シンボル表示部２４ｂとを含む。

なお、本明細書において、動作指令とは、単一のジョブ又は複数のジョブが組み合わされたジョブの集合体であって、処理対象が収容される容器に対する一単位のものとして認識される処理を指示する指令をいうものとする。動作指令は、プロトコルチャートに表された個々のシンボルをロボットの単位動作であるジョブに変換し、変換されたジョブの実行順を加味しつつ統合することで生成される。

図４は、本発明の実施形態に係るロボット３に対する動作指令の生成元となるプロトコルチャートの例を示す図である。

ここで、本明細書において、プロトコルチャートとは、プロトコルを視覚的に理解し得る態様で図示したものをいい、プロトコルとは生化学や生物・生命工学等の分野において処理対象に対しなされる前処理等の作業手順及び条件を指すものとする。また、処理対象とは、同分野において実験の対象となる材料をさし、細胞やＤＮＡ等の生体組織の一部が例示される。また、処理対象は実験に特に適した器具、例えば、マイクロチューブ（遠枕管）、ペトリ皿（シャーレ）やマイクロプレート（マイクロタイタープレート）に収容されて実験に供されるが、本明細書で単に容器と言えば、実験における処理対象の収容に適したこれらの器具を指すものとする。

また、便宜上、図４における上下方向を第１の方向と称し、第１の方向と交差する方向を第２の方向と称する。第１の方向と第２の方向との交差角度は必ずしも直角でなくともよいが、ここでは第１の方向と第２の方向は直交するものとする。そのため、第２の方向は図４における左右方向である。

本例のプロトコルチャートは、基本的には、処理対象を収容する容器の初期状態を示す初期シンボル１００と、その容器の最終状態を示す最終シンボル１０１を第１の方向に並べ、両者を初期シンボル１００から最終シンボル１０１に向かう順序線１０２で第１の方向に接続し、順序線１０２に沿って容器に対して行う処理を示す処理シンボル１０３を配置したものである。図４に示す例では、「Ｄｉｓｈ」と記載された初期シンボル１００と最終シンボル１０１及び両者を接続する順序線１０２からなる組と、「Ｔｕｂｅ」と記載された初期シンボル１００と最終シンボル１０１及び両者を接続する順序線１０２からなる組とが記載されている。ここで、順序線１０２は、処理が行われる順序を矢線で表している。また、「Ｄｉｓｈ」と記載された初期シンボル１００は、ペトリ皿を炭酸ガス雰囲気培養器（ＣＯ２ ｉｎｃｕｂａｔｏｒ）から取り出して処理の準備を行うことを表し、「Ｔｕｂｅ」と記載された初期シンボル１００は、マイクロチューブ６をチューブ棚５（Ｔｕｂｅ Ｒａｃｋ）から取り出し、メインラック７で処理を行う準備を行うことを表す。また、「Ｄｉｓｈ」と記載された最終シンボル１０１は、処理を終えたペトリ皿をゴミ箱（Ｄｕｓｔ Ｂｏｘ）に廃棄する処理を表し、「Ｔｕｂｅ」と記載された最終シンボル１０１は、処理対象を収容したマイクロチューブ６を４℃の恒温槽に保管する処理を表す。

「Ｄｉｓｈ」と記載された初期シンボル１００と順序線１０２で接続された「ＳＣＲＡＰＥ」と記載された処理シンボル１０３は、ペトリ皿上に培養された細胞等の処理対象を、スクレーパーを用いて剥ぎ取る処理（スクレープ処理）を表す。「ＳＣＲＡＰＥ」と記載された処理シンボル１０３は、処理対象の移送先を表す矢線を伴い、剥ぎ取られた処理対象をマイクロチューブ６に収容することを表している。その後、ペトリ皿は廃棄され、マイクロチューブ６について「ＡＤＤ」と記載された処理シンボル１０３が表す処理が行われる。「ＡＤＤ」と記載された処理シンボル１０３は、処理対象が収容されたマイクロチューブ６に溶解緩衝液（Ｌｙｓｉｓ Ｂｕｆｆｅｒ）を１０００μｌ加える処理を表す。マイクロチューブ６に対しては、その後、「ＭＩＸ」と記載された処理シンボル１０３が表す処理と、「ＲＥＡＣＴ」と記載された処理シンボル１０３が表す処理とが行われる。ここで、「ＭＩＸ」と記載された処理シンボル１０３が表す処理は、撹拌機８（Ｖｏｒｔｅｘ）による撹拌処理であり、「ＲＥＡＣＴ」と記載された処理シンボル１０３が表す処理は、マイクロチューブ６を恒温槽（Ｂａｔｈ）に１５分間安置する処理を表す。これらの処理が行われた後、マイクロチューブ６は４℃の恒温槽に保管される。

図５は、本発明の実施形態に係る監視装置１ｊにより表示される一覧画面３０の例を示す図である。一覧画面３０は、一覧表示部１２により表示される画面であり、少なくとも実験における容器に対する処理及びロボット３の動作情報のいずれかの一覧である。本例では、一覧画面３０は、プロトコル検索ボックス３１と、実験日時検索ボックス３２と、検索ボタン３３と、残量表示３４と、フィルタボタン３５と、動作情報一覧３６とを含む。

プロトコル検索ボックス３１は、記憶部１９に記憶された動作情報を検索するための検索ボックスであって、プロトコル名に基づいて検索を行う場合に用いられるものである。また、実験日時検索ボックス３２は、記憶部１９に記憶された動作情報を検索するための検索ボックスであって、動作情報が動作情報取得部１０により取得された日時に基づいて検索を行う場合に用いられるものである。これらの検索ボックスによる検索は、検索ボタン３３を押下することで実行される。

本実施形態に係る監視装置１ｊは、記憶部１９の記憶容量の残量を測定する残量測定部１５と、残量を表示する残量表示部１６とを有する。残量表示３４は、残量表示部１６により表示される記憶部１９の記憶容量の残量である。本例の場合、記憶部１９の記憶容量は半分以上残されており、２５０時間以上の録画が継続して行えることを表している。残量表示部１６により、記憶部１９の記憶容量が不足する時期を予測することができ、予め追加の記憶容量を確保しておく等の対策を講じることができる。

フィルタボタン３５は、動作情報一覧３６に表示する動作情報の階層を切り替えるためのラジオボタンである。本例では、「Ｃｏｍｐｏｎｅｎｔ」のボタンが選択されている。ここで、「Ｃｏｍｐｏｎｅｎｔ」とは、実験のプロトコルに含まれる個々の処理要素をいい、プロトコルチャートに記載された処理シンボルに対応する処理要素である。図５に示す動作情報一覧３６では、図４に示すプロトコルチャートに基づいて生成された動作指令によりロボット３が実験を行う場合における、ロボット３の動作情報を、処理要素毎に一覧表示している。

仮に、フィルタボタン３５のうち「Ｐｒｏｔｏｃｏｌ」を選択した場合、動作情報一覧３６には、プロトコル名が示され、個々のプロトコルに含まれる処理については一覧表示されない。また、フィルタボタン３５のうち「Ｓｕｂ−ｃｏｍｐｏｎｅｎｔ」を選択した場合、動作情報一覧３６には、処理シンボルに対応する個々の処理の詳細な構成要素が表示される。個々の処理の詳細な構成要素は、個々の処理のために行われるロボット３の具体的動作を表す。例えば、ロボット３のアームを所定量動かす処理であったり、アームにより治具を把持する処理であったり、ピペット４のピペットチップを交換する処理等である。このように、表示する処理の階層を選択できるようにすることで、実験の概要を把握したり、実験の詳細を把握したりといった目的別に動作情報の一覧を表示することができる。

動作情報一覧３６の最上段には、「Ｃｌａｓｓ」として「Ｐｒｏｔｏｃｏｌ」が表示され、「Ｃｏｍｍａｎｄ」としてプロトコル名である「Ｔｅｓｔ＿Ｐｒｏｔｏｃｏｌ」が表されている。当該プロトコルは、図４に示すプロトコルチャートに基づいて実行されるプロトコルである。動作情報一覧３６の最上段には、当該プロトコルの実行が、２０１５年１月２０日の１２時００分００秒に始まり（「Ｓｔａｒｔ」）、２０１５年１月２０日の１２時１５分００秒に終わり（「Ｅｎｄ」）、実行時間は１５分（「Ｅｌａｐｓｅ」）であったことが示されている。ここで、実行時間は、実行時間表示部１２ｂにより表示される時間であって、処理及び動作情報のいずれか毎に、処理に要した時間又は動作情報が表す動作に要した時間である。本例の場合、プロトコルチャートに記載された処理シンボルに対応する処理毎に、処理に要した時間が表されている。また、フィルタボタン３５のうち「Ｓｕｂ−ｃｏｍｐｏｎｅｎｔ」を選択した場合には、実行時間として個々の処理の詳細な構成要素を実行するのに要した時間が表されることになる。これにより、監視装置１ｊのユーザは、プロトコル全体に要した時間と、個々の処理に要した時間と、個々の処理の詳細な構成要素を実行するのに要した時間とをそれぞれ確認することができる。

本実施形態に係る撮影装置９は、実験において行われる処理を連続して撮影し、監視装置１ｊの記憶部１９は、撮影装置９により撮影された動画を記憶する。この際、ロボット３の動作情報と、当該動作情報に関し、ロボット３により実行された処理が動画に記録されたタイミングとが関連付け可能とされる。これにより、ロボット３により実行された処理や動作情報から、対応する動画の開始位置を特定できるため、かかる処理や動作情報に対応するタイミングから動画を再生することができる。この関連付けは、例えば、動作情報に記録された動作の時刻と、動画に記録された時刻とを照合することにより行われてよい。あるいは、動作情報に対応するしおり情報、すなわち、動作情報及び動画の再生位置を特定するための情報を、動作情報が生成される都度動画中に記録するなど、他の方法により関連付けを行ってもよい。そのようにして記憶された動画と、ロボット３の動作情報は、ソート部１２ａにより所定の順番でソートされて、動作情報一覧３６としてまとめて一覧表示される。所定の順番は、例えば時刻の順であってよく、また、それ以外の順番を選択できるようにしてもよい。本実施形態に係る監視装置１ｊにおいて表示される動作情報一覧３６の各段には、再生ボタン３６ａが表され、再生受付部１３は、指定した処理又は動作情報に対応する動画の再生を受け付ける。そして、再生部１４は、指定した処理又は動作情報に対応するタイミングから動画を再生する。例えば、動作情報一覧３６の最上段に表示された再生ボタン３６ａをマウス等のポインティングデバイスで選択すると、撮影装置９により「Ｔｅｓｔ＿Ｐｒｏｔｏｃｏｌ」を最初から最後まで録画した１５分間の動画が再生される。

動作情報一覧３６の二段目には、「Ｄｉｓｈ」と記載された初期シンボル１００に対応する処理の動作情報が表示されている。当該処理は、「Ｃｌａｓｓ」が「Ｃｏｍｐｏｎｅｎｔ」であり、「Ｃｏｍｍａｎｄ」は「Ｄｉｓｈ＿ＧＥＴ」である。当該処理は、２０１５年１月２０日の１２時００分００秒に始まり（「Ｓｔａｒｔ」）、２０１５年１月２０日の１２時００分１０秒に終わり（「Ｅｎｄ」）、実行時間は１０秒（「Ｅｌａｐｓｅ」）である。動作情報一覧３６の二段目に表示された再生ボタン３６ａを選択すると、再生部１４は、少なくとも、ロボット３によりペトリ皿を把持して次の処理を行うための準備を行う様子を撮影装置９により撮影した１０秒間の動画を再生する。この例では、再生部１４は、「Ｄｉｓｈ＿ＧＥＴ」に対応する１０秒間の動画を再生すると、動画の再生を終了するが、引き続き動画の再生を続けるようにしてもよい。

動作情報一覧３６の三段目には、「ＳＣＲＡＰＥ」と記載された処理シンボル１０３に対応する処理の動作情報が表示されている。当該処理は、「Ｃｌａｓｓ」が「Ｃｏｍｐｏｎｅｎｔ」であり、「Ｃｏｍｍａｎｄ」は「ＳＣＲＡＰＥ」である。当該処理は、２０１５年１月２０日の１２時００分１０秒に始まり（「Ｓｔａｒｔ」）、２０１５年１月２０日の１２時００分２５秒に終わり（「Ｅｎｄ」）、実行時間は１５秒（「Ｅｌａｐｓｅ」）である。動作情報一覧３６の三段目に表示された再生ボタン３６ａを選択すると、再生部１４は、ロボット３のアームによりスクレーパーを把持し、ペトリ皿に培養された細胞を剥ぎ取る処理を撮影装置９により撮影した１５秒間の動画を再生する。

本実施形態に係る撮影装置９は、実験において行われる処理の全景を撮影する全景撮影部９ａと、処理を含む部分景を撮影する部分景撮影部９ｂとを有する。本実施形態に係る全景撮影部９ａは、実験の過程を始めから終わりまで連続して撮影する。一方、部分景撮影部９ｂは、少なくとも処理がなされている期間、撮影を行う。部分景撮影部９ｂは、ロボット制御装置２からロボット３に対して送信される動作指令を読み取って、ロボット３による処理が開始されるタイミングで部分景の撮影を開始し、ロボット３により行われる処理が終了するタイミングで部分景の撮影を終了する。例えば、「ＳＣＲＡＰＥ」と記載された処理シンボル１０３に対応する処理の場合、部分景撮影部９ｂは、ロボット３によりペトリ皿が把持され、スクレーパーを用いて細胞を剥ぎ取る様子をクローズアップで撮影する。このように、全景と部分景の両方の観点から実験において行われる処理を撮影することで、実験の概要と詳細が記録されることとなる。また、部分景撮影部９ｂによる撮影を処理がなされている期間に限定することにより、記憶容量を節約することができる。なお、本実施形態では、２台のカメラにより全景を撮影し、１台のカメラにより部分景を撮影するが、カメラの台数はそれぞれ異なっていてもよい。

再生受付部１３は、全景撮影部９ａにより撮影された動画と、部分景撮影部９ｂにより撮影された動画の両方の再生を受け付ける。そして、ユーザにより再生ボタン３６ａが選択されると、再生部１４は、全景撮影部９ａにより撮影された動画と、部分景撮影部９ｂにより撮影された動画の両方を再生する。もっとも、再生受付部１３は、全景撮影部９ａにより撮影された動画と、部分景撮影部９ｂにより撮影された動画の再生を、それぞれ個別に受け付けてもよく、再生部１４は、それぞれの動画を個別に再生してもよい。その場合、動作情報一覧３６には、全景と部分景に対応する２つ以上の再生ボタンが表示されてもよい。

動作情報一覧３６の四段目には、「Ｄｉｓｈ」と記載された最終シンボル１０１に対応する処理の動作情報が表示されている。当該処理は、「Ｃｌａｓｓ」が「Ｃｏｍｐｏｎｅｎｔ」であり、「Ｃｏｍｍａｎｄ」は「Ｄｉｓｈ＿ＤＩＳＣＡＲＤ」である。当該処理は、２０１５年１月２０日の１２時００分２５秒に始まり（「Ｓｔａｒｔ」）、２０１５年１月２０日の１２時００分３５秒に終わり（「Ｅｎｄ」）、実行時間は１０秒（「Ｅｌａｐｓｅ」）である。動作情報一覧３６の四段目に表示された再生ボタン３６ａを選択すると、再生部１４は、ロボット３により把持されていたペトリ皿をゴミ箱に廃棄する様子を撮影装置９により撮影した１０秒間の動画を再生する。

動作情報一覧３６の五段目には、「Ｔｕｂｅ」と記載された初期シンボル１００に対応する処理の動作情報が表示されている。当該処理は、「Ｃｌａｓｓ」が「Ｃｏｍｐｏｎｅｎｔ」であり、「Ｃｏｍｍａｎｄ」は「Ｔｕｂｅ＿ＧＥＴ」である。当該処理は、２０１５年１月２０日の１２時００分３５秒に始まり（「Ｓｔａｒｔ」）、２０１５年１月２０日の１２時００分４５秒に終わり（「Ｅｎｄ」）、実行時間は１０秒（「Ｅｌａｐｓｅ」）である。動作情報一覧３６の五段目に表示された再生ボタン３６ａを選択すると、再生部１４は、ロボット３によりマイクロチューブ６を把持し、メインラック７に移動させて次の処理を行うための準備を行う様子を撮影装置９により撮影した１０秒間の動画を再生する。

このように、本実施形態に係る監視装置１ｊは、ロボット３の動作情報と、当該動作情報に対応する撮影装置９により撮影された動画と、を併せて一覧表示することで、ロボット３によりプロトコルが実行されたことを示す客観的な証拠を、第三者が容易に把握できる形で提示する。ここで、撮影装置９は、特に全景撮影部９ａにより、実験の過程を連続して撮影するため、実験において動画に記録されない部分が生じたり、後から意図的な編集や改竄がなされたりすることを防止できる。また、部分景撮影部９ｂにより、各処理のクローズアップが撮影されるため、後から実験の内容を分析し検証することが容易となる。

また、監視装置１ｊのユーザは、過去に行われたプロトコルを検索することができ、プロトコルが実行される様子を記録した動画を、処理毎に頭出しして再生することができる。そのため、プロトコルを改良する場合に個別の処理毎に改良点を探ることが容易となる。また、一連の処理を他のプロトコルに流用する場合に、一連の処理を動画として確認することで、プロトコルの設計を円滑に行うことができる。

図６は、本発明の実施形態に係る監視装置１ｊにより表示される残量警告３７の例を示す図である。本実施形態に係る監視装置１ｊが有する残量警告部１７は、残量測定部１５により測定された残量に基づいて、記憶部１９の記憶容量の残量に関する警告を発する。図６に示す例において、残量表示３４は、記憶容量の残量が僅かであることを示している。具体的には、残量表示３４は、記憶容量の残量が全体の５％であることを示している。そこで、残量警告部１７は、例えば、記憶部１９がハードディスクドライブにより構成されている場合、「ハードディスク残量が５％以下となりました。ビデオファイルを移動して下さい。」という一文が含まれる残量警告３７を動作情報一覧３６に重ねて表示して、監視装置１ｊのユーザに警告を発する。これにより、記憶部１９の記憶容量の残量が足りなくなり、撮影装置９により撮影された動画の記憶及びロボット制御装置２より取得されるロボット３の動作情報の記憶が行えなくなることが防止される。

図７は、本発明の実施形態に係る監視装置１ｊにより表示される中止警告３８の例を示す図である。本実施形態に係る監視装置１ｊが有する中止警告部１８は、残量測定部１５により測定された残量に基づいて、撮影装置９による撮影が中止されたことを警告する。図７に示す例において、残量表示３４は、記憶容量の残量が無い（０％である）ことを示している。そのため、撮影装置９により動画を撮影しても、外部記憶装置１ｃに記憶することはできない。そこで、中止警告部１８は、「ハードディスク残量が０％になりました。録画を中止します。」という一文が含まれる中止警告３８を動作情報一覧３６に重ねて表示して、監視装置１ｊのユーザに警告を発する。本実施形態に係る処理システム２００では、撮影装置９による撮影が中止された場合であっても、実行中の実験を中止せずに、実験が最後まで行われる。ただし、記憶容量の残量が無い場合には、監視装置１ｊからロボット制御装置２に対して、新たな実験を行うことが出来ないようにする中止命令を発することとしてもよい。そのような構成を採用することにより、動画が撮影されない実験が生じなくなり、全ての実験について実際に実行された処理の客観的な証拠が得られる。

図８は、本発明の実施形態に係る監視装置１ｊによる監視処理のフローチャートである。監視装置１ｊは、処理システム２００によってプロトコルが実行される場合に、監視処理を開始する。監視装置１ｊは、はじめに、ロボット制御装置２から動作情報の取得を開始し（ＳＴ１０）、撮影装置９の全景撮影部９ａにより処理の全景の撮影を開始し（ＳＴ１１）、動画取得部１１により撮影された動画を取得する。

プロトコルの実行中、監視装置１ｊにより動作情報及び動画の記憶が行われ、残量測定部１５は、記憶部１９の記憶容量の残量を測定し、記憶部１９（例えばハードディスクドライブ、ＨＤＤ）の記憶容量の残量が５％以下であり、かつ残量が０％でないか否かを判定する（ＳＴ１２）。記憶部１９の記憶容量の残量が５％以下である場合、残量警告部１７により、残量警告を表示する（ＳＴ１３）。

記憶部１９の記憶容量の残量が５％以下でないか、又は残量が０％である場合には、ＳＴ１２からＳＴ１４に進み、記憶部１９の記憶容量の残量が０％であるか否かが判定される（ＳＴ１４）。記憶部１９の記憶容量の残量が０％である場合、撮影装置９による撮影が中止され（ＳＴ１５）、中止警告部１８により、中止警告を表示する（ＳＴ１６）。

また、監視装置１ｊは、ロボット制御装置２から取得した動作情報に基づき、容器に対する処理が行われるか否かを判定する（ＳＴ１７）。容器に対する処理が行われると判定された場合、部分景撮影部９ｂによる部分景の撮影を開始する（ＳＴ１８）。部分景の撮影は、当該処理が継続する間行われ（ＳＴ１９）、当該処理の終了と共に部分景の撮影も終了する（ＳＴ２０）。

最後に、プロトコルが終了したか否かが判定され（ＳＴ２１）、終了した場合には、全景撮影部９ａによる処理の全景の撮影が終了され（ＳＴ２２）、動作情報の取得が終了される（ＳＴ２３）。

図９は、本発明の実施形態に係るプロトコルチャートモニタ装置１ｋにより表示されるプロトコルチャートモニタ画面の第１の例である。本実施形態に係るプロトコルチャートモニタ装置１ｋは、ロボット３によりプロトコルが実行される場合に、ロボット３に対する動作指令の生成元となったプロトコルチャートをプロトコルチャート記憶部２２から読み出して、プロトコルチャート表示部２４によりモニタ１ｈに表示し、プロトコルの進行状況を示す。プロトコルチャート記憶部２２は、プロトコルチャートを、ロボット３の動作情報に関連付けて記憶してもよい。動作情報は、動作情報取得部２１により取得される。本例では、少なくとも図４に示すプロトコルチャートが、動作情報に関連付けられてプロトコルチャート記憶部２２に記憶されているものとする。

本例のプロトコルチャートモニタ画面には、実行中プロトコル表示ボックス４１と、実行中処理シンボル表示ボックス４２とが含まれる。実行中プロトコル表示ボックス４１には、実行中のプロトコル名である「Ｔｅｓｔ＿Ｐｒｏｔｏｃｏｌ」が表示されている。また、実行中処理シンボル表示ボックス４２には、ロボット３により実行されている処理に対応する処理シンボルの名称が表示される。本例の場合、「ＳＣＲＡＰＥ」が表示されている。

本例のプロトコルチャートモニタ画面には、固定ボタン４３と、移動ボタン４４とが含まれており、本例では移動ボタン４４が選択されている。移動ボタン４４が選択されている場合、プロトコルチャート表示領域４７には、ユーザが選択したプロトコルチャートの一部又は全部が表示される。一方、固定ボタン４３を選択した場合、プロトコルチャート表示領域４７には、後述する追跡シンボル４７ａが中心に固定されて表示される。

本実施形態に係るプロトコルチャートモニタ装置１ｋは、動作指令に基づいてロボット３が動作する場合に、プロトコルチャートの一部の領域を拡大表示する拡大表示部２４ａを有する。本例では、プロトコルチャートモニタ画面のプロトコルチャート表示領域４７に、プロトコルチャートの一部の領域が拡大表示されている。プロトコルチャート表示領域４７に表示されるプロトコルチャートは、拡大ボタン４５と縮小ボタン４６を操作することで拡大と縮小を行うことができる。拡大ボタン４５により、プロトコルチャートの一部を拡大表示することで、現在実行中の処理シンボルの詳細を把握することができる。また、縮小ボタン４６により、プロトコルチャートの全容を把握し、プロトコルの流れを把握することができる。

プロトコルチャート表示部２４は、動作指令に基づいてロボット３が動作する場合に、追跡部２３により追跡されている処理シンボルを示して、プロトコルチャートを表示する。ここで、追跡部２３は、動作指令に基づいてロボット３が動作する場合に、ロボット３が実行中の動作に対応するプロトコルチャート上の処理シンボルを追跡する。本例では、プロトコルチャート表示領域４７に表示されたプロトコルチャートに重ねて、追跡シンボル４７ａと、第１矢印４７ｂと、第２矢印４７ｃとが表示される。追跡シンボル４７ａは、追跡部２３による追跡に係る処理シンボル（本例では「ＳＣＲＡＰＥ」と記載された処理シンボル）を囲む。第１矢印４７ｂ及び第２矢印４７ｃは、追跡シンボル４７ａの位置を、第１の方向（図９の上下方向）及び第２の方向（図９の左右方向）に関してそれぞれ示す。本実施形態に係るプロトコルチャートモニタ装置１ｋによれば、追跡シンボル４７ａ等が表示されることで、ロボット３がプロトコルに含まれる処理のうちいずれの処理を行っているかを視覚的に把握することができる。

図１０は、本発明の実施形態に係るプロトコルチャートモニタ装置１ｋにより表示されるプロトコルチャートモニタ画面の第２の例である。本例でプロトコルチャート表示領域４７に表示されているプロトコルチャートは、プロトコルチャートモニタ画面の第１の例の場合と同じであるが、本例では、プロトコルチャート表示領域４７に表示されているプロトコルチャートの一部に、追跡部２３により追跡されている処理シンボル（「ＳＣＲＡＰＥ」と記載された処理シンボル）が含まれていない。その他の構成については、プロトコルチャートモニタ画面の第１の例と同様である。

追跡シンボル表示部２４ｂは、追跡部２３により追跡されている処理シンボルが拡大表示部２４ａにより拡大表示された領域に含まれない場合に、追跡部２３により追跡されている処理シンボルのプロトコルチャート上における位置を表示する。本例では、第１矢印４７ｂが、プロトコルチャート表示領域４７のスクロールバー内に配置されて、追跡部２３による追跡に係る処理シンボルの第１の方向（図１０の上下方向）に関する位置を示す。また、第２矢印４７ｃは、追跡部２３による追跡に係る処理シンボルの第２の方向（図１０の左右方向）に関する位置を示す。このように、本実施形態に係るプロトコルチャートモニタ装置１ｋによれば、追跡部２３による追跡に係る処理シンボルがプロトコルチャート表示領域４７に表示されない場合であっても、実行中の処理に対応する処理シンボルについて、プロトコルチャート上の位置を把握することができる。

図１１は、本発明の実施形態に係るプロトコルチャートモニタ装置１ｋによるモニタ処理のフローチャートである。プロトコルチャートモニタ装置１ｋによるモニタ処理が開始されると、動作情報取得部２１により、ロボット制御装置２から動作情報の取得が開始される（ＳＴ３０）。そして、プロトコルチャート表示部２４により、プロトコルチャートの表示が行われる（ＳＴ３１）。

ロボット３によるプロトコルの実行が開始されると、追跡部２３は、ロボット３が実行している動作に対応するプロトコルチャート上の処理シンボルを追跡し、実行中処理シンボル表示ボックス４２に追跡中の処理シンボルの名称を表示する（ＳＴ３２）。そして、追跡中の処理シンボルについて、追跡シンボル４７ａを表示する（ＳＴ３３）。

プロトコルチャートモニタ装置１ｋは、ロボット制御装置２から取得される動作情報に基づき、プロトコルが全て終了したか否かを判定する（ＳＴ３４）。プロトコルが終了していない場合、追跡部２３による処理シンボルの追跡と、プロトコルチャート表示部２４によるプロトコルチャートの表示を継続する。一方、プロトコルが終了したと判定された場合、プロトコルチャートモニタ装置１ｋは、動作情報の取得を終了し（ＳＴ３５）、プロトコルチャートモニタ装置１ｋによるモニタ処理は終了する。

以上説明した実施形態の構成は具体例として示したものであり、本明細書にて開示される発明をこれら具体例の構成そのものに限定することは意図されていない。当業者はこれら開示された実施形態に種々の変形、例えば、機能や操作方法の変更や追加等を加えてもよく、また、フローチャートに示した制御は、同等の機能を奏する他の制御に置き換えてもよい。本明細書にて開示される発明の技術的範囲は、そのようになされた変形をも含むものと理解すべきである。

１ 監視装置及びプロトコルチャートモニタ装置、１ａ ＣＰＵ、１ｂ ＲＡＭ、１ｃ 記憶部、１ｄ ＧＣ、１ｅ 入力デバイス、１ｆ Ｉ／Ｏ、１ｇ データバス、１ｈ モニタ、１ｊ 監視装置、１ｋ プロトコルチャートモニタ装置、２ ロボット制御装置、２ａ 動作指令通信ケーブル、３ ロボット、４ ピペット、５ チューブ棚、６ マイクロチューブ、７ メインラック、８ 撹拌機、９ 撮影装置、９ａ 全景撮影部、９ｂ 部分景撮影部、９ｃ 撮影情報通信ケーブル、１０ 動作情報取得部、１１ 動画取得部、１２ 一覧表示部、１２ａ ソート部、１２ｂ 実行時間表示部、１３再生受付部、１４ 再生部、１５ 残量測定部、１６ 残量表示部、１７ 残量警告部、１８ 中止警告部、１９ 記憶部、２１ 動作情報取得部、２２ プロトコルチャート記憶部、２３ 追跡部、２４ プロトコルチャート表示部、２４ａ 拡大表示部、２４ｂ 追跡シンボル表示部、３０ 一覧画面、３１ プロトコル検索ボックス、３２ 実験日時検索ボックス、３３ 検索ボタン、３４ ハードディスク残量表示、３５ フィルタボタン、３６ 動作情報一覧、３６ａ 再生ボタン、３７ 残量警告、３８ 中止警告、４０ プロトコルチャートモニタ画面、４１ 実行中プロトコル表示ボックス、４２ 実行中処理シンボル表示ボックス、４３ 固定ボタン、４４ 移動ボタン、４５ 拡大ボタン、４６ 縮小ボタン、４７ プロトコルチャート表示領域、４７ａ 追跡シンボル、４７ｂ 第１矢印、４７ｃ 第２矢印、１００ 初期シンボル、１０１ 最終シンボル、１０２ 順序線、１０３ 処理シンボル、２００ 処理システム。

Claims (10)

1. 生化学や生物・生命工学の分野における処理対象を収容した容器に対する処理を動作指令に基づいて行うロボットを含む処理装置を少なくとも含む処理システムであって、
   前記処理を連続して撮影する撮影装置と、
   前記撮影装置により撮影された動画を記憶する記憶部を有する監視装置と、
   プロトコルチャートモニタ装置と、
   を含み、
   前記監視装置は、
   少なくとも前記処理及び前記ロボットの動作情報のいずれかの一覧を表示する一覧表示部と、
   指定した前記処理又は前記動作情報に対応するタイミングから前記動画を再生する再生部と、を有し、
   前記プロトコルチャートモニタ装置は、
   前記処理を表す処理シンボルを少なくとも含み、前記動作指令の生成元であるプロトコルチャートを記憶するプロトコルチャート記憶部と、
   前記動作指令に基づいて前記ロボットが動作する場合に、前記ロボットが実行中の動作に対応する前記プロトコルチャート上の前記処理シンボルを追跡する追跡部と、
   前記動作指令に基づいて前記ロボットが動作する場合に、前記追跡部により追跡されている前記処理シンボルを示して、前記プロトコルチャートを表示するプロトコルチャート表示部と、を有する処理システム。
2. 前記再生部は、指定した前記処理又は前記動作情報の時刻情報に基づいて、指定した前記処理又は前記動作情報に対応する時刻から前記動画を再生する請求項１に記載の処理システム。
3. 前記一覧表示部は、前記処理及び前記動作情報のいずれか毎に、前記処理に要した時間又は前記動作情報が表す動作に要した時間をさらに表示する請求項１又は２に記載の処理システム。
4. 前記監視装置は、
   前記記憶部の記憶容量の残量を測定する残量測定部と、
   前記残量を表示する残量表示部と、をさらに有する請求項１〜３のいずれか１項に記載の処理システム。
5. 前記監視装置は、
   前記残量測定部により測定された前記残量に基づいて、前記記憶部の記憶容量の残量に関する警告を発する残量警告部と、
   前記残量測定部により測定された前記残量に基づいて、前記撮影部による撮影が中止されたことを警告する中止警告部と、をさらに有する請求項４に記載の処理システム。
6. 前記撮影装置は、
   前記処理の全景を撮影する全景撮影部と、
   前記処理を含む部分景を撮影する部分景撮影部と、を有する請求項１〜５のいずれか１項に記載の処理システム。
7. 前記部分景撮影部は、少なくとも前記処理がなされている期間、撮影を行う請求項６に記載の処理システム。
8. 前記プロトコルチャートモニタ装置は、
   前記動作指令に基づいて前記ロボットが動作する場合に、前記プロトコルチャートの一部の領域を拡大表示する拡大表示部と、
   前記追跡部により追跡されている前記処理シンボルが当該領域に含まれない場合に、前記追跡部により追跡されている前記処理シンボルの前記プロトコルチャート上における位置を表示する追跡シンボル表示部と、をさらに有する請求項１〜７のいずれか１項に記載の処理システム。
9. コンピュータを、請求項１〜８のいずれかに記載の処理システムに含まれる監視装置として機能させるためのコンピュータプログラム。
10. コンピュータを、請求項１〜８のいずれか１項に記載の処理システムに含まれるプロトコルチャートモニタ装置として機能させるためのコンピュータプログラム。

Images