WO2019207816A1

WO2019207816A1 - シミュレーション装置およびシミュレーション方法

Info

Publication number: WO2019207816A1
Application number: PCT/JP2018/037861
Authority: WO
Inventors: 山崎　正裕; 憲一相馬; 祥晃菊池
Original assignee: 株式会社日立産機システム
Priority date: 2018-04-24
Filing date: 2018-10-11
Publication date: 2019-10-31
Also published as: JP6993927B2; JP2019191348A

Abstract

無菌作業装置の実際の作業により近い作業環境を実現して、細胞培養作業の種々の操作を有効に模擬して行うことができるシミュレーション装置を提供する。手指前腕検出部と、情報処理装置と、映像表示装置とを備え、無菌作業装置の操作を模擬するシミュレーション装置であって、前記手指前腕検出部は、手、指、前腕の少なくとも何れかの位置を検出するものであり、前記情報処理装置は、前記手指前腕検出部で検出した手、指、前腕の少なくとも何れかの位置と仮想の無菌作業装置の座標位置とを比較して手、指、前腕が適切な位置にあるかを判定する手指前腕適切位置判定部を備え、前記映像表示装置は、手、指、前腕の少なくとも何れかが不適切な位置にあると判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示するものである。

Description

シミュレーション装置およびシミュレーション方法

　本発明は、コンピュータグラフィックスを用いて作業を学習するためのシステムに関する。特に、アイソレータやクリーンベンチ、安全キャビネット等と呼ばれる無菌作業装置を仮想空間内に表示して、種々の作業のシミュレーションを行うシミュレーション装置およびシミュレーション方法に関する。

　ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を再生医療や創薬へ適用するために、安定的に大量の細胞の供給が不可欠である。自動的に細胞を培養する装置や、大量に細胞を培養するための技術開発が進められているが、研究室や医療機関の一室などでの手作業がまだまだ多く行われている。

　細胞の培養や培地交換、継代などを手作業で行う場合、作業者の習熟度や環境要因により、多くの作業者が同じように作業できるものではない。つまり、細胞培養作業は無菌作業装置の中の無菌作業空間で行うが、熟練者でないと安定した細胞の培養が難しく、今後の必要性からより多くの熟練者が求められているものの、実際の作業を行える場所が限られているので技術の習熟が容易ではない。

　専門家以外の者が安全かつ手軽に細胞操作を模擬体験できる細胞操作シミュレータが特許文献１に記載されている。特許文献1には、マイクロマニピュレータ及びその操作手段を備え、マイクロマニュピレータの操作対象である細胞モデルを操作手段により操作する細胞操作シミュレータが開示されている。

　また、医療関係として手技をシミュレーションする仮想手術シミュレーションシステムの一例として特許文献２がある。特許文献２には、患部の状態を各方向から自分で覗き込んでその状態を確認できるように、視線検出手段が使用者の視線位置及び視線方向を検出し、映像制御手段が、最新の人体モデルデータ及び手術具モデルデータにより、仮想人体及び仮想手術具を、視線検出手段にて検出された視線位置及び視線方向から観察される仮想空間内の立体映像として映像表示手段により表示するものが開示されている。

特開２００６－３１３１７８号公報特開２００４－３４４４９１号公報

　特許文献１記載の細胞操作シミュレータは、細胞モデルに対してマイクロマニュピレータの操作を仮想的に行えるものであって、細胞培養に係る作業については何ら記載されてはいない。

　特許文献２には仮想手術シミュレーションシステムが記載されている。しかし、細胞培養作業は、無菌作業装置の中の無菌作業空間で行うため、動作に制限が加えられるから、仮想手術とは異なる。

　本発明は、こうした問題点に鑑みてなされたものであり、無菌作業装置の実際の作業により近い作業環境を実現して、細胞培養作業の種々の操作を有効に模擬して行うことができるシミュレーション装置を提供することを目的とする。

　上記課題を解決するための、本発明の「シミュレーション装置」の一例を挙げるならば、
手指前腕検出部と、情報処理装置と、映像表示装置とを備え、無菌作業装置の操作を模擬するシミュレーション装置であって、前記手指前腕検出部は、手、指、前腕の少なくとも何れかの位置を検出するものであり、前記情報処理装置は、前記手指前腕検出部で検出した手、指、前腕の少なくとも何れかの位置と仮想の無菌作業装置の座標位置とを比較して手、指、前腕が適切な位置にあるかを判定する手指前腕適切位置判定部を備え、前記映像表示装置は、手、指、前腕の少なくとも何れかが不適切な位置にあると判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示するものである。

　本発明によれば、無菌作業装置の実際の作業により近い作業環境を実現して、種々の操作を有効に模擬して行うことができる。

　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施例に係るシミュレーション装置のシステム構成図である。本発明の一実施例に係る映像表示装置のシステム構成図である。本発明の一実施例に係る手指前腕検出部のシステム構成図である。本発明の一実施例に係る情報処理装置のシステム構成図である。本発明の一実施例に係る画像処理のフロー図である。本発明の一実施例に係る制御部の構成図である。映像表示装置に表示される映像の一例を示す図である。映像表示装置に表示される映像の他の一例を示す図である。映像表示装置に表示される映像の他の一例を示す図である。無菌作業装置の一例を示す図である。

　以下、本発明の実施例を、図面を用いて説明する。なお、実施例を説明するための各図において、同一の構成要素にはなるべく同一の名称、符号を付して、その繰り返しの説明を省略する。

　図１は、本発明の一実施例に係るシミュレーション装置のシステム構成図である。情報処理装置１は、手指前腕検出部３からの情報により使用者の手、指、前腕の位置や動作を認識する。また、情報処理装置１は映像表示装置２に映像情報を送り、使用者は映像を通じて仮想的に無菌作業装置で作業している使用者自身の作業状況を認識できる。

　図１０に、本発明のシミュレーション装置において、作業空間が映像で表示される無菌作業装置の一例を図示する。図１０に示す装置は、安全キャビネットやクリーンベンチと呼ばれる無菌作業装置１００であり、作業空間１０１は作業面１０２を底面とする装置の内側に設けられた空間である。作業者は図示されていない椅子に座って作業面１０２上に手を差し伸べて細胞培養に関する作業等を行う。

　作業空間１０１内に手を差し入れるタイプの無菌作業装置１００は、透過性を有する前面シャッターの縁１０３と作業面１０２との間の開口部１０４から前腕を差し入れることができる。前面シャッターの内側には図示されない吹き出し口から空気流が流れ、作業面１０２の前縁に設けられた図示されない吸い込み口から装置外の空気と共に当該空気流を吸い込む。これにより、作業空間１０１内に余分な外気が流れ込まないようにすると共に、作業者に対して作業空間１０１で扱われた細胞などが装置外に排出されない機能を有する。

　無菌作業装置１００は、当該気流や空気の吸い込みを行い作業ができるようにするために、操作部１０５で装置を起動させて図示していないファンの運転を開始する。所定の空気流が作業空間１０１内に形成され、何もエラーが表示部１０６に表示されなければ作業空間１０１で作業ができることになる。装置１００内を循環する空気を、一部若しくは全部を排気するための排気部１０７が装置１００の上部に設けられている。

　図１０の無菌作業装置１００は、作業空間１０１と他の装置の内部空間と連通可能な機器接続部１０８、１０９が装置１００の側方に設けられている。

　本実施例におけるシミュレーション装置は、図１０に一例を示した無菌作業装置１００での作業を仮想的に行うものである。そのため映像表示装置２は、使用者が頭部に装着して映像を見ることができるヘッドマウントディスプレイ（頭部装着ディスプレイ）が望ましい。本実施例における映像表示装置２の構成を図２に示す。

　映像表示装置２は、情報処理装置１からの映像情報を映像入力部２１から取り込み、映像表示装置制御部２２は映像表示装置２で表示可能な情報に変換して表示制御部２６に信号を送り、表示制御部２６では右目用表示部２７と左目用表示部２８にそれぞれ画像信号を分けて送り、レンズや小型の液晶パネルなどを備えたそれぞれの表示部２７、２８では、前面シャッターを通じて見える仮想の作業空間１０１を表示する。

　映像表示装置２が頭部装着ディスプレイの場合、感知部２５は加速度センサやジャイロセンサを備えており、感知部２５からの信号を映像表示装置制御部２２により通信部２３を通じて情報処理装置１に送り、情報処理装置1では映像表示装置２の位置、向き、傾きなどの３次元情報を得ることができる。

　本実施例における手指前腕情報検出部３の構成を図３に示す。手や指や前腕を認識するための手段としては、カメラなどで撮影した画像情報に基づき、その形状などを解析することができる。本実施例では、赤外線出力部３３から発せられた赤外線の反射を赤外線入力部３４で信号化して、手情報制御部３２から手情報出力部３１を介して情報処理装置１に画像情報を送信する。この手指前腕情報検出部３は頭部装着ディスプレイにおける映像表示装置２と一体で設けられていてもよい。この場合は、情報処理装置１を介して映像表示装置２で仮想の手、指、前腕を見るのと同じ効果をもたらす。

　また、赤外線入力部３４が複数設けられ、情報処理装置１では３次元の位置情報、換言すると横方向、高さ方向、奥行き方向のｘｙｚ座標を得ることができる。

　本実施例における情報処理装置１の構成を図４に示す。手指前腕検出部３から送られた画像情報を手指前腕情報入力部１１から取り込むと、情報処理装置１の制御部１２は画像情報を手指前腕認識部１３に送る。手指前腕認識部１３は送られた画像情報に基づき、手、指、前腕の位置や動作を認識して制御部１２に送る。

　通信部１７は、映像表示装置２の感知部２５からの信号を受け取り、映像表示装置位置処理部１８はその信号に基づき位置解析部１９に解析させて、映像表示装置２の位置、向き、傾きなどの位置等情報を得る。

　制御部１２では、手、指、前腕の位置・動作情報に基づき記憶部１４に設けられた特定の位置・動作情報と比較して表示映像生成部１５により、映像表示装置２で表示させる画像情報を生成させる。制御部２は生成した画像情報を、映像出力部１６を通じて映像表示装置２に送り、前述のとおり、映像表示装置２の右目用表示部２７と左目用表示部２８とが使用者の仮想手、仮想指、仮想前腕を表示する。

　図５のフロー図を用いて本実施例のシミュレーション装置における画像処理について説明する。

　本実施例のシミュレーション装置の情報処理装置１を起動すると、映像表示装置２と手指前腕検出部３も起動する。装置各部の起動後に、まず、基準座標を設定する（Ｓ０１）。基準座標は、起動時の映像表示装置２の位置、向き、傾きなどを基準にしても良いし、シミュレーション装置を使用する場所に設けたマーカーを映像表示装置２や、映像表示装置２に付属する手指前腕検出部３で検出できるようにしてもよい。例えば、無菌作業装置１００の作業面１０２に見立てた机やテーブルの天板にマーカーを置いて、その位置を基準座標に設定してもよい。

　基準座標を設定した後で、映像表示装置２に表示する仮想の無菌作業装置の座標を設定する（Ｓ０２）。仮想の無菌作業装置の座標は、Ｓ０１の基準座標に対して設定され、映像表示装置２を動かしても表示される仮想の無菌作業装置の位置が変わらない状態となる。

　仮想の無菌作業装置の座標が設定されると、映像表示装置２の右目用表示部２７と左目用表示部２８に仮想の無菌作業装置が表示される（Ｓ０３）。

　ステップＳ０３とほぼ同時に、手指前腕検出部３により検知された作業者の手、指、前腕が認識されると、映像表示装置２の右目用表示部２７と左目用表示部２８に仮想の手、指、前腕が表示される（Ｓ０４）。

　次に、実際の作業を模した仮想空間内で仮想作業を開始するために、仮想空間内で仮想作業を選択して設定する（Ｓ０５）。これは仮想空間内で特定の動作をするとメニュー画面が表示され、例えば、培地交換作業、継代作業などが表示され、仮想空間内つまり映像表示装置２に表示された画面とジェスチャーとで仮想作業の設定ができるのが望ましい。また、この仮想作業の設定は物理的なキーボードやスイッチなどで情報処理装置１に指示を与える構成としてもよい。

　仮想空間でシミュレーションする作業が設定されると、情報処理装置１は映像表示装置２に仮想作業ができる画像情報を与え、映像表示装置２は仮想作業の表示を開始する（Ｓ０６）。図７は、仮想作業として仮想のシャーレに対して仮想のピペットを操作して培地を吸引する状況を表した映像の一例を示した図である。

　映像には、仮想の無菌作業装置の前面シャッターの縁１０３’が表示され、その奥側の仮想の作業空間１０１’内で培地を吸引する作業において、実際の手、指、前腕の位置に合わせた仮想の手、指、前腕を表示する。

　仮想作業が開始されると、作業としての基本工程や基準動作を数値化するなどして情報処理装置１の記憶部１４に記憶しておき、仮想作業が適切に実行されているかどうか確認する（Ｓ０７）。設定どおりでない工程や動作を実施すると、適切な作業を指示して作業が適切な作業になるまでガイダンスを表示する（Ｓ０８）。

　また、手、指、前腕の少なくとも何れかの位置が仮想の無菌作業装置に対して適切な位置にあるか、例えば前腕の位置が仮想の無菌作業装置の前面シャッターの縁１０３’に接触又はそれを超えた位置となるか、座標を比較する（Ｓ０９）。仮想の無菌作業装置のデータは情報処理装置１の記憶部１４に記憶されている。接触したと判断された場合、仮想位置の開口部である仮想の無菌作業装置の前面シャッターの縁１０３’よりも下方に前腕が座標を変えて位置を変えるまで、ガイダンスを表示する（Ｓ１０）。この場合のガイダンスは、例えば図８に示すように、前面シャッターの縁１０３’と接触した前腕の辺りに表示することが有効である。また、ガイダンスとしては、前面シャッターの部分が赤色か黄色に変わるなどとしても有効である。

　手を差し入れて作業する無菌作業装置の場合は、開口部に設けられた空気流により、作業空間内は清浄に保たれるとともに、作業空間から細胞などが装置外に排出されない状態にある。しかし、開口部の空気流が乱れるような動作を行うと、その安定した状態が保たれないので、作業空間内の清浄度が悪化するなどの問題が生じる。

　そこで、仮想作業を実施している手、指、前腕の少なくとも何れかの動きが基準の速さ内にあるか、開口部の空気流を乱す位置に手や指が位置づいていないか、動作や位置が基準以内にあるか比較する（Ｓ１１）。ここで、手、指、前腕の動作とは、手、指、前腕の移動速度、移動方向や移動ベクトルの何れかを含むものである。

　この動作や位置に関する基準も情報処理装置１の記憶部１４に記憶しておき、基準を超えた場合には、その原因に合わせて基準内の動作となるようなガイダンスを表示する（Ｓ１２）。図９は、ステップＳ１２のガイダンスの一例として、前腕と前腕の間の空気流に乱れが生じる動作が有ったので、ゆっくりした動作を促すガイダンスが、気流の乱れを表す表示と共に表示された例である。

　以上のとおり、仮想作業をシミュレーションで実施している間にＳ０７、Ｓ０９及びＳ１１を繰り返して実行して、手、指、前腕の少なくとも何れかの位置や動きが不適切な状態になるとＳ０８、Ｓ１０若しくはＳ１２のガイダンス表示を実行する。

　設定した仮想作業が終了したら（Ｓ１３）、情報処理装置１は待機状態になる。

　図６に、Ｓ０７、Ｓ０９、Ｓ１１のステップを行う制御部１２の構成を示す。適切作業判定部１２１ではＳ０７の動作、すなわち、設定した仮想作業と使用者の行う仮想作業とを比較して適切な作業が行われているかを判定する。手指前腕適切位置判定部１２２ではＳ０９の動作、すなわち、手、指、前腕の少なくとも何れかの位置と仮想の無菌作業装置、例えば前面シャッターの縁の座標位置とを比較して手、指、前腕が適切な位置にあるかを判定する。手指前腕適切動作判定部１２３ではＳ１１の動作、すなわち、手、指、前腕の少なくとも何れかの動作が基準以内にあるか、例えば仮想作業を実施している手、指、前腕の少なくとも何れかの動きが基準の速さ内にあるか、開口部の空気流を乱す位置に手や指が位置づいていないかを判定する。制御部１２のこれらの処理部は、コンピュータにプログラムを組み込んでソフトウェアで構成することができる。そして、Ｓ０７、Ｓ０９、Ｓ１１のステップで適切でないと判定されれば、表示映像生成部１５で、無菌作業装置の作業領域を表示する画面上にガイダンスを含む表示映像を生成し、映像表示装置２に表示する。

　以上、本実施例においては、手指前腕検出部３を頭部装着タイプの映像表示装置２に取り付けて、赤外線入力部３４を複数設けて、手、指、前腕の３次元座標を位置情報として取得するようにしたが、グローブ型の手指前腕検出部としてもよい。その場合、前腕の座標を取得するために手首から肘までの間の位置が分かるセンサが必要となる。

　また、本実施例では映像表示装置２を頭部装着ディスプレイとしたが、平面ディスプレイでも良い。

　本実施例によれば、使用者の手や腕の画像が表示された無菌作業装置の作業領域内で各種作業が画面上で実施でき、作業に応じて表示が変化すると共に、手や腕が不適切な操作を行ったり、手や腕が不適切な作業領域に入ったりすると、注意を促す画像が表示される。無菌作業装置の作業領域に対して開口部から腕を入れて作業するためには、開口部と作業との位置関係が重要となるが、本実施例によれば、使用者に開口部を意識してシミュレーションを行うことができる。

　そして、実際の作業により近い作業環境を実現して、細胞培養作業の種々の操作を有効に模擬して行うことができる。

１…情報処理装置、２…映像表示装置、３…手指前腕検出部、１１…手指前腕情報入力部、１２…制御部、１３…手指前腕認識部、１４…記憶部、１５…表示映像生成部、１６…映像出力部、１７…通信部、１８…映像表示装置位置処理部、１９…位置解析部、２１…映像入力部、２２…映像表示装置制御部、２３…通信部、２４…記憶部、２５…感知部、２６…表示制御部、２７…右目用表示部、２８…左目用表示部、３１…手情報出力部、３２…手情報制御部、３３…赤外線出力部、３４…赤外線入力部、１００…無菌作業装置、１０１…作業空間、１０２…作業面、１０３…前面シャッターの縁、１０４…開口部、１０５…操作部、１０６…表示部、１０７…排気部、１０１’…仮想の無菌作業装置の作業空間、１０３’…仮想の無菌作業装置の前面シャッターの縁、１２１…適切作業判定部、１２２…手指前腕適切位置判定部、１２３…手指前腕適切動作判定部。

Claims

　手指前腕検出部と、情報処理装置と、映像表示装置とを備え、無菌作業装置の操作を模擬するシミュレーション装置であって、
　前記手指前腕検出部は、手、指、前腕の少なくとも何れかの位置を検出するものであり、
　前記情報処理装置は、前記手指前腕検出部で検出した手、指、前腕の少なくとも何れかの位置と仮想の無菌作業装置の座標位置とを比較して手、指、前腕が適切な位置にあるかを判定する手指前腕適切位置判定部を備え、
　前記映像表示装置は、手、指、前腕の少なくとも何れかが不適切な位置にあると判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示することを特徴とするシミュレーション装置。
　請求項１に記載のシミュレーション装置において、
　前記手指前腕適切位置判定部は、記憶部に記憶した無菌作業装置のデータと前記手指前腕検出部で検出した手、指、前腕の少なくとも何れかの位置とを比較することを特徴とするシミュレーション装置。
　請求項１に記載のシミュレーション装置において、更に、
　前記手指前腕検出部は、手、指、前腕の少なくとも何れかの動作を検出するものであり、
　前記情報処理装置は、手、指、前腕の少なくとも何れかの動作が基準以内にあるかを判定する手指前腕適切動作判定部を備え、
　前記映像表示装置は、手、指、前腕の少なくとも何れかの動作が基準以内に無いと判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示することを特徴とするシミュレーション装置。
　請求項３に記載のシミュレーション装置において、
　前記手指前腕適切動作判定部は、記憶部に記憶した基準の動作と前記手指前腕検出部で検出した手、指、前腕の少なくとも何れかの動作とを比較することを特徴とするシミュレーション装置。
　請求項３に記載のシミュレーション装置において、
　前記手、指、前腕の動作とは、手、指、前腕の移動速度または移動方向または移動ベクトルであることを特徴とするシミュレーション装置。
　請求項１に記載のシミュレーション装置において、更に、
　前記情報処理装置は、設定した仮想作業と使用者の行う仮想作業とを比較して適切な作業が行われているかを判定する適切作業判定部を備え、
　前記映像表示装置は、不適切な作業が行われていると判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示することを特徴とするシミュレーション装置。
　請求項６に記載のシミュレーション装置において、
　前記適切作業判定部は、記憶部に記憶した設定した仮想作業と使用者の行う仮想作業とを比較することを特徴とするシミュレーション装置。
　請求項１に記載のシミュレーション装置において、
　前記情報処理装置は、無菌作業装置の作業領域の画像および前記手指前腕検出部で検出した使用者の手、指、前腕の画像を生成する画像生成部を備え、
　前記映像表示装置は、前記作業領域の画像と手、指、前腕の画像を重ねて表示することを特徴とするシミュレーション装置。
　請求項１に記載のシミュレーション装置において、
　前記映像表示装置は、頭部装着型ディスプレイであるシミュレーション装置。
　請求項１に記載のシミュレーション装置において、
　前記手指前腕検出部は、赤外線を照射し、赤外線の反射を検出するものであるシミュレーション装置。
　請求項１に記載のシミュレーション装置において、
　前記手指前腕検出部は、テレビカメラであるシミュレーション装置。
　手指前腕検出部と、情報処理装置と、映像表示装置とを備え、無菌作業装置の操作を模擬するシミュレーション装置のシミュレーション方法であって、
　前記手指前腕検出部で、手、指、前腕の少なくとも何れかの位置を検出するステップと、
　前記情報処理装置で、前記手指前腕検出部で検出した手、指、前腕の少なくとも何れかの位置と無菌作業装置の座標位置とを比較して、手、指、前腕が適切な位置にあるかを判定するステップと、
　前記映像表示装置が、手、指、前腕の少なくとも何れかが不適切な位置にあると判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示するステップと、
を備えるシミュレーション方法。
　請求項１２に記載のシミュレーション方法において、更に、
　前記手指前腕検出部が、手、指、前腕の少なくとも何れかの動作を検出するステップと、
　前記情報処理装置で、手、指、前腕の少なくとも何れかの動作が基準以内にあるかを判定するステップと、
　前記映像表示装置が、手、指、前腕の少なくとも何れかの動作が基準以内に無いと判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示するステップと、
を備えるシミュレーション方法。
　請求項１３に記載のシミュレーション方法において、
　前記手、指、前腕の動作とは、手、指、前腕の移動速度または移動方向または移動ベクトルであることを特徴とするシミュレーション方法。
　請求項１２に記載のシミュレーション方法において、更に、
　前記情報処理装置で、設定した仮想作業と使用者の行う仮想作業とを比較して適切な作業が行われているかを判定するステップと、
　前記映像表示装置が、不適切な作業が行われていると判定された場合は、無菌作業装置の作業領域を表示する画面上に、注意を促すガイダンスを表示するステップと、
を備えるシミュレーション方法。