JP4607656B2 - 細胞操作シミュレータ、シミュレーション方法及びプログラム - Google Patents

細胞操作シミュレータ、シミュレーション方法及びプログラム Download PDF

Info

Publication number
JP4607656B2
JP4607656B2 JP2005134759A JP2005134759A JP4607656B2 JP 4607656 B2 JP4607656 B2 JP 4607656B2 JP 2005134759 A JP2005134759 A JP 2005134759A JP 2005134759 A JP2005134759 A JP 2005134759A JP 4607656 B2 JP4607656 B2 JP 4607656B2
Authority
JP
Japan
Prior art keywords
cell
virtual
pipette
micromanipulator
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005134759A
Other languages
English (en)
Other versions
JP2006313178A (ja
Inventor
万希志 中山
博司 楢崎
高司 福島
信行 友近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Priority to JP2005134759A priority Critical patent/JP4607656B2/ja
Publication of JP2006313178A publication Critical patent/JP2006313178A/ja
Application granted granted Critical
Publication of JP4607656B2 publication Critical patent/JP4607656B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Manipulator (AREA)

Description

マイクロマニピュレータを用いて、核抽出や核移植などの細胞操作を摸擬体験できる細胞操作シミュレータ、シミュレーション方法及びプログラムに関するものである。
従来では、顕微鏡下のマイクロマニピュレータによる細胞操作は生物学者などの専門家のみにより行われることが多く、それ以外の者は、専門家の実演や録画を見ることでしか、その細胞操作の実態を知ることができなかった。しかし、かかる実演や録画を見るだけで細胞操作を習得することは困難であり、専門家以外の者が安全かつ手軽に細胞操作を摸擬体験できる細胞操作シミュレータの開発が望まれていた。
この細胞操作シミュレータに関連する技術として、例えば医用シミュレータシステムが公知である(特許文献1参照)。ここでは、例えば眼球手術などの医療行為を対象に、摸擬用具としての「メス」を動かすなどの動作を計測信号として制御機構に取り込む。
この制御機構は、オペレータ操作の対象である「眼球」の状態変化情報(例えば「結膜切開では出血を伴う。」、「結膜では1ml/sの出血を伴う。」、「電気コテで止血可能。」等)を予め記憶しており、前記取り込んだ信号に基づいて図形幾何学を応用した「眼球」と「メス」との接触検知を行い、その接触検知時に前記状態変化情報に基づく「眼球」の変化(例えば「結膜切開では出血を伴う。」、「結膜では1ml/sの出血を伴う。」、「電気コテで止血可能。」等)を画面表示等するようになっている。
特開平11−219100号公報
しかしながら、特許文献1記載のシステムでは、摸擬用具としての「メス」とオペレータ動作の対象である「眼球」との図形幾何学上の接触検知と、それに伴う対象の状態変化(例えば眼球の切開など)に適用範囲が限られている。
すなわち、特許文献1記載のシステムでは、オペレータ動作の対象(すなわち「眼球」)のモデルはもっていても、それが置かれている環境(例えば眼球周囲の機構)、及び内部構造(眼球内の血管位置や状態など)のモデルを有していないので、例えば切開時における眼球の変形(例えば円形から特殊形状に変形する。)や移動(例えば並進や回転をする。)などは摸擬できず、シミュレータとしての精度は低い。
このため、特許文献1記載のシステムを、マイクロマニピュレータとの接触等により容易に移動又は変形するような細胞操作のシミュレーションに適用することはできなかった。
本発明は、かかる事情に鑑みてなされたもので、専門家以外の者が安全かつ手軽に細胞操作を摸擬体験できる細胞操作シミュレータ、シミュレーション方法及びプログラムを提供することを目的とするものである。
上記目的を達成するために請求項1記載の発明は、マイクロマニピュレータ及びその操作手段を備え、前記マイクロマニピュレータの操作対象である細胞モデルを前記操作手段により操作されるマイクロマニピュレータによって操作可能な細胞操作シミュレータであって、細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報含む、前記細胞モデルのモデル情報を記憶する記憶部と、操作手段の操作に応じてマイクロマニピュレータの変位を制御する制御手段と、制御手段により制御されたマイクロマニピュレータの変位を検知する検知手段と、検知手段により検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値を演算する演算手段と、演算手段により演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態を、検出手段により検知されたマイクロマニピュレータの変位と対応付けて表示する表示手段とを備え、細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含み、マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備え、演算手段は、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断する競合判断手段と、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消する移動手段と、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消する変形手段と、前記移動手段と前記変形手段とのいずれを適用するかを競合状態に応じて選択する選択手段とを備えたことを特徴とするものである。
請求項2記載の発明のように、細胞モデルの置かれた環境は、該細胞モデルに含まれる仮想の細胞本体の仮想的な移動又は変形を許容する仮想の3次元空間から構成されていることが好ましい。
請求項記載の発明のように、マイクロマニピュレータは、注入ピペットの先端部に設けられ、該注入ピペットを仮想の細胞本体内に仮想的に挿入するときに、所定の挿入力を前記注入ピペットに付与する挿入力付与手段と、第2の操作手段とを備え、制御手段は、第2の操作手段の操作に応じて挿入力付与手段の動作を制御するものであることが好ましい。
請求項記載の発明のように、表示手段は、仮想の細胞本体の仮想的な移動の画像、前記細胞本体の吸引ピペットへの仮想的な吸引、解放又はその際の変形の画像、前記細胞本体への注入ピペットの仮想的な挿入又はその際の変形の画像、注入ピペット先端への前記細胞本体内の仮想の核状体の仮想的な吸引又は前記核状体の前記細胞本体外での仮想的な排出の画像、及び、注入ピペット又は吸引ピペットの不適性操作時における前記細胞本体の仮想的な破損の画像の少なくとも1つの画像を表示可能であることが好ましい。
請求項記載の発明のように、細胞モデルの内部構造は、仮想の細胞本体を覆う細胞膜をさらに覆うような仮想の透明体をも含んでおり、記憶部は、前記透明体と前記細胞本体と前記核状体とについて各々独立した要素とする描画データを記憶するとともに、前記透明体と前記細胞本体との相対的な位置及び角度の情報、又は、前記細胞本体と前記核状体との相対的な位置及び角度の情報を更新可能に記憶するものであり、表示手段は、一要素の仮想的な移動に他要素を連動させて、それらの位置及び角度の情報に応じて描画データを更新することにより、各々の要素を重畳的に表示可能であることが好ましい。
請求項記載の発明のように、表示手段は、注入ピペットの仮想の細胞本体への挿入時に、仮想の透明体及びこの透明体に覆われた仮想の細胞膜の各々において、円形形状から楕円形状への変形、さらに楕円形状から陥入形状への変形を順に表示可能であることが好ましい。
請求項記載の発明のように、表示手段は、仮想の核状体の描画位置を更新するとともに、仮想の細胞本体の仮想的な移動により前記描画位置を更新し、注入ピペットにより前記核状体を仮想的に吸引する際に、注入ピペットの先端位置と前記核状体の当該時点における仮想的な位置とが所定距離内にある場合のみ注入ピペットによる前記核状体の仮想的な吸引状態を表示するものであることが好ましい。
請求項記載の発明のように、細胞モデルの描画における時間間隔として、操作手段の操作信号を取り込む第1の周期と、細胞モデルの仮想的な移動に伴う該細胞モデルの描画更新を行う第2の周期とを有し、表示手段は、第2の周期を第1の周期よりも短く設定して、操作手段の操作による吸引ピペット及び注入ピペットと細胞モデルとの競合状態を解消するための該細胞モデルの仮想的な移動又は変形を含む描画更新を複数シーンに分割して表示するものであることが好ましい。
請求項記載の発明のように、表示手段は、顕微鏡の接眼部に設けられて、マイクロマニピュレータの変位と対応付けられた細胞モデルの仮想的な移動又は変形の状態を表示するものであることが好ましい。
請求項1記載の発明は、マイクロマニピュレータ及びその操作手段を備え、前記マイクロマニピュレータの操作対象である細胞モデルを前記操作手段により操作されるマイクロマニピュレータによって操作可能な細胞操作シミュレータにおけるシミュレーション方法であって、細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報含む、前記細胞モデルのモデル情報を記憶部に記憶する第1工程と、操作手段の操作に応じてマイクロマニピュレータの変位を制御する第2工程と、第2工程で制御されたマイクロマニピュレータの変位を検知する第3工程と、第3工程で検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値を演算する第4工程と、第4工程で演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態を、第3工程で検知されたマイクロマニピュレータの変位と対応付けて表示する第5工程とを含み、細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含み、マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備え、第4工程では、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断し、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消するか、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消するかを競合状態に応じて選択することを特徴とするものである。
請求項1記載の発明は、マイクロマニピュレータ及びその操作手段を備え、コンピュータ管理下で、前記マイクロマニピュレータの操作対象である細胞モデルを前記操作手段により操作されるマイクロマニピュレータによって操作可能な細胞操作シミュレータに用いられるシミュレーションプログラムであって、前記コンピュータを、細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報含む、前記細胞モデルのモデル情報を記憶部に記憶する記憶手段と、操作手段の操作に応じてマイクロマニピュレータの変位を制御する制御手段と、制御手段により制御されたマイクロマニピュレータの変位を検知する検知手段と、検知手段により検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形のパラメータ値を演算する演算手段と、演算手段により演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態を、検出手段により検知されたマイクロマニピュレータの変位と対応付けて表示する表示手段として機能させ、細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含み、マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備え、演算手段は、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断する競合判断手段と、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消する移動手段と、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消する変形手段と、前記移動手段と前記変形手段とのいずれを適用するかを競合状態に応じて選択する選択手段とを備えたものとして機能することを特徴とするものである。
請求項1,1,1記載の発明によれば、細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報の少なくとも一方を含む、前記細胞モデルのモデル情報が記憶部に記憶され、操作手段の操作に応じてマイクロマニピュレータの変位が制御され、この制御されたマイクロマニピュレータの変位が検知され、この検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値が演算され、この演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態が、前記検知されたマイクロマニピュレータの変位と対応付けて表示されるので、マイクロマニピュレータとの接触等により容易に移動又は変形するような細胞の操作が容易となる。
すなわち、本発明では、細胞モデルのモデル情報として、本体(細胞)のみならず、細胞の置かれている環境に関する環境情報及び細胞の内部構造に関する内部情報の少なくとも一方が記憶部に記憶されており、前記検知されたマイクロマニピュレータの変位と前記記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値が演算される。
したがって、この演算されたパラメータ値から、操作による細胞自体の状態変化のみならず、環境中における状態変化又は細胞内部の状態変化をも考慮してこそ得られる細胞モデルの仮想的な移動又は変形の状態が、前記検知されたマイクロマニピュレータの変位と対応付けて表示され、高精度なシミュレーションを実現することができる。その結果、専門家以外の者であっても、安全かつ手軽に細胞操作を擬似体験できるようになる。
また、本発明によれば、細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含んでいるので、あたかも細胞本体と核とを含む実際の細胞操作を行っているかのような操作が可能となり、より高精度なシミュレーションを実現することができる。
さらに、本発明によれば、マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備えているので、顕微鏡ステージ上で吸引ピペット及び注入ピペットを用いて行う実際の細胞操作に近い、高精度なシミュレーションを実現することができる。
そして、本発明によれば、演算手段は、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断する競合判断手段と、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消する移動手段と、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消する変形手段と、前記移動手段と前記変形手段とのいずれを適用するかを競合状態に応じて選択する選択手段とを備えているので、両ピペットとの接触等によって容易に移動又は変形する通常の細胞操作に近い操作が可能となり、より高精度なシミュレーションを実現することができる。
請求項2記載の発明によれば、細胞モデルの置かれた環境は、該細胞モデルに含まれる仮想の細胞本体の仮想的な移動又は変形を許容する仮想の3次元空間から構成されているので、あたかも3次元空間における実際の細胞操作を行っているかのような操作が可能となり、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、マイクロマニピュレータは、注入ピペットの先端部に設けられ、該注入ピペットを仮想の細胞本体内に仮想的に挿入するときに、所定の挿入力を前記注入ピペットに付与する挿入力付与手段と、第2の操作手段とを備え、制御手段は、第2の操作手段の操作に応じて挿入力付与手段の動作を制御するものであるので、顕微鏡ステージ上で細胞内に注入ピペットを注入する実際の細胞操作に近い、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、表示手段は、仮想の細胞本体の仮想的な移動の画像、前記細胞本体の吸引ピペットへの仮想的な吸引、解放又はその際の変形の画像、前記細胞本体への注入ピペットの仮想的な挿入又はその際の変形の画像、注入ピペット先端への前記細胞本体内の仮想の核状体の仮想的な吸引又は前記核状体の前記細胞外での仮想的な排出の画像、及び、注入ピペット又は吸引ピペットの不適性操作時における前記細胞本体の仮想的な破損の画像の少なくとも1つの画像を表示可能であるので、あたかも実際の細胞操作を行っているような画像が得られ、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、細胞モデルは、仮想の細胞本体を覆う細胞膜をさらに覆うような仮想の透明体をも含んでおり、記憶部は、前記透明体と前記細胞本体と前記核状体とについて各々独立した要素とする描画データを記憶するとともに、前記透明体と前記細胞本体との相対的な位置及び角度の情報、又は、前記細胞本体と前記核状体との相対的な位置及び角度の情報を更新可能に記憶するものであり、表示手段は、一要素の仮想的な移動に他要素を連動させて、それらの位置及び角度の情報に応じて描画データを更新することにより、各々の要素を重畳的に表示可能であるので、透明体で覆われた細胞についての実際の細胞操作に近い、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、表示手段は、注入ピペットの仮想の細胞本体への挿入時に、仮想の透明体及びこの透明体に覆われた仮想の細胞膜の各々において、円形形状から楕円形状への変形、さらに楕円形状から陥入形状への変形を順に表示可能であるので、透明体で覆われた細胞本体についての実際の細胞操作に近い画像が得られ、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、表示手段は、仮想の核状体の描画位置を更新するとともに、仮想の細胞本体の仮想的な移動により前記描画位置を更新し、注入ピペットにより前記核状体を仮想的に吸引する際に、注入ピペットの先端位置と前記核状体の当該時点における仮想的な位置とが所定距離内にある場合のみ注入ピペットによる前記核状体の仮想的な吸引状態を表示するものであるので、核状体についても実際の細胞操作に近い画像が得られ、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、細胞モデルの描画における時間間隔として、操作手段の操作信号を取り込む第1の周期と、細胞モデルの仮想的な移動に伴う該細胞モデルの描画更新を行う第2の周期とを有し、表示手段は、第2の周期を第1の周期よりも短く設定して、操作手段の操作による吸引ピペット及び注入ピペットと細胞モデルとの競合状態を解消するための該細胞モデルの仮想的な移動又は変形を含む描画更新を複数シーンに分割して表示するものであるので、細胞モデルの仮想的な移動又は変形が滑らかに表示されるようになり、より高精度なシミュレーションを実現することができる。
請求項記載の発明によれば、表示手段は、顕微鏡の接眼部に設けられて、マイクロマニピュレータの変位と対応付けられた細胞モデルの仮想的な移動又は変形を表示するものであるので、あたかも顕微鏡のステージ上の操作を観測しているかのように見せて、ユーザに擬似体験をさせることが可能となる。
図1は本発明の一実施形態に係る細胞操作シミュレータの全体構成図、図2はマイクロマニピュレータの構成図である。また、図3は変位センサからコントローラへの電気信号の流れを示すブロック図、図4はマイクロマニピュレータの操作タイミングとCRTの描画タイミングとを示す説明図、図5はコントローラの機能ブロック図、図6及び図7は干渉計算等の説明図、図8及び図9はインジェクションピペット挿入時と引抜時の細胞の変形状態をそれぞれ示す説明図である。
このシミュレータ1は、図1に示すように、主として、顕微鏡2と、マイクロマニピュレータ3と、フットペダル(第2の操作手段)4と、電源5と、端子台6と、AD変換ボード7と、デジタルIOボード8と、CRT9と、キーボード9aと、コンロトーラ(コンピュータ)10とから構成されている。なお、顕微鏡2としては、生物顕微鏡として通常用いられる倒立型の顕微鏡が好適であるが、正立型の顕微鏡であってもよい。
マイクロマニピュレータ3は、さらに図2に示すように、前記顕微鏡2に向かってその左側に装着されるホールディングピペット(吸引ピペット)301と、その右側に装着されるインジェクションピペット(注入ピペット)302と、左右の3次元駆動アクチュエータ303,304と、左右のジョイスティック(操作手段)305,306と、左右のインジェクタ(吸引力等付与手段、注入力等付与手段)307,308と、左右のダイアル309,310と、変位センサ(検知手段)311,312,313,314,315,316,317,318と、圧電素子(挿入力付与手段)319とから構成されている。
なお、11は細胞モデルを構成する仮想の細胞(細胞本体)、12は細胞モデルを構成する仮想の核(核状体)である。すなわち、このシミュレータ1では、オペレータが顕微鏡2の左右に装備したホールディングピペット301及びインジェクションピペット302等を実際に操作して、仮想の細胞モデルを仮想的に操作するものである。したがって、実際の細胞を無駄にすることがなくなり、学術的、経済的なメリットがある。
ホールディングピペット301は、コントローラ10の管理下で、左のジョイスティック305の操作により3次元空間におけるXYZ軸方向に独立に微小移動するもので、例えばXYZ軸方向の各油圧シリンダからなる3次元駆動アクチュエータ303で駆動される。
インジェクションピペット302は、コントローラ10の管理下で、右のジョイスティック306の操作によりXYZ軸方向に独立に微小移動するもので、例えばXYZ軸方向の各油圧シリンダからなる3次元駆動アクチュエータ304で駆動される。
インジェクタ307は、ホールディングピペット301にチューブ320で接続されており、ダイアル309を一方向に回すことにより図示しない噴射バルブを閉じるとともに、図示しない吸引バルブを開いて(吸引バルブ信号ON)、インジェクタ307のシリンダ位置を軸方向の一方側に変位させることで、そのインジェクタ307内に負圧を発生させるものである。これにより、ホールディングピペット301に細胞11を吸引して固定すると仮想したときに、その吸引時にホールディングピペット301に加えられるであろう力と同等の力を当該ピペット301に付与することができるようになっている。
また、このインジェクタ307は、ダイアル309を他方向に回すことにより図示しない噴射バルブを開くとともに(噴射バルブ信号ON)、図示しない吸引バルブを閉じて、インジェクタ307のシリンダ位置を軸方向の一方側に変位させることで、そのインジェクタ307内に正圧を発生させるものである。これにより、ホールディングピペット301に固定した細胞11を開放すると仮想したときに、その開放時にホールディングピペット301に加えられるであろう力と同等の力を当該ピペット301に付与することができるようになっている。
ただし、実際の細胞は微細であるので、前記吸引時又は開放時にホールディングピペット301に加えられるであろう力は無視しうるほど小さいものとなる。したがって、現実的には、前記ダイアル309の操作ができさえすれば、この力と同等の力そのものは無視しても差し支えない。
インジェクタ308は、インジェクションピペット302にチューブ321で接続されており、ダイアル310を一方向に回すことにより図示しない噴射バルブを閉じるとともに、図示しない吸引バルブを開いて(吸引バルブ信号ON)、インジェクタ308のシリンダ位置を軸方向の一方側に変位させることで、そのインジェクタ308内に負圧を発生させるものである。これにより、インジェクションピペット302に核12を吸引すると仮想したときに、その吸引時にインジェクションピペット302に加えられるであろう力と同等の力を付与することができるようになっている。
また、このインジェクタ308は、ダイアル310を他方向に回すことにより図示しない噴射バルブを開くとともに(噴射バルブ信号ON)、図示しない吸引バルブを閉じて、インジェクタ308のシリンダ位置を軸方向の他方側に変位させることで、そのインジェクタ307内に正圧を発生させるものである。これにより、インジェクションピペットから核12を細胞11内に仮想的に注入又は細胞11外に排出すると仮想したときに、その注入又は排出時にインジェクションピペット302に加えられるであろう力と同等の力を付与することができるようになっている。
ただし、実際の細胞は微細であるので、前記注入又は排出時にインジェクションピペット302に加えられるであろう力は無視しうるほど小さいものとなる。したがって、現実的には、前記ダイアル310の操作ができさえすれば、この力と同等の力そのものは無視することとしても差し支えない。
変位センサ311〜318は、3次元駆動アクチュエータ303,304の可動部に取り付けられた接触式のセンサ(例えば圧電効果を利用したピエゾ素子)であって、左右のジョイスティック305,306によるホールディングピペット301及びインジェクションピペット302のXYZ軸方向の各移動量をそれぞれ電圧信号S1に変換するためのものである。
変位センサ317,318は、左右のダイアル309,310の可動部に取り付けられた接触式のセンサ(例えば圧電効果を利用したピエゾ素子)であって、両ダイアル309,310によるインジェクタ307,308の各シリンダ位置の軸方向における変位をそれぞれ電圧信号S2に変換するためのものである。
圧電素子319は、マイクロアクチュエータ(例えば圧電逆効果を利用したピエゾ素子)であって、フットペダル4の踏み動作に対応したオン信号(ピエゾ信号ON)S3を発生するものである。これにより、インジェクションピペット302の先端部を駆動して細胞11内に仮想的に挿入して仮想の細胞膜等を破ると仮想したときに、その挿入時にインジェクションピペット302に加えられるであろう力と同等の力を付与することができるようになっている。ただし、実際の細胞は微細であるので、前記挿入時にインジェクションピペットピペット302に加えられるであろう力は無視しうるほど小さいものとなる。したがって、現実的には、前記フットペダル4の踏み動作ができさえすれば、この力と同等の力そのものは無視しても差し支えない。
変位センサ311〜313,317からコントローラ10への電気信号の流れは図3に示す通りである。すなわち、図2及び図3において、ジョイスティック305の操作に伴うピペット位置の変位(XYZ軸方向)が3個の変位センサ311〜313によりそれぞれ検知されて電圧信号S1が発せられ、インジェクタ307の操作に伴うシリンダ位置の変位(一軸方向)が1個の変位センサ317により検知されて電圧信号S2が発せられる。なお、図示はしていないが、ジョイスティック306の操作と、インジェクタ308の操作とについても同様である。したがって、左右各4チャンネルの電圧信号S1,S2がAD変換ボード6を介してコントローラ10に取り込まれることになる。また、フットペダル4からのオン信号S3がデジタルIOボード8を介してコントローラ10に別途取り込まれるようになっている。
コントローラ10は、並行処理が可能な例えばパーソナルコンピュータ(PC)であって、変位センサ311〜318からの電圧信号S1,S2をAD変換ボード7経由で取り込む(操作)とともに、フットペダル4からのオン信号S3をデジタルIOボード8経由で取り込み(操作)、これらの電圧信号S1,S2及びオン信号S3からホールディングピペット301及びインジェクションピペット302の各位置を決定して両ピペット301,302の画像を生成(描画)し、また上記電圧信号S1,S2及びオン信号S3と、保持する内部状態とに従って細胞11の位置、変形を含む細胞画像を生成(描画)するものである。例えば図4に示すように、上記描画の更新周期(第2の周期)を、上記操作の更新周期(第1の周期)よりも短く設定することにより、移動過程をスムーズに見せることができる。
このコントローラ10は、図5に示すように、主として記憶部(記憶手段を含む。)101、制御部(制御手段)102、第1の演算部103、第2の演算部104、第3の演算部105、第4の演算部(演算手段)106、第5の演算部(演算手段)106a、第1の判断部107、第2の判断部108、第3の判断部109、第4の判断部110、第5の判断部111、第6の判断部112及び映像化部(表示手段)113を備えてなっており、ROM114、RAM115、CRT9、キーボード9aが電気的に接続されている。
ROM114は、各種プログラムや各種データを記憶しており、RAM115は、データを一時的に記憶するものである。制御部102、第1〜第5の演算部103〜106a、第1〜第6の判断部107〜112及び映像化部113は、例えばROM114に記憶されたシミュレーションプログラムを、シミュレーション時に図示しないCPUに読み込んで実行されることにより構築される。
記憶部101は、細胞11とホールディングピペット301又はインジェクションピペット302との力学的関係、細胞11の置かれている環境(例えば細胞11の移動や変形を許容する仮想の3次元空間)に関する環境情報と、細胞11の内部構造(例えば透明体、細胞膜で覆われた細胞本体、核等)に関する内部情報を含む、細胞11の各種情報(モデル情報)を記憶している。
制御部102は、ジョイスティック305,306の操作に応じて3次元駆動アクチュエータ303,304を駆動することにより、ホールディングピペット301及びインジェクションピペット302のXYZ軸方向の変位を制御するものである。
第1の演算部103は、ジョイスティック305,306の操作に応じて出力される変位センサ311〜313からの電圧信号S1に基づいて、ホールディングピペット301及びインジェクションピペット302のそれぞれの位置を演算するものである。例えば変位センサ311等からのXYZ軸方向の各電圧信号S1と両ピペット301,302の変位量との関係を示すテーブル等を前記記憶部101に記憶しておけば、変位センサ311等からの電圧信号S1をこのテーブルに代入することにより、両ピペット301,302の変位の量及び方向をそれぞれ演算できる。
第2の演算部104は、細胞位置パラメータを計算するものであって、例えば細胞11の中心位置などを計算する。また、ホールディングピペット301による細胞11の吸引固定時には、ホールディングピペット301の先端が細胞11と接するようにその細胞11の中心位置の修正処理を行う。
第3の演算部105は、細胞11とホールディングピペット301又はインジェクションピペット301との干渉計算を行うものである。
第4の演算部106は、干渉回避計算を行うものである。ここでは、第3の演算部105による干渉計算結果、図6(a)(b)に示すように、ホールディングピペット301とインジェクションピペット302との少なくとも一方の先端位置が細胞11内にある場合は、「干渉状態」にあると判断され(競合判断手段)、両先端位置が細胞11の外周上にくるように、細胞11を移動させて干渉を回避する(移動手段)。そのため、細胞移動量計算では、図2に示した左右のジョイスティック305,306の操作によるホールディングピペット301及びインジェクションピペット302の各位置変化に基づいて、細胞11の並行移動及び回転の各移動量と方向を計算する。
ところで、図6(b)に示すような一点干渉の場合の移動量は小さいが、図6(a)示すような二点干渉の場合は移動量が大きい場合がある。このため、スムーズな移動描画を実現するように、二点干渉の場合には「干渉回避移動中」の状態フラグを設ける。その初期値は記憶部101に記憶しているものとする。
そして、第4の演算手段106は、図7(c)の実線で示すような目標地点を計算し、映像化部113は、そこまでの細胞11の移動を、決められたピクセル単位で行う。目標地点に達するまでは、「干渉回避移動中」の状態フラグが設定され、操作量は無視されるが(実際には操作量読み込み時間内に干渉回避移動を行う)、目標地点に達すると、「干渉回避移動完了」の状態フラグが設定される。
また、二点干渉時、二点を結ぶ線分が中心を通る場合、その軸に沿って、細胞11は、図6(d)に示すように、楕円変形することにより干渉回避を行う(変形手段)。ただし、変形は一定の範囲とし、それを超える場合は強制的に干渉回避移動させる。
すなわち、第4の演算手段106は、図6(a)〜(d)に示す各競合状態に応じて、移動手段と変形手段のいずれか選択するようになっている(選択手段)。
第5の演算部106aは、力学的方程式、変形モデル及び衝突モデルを用いて細胞移動量等の計算を行うものである。
上記干渉回避後、ホールディングピペット301及びインジェクションピペット302の各変化量(移動ベクトル)から、第5の演算部106aは、細胞11の移動量を計算する。
この細胞移動量計算では、第5の演算部106aは、記憶部101に記憶しておいた細胞11とホールディングピペット301又はインジェクションピペット302との力学的関係に基づいて、ピペット操作による細胞11の並行移動、回転又は変形の量及び方向(細胞モデルの仮想的な移動の状態に関するパラメータ値)を計算する。力学方程式としては、図7に示すように、ホールディングピペット301及びインジェクションピペット302の力fを、細胞11を回転させずにそのまま移動させる力fpと回転させる力frとにわけて、それぞれで運動方程式をたてると、
−fp・cos(α)=m・dx/dt+cp・dx/dt ・・・(1)
−fp・sin(α)=m・dy/dt+cp・dy/dt ・・・(2)
fr・r=I・dθ/dt+cr・dθ/dt ・・・(3)
ここで、dx/dt,dx/dtはそれぞれX軸方向(図7の左右方向)の細胞11の移動速度及び移動加速度、dy/dt,dy/dtはそれぞれY軸方向(図7の上下方向)の細胞11の移動速度及び移動加速度、αはfpがX軸となす角度、mは細胞11の質量、cpは並行移動の粘性係数である。また、θ,dθ/dt,dθ/dtはそれぞれ細胞11の回転角度、回転角速度及び回転角加速度、rは細胞11の半径、Iは慣性係数、crは回転の粘性係数である。
これらを簡単化すると、
x1−x0=vx・Δt+r・cos(α)−r・cos(α+φ) ・・・(4)
y1−y0=vy・Δt+r・sin(α)−r・sin(α+φ) ・・・(5)
θ1−θ0=φ ・・・(6)
ここで、x1はX軸方向の原点x0からの移動量、y1はY軸方向の原点y0からの移動量、vxはX軸方向の細胞11の移動速度、vyはY軸方向の細胞11の移動速度、Δtは移動時間である。
この第5の演算部106aは、さらに前記力学的関係に基づいて、左右のジョイスティック305,306の操作による細胞11へのインジェクションピペット302の挿入状況を計算し、関節角制約条件付きバネマスモデルを用いてその挿入時の細胞形状の変形度合いq(θ)を計算し、運動量保存則を用いて衝突時の細胞11内での核12の並行移動又は回転の移動量と方向とを計算する。
q(θ)=r (−π<θ≦−π/2) ・・・(7)
=r−s・exp(−κ・│θ│) (−π/2<θ≦π/2)・・・(8)
=r (π/2≦θ≦π) ・・・(9)
ここで、s,κは定数である。
衝突モデルとして、A,B2つの細胞の衝突をモデル化すると、
・vA1+m・vB1=m・vA2+m・vB2 ・・・(10)
e=−{(vA2−vB2)・n}/{(vA1−vB1)・n} ・・・(11)
ここで、m,mはそれぞれの細胞の質量、vA1,vB1は衝突前の速度ベクトル、vA2,vB2は衝突後の速度ベクトル、eは反射係数、nは衝突時の法線ベクトルである。
ここで、第5の演算部106aによるインジェクションピペット302の挿入時の細胞変形計算について説明する。インジェクションピペット302の細胞11内への挿入は、ホールディングピペット301により細胞11が吸引固定されている場合に限る。細胞11の変形は、図8(a)〜(d)に示す挿入時の変形(円→楕円→特殊ひずみ→円復帰)、図9(a)〜(d)に示す引き抜き時の変形(円→楕円→特殊ひずみ→円復帰)の各状態を経る。ただし、引き抜き時の変形は小さく設定されているため、ほとんど変形の様子は見えない。
ここでは、楕円画像は、映像化部113により、元画像をX軸、Y軸方向に伸縮させることで表現する。「特殊ひずみ」画像は、挿入、引き抜き時のインジェクションピペット302の先端周辺のみを伸縮さることで表現する。楕円、特殊ひずみともに、変形限界が定義してあり、それを超えると、挿入或いは引き抜き完了と判断され、細胞形状は円に戻る。
なお、変形にあたって、インジェクションピペット302の先端が細胞11と接するように、細胞中心位置が修正される。インジェクションピペット302の先端を細胞11の透明体に挿入する際、及び核移植で細胞11内に挿入する際には、圧電素子319の操作(フットペダル4を踏む。)ことが必要である。それ以外は、挿入、引き抜きにつれ、細胞11の形状は自動的に変化する。
第1の判断部107は、映像化部113からビデオ出力されたCRT9上の選択画面において、オペレータが核抽出と核移植のいずれを選択したのかを判断するものである。例えばキーボード9aからキー「E」が入力されたときは、第1の判断部107は核抽出が選択されたと判断し、キー「P」が入力されたときは、第1の判断部107は核移植が選択されたと判断する。
第2判断部108は、細胞11がホールディングピペット301に接近し、かつインジェクタ307のダイアル309が回されたか否かを判断するものである。
第3の判断部109は、インジェクションピペット302が細胞11内の特定エリアに存在し、かつ圧電素子319からオン信号S3の発信があったか否かを判断するものである。
第4の判断部110は、例えばキーボード9aからキー「R」(リセットボタン)が入力されたか否かを判断するものである。
第5の判断部111は、第4の演算部106における細胞位置パラメータの計算後に、細胞11が干渉回避移動中であるか否かを判断するものである。
第6の判断部112は、第4の演算部106における干渉回避計算後に、細胞11の移動が必要か否かを判断するものである。
映像化部113は、記憶部101に記憶された各種情報(このうち細胞11、ホールディングピペット301及びインジェクションピペット302などの画像は、実画像から切り出したものを用いる)、第1〜第5の演算部103〜106aでの各演算結果及び第1〜第6の判断部107〜112の各判断結果に基づいて、画像を適切な変換処理の上、CRT9に画面表示するものである。これにより、ピペット操作による細胞11の並行移動又は回転状態を映像化する。また、細胞11内へのインジェクションピペット302の挿入状況、それが不適正であった場合は細胞11が破裂するなどの現象をも摸擬的に表示する。
この映像化部113は、具体的には細胞11を表示する画像として、表示テクスチャ領域の中から、前面に見える部分に相当する領域を切り出して、それを表示する。3次元の回転は、インジェクションピペット301で細胞11の上部、下部をなぜたときに起こる。そのような操作に応じて、切り出す領域の左上の座標を更新する。また、周辺部は、透明度を低くし、内円部は透明度を高くしている。これにより、ピントのあっている周辺部を明りょうに、それ以外をあいまいに表示する効果を出す。
ここで、映像化部113における描画処理について図10等を参照して説明する。細胞11の画像は、図10に示すように、透明体11a(外円)と、細胞膜11a(内円)の2つの画像から構成されている。2つの円の中心は一致している。画像は、内円、外円の2つの各々に対し、回転、変形計算を行った後、合成画像が作成される。
以下、本シミュレータの動作手順例を示す。なお、この動作によって、本発明の細胞操作シミュレーション方法が具現化される。
図10〜図23はシミュレーション表示画面例、図24は本シミュレータに適用可能なシミュレーションプログラムのメインルーチン、図25,図26はそのサブルーチン、図27はさらにそのサブルーチンを示す。
電源5を投入すると、まず図24のメインルーチンの実行が開始され、コントローラ10の映像化部113によりCRT9上には、図18に示すような核の抽出の初期画面と、図19に示すような核移植の初期画面とが並んで表示される(ステップS1)。両図に示すように、核抽出の場合は、細胞11内に核12の画像表示があるが、核移植の場合は、細胞11内には核12はなく、インジェクションピペット302内に移植される核12の画像が表示されている。
オペレータは、キーボード9aによりキー入力を行い、核抽出と核移植のいずれかを選択する(ステップS2)。オペレータがキー「E」を押して核抽出を選択すると、第1の判断部107は、この選択が行われたことを判断してステップS3が実行されるが、オペレータがキー「P」を押して核移植を選択すると、第1の判断部107は、この選択が行われたことを判断してステップS4が実行される。
ここでは、オペレータがキー「E」を押して核抽出を選択したとする。
すると、図25のサブルーチンが実行され、コントローラ10は、変位センサ311〜313からの電圧信号S1を基に、第1の演算部103で、ホールディングピペット301及びインジェクションピペット302のそれぞれの位置を演算し、両ピペット位置を映像化部113で映像化してCRT9にビデオ出力する。また、第4の演算部106で細胞11の並行移動、回転又は変形の量と方向とを演算し、その細胞11の移動等をも映像化部113で映像化してCRT9にビデオ出力する(ステップS301)。
そして、オペレータは、CRT9を見て、ホールディングピペット301及びインジェクションピペット302で細胞11を押したり、挟んだりして回転させ、或いは並行移動させることができる。また、インジェクションピペット302は、高さ方向に、細胞11の上下部に接触し、細胞11を回転させたりして、接触せずに細胞11を通過させることができる。
具体的には、映像化部113によりCRT9上には、図12,図13に示すような核抽出の画面が表示される。同図に示す画面内には、透明体11a(外円)と細胞膜11b(内円)とを有する細胞11、核12、ホールディングピペット301、インジェクションピペット302が表示されている。オペレータは、ホールディングピペット301とインジェクションピペット302を、それぞれのジョイスティック305,306で操作して、細胞11を回転、並行移動させ、図14に示すように、細胞11内で核12がホールディングピペット301の位置にくるように調整する。
この際、図27のサブルーチンを実行する。ここでは、第2の演算部104は、まず細胞位置パラメータ計算を行う。すなわち細胞11の中心などの細胞位置パラメ−タを計算する。ホールディングピペット301による細胞11の吸引固定時には位置修正処理を行う(ステップS501)。第5の判断部111は、状態フラグ(後述)により細胞11が干渉回避移動中か否かを判断する(ステップS502)。
そして、第5の判断部111が干渉回避移動中と判断した場合には(ステップS502でYes)、第3の演算部105によりインジェクションピペット302と細胞11との干渉チェックを行い(ステップS503)、同じく第3の演算部105によりホールディングピペット301と細胞11との干渉チェックを行う(ステップS504)。しかる後に、第4の演算部106による干渉回避計算を行う(ステップS505)。
一方、第5の判断部111が干渉回避移動完了と判断した場合には(ステップS502でNo)、上記ステップS502,S504をスキップして、第4の演算部106による干渉回避計算を行う(ステップS505)。具体的には、干渉回避のための細胞11の変形、移動ベクトルを計算する。
ついで、第6の判断部112は、前記干渉結果に基づき細胞11の移動が必要か否かを判断する(ステップS506)。干渉がなければ、細胞11の移動が不要となる。そこで、第6の判断部112が細胞11の移動は必要でないと判断した場合には(ステップS506でNo)、状態フラグを「干渉回避移動完了」にして(ステップS507)、さらに第4の演算部106による細胞移動量計算を行う(ステップS508)。しかる後に、映像化部113は細胞11の表示位置を更新し(ステップS510)、描画処理を行ってから(ステップS511)、図25のサブルーチンにリターンする。
一方、干渉があれば、細胞11の移動が必要となる。そこで、第6の判断部112が細胞11の移動は必要であると判断した場合には(ステップS506でYes)、状態フラグを「干渉回避移動中」にして(ステップS509)、映像化部113は細胞11の表示位置を更新し(ステップS510)、描画処理を行ってから(ステップS511)、図25のサブルーチンにリターンする。
図25のサブルーチンにおいて、第2の判断部108は、前記干渉チェック結果等に基づき細胞11がホールディングピペット301に接近し、かつインジェクタ307のダイアル309が回されたか否かを判断する(ステップS302)。そして、第2の判断部108が細胞11はホールディングピペット301に接近していないか、或いはインジェクタ307のダイアル309は回されていないと判断したときは(ステップS302でNo)、前のステップS301に戻る。
一方、第2の判断部108が細胞11はホールディングピペット301に接近し、かつインジェクタ307のダイアル309が一方向に回された(吸引バルブ信号がON)と判断したときは(ステップS302でYes)、細胞11をホールディングピペット301で吸引して固定する(ステップS303)。すると、図14に示すように、細胞11がホールディングピペット301側に吸い寄せられて、そこに固定される。
このとき、コントローラ10は、変位センサ311〜318からの電圧信号S1を基に、第1の演算部103で、両ピペット301,302の位置を演算し、そのピペット位置を映像化部113で映像化してCRT9にビデオ出力する。また、第4の演算部106で細胞11の並行移動、回転又は変形の量と方向とを演算し、その細胞11の並行移動等をも映像化部113で映像化してCRT9にビデオ出力する(ステップS304)。
そして、第3の判断部109は、前記干渉チェック結果に基づきインジェクションピペット302が細胞11内の特定エリアに存在し、かつ圧電素子319からオン信号S3の発信があったか否かを判断する(ステップS305)。そして、第3の判断部109がインジェクションピペット302は細胞11内の特定エリアに存在していないか、或いは圧電素子319からオン信号S3の発信はないと判断したときは(ステップS305でNo)、前のステップS304に戻る。
一方、第3の判断部109がインジェクションピペット302は細胞11内の特定エリアに存在し、かつ圧電素子319からオン信号S3の発信はあったと判断したときは(ステップS305でYes)、映像化部113で細胞11に穴があき、ホールディングピペット301が挿入される様子を映像化して、CRT9にビデオ出力する。
具体的には、オペレータは、図15〜図18に示すように、インジェクションピペット302を細胞11内に挿入する。細胞11の透明体11a(外円)と細胞膜11b(内円)とをそれぞれ「突き破る」にあたっては、オペレータが操作する図1のフットペダル4に連動する圧電素子319を使用する。圧電素子319を使用せずに、インジェクションピペット302を挿入すると、図23に示すような、「細胞破裂」となる。この場合には、インジェクションピペット302を引き抜き後、内容物が流出し、薄くなる(図23中では破線で示す。)といった破裂画像がアニメーション表示される。
そこで、オペレータは、インジェクションピペット302が、細胞11の透明体11aにあたり、少し形状がひずんだところで、フットペダル4を踏み、圧電素子319を使ってインジェクションピペット302を細胞11の透明体11a内に挿入する(図15)。すると、細胞11の透明体11aが破れて、外円が円に戻る(図16)。このように細胞11の透明体11a内にインジェクションピペット302を挿入した後、インジェクションピペット302を大きく動かした場合などは、前記「細胞破裂」となる。したがって、オペレータは、細心の注意でもって、インジェクションピペット302の挿入を行う必要がある。さらにインジェクションピペット302を挿入し、内円が窪んだ段階で、再びフットペダル4を踏み、圧電素子319を使ってインジェクションピペット302を細胞11の細胞膜11a内に挿入する(図17)。すると、細胞11の細胞膜11aが破れて、内円も円に戻る。そして、核12の部分に到達するまで、インジェクションピペット302を細胞11内に押し込む(図18)。
ついで、変位センサ311〜318からの電圧信号S1を基に、第1の演算部103で、両ピペット301,302の位置を演算し、そのピペット位置を映像化部113で映像化してCRT9にビデオ出力する。また、第4の演算部106で細胞11の並行移動、回転又は変形の量及び方向を演算し、その細胞11の移動等をも映像化部113で映像化してCRT9にビデオ出力する(ステップS308)。
ついで、オペレータは、図19に示すように、細胞11内の核12の吸引を行う(ステップS309)。そのために、オペレータは、インジェクタ308のダイアル310を回して、核12をインジェクションピペット302内に吸引する。この吸引により細胞11内の核12の表示が消える。そして、インジェクションピペット302を引き抜いていくと、図20に示すように、インジェクションピペット302の先端に核12が付着している様子が表示される(ステップS310)。さらにインジェクタ308のダイアル310を回して、図21に示すように、インジェクションピペット302先端部に付着した核12をインジェクションピペット302外へ排出する(ステップS311)。そして、細胞11をホールディングピペット301から開放してから(ステップS312)、図24に示すメインルーチンにリターンする。なお、ステップS310〜S312についても、上記ステップS301,S302等と同様の変位信号に基づく両ピペットの位置の演算等がそれぞれ行われるのであるが、ここでは重複説明を省略している。
そして、図24のメインルーチンに戻り、第4の判断部110で前記リセットボタンが押圧されたか否かを判断する(ステップS5)。そして、第4の判断部110でリセットボタンが押圧されたと判断すると(ステップS5でYes)、上記ステップS1に戻る。一方、第4の判断部110でリセットボタンが押圧されていないと判断したときは(ステップS5でNo)、シミュレーションは終了する。
引き続いて、上記ステップS2でオペレータがキーボード9aからのキー入力として、キー「P」を押して、核移植を選択したとする。
すると、第1の判断部107は、この選択が行われたことを判断してステップS4が実行され、図26に示すサブルーチンに入る。その前に、CRT9上には、前記図11に示したような核移植の初期画面が表示されている。また、核移植ではもとの細胞11内には核12がない点で核抽出時とは異なるものの、その他の点では移植時の各画面は、前記図12〜18とほぼ同様の画面となる。この場合にも、核抽出と同様に、インジェクションピペット302及びホールディングピペット301で細胞11を移動させ、ホールディングピペット301に吸引して、固定する(ステップS401〜S403)。なお、コントローラ10の動作は上記ステップS301〜S303と同様である。
ついで、オペレータは、インジェクションピペット302を細胞11内に挿入する。ここでも、核抽出の場合と同様、細胞11の透明体11a(外円)を「突き破る」場合と、細胞膜11b(内円)を「突き破る」場合との2回、オペレータは図1のフットペダル4を踏んで圧電素子319を使う(ステップS404〜S406)。なお、コントローラ10の動作は上記ステップS304〜S306と同様である。
ついで、オペレータは、インジェクタ308のダイアル310を回して、核12を細胞11内に注入すると、図22に示すように、その核12が細胞11内に表示される(ステップS407〜S409)。なお、コントローラ10の動作は上記ステップS307〜S309と同様である。そして、インジェクションピペット302を引き抜き(ステップS410)、さらに細胞11をホールディングピペット301から開放してから(ステップS411)、図24に示すメインルーチンにリターンする。このステップS410〜S411についても、上記ステップS401,S402等と同様の変位信号に基づく両ピペットの位置の演算等がそれぞれ行われるのであるが、ここでは重複説明を省略している。
図24のメインルーチンに戻り、第4の判断部110でリセットボタンが押圧されたか否かを判断する(ステップS5)。そして、第4の判断部110でリセットボタンが押圧されたと判断すると(ステップS5でYes)、上記ステップS1に戻る。一方、第4の判断部110でリセットボタンが押圧されていないと判断したときは(ステップS5でNo)、シミュレーションは終了する。
以上説明したように、本実施形態によれば、細胞11の置かれた環境に関する環境情報及び細胞11の内部構造に関する内部情報を含む、細胞11のモデル情報が記憶部101に記憶され、ジョイスティック305,306の操作に応じてマイクロマニピュレータ3のホールディングピペット301及びインジェクションピペット302の各変位が制御され、この制御されたホールディングピペット301及びインジェクションピペット302の各変位が変位センサ311〜318で検知され、この検知されたホールディングピペット301及びインジェクションピペット302の各変位と記憶部101に記憶された細胞11のモデル情報とに基づいて、細胞11の仮想的な並行移動、回転といった移動又は変形の量と方向とが演算され、この演算値に基づく細胞11の仮想的な移動又は変形の状態が、前記検知されたホールディングピペット301及びインジェクションピペット302の各変位と対応付けてCRT9上に表示されるので、ホールディングピペット301又はインジェクションピペット302との接触等により容易に移動又は変形するような細胞11の操作が容易となる。
すなわち、本実施形態では、細胞モデルのモデル情報として、本体(細胞11)のみならず、細胞11の置かれている環境に関する環境情報及び細胞11の内部構造に関する内部情報の少なくとも一方が記憶部101に記憶されており、変位センサ311〜318で検知されたホールディングピペット301及びインジェクションピペット302の各変位と前記記憶部101に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値が演算される。
したがって、この演算されたパラメータ値から、操作による細胞11自体の状態変化のみならず、環境中における状態変化又は細胞11内部の状態変化をも考慮してこそ得られる細胞モデルの仮想的な移動又は変形の状態が、変位センサ311〜318で検知されたホールディングピペット301及びインジェクションピペット302の各変位と対応付けて表示され、高精度なシミュレーションを実現することができる。その結果、専門家以外の者であっても、安全かつ手軽に細胞11の操作を擬似体験できるようになる。
なお、上記実施形態では、細胞11の置かれた環境に関する環境情報及び細胞11の内部構造に関する内部情報の両者を含む、細胞11のモデル情報を用いているが、環境情報と内部情報の少なくとも一方の情報を含む、細胞11のモデル情報を用いることとしてもよい。
また、細胞11の環境情報は、細胞11の移動又は変形を許容する仮想的な2次元空間であってもよいし、細胞11の内部情報は、透明体11aを持たず、細胞膜11bでのみ覆われた細胞本体と、核12とを有するものであってもよい。その場合でも、インジェクションピペット302を細胞11内に挿入する際に、細胞11の細胞膜11bを「突き破る」必要があるものの、この場合には1回だけ、オペレータは図1のフットペダル4を踏んで圧電素子319を使うことで足りる。
また、上記実施形態では、CRT9を設けているが、これに代えて、或いはこれとともに顕微鏡2の接眼部に投影される液晶表示部を設けてもよい。この液晶表示部によれば、オペレータはあたかも自分が顕微鏡下で現実の細胞操作を行っているかのようなリアリティ感が得られる。CRT9では、オペレータ以外の者が同時にオペレータによる細胞操作を見ることができるので、適切な助言等を行って、そのオペレータに細胞操作を習得させるのに好適である。
また、上記実施形態では、マイクロマニピュレータ3として、ジョイスティック305,306で操作されるホールディングピペット301及びインジェクションピペット302の両ピペットを備えているが、両者を兼ねるピペットを2本設けて役割を切換可能としてもよい。その場合には左右での逆操作が行えて便利である。
また、ジョイスティック305,306の代わりに、例えばトラックボール等の他の操作手段を設けてもよい。
また、シミュレータ1では、実際の細胞の吸引等は要求されないので、インジェクタ307,308を省略して、ダイアル309,310だけを設けることとしてもよい。同様に、圧電素子319を省略して、フットペダル4だけを設けることとしてもよい。フットペダル4に代えて、キーボード9aからのキー入力を用いてもよい。
また、上記実施形態では、細胞11の核抽出と核移植との2種類の細胞操作のシミュレーションを想定しているが、いずれか一方の細胞操作であってもよいし、別の細胞操作を加えてもよい。また、細胞モデルにおける細胞11として胚盤胞を用いるとともに、核12に代えてES細胞(胚性幹細胞)を用いることとしてもよい。
また、上記実施形態では、細胞11と核12とは、いずれも単数である場合を説明しているが、細胞11と核12との一方或いは両方を、複数として、それぞれが互いに衝突等する場合であっても、シミュレーションすることができる。
本発明の一実施形態に係る細胞操作シミュレータの全体構成図である。 マイクロマニピュレータの構成図である。 変位信号のコントローラへの取り込みルートを示すブロック図である。 マイクロマニピュレータの操作タイミングとCRTの描画タイミングとの関係を示す説明図である。 コントローラの機能ブロック図である。 干渉計算等の説明図である。 干渉計算等の説明図である。 インジェクションピペット挿入時の細胞の変形状態を示す説明図である。 インジェクションピペット引抜時の細胞の変形状態を示す説明図である。 シミュレーション画面の一例(初期画面)を示す図である。 シミュレーション画面の一例(初期画面)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核抽出時)を示す図である。 シミュレーション画面の一例(核移植時)を示す図である。 シミュレーション画面の一例(細胞破裂時)を示す図である。 本シミュレータの動作手順のメインルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。 サブルーチンを示すフローチャートである。
1 シミュレータ(細胞操作シミュレータ)
2 顕微鏡
3 マイクロマニピュレータ
4 フットスイッチ(第2の操作手段)
5 電源
6 端子台
7 AD変換ボード
8 デジタルIOボード
9 CRT
9a キーボード
10 コントローラ(コンピュータ)
11 細胞(細胞モデル、細胞本体)
11a 透明体(細胞モデル、透明体)
11b 細胞膜(細胞モデル)
12 核(細胞モデル、核状体)
101 記憶部(記憶手段を含む。)
102 制御部(制御手段)
103 第1の演算部
104 第2の演算部
105 第3の演算部
106 第4の演算部(演算手段)
106a 第5の演算部(演算手段)
107 第1の判断部
108 第2の判断部
109 第3の判断部
110 第4の判断部
111 第5の判断部
112 第6の判断部
113 映像化部(表示手段)
114 ROM
115 RAM
301 ホールディングピペット(吸引ピペット)
302 インジェクションピペット(注入ピペット)
303,304 3次元駆動アクチュエータ
305,306 ジョイスティック(操作手段)
307,308 インジェクタ(吸引力等付与手段、注入力等付与手段)
309,310 ダイアル
311〜318 変位センサ(検知手段)
319 圧電素子(挿入力付与手段)
320,321 チューブ

Claims (11)

  1. マイクロマニピュレータ及びその操作手段を備え、前記マイクロマニピュレータの操作対象である細胞モデルを前記操作手段により操作されるマイクロマニピュレータによって操作可能な細胞操作シミュレータであって、
    細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報含む、前記細胞モデルのモデル情報を記憶する記憶部と、
    操作手段の操作に応じてマイクロマニピュレータの変位を制御する制御手段と、
    制御手段により制御されたマイクロマニピュレータの変位を検知する検知手段と、
    検知手段により検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値を演算する演算手段と、
    演算手段により演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態を、検出手段により検知されたマイクロマニピュレータの変位と対応付けて表示する表示手段とを備え
    細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含み、
    マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備え、
    演算手段は、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断する競合判断手段と、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消する移動手段と、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消する変形手段と、前記移動手段と前記変形手段とのいずれを適用するかを競合状態に応じて選択する選択手段とを備えたことを特徴とする細胞操作シミュレータ。
  2. 細胞モデルの置かれた環境は、該細胞モデルに含まれる仮想の細胞本体の仮想的な移動又は変形を許容する仮想の3次元空間から構成されていることを特徴とする請求項1記載の細胞操作シミュレータ。
  3. マイクロマニピュレータは、注入ピペットの先端部に設けられ、該注入ピペットを仮想の細胞本体内に仮想的に挿入するときに、所定の挿入力を前記注入ピペットに付与する挿入力付与手段と、第2の操作手段とを備え、
    制御手段は、第2の操作手段の操作に応じて挿入力付与手段の動作を制御するものであることを特徴とする請求項1又は2記載の細胞操作シミュレータ。
  4. 表示手段は、仮想の細胞本体の仮想的な移動の画像、前記細胞本体の吸引ピペットへの仮想的な吸引、解放又はその際の変形の画像、前記細胞本体への注入ピペットの仮想的な挿入又はその際の変形の画像、注入ピペット先端への前記細胞本体内の仮想の核状体の仮想的な吸引又は前記核状体の前記細胞本体外での仮想的な排出の画像、及び、注入ピペット又は吸引ピペットの不適性操作時における前記細胞本体の仮想的な破損の画像の少なくとも1つの画像を表示可能であることを特徴とする請求項3記載の細胞操作シミュレータ。
  5. 細胞モデルの内部構造は、仮想の細胞本体を覆う細胞膜をさらに覆うような仮想の透明体をも含んでおり、
    記憶部は、前記透明体と前記細胞本体と前記核状体とについて各々独立した要素とする描画データを記憶するとともに、前記透明体と前記細胞本体との相対的な位置及び角度の情報、又は、前記細胞本体と前記核状体との相対的な位置及び角度の情報を更新可能に記憶するものであり、
    表示手段は、一要素の仮想的な移動に他要素を連動させて、それらの位置及び角度の情報に応じて描画データを更新することにより、各々の要素を重畳的に表示可能であることを特徴とする請求項1〜4のいずれか1項に記載の細胞操作シミュレータ。
  6. 表示手段は、注入ピペットの仮想の細胞本体への挿入時に、仮想の透明体及びこの透明体に覆われた仮想の細胞膜の各々において、円形形状から楕円形状への変形、さらに楕円形状から陥入形状への変形を順に表示可能であることを特徴とする請求項5記載の細胞操作シミュレータ。
  7. 表示手段は、仮想の核状体の描画位置を更新するとともに、仮想の細胞本体の仮想的な移動により前記描画位置を更新し、注入ピペットにより前記核状体を仮想的に吸引する際に、注入ピペットの先端位置と前記核状体の当該時点における仮想的な位置とが所定距離内にある場合のみ注入ピペットによる前記核状体の仮想的な吸引状態を表示するものであることを特徴とする請求項1〜6のいずれか1項に記載の細胞操作シミュレータ。
  8. 細胞モデルの描画における時間間隔として、操作手段の操作信号を取り込む第1の周期と、細胞モデルの仮想的な移動に伴う該細胞モデルの描画更新を行う第2の周期とを有し、表示手段は、第2の周期を第1の周期よりも短く設定して、操作手段の操作による吸引ピペット及び注入ピペットと細胞モデルとの競合状態を解消するための該細胞モデルの仮想的な移動又は変形を含む描画更新を複数シーンに分割して表示するものであることを特徴とする請求項1〜7のいずれか1項に記載の細胞操作シミュレータ。
  9. 表示手段は、顕微鏡の接眼部に設けられて、マイクロマニピュレータの変位と対応付けられた細胞モデルの仮想的な移動又は変形の状態を表示するものであることを特徴とする請求項1〜8のいずれか1項に記載の細胞操作シミュレータ。
  10. マイクロマニピュレータ及びその操作手段を備え、前記マイクロマニピュレータの操作対象である細胞モデルを前記操作手段により操作されるマイクロマニピュレータによって操作可能な細胞操作シミュレータにおけるシミュレーション方法であって、
    細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報含む、前記細胞モデルのモデル情報を記憶部に記憶する第1工程と、
    操作手段の操作に応じてマイクロマニピュレータの変位を制御する第2工程と、
    第2工程で制御されたマイクロマニピュレータの変位を検知する第3工程と、
    第3工程で検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形の状態に関するパラメータ値を演算する第4工程と、
    第4工程で演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態を、第3工程で検知されたマイクロマニピュレータの変位と対応付けて表示する第5工程とを含み、
    細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含み、
    マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備え、
    第4工程では、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断し、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消するか、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消するかを競合状態に応じて選択することを特徴とする細胞操作シミュレーション方法。
  11. マイクロマニピュレータ及びその操作手段を備え、コンピュータ管理下で、前記マイクロマニピュレータの操作対象である細胞モデルを前記操作手段により操作されるマイクロマニピュレータによって操作可能な細胞操作シミュレータに用いられるシミュレーションプログラムであって、
    前記コンピュータを、
    細胞モデルが置かれた環境に関する環境情報及び該細胞モデルの内部構造に関する内部情報含む、前記細胞モデルのモデル情報を記憶部に記憶する記憶手段と、
    操作手段の操作に応じてマイクロマニピュレータの変位を制御する制御手段と、
    制御手段により制御されたマイクロマニピュレータの変位を検知する検知手段と、
    検知手段により検知されたマイクロマニピュレータの変位と記憶部に記憶された細胞モデルのモデル情報とに基づいて、細胞モデルの仮想的な移動又は変形のパラメータ値を演算する演算手段と、
    演算手段により演算されたパラメータ値に基づく細胞モデルの仮想的な移動又は変形の状態を、検出手段により検知されたマイクロマニピュレータの変位と対応付けて表示する表示手段として機能させ
    細胞モデルの内部構造は、仮想の細胞本体と仮想の核状体とを含み、
    マイクロマニピュレータは、顕微鏡に装着されそれぞれ独立に微小移動可能な吸引ピペット及び注入ピペットと、吸引ピペットに仮想の細胞本体を仮想的に吸引して固定するときに、所定の吸引力を前記吸引ピペットに付与する吸引力等付与手段と、仮想の細胞本体に対して仮想の核状体を仮想的に注入又は排出するときに、所定の注入力又は排出力を前記注入ピペットに付与する注入力等付与手段とを備え、
    演算手段は、仮想の細胞本体の仮想的な移動又は変形の状態に関するパラメータ値を演算するにあたって、注入ピペット又は吸引ピペットの先端位置が、前記細胞本体の仮想的な存在範囲と重なる競合状態にあるかどうかを判断する競合判断手段と、競合状態と判断されたときに前記細胞本体を仮想的に移動させることにより競合状態を解消する移動手段と、競合状態と判断されたときに前記細胞本体を仮想的に変形させることにより競合状態を解消する変形手段と、前記移動手段と前記変形手段とのいずれを適用するかを競合状態に応じて選択する選択手段とを備えたものとして機能することを特徴とする細胞操作シミュレーションプログラム。
JP2005134759A 2005-05-06 2005-05-06 細胞操作シミュレータ、シミュレーション方法及びプログラム Expired - Fee Related JP4607656B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005134759A JP4607656B2 (ja) 2005-05-06 2005-05-06 細胞操作シミュレータ、シミュレーション方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005134759A JP4607656B2 (ja) 2005-05-06 2005-05-06 細胞操作シミュレータ、シミュレーション方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2006313178A JP2006313178A (ja) 2006-11-16
JP4607656B2 true JP4607656B2 (ja) 2011-01-05

Family

ID=37534702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005134759A Expired - Fee Related JP4607656B2 (ja) 2005-05-06 2005-05-06 細胞操作シミュレータ、シミュレーション方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4607656B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6604922B2 (ja) * 2016-08-23 2019-11-13 憲隆 福永 顕微授精訓練装置
CN110157742B (zh) * 2019-05-28 2022-09-30 南开大学 一种基于微流道的机器人化体细胞核移植操作方法
JP6956236B2 (ja) * 2019-08-14 2021-11-02 憲隆 福永 顕微授精訓練装置
JP6744464B2 (ja) * 2019-08-14 2020-08-19 憲隆 福永 顕微授精訓練装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004518175A (ja) * 2001-01-24 2004-06-17 ゲーテボルク ユニバーシティ サージカル サイエンス アクチボラゲット 外科手順をシミュレーションするための方法およびシステム
JP2004344491A (ja) * 2003-05-23 2004-12-09 Hideo Fujimoto 仮想手術シミュレーションシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS628114A (ja) * 1985-07-05 1987-01-16 Yoji Umetani マイクロマニピユレ−タにおける微小操作子の顕微鏡視野下への移動装置
JP3198130B2 (ja) * 1991-11-07 2001-08-13 株式会社東芝 手術シミュレーションシステム
JP3349751B2 (ja) * 1993-03-26 2002-11-25 オリンパス光学工業株式会社 触覚呈示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004518175A (ja) * 2001-01-24 2004-06-17 ゲーテボルク ユニバーシティ サージカル サイエンス アクチボラゲット 外科手順をシミュレーションするための方法およびシステム
JP2004344491A (ja) * 2003-05-23 2004-12-09 Hideo Fujimoto 仮想手術シミュレーションシステム

Also Published As

Publication number Publication date
JP2006313178A (ja) 2006-11-16

Similar Documents

Publication Publication Date Title
US11580882B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
US11013559B2 (en) Virtual reality laparoscopic tools
US11944401B2 (en) Emulation of robotic arms and control thereof in a virtual reality environment
US11270601B2 (en) Virtual reality system for simulating a robotic surgical environment
CN112201131B (zh) 用于医疗程序培训的模拟器系统
JP5414380B2 (ja) 画像処理方法及び画像処理装置
US20100302145A1 (en) Virtual desktop coordinate transformation
EP3346372A1 (en) Virtual tool manipulation system
JP4607656B2 (ja) 細胞操作シミュレータ、シミュレーション方法及びプログラム
CN102483843A (zh) 透视图的连续确定
JP2010042466A (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
CN109739360B (zh) 一种力反馈装置对人体软组织仿真的控制系统与方法
JP2010257081A (ja) 画像処理方法及び画像処理装置
JPH10240791A (ja) 機器操作性評価支援装置
US5418712A (en) Manipulation performance evaluating apparatus for evaluating manipulation performance of a commodity having operating parts
US20220276709A1 (en) Integrating Tactile Nonvirtual Controls in a Virtual Reality (VR) Training Simulator
EP3621084A1 (en) A system and a method for generating a virtual reality environment for exercises via a wearable display
JPS60195613A (ja) 検証機能付ロボツト教示装置
KR20160005841A (ko) 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
JP5005585B2 (ja) 操作装置及びその方法
CN111429569B (zh) 一种基于5g+增强现实的人体解剖教学方法
Franz et al. Assessment of a user centered interface for teleoperation and 3d environments
JPH06289773A (ja) 発電所運転訓練装置
JP2023038781A (ja) ロボット教示システム、ロボット教示方法およびロボット教示用グローブ
US20040113931A1 (en) Human-computer interfaces incorporating haptics and path-based interaction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees