JP3973614B2 - マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 - Google Patents

Description

本発明は、マニピュレータ装置、操作システム、画像処理装置、プログラム、および装置制御方法に関する。

従来より、細胞のような微小試料に対して選択的に物質の注入等の操作を行う場合に、顕微鏡の視野内で標的とする試料に対して針やピペット等の操作具を保持したマニピュレータを３次元的に位置決めし、処置をすることが行われている。このとき、一般的には操作具と試料もしくは容器との間の相対的な位置関係を、観察による焦点のボケ具合等で把握しながら操作することが要求され、熟練を要するものとなっている。

例えば下記特許文献１では、これら作業の操作性を向上させるため、操作具を容器底面に対して直接接触させ、その接触状況を顕微鏡観察で検出する方法を採用している。すなわち、操作具及び容器底面の焦点の一致、もしくは、操作具の撓み変形等を確認することにより、このときの操作具の高さを基準高さとして登録する。そして、予測される試料サイズと操作具の高さ方向の移動量に基づき、試料、操作具および容器底面の高さ関係を管理する。
そして、これらの高さ関係を座標と共に模式的に表示して作業者に認識させることで、３次元的な位置関係を把握させ、操作性を向上させるものとしている。この他の例としては、操作具と容器底面とを接触させず、顕微鏡の焦点間の距離により試料、操作具、容器底面の高さ関係を読み取ったり、または、操作具を試料に対して接触させることで基準高さを検出している。
特開平６−１０９９７９号公報

生細胞(大きさ１０μｍ〜２０μｍ程度)等の耐性の低い試料に対して物質の注入等の操作を行う場合、試料内に挿入する操作具は、侵襲を抑えるために先端が極力鋭利で細径であることが求められる。特に、核や神経細胞等においては、先端径が1μｍ以下、さらには光学分解能をも上回る極小径のピペットや針でなければ高い確率で細胞死を引き起こすことになり、操作効率を著しく損なう虞がある。
しかしながら、従来のマニピュレータ装置のように、観察で接触が検出できる程の歪を生じるよう、操作具を容器の底面や試料に接触させることは、高い確率で操作具を折損し、作業性を著しく阻害する虞がある。また、顕微鏡の合焦位置で判断する場合には、検出精度が焦点深度、すなわち光学系の波長や開口数に依存するため、常に十分とは言えず、同様に操作具を折損し易いものとなっている。また、回折限界により先端を光学的に観察すること自体が困難な条件もある。

本発明は、上記事情に鑑みてなされたもので、撮像しても写らないほど微細な操作具の先端位置を、折損することなく正確に求めることができる手段の提供を目的とする。また、この手段により、操作具及び操作対象物間の３次元的な位置情報を正確に得て装置制御に反映し、侵襲を抑えた操作対象物の操作を高い効率で行うことができるようにすることも目的とする。

本発明は、上記課題を解決するために以下の手段を採用した。
すなわち、請求項１に記載のマニピュレータ装置は、光学的分解能を上回る微細な先端を有し、顕微鏡によって観察される微小な操作対象物に当該先端が接触又は挿入されて当該操作対象物を操作する操作手段と、前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに、前記操作手段を保持する保持手段と、前記操作手段の先端を検出できない撮影解像度限界を有し、前記保持手段を含む画像を撮影する撮像手段と、前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する推定手段と、を備えることを特徴とする。

また、請求項２に記載のマニピュレータ装置は、請求項１に記載のマニピュレータ装置において、前記操作対象物が、生体試料を含むことを特徴とする。

また、請求項３に記載のマニピュレータ装置は、請求項２に記載のマニピュレータ装置において、前記生体試料が、生体細胞を含むことを特徴とする。

また、請求項４に記載のマニピュレータ装置は、請求項１に記載のマニピュレータ装置において、前記操作手段が、前記操作対象物に接触又は挿入される針状の操作具であることを特徴とする。

また、請求項５に記載のマニピュレータ装置における操作手段の先端位置の推定方法は、微小な操作対象物に光学的分解能を上回る微細な先端を接触または挿入して当該操作対象物を操作する操作手段を備えるマニピュレータ装置における当該操作手段の先端位置を推定する方法であって、前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに前記操作手段を保持する保持手段が含まれる画像を、前記操作手段の先端を検出できない撮影解像度限界を有する撮像手段によって撮影する工程と、前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する工程と、を有することを特徴とする。

上記解決手段を採用する本発明によれば、光学的分解能を上回るような極微細な先端を有する操作具に対しても、これを接触させて折損させる恐れが無い上に、その先端の水平方向および高さ方向の位置を正確に認識することが可能となる。そして、同じく認識される操作対象物の操作対象点との相対位置を制御して、物質の注入等の操作を低侵襲かつ効率的に行うことができる。なお、これらの動作を制御する方法は手動でも自動でも良い。

本発明のマニピュレータ装置及び当該装置における操作手段の先端位置の推定方法に関する各実施形態についての説明を、図面を参照しながら以下に行うが、本発明がこれらのみに限定解釈されるものでないことは勿論である。

＜第１実施形態＞
まず、図１〜図６を参照しながら、第１実施形態を説明する。なお、図１は、システム構成を示す概略構成図である。また、図２は、装置外観を示す斜視図である。また、図３は、保持部の形状を示す図であって、（ａ）が左側面図、（ｂ）が正面図、（ｃ）が底面図を示している。また、図４（ａ）〜（ｄ）は、画像処理による参照形状から、操作具の先端位置を認識する方法を説明する図であり、（ａ）及び（ｃ）は正面図、（ｂ）及び（ｄ）は底面図である。また、図５は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。また、図６は、マニピュレータ装置によるインジェクション動作を説明するためのフローチャート図である。

本実施形態のマニピュレータ装置は、細胞の核に微細針状の操作具を接触または挿入させ、物質を注入するインジェクションを行ったり、細胞に電圧や振動による刺激等を加える操作を行ったり、さらには細胞内の器官や物質の採取を行ったりするための装置であり、細胞の操作、観察、さらには記録までを一括して行う操作システム（図示略）の一部をなしている。なお、この操作システムは、図示を省略するが、前記マニピュレータ装置と、このマニピュレータ装置から送信される各種情報を表示してこれをユーザーに提供するモニタと、前記マニピュレータ装置を外部から制御する計算機と、前記マニピュレータ装置のマニピュレータを交換する交換手段等を備えて構成されている。なお、前記モニタは、マニピュレータ装置自体に備えさせるものとしても良い。

そして、このマニピュレータ装置は、撮影解像度限界よりも小さい寸法を有し、細胞（操作対象物）を操作する操作具（操作手段）と、この操作具を保持し、撮影による検出が可能な（撮影解像度限界よりも大きい）寸法を有する保持部（保持手段）と、この保持具及び細胞を含む画像を取得する画像取得手段の一部をなす撮像手段と、前記画像に基づき、前記操作具の先端の位置を推定する画像処理手段（推定手段）とを備えて概略構成されている。なお、前記画像は、マニピュレータ装置自体に備えられた前記撮像手段が撮影することによって取得しても良いし、または、マニピュレータ装置には含まれない何らかの別手段が撮影した画像を画像取得手段が取り込むものとしても良い。
そして、前記画像処理手段は、前記画像から認識した前記保持具のイメージ情報に基づき、前記操作具の先端の位置を推定することができるようになっている。なお、本発明で言う「イメージ情報」とは、前記保持部の外形や、この保持部に付されたバーコード等の記号など、映し出された保持部の画像（映像イメージ）に基づき、操作具の先端位置を３次元的に求めるための参照基準を示す。

以上について図面を参照しながら具体的に説明すると、図１及び図２に示すように、このマニピュレータ装置は、容器Ｙが載置されるＸＹステージ１と、このＸＹステージ１の上方に配置されたマニピュレータ２Ａ１と、このマニピュレータ２Ａ１を保持する操作軸３と、この操作軸３を保持するＺステージ４と、これらＸＹステージ１、操作軸３及びＺステージ４を制御する制御部５と、容器Ｙ内の生体試料（細胞Ｓ）を２方向から撮像する撮像手段６，７と、これら撮像手段６，７で撮像された画像を取り込んで画像処理する画像処理手段８と、容器Ｙ内に照明光を供給する照明手段９（図１では省略）とを備えて概略構成されている。
なお、マニピュレータ２Ａ１は、操作軸３に保持される保持部２と、この保持部２に保持される操作具２ａとを備えて構成されている。また、前記モニタには、保持部２、細胞Ｓ、そして後述の方法により推定された操作具２ａの先端位置に関する情報（この情報は、情報生成手段を兼ねる画像処理手段８によって生成される。）などが表示されるものとなっている。

そして、このマニピュレータ装置では、細胞Ｓを収容する容器Ｙの位置をＸＹステージ１で位置決めするとともに、マニピュレータ２Ａ１の位置をＺステージ４に備わっている各アクチュエータで位置決めすることができるようになっている。マニピュレータ２Ａ１を挿入方向（ＸＹステージ１上の載置面に対して垂直なＺ軸方向でかつ真下に向かう方向）に移動させる場合には、操作軸３により駆動する。ＸＹステージ１を駆動するアクチュエータ、Ｚステージ４を駆動するアクチュエータ、そして操作軸３を駆動するアクチュエータなどの各アクチュエータ類は、例えば、パルスモータやピエゾを駆動源とするとともに、リニアガイド等を用いて直進精度を確保し、さらにはその移動量および速度をパルス管理で制御するようにしている。

前記容器Ｙは、上方が開口し、光学観察に適した透明部材で底面および側面が構成されている。これに収容される各細胞Ｓは、容器Ｙ内に保持された培養液中に浸された状態で、容器Ｙの底面に対して接着保持される。
容器Ｙの底面に対して直交方向の撮像方向を有する撮像手段６と、前記画像処理手段８とにより、マニピュレータ２Ａ１を構成する保持部２先端に保持されている針などの操作具２ａの先端位置ｘと、細胞Ｓの核Ｃの重心位置との相対的な位置関係を、ＸＹ平面（ＸＹステージ１の載置面に平行な平面）上において求めることができるようになっている。撮像手段６は、図示しないレンズとＣＣＤ（光学撮像素子）とを組み合わせたカメラであり、保持部２と観察領域内の細胞Ｓとのそれぞれを視野内に収めることができる。なお、これら撮像手段６及び画像処理手段８は、細胞Ｓの核Ｃの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段８の制御は、制御部５が行うようにしても良い。

容器Ｙの底面に平行な撮像方向を有する他の撮像手段７は、前記画像処理手段８との組み合わせにより、操作具（針）２ａの最下端（先端）の高さ方向位置と、細胞Ｓの近傍における容器Ｙの底面との高さ方向位置との間の相対的位置関係を求めることができるようになっている。
操作具２ａの接触高さまたは挿入開始高さは、細胞Ｓの予測寸法に基づいて容器Ｙの底面からの高さ寸法として求められる。なお、この他にも、操作具２ａを細胞Ｓに接触させた際の撮像手段７による撮影画像の変化から、操作具２ａの接触高さ又は挿入開始高さ、さらには挿入深さを求めるようにしても良い。
撮像手段７は、前記撮像手段６と同様に、図示しないレンズとＣＣＤ（光学撮像素子）を組み合わせたカメラであり、保持部２と観察領域内の細胞Ｓとのそれぞれを視野内に収めることができる。なお、これら撮像手段７及び画像処理手段８は、細胞Ｓの核Ｃの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段８の制御は、制御部５が行うようにしても良い。

前記制御部５は、画像処理手段８上で認識した操作具２ａと細胞Ｓの接触または挿入開始点との位置関係により、３次元的に前記各アクチュエータを制御して両者の相対位置を合致させ、さらに操作具２ａを細胞Ｓに接触または核Ｃまで挿入させ、溶液の吐出によるインジェクションや、電圧付与による刺激の印加などの操作を行わせるようになっている。

図３（ａ）〜（ｃ）に示すように、保持部２には、操作具２ａの先端位置を求める際の参照基準となる複数の基準面（イメージ情報）２ｂ，２ｃ，２ｄが形成されている。基準面２ｂ，２ｃは、図３（ｃ）に示すように保持部２を底面視した場合に、針状の操作具２ａが点となる位置で互いに交差するように設計・製造されている。より詳しく言うと、共に鉛直平面である２つの基準面２ｂ，２ｃが互いに交差する稜線と、操作具２ａの軸線とが同軸をなすようになっている。したがって、ＸＹ平面上における操作具２ａの先端位置ｘは、保持部２を底面視して基準面２ｂ，２ｃの交差点を探すだけで、求めることが可能となっている。

同様に、基準面２ｄは、図３（ｂ）に示すように保持部２を正面視した場合に直線をなし、この直線の延長線が、前記稜線の延長線と交差する点が、操作具２ａの先端位置ｘに一致するように設計・製造されている。したがって、Ｚ方向における操作具２ａの先端位置ｘは、保持部２を正面視して前記稜線の延長線と基準面２ｄがなす直線の延長線とが交差する点を探すだけで、求めることが可能となっている。
以上説明のようにして、保持部２の外形をなす基準面２ｂ，２ｃ，２ｄを参照基準として、操作具２ａの先端位置ｘを３次元的に求めることが可能となる。

保持部２の画像を画像処理手段８が画像処理することによって操作具２ａの先端位置ｘを認識する方法について、より具体的に説明する。なお、この方法としては、下記（１）の認識方法（上述）に加え、（２）の認識方法も採用可能である。
（１）第１の認識方法
図４（ａ）に示すように、保持部２を正面視した画像を取得し、前記稜線を含む延長線である直線Ｌ２と、基準面２ｄがなす直線を含む延長線である直線Ｌ１との交点Ｘを画像処理で求める。さらに、図４（ｂ）に示すように、保持部２を底面視した画像を取得し、基準面２ｃがなす直線の延長線である直線Ｌ３と、基準面２ｂがなす直線の延長線である直線Ｌ４との交点Ｘを画像処理で求める。このようにして、３次元的に求められた交点Ｘが、操作具２ａの先端位置ｘとして認識できる。

（２）第２の認識方法
図４（ｃ）に示すように、保持部２を側面視した場合の外形Ｌ５（稜線）をパターン形状として予め記憶しておくとともに、この外形Ｌ５に対する操作具２ａの先端位置ｘも併せて記憶しておく。同様に、図４（ｄ）に示す底面視した場合の外形Ｌ６（稜線）をパターン形状として予め記憶しておくとともに、この外形Ｌ６に対する操作具２ａの先端位置ｘも併せて記憶しておく。そして、認識を行う際には、外形Ｌ５及び外形Ｌ６の画像を取得し、予め記憶しておいた保持部２のパターン形状と先端位置ｘとの相対的な位置関係に基づいて、操作具２ａの先端位置ｘを認識する。

保持部２と操作具２ａとの相対位置関係に関して、製造精度の不足から先端位置ｘの推定精度に誤差が生じる場合には、これら２つの認識方法のうち、製造後の検査結果を基に先端位置ｘを求める第２の認識方法を選択するのが望ましい。
また、図２７（ａ），（ｂ）に示すように、図４（ａ），（ｂ）に示すものとは形状寸法の異なるものも含めて複数種類の保持部２を適宜選択して用いたい場合には、各保持部２の参照基準と形状パターンを先端位置ｘと関連付けたテーブル等を前記画像処理手段８に予め記憶しておき、先端位置ｘの認識を行う際に、選択した保持部２の形状パターンを呼び出し、この形状パターンに基づいて先端位置ｘを求めるようにすることも可能である。ただし、これは上記第２の認識方法を採用する場合であり、上記第１の認識方法を用いる場合には、形状パターンを記憶しておく必要はない。

さらには、保持部２の外形の代わりに、幾何学形状の配列を参照情報として用いることも可能である。具体的に言うと、例えば図２８（ａ），（ｂ）に示すように、バーコードや２次元コード等の情報Ｉを持たせておき、この情報Ｉを画像上で確認して読み込むことにより、保持部２の情報（先端位置ｘの情報を含む情報）を認識することが容易になる。
なお、上記の画像処理の段階では、前記撮像手段６，７により撮像した画像が映し出される画面上に前記直線Ｌ１〜Ｌ４や外形Ｌ５，Ｌ６と、これらによって求められた先端位置ｘとを模式的に表示することにより、このマニピュレータ装置を操作するオペレータが動作の適否を容易に確認することが可能となる。
以上のようにして操作具２ａの先端位置ｘを求める制御部（推定手段）５は、図５に示すように、画像から認識した細胞Ｓが存在する所定の位置（例えば、細胞Ｓの上面でかつ核Ｃの重心の直上位置）に、画像処理上の基準となる点Ｐ１を設定し、さらに、この画像に基づき、操作具２ａの先端位置ｘと前記点Ｐ１との相対的な位置関係を推定する位置関係推定手段としての役目を兼ね備えたものとなっている。

以上説明の構成を有する本実施形態のマニピュレータ装置を用いて、細胞Ｓに対してインジェクション等の操作を行う際の具体的な流れについて、図６を参照しながら以下に説明する。
まず、ステップＳ１において、細胞Ｓを収容した容器ＹをＸＹステージ１上にセットし、顕微鏡光学系、すなわち、容器Ｙの底面に直交する撮像方向を有する撮像手段６において、細胞Ｓに焦点を合わせる。
そして、続くステップＳ２において、細胞Ｓの予備観察を行い、インジェクション等の操作対象となる細胞Ｓを選定する。

そして、続くステップＳ３，Ｓ４において、選択した細胞Ｓが観察に適した位置に来るよう、ＸＹステージ１をマニュアル移動で動かし、視野を調節する。
そして、続くステップＳ５において、細胞Ｓを前記撮像手段６で撮影する。
そして、続くステップＳ６において、得られた画像に画像処理を施すことにより、核Ｃの重心位置を画像内の２次元座標として認識する。

そして、続くステップＳ７において、マニピュレータ２Ａ１の位置をＺステージ４により降下させ、前記撮像手段６での観察に適した既定高さに位置決めする。
そして、続くステップＳ８において、保持部２の参照形状（外形など）に焦点を合わせ、保持部２を前記撮像手段６で撮影する。
そして、続くステップＳ９において、得られた画像に前述の方法で画像処理を施すことにより、操作具２ａの先端位置ｘを画像内の２次元座標として認識する。

そして、続くステップＳ１０において、容器Ｙの底面に平行な水平方向の撮像光学系７により、容器Ｙの側壁面越しに保持部２の参照形状（外形など）及び容器Ｙの底面を同一視野内で焦点を合わせて観察し、撮影する。
そして、続くステップＳ１１において、得られた画像に画像処理を施すことにより、保持部２に保持されている操作具２ａの先端位置ｘと容器Ｙの底面との距離を認識する。
そして、続くステップＳ１２において、保持部２に保持されている操作具２ａの先端位置ｘと細胞Ｓの核ＣとのＸＹ方向の位置関係、及び、容器Ｙの底面とのＺ方向の位置関係とを算出する。さらに、操作具２ａの先端位置ｘと核Ｃ上方の細胞Ｓの上端位置（接触または挿入開始点）との相対位置を算出する。

そして、続くステップＳ１３〜Ｓ１５において、各アクチュエータを３次元的に制御して先端位置ｘ及び挿入開始点間の相対位置を一致させる。一致しない場合は、一致するまで位置微調整を繰り返す。
そして、位置決め完了後のステップＳ１６において、操作軸３を接触または挿入深さ分だけ駆動し、操作具２ａを細胞Ｓに接触または挿入させた後、インジェクションもしくは刺激等の操作を行う。この操作が完了した後は、操作軸３を退避させ、最後にＺステージ４を既定高さまで退避させる。
そして、続くステップＳ１７において、別の細胞Ｓに対するインジェクション等の操作を連続して行うかを判断し、連続して行うと判断（Ｙｅｓ）した場合には、ステップＳ１８に進み、ここで次の細胞Ｓを操作するのに必要な前処理を行ってから、前記ステップＳ３へと進む。
ステップＳ１７において継続して次の細胞Ｓを操作しないと判断（Ｎｏ）した場合には、インジェクション等の操作が終了する。

以上説明のように、本実施形態のマニピュレータ装置は、従来技術の課題を解決する一手段として、下記（ａ）から（ｆ）に示す構成要素を備える手段を採用した。
（ａ）生体試料を底面において保持した状態で光学的に観察可能な容器：ここで言う容器は、例えば前記容器Ｙのことであり、その底壁面や側壁面を通して外部から内部の状態を観察できればよく、前述の形状のものに限らず、その他の形状の容器も採用可能である。また、この容器の内部に収容する操作対象物も、生体試料（例えば前記細胞Ｓ）に限らず、微細な操作具（例えば前記操作具２ａ）で操作されるものであれば良く、その他の操作対象物を収容するものとしても良い。

（ｂ）微細な操作具を有し、この操作具を保持する保持部が、容器の底面に直交あるいは平行な方向で観察される形状において、その先端位置との関係が確定されている参照形状を有し、生体試料に対し操作具を接触または挿入させて操作を行う手段：ここで言う操作具は、例えば前記操作具２ａ、保持部は例えば前記保持部２、そして操作を行う手段は例えば前記操作軸３をそれぞれ示している。
操作具としては、本実施形態のように針状のものに限らず、少なくとも一部が撮影解像度限界よりも小さい寸法を有するものであればよく、必要に応じてその他の形状のものを採用しても良い。
同様に、保持部は、その形状寸法及びこれに付された情報（例えばバーコードなど）などが撮影された画像から確認できるものであれば良く、図示して説明した形状のものに限らず、その他の任意の形状寸法の保持部が採用可能である。したがって、任意形状を有する複数の保持部に対して対応することが可能である。
同様に、操作を行う手段は、前記操作軸３のみに限らず、保持部を操作対象物に接近・離間させる駆動機構と、操作具を介して操作対象物に薬液を供給する薬液供給機構など、インジェクションや刺激等の操作に要する全ての構成を含む。

（ｃ）保持部を容器の底面に直交あるいは平行な方向で観察して画像を取り込む撮像手段：ここで言う撮像手段は、例えば前記撮像手段６及び前記撮像手段７であり、少なくとも保持部の画像が撮影できれば良く、その撮影方式及び台数、そして配置に関しては上述及び図示のものに限らず、その他の撮影方式及び台数、そして配置を採用しても良い。
また、この撮像手段は、少なくとも保持部を画像内に写せれば良く、操作具が画像内に入る（実際には見えないので、正しくは操作具があると推測される空間部分が画像内に入る）ようにしてもしなくてもよい。

（ｄ）取り込まれた画像を処理し、画像内の形状から特定される点の座標を認識する画像処理手段：ここで言う画像処理手段は、例えば前記画像処理手段８である。なお、本実施形態では、この画像処理手段８が制御部５から独立している場合を例に説明したが、これに限らず、制御部５に画像処理手段８の機能を併せ持たせるものとしても良い。

（ｅ）操作具先端と生体試料との相対位置を３次元的に移動および位置決めするアクチュエータ：ここで言うアクチュエータは、例えば前記ＸＹステージ１及びＺステージ４であり、操作具／保持部及び容器間の相対的位置を調整できればよく、上述及び図示の構成に限らず、その他構成を有するアクチュエータ機構も採用可能である。
例えば、容器側を上下方向（Ｚ方向）に移動させるとともに、操作具／保持部側を水平方向（ＸＹ方向）に移動させるようにしても良い。さらには、容器側及び操作具／保持部側の両方とも、上下方向（Ｚ方向）及び水平方向（ＸＹ方向）に移動可能としても良い。

（ｆ）アクチュエータの移動を含む生体試料への操作を制御すると共に、画像処理手段と情報の授受を行い、画像処理手段の制御も行う制御手段：ここで言う制御手段は、例えば前記制御部５であり、本実施形態のようにマニピュレータ装置内に装備しても良いし、もしくは、マニピュレータ装置に接続された他の計算機にこの役目を行わせるようにしても良い。

そして、これら（ａ）から（ｆ）の構成要素を備えることにより、下記の作用を得ることができるものとなっている。
・すなわち、撮像手段（前記撮像手段６，７）により保持部（前記保持部２）を容器（前記容器Ｙ）の底面に直交及び平行な２方向から観察して撮影する。
・画像処理手段（前記画像処理手段８）により操作具（前記操作具２ａ）の先端位置を保持部の参照形状に基づいて仮想的に特定してその座標を認識する。
・撮像手段により、容器に保持される生体試料（前記細胞Ｓ）を底面に直交あるいは平行な方向から観察して撮影する。
・画像処理手段により、画像上で指定される生体試料の操作対象点の座標を認識する。
・制御手段（前記制御部５）により、操作具の先端位置と生体試料の操作対象点との座標同士の相対位置関係を認識する。
・制御手段により、操作具の先端が生体試料の操作対象点付近になるように移動させて生体試料に操作具が接触または挿入可能となるようアクチュエータ（前記ＸＹステージ１及びＺステージ４）を３次元的に制御する。
・制御手段により、操作具を生体試料へ接触または挿入させ、インジェクションや刺激等の操作を行う。

そして、上記作用を行うことにより、下記の効果を得ることが可能となる。
すなわち、光学的分解能を上回るような極微細な操作具（前記操作具２ａ）であっても、接触させて折損させる恐れが無く、その先端の水平方向および高さ方向の位置を正確に認識することができる。そして、同じく認識される生体試料（前記細胞Ｓ）の操作対象点との相対位置を制御して、物質の注入等の操作を低侵襲かつ効率的に行うことができる。なお、これらの動作を制御する方法は、手動でも自動でも良い。

さらに、本実施形態のマニピュレータ装置は、前記相対位置情報として保持部２の外形状（イメージ情報）を採用し、画像処理手段８が、保持部２の外形状を基準とする相対的な位置として、操作具２ａの先端位置ｘを求める構成を採用した。
この構成によれば、その画像処理手段８が、撮像された保持部２の外形状を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具２ａの先端位置ｘを求めるものであるので、より正確に操作具２ａの先端位置ｘを求めることが可能となる。

さらに、本実施形態のマニピュレータ装置は、前記座標基準として用いる保持部２の外形状が、操作具２ａの先端位置ｘで延長線が交差する複数の直線部を備え、これら直線部が、保持部２を底面と正面の２方向から見たそれぞれの場合で画像として撮影可能である構成を採用した。
この構成によれば、操作具２ａの先端位置ｘで延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具２ａの先端位置ｘを３次元的に求めることが可能となる。

＜第２実施形態＞
続いて、図７及び図８を参照しながら、本発明の第２実施形態の説明を以下に行う。図７は、システム構成を示す概略構成図である。また、図８は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態は、ＣＣＤを用いた前記撮像手段６，７の代わりに、投光素子１１，１２と受光素子１３，１４との組み合わせを採用した点が特徴的となっている。
さらに、容器Ｙの底面に平行な方向の光を受光する受光素子１４を、レーザ透過型の寸法測定機構としている。そして、操作具２ａと容器Ｙの底面との高さ方向の位置関係を認識するにあたり、参照形状として用いられる保持部２の最下面（但し保持部２の形状が参照形状として認識できる必要な部分を含む）と、容器Ｙの底面もしくは細胞Ｓとが、投光素子１２から発せられる光路内に入るように配置し、投光素子１２から出射されて受光素子１４に入射するレーザ光の分布状態から、容器Ｙの底面もしくは細胞Ｓとの間の間隔を測定し、設計・製造時に既知となっている操作具２ａの長さを差し引いて算出する。すなわち、図８（ｂ）を参照して具体的に言うと、撮像された画像に基づいて、保持部２の下端と前記容器Ｙの底面との間の高さ寸法ｈ１がまず求められる。そして、この高さ寸法ｈ１から、操作具２ａの長さ寸法Ｌを差し引くことで、操作具２ａの先端位置ｘから容器Ｙの底面までの高さ寸法ｈ２が算出される。

本実施形態では、ＣＣＤに撮像される２次元画像の各画素情報を処理して間隔寸法を求める代りに、必要な領域において参照形状に依存する透過光の分布から間隔寸法（高さ寸法）を認識するものであるので、装置構成を簡略化することが可能となっている。なお、受光素子１３，１４は、保持部２の外形のうち、参照形状として用いる必要部分を全て認識できるようにして、これら投光素子１１，１２および受光素子１３，１４を用いて認識した保持部２の参照形状から、操作具２ａの先端位置ｘを求めるようにすることが望ましい。
本実施形態のマニピュレータ装置では、高倍率の観察光学系が容器Ｙの底面に直交する方向のみに配置される従来の正立型あるいは倒立型顕微鏡を応用することが可能である。

＜第３実施形態＞
続いて、図９〜図１１を参照しながら、本発明の第３実施形態の説明を以下に行う。図９は、システム構成を示す概略構成図である。また、図１０は、保持部の形状を示す図である。また、図１１は、画像処理により参照形状から操作具２ａの先端位置ｘを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態では、保持部２Ａ（第１実施形態の保持部２と区別するために新たな符号２Ａを用いて説明する。）を、この保持部２Ａ及び操作具２ａの軸線が斜め下方を向くように配置し、操作具２ａを細胞Ｓに対して接触または挿入させるための操作軸３も、前記軸線と平行になるように傾けてＺステージ４に保持させている（図９〜図１１では省略）。
保持部２Ａは、操作具２ａの軸線と同軸でかつ、操作具２ａの先端位置ｘに向かって先細りとなる円錐台状の外形（イメージ情報）を有しており、製造段階で、先端位置ｘが円錐台の頂点に位置するよう形成されている。

この保持部２Ａの画像に画像処理を施して先端位置ｘを認識する場合には、図１０（ｂ）に示す正面視した場合と、図１０（ｃ）に示す底面視した場合のそれぞれにおいて、テーパ状の外形稜線を検出し、これら外形稜線の延長線上の交点Ａ１，Ａ２を算出することで求めることができる。
ただし、図１０（ｃ）に示す底面視の画像においては、外形稜線の合焦位置が同画像の奥行き方向で連続的に変わるため、この奥行き方向で焦点位置を変え、少なくとも２箇所以上で同じ外形稜線を検出することにより正確に直線を定義するのが好ましい。これについて図１１を用いて具体的に説明すると、まず、図１１（ｂ）に示す外形稜線Ｌ１上の点Ｌ１ａ，外形稜線Ｌ２上の点Ｌ２ａの各位置に焦点を合わせ、同画像内におけるこれらの点Ｌ１ａ，Ｌ２ａの位置を確定する。続いて、同図に示す外形稜線Ｌ１，Ｌ２上の点Ｌ１ｂ，Ｌ２ｂの各位置に焦点を合わせ、同画像内におけるこれらの点Ｌ１ｂ，Ｌ２ｂの位置を確定する。そして、点Ｌ１ａと点Ｌ１ｂとを含む直線を求めることにより、２本ある外形稜線のうちの１本（Ｌ１Ａ）が確定される。同様に、点Ｌ２ａと点Ｌ２ｂとを含む直線を求めることにより、もう１本の外形稜線（Ｌ２Ａ）が確定される。そして、これら２直線の延長線の交点Ｘの位置を、操作具２ａの先端位置ｘとして求めることができる。なお、図１１（ａ）に示す正面方向については、画像の奥行き方向で外形稜線の合焦位置が変化しないため、単一の画像内で各外形稜線を確定し、交点Ｘを求められる。
本実施形態では、保持部２Ａを斜め配置することができるようになっているので、軸方向に長さを有する一般的なマニピュレータ機構を適用することが可能である。

＜第４実施形態＞
続いて、図１２〜図１４を参照しながら、本発明の第４実施形態の説明を以下に行う。図１２は、操作軸に取り付けられた保持部を示す正面図である。また、図１３は、保持部の形状を示す図である。また、図１４は、画像処理により、参照形状から操作具２ａの先端位置ｘを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態では、上記第３実施形態と同様に、保持部２Ｂ（第１実施形態の保持部２や第３実施形態の保持部２Ａと特別するために新たな符号２Ｂを用いて説明する。）を、この保持部２Ｂ及び操作具２ａの軸線が斜め下方を向くように配置し、操作具２ａを細胞Ｓに対して接触または挿入させるための操作軸３も、前記軸線と平行になるように傾けて前記Ｚステージ４（図１２〜図１４では図示略。）に保持させている。
この保持部２Ｂは、操作具２ａの軸線と同軸をなす例えば円筒状の外形稜線（イメージ情報）と、図１３（ｃ）に示す底面視方向に対して垂直をなす端面２ｂ１と、図１３（ａ）に示す左側面視方向に対して垂直をなす端面２ｂ２とを備えている。そして、これら端面２ｂ１，２ｂ２は、製造段階において、操作具２ａの先端位置ｘとの相対的な位置関係が検査で確認済みであり、既知とされている。

この保持部２Ｂを基準として操作具２ａの先端位置ｘを求める場合には、まず、図１４（ｂ）に示す底面から見た画像と、図１４（ａ）に示す左側面から見た画像とを取得する。そして、図１４（ａ）に示す左側面から見た画像においては、端面２ｂ２と端面２ｂ１とが交差した直線部分であるエッジ２ｂ３を検出し、このエッジ２ｂ３から既知の位置に操作具２ａの先端位置ｘがあるとして認識する。一方、図１４（ｂ）に示す底面から見た画像においては、端面２ｂ１の稜線がなす半楕円２ｂ４の形状をパターンとして認識し、このパターンに対する相対的な既知の位置に操作具２ａの先端位置ｘがあるとして認識する。このようにして２方向からの画像に基づいて操作具２ａの先端位置ｘを求めることにより、保持部２Ｂを基準とする３次元的な位置として、操作具２ａの先端位置ｘを求めることが可能となる。

以上説明のように、本実施形態のマニピュレータ装置は、保持部２Ｂの形状が、この保持部２Ｂを底面方向と左側面方向との２方向から見たそれぞれの場合で、操作具２ａの先端位置ｘに対する相対的な位置が予め定められたエッジ（直線）２ｂ３及び半楕円（曲線）２ｂ４を備え、かつ、これら直線内及び曲線内に含まれる任意点が、これら画像を撮像する点である撮像手段６，７から等距離にある構成を採用した。
この構成によれば、保持部２Ｂが、撮像手段から見て奥行き方向に外形稜線の焦点位置が変化するように傾いた状態に配置しても、エッジ２ｂ３及び半楕円２ｂ４の画像を、それぞれ１枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済み、エッジ２ｂ３及び半楕円２ｂ４の検出が容易で画像処理が正確になる。また、例えば図１４（ｂ）に示す画像からパターンとしての認識でなくエッジ（エッジ２ｂ３と同一のエッジ）から既知の位置に操作具２ａの先端位置Ｘが存在すると認識してもよく、更に例えば図１４（ａ）に示す画像をパターンとして認識し、このパターンに対する相対的な既知の位置に操作具２ａの先端位置Ｘが存在すると認識しても良い。
また、本実施形態のマニピュレータ装置は、上記第３実施形態と同様に、一般的なマニピュレータが適用可能である。

＜第５実施形態＞
続いて、図１５〜図１７を参照しながら、本発明のマニピュレータ装置及びその操作具先端位置検出方法の第５実施形態の説明を以下に行う。図１５は、システム構成を示す概略構成図である。また、図１６は、細胞を収容する容器の形状を示す図である。また、図１７は、鏡面を用いた観察方法を説明するための図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

図１５に示すように、本実施形態のマニピュレータ装置では、容器の底面に直交する方向を撮像する前記撮像手段６のみを設け、容器底面に平行な方向を撮像する前記撮像手段７を省略している。また、保持部２を、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３軸方向に駆動するＸＹＺステージ４Ａで駆動するようにしている。このＸＹＺステージ４Ａは、保持部２を撮像手段６の光軸に対して移動させても、細胞Ｓの所定の点に対する位置決めが可能なように十分に座標管理された停止精度を有している。

また、図１６（ａ）〜（ｃ）に示すように、前記Ｙの代わりに、新たな容器ＹＡを備えている。この容器ＹＡは、四角枠形状の側壁部Ｙ１と、この側壁部Ｙ１によって囲まれる開口部分に配置された透明な底壁部Ｙ２とを備えて構成されている。側壁部Ｙ１の内側面には、鏡面Ｒが４面、形成されている。これら鏡面Ｒは、底壁部Ｙ２によって形成される底壁面に対して４５°の傾きをもって配置されており、容器ＹＡ内の、前記底壁面に平行な方向の映像を入射角及び反射角４５°で反射させ、真下の前記撮像手段６に向かって投影することが可能となっている。さらに、底壁部Ｙ２は、鏡面Ｒの最下端位置に対して底上げされており、前記底壁面の映像も鏡面Ｒに写すことができるようになっている。

以上説明の構成を有するマニピュレータ装置では、ＸＹステージ１の駆動によって容器ＹＡを、各鏡面Ｒの何れかの真下位置に撮像手段６が来るように移動させることで、保持部２、細胞Ｓ、さらには前記底壁面の、前記底壁面に平行な視線で見た画像を撮像手段６がそれぞれ撮像できる。また、ＸＹステージ１の駆動によって容器ＹＡを、その底壁部Ｙ２の中央が撮像手段６の真上に来るように移動させた場合には、保持部２及び細胞Ｓの、前記底壁面に直交する方向で見た画像を撮像手段６で撮像することができる。

鏡面Ｒを介して撮像する場合には、図１７に示すように、保持部２のＸＹ方向の位置も、反射像として撮像可能な位置まで移動させるようにする。そして、鏡面Ｒを介して撮像手段６が得る反射像内に、操作具２ａの先端位置ｘを認識するのに必要な保持部２の外形状（イメージ情報）と、底壁部Ｙ２がなす底壁面もしくは細胞Ｓとが入るよう各種位置調整を行った後、撮像する。このようにして撮像された画像を前述の方法を用いて画像処理することで、操作具２ａの先端位置ｘと前記底壁面または細胞Ｓとの高さ方向の相対的な位置関係を認識することができる。

以上説明のように、本実施形態のマニピュレータ装置は、上記第１実施形態で説明した（ａ）から（ｆ）の各構成要素のうちの（ａ）に記載の容器に、容器底面に対して４５°で交差する反射面（前記鏡面Ｒ）をさらに備えた容器ＹＡを採用した。
これにより、本実施形態のマニピュレータ装置は、１系統の光学系による撮像手段６で２方向の観察を行い、操作具２ａの先端と細胞Ｓとの位置関係を水平および高さ方向の両方で認識できるため、従来の正立型あるいは倒立型光学顕微鏡の構成が適用できるものとなっている。
より具体的に言うと、本実施形態のマニピュレータ装置は、鏡面Ｒを介さずに直接的に保持部２を底面視して撮像した画像と、鏡面Ｒを介して保持部２を側面視して撮像した画像とを取得することにより、異なる２方向から見た保持部２の画像を、同一方向の視線から撮像することができるものとなっている。これにより、上記第１実施形態における前記撮像手段７を省略することが可能となる。
さらには、前記底壁部Ｙ２の高さ位置を、鏡面Ｒの最下端位置よりも高くなるように配置しているので、鏡面Ｒを介して容器ＹＡ内を側面視した画像を撮像する際に、この画像内に容器ＹＡの底壁面を写し込むことができる。したがって、細胞Ｓの底面位置も含めて鮮明に撮像することが可能となる。

また、高倍率の観察光学系である撮像手段６を、前記底壁面に直交する方向のみに配置すれば良いので、通常の顕微鏡を応用することが可能となっている。
なお、保持部２を反射像で観察するためにこれをＸＹＺステージ４Ａで光軸上から移動させる代わりに、撮像手段６側の光軸を保持部２に対して移動させる構成も、勿論、採用可能である。

＜第６実施形態＞
続いて、図１８及び図１９を参照しながら、本発明の第６実施形態の説明を以下に行う。図１８（ａ）は、細胞に対する操作具の接触動作を説明するための図であり、図１８（ｂ）は、操作具が接触した前後の細胞を上から見た観察画像である。また、図１９は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態では、まず、前述のように保持部２の参照形状に基づいて操作具２ａの先端位置ｘを求め、続いて、保持部２の製造誤差等を理由とする先端位置ｘの算出誤差を補正し、細胞Ｓや容器Ｙの底面との間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。なお、この再認識動作は、上記第１実施形態のみならず、上記第２実施形態〜上第５実施形態の何れに対しても組み合わせて行うことが可能である。

前記再認識動作の詳細について説明すると、まず、図１８（ａ）上図に示すように、前記制御部５により前記各アクチュエータを３次元的に制御し、保持部２を細胞Ｓ上端の直上位置に移動させ、操作具２ａが細胞Ｓに対して接触または挿入可能な状態にする。このときの操作具２ａが細胞Ｓに接触していない状態が図１８（ｂ）上図である。そして、Ｚステージ４もしくは操作軸３のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、図１８（ａ）下図に示すように、細胞Ｓに対して操作具２ａの先端位置ｘを断続的に近づけていく。

この時、図１８（ｂ）の上図及び下図に示すように、前記撮像手段６及び前記画像処理手段８により、保持部２の各移動ステップの前後における細胞Ｓの画像を画像処理して比較する。これにより、操作具２ａの先端位置ｘと細胞Ｓとが微弱に接触したときに細胞Ｓに生じる微小な変形を検出することができる。
この変形の検出直後に操作軸３のアクチュエータを一旦停止させ、変形が確認されたステップの駆動前後もしくはその中間の何れかの位置を、正確な接触位置と認識する。そして、停止している位置もしくはそこから一定量戻った位置を操作開始点として再定義し、これに基づいて実際の接触動作または挿入動作を制御する。

細胞Ｓの微小な変形を検出する方法としては、細胞Ｓの輪郭に対する重心位置変化（図５で説明した前記点Ｐ１の位置変化）と、細胞Ｓの輪郭によって形成される面積変化のどちらか一方を検出することにより、細胞ＳのＸＹ平面内における移動、もしくは、扁平化を捉える方法が採用可能である。
これについて図１９を参照して具体的に説明すると、細胞Ｓの輪郭が、操作具２ａの先端位置ｘの接触により、接触前のＦ１から接触後のＦ２へと変形している。そして、これに伴い、細胞Ｓの重心位置も、接触前の点Ｃ１から接触後の点Ｃ２へと移動する。同様に、細胞Ｓの輪郭によって形成される面積も、細胞Ｓの扁平化により接触前のＡ１から接触後のＡ２へと広くなっている。そこで、これら重心位置変化または面積変化の何れか一方もしくは両方を捉えることで、細胞Ｓの形状変化または移動を捉えることが可能となる。

なお、変形の有無を判定する閾値の設定においては、例えば、変形を与えない細胞Ｓの画像を測定する際の寸法測定誤差の１．５倍とする。しかしながら、１．５倍に限らず、測定状況に応じて１を超える倍率を採用しても良い。
以上説明のように、本実施形態の再認識動作を行うことにより、操作具２ａの先端位置ｘと細胞Ｓと間の厳密な位置関係を再認識することができ、挿入深さの厳密な管理が重要な場合などにおいてその効果を有効に発揮することができる。

以上説明の構成を有する本実施形態のマニピュレータ装置は、撮像手段６で撮像された画像に基づいて細胞Ｓの重心位置変化、及び細胞Ｓの外形によって形成される面積変化の少なくとも一方を、判別手段の役目を兼ねた画像処理手段８が判別する構成を採用した。
この構成によれば、上記第１実施形態〜上記第５実施形態で求めた操作具２ａの先端位置ｘと、上記再認識動作で求めた操作具２ａの先端位置ｘとを比較することにより、上記第１実施形態〜上記第５実施形態の推定結果が正しいかを確実に確認することが可能となる。しかも、この再認識動作は自動化に適しているので、本マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。

＜第７実施形態＞
続いて、図２０を参照しながら、本発明の第７実施形態の説明を以下に行う。図２０は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態では、上記第６実施形態と同様に、まず保持部２の参照形状に基づいて操作具２ａの先端位置ｘを求め、続いて、保持部２の製造誤差等を理由とする先端位置ｘの算出誤差を補正し、細胞Ｓや容器Ｙの底面と間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。さらに、本実施形態では、画像上における細胞Ｓの形状を複数の領域に分割し、これら領域のうちの少なくとも１つの領域の映像情報の変化に基づき、操作具２ａの先端位置ｘと細胞Ｓとの接触を判断するものとしている。
なお、前記再認識動作は、上記第１実施形態のみならず、上記第２実施形態〜上第６実施形態の何れに対しても組み合わせて行うことが可能である。

前記再認識動作の詳細について説明すると、まず、（図示しない）前記制御部５により前記各アクチュエータを３次元的に制御し、保持部２を細胞Ｓ上端の直上位置に移動させ、操作具２ａが細胞Ｓに対して接触または挿入可能な状態にする。このときの操作具２ａが細胞Ｓに接触していない状態が図２０（ａ）の破線に示す図である。そして、Ｚステージ４もしくは（図示しない）操作軸３のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、細胞Ｓに対して操作具２ａの先端位置ｘを断続的に近づけていく。そして、操作具２ａが細胞Ｓに接触した状態が同図２０（ａ）の実線に示す図となる。

そして、本実施形態における再認識動作では、前記アクチュエータを１ピッチ動かす度に、細胞Ｓの重心位置と輪郭を画像上で確認する。これが図２０（ａ）の状態である。
この時、図２０（ｂ）に示すように、例えば１ピッチ動かす前の画像における細胞Ｓの輪郭がなす面積と同面積の正方形Ｓ１を定義し、これを、その中心が細胞Ｓの重心Ｃ１，Ｃ２と一致するように重ね合わせる。すると、同図に示すように、正方形Ｓ１からはみ出た箇所すなわち輪郭と正方形Ｓ１の辺とで形成される領域が複数（同図では４箇所）形成されるので、これらのうちの何れかの面積変化を検出することにより、細胞Ｓの変形を捉えることができる。より具体的に言うと、図２０（ｂ）及び図２０（ｃ）を比較した場合、面積Ａ１ａ＜面積Ａ２ａ、面積Ａ１ｂ＞面積Ａ２ｂ、面積Ａ１ｃ＜面積Ａ２ｃ、面積Ａ１ｄ＞面積Ａ２ｄとなり、全ての箇所において面積変化が生じている。もちろん、全箇所でなくとも、少なくとも１箇所において面積変化が認められれば、変形したとして判定することができる。

以上説明の本実施形態のマニピュレータ装置は、上記第１実施形態で説明した（ａ）から（ｆ）と同様の構成において、生体試料（前記細胞Ｓ）の微小な変形を検出する構成を採用した。具体的に言うと、判別手段を兼ねる前記画像処理手段８が、細胞Ｓの画像を、細胞Ｓの外形をなす稜線を含む縁部分がはみ出て孤立するように正方形（仮想被覆面）Ｓ１で被覆し、前記縁部分の面積変化を判断する構成を採用した。

そして、上記第１実施形態と同様に、操作具２ａの先端位置と細胞Ｓの操作対象点との座標同士の相対位置関係を概略認識し、制御部５により操作具２ａの先端を細胞Ｓの操作対象点に移動させて細胞Ｓに操作具２ａが接触または挿入可能となるよう各アクチュエータ（前記ＸＹステージ１及び前記Ｚステージ４）を３次元的に制御し、接触または挿入可能となる位置付近で更に接触または挿入方向の操作軸３を低速かつ微小な一定ピッチで断続的にステップ駆動する。
このとき、撮像手段６，７および画像処理手段８を用いて各ステップの前後における細胞Ｓの画像を処理して比較することにより、操作具２ａの先端と細胞Ｓとが微弱に接触したときに細胞Ｓに生じる微小な変形を検出する。この変形の検出直後に操作軸３は一旦停止し、変形が確認されたステップの駆動前後もしくはその中間のいずれかの位置を正確な接触位置と認識し、停止している位置もしくはそこから一定量戻った位置を開始点として定義し、実際の接触または挿入を制御する。

これにより、保持部２の参照形状に基づく先端位置の算出誤差および操作具２ａと保持部２の相対位置関係についての製造誤差を補正し、細胞Ｓとの厳密な位置関係を認識することができる。したがって、細胞Ｓの重心位置変化及び面積変化のみでは判別困難であった場合においても、細胞Ｓの変形を確実に捉えることができるので、操作具２ａの先端位置ｘの再認識動作をさらに確実に行うことが可能となる。しかも、操作具２ａには、その軸方向の圧縮応力のみが微弱に作用するため、先端を折損させる虞がない。
また、高さ方向の認識手段をこれに依存し、１系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち、従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、細胞Ｓの変形検出は、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。また、Ｓ１は正方形に限らず、長方形、他の多角形、円や楕円など他の図形でも良い。さらには、細胞Ｓのイメージを複数領域に分割できればよく、細胞Ｓのイメージを直線または曲線により複数領域に分割し、これら複数領域の少なくとも一つの変形を確認することにより、細胞Ｓに対する操作具２ａの当接を認識するものとしても良い。

＜第８実施形態＞
続いて、図２１を参照しながら、本発明の第８実施形態の説明を以下に行う。図２１は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態では、上記第６実施形態と同様に、まず保持部２の参照形状に基づいて操作具２ａの先端位置ｘを求め、続いて、保持部２の製造誤差等を理由とする先端位置ｘの算出誤差を補正し、細胞Ｓや容器Ｙの底面と間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。なお、この再認識動作は、上記第１実施形態のみならず、上記第２実施形態〜上第７実施形態の何れに対しても組み合わせて行うことが可能である。

前記再認識動作の詳細について説明すると、まず、図示しない前記制御部５により前記各アクチュエータを３次元的に制御し、保持部２を細胞Ｓ上端の直上位置に移動させ、操作具２ａが細胞Ｓに対して接触または挿入可能な状態にする。このときの操作具２ａが細胞Ｓに接触していない状態が図２１（ａ）の破線に示す図である。そして、図示しない操作軸３のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、細胞Ｓに対して操作具２ａの先端位置ｘを断続的に近づけていく。そして、操作具２ａが細胞Ｓに接触した状態が同図２１（ａ）の実線に示す図となる。

そして、本実施形態における再認識動作では、前記アクチュエータを１ピッチ動かす度に、細胞Ｓの重心位置と輪郭を画像上で確認する。そして、図２１（ｂ）に示すように、細胞Ｓの重心Ｃ１を通る基準直線Ｌｓを画像上に設定する。
そして、この基準直線Ｌｓを、重心Ｃ１を中心として例えば反時計回りに回転させ、この基準直線Ｌｓが細胞Ｓの輪郭と交わる交点をＱ１θとし、Ｑ１θと重心Ｃ１との距離Ｒ１θを各角度θ毎に取得する。その結果、操作軸３のアクチュエータを微小かつ一定のピッチ進めた前後において、同角度θにおける長さ寸法Ｒ１θが、図２１（ｃ）に示す長さ寸法Ｒ２θに変化した場合に、当該箇所において細胞Ｓの輪郭が変形したと判断する。なお、θは一定ピッチで設定し、検出精度を向上させるためにはより微小なピッチで設定する。また、Ｑ２θの位置の変化で判断しても良い。

以上説明のように、本実施形態のマニピュレータ装置は、判別手段を兼ねる画像処理手段８が、細胞Ｓの画像に対して重心位置（その他の任意の点でも良い）を設定し、この重心位置から細胞Ｓの外形をなす稜線上の各点Ｑ１θまでの距離寸法の変化を判断する構成を採用した。
この構成によれば、細胞Ｓの重心位置変化、面積変化、前記縁部分の面積変化でも変形の判別が困難であった場合に、本実施形態のように、細胞Ｓの外形変化を寸法変化として直接捉えるのが好ましい。これにより、面積が明確に変化しない局部的な変形までを検知することができるので、画像処理手段８による操作具２ａの先端位置ｘの検出を、さらに確実に行うことが可能となる。

＜第９実施形態＞
続いて、図２２〜図２４を参照しながら、本発明の第９実施形態の説明を以下に行う。図２２は、容器内に配置された擬似生体試料及び細胞を示す図である。また、図２３は、保持部による擬似生体試料への接触動作を説明する図である。また、図２４は、接触前後における擬似生体試料の観察画像および画像処理による変形検知方法を説明するための平面図である。
なお、本実施形態の説明においては、上記第１実施形態との相違点を中心に説明を行い、その他については上記第１実施形態と同様であるとして説明を省略する。

本実施形態では、上記第６実施形態と同様に、まず保持部２の参照形状に基づいて操作具２ａの先端位置ｘを求め、続いて、保持部２の製造誤差等を理由とする先端位置ｘの算出誤差を補正し、細胞Ｓや容器Ｙの底面との間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。そして、本実施形態では、再認識動作において操作具２ａの先端位置ｘを接触させる相手が、細胞Ｓではなく、寸法形状が既知である擬似生体試料１００としている。
なお、この再認識動作は、上記第１実施形態のみならず、上記第２実施形態〜上第８実施形態の何れに対しても組み合わせて行うことが可能である。

前記再認識動作の詳細について説明すると、まず、図２２に示すように、操作する細胞Ｓが収容されている容器Ｙの底面に、寸法形状が一定かつ既知で、細胞Ｓよりも柔軟な樹脂からなる微小な球体状の擬似生体試料１００を分散保持する。これら擬似生体試料１００は、それぞれの寸法が既知であれば、必ずしも形状・寸法共に一定である必要はない。
そして、前記制御部５により前記各アクチュエータを３次元的に制御し、保持部２を操作の対象とする細胞の近傍にある擬似生体試料１００上端の直上位置に移動させ、操作具２ａが擬似生体試料１００に対して接触または挿入可能な状態にする。このときの操作具２ａが擬似生体試料１００に接触していない状態が、図２３上図及び図２４上図に示す状態である。そして、操作軸３のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、擬似生体試料１００に対して操作具２ａの先端位置ｘを断続的に近づけていく。そして、操作具２ａが擬似生体試料１００に接触した状態が、図２３下図及び図２４下図である。

そして、本実施形態における再認識動作では、前記アクチュエータを１ピッチ動かす度に、擬似生体試料１００の輪郭によって形成される面積の変化、または、擬似生体試料１００の重心位置の変化を観察し、これらの何れか一方もしくは両方が変化するかどうかを、前記画像処理手段８上で観察する。そして、これらの何れかにおいて変化が見られた場合に、擬似生体試料１００の上端に操作具２ａの先端位置ｘが接触して変形したと判断する。
擬似生体試料１００の高さ寸法が既知であることから、この変形時における操作具２ａの先端位置ｘが、容器Ｙの底面から擬似生体試料１００の高さ寸法分だけ高い位置にあるとして正確に求められる。そして、この結果を、保持部２の参照形状に基づいて求めた操作具２ａの先端位置ｘと比較して補正する。

以上の再認識動作により、容器Ｙの底面に対する正確な先端位置ｘが求められるので、これを基準として、細胞Ｓに対して操作を行うための操作開始点を定義する。そして、この操作開始点に対して操作具２ａの先端位置ｘを配置し、実際の接触または挿入操作を行う。
なお、擬似生体試料１００の変形有無及び移動有無を判定する際の閾値としては、例えば、外力を与えない状態で擬似生体試料１００を測定した誤差の１.５倍とする。勿論、この閾値は一例であり、１．５倍に限らず、測定状況に応じて１を超える他の倍率を適宜設定しても良い。

以上説明の本実施形態では、上記第１実施形態と同様の構成において、前記容器Ｙ内に、細胞Ｓと共に、寸法が既知で細胞Ｓよりも柔軟な粒子状の擬似生体試料１００を分散保持し、前記画像処理手段８が画像を処理し、画像内の形状から特定される点の座標を認識すると共に、擬似生体試料１００における微小な変形を検出するものとした。

そして、この構成を備えることにより、操作具２ａの先端位置と操作の対象である細胞Ｓの近傍に保持される擬似生体試料１００の上端との座標同士の相対位置関係を概略認識し、制御部５により操作具２ａの先端を擬似生体試料１００の上端に移動させて擬似生体試料１００に操作具２ａが接触または挿入可能となるように各アクチュエータ（前記ＸＹステージ１及び前記Ｚステージ４）を３次元的に制御し、接触または挿入可能となる位置付近で更に接触または挿入方向に操作軸３を低速かつ微小な一定ピッチで断続的にステップ駆動する。この時、撮像手段６，７および画像処理手段８により、各ステップの前後における擬似生体試料１００の画像を処理して比較することにより、操作具２ａの先端が擬似生体試料１００に微弱に接触もしくは接触したときに擬似生体試料１００に生じる微小な変形を検出する。この変形の検出直後に操作軸３を一旦停止させ、変形が確認されたステップの駆動前後もしくはその中間のいずれかの位置を正確な接触位置と認識し、この位置と、既知である擬似生体試料１００の上端の高さから容器Ｙの底面の位置を正確に認識し、これに基づいて細胞Ｓへの挿入深さを管理して実際の接触または挿入を制御する。

これにより、操作具２ａの先端位置の算出誤差および操作具２ａと保持部２の相対位置関係についての製造誤差を補正し、寸法形状が既知の擬似生体試料１００を介して操作具２ａの先端と容器Ｙの底面との厳密な位置関係を認識することができ、細胞Ｓとの高さ方向の位置関係も予測できる上、細胞Ｓの寸法形状にばらつきが有る場合でも操作具２ａの底面との衝突による接損は防止することができる。
また、高さ方向の認識手段をこれに依存し、１系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、操作具２ａには、その軸方向の圧縮応力のみが微弱に作用するが、擬似生体試料１００の材質により、この応力は、細胞Ｓに接触接触する場合に比べて更に微弱に抑えられるので、先端を折損させるものではない。また変形の検出については、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。

なお、擬似生体試料１００としては、細胞Ｓに比べて変形を検出しやすい材料、接触時の操作具２ａへの反力を抑えられる材料等を選択することが好ましい。

＜第１０実施形態＞
続いて、図２５を参照しながら、本発明の第１０実施形態の説明を以下に行う。図２５は、３箇所の座標による平面の定義と任意箇所の高さ算出方法を説明するための図である。
なお、本実施形態は、上記第１実施形態〜上記第９実施形態の変形例に相当するので、これら実施形態との相違点を中心に説明を行い、その他については上記各実施形態と同様であるとして説明を省略する。

本実施形態では、図２５に示すように、容器Ｙ内の３箇所（３つの細胞Ｓ）に対して、上述の手段を用いて、操作具２ａの先端位置ｘと細胞Ｓの上端もしくは容器Ｙの底面との位置関係をそれぞれ求める。そして、容器Ｙの底面もしくは各細胞Ｓ上端を共通の空間座標系の点Ｔ１〜Ｔ３で表し、これらの点を含む仮想平面を定義する。
仮想平面の定義は、空間上の３つの点Ｔ１〜Ｔ３を通る平面を下記数式（１）〜（３）として求め、容器Ｙ内における任意の細胞Ｓの底部もしくは上端が、この仮想平面上に位置すると仮定する。そして、仮想平面を規定する前記方程式に任意位置のＸＹ座標を代入することで、任意位置における仮想平面の高さＺを算出することができる。

点Ｔ１（ｘ１，ｙ，ｚ１）、点Ｔ２（ｘ２，ｙ２，ｚ２）、点Ｔ３（ｘ３，ｙ３，ｚ３）を含む仮想平面上における任意の点（ｘ，ｙ，ｚ）は、下記数式（１）〜（３）を満たす。
ｘ＝ｘ１＋（ｘ２−ｘ１）ｓ＋（ｘ３−ｘ１）ｔ・・・（１）
ｙ＝ｙ１＋（ｙ２−ｙ１）ｓ＋（ｙ３−ｙ１）ｔ・・・（２）
ｚ＝ｚ１＋（ｚ２−ｚ１）ｓ＋（ｚ３−ｚ１）ｔ・・・（３）
また、この仮想平面上にあってｘ座標及びｙ座標が既知である点Ｔ４（ｘ４，ｙ４，ｚ４）におけるｚ座標は、上記数式（１）〜（３）のｓ，ｔを消去することで、ｘ＝ｘ４，ｙ＝ｙ４として求められる。

以上説明の本実施形態では、容器Ｙ内の複数箇所において、操作具２ａの先端と容器Ｙの底面もしくは細胞Ｓ上端との高さ方向の位置関係に基づき、制御部５が容器Ｙの底面もしくは任意の細胞Ｓの上端を含む平面を仮想的に認識するものとした。
そして、前記制御部５が、容器Ｙ内の３箇所以上において操作具２ａの先端と容器Ｙの底面もしくは細胞Ｓの上端との高さ方向の位置関係を認識し、容器Ｙの底面もしくは細胞Ｓの上端を共通の空間座標系の点で表し、これらの点を含む最も平均的な平面を定義し、その容器内における任意の細胞Ｓの底部もしくは上端がこれらの平面状に位置すると仮定するものとした。
これにより、操作具２ａの先端と任意の細胞Ｓとの位置関係を、代表箇所での認識に基づき容器Ｙ内全体を仮想的に予測するので、個別に認識する作業が不要となる上に、複数の細胞Ｓに対して高さ方向の無駄な動作を省いて効率的に位置決めすることが可能となる。また、位置関係の認識を４箇所以上とし、このうち３箇所の組合せを複数選択し、それぞれで定義される平面の平均を採用することで、任意の細胞Ｓに関する予測をより正確にすることも可能となる。

より具体的には、少なくとも３箇所以上の細胞Ｓそれぞれの上端または底部を含む仮想平面を形成し、この仮想平面と操作具２ａの先端位置ｘとの間の相対位置関係を求める方法を採用した。
これにより、例えば、各細胞Ｓが載置される容器Ｙの底面が傾いていたとしても対応することができる。すなわち、各細胞Ｓが載置される面が傾いていた場合、単一の細胞Ｓに対してのみ、細胞Ｓ及び操作具２ａ間の相対的な位置を求めただけでは、他の細胞Ｓに対しては、操作具２ａとの間で同様の位置関係が成立しないことになる。
そこで、３箇所以上の細胞Ｓに対して操作具２ａを接触させることにより、前記傾きを加味した上で、各細胞Ｓ上端の高さ位置座標または底面の位置座標を示す前記仮想平面を求めることができる。そして、この仮想平面を、操作具２ａの先端位置ｘを求める際の基準として用いることができるようになる。

したがって、操作具２ａと任意の細胞Ｓとの間の位置関係を、代表箇所での認識に基づいて仮想的に予測できるため、容器Ｙ内の細胞Ｓの大きさが比較的一定の場合には、各細胞Ｓの個別毎に高さを認識する作業が不要となる。
一方、容器Ｙ内の各細胞Ｓの大きさにある程度のばらつきがある場合には、各細胞Ｓ毎に個別に高さを認識する作業が必要であるものの、操作具２ａを細胞Ｓと接触しない安全な高さまで接近させる位置の概略予測が可能であり、作業効率が向上する。
また、容器Ｙの底面の平面度が十分に得られない場合等では、図２５に示すように、上記高さ方向の位置関係の認識を４箇所以上で行い、このうち、３箇所の組み合わせにより形成する仮想平面を複数形成する（仮想平面１，仮想平面２）。例えば４箇所の認識により、このうち３箇所の組合せによる仮想平面は４通り形成できる。そして、図２６に示すように、これら仮想平面の傾きの平均の傾きをなす仮想平均面を求めることで、任意の細胞Ｓに関する予測をより正確に行うことが可能となる。

なお、以上説明の各実施形態では、本発明をマニピュレータ装置（装置）に適用した場合を例に説明したが、本発明はこれに限らず、撮影による確認が困難（見えない、もしくは見にくい）である操作手段を備えた他の装置で、その操作手段の先端位置を、該操作手段を保持し、撮影による検出が可能な寸法を有する保持手段の画像に基づいて推定する画像処理装置に適用することも可能である。
また、本発明は、操作対象物を操作する操作手段と、該操作手段を保持し、撮影による検出が可能な寸法を有する保持手段と、該保持手段を含む画像を取得する画像取得手段と、前記画像に基づき、前記操作手段の先端の位置の推定を行う推定手段とを備えた装置を制御する制御手段に対して用いられ、前記制御手段に対して、前記推定手段が前記画像に基づいて前記推定を行うように制御させるプログラム、及びこのプログラムを保存した記録媒体をも含むものとする。

＜付記事項＞
（１） 被操作物を操作する操作具と、この操作具を保持する保持部とを備えたマニピュレータ装置において、
前記保持部に対する前記操作具の先端位置を示す相対位置情報を取得する画像取得手段と、
該相対位置情報を含む画像を読み込んで前記操作具の先端位置を求める先端位置推定手段とを備える
ことを特徴とするマニピュレータ装置。
上記（１）に記載のマニピュレータ装置によれば、その先端位置推定手段が相対位置情報を読み込むことで、保持部を基準とする相対的な位置として操作具の先端位置を正確に求めることができる。
このように相対位置情報に基づき、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、正確に操作具の先端位置を求めることができるので、操作具及び被操作物間の３次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた被操作物の操作を、高い効率で行うことが可能となる。

（２） 上記（１）に記載のマニピュレータ装置において、
前記相対位置情報が、前記保持部の形状であり、
前記先端位置推定手段が、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置。
上記（２）に記載のマニピュレータ装置によれば、その先端位置推定手段が、撮像された保持部の形状（外形、突起、稜線等の特徴的な形状）を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、上記（２）に記載のマニピュレータ装置によれば、設計・製造・検査段階において既知となる保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。

（３） 上記（２）に記載のマニピュレータ装置において、
前記保持部の形状が、前記操作具の先端位置で延長線が交差する複数の直線部を備え、これら直線部が、前記保持部を少なくとも２方向から見たそれぞれの場合で視認可能な位置に設けられている
ことを特徴とするマニピュレータ装置。
上記（３）に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、各直線部の延長線による交差点を求めることで、操作具の先端位置を求めることができる。これを、少なくとも２方向から保持部を見た画像上のそれぞれにおいて行うことで、保持部の先端位置を３次元的に求めることができる。
つまり、操作具の先端位置で延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具の先端位置を求めることが可能となる。

（４） 上記（２）に記載のマニピュレータ装置において、
前記保持部の形状が、該保持部を少なくとも２方向から見たそれぞれの場合で、前記操作具の先端位置に対する相対的な位置が予め定められた線または面を備え、かつ、これら線内または面内に含まれる複数の任意点が、前記画像を撮像する点から等距離にある
ことを特徴とするマニピュレータ装置。
上記（４）に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、保持部が含む線または面を座標基準とし、この座標基準に対する相対的な位置として操作具の先端位置を求めることができる。これを、少なくとも２方向から保持部を見た画像上のそれぞれに対して行うことで、保持部の先端位置を３次元的に求めることができる。しかも、座標基準として用いる前記線または面は、これに含まれる複数の任意点が、画像を撮像する点から等距離にある。これにより、例え操作具が、画像を撮像する点から見て奥行き方向に焦点位置が変化するように傾いた状態に配置されていても、前記線または面の画像を、１枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済むので、簡易な操作で操作具の先端位置を求めることが可能となる。

（５） 上記（１）から上記（４）の何れか１項に記載のマニピュレータ装置において、
前記被操作物が載置される透明な底壁面と、該底壁面上の空間を側面視した画像を真下に向けて反射する鏡面とを有する容器を備える
ことを特徴とするマニピュレータ装置。
上記（５）に記載のマニピュレータ装置によれば、底壁面の真下位置からこの底壁面を透過して保持部を撮像することで、第１の画像が撮像できる。続いて、鏡面の真下位置から鏡面を撮像することで、鏡面に映り込んでいる、容器内を側面視した第２の画像を撮像することができる。このようにして、異なる２方向のからの画像を、同一方向の視線から撮像することができる。
したがって、鏡面を介さずに直接的に保持部を撮像した画像と、鏡面を介して保持部を撮像した画像とを取得することにより、撮像方向の異なる複数の撮像手段を配置せずに済むことが可能となる。また、通常の顕微鏡を用いることも可能となる。

（６） 上記（５）に記載のマニピュレータ装置において、
前記底壁面の高さ位置が、前記鏡面の最下端位置よりも高くなるように配置されている
ことを特徴とするマニピュレータ装置。
上記（６）に記載のマニピュレータ装置によれば、底壁面の高さ位置が鏡面の最下端位置よりも高くなるようにすることで、鏡面を介して容器内を側面視した画像を撮像する際に、この画像内に容器の底壁面や、被操作物の底面位置も含めて鮮明に撮像することが可能となる。

（７） 上記（１）から上記（６）の何れか１項に記載のマニピュレータ装置において、
前記被操作物を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて前記被操作物の形状及び位置の少なくとも一方の変化を判別する判別手段とを備える
ことを特徴とするマニピュレータ装置。
上記（７）に記載のマニピュレータ装置によれば、操作具を保持部とともに被操作物に対して徐々に接近させていくと同時に被操作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを判別手段が画像上で確認する。そして、判別手段により変化が生じたと確認された時点で、操作具の先端が被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記先端位置推定手段が求めた操作具の先端位置と比較することにより、先端位置推定手段の推定結果が正しいかを確実に確認することができる。

（８） 上記（７）に記載のマニピュレータ装置において、
前記判別手段が、前記被操作物の重心位置変化、及び前記被操作物の外形によって形成される面積変化の少なくとも一方を判別する
ことを特徴とするマニピュレータ装置。
上記（８）に記載のマニピュレータ装置によれば、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、被操作物の重心位置、及び被操作物の面積の少なくとも一方が変化する。そこで、この変化を判別手段が捉えることで、被操作物に当接した時の操作具の先端位置をより確実に求めることができるようになる。しかも、この検出作業は自動化に適しているので、マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。

（９） 上記（７）または上記（８）に記載のマニピュレータ装置において、
前記判別手段が、前記被操作物の画像を、前記被操作物の輪郭を含む複数の孤立した領域に分割するように図形で区切り、前記領域の面積変化を判断する
ことを特徴とするマニピュレータ装置。
上記（９）に記載のマニピュレータ装置によれば、操作具の先端を被操作物に当てることで操作具の先端位置を求めようとしたとき、被操作物の重心位置変化及び面積変化のみでは判別困難であった場合に、本発明のように、被操作物の画像を図形で区切って複数の領域に分割し、少なくとも１つの領域の面積変化を判別するのが好ましい。すなわち、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、いずれかの領域の面積が変化する。そこで、この面積変化を判別手段が捉えることで、被操作物の重心位置変化及び面積変化のみでは判別困難であった場合においても、被操作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。

（１０） 上記（７）から上記（９）の何れか１項に記載のマニピュレータ装置において、
前記判別手段が、前記被操作物の画像に対して任意の点を設定し、この点から前記被操作物の外形をなす稜線上の各点までの距離寸法の変化を判断する
ことを特徴とするマニピュレータ装置。
上記（１０）に記載のマニピュレータ装置によれば、操作具の先端を被操作物に当てることで操作具の先端位置を求めようとしたとき、被操作物の重心位置変化、面積変化、前記縁部分の面積変化でも判別困難であった場合に、本発明のように、被操作物の外形変化を捉えるのが好ましい。すなわち、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、前記任意の点から被操作物の稜線上の各点までの距離寸法が変化する。したがって、前記距離寸法の変化を判別手段が常に監視しながら操作具を被操作物に近づけていき、前記距離寸法が変化した時点を捉えることで、被操作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。

（１１） 操作具を保持した状態の保持部を撮像する撮像工程と、
前記保持部の画像を基準として、前記操作具の先端位置を求める検出工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記（１１）に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像工程と検出工程を行うことで、保持部を基準とする相対的な位置として、操作具の先端位置を正確に求めることができる。
したがって、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、このようにして正確に操作具の先端位置を求めることができるので、操作具及び被操作物間の３次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた被操作物の操作を、高い効率で行うことが可能となる。

（１２） 上記（１１）に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記検出工程では、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記（１２）に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像された保持部の形状（外形、突起、稜線等の特徴的な形状）を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、変化することのない保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。

（１３） 上記（１１）または上記（１２）に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記操作具を被操作物に対して接近させる第１の接近工程と、
前記被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第１の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記（１３）に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに被操作物に対して徐々に接近させていくと同時に被操作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを画像上で確認する。そして、第１の判別工程において被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つが確認された時点で、操作具の先端が被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。

（１４） 上記（１３）に記載のマニピュレータ装置の操作具先端位置検出方法において、
少なくとも３箇所以上の前記被操作物それぞれに対して、前記第１の接近工程及び前記第１の判別工程を行い、これら被操作物と前記操作具との間の各接点のうち3点を含む仮想平面を形成し、高さ方向に関してはこの仮想平面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記（１４）に記載のマニピュレータ装置の操作具先端位置検出方法によれば、例えば、各被操作物が載置される面が傾いていたとしても対応することができる。すなわち、各被操作物が載置される面が傾いていた場合、単一の被操作物に対してのみ、被操作物及び操作具間の相対的な位置を求めただけでは、他の被操作物に対しては、操作具との間で同様の高さ方向の位置関係は成立しないことになる。そこで、３箇所以上の被操作物に対して操作具を接触させることにより、前記傾きを加味した上で、各被操作物上端の高さ位置座標を示す仮想平面を求めることができる。この仮想平面を、操作具の先端位置を求める際の基準として用いることができる。
したがって、仮想平面を操作具の先端位置を求める際の基準として用いることができるので、例え、各被操作物が載置される面が傾いていたとしても、この傾きを加味した上で、各被操作物と操作具の先端位置との間の相対位置を正確に求めることが可能となる。

（１５） 上記（１４）に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記仮想平面を複数形成し、これら仮想平面の平均的な傾きを有する仮想平均面を求め、高さ方向に関してはこの仮想平均面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記（１５）に記載のマニピュレータ装置の操作具先端位置検出方法によれば、１つの仮想平面のみを用いて求めた各被操作物上端の高さ位置座標よりも、複数の仮想平面の平均に基づいて求めた仮想平均面の方を各被操作物上端の高さ位置座標として用いる方が、より正確に各被操作物と操作具の先端位置との間の相対位置を求めることができる。すなわち、各被操作物の形状寸法にある程度のばらつきがあっても、このばらつきを平均化して吸収することが可能となる。

（１６） 上記（１１）から上記（１５）の何れか１項に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記被操作物が配置される容器内に形状寸法が既知の擬似被操作物を配置し、該擬似被操作物に対して前記操作具を接近させる第２の接近工程と、
前記擬似被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第２の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記（１６）に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに擬似被操作物に対して徐々に接近させていくと同時に擬似被操作物の撮像を行い、その形状変化、位置変化、面積変化のうちの少なくとも一つが生じないかを画像上で確認する。そして、第２の判別工程において被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つに変化が生じたと確認された時点で、操作具の先端が擬似被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。

本発明のマニピュレータ装置の第１実施形態を示す図であって、装置構成を説明する概略構成図である。 同マニピュレータ装置の外観を示す斜視図である。 同マニピュレータ装置に備えられている保持部の形状を示す図であって、（ａ）が左側面図、（ｂ）が正面図、（ｃ）が底面図である。 同マニピュレータ装置の同保持部の画像に対して画像処理を行い、操作具の先端位置を求める工程を説明する図であって、（ａ）及び（ｃ）が正面方向から撮像した画像、（ｂ）及び（ｄ）が底面対向方向から撮像した画像である。 同マニピュレータ装置の同保持部に保持されている操作具の先端位置と、細胞または容器底面との相対的な位置関係の認識方法を説明する図であって、（ａ）が底面から見た画像、（ｂ）が正面から見た画像である。 同マニピュレータ装置を用いたインジェクション操作の流れを説明するためのフローチャート図である。 本発明のマニピュレータ装置の第２実施形態を示す図であって、装置構成を説明する概略構成図である。 同マニピュレータ装置の同保持部に保持されている操作具の先端位置と、細胞または容器底面との相対的な位置関係の認識方法を説明する図であって、（ａ）が底面から見た画像、（ｂ）が正面から見た画像である。 本発明のマニピュレータ装置の第３実施形態を示す図であって、装置構成を説明する概略構成図である。 同マニピュレータ装置に備えられている保持部の形状を示す図であって、（ａ）が左側面図、（ｂ）が正面図、（ｃ）が底面図である。 同マニピュレータ装置の同保持部の画像に対して画像処理を行い、操作具の先端位置を求める工程を説明する図であって、（ａ）が正面方向から撮像した画像、（ｂ）が底面対向方向から撮像した画像である。 本発明のマニピュレータ装置の第４実施形態を示す図であって、保持部及びこれを保持する操作軸の正面図である。 同マニピュレータ装置に備えられている保持部の形状を示す図であって、（ａ）が左側面図、（ｂ）が正面図、（ｃ）が底面図である。 同マニピュレータ装置の同保持部の画像に対して画像処理を行い、操作具の先端位置を求める工程を説明する図であって、（ａ）が左側面方向から撮像した画像、（ｂ）が底面対向方向から撮像した画像である。 本発明のマニピュレータ装置の第５実施形態を示す図であって、装置構成を説明する概略構成図である。 同マニピュレータ装置に備えられている容器を示す図であって、（ａ）が平面図、（ｂ）が（ａ）のＡ−Ａ断面図、（ｃ）が底面対向方向から見た図である。 同容器を用いた撮像方法を説明するための縦断面図である。 本発明のマニピュレータ装置の第６実施形態を説明する図であって、（ａ）は、細胞に対する操作具の接触動作を説明するための正面図であり、（ｂ）は、操作具が接触した前後の細胞を平面視した観察画像である。 同細胞の変形を画像処理により検出する方法を説明する平面図である。 本発明のマニピュレータ装置の第７実施形態を説明する図であって、（ａ）は、操作具が接触する前後の細胞を示す平面図であり、（ｂ）は、接触前の細胞の画像に対して正方形を用いて仮想的に分割した状態を示す平面図であり、（ｃ）は、接触後の細胞の画像に対して正方形を用いて仮想的に分割した状態を示す平面図である。 本発明のマニピュレータ装置の第８実施形態を説明する図であって、（ａ）は、操作具が接触する前後の細胞を示す平面図であり、（ｂ）は、接触前の細胞の画像に対して画像処理を行っている状態を示す平面図であり、（ｃ）は、接触後の細胞の画像に対して画像処理を行っている状態を示す平面図である。 本発明のマニピュレータ装置の第９実施形態を説明する図であって、容器内を示す縦断面図である。 同マニピュレータ装置における擬似生体試料への接触動作を示す図であって、上図は接触前の正面図であり、下図は接触後の正面図である。 同マニピュレータ装置における擬似生体試料への接触動作を示す図であって、上図は接触前の平面図であり、下図は接触後の平面図である。 本発明のマニピュレータ装置の第１０実施形態を説明する図であって、容器内の細胞を示す斜視図である。 同各細胞の上端によって形成される仮想平面に基づいて仮想平均面を求めることを説明するための正面図である。 保持部形状の変形例を示す図であって、（ａ）は正面図、（ｂ）は底面を対向する視線から見た図である。 保持部の他の変形例を示す図であって、（ａ）は正面図、（ｂ）は底面を対向する視線から見た図である。

符号の説明

２・・・保持部（保持手段）
２ａ・・・操作具（操作手段）
５・・・制御部（推定手段，位置推定手段）
６，７・・・撮像手段（画像取得手段，撮像手段）
８・・・画像処理手段（情報生成手段）
１００・・・擬似生体試料
Ｐ１・・・点（画像処理上の基準となる点）
Ｓ・・・細胞（操作対象物，生体試料）
Ｘ・・・先端位置（操作手段の先端の位置）

Claims (5)

1. 光学的分解能を上回る微細な先端を有し、顕微鏡によって観察される微小な操作対象物に当該先端が接触又は挿入されて当該操作対象物を操作する操作手段と、
   前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに、前記操作手段を保持する保持手段と、
   前記操作手段の先端を検出できない撮影解像度限界を有し、前記保持手段を含む画像を撮影する撮像手段と、
   前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する推定手段と、
   を備えることを特徴とするマニピュレータ装置。
2. 前記操作対象物が、生体試料を含むことを特徴とする請求項１に記載のマニピュレータ装置。
3. 前記生体試料が、生体細胞を含むことを特徴とする請求項２に記載のマニピュレータ装置。
4. 前記操作手段が、前記操作対象物に接触又は挿入される針状の操作具であることを特徴とする請求項１に記載のマニピュレータ装置。
5. 微小な操作対象物に光学的分解能を上回る微細な先端を接触または挿入して当該操作対象物を操作する操作手段を備えるマニピュレータ装置における当該操作手段の先端位置を推定する方法であって、
   前記操作手段の先端の位置を求めるための参照基準となる基準面または稜線であって、当該基準面または稜線を延長した複数の直線が交差する点に前記操作手段の先端が存在するように構成される基準面または稜線を有するとともに前記操作手段を保持する保持手段が含まれる画像を、前記操作手段の先端を検出できない撮影解像度限界を有する撮像手段によって撮影する工程と、
   前記撮像手段によって撮影された前記保持手段を含む画像中における前記基準面または稜線に基づき、光学的分解能を上回る前記操作手段の先端の位置を推定する工程と、
   を有することを特徴とするマニピュレータ装置における操作手段の先端位置の推定方法。

Images