JP2861634B2 - ３次元物体の認識方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、顕微鏡のもとでその光
軸方向にも水平方向と同等又はそれ以上の高さを持つ観
察物または被操作物及びマイクロマニピュレ−タ等の３
次元物体の認識方法および装置に関するものである。

【０００２】

【従来の技術】従来、顕微鏡によって観察物等の３次元
物体の画像を撮像するものにおいて、その３次元物体が
顕微鏡の光軸方向に高さを有している場合、その焦点深
度の関係上、前述した３次元物体を一括して撮像表示す
ることができないという不具合が有る。この不具合を解
消するために、特開昭６２−２９５０１５号公報に示さ
れるように、３次元物体の拡大像を複数の光路に分割
し、この分割した３次元物体の拡大像をその高さ方向の
異なる観察位置にそれぞれ合焦し得るように構成し、か
つ、同期結合された複数の撮像手段で撮影し、各撮像手
段から得られた映像信号を任意の範囲で電気的に切出し
合成して、高さ方向の異なるそれぞれの観察位置に合焦
した１画面分の合成映像信号を得るものがある。

【０００３】

【発明が解決しようとする課題】上記の従来技術におい
ては、３次元物体の構造を詳細に観察しようとする場
合、観察位置をその高さ方向に複数に分割する必要があ
る。このように観察位置を複数に分割すると、この分割
数に応じたカメラおよびモニタが必要になり、構成が複
雑になる。また、各カメラによって撮影した撮像の大き
さに異なりを生じ、鮮明な合成画像を得ることができな
いという問題があった。

【０００４】本発明は、上述の事柄に基づいてなされた
もので、３次元物体の鮮明な全体画像を得ることができ
る３次元物体の認識方法および装置を提供することを目
的とするものである。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の３次元物体の認識方法は、撮像対象の画像
を光軸方向の異なった位置で撮像し、この画像を微小領
域に分けて各微小領域を番地付けするとともに、この番
地毎に撮像対象までの距離情報を作成しておき、光軸方
向の異なった位置で撮像された複数の画像から、前記距
離情報に基づいて、各画像が撮像されたときの被写界深
度内にある番地を選択し、選択された番地に対応する各
微小領域の画像を抽出して合成することにより、３次元
物体の画像を得られるようにしたものである。

【０００６】また、本発明の３次元物体の認識装置は、
光軸方向の異なった位置で画像を撮像する撮像手段と、
この撮像手段で撮像した画像を微小領域に分け、各微小
領域を番地付けする画像処理手段と、撮像対象までの距
離を測定する距離測定手段と、この距離測定手段で測定
した距離に基づいて、前記番地毎に撮像対象までの距離
情報を作成する距離情報処理手段と、画像を合成する画
像合成手段とを備え、光軸方向の異なった位置で撮像さ
れた複数の画像から、前記距離情報に基づいて、各画像
が撮像されたときの被写界深度内にある微小領域に対応
する番地を選択し、選択された番地に対応する各微小領
域の画像を抽出して合成することにより、３次元物体の
画像を得られるようにしたものである。

【０００７】

【作用】撮像する画像を微小領域に分け、各微小領域を
番地付けするとともに、各番地毎に撮像対象までの距離
情報を作成しておくことにより、光軸方向の異なった位
置で撮像した画像内で被写界深度内にある微小領域を確
実に抽出可能にする。そして、各画像から抽出した微小
領域の画像を合成することにより、３次元物体の鮮明な
全体画像を生成することができる。

【０００８】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。

【０００９】図１は、本発明の３次元物体の認識装置を
顕微鏡装置に適用した例を示すもので、この図１におい
て、顕微鏡装置２０は、レンズ系１と、撮像手段３と、
観察物あるいは被操作物となる３次元物体５の凹凸の状
態を画面内の距離情報画像として測定する距離センサ２
と、観察台６と、観察台駆動機構７と、この観察台駆動
機構７の移動量を検出する検出器１５とを備えている。
また、撮像手段３から得られた画像デ−タを処理する装
置として、撮像手段３から得られた画像を処理する画像
処理装置８と、処理画像を記憶する画像記憶装置９と、
距離センサ２から得られた画像内の各点の距離情報によ
り距離情報画像を生成する距離情報処理装置１０と、距
離情報画像と撮像手段３の被写界深度とにより画像記憶
装置９からの画像中で合焦している画像領域を選択し、
これらの選択領域を合成する画像合成装置１１と、その
結果を表示する表示装置１３とを備えている。

【００１０】一方、顕微鏡装置２０には、３次元物体５
に対して組立て等の操作を行うマイクロマニピュレ−タ
４が備え付けられている。このマニピュレ−タシステム
はマニピュレ−タ指令入力装置１４とマニピュレ−タ駆
動装置１２によって作業を実行する。

【００１１】次に、前述した本発明の認識装置の動作を
図２に示すフロ−チャ−トに基づき説明する。

【００１２】３次元物体５とマニピュレ−タ４の存在す
る空間の範囲が、撮像手段３面からの距離で表したとき
に、その最遠距離点Ｂと最近距離点Ａの間にあるものと
する。このとき、まず初めに３次元物体５を設置してあ
る観察台６の面が撮像手段３の被写界深度ｈの遠距離点
側に入るように、観察台６を観察台駆動機構７によって
上下方向に移動する（ステップ１００）。このときの光
学画像を撮像手段３で取り込む（ステップ１０１）。こ
の光学画像は画像処理装置８において微小領域に分けて
行列状に番地付けされ、例えば、画像番号ｎ，行番号
ｘ，列番号ｙ，としてｐ（ｎ，ｘ，ｙ）で表わされる
（ステップ１０２）。この番地付けした画像を画像記憶
装置９に記憶する（ステップ１０３）。次に、観察台６
を撮像手段３の被写界深度ｈ分だけ下降させる（ステッ
プ１０４）。最遠距離点Ａと最近距離点Ｂの距離差Ａ−
Ｂと観察台６の積算移動量ｎ×ｈとを比較して、Ａ−Ｂ
≦ｎ×ｈになるまでステップ１０１からステップ１０４
を繰り返す。これにより、撮像手段３の被写界深度ｈの
幅でｎ枚の画像が画像処理装置９内に記憶される。ｎ番
目の画像には、３次元物体における撮像手段３からＡ−
（ｎ−１）ｈからＡ−ｎｈの距離にある部分に焦点の合
った画像が記憶される。

【００１３】一方、距離センサ２による計測では、ステ
ップ１００のときの観察台６の位置でステップ１０２で
画像を微小領域に分割して行列状に番地付けする各微小
領域に対して、距離測定値が対応するように測定する。
距離測定を行う場所は、例えば各微小領域の中心点と
し、距離センサ２により画像の各微小領域の中心点の距
離を測定して、距離情報処理装置１０においてステップ
１００のときの観察台６の位置での撮像手段３面から画
像の各微小領域の中心点までの距離に換算する。また
は、画像の各微小領域内で５点程度の測定点を決め、こ
れらの点の距離測定値を数値処理することにより、画像
の各微小領域に対応した代表距離値ｄ（ｘ，ｙ）を決定
する。

【００１４】次に、画像の各微小領域ごとに代表距離値
に対応した微小領域画像を選択する。この選択の方法を
以下説明する。

【００１５】まず、全画面合焦画像の微小領域（Ｘ，
Ｙ）＝（１，１）の光学画像を選択する際には、

【００１６】

【数式１】 Ａ−（ｎ−１）ｈ≦ｄ（１，１）＜Ａ−ｎｈ ……（数式１） を満足するｎ番目の微小領域光学画像を選択する。この
ように選択することにより、微小領域内の物体にピント
の合った画像が選ばれる。選択した微小領域画像は画像
合成装置１１において、他の微小領域画像と合成され、
全画面に輪郭のクリアな画像を提供することができる。

【００１７】次に、本発明の装置による３角錐形状の３
次元物体５に対する合成画像の抽出方法を説明する。

【００１８】図３に観察物の一例となる３角錐形状の３
次元物体５を示す。この３次元物体５は、三角錐の形状
をしており、その側面に符号Ａと４の文字が書かれてい
る。図４に示すように、撮像手段３上で焦点の合った画
像が得られる範囲である撮像手段３の被写界深度２６が
近距離点２４と遠距離点２５の間にあるものとする。図
４に示す状態は、観察台６から上方に撮像手段３の被写
界深度２６がある場合である。このときの撮像手段３上
で得られる画像は、図５に示すような光学画像３１とな
る。この光学画像３１の中央部分は撮像手段３の被写界
深度２６外にあるため、ピントのぼけた状態となる。

【００１９】次に、図４に示す状態から図６に示すよう
に、観察台６を撮像手段３の被写界深度２６だけ下降す
る。このとき、撮像手段３で得られる画像は、図７に示
すような光学画像３２となる。この光学画像３２は、３
次元物体５の中階層にピントの合った画像となる。

【００２０】次に、図６に示す状態から観察台６をさら
に下降させて、図８に示すような位置に設定する。この
ときに撮像手段３により得られる光学画像は、図９に示
すように３次元物体５の頂点近傍に焦点の合った光学画
像３３となる。これらの画像は、画像記憶装置９から画
像合成装置１１に送られる。

【００２１】一方、距離センサ、例えばレ−ザ−測距セ
ンサ２は、光学画像３１と同一の画像範囲内を走査して
画像内の座標点に対して距離測定値を得る。図１０は距
離情報画像を得るための距離センサ２と３次元物体５と
の位置関係を示すものである。この図における左側の数
値は撮像手段３の面からの鉛直方向の距離を示す。この
図の場合、対象物は５０μｍから８０μｍの間に存在す
る。そして、顕微鏡視野４４のうちの一部分４５の部分
の距離情報画像を、図１１の４６に示す。顕微鏡視野４
４を縦横の細かいメッシュに切って、そのメッシュの中
央の部分の撮像手段３の面からの距離を距離センサ２に
よって測定し、その行、列の番地の距離情報とする。つ
まり、距離情報画像４６のｍ行ｎ列の距離情報は６６μ
ｍであり、ｍ＋２行ｎ＋３列の距離情報は７０μｍであ
る。

【００２２】このとき、図５に示す光学画像３１と同じ
部分の拡大図を図１２に示す。図１２の光学画像３１の
一部分３４の拡大図を符号３５で示す。前述した図９に
おける３次元物体５と撮像手段３との位置関係が、図１
０に示す位置関係と等しいとき、撮像手段３の被写界深
度の遠距離点２５が８０μｍ、近距離点２４が７０μｍ
となる。つまり、図５の光学画像３１は７０μｍから８
０μｍの間に存在する物体に輪郭を鮮明に写している画
像である。

【００２３】次に、図１１の距離情報画像拡大部分４６
において７０μｍから８０μｍの範囲にある行列の番地
を選択する。図１１では黒枠で囲った符号４７で示す部
分がこれに相当する。これを図１１に示す視野画像４４
全体に実施すると、図１３に示す距離情報画像４１のハ
ッチング部分となる。このハッチング部分の行列の番地
と同じ番地の光学画像を、図５に示す光学画像３１から
取り出すと、図１４に示す部分画像５１ができる。同様
に、図６に示す位置関係の場合には、距離７０μｍから
６０μｍ迄の距離画像上の該当する番地が、図１５に示
す距離情報画像４２に示す領域となる。この番地と同一
の部分を、図７に示す光学画像３２から切り出した結果
が、図１６に示す部分画像５２である。同様に、図８に
示す位置関係の場合には、距離６０μｍから５０μｍの
間の距離情報画像の領域が、図１７に示す距離情報画像
４３であり、この領域と同じ部分を図９に示す光学画像
３３から切り抜いたものが図１８に示す部分画像が５３
である。

【００２４】以上の図４、図６、図８に示す位置関係は
被写界深度が連続している。よって８０μｍから６０μ
ｍ迄の焦点の合った画像が得られる。図１４、図１６、
図１８に示される部分画像５１から５３の画像を合成す
ることにより、図１９に示すように３次元物体５の全画
面合焦点画像54を提供することができる。これまでの画
像の切り出し、合成の処理は、画像合成装置１１によっ
て処理される。この画像は表示装置１３に表示される。
操作者はこの表示装置１３の画像を見ながらマニピュレ
−タ指令入力装置１４を用いて３次元物体５に対する駆
動指令をマニピュレ−タ駆動装置１２に出力する。この
指令に基づいて、マイクロマニピュレ−タ４は３次元物
体５の組立て、加工、調整等を行う。

【００２５】このように、撮像手段３の光軸方向に被写
界深度を越えるような寸法を有する３次元物体５に対し
て操作を行う場合に、本発明の３次元物体の認識方法を
用いることにより、顕微鏡視野内の全画面においてピン
トの合った画像が提供できるため、操作する点が上下方
向に離れていても、いちいちピントをどちらかに合わせ
直すことがなく、３次元物体５をマイクロマニピュレ−
タ４により操作することができる。同時に、２つのマニ
ピュレ−タ４により、３次元物体５の上下方向２点に対
して操作を行うときにも、両方のマニピュレ−タ４の先
端部分を監視しながら操作することができる。

【００２６】上述の実施例では、ｎ枚の光学画像を微小
領域に分割して焦点の合っている微小領域を選択する際
に距離センサの情報を用いて選択する場合を説明した
が、光学画像の１ピクセルごとの輝度情報を用いること
もできる。この実施例を図２０乃至図２２を用いて説明
する。図２０乃至図２２に示される光学画像３１、３
２、３３における隣り合うピクセルとの輝度の差がある
しきい値より大きな値となる位置７１，７２，７３，７
４を画像処理装置８で検出する。そして、この輝度の差
が大きな点を含む画像の微小領域を選択して、画像合成
装置１１において画像を合成する。

【００２７】このように構成することにより、ピントの
合っているところでは、３次元物体５の稜線が鮮明に現
われるために、隣のピクセルとの輝度の差が大きくな
り、ピントのぼけているところでは稜線の画像がぼやけ
る。このために、隣のピクセルとの輝度の差が小さいこ
とを利用して、ｎ枚の光学画像からピントの合っている
部分を寄せ集めて全画面の合焦点画像を得ることができ
る。

【００２８】この実施例ではピントの合っている部分を
隣のピクセルとの輝度の差で検出したが、輝度の変化の
微分値を利用したり、隣のピクセルだけでなく上下左右
または周辺のピクセルとの輝度、カラ−、その他の画像
情報を用いてピントの合った部分を検出する手段を用い
ることも可能である。

【００２９】この実施例によれば、距離センサ２を用い
なくても、３次元物体５の全画面の合焦点画像を得るこ
とができる。

【００３０】前述の実施例では、３次元物体５の光学画
像を複数取り込む際に、観察台６を撮像手段３の被写界
深度ｈだけ上下方向に移動させたが、図２３に示すよう
にレンズ系１、撮像手段３をレンズ系移動機構８１によ
って一体に上下動させても良い。

【００３１】このように構成したことにより、レンズ系
１の焦点距離が変化しないので、焦点の合っている部分
の画像の倍率は変化せず、複数の光学画像を合成した画
像は、その合成の際にも接合点が食い違うことなく合成
することができる。

【００３２】また、本発明においては、画像合成装置１
１から表示装置１３に表示される合成画像は、一括して
表示しても良いし、複数の光学画像を順次表示して合成
しても良い。さらに、複数の光学画像をカラ−表示する
ことも可能である。

【００３３】このように構成することにより、３次元物
体５の形状認識が容易になり、この３次元物体５に対す
る操作性を向上させることができる。

【００３４】

【発明の効果】本発明によれば、撮像される画像の各微
小領域毎に撮像対象までの距離情報が作成されることに
より、被写界深度内にある微小領域を確実に抽出でき、
抽出した微小領域の画像を合成することにより、３次元
物体の鮮明な全体画像を生成することができる。

【図面の簡単な説明】

【図１】本発明の３次元物体の認識装置の一実施例の構
成を示す図である。

【図２】本発明の３次元物体の認識装置による認識方法
を説明するフロ−チャ−ト図である。

【図３】本発明に用いられる３次元物体の一例を示す斜
視図である。

【図４】本発明の３次元物体の認識装置における撮像手
段、レンズ系と３次元物体との位置関係の一例を示す正
面図である。

【図５】図４に示す本発明の３次元物体の認識装置にお
ける撮像手段、レンズ系と３次元物体との位置関係によ
って得られた画像を示す図である。

【図６】本発明の３次元物体の認識装置における撮像手
段、レンズ系と３次元物体との位置関係の他の例を示す
正面図である。

【図７】図６に示す本発明の３次元物体の認識装置にお
ける撮像手段、レンズ系と３次元物体との位置関係によ
って得られた画像を示す図である。

【図８】本発明の３次元物体の認識装置における撮像手
段、レンズ系と３次元物体との位置関係のさらに他の例
を示す正面図である。

【図９】図８に示す本発明の３次元物体の認識装置にお
ける撮像手段、レンズ系と３次元物体との位置関係によ
って得られた画像を示す図である。

【図１０】本発明の３次元物体の認識装置における距離
センサと図３に示す３次元物体との距離関係を示す正面
図である。

【図１１】図１０に示す距離関係によって得られる距離
情報画像の一例を示す図である。

【図１２】図１０に示す距離関係によって得られる距離
情報画像の他の例を示す図である。

【図１３】本発明の３次元物体の認識装置における距離
情報処理装置によって得られる距離情報画像の一例を示
す図である。

【図１４】本発明の３次元物体の認識装置における画像
合成装置によって得られる合焦点部分画像の一例を示す
図である。

【図１５】本発明の３次元物体の認識装置における距離
情報処理装置によって得られる距離情報画像の他の例を
示す図である。

【図１６】本発明の３次元物体の認識装置における画像
合成装置によって得られる合焦点部分画像の他の例を示
す図である。

【図１７】本発明の３次元物体の認識装置における距離
情報処理装置によって得られる距離情報画像のさらに他
の例を示す図である。

【図１８】本発明の３次元物体の認識装置における画像
合成装置によって得られる合焦点部分画像のさらに他の
例を示す図である。

【図１９】本発明の３次元物体の認識装置における画像
合成装置によって得られる合焦点全画像の一例を示す図
である。

【図２０】本発明の３次元物体の認識装置の他の例によ
る部分画像の一例の認識方法を示す図である。

【図２１】本発明の３次元物体の認識装置の他の例によ
る部分画像の他の例の認識方法を示す図である。

【図２２】本発明の３次元物体の認識装置の他の例によ
る部分画像のさらに他の例の認識方法を示す図である。

【図２３】本発明の３次元物体の認識装置のさらに他の
実施例を示す正面図である。

【符号の説明】

１・・・レンズ系、２・・・距離センサ、３・・・撮像
手段、４・・・マイクロマニピュレ−タ、５・・・３次
元物体、８・・・画像処理装置、９・・・画像記憶装
置、１０・・・距離情報処理装置、１１・・・画像合成
装置、１２・・・マニピュレ−タ駆動装置、１３・・・
表示装置、１４・・・マニピュレ−タ指令入力装置、１
５・・・検出器、２０・・・顕微鏡装置。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−39018（ＪＰ，Ａ) 特開 昭62−50806（ＪＰ，Ａ) 特開 昭61−68312（ＪＰ，Ａ) 特開 昭62−295015（ＪＰ，Ａ) 特開 平２−266782（ＪＰ，Ａ) 特開 平４−128710（ＪＰ，Ａ) 特開 平５−313068（ＪＰ，Ａ) 特開 平６−34339（ＪＰ，Ａ) 実開 昭61−150318（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G02B 21/00 - 21/36 G06T 1/00 H04N 5/222 - 5/257

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】撮像対象の画像を光軸方向の異なった位置
   で撮像し、この画像を微小領域に分けて各微小領域を番
   地付けするとともに、この番地毎に撮像対象までの距離
   情報を作成しておき、光軸方向の異なった位置で撮像さ
   れた複数の画像から、前記距離情報に基づいて、各画像
   が撮像されたときの被写界深度内にある番地を選択し、
   選択された番地に対応する各微小領域の画像を抽出して
   合成することにより、３次元物体の画像を得られるよう
   にした３次元物体の認識方法。
2. 【請求項２】光軸方向の異なった位置で画像を撮像する
   撮像手段と、この撮像手段で撮像した画像を微小領域に
   分け、各微小領域を番地付けする画像処理手段と、撮像
   対象までの距離を測定する距離測定手段と、この距離測
   定手段で測定した距離に基づいて、前記番地毎に撮像対
   象までの距離情報を作成する距離情報処理手段と、画像
   を合成する画像合成手段とを備え、光軸方向の異なった
   位置で撮像された複数の画像から、前記距離情報に基づ
   いて、各画像が撮像されたときの被写界深度内にある微
   小領域に対応する番地を選択し、選択された番地に対応
   する各微小領域の画像を抽出して合成することにより、
   ３次元物体の画像を得られるようにした３次元物体の認
   識装置。