JP6032870B2

JP6032870B2 - 計測方法

Info

Publication number: JP6032870B2
Application number: JP2011099890A
Authority: JP
Inventors: 横田　政義; 政義横田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-04-27
Filing date: 2011-04-27
Publication date: 2016-11-30
Anticipated expiration: 2031-04-27
Also published as: JP2012228460A

Description

本発明は、三次元形状の計測方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する方法に関する。

従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡装置が使用されている。このような内視鏡装置の中には、被検物に対して縞を投影した縞画像を、当該縞の位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出するものが知られている。例えば、特許文献１には、縞を投影するための２つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。

米国特許出願公開第２００９／０２２５３２１号公報

しかしながら、特許文献１に記載の内視鏡装置では、縞の位相をずらしつつ複数の縞画像を取得し、複数の縞画像を解析することによって計測を行うので、計測に要する時間が長いという問題があった。

本発明は、上述した事情に鑑みてなされたものであって、その目的は、内視鏡装置を用いて三次元形状の計測を短時間で行う計測方法を提供することである。

上記課題を解決するために、この発明は以下の手段を提案している。
本発明の計測方法は、光の明暗パターンが投影された被検物（ただし、被検物が人間である場合を除く）のパターン投影画像を用いて前記被検物の計測を行う計測方法であって、所定の前記明暗パターンを内視鏡装置の１箇所から前記被検物に投影し、前記被検物において前記明暗パターンが投影された部分を撮像して１枚のパターン投影画像を取得し、空間的位相シフト法またはフーリエ変換法を用いて前記明暗パターンが投影された部分の三次元形状を前記１枚のパターン投影画像から計測することを特徴とする計測方法である。

また、前記１枚の縞画像を取得する前と後との少なくともいずれかに、前記縞パターンが投影される部分の明視野画像を少なくとも１枚取得し、前記１枚の縞画像および前記明視野画像から少なくとも２枚の画像を選択し、前記２枚の画像において所定量以上の位置ずれがある場合に前記内視鏡装置の位置がずれたことを検出することが好ましい。

また、前記１枚の縞画像を取得する前および後に前記明視野画像を少なくとも１枚ずつ取得することが好ましい。

また、前記内視鏡装置の位置がずれたことを検出するために選択される少なくとも２枚の画像は、前記明視野画像から選択されることが好ましい。

本発明の三次元形状の計測方法によれば、内視鏡装置を用いて撮影された１枚の縞画像を解析することによって三次元形状を計測することができるので、内視鏡装置を用いて三次元形状の計測を短時間で行うことができる。

本発明の一実施形態の内視鏡装置の構成を示すブロック図である。同内視鏡装置によって投影される縞パターンを示す模式図である。本発明の一実施形態の計測方法を示すフローチャートである。本発明の一実施形態の変形例の内視鏡装置によって投影される明暗パターンを示す模式図である。

（第１実施形態）
以下、本発明の一実施形態の計測方法について説明する。
本実施形態の計測方法は、内視鏡装置を用いて被検物の三次元形状を計測する方法である。
まず、本実施形態の計測方法が適用された内視鏡装置１の構成について説明する。図１は、本実施形態の内視鏡装置１の構成を示すブロック図である。図２は、内視鏡装置１によって投影される明暗パターンを示す模式図である。
内視鏡装置１は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用されるものであり、長尺の挿入部１０と、挿入部１０の基端が接続された本体部２０とを備える。

図１に示すように、挿入部１０は、管状に形成されており、被検物の内部または被検物へのアクセス経路に挿入される。挿入部１０には、被検物の画像を取得する撮像部３０と、挿入部１０前方の観察視野を照明する照明部４０と、被検物に縞を投影するパターン投影部５０とが設けられている。本実施形態では、パターン投影部５０は明暗パターンとして、縞パターンを披検物に投影するものとする。
また、挿入部１０の先端面１０ａには、撮像部３０の対物光学系３２に外光を入射させるための開口１１と、照明部４０からの照明光を挿入部の前方に照射するための照明窓１２と、パターン投影部５０からの縞を挿入部の前方に照射するための投影窓１３とが設けられている。

撮像部３０は、挿入部１０の先端付近に配置されたイメージャー３１と、イメージャー３１の前方に配置された対物光学系３２と、イメージャー３１と接続されたイメージャー制御部３３とを備える。

イメージャー３１としては、ＣＣＤ、ＣＭＯＳ等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。

対物光学系３２は、挿入部１０の開口１１内に配置されている。所定の画角を有し、当該画角により規定される観察視野内の反射光をイメージャー３１に入射させ、被検物の像を結像させる。また、対物光学系３２は、開口１１を封止する光透過性のカバー部材３２ａを有する。

イメージャー制御部３３は、本体部２０内に設けられており、挿入部１０内を延びる配線３４によりイメージャー３１と接続されている。イメージャー制御部３３は、イメージャー３１の駆動および映像信号を取得する設定等の各種制御を行う。

照明部４０は、第一光源４１と、照明光学系４２と、第一光源４１の光を照明光学系４２に導く第一ファイバーバンドル４３と、第一光源４１と第一ファイバーバンドル４３との間に配置される第一入射光学系４４とを備える。

第一光源４１は、一般的な白色光源であり、本体部２０の内部に配置されている。第一光源４１としては、ＬＥＤやレーザーなどの発光素子や、ハロゲンランプ等を採用することができる。

照明光学系４２は、挿入部１０の先端または先端付近に取り付けられている。照明光学系４２は、挿入部１０の照明窓１２内に設けられた光透過性のカバー部材４２ａと、図示しないレンズ群とを有する。照明光学系４２は、第一光源４１から照射された光を対物光学系３２の画角に適した視野範囲に広げて照明窓１２から出射させ、観察視野をまんべんなく照明する。

第一ファイバーバンドル４３は、照明光学系４２の近傍から挿入部１０を通って本体部２０内の第一光源４１近傍まで延びている。第一ファイバーバンドル４３の種類には特に制限はなく、一般的なライトガイドを使用可能である。

第一入射光学系４４は、第一光源４１から発せられる光を第一ファイバーバンドル４３の径と同程度まで収束させて効率よく第一ファイバーバンドル４３内に導入する。

パターン投影部５０は、第二光源５１（投影用光源）と、投影光学系５２と、第二光源５１の光を投影光学系５２に導く第二ファイバーバンドル５３と、第二光源５１と第二ファイバーバンドル５３との間に配置される第二入射光学系５４と、第二光源５１から出射された光の光路上に配置されたパターン生成部５５とを備える。

第二光源５１は、第一光源４１と同様の白色光源であり、本体部２０の内部に配置されている。なお、第二光源５１は、第一光源４１と波長が異なる光を発する光源であってもよい。

投影光学系５２は、挿入部１０の先端または先端付近に取り付けられている。投影光学系５２は、挿入部１０の投影窓１３内に設けられた光透過性のカバー部材５２ａを有する。なお、投影窓１３に設けられたカバー部材５２ａはレンズ形状であっても構わない。投影光学系５２は、第二光源５１から照射された光を、対物光学系３２の画角に適した視野範囲に広げて１つの投影窓１３から観察視野内に投影する。

第二ファイバーバンドル５３は、投影光学系５２の近傍から挿入部１０を通って本体部２０内の第二光源５１近傍まで延びている。第二ファイバーバンドル５３としては、第一ファイバーバンドル４３と同様に一般的なライトガイドを使用することができる。

第二入射光学系５４は、第二光源５１から発せられた光を、第二ファイバーバンドル５３の径と同程度まで収束させて効率よく第二ファイバーバンドル５３内に導入する。

パターン生成部５５は、所定の位相の縞パターンを形成可能なもので、例えば複数のスリットを有するスリット板や、ガラスや樹脂等からなる透明な板に縞パターンが描かれたものなどを用いることができる。

このほか、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるＭＥＭＳ（マイクロ電子機器システム）ミラーモジュール等がパターン生成部５５として用いられてもよい。この場合、素子ごとの制御を行うので、パターン生成部５５全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部５０の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部５５に接続されたパターン制御部５６によって行われる。また、明暗パターンの形状としては、縞パターンに限らず、図２に示すようなライン状の複数の平行する線でもよいし、その他の例としては、例えば、図９に示すような１本の線（後述）でもよいし、複数の点や、複数の縦線と横線が交差した格子状のパターン、あるいは同心円状のパターンなどであってもよい。

本体部２０内に設けられた他の機構について説明する。第一光源４１および第二光源５１は、これらの光源のオン／オフを制御する光源制御部２１に接続されている。イメージャー制御部３３、パターン制御部５６、および光源制御部２１は、内視鏡装置１全体の制御を行うメイン制御部２２に接続されている。メイン制御部２２には、使用者が内視鏡装置１に各種入力を行うための操作部２３が接続されている。また、メイン制御部２２は、主記憶装置（ＲＡＭ２４）と接続されている。また、本実施形態では、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などの補助記憶装置２５がメイン制御部２２に電気的に接続されている。
なお、必要に応じて、ファームウェア等を記録したＲＯＭ２６（あるいはＥＰＲＯＭやＥＥＰＲＯＭなど）がメイン制御部２２に接続されていてもよい。

さらに、イメージャー３１の取得した映像信号を処理するビデオプロセッサー２７が、イメージャー制御部３３およびメイン制御部２２に接続されており、ビデオプロセッサー２７によって処理された映像信号を画像として表示するモニター２８がビデオプロセッサー２７に接続されている。

次に、本実施形態の計測方法について、上述の内視鏡装置１を用いて計測する例で説明する。
内視鏡装置１の使用時には、まず、使用者は、挿入部１０を被検物の内部や管路等の被検物へのアクセス経路等に挿入し、所定の観察部位まで挿入部１０の先端を進める。使用者は、被検物の所望の部位を観察する観察モードと、当該部位の三次元形状を計測する計測モードとを必要に応じて切り替えることにより、被検物の検査等を行う。

観察モードでは、メイン制御部２２の指令を受けて光源制御部２１が第一光源４１をオン制御し、第二光源５１をオフ制御する。その結果、パターン投影部５０からは縞パターンが投影されずに照明部４０から観察視野に白色光が照射され、観察視野が照明される（以下、この照明状態を「観察状態」と称する。）。照明された被検物の像は、対物光学系３２を通してイメージャー３１に結像される。イメージャー３１から送られた映像信号は、ビデオプロセッサー２７で処理されてモニター２８に表示される。使用者は、モニター２８に表示される被検物の画像により被検物を観察したり、必要に応じて画像を保存したりすることができる。

観察モードから計測モードへ切り替える場合には、モードを切り替える指示を使用者が入力する。モードを切り替えるための指示を入力するためには、操作部２３にスイッチを設けたり、モニター２８をタッチパネルとしてソフトウェアスイッチを構成するなどの公知の入力装置を採用することができる。
観察モードから計測モードへ切り替える入力が使用者によって行われると、メイン制御部２２において、計測画像撮影処理（図３参照）が開始される。

計測画像撮影処理では、まず、内視鏡装置１が観察状態となっているか否かを判定する（図３に示すステップＳ１）。
ステップＳ１において観察状態となっていると判定された場合にはステップＳ３へ進み、ステップＳ１において観察状態以外（例えば後述する計測状態）となっている場合にはステップＳ２へ進む。
これでステップＳ１は終了する。

ステップＳ２は、内視鏡装置１を観察状態に切り替えるステップである。
ステップＳ２では、第一光源４１をオン制御し、第二光源５１をオフ制御する。これにより、パターン投影部５０からは縞パターンが投影されずに照明部４０から観察視野に白色光が照射され、観察視野が照明される。
これでステップＳ２は終了し、ステップＳ３へ進む。

ステップＳ３は、縞パターンが投影されず、照明部４０からの白色光によって照明された被検物の画像を撮影するステップである。
ステップＳ３では、照明部４０からの白色光によって被検物を照明している状態で撮像部３０のイメージャー３１によって画像を取得する（以下、観察状態で撮影された画像を「明視野画像」と称する。）。
ステップＳ３において撮影された明視野画像は、ＲＡＭ２４に一時記憶される。
これでステップＳ３は終了し、ステップＳ４へ進む。

ステップＳ４は、所定の縞パターンを内視鏡装置１の１箇所から被検物に投影するステップである。
ステップＳ５では、メイン制御部２２の指令に基づいて、第一光源４１をオフ制御し、第二光源５１をオン制御する。すると、照明部４０から照射されていた白色光は消灯し、パターン投影部５０から縞パターンが被検物へ投影される。被検物に投影される縞パターンは、図２に示すように、白色光源による明部Ｒ１と、パターン生成部５５によって遮光された暗部Ｒ２とが交互に並べられたパターンとなる。（以下、この状態を「パターン投影状態」と称する。）となる。
これでステップＳ４は終了し、ステップＳ５へ進む。

ステップＳ５は、パターン投影状態でパターン投影画像を撮影するステップである。
ステップＳ５では、被検物に投影された縞パターンは、被検物の三次元形状に応じて変化したパターンとなっている。この状態で、撮像部３０のイメージャー３１によって１枚の画像を取得する（以下、パターン投影状態で撮影された画像を「パターン投影画像」と称する。）。
ステップＳ５において撮影されたパターン投影画像は、ＲＡＭ２４に一時記憶される。
これでステップＳ５は終了し、ステップＳ６へ進む。

ステップＳ６は、内視鏡装置１を観察状態に切り替えるステップである。
ステップＳ６では、第一光源４１をオン制御し、第二光源５１をオフ制御する。これにより、パターン投影部５０からは縞パターンが投影されずに照明部４０から観察視野に白色光が照射され、観察視野が照明される。
これでステップＳ６は終了し、ステップＳ７へ進む。

ステップＳ７は、縞パターンが投影されず、照明部４０からの白色光によって照明された被検物の画像を撮影するステップである。
ステップＳ７では、照明部４０からの白色光によって被検物を照明している状態で撮像部３０のイメージャー３１によって明視野画像を撮影する。
ステップＳ７において撮影された明視野画像は、ＲＡＭ２４に一時記憶される。
これでステップＳ７は終了し、ステップＳ８へ進む。

ステップＳ８は、ステップＳ３からステップＳ７までの間に撮影された画像（明視野画像とパターン投影画像）に基づいて、ステップＳ３からステップＳ７までの間における挿入部１０と被検物との相対移動（以下「ブレ」と称する。）を検出するステップである。
ステップＳ８では、まず、ＲＡＭ２４に記憶された明視野画像とパターン投影画像との少なくともいずれかから、２枚の画像を選択する。たとえば、本実施形態では、１枚のパターン投影画像を撮影する前に撮影された明視野画像と、１枚のパターン投影画像を撮影した後に撮影された明視野画像とを選択する。
続いて、選択された２枚の画像から同一の特徴点を検出し、２枚の画像における特徴点の座標を算出する。
これでステップＳ８は終了し、ステップＳ９に進む。

ステップＳ９は、ステップＳ８において検出された特徴点を用いて２つの画像のブレを判定して処理を分岐するステップである。
ステップＳ９では、２枚の画像における特徴点の座標がそれぞれの画像において同一の座標にあれば、最初の画像と後の画像とにブレは生じていないと判定し、ステップＳ１０へ進む。逆に、２枚の画像における特徴点の座標がそれぞれの画像において異なる座標にあれば、最初の画像と後の画像とにブレが生じていると判定し、ブレが生じているので再度の撮影が必要であることを示すメッセージをモニター２８に表示し（ステップＳ１３）、一連の処理を終了する。
これでステップＳ９は終了する。

ステップＳ１０は、撮影したパターン投影画像を用いた三次元計測を今行うか後で行うかを使用者に選択させるステップである。
ステップＳ１０では、例えば「計測を実施？」などの問い合わせをモニター２８に表示し、撮影したパターン投影画像を用いた三次元計測の実施の可否の入力を使用者に促す。
計測の実施が可であるとの入力があった場合には、ステップＳ１１へ進む。
計測の実施が否であるとの入力があった場合には、ステップＳ１４へ進む。
これでステップＳ１０は終了する。

ステップＳ１１は、三次元計測を行うための解析をするステップである。
ステップＳ１１では、ＲＡＭ２４に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、１枚のパターン投影画像を用いて、例えば公知の空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
三次元形状の解析結果は、テキストファイルあるいはバイナリーファイルとして生成され、パターン投影画像とともに補助記憶装置２５に保存される。なお、ステップＳ１１は、ステップＳ１０の開始と同時にステップＳ１０のバックグラウンド処理として行われてもよい。
これでステップＳ１１は終了し、ステップＳ１２へ進む。

ステップＳ１２は、モニター２８上の表示を各種計測モードの画面に移行させ、ステップＳ１１で保存された情報を用いてモニター２８上に計測結果を表示するステップである。
ステップＳ１２では、ステップＳ３において取得した明視野画像（あるいはステップＳ７において取得した明視野画像）上に、ステップＳ１１において解析された結果をオーバーレイ表示する等、明視野画像に表示された被検物の三次元形状をモニター２８に表示する。これにより、使用者は、被検物の三次元形状を知ることができる。
これでステップＳ１２は終了し、一連の処理は終了する。

ステップＳ１４は、上記ステップＳ１０から分岐したステップであり、計測結果の表示を後で行うために必要な情報処理を行うステップである。
ステップＳ１４では、上記ステップＳ１１と同様に、ＲＡＭ２４に記憶されたパターン投影画像に基づいて、三次元形状の解析を行う。たとえば、本実施形態では、１枚のパターン投影画像を用いて、空間的位相シフト法あるいはフーリエ変換法によって被検物の三次元形状を解析する。
また、明視野画像、パターン投影画像、三次元形状の解析結果、および解析に用いた光学的パラメータを、それぞれバイナリーファイルあるいはテキストファイルとして補助記憶装置２５に保存する。この場合、例えばファイル名の一部を共通としたり、１つのディレクトリ（フォルダ）にこれらのファイルをまとめて保存したりすることにより、後で一括して読み出すことができるように補助記憶装置２５にこれらのファイルが保存される。
これでステップＳ１４は終了し、一連の処理は終了する。

以上説明したように、本実施形態の計測方法によれば、所定の縞パターンが被検物に投影された状態で撮影された１枚のパターン投影画像に基づいて被検物の三次元形状の計測を行うことができるので、内視鏡装置１を用いて三次元形状の計測を短時間で行うことができる。

また、本実施形態の計測方法によれば、挿入部１０が細径化された内視鏡装置１であって縞パターンが１つの投影窓１３から投影される環境であっても精度良く三次元形状を計測することができる。

また、１枚のパターン投影画像の他に明視野画像も撮影し、パターン投影画像および明視野画像から選択された２枚の画像を用いてブレを検出することができるので、三次元形状の計測精度を高めることができる。

また、１枚のパターン投影画像を撮影する前後に明視野画像を１枚ずつ撮影してブレ検出に用いるので、ブレの有無を精度良く判定することができる。

また、本実施形態の計測方法では、パターン投影画像を撮影する前後の明視野画像を用いてブレを検出し、ブレがないと判定された場合に三次元形状の解析を行うので、複数のパターン投影画像上の縞パターンがずれたまま解析が行われることがない。このため、三次元形状の解析精度を高めることができる。さらに、パターン投影画像を用いた計測結果を明視野画像上にオーバーレイ表示させるときの位置ずれを抑えることもできる。

（変形例）
次に、上述の実施形態で説明した内視鏡装置１および計測方法の変形例について説明する。
本変形例では、パターン生成部５５Ａ（図１参照）を備えており、パターン投影部５０は、図４に示すような明または暗のライン状の１本のパターンを被検物に対して投影することができるようになっている。図４には、明部Ｒ１内に１本のすじ状の暗部Ｒ２が投影された場合が示されている。なお、暗部Ｒ２内に１本のすじ状の明部Ｒ１が投影されるようになっていてもよい。
パターン投影部５０から投影されるこの１本のパターン自体は、投影場所や方向が移動したり、形状が変形したりしない。

本変形例では、被検物の三次元形状の計測方法も異なっている。以下、上述の実施形態と処理内容が異なる点を中心に本変形例の計測方法を説明する。

本変形例では、ステップＳ１１およびステップＳ１４において、１枚のパターン投影画像を用いて、光切断法によって三次元形状の解析を行う。本変形例では、１枚のパターン投影画像を用いて、１本のパターン上において三次元形状の解析を行うので、上述の実施形態において１枚のパターン投影画像の全面に対して解析する場合と比較して、三次元形状が測定できる部分は限定されるものの、解析時間を大幅に短縮することができる。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、上述の実施形態では、１枚のパターン投影画像を撮影する例を用いて説明したが、複数枚のパターン投影画像を撮影し、画像の状態が良好な１枚のパターン投影画像を選択することによって、実質的に１枚のパターン投影画像を取得して解析に使用するようにしても構わない。

また、上述の実施形態では、ブレを検出するために用いる画像として２枚の明視野画像を選択する例を示したが、ブレを検出するために用いる画像としてパターン投影画像を用いても構わない。また、明視野画像を２枚より多く撮影することもでき、２枚より多くの明視野画像がある場合には必要に応じてこれらの明視野画像から必要枚数の画像を選択してブレを検出することができる。

また、上述の実施形態及び各変形例において示した構成要素は適宜に組み合わせて構成することが可能である。

１内視鏡装置
１０挿入部
１０ａ先端面
１１開口
１２照明窓
１３投影窓
２０操作部
３０撮像部
３２対物光学系
４０照明部
５０パターン投影部

Claims

光の明暗パターンが投影された被検物（ただし、被検物が人間である場合を除く）のパターン投影画像を用いて前記被検物の計測を行う計測方法であって、
所定の前記明暗パターンを内視鏡装置の１箇所から前記被検物に投影し、
前記被検物において前記明暗パターンが投影された部分を撮像して１枚のパターン投影画像を取得し、
空間的位相シフト法またはフーリエ変換法を用いて前記明暗パターンが投影された部分の三次元形状を前記１枚のパターン投影画像から計測する
ことを特徴とする計測方法。
請求項１に記載の計測方法であって、
前記１枚のパターン投影画像を取得する前と後との少なくともいずれかに、前記明暗パターンが投影される部分の明視野画像を少なくとも１枚取得し、
前記１枚のパターン投影画像および前記明視野画像から少なくとも２枚の画像を選択し、
前記２枚の画像において所定量以上の位置ずれがある場合に前記内視鏡装置の位置がずれたことを検出する
ことを特徴とする計測方法。
請求項２に記載の計測方法であって
前記１枚のパターン投影画像を取得する前および後に前記明視野画像を少なくとも１枚ずつ取得することを特徴とする計測方法。
請求項３に記載の計測方法であって、
前記内視鏡装置の位置がずれたことを検出するために選択される少なくとも２枚の画像は、前記明視野画像から選択されることを特徴とする計測方法。