JP6984870B2 - ３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラム - Google Patents

Description

本発明は、３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラムに関する。

特許文献１には、物体に向けて放出可能な電磁パルスを放出するための手段と、前記物体で反射される前記電磁パルスの輝度レベルを検出することができる２Ｄ光センサと、通信手段と、前記２Ｄ光センサが捕捉した２Ｄ画像から三次元の物体を再構成し、当該再構成に基づいて物体を識別可能にするコンピュータ処理手段とを含むオプトロニックシステムであって、前記２Ｄ光センサが、前記物体周囲の何通りかの観測角で捕捉される該物体の表面で反射される電磁放射の輝度レベルを表す物体の画像を記録し、前記通信手段が、反射モードで行われた逆ラドン変換を使用する前記物体の画像を処理すべく構成された断層撮影機能によって、三次元で物体を再構成できるよう、前記画像を前記コンピュータ処理手段に送信することを特徴とするオプトロニックシステムが開示されている。

特許文献２には、複数のカメラで撮影された複数枚の被写体の画像を取得するステップと、前記被写体を見る位置である仮想視点を決定するステップと、前記取得した被写体の画像をもとに、前記視点から被写体を見たときの画像である仮想視点画像を生成するステップとを有する仮想視点画像生成方法において、前記仮想視点画像を生成するステップは、多層構造をもつ投影面を設定するステップ１と、前記投影面上の各投影点と対応する、前記各被写体の画像上の対応点を求めるステップ２と、複数の対応点の色情報または輝度情報に基づいて前記投影点の色情報または輝度情報を決定するステップ３と、空間上のある基準視点から見て重なり合う複数の投影点について、前記各投影点の位置に相当する距離に前記被写体が存在する可能性の度合いを、前記対応点もしくはその近傍領域の相関の度合いに基づいて計算するステップ４と、前記仮想視点から見て重なり合う基準点の色情報または輝度情報を、前記被写体が存在する可能性の度合いに応じた混合処理をして、前記仮想視点画像における各画素の色情報または輝度情報を決定するステップ５と、前記仮想視点画像の画素に相当するすべての点について、前記ステップ１からステップ５までを繰り返し行うステップ６とを有することを特徴とする仮想視点画像生成方法が開示されている。

特許文献３には、立体像の標準モデルデータからなるデータベースと、複数枚の多視点画像の画像データを取得する画像データ取得手段と、３次元データ作成装置を、前記複数枚の多視点画像から３次元形状データを生成する３次元形状データ生成手段として機能させる３次元形状データ生成プログラムと、前記画像データ取得手段により取得した複数枚の画像データからそれぞれ人物領域を抽出し、抽出した人物領域から検出した顔の特徴部位と前記データベースの標準モデルデータとの対応点を取得してから、前記３次元形状データ生成プログラムにより３次元形状データを得る３次元データ作成制御手段と、前記３次元形状データを補正して顔の表情変化モデルデータを得る表情変化補正手段と、を備え、前記表情変化補正手段は、表情の種類と表情動作単位の組合せを対応付けた対応表データと、表情動作単位と顔の筋肉の収縮部位を対応付けた対応表データを含み、顔の表情を表情単位動作の組合せで表現し、各表上単位動作を対応する部位の顔の筋肉の収縮に変換することにより、喜怒哀楽を示している表情のデータを中立顔のデータに補正する、または中立顔のデータを喜怒哀楽を示している表情のデータに補正する、ことを特徴とする３次元データ作成装置が開示されている。

特許文献４には、立体形状である対象物を複数の撮影点から撮影して得られたテクスチャ画像を用いて、指定された任意の仮想視点から見える映像を生成する任意視点映像生成装置であって、前記テクスチャ画像の各撮影点の視線方向と前記仮想視点の視線方向との間でなされる角度が小さい順に各テクスチャ画像に優先順位を付与し、該優先順位に従って混合する複数のテクスチャ画像を選択するブレンドテクスチャ画像選択手段と、該ブレンドテクスチャ画像選択手段により選択された前記複数のテクスチャ画像の各撮影点における前記角度が小さい程混合率が高くなるように各テクスチャ画像の各ブレンド率を決定し、該各ブレンド率に従って前記複数のテクスチャ画像を混合してブレンドテクスチャ画像を生成するブレンドテクスチャ画像生成手段と、該ブレンドテクスチャ画像生成手段により生成された前記ブレンドテクスチャ画像を３次元モデルにテクスチャマッピングし、前記仮想視点から見える前記対象物の２次元の内挿映像を生成する内挿映像生成手段と、を有することを特徴とする任意視点映像生成装置が開示されている。

特許第５８９１５６０号公報 特許第４０５２３３１号公報 特許第５２０６３６６号公報 特許第５０１１２２４号公報

今や肉眼で又は光学顕微鏡で視認できる物体の立体形状は、比較的手軽に３次元プリンタで複製することができる。

しかしながら、例えば電子顕微鏡でしか視認できないマイクロ・ナノレベルの複雑な３次元形状については、３次元プリンタで複製するのは困難である。

本発明は、複雑な３次元形状を精度良く測定することができる３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラムを提供することを目的とする。

上記課題を解決するため、請求項１記載の発明の３次元形状測定装置は、物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得する取得部と、前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出する算出部と、前記撮影画像の一部の画像をテンプレート画像として、前記複数の断層像の中から前記テンプレート画像と一致する断層像を抽出する抽出部と、を備える。

請求項２記載の発明は、前記算出部は、前記複数の撮影角度の前記断層像の位置から算出した輪郭形状を合成し、合成した前記輪郭形状の欠損部分を補間する。

請求項３記載の発明は、前記算出部は、前記複数の撮影画像の位置合わせを行ってから、逆投影法により前記物体の複数の断層像を算出する。

請求項４記載の発明は、前記複数の撮影画像は、走査型電子顕微鏡により撮影された画像である。

請求項５記載の発明の３次元形状測定方法は、取得部、算出部、及び抽出部を備えた３次元形状測定装置における３次元形状測定方法であって、前記取得部が、物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得し、前記算出部が、前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出し、前記抽出部が、前記撮影画像の一部の画像をテンプレート画像として、前記複数の断層像の中から前記テンプレート画像と一致する断層像を抽出する。

請求項６記載の発明の３次元形状測定プログラムは、コンピュータを、請求項１〜４の何れか１項に記載の３次元形状測定装置の各部として機能させるための３次元形状測定プログラムである。

本発明によれば、複雑な３次元形状を精度良く測定することができる、という効果を有する。

３次元形状測定システムの構成図である。 ３次元形状測定処理のフローチャートである。 複数の撮影角度で物体を撮影した場合について説明するための図である。 物体の撮影画像の一例である。 撮影画像の一部の濃度分布の一例を示す図である。 逆投影処理について説明するための図である。 ＸＺ平面における逆投影像の一例を示す図である。 ＸＹ平面における逆投影像の一例を示す図である。 テンプレート画像について説明するための図である。 テンプレートマッチング処理について説明するための図である。 テンプレートマッチング処理について説明するための図である。 逆投影像について説明するための図である。 逆投影像について説明するための図である。 逆投影像について説明するための図である。 輪郭形状の合成及び補間について説明するための図である。 ３次元形状の他の例を示す図である。

以下、本発明の実施形態について説明する。

図１には、本実施の形態に係る３次元形状測定システム１０の構成を示した。図１に示すように、３次元形状測定システム１０は、走査型電子顕微鏡１２、テーブル１４、駆動部１６、及び３次元形状測定装置１８を備えている。

走査型電子顕微鏡（Scanning Electron Microscope、SEM）１２は、電子顕微鏡の一種であり、電子線を絞った電子ビームをテーブル１４上の物体Ｍに照射する。そして、物体Ｘから放出される二次電子等を検出することにより物体Ｍを撮影する。走査型電子顕微鏡１２は、通常のカメラでは撮影が困難である微少な表面構造を有する物体を鮮明に撮影することができる。

駆動部１６は、図１に示すように、テーブル１４をＸＺ平面内で矢印Ａ方向に回転させる。これにより、複数の撮影角度で物体Ｍを撮影することができる。

３次元形状測定装置１８は、制御部２０、操作部２２、表示部２４、及び記憶部２６を備える。

制御部２０は、図１に示すように、機能的には、取得部３０、算出部３２、及び抽出部３４を備える。

取得部３０は、物体Ｍの表面を複数の撮影角度から撮影した複数の撮影画像を取得する。

算出部３２は、複数の撮影画像に基づいて、逆投影法により物体の複数の断層像を算出する。

抽出部３４は、撮影画像の一部の画像をテンプレート画像として、複数の断層像の中からテンプレート画像と一致する断層像を抽出する。

制御部２０は、ハードウェア構成としては、図示しないＣＰＵ、ＲＯＭ、及びＲＡＭ等を含んで構成される。ＣＰＵは、後述する３次元形状測定処理をＣＰＵに実行させるための処理プログラムが記憶された記憶部２６から当該処理プログラムを読み出して実行する。なお、制御プログラムは、ＣＤ−ＲＯＭ、メモリーカード等の記録媒体により提供するようにしてもよく、図示しないサーバからダウンロードするようにしてもよい。

操作部２２は、各種操作を行うためのマウス、キーボード等を含んで構成される。

表示部２４は、例えば液晶ディスプレイ等で構成される。

記憶部２６は、後述する３次元形状測定処理の処理プログラムや、測定した３次元形状の形状データ等を記憶する。

以下、制御部２０で実行される３次元形状測定処理について図２に示すフローチャートを参照して説明する。

ステップＳ１００では、物体Ｍの表面を複数の撮影角度から撮影するように走査型電子顕微鏡１２及び駆動部１６を制御する。例えば、図１に示すように、テーブル１４をＸＺ平面内において矢印Ａ方向に回転させながら、走査型電子顕微鏡１２により物体Ｍが撮影されるように、走査型電子顕微鏡１２及び駆動部１６を制御する。これにより、複数の撮影角度から物体Ｍを撮影した撮影画像が得られる。

本実施形態では、例えば図３に示すような物体Ｍの３次元形状を測定する場合について説明する。物体Ｍは、物体Ｍ１、Ｍ２を含む。物体Ｍ１は、球の一部を切断した面に突起Ｍ１−Ａ、穴Ｍ１−Ｂ、及び模様Ｍ１−Ｃが形成された形状となっている。また、物体Ｍ２は、物体Ｍ１の近傍に離間して設けられ、棒状の形状となっている。

図２には、物体Ｍを複数の角度から撮影した撮影画像Ｇ１〜Ｇ７の一例を示した。なお、撮影画像Ｇ１〜Ｇ７は、ＸＹ平面における撮影画像である。図３の例では、Ｚ軸に沿った方向から物体Ｍを撮影した場合の撮影角度を０度とする。そして、図３においてＺ軸の右側をプラス側、Ｚ軸の左側をマイナス側として、ＸＺ平面内においてＺ軸から例えば右側に３０度傾けた角度から撮影した場合の撮影角度を＋３０度、左側に３０度傾けた角度から撮影した場合の撮影角度を−３０度とする。図３では、説明を簡単にするために、一例として撮影角度が０度、＋３０度、＋６０度、＋９０度、−３０度、−６０度、−９０度の場合について示した。

なお、本実施形態では、−９０度から＋９０度までを撮影範囲として、予め定めた角度ずつ撮影角度を変化させて撮影した複数の撮影画像に基づいて物体Ｍの３次元形状を測定する場合について説明するが、撮影範囲は、−９０度から＋９０度までに限られるものではない。例えば、撮影範囲を−９０度から＋９０度までの範囲よりも狭くしてもよいし、広くしてもよい。例えば撮影範囲を３６０度としてもよい。また、予め定めた角度は、例えば数度〜数十度の範囲（例えば１〜１０度）の角度とすることができるが、これに限られるものではない。角度を小さくするほど精度良く３次元形状を測定することができるが、物体Ｍの形状の複雑さに応じて適宜設定すればよい。

ステップＳ１０２では、ステップＳ１００で複数の角度から撮影した撮影画像の位置合わせを行う。具体的には、複数の撮影画像の各々について特徴点抽出処理を行い、抽出された特徴点に基づいて、複数の撮影画像における物体Ｍの位置合わせ処理を行う。なお、特徴点抽出処理及び位置合わせ処理は、種々公知の手法を用いることができるため、本実施形態での説明は省略する。

ステップＳ１０４では、ステップＳ１０２で撮影した複数の撮影画像に基づいて、逆投影法により物体の複数の断層像を算出する。

具体的には、撮影画像を撮影角度の軸（以下、撮影軸と称する）と直交させた状態で撮影軸に沿って３次元空間上を移動させながら各画素の画素値を３次元空間上に配置していく。

図４に示すように、撮影角度が−３０度の物体Ｍの撮影画像Ｇ３のうち例えば破線Ｈ１上の画素値、すなわち濃度分布は、図５に示すような濃度分布Ｎとなる。なお、図４では、濃度値が高い程濃度が薄いことを表している。図６は、−３０度の撮影軸Ｊ３に沿って３次元空間上に破線Ｈ１上の画素値が配置される様子を示している。図６に示すように、破線Ｈ１上の画素値は、撮影軸Ｊ３に沿って３次元空間上に配置される。撮影画像Ｇ３の各画素値が撮影軸Ｊ３に沿って３次元空間上に配置されることにより、撮影画像Ｇ３が３次元空間上に逆投影される。

このような逆投影処理を、撮影画像Ｇ１〜Ｇ７のそれぞれについて行う。このとき、３次元空間上の同じ位置の画素に異なる撮影画像の画素が配置された場合は、各画素値を合算する。これにより、撮影角度毎に物体Ｍの複数の断層像が生成される。

ここで、ＸＹ平面で物体Ｍをスライスした断層像は、物体Ｍの輪郭が比較的明瞭となるが、ＸＺ平面で物体Ｍをスライスした断層像は、物体Ｍの輪郭が歪んでしまう場合がある。図７にはＸＺ平面でスライスした断層像の一例を示した。また、図８には、ＸＹ平面で物体Ｍをスライスした場合の断層像を示した。図７、８に示すように、ＸＺ平面で物体Ｍをスライスした断層像の方が、物体Ｍの輪郭が歪んでいるのが判る。これは、ＸＺ平面に並行な面内で撮影角度を変化させて物体Ｍを撮影した場合、ＸＺ平面における物体Ｍの情報量と比較して、ＸＹ平面における物体Ｍの情報量の方が多いためであると考えられる。

そこで、ステップＳ１０６では、撮影画像の一部の画像をテンプレート画像として、複数の断層像の中からテンプレート画像と一致する断層像を抽出する抽出処理、すなわちテンプレートマッチング処理を実行する。

具体的には、例えば撮影画像の一部の画像をテンプレート画像として、テンプレート画像を撮影軸に沿って移動させながら、テンプレート画像と断層像との相関値を算出する。なお、断層像は、撮影軸と直交する面で物体Ｍをスライスした場合の断層像である。

ここで、テンプレート画像がｍ×ｎ（ｍ、ｎは自然数）画素の画像である場合において、テンプレート画像のｘ座標ｉ（１≦ｉ≦ｍ）、ｙ座標ｊ（１≦ｊ≦ｎ）の画素値をＴ（ｉ、ｊ）、断層像の座標（ｉ、ｊ）の画素値をＤ（ｉ、ｊ）とすると、テンプレート画像と断層像との相関値Ｓは次式で表される。

そして、算出した相関値Ｓのうち最も高い相関値Ｓを有する断層像をテンプレート画像と一致する断層像とする。これにより、撮影軸上におけるテンプレート画像の位置が特定される。そして、テンプレート画像と一致した断層像の画素値を、テンプレート画像の画素値に置き換える。これにより、物体Ｍの輪郭が明瞭となる輪郭形状が算出される。

例えば、図９に示すように、撮影角度が０度の撮影画像Ｇ４のテンプレート画像ＴＭＰについてテンプレートマッチング処理を行う場合、例えば図１０、１１に示すように、テンプレート画像ＴＭＰをＺ軸方向に移動させながら、テンプレート画像ＴＭＰと断層像ＤＳとの相関値Ｓを算出する。そして、図１０、１１に示すように、Ｚ軸方向における相関値Ｓの相関分布のピーク部分、すなわち相関値Ｓが最大値となる断層像ＤＳを、テンプレート画像ＴＭＰと一致する断層像とする。

テンプレートマッチング処理は、テンプレート画像ＴＭＰの位置を、ＸＹ平面上において例えば予め定めた画素（例えば１画素）ずつずらしながら、撮影画像Ｇ４の全領域について実行する。

このようなテンプレートマッチング処理を、異なる撮影角度で撮影した撮影画像Ｇ１〜Ｇ７の全てについて実行する。これにより、複数の撮影角度の断層像の位置から、物体Ｍの輪郭が明瞭となる輪郭形状が算出される。

図１２には、物体Ｍの各部が３次元形状空間上に投影される様子を実線や破線の矢印で示した。図１２の投影部分Ｋ１は、図１３の物体Ｍの輪郭Ｒ１に対応し、図１２の投影部分Ｋ２は、図１３の物体Ｍの輪郭Ｒ２に対応し、図１２の投影部分Ｋ３は、図１３の物体Ｍの輪郭Ｒ３に対応している。図１３に示すように、輪郭Ｒ１のように、撮影画像の背景等から輪郭が明瞭な場合は、各撮影画像の逆投影像のエッジの重なり部分がそのまま形状となり得る。しかしながら、図１３に示すように、物体Ｍ２の輪郭Ｒ３のように一部の輪郭が欠損してしまう場合もあり得る。この場合は、後述する補間処理によって欠損箇所が補間される。

また、図１４には、物体Ｍ１の穴Ｍ１−Ｂの穴の底のような微細な部分についても、撮影角度を細かくして撮影することにより、逆投影によって特定できることを示した。

なお、物体Ｍの形状が比較的単純な形状であり、テンプレートマッチング処理を行わなくても精度良く物体Ｍの３次元形状を測定できると考えられる場合には、ステップＳ１０６の処理を省略してもよい。

ステップＳ１０８では、ステップＳ１０６の処理により得られた複数の撮影角度からの輪郭形状を合成する。例えば図１５には、撮影角度が−６０度、０度、＋６０度の輪郭形状ＤＳ１〜ＤＳ３を合成し、輪郭形状ＤＳ４を生成した場合を示した。図１５において、例えば輪郭形状ＲＮはステップＳ１０４の処理により復元され、その他の輪郭形状は、ステップＳ１０６のテンプレートマッチング処理によって復元される。

ステップＳ１１０では、ステップＳ１０８で合成された輪郭形状の欠損箇所を補間する補間処理を行う。なお、補間処理については、種々公知の手法を用いることができるため、説明は省略する。例えば、図１５に示すように、輪郭形状ＤＳ４の欠損箇所Ｅを公知の補間処理によって補間する。これにより、図１５に示すように、欠損箇所が補間された輪郭形状ＤＳ５が得られる。

ステップＳ１１２では、ステップＳ１１０で得られた物体Ｍの輪郭形状を３次元形状として表示部２４に表示すると共に、復元した３次元形状の３次元形状データを記憶部２６に記憶する。

このように、本実施形態では、物体Ｍの表面を複数の撮影角度で撮影し、撮影した複数の撮影画像に基づいて、逆投影法により物体Ｍの断層像を生成する。また、物体Ｍの輪郭が明瞭になるようにテンプレートマッチング処理を行う。これにより、複雑な３次元形状を精度良く測定することができる。本実施形態では、図３に示すような物体Ｍの３次元形状を測定する場合について説明したが、例えば図１６に示すように、多重に絡み合った微絨毛のような３次元形状についても精度良く測定することができる。

なお、本実施形態では、走査型電子顕微鏡（ＳＥＭ）を用いた場合について説明したが、物体Ｍの表面を撮影できる顕微鏡であれば走査型電子顕微鏡に限られるものではない。

また、本実施形態では、テーブル１４を回転させて物体Ｍを複数の撮影角度で撮影する場合について説明したが、電子線の照射方向を複数の角度に変えて撮影することが可能な走査型電子顕微鏡１２を用いて、物体Ｍを複数の撮影角度で撮影するようにしてもよい。

また、物体がマイクロレベルやナノレベル等の微細なものでない場合、例えば肉眼で視認可能なものである場合は、通常の撮影カメラを用いてもよい。この場合、例えば撮影カメラを回転させることで複数の撮影角度で物体を撮影してもよいし、複数の撮影カメラを円弧状に配置することで複数の撮影角度で物体を撮影してもよい。

１０ ３次元形状測定システム
１２ 走査型電子顕微鏡
１４ テーブル
１６ 駆動部
１８ ３次元形状測定装置
２０ 制御部
２２ 操作部
２４ 表示部
２６ 記憶部
３０ 取得部
３２ 算出部
３４ 抽出部
Ｍ 物体

Claims (6)

1. 物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得する取得部と、
   前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出する算出部と、
   前記撮影画像の一部の画像をテンプレート画像として、前記複数の断層像の中から前記テンプレート画像と一致する断層像を抽出する抽出部と、
   を備えた３次元形状測定装置。
2. 前記算出部は、前記複数の撮影角度の前記断層像の位置から算出した輪郭形状を合成し、合成した前記輪郭形状の欠損部分を補間する
   請求項１記載の３次元形状測定装置。
3. 前記算出部は、前記複数の撮影画像の位置合わせを行ってから、逆投影法により前記物体の複数の断層像を算出する
   請求項１又は請求項２記載の３次元形状測定装置。
4. 前記複数の撮影画像は、走査型電子顕微鏡により撮影された画像である
   請求項１〜３の何れか１項に記載の３次元形状測定装置。
5. 取得部、算出部、及び抽出部を備えた３次元形状測定装置における３次元形状測定方法であって、
   前記取得部が、物体の表面を複数の撮影角度から撮影した複数の撮影画像を取得し、
   前記算出部が、前記複数の撮影画像に基づいて、逆投影法により前記物体の複数の断層像を算出し、
   前記抽出部が、前記撮影画像の一部の画像をテンプレート画像として、前記複数の断層像の中から前記テンプレート画像と一致する断層像を抽出する
   ３次元形状測定方法。
6. コンピュータを、請求項１〜４の何れか１項に記載の３次元形状測定装置の各部として機能させるための３次元形状測定プログラム。

Images