JP5259348B2

JP5259348B2 - 高さ情報取得装置、高さ情報取得方法、及びプログラム

Info

Publication number: JP5259348B2
Application number: JP2008290386A
Authority: JP
Inventors: 宗拓柴田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2008-11-12
Filing date: 2008-11-12
Publication date: 2013-08-07
Anticipated expiration: 2028-11-12
Also published as: JP2010117229A

Description

本発明は計測技術に関し、特に、観察対象である標本の高さ情報を、該標本の顕微鏡画像に基づいて取得する技術に関する。

顕微鏡のような、焦点深度の浅い光学系を持つ装置では、観察対象の把握が困難であるため、観察対象の全焦点画像、三次元形状データ、及び三次元画像を得ることのできる装置が求められている。ここで、全焦点画像とは、観察対象の全ての領域に焦点が合った画像である。また、三次元形状データとは、観察対象の顕微鏡画像を構成している全ての画素に、当該画素で表現されている観察対象の高さ情報が割り当てられたデータ群のことであり、コンピュータグラフィックスで観察対象の三次元表示を可能とする。更に、三次元画像とは、三次元形状データの各画素に、例えば全焦点画像の各画素の輝度情報を割り当てる等して、観察対象の三次元形状に色彩が与えられた画像である。

共焦点光学系を用いて観察対象の高さ計測やパターン投影などを行う、アクティブ法に属する三次元計測装置は、レーザ光等の光照射装置を必要とするため、大型で高コストであるため、その概形を観察するだけで十分な場合には不向きである。

パッシブ法に属する三次元形状の計測方法に、Shape from Focus法と呼ばれる手法がある。この手法は、焦点位置の異なる複数の画像を用いて被写体の三次元形状を計測するものであり、ある焦点位置で撮像した画像において、焦点位置に近い領域は鮮明であり、焦点位置から離れた領域では惚けて写ることを利用して計測するものである。

具体的には、観察対象の高さ方向に焦点位置の異なる複数の画像における同一位置の各画素（注目画素）について、近傍の画素とでの輝度の微分値が最大となるものを特定する。そして、特定された各画素が属している画像の取得時における焦点位置を、その注目画素の高さ情報とすることで、三次元形状データを得ることができる。また、全焦点画像は、観察対象の高さ方向に焦点位置の異なる複数の画像における各注目画素について、近傍の画素とでの輝度の微分値が最大となったときの輝度値を割り当てて画像を形成すればよい。

この手法は、前述の光照射装置のような特別な装置を必要としないので、極めて小型で且つ低コストで装置を構成することができる。また、アクティブ法より計測精度が低いものの、観察対象の概形の観察のみを目的とする場合には十分である場合が多い。

しかしながら、Shape from Focus法は、画像内の濃淡変化の乏しい領域では誤計測が非常に多くなり、適切な計測が困難になるという問題がある。
この問題に関し、特許文献１には輝度変化が所定値未満の領域では測定結果を使用せず、その代わりに、当該領域周囲の、高さ情報を測定できた領域の当該高さ情報に基づく補間によって、当該領域の高さ情報を得るという技術が開示されている。

この技術を、図７を用いてより具体的に説明する。図７において、高さを直接求めることができなかった画素１００の高さｚを、その画素の近傍に配置されている複数個の画素１０１から算出する。ここで、第ｉ番目の画素１０１について、画素１００との距離をｌｉとし、その高さをＺｉとしたときに、画素１００の高さｚを、下記の［数１］式による線形補間により算出するというものがこの技術である。

特許第４０９１４５５号公報

しかしながら、上掲した特許文献１に開示の技術では、補間の基礎とする近傍画素ｉを探索する処理時間への配慮がなく、また、近傍画素ｉに異常値が含まれていると、補間で求めた画素ｐの高さｚの値が、この異常値に引きずられることがある。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、観察対象である標本の濃淡変化が乏しい領域の適切な高さ情報を得ることである。

本発明の態様のひとつである高さ情報取得装置は、標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得装置であって、該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得手段と、該顕微鏡画像を複数の小領域に分割する分割手段と、該複数の小領域の各々に対し、該小領域に表さ
れている該標本の部位の高さの代表値を、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得手段が取得した高さ情報に基づき生成する高さ情報代表値生成手段と、該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段が該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得手段と、を有し、該高さ情報代表値生成手段は、該小領域に該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値に基づいて、該小領域についての該高さの代表値を生成するというものである。

なお、上述した高さ情報取得装置において、該高さ情報代表値生成手段は、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得手段が取得した複数の高さの情報を平均して平均値を算出し、この算出結果を該小領域についての該高さの代表値として生成するように構成してもよい。

なお、このとき、該高さ情報代表値生成手段は、該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値を平均して平均値を算出し、この算出結果を該小領域についての該高さの代表値として生成するように構成してもよい。

また、前述した高さ情報取得装置において、該第二高さ情報取得手段は、該第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域のうち該画素に中心位置が隣接するものについての該高さの代表値に基づいた補間演算により算出して取得するように構成してもよい。

なお、このとき、該第二高さ情報取得手段は、該第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域のうち該画素に中心位置が隣接するものについての該高さの代表値に基づく補間演算であって該画素の位置と該中心位置との位置関係に応じた該補間演算により算出して取得するように構成してもよい。

また、前述した高さ情報取得装置において、該第二高さ情報取得手段は、更に、該第一画素群に属している各画素についても、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段により該複数の小領域の各々に対して生成された該高さの代表値に基づいた補間演算により算出して取得するように構成してもよい。

また、前述した高さ情報取得装置において、該小領域の形態の設定を取得する小領域設定取得手段を更に有し、該分割手段は、該顕微鏡画像を、該小領域設定取得手段が取得した設定に係る形態の小領域に分割する、ように構成してもよい。

また、前述した高さ情報取得装置において、該複数の顕微鏡画像の各々を構成する各画素について、該画素で表されている該標本の部位の合焦の程度を示す数値であって該数値が高いほど合焦の程度が高いことを表す合焦評価値を算出する合焦評価値算出手段を更に有し、該第一画素群には、該複数の顕微鏡画像の各々での位置が同一である画素の各々についての合焦評価値のうち最大のものが所定の閾値以上であった画素が属している、ように構成してもよい。

なお、このとき、該合焦評価値算出手段は、該顕微鏡画像を構成する各画素の合焦評価値として、該顕微鏡画像において該画素に隣接している各隣接画素と該画素との輝度の微分値を算出するように構成してもよい。

また、前述した高さ情報取得装置において、該顕微鏡画像を構成している全画素について取得された該標本の部位の高さの情報に基づき、各画素に対し、該高さに対応する該焦点位置である該顕微鏡画像における該画素の輝度値を割り当てることで、該標本の全焦点画像を生成する全焦点画像生成手段を更に有するように構成してもよい。

また、前述した高さ情報取得装置において、該全焦点画像生成手段により生成された該標本の全焦点画像を構成する各画素についての該全焦点画像上における位置情報と、該各画素について取得された該標本の部位の高さの情報とに基づき、該全焦点画像の三次元表示画像を生成する三次元画像生成手段を更に有するように構成してもよい。

また、本発明の別の態様のひとつである高さ情報取得方法は、標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得方法であって、該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得し、該顕微鏡画像を複数の小領域に分割し、該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さ
の代表値を、該小領域に該第一画素群に属している画素が含まれている場合には、該第一画素群に属している画素のうち該小領域に含まれているものについて取得した高さに基づき生成し、該小領域に該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値に基づいて生成し、該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する、というものである。

また、本発明の更なる別の態様のひとつであるプログラムは、標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する処理をコンピュータに行わせるためのプログラムであって、該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得処理と、該顕微鏡画像を複数の小領域に分割する分割処理と、該複
数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該小領域に該第一画素群に属している画素が含まれている場合には、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得処理により取得した高さに基づき生成し、該小領域に該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値に基づいて生成する高さ情報代表値生成処理と、該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成処理により該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得処理と、をコンピュータに行わせる、というものである。

本発明によれば、以上のようにすることにより、観察対象である標本の濃淡変化が乏しい領域の適切な高さ情報が得られるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。図１は、本発明を実施する高さ情報取得装置の構成を示している。この高さ情報取得装置は、標本の高さ方向に焦点位置が互いに異なり視野は同一である標本の複数の顕微鏡画像に基づいて、この標本の高さ情報を取得するものである。

図１において、入力部２００は、例えばマウス装置やキーボード装置等を備えて構成されている。図１の装置のユーザは、不図示のＧＵＩ（グラフィカル・ユーザ・インタフェース）画面の表示に応じて入力部２００を操作して各種の指示を与えると、入力部２００は、この指示を取得して制御部２０１に送付する。

制御部２０１は、所定の撮像指示を入力部２００から受け取ると、標本２０３が載置されている標本台２０２をＺ方向（拡大光学系２０４の光軸方向）へ所定距離ずつ移動させる制御を行う。更に、制御部２０１は、標本台２０２が所定距離ずつ移動する度に、拡大光学系２０４を介することで得られる標本２０３の顕微鏡画像を撮像させる制御をＣＣＤ（電荷結合素子）カメラ２０５に対して行う。なお、このときの所定距離は、例えば拡大光学系２０４の焦点深度程度のピッチとし、制御部２０１は、標本２０３の最底面と最高面とが拡大光学系２０４の焦点位置を通過するまで、標本台２０２のＺ方向への移動とＣＣＤカメラ２０５での撮像との制御を繰り返す。

制御部２０１によるこの制御により、標本２０３の高さ方向（Ｚ方向）に焦点位置が互いに異なり視野範囲は同一である標本２０３の複数の顕微鏡画像が取得される。なお、このような顕微鏡画像を取得するためには、例えば、拡大光学系２０４としてテレセントリック光学系を用いるようにすればよい。また、各顕微鏡画像に対して位置の補正を行うことで、このような顕微鏡画像を取得するようにしてもよい。

メモリユニット２０６は、例えば半導体メモリ素子やハードディスク装置を備えて構成されている。ＣＣＤカメラ２０５は、顕微鏡画像を撮像する度に、得られた顕微鏡画像を画像データとしてメモリユニット２０６に記憶させて保存させる。なお、このときに、顕微鏡画像の撮像時における標本台２０２のＺ方向の位置を示す情報を、高さ情報として、その顕微鏡画像に対応付けてメモリユニット２０６に記憶させて保存させる処理を制御部２０１が行う。

画像処理部２０７は、標本２０３の複数の顕微鏡画像のメモリユニット２０６への記憶が全て完了すると画像処理を開始し、その顕微鏡画像をメモリユニット２０６から読み出して、標本２０３の高さ情報の取得処理を含む各種の画像処理を施す。そして、この処理後の画像を、画像データとしてメモリユニット２０６に記憶させて保存させる。

表示部２０８は、例えば液晶ディスプレイ装置、あるいはＣＲＴ（ブラウン管）ディスプレイ装置等で構成され、画像処理部２０７による画像処理後の画像をメモリユニット２
０６から読み出して表示する。

なお、画像処理部２０７は、例えば、ごく標準的なハードウェア構成のコンピュータ、すなわち、演算処理装置と、メインメモリと、記憶装置と、インタフェース部と、を有しているコンピュータを備えて構成することができる。ここで、演算処理装置は、例えばＭＰＵ（Micro Processor Unit）であり、制御プログラムの実行によってこのコンピュータ全体の動作制御を司る。メインメモリは、この演算処理装置が必要に応じてワークメモリとして使用する。記憶装置は、例えばハードディスク装置であり、各種のプログラムや制御データなどを記憶して保存しておく。インタフェース部は、メモリユニット２０６との間で行われる各種のデータの授受を管理する。ここで、画像処理部２０７が行う各種の画像処理をコンピュータに行わせるための制御プログラムを当該記憶装置に予め格納しておき、当該演算処理装置に当該制御プログラムを読み出させて実行させるようにする。このようにすることによって、このコンピュータが画像処理部２０７として機能するようになる。

次に図２Ａ及び図２Ｂについて説明する。図２Ａは、画像処理部２０７により行われる画像処理の第一の例の処理内容をフローチャートで示したものである。また、図２Ｂは、図２Ａの画像処理の処理内容を説明する図である。

図２Ａにおいて、まず、ステップ３００では、顕微鏡画像の読み込み処理が行われる。この処理では、ＣＣＤカメラ２０５が取得した、Ｚ方向に焦点位置が互いに異なる同一シーンの（すなわち視野範囲が同一である）標本２０３の顕微鏡画像を、対応付けられている高さ情報と共に、メモリユニット２０６から全て読み込む処理が行われる。なお、図２Ｂにおけるステップ３００の図面は、このときの顕微鏡画像の読み込み枚数をｎ枚とし、各顕微鏡画像に対応付けられていた高さ情報を、それぞれ、Ｚ１、Ｚ２、…、Ｚｎであった場合を想定して描いたものである。

次に、ステップ３０１では、高さ画像の生成処理が行われる。この処理では、以下の［１］から［４］の処理が行われる。
すなわち、この処理では、［１］まず、ステップ３００で読み込んだ複数の顕微鏡画像の各々を構成する各画素について、合焦評価値を算出する処理が行われる。ここで、画素の合焦評価値とは、その画素で表されている標本２０３の部位の合焦の程度を示す数値であり、ここでは、この数値が高いほど、合焦の程度が高い（より正確に合焦している）ことを表すものとする。［２］次に、この複数の顕微鏡画像の各々での位置が同一である画素の各々についての合焦評価値のうち最大のものが所定の閾値以上であった画素のグループ（第一画素群）を求める処理が行われる。［３］そして、この第一画素群に属している画素の各々について、この画素で表されている標本２０３の部位の高さを、この複数の顕微鏡画像に基づいて取得する処理（第一高さ情報取得処理）が行われる。［４］そして、こうして高さの情報が取得された第一画素群に属している画素と、顕微鏡画像を構成する全画素のうち第一画素群に属していないもののグループ（第二画素群）に属している画素とを識別可能な態様で並べて、高さ画像を生成する処理が行われる。

以上のステップ３０１の処理内容について、更に説明する。
まず、上記［１］の処理である、画素についての合焦評価値を算出する処理では、本実施形態では、顕微鏡画像においてその注目画素の各隣接画素（例えば注目画素の周囲に隣接する８つの画素）とその画素との輝度の微分値を算出する処理が行われる。この輝度の微分値が大きいほど、顕微鏡画像におけるこの画素の位置での標本２０３の像の合焦の程度が高いことは、前述したShape from Focus法の説明でも述べたように、広く知られている。なお、本実施形態において合焦評価値として利用する、この画素の輝度の微分値の算出処理では、エッジ抽出の画像処理用として周知である、ソーベル・フィルタ（Sobel Fi
lter）やラプラシアン・フィルタ（Laplacian Filter）等の微分フィルタを用いて行う。

次に、上記［２］の処理である、第一画素群を求める処理では、本実施形態では、複数の顕微鏡画像の各々での位置が同一である画素の各々について取得した輝度の微分値のうち最大のものが、所定の閾値以上であった画素を求めてグループ化する処理が行われる。なお、このときの閾値は、予め設定されている固定値としてもよく、また、図１の装置のユーザが任意に設定できるようにしてもよい。

上記［３］の処理である、第一画素群に属する画素の各々についての高さの情報を取得する処理では、本実施形態では、輝度の微分値が最大であった画素を含んでいた顕微鏡画像に対応付けられていた高さ情報が、この画素についての高さの情報として取得される。例えば、座標（ｉ，ｊ）に位置する画素において、合焦評価値（すなわち輝度の微分値）が最大であった画素を含んでいた顕微鏡画像がｍ枚目のものであったとする。すると、このとき、ｍ枚目の顕微鏡画像に対応付けられていた高さ情報Ｚｍが、座標（ｉ，ｊ）に位置する画素についての高さの情報Ｚ（ｉ，ｊ）として取得される。

次に、上記［４］の処理である、高さ画像を生成する処理では、本実施形態では、第一画素群に属している画素を黒矩形とし、第二画素群に属している画素を白矩形として並べて高さ画像が生成する処理が行われる。図２Ｂにおけるステップ３０１の図面は、このようにして得られた高さ画像の例を示したものであり、この図面において白矩形で表現されている第二画素群に属している画素は、高さの情報が未だ取得できていない画素である。

図２Ａの説明を続ける。次に、ステップ３０２では、ステップ３００で読み込んだ顕微鏡画像を複数（ここではＮ行×Ｎ列）の小領域に分割する分割処理が行われる。本実施形態では、この小領域の形態（形状及びサイズ）は、予め設定されている固定のものとする。但し、図１の装置のユーザからのこの形態についての設定指示を取得する小領域設定取得部を画像処理部２０７に設けるようにして、ユーザが小領域の形態を指示できるようにしてもよい。なお、このようにする場合には、このステップ３０２の分割処理において、ステップ３００で読み込んだ顕微鏡画像を、当該小領域設定取得部が取得した設定に係る形態の小領域に分割する処理を行うようにする。

次に、ステップ３０３では、顕微鏡画像を分割して生成した小領域Ａ_m,n（ｍ，ｎ＝１，２，…，Ｎ）についての高さの代表値Ｄ_m,nを生成する処理（高さ情報代表値生成処理）が行われる。そして、続くステップ３０４では、生成された高さの代表値Ｄ_m,nを、小領域Ａ_m,nにおける中心位置の座標に対応付けて配置する処理が行われる。

高さの代表値Ｄ_m,nは、顕微鏡画像における小領域Ａ_m,nに表されている標本２０３の部位についての高さの代表値であり、この値は、第一画素群に属している画素について前述のステップ３０１の［３］の処理により取得した高さに基づき生成される。

本実施形態では、第一画素群に属している画素のうち小領域Ａ_m,nに含まれているものについて取得した高さの情報の統計的な代表値を求め、この値を代表値Ｄ_m,nとする。なお、ここでは、統計的な代表値として、第一画素群に属している画素のうち小領域Ａ_m,nに含まれているものについて取得した高さの合計の平均値を算出し、この算出結果を高さの代表値Ｄ_m,nとする。なお、この代わりに、例えば、小領域Ａ_m,nに含まれている画素のうち第一画素群に属しているものについて取得した高さの中央値若しくは最頻値を求め、この算出結果を高さの代表値Ｄ_m,nとしてもよい。

なお、本実施形態において、第一画素群に属している画素が小領域Ａ_m,nに全く含まれてない場合があり、このような場合には、上述の手法では代表値Ｄ_m,nを生成することが
できない。図２Ｂにおけるステップ３０３−１の図面は、この場合を模式的に表現したものであり、顕微鏡画像を９行×９列に分割して得られた小領域の中心位置に高さの代表値を配置したが、一部の小領域については高さの代表値が生成できていない状態を表している。このような場合には、小領域Ａ_m,nに隣接する小領域（例えば上下左右に隣接する４つの小領域）のうち、高さの代表値が生成されているものの当該高さの代表値の合計の平均値を算出し、この算出結果を高さの代表値Ｄ_m,nとする。この代わりに、小領域Ａ_m,nに隣接する小領域（例えば上下左右に隣接する４つの小領域）のうち、高さの代表値が生成されているものの当該高さの代表値についての他の統計的な代表値（例えば中央値若しくは最頻値）を高さの代表値Ｄ_m,nとしてもよい。図２Ｂにおけるステップ３０３−２の図面は、ステップ３０３−１の図面の状態に対し、このようにして全ての小領域の中心位置に高さの代表値が配置されており、全ての小領域についての高さの代表値が生成できた状態を模式的に表している。

次に、ステップ３０５では、前述のステップ３０１の［３］の処理では高さが取得されていない、第二画素群に属している各画素について、その画素で表されている標本２０３の部位の高さを取得する処理（第二高さ情報取得処理）が行われる。この処理では、この第二画素群に属している画素（ｉ，ｊ）で表されている標本２０３の部位の高さＺ（ｉ，ｊ）を、前述のステップ３０３で各小領域Ａ_m,nについて生成した高さの代表値Ｄ_m,nに基づいた補間演算により算出して取得する処理が行われる。

本実施形態では、この高さＺ（ｉ，ｊ）を、複数の小領域のうち画素（ｉ，ｊ）に中心位置が隣接しているものについて生成されている高さの代表値に基づき、且つ、画素（ｉ，ｊ）の位置と当該中心位置との位置関係に応じた補間演算により算出して取得する。この補間演算について、図３を用いて説明する。

図３において、小領域Ａ_m,n、Ａ_m+1,n、Ａ_m,n+1、及びＡ_m+1,n+1は同一サイズの矩形である。座標（ｉ，ｊ）に配置されている画素４００は、第二画素群に属している画素、すなわち、ステップ３０１の［３］の処理では高さが取得されていない画素であり、小領域Ａ_m,nに含まれている。この小領域Ａ_m,nについての高さ代表値Ｄ_m,nは小領域Ａ_m,nの中心位置に配置されており、この小領域Ａ_m,nの中心位置は画素４００に隣接している。また、小領域Ａ_m+1,n、Ａ_m,n+1、及びＡ_m+1,n+1それぞれの中心位置に高さ代表値Ｄ_m+1,n、Ｄ_m,n+1、及びＤ_m+1,n+1の各々が配置されており、これらの中心位置も画素４００に隣接している。

ここで、小領域Ａ_m,nと小領域Ａ_m+1,nとの中心位置間の距離（すなわち各小領域の横方向（Ｘ方向）の長さ）をＳとし、小領域Ａ_m,nと小領域Ａ_m,n+1との中心位置間の距離（すなわち各小領域の縦方向（Ｙ方向）の長さ）をＴとする。また、画素４００と小領域Ａ_m,nの中心位置とのｘ座標の差をαとし、ｙ座標の差をβとする。このとき、画素４００で表されている標本２０３の部位の高さＺ（ｉ，ｊ）は、下記の［数２］式による線形補間演算により算出される。

なお、画素４００で表されている標本２０３の部位の高さＺ（ｉ，ｊ）を、上述したような線形補間演算で算出する代わりに、他の補間演算、例えば高次の補間演算や、スプライン（spline）補間に代表される有理関数補間演算により算出するようにしてもよい。

以上のステップ３０５の処理が完了すると、図２Ａに示した画像処理が終了する。図２
Ｂにおけるステップ３０５の図面は、ステップ３０１の図面に対し、第二画素群に属している画素も第一画素群に属している画素と同様に黒矩形として並べられており、顕微鏡画像を構成している全ての画素について高さの情報が取得できた状態を表している。

以上の画像処理が画像処理部２０７で行われることにより、顕微鏡画像を構成している全ての画素について高さの情報が取得されて、標本２０３の三次元形状データの取得が完了する。このようにして取得された三次元形状データを三次元座標にプロットする画像処理を行えば、標本２０３の三次元形状の観察が可能となる。

なお、図１に示した高さ情報取得装置において、図２Ａに示した画像処理の代わりに、図４に処理内容をフローチャートで示した画像処理の第二の例を画像処理部２０７に行わせるようにしてもよい。この図４の処理は、第一画素群に属している各画素についても、第二画素群に属しているものと同様に、各画素で表されている標本２０３の部位の高さを、各小領域について生成した高さの代表値に基づいた補間演算により算出して取得するようにしたものである。

図４の画像処理を説明する。
まず、図４におけるステップ５００からステップ５０４にかけての処理は、図２Ａに示した画像処理におけるステップ３００からステップ３０４にかけての処理と同一の処理である。このため、ここでは処理の説明を省略する。

ステップ５０４の処理に続くステップ５０５では、顕微鏡画像を構成する全画素（第一画素群に属している画素及び第二画素群に属している画素）について、その画素で表されている標本２０３の部位の高さを取得する処理（第二高さ情報取得処理）が行われる。この処理では、顕微鏡画像を構成する画素（ｉ，ｊ）で表されている標本２０３の部位の高さＺ（ｉ，ｊ）を、ステップ５０３で各小領域Ａ_m,nについて生成した高さの代表値Ｄ_m,nに基づいた補間演算により算出して取得する処理が行われる。この補間演算の詳細は、図３を用いて説明した第一の例におけるものと同様である。

以上の画像処理を画像処理部２０７で行うようにしても、顕微鏡画像を構成している全ての画素について高さの情報が取得されて、標本２０３の三次元形状データの取得が完了する。このようにして取得された三次元形状データを三次元座標にプロットする画像処理を行って表示部２０８に表示させれば、標本２０３の三次元形状の観察が可能となる。また、このようにすると、第一画素群に属している画素についての高さの情報に含まれることがある、ノイズ等の異常値が三次元形状を顕著に乱すことが軽減されて、滑らかな形状が得られるようになる。

また、図１に示した高さ情報取得装置において、画像処理部２０７に行わせる画像処理を、図５に処理内容をフローチャートで示した画像処理の第三の例としてもよい。この図５の処理は、標本２０３の全焦点画像を生成するようにしたものである。

図５の画像処理を説明する。
まず、図５におけるステップ６００からステップ６０５にかけての処理は、図２Ａに示した画像処理におけるステップ３００からステップ３０５にかけての処理と同一の処理である。このため、ここでは処理の説明を省略する。

ステップ６０５の処理に続くステップ６０６では、標本２０３の全焦点画像の生成処理が行われる。この処理では、全ての画素について、ステップ６０５までの処理により取得された各画素についての高さに対応する焦点位置の顕微鏡画像（ステップ６００の処理によりメモリユニット２０６から読み込んだもの）を選択する。そして、選択された顕微鏡
画像における同一位置の画素の輝度値を、全ての画素に割り当てる。このようにすることで、標本２０３の全焦点画像が生成される。生成された全焦点画像の画像データをメモリユニット２０６に記憶させて保存させると、表示部２０８は、この画像データを読み出して標本２０３の全焦点画像を表示する。

また、図１に示した高さ情報取得装置において、画像処理部２０７に行わせる画像処理を、図６に処理内容をフローチャートで示した画像処理の第四の例としてもよい。この図６の処理は、標本２０３の三次元画像を生成して表示するようにしたものである。

図６の画像処理を説明する。
まず、図６におけるステップ７００からステップ７０６にかけての処理は、図５に示した画像処理におけるステップ６００からステップ６０６にかけての処理と同一の処理である。このため、ここでは処理の説明を省略する。

ステップ７０６の処理に続くステップ７０７では、標本２０３の三次元画像の生成処理が行われる。この処理では、ステップ７０６の処理により生成された標本２０３の全焦点画像の情報（各画素の画像上での位置情報及び輝度値情報）と、ステップ６０５までの処理により取得された各画素についての高さの情報とを対応付ける。このようにすることで、標本２０３の三次元画像が生成される。生成された三次元画像の画像データをメモリユニット２０６に記憶させて保存させると、表示部２０８は、この画像データを読み出して標本２０３の三次元画像を表示する。

なお、図６の処理では、標本２０３の全焦点画像の情報と各画素についての高さの情報とを対応付けて標本２０３の三次元画像を生成している。この代わりに、高さの情報に応じて輝度や色彩を変化させた三次元画像や、高さの情報に応じて等高線を付した三次元画像を生成するようにしてもよい。また、各画素についての高さの情報に対応付ける画像として、ステップ６０６で生成した全焦点画像の代わりに、他のアクティブ法やパッシブ法を採用して生成した全焦点画像を用いて標本２０３の三次元画像を生成するようにしてもよい。なお、ステップ６０６で生成した全焦点画像に対応付ける各画素についての高さの情報を、他のアクティブ法やパッシブ法を採用して取得して、標本２０３の三次元画像を生成することもできる。

以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

本発明を実施する高さ情報取得装置の構成を示す図である。画像処理の第一の例の処理内容をフローチャートで示した図である。図２Ａの画像処理の処理内容を説明する図である。各小領域についての高さの代表値に基づく補間演算による各画素の高さ情報の算出の手法を説明する図である。画像処理の第二の例の処理内容をフローチャートで示した図である。画像処理の第三の例の処理内容をフローチャートで示した図である。画像処理の第四の例の処理内容をフローチャートで示した図である。特許文献１の技術を説明する図である。

符号の説明

１００、１０１、４００画素
２００入力部
２０１制御部
２０２標本台
２０３標本
２０４拡大光学系
２０５ＣＣＤカメラ
２０６メモリユニット
２０７画像処理部

Claims

標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得装置であって、
該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得手段と、
該顕微鏡画像を複数の小領域に分割する分割手段と、
該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得手段が取得した高さ情報に基づき生成する高さ情報代表値生成手段と、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段が該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得手段と、を有し、
該高さ情報代表値生成手段は、該小領域に該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値に基づいて、該小領域についての該高さの代表値を生成する
ことを特徴とする高さ情報取得装置。
該高さ情報代表値生成手段は、該小領域に表されている該標本の部位の高さの代表値を、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得手段が取得した複数の高さの情報を平均して平均値を算出し、この算出結果を該小領域についての該高さの代表値として生成することを特徴とする請求項１に記載の高さ情報取得装置。
該高さ情報代表値生成手段は、該第一画素群に属している画素が該小領域に含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値を平均して平均値を算出し、この算出結果を該小領域についての該高さの代表値として生成することを特徴とする請求項１に記載の高さ情報取得装置。
該第二高さ情報取得手段は、該第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域のうち該画素に中心位置が隣接するものについての該高さの代表値に基づいた補間演算により算出して取得することを特徴とする請求項１から３のうちのいずれか一項に記載の高さ情報取得装置。
該第二高さ情報取得手段は、該第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域のうち該画素に中心位置が隣接するものについての該高さの代表値に基づく補間演算であって該画素の位置と該中心位置との位置関係に応じた該補間演算により算出して取得することを特徴とする請求項４に記載の高さ情報取得装置。
該第二高さ情報取得手段は、更に、該第一画素群に属している各画素についても、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成手段により該複数の小領域の各々に対して生成された該高さの代表値に基づいた補間演算により算出して取得することを特徴とする請求項１から５のうちのいずれか一項に記載の高さ情報取得装置。
該小領域の形態の設定を取得する小領域設定取得手段を更に有し、
該分割手段は、該顕微鏡画像を、該小領域設定取得手段が取得した設定に係る形態の小領域に分割する、
ことを特徴とする請求項１から６のうちのいずれか一項に記載の高さ情報取得装置。
該複数の顕微鏡画像の各々を構成する各画素について、該画素で表されている該標本の部位の合焦の程度を示す数値であって該数値が高いほど合焦の程度が高いことを表す合焦評価値を算出する合焦評価値算出手段を更に有し、
該第一画素群には、該複数の顕微鏡画像の各々での位置が同一である画素の各々についての合焦評価値のうち最大のものが所定の閾値以上であった画素が属している、
ことを特徴とする請求項１から７のうちのいずれか一項に記載の高さ情報取得装置。
該合焦評価値算出手段は、該顕微鏡画像を構成する各画素の合焦評価値として、該顕微鏡画像において該画素に隣接している各隣接画素と該画素との輝度の微分値を算出することを特徴とする請求項８に記載の高さ情報取得装置。
該顕微鏡画像を構成している全画素について取得された該標本の部位の高さの情報に基づき、各画素に対し、該高さに対応する該焦点位置である該顕微鏡画像における該画素の輝度値を割り当てることで、該標本の全焦点画像を生成する全焦点画像生成手段を更に有することを特徴とする請求項１から９のうちのいずれか一項に記載の高さ情報取得装置。
該全焦点画像生成手段により生成された該標本の全焦点画像を構成する各画素についての該全焦点画像上における位置情報と、該各画素について取得された該標本の部位の高さの情報とに基づき、該全焦点画像の三次元表示画像を生成する三次元画像生成手段を更に有することを特徴とする請求項１０に記載の高さ情報取得装置。
標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する高さ情報取得方法であって、
該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得し、
該顕微鏡画像を複数の小領域に分割し、
該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該小領域に該第一画素群に属している画素が含まれている場合には、該第一画素群に属している画素のうち該小領域に含まれているものについて取得した高さに基づき生成し、該小領域に該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値に基づいて生成し、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する、
ことを特徴とする高さ情報取得方法。
標本の高さ方向に焦点位置が互いに異なり視野範囲は同一である該標本の複数の顕微鏡画像に基づいて該標本の高さ情報を取得する処理をコンピュータに行わせるためのプログラムであって、
該顕微鏡画像を構成している全画素のうちの一部の画素群である第一画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該複数の顕微鏡画像に基づいて取得する第一高さ情報取得処理と、
該顕微鏡画像を複数の小領域に分割する分割処理と、
該複数の小領域の各々に対し、該小領域に表されている該標本の部位の高さの代表値を、該小領域に該第一画素群に属している画素が含まれている場合には、該第一画素群に属している画素のうち該小領域に含まれているものについて該第一高さ情報取得処理により取得した高さに基づき生成し、該小領域に該第一画素群に属している画素が含まれていない場合には、該小領域に隣接する小領域のうち該高さの代表値が生成されている複数の該小領域についての該高さの代表値に基づいて生成する高さ情報代表値生成処理と、
該顕微鏡画像を構成している全画素のうち該第一画素群に属していない画素群である第二画素群に属している各画素について、該画素で表されている該標本の部位の高さを、該高さ情報代表値生成処理により該複数の小領域の各々に対して生成した該高さの代表値に基づいた補間演算により算出して取得する第二高さ情報取得処理と、
をコンピュータに行わせるためのプログラム。