JP5920464B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本技術は、顕微鏡画像に対する画像処理を実行する画像処理装置、画像処理プログラム及び画像処理方法に関する。

顕微鏡を用いて観察対象物を観察する際、鮮明な画像を得るためには、顕微鏡の焦点を観察対象物に一致させる必要があるが、観察者が顕微鏡画像を見ながら焦点を調整するには手間がかかる。また、例えば生体細胞等を観察対象物とする場合には、時間と共に生体細胞が移動し、顕微鏡の視野から外れてしまうことがある。

観察対象物の形状や配置等といった３次元情報を自動的に取得することができれば、上記のような問題が発生せず、自動的に観察対象物の鮮明な画像を取得することも可能となる。これまでにも観察対象物の三次元情報は、走査型二光子励起レーザー顕微鏡や共焦点レーザー顕微鏡等の走査型顕微鏡を用いることによって取得することが可能であった。例えば特許文献１には、レーザ光を走査して得られる光を受光器で受光して走査画像を形成する走査型顕微鏡システムが開示されている。

特開２００５−１２８０８６号公報

しかしながら、特許文献１に記載のような走査型顕微鏡システムでは、レーザー光を点で走査するため高速化が難しく、光学顕微鏡に比べて汎用性が低い、レーザーが観察対象物の細胞等にダメージを与える可能性があるといった問題がある。

また、例えば家庭用カメラ等において、最適な焦点距離を自動的に検出するオートフォーカス等の技術があるが、画像のコントラストから物体の焦点距離を検出する技術である。顕微鏡観察の対象となる観察対象物は、透明なものが多く、焦点位置とコントラストの関係が異なるため、上記のようなオートフォーカス技術をそのまま応用することは困難である。

さらに観察対象物が透明物体（細胞等）の場合、散乱や屈折などの影響があるため、焦点深度方向（Ｚ方向）に撮影される画像の中で最も鮮明な画像が焦点面に相当するとは限らない。このため、観察対象物の焦点深度方向への移動量の定量化は困難である。観察の際に観察対象物が焦点深度方向に移動する場合、撮影の焦点深度を正しく修正する必要がある。また、リアルタイム観察において、観察対象物の焦点深度方向の動き量を測定したい場合がある。さらに、観察対象物の厚みの焦点深度方向の変化量の定量化も困難である。例えば、立体的な細胞分化が生じる場合や、心筋細胞等の拍動によって厚みが変化する場合、その変化の定量化をしたい場合がある。

以上のような事情に鑑み、本技術の目的は、観察対象物の三次元情報を取得することが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することにある。

本技術の一形態に係る画像処理装置は、差分算出部と、差分分布生成部とを具備する。
上記差分算出部は、異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する。
上記差分分布生成部は、上記差分と、上記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する上記差分の分布を生成する。

観察対象物に焦点深度（フォーカス）が合っているか否かは、観察対象物の像の鮮明度合い、即ち隣接する画素間の輝度の差分より取得することが可能である。本画像処理装置は、画素間の輝度の差分の、焦点深度に対する分布を生成することにより、撮像画像が撮像された焦点深度に観察対象物が存在するか否かの情報を取得することができる。

上記差分分布生成部は、上記複数の撮像画像の各撮像画像について、その撮像画像を構成する画素の輝度を上記差分に置換した差分画像を生成し、上記複数の撮像画像にそれぞれ対応する複数の差分画像を生成する差分画像生成部と、上記複数の差分画像の各差分画像において、その差分画像を構成する画素列毎に各画素の輝度を積算し、画素列毎の輝度積算値を生成する輝度積算部と、上記複数の差分画像の各差分画像について、上記輝度積算値を輝度とした画素を、上記画素列の順で第１の方向に配列し、上記複数の差分画像にそれぞれ対応する複数の解析用画素列を生成する画素列生成部と、上記複数の解析用画素列を、各解析用画素列にそれぞれ対応する上記複数の撮像画像が撮像された焦点深度の順で、上記第１の方向に直交する第２の方向に配列し、解析用画像を生成する画像生成部とを有していてもよい。

画素列生成部によって生成される解析用画素列は、各撮像画像を構成する画素の輝度を差分に置換した差分画像の、画素列毎の輝度の積算値を輝度とした画素を配列したものであり、即ち差分画像を画素列に圧縮したものである。したがって画像生成部が、この解析用画素列を、各解析用画素列の生成元の撮像画像が撮像された焦点深度の順で配列することにより、焦点深度に対する差分画像の輝度分布、即ち撮像画像の輝度差分の分布が反映された解析用画像を生成することが可能となる。

上記差分分布生成部は、上記複数の撮像画像の各撮像画像について、その撮像画像を構成する画素の輝度を上記差分に置換した差分画像を生成し、上記複数の撮像画像にそれぞれ対応する複数の差分画像を生成する差分画像生成部と、上記複数の差分画像を、上記複数の差分画像にそれぞれ対応する上記複数の撮像画像が撮像された焦点深度の順で積層する画像積層部とを有してもよい。

画像積層部が、各撮像画像を構成する画素の輝度を差分に置換した差分画像を、その生成元の撮像画像が撮像された焦点深度の順で積層することにより、焦点深度に対する差分画像の輝度分布、即ち撮像画像の輝度差分の分布を生成することが可能となる。

上記画像処理装置は、上記差分分布生成部によって生成された上記差分の分布に基づいて、上記複数の撮像画像が撮像された焦点深度の範囲における観察対象物の三次元情報を取得する解析部をさらに具備してもよい。

差分分布生成部によって生成された輝度差分の分布は、各焦点深度に焦点深度が一致する観察対象物が存在しているか否かの情報を含んでいるため、解析部は輝度差分の分布の解析により、焦点深度毎の観察対象物の情報、即ち観察対象物の三次元情報（観察対象物のサイズや空間的位置）を取得することが可能であり、例えば観察対象物のサイズによって当該観察対象物を観察対象から除外し、あるいは観察対象物の移動量や厚み変化を検出することが可能となる。

上記画像処理装置は、上記解析部によって取得された三次元情報に基づいて、上記観察対象物を撮像する画像撮像部を制御する撮像制御部をさらに具備してもよい。

この構成によれば、撮像制御部は観察対象物の三次元情報を利用して、画像撮像部によって観察対象物を撮像させることが可能となる。したがって、解析部によって観察対象とされた観察対象物について、観察に適する焦点深度、視野範囲となるように画像撮像部を制御することも可能となる。

上記画像撮像部は、光学顕微鏡を介して上記複数の撮像画像を撮像してもよい。

上述のように本技術に係る画像処理装置は、画像処理によって観察対象物の三次元情報を取得することが可能であり、レーザー走査型顕微鏡のような特殊な構成を必要としない。したがって、汎用性が高く、比較的高速に三次元情報の検出することが可能であるとともに、レーザー照射によるダメージを受ける観察対象物、例えば生体細胞等の観察にも適する。

本技術の一形態に係る画像処理プログラムは、差分算出部と、差分分布生成部ととしてコンピュータを機能させる。
上記差分算出部は、異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する。
上記差分分布生成部は、上記差分と、上記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する上記差分の分布を生成する。

本技術の一形態に係る画像処理方法は、差分算出部が、異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する。
差分分布生成部が、上記差分と、上記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する上記差分の分布を生成する。

以上のように、本技術によれば、観察対象物の三次元情報を取得することが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することが可能となる。

本技術の第１の実施形態に係る画像処理装置の構成を示す模式図である。 同画像処理装置の動作を示すフローチャートである。 同画像処理装置において各撮像画像が取得される焦点深度を示す模式図である。 同画像処理装置の画像撮像部によって撮像される撮像画像群の例である。 図４に示す撮像画像群が撮像された実験系を示す模式図である。 同画像処理装置の画像撮像部によって撮像された撮像画像の模式図である。 同画像処理装置の差分算出部によって算出された、画素の輝度の差分を示す模式図である。 同画像処理装置の差分画像生成部によって生成された差分画像の例である。 同画像処理装置の輝度積算部による輝度の積算を示す模式図である。 同画像処理装置の画素列生成部による解析用画素列の生成を示す模式図である。 同画像処理装置の画像生成部による解析用画像の生成を示す模式図である。 同画像処理装置の画像生成部によって生成された解析用画像の例である。 同画像処理装置の画像生成部によって生成された解析用画像の例である。 同画像処理装置の画像生成部によって生成された解析用画像を三次元化したグラフの例である。 同画像処理装置の解析部による解析を示す模式図である。 同画像処理装置の輝度積算部による輝度の積算を示す模式図である。 同画像処理装置の画像生成部によって生成された解析用画像の例である。 本技術の第２の実施形態に係る画像処理装置の構成を示す模式図である。 同画像処理装置の動作を示すフローチャートである。 同画像処理装置の差分算出部による差分の算出を示す模式図である。 同画像処理装置の画像積層部による差分画像の積層を示す模式図である。 同画像処理装置の画像積層部によって生成された積層データの例である。 同画像処理装置の差分算出部による差分の算出を示す模式図である。 同画像処理装置によって拍動細胞について撮像された撮像画像と生成された解析用画像の例である。 同が図処理装置によって拍動細胞について撮像された撮像画像（動画の各画像フレーム）と生成された解析用画像の例である。

（第１の実施形態）
本技術の第１の実施形態に係る画像処理装置について説明する。図１は、本実施形態に係る画像処理装置１００の構成を示す模式図である。

［画像処理装置の構成］
同図に示すように、画像処理装置１００は、画像撮像部１１０及び画像処理ユニット１２０を有する。画像撮像部１１０は、明視野顕微鏡、位相差顕微鏡等の光学顕微鏡であり、画像処理ユニット１２０はパーソナルコンピュータ等の情報処理装置であるものとすることができる。なお、画像処理ユニット１２０は、画像撮像部１１０と一体的に構成されているものであってもよい。

図１には、観察試料Ｓを示す。観察試料Ｓは特に限定されないが、培養容器中に培養液と共に細胞が収容されているものとすることができる。以下、この細胞が、観察者が観察の対象とする観察対象物であるものとし、観察対象物Ｐとする。本実施形態においては、観察対象物Ｐは透明又は半透明であるものとすることができるが、生体組織においては一般に細胞程度のサイズであれば透明又は半透明である。

画像撮像部１１０は、観察試料Ｓを撮像する。画像撮像部１１０は、少なくとも顕微鏡光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を備え、観察試料Ｓの顕微鏡画像を撮像するものとすることができる。ここで、画像撮像部１１０は、その焦点深度（観察試料Ｓにおける焦点面の深度）を変更可能なものとする。焦点深度は、顕微鏡光学系の調整によって変更されてもよく、画像撮像部１１０と観察試料Ｓの相対距離によって変更されてもよい。画像撮像部１１０は、撮像した画像（以下、撮像画像とする）と、その撮像された焦点深度を画像処理ユニット１２０に出力する。

画像処理ユニット１２０は、画像取得部１２１、差分算出部１２２、差分画像生成部１２３、輝度積算部１２４、画素列生成部１２５、画像生成部１２６、解析部１２７及び撮像制御部１２８を有する。差分画像生成部１２３、輝度積算部１２４、画素列生成部１２５及び画像生成部１２６は、差分分布生成部１２９を構成している。これらの各構成は、ハードウェアとソフトウェアの協働によって実現された機能的構成であるものとすることができる。なお、ここでは画像処理ユニット１２０の各構成の概要について説明し、詳細については画像処理装置１００の動作の説明と共に説明する。

画像取得部１２１は、画像撮像部１１０から異なる焦点深度で撮像された複数の撮像画像（以下、撮像画像群）を取得する。画像取得部１２１はこの際、各撮像画像の撮像された焦点深度を撮像画像と共に取得するものとする。画像取得部１２１は、撮像画像群と、各撮像画像の撮像された焦点深度を差分算出部１２２に供給する。

差分算出部１２２は、各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度の差分（以下、単に差分とする）を算出する。差分算出部１２２は、撮像画像群に含まれる全ての撮像画像について差分を算出する。差分算出部１２２は、算出した差分を各画素の撮像画像における位置座標と共に差分画像生成部１２３に供給する。

差分分布生成部１２９は、差分算出部１２２によって算出された差分と、差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する差分の分布を生成する。具体的には、差分分布生成部１２９は、以下の構成を有するものとすることができる。

差分画像生成部１２３は、各撮像画像を構成する画素の輝度を、差分算出部１２２によって算出された差分に置換した差分画像を生成する。差分画像生成部１２３は、撮像画像群に含まれる全ての撮像画像についてそれぞれ差分画像を生成する。差分画像生成部１２３は、生成した差分画像を輝度積算部１２４に供給する。

輝度積算部１２４は、各差分画像において、その差分画像を構成する画素列毎に各画素の輝度を積算し、画素列毎の輝度の積算値（以下、輝度積算値）を算出する。画素列は、差分画像を構成する画素の列であり、詳細は後述する。輝度積算部１２４は、差分画像生成部１２３から供給された全ての差分画像について輝度積算値を算出する。輝度積算部１２４は、算出した輝度積算値を画素列生成部１２５に供給する。

画素列生成部１２５は、各差分画像について、画素列毎の輝度積算値を輝度とした画素を、差分画像における画素列の順で配列し、解析用画素列を生成する。これにより、各差分画像からそれぞれひとつの解析用画素列が生成され、即ち各撮像画像からひとつの解析用画素列が生成される。画素列生成部１２５は、各解析用画素列を画像生成部１２６に供給する。

画像生成部１２６は、各撮像画像において生成された解析用画素列を配列し、解析用画像を生成する。この際、画像生成部１２６は、各解析用画素列の生成元の差分画像がそれぞれ対応する撮像画像が撮像された焦点深度の順で配列する。これにより、撮像画像群からひとつの解析用画像が生成される。画像生成部１２６は、生成した解析用画像を、解析部１２７に供給するものとすることができる。

以上のように差分分布生成部１２９は、差分画像生成部１２３、輝度積算部１２４、画素列生成部１２５及び画像生成部１２６を有し、焦点深度に対する差分の分布を解析用画像として生成する。しかしながら差分分布生成部１２９は、必ずしもこれらの構成を有するものでなくてもよく、撮像画像の焦点深度に対する差分の分布を生成することが可能であればよい。

解析部１２７は、焦点深度に対する差分の分布（本実施形態においては上記解析用画像）に基づいて、観察対象物Ｐの三次元情報（サイズや空間的位置等）を取得する。解析部１２７は例えば、観察対象物Ｐのサイズによって観察対象から除外し、あるいは観察対象物Ｐの移動量を検出するものとすることが可能である。解析部１２７は、観察することを決定した観察対象物Ｐの三次元情報を撮像制御部１２８に供給するものとすることが可能である。

撮像制御部１２８は、解析部１２７から供給された三次元情報に基づいて、画像撮像部１１０を制御し、観察用の画像を撮像させる。撮像制御部１２８は、解析部１２７から供給された三次元情報を利用することにより、画像撮像部１１０の焦点深度や視野範囲等を制御し、観察に適した観察対象物Ｐの画像を撮像させることが可能である。

［画像処理装置の動作］
画像処理装置１００の動作について説明する。図２は、画像処理装置１００の動作を示すフローチャートである。

撮像制御部１２８によって画像撮像部１１０が制御され、複数の撮像画像（撮像画像群）が撮像される（Ｓｔ１０１）。なお、撮像画像群の撮像は、観察者によってなされてもよい。

撮像画像群は、異なる焦点深度で撮像された複数の撮像画像である。図３は、各撮像画像が取得される焦点深度（例として焦点深度Ｆ１〜Ｆ５）を示す模式図である。撮像制御部１２８によって、又は観察者によって、画像撮像部１１０が制御され、画像撮像部１１０の焦点深度が各焦点深度に調整され、撮像がなされる。以下の説明において、焦点深度方向をＺ方向とする。焦点深度は、一定間隔であることが好適であり、例えば数μｍ間隔であるものとすることができるが、観察対象物Ｐの大きさ等に応じて適宜変更することができる。焦点深度の範囲、即ち撮像画像群が撮像される範囲は、観察試料Ｓの大きさ等に応じて適宜変更することができ、例えば、明らかに観察対象物Ｐが存在しないと予め判明している範囲は、焦点深度の範囲から除外することができる。

図４に画像撮像部１１０によって撮像される撮像画像群の例を示し、図５に、図４に示す撮像画像群が撮像された実験系を示す。図５に示す実験系は、スライドガラスＧ１上に、ビーズ層Ｂ１、カバーガラスＧ２、ビーズ層Ｂ２及びカバーガラスＧ３がこの順に積層されたものである。ビーズ層Ｂ１及びビーズ層Ｂ２は直径６μｍの透明ビーズからなり、カバーガラスＧ２及びカバーガラスＧ３の厚さは共に１００μｍである。この実験系は、図１に示したような培養液中の透明細胞をシミュレートしたものである。

図４（ａ）から図４（ｉ）は、それぞれ所定の焦点深度で撮像された撮像画像の例であある。図４（ｃ）ではビーズ層Ｂ１に、図４（ｉ）ではビーズ層Ｂ２に、焦点深度が一致しており、透明ビーズの像が鮮明となっている。一方、その他の撮像画像においては、焦点深度がビーズ層Ｂ１又はビーズ層Ｂ２に一致していないため、透明ビーズの像が不鮮明となっている。以下の説明においては、上述の実験系において撮像された画像を用いて説明する。

続いて図２に戻り、画像取得部１２１が画像撮像部１１０から撮像画像群を取得する（Ｓｔ１０２）。さらに、差分算出部１２２が、各撮像画像について、撮像画像を構成する各画素の輝度の差分を算出する（Ｓｔ１０３）。図６は、撮像画像（撮像画像Ｇとする）の模式図である。同図に示すように撮像画像Ｇは、複数の画素ｇによって構成されている。図６において、画素ｇの輝度を斜線による濃淡によって模式的に示す。以下の説明において、撮像画像Ｇの短辺方向をＸ方向とし、長辺方向をＹ方向とする。

差分算出部１２２は、各画素ｇについて、その画素ｇに隣接する画素のうち、所定方向（例えばＸ方向）に隣接する画素ｇとの輝度の差分を算出するものとすることができる。例えば差分算出部１２２は、画素ｇ１について、ｘ方向に隣接する画素ｇ２との差分を算出する。また、差分算出部１２２は、画素ｇ２については、ｘ方向に隣接する画素ｇ３との差分を算出する。このように差分算出部１２２は、撮像画像Ｇに含まれる他の画素ｇについても同方向（Ｘ方向）に隣接する画素ｇとの輝度の差分を算出する。

図７は、差分算出部１２２によって算出された、各画素ｇの隣接する画素ｇとの差分を、各画素ｇに対応させて示す模式図である。同図に示すように、輝度の小さい画素ｇ（薄い斜線）に隣接する画素ｇの差分は小さくなり（例えば５０）、輝度の大きい画素（濃い斜線）に隣接する画素ｇの差分は大きくなる（例えば１００）。

続いて図２に戻り、差分画像生成部１２３は、撮像画像Ｇにおける各画素ｇの輝度を、各画素ｇについて算出された差分によって置換し、差分画像を生成する（Ｓｔ１０４）。図８は、差分画像の例である。図８（ａ）は撮像画像であり、図８（ｂ）は同撮像画像から生成された差分画像である。図８（ｂ）に示すように、差分画像においては、撮像画像と比較して検出対象物（ここでは上記透明ビーズ）の像の周縁（輪郭）が明確化されている。

輝度積算部１２４は、差分画像の各画素の輝度、即ち、撮像画像Ｇにおける各画素ｇの差分を積算する（Ｓｔ１０５）。図９は、輝度の積算を表す模式図である。図９には差分画像Ｄ、差分画像を構成する画素ｄ及び画素列Ｌを示す。各画素ｄには、各画素ｄの輝度を数値で示す。同図に示すように画素列Ｌは、差分画像Ｄにおいて一方向（例えばＸ方向）に配列された画素ｄの列である。輝度積算部１２４は、各画素列Ｌ毎に、その画素列Ｌに含まれる画素ｄの輝度を積算し、画素列Ｌ毎の輝度積算値を生成する。輝度積算部１２４は、生成した画素列Ｌ毎の輝度積算値を、画素列生成部１２５に供給する。

続いて、画素列生成部１２５は、画素列Ｌ毎の輝度積算値から、解析用画素列を生成する（Ｓｔ１０６）。図１０は、解析用画素列の生成を示す模式図である。画素列生成部１２５は、画素列Ｌ毎の輝度積算値をそれぞれ輝度とした画素ａを生成し、それらの画素ａを画素列Ｌの順序で配列することによって解析用画素列Ａを生成する。解析用画素列の配列方向を第１方向（Ｙ方向）とする。画素列生成部１２５は、各撮像画像からひとつの解析用画素列を生成し、即ち、各撮像画像に対応した解析用画素列を生成する。画素列生成部１２５は、生成した解析用画素列を画像生成部１２６に供給する。

続いて画像生成部１２６は、解析用画素列を配列し、解析用画像を生成する（Ｓｔ１０７）。図１１は、解析用画像の生成を示す模式図である。画像生成部１２６は、解析用画素列Ａ（Ａ１〜Ａ５）を、各解析用画素列Ａが生成された撮像画像の焦点深度の順で、上記第１方向（Ｙ方向）に直交する第２方向に配列する。図１１において各焦点深度（図３に示す焦点深度Ｆ１〜Ｆ５）において撮像された撮像画像に対応する解析用画素列を解析用画素列Ａ１〜Ａ５として示す。各解析用画素列は、撮像画像の焦点深度の順で配列されるため、第２方向は、焦点深度の深度方向（Ｚ方向）とみなすことができる。

図１２は、解析用画像の例である。同図に示すように、解析用画像においては、撮像画像における一方向（ここではＹ方向）と焦点深度方向（Ｚ方向）についての輝度の差分の分布（以下、差分分布）の情報を得ることが可能となる。

図１２に示す解析用画像は、ひとつの透明ビーズを含む焦点深度の範囲の撮像画像群（例えば図４（ａ）から（ｅ））から生成されたものである。同図に示すように、所定の焦点深度（４０μｍ）において当該透明ビーズを示すピークを確認することができる。図１３に、上記実験系においてビーズ層Ｂ１及びビーズ層Ｂ２にそれぞれ含まれる二つの透明ビーズを含む焦点深度の範囲の撮像画像群（例えば図４（ａ）から（ｉ））から生成された解析用画像を示す。同図においては、二つの焦点深度（つまりビーズ層Ｂ１又はＢ２）にそれぞれ含まれる透明ビーズを示すピークを確認することができる。

図１４は、上記実験系においてビーズ層Ｂ１及びビーズ層Ｂ２にそれぞれ含まれる多数の透明ビーズを含む撮像画像群から生成された解析用画像を、差分の強度によって三次元化したグラフである。同図に示すように、ビーズ層Ｂ１及びビーズ層Ｂ２をそれぞれ示すピークを確認することができる。なお、図１２乃至図１４において、Ｚ方向の広がりについては、対物レンズのＮＡ（倍率）によって異なるため、ＮＡによって補正した後に提示することもできる。

画像生成部１２６は、生成した解析用画像を解析部１２７に供給するものとすることができる。また、画像生成部１２６は、生成した解析用画像をディスプレイ等に表示することにより観察者に提示してもよい。

続いて解析部１２７は、解析用画像を解析し、観察対象物Ｐの三次元情報（観察対象物Ｐのサイズや空間的位置）を取得する（Ｓｔ１０８）。図１５は、解析部１２７による解析を示す模式図である。図１５（ａ）は、図１２に示す解析用画像の中心線上の輝度の差分を示すグラフであり、上述のように観察対象物は直径６μｍの透明ビーズである。また、図１５（ｂ）は造血肝細胞が観察対象物である場合の解析用画像から生成されたグラフである。図１５は、位相差・対物レンズ６０倍観察の際の例であり、条件によって算出方法が異なる可能性がある（ダブルピークが発生しないケースもあり得る）。ただし、このような特異なパターンを各条件に応じて検出することで透明物体のサイズを検出することができる。

上述のように、解析用画像においては、撮像画像における各画素の輝度の差分が輝度として示されているため、両グラフにおいて、破線で示した２つのピークが、各観察対象物の周縁（輪郭）を示す。したがって、例えば図１５（ａ）に示すグラフにおいて、２つのピークの間隔は約６μｍであり、即ちこの２つのピークは、上記透明ビーズ（直径６μｍ）によって形成されたものと判断することができる。

解析部１２７は、上記のように、解析用画像から観察対象物Ｐの三次元情報（サイズや空間的位置等）を取得する。解析部１２７は例えば、観察対象物Ｐのサイズによって観察対象から除外し、あるいは観察対象物Ｐの移動量を検出するものとすることが可能である。解析部１２７は解析結果をディスプレイ等に表示することにより観察者に提示してもよく、
観察することを決定した観察対象物Ｐの三次元情報を撮像制御部１２８に供給するものとしてもよい。

撮像制御部１２８は、解析部１２７から供給された三次元情報を利用することにより、撮像制御部１２８の焦点深度や視野範囲等を制御し、画像撮像部１１０に、観察に適した観察対象物Ｐの画像を撮像させることが可能である。

以上のように、画像処理装置１００は、画像撮像部１１０によって撮像された焦点深度の異なる複数の撮像画像に対する画像処理によって、観察対象物Ｐの三次元情報を取得することが可能である。画像撮像部１１０は一般的な光学顕微鏡を利用することが可能であり、即ちレーザー走査型顕微鏡等の特殊なものである必要がない。また、撮像画像は所定の焦点深度間隔で撮像されたものであればよく、撮像に要する時間はわずかである。さらに、観察対象物にレーザー照射によるダメージ等が生じることがなく、また、観察対象物の移動（細胞の泳動等）を検出することが可能であるため、生体細胞等の観察にも適している。

本実施形態においては図９に示したように、輝度積算部１２４が、差分画像の一方向（Ｘ方向）の画素列について各画素の輝度を積算した。ここで、輝度積算部１２４は差分画像の二方向（Ｘ方向及びＹ方向）について各画素の輝度を積算してもよい。図１６は、二方向の輝度の積算を表す模式図である。画素列生成部１２５が、上記二方向について算出された輝度積算値からそれぞれ解析用画素列を生成し、画像生成部１２６が各解析用画素列から解析用画像を生成することができる。図１７は、画像生成部１２６によって生成される二つの解析用画像を示す模式図である。同図に示すようにＹ−Ｚ平面の解析用画像と、Ｘ−Ｚ平面の解析用画像から、差分分布のピークの空間的位置（Ｘ、Ｙ、Ｚ座標）を特定することが可能である。

（第２の実施形態）
本技術の第２の実施形態に係る画像処理装置について説明する。図１８は、本実施形態に係る画像処理装置２００の構成を示す模式図である。

［画像処理装置の構成］
同図に示すように、画像処理装置２００は、画像撮像部２１０及び画像処理ユニット２２０を有する。画像撮像部２１０は、明視野顕微鏡、位相差顕微鏡等の各種顕微鏡であり、画像処理ユニット１２０はパーソナルコンピュータ等の情報処理装置であるものとすることができる。なお、画像処理ユニット２２０は、画像撮像部２１０と一体的に構成されているものであってもよい。

画像撮像部２１０の構成は第１の実施形態に係る画像撮像部２１０と同様であるので説明を省略する。画像処理ユニット２２０は、画像取得部２２１、差分算出部２２２、差分画像生成部２２３、画像積層部２２４、解析部２２５及び撮像制御部２２６を有する。差分画像生成部２２３及び画像積層部２２４は、差分分布生成部２２７を構成している。これらの各構成は、ハードウェアとソフトウェアの協働によって実現された機能的構成であるものとすることができる。なお、ここでは画像処理ユニット２２０の各構成の概要について説明し、詳細については画像処理装置２００の動作の説明と共に説明する。

画像取得部２２１は、第１の実施形態と同様に、画像撮像部２１０から異なる焦点深度で撮像された撮像画像群を取得する。画像取得部２２１はこの際、各撮像画像の撮像された焦点深度を撮像画像と共に取得するものとする。画像取得部２２１は、撮像画像群と、各撮像画像の撮像された焦点深度を差分算出部２２２に供給する。

差分算出部２２２は、各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度の差分を算出する。差分算出部２２２は、撮像画像群に含まれる全ての撮像画像について画素の差分を算出する。差分算出部２２２は、算出した各画素の差分を各画素の撮像画像における位置座標と共に差分画像生成部２２３に供給する。

差分分布生成部２２７は、差分算出部２２２によって算出された差分と、差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する差分の分布を生成する。具体的には、差分分布生成部２２７は、以下の構成を有するものとすることができる。

差分画像生成部２２３は、各撮像画像を構成する画素の輝度を、差分算出部２２２によって算出された差分に置換した差分画像を生成する。差分画像生成部２２３は、撮像画像群に含まれる全ての撮像画像についてそれぞれ差分画像を生成する。差分画像生成部２２３は、生成した差分画像を画像積層部２２４に供給する。

画像積層部２２４は、差分画像生成部２２３によって生成された差分画像について、各差分画像がそれぞれ対応する撮像画像が撮像された焦点深度の順で仮想的に積層したデータ（以下、積層データ）を生成する。画像積層部２２４は、この積層データを解析部２２５に供給する。

以上のように差分分布生成部２２７は、差分画像生成部２２３及び画像積層部２２４を有し、焦点深度に対する差分の分布を積層データとして生成する。しかしながら差分分布生成部２２７は、必ずしもこれらの構成を有するものでなくてもよく、撮像画像の焦点深度に対する差分の分布を生成することが可能であればよい。

解析部２２５は、焦点深度に対する差分の分布（本実施形態においては上記積層データ）に基づいて、観察対象物Ｐの三次元情報（サイズや空間的位置等）を取得する。解析部２２５は第１の実施形態と同様に、観察対象物Ｐのサイズによって観察対象から除外し、あるいは観察対象物Ｐの移動量を検出するものとすることが可能である。解析部２２５は、観察することを決定した観察対象物Ｐの三次元情報を撮像制御部２２６に供給するものとすることが可能である。

撮像制御部２２６は、解析部２２５から供給された三次元情報に基づいて、画像撮像部２１０を制御し、観察用の画像を撮像させる。撮像制御部２２６は、解析部２２５から供給された三次元情報を利用することにより、画像撮像部２１０の焦点深度や視野範囲等を制御し、観察に適した観察対象物Ｐの画像を撮像させることが可能である。

［画像処理装置の動作］
画像処理装置２００の動作について説明する。図１９は、画像処理装置２００の動作を支援すフローチャートである。

第１の実施形態と同様に、撮像制御部２２６によって画像撮像部２１０が制御され、複数の撮像画像（撮像画像群）が撮像される（Ｓｔ２０１）。なお、撮像画像群の撮像は、観察者によってなされてもよい。

続いて画像取得部２２１が画像撮像部２１０から撮像画像群を取得する（Ｓｔ２０２）。さらに、差分算出部２２２が、各撮像画像について、撮像画像を構成する各画素の輝度の差分を算出する（Ｓｔ２０３）。図２０は、差分算出部２２２による差分の算出を示す模式図である。

同図に示すように、差分算出部２２２は、撮像画像Ｇの各画素ｇについて、その画素ｇに隣接する画素との輝度の差分を算出するものとすることができる。例えば差分算出部２２２は、画素ｇ１について、画素ｇ１の周囲に位置する全ての画素（画素ｇ２〜画素ｇ９）との輝度の差分を算出するものとすることができる。また、差分算出部２２２は画素ｇ１について、画素ｇ１にＸ方向及びＹ方向に隣接する画素（画素ｇ１〜ｇ４）との輝度の差分を算出するものとすることができる。差分算出部２２２は、画素ｇ１について各画素との間で算出された差分の和を画素ｇ１についての差分とすることができる。このように差分算出部１２２は、撮像画像Ｇに含まれる他の画素ｇについても同様に隣接する画素ｇとの輝度の差分を算出する。

続いて差分画像生成部２２３は、撮像画像Ｇにおける各画素ｇの輝度を、各画素ｇについて算出された差分によって置換し、差分画像を生成する（Ｓｔ２０４）。差分画像生成部２２３は、第１の実施形態と同様にして差分画像を生成するものとすることができる。差分画像生成部２２３は、生成した差分画像を画像積層部２２４に供給する。

続いて、画像積層部２２４は、差分画像を積層する（Ｓｔ２０５）。図２１は画像積層部２２４による差分画像の積層を示す模式図である。同図において各焦点深度（図３に示す焦点深度Ｆ１〜Ｆ５）において撮像された撮像画像に対応する差分画像を差分画像Ｄ１〜Ｄ５として示す。同図に示すよう画像積層部２２４は、各差分画像を、各差分画像がそれぞれ対応する撮像画像が撮像された焦点深度の順（Ｆ１〜Ｆ５の順）で、画像の位置（Ｘ位置及びＹ位置）を合わせ、仮想的に積層する。この積層によって生成されたデータを積層データとする。図２２に積層データの例を示す。図２２においては、積層された差分画像の画素のうち、輝度（撮像画像における画素間の差分）が大きい画素のみが表示されている。

画像積層部２２４は、生成した積層データを解析部２２５に供給するものとすることができる。また、画像積層部２２４は、生成した積層データをディスプレイ等に表示することにより観察者に提示してもよい。なお、図２２においてＺ方向の広がりについては、対物レンズのＮＡ（倍率）によって異なるため、ＮＡによって補正した後に提示することもできる。

続いて解析部２２５は、積層データを解析し、観察対象物Ｐの三次元情報（観察対象物Ｐのサイズや空間的位置）を取得する（Ｓｔ２０６）。解析部２２５は、第１の実施形態と同様にして、観察対象物Ｐの三次元情報を取得するものとすることが可能である。解析部２２５は例えば、観察対象物Ｐのサイズによって観察対象から除外し、あるいは観察対象物Ｐの移動量を検出するものとすることが可能である。解析部２２５は解析結果をディスプレイ等に表示することにより観察者に提示してもよく、観察することを決定した観察対象物Ｐの三次元情報を撮像制御部２２６に供給するものとしてもよい。

撮像制御部２２６は、解析部２２５から供給された三次元情報を利用することにより、画像撮像部２１０の焦点深度や視野範囲等を制御し、画像撮像部２１０に、観察に適した観察対象物Ｐの画像を撮像させることが可能である。

以上のように、画像処理装置２００は、画像撮像部２１０によって撮像された焦点深度の異なる複数の撮像画像に対する画像処理によって、観察対象物Ｐの三次元情報を取得することが可能である。画像撮像部２１０は一般的な光学顕微鏡を利用することが可能であり、即ちレーザー走査型顕微鏡等の特殊なものである必要がない。また、撮像画像は所定の焦点深度間隔で撮像されたものであればよく、撮像に要する時間はわずかである。さらに、観察対象物にレーザー照射によるダメージ等が生じることがなく、また、観察対象物の移動（細胞の泳動等）を検出することが可能であるため、生体細胞等の観察にも適している。

本実施形態においては、図１８に示したように、差分算出部２２２が各撮像画像においてひとつの画素（ｇ１）に隣接する画素（ｇ２〜ｇ９）との差分を算出した。ここで差分算出部２２２は、異なる焦点深度で撮像された別の撮像画像に含まれる画素との間で差分を算出するものとすることも可能である。図２３は、撮像画像Ｇ１、Ｇ２及びＧ３が、その撮像された焦点深度の順に積層された状態を示している。差分算出部２２２は、例えば撮像画像Ｇ２の画素ｇ１について、撮像画像Ｇ２に含まれる画素ｇ１に隣接する画素のみならず、撮像画像Ｇ１及び撮像画像Ｇ２に含まれる画素ｇ１に隣接する画素との間の差分を算出し、その和を画素ｇ１についての差分とすることもできる。

本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

[撮像タイミングの調整について]
上記各実施形態において、画像撮像部は異なる焦点深度において観察試料を撮像するものとした。ここで、観察試料に含まれる観察対象物が、心筋細胞等の拍動細胞（収縮、弛緩を繰返す細胞）である場合、画像撮像部の撮像タイミングを調整することが望ましい。

即ち、ある焦点深度において撮像された拍動細胞が収縮しており、その次の焦点深度において撮像された拍動細胞が弛緩している場合等、異なる焦点深度で撮像された撮像画像間で拍動の位相が相違する場合、上述のようにして取得された三次元情報がその影響を受けるおそれがある。したがって、このような場合には、各焦点深度において、拍動の位相が一致するタイミングで撮像画像を撮像することにより、三次元情報への拍動の影響を防止することができる。

各焦点深度における拍動細胞の位相は、動き推定手法により取得することが可能である。
動き推定手法には、ブロックマッチング法や勾配法等を利用することができる。具体的には、各焦点深度において所定時間にわたって撮像された動画の各フレーム画像を利用する。各フレーム画像を画素群（ブロック）に分割し、各ブロックについて前後のフレーム画像の対応ブロックとの間で動きベクトル（オプティカルフロー）を検出することにより、各焦点深度における拍動の位相を検出することができる。これを利用して各焦点深度における撮像タイミングを調整することにより、異なる焦点深度においても拍動の位相を一致させることが可能となる。

図２４は、拍動細胞（ｉＰＳ由来心筋細胞）のトリミング画像（上）と、本技術を適用して生成された解析用画像（下）を示す。図２４において、心筋細胞の中心はＹ方向の画像の中央からやや右側、Ｘ方向の中央付近に存在している。図２５は、拍動細胞の１秒間分の動画像の各フレーム画像（上）とその解析用画像(下）を左から順に並べたものであり、収縮・弛緩の拍動の変化を示す。図２５において、この細胞の中心付近の結果に注目すると、フレーム数の変化に伴なって解析用画像が変化し、収縮期に厚み（Ｚ方向）が１．５μｍ程度増加し、弛緩期に戻ることがわかる。収縮期に細胞中央付近で細胞の厚さが増加する（盛り上がる）現象は妥当と考えられ、本技術の適用により、このような立体的変化を解析する可能性が示されたものといえる。

なお、本技術は以下のような構成も採ることができる。
（１）
異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する差分算出部と、
上記差分と、上記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する上記差分の分布を生成する差分分布生成部と
を具備する画像処理装置。

（２）
上記（１）に記載の画像処理装置であって、
上記差分分布生成部は、
上記複数の撮像画像の各撮像画像について、その撮像画像を構成する画素の輝度を上記差分に置換した差分画像を生成し、上記複数の撮像画像にそれぞれ対応する複数の差分画像を生成する差分画像生成部と、
上記複数の差分画像の各差分画像において、その差分画像を構成する画素列毎に各画素の輝度を積算し、画素列毎の輝度積算値を生成する輝度積算部と、
上記複数の差分画像の各差分画像について、上記輝度積算値を輝度とした画素を、上記画素列の順で第１の方向に配列し、上記複数の差分画像にそれぞれ対応する複数の解析用画素列を生成する画素列生成部と、
上記複数の解析用画素列を、各解析用画素列にそれぞれ対応する上記複数の撮像画像が撮像された焦点深度の順で、上記第１の方向に直交する第２の方向に配列し、解析用画像を生成する画像生成部と
を有する画像処理装置。

（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記差分分布生成部は、
上記複数の撮像画像の各撮像画像について、その撮像画像を構成する画素の輝度を上記差分に置換した差分画像を生成し、上記複数の撮像画像にそれぞれ対応する複数の差分画像を生成する差分画像生成部と、
上記複数の差分画像を、上記複数の差分画像にそれぞれ対応する上記複数の撮像画像が撮像された焦点深度の順で積層する画像積層部と
を有する画像処理装置。

（４）
上記（１）から（３）のうちいずれか一つに記載の画像処理装置であって、
上記差分分布生成部によって生成された上記差分の分布に基づいて、上記複数の撮像画像が撮像された焦点深度の範囲における観察対象物の三次元情報を取得する解析部
をさらに具備する画像処理装置。

（５）
上記（１）から（３）のうちいずれか一つに記載の画像処理装置であって、
上記解析部によって取得された三次元情報に基づいて、上記観察対象物を撮像する画像撮像部を制御する撮像制御部
をさらに具備する画像処理装置。

（６）
上記（１）から（５）のうちいずれか一つに記載の画像処理装置であって、
上記画像撮像部は、光学顕微鏡を介して上記複数の撮像画像を撮像する
画像処理装置。

（７）
異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する差分算出部と、
上記差分と、上記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する上記差分の分布を生成する差分分布生成部と
としてコンピュータを機能させる画像処理プログラム。

（８）
画像取得部が、異なる焦点深度で撮像された複数の撮像画像を取得し、
差分算出部が、上記複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出し、
差分分布生成部が、上記差分と、上記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する上記差分の分布を生成する
画像処理方法。

１００、２００…画像処理装置
１１０、２１０…画像撮像部
１２１、２２１…画像取得部
１２２、２２２…差分算出部
１２３、２２３…差分画像生成部
１２４…輝度積算部
１２５…画素列生成部
１２６…画像生成部
１２７、２２５…解析部
１２８、２２６…撮像制御部
１２９…差分分布生成部
２２４…画像積層部
２２７…差分分布生成部

Claims (11)

1. 異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する差分算出部と、
   前記各撮像画像に含まれる画素に対応する前記差分を前記各撮像画像平面上の一軸方向に積算した輝度積算値を算出し、前記輝度積算値を前記各撮像画像平面上の前記画素の別一軸方向の位置と前記各撮像画像が撮像された焦点深度とからなる二軸上に分布する差分分布生成部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記差分分布生成部は、
   前記複数の撮像画像の各撮像画像について、その撮像画像を構成する画素の輝度を前記差分に置換した差分画像を生成し、前記複数の撮像画像にそれぞれ対応する複数の差分画像を生成する差分画像生成部と、
   前記複数の差分画像の各差分画像において、その差分画像を構成する画素列毎に各画素の輝度を積算し、画素列毎の輝度積算値を生成する輝度積算部と、
   前記複数の差分画像の各差分画像について、前記輝度積算値を輝度とした画素を、前記画素列の順で第１の方向に配列し、前記複数の差分画像にそれぞれ対応する複数の解析用画素列を生成する画素列生成部と、
   前記複数の解析用画素列を、各解析用画素列にそれぞれ対応する前記複数の撮像画像が撮像された焦点深度の順で、前記第１の方向に直交する第２の方向に配列し、解析用画像を生成する画像生成部と
   を有する画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記差分分布生成部によって生成された前記差分の分布に基づいて、前記複数の撮像画像が撮像された焦点深度の範囲における観察対象物の三次元情報を取得する解析部
   をさらに具備する画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記三次元情報は、前記観察対象物のサイズ若しくは空間的位置のうち少なくとも一つを含む
   画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記解析部によって取得された三次元情報に基づいて、前記観察対象物を撮像する画像撮像部を制御する撮像制御部
   をさらに具備する画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記撮像制御部は、前記解析部によって取得された前記三次元情報に基づいて、前記画像撮像部に対して、焦点深度若しくは視野範囲のうち少なくとも一つを制御する
   画像処理装置。
7. 請求項５に記載の画像処理装置であって、
   前記画像撮像部は、光学顕微鏡を介して前記複数の撮像画像を撮像する
   画像処理装置。
8. 請求項４に記載の画像処理装置であって、
   前記観察対象物は、透明又は半透明である
   画像処理装置。
9. 請求項４に記載の画像処理装置であって、
   前記観察対象物は、細胞である
   画像処理装置。
10. 異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出する差分算出部と、
    前記各撮像画像に含まれる画素に対応する前記差分を前記各撮像画像平面上の一軸方向に積算した輝度積算値を算出し、前記輝度積算値を前記各撮像画像平面上の前記画素の別一軸方向の位置と前記各撮像画像が撮像された焦点深度とからなる二軸上に分布する差分分布生成部と
    としてコンピュータを機能させる画像処理プログラム。
11. 差分算出部が、異なる焦点深度で撮像された複数の撮像画像の各撮像画像において、その撮像画像を構成する画素毎に、隣接する画素との輝度値の差分を算出し、
    差分分布生成部が、前記差分と、前記差分が算出された画素を含む各撮像画像が撮像された焦点深度に基づいて、焦点深度に対する前記差分の分布を生成する画像処理方法であって、
    前記差分の分布を生成するステップでは、前記各撮像画像に含まれる画素に対応する前記差分を前記各撮像画像平面上の一軸方向に積算した輝度積算値を算出し、前記輝度積算値を前記各撮像画像平面上の前記画素の別一軸方向の位置と前記各撮像画像が撮像された焦点深度とからなる二軸上に分布する
    画像処理方法。