WO2019039581A1

WO2019039581A1 - 試料観察方法、試料観察装置、及び顕微鏡

Info

Publication number: WO2019039581A1
Application number: PCT/JP2018/031302
Authority: WO
Inventors: 島野　美保子; 竜馬備瀬; 銀強鄭; いまり佐藤
Original assignee: 大学共同利用機関法人情報・システム研究機構
Priority date: 2017-08-25
Filing date: 2018-08-24
Publication date: 2019-02-28
Also published as: JPWO2019039581A1; JP7161218B2

Abstract

【課題】焦点調節可能な光学系を有する場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする透過型試料観察方法及び透過型顕微鏡を提供することを目的とする。【解決手段】本発明に係る試料観察方法及び試料観察装置は、カメラ側のあるピクセルにおいて観測される、照明の明部に観測点を位置させたときの、合焦での観測点からの観測点単一散乱光による直接成分（Ａ）、非合焦点からの他点単一散乱光による大域成分（Ｂ）、及び多重散乱光による大域成分（Ｃ）から、照明の暗部に観測点を位置させたときの、大域成分（Ｂ）及び大域成分（Ｃ）を除去することで、明部と暗部のパターン照明として使用できる合焦状態と前記パターン照明が均一になる非合焦状態との間の差異を利用して直接成分（Ａ）を取り出すこととした。

Description

試料観察方法、試料観察装置、及び顕微鏡

　本開示は、焦点調節可能な光学系を有する顕微鏡における試料観察方法及びその装置とそれを搭載する顕微鏡に関する。

　透過型光学顕微鏡は、生物医学、食品安全、および他の多くの用途に広く使用されている。顕微鏡で標本を観察する場合、光は画像センサに達する前に標本中の小さな粒子に当たり方向を変える。その結果、画像センサは、異なる経路を通る散乱光線の合計を捕捉することになる。この光の散乱は、観察される画像を不明瞭にする。図１（ｂ）は、マイクロメータ（図１（ａ））の上に散乱物を乗せたときの透過型電子顕微鏡の観察画像である。このように光の散乱は画像を不鮮明にする。

　散乱による画像の不明瞭化は、生物医学的画像形成において大きな課題となっている。例えば、生体組織の空間スペクトル解析において、吸収係数は特定点で正確に測定できなければならない。しかし、測定された信号は、特定点と異なる点からの散乱光を含み、その散乱光は組織内の異なる点の情報を含む。生体組織の特定点で正確に測定するには、特定からの直接的な光と他の点からの散乱光を分離することが不可欠である。

　コンピュテーショナルフォトグラフィ（Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｈｏｔｏｇｒａｐｈｙ）法の分野では、試料での反射光から大域成分である相互反射等の光を除去し、鏡面反射光や拡散反射光の直接成分を抽出する方法がいくつか提案されている。例えば、非特許文献１では、高周波照明の使用を開示している。高周波照明は、高周波空間パターンを同一箇所に照射することで直接成分と大域成分とを分離することができる（例えば、非特許文献３～８を参照。）。
　一方、非特許文献２では、非特許文献１の反射型の手法とは異なり、半透明物体等の透過観察における成分の分離（観測点を透過する観測点単一散乱光である直接成分と他点で散乱した他点単一散乱光や多重散乱光である大域成分との分離）を行う透過型の手法が紹介されている。この手法は、平行光の高周波照明を利用して透過光を観測しようとしている。このため、非特許文献２では特殊なレンズ（テレセントリックレンズ）を使って高周波照明を平行光とし、この平行光を観測するように構成されている。

Ｎａｙａｒ，　Ｓ．Ｋ．，　Ｋｒｉｓｈｎａｎ，　Ｇ．，　Ｇｒｏｓｓｂｅｒｇ，　Ｍ．Ｄ．，　Ｒａｓｋａｒ，　Ｒ．：　Ｆａｓｔ　Ｓｅｐａｒａｔｉｏｎ　ｏｆ　Ｄｉｒｅｃｔ　ａｎｄ　Ｇｌｏｂａｌ　Ｃｏｍｐｏｎｅｎｔｓ　ｏｆ　ａ　Ｓｃｅｎｅ　Ｕｓｉｎｇ　Ｈｉｇｈ　Ｆｒｅｑｕｅｎｃｙ　Ｉｌｌｕｍｉｎａｔｉｏｎ．　ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｒａｐｈｉｃｓ　２５（３），　ｐｐ．　９３５－９４４　（２００６）Ｔａｎａｋａ，　Ｋ．，　Ｍｕｋａｉｇａｗａ，　Ｙ．，　Ｋｕｂｏ，　Ｈ．，　Ｍａｔｓｕｓｈｉｔａ，　Ｙ．，　Ｙａｇｉ，　Ｙ．：　Ｄｅｓｃａｔｔｅｒｉｎｇ　ｏｆ　Ｔｒａｎｓｍｉｓｓｉｖｅ　Ｏｂｓｅｒｖａｔｉｏｎ　ｕｓｉｎｇ　Ｐａｒａｌｌｅｌ　Ｈｉｇｈ－ｆｒｅｑｕｅｎｃｙ　Ｉｌｌｕｍｉｎａｔｉｏｎ．　Ｉｎ：　ＩＥＥＥ　Ｃｏｎ－ｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｈｏｔｏｇｒａｐｈｙ，　（２０１３）Ｌａｍｏｎｄ，　Ｂ．，　Ｐｅｅｒｓ，　Ｐ．，　Ｄｅｂｅｖｅｃ，　Ｐ．：　Ｆａｓｔ　Ｉｍａｇｅ－ｂａｓｅｄ　Ｓｅｐａｒａｔｉｏｎ　ｏｆ　Ｄｉｆｆｕｓｅ　ａｎｄ　Ｓｐｅｃｕｌａｒ　Ｒｅｅｃｔｉｏｎｓ．　Ｉｎ　ＡＣＭ　ＳＩＧＧＲＡＰＨ　ｓｋｅｔｃｈｅｓ，　２００７．Ｇｕｐｔａ，　Ｍ．，　Ｔｉａｎ，　Ｙ．，　Ｎａｒａｓｉｍｈａｎ，　Ｓ．Ｇ．，　Ｚｈａｎｇ，　Ｌ．：　Ａ　Ｃｏｍｂｉｎｅｄ　Ｔｈｅｏｒｙ　ｏｆ　Ｄｅｆｏｃｕｓｅｄ　Ｉｌｌｕｍｉｎａｔｉｏｎ　ａｎｄ　Ｇｌｏｂａｌ　Ｌｉｇｈｔ　Ｔｒａｎｓｐｏｒｔ．　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　９８（２），　ｐｐ．　１４６－１６７　（２０１２）Ａｃｈａｒ，　Ｓ．，　Ｎａｒａｓｉｍｈａｎ，　Ｓ．Ｇ．：　Ｍｕｌｔｉ　Ｆｏｃｕｓ　Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔ　ｆｏｒ　Ｒｅｃｏｖｅｒｉｎｇ　Ｓｃｅｎｅ　Ｓｈａｐｅ　ａｎｄ　Ｇｌｏｂａｌ　Ｉｌｌｕｍｉｎａｔｉｏｎ．　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（２０１４）Ｒｅｉｎｈａｒｄ，　Ｅ．，　Ｋｈａｎ，　Ｅ．　Ａ．，　Ａｋｙｕｚ，　Ａ．　Ｏ．，　Ｊｏｈｎｓｏｎ，　Ｇ．：　Ｃｏｌｏｒ　Ｉｍａｇｉｎｇ：　Ｆｕｎｄａｍｅｎｔａｌｓ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ．　ＣＲＣ　Ｐｒｅｓｓ　（２００８）Ｍｕｋａｉｇａｗａ，　Ｙ．，　Ｙａｇｉ，　Ｙ．，　Ｒａｓｋａｒ，　Ｒ．：　Ａｎａｌｙｓｉｓ　ｏｆ　Ｌｉｇｈｔ　Ｔｒａｎｓｐｏｒｔ　ｉｎ　Ｓｃａｔｔｅｒｉｎｇ　Ｍｅｄｉａ．　Ｉｎ：　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　ｐｐ．１５３｛１６０　（２０１０）Ｔａｎａｋａ，　Ｋ．，　Ｍｕｋａｉｇａｗａ，　Ｙ．，　Ｋｕｂｏ，　Ｈ．，　Ｍｔｓｕｓｈｉｔａ，　Ｙ．，　Ｙａｇｉ，　Ｙ．：　Ｒｅｃｏｖｅｒｉｎｇ　Ｉｎｎｅｒ　Ｓｌｉｃｅｓ　ｏｆ　Ｔｒａｎｓｌｕｃｅｎｔ　Ｏｂｊｅｃｔｓ　ｂｙ　Ｍｕｌｔｉ－ｆｒｅｑｕｅｎｃｙ　Ｉｌｌｕｍｉｎａｔｉｏｎ．　Ｉｎ：　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　ｐｐ．　５４６４－５４７２．　（２０１５）Ｓａｌｏｍａｔｉｎａ，　Ｅ．，　Ｊｉａｎｇ，　Ｂ．，　Ｎｏｖａｋ，　Ｊ．，　Ｙａｒｏｓｌａｖｓｋｙ，　Ａ．　Ｎ．：　Ｏｐｔｉｃａｌ　Ｐｒｏｐｅｒｔｉｅｓ　ｏｆ　Ｎｏｒｍａｌ　ａｎｄ　Ｃａｎｃｅｒｏｕｓ　Ｈｕｍａｎ　Ｓｋｉｎ　ｉｎ　ｔｈｅ　Ｖｉｓｉｂｌｅ　ａｎｄ　Ｎｅａｒ－ｉｎｆｒａｒｅｄ　Ｓｐｅｃｔｒａｌ　Ｒａｎｇｅ．　Ｊｏｕｒｎａｌ　ｏｆ　Ｂｉｏｍｅｄｉｃａｌ　Ｏｐｔｉｃｓ　１１（６）　（２００６）

　しかし、焦点調節可能な光学系を設けた顕微鏡の場合、試料の厚み方向の情報が加わるため、非特許文献１のような反射型の手法や非特許文献２のような平行光の高周波照明を利用する透過型の手法では、試料で反射した光や試料を透過した光を直接成分と大域成分とに分離することができず、画像の鮮明化や空間スペクトル解析が困難という課題があった。そこで、本発明は、上記課題を解決すべく、焦点調節可能な光学系を有する（平行光ではない）場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することを目的とする。

　上記目的を達成するために、本発明に係る試料観察方法及び試料観察装置は、カメラ側のあるピクセルにおいて観測される、
照明の明部に観測点を位置させたときの、合焦での観測点からの観測点単一散乱光による直接成分（Ａ）、非合焦点からの他点単一散乱光による大域成分（Ｂ）、及び多重散乱光による大域成分（Ｃ）から、
照明の暗部に観測点を位置させたときの、大域成分（Ｂ）及び大域成分（Ｃ）を除去することで、
明部と暗部のパターン照明として使用できる合焦状態と前記パターン照明が均一になる非合焦状態との間の差異を利用して直接成分（Ａ）を取り出すこととした。

　具体的には、本発明に係る試料観察方法は、
　Ｚ方向において光センサ及び照明の焦点を試料内の観測点を含むＸＹ平面に合わせるフォーカス手順と、
　前記フォーカス手順を行った後、前記照明の光を前記観測点に照射したときの第１光強度と前記観測点以外に照射したときの第２光強度とを前記光センサで取得する光強度取得手順と、
　前記第１光強度に含まれる、前記観測点での単一散乱光による直接成分（Ａ）、前記観測点以外での単一散乱光による大域成分（Ｂ）、及び前記試料内での多重散乱光による大域成分（Ｃ）と、前記第２光強度に含まれる、大域成分（Ｂ）及び大域成分（Ｃ）と、を利用し、前記第１光強度から直接成分（Ａ）と大域成分（Ｂ）及び大域成分（Ｃ）とを分離する演算を行う演算手順と、
を行う。

　具体的には、本発明に係る試料観察装置は、
　Ｚ方向において光センサ及び照明の焦点を試料内の観測点を含むＸＹ平面に合わせるフォーカス機構と、
　前記フォーカス機構で前記光センサと前記照明の双方の焦点を前記観測点に合わせた状態で、前記照明の光を前記観測点に照射したときの第１光強度と前記観測点以外に照射したときの第２光強度とを前記光センサで取得する光強度取得手段と、
　前記第１光強度に含まれる、前記観測点での単一散乱光による直接成分（Ａ）、前記観測点以外での単一散乱光による大域成分（Ｂ）、及び前記試料内での多重散乱光による大域成分（Ｃ）と、前記第２光強度に含まれる、大域成分（Ｂ）及び大域成分（Ｃ）と、を利用し、前記第１光強度から直接成分（Ａ）と大域成分（Ｂ）及び大域成分（Ｃ）とを分離する演算を行う演算器と、
を備える。

　本試料観察装置が透過型（光が試料を透過するタイプ）である場合、光の経路の方向をＺ方向とする。そして、前記フォーカス機構は、前記フォーカス手順で、Ｚ方向において光センサと試料との間にある光センサ側レンズの焦点を前記試料内の観測点を含むＸＹ平面に合わせ、Ｚ方向において前記試料に対して前記光センサの反対側の照明と前記試料との間にある照明側レンズの焦点を前記観測点を含むＸＹ平面に合わせる。
　本試料観察装置が反射型（光が試料で反射するタイプ）である場合、試料の厚み方向をＺ方向とする。そして、前記フォーカス機構は、前記フォーカス手順で、Ｚ方向において光センサと試料との間にある光センサ側レンズの焦点を前記試料内の観測点を含むＸＹ平面に合わせ、Ｚ方向において前記試料に対して前記光センサの反対側の照明と前記試料との間にある照明側レンズの焦点を前記観測点を含むＸＹ平面に合わせる。なお、光センサ側レンズと照明側レンズが１つの共通のレンズであってもよい。

　半透明の物体を顕微鏡で観測する場合、直接成分（Ａ）に大域成分（Ｂ）と（Ｃ）が重なっておりそれらを分離する必要がある。高周波照明とカメラ（光センサ）の少なくとも一方の焦点が合っていない平面（非合焦平面）では画像がぼやけて光強度が均質になる。一方、照明とカメラ（光センサ）の焦点が合う平面（合焦平面）では照明の明部と暗部のパターンが明確となり、観測点へ光を照射あるいは非照射とすることができる。カメラは、観測点へ光を照射したときの直接成分（Ａ）、大域成分（Ｂ）及び大域成分（Ｃ）を観測し、観測点へ光を照射しないときの大域成分（Ｂ）及び大域成分（Ｃ）を観測する。本発明は、観測点へ光を照射したときの観測結果と観測点へ光を照射しないときの観測結果との違い（差分）を利用して直接成分（Ａ）を取り出している（非合焦平面では光強度が均一なので、観測点へ光を照射したときの大域成分（Ｂ）及び（Ｃ）と観測点へ光を照射しないときの大域成分（Ｂ）及び（Ｃ）とは同じ情報となる。）。

　前記演算器は、前記第１光強度から前記第２光強度を減算して直接成分（Ａ）を計算し、前記観測点の画像を取得する演算を行うことを特徴とする。

　前記演算器は、前記第１光強度から前記第２光強度を減算して直接成分（Ａ）を計算し、該直接成分（Ａ）と前記照明の波長毎の光強度とから前記観測点の吸収係数を取得する演算を行うことを特徴とする。

　前記試料観察装置を顕微鏡に組み込むことで透過光から大域成分を除去して直接成分を取り出すことができるようになる。すなわち、本発明に係る顕微鏡は、前記試料観察装置、前記照明、前記光センサ、前記フォーカス機構を備える顕微鏡であることを特徴とする。

　従って、本発明は、焦点調節可能な光学系を有する場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することができる。

　本発明に係る試料観察装置は、前記試料内において前記観測点を含むＸＹ平面をＺ方向に移動させ、前記観測点を含むＸＹ平面のＺ方向の位置毎に、前記フォーカス機構に前記光センサ及び前記照明の焦点を前記観測点に合わさせ、前記光強度取得手段に前記第１光強度及び前記第２光強度を取得させ、前記演算器に前記演算をさせる制御器をさらに備えることを特徴とする。本試料観察装置は、センサ側レンズと照明側レンズの双方の焦点をＺ方向へ順次移動させることで、Ｚ方向についての連続的な演算結果に基づいて、３次元画像の作成や空間的スペクトル解析が可能になる。

　前記照明は、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明であり、前記光強度取得手段は、前記光センサと前記照明の焦点を維持したまま前記試料を任意に移動させる、もしくは前記フォトマスクを任意に移動させる駆動機構であってもよい。

　前記照明は、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であり、前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部であってもよい。

　本発明は、焦点調節可能な光学系を有する場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することができる。

本発明の課題を説明するための画像である。透過光と散乱光を説明する図である。本発明に係る観察方法を説明する図である。本発明に係る観察方法を説明する図である。本発明に係る顕微鏡で取得した画像を説明する図である。本発明に係る顕微鏡と従来手法で行う吸収係数を測定する実験を説明する図である。本発明に係る顕微鏡と従来手法で行う吸収係数を測定する実験結果を説明する図である。本発明に係る顕微鏡を説明する図である。

　添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。特に、以下の実施形態では透過型の顕微鏡で説明を行うが、反射型の顕微鏡を用いても照明とカメラが試料に対して同じ側にあるだけで同様の結果を得られる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

［１］透過光と散乱光の重畳
　前述のように、透過光顕微鏡で観察される不明瞭な画像の理由の一つは、測定された光が、所望の観測点を通過した光に異なる点からの散乱光が重なり、試料内の異なる点で光吸収されているためである。本セクションでは、透過型顕微鏡で試料を通過するこれらの光を調べ、どのような光が重なり合ってカメラ（イメージセンサ）に到達するかを説明する。

　重なり合うすべての光を説明するために、透過型顕微鏡で観測点における光強度を測定する場合を考える。光センサに到達する光は、観測点のみで散乱する観測点単一散乱光（直接透過光）、観測点とは異なる深さにある他点で一度だけ散乱した他点単一散乱光、および多重散乱光の3種類が考えられる。図2は各光の経路の説明図であり、観測点は白丸である。図２（ｂ）の黒実線矢印は、観測点でのみ散乱された後、散乱されずに光センサに到達する観測点単一散乱光（直接透過光）である。この光が観察対象の直接成分である。図２（ｃ）の破線矢印は、試料内で観測点と異なる深さに位置する観測点以外の点で１回だけ散乱した他点単一散乱光と、試料内で複数回散乱した多重散乱光であり、大域成分である。大域成分の散乱光は観測点単一散乱光（直接透過光）と重なり、同じ光センサに到達する（図２（ａ））。大域成分は、光センサにおいて直接成分の比率を低下させ画像を不明瞭にする。したがって、光センサに到達するこれらの重なり合う光を直接成分と大域成分に分離する必要がある。

［２］直接成分と大域成分の分離
　図３（ａ）は、直接成分と大域成分を分離する本実施形態の透過型顕微鏡を説明する図である。本実施形態の透過型顕微鏡は、照明１３、光センサ１５、光センサ側レンズ１２、及び照明側レンズ１４を備える顕微鏡であって、透過型試料観察装置１００が組み込まれることで試料５０内の観測点Ｋのみで散乱する単一散乱光を観察可能となることを特徴とする。図８は、本実施形態の透過型顕微鏡の説明にあたり、Ｘ，Ｙ及びＺの方向、試料５０内の観測点Ｋ、並びに観測点Ｋを含むＸＹ平面（スライス）を説明する図である。

　ここで、透過型試料観察装置１００は、
　試料５０の厚みより薄い焦点深度を有し、光センサ１５と試料５０との間にある光センサ側レンズ１２の焦点を試料５０内の観測点Ｋに合わせる工程、及び試料５０の厚みより薄い焦点深度を有し、試料５０に対して光センサ１５の反対側の照明１３と試料５０との間にある照明側レンズ１４の焦点を観測点Ｋに合わせる工程の少なくとも一方を行うフォーカス機構１８と、
　照明１３の光を観測点Ｋに照射したときの第１光強度と観測点Ｋ以外に照射したときの第２光強度とを光センサ１５で取得する光強度取得手段１９と、
　前記第１光強度から前記第２光強度を減算した光強度を観測点Ｋの透過光の成分とする演算器１７と、
を備える。

　演算器１７は、後述する図３（ｂ）と（ｃ）それぞれの状態での透過画像（光センサ１５による画像）を得るように、フォーカス機構１８及び光強度取得手段１９を制御する。
　フォーカス機構１８は、演算器１７の演算に基づいて焦点調節を行うものであり、例えばステッピングモータによるピント調整機構等を用いて実現することができる。また、操作者が手でピント調節つまみ等の所定の操作部を操作することによりピント調節してもよい。また、フォーカス機構１８は、光軸方向（Ｚ方向）にセンサ側レンズ１２と照明側レンズ１４の双方の焦点を移動させることができる。この機能により、スライスをＺ方向に移動させる、すなわち、試料５０内の任意の深さにある観測点Ｋに焦点を合わせることができる。

　光強度取得手段１９の駆動機構は、演算器１７の演算に基づいて後述する図３（ｂ）と（ｃ）の状態を入れ替えるよう移動させるものであり、例えばステッピングモータによる移動テーブル又はフォトマスクの駆動機構であってもよい。また、操作者が、試料５０を移動させるための操作部、又はフォトマスクを移動させるための操作部を操作することにより、図３（ｂ）と（ｃ）の状態を入れ替えてもよい。

　本実施形態の場合、照明１３は、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明である。また、光強度取得手段は、光センサ１５と照明１３の焦点を維持したまま試料５０をＸ方向やＹ方向に任意に移動させる、もしくはフォトマスクを任意に移動（明部と暗部をＸ方向やＹ方向に任意の移動）させる駆動機構である。

　本実施形態の透過型顕微鏡は、高周波照明の明部と暗部を利用し、さらに光センサ１５と高周波照明１３の合焦状態と非合焦状態との間の光情報の違いを利用し、直接成分と大域成分を分離する。ここで、高周波照明の像が形成される面に平行な試料内の面（ＸＹ平面）を「スライス」と呼ぶ（図８参照）。例えば、試料５０の厚みが１０μｍで、焦点の合っているスライスの厚みは３μｍとする（試料やレンズ性能により数値は変わる）。図４は、焦点が合っているスライスと焦点が合っていないスライスを説明する図である。光センサも高周波照明も焦点が合っていないスライスがαとγであり、焦点が合っているスライスがβである。光センサの焦点が合っている場合、その画像は図４（ａ）のようになり、光センサの焦点が合っていない場合、その画像は図４（ｂ）のようになる。一方、高周波照明の焦点が合っている場合、その画像は図４（ｃ）のようになり、高周波照明のフォーカスが合っていない場合、その画像は図４（ｄ）のようになる。つまり、光センサと高周波照明のいずれか一方の焦点が合っていない場合、パターンがぼやけた画像（図４（ｂ）（ｄ））となる。このようにパターンがぼやけたスライスでは、光強度が均一になると仮定する。つまり、光センサ側と高周波照明側の両方の焦点が合っている状態で直接成分が含まれるとみなし、光センサ側と高周波照明側のいずれか一方の焦点が合っていない状態では大域成分のみとみなす。

　まず、高周波照明のパターンが無く、カメラと照明の両方に焦点が合っている場合と、カメラと照明のいずれかの焦点が合っておらず光強度が一様である場合とを考える。観測点Ｋに対応する光センサ１５のピクセルｐで捕捉された光強度Ｌ［ｐ］は、直接成分Ｄ［ｐ］と大域成分Ｇ［ｐ］との和である。
（式１）
　Ｌ［ｐ］＝Ｄ［ｐ］＋Ｇ［ｐ］

　図３（ｂ）と図３（ｃ）は、光を透過する明部と光を遮断する暗部が市松模様状であるフォトマスクを介する高周波照明１３を用いて試料５０に照射したときの様子を模式的に示した図である。なお、説明明瞭化のため、図３（ｂ）と図３（ｃ）では、透過型試料観察装置１００の記載を省略している。

［分離演算の説明］
　ここで、演算器１７が行う演算内容について説明する。
　観測点Ｋが含まれるターゲットスライスに、光センサ１５と高周波照明１３の焦点が合っている。図３（ｂ）は、光強度取得手段１９でフォトマスク又は試料５０を動かして観察点Ｘに光を照射した（フォトマスクの明部を位置させる）ときの模式図である。観察点Ｘに光が照射すると、光センサ１５は観察点Ｘからの直接的な光（直接成分（Ａ））と他の部分からの光（非合焦での観測点以外からの他点単一散乱光の成分である大域成分（Ｂ）及び多重散乱光の成分である大域成分（Ｃ））の双方を含む情報を取得する。一方、図３（ｃ）は、フォトマスク又は試料５０を動かして観察点Ｘに光を照射しない（フォトマスクの暗部を位置させる）ときの模式図である。観察点Ｘに光が照射しないと観察点Ｘからの直接的な光（直接成分（Ａ））がなく、光センサ１５は他の部分からの光（大域成分（Ｂ）と（Ｃ））のみの情報を取得する。
　なお、「合焦での観測点以外からの他点単一散乱光による成分（Ｄ）」はカメラの光学系で異なるピクセルに結像されるため、成分（Ｄ）は検討中のピクセルにおいて考慮不要である。

　前述のように焦点が合っていないスライス（図４（ｄ））において照明光が均一であると仮定すると、フォトマスクの明部と暗部の比率が１：１である場合、焦点が合っていないスライス（α、γ）内の光強度は、焦点が合っているスライスβの明部の光強度の半分の光強度となる。つまり、スライスβ以外の部分からの多重散乱光や単一散乱光の光強度は観測点Ｋで反射あるいは透過した光の強度の半分となる。

　このことを利用して、観測点Ｋに光を照射している場合の観測点Ｋに対応する光センサのピクセルｐにおける輝度Ｌ_＋［ｐ］と、観測点Ｋに光を照射していない場合の輝度Ｌ_－［ｐ］とを以下のように算出することができる。

ここで、Ｓ［ｐ、ｘ］は点ｘ＝［ｘ、ｙ、ｚ］^ｔにおける単一散乱光の光強度である。Ｍ［ｐ、ｘ］は最後の散乱点がxである多重散乱光の光強度である。

　焦点深度ｄは範囲を有するのでピクセルｐは点ｘの集合に対応する。Ω（ｐ、ｄ）はピクセルｐと焦点深度ｄに対応する領域であり、Ψ（ｐ）は試料５０内のピクセルｐに対応するすべての点ｘを示すとする。

　図３（ｂ）に示すように、式（２）の第１項は、ターゲットスライス（β；ｚ＝ｄ）における観測点Ｋを照射した直接透過光である。第２項は焦点から外れた異なるスライス（α、γ）での単一散乱光であり、第３項は大域成分における散乱光の多重である。従って、ターゲットスライスからの光Ｄ［ｐ］および他のスライスからの光Ｇ［ｐ］は、次式で表される。

　光センサ１５の全てのピクセルで直接成分および大域成分を得るためには、高周波照明パターンを動かし、それぞれのピクセルで光強度が最大のＬ_ｍａｘと最小のＬ_ｍｉｎを取得する。Ｌ_＋＝Ｌ_ｍａｘであり、Ｌ_－＝Ｌ_ｍｉｎであるので式（４）を用いて各ピクセルのＤ［ｐ］とＧ［ｐ］を求めれば、試料５０の透過光と散乱光を分離することができる。
　なお、高周波照明パターンの動かし方は、例えば、高周波照明の明部と暗部をそれぞれ含むように予め設定した移動経路で動かす方法がある。また、高周波パターンフィルタの動かし方として、高周波パターンフィルタをＸＹＺ軸電動ステージ上でＸＹ方向にランダムに移動させる方法でもよい。この方法の場合、明部ですべての点を捕捉するために十分量の当該ターゲットスライスの観察画像を取得する必要がある。
　以上、演算器１７の演算について説明した。

　なお、高周波照明を形成するフォトマスクの明部と暗部との大きさに注意する必要がある。フォトマスクの明部が大きい場合、観察点で散乱された直接透過光が、同一の照明領域内で数回散乱することになる。本実施形態の透過型顕微鏡では、このような同一の照明領域内で数回散乱してしまった光も、直接成分であると判断することになる。同一の照明領域内で散乱回数は、試料の特性および高周波照明の周波数に依存するので、試料の特性に応じて高周波照明の周波数を適宜調整する必要がある。

　例えば、上記実施形態では高周波照明のパターンを明部と暗部が１：１の市松模様で説明したが、試料の特性によって明部と暗部が１：１ではないパターンの高周波照明を利用してもよいし、明部と暗部とが規則的に配列されていない不規則パターンの照明を利用してもよい。この場合、明部と暗部の比率に応じて式（２）の第２項と第３項の係数、及び式（３）の各項の係数を変更する。具体的には、高周波照明のパターンを明部と暗部が明部と暗部が１：１の市松模様の場合、式（２）と式（３）の各係数が“１／２”であるが、明部と暗部の比率に応じ当該係数を変更する（ただし、係数の合計は１である。）。例えば、
明部の割合＝ａ、
暗部の割合＝１－ａ、
ｂ：明部の透過率を１とするときの暗部の透過率（０．０≦ｂ＜１）
とすると、上述した式（２）、式（３）、式（４）は、それぞれ式（２ａ）、式（３ａ）、式（４ａ）となる。

　式（２ａ）、式（３ａ）、式（４ａ）において、ａ＝１／２、ｂ＝０の場合が式（２）、式（３）、式（４）となる。

　また、上記実施形態では高周波照明をフォトマスクで構成することを説明したが、フォトマスクを使用せずに複数のＬＥＤ等の微小光源を配列して高周波照明を構成してもよい。すなわち、前記照明は、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であり、前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部であることを特徴とする。
　もちろん、ＬＥＤは、高周波照明だけでなく不規則パターンの照明も実現することができる。

（実施例１）
　図５（ａ）は、本実施例の高周波照明を用いた透過顕微鏡システムを説明する写真である。本透過顕微鏡システムは、顕微鏡、光源、高周波パターンフィルタ（フォトマスク）、カメラ（光センサ）及びＸＹＺ軸電動ステージからなる。顕微鏡はオリンパスＢＸ５３、光源にはハロゲンランプ、ＸＹＺ軸電動ステージには駿河精機ＫＸＴ０４０１５－ＬＣを用いた。高周波パターンフィルタとして、図３及び図４に示すように、照明領域（明部）と非照明領域（暗部）の比が１：１である様々な市松模様（高周波照明）のフォトマスクを用意した。具体的に、パターンの大きさは１×１μｍから１６×１６μｍまでを用意した。パターンの大きさは、例えば生体中の部位などにより、検体中に散乱体がどのくらい含まれるかに応じて決定される。イルミネーションレンズはフィルタの上に設置され、照明のフォーカス位置を変えることができる。

　まず、試料の深さ方向（Z方向）について、ある深さのターゲットスライスに、光センサ１５と高周波照明１３の焦点を合わせる。どちらの焦点を先に合わせてもよいが、両方の焦点を合わせる必要がある。例えば、顕微鏡の資料ステージを動かして、試料５０を観察できるように光センサ１５の焦点を所望のターゲットスライスに合わせておく。その後、高周波照明１３の焦点を当該ターゲットスライスに合わせる。その焦点合わせには、照明側レンズ１４をZ方向に移動させ、且つＸＹＺ軸電動ステージで高周波照明パターンフィルタ１３をＺ方向に移動させ調整する。

　そして、明部ですべての点を捕捉するために、高周波パターンフィルタ１３をＸＹＺ軸電動ステージ上で動かし、当該ターゲットスライスの観察画像を取得する。高周波パターンフィルタの動かし方は上述の通りである。図５（ｂ）は高周波パターンが人間の皮膚に照射されたときの画像、図５（ｃ）は直接成分Ｄ［ｐ］の画像、図５（ｄ）は大域成分Ｇ［ｐ］の画像である。そして、前述の「分離演算の説明」のように観察画像を処理し、カメラの各光センサ（ピクセル）における直接成分Ｄ［ｐ］と大域成分Ｇ［ｐ］を取得する。ここまでの作業で、現在のターゲットスライスに対して透過光と散乱光を分離することができる。

　次に、高周波パターンフィルタ１３をＸＹＺ軸電動ステージをＺ軸方向に移動することにより、上記とは別の深さのターゲットスライスに、光センサ１５と高周波照明１３の焦点を合わせる。そして、当該ターゲットスライスにおいて、高周波パターンフィルタ１３をＸＹＺ軸電動ステージで同様に動かして観察画像を取得する。上記と同様に「分離演算の説明」のように観察画像を処理し、当該ターゲットスライスに対して透過光と散乱光を分離することができる。

（本実施例の効果）
　非特許文献１～８に記載される手法では、光路上の重なりも含む、全ての深さ情報の重ね合わせで観測され、それらから特定の深さ（ターゲットスライス）の透過光と散乱光の情報あるいは深さ方向（Ｚ方向）に対する透過光と散乱光の情報を取得することが困難である。一方、本透過顕微鏡システムは、特定の深さ（ターゲットスライス）の透過光と散乱光の情報を取得することができ、さらにターゲットスライスをＺ方向に順次移動させて上記の処理を繰り返すことで、複数の深さのターゲットスライスに対する透過光と散乱光を分離して情報を得ることができる。本透過顕微鏡システムは、Ｚ方向の移動をあるステップ幅で連続的に行い、連続的に深さごとのターゲットスライスにおける透過光と散乱光の情報を取得できることから、分離された透過光と散乱光の３次元情報、あるいは３次元画像情報を観察することができる。前記３次元情報は、直接成分や大域成分の３次元波長情報、それらより演算して抽出される各種情報ないし作成される画像、およびそれらより解析される結果を含む。

（実施例２）
本実施例の説明の前に、本実施例を適用しようとする生命科学研究の分野における課題を説明する。
　生命科学研究は、生体組織の非接触ないし非侵襲イメージングによる構造や機能解析が非常に期待されている。最近では、共焦点顕微鏡やライトシート顕微鏡等に代表されるように、蛍光の波長情報を手掛かりとする形態可視化が広く利用されている（Ｎａｔ．　Ｍｅｔｈｏｄｓ　８，　ｐｐ．７５７－７６０，　２０１１）。しかし、このような共焦点顕微鏡等における蛍光色素染色による観察では、生細胞は褪色や励起光によるダメージを受けることが課題となっている。このため、染色を行わない生体組織等の顕微鏡観察が強く望まれている。しかし、一般に生体組織は散乱体を多く含んでいるため、透過光と散乱光の重ね合わせの情報が観測されており、正しく観測したい透過光が散乱の影響により不鮮明になっている。そのため、癌検出等のバイオメディカルイメージングにおいて、顕微鏡による生体組織観察の際、散乱光の影響により、吸収スペクトル等の組成情報の正しい計測が容易ではない。また、従来技術では、顕微鏡観察画像から吸収と散乱のスペクトルを分離することは困難なため、吸収と散乱を一括して減衰項とする方法がとられていた。従って、従来技術は、染色による生細胞へのダメージを軽減する代わりに、染色の波長情報が無い状態で、顕微鏡観察画像から透過光と散乱光の分離を行い、各生体組織における吸収や散乱の２次元分布情報を抽出している。

　一方、本発明に係る透過顕微鏡システムは、前述のように顕微鏡観察画像から透過光と散乱光を分離することができる。このため、後述する演算を行うことで試料の吸収係数や散乱係数を得ることができる。従って、本発明に係る透過顕微鏡システムは、試料の染色を不要とすることができ、波長情報がある状態で試料の吸収や散乱の情報を取得することができる。しかも、本発明に係る透過顕微鏡システムは、前述のように試料のＺ方向にも情報を取得することができるため、試料の吸収係数や散乱係数を３次元的に取得することができる。

　以下、本実施形態の透過顕微鏡システムについて説明する。
　本実施例では、空間マルチスペクトル吸収分析について従来方法と本実施例の透過顕微鏡システムを利用した方法とを説明する。図６（ａ）は、比較データを取得するための従来方法による分析を説明する図である。既知試料２３として、赤色色素（１ｍｇ／ｍＬ）とイントラリピッド希釈液（０．４％）の混合液をアンプルに封入し、積分球２１の中心に配置した。そして、波長を変えながら光２４を試料２３に照射し、試料から周囲に放射される散乱光を積分球２１で受光し、分光光度計２２で各波長における試料２３の吸収係数の解析を行った。なお、光２４を白色光（多波長光）とし、分光光度計２２で波長別に一括解析を行ってもよい。
　なお、既知試料２３の真値として、イントラリピッドを含まない赤色色素（１ｍｇ／ｍＬ）のみの溶液で吸光度を測定している。
　ここで、図６（ａ）のような積分球を利用した吸収係数の分析には、試料２３としてある程度まとまった分量の検体が必要という課題があった。

　一方、図６（ｂ）は本実施例の透過顕微鏡システムを利用して試料５０の吸収係数を分析する方法を説明する図である。光源１３の波長を変化させつつ、試料５０のうち分析したい領域に明部と暗部が配置されるように前述のように高周波パターンフィルタをＸＹＺ軸電動ステージ上で動かした。そして、演算器１７で各波長における直接成分Ｄ［ｐ］を取得し、光源１３の光強度から当該領域の吸収係数を取得する。なお、光源１３の光を白色光（多波長光）とし、演算器１７で波長別に一括解析を行ってもよい。
　以下は、吸収係数αの算出例である。
　直接成分をＩ_ｄ、大域成分をＩ_ｓ、入射光の強度をＩ_ｉ、光センサ側レンズの焦点深度と照明側レンズの焦点深度の少ない方をＸ_ｆとすると、透過光の強度Ｉ_ｏは
（式１ｂ）
Ｉ_ｏ＝Ｉ_ｉｅｘｐ（－αＸ_ｆ）
である。
また、
（式２ｂ）
Ｉ_ｏ＝Ｉ_ｄ＋Ｉ_ｓ
なので、観測点の吸収係数αは、
（式３ｂ）
α＝ｍａｘ（０，－ｌｏｇ（Ｉ_ｏ／Ｉ_ｉ）／Ｘ_ｆ）
である。

　図７は、図６（ａ）の従来手法で取得した吸収係数（破線）と図６（ｂ）の本実施例の透過顕微鏡システムで取得した吸収係数（実線）とを波長毎に比較した図である。図７が示すように、本実施例の透過顕微鏡システムで取得した吸収係数は図６（ａ）の従来手法で取得した吸収係数と同様のスペクトル形状が得られており、従来手法を本実施例の透過顕微鏡システムに置き換え可能であることがわかる。
　さらに、本実施例の透過顕微鏡システムは、積分球を利用する従来手法より少ない量の検体で吸収係数の分析が可能である。

　また、本実施例の透過顕微鏡システムは、吸収係数と同様、散乱係数も求めることができる。以下は、散乱係数βの算出例である。
　直接成分Ｉ_ｄは試料の厚さＸ_ｓを用いて
（式４ｂ）
Ｉ_ｄ　＝　Ｉ_ｏ－Ｉ_ｓ　＝　Ｉ_ｉ　ｅｘｐ｛－（　α＋β）＊Ｘ_ｓ｝
と表すことができる。従って、観測点の散乱係数βは
（式５ｂ）
β　＝　ｍａｘ（０，（－ｌｏｇ（Ｉ_ｄ／Ｉ_ｉ）／Ｘ_ｓ　－α）
直接成分Ｉ_ｄでなく大域成分Ｉ_ｓを用いる場合、
β　＝　ｍａｘ（０，｛－ｌｏｇ（Ｉ_ｏ－Ｉ_ｓ）／Ｉ_ｉ｝／Ｘ_ｓ　－α）
である。

（本実施例の効果）
　本実施例の透過顕微鏡システムは、染色による生細胞へのダメージ回避のみでなく、染色処理の削減による解析時間を大幅に短縮することもできる。その結果、生体組織内および組織間の相互作用、生体組織の３次元的動態、生化学反応など、生細胞の新機能の発見や未だ明らかにされていない生体内のメカニズムの解明に貢献することが期待される。また、生化学分野に新たな分析装置を提供することで、新分析法の創出、新たな研究分野の開拓にもつながると予想され、医療技術進歩への貢献が期待できる。

　本発明に係る試料観察方法、試料観察装置、及び顕微鏡は、生化学分野だけでなく、ホログラフィ分野においても吸収と散乱によっておこるスペックルの分離にも適用することができる。また、本発明は、食品や物品検査等様々な分野での計測分析技術にも適用することができる。

　なお、上述した本発明の実施形態及び各実施例では透過型顕微鏡を例として説明したが、本発明はこれに限定されず、例えばカメラと照明が試料に対して同じ側に設けられた反射型顕微鏡であっても、半透明の試料を観察する場合には反射光から他点単一散乱光や多重散乱光の大域成分を除去する手法として本発明を同様に適用することができる。

１２：光センサ側レンズ
１３：光源、高周波照明
１４：照明側レンズ
１５：光センサ
１７：演算器
１８：フォーカス機構
１９：光強度取得手段
２１：積分球
２２：分光光度計
２３：試料
２４：光
５０：試料
１００：透過型試料観察装置

Claims

　Ｚ方向において光センサ及び照明の焦点を試料内の観測点を含むＸＹ平面に合わせるフォーカス手順と、
　前記フォーカス手順を行った後、前記照明の光を前記観測点に照射したときの第１光強度と前記観測点以外に照射したときの第２光強度とを前記光センサで取得する光強度取得手順と、
　前記第１光強度に含まれる、前記観測点での単一散乱光による直接成分（Ａ）、前記観測点以外での単一散乱光による大域成分（Ｂ）、及び前記試料内での多重散乱光による大域成分（Ｃ）と、前記第２光強度に含まれる、大域成分（Ｂ）及び大域成分（Ｃ）と、を利用し、前記第１光強度から直接成分（Ａ）と大域成分（Ｂ）及び大域成分（Ｃ）とを分離する演算を行う演算手順と、
を行う試料観察方法。
　前記試料内において前記観測点を含むＸＹ平面をＺ方向に移動させて、前記フォーカス手順、前記光強度取得手順及び前記演算手順を繰り返す繰り返し手順をさらに行うことを特徴とする請求項１に記載の試料観察方法。
　前記照明が、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明であることを特徴とする請求項１又は２に記載の試料観察方法。
　前記照明が、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であることを特徴とする請求項１又は２に記載の試料観察方法。
　前記演算手順での減算は、前記第１光強度から前記第２光強度を減算して直接成分（Ａ）を計算し、前記観測点の画像を取得することを特徴とする請求項１から４のいずれかに記載の試料観察方法。
　前記演算手順での減算は、前記第１光強度から前記第２光強度を減算して直接成分（Ａ）を計算し、該直接成分（Ａ）と前記照明の波長毎の光強度とから前記観測点の吸収係数を取得することを特徴とする請求項１から４のいずれかに記載の試料観察方法。
　Ｚ方向において光センサ及び照明の焦点を試料内の観測点を含むＸＹ平面に合わせるフォーカス機構と、
　前記フォーカス機構で前記光センサと前記照明の双方の焦点を前記観測点に合わせた状態で、前記照明の光を前記観測点に照射したときの第１光強度と前記観測点以外に照射したときの第２光強度とを前記光センサで取得する光強度取得手段と、
　前記第１光強度に含まれる、前記観測点での単一散乱光による直接成分（Ａ）、前記観測点以外での単一散乱光による大域成分（Ｂ）、及び前記試料内での多重散乱光による大域成分（Ｃ）と、前記第２光強度に含まれる、大域成分（Ｂ）及び大域成分（Ｃ）と、を利用し、前記第１光強度から直接成分（Ａ）と大域成分（Ｂ）及び大域成分（Ｃ）とを分離する演算を行う演算器と、
を備える試料観察装置。
　前記試料内において前記観測点を含むＸＹ平面をＺ方向に移動させ、前記観測点を含むＸＹ平面のＺ方向の位置毎に、前記フォーカス機構に前記光センサ及び前記照明の焦点を前記観測点に合わさせ、前記光強度取得手段に前記第１光強度及び前記第２光強度を取得させ、前記演算器に前記演算をさせる制御器をさらに備えることを特徴とする請求項７に記載の試料観察装置。
　前記照明は、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明であり、
　前記光強度取得手段は、前記光センサと前記照明の焦点を維持したまま前記試料を任意に移動させる、もしくは前記フォトマスクを任意に移動させる駆動機構である
ことを特徴とする請求項７又は８に記載の試料観察装置。
　前記照明は、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であり、
　前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部である
ことを特徴とする請求項７又は８に記載の試料観察装置。
　前記演算器は、前記第１光強度から前記第２光強度を減算して直接成分（Ａ）を計算し、前記観測点の画像を取得する演算を行うことを特徴とする請求項７から１０のいずれかに記載の試料観察装置。
　前記演算器は、前記第１光強度から前記第２光強度を減算して直接成分（Ａ）を計算し、該直接成分（Ａ）と前記照明の波長毎の光強度とから前記観測点の吸収係数を取得する演算を行うことを特徴とする請求項７から１０のいずれかに記載の試料観察方法。
　請求項７から１２のいずれかに記載の試料観察装置、前記照明、前記光センサ、及び前記フォーカス機構を備える顕微鏡。