JP6762810B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6762810B2
JP6762810B2 JP2016170507A JP2016170507A JP6762810B2 JP 6762810 B2 JP6762810 B2 JP 6762810B2 JP 2016170507 A JP2016170507 A JP 2016170507A JP 2016170507 A JP2016170507 A JP 2016170507A JP 6762810 B2 JP6762810 B2 JP 6762810B2
Authority
JP
Japan
Prior art keywords
image
imaging
imaged
tomographic
depth direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016170507A
Other languages
English (en)
Other versions
JP2018036171A (ja
Inventor
石川 直樹
直樹 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2016170507A priority Critical patent/JP6762810B2/ja
Priority to EP17187262.5A priority patent/EP3291177B1/en
Priority to US15/692,406 priority patent/US10548480B2/en
Publication of JP2018036171A publication Critical patent/JP2018036171A/ja
Application granted granted Critical
Publication of JP6762810B2 publication Critical patent/JP6762810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02041Interferometers characterised by particular imaging or detection techniques
    • G01B9/02044Imaging in the frequency domain, e.g. by using a spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02083Interferometers characterised by particular signal processing and presentation
    • G01B9/02084Processing in the Fourier or frequency domain when not imaged in the frequency domain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/0209Low-coherence interferometers
    • G01B9/02091Tomographic interferometers, e.g. based on optical coherence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

この発明は、光干渉断層撮像技術を用いて被撮像物の断層画像を作成する技術に関するものである。
医学や生化学の技術分野では、容器中で培養された細胞や微生物を観察することが行われる。観察対象となる細胞等に影響を与えることなく観察を行う方法として、顕微鏡等を用いて細胞等を撮像する技術が提案されている。このような技術の1つとして、光干渉断層撮像技術(光コヒーレンストモグラフィ技術)を利用したものがある。この技術は、光源から出射される低コヒーレンス光を照明光として被撮像物に入射させ、被撮像物からの反射光(信号光)と光路長が既知である参照光との干渉光を検出することで、被撮像物からの反射光の深さ方向における強度分布を求めて断層画像化するものである。
画像の高分解能化を図るために、被撮像物に入射させる照明光のNA(Numerical Aperture;開口数)を大きくすることが考えられる。こうすることで、照明光の入射方向に直交する横方向の分解能を向上させることができる。ただしNAの大きな光学系では、光学系の焦点深度(あるいは被写界深度)が浅くなることで、深さ方向における合焦範囲が狭くなる。そのため、深さ方向においては画質の良好な撮像を行うことのできる範囲が狭くなってしまう。このような場合、深さ方向における焦点位置を異ならせて得られた複数の部分画像をつなぎ合わせて被撮像物全体の断層画像を作成することが行われる。
例えば特許文献1には、深さ方向の観察範囲の狭い複数の合焦画像をつなぎ合わせて1つの断層画像を生成する技術が記載されている。この技術では、複数の合焦画像を精度よく位置合わせして合成するために、各合焦画像を、NAの小さい光学系を使用して得た広範囲の画像との間で相関が最も高くなる位置に配置するようにしている。
国際公開第2012/128367号
ところで、コヒーレンス光を照明光として撮像を行う光断層撮像技術においては、被撮像物の微細な凹凸で反射された光の干渉に起因するランダムな斑点状のノイズが画像に現れることが知られている。例えば被撮像物が細胞やその集合体であれば半透明かつ不規則な多層散乱体として振る舞うため、各層からの反射光の干渉によるノイズが多くなってしまう。このようなノイズはスペックルノイズと呼ばれる。
上記従来技術は分解能が高く、かつ観察範囲の広い断層画像を得ることは可能であるものの、このようなスペックルノイズの影響については考慮されておらず、生成される断層画像の画像品質という点で改善の余地が残されている。
この発明は上記課題に鑑みなされたものであり、光断層撮像技術を用いて被撮像物の断層画像を作成する技術において、複数に分けて撮像された断層画像をつなぎ合わせる際にスペックルノイズの低減をも同時に実現することのできる技術を提供することを目的とする。
この発明の一の態様は、被撮像物の一の断面に対応する断層画像を作成する画像処理装置であって、上記目的を達成するため、光干渉断層撮像により、前記被撮像物に対し、照明光の入射方向に沿った深さ方向における焦点位置を互いに異ならせて、かつ前記深さ方向において撮像範囲を互いに重複させて実行される複数の撮像に対応する撮像データを取得するデータ取得手段と、前記撮像データから、前記深さ方向に平行な前記断面に対応する前記断層画像を作成する画像作成手段とを備え、前記画素の値は高輝度ほど大きくなるように定められ、前記画像作成手段は、前記被撮像物の同一位置に対して前記複数の撮像のそれぞれで取得された前記撮像データのうちの最小値を、前記断層画像において当該位置に対応する画素の値とする。
また、この発明の他の態様は、被撮像物の一の断面に対応する断層画像を作成する画像処理方法であって、上記目的を達成するため、光干渉断層撮像により、前記被撮像物に対し、照明光の入射方向に沿った深さ方向における焦点位置を互いに異ならせて、かつ前記深さ方向において撮像範囲を互いに重複させて実行される複数の撮像に対応する撮像データを取得するデータ取得工程と、前記撮像データから、前記深さ方向に平行な前記断面に対応する前記断層画像を作成する画像作成工程とを備え、前記画素の値は高輝度ほど大きくなるように定められ、前記画像作成工程では、前記被撮像物の同一位置に対して前記複数の撮像のそれぞれで取得された前記撮像データのうちの最小値を、前記断層画像において当該位置に対応する画素の値とする。
スペックルノイズは被撮像物の複数位置からの反射光同士の干渉によって生じるものである。このため、一見するとランダムなノイズであるが、被撮像物に照明光を入射させる際の入射条件、および被撮像物からの反射光を受光する際の受光条件が同じであれば再現性がある。逆に言えば、これらの条件の少なくとも一方を変更すればノイズの現れ方が異なる。
そこで本発明では、被撮像物の同一の撮像範囲が、異なる焦点位置で複数回撮像される。これにより、スペックルノイズの現れる位置は複数回の撮像において互いに相関のないものとなる。したがって、異なる撮像で得られた同一位置の画像内容を表す撮像データ間の演算によって、スペックルノイズの影響を低減することが可能となる。また、1回の撮像では被撮像物全体を合焦範囲に収めることができなくても、焦点位置の異なる複数の撮像で得られた撮像データに基づき断層画像内の各位置の画素の値を決定してゆくことで、各撮像で得られた画質の良好な部分をつなぎ合わせた断層画像を作成することができる。
上記のように、本発明によれば、光断層撮像技術を用いて被撮像物の断層画像を作成する技術において、焦点位置を異ならせて撮像された断層画像をつなぎ合わせるために、各位置の画素の値を当該位置に対応する複数の撮像で得られた撮像データ間の演算により求める。こうすることで、スペックルノイズについてもその低減を図ることができる。
本発明にかかる画像処理装置の一実施形態を示す図である。 この画像処理装置における撮像原理を説明する図である。 NAが比較的小さい光学系を用いた撮像の様子を示す図である。 NAが比較的大きい光学系を用いた撮像の様子を示す図である。 この画像処理装置の動作を示すフローチャートである。 複数の原画像を合成して1つの断層画像を作成する概念を示す図である。 各原画像における合焦領域の位置を説明する図である。 スペックルノイズ低減のための処理を説明する図である。 この実施形態における原画像の割り付けを示す図である。 本実施形態の画像処理装置で得られた画像の例を示す図である。 OCT装置の他の構成例を示す図である。
図1は本発明にかかる画像処理装置の一実施形態を示す図である。この画像処理装置1は、液体(例えば培養液)中で培養されたスフェロイド(細胞集塊)を被撮像物として断層撮像し、得られた断層画像を画像処理して、スフェロイドの立体像を作成する。なお、ここでは培養液中のスフェロイドを被撮像物として例を説明するが、被撮像物はこれに限定されない。以下の各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面を表す。また、Z軸が鉛直軸を表し、より詳しくは(−Z)方向が鉛直下向き方向を表している。
画像処理装置1は保持部10を備えている。保持部10は、板状部材の上面に液体を担持可能な窪部(ウェル)Wが多数形成されたウェルプレート(マイクロプレートとも称される)WPを、ウェルWの開口面を上向きにして略水平姿勢に保持する。ウェルプレートWPの各ウェルWには予め適宜の培養液が所定量注入されており、液中ではウェルWの底面WbにスフェロイドSpが培養されている。図1では一部のウェルWにのみスフェロイドSpが記載されているが、各ウェルWでスフェロイドSpが培養される。
保持部10により保持されたウェルプレートWPの下方に、撮像ユニット20が配置される。撮像ユニット20には、被撮像物の断層画像を非接触、非破壊(非侵襲)で撮像することが可能な光干渉断層撮像(Optical Coherence Tomography;OCT)装置が用いられる。詳しくは後述するが、OCT装置である撮像ユニット20は、被撮像物への照明光を発生する光源21と、光源21からの光を分割するビームスプリッタ22と、対物レンズ23と、参照ミラー24と、分光器25と、光検出器26とを備えている。
また、画像処理装置1はさらに、装置の動作を制御する制御ユニット30と、撮像ユニット20の可動機構を制御する駆動制御部40とを備えている。制御ユニット30は、CPU(Central Processing Unit)31、A/Dコンバータ32、信号処理部33、3D復元部34、インターフェース(IF)部35、画像メモリ36およびメモリ37を備えている。
CPU31は、所定の制御プログラムを実行することで装置全体の動作を司り、CPU31が実行する制御プログラムや処理中に生成したデータはメモリ37に保存される。A/Dコンバータ32は、撮像ユニット20の光検出器26から受光光量に応じて出力される信号をデジタルデータに変換する。信号処理部33は、A/Dコンバータ32から出力されるデジタルデータに基づき後述する信号処理を行って、被撮像物の断層画像を作成する。3D復元部34は、撮像された複数の断層画像の画像データに基づいて、撮像された細胞集塊の立体像(3D像)を作成する機能を有する。信号処理部33により作成された断層画像の画像データおよび3D復元部34により作成された立体像の画像データは、画像メモリ36により適宜記憶保存される。
インターフェース部35は画像処理装置1と外部との通信を担う。具体的には、インターフェース部35は、外部機器と通信を行うための通信機能と、ユーザからの操作入力を受け付け、また各種の情報をユーザに報知するためのユーザインターフェース機能とを有する。この目的のために、インターフェース部35には、装置の機能選択や動作条件設定などに関する操作入力を受け付け可能な例えばキーボード、マウス、タッチパネルなどの入力デバイス351と、信号処理部33により作成された断層画像や3D復元部34により作成された立体像など各種の処理結果を表示する例えば液晶ディスプレイからなる表示部352とが接続されている。
また、CPU31は駆動制御部40に制御指令を与え、これに応じて駆動制御部40は撮像ユニット20の可動機構に所定の動作を行わせる。撮像ユニット20の可動機構としては、撮像ユニット20の全体を一体的にY方向に沿って移動させる走査移動機構28と、対物レンズ23をZ方向に移動させてその焦点位置をZ方向に調整する焦点調整機構29とが含まれる。次に説明するように、駆動制御部40により実行される撮像ユニット20の走査移動と、光検出器26による受光光量の検出との組み合わせにより、被撮像物であるスフェロイド(細胞集塊)の断層画像が取得される。
図2はこの画像処理装置における撮像原理を説明する図である。より具体的には、図2(a)は撮像ユニット20における光路を示す図であり、図2(b)はスフェロイドの断層撮像の様子を模式的に示す図である。前記したように、撮像ユニット20は光干渉断層撮像(OCT)装置として機能するものである。
撮像ユニット20では、例えば発光ダイオードまたはスーパールミネッセントダイオード(SLD)などの発光素子を有する光源21から、広帯域の波長成分を含む低コヒーレンス光ビームL1が出射される。光ビームL1はビームスプリッタ22に入射して分岐し、破線矢印で示すように一部の光L2がウェルWに向かい、一点鎖線矢印で示すように一部の光L3が参照ミラー24に向かう。
ウェルWに向かった光L2は、対物レンズ23を経てウェルWに入射する。より具体的には、ビームスプリッタ22から出射される光L2は、対物レンズ23を介してウェル底面Wbに入射する。対物レンズ23は、ビームスプリッタ22からウェルWに向かう光L2をウェルW内の被撮像物(この場合にはスフェロイドSp)に収束させる機能と、被撮像物から出射される反射光を集光してビームスプリッタ22に向かわせる機能とを有する。
対物レンズ23は、焦点調整機構29によりZ方向に移動可能となっている。これにより、被撮像物に対する対物レンズ23の焦点位置がZ方向に変更可能となっている。対物レンズ23の光軸は鉛直方向と平行であり、したがって平面状のウェル底面Wbに垂直である。また、対物レンズ23への照明光の入射方向は光軸と平行であり、その光中心が光軸と一致するように、対物レンズ23の配置が定められている。なお、単一の対物レンズ23に代えて、複数の光学素子を含む光学系が用いられてもよい。
スフェロイドSpが光L2に対する透過性を有するものでなければ、ウェル底面Wbを介して入射した光L2はスフェロイドSpの表面で反射される。一方、スフェロイドSpが光L2に対してある程度の透過性を有するものである場合、光L2はスフェロイドSp内まで進入してその内部の構造物により反射される。光L2として例えば近赤外線を用いることで、入射光をスフェロイドSp内部まで到達させることが可能である。スフェロイドSpからの反射光は散乱光として種々の方向に放射される。そのうち対物レンズ23の集光範囲内に放射された光L4が、対物レンズ23で収束されてビームスプリッタ22へ送られる。
スフェロイドSpの表面もしくは内部の反射面で反射された反射光L4と、参照ミラー24で反射された参照光L5とは、ビームスプリッタ22を介して光検出器26に入射する。このとき、反射光L4と参照光L5との間で位相差に起因する干渉が生じるが、干渉光の分光スペクトルは反射面の深さにより異なる。つまり、干渉光の分光スペクトルは被撮像物の深さ方向の情報を有している。したがって、干渉光を波長ごとに分光して光量を検出し、検出された干渉信号をフーリエ変換することにより、被撮像物の深さ方向における反射光強度分布を求めることができる。このような原理に基づくOCT撮像技術は、フーリエドメイン(Fourier Domain)OCT(FD−OCT)と称される。
この実施形態の撮像ユニット20は、ビームスプリッタ22から光検出器26に至る干渉光の光路上に分光器25が設けられている。分光器25としては、例えばプリズムを利用したもの、回折格子を利用したもの等を用いることができる。干渉光は分光器25により波長成分ごとに分光されて光検出器26に受光される。
光検出器26が検出した干渉光に応じて光検出器26から出力される干渉信号をフーリエ変換することで、スフェロイドSpのうち、光ビームL2の入射位置における深さ方向、つまりZ方向の反射光強度分布が求められる。ウェルWに入射する光ビームL2をX方向に走査することで、XZ平面と平行な平面における反射光強度分布が求められ、その結果から当該平面を断面とするスフェロイドSpの断層画像を作成することができる。以下、本明細書では、X方向へのビーム走査によってXZ平面と平行な断面における1つの断層画像Itを取得する一連の動作を、1回の撮像と称することとする。
図2(a)に点線矢印で示すように、ウェルWに対する撮像ユニット20の相対位置をY方向に多段階に変更しながら、その都度断層画像の撮像を行うことで、図2(b)に示すように、スフェロイドSpをXZ平面と平行な断面で断層撮像した多数の断層画像Itを得ることができる。Y方向の走査ピッチを小さくすれば、スフェロイドSpの立体構造を把握するのに十分な分解能の画像データを得ることができる。撮像ユニット20における上記各部の走査移動は、CPU31から制御指令を受けた駆動制御部40が走査移動機構28を作動させることによって実現される。
なお、上記では、撮像ユニット20がビームスプリッタ22を用いて被撮像物からの反射光と参照ミラー24からの参照光との干渉を生じさせるものとして説明している。しかしながら、OCT装置としてはこれ以外にも光ファイバカプラを用いて反射光と参照光との干渉を生じさせるものがあり、後述するように、本実施形態でもこのようなタイプのOCT装置を適用することが可能である。
次に、この画像処理装置1による断層画像の撮像動作についてより詳しく説明する。上記したように、FD−OCT撮像装置では、干渉光の分光スペクトルをフーリエ変換することで、照明光の入射方向に沿った深さ方向(Z方向)の反射光強度分布を求めることが可能である。そして、照明光を走査して光の入射位置をX方向に変化させることにより、横方向(X方向)の異なる位置での反射光強度分布を求めることができる。これらの情報から、XZ平面を断面とする被撮像物の断層画像が得られる。
ここで、断層画像の画質をより向上させる方法を検討する。まず横方向(X方向)については、同方向における分解能を高めるために、対物レンズ23等の光学系の開口数(NA)を大きくすることが考えられる。しかしながら、次に説明するように、光学系のNAを大きくすると、深さ方向(Z方向)において良好な画像品質が得られる範囲が狭くなってしまうという問題がある。
図3はNAが比較的小さい光学系を用いた撮像の様子を示す図である。また、図4はNAが比較的大きい光学系を用いた撮像の様子を示す図である。より具体的には、図3(a)はNAが比較的小さい対物レンズ23を用いた場合の合焦範囲を示し、図3(b)はそのような対物レンズ23を用いた場合に得られる断層画像の例を示す図である。一方、図4(a)はNAが比較的大きい対物レンズ23を用いた場合の合焦範囲を示し、図4(b)はそのような対物レンズ23を用いた場合に得られる断層画像の例を示す図である。
図3(a)に示すように、NAが比較的小さい対物レンズ23が用いられる場合、比較的深い被写界深度が得られるため、深さ方向(Z方向)においては、焦点位置Zfを中心として合焦状態と見なせる範囲(合焦範囲)Rfが広い。例えば図3(b)に示すように、深さ方向において被撮像物であるスフェロイドSpの全体を合焦範囲に収めて、XZ平面に平行な1つの断面におけるスフェロイドSpの断層画像Itを1回の撮像によって取得することができる。
一方、図4(a)に示すように、NAがより大きい対物レンズ23が用いられる場合、被写界深度がより浅くなるため、深さ方向における合焦範囲Rfは上記の場合より狭くなる。このため、図4(b)に実線で示すように、1回の撮像で得られる断層画像Itのうち、合焦状態で撮像され良好な画像品質が期待できる範囲、つまり深さ方向において焦点位置Zfを中心とし被写界深度内に含まれる領域Raの範囲は、より限定されたものとなる。したがって、スフェロイドSpの1つの断面全体について画像品質の良好な断層画像を得るためには、合焦範囲RfをZ方向に異ならせた複数回の撮像を行い、それぞれの画像から画質の良好な領域を切り出して合成する必要がある。
なお、OCT撮像においては、被撮像物の深さ方向の位置は参照光L5の光路長で決まる参照基準面からの距離として特定される。そのため、参照光L5の光路長に変化がなければ、対物レンズ23の焦点位置ZfがZ方向に変化したとしても、断層画像Itにおいては合焦範囲RfがZ方向に移動するだけである。すなわち、各撮像で取得される断層画像Itが被撮像物をカバーする撮像範囲は概ね同じである。
この実施形態は、焦点調整機構29により対物レンズ23の焦点位置をZ方向に変更可能となっている。対物レンズ23の焦点位置をZ方向に異ならせて複数回の撮像を行うことにより、Z方向の合焦位置Zfを互いに異ならせた複数の断層画像を取得することが可能である。そして、それらの断層画像を部分的に切り出し合成することで、XZ平面に平行な一の断面についての断層画像を作成することができる。以下では、このための処理について説明する。
図5はこの画像処理装置の動作を示すフローチャートである。この動作は、CPU31が予めメモリ37に書き込まれた制御プログラムを実行して装置各部を制御し各部に所定の動作を行わせることにより実現される。最初に、撮像すべきスフェロイドSpが培養液とともに担持されたウェルプレートWPが、ユーザまたは搬送ロボットにより保持部10にセットされる(ステップS101)。CPU31は、撮像ユニット20および駆動制御部40を制御して、被撮像物であるウェルW内のスフェロイドSpの断層撮像を行う。
より詳しくは、焦点調整機構29により、対物レンズ23の深さ方向における焦点位置(焦点深さ)を予め定められた初期位置に設定し(ステップS102)、この状態で光ビームL2を走査することでウェルWに対する入射位置をX方向に変化させ、各位置における干渉光を光検出器26により検出して、XZ平面に平行な断面における干渉信号を取得する(ステップS103)。この動作が1回の撮像に該当する。干渉信号はデジタルデータ化されてメモリ37に記憶保存される。
次に、予め定められた全ての焦点深さについて撮像が終了するまで(ステップS104)、焦点調整機構29により対物レンズ23の焦点深さを変更設定し(ステップS105)、その都度ステップS103の撮像を実行する。ステップごとの焦点深さの変化量については後述する。1回の撮像で得られた干渉信号のデータは、断層画像のうちの一部の合焦範囲について詳細な画像情報を有しており、合焦範囲を異ならせた複数の撮像により得られるデータが、全体として1つの断層画像を表すものとなる。
上記したステップS102〜S105の処理が、走査移動機構28によりウェルWに対する撮像ユニット20の相対位置をY方向に所定ピッチで変更しながら(ステップS106)、ウェルW全体に対する撮像が終了するまで繰り返される(ステップS107)。これにより、焦点位置が互いに異なる複数枚の断層画像に対応する干渉信号が取得される。
こうしてウェルWの各位置において取得された干渉信号に基づき、信号処理部33がそれぞれの位置における深さ方向の反射光強度分布を算出する(ステップS108)。具体的には、干渉信号から得られる干渉光の分光スペクトル分布をフーリエ変換することにより、反射光強度分布が求められる。そして、こうして求められた反射光強度分布から、1つの断層画像を表す断層画像データが作成される。この演算は、複数の撮像それぞれで得られた個々の断層画像について個別に実行される。こうして得られた断層画像は、一部のみが合焦状態で撮像された画像であり、後に合成により作成される最終的な断層画像の素材となるものである。最終的な断層画像と区別するために、以下では各撮像で得られる個々の断層画像を「原画像」と称し、原画像を表す断層画像データを「原画像データ」と称する。
次に、信号処理部33は、複数の原画像を合成して、被撮像物の一の断面を包括的に表す断層画像を作成する(ステップS109、S110)。具体的には、最終的な断層画像を構成する各画素の画素値が、各撮像により得られた複数の原画像のそれぞれにおいて当該画素の位置に対応する原画像データ間の演算によって決定される(ステップS109)。演算方法については後述する。そして、こうして画素値の決定された画素を画像平面上の対応する位置に配置することにより、複数の原画像から合成された断層画像に対応する断層画像データが得られる(ステップS110)。Y方向の各位置において同様に断層画像データが作成され、作成された断層画像データは画像メモリ36に記憶保存される。
こうして得られた断層画像データに基づき、3D復元部34が、スフェロイドSpの立体像に対応する3D画像データを作成する(ステップS111)。具体的には例えば、Y方向に離散的に取得された断層画像データをY方向に補間することにより、3D画像データを求めることが可能である。断層画像データから3D画像データを作成する技術は既に実用化されているので詳しい説明を省略する。
図6は複数の原画像を合成して1つの断層画像を作成する概念を示す図である。図6に示すように、被撮像物であるスフェロイドに対応する像Ispの全体を包含する1つの断層画像Iaは、1回の撮像ごとに得られる複数の断層画像(原画像)を合成することによって得られる。ここでは、4回の撮像で得られる4枚の原画像I1〜I4から断層画像Iaが作成されるものとする。
個々の原画像I1〜I4においては、焦点位置の差異に起因して、斜線を付して示す合焦範囲Rf内の領域(合焦領域)Ra1〜Ra4の位置がZ方向に互いに相違する。しかしながら、前述したように、参照光L5の光路長が同じであれば深さ方向の撮像範囲は互いに同じであり、各原画像内に占めるスフェロイドの像Ispの位置も概ね同じである。ただし、対物レンズ23の合焦範囲に含まれて良好な画像品質が期待される領域はそれぞれ一部ずつであり、それが合焦領域Ra1〜Ra4である。
合成される断層画像Iaの画像品質を良好なものとするために、各原画像I1〜I4からそれぞれの合焦領域Ra1〜Ra4のみを切り出してつなぎ合わせることが好ましい。断層画像Iaを構成する任意の画素に対応する点Pは各原画像I1〜I4のそれぞれに存在するが、上記目的のために、任意の点Pが少なくとも1つの原画像において当該原画像の合焦領域内にあることが望ましい。この図の例では、点Pは原画像I2の合焦領域Ra2内に位置している。
図7は各原画像における合焦領域の位置を説明する図である。ここでは1つの原画像I1と、これと撮像時の焦点位置が最も近い他の原画像I2との間での重なりを考える。図において符号Zf1、Zf2はそれぞれ原画像I1、I2の深さ方向における焦点位置を示している。撮像ごとの焦点深さの変化量を適宜に設定することで、図7(a)〜図7(c)に示すような種々の位置関係を実現することができる。
図7(a)に示す例では、原画像I1の合焦領域Ra1の(+Z)側の端部位置と、原画像I2の合焦領域Ra2の(−Z)側の端部位置とがほぼ同じとなっている。このような関係では、それぞれの合焦領域Ra1,Ra2の全体を切り出してつなぎ合わせることで、画像全体において合焦状態の合成画像を作成することが可能である。このような撮像方法によれば、各原画像I1、I2の合焦領域Ra1,Ra2の全体を有効に利用して合成画像を作成することができる。
一方、図7(b)に示す例では、原画像I1の合焦領域Ra1の(+Z)側の端部位置が、原画像I2の合焦領域Ra2の(−Z)側の端部位置よりも(+Z)側にある。このため、互いの合焦領域Ra1,Ra2が部分的に重複する。このような撮像方法によっても、画像全体において合焦状態の合成画像を作成することが可能である。ただし、合焦領域の重複があり、同じ面積範囲をカバーする合成画像を得るのに図7(a)のケースより多くの撮像を必要とするため、撮像に要する時間はより長くなる。
これに対して、図7(c)に示す例では、原画像I1の合焦領域Ra1の(+Z)側の端部位置が、原画像I2の合焦領域Ra2の(−Z)側の端部位置よりも(−Z)側にある。つまり、それぞれの合焦領域Ra1,Ra2の間にZ方向のギャップがある。このような撮像方法では、このギャップ部分を合焦領域に含む他の原画像がなければ、合成画像の全体を合焦状態のものとすることはできない。しかしながら、焦点位置から離れるにつれて画像品質が低下するものの、合焦領域Ra1,Ra2の端部で極端な画質変化があるわけではないので、ギャップが小さければある程度の画像品質は維持される。このとき合成画像を得るために必要な原画像の数は最も少なくてよく、撮像回数を少なくすることで処理時間の短縮を図ることが可能である。
このように、複数の原画像の間での合焦領域の重なり具合、つまり撮像時の焦点深さの変化量については、求める画像品質や処理時間の長さなど、目的に応じて適宜に設定することができる。以下では、特に断りのない限り、画像品質と撮像回数の少なさとの均衡が取れた図7(a)に示したケースで撮像がなされるものとする。もちろん、図7(b)および図7(c)に示す撮像方法が適用された場合でも、以下の説明は同様に適用可能である。
上記したように、焦点深さを異ならせて撮像された複数の原画像I1〜I4からそれぞれ一部ずつを切り出して合成することにより、被撮像物全体をカバーする断層画像Iaを作成することができる。最も単純には、各原画像の合焦領域Ra1〜Ra4を切り出して合成することが考えられる。しかしながら、コヒーレンス光を照明光として用いるOCT撮像技術では、スペックルノイズと呼ばれるランダムなノイズが画像に現れることがある。
特に培養液中の細胞やスフェロイドなどを被撮像物とする場合、これらの細胞等が不規則な多層散乱体と見なせることから、合焦領域Ra1〜Ra4にも多くのスペックルノイズが現れる。したがって、単に原画像から合焦領域Ra1〜Ra4を切り出してつなぎ合わせるだけでは、スペックルノイズに起因する画質劣化に対応することができない。
この問題に対応するため、この実施形態では、複数の原画像間で互いに同一位置に対応する原画像データ間の演算により、合成後の断層画像Iaにおいて当該位置を占める画素の画素値が決定される。焦点深さの違いに起因して、スペックルノイズの現れ方は原画像ごとに異なる。このことを利用して、原画像データ間の適宜の演算により合成後の断層画像Iaにおけるスペックルノイズの影響を低減することが可能となる。
図8はスペックルノイズ低減のための処理を説明する図である。ここでは2つの原画像I1、I2の間での演算について説明するが、他の原画像間の処理、あるいは3以上の原画像間の処理も考え方は同じである。また、ここではスフェロイドの像Ispの内部に属する点Pについての処理を説明するが、スフェロイド外の背景部分についても同様の処理が可能である。
点Pに対応する原画像I2内の点P2は合焦領域Ra2内にあるが、撮像時の焦点位置の異なる原画像I1において対応する点P1は、合焦領域Ra1からは少し外れている。スペックルノイズの影響を考慮しない場合、合焦領域内にありより鮮明に撮像された点P2の画像情報のみを用いて、対応する点Pの画素値が決定されることになる。ただし、点P2の画像情報はスペックルノイズを含む可能性がある。
一方、点Pに対応する原画像I1内の点P1の画像情報に現れるスペックルノイズの影響は、点P2の画像情報に現れるものとは直接の相関がない。そのため、点P1の原画像データと点P2の原画像データとの間で適宜の演算処理を行って点Pの画素値を決定するようにすれば、点Pの画素値に現れるスペックルノイズの影響を低減することができる。
点P1が合焦領域Ra1から外れている場合、画像のコントラストや鮮明さという点では幾分低下することになるが、スペックルノイズの影響が低減されることで、視認される画像品質は大きく向上する。点P1が原画像I1の合焦領域Ra1から大きく離れていなければ、画質の劣化は小さい。また図7(b)に示したように、2つの原画像において合焦領域が重複している場合であれば、点P1が原画像I1の合焦領域Ra1に含まれることで鮮明さの低下を回避することができる。
ここでは2つの原画像間で対応する点の画像情報に基づく演算処理を行っているが、3以上の原画像間で同様の処理が行われてもよい。ただし、撮像時の焦点位置が大きく相違する原画像間では、一方の原画像において合焦領域内にある点は、他方の原画像では合焦領域から大きく外れている場合があり得る。このような原画像の画像情報を演算に含めると画像の鮮明さを大きく低下させることがあるため、焦点位置の差が比較的小さい幾つかの原画像の画像情報のみが演算に用いられるようにしてもよい。例えば、当該点Pと焦点位置との距離が所定値より小さい原画像、あるいは、当該点Pと焦点位置との距離の小さい順に選出された所定数の原画像が、このようなケースに該当する。
本願発明者の知見によれば、スペックルノイズの低減に効果的な原画像間での演算方法としては例えば次のものがある。ここでは、求めようとする断層画像Ia内の点Pを表す画素値を符号V、点Pに対応する原画像I1内の点P1の画像情報が表す画素値を符号V1、点Pに対応する原画像I2内の点P2の画像情報が表す画素値を符号V2によりそれぞれ表す。ここで、画素値Va、V1、V2は、値が大きいほど高輝度であることを表すものとする。
第1の演算方法は、各原画像間で同一の位置に対応する点の画素値の最小値を取る方法である。すなわち、上記例では画素値Vは画素値V1、V2のうち小さい方の値とされる。液体中の細胞やスフェロイド等を撮像した断層画像では、液体に対応する低輝度の背景中に、細胞等に対応する高輝度の領域が現れる。各点の輝度を本来とは異なる輝度に変化させてしまうスペックルノイズのうち、このような画像で特に目立つのは、低輝度の領域に高輝度の輝点が現れるケースである。複数の原画像間で同一位置に対応する画素の最小値を選出する処理を行うことで、このような目立ちやすいノイズを効果的に低減することができる。
第2の演算方法は、各原画像間で同一位置に対応する点の画素値の平均値を取る方法である。被撮像物の構造に起因する像は、複数の原画像のそれぞれで同じように現れると考えられる。これに対し、スペックルノイズに起因して現れるランダムな輝度の変動は原画像ごとに異なる。したがって、複数の原画像で互いに対応する位置の画素値を平均することで、被撮像物の構造を表す像を残しつつ、ノイズの影響を低減することができる。この場合、演算に加えられる原画像が多いほど高いノイズ除去効果が得られる。
第3の演算方法は、各原画像間で同一位置に対応する点の画素値を単純平均するのに代えて、当該位置と焦点位置との距離に応じた加重平均を行う方法である。上記した第2の演算方法では、多くの原画像の画像情報を算入することでスペックルノイズの低減効果を向上させることができるが、当該位置から焦点位置が大きく外れた原画像の画像情報を加えることで画像の鮮明さが低下するという問題が残る。そこで、当該位置と焦点位置が比較的近い原画像については画像情報に大きな重みを与え、焦点位置が遠い原画像ほど重みが小さくなるようにして加重平均を行えば、ノイズ低減効果と画像の鮮明さとを両立させることが可能となる。
上記説明では、各演算方法の原理を説明するために画素値V1,V2の差の大きさを考慮に入れていない。しかしながら、両者の差が小さければノイズの影響は小さく、また演算による改善効果も小さいと考えられる。このことから、画像の鮮明さを維持するために、合焦領域にある点P2の画素値V2をそのまま点Pの画素値Vとするようにしてもよい。具体的には、画素値V1,V2の差の絶対値が所定の閾値より小さいときには、上記演算によらず画素値V2を画素値Vとする、との処理によりこれを実現することが可能である。
また、複数の演算方法を装置に実装しておき、ノイズの現れ方や目的等に応じてユーザが演算方法を選択することができるような機能を設けてもよい。例えば、異なる演算方法で合成処理された断層画像を表示部352に表示し、入力デバイス351を介したユーザの選択入力を受け付けるようにすることができる。
図9はこの実施形態における原画像の割り付けを示す図である。まず1つの原画像In(n=1,2,…)について、図9(a)に示すように各部の名称を定義する。すなわち、原画像Inが撮像されたときの対物レンズ23の焦点深さ(Z方向の焦点位置)を符号Zfnにより表す。焦点位置Zfnを中心として被写界深度内に含まれる合焦領域を符号Ranで表し、そのZ方向における長さを符号ΔZにより表す。合焦領域Ranの内部では、合焦状態での鮮明な断層画像が得られる。合焦領域の広がりΔZは対物レンズ23の被写界深度によって決まる値であり、焦点位置に依存しない。したがって焦点位置の異なる複数の原画像に対し値ΔZは一定である。このため添え字nを付していない。
ここで、焦点深さZfnを中心とする広がり2ΔZの範囲を、有効領域Renと定義する。焦点深さZfnからの距離が制限された有効領域Renの内部では、一定以上の画像品質が期待される。すなわち、有効領域Renのうち合焦領域Ranに該当する領域では、合焦状態での鮮明な画像が得られる。また有効領域Renのうち合焦領域Ranよりも外側の領域では、画質は合焦領域Ranよりは劣るが、焦点位置からの距離がより大きい領域よりも良好である。
焦点深さZfn、合焦領域Ranおよび有効領域Renの位置および広がりはX方向において一様であるため、図9(a)右に示すように、原画像Inを一次元のスケールによって表すこととする。
図9(b)は、断層画像Iaを合成により作成するための原画像の割り付けを、上記スケールを用いて示した図である。この実施形態では、
(A)作成される断層画像Iaは4枚の原画像I1〜I4から合成される、
(B)各原画像I1〜I4は、合焦領域が重複しないように撮像される、
(C)断層画像Ia内の任意の点Paは、いずれかの原画像の合焦領域と、他のいずれかの原画像の合焦領域外の有効領域とにそれぞれ含まれる、
(D)点Paの画素値は、当該点を合焦領域に含む1つの原画像における当該点の画素値と、当該点を有効領域に含む1つの原画像における当該点の画素値とに基づき求める(有効領域外の画素値を使用しない)、
との条件を前提として、これらの条件が満たされるような原画像の割り付けがなされている。なお、条件(B)、(C)、(D)は互いに独立したものではなく、条件(D)の演算を実現するための撮像条件として条件(B)、(C)が規定される。
図9(b)に示されるように、断層画像Iaは、(−Z)側から(+Z)側に向けたZ方向に沿って、
(1)原画像I1の合焦領域Ra1と、原画像I2の有効領域Re2とから画素値が決定される領域R1、
(2)原画像I2の合焦領域Ra2と、原画像I1の有効領域Re1とから画素値が決定される領域R2、
(3)原画像I2の合焦領域Ra2と、原画像I3の有効領域Re3とから画素値が決定される領域R3、
(4)原画像I3の合焦領域Ra3と、原画像I2の有効領域Re2とから画素値が決定される領域R4、
(5)原画像I3の合焦領域Ra3と、原画像I4の有効領域Re4とから画素値が決定される領域R5、
(6)原画像I4の合焦領域Ra4と、原画像I3の有効領域Re3とにより画素値が決定される領域R6、
を順次つなぎ合わせることによって作成される。
これを可能とするために、この実施形態では、撮像ごとの焦点位置の変化量は、対物レンズ23の被写界深度に対応する距離ΔZに設定される。そして、断層画像IaのZ方向のサイズは、焦点位置が最も(−Z)側にある原画像I1の焦点位置Zf1と、焦点位置が最も(+Z)側にある原画像I4の焦点位置Zf4との間の距離により決まる。したがって、よりサイズの大きい断層画像Iaを得るためには、原画像の数を増加させることが必要となる。また、各原画像のZ方向における撮像範囲は合成される断層画像IaのZ方向の広がりより広範囲であることが望ましい。
なお、これらは上記条件(A)〜(D)と、「合焦領域の範囲ΔZの2倍の範囲を有効領域とする」という定義とから生じる制約であって、設定される条件が変われば、原画像の必要数や撮像ごとの焦点位置の変化量も上記とは異なったものとなる。例えば図7(b)に示すように原画像間で合焦領域を重複させる場合には、撮像ごとの焦点位置の変化量はより小さく、したがって必要な原画像の数はより多くなる。逆に、図7(c)に示すように原画像間で合焦領域にギャップを設ける場合には、焦点位置の変化量をより大きくして、必要な原画像の数をより少なくすることができる。これらは必要とされる画像品質のレベルや許容される処理時間に応じて適宜設定可能である。
上記のような演算による断層画像Iaの作成方法によれば、1つの原画像内の合焦領域に含まれる点の画素値と、当該点を有効領域内に含む原画像の同一位置の点の画素値とにより、断層画像Iaにおいて当該点の位置にある画素の画素値が決定される。合焦状態あるいはそれに近い状態で撮像された原画像から抽出された画素値が用いられることにより、焦点位置から遠い画素の情報が用いられることに起因する画像の鮮明さの低下を抑制することができる。そして、焦点位置を異ならせて撮像された原画像間ではスペックルノイズの現れ方が異なるため、異なる原画像から抽出され互いに同一点に相当する原画像データを用いた演算を行うことで、合成された画像Iaにおけるスペックルノイズの影響を低減することができる。
このような処理を行うことにより、結果的には、深さ方向において合焦範囲が異なる複数の原画像からそれぞれの合焦範囲およびその近傍範囲が切り出されてつなぎ合わされることとなる。これにより、深さ方向において画像全体が合焦状態に近い状態で撮像された場合と同様の鮮明さを得ることができる。このように被写界深度の浅い光学系を用いても深さ方向(Z方向)の広い範囲を撮像することができるため、NAの大きい光学系を用いることで、横方向(X方向)の分解能を向上させることが可能である。結果として、この実施形態の画像処理装置1は、横方向および深さ方向において分解能が高く画像品質の良好な断層画像を得ることができる。
図10は本実施形態の画像処理装置で得られた画像の例を示す図である。図10(a)および図10(b)は被撮像物の同一位置を焦点位置Zfを異ならせて撮像した2つの原画像の例を示し、図10(c)はそれらから合成された断層画像の例を示す。細胞が有する構造物に比べてサイズの小さいスペックルノイズによる輝点を明らかにするために、画像は大きく拡大されており、被撮像物の構造は明瞭には現れていない。
図10(a)と図10(b)とをそれぞれの有効領域Re内で対比すると、実線で囲まれた部分の像は両画像でほぼ同一位置に現れており、被撮像物の構造に起因するものと推定される。一方、例えば破線で囲まれた部分のように、双方の画像での相関性の低い像が現れるケースがあり、これはスペックルノイズに起因して現れる輝点と推定される。
図10(c)はこれらの原画像を合成した結果の例であり、演算処理としては2つの原画像から抽出される同一位置の画素値の最小値を選出する処理を採用したものである。2つの原画像の有効領域Re同士が重なる重複領域では、2つの原画像に共通して現れる像はほぼそのまま維持される一方、相関性のない像の輝度が大きく減衰している。このことから、合成処理によりスペックルノイズの影響が低減されていることがわかる。
なお、上記実施形態の撮像ユニット20は、図2(a)に示すように、ビームスプリッタ22を用いて信号光L4と参照光L5とを合成し干渉を生じさせるものである。一方、OCT撮像装置としては、このような構成以外に、光ファイバカプラを用いて干渉を生じさせるものが知られている。以下に説明するように、このような構成の装置においても、本実施形態と同様の処理を行うことでスペックルノイズの低減を図ることが可能である。
図11はOCT装置の他の構成例を示す図である。なお、理解を容易にするために、以下の説明では他の実施形態の構成と同一のまたは相当する構成に同一符号を付すものとする。その構造および機能は、特に説明のない限り上記実施形態のものと基本的に同じであり、詳しい説明は省略する。
図11(a)に示す例では、撮像ユニット20aは、ビームスプリッタ22に代えて光ファイバカプラ210を備えている。光ファイバカプラによる干渉光を検出するOCT撮像原理については公知であるので詳しい説明を省略する。
光ファイバカプラ210を構成する光ファイバの1つ211は光源21に接続されており、光源21から出射される低コヒーレンス光は、光ファイバカプラ210により2つの光ファイバ212,214への光に分岐される。光ファイバ212は物体系光路を構成する。より具体的には、光ファイバ212の端部から出射される光はコリメータレンズ213を介して物体光学系200に入射する。被撮像物からの反射光(信号光)は対物レンズ23、コリメータレンズ213を介して光ファイバ212に入射する。
他の光ファイバ214は参照系光路を構成する。より具体的には、光ファイバ214の端部から出射される光はコリメータレンズ215を介して参照ミラー24に入射する。参照ミラー24からの反射光(参照光)はコリメータレンズ215を介して光ファイバ214に入射する。光ファイバ212を伝搬する信号光と光ファイバ214を伝搬する参照光とが光ファイバカプラ210において干渉し、干渉光が光ファイバ216および分光器25を介して光検出器26に入射する。光検出器26により受光された干渉光から被撮像物における反射光の強度分布が求められることは上記実施形態と同様である。
図11(b)に示す例でも、撮像ユニット20bに光ファイバカプラ210が設けられる。ただし光ファイバ214は使用されず、光ファイバ212から出射される光の光路に対してコリメータレンズ213およびビームスプリッタ217が設けられる。そして、前述の実施形態と同様に、ビームスプリッタ217により分岐される光路にそれぞれ対物レンズ23、参照ミラー24が配置される。このような構成ではビームスプリッタ217により信号光と参照光とが合成され、それにより生じた干渉光が光ファイバ212,216を通って光検出器26へ導かれる。
これらの構成によっても、対物レンズ23がZ方向に移動してその焦点位置を変化させつつ、その都度撮像が行われることにより、上記実施形態と同様の断層画像を作成することが可能である。コリメート光が対物レンズ23に入射するので、対物レンズ23の位置変化量がそのまま焦点位置の変化量となる。
以上説明したように、この実施形態の画像処理装置1においては、撮像ユニット20が本発明の「データ取得手段」として機能しており、そのうち光源21、ビームスプリッタ22、対物レンズ23、参照ミラー24、分光器25、光検出器26等が一体として本発明の「撮像部」を構成している。また、焦点調整機構29が本発明の「焦点調整部」として機能している。また、制御ユニット30のうちCPU31、信号処理部33等が本発明の「画像作成手段」として機能している。
また、上記実施形態では、図5のステップS102〜S107が本発明の「データ取得工程」に相当する一方、ステップS108〜S110が本発明の「画像作成工程」に相当している。また、上記実施形態では、干渉信号の分光スペクトルをフーリエ変換することで得られる原画像I1〜I4それぞれを表す原画像データが、本発明の「撮像データ」に相当している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態は、広範囲の波長成分を含む照明光を用いて波長ごとの干渉の強さから深さ方向の反射光強度分布を求める、いわゆるフーリエドメインOCT撮像装置である。しかしながら、本発明は、これ以外にも例えばタイムドメイン(Time Domain)OCT撮像装置のように、OCT撮像原理を用いて断層撮像を行う各種の撮像装置に対して適用可能である。
タイムドメインOCT撮像装置は、参照ミラーを動かして参照光の光路長を変化させる機能を有しており、参照ミラーの移動により被撮像物を深さ方向に走査して撮像を行う。このため、焦点深さを変えて原画像の撮像を行う際に、被撮像部に対する参照基準面の位置を焦点位置に連動させることが可能である。このことを利用して、例えば、深さ方向において焦点位置の近傍範囲のみを走査して撮像を行うようにすることもできる。これにより、最終的な断層画像に使用されない部分の撮像を省略することが可能となる。ただし原画像を合成する際に、参照基準面の変化分を加味した位置合わせが必要である。
また、上記実施形態では、干渉信号の分光スペクトルをフーリエ変換した原画像の原画像データを本発明の「撮像データ」として、合成される断層画像の各画素の画素値が原画像データに基づき決定される。これに代えて、フーリエ変換前の分光スペクトルデータの段階で、原画像間の合成を行うことも可能である。すなわち、FD−OCT撮像で得られる分光スペクトルの波長軸は深さ方向の位置を表している。そのため、分光スペクトルにおける一の波長が被撮像物のどの位置に対応するかを特定することが可能である。また、各分光スペクトルにおいてどの位置が焦点位置に対応するかもわかる。
したがって、複数の撮像で得られた分光スペクトルの間でも、被撮像物の同一位置に対応する信号光の強度を比較することが可能であり、それらの間の演算によって、「合成された」分光スペクトルを求めることが可能である。こうして求められた分光スペクトルをフーリエ変換することにより、目的とする断層画像を作成することが可能である。この場合、分光スペクトルデータが本発明の「撮像データ」に相当するものとなる。
また、上記実施形態の演算方法では、1つの原画像の合焦領域と他の1つの有効領域との原画像データから断層画像の各画素の画素値が決定される。しかしながら、これは演算方法の単なる一例を示したものであり、前記した通り、合焦領域の重なりの程度や、何枚の原画像から断層画像を作成するか、どのような演算方法を採用するか等については任意である。
また、上記した画像処理装置1は、本発明の「データ取得手段」として機能する撮像ユニット20が撮像機能を有するものである。しかしながら、本発明は、撮像機能を有しない画像処理装置として実現することも可能である。すなわち、上記と同様の撮像を行う撮像装置で作成された画像データを受け取り、該画像データを用いて演算を行う画像処理装置として本発明を実施することが可能である。この場合、画像データを受け取るためのインターフェースが本発明の「データ取得手段」として機能することになる。
また、本発明の「画像作成手段」は、一般的なハードウェア構成を有するコンピュータ装置に上記した演算を実行させる制御プログラムを実行させることによっても実現可能である。すなわち、撮像ユニット20、駆動制御部40およびこれらの動作させるための最小限の制御機能を有する撮像装置と、上記処理内容を記述した制御プログラムを実行することで制御ユニット30として機能するパーソナルコンピュータ等との組み合わせにより画像処理装置1が構成されてもよい。したがって、このような制御プログラムの形態で本発明をユーザに提供することも可能である。
以上、具体的な実施形態を例示して説明してきたように、この発明においては、画素の値は高輝度ほど大きくなるように定められ、画像作成手段は、複数の撮像で取得された当該画素に対応する位置の撮像データの最小値を画素の値とするように構成されてもよい。このような構成によれば、細胞等の撮像において特に画質低下の原因となる、スペックルノイズに起因する輝点を除去することができる。
また、画像作成手段は、複数の撮像で取得された当該画素に対応する位置の撮像データの平均値を画素の値とするように構成されてもよい。このような構成によれば、焦点位置を変えても同じように画像に現れる被撮像物の像を維持しつつ、複数の撮像間で無相関に現れるスペックルノイズを低減することができる。
また、画像作成手段は、複数の撮像のそれぞれで取得された当該画素に対応する位置の撮像データを撮像時の焦点位置からの距離に応じて加重平均した値を画素の値とするように構成されてもよい。このような構成によれば、焦点位置に近く被撮像物を鮮明に表す画素と、焦点位置から遠く不鮮明な画素とに異なる重みを与えることで、ノイズ除去に伴う画像の鮮明さやコントラストの低下を抑制することができる。
また、本発明のデータ取得手段は、光軸が深さ方向と平行で被撮像物に照明光を収束させる対物レンズを含み、光干渉断層撮像方式で被撮像物を撮像する撮像部と、対物レンズの深さ方向の焦点位置を変化させる焦点調整部とを有する構成であってもよい。このような構成によれば、焦点調整部が対物レンズの焦点位置を変更設定し、撮像部が各焦点位置で撮像を行うことにより、合成された断層画像を作成するのに必要な撮像データを取得することができる。
また、本発明の画像処理方法において、データ取得工程では、断面内の各位置が少なくとも一の撮像において合焦状態で撮像されるように焦点位置が多段階に設定されて、その都度撮像が行われてもよい。このような構成によれば、断層画像を構成する各画素において、合焦状態で取得された撮像データを用いて演算を行うことができる。そのため、断層画像の画像品質を良好なものとすることができる。
この発明は、OCT撮像技術全般に適用することができる。特に、ウェルプレート等の容器中で培養された細胞や細胞集塊を撮像する医学・生化学・創薬の分野において好適に適用することができる。
1 画像処理装置
20,20a,20b 撮像ユニット(データ取得手段)
21 光源(撮像部)
22 ビームスプリッタ(撮像部)
23 対物レンズ(撮像部)
24 参照ミラー(撮像部)
25 分光器(撮像部)
26 光検出器(撮像部)
29 焦点調整機構(焦点調整部)
31 CPU(画像作成手段)
33 信号処理部(画像作成手段)
Sp スフェロイド(被撮像物)

Claims (4)

  1. 被撮像物の一の断面に対応する断層画像を作成する画像処理装置において、
    光干渉断層撮像により、前記被撮像物に対し、照明光の入射方向に沿った深さ方向における焦点位置を互いに異ならせて、かつ前記深さ方向において撮像範囲を互いに重複させて実行される複数の撮像に対応する撮像データを取得するデータ取得手段と、
    前記撮像データから、前記深さ方向に平行な前記断面に対応する前記断層画像を作成する画像作成手段と
    を備え、
    前記画素の値は高輝度ほど大きくなるように定められ、
    前記画像作成手段は、前記被撮像物の同一位置に対して前記複数の撮像のそれぞれで取得された前記撮像データのうちの最小値を、前記断層画像において当該位置に対応する画素の値とする画像処理装置。
  2. 前記データ取得手段は、
    光軸が前記深さ方向と平行で前記被撮像物に前記照明光を収束させる対物レンズを含み、光干渉断層撮像方式で前記被撮像物を撮像する撮像部と、
    前記対物レンズの前記深さ方向の焦点位置を変化させる焦点調整部と
    を有する請求項1に記載の画像処理装置。
  3. 被撮像物の一の断面に対応する断層画像を作成する画像処理方法において、
    光干渉断層撮像により、前記被撮像物に対し、照明光の入射方向に沿った深さ方向における焦点位置を互いに異ならせて、かつ前記深さ方向において撮像範囲を互いに重複させて実行される複数の撮像に対応する撮像データを取得するデータ取得工程と、
    前記撮像データから、前記深さ方向に平行な前記断面に対応する前記断層画像を作成する画像作成工程と
    を備え、
    前記画素の値は高輝度ほど大きくなるように定められ、
    前記画像作成工程では、前記被撮像物の同一位置に対して前記複数の撮像のそれぞれで取得された前記撮像データのうちの最小値を、前記断層画像において当該位置に対応する画素の値とする画像処理方法。
  4. 前記データ取得工程では、前記断面内の各位置が少なくとも一の撮像において合焦状態で撮像されるように前記焦点位置が多段階に設定されて、その都度撮像が行われる請求項に記載の画像処理方法。
JP2016170507A 2016-09-01 2016-09-01 画像処理装置および画像処理方法 Active JP6762810B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016170507A JP6762810B2 (ja) 2016-09-01 2016-09-01 画像処理装置および画像処理方法
EP17187262.5A EP3291177B1 (en) 2016-09-01 2017-08-22 Image processing apparatus and image processing method
US15/692,406 US10548480B2 (en) 2016-09-01 2017-08-31 Optical coherence tomographic imaging based image processing apparatus and image processing method for imaging object at a plurality of times at different focus positions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016170507A JP6762810B2 (ja) 2016-09-01 2016-09-01 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2018036171A JP2018036171A (ja) 2018-03-08
JP6762810B2 true JP6762810B2 (ja) 2020-09-30

Family

ID=59772391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016170507A Active JP6762810B2 (ja) 2016-09-01 2016-09-01 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US10548480B2 (ja)
EP (1) EP3291177B1 (ja)
JP (1) JP6762810B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731868B2 (ja) * 2017-02-17 2020-07-29 株式会社Screenホールディングス 撮像方法および撮像装置
CN109493331B (zh) * 2018-11-06 2021-09-28 中国林业科学研究院资源信息研究所 一种基于并行计算算法的两景图像重叠区域快速获取方法
CN109596535A (zh) * 2018-12-20 2019-04-09 核工业北京地质研究院 一种适用于提取三价铁离子丰度信息的光谱处理方法
CN109738371A (zh) * 2018-12-20 2019-05-10 核工业北京地质研究院 一种适用于提取二价铁离子丰度信息的光谱处理方法
JPWO2020179522A1 (ja) * 2019-03-04 2020-09-10
CN110880166A (zh) * 2019-11-20 2020-03-13 天津津航计算技术研究所 多目标光纤光谱减天光处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284748A1 (en) * 2007-02-13 2009-11-19 Paul Melman Speckle Noise Reduction in Coherent Imaging Systems
JP5448353B2 (ja) * 2007-05-02 2014-03-19 キヤノン株式会社 光干渉断層計を用いた画像形成方法、及び光干渉断層装置
US8425037B2 (en) * 2010-07-30 2013-04-23 Adventus Technologies, Inc. Intraoperative imaging system and apparatus
JP5527478B2 (ja) 2011-03-24 2014-06-18 株式会社ニコン 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム
JP6025349B2 (ja) * 2012-03-08 2016-11-16 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法および光干渉断層撮像方法
JP5696178B2 (ja) * 2013-05-29 2015-04-08 株式会社トプコン 光断層画像化装置及びその作動方法
US8939582B1 (en) * 2013-07-12 2015-01-27 Kabushiki Kaisha Topcon Optical coherence tomography with dynamic focus sweeping and windowed averaging

Also Published As

Publication number Publication date
JP2018036171A (ja) 2018-03-08
EP3291177B1 (en) 2020-07-29
EP3291177A1 (en) 2018-03-07
US10548480B2 (en) 2020-02-04
US20180055365A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP6762810B2 (ja) 画像処理装置および画像処理方法
US20170118423A1 (en) Glare suppression through fog by optical phase conjugation assisted active cancellation
US8939582B1 (en) Optical coherence tomography with dynamic focus sweeping and windowed averaging
US10765322B2 (en) Fast parallel optical coherence tomographic image generating apparatus and method
JP5527478B2 (ja) 光干渉断層観察装置、画像間の相対位置決定方法および画像間の相対位置決定プログラム
US11131539B2 (en) Multimodal image data acquisition system and method
TW201800720A (zh) 光學系統及使用該系統之物體表面或內部光反射介面三維形貌偵測方法
US11525665B2 (en) Optical coherence tomographic apparatus and optical coherence tomographic method performing spectrum conversion based on single gaussian distribution curve
US20230324296A1 (en) Observation device and observation method
US10317188B2 (en) Imaging apparatus and imaging method
CN110178015B (zh) 摄像方法以及摄像装置
CN110114656B (zh) 摄像装置以及摄像方法
JP2022052328A (ja) 細胞シートの厚さ評価方法
JP7253457B2 (ja) 補正方法、補正装置および撮像装置
US20230230268A1 (en) Image display method, image display device and recording medium
JP2018132466A (ja) 撮像方法および撮像装置
US20230266576A1 (en) Image capture system
JP2015049170A (ja) 光断層画像取得装置
JP2015049171A (ja) 光断層画像取得装置
JP2015049169A (ja) 光断層画像取得装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200909

R150 Certificate of patent or registration of utility model

Ref document number: 6762810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250