JP5668436B2 - 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム - Google Patents

検体領域検出方法、検体領域検出装置及び検体領域検出プログラム Download PDF

Info

Publication number
JP5668436B2
JP5668436B2 JP2010268442A JP2010268442A JP5668436B2 JP 5668436 B2 JP5668436 B2 JP 5668436B2 JP 2010268442 A JP2010268442 A JP 2010268442A JP 2010268442 A JP2010268442 A JP 2010268442A JP 5668436 B2 JP5668436 B2 JP 5668436B2
Authority
JP
Japan
Prior art keywords
region
microscope
image
magnification
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010268442A
Other languages
English (en)
Other versions
JP2012117930A (ja
Inventor
木島 公一朗
公一朗 木島
龍 成澤
龍 成澤
松延 剛
剛 松延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010268442A priority Critical patent/JP5668436B2/ja
Priority to US13/303,279 priority patent/US8942417B2/en
Priority to CN2011103992325A priority patent/CN102539341A/zh
Publication of JP2012117930A publication Critical patent/JP2012117930A/ja
Application granted granted Critical
Publication of JP5668436B2 publication Critical patent/JP5668436B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、観察対象物の画像から、顕微鏡観察をすべき検体が存在する検体領域を検出するための検体領域検出方法、検体領域検出装置及び検体領域検出プログラムに関する。
病理診断の分野等において、病理組織等の検体に対して染色処理を施し、顕微鏡等により観察することが行われる。染色処理は、通常、特定の組織構造に特異性を有する染色剤に検体を浸漬させることによって行われる。染色の種類によっては免疫組織化学染色のように、検体中に当該構造が存在すれば、染色剤が当該構造に結合して発色するため、観察者が検体中の当該構造の有無を判断することが可能となる。
ここで、近年、顕微鏡画像の自動的撮像技術が普及している。この技術では、プレパラート等の観察対象物を低倍率で撮像して低倍率画像を取得し、この低倍率画像に対して輪郭検出等の画像処理を施す。これにより、低倍率画像のうち検体が存在する領域を顕微鏡観察対象領域として抽出し、この顕微鏡観察対象領域を顕微鏡により高倍率で撮像し、検体の高倍率画像を自動的に得るものである。通常、観察対象物の大部分は検体が存在しないいわば無駄な領域であるが、上記技術により、この無駄な領域を高倍率で撮像することを回避することが可能である。
例えば、特許文献1には、撮像された病理画像において「注目すべき領域」を検出し、当該領域に対して高倍率で撮像することによって、自動的に当該領域の高倍率画像を取得する病理画像組織撮影システムが記載されている。当該システムでは、注目すべき領域の検出に、病理画像の画素値(RGB値)の差を利用している。
特開2009−175040号公報(段落[0026]、図2)
しかしながら、特許文献1に記載の試料観察方法では、注目すべき領域の検出に画素値の差を利用していることから、病理画像が画素値の差、即ちコントラストが小さい画像である場合には注目すべき領域を検出することは困難である。例えば、上記染色法の中には、陽性の組織のみが染色され、陰性の組織はほとんど染色されないようなものも存在する。このような場合、陰性の組織が検出されないことになる。
以上のような事情に鑑み、本発明の目的は、コントラストの小さい領域であっても検体が存在する領域として検出することが可能な検体領域検出方法、検体領域検出装置及び検体領域検出プログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係る検体領域検出方法は、第1領域検出部が、観察対象物が可視光照射下で撮像された第1の画像においてコントラストを有する領域を第1の領域として検出する。
第2領域検出部が、上記観察対象物が紫外線照射下で撮像された第2の画像においてコントラストを有する領域を第2の領域として検出する。
検体領域規定部が、上記第1の領域と上記第2の領域とに基づき、上記観察対象物において体が存在する検体領域を規定する。
第1領域検出部は、観察対象物が可視光照射下で撮像された第1の画像において、コントラスト(輝度、色等の視覚的特徴を意味する)を有する領域を検出することができるが、コントラストの小さい領域は背景から抽出することができず、検出することができない。ここで、検体の中には、紫外線照射下で蛍光発光を生じるものが存在する。そのため、第2領域検出部が、観察対象物が紫外線照射下で撮像された第2の画像においてコントラストを有する領域を検出することにより、可視光照射下ではコントラストが小さくても紫外線照射下で蛍光発光を発する検体を検出することが可能となる。このため、検体領域規定部が、第1領域検出部が検出した第1の領域と第2領域検出部が検出した第2の領域に基づいて、可視光照射下ではコントラストが小さくても、紫外線照射下で蛍光発光を生じる検体の領域を検出することが可能である。
上記検体領域を規定する工程は、上記検体領域規定部が、上記第1の領域と上記第2の領域を加算することによって、上記検体領域を規定してもよい。
検体領域規定部は、第1の領域と第2の領域を加算した領域を検体領域とすることにより、可視光照射下においてコントラストを有する検体が存在する領域と、紫外線照射下においてコントラストを有する検体が存在する領域を漏れなく検体領域として規定することが可能である。
上記検体領域検出方法は、顕微鏡撮像範囲設定部が、上記検体領域に基づいて、上記観察対象物が顕微鏡を用いて撮像される顕微鏡撮像範囲を設定する工程をさらに具備してもよい。
検体領域を顕微鏡撮像範囲として設定することにより、観察対象物において撮像する必要のない、検体が存在しない領域の撮像を防止し、顕微鏡撮像の高速化あるいは画像メモリの節約等が可能となる。
上記検体は、アミノ酸を含有する生体組織であってもよい。
アミノ酸を含有する生体組織は、紫外線照射下で蛍光発光を生じる。このため、可視光照射下においてコントラストの小さい検体であっても、紫外線照射下において蛍光発光を生じ、本発明の検体領域検出方法によって検出することが可能となる。
上記検体は、免疫組織化学染色による染色処理が施されているものであってもよい。
免疫組織化学染色は、酵素で標識した抗体により抗原を検出する染色方法である。同染色を施した検体の、陽性(標識酵素が結合する構造を有する)の領域は可視光照射下においてコントラストを有するが、陰性(標識酵素が結合する構造を有しない)の領域は、可視光照射下においてほとんどコントラストを有しない。したがって、可視光照射下で撮像された画像にコントラストを利用した検出処理を施しても、陰性の領域を検出することはできない。しかし、本発明の検体領域検出方法では可視光照射下で撮像された画像(第1の画像)に加え、紫外線照射下で撮像された画像(第2の画像)に対しても検出処理を施すため、陰性の領域を検出することが可能となる。
本発明の一形態に係る検体領域検出装置は、第1領域検出部と、第2領域検出部と、染色領域算出部とを具備する。
上記第1領域検出部は、観察対象物が可視光照射下で撮像された第1の画像においてコントラストを有する領域を第1の領域として検出する。
上記第2領域検出部は、上記観察対象物が紫外線照射下で撮像された第2の画像においてコントラストを有する領域を第2の領域として検出する。
上記検体領域規定部は、上記第1の領域と上記第2の領域とに基づき、上記観察対象物において検体が存在する検体領域を規定する。
本発明の一形態に係る検体領域検出プログラムは、第1領域検出部と、第2領域検出部と、染色領域算出部ととして機能する。
上記第1領域検出部は、観察対象物が可視光照射下で撮像された第1の画像においてコントラストを有する領域を第1の領域として検出する。
上記第2領域検出部は、上記観察対象物が紫外線照射下で撮像された第2の画像においてコントラストを有する領域を第2の領域として検出する。
上記検体領域規定部は、上記第1の領域と上記第2の領域とに基づき、上記観察対象物において検体が存在する検体領域を規定する。
以上のように本発明によれば、コントラストの小さい領域であっても検体が存在する領域として検出することが可能な検体領域検出方法、検体領域検出装置及び検体領域検出プログラムを提供することが可能となる。
本発明の実施形態に係る顕微鏡システムの構成を示す模式図である。 同顕微鏡システムの検体領域検出装置の構成を示すブロック図である。 同顕微鏡システムの動作を示すフローチャートである。 同顕微鏡システムの検体領域検出装置の動作を示すフローチャートである。 同顕微鏡システムによって撮像される第1の画像の例である。 同顕微鏡システムによって撮像される第2の画像の例である。 同顕微鏡システムの第1領域検出部が検出した第1の領域を示す概念図である。 同顕微鏡システムの第2領域検出部が検出した第2の領域を示す概念図である。 同顕微鏡システムの検体領域規定部が規定した検体領域を示す概念図である。 同顕微鏡システムが設定した顕微鏡撮像範囲を示す概念図である。 本発明の実施例に係る、検体(豚ロース;IHC染色(標識酵素Vimentin))の画像である。 本発明の実施例に係る、検体(豚ロース;IHC染色(標識酵素Desmin))の画像である。 本発明の実施例に係る、検体(豚ロース;IHC染色(標識酵素AE1/AE3))の画像である。 本発明の実施例に係る、検体(豚ロース;IHC染色(標識酵素LCA))の画像である。 本発明の実施例に係る、検体(豚胃;IHC染色(標識酵素Vimentin))の画像である。 本発明の実施例に係る、検体(豚胃;IHC染色(標識酵素Desmin))の画像である。 本発明の実施例に係る、検体(豚胃;IHC染色(標識酵素AE1/AE3)の画像である。 本発明の実施例に係る、検体(豚胃;IHC染色(標識酵素LCA))の画像である。 本発明の実施例に係る、検体(豚腎臓;IHC染色(標識酵素Vimentin))の画像である。 本発明の実施例に係る、検体(豚腎臓;IHC染色(標識酵素Desmin))の画像である。 本発明の実施例に係る、検体(豚腎臓;IHC染色(標識酵素AE1/AE3))の画像である。 本発明の実施例に係る、検体(豚腎臓;IHC染色(標識酵素LCA))の画像である。 本発明の実施例に係る、検体(牛ギアラ;IHC染色(標識酵素Vimentin))の画像である。 本発明の実施例に係る、検体(牛ギアラ;IHC染色(標識酵素Desmin))の画像である。 本発明の実施例に係る、検体(牛ギアラ;IHC染色(標識酵素AE1/AE3))の画像である。 本発明の実施例に係る、検体(牛ギアラ;IHC染色(標識酵素LCA))の画像である。 本発明の実施例に係る、検体(牛心臓;IHC染色(標識酵素Vimentin))の画像である。 本発明の実施例に係る、検体(牛心臓;IHC染色(標識酵素Desmin))の画像である。 本発明の実施例に係る、検体(牛心臓;IHC染色(標識酵素AE1/AE3))の画像である。 本発明の実施例に係る、検体(牛心臓;IHC染色(標識酵素LCA))の画像である。 本発明の実施例に係る、検体(牛肝臓;IHC染色(標識酵素Vimentin))の画像である。 本発明の実施例に係る、検体(牛肝臓;IHC染色(標識酵素Desmin))の画像である。 本発明の実施例に係る、検体(牛肝臓;IHC染色(標識酵素AE1/AE3))の画像である。 本発明の実施例に係る、検体(牛肝臓;IHC染色(標識酵素LCA))の画像である。 本発明の実施例における、紫外線照射下における蛍光発光の強度を示す表である。 本発明の実施例に係る、検体(牛ギアラ;HE染色)の画像である。 本発明の実施例に係る、検体(豚胃;HE染色)の画像である。 本発明の実施例に係る、検体(豚腎臓;HE染色)の画像である
以下、図面を参照しながら、本発明の実施形態を説明する。
[顕微鏡システムの構成]
図1は、本発明の一実施形態に係る顕微鏡システム1の構成を示す模式図である。
同図に示すように、顕微鏡システム1は、顕微鏡2、顕微鏡制御ユニット3及び検体領域検出装置4から構成されている。顕微鏡制御ユニット3は、例えば顕微鏡2に付随的に設けられた電装部品であり、検体領域検出装置4は、例えば顕微鏡制御ユニット3に接続された情報処理装置である。ここに示す顕微鏡システム1の構成は例示であり、異なる構成とすることも可能である。
顕微鏡2は、顕微鏡制御ユニット3からの制御信号を受けて各部が動作する光学顕微鏡であり、下記の紫外線光源を有する点を除き一般的な顕微鏡とすることができる。具体的には、顕微鏡2は、高倍率撮像装置21、高倍率鏡筒22、低倍率撮像装置27、低倍率鏡筒28、ステージ23、ステージ駆動部24、可視光光源25及び紫外線光源26を有するものとすることができる。図1には、ステージ23に載置されたプレパラートPが示されている。
高倍率撮像装置21は、CCD(Charge Coupled Device Image Sensor)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えるデジタル撮像デバイスであり、顕微鏡撮像用のものを用いることができる。高倍率撮像装置21は高倍率鏡筒22に設けられ、高倍率鏡筒22の光学系を介して、プレパラートPの顕微鏡画像の撮像が可能に構成されている。高倍率撮像装置21は、カラー撮像装置又はモノクロ撮像装置とすることができる。高倍率撮像装置21は、顕微鏡制御ユニット3に接続され、撮像タイミングや露光量の制御を受ける。また、高倍率撮像装置21は、撮像した画像データを、顕微鏡制御ユニット3を介して検体領域検出装置4に出力する。
低倍率撮像装置27は、CCDやCMOS等の撮像素子を備えるデジタル撮像デバイスである。低倍率撮像装置27は低倍率鏡筒28に設けられ、低倍率鏡筒28の光学系を介して、プレパラートPの全体画像の撮像が可能に構成されている。高倍率撮像装置21には、撮像素子への紫外線の入射を防止するための紫外線(波長390nm以上)吸収フィルタが設けられている。低倍率撮像装置27は顕微鏡制御ユニット3に接続され、撮像タイミングや露光量の制御を受ける。低倍率撮像装置27は、生成した画像データを顕微鏡制御ユニット3を介して検体領域検出装置4に出力する。
高倍率鏡筒22は、高倍率の対物レンズ、及びこれらの位置調整機構を内蔵し、プレパラートPを所定の倍率、例えば20倍や40倍等の倍率で拡大できるように構成されている。高倍率鏡筒22は、顕微鏡制御ユニット3に接続され、焦点深度調整(オートフォーカス)等の制御を受ける。
低倍率鏡筒28は、低倍率の対物レンズ又は縮小光学系、及びこれらの位置調整機構を内蔵し、プレパラートPを所定の倍率、例えば0.5倍、当倍、2倍等の倍率で拡大又は縮小できるように構成されている。また、低倍率鏡筒28は、顕微鏡制御ユニット3に接続され、焦点深度調整(オートフォーカス)等の制御を受ける。
なお、図1においては、高倍率鏡筒22及び高倍率撮像装置21と低倍率鏡筒28及び低倍率撮像装置27とは別体となっているが、これらの鏡筒及び撮像装置は、ひとつの鏡筒とひとつの撮像装置とすることも可能である。この場合、鏡筒に設けられた対物レンズの交換により、高倍率と低倍率の切替を可能とすることができる。
ステージ23は、プレパラートPを支持し、低倍率鏡筒28及び高倍率鏡筒22の光学系に対して垂直方向(顕微鏡光学系の光軸方向)及び水平方向(上記光軸方向に直交する方向)に移動可能に構成されている。ステージ23には、可視光光源25又は紫外線光源26から放出された光(紫外線を含む)を透過させる透過窓23aが設けられている。プレパラートPはこの透過窓23a上に配置される。また、ステージ23は、プレパラートPを高倍率鏡筒22および低倍率鏡筒28の撮影領域に移動させることができ、又は高倍率鏡筒22および低倍率鏡筒28が移動し、プレパラートPの画像の低倍率画像及び高倍率画像を取得できるようしてもよい。
ステージ駆動部24は、ステッピングモータ等の駆動機構を内蔵し、ステージ23を上述の各方向に移動させる。ステージ駆動部24は顕微鏡制御ユニット3に接続され、移動方向や移動量の制御を受ける。
可視光光源25は、蛍光灯やLED(Light Emitting Diode)等であり、ステージ23の透過窓23aを介してプレパラートPに可視光を照射する。可視光は、各色波長を含む白色光とすることができる。可視光光源25は顕微鏡制御ユニット3に接続され、発光タイミングや発光強度等の制御を受ける。
紫外線光源26は、紫外線ランプや紫外線LED等であり、ステージ23の透過窓23aを介してプレパラートPに紫外線を照射する。紫外線は、例えば波長365nmのものとすることができる。紫外線光源26は顕微鏡制御ユニット3に接続され、発光タイミングや発光強度等の制御を受ける。
顕微鏡2は以上のように構成されている。なお、顕微鏡2は、顕微鏡制御ユニット3によって焦点深度の調整や撮像等が自動的に実行されるものを想定しているが、これに限られず、ユーザによって手動で制御されるものとすることも可能である。この場合、ユーザは検体領域検出装置4の出力に基づいて顕微鏡2を制御する。
顕微鏡制御ユニット3は、マイクロプロセッサ等の電装部品で構成され、上述のように顕微鏡2の各部を制御する。顕微鏡制御ユニット3は、検体領域検出装置4に接続され、検体領域検出装置4の出力を顕微鏡2の制御に反映させる。
検体領域検出装置4は、低倍率撮像装置27から供給される観察対象物(プレパラートP)の画像において検体が存在する「検体領域」を検出する。図2は、検体領域検出装置4の機能的構成を示すブロック図である。
同図に示すように、検体領域検出装置4は、第1領域検出部41、第2領域検出部42及び検体領域規定部43を有する。第1領域検出部41及び第2領域検出部42はそれぞれ顕微鏡制御ユニット3に接続されている。検体領域規定部43は、第1領域検出部41及び第2領域検出部42に接続されており、また顕微鏡制御ユニット3に接続されている。検体領域検出装置4の各構成は、プロセッサ、メモリ及びプログラム等の動作によって機能するものであり、詳細については後述する。
顕微鏡システム1は以上のように構成される。なお、検体領域検出装置4は、特定の機種の顕微鏡2及び顕微鏡制御ユニット3と共に顕微鏡システム1を構成するものではなくてもよく、任意の顕微鏡システムに追加的に導入することができるものとすることができる。
[顕微鏡システムの動作]
顕微鏡システム1の動作について説明する。
図3は、顕微鏡システム1の動作を示すフローチャートである。
なお、以下では、ユーザによる開始指示を受けて顕微鏡システム1が自律的に動作する場合について説明する。
ユーザによって開始指示が入力されると、顕微鏡システム1は「第1の画像」を撮像する(St1)。具体的には、低倍率撮像装置27が顕微鏡制御ユニット3による制御信号を受けて、低倍率鏡筒28を介してプレパラートPを撮像する。この際、顕微鏡制御ユニット3により、可視光光源25が発光され、可視光がプレパラートPに透過光として照射される。即ち、第1の画像は可視光の照射下で撮像されたプレパラートPの全体画像である。図5は第1の画像の例である。同図に示す第1の画像はモノクロ画像であるが、これは撮像されたカラー画像をモノクロ化したものである。
プレパラートPは、スライドガラス上に検体を載置し、カバーガラスを被せたものである。検体は、乳ガン(の一種であるHer2)の培養細胞と正常な培養細胞とにIHC(Immunohistochemistry)染色を施したものである。IHC染色は、酵素で標識した抗体により、抗原を検出する方法である。図5に示すように、IHC染色では、陽性(乳ガン細胞)の領域(図中にHer2+で示す)は染色され、陰性(正常細胞)の領域(図中にHer2−で示す)は染色されない。このため、この画像に通常の領域検出処理を施しても、コントラストの小さい陰性の領域はバックグラウンドとして判断され、検出の対象とはならない。
このようにして撮像された第1の画像は、顕微鏡制御ユニット3を介して検体領域検出装置4の第1領域検出部41に出力される。
なお、本発明を適用することが可能な検体は、上記乳ガンの細胞に限られない。後述の実施例において示すように、本発明は種々の検体に適用することが可能である。
次に、顕微鏡システム1は、プレパラートPの光源を可視光光源25から紫外線光源26に切り替える(St2)。なお、ここで、プレパラートPは第1の画像が撮像された位置のまま静置されている。プレパラートPが当該位置から移動された場合には、後述するステップにおいて対応される。
続いて、顕微鏡システム1は「第2の画像」を撮像する(St3)。具体的には、低倍率撮像装置27が顕微鏡制御ユニット3による制御信号を受けて、低倍率鏡筒28を介してプレパラートPを撮像する。この際、顕微鏡制御ユニット3により、紫外線光源26が発光され、紫外線がプレパラートPに透過光として照射される。即ち、第2の画像は紫外線の照射下で撮像されたプレパラートPの全体画像である。図6は第2の画像の例である。同図に示す第2の画像はモノクロ画像であるが、これは撮像されたカラー画像をモノクロ化したものである。なお、プレパラートPに照射されているのは紫外線であるが、上述のように低倍率撮像装置27には紫外線吸収フィルタが設けられているため、撮像されるのは紫外線による励起によって発生した可視領域の光、即ち蛍光である。
図6に示すように、紫外線照射下では、第1の画像においてコントラストの小さかった陰性の領域(図中にHer2−として示す)が発光し、第1の画像においてコントラストの大きかった陽性の領域(図中にHer2+として示す)は発光していない。このため、この画像に領域検出処理を施すことにより陰性の領域を検出することが可能である。なお、陰性の領域が紫外線照射により蛍光を発するのは、検体にアミノ酸が含有されているためと考えられる。一方、陽性の領域は、検体に含有されていたアミノ酸が染色剤との反応により分解されているために蛍光を発しないものと考えられる。このため、本発明は、アミノ酸を含有する検体(ほとんどの生体組織はアミノ酸を含有する)について応用することが可能であるといえる。
このようにして撮像された第2の画像は、顕微鏡制御ユニット3を介して検体領域検出装置4の第2領域検出部42に出力される。
次に、顕微鏡システム1は、第1の画像及び第2の画像から「検体領域」を検出する(St4)。図4は、検体領域検出ステップの詳細を示すフローチャートである。このステップは、検体領域検出装置4が実行する。
第1領域検出部41が、顕微鏡制御ユニット3から供給された第1の画像において「第1の領域」を検出する(St41)。図7は、第1の領域の検出動作を示す概念図である。図7において第1の領域の輪郭を領域A1として示す。図7(a)に示すように、第1領域検出部41は、第1の画像に対して領域検出処理を施す。領域検出処理は、閾値処理とラベリング処理による領域抽出やデジタルフィルタを用いたエッジ検出等の、画像のコントラスト(輝度、色等の視覚的特徴)を利用した処理とすることができる。この第1領域検出部41が第1の画像においてコントラストにより検出した領域を第1の領域とする。
上述のように、第1領域検出部41は第1の画像においては、領域検出処理により陽性の領域を検出することは可能であるが、陰性の領域を検出することはできない。第1領域検出部41は、図7(a)に示した第1の領域を、図7(b)に示すように第1の画像の周縁に対する位置情報と共に検体領域規定部43に出力する。
なお、第1領域検出部41は、第1の領域と共に、「位置基準情報」を取得するものとすることもできる。位置基準情報は、第1の画像における特徴的な像の位置情報であり、例えば、プレパラートPに貼付されているラベルの文字や、プレパラートPの輪郭の像を特徴的な像とすることができる。この位置基準情報は、第1の画像の撮像と第2の画像の撮像の間にプレパラートPの位置が移動された場合においても、後述する検体領域規定ステップ(St43)が有効に実行できるようにするためのものである。位置基準情報の取得は、第1の撮像と第2の撮像の間にプレパラートPが移動されないことが事前に判明している場合にはなされなくてもよい。第1領域検出部41は、取得した位置基準情報も検体領域規定部43に出力する。
次に、第2領域検出部42が、顕微鏡制御ユニット3から供給された第2の画像において「第2の領域」を検出する(St42)。図8は、第2の領域の検出動作を示す概念図である。図8において第2の領域の輪郭を領域A2として示す。図8(a)に示すように、第2領域検出部42は、第1の画像に対して領域検出処理を施す。領域検出処理は、閾値処理とラベリング処理による領域抽出やデジタルフィルタを用いたエッジ検出等の、画像のコントラスト(輝度、色等の視覚的特徴)を利用した処理とすることができる。この第2領域検出部42が第2の画像においてコントラストにより検出した領域を第2の領域とする。
上述のように、第2領域検出部42は第2の画像においては、陰性の領域が蛍光を発しているため、この領域を検出することが可能である。陽性の領域は蛍光を発しないため、このステップでは検出されない。第2領域検出部42は、図8(a)に示した第2の領域を、図8(b)に示すように第2の画像の周縁に対する位置情報と共に検体領域規定部43に出力する。
なお、第2領域検出部42は、第1領域検出部41と同様に、位置基準情報を取得するものとすることもできる。この場合も、第2の画像における特徴的な像の位置情報を位置基準情報とする。第2領域検出部は、取得した位置基準情報も検体領域規定部43に出力する。
続いて、検体領域規定部43は、第1の領域と第2の領域を加算する(St43)。検体領域規定部43は、第1の画像の周縁と第2の画像の周縁が一致するように第1の領域と第2の領域を加算し、その加算された領域を検体が存在する検体領域として規定する。図9は、規定された検体領域を示す図である。図9において検体領域は、領域A1及び領域A2として示されている。検体領域規定部43は、規定した検体領域を顕微鏡制御ユニット3に出力する。
検体領域規定部43は、第1の画像及び第2の画像において位置基準情報が取得されている場合には、位置基準情報の比較を行う。位置基準情報が両画像においてずれている場合には、第1の画像の撮像と第2の画像の撮像の間においてプレパラートPの位置が移動されていると判断し、位置基準情報が一致するように第1の領域又は第2の領域の各画像における位置を修正する。
続いて、図3に戻り、顕微鏡システム1は、「顕微鏡撮像範囲」を設定する(St5)。図10は、顕微鏡撮像範囲を概念的に示す図である。図10には、検体領域検出装置4によって算出された検体領域(領域A1及びA2)と、その上に設定された顕微鏡撮像範囲(範囲Rとして示す)を示す。
顕微鏡撮像範囲は、所定の拡大倍率に設定された高倍率鏡筒22を介しての、高倍率撮像装置21の視野範囲に相当する範囲である。顕微鏡制御ユニット3は、ユーザによって入力された拡大倍率に応じて顕微鏡撮像範囲の大きさを決定する。ひとつの顕微鏡撮像範囲に検体領域の全てが含まれない場合は、顕微鏡制御ユニット3は図10に示すように複数の顕微鏡撮像範囲を配置する。なお、顕微鏡制御ユニット3は同図に示すように周縁部が重畳するように顕微鏡撮像範囲を配置することができる。これは、後述する顕微鏡画像連結ステップにおける便宜のためである。
次に、顕微鏡システム1は、ステージ駆動部24によってステージ23を駆動する(St6)。顕微鏡制御ユニット3は、顕微鏡撮像範囲が高倍率撮像装置21の視野に一致するようにステージ駆動部24に制御信号を出力する。顕微鏡制御ユニット3は、第2の画像の中心の座標と顕微鏡撮像範囲の中心の座標の差異をステージ23の移動量とすることができる。顕微鏡撮像範囲が複数設定されている場合、顕微鏡制御ユニット3は撮像する順序を決定し、最初の顕微鏡撮像範囲をステージ移動の対象とする。
次に、顕微鏡システム1は、高倍率撮像装置21によってプレパラートPの顕微鏡画像を撮像する(St7)。顕微鏡制御ユニット3は、ユーザによって指定された拡大倍率となるように、また、その拡大倍率においてピントが一致するように高倍率鏡筒22に制御信号を出力する。さらに顕微鏡制御ユニット3は、高倍率撮像装置21に制御信号を出力し、プレパラートPを撮像させる。上記のようにステージ23が移動されているため、高倍率撮像装置21の視野は顕微鏡撮像範囲に一致している。
顕微鏡撮像範囲が複数設定されている場合、顕微鏡制御ユニット3は、再びステージ駆動部24によってステージ23を駆動し、高倍率撮像装置21によってプレパラートPの次の顕微鏡撮像範囲を撮像させる。顕微鏡制御ユニット3はこのステージ23の駆動(St6)と高倍率撮像装置21による顕微鏡撮像(St7)を、全ての顕微鏡撮像範囲が撮像されるまで繰り返し実行する。
相互に隣接する顕微鏡画像が複数撮像されている場合、顕微鏡システム1は、個々の顕微鏡画像を連結する(St8)。具体的には、顕微鏡制御ユニット3は、隣接する2枚の顕微鏡画像の重畳領域において複数の特徴点を抽出し、その特徴点が一致するようにこれらの画像を結合(スティッチング)させることができる。これにより、連続する染色領域がひとつの顕微鏡撮像範囲より大きいサイズであっても、当該染色領域の連続する顕微鏡画像を取得することが可能となる。
以上のように、本実施形態に係る顕微鏡システム1は、可視光照射下と紫外線照射下においてそれぞれ検体領域検出用の画像を取得してその検出結果を加算し、顕微鏡による撮像範囲を決定する。これにより、可視光照射下においては低コントラスのために検出できない領域であっても検出することが可能となる。
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することが可能である。
本発明の実施例について説明する。上述のように、本発明は、種々の検体に対して適用可能である。以下に、種々の検体について、可視光照射下及び紫外線照射下において等倍率で撮像した画像、即ち、上記実施形態における第1の画像及び第2の画像に相当する画像を示す。本実施例では、各検体が紫外線照射下で蛍光発光を発するか否かを観察した。
検体は、豚や牛等の生体組織に染色を施したものを用いた。生体組織は、豚ロース、豚胃、豚腎臓、牛ギアラ(第4胃)、牛心臓及び牛肝臓である。各生体組織はVimentin、Desmin、AE1/AE3及びLCAの4種類の標識酵素によるIHC染色が施されている。図11乃至図34は各検体の可視光照射下及び紫外線照射下の画像である。各図において図(a)が可視光照射下の画像であり、図(b)が紫外線照射下の画像である。なお、これらの画像は、カラー撮像されたものをモノクロ化した画像である。また、図35に、各検体についての蛍光発光の観察結果を表にして示す。この表において、蛍光発光が観察されたものには○、弱い蛍光発光が観察されたものには△、蛍光発光が観察されなかったものには×を付した。
図11乃至図14は、豚ロースの可視光照射下及び紫外線照射下の画像である。図11はVimentin、図12はDesmin、図13はAE1/AE3、図14はLCAをそれぞれ標識酵素とした。これらの図に示すように、各標識酵素において蛍光発光が観察された。
図15乃至図18は、豚胃の可視光照射下及び紫外線照射下の画像である。図15はVimentin、図16はDesmin、図17はAE1/AE3、図18はLCAをそれぞれ標識酵素とした。これらの図に示すように、各標識酵素において蛍光発光が観察されたが、AE1/AE3の蛍光発光は弱いものであった。
図19乃至図22は、豚腎臓の可視光照射下及び紫外線照射下の画像である。図19はVimentin、図20はDesmin、図21はAE1/AE3、図22はLCAをそれぞれ標識酵素とした。これらの図に示すように、各標識酵素において蛍光発光が観察された。Desminこれらの図に示すように各標識酵素において
図23乃至図26は、牛ギアラの可視光照射下及び紫外線照射下の画像である。図23はVimentin、図24はDesmin、図25はAE1/AE3、図26はLCAをそれぞれ標識酵素とした。これらの図に示すように、Vimentinの蛍光発光はみられず、Desmin及びAE1/AE3の蛍光発光は弱いものであった。LCAの蛍光発光は観察された。
図27乃至図30は、牛心臓の可視光照射下及び紫外線照射下の画像である。図27はVimentin、図28はDesmin、図29はAE1/AE3、図30はLCAをそれぞれ標識酵素とした。これらの図に示すように、各標識酵素において蛍光発光が観察されたが、Vimentin及びDesminの蛍光発光は弱いものであった。
図31乃至図34は、牛肝臓の可視光照射下及び紫外線照射下の画像である。図31はVimentin、図32はDesmin、図33はAE1/AE3、図34はLCAをそれぞれ標識酵素とした。これらの図に示すように、各標識酵素において蛍光発光が観察されたが、AE1/AE3の蛍光発光は弱いものであった。
図35に示すように、蛍光発光するか否かはIHC染色の標識酵素や生体組織の種類によって異なり、全ての検体が蛍光発光を生じるのものではないが、大部分の検体が蛍光発光を生じるものであった。
また、IHC染色以外の染色処理についても検討を実施した。以下、HE(Hematoxylin-Eosin)染色を施した検体の蛍光発光について説明する。図36乃至図38はHE染色が施された生体組織の可視光照射下及び紫外線照射下の画像である。生体組織は、図36は牛ギアラであり、図37は豚胃であり、図38は豚腎臓である。これらの画像は、カラー撮像されたものをモノクロ化した画像である。
これらの図に示すように、HE染色においても、紫外線照射下で蛍光発光が生じていることが観察された。HE染色が施された検体は、可視光照射下では反射光及び透過光によって観察されるが、紫外線照射下では自らの蛍光発光により観察されるため、微小領域の検体の検出が容易となる。
1…顕微鏡システム
2…顕微鏡
3…顕微鏡制御ユニット
4…検体領域検出装置
41…第1領域検出部
42…第2領域検出部
43…検体領域規定部

Claims (4)

  1. 第1領域検出部が、観察対象物が可視光照射下で第1の拡大倍率で撮像された第1の画像においてコントラストを有する領域を第1の領域として検出し、
    第2領域検出部が、前記観察対象物が紫外線照射下で前記第1の拡大倍率で撮像された第2の画像においてコントラストを有する領域を第2の領域として検出し、
    検体領域規定部が、前記第1の領域と前記第2の領域を加算し、前記観察対象物において免疫組織化学染色による染色処理が施された検体が存在する検体領域を規定し、
    顕微鏡撮像範囲設定部が、前記観察対象物が顕微鏡を用いて撮像される顕微鏡撮像範囲を、前記検体領域と、前記第1の拡大倍率より大きい拡大倍率である第2の拡大倍率の前記顕微鏡の視野範囲とに基づいて設定する
    検体領域検出方法。
  2. 請求項に記載の検体領域検出方法であって、
    前記検体は、アミノ酸を含有する生体組織である
    検体領域検出方法。
  3. 観察対象物が可視光照射下で第1の拡大倍率で撮像された第1の画像においてコントラストを有する領域を第1の領域として検出する第1領域検出部と、
    前記観察対象物が紫外線照射下で前記第1の拡大倍率で撮像された第2の画像においてコントラストを有する領域を第2の領域として検出する第2領域検出部と、
    前記第1の領域と前記第2の領域を加算し、前記観察対象物において免疫組織化学染色による染色処理が施された検体が存在する検体領域を規定する検体領域規定部と
    前記観察対象物が顕微鏡を用いて撮像される顕微鏡撮像範囲を、前記検体領域と、前記第1の拡大倍率より大きい拡大倍率である第2の拡大倍率の前記顕微鏡の視野範囲とに基づいて設定する顕微鏡撮像範囲設定部と
    を具備する検体領域検出装置。
  4. 観察対象物が可視光照射下で第1の拡大倍率で撮像された第1の画像においてコントラストを有する領域を第1の領域として検出する第1領域検出部と、
    前記観察対象物が紫外線照射下で前記第1の拡大倍率で撮像された第2の画像においてコントラストを有する領域を第2の領域として検出する第2領域検出部と、
    前記第1の領域と前記第2の領域を加算し、前記観察対象物において免疫組織化学染色による染色処理が施された検体が存在する検体領域を規定する検体領域規定部と
    前記観察対象物が顕微鏡を用いて撮像される顕微鏡撮像範囲を、前記検体領域と、前記第1の拡大倍率より大きい拡大倍率である第2の拡大倍率の前記顕微鏡の視野範囲とに基づいて設定する顕微鏡撮像範囲設定部と
    として情報処理装置を機能させる検体領域検出プログラム。
JP2010268442A 2010-12-01 2010-12-01 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム Expired - Fee Related JP5668436B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010268442A JP5668436B2 (ja) 2010-12-01 2010-12-01 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム
US13/303,279 US8942417B2 (en) 2010-12-01 2011-11-23 Method for detection of specimen region, apparatus for detection of specimen region, and program for detection of specimen region
CN2011103992325A CN102539341A (zh) 2010-12-01 2011-11-24 标本区域检测方法、装置以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010268442A JP5668436B2 (ja) 2010-12-01 2010-12-01 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム

Publications (2)

Publication Number Publication Date
JP2012117930A JP2012117930A (ja) 2012-06-21
JP5668436B2 true JP5668436B2 (ja) 2015-02-12

Family

ID=46162273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010268442A Expired - Fee Related JP5668436B2 (ja) 2010-12-01 2010-12-01 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム

Country Status (3)

Country Link
US (1) US8942417B2 (ja)
JP (1) JP5668436B2 (ja)
CN (1) CN102539341A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045525A1 (ja) 2012-09-24 2014-03-27 ソニー株式会社 画像処理装置、画像処理プログラム及び画像処理方法
US9625387B2 (en) * 2014-09-16 2017-04-18 Lawrence Livermore National Security, Llc System and method for controlling depth of imaging in tissues using fluorescence microscopy under ultraviolet excitation following staining with fluorescing agents
JP6742724B2 (ja) * 2015-12-28 2020-08-19 シスメックス株式会社 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム
CN106682432A (zh) * 2016-12-30 2017-05-17 深圳金域医学检验所有限公司 一种定量检测智能化审核用动态监控系统和方法
CN115391431B (zh) * 2022-10-28 2023-01-24 山东蓝客信息科技有限公司 一种标本信息采集验证系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581487A (en) * 1994-02-23 1996-12-03 Science Applications International Corporation Method and apparatus for microscopic screening of cytological samples
US6169816B1 (en) * 1997-05-14 2001-01-02 Applied Imaging, Inc. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US6259807B1 (en) * 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
JPH10325798A (ja) * 1997-05-23 1998-12-08 Olympus Optical Co Ltd 顕微鏡装置
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
EP1377220B1 (en) * 2001-03-16 2017-01-18 University of Utah Research Foundation Fluorescent cobalamins and uses thereof
JP5245424B2 (ja) 2008-01-25 2013-07-24 日本電気株式会社 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP5212122B2 (ja) * 2009-01-09 2013-06-19 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及びプログラム
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム

Also Published As

Publication number Publication date
CN102539341A (zh) 2012-07-04
JP2012117930A (ja) 2012-06-21
US20120140983A1 (en) 2012-06-07
US8942417B2 (en) 2015-01-27

Similar Documents

Publication Publication Date Title
EP3586181B1 (en) Augmented reality microscope for pathology
JP5668436B2 (ja) 検体領域検出方法、検体領域検出装置及び検体領域検出プログラム
US10580128B2 (en) Whole slide multispectral imaging systems and methods
US20070269085A1 (en) Image acquiring apparatus, image acquiring method, and image acquiring program
JP4869694B2 (ja) 位相物体検出装置及び位相物体検出方法
US10151910B2 (en) Image analysis using microscope optical system
US20200300750A1 (en) Distinguishing between blood sample components
JP5212122B2 (ja) 生体サンプル像取得装置、生体サンプル像取得方法及びプログラム
CN107407674B (zh) 细胞分析装置、细胞分析装置的控制方法及程序
JP5278252B2 (ja) 組織切片像取得表示装置、組織切片像取得表示方法及び組織切片像取得表示プログラム
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US9322782B2 (en) Image obtaining unit and image obtaining method
US8598541B2 (en) Fluorescent image obtaining device, fluorescent image obtaining method and fluorescent image obtaining program
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
CN102597842A (zh) 聚焦装置、聚焦方法、聚焦程序和显微镜
JP2011141444A (ja) 顕微鏡システム
JP6270388B2 (ja) 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP6345001B2 (ja) 画像処理方法および画像処理装置
JP2020173204A (ja) 画像処理システム、画像処理方法及びプログラム
US20170278259A1 (en) Microscope system and specimen observation method
WO2015064117A1 (ja) 画像取得装置及び画像取得装置の画像取得方法
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
WO2018123677A1 (ja) 画像処理方法及び画像処理システム
CN113628247A (zh) 一种自由运动样本的自动化搜索成像方法及系统
US10198659B1 (en) Diagnostics and imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141201

LAPS Cancellation because of no payment of annual fees