JPWO2014083743A1 - 画像計測装置および画像計測方法 - Google Patents

画像計測装置および画像計測方法 Download PDF

Info

Publication number
JPWO2014083743A1
JPWO2014083743A1 JP2014537210A JP2014537210A JPWO2014083743A1 JP WO2014083743 A1 JPWO2014083743 A1 JP WO2014083743A1 JP 2014537210 A JP2014537210 A JP 2014537210A JP 2014537210 A JP2014537210 A JP 2014537210A JP WO2014083743 A1 JPWO2014083743 A1 JP WO2014083743A1
Authority
JP
Japan
Prior art keywords
image
light
positive cell
cell nucleus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014537210A
Other languages
English (en)
Other versions
JP5789786B2 (ja
Inventor
本村 秀人
秀人 本村
佳州 佐藤
佳州 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014537210A priority Critical patent/JP5789786B2/ja
Application granted granted Critical
Publication of JP5789786B2 publication Critical patent/JP5789786B2/ja
Publication of JPWO2014083743A1 publication Critical patent/JPWO2014083743A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G01N1/31Apparatus therefor
    • G01N1/312Apparatus therefor for samples mounted on planar substrates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

画像計測装置(100)は、可視光よりも狭い帯域であって、かつ陽性細胞核の色の主波長を含む帯域の光である第1狭帯域光を照射する照明部(101)と、第1狭帯域光が照射された病理検査標本(108)を撮像することにより、検査画像を取得する画像取得部(102)と、検査画像の画素値と所定の閾値とを比較することにより、検査画像から陽性細胞核の画素を抽出する細胞核抽出部(103)と、細胞核抽出部(103)が抽出した陽性細胞核の画素から、病理検査標本(108)に含まれる細胞核に対する陽性細胞核の比率を算出する陽性率算出部(105)と、陽性率算出部(105)が算出した前記比率を出力する出力部(114)とを備える。

Description

本発明は、医療診断または治療の支援に用いられる画像計測装置および画像計測方法に関する。
従来、病理標本を撮影した画像の色情報を用いて、画像処理により陰性細胞核と陽性細胞核を特定し、陰性細胞核と陽性細胞核とを合わせた細胞核全体に対する陽性細胞核の占める割合を示す陽性率を算出する技術が提案されている(例えば、特許文献1参照)。
国際公開第2008/108059号
しかしながら、従来の技術では、病理標本の色のばらつきに対応できない。病理標本の色は、標本作製における固定液の濃度、固定時間、染色時間、室温および湿度など、様々な要因で決まる。また、病理標本を作製する施設が異なれば、利用している試薬または装置が異なるため、施設によっても病理標本の色はばらつく。このため、安定して細胞核を抽出することができず、精度良く陽性率を算出することができない。
本発明は上述の課題を解決するためになされたもので、標本作製の差異が原因で発生する病理標本の画像の色の違いを吸収し、陽性細胞核および陰性細胞核などの特定の対象を安定して抽出することができ、これにより高精度で陽性率を算出することができる画像計測装置および画像計測方法を提供することを目的とする。
本発明の一態様に係る画像計測装置は、可視光よりも狭い帯域であって、かつ陽性細胞核の色の主波長を含む帯域の光である第1狭帯域光を照射する照明部と、前記第1狭帯域光が照射された病理検査標本を撮像することにより、検査画像を取得する画像取得部と、前記検査画像の画素値と所定の閾値とを比較することにより、前記検査画像から陽性細胞核の画素を抽出する細胞核抽出部と、前記細胞核抽出部が抽出した前記陽性細胞核の画素から、前記病理検査標本に含まれる細胞核に対する陽性細胞核の比率を算出する陽性率算出部と、前記陽性率算出部が算出した前記比率を出力する出力部とを備える。
この構成によると、陽性細胞核の色の主波長を含む狭い帯域の光を病理検査標本に照射した状態で、病理検査標本を撮像している。このため、検査画像では、陽性細胞核が明るく映る。また、陽性細胞核以外の組織の主波長が陽性細胞核の主波長と異なっていれば、陽性細胞核以外の組織は暗く映る。よって、検査画像を閾値処理することにより、検査画像から陽性細胞核の画素を安定して抽出することができる。これにより高精度で陽性率を算出することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明によると、陽性細胞核および陰性細胞核などの特定の対象を安定して抽出することができ、これにより高精度で陽性率を算出することができる。
図1は、実施の形態1に係る画像計測装置の構成を示すブロック図である。 図2Aは、狭帯域光変換部の詳細な構成を示す図である。 図2Bは、グレーティングにおける格子の間隔、入射角および回折角を示す図である。 図3は、準備モードにおいて、画像計測装置が陽性細胞核の主波長を算出する方法を説明するための図である。 図4は、準備モードにおいて、画像計測装置が陽性細胞核の主波長を含む狭帯域の光を病理参照標本に照射し、陽性細胞核抽出閾値を算出する処理を説明するための図である。 図5は、陽性細胞核の色の主波長を説明するための図である。 図6は、xy色度図における主波長の分布を示す図である。 図7は、xy色度図における大まかな色の区分を示す図である。 図8は、主波長の平均値について説明するための図である。 図9は、組織の種類と組織の位置とを指定する方法を説明するための図である。 図10は、陽性細胞核を抽出するための閾値の設定処理を説明するための図である。 図11は、主波長参照画像において陽性細胞核を指定する方法を説明するための図である。 図12は、閾値データベース部に格納されたデータの一例を示す図である。 図13は、主波長λp参照画像と主波長λn参照画像の一例を示す図である。 図14は、色収差と焦点との関係を示す図である。 図15は、実施の形態2に係る画像計測装置の構成を示すブロック図である。 図16は、陽性細胞核および陰性細胞核の主波長と、各主波長を含む狭帯域の光を照射することにより得られる画像との一例を示す図である。 図17は、準備モードにおける画像計測装置による陽性細胞核抽出閾値の算出処理を説明するための図である。 図18は、準備モードにおいて、組織ごとに、当該組織の主波長を含む狭帯域の光を病理参照標本に照射し、陽性細胞核抽出閾値を算出する処理を説明するための図である。 図19は、陽性細胞核を抽出するための閾値の設定方法の一例を説明するための図である。 図20は、実施の形態3に係る画像計測装置の構成を示すブロック図である。 図21は、補色主波長を説明するための図である。 図22は、準備モードにおける画像計測装置による陽性細胞核抽出閾値の算出処理を説明するための図である。
(本発明の基礎となった知見)
医療における診断業務は病名と病状の把握が目的であり、病名または病状に応じて治療方針が決定される。病名または病状を確定するためには、病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。病理診断では、摘出した検体を顕微鏡で観察できる厚みにスライスすることにより標本が作製される。標本は顕微鏡越しにデジタルカメラまたはスキャナで撮影され、デジタル画像として保存および参照される。
以上のように診断用画像がデジタル化されることで、コンピュータによるデータ処理との整合性が高まり、医師または技師の診断業務をIT(Information Technology)システムを用いて支援できる機会が増えてきた。CAD(Computer Aided Detection)はその一例であり、病変部の検出にコンピュータを活用する方法である。
たとえば、乳癌における内分泌療法の効果は、細胞核を染めることにより抽出されるER(エストロゲン受容体:estrogen receptor)陽性細胞核あるいはPgR(プロゲステロン受容体:progesterone receptor)陽性細胞核などの陽性細胞核の細胞核全体に対する占有率(以降、「陽性率」と呼ぶ)などで判断できる。そこで、病理医は顕微鏡観察で目視により細胞核の個数を数え、かつ、その中で陽性細胞核の個数を数え、陽性細胞核が細胞核全体に対して占める割合から陽性率を算出する。しかし、目視による数え上げは、見落とし、およびダブルカウントなどの原因となり、信頼性に問題がある。病理医は、病理標本のプレパラートを移動させながら、顕微鏡を用いて病理標本の一部を拡大し、病理標本を複数箇所で観察するのが常である。仮に、一視野で500個の細胞核をカウントし、視野を4つ取った場合は、カウント数が2000回に達する。このため、作業精度のみならず、病理医に掛かる作業負担も大きい。
そこで、特許文献1は、病理画像の色情報を用いて、画像処理により陰性細胞核と陽性細胞核を特定し、陽性率を算出する技術を開示している。つまり、茶色の陽性細胞核と青色の陰性細胞核を抽出してカウントし、カウント値から陽性率を算出している。茶色の陽性細胞核と青色の陰性細胞核を抽出は、色相情報、彩度情報および明度情報を用いて行われる。
しかしながら、従来の技術では、病理標本の色のばらつきに対応できない。病理標本の色は、標本作製における固定液の濃度、固定時間、染色時間、室温および湿度など、様々な要因で決まる。また、病理標本を作製する施設が異なれば、利用している試薬または装置が異なるため、施設によっても病理標本の色はばらつく。
色情報を用いて陽性細胞核と陰性細胞核を抽出するにあたって、茶色を示す色相、彩度および明度の数値範囲、青色を示す色相、彩度および明度の数値範囲を決める必要がある。しかし、対象とする病理標本の色が変化すると、安定して陽性細胞核および陰性細胞核を抽出することができず、精度良く陽性率を算出することができない。
このような問題を解決するために、本開示の一態様に係る画像計測装置は、可視光よりも狭い帯域であって、かつ陽性細胞核の色の主波長を含む帯域の光である第1狭帯域光を照射する照明部と、前記第1狭帯域光が照射された病理検査標本を撮像することにより、検査画像を取得する画像取得部と、前記検査画像の画素値と所定の閾値とを比較することにより、前記検査画像から陽性細胞核の画素を抽出する細胞核抽出部と、前記細胞核抽出部が抽出した前記陽性細胞核の画素から、前記病理検査標本に含まれる細胞核に対する陽性細胞核の比率を算出する陽性率算出部と、前記陽性率算出部が算出した前記比率を出力する出力部とを備える。
この構成によると、陽性細胞核の色の主波長を含む狭帯域の光を病理検査標本に照射した状態で、病理検査標本を撮像している。このため、検査画像では、陽性細胞核が明るく映る。また、陽性細胞核以外の組織の主波長が陽性細胞核の主波長と異なっていれば、陽性細胞核以外の組織は暗く映る。よって、検査画像を閾値処理することにより、検査画像から陽性細胞核の画素を安定して抽出することができる。これにより高精度で陽性率を算出することができる。
また、前記照明部は、さらに、前記第1狭帯域光よりも広い帯域の光である広帯域光を照射し、前記画像取得部は、さらに、前記広帯域光が照射された病理検査標本を撮像することにより、参照画像を取得し、前記画像計測装置は、さらに、前記参照画像に含まれる陽性細胞核の色の主波長を算出する主波長算出部と、前記主波長算出部が算出した前記主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、前記所定の閾値として算出する閾値算出部とを備えてもよい。
色からその色に対応する光の主波長を求めることができる。このため、この方法によると、正確に陽性細胞核の色の主波長を求めることができる。つまり、組織に照射した際に陽性細胞核が明るく映る光の主波長を求めることができる。よって、陽性細胞核の画素を閾値処理により抽出するための閾値を正確に算出することができる。
また、前記主波長算出部は、前記参照画像に含まれる複数の陽性細胞核の各々の色の主波長を算出し、前記画像計測装置は、さらに、前記主波長算出部が算出した前記複数の陽性細胞核の色の主波長の中心波長を算出する中心分布算出部を備え、前記照明部は、可視光よりも狭い帯域であって、かつ前記中心分布算出部が算出した前記中心波長を含む帯域の光を、前記第1狭帯域光として照射してもよい。
この構成によると、陽性細胞核の色のばらつきに伴う主波長のばらつきを吸収した上で、閾値を算出することができる。
また、前記主波長算出部は、さらに、前記参照画像に含まれる陽性細胞核の色が主波長を持たない色である場合には、前記陽性細胞核の色の補色の主波長を算出し、前記閾値算出部は、さらに、前記主波長算出部が算出した前記補色の主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、前記所定の閾値として算出し、前記照明部は、前記第1狭帯域光に替えて、可視光よりも狭い帯域であって、かつ前記補色の主波長を含む帯域の光である第2狭帯域光を照射し、前記画像取得部は、さらに、前記第2狭帯域光が照射された前記病理検査標本を撮像することにより、前記検査画像を取得してもよい。
色によっては、その色に対応する光の主波長を求めることができない場合がある。このような場合には、補色の主波長を求めることができる。補色の主波長を含む狭帯域の光を病理検査標本に照射した状態で撮影された検査画像では、陽性細胞核は暗く映る。このため、検査画像において陽性細胞核が他の組織に比べて暗く映っている場合には、陽性細胞核の画素を閾値処理により抽出するための閾値を正確に算出することができる。
また、前記照明部は、前記第1狭帯域光に代えて、可視光よりも狭い帯域であって、かつ陽性細胞核以外の組織である他組織の色の主波長を含む帯域の光である第3狭帯域光を照射し、前記画像取得部は、さらに、前記第3狭帯域光が照射された前記病理検査標本を撮像することにより、前記検査画像を取得してもよい。
陽性細胞核の色の主波長を含む狭帯域の光を病理検査標本に照射したとしても、陽性細胞核以外の組織も陽性細胞核と同じぐらいの明るさで検査画像に映る場合がある。このような場合には、他組織の主波長を含む上記第3狭帯域光を病理検査標本に照射することで、陽性細胞核が暗く映り、他組織が明るく映った検査画像を取得することができる。よって、閾値処理により陽性細胞核の画素を正確に抽出することができる。
また、前記主波長算出部は、さらに、前記参照画像に含まれる前記他組織の色の主波長を算出し、前記閾値算出部は、さらに、前記主波長算出部が算出した前記他組織の色の主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、前記所定の閾値として算出してもよい。
この構成によると、上記第3狭帯域光を照射した状態で撮影された検査画像から、陽性細胞核の画素を抽出する際の閾値を正確に算出することができる。
また、上述の画像計測装置は、さらに、前記照明部が照射する前記第1狭帯域光が合焦する位置に前記画像取得部の撮像面を移動させる制御部を備えてもよい。
結像光学系の色収差の影響により、結像光学系に入射する光の合焦位置は、光の波長毎に異なる。この構成によると、病理検査標本に照射する光の波長に応じて撮像面を移動させているため、焦点が合った検査画像を取得することができる。
また、前記第1狭帯域光の帯域幅は、R、GまたはBのカラーフィルタを通過する光の帯域幅よりも小さくてもよい。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、図面を参照して実施の形態を詳細に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本実施の形態では、病変部の検体から作製された病理標本に含まれる陽性細胞核と陰性細胞核の主波長を捕らえることで、標本作製の差異が原因で発生した色の違いに左右されず、固定的な閾値データベースを使って陽性率を算出することのできる画像計測装置について説明する。
図1は、実施の形態1に係る画像計測装置の構成を示すブロック図である。
画像計測装置100は、照明部101、画像取得部102、細胞核抽出部103、閾値データベース部104、陽性率算出部105、算出部112、制御部113、および出力部114を有し、病理検査標本108が呈する陽性率を検出する。病理検査標本108は、人体等の病変部から提出された検体を、例えば顕微鏡で観察できる厚みにスライスすることにより作製される。
照明部101は、光源106と狭帯域光変換部107とを有する。狭帯域光変換部107は、可視光全域に光出力を持つ光源106の光の一部の帯域の光を透過させ、単色光に近い光を作り出す。照明部101の光は病理検査標本108を照射し、画像取得部102へ届く。
図2Aは、狭帯域光変換部107の詳細な構成を示す図である。狭帯域光変換部107は、スリット2201と、コリメートレンズ2202と、グレーティング2203と、フォーカスレンズ2204と、スリット2205とを含む。
スリット2201は、光源106の光を導入するための開口部である。
コリメートレンズ2202は、スリット2201からの光を平行光に変換する。
グレーティング2203は、コリメートレンズ2202からの光を、波長ごとに異なる回折角度で出射させることにより分光を行う。グレーティング2203による分光は、以下に示す式1の回折格子方程式に従う。
Figure 2014083743
ここで、dは格子の間隔、αは入射角、βは回折角、mは回折次数(0、±1、±2、・・・)、λは波長であり、それぞれの関係を図2Bに示す。
フォーカスレンズ2204は、グレーティング2203によって分光された光を波長順にスリット2205に結像させる。
スリット2205は、必要な波長の光のみを透過させる。これにより、照明部101から狭帯域の光を通過させることができる。
照明部101は、図3において説明するように、狭帯域光変換部107を光路から外せば可視光全域の光を出力することもできる。そこで、本実施の形態では、狭帯域光変換部107を透過した光を「狭帯域の光」、狭帯域光変換部107を光路から外した状態で光源106から照射される光を「広帯域の光」と呼ぶ。
一般に画像機器における色分解は、R(赤)、G(緑)およびB(青)の三色を用いる。可視光域は概ね、400nmから700nmの300nmの幅を持つ。したがって、R、GおよびBの各カラーフィルタが通過させる光の帯域幅は概ね100nm程度の半値幅を持つ。本実施の形態における狭帯域は、通常のR、GおよびBの各カラーフィルタよりも狭い半値幅を指し、概ね100nmよりも小さな半値幅を指す。好ましくは、本実施の形態における狭帯域は、30nm〜70nmである。
なお、光源106そのものが、狭帯域の光を照射することのできる光源素子を複数有する場合には、狭帯域光変換部107を備えていなくても狭帯域の光を照射することができる。図1に示す照明部101の内部構成は一例であり、狭帯域の光も広帯域の光も出力できる照明であれば、本発明に制限を与えるものではない。
画像取得部102は、結像光学系109と、撮像センサ110とを有する。結像光学系109は、照明部101からの光を撮像センサ110で結像させる。撮像センサ110は、病理検査標本108を撮影することにより病理検査標本108の濃度分布を取得し、濃度分布を検査画像111として出力する。
細胞核抽出部103は、閾値データベース部104に格納された陽性細胞核抽出閾値を用いて、検査画像を閾値処理することにより、検査画像内の陽性細胞核を抽出する。
閾値データベース部104に格納される陽性細胞核を抽出するための閾値(以下、「陽性細胞核抽出閾値」という)は、陽性率算出前に、あらかじめ算出部112により算出される。したがって、画像計測装置100は、陽性率算出を実行する前に、陽性細胞核抽出閾値を閾値データベース部104に格納する事前準備を行う。陽性率算出を「実行モード」、陽性細胞核抽出閾値の算出を「準備モード」と呼んで、以降の説明を行う。
制御部113は、実行モードでの画像計測装置100の動き、準備モードでの画像計測装置100の動きを制御する。また、図1において、準備モードでのみのデータの流れを破線で示す。
準備モードにおいて、算出部112は、陽性細胞核抽出閾値を算出し、閾値データベース部104に格納する。陽性細胞核抽出閾値の算出は、陽性細胞核の色の主波長の算出と、陽性細胞核の画素値の取得とにより行われる。前者は、図3に示すように、狭帯域光変換部107を光路から外した状態で病理参照標本115に光源106からの光を照射した状態で行われる。後者は、図4に示すように、光源106から照射され狭帯域光変換部107を通過した光を病理参照標本115に照射した状態で行われる。ここで、病理参照標本115とは、病理検査標本108と同様の処理により作製された標本であり、病理検査標本108と同じものであってもよい。
主波長とは、ある色を白色光と単色光との混色で作った場合、単色光が持つ波長のことである。たとえば、図5の(a)に示す陽性細胞核401の色が、図5の(b)に示すxy色度図上で座標(x,y)=(0.5,0.3)で示されたとする。点402(x,y)=(0.5,0.3)の色は、白色点403で示される白色光と、スペクトル軌跡404上の点405で示される単色光との混色で作ることができる。図6は、xy色度図における主波長の分布を示す。スペクトル軌跡に沿って、主波長を数値で示している。図5の(b)の例では、主波長がおよそ600nmであることがわかる。主波長は、色相を単色光の波長で表現したものであり、600nmであれば概ね赤系統の色であることがわかる。色度値から分光分布を算出することはできないが、主波長を算出すれば分光分布のピーク波長が概ね推定できる。なお、図7は、xy色度図における大まかな色の区分を示す図である。中心部分は、白色部分であり、白色部分の周囲に、赤、橙、黄、緑、青、藍、紫の各色に対応する領域が存在する。
このことは、病理標本の色のばらつきの影響を抑えることにも利用できる。すなわち、色のばらつきとは、色度値が動くことである。分光分布が少しでも変われば、色度値も変わる。しかし、色の彩度が変わっても主波長は変わらない。彩度はxy色度図上では白色点403からの距離に相当するため、彩度が変わっても主波長は変わらない。また、明度は色合いに無関係であるため、明度が変わっても主波長は変わらない。
そこで、病理標本を撮影した病理画像から陽性細胞核に属する画素の色度を計算し、当該色度の点402と白色点403とを結ぶ直線406とスペクトル軌跡404との交点(点405)から主波長を算出する。複数の病理画像の各々について、陽性細胞核に属するすべての画素の主波長を算出し、主波長の平均値を求めれば、色のばらつきにロバストな主波長を得ることができる。図8の(a)は、複数の陽性細胞核の各々の分光分布を示すグラフである。図8の(b)は、複数の陽性細胞核の各々の、直線406に相当する線と、それらの線の平均とを示す。平均を示す線とスペクトル軌跡との交点が主波長の平均値に対応する。
陽性細胞核の主波長を算出するために、制御部113は、画像計測装置100を準備モードに設定し、図3に示すように、照明部101は狭帯域光変換部107を光路から外して可視光全域で病理参照標本115を照らす。したがって、撮像センサ110は、病理参照標本115の色を示した参照画像201を出力する。
算出部112は、陽性細胞核指定部202と、主波長算出部203と、メモリ部204と、分布中心算出部205と、閾値算出部206とを含む。
陽性細胞核指定部202は、参照画像201に含まれる陽性細胞核の位置を指定する。その指定方法は任意である。たとえば、陽性細胞核指定部202は、画像計測装置100のオペレータに陽性細胞核の位置を指定させてもよい。図9に示すように、参照画像201が画像計測装置100に接続された表示装置に表示されている状態で、画像計測装置100のオペレータがマウス等を使って、組織の名称(ここでは、陽性細胞核)を選択する。その後、オペレータは、参照画像201に含まれる陽性細胞核上にカーソル701を移動させて、陽性細胞核の位置を指定してもよい。なお、後述するように、陽性細胞核指定部202で指定された陽性細胞核の位置の情報は、主波長算出部203および閾値算出部206へ出力される。陽性細胞核指定部202の制御は制御部113が行う。
主波長算出部203は、陽性細胞核に属するとして指定された画素すべてに対して主波長を算出する。つまり、主波長算出部203は、参照画像の画素値(R,G,B)を、以下の式2に従い三刺激値(X,Y,Z)に変換する。
Figure 2014083743
ここで、画素値(R,G,B)は輝度リニア信号である。なお、式2に示す3×3の変換係数は一例であり、本発明が制限を与えるものではない。
主波長算出部203は、三刺激値(X,Y,Z)を、以下の式3に従い色度座標(x,y)に変換する。
Figure 2014083743
主波長算出部203は、予め定義されている白色点403と、式3に従い算出されるx座標およびy座標の点とを結ぶことにより、直線406を算出する。主波長算出部203は、直線406とスペクトル軌跡404との交点を算出し、図6に示す主波長の分布を参照することにより、交点に対応する主波長を決定する。
メモリ部204は、複数の参照画像の複数の陽性細胞核の画素の各々の主波長データを蓄積する。
分布中心算出部205は、制御部113からの指示に従い、メモリ部204から主波長データを読み出す。分布中心算出部205は、メモリ部204に蓄積された複数の主波長データから、分布中心に相当する波長を算出する。分布中心の算出方法は任意であるが、たとえば、分布中心算出部205は、主波長の算術平均または中央値を分布中心として算出する。
図4は、陽性細胞核の主波長を含む狭帯域の光を病理参照標本115に照射し、陽性細胞核抽出閾値を算出する処理を説明するための図である。
照明部101は、分布中心算出部205から主波長を得て、当該波長を中心波長とする狭帯域の光を病理検査標本108に照射する。狭帯域光変換部107として、たとえばグレーティングを用いて、該当する波長の光を透過させることにより、照明部101は、狭帯域の光を病理検査標本108に照射する。
画像取得部102は、狭帯域の光が照射された病理検査標本108を撮像することにより、主波長参照画像301を取得する。図10の(a)は、主波長参照画像301の一例を示す。主波長参照画像301は、モノクロ画像である。すなわち、主波長λpを含む狭帯域の光のみが撮像センサ110に入射する。このため、RGBセンサの1つだけに主たる光入力が発生する。主波長から離れている色センサへの入力信号は非常に低くなる。そこで、主波長参照画像301はRGB形式で記述する必要性がない。このため、撮像センサ110は、以下の式4に従い、RGB形式の主波長参照画像301を、輝度信号Yに変換する。
Y=0.24R+0.67G+0.09B (式4)
なお、主波長参照画像301をRGB形式で持つか、Y形式で持つか、は本発明が制限を与える事項ではなく、Y形式の採用は一例に過ぎない。また、輝度Yを算出する式4の係数も一例であり、本発明が制限を与えるものではない。
陽性細胞核指定部202は、前述した処理と同様の処理により、主波長参照画像301に含まれる陽性細胞核の位置を指定する。つまり、陽性細胞核指定部202は、図11に示すように、オペレータにカーソル701等を使って主波長参照画像301に含まれる陽性細胞核の位置を指定させる。制御部113からの指示に従い、陽性細胞核指定部202は、指定した陽性細胞核の位置(陽性細胞核に属する画素の座標)を閾値算出部206へ出力する。
閾値算出部206は、主波長参照画像301における陽性細胞核の画素値の分布を調べ、陽性細胞核を抽出するための閾値を算出する。例えば、図10の(b)に示すように陽性細胞核と陰性細胞核の光の波長が分布している場合には、陽性細胞核の色の主波長λpにおいて、光強度Et801に相当する画素値よりも大きい画素値であれば、その画素は陽性細胞核の画素であると判断することができる。閾値算出部206は、陽性細胞核の画素値の分布から光強度Et801に相当する画素値を求め、求めた画素値を陽性細胞核抽出閾値として閾値データベース部104に格納する。
なお、閾値算出部206は、閾値データベース部104に陽性細胞核抽出閾値を格納する際は、図12に示すように、染色方式ごとに格納してもよい。したがって、制御部113は、画像計測装置100の制御を染色方式の識別番号1001を使って実行してもよい。また、陽性細胞核抽出閾値と共に、陽性細胞核の主波長も合わせて格納される。なお、陽性細胞核抽出閾値の設定は、オペレータが陽性細胞核の画素値の分布から判断してもよい。
また、陰性細胞核を抽出するための閾値(以下、「陰性細胞核抽出閾値」という)についても、陽性細胞核抽出閾値と同様の方法により算出し、閾値データベース部104に格納してもよい。図12の例では、同一の染色方式についての陽性細胞核抽出閾値と陰性細胞核抽出閾値とを同じ値としているが、異なる値であってもよい。
準備モードにおいて、閾値データベース部104への閾値情報の格納が完了すると、制御部113からの指示に従い、画像計測装置100は実行モードに遷移する。
実行モードにおいて、制御部113は、染色方法に応じて、閾値データベース部104から陽性細胞核および陰性細胞核の各色の主波長を取得し、照明部101に出力する。図12において、染色方法がMIB1−1染色の場合には、制御部113は、茶色の陽性細胞核の主波長として610nm、青色の陰性細胞核の主波長として490nmを照明部101に出力する。
病理検査標本108の陽性細胞核および陰性細胞核が、たとえば図13の(a)に示す分光分布を有する場合、陽性細胞核の色の主波長λpは610nmであり、陰性細胞核の主波長はλnの色の主波長は490nmである。主波長λpの狭帯域の光を病理検査標本108に照射して取得される検査画像111の一例は、図13の(b)に示す主波長λp参照画像1101である。
一方、主波長λnの狭帯域の光を病理検査標本108に照射して取得される検査画像111の一例は、図13の(c)に示す主波長λn参照画像1102である。陽性細胞核と陰性細胞核とを識別する閾値は、閾値データベース部104に格納されている。
細胞核抽出部103は、閾値データベース部104に格納されている陽性細胞核抽出閾値を用いて陽性細胞核を抽出する。つまり、細胞核抽出部103は、主波長λp参照画像1101の中で陽性細胞核抽出閾値以上の画素値を有する画素を陽性細胞核の画素として抽出する。後述するように、陽性率の算出には細胞核の全数が必要になる。このため、細胞核抽出部103は、陽性細胞核の抽出方法と同様の方法に従い陰性細胞核も抽出する。つまり、細胞核抽出部103は、主波長λn参照画像1102の中で陰性細胞核抽出閾値以上の画素値を有する画素を陰性細胞核の画素として抽出する。陽性細胞核と陰性細胞核を合わせたものが細胞核である。
なお、予め背景である細胞質の画素を除去することにより得られる、陽性細胞核および陰性細胞核を合わせた細胞核の全数または全画素数が分かっている場合には、陰性細胞核の抽出処理は行う必要がない。検査画像111から、細胞質の領域を除去する処理は、既存の技術を用いて行うことができる。例えば、細胞質は、細胞核よりも明度および彩度が高い。このため、明度および彩度を用いて検査画像111を二値化することにより、細胞質の領域を特定し、検査画像111から、細胞質の領域を除去しても良い。なお、細胞質の除去に用いられる検査画像111は、狭帯域光変換部107を通過することなく、光源106から出力された光が、病理検査標本108に対して、直接照射された状態で撮影された画像である。
陽性率算出部105は、陽性細胞核の画素数を陽性細胞核と陰性細胞核の画素数の和で除算することにより陽性率を算出する。陽性率を式で表すと以下の式5のようになる。
陽性率=陽性細胞核の画素数
/(陽性細胞核の画素数+陰性細胞核の画素数) (式5)
出力部114は、陽性率算出部105が算出した陽性率を出力する。例えば、出力部114は、表示装置の画面に陽性率を表示させても良いし、記録媒体に陽性率を記憶してもよい。また、ネットワークを介して他の装置に陽性率を送信しても良い。
なお、照明部101から狭帯域の光を出力することにより、結像光学系の色収差によるピンボケ(焦点があってない状態)が軽減され、検査画像111、主波長参照画像301はピントの合った鮮鋭な画像となる。
すなわち、図14に示すように、照明部101が短波長の青色光1203を照射する場合には、撮像センサ110を位置1201に置けば、焦点の合った光だけが撮像センサ110に入射し、焦点のずれた光は撮像センサ110に入射しない。また、照明部101が長波長の赤色光1204を照射する場合には、撮像センサ110を位置1202に置けば、焦点の合った光だけが撮像センサ110に入射し、焦点のずれた光は撮像センサ110に入射しない。
ピンボケは細胞核および細胞質などの組織形状を曖昧にするため、陽性率の算出に悪影響を与える。しかし、照明部101が照射する光の波長に応じて撮像センサ110の位置を変化させることにより、ピンボケの影響を抑えることができる。なお、撮像センサ110の位置の制御は、制御部113からの指示により行われる。
一方、図3に示したように、主波長を算出するために、可視光全域の光を撮像センサ110に入射させる場合は、参照画像201にピンボケが発生する。しかし、参照画像201に求められるのは画素ごとの測色値であり、色度座標である。したがって、ピンボケの発生の有無は色度座標に影響を与えない。つまり、主波長の算出には影響を与えない。
本実施の形態によると、標本作製の差異が原因で発生する病理標本の色の違いを吸収し、陽性細胞核および陰性細胞核などの特定の対象を固定的な閾値で安定して抽出することができる。これにより高精度で陽性率を算出することができる。画像計測による定量的な情報を医師または技師へ提示することにより、診断基準に客観的根拠を与えることができる。さらに、狭帯域の光を照射することにより、ピントの合った鮮明な画像を得ることができる。
(実施の形態2)
本実施の形態では、標本作製の差異が原因で発生した色の違いを吸収し、固定的な閾値データベースを使って陽性率を算出することのできる画像計測装置について説明する。特に、複数の組織の各々について主波長を算出して陽性細胞核の抽出精度を高める方法について説明する。
図15は、実施の形態2に係る画像計測装置の構成を示すブロック図である。図1に示す画像計測装置100と同様の構成については同じ符号を付し、詳細な説明を繰り返さない。画像計測装置1300は、照明部101、画像取得部102、細胞核抽出部1301、閾値データベース部1308、陽性率算出部105、算出部1302、制御部113、および出力部114を有し、病理検査標本108が呈する陽性率を検出する。
細胞核抽出部1301は、陽性細胞核の主波長以外の主波長を含む狭帯域の光を病理検査標本108に照射して撮像した検査画像111から、陽性細胞核を抽出する。陽性細胞核の主波長以外の主波長を使うのは、陽性細胞核の主波長において、陽性細胞核とその他の組織との間に光強度の差がなく、識別不能となることを回避するためである。
図16の(a)は、ある組織における陽性細胞核の分光分布と陰性細胞核の分光分布とを示すグラフである。また、図16の(b)は、その組織に対して、陽性細胞核の主波長λ1を含む狭帯域の光を照射したときの画像を示す図である。図16の(a)および(b)に示すように、陽性細胞核の主波長λ1では、陰性細胞核の光強度と陰性細胞核の光強度との間に差がなく、両者を識別することができない。
そこで、本実施の形態では、図16の(c)に示すように、抽出対象である陽性細胞核の主波長λ1だけでなく、陰性細胞核の主波長λ2も算出し、図16の(d)に示すような主波長λ2についての画像を作成する。
算出部1302は、準備モードにおいて、病理参照標本が有する複数の病理学的組織に対して主波長を求め、主波長参照画像を複数枚撮影する。病理学的組織とは、細胞核、細胞質などであり、染色によって区別される陽性細胞核、陰性細胞核も病理学的組織の内訳である。
図17は、準備モードにおける画像計測装置1300による陽性細胞核抽出閾値の算出処理を説明するための図である。
算出部1302は、組織指定部1303と、主波長算出部1304と、メモリ部1305と、分布中心算出部1306と、閾値算出部1307とを含む。
組織指定部1303は、可視光全域の光が照射された病理参照標本115の参照画像201の中から、組織の位置を指定する。たとえば、組織指定部1303は、画像計測装置1300のオペレータに組織の位置を指定させてもよい。通常、組織は複数種類存在する。このため、図9に示すように、オペレータは、画像上でカーソルにより、組織の種類を指定してから該当する組織を指定する。
主波長算出部1304は、組織の種類ごとに主波長を算出する。例えば、主波長算出部1304は、陽性細胞核と陰性細胞核の各々について主波長を算出する。主波長の算出方法は、実施の形態1の主波長算出部203による主波長の算出方法と同様である。
メモリ部1305は、複数の主波長を組織の種類ごとに保持する。
分布中心算出部1306は、組織の種類ごとに主波長の分布中心を算出する。分光中心の算出方法は、実施の形態1の分布中心算出部205による分光中心の算出方法と同様である。
図18は、準備モードにおいて、組織ごとに、当該組織の主波長を含む狭帯域の光を病理参照標本115に照射し、陽性細胞核抽出閾値を算出する処理を説明するための図である。
照明部101は、分布中心算出部1306から、組織ごとの主波長を得て、当該主波長を中心波長とする狭帯域の光を病理参照標本115に対して照射する。分布中心算出部1306は複数の主波長を提供する。このため、画像取得部102は、組織の種類に対応した主波長ごとに主波長参照画像301を撮影する。
閾値算出部1307は、各主波長参照画像301について、主波長参照画像301に含まれる組織の種類ごとに画素値の分布を調べ、各組織を抽出するための閾値を算出する。
図19の(a)に示す参照画像201において、陽性細胞核と陰性細胞核の分光分布が図19の(b)のように定められているとする。このとき、陰性細胞核の主波長λ2に対応する主波長参照画像301が図19の(c)のようになる。このため、陰性細胞核の色の主波長λ2において、光強度Et1801に相当する画素値よりも画素値が小さい画素は、陽性細胞核の画素であると判断することができる。
なお、このとき、背景画像に対応する細胞質の画素は主波長参照画像301から除去されているものとする。細胞質の画素の除去方法は、実施の形態1に示した通りである。閾値算出部1307は、算出した各組織を抽出するための閾値を閾値データベース部1308に格納する。
準備モードにおいて、閾値データベース部1308への閾値情報の格納が完了すると、制御部113からの指示に従い、画像計測装置1300は実行モードに遷移する。
実行モードにおいて、制御部113は、染色方式に応じて、閾値データベース部1308から主波長を取得し、これを照明部101へ提供する。図16に示す例であれば、制御部113は、主波長として波長λ2を照明部101に提供する。照明部101は、狭帯域光変換部107の波長を、波長λ2に設定する。
細胞核抽出部1301は、閾値データベース部1308から各組織を識別するための閾値を取得し、当該閾値を用いて検査画像111を二値化することにより、陽性細胞核を抽出する。
本実施の形態によると、標本作製の差異が原因で発生する病理標本の色の違いを吸収し、陽性細胞核および陰性細胞核などの特定の対象を固定的な閾値で安定して抽出することができる。これにより高精度で陽性率を算出することができる。画像計測による定量的な情報を医師または技師へ提示することにより、診断基準に客観的根拠を与えることができる。さらに、狭帯域の光を照射することにより、ピントの合った鮮明な画像を得ることができる。
(実施の形態3)
本実施の形態では、標本作製の差異が原因で発生した色の違いを吸収し、固定的な閾値データベースを使って陽性率を算出することのできる画像計測装置について説明する。特に、陽性細胞核の色の主波長を一意に決定することができない場合に、陽性細胞核の補色の主波長(補色主波長)を算出して陽性細胞核を抽出する方法について説明する。
図20は、実施の形態3に係る画像計測装置の構成を示すブロック図である。なお、図1に示す画像計測装置100と同様の構成については同じ符号を付し、詳細な説明を繰り返さない。画像計測装置1900は、照明部101と、画像取得部102と、細胞核抽出部103と、閾値データベース部104と、陽性率算出部105と、算出部1901と、制御部113とを備える。
算出部1901は、準備モードにおいて、陽性細胞核の色の主波長を一意に決定することができない場合に、陽性細胞核の補色主波長を含む狭帯域の光が照射された病理参照標本の参照画像を処理対象として、陽性細胞核抽出閾値を算出する。
図21の(a)に示すように、白色点2001から対象の色の点2002へ伸ばした線2003がスペクトル軌跡2004と交差せず、赤紫線2005と交差する場合、対象の色の主波長を算出できない。赤紫線2005は、最も波長が短い青(380nm)と最も波長が長い赤(780nm)を結んだ線である。主波長を持たない色は線2006と線2007の間の領域2008に存在し、これらの色は、図21の(b)に示す分光分布2010のように、概ね2つの山を持つ。
補色主波長は、白色点2001から対象の色の点2002へ伸ばした線2003を逆色相方向に伸ばした線2009がスペクトル軌跡2004と交差する波長である。図21の(a)の例では補色主波長は540nmとなり、図21の(b)の分光分布2010において、光強度の低い波長に対応する。
図22は、準備モードにおける画像計測装置1900による陽性細胞核抽出閾値の算出処理を説明するための図である。
算出部1901は、陽性細胞核指定部202と、主波長算出部1902と、メモリ部204と、分布中心算出部205と、閾値算出部206とを含む。
主波長算出部1902は、陽性細胞核の色の主波長を求めることができない場合に、補色主波長を算出する。つまり、主波長算出部1902は、図21の(a)の領域2008に位置する色については、補色主波長を算出する。また、主波長算出部1902は、領域2008以外の領域に位置する色については、主波長を算出する。
なお、実行モードにおいて、細胞核抽出部103は、陽性細胞核の色の主波長についての陽性細胞核抽出閾値を用いる場合には、当該閾値よりも画素値が大きい画素を陽性細胞核の画素と判断する。一方、細胞核抽出部103は、陽性細胞核の色の補色主波長についての陽性細胞核抽出閾値を用いる場合には、当該閾値よりも画素値が小さい画素を陽性細胞核の画素と判断する。
本実施の形態によると、標本作製の差異が原因で発生する病理標本の色の違いを吸収し、陽性細胞核または陰性細胞核が補色主波長を持つ場合でも、固定的な閾値を用いて、陽性細胞核および陰性細胞核で識別することができる。これにより高精度で陽性率を算出することができる。画像計測による定量的な情報を医師または技師へ提示することにより、診断基準に客観的根拠を与えることができる。さらに、狭帯域の光を照射することにより、ピントの合った鮮明な画像を得ることができる。
本発明によると、標本作製の差異によって発生する色の違いを吸収することができ、効率的に、かつ客観的に陽性細胞核、陰性細胞核、細胞質などの特定対象を計測できる。また、高精度で陽性率を算出することができる。このため、本発明は、病理検査標本から陽性率を算出する画像計測装置等に利用可能である。
100、1300、1900 画像計測装置
101 照明部
102 画像取得部
103、1301 細胞核抽出部
104、1308 閾値データベース部
105 陽性率算出部
106 光源
107 狭帯域光変換部
108 病理検査標本
109 結像光学系
110 撮像センサ
111 検査画像
112、1302、1901 算出部
113 制御部
114 出力部
115 病理参照標本
201 参照画像
202 陽性細胞核指定部
203、1304、1902 主波長算出部
204、1305 メモリ部
205、1306 分布中心算出部
206、1307 閾値算出部
301 主波長参照画像
401 陽性細胞核
402、405、2002 点
403、2001 白色点
404、2004 スペクトル軌跡
406 直線
701 カーソル
801、1801 光強度Et
1001 識別番号
1102 主波長λn参照画像
1101 主波長λp参照画像
1201、1202 位置
1203 青色光
1204 赤色光
1303 組織指定部
2003、2006、2007、2009 線
2005 赤紫線
2008 領域
2010 分光分布
照明部101は、分布中心算出部205から主波長を得て、当該波長を中心波長とする狭帯域の光を病理検査標本115に照射する。狭帯域光変換部107として、たとえばグレーティングを用いて、該当する波長の光を透過させることにより、照明部101は、狭帯域の光を病理検査標本115に照射する。
画像取得部102は、狭帯域の光が照射された病理検査標本115を撮像することにより、主波長参照画像301を取得する。図10の(a)は、主波長参照画像301の一例を示す。主波長参照画像301は、モノクロ画像である。すなわち、主波長λpを含む狭帯域の光のみが撮像センサ110に入射する。このため、RGBセンサの1つだけに主たる光入力が発生する。主波長から離れている色センサへの入力信号は非常に低くなる。そこで、主波長参照画像301はRGB形式で記述する必要性がない。このため、撮像センサ110は、以下の式4に従い、RGB形式の主波長参照画像301を、輝度信号Yに変換する。
本発明の一態様に係る画像計測装置は、可視光よりも狭い帯域であって、かつ陽性細胞核の色を白色光と単色光との混色で表した場合に当該単色光が持つ波長である主波長を含む帯域の光である第1狭帯域光を照射する照明部と、前記第1狭帯域光が照射された病理検査標本を撮像することにより、検査画像を取得する画像取得部と、前記検査画像の画素値と所定の閾値とを比較することにより、前記検査画像から陽性細胞核の画素を抽出する細胞核抽出部と、前記細胞核抽出部が抽出した前記陽性細胞核の画素及び前記検査画像に含まれる前記陽性細胞核と陰性細胞核とを合わせた細胞核の画素から、前記病理検査標本に含まれる細胞核に対する陽性細胞核の比率を算出する陽性率算出部と、前記陽性率算出部が算出した前記比率を出力する出力部とを備える。
このような問題を解決するために、本開示の一態様に係る画像計測装置は、可視光よりも狭い帯域であって、かつ陽性細胞核の色を白色光と単色光との混色で表した場合に当該単色光が持つ波長である主波長を含む帯域の光である第1狭帯域光を照射する照明部と、前記第1狭帯域光が照射された病理検査標本を撮像することにより、検査画像を取得する画像取得部と、前記検査画像の画素値と所定の閾値とを比較することにより、前記検査画像から陽性細胞核の画素を抽出する細胞核抽出部と、前記細胞核抽出部が抽出した前記陽性細胞核の画素及び前記検査画像に含まれる前記陽性細胞核と陰性細胞核とを合わせた細胞核の画素から、前記病理検査標本に含まれる細胞核に対する陽性細胞核の比率を算出する陽性率算出部と、前記陽性率算出部が算出した前記比率を出力する出力部とを備える。

Claims (10)

  1. 可視光よりも狭い帯域であって、かつ陽性細胞核の色の主波長を含む帯域の光である第1狭帯域光を照射する照明部と、
    前記第1狭帯域光が照射された病理検査標本を撮像することにより、検査画像を取得する画像取得部と、
    前記検査画像の画素値と所定の閾値とを比較することにより、前記検査画像から陽性細胞核の画素を抽出する細胞核抽出部と、
    前記細胞核抽出部が抽出した前記陽性細胞核の画素から、前記病理検査標本に含まれる細胞核に対する陽性細胞核の比率を算出する陽性率算出部と、
    前記陽性率算出部が算出した前記比率を出力する出力部と
    を備える画像計測装置。
  2. 前記照明部は、さらに、前記第1狭帯域光よりも広い帯域の光である広帯域光を照射し、
    前記画像取得部は、さらに、前記広帯域光が照射された病理検査標本を撮像することにより、参照画像を取得し、
    前記画像計測装置は、さらに、
    前記参照画像に含まれる陽性細胞核の色の主波長を算出する主波長算出部と、
    前記主波長算出部が算出した前記主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、前記所定の閾値として算出する閾値算出部とを備える
    請求項1記載の画像計測装置。
  3. 前記主波長算出部は、前記参照画像に含まれる複数の陽性細胞核の各々の色の主波長を算出し、
    前記画像計測装置は、さらに、
    前記主波長算出部が算出した前記複数の陽性細胞核の色の主波長の中心波長を算出する中心分布算出部を備え、
    前記照明部は、可視光よりも狭い帯域であって、かつ前記中心分布算出部が算出した前記中心波長を含む帯域の光を、前記第1狭帯域光として照射する
    請求項2記載の画像計測装置。
  4. 前記主波長算出部は、さらに、前記参照画像に含まれる陽性細胞核の色が主波長を持たない色である場合には、前記陽性細胞核の色の補色の主波長を算出し、
    前記閾値算出部は、さらに、前記主波長算出部が算出した前記補色の主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、前記所定の閾値として算出し、
    前記照明部は、前記第1狭帯域光に替えて、可視光よりも狭い帯域であって、かつ前記補色の主波長を含む帯域の光である第2狭帯域光を照射し、
    前記画像取得部は、さらに、前記第2狭帯域光が照射された前記病理検査標本を撮像することにより、前記検査画像を取得する
    請求項2または3に記載の画像計測装置。
  5. 前記照明部は、前記第1狭帯域光に替えて、可視光よりも狭い帯域であって、かつ陽性細胞核以外の組織である他組織の色の主波長を含む帯域の光である第3狭帯域光を照射し、
    前記画像取得部は、さらに、前記第3狭帯域光が照射された前記病理検査標本を撮像することにより、前記検査画像を取得する
    請求項2〜4のいずれか1項に記載の画像計測装置。
  6. 前記主波長算出部は、さらに、前記参照画像に含まれる前記他組織の色の主波長を算出し、
    前記閾値算出部は、さらに、前記主波長算出部が算出した前記他組織の色の主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、前記所定の閾値として算出する
    請求項5記載の画像計測装置。
  7. さらに、
    前記照明部が照射する前記第1狭帯域光が合焦する位置に前記画像取得部の撮像面を移動させる制御部を備える
    請求項1〜6のいずれか1項に記載の画像計測装置。
  8. 前記第1狭帯域光の帯域幅は、R、GまたはBのカラーフィルタを通過する光の帯域幅よりも小さい
    請求項1〜7のいずれか1項に記載の画像計測装置。
  9. 所定帯域の光である広帯域光を照射し、
    前記広帯域光が照射された病理検査標本を撮像することにより、参照画像を取得し、
    前記参照画像に含まれる陽性細胞核の色の主波長を算出し、
    算出された前記主波長の光強度に基づいて、前記参照画像から陽性細胞核の画素を閾値処理により抽出するための閾値を、所定の閾値として算出し、
    前記広帯域光よりも狭い帯域の光である狭帯域光を照射し、
    前記狭帯域光が照射された病理検査標本を撮像することにより、検査画像を取得し、
    前記検査画像の画素値と前記所定の閾値とを比較することにより、前記検査画像から陽性細胞核の画素を抽出し、
    抽出された前記陽性細胞核の画素から、前記病理検査標本に含まれる細胞核に対する陽性細胞核の比率を算出し、
    算出された前記比率を出力する
    画像計測方法。
  10. 請求項9に記載の画像計測方法をコンピュータに実行させるためのプログラム。
JP2014537210A 2012-11-27 2013-10-08 画像計測装置および画像計測方法 Expired - Fee Related JP5789786B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014537210A JP5789786B2 (ja) 2012-11-27 2013-10-08 画像計測装置および画像計測方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012258613 2012-11-27
JP2012258613 2012-11-27
JP2014537210A JP5789786B2 (ja) 2012-11-27 2013-10-08 画像計測装置および画像計測方法
PCT/JP2013/005990 WO2014083743A1 (ja) 2012-11-27 2013-10-08 画像計測装置および画像計測方法

Publications (2)

Publication Number Publication Date
JP5789786B2 JP5789786B2 (ja) 2015-10-07
JPWO2014083743A1 true JPWO2014083743A1 (ja) 2017-01-05

Family

ID=50827408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014537210A Expired - Fee Related JP5789786B2 (ja) 2012-11-27 2013-10-08 画像計測装置および画像計測方法

Country Status (4)

Country Link
US (1) US9558551B2 (ja)
EP (1) EP2927684B1 (ja)
JP (1) JP5789786B2 (ja)
WO (1) WO2014083743A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004843A1 (ja) 2013-07-11 2015-01-15 パナソニックIpマネジメント株式会社 画像計測装置及び画像計測方法
DE102016203275B4 (de) * 2016-02-29 2019-07-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Bestimmung eines Defokussierungswerts und Verfahren und Vorrichtung zur bildbasierten Bestimmung einer dimensionellen Größe
CN105744281A (zh) * 2016-03-28 2016-07-06 飞依诺科技(苏州)有限公司 一种连续图像的处理方法及装置
JP7090171B2 (ja) * 2018-10-09 2022-06-23 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
CN111415357B (zh) * 2020-03-19 2023-04-07 长光卫星技术股份有限公司 一种基于彩色影像的便携式阴影提取方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593102B2 (en) 1999-10-29 2003-07-15 Cytyc Corporation Cytological stain composition
US7006674B1 (en) 1999-10-29 2006-02-28 Cytyc Corporation Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system
AU777874B2 (en) 1999-10-29 2004-11-04 Cytyc Corporation Method for verifying that a specific stain was used on a cytological sample
ES2283347T3 (es) 1999-10-29 2007-11-01 Cytyc Corporation Aparato y procedimiento para verificar la localizacion de areas de interes dentro de una muestra en un sistema de formacion de imagenes.
US6665060B1 (en) 1999-10-29 2003-12-16 Cytyc Corporation Cytological imaging system and method
US7369304B2 (en) 1999-10-29 2008-05-06 Cytyc Corporation Cytological autofocusing imaging systems and methods
US6348325B1 (en) 1999-10-29 2002-02-19 Cytyc Corporation Cytological stain composition
US6661501B1 (en) 1999-10-29 2003-12-09 Cytyc Corporation Cytological stain composition including verification characteristic
JP2005331394A (ja) 2004-05-20 2005-12-02 Olympus Corp 画像処理装置
US7587078B2 (en) 2005-05-02 2009-09-08 Cytyc Corporation Automated image analysis
WO2007089911A2 (en) * 2006-01-30 2007-08-09 The Scripps Research Institute Methods for detection of circulating tumor cells and methods of diagnosis of cancer in a mammalian subject
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
WO2008108059A1 (ja) 2007-03-01 2008-09-12 Nec Corporation 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
US8326014B2 (en) * 2007-09-28 2012-12-04 Cytyc Corporation Methods and systems for processing biological specimens utilizing multiple wavelengths
WO2012030313A1 (en) 2008-04-25 2012-03-08 James Winkelman Method of determining a complete blood count and a white blood cell differential count
US9602777B2 (en) * 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
JP2010025758A (ja) * 2008-07-18 2010-02-04 Olympus Corp 画像処理装置および画像処理方法
US20100111398A1 (en) * 2008-10-31 2010-05-06 Texas Instruments Incorporated Method and system for detection of oral sub-mucous fibrosis using microscopic image analysis of oral biopsy samples
ES2903147T3 (es) * 2009-04-27 2022-03-31 Roche Diagnostics Hematology Inc Sistemas y procedimientos para analizar líquidos corporales
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP5825641B2 (ja) * 2010-07-23 2015-12-02 国立研究開発法人産業技術総合研究所 病理組織画像の特徴抽出システム及び病理組織画像の特徴抽出方法
US8481282B2 (en) * 2010-07-23 2013-07-09 Abbott Point Of Care, Inc. Method for detecting the presence of anisotropic crystals in undiluted whole blood
JP2012122852A (ja) * 2010-12-08 2012-06-28 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
US9275441B2 (en) 2011-04-12 2016-03-01 Tripath Imaging, Inc. Method for preparing quantitative video-microscopy and associated system
JP5752985B2 (ja) * 2011-04-28 2015-07-22 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム

Also Published As

Publication number Publication date
WO2014083743A1 (ja) 2014-06-05
EP2927684B1 (en) 2018-05-30
US20140367555A1 (en) 2014-12-18
EP2927684A4 (en) 2015-12-02
EP2927684A1 (en) 2015-10-07
US9558551B2 (en) 2017-01-31
JP5789786B2 (ja) 2015-10-07

Similar Documents

Publication Publication Date Title
US10395368B2 (en) Methods and systems for assessing histological stains
US7454046B2 (en) Method and system for analyzing skin conditions using digital images
US9002077B2 (en) Visualization of stained samples
JP5789786B2 (ja) 画像計測装置および画像計測方法
US8649580B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
US20100201800A1 (en) Microscopy system
JP5165732B2 (ja) マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012122852A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10467747B2 (en) Image analysis apparatus, imaging system, surgery support system, image analysis method, storage medium, and detection system
US10485425B2 (en) Apparatus and methods for structured light scatteroscopy
JP2006084425A (ja) マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法
JP5866534B2 (ja) 画像計測装置及び画像計測方法
JP2018048841A (ja) 劣化情報取得装置、劣化情報取得システム、劣化情報取得方法及び劣化情報取得プログラム
JP6721939B2 (ja) 蛍光画像解析装置
WO2013161155A1 (ja) 画像計測装置、画像計測方法、および、画像計測用プログラム
JP7204121B2 (ja) 細胞識別装置及び細胞識別方法
JP6948032B2 (ja) 画像解析装置および検査システム
CN117546007A (zh) 信息处理装置、生物样本观察系统及图像生成方法
JP2005274238A (ja) 検査装置、検査方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150217

R151 Written notification of patent or utility model registration

Ref document number: 5789786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees