JP5866534B2 - 画像計測装置及び画像計測方法 - Google Patents

画像計測装置及び画像計測方法 Download PDF

Info

Publication number
JP5866534B2
JP5866534B2 JP2015512825A JP2015512825A JP5866534B2 JP 5866534 B2 JP5866534 B2 JP 5866534B2 JP 2015512825 A JP2015512825 A JP 2015512825A JP 2015512825 A JP2015512825 A JP 2015512825A JP 5866534 B2 JP5866534 B2 JP 5866534B2
Authority
JP
Japan
Prior art keywords
image
unit
illumination
light sources
pathological specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015512825A
Other languages
English (en)
Other versions
JPWO2015004843A1 (ja
Inventor
本村 秀人
秀人 本村
佳州 佐藤
佳州 佐藤
安比古 足立
安比古 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015512825A priority Critical patent/JP5866534B2/ja
Application granted granted Critical
Publication of JP5866534B2 publication Critical patent/JP5866534B2/ja
Publication of JPWO2015004843A1 publication Critical patent/JPWO2015004843A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Description

本発明は、医療診断又は治療の支援に用いられる画像計測装置及び画像計測方法に関する。
従来、病理標本を撮影した画像の色情報を用いて、画像処理により陰性細胞核と陽性細胞核とを特定し、陰性細胞核と陽性細胞核とを合わせた細胞核全体に対する陽性細胞核の占める数又は面積の割合を示す陽性率を算出する技術が提案されている(例えば、特許文献1参照)。
さらに、特許文献2は、病理標本を撮影するカメラの入出力特性のばらつきに影響されることなく、病理標本そのものの色情報である分光分布を計測できる技術を開示する。
国際公開第2008/108059号 特開2004−286666号公報
しかしながら、従来の技術では、病理標本の色のばらつきに対応できない。病理標本の色は、標本作製における固定液の濃度、固定時間、染色時間、室温及び湿度など、様々な要因で決まる。また、病理標本を作製する施設が異なれば、利用している試薬又は装置が異なるため、施設によっても病理標本の色はばらつく。このため、安定して細胞核を抽出することができず、精度良く陽性率を算出することができない。
本発明は上述の問題を解決するためになされたもので、標本作製の差異が原因で発生する病理標本の画像の色の違いを吸収し、陽性細胞核及び陰性細胞核などの特定の対象を安定して抽出でき、適切に陽性率を算出できる画像計測装置及び画像計測方法を提供する。
本発明の一態様に係る画像計測装置は、出射光のピーク波長が互いに異なる複数の光源を含む照明部と、検査用病理標本の染色方法を示す情報を取得する染色方法取得部と、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得部により取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得する画像取得部であって更に、参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得する画像取得部と、前記画像取得部により取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出部と、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出する正規直交化部と、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けて、前記照明情報として記憶媒体に格納する評価部とを備える画像計測装置である。
また、本発明の一態様に係る画像計測方法は、出射光のピーク波長が互いに異なる複数の光源を含む照明部から照射した光により画像の撮影を行う画像計測方法であって、参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得し、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出し、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けることにより、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報を記憶媒体に格納するステップと、検査用病理標本の染色方法を示す情報を取得する染色方法取得ステップと、前記照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得ステップにおいて取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得る画像取得ステップと、前記画像取得ステップにおいて取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出ステップと含む画像計測方法である。
本発明によると、陽性細胞核及び陰性細胞核などの特定の対象を安定して抽出することができ、これにより高精度で陽性率を算出することができる。
図1は、実施の形態1に係る画像計測装置の構成を示すブロック図である。 図2Aは、380nmから780nmの可視光域を16個の狭帯域に分割した例を示す図である。 図2Bは、照明の半値幅を示す図である。 図2Cは、積分球を用いた照明部の構成を示す図である。 図3は、陽性細胞核と陰性細胞核の分光分布の一例を示す図である。 図4は、分光分布の形に応じたLED(Light Emitting Diode)照明の波長選択を説明するための図である。 図5は、病理標本の分光分布を説明するための図である。 図6Aは、16個のLED光の波長帯域を示す図である。 図6Bは、5つのLEDの組み合わせと評価値qとの例を示す図である。 図7は、画像取得部の構成の一例を示す図である。 図8は、画像計測装置の動作を示すフローチャートである。 図9は、染色方法番号を説明するための図である。 図10は、照明の組み合わせ決定処理を示すフローチャートである。 図11は、実施の形態2に係る画像計測装置の構成を示すブロック図である。 図12は、画像データの上位ビットを有効データとする一例を説明するための図である。 図13は、他の実施の形態に係る画像計測装置の構成を示すブロック図である。
(本発明の基礎となった知見)
医療における診断業務は病名と病状の把握が目的であり、病名又は病状に応じて治療方針が決定される。病名又は病状を確定するためには、病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。病理診断では、摘出した検体を顕微鏡で観察できる厚みにスライスすることにより病理標本が作製される。病理標本は顕微鏡越しにデジタルカメラ又はスキャナで撮影され、デジタル化された画像(画像データ)として保存及び参照される。
以上のように診断用の画像がデジタル化されることで、コンピュータによるデータ処理との整合性が高まり、医師又は技師の診断業務をIT(Information Technology)システムを用いて支援できる機会が増えてきた。CAD(Computer Aided Detection)はその一例であり、病変部の検出にコンピュータを活用する方法である。
例えば、乳癌における内分泌療法の効果は、細胞核を染めることにより抽出されるER(エストロゲン受容体:estrogen receptor)陽性細胞核、PgR(プロゲステロン受容体:progesterone receptor)陽性細胞核、Ki−67陽性細胞核などの陽性細胞核の細胞核全体に対する占有率(以降、「陽性率」と呼ぶ)などで判断できる。そこで、病理医は顕微鏡観察で目視により細胞核の個数を数え、その中で陽性細胞核の個数を数え、陽性細胞核が細胞核全体に対して占める割合から陽性率を算出する。しかし、目視による数え上げは、見落とし、及びダブルカウントなどの原因となり、信頼性に問題がある。病理医は、病理標本のプレパラートを移動させながら、顕微鏡を用いて病理標本の一部を拡大し、病理標本を複数箇所で観察するのが常である。仮に、一視野で500個の細胞核をカウントし、視野を4つ取った場合は、カウント数が2000回に達する。このため、作業精度の問題のみならず、病理医に掛かる作業負担が大きいという問題もある。
そこで、特許文献1は、病理画像の色情報を用いて、画像処理により陰性細胞核と陽性細胞核を特定し、陽性率を算出する技術を開示している。つまり、茶色の陽性細胞核と青色の陰性細胞核を抽出してカウントし、カウント値から陽性率を算出している。茶色の陽性細胞核と青色の陰性細胞核は、色相情報、彩度情報及び明度情報を用いて抽出される。
しかしながら、従来の技術では、病理標本の色のばらつきに対応できない。病理標本の色は、標本作製における固定液の濃度、固定時間、染色時間、室温及び湿度など、様々な要因で決まる。また、病理標本を作製する施設が異なれば、利用している試薬又は装置が異なるため、施設によっても病理標本の色はばらつく。
色情報を用いて陽性細胞核と陰性細胞核を抽出するにあたって、茶色を示す色相、彩度及び明度のそれぞれの数値範囲、青色を示す色相、彩度及び明度のそれぞれの数値範囲を決める必要がある。しかし、対象とする病理標本の色が変化すると、安定して陽性細胞核及び陰性細胞核を抽出することができず、精度良く陽性率を算出することができない。
このような問題を解決するために、本発明の一態様に係る画像計測装置は、出射光のピーク波長が互いに異なる複数の光源を含む照明部と、検査用病理標本の染色方法を示す情報を取得する染色方法取得部と、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得部により取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得する画像取得部であって更に、参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得する画像取得部と、前記画像取得部により取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出部と、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出する正規直交化部と、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けて、前記照明情報として記憶媒体に格納する評価部とを備える画像計測装置である。
上記構成により、病理標本の画像撮影に必要な光源の組み合わせを病理標本の染色方法に応じて選定するので、病理標本の分光分布に適した光源の組み合わせが選定できる。このため、画像において陽性細胞核、陰性細胞核、細胞質などの識別を安定的に実行でき、これにより適切に陽性率を算出することができる。
こで、係数の和は、係数の大きさの和を意味し、例えば、正負の符号を勘案して係数の二乗の和等として表現できるものを包含する概念である。
この構成によると、分光分布ベクトルを正規直交基底ベクトルの線形和で表現している。このため、線形和に含まれる正規直交基底ベクトルの係数の和である評価値が大きいほど、照明部の分光分布をより正確に表していると判断できる。このため、評価値に基づいて光源の組み合わせを決定することで、検査用病理標本の分光分布に適した最適な光源の組み合わせを特定できる。
また、前記評価部は、前記評価値が基準値を超える光源の組み合わせのうち光源の個数が最小である組み合わせを前記参照用病理標本の染色方法と対応付けて、前記照明情報として格納することとしても良い。
これにより、検査用病理標本の画像の画質を高く保ちつつ画像の撮影に用いる光源の個数を抑えることができ、画像(画像データ)の取得を効率的に行える。
また、前記正規直交化部は更に、前記画像取得部により取得された検査用画像から複数の分光分布ベクトルを形成し、当該複数の分光分布ベクトルから正規直交基底ベクトルを算出し、前記評価部は更に、前記照明部の分光分布を前記検査用画像から算出された前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値を算出し、前記画像計測装置は更に、前記参照用画像から算出される前記評価値と前記検査用画像から算出される前記評価値との差分が閾値よりも大きいか否かを判断する染色精度評価部と、前記差分が前記閾値よりも大きい場合に、前記照明部、前記画像取得部及び前記算出部に処理の停止指示を送信する制御部とを備えることとしても良い。
参照用病理標本と比べて、検査用病理標本の染色の状態などが異なると、両標本の画像データから得られる評価値の値が異なってくる。このため、両評価値の差分が閾値より大きくなった場合には、染色不良と判断できるため、処理を停止させることができる。よって、精度の低い陽性率を算出することがなくなる。
また、前記正規直交化部は、前記参照用画像からの前記分光分布ベクトルの形成及び前記検査用画像からの前記分光分布ベクトルの形成に際して、画像を構成する各画素データについて下位から所定ビット数のデータを除いた上位のビットデータを用いて当該分光分布ベクトルの形成を行うこととしても良い。
画像データの各画素の下位から所定ビット数は照明の変動やイメージセンサのノイズの影響を受ける。このため、下位から所定ビット数のデータを使わずに、上位ビットを用いて正規直交基底ベクトルを算出することにより、ノイズ等の影響を受けることなく、検査用病理標本の陽性率を正確に算出できる。
また、前記画像取得部は、前記検査用病理標本が載置される光電変換素子を含み、前記照明部から照射されて前記検査用病理標本を透過した光を前記光電変換素子が受光することにより、前記検査用画像の前記取得を行うこととしても良い。
この構成によると、検査用病理標本の分光情報をダイレクトに計測でき、陽性率を正確に算出できる。
また、本発明の一態様に係る画像計測方法は、出射光のピーク波長が互いに異なる複数の光源を含む照明部から照射した光により画像の撮影を行う画像計測方法であって、参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得し、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出し、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けることにより、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報を記憶媒体に格納するステップと、検査用病理標本の染色方法を示す情報を取得する染色方法取得ステップと、前記照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得ステップにおいて取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得る画像取得ステップと、前記画像取得ステップにおいて取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出ステップと含む画像計測方法である。
これにより、病理標本の画像撮影に必要な照明部の光源の組み合わせを病理標本の染色方法に応じて選定するので、病理標本の分光分布に適した光源の組み合わせが選定でき、適切に陽性率を算出することができる。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の1つ又は複数の組み合わせが含まれる。
以下、図面を参照して実施の形態を詳細に説明する。
ここで示す実施の形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ(工程)及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
(実施の形態1)
本実施の形態では、病変部の検体から作製された病理標本に含まれる陽性細胞核と陰性細胞核の分光分布のみを捕らえることで、標本作製の差異が原因で発生した色の違いに左右されず陽性核、陰性核等を識別して陽性率を算出できる画像計測装置について説明する。
(構成)
図1は、実施の形態1に係る画像計測装置の構成を示すブロック図である。
画像計測装置100は、照明部101、画像取得部102、メモリ部103、照明情報格納部105、算出部106、制御部107、染色方法取得部110、正規直交化部112、及び評価部113を備える。画像計測装置100は、検査対象の病理標本150(検査用病理標本)が呈する陽性率111を検出する。病理標本150は、人体等の病変部から摘出された検体を、照明部101からの光を透過できる厚み(例えば4μm)にスライスし、染色することにより作製される。
以下、画像計測装置100の各構成要素について説明する。
照明部101は、出射光のピーク波長(中心波長)が互いに異なる複数の光源(LED)を含み、各光源を逐次選択的に用いて単色光に近い狭帯域光108を病理標本150に照射する。図2Aは、380nmから780nmまでの400nmの可視光域201の帯域を16個の狭帯域に分割した例を示している。例えば、図2Bに示すように、1つの光源(LED)の半値幅202は、概ね25nm(=400nm/16帯域)となる。中心波長203が異なる16個のLEDを並べると空間位置の違いが照明むらにつながる場合がある。このため、図2Cに示すように、16個のLED205を、反射率の高い粉末等を内側全面に塗った積分球204で覆うことにより、空間位置の違いによる照明むらを解消する。なお、ここでは、照明部101は、複数のLEDを含むものとして説明するが、狭帯域の照明部材(狭帯域照明)であればLED以外の照明部材を複数含むこととしても良い。
制御部107は、16個のLEDのうち、どれを使うかを病理標本の染色方法に応じて照明部101へ指示する。病理標本は概ね、細胞核と細胞質とからなる。ヘマトキシリン・エオジン染色はこの2つを青色と赤色とに染め分ける。免疫染色では、抗体を用いて病理標本中の抗原が検出される。例えば、Ki67染色は細胞増殖と細胞周期のマーカーであり、Ki67染色によると、休止期以外のG1期、S期、G2期及びM期で陽性染色が得られる。そこで、細胞核は陽性細胞核(以下、「陽性核」ともいう。)(茶色)と陰性細胞核(以下、「陰性核」ともいう。)(青紫色)とに分けられ、細胞質と合わせて、病理標本は概ね3つの要素に分けられる。図3に示す分光分布401は、茶色の陽性核402と青紫色の陰性核403との分光分布の例である。陽性核402は茶色を呈し、長波長側にピークがある。そこで、帯域404の光により照明して撮影することで陽性核の詳細を、デジタル化された画像データ109として取得できる。一方、陰性核403は青紫色を呈し、短波長側にピークがある。そこで、帯域405の光により照明して撮影することで陰性核の詳細を画像データ109として取得できる。図3の例では、帯域404及び帯域405ともに5つの山があり、陽性核と陰性核とをともに十分な画質で撮影するには、10種類のLEDを切り替えて照射し、10回撮影することになる。
病理診断の作業性を考慮すれば、撮影回数は少ない方が好ましい。一方、照射する照明光の種類(波長帯域が異なる狭帯域光の数)を少なくすると、細胞核の詳細を捉えることができない。撮影回数の最小化と撮影画像の画質の良さとを両立するには、分光分布401の形を表わす特徴的な波長を選ぶ必要がある。例えば、図4に示すように、陽性核402のピーク波長501のLED光を照射すると、陽性核402の光強度が高くなり、陰性核403との違いを明確にできる。また、陰性核403のピーク波長502のLED光を照射すると、陰性核403の光強度が高くなり、陽性核402との違いを明確にできる。
さらに、病理標本150は陽性核及び陰性核以外にも細胞質などを有する。図4においては、陽性核402と陰性核403以外に、細胞質601の分光分布の一例を記した。細胞質601は波長503をピーク波長とするため、波長503は細胞質601の特徴を捉えるに相応しい波長である。しかし、波長503では、陽性核402と陰性核403とはほぼ同じ光強度となる。そこで、波長503に波長504と波長505とを加えると、陽性核402と陰性核403の山の形がよりはっきりしてくる。
以上のように、分光分布401の形に応じてLEDの波長を選択することで撮影回数の最小化と撮影画像の画質の良さとを両立できる。即ち、区別すべき対象(陽性核、陰性核、細胞質等)に適するように、中心波長の異なる複数の光源(LED等)のうちの一部の組み合わせを選択することで、撮影回数の最小化と撮影画像の画質の良さとを両立できる。
画像計測装置100においては、病理標本を作製する各種の染色方法それぞれについて、式1を用いた線形性の評価によって、客観的にLED(狭帯域の照明部材)の選択を行っている。即ち、染色された病理標本150の分光分布を正規直交基底ベクトルe(i=1〜n)の線形和で表し、これを最も正確に表現できる狭帯域光の光源(LED)の組み合わせを求める。このように選択されたLEDの組み合わせは、染色方法毎に照明情報格納部105に格納されて、個別にある1つの検査用病理標本について陽性率を算出するための画像計測に際して利用されることになる。なお、以下、染色方法と対応付けられたLEDの組み合わせを示す情報を照明情報という。
Figure 0005866534
ここで、ベクトルSは病理標本150の分光分布を示す分光分布ベクトルである。分光分布を、例えば、16点、24点、36点、41点などの測定点で離散化し、16次元ベクトル、24次元ベクトル、36次元ベクトル、41次元ベクトルとして表現する。図4では、陽性核、陰性核及び細胞質のそれぞれの分光分布を重ね合わせ表示した。病理標本150の分光分布はこれらの和として計測されるため、図5に示す分光分布407のような形状となる。
一方、式1の右辺は、病理標本150の分光分布ベクトルを正規直交基底ベクトルe(i=1〜n)の線形和で表現する。正規直交基底ベクトルe(i=1〜n)は式2の固有ベクトルB(i=1〜n)として算出される。
Figure 0005866534
ここで、Dは分光分布ベクトルの分散共分散行列、λ(i=1〜n)は固有値である。分散共分散行列Dは式3で与えられる。これは、例えば各狭帯域光を照射して撮影された複数画像において、複数の画素位置での画素データについての分散に基づくものである。また、固有値λは式4をλについて解くことで得られ、値の大きい解から順にλ、λ、λ・・・とする。なお、固有値λ(i=1〜n)は、式1における重みa(i=1〜n)と同じ値である。
Figure 0005866534
Figure 0005866534
ここで、d は共分散、dは分散である。式2から式4では、可視光域を380nmから780nmまでの400nmとし、可視光域を10nmごとに離散化した41次元ベクトル(n=41)としている。
正規直交基底ベクトルである固有ベクトルB(i=1〜n)は、互いに直交しており、互いに他を表現できない独立の関係にある。一方、物理的に病理標本150における独立な要素は、陽性核、陰性核、細胞質であり、病理標本150の分光分布407は、陽性核、陰性核、細胞質に起因した3つの正規直交基底ベクトルe、e、eの線形和で表現できる。そこで、式1の右辺を3つの正規直交基底ベクトルe、e、eの線形和とし、これに最も類似する狭帯域照明の分光分布を求めれば、最適なLEDの組み合わせを評価できる。
そこで、ベクトルSの代わりに、LEDを組み合わせた分光分布を与え、係数a、a、aを算出し、式5を計算する。
Figure 0005866534
評価値qが1になった場合、病理標本の分光分布はLEDの組み合わせで完全に表現できることを意味する。一方、評価値qが1未満となった場合は、4つ以上の正規直交基底ベクトルeが必要であることを意味し、病理標本150が有する分光分布に対して、必要な帯域を照らしていない、あるいは、余分な帯域を照らしている、ことを意味する。この評価値qをLEDのすべての組み合わせに対して計算し、評価値qが最大を示したLEDの組み合わせを選択すれば、撮影画像の画質が最も高くなる。このように評価値qは撮影画像の画質を表す指標となる。
例えば、16個のLEDの中から5個のLEDを使い、LEDの光を病理標本150に照射して病理標本150を撮影することを5回繰り返すことで画像データ109を得る場合は、次のようすると良い。即ち、図6Aに示すように、16個のLEDの中から5個を取り出す組み合わせのすべてについて、式1を計算し、式5の評価値qが最大になるLEDの組み合わせを見つければ良い。図6Bの表1101はLEDの組み合わせに対する評価値qの例を示し、この例ではLED照明番号が4番、6番、9番、12番、14番の5つのLEDが最適な組み合わせであると判明した。
以上の方法で算出されたLEDの組み合わせは、照明情報として照明情報格納部105に格納される。病理標本を作製する染色方法は50種類ほど存在し、染色方法ごとに正規直交基底ベクトルeが算出される。制御部107は、照明情報格納部105の照明情報に基づいて、染色方法に応じて最適なLEDの組み合わせを読み出し、照明部101に照明のオン、オフを指示する。
図6A及び図6Bの例であれば、4番のLED光を病理標本150に照射して1回目の撮影を画像取得部102で行い、メモリ部103に画像データ109が書き込まれる。引き続き、6番のLED光を病理標本150に照射して2回目の撮影を画像取得部102で行い、メモリ部103に画像データ109が書き込まれる。引き続き、9番、12番、14番のLEDについても同様の処理が行われ、計5回の処理が繰り返される。メモリ部103は、5枚の画像データ109が書き込まれた後、制御部107からの指示に従い、算出部106へ5枚の画像データ109を出力する。
なお、式5の評価値qの大小は、撮影画像の画質を表わす(評価値qが大きいほど画質が良いことを表す)ため、病理標本150の分光分布に対する狭帯域照明の適正度と言える。そこで、あらかじめ狭帯域照明の適正度に対して基準値qtを設定し、基準値qtを超えるLEDの組み合わせが見つかったら、その時点で照明の評価を完了しても構わない。
なお、式5において、係数を3つ用いたのは一例であり、本発明は式5の係数の数に制限を与えず、任意である。例えば、細胞の構成要素の1つとしてリボソーム(Ribosome)を加えた場合は、構成要素は4つとなる。その他、部位によっては骨や赤血球なども染色されるため、式1の右辺の正規直交基底ベクトルを何個使うのかは対象や利用方法に依存する。
正規直交化部112は、染色された病理標本150の分光分布を、式2を用いて正規直交化する。染色された病理標本150分光分布は、照明部101のすべてのLEDを時分割で点灯させることにより計測される。
図6Aの例であれば、照明部101の16個のLEDをすべて時分割で点灯させて、病理標本150を16回撮影することにより、病理標本150の分光分布が計測される。
評価部113は、式5を用いて、LEDの全組み合わせに対する線形性を評価し、評価値qの最大値を検出する。この結果に基づいて、評価部113は、染色方法毎について最適なLEDの組み合わせを照明情報として照明情報格納部105に格納する。
画像取得部102は、図7に示すように、光電変換素子の一例であるフォトダイオード301からなるイメージセンサ302である。イメージセンサ302上に病理標本150が載置され、狭帯域光108が照射された状態で、画像取得部102が病理標本150を撮影することにより、画像データ109を取得する。照明部101とフォトダイオード301との間には、病理標本150だけが存在する。このため、イメージセンサ302は、病理標本150の分光特性を正確に計測できる。レンズを使った撮像系は収差を有するため、分光計測に誤差が混入する。なお、画像取得部102は、図7に示した方式とは異なる、任意のイメージセンサであっても良い。
算出部106は、病理標本150(検査用病理標本)についての画像データ109(検査用画像)に基づいて、陽性細胞核の細胞核全体に対する占有率である陽性率を算出する。この陽性率の具体的な算出の方法としては、例えば、陽性核と判定された画素の数(陽性核の面積の和)を、陽性核あるいは陰性核と判定された画素の数(陽性核及び陰性核の面積の和)で割った値を陽性率111として算出する方法が挙げられる。また、例えば、算出部106は、陽性核の個数の和を、陽性核及び陰性核の個数の和で割った値を陽性率111として算出しても良い。また、算出部106は、病理標本150において予め定めた基準を満たす一定範囲の領域について、陽性率を算出しても良い。
染色方法取得部110は、病理標本150(検査用病理標本)の染色方法が何であるか示す情報の入力を受け付けてその染色方法の情報を制御部107へ提供する。
なお、画像計測装置100の算出部106、制御部107、染色方法取得部110、正規直交化部112、及び評価部113は、メモリ、プロセッサ等を備えるコンピュータにより実現される。即ち、メモリに格納された制御プログラムをプロセッサが実行することにより、算出部106、制御部107、染色方法取得部110、正規直交化部112、及び評価部113の各機能が実現される。また、メモリ部103は、メモリで実現され、照明情報格納部105は、メモリ、ハードディスクその他の記憶媒体で実現される。
(動作)
以下、上述の構成を備える画像計測装置100の動作について説明する。
図8は、画像計測装置100の動作を示すフローチャートである。
画像計測装置100の動作は二段階に分かれ、第一段階の準備モード701では、病理標本150の撮影に用いるLEDの組み合わせを決定し、具体的には決定した組み合わせで示されるLEDの番号を照明情報として照明情報格納部105に格納する。また、陽性核、陰性核、細胞質を識別するための閾値を決定し、決定した閾値を、染色方法と対応付けて閾値格納部114に格納する。第二段階の実行モード702では、算出部106が陽性率111を算出する。
第一段階の準備モード701はS1からS8に相当する。また第二段階の実行モード702はS9からS14に相当する。
なお、第一段階の準備モード701は、1又は複数の染色方法それぞれについて、その染色方法で作製された参照用病理標本について、撮影に用いるLEDの組み合わせを照明情報として照明情報格納部105に格納し、上述の陽性核等を識別するための閾値を閾値格納部114に格納するために繰り返し実行されても良い。そしてその後に、個別的に任意の検査用病理標本について、陽性率111の算出のために第二段階の実行モード702が行われることとしても良い。この場合は、第二段階の実行モード702は、陽性率111を算出すべき検査用病理標本毎に実行されることとしても良い。なお、参照用病理標本は、実際に検査の対象とされる病理標本(検査用病理標本)であっても、実際に検査の対象とされない病理標本であっても良い。
まず、第一段階の準備モード701として、画像計測装置100の制御部107は、病理標本150の染色方法を照明情報格納部105に書き込む(処理ステップS1)。図9に示すように、染色方法801毎に染色方法番号802が対応付けられており、制御部107は、染色方法801として染色方法番号802を、照明情報格納部105に書き込む。なお、検査用病理標本150が染色された染色方法と対応する染色方法番号802は、画像計測装置100の操作者等により入力されて、制御部107はこの入力された染色方法番号802を照明情報格納部105に書き込むこととしても良い。
次に制御部107は、陽性核、陰性核、細胞質の分光分布を計測するために、正規直交化部112に最大撮影回数を伝える(処理ステップS2)。図5の場合であれば、LEDは16種類あるため、16の測定点からなる分光分布となり、最大撮影回数は16回となる。この最大撮影回数に達するまで狭帯域照明(LED)を逐次点灯して病理標本150(参照用病理標本)の撮影が行われる。正規直交化部112は、後述するように、撮影回数が最大撮影回数に達したら、メモリ部103から画像データ109を読み込む。
撮影回数が最大撮影回数に達するまで、制御部107の制御下で、処理ステップS3及びS4が繰り返し行われる。即ち、制御部107は、照明部101に点灯する照明の番号を伝え、照明部101は該当する狭帯域照明を点灯する(処理ステップS3)。つまり、制御部107は、16種類のLEDのうち、未点灯のLEDを点灯するように照明部101に指示を出す。照明部101は、指示されたLEDを点灯する。また、制御部107は、画像取得部102に撮影指示を出し、画像取得部102は、病理標本150を撮影し、撮影の結果得られる画像データ109をメモリ部103へ書き込む(処理ステップS4)。こうして撮影回数が最大撮影回数に達するまでは、狭帯域照明(LED)が切り替えられ、次の撮影が行われる。
撮影回数が最大撮影回数に達したら(処理ステップS5でYES)、正規直交化部112は、メモリ部103に保存した画像データ109を読み込む(処理ステップS6)。また、正規直交化部112は、式2を計算して、病理標本150の分光情報を基底ベクトルに変換する。図4に示したように、陽性核、陰性核、細胞質のそれぞれの分光分布を計測する必要がある。そこで、事前に病理標本150の画像(参照用画像)上で陽性核、陰性核及び細胞質の位置を調べておき、陽性核に相当する部分の画素値を集めて陽性核の分光分布を求める。陰性核と細胞質についても同様である。したがって、第一段階の準備モード701で用いる病理標本150は参照用病理標本である。実際の検査の対象となる検査用病理標本は、第二段階の実行モード702において用いられる。なお、参照用病理標本は、染色に影響を与える条件を変えて複数、作製する。例えば、固定液の濃度、固定時間、染色時間、室温及び湿度などを変えて複数の標本を作製する。また、病理標本を作製する施設によって、利用している試薬又は装置が異なるため、複数施設から標本を集めることも有効である。
次に、評価部113は、式5を計算して線形性の最も高い光源の組み合わせを決定する(処理ステップS7)。照明の分光分布であるベクトルSは狭帯域照明(光源)の組み合わせで与えられる。そこで、狭帯域照明であるLEDの個数を決めておく。これは第二段階の実行モード702における最大撮影回数であり、制御部107は、この最大撮影回数を評価部113に伝える。例えば病理標本150(検査用病理標本)が図3の場合であれば、第二段階の実行モード702の最大撮影回数は5回である。このため、評価部113は、5種類のLEDの組み合わせのそれぞれの組み合わせについて、式5に示す評価値qを計算し、評価値qが最大となる5種類のLEDの組み合わせを選択する。評価部113は、選択した5種類のLED番号を照明情報格納部105に格納する。これにより、第二段階の実行モード702において、例えば、1回目の撮影は図6Aに示す4番の帯域の照明を使い、2回目の撮影は6番の帯域の照明を使い、3回目の撮影は9番の帯域の照明を使う、といった形になる(図6B参照)。そして、照明情報格納部105において、処理ステップS1で書き込まれた染色方法(染色方法番号)と処理ステップS7で書き込まれたLEDの組み合わせ(LED番号)とが対応して照明情報を構成する。
なお、処理ステップS7で、狭帯域照明であるLEDの個数(組み合わせるLEDの個数)を例えば5個(つまり第二段階の実行モード702における最大撮影回数が5回)と固定的に決める他に、次のように、LEDの個数を動的に決める方法を用いても良い。図10は、この方法を用いた照明の組み合わせ決定処理を示すフローチャートである。同図に即して照明の組み合わせ決定処理について説明する。
評価部113は、狭帯域照明であるLEDの個数の初期値を設定する(処理ステップS21)。例えば上述のように病理標本150が図3の場合であれば5個と設定する。なお、初期値を一律に2個等といった小さい個数にしておいても良い。そして、評価部113は、照明(LED)の各組み合わせについて式5に示す評価値qを計算する(処理ステップS22)。評価部113は、計算した評価値qのうち最大のものを、あらかじめ設定された基準値qtと比較し(処理ステップS23)、最大の評価値qが基準値qtを超えていなければ、組み合わせる照明(LED)の個数を1増加する(処理ステップS24)。例えば、5個を1個増加して6個にする。そして、評価部113は、1増加した個数(例えば6個)のLEDの各組み合わせについて再び式5に示す評価値qを計算する処理ステップS22を実行する。処理ステップS23において最大の評価値qが基準値qtを超えると判定するまで、評価部113は、処理ステップS24及びS22を繰り返す。処理ステップS23において最大の評価値qが基準値qtを超えると判定すると、評価部113は、最大の評価値qに対応する照明(LED)の組み合わせを決定してその各LEDの番号を照明情報格納部105に格納する(処理ステップS25)。これは、つまり評価値qが基準値qtを超える光源の組み合わせのうち光源の個数が最小である組み合わせを決定している。このようにすることで、画像の画質を基準以上に高く保ちつつ画像の撮影に用いる光源の個数を抑えることができる。
以下、再び図8のフローチャートに即した説明に戻る。
処理ステップS7に続いて、算出部106は、陽性核、陰性核、細胞質を識別する閾値を決定し、閾値格納部114に格納する(処理ステップS8)。閾値は染色方法ごとに設定される。閾値の決定方法で任意であるが、一般的に識別したい複数の対象の分光分布から最も離れた位置に閾値は設定される。例えば、図3の場合、閾値406は、帯域404及び帯域405ともに陽性核402と陰性核403の分光分布の中間地点にある。このため、閾値406を用いることにより、安定的に陽性核402と陰性核403とを分離することができる。また、第二段階の実行モード702において、5種類のLEDを使った5枚の画像(検査用画像)が撮影されるが、そのうちの1枚だけを使って閾値処理を行うのか、複数枚の画像を加算した結果の画像を使って閾値処理を行うのかについては任意である。本発明が保証するのは、検査に用いられる染色された病理標本150の分光分布を正確に取得する点にあり、分光分布に対する閾値処理は任意の方式を適用できる。
処理ステップS9から第二段階の実行モード702に入り、制御部107がその管理を行う。
第二段階の実行モード702では、個別的に任意の病理標本150(検査用病理標本)について陽性率の算出が行われる。
まず、染色方法取得部110は、外部から染色方法の入力を受け付け、制御部107に染色方法を伝える(処理ステップS9)。例えば、画像計測装置100の操作者等によりその陽性率を算出すべき病理標本150についての染色方法に対応する染色方法番号(図9参照)が入力されて、染色方法取得部110は、この入力された染色方法番号を制御部107に伝える。
次に、制御部107は、照明情報格納部105から、染色方法取得部110が受け付けた染色方法(染色方法番号)に対応する照明方法、つまり5種類のLEDの組み合わせを取得する(処理ステップS10)。
そして、撮影回数が最大撮影回数(LEDの組み合わせ数、ここでは5回)に達するまで、制御部107の制御下で、処理ステップS11及びS12が繰り返し行われる。即ち、制御部107は、処理ステップS10で取得したLEDの組み合わせに従って、照明部101に点灯する照明の番号(LEDの組み合わせのうち未点灯のLEDの番号)を伝え、照明部101は該当する狭帯域照明を点灯する(処理ステップS11)。つまり、制御部107は、取得した5種類のLEDのうち、未点灯のLEDを点灯するように照明部101に指示を出す。照明部101は、その指示に呼応して、指示された1種類のLEDを点灯する。また、制御部107は、画像取得部102に撮影指示を出し、画像取得部102は、病理標本150を撮影し、撮影の結果得られる画像データ109(検査用画像)をメモリ部103へ書き込む(処理ステップS12)。こうして撮影回数が最大撮影回数に達するまでは、狭帯域照明(LED)が切り替えられ、次の撮影が行われる。
撮影回数が最大撮影回数に達したら(処理ステップS13でYES)、制御部107の制御下で、算出部106が、病理標本150(検査用病理標本)における陽性率を算出する(処理ステップS14)。具体的には、制御部107は、算出部106に染色方法(染色方法番号)を伝え、算出部106は、染色方法に対応した閾値を閾値格納部114から読み出す。そして、算出部106は、メモリ部103に保存されたすべての画像データ109を読み出す。算出部106は、読み出した画像データ109を読み出した閾値を用いて閾値処理することにより、陽性核と陰性核とを判定する。算出部106は、陽性核と判定された画素の数(陽性核の面積の和)を、陽性核あるいは陰性核と判定された画素の数(陽性核及び陰性核の面積の和)で割った値を陽性率111として算出する。
本実施の形態によると、病理標本の分光分布を正規直交基底ベクトルの線形和で表し、これを最も正確に表現できる狭帯域照明光の組み合わせを得ることができる。そこで、病理標本の作製過程の違いで生じた色の違いに左右されずに、固定的な閾値データベースを使って陽性率を算出できる。
(実施の形態2)
本実施の形態では、実施の形態1で示した画像計測装置100の一部を変形した画像計測装置1000について説明する。本実施の形態では、特に、照明やイメージセンサの特性に左右されず、病理標本の染色状態を正確に把握して陽性率を計測できる。
図11は、実施の形態2に係る画像計測装置の構成を示すブロック図である。なお、図1と同様の部分については同じ符号を付し、詳細な説明を省略する。
画像計測装置1000は、図1に示した画像計測装置100の構成に加え、さらに、染色精度評価部1001を備える。
染色精度評価部1001は、照明やイメージセンサのノイズ特性を評価する。即ち、染色精度評価部1001は、式5の評価値qに基づいて、検査対象としての病理標本150(検査用病理標本)の染色精度を評価する。前述したように、式5の評価値qは照明の帯域を決めるために利用される。具体的には、画像取得部102に参照用病理標本が設置され、式5の評価値qが最大になるLEDの組み合わせが特定される。そこで、仮に、検査用病理標本の染色状態が参照用病理標本と異なれば、検査用病理標本に対する評価値qは最大値を取り得ない。このような性質を利用して、参照用病理標本を用いて照明に使うLEDを決めた際に算出した評価値qを照明情報格納部105に格納しておき、染色精度評価部1001は、照明情報格納部105に格納された評価値qと、検査対象の病理標本(検査用病理標本)から算出された評価値qとを比較して、病理標本150(検査用病理標本)の染色精度を評価する。即ち、染色精度評価部1001は、2つの評価値qの差分が閾値より大きい場合は、染色不良と判断し、制御部107は陽性率の計測プロセスを停止し、標本の再作製を指示する。この計測プロセスの停止は、例えば、照明部101、画像取得部102及び算出部106に制御部107が処理の停止指示を伝えて、停止指示を受けた各部は処理を停止することにより実現される。一方、評価値qの差分が閾値以下の場合は、染色のばらつきは許容範囲内と判断して陽性率の算出へステップを進める。なお、閾値は、染色精度として許容できる範囲の上限を示すように予め定めておく。
なお、病理標本150(検査用病理標本)の画像データ(検査用画像)に対する評価値qは、参照用病理標本の画像データ(参照用画像)から評価値qを算出するのと同様の方法により算出される。
以上の方法で病理標本の染色のばらつきを掴むことができるが、照明の変動やイメージセンサのノイズに影響を受けてはならない。
そこで、図12に示すように、画像データ109を構成する各画素データの上位ビットのみを有効データとして利用することが有用である。画像取得部102による撮影で生成される画像データ109は、2次元配列された画素データの集合である。ここでは、仮に、画像データ109における各画素データのビット深さ(ビット長)を14ビットとする。メモリ部103には、14ビット階調で画像データ109(画素データの集合)が記録される。
照明の揺らぎやイメージセンサのノイズ等は通常微小であるため、これらは、14ビットデータの例えば下位3ビット(1101)に現れる。このため、画像データ109の各画素データにおいて10進数の整数値で0から7の大きさをノイズと見なす。即ち、画像データ109の各画素の14ビットデータのうち、上位11ビットのみを有効とする。さらに、下位4ビット目(1102)を許容レベルとみなし、誤差を抑えるべく有効データから外しても良い。この場合には、各画素における上位10ビット(1103)のデータが画像データ109として有効となる。なお、上述した画像データ109のビット数やノイズレベル、許容レベルの各値は一例にすぎず、他の値であっても良い。
本実施の形態によると、標本作製の差異が原因で発生する病理標本の色の違いを吸収し、高精度で陽性率を算出することができる。特に、病理標本の作製ばらつきと計測機器(照明やイメージセンサなど)の誤差を分離できる。また病理標本のばらつきを数値で表現でき、定量的かつ客観的に病理診断を支援できる。
(他の実施の形態)
以上のように、本発明の実施態様の例として、実施の形態1及び2を説明した。しかしながら、上述した各実施の形態は一例にすぎず、本発明はこれらの実施の形態に限定されるものではない。本発明の実施態様には、上述した各実施の形態で示した構成要素及び機能について当業者が思いつく各種変更、置き換え、付加、省略等を施した形態、各構成要素及び機能を任意に組み合わせることで実現される形態等も含まれる。
実施の形態1及び2で示した画像計測装置の各構成要素の2以上を統合し、又は1つを複数の構成要素(機能部)に分割しても良い。例えば、画像取得部102及び制御部107は、次のような画像取得部20として実現されることとしてもよい。即ち、染色方法毎に複数の光源のうち一部の組み合わせを対応付けた照明情報に基づき、照明部101における複数の光源(LED)のうち染色方法取得部110により取得された情報が示す染色方法に応じて光源の組み合わせを選択し、検査用病理標本を選択した各光源により逐次照らして撮影することにより検査用画像を取得する機能を担う画像取得部20である。このような画像取得部20を備える画像計測装置10の構成を図13に示す。この場合、算出部106は、画像取得部20により取得された検査用画像に基づいて、検査用病理標本における細胞核に対する陽性細胞核の割合である陽性率を算出する。
また、上述した染色方法取得部、画像取得部及び算出部の機能をコンピュータによりソフトウェア(プログラム)を実行することで実現しても、専用のハードウェアにより実現しても良い。このようなソフトウェアは例えば、次のような制御プログラムである。
出射光のピーク波長が互いに異なる複数の光源を含む照明部を制御するコンピュータに画像計測処理を実行させるための制御プログラムであって、前記画像計測処理は、参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得し、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出し、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けることにより、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報を記憶媒体に格納するステップと、検査用病理標本の染色方法を示す情報を取得する染色方法取得ステップと、前記照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得ステップにおいて取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得る画像取得ステップと、前記画像取得ステップにおいて取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出ステップと含む制御プログラムである。
また、上述の制御プログラムを記録媒体に記録して頒布や流通させても良い。例えば、頒布された制御プログラムをコンピュータ等の装置類にインストールして、装置類のプロセッサに実行させることで、装置類に、上述した各構成要素の機能を実行させることが可能となる。
本発明は、検査用病理標本から陽性率を算出する画像計測装置等に利用可能である。
10、100、1000 画像計測装置
20、102 画像取得部
101 照明部
103 メモリ部
105 照明情報格納部
106 算出部
107 制御部
108 狭帯域光
109 画像データ
110 染色方法取得部
111 陽性率
112 正規直交化部
113 評価部
114 閾値格納部
150 病理標本(検査用病理標本、参照用病理標本)
201 可視光域
202 半値幅
203 中心波長
204 積分球
205 LED
301 フォトダイオード
302 イメージセンサ
401、407 分光分布
402 陽性核
403 陰性核
404、405 帯域
406 閾値
501、502 ピーク波長
503〜505 波長
601 細胞質
701 準備モード
702 実行モード
801 染色方法
802 染色方法番号
1001 染色精度評価部

Claims (7)

  1. 出射光のピーク波長が互いに異なる複数の光源を含む照明部と、
    検査用病理標本の染色方法を示す情報を取得する染色方法取得部と、
    染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得部により取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得する画像取得部であって更に、参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得する画像取得部と、
    前記画像取得部により取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出部と、
    前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出する正規直交化部と、
    前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けて、前記照明情報として記憶媒体に格納する評価部とを備える
    画像計測装置。
  2. 前記評価部は、前記評価値が基準値を超える光源の組み合わせのうち光源の個数が最小である組み合わせを前記参照用病理標本の染色方法と対応付けて、前記照明情報として格納する
    請求項1記載の画像計測装置。
  3. 前記正規直交化部は更に、前記画像取得部により取得された検査用画像から複数の分光分布ベクトルを形成し、当該複数の分光分布ベクトルから正規直交基底ベクトルを算出し、
    前記評価部は更に、前記照明部の分光分布を前記検査用画像から算出された前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値を算出し、
    前記画像計測装置は更に、
    前記参照用画像から算出される前記評価値と前記検査用画像から算出される前記評価値との差分が閾値よりも大きいか否かを判断する染色精度評価部と、
    前記差分が前記閾値よりも大きい場合に、前記照明部、前記画像取得部及び前記算出部に処理の停止指示を送信する制御部とを備える
    請求項1記載の画像計測装置。
  4. 前記正規直交化部は、前記参照用画像からの前記分光分布ベクトルの形成及び前記検査用画像からの前記分光分布ベクトルの形成に際して、画像を構成する各画素データについて下位から所定ビット数のデータを除いた上位のビットデータを用いて当該分光分布ベクトルの形成を行う
    請求項3記載の画像計測装置。
  5. 前記画像取得部は、前記検査用病理標本が載置される光電変換素子を含み、前記照明部から照射されて前記検査用病理標本を透過した光を前記光電変換素子が受光することにより、前記検査用画像の前記取得を行う
    請求項1記載の画像計測装置。
  6. 出射光のピーク波長が互いに異なる複数の光源を含む照明部から照射した光により画像の撮影を行う画像計測方法であって、
    参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得し、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出し、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けることにより、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報を記憶媒体に格納するステップと、
    検査用病理標本の染色方法を示す情報を取得する染色方法取得ステップと、
    前記照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得ステップにおいて取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得る画像取得ステップと、
    前記画像取得ステップにおいて取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出ステップと含む
    画像計測方法。
  7. 出射光のピーク波長が互いに異なる複数の光源を含む照明部を制御するコンピュータに画像計測処理を実行させるための制御プログラムであって、
    前記画像計測処理は、
    参照用病理標本を、前記照明部における前記複数の光源各々により逐次照らして撮影することにより参照用画像を取得し、前記参照用画像から複数の分光分布ベクトルを形成し、前記複数の分光分布ベクトルから正規直交基底ベクトルを算出し、前記照明部の分光分布を前記正規直交基底ベクトルの線形和で表現し、当該線形和に含まれる前記正規直交基底ベクトルの係数の和である評価値が基準値を超えるまたは最大となる光源の組み合わせを前記参照用病理標本の染色方法と対応付けることにより、染色方法毎に前記複数の光源のうち一部の組み合わせを対応付けた照明情報を記憶媒体に格納するステップと、 検査用病理標本の染色方法を示す情報を取得する染色方法取得ステップと、
    前記照明情報に基づき、前記照明部における前記複数の光源のうち前記染色方法取得ステップにおいて取得された情報が示す染色方法に応じて光源の組み合わせを選択し、前記検査用病理標本を選択した組み合わせに係る各光源により逐次照らして撮影することにより検査用画像を取得る画像取得ステップと、
    前記画像取得ステップにおいて取得された検査用画像に基づいて前記検査用病理標本における陽性細胞核の割合である陽性率を算出する算出ステップと含む
    制御プログラム。
JP2015512825A 2013-07-11 2014-06-04 画像計測装置及び画像計測方法 Expired - Fee Related JP5866534B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015512825A JP5866534B2 (ja) 2013-07-11 2014-06-04 画像計測装置及び画像計測方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013145889 2013-07-11
JP2013145889 2013-07-11
PCT/JP2014/002971 WO2015004843A1 (ja) 2013-07-11 2014-06-04 画像計測装置及び画像計測方法
JP2015512825A JP5866534B2 (ja) 2013-07-11 2014-06-04 画像計測装置及び画像計測方法

Publications (2)

Publication Number Publication Date
JP5866534B2 true JP5866534B2 (ja) 2016-02-17
JPWO2015004843A1 JPWO2015004843A1 (ja) 2017-03-02

Family

ID=52279556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015512825A Expired - Fee Related JP5866534B2 (ja) 2013-07-11 2014-06-04 画像計測装置及び画像計測方法

Country Status (3)

Country Link
US (1) US9767578B2 (ja)
JP (1) JP5866534B2 (ja)
WO (1) WO2015004843A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776606B2 (en) * 2013-09-22 2020-09-15 The Regents Of The University Of California Methods for delineating cellular regions and classifying regions of histopathology and microanatomy
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
WO2020080314A1 (ja) * 2018-10-15 2020-04-23 PaylessGate株式会社 位置特定システム、位置特定装置、位置特定方法、位置特定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
EP3869217A4 (en) 2018-10-15 2022-10-05 Paylessgate Corporation AUTHENTICATED DEVICE, AUTHENTICATION DEVICE, AUTHENTICATION REQUEST TRANSMISSION METHOD, AUTHENTICATION METHOD AND PROGRAM
JP7392411B2 (ja) * 2018-11-16 2023-12-06 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06502492A (ja) * 1990-10-12 1994-03-17 エクソン リサーチ アンド エンジニアリング カンパニー スペクトルデータの測定および補正
WO2008108059A1 (ja) * 2007-03-01 2008-09-12 Nec Corporation 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
JP2010181833A (ja) * 2009-02-09 2010-08-19 Olympus Corp 顕微鏡観察システム
JP2012129425A (ja) * 2010-12-16 2012-07-05 Canon Inc マトリクス基板、検出装置、検出システム、及び、検出装置の駆動方法
WO2012157419A1 (ja) * 2011-05-17 2012-11-22 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
JP2013003386A (ja) * 2011-06-17 2013-01-07 Olympus Corp 撮像装置およびバーチャルスライド装置
JP2013089869A (ja) * 2011-10-20 2013-05-13 Canon Inc 検出装置及び検出システム
WO2013179581A1 (ja) * 2012-05-30 2013-12-05 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121337A (en) 1990-10-15 1992-06-09 Exxon Research And Engineering Company Method for correcting spectral data for data due to the spectral measurement process itself and estimating unknown property and/or composition data of a sample using such method
JP2004286666A (ja) 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
US7433026B2 (en) * 2005-12-20 2008-10-07 Cytyc Corporation Microscope with LED illumination source
US20100201800A1 (en) 2009-02-09 2010-08-12 Olympus Corporation Microscopy system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06502492A (ja) * 1990-10-12 1994-03-17 エクソン リサーチ アンド エンジニアリング カンパニー スペクトルデータの測定および補正
WO2008108059A1 (ja) * 2007-03-01 2008-09-12 Nec Corporation 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
JP2010181833A (ja) * 2009-02-09 2010-08-19 Olympus Corp 顕微鏡観察システム
JP2012129425A (ja) * 2010-12-16 2012-07-05 Canon Inc マトリクス基板、検出装置、検出システム、及び、検出装置の駆動方法
WO2012157419A1 (ja) * 2011-05-17 2012-11-22 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
JP2013003386A (ja) * 2011-06-17 2013-01-07 Olympus Corp 撮像装置およびバーチャルスライド装置
JP2013089869A (ja) * 2011-10-20 2013-05-13 Canon Inc 検出装置及び検出システム
WO2013179581A1 (ja) * 2012-05-30 2013-12-05 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法

Also Published As

Publication number Publication date
US9767578B2 (en) 2017-09-19
US20150262384A1 (en) 2015-09-17
JPWO2015004843A1 (ja) 2017-03-02
WO2015004843A1 (ja) 2015-01-15

Similar Documents

Publication Publication Date Title
US10395368B2 (en) Methods and systems for assessing histological stains
JP5866534B2 (ja) 画像計測装置及び画像計測方法
US11896382B2 (en) Hyperspectral image-guided ocular imager for alzheimer's disease pathologies
US11452455B2 (en) Skin reflectance and oiliness measurement
US10083340B2 (en) Automated cell segmentation quality control
JP6230077B2 (ja) 光ファイバーラマン分光法を利用する内視鏡検査でのリアルタイム癌診断に関連する方法
US8462981B2 (en) Spectral unmixing for visualization of samples
JP5576993B2 (ja) 画像計測装置、画像計測方法及び画像計測システム
US8649580B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
CN106796145A (zh) 从生物学样本的纯光谱提取
US20100201800A1 (en) Microscopy system
EP2943761A1 (en) Multispectral imaging system and methods
JP5165732B2 (ja) マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム
JP2019042156A (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JP5789786B2 (ja) 画像計測装置および画像計測方法
JP6103700B2 (ja) ラマン散乱を用いた心臓組織の識別方法及び装置
JP2018169390A (ja) 染色体異常判定装置
JP2008216077A (ja) 染色組織標本の陽性細胞の自動検出法
US20220366709A1 (en) Label-Free Hematology and Pathology Analysis Using Deep-Ultraviolet Microscopy
WO2019159565A1 (ja) 情報管理装置、端末、情報管理システムおよびプログラム
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

R151 Written notification of patent or utility model registration

Ref document number: 5866534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees