JP6451741B2 - 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム - Google Patents

画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム Download PDF

Info

Publication number
JP6451741B2
JP6451741B2 JP2016532397A JP2016532397A JP6451741B2 JP 6451741 B2 JP6451741 B2 JP 6451741B2 JP 2016532397 A JP2016532397 A JP 2016532397A JP 2016532397 A JP2016532397 A JP 2016532397A JP 6451741 B2 JP6451741 B2 JP 6451741B2
Authority
JP
Japan
Prior art keywords
image
wavelength band
tissue
distribution
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016532397A
Other languages
English (en)
Other versions
JPWO2016006113A1 (ja
Inventor
戸津 政浩
政浩 戸津
剛之 畑口
剛之 畑口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2016006113A1 publication Critical patent/JPWO2016006113A1/ja
Application granted granted Critical
Publication of JP6451741B2 publication Critical patent/JP6451741B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0041Detection of breast cancer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N2021/3129Determining multicomponents by multiwavelength light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths

Description

本発明は、画像解析装置、撮像システム、検出システム、手術支援システム、画像解析方法、及び画像解析プログラムに関する。
医療などの分野において、生物の組織を撮像し、その画像を各種診断や検査、観察等に活用する技術が提案されている(例えば、下記の特許文献1参照)。特許文献1に係る装置は、例えば、赤外線を身体組織に照射し、身体組織で反射した赤外線に基づいて皮下血管の映像を取得する技術である。
特開2006−102360号
上述の技術には、生物の組織の情報を精度よく得ることが期待される。例えば、組織を撮像した試料画像を解析する装置には、組織のうち特定の部分を他の部分と精度よく区別できることが求められる。本発明は、上記の事情に鑑みなされたものであり、生物の組織の情報を精度よく得ることができる画像解析装置、撮像システム、検出システム、手術支援システム、画像解析方法、及び画像解析プログラムを提供することを目的とする。
本発明の態様に従えば、水を含む第1部分と脂質を含む第2部分とを含む組織に赤外帯域の光を照射して得られる試料画像をもとに、組織の赤外帯域における光強度の分布を示す分布データを生成する分布データ生成部と、分布データをもとに、2以上の整数をNとして赤外帯域の第1波長帯における光強度の分布のN階微分係数を、試料画像の領域ごとに算出する微分演算部と、N階微分係数を階調値に変換し、第1部分を第2部分より強調した画像データを生成する画像データ生成部と、を備える画像解析装置が提供される。
本発明の態様に従えば、上記態様の画像解析装置と、組織における試料画像を取得する撮像部と、を備える撮像システムが提供される。
本発明の態様に従えば、互いに波長の異なる少なくとも3つの赤外光を、水を含む第1部分と脂質を含む第2部分とを含む組織に射出可能な光源部と、組織を介した3つの赤外光を受光する光検出部と、画像解析装置と、を備え、画像解析装置は、光検出部から得られる試料画像をもとに、組織の3つの赤外光におけるスペクトルを示す分布データを生成する分布データ生成部と、分布データをもとにスペクトルのN階微分係数(Nは2以上の整数)を算出する微分演算部と、N階微分係数を階調値に変換して第1部分を第2部分より強調した画像データを生成する画像データ生成部と、を備える、撮像システムが提供される。
本発明の態様に従えば、上記態様の撮像システムと、組織に対する処理が可能な操作デバイスと、を備える手術支援システムが提供される。
本発明の態様に従えば、コンピュータに、水を含む第1部分と脂質を含む第2部分とを含む組織に赤外帯域の光を照射して得られる試料画像をもとに、組織の赤外帯域における光強度の分布を示す分布データを生成することと、分布データをもとに、2以上の整数をNとして赤外帯域の第1波長帯における光強度の分布のN階微分係数を、試料画像の領域ごとに算出することと、N階微分係数を階調値に変換し、第1部分を第2部分より強調した画像データを生成することと、を実行させる画像解析プログラムが提供される。
本発明の第1の態様に従えば、生物の組織に赤外帯域の光を照射して得られる試料画像をもとに、組織の赤外帯域における光強度の分布を示す分布データを生成する分布データ生成部と、分布データをもとに、2以上の整数をNとして赤外帯域の第1波長帯における光強度の分布のN階微分係数を、試料画像の領域ごとに算出する微分演算部と、N階微分係数を階調値に変換し、画像データを生成する画像データ生成部と、を備える画像解析装置が提供される。
本発明の第2の態様に従えば、第1の態様の画像解析装置と、組織における試料画像を取得する撮像部と、を備える撮像システムが提供される。
本発明の第3の態様に従えば、互いに波長の異なる少なくとも3つの赤外光を生物の組織に射出可能な光源部と、組織を介した3つの赤外光を受光する光検出部と、画像解析装置と、を備え、画像解析装置は、光検出部から得られる試料画像をもとに、組織の3つの赤外光におけるスペクトルを示す分布データを生成する分布データ生成部と、分布データをもとにスペクトルのN階微分係数(Nは2以上の整数)を算出する微分演算部と、N階微分係数を階調値に変換して画像データを生成する画像データ生成部と、を備える、撮像システムが提供される。
本発明の第4の態様に従えば、第2の態様の撮像システムと、組織に対する処理が可能な操作デバイスと、を備える手術支援システムが提供される。
本発明の第5の態様に従えば、生物の組織に赤外帯域の光を照射して得られる試料画像をもとに、組織の赤外帯域における光強度の分布を示す分布データを生成することと、分布データをもとに、2以上の整数をNとして赤外帯域の第1波長帯における光強度の分布のN階微分係数を、試料画像の領域ごとに算出することと、N階微分係数を階調値に変換し、画像データを生成することと、を含む画像解析方法が提供される。
本発明の第6の態様に従えば、コンピュータに、生物の組織に赤外帯域の光を照射して得られる試料画像をもとに、組織の赤外帯域における光強度の分布を示す分布データを生成することと、分布データをもとに、2以上の整数をNとして赤外帯域の第1波長帯における光強度の分布のN階微分係数を、試料画像の領域ごとに算出することと、N階微分係数を階調値に変換し、画像データを生成することと、を実行させる画像解析プログラムが提供される。
本発明の第7の態様に従えば、水を含む第1部分と脂質を含む第2部分とを含むターゲットに赤外光を照射して得られる検出結果をもとに、ターゲットのスペクトルを示すスペクトルデータを生成するデータ生成部と、スペクトルデータをもとに、スペクトルのうち非線形部分を含む所定波長帯におけるスペクトルのN階微分係数(Nは2以上の整数)を、第1部分及び第2部分ごとに算出する微分演算部と、第1部分のN階微分係数と第2部分のN階微分係数とに応じて、水を含む第1部分又は脂質を含む第2部分を強調した画像データを生成する画像データ生成部と、を備える画像解析装置が提供される。
本発明の第8の態様に従えば、第7の態様の画像解析装置と、検出結果を取得する検出部と、を備える検出システムが提供される。
本発明の第9の態様に従えば、第8の態様の検出システムと、画像データを表示する表示部と、を備える手術支援システムが提供される。
本発明の第10の態様に従えば、水を含む第1部分と脂質を含む第2部分とを含むターゲットに赤外光を照射して得られる検出結果をもとに、ターゲットのスペクトルを示すスペクトルデータを生成することと、スペクトルデータをもとに、スペクトルのうち非線形部分を含む所定波長帯におけるスペクトルのN階微分係数(Nは2以上の整数)を、第1部分及び第2部分ごとに算出することと、第1部分のN階微分係数と第2部分のN階微分係数とに応じて、水を含む第1部分又は脂質を含む第2部分を強調した画像データを生成することと、を含む画像解析方法が提供される。
本発明の第11の態様に従えば、コンピュータに、水を含む第1部分と脂質を含む第2部分とを含むターゲットに赤外光を照射して得られる検出結果をもとに、ターゲットのスペクトルを示すスペクトルデータを生成することと、スペクトルデータをもとに、スペクトルのうち非線形部分を含む所定波長帯におけるスペクトルのN階微分係数(Nは2以上の整数)を、第1部分及び第2部分ごとに算出することと、第1部分のN階微分係数と第2部分のN階微分係数とに応じて、水を含む第1部分又は脂質を含む第2部分を強調した画像データを生成することと、を実行させる画像解析プログラムが提供される。
本発明によれば、生物の組織の情報を精度よく得ることができる画像解析装置、撮像システム、検出システム、手術支援システム、画像解析方法、及び画像解析プログラムを提供することができる。
本実施形態に係る画像解析装置を示す図である。 本実施形態に係るスペクトルおよび2階微分係数の分布を模式的に示すグラフである。 本実施形態においてN階微分係数の算出に用いられる式の例である。 本実施形態に係る画像解析方法を示すフローチャートである。 本実施形態において、N階微分係数の算出方法を説明するための式である。 本実施形態に係る画像解析装置を示す図である。 実施例に係る試料画像の一例を示す図である。 実施例に係るスペクトルおよび2階微分係数の分布を示す図である。 実施例に係る解析画像の例を示す図である。 本実施形態に係る所定物質の分光スペクトルの例を示すグラフである。 本実施形態に係る分光スペクトルに対応する2階微分係数の分布の例を示す図である。 本実施形態に係る撮像システムを示す図である。 本実施形態に係る撮像装置の他の構成を示す図である。 本実施形態に係る病理診断システム40の一例を示す図である。 本実施形態に係る手術支援システムSYSの一例を示す図である。 本実施形態に係る手術支援システムSYSの他の例を示す図である。
[第1実施形態]
図1は、本実施形態に係る画像解析装置1を示す図である。画像解析装置1の各部の説明に先立ち、画像解析装置1による画像処理の概要について説明する。画像解析装置1は、例えば、生物の組織BTに赤外帯域の光を照射して得られる試料画像を解析して、組織BTのうち所定の条件を満たす部分を検出する。所定の条件は、例えば、組成が所定物質を含む条件、組成に含まれる所定物質の量が閾値以上である条件、組成に含まれる所定物質の量が閾値以下である条件、組成が組織BTの他の部分と異なる条件のうち少なくとも1条件を含む。例えば、画像解析装置1は、組織BTにおける所定物質の分布を求め、所定物質の分布を示す画像データを生成する。また、画像解析装置1は、例えば、生物の組織BTに赤外帯域の光を照射して得られる試料画像を解析して、組織BTにおける所定物質と関連する特定部分(例、所定物質を含む部分、或いは所定物質を含まない部分)を相対的に強調して表示する。所定物質は、例えば、水、脂質、タンパク質などの生体分子、血液、及びリンパ液の少なくとも1つを含む。
組織BTは、例えば人間の組織であるが、人間以外の生物(例、動物)の組織であってもよい。組織BTは、生物から切り取った状態の組織であってもよいし、生物に付随した状態の組織であってもよい。また、組織BTは、生存している生物(生体)の組織(生体組織)であってもよいし、死亡後の生物(死体)の組織であってもよい。組織BTは、生物から摘出した物体であってもよい。組織BTは、生物のいずれの器官を含んでいてもよく、皮膚を含んでいてもよいし、皮膚よりも内側の内臓などを含んでいてもよい。また、組織BTは、分泌物と排泄物の一方または双方を含んでいてもよい。また、組織BTは、光を受けて励起により光を発する物質(例、蛍光物質、りん光物質)を生物の組織に付与したものであってもよい。また、組織BTは、ホルマリン等の組織固定液を用いて固定されても良い。
組織BTにおける各部分のスペクトル(例、分光スペクトル)は、組織BTの組成(成分)の光学特性(例、吸収率、透過率、反射率)に応じたカーブになる。例えば、図1の組織BTは、第1部分BTaおよび第2部分BTbを含み、第1部分BTaと第2部分BTbとで組成が異なる場合、第1部分BTaのスペクトルは、第2部分BTbのスペクトルと異なるカーブになる。画像解析装置1は、スペクトルの非線形性に基づいてカーブの違いを検出し、所定物質の分布を求める。例えば、画像解析装置1は、第1部分BTaのスペクトル(第1のスペクトル)の非線形性と第2部分BTbのスペクトル(第2のスペクトル)の非線形性とに基づいて互いのスペクトルの違い(特徴)を特定し、所定物質の分布を算出する。
画像解析装置1は、複数の試料画像のデータを含む試料データを使って、解析を行う。試料画像は、赤外帯域の光が照射されている組織BTから放射される光のうち、所定の波長帯の光(例、赤外光)を検出した画像である。組織BTから放射される光は、組織BTに光を照射して組織BTで反射した光、組織BTに光を照射して組織BTを透過した光、組織BTに光を照射して組織BTから発光される光(例、蛍光、りん光など)の少なくとも一つを含む。
試料画像は、例えば、ハイパースペクトルカメラなどの撮像装置2によって取得可能である。例えば、ハイパースペクトルカメラを有する撮像装置2は、画像の1画素において複数のスペクトルデータを1回の撮影で取得できるセンサーを含む。組織BTにおける各部分(例、第1部分BTa、第2部分BTbなど)のスペクトルは波長に対する光強度の分布であり、光強度は試料画像の画素値から得られる。
画像解析装置1は、試料データから得られるスペクトルの少なくとも一部(例、複数の波長、特定の波長帯)に対して、2以上の整数NとしてN階微分係数を算出する。例えば、第1波長帯におけるN階微分係数(Nは2以上の整数)は、第1波長帯におけるスペクトルのカーブの形状を表す指標値に利用できる。例えば、スペクトルの一部を2次の多項式で近似した場合(N=2の場合)、スペクトルのうち相対的に線形性が強い部分において、多項式の2階微分係数は、0に近い値となる。一方、スペクトルのうち相対的に非線形性が強い部分において、多項式の2階微分係数は、第1波長帯におけるスペクトルのカーブの形状に応じてその絶対値が大きくなる。
図2は、試料データから得られるスペクトルおよび2階微分係数の分布を模式的に示すグラフである。図2において、横軸は波長を示し、第1縦軸は光強度を示し、第2縦軸は2階微分係数を示す。横軸の単位、第1縦軸の単位、第2縦軸の単位は、それぞれ、任意単位(arbitrary unit、以下、a. u. と記す)である。図2において、スペクトルSaは、例えば図1の第1部分BTaのスペクトルであり、スペクトルSbは、例えば図1の第2部分BTbのスペクトルである。また、分布DaはスペクトルSaの2階微分係数の分布を示し、分布DbはスペクトルSbの2階微分係数の分布を示す。
図2のスペクトルSaは、例えば、波長が110から150の波長帯A1で下に凸のカーブになっている。また、波長が110から130の波長帯A2は、スペクトルSaが極小値を持つ波長帯であり、波長帯A2ではスペクトルSaの2階微分係数が相対的に大きくなる。例えば、組織BTの各部分の波長帯A2におけるスペクトルSaの2階微分係数を算出すると、組成が第1部分BTaと類似している部分ではスペクトルSaの2階微分係数が大きくなる。例えば、第1部分BTaが所定物質を含み、組織BTの他の部分のうち所定物質を含む部分では、スペクトルSaの2階微分係数が大きくなる。
また、例えば、図1において、組織BTの第1部分BTaは所定物質の含有量が所定値以上であり、組織BTの第2部分BTbは所定物質の含有量が所定値未満であるとする。画像解析装置1は、例えば、第1波長帯の赤外光を組織BTに照射して得られたスペクトルをN階微分処理して算出したN階微分係数に基づき、組織BTのうち第1部分BTaを階調化して強調した画像を生成する。例えば、画像解析装置1は、第1波長帯の赤外光を第1部分BTa及び第2部分BTbに照射して得られた複数のスペクトル(この場合、スペクトルSa及びスペクトルSb)をそれぞれN階微分処理して算出した複数のN階微分係数(この場合、1波長につき2つのN階微分係数)に基づき、組織BTのうち第1部分BTaを第2部分BTbよりも強調した画像を生成する。画像解析装置1は、例えば、第1部分BTaを検出して、検出した第1部分BTaを第2部分BTbよりも強調した画像のデータを生成する。また、画像解析装置1は、第2部分BTbを検出して、検出した第2部分BTbを第1部分BTaよりも強調した画像のデータを生成してもよい。このように、画像解析装置1は、スペクトルから得られたN階微分係数(例、2階微分係数)を用いて、組織BTのうち、所定物質を含む条件を満たす部分、あるいは所定物質の含有量が閾値以上である条件を満たす部分を検出できる。また、画像解析装置1は、例えば、2階微分係数を指標値に用いて、組織BTの各部における所定物質の含有量を推定できる。
図2の波長帯A2において、スペクトルSbは下に凸のカーブになっているが、そのカーブはスペクトルSaと比べて緩やかである。そのため、波長帯A2において、スペクトルSbの2階微分係数は、スペクトルSaの2階微分係数よりも小さくなる。例えば、波長帯A2において、第1部分BTaに対して組成の類似性が低い組織BTの部分ではスペクトルSaの2階微分係数と比較して2階微分係数が小さくなる。
画像解析装置1は、例えば、組織BTの一部分と他の部分との類似性を示す指標値を算出し、この指標値の分布を示す画像のデータ、又はこの指標値の分布に基づき組織BTの一部分と他の部分を強調した画像のデータを生成できる。例えば、ユーザによって試料画像上の組織BTの第1部分BTaが指定された場合、画像解析装置1は第1部分BTaと組成が類似する条件を満たす組織BTの部分を検出して抽出できる。例えば、画像解析装置1は、第1部分BTaのスペクトルの少なくとも一部を教師データとして、他の部分との類似性を示す指標値を算出できる。例えば、画像解析装置1は、所定の波長帯における第1部分BTaのスペクトルの2階微分係数と、所定の波長帯における他の部分のスペクトルの2階微分係数とを比較して、第1部分BTaと他の部分との類似性を示す指標値を算出できる。
なお、図2において、分布Dcは、二値化した2階微分係数の分布を示す。この分布Dcは、例えば、スペクトルをもとに算出される各波長における2階微分係数が閾値未満である場合に0となり、各波長における2階微分係数が閾値以上である場合に所定値となる分布である。2階微分係数を二値化すると、例えば、スペクトルのうち相対的に非線形性が高い波長帯を検出できる。例えば、スペクトルから得られたN階微分係数を二値化すると、該スペクトルにおいて線形性の波長帯(線形領域)と非線形性の波長帯(非線形領域)とのうち非線形性の波長帯を特定することができる。
なお、上述の説明においてはNが2であることにしたが、Nが3、4、5、又は6以上であってもよい。Nが3以上の場合にも、例えば、スペクトルのうち相対的に非線形性が強い部分において、スペクトルの形状を評価できる。
図1の説明に戻り、画像解析装置1の各部について説明する。本実施形態に係る画像解析装置1は、分布データ生成部3、微分演算部4、画像データ生成部5、条件設定部6、ワークメモリ7、及び記憶部8を備える。
ワークメモリ7は、例えば揮発性メモリを含み、画像解析装置1の各部が行う処理において、一時記憶域として使われる。記憶部8は、例えば不揮発性メモリあるいは大規模記憶域を含み、画像解析装置1の各部が行う処理の設定情報、画像解析装置1の各部による処理結果などを記憶する。画像解析装置1は、例えば、液晶ディスプレイなどの表示装置9に接続され、記憶部8に記憶されている情報を示す画像のデータやテキストのデータを表示装置9に出力する。
条件設定部6は、画像解析装置1の解析条件の設定を行う。解析条件は、例えば、N階微分係数を算出する対象の波長帯を含む。以下の説明において、N階微分係数を算出する対象の波長帯を、適宜、解析波長帯という。解析波長帯は、例えば、赤外帯域の波長に対する光強度の分布(スペクトル)のうち非線形部分(非線形領域)を含む波長帯(例、図2の波長帯A1、波長帯A2)に設定される。非線形部分を含む波長帯は、例えば、2階微分係数が0以外の値を取る波長を含む。解析波長帯は、例えば、赤外帯域の波長に対する光強度の分布の極大値又は極小値を有する極値を含む波長帯に設定される。
なお、解析波長帯は、波長に対する光強度の分布の極大値と極小値とのいずれも含まない波長帯に設定されていてもよい。例えば、光強度の分布が極値をとる波長の近傍では、光強度の分布の非線形性が強く、その2階微分係数は、光強度の分布の非線形性に応じた値をとる。また、例えば、スペクトル(例、上記したスペクトルSa、スペクトルSbなど)の極大値又は極小値を含む波長帯は非線形性が強いため、その波長帯におけるスペクトルのN階微分係数はその非線形性に基づいた値をとる。
なお、波長に対する光強度の分布が離散データで与えられる場合、その分布の極大値は、例えば、離散データを連続関数に変換した際の極大値としてもよい。また、極小値についても極大値と同様である。この連続関数は、例えば、最小二乗法などの各種近似法で求められる。この連続関数は、例えば、2階微分可能な関数形から選択され、多項式関数であってもよいし、三角関数であってもよく、スプライン関数であってもよい。
また、解析波長帯は、組織BTに含まれる所定物質のスペクトルに基づいて選択される。例えば、解析波長帯は、所定物質のスペクトルにおいて、スペクトルの非線形部分を含む波長帯に設定されてもよい。例えば、解析波長帯は、所定物質の分光スペクトルにおいて、極大値又は極小値を有する極値を含む波長帯に設定されてもよい。
また、解析条件は、例えば、試料画像のうち解析の対象とする領域の条件を含む。以下の説明において、解析の対象とする領域を、適宜、解析領域という。解析領域は、例えば、試料画像の全域(全画素)であってもよいし、試料画像のうち組織BTが移っている領域(複数の画素)の全域または一部の領域であってもよい。また、例えば、解析領域が複数の部分領域を含み、部分領域ごとに解析する場合、解析領域の条件は、部分領域のサイズを含む。部分領域のサイズは、例えば1画素でもよいし、複数の画素でもよいし、3列3行の9画素でもよく、部分領域に含まれる画素の数は任意に設定できる。また、複数の部分領域は、解析領域を重複なく分割した領域であってもよいし、一部が重複する領域であってもよい。
解析条件の設定情報は、例えば、デフォルトの設定が記憶部8に記憶されている。画像解析装置1は、例えば、マウス、キーボード、タッチパネル、トラックボールなどの入力装置10に接続され、記憶部8に記憶されている各種設定情報を、入力装置10を介して入力される情報に更新できる。
図1の分布データ生成部3は、撮像された試料画像をもとに、組織BTの赤外帯域における光強度の分布を示す分布データを生成する。この分布データは、N階微分係数の算出に使われるデータである。分布データ生成部3は、N+1以上の整数Mとして解析波長帯のM個の波長のそれぞれに対応する光強度を、試料データから抽出する。以下の説明において、波長λに対する光強度をI(λ)で表す。
分布データ生成部3は、解析波長帯の少なくとも3波長を用いて分布データを生成する。分布データ生成部3は、例えば、Nが2、Mが3である場合、波長λ1の光を検出した第1の試料画像の画素値からI(λ1)を取得し、波長λ2の光を検出した第2の試料画像の画素値からI(λ2)を取得し、波長λ3の光を検出した第3の試料画像の画素値からI(λ3)を取得する。波長λ1、波長λ2、及び波長λ3は、それぞれ、解析波長帯から選択される。
分布データ生成部3は、例えば、各波長と、波長と対になる光強度とを一組のデータとしてN組のデータを含む離散データを、分布データとして生成する。例えば、分布データ生成部3は、波長λ1と光強度I(λ1)の組(λ1,I(λ1))、波長λ2と光強度I(λ2)の組(λ2,I(λ2))、及び波長λ3と光強度I(λ3)の組(λ3,I(λ3))を含む分布データを生成する。
なお、Nの値は、例えば、解析条件に含まれる。Nの値はデフォルトで2に設定されるが、Nの値は3以上の整数に変更可能である。また、Mの値は、例えば解析条件に含まれ、Nが2の場合、デフォルトで3に設定されるが、4以上の整数に変更可能である。
なお、分布データ生成部3は、例えば図2のように、3波長以上の波長を含む波長帯(例、第1波長帯)の分布データを生成することもできる。分布データ生成部3は、試料データに含まれる複数の試料画像に対応する波長帯域のうち、任意の波長帯(例、第1波長帯)の分布データを生成できる。例えば、分布データ生成部3は、所定の波長帯域にわたって試料データが与えられる場合、この波長帯域の全域の分布データを生成することができ、また一部の波長帯の分布データを生成することもできる。分布データ生成部3により生成する分布データの波長帯を規定する分布データの設定情報は、例えば、解析条件に含まれ、記憶部8に記憶されている。
分布データ生成部3は、例えば、N階微分係数の算出に使われる波長帯の部分だけの、分布データを生成してもよい。また、分布データ生成部3は、N階微分係数の算出に使われる波長帯を含んだ波長帯よりも広い波長帯を用いて、分布データを生成してもよい。例えば、光強度の分布のデータが存在する波長帯域の全域にわたる分布データを生成しておき、出力すべき分布データの波長帯が指定された場合に、全域にわたる分布データのうち指定された波長帯の分布データを抽出して出力してもよい。
本実施形態において、分布データ生成部3は、解析領域に含まれる複数の部分領域に対して、部分領域ごとに分布データを生成する。部分領域は、例えば、試料画像における複数の画素を含む。分布データ生成部は、波長λ1に対応する光強度I(λ1)を取得する際に、例えば、部分領域に含まれる複数の画素のそれぞれの画素値を試料データから取得し、取得した画素値の平均値を部分領域における光強度I(λ1)とする。分布データ生成部は、光強度I(λ1)と同様に、複数の画素の画素値の平均値を光強度I(λ2)、光強度I(λ3)とする。分布データ生成部3は、複数の画素の画素値の平均値から得られる光強度I(λ1)、光強度I(λ2)、及び光強度I(λ3)により、部分領域の分布データを生成し、他の部分領域についても同様に分布データを生成する。なお、部分領域に含まれる画素の数は、1つであってもよいし、2以上であってもよい。
また、図1の微分演算部4は、分布データ生成部3が生成した分布データをもとに、解析波長帯における光強度の分布のN階微分係数を、試料画像の領域(以下、単位領域という)ごとに算出する。この単位領域は、例えば、分布データ生成部3が分布データを生成する際の部分領域(例、1画素又は複数の画素)と同じ領域に設定される。例えば、分布データ生成部3は、生成した分布データを記憶部8に記憶させ、微分演算部4は、記憶部8から分布データを読み出して単位領域におけるN階微分係数を算出する。なお、単位領域は、分布データ生成部3が分布データを生成する際の部分領域と異なっていてもよい。例えば、単位領域は、連続する複数の部分領域にわたっていてもよい。
微分演算部4は、例えば、分布データが離散データを含む場合、差分形式でN階微分係数を算出する。図3は、N階微分係数の算出に用いられる式の例である。図3の式(1)は、波長λnにおける1階微分係数d1(λn)を前進差分で表した式である。図3の式(2)は、波長λnにおける2階微分係数d2(λn)を前進差分で表した式である。
微分演算部4は、分布データのうち、波長λ1と光強度I(λ1)の組および波長λ2と光強度I(λ2)の組を使って、式(1)に従ってd1(λ1)を算出する。また、微分演算部4は、分布データのうち、波長λ2と光強度I(λ2)の組および波長λ3と光強度I(λ3)の組を使って、式(1)に従ってd1(λ2)を算出する。また、微分演算部4は、算出したd1(λ1)およびd1(λ2)を使って、式(2)に従ってλ1における2階微分係数d2(λ1)を算出する。
なお、上記の説明では、式(1)の演算と式(2)の演算を別に行うこととしたが、式(2)の右辺のd1(λn+1)およびd1(λn)に、式(1)を組み込んでおき、1つの式で2階微分係数を算出してもよい。また、1次微分係数の算出は、式(3)に示す中心差分、式(4)に示す後退差分のいずれを用いてもよい。また、2次微分係数の算出に、式(5)に示す中心差分、式(6)に示す後退差分のいずれを用いてもよい。また、2次微分係数の算出に用いる差分法は、1次微分係数の算出に用いる差分法と同じであってもよいし、異なっていてもよい。例えば、1次微分係数の算出と2次微分係数の算出とは、それぞれに前進差分を用いてもよい。1次微分係数の算出は前進差分を用い、2次微分係数の算出は中心差分を用いてもよい。
なお、微分演算部4は、例えば図2のように、分布データ生成部3が生成した分布データの波長帯域の範囲内において、任意の波長におけるN階微分係数を算出できる。例えば、微分演算部4は、分布データが存在する波長帯域の複数の波長のそれぞれにおけるN階微分係数を算出できる。例えば、分布データが所定の波長帯域にわたって生成される場合、微分演算部4は、この波長帯域の1波長のみにおいてN階微分係数を算出してもよいし、2以上の波長のそれぞれにおいてN階微分係数を算出してもよい。
微分演算部4は、例えば、設定情報に規定された解析波長帯以外の波長帯におけるN階微分係数を算出しなくてもよい。また、微分演算部4は、例えば、解析波長帯が指定される前に、分布データが存在する波長帯域全域の各波長におけるN階微分係数を予め算出してもよい。この場合、微分演算部4は、解析波長帯が指定された際に、予め算出しておいた波長帯域全域の各波長におけるN階微分係数のうち、指定された解析波長帯のN階微分係数を抽出して出力してもよい。
微分演算部4は、上述のように試料画像の領域ごと(例、1画素ごと、複数の画素ごと)にN階微分係数を算出し、例えば、算出したN階微分係数と領域の位置情報とを関連付けて、記憶部8に記憶させる。
画像データ生成部5は、N階微分係数を階調値に変換し、画像データを生成する。例えば、画像データ生成部5は、N階微分係数と階調値とがほぼ線形の関係になるように、N階微分係数を使って階調値を算出する。画像データ生成部5は、例えば、N階微分係数の絶対値に換算係数を乗算して階調値を算出する。換算係数は、例えば、N階微分係数の絶対値と換算係数との乗算値が、画素値の上限値を超えないように設定されていてもよい。なお、画像データ生成部5は、N階微分係数の絶対値と換算係数との乗算値が、画素値の上限値を超える場合、このN階微分係数を画素値の上限値に変換してもよい。
解析波長帯のN階微分係数が大きい部分は、例えば、組織BTのうち所定の条件(例、所定物質の含有率が高い)を満たす部分である。そのため、画像データ生成部5により生成される画像データが表す画像(以下、解析画像という)は、例えば、組織BT中の所定物質の含有率が高い部分を強調した画像になる。例えば、解析画像において、組織BTのうち所定物質の含有率が高い部分は、階調値が高い明部で表され、組織BTのうち所定物質の含有率が低い部分は、階調値が低い暗部で表される。
なお、画像データ生成部5は、生成する画像データの画素値の上限値(例、8ビットの場合255)から、N階微分係数の絶対値と換算係数との乗算値を差し引いた値を階調値にしてもよい。この場合、解析画像において、組織BTのうち所定物質の含有率が高い部分を暗部で表し、組織BTのうち所定物質の含有率が低い部分を明部で表すことができる。
画像データ生成部5は、N階微分係数の絶対値に換算係数を乗算した乗算値が整数でない場合、四捨五入などの丸めを行って整数の階調値を算出してもよい。また、画像データ生成部5は、N階微分係数の絶対値と階調値とが非線形な関係になるように、階調値を算出してもよい。画像データ生成部5は、N階微分係数を二値化(2階調化)して、画像データを生成してもよい。例えば、画像データ生成部5は、解析画像において、解析波長帯におけるN階微分係数が閾値以上である画素の画素値を上限値(例、8ビットの場合255)とし、解析波長帯におけるN階微分係数が閾値未満である画素の画素値を下限値(例、8ビットの場合0)としてもよい。
画像データ生成部5は、算出されたN階微分係数を指標値として、組織BTのうち所定の条件(例、所定物質の含有率が閾値よりも高い条件)を満たす部分を抽出した抽出画像のデータを生成してもよい。例えば、画像データ生成部5は、抽出画像を試料画像に重ねたオーバーレイ画像のデータを生成してもよい。画像データ生成部5は、抽出画像と試料画像とを区別できるように、オーバーレイ画像のデータを生成してもよい。例えば、画像データ生成部5は、抽出画像を試料画像と異なる色で表すオーバーレイ画像のデータを生成してもよい。例えば、試料画像がグレースケールで表される場合、画像データ生成部5は、抽出画像をグレースケール以外の色(例、赤、緑、青)を含む色で表すように、オーバーレイ画像のデータを生成してもよい。また、画像データ生成部5は、例えば、組織BTのカラー画像と抽出画像とを重ねたオーバーレイ画像のデータを生成してもよい。また、画像データ生成部5は、オーバーレイ画像上で抽出画像が点滅するように、画像データを生成してもよい。
画像データ生成部5は、微分演算部4が算出したN階微分係数が存在する波長帯において、この波長帯の任意の波長におけるN階微分係数に基づく解析画像のデータを生成してもよい。例えば、画像解析装置1は、ユーザが指定する波長におけるN階微分係数を使って、随時、解析画像のデータを生成し、この解析画像を表示装置9に表示させてもよい。例えば、ユーザは、解析波長帯を切り替えながら解析画像を確認し、所望の解析画像が得られる解析波長帯を指定することもできる。
次に、上述のような画像解析装置1の動作に基づき、本実施形態に係る画像解析方法について説明する。図4は、本実施形態に係る画像解析方法を示すフローチャートである。画像解析装置1は、ステップS1において、解析条件を設定する。例えば、画像解析装置1は、記憶部8に記憶されているデフォルトの解析条件を示す画像を、表示装置9に表示させる。また、画像解析装置1は、入力装置10に対する操作を監視し、ユーザから解析条件の変更などの入力(入力信号)を受け付ける。画像解析装置1は、入力装置10に解析条件の変更などの入力がなされたことを検出した場合に、記憶部8に記憶されている解析条件を更新する。
次のステップS2において、分布データ生成部3は、分布データを生成する。ステップS2に先立ち、又はステップS2において、画像解析装置1は、組織BTの試料データを取得する。例えば、画像解析装置1は、試料画像を撮像する撮像装置2と通信可能に接続され、撮像装置2から組織BTの試料データを受信する。例えば、撮像装置2は撮像処理を繰り返し行い、画像解析装置1は、撮像処理ごとに、または複数回数の撮像処理ごとに試料データの一部または全部を受信してもよい。また、試料データは、予め撮像された試料画像をもとにしたデータであってもよく、記録媒体などに記録されていてもよい。画像解析装置1は、この記録媒体から試料データを読み出してもよい。
分布データ生成部3は、例えば、記憶部8に記憶されている解析条件に従って、分布データを生成する。分布データ生成部3は、例えば、試料画像のうち解析領域の設定情報、及び分布データの設定情報を記憶部8から読み出す。分布データの設定情報に規定された波長帯が、波長λ1、波長λ2、波長λ3・・・波長λnを含む場合、分布データ生成部3は、各波長における解析領域の光強度を順に算出する。分布データ生成部3は、例えば、波長λ1を用いて検出した第1の試料画像のデータから、解析領域の設定情報に規定された第1の部分領域に含まれる複数の画素の画素値を読み出す。分布データ生成部3は、これら複数の画素の画素値の平均値を算出し、算出した平均値を、波長λ1における第1の部分領域の光強度I(λ1)とする。分布データ生成部3は、波長λ2、波長λ3、・・・波長λnについても同様にして、各波長における第1の部分領域の光強度を算出する。分布データ生成部3は、波長と算出した光強度とを関連付けて、記憶部8に記憶させる。また、分布データ生成部3は、解析領域の設定情報に規定された第2の部分領域についても、第1の部分領域と同様に、波長λ1、波長λ2、波長λ3・・・波長λnの各波長の光強度を算出し、波長と算出した光強度とを関連付けて、記憶部8に記憶させる。このように、分布データ生成部3は、解析領域の部分領域ごとに分布データを生成する処理を繰り返して、設定情報に規定された解析領域の全域について、分布データを生成する。
次のステップS3において、微分演算部4は、2階微分係数を算出する。微分演算部4は、例えば、記憶部8に記憶されている解析条件に従って、分布データを生成する。微分演算部4は、例えば、解析領域を規定した設定情報、解析条件のうちN(例、2、又は3以上)を規定した設定情報、及び解析波長帯を規定した設定情報を、記憶部8から読み出す。
微分演算部4は、解析領域のうち部分領域ごとにN階微分係数(図4の場合、2階微分係数)を算出する。微分演算部4は、例えば、分布データ生成部3が生成した分布データのうち、第1の部分領域のデータを、記憶部8から読み出す。微分演算部4は、分布データのうち、設定情報に規定された解析波長帯を含む波長帯の光強度を使って、例えば図3の式(1)、式(2)に従って、2階微分係数を算出する。例えば、設定情報に規定された解析波長帯が波長λ1、波長λ2、波長λ3、・・・、波長λnを含む場合、各波長における2階微分係数を順に算出する。微分演算部4は、例えば、第1の部分領域について、各波長と算出した2階微分係数を関連付けて記憶部8に記憶させる。
また、微分演算部4は、解析領域の第2の部分領域についても同様に、解析波長帯の各波長におけるN階微分係数(図4の場合、2階微分係数)を算出し、各波長と算出した2階微分係数を関連付けて記憶部8に記憶させる。微分演算部4は、例えば、部分領域ごとに解析波長帯の各波長における2階微分係数を算出する処理を繰り返し、設定情報に規定された解析領域に含まれる複数の部分領域のそれぞれについて、2階微分係数を算出する。
次のステップS4において、画像データ生成部5は、微分演算部4が算出したN階微分係数(図4の場合、2階微分係数)をもとに解析画像のデータを生成する。画像解析装置1は、例えば、画像データ生成部5が生成した解析画像のデータを記憶部8に記憶させておき、ユーザの指令に応じて表示装置9に出力する。
本実施形態においては、組織BTの赤外帯域における光強度の分布を示す分布データを生成し、分布データをもとに光強度の分布のN階微分係数を試料画像の領域ごとに算出し、N階微分係数を階調値に変換して画像データを生成する。そのため、生物の組織BTの組成を精度よく分析できる。また、本実施形態における画像解析装置1は、生物の組織BTの情報を精度よく得ることができる。
[第2実施形態]
次に、第2実施形態について説明する。本実施形態において、分布データ生成部3は、解析波長帯を含む波長帯における光強度の分布を表す連続関数を算出する。また、微分演算部4は、この連続関数を使ってN階微分係数を算出する。
分布データ生成部3は、例えば、解析波長帯を含む波長帯における光強度の分布を表す連続関数を算出し、この連続関数を表すパラメータを分布データとして生成する。例えば、波長λ1と光強度I(λ1)との組、波長λ2と光強度I(λ2)との組、及び波長λ3と光強度I(λ3)との組を使うと、λを変数とする光強度I(λ)の2次関数が1つ定まる。分布データ生成部3は、例えば、この2次関数の各項の係数の組を分布データとして生成する。なお、分布データ生成部3は、この2次関数の係数のうち少なくとも2次の項の係数を含む分布データを生成してもよい。
なお、分布データ生成部3は、波長と光強度との組をN+1組以上使って、N次の多項式関数を上記の連続関数として算出してもよい。例えば、分布データ生成部3は、波長と光強度との組を4組使って、3次の多項式関数を連続関数として算出してもよい。この場合、分布データ生成部3は、3次の多項式関数の少なくとも2次以上の項の係数の組を分布データとして生成してもよい。
また、分布データ生成部3は、解析波長帯を含む波長帯における光強度の分布の近似式を上記の連続関数として算出してもよい。例えば、分布データ生成部3は、波長と光強度との組を4組使って、最小二乗法などの各種近似法により2次関数の近似式を算出し、この2次関数の係数のうち少なくとも2次の項の係数を含む分布データを生成してもよい。近似式を用いると、例えば、ノイズの影響を減らすことができる。なお、近似式は3次以上であってもよい。また、N次関数の近似式の算出に用いる波長と光強度との組は、N+1以上の任意の数に設定できる。
微分演算部4は、例えば、分布データ生成部3が算出した連続関数の係数を使ってN階微分係数を算出する。図5は、本実施形態に係る微分演算部4によりN階微分係数を算出する方法の一例を説明するための式である。N次の多項式は、図5の式(7)により表される。式(7)において、Ciは、0以上N以下の整数iとしてi次の項の係数である。Ciは、分布データ生成部3が生成する分布データに含まれるデータである。また、波長λnにおける2階微分係数は、図5の式(8)により表される。微分演算部4は、分布データに含まれるCiを使って、例えば式(8)に従って2階微分係数を算出する。
この場合、例えば、解析波長帯における光強度の分布を近似した二次関数を2階微分すると、二次の項の係数が残る。そのため、極大値および極小値をいずれも含まない波長帯に解析波長帯が設定される場合であっても、極大値または極小値を含む波長帯において2階微分係数を求める場合と同等の結果が得られる。
[第3実施形態]
次に、第3実施形態について説明する。図6は、本実施形態に係る画像解析装置1を示す図である。この画像解析装置1は、上記した構成に加えて、抽出部11を備える。本実施形態において、微分演算部4は複数の波長のそれぞれに対してN階微分係数を算出し、抽出部11は、微分演算部4の算出結果を使って、N階微分係数の絶対値が閾値以上である波長帯(例、第1波長帯)を抽出する。この閾値を規定する抽出設定情報は、例えば解析条件に含まれ、記憶部8に記憶されている。
抽出部11は、例えば、記憶部8から抽出設定情報を読み出す。また、微分演算部4がN階微分係数を算出する波長帯に波長λ1、波長λ2、波長λ3、・・・、波長λnが含まれる場合、抽出部11は、例えば、波長λ1におけるN階微分係数を読み出し、このN階微分係数と閾値とを比較する。抽出部11は、波長λ1におけるN階微分係数が閾値以上である場合、波長λ1を例えばワークメモリ7に記憶させる。また、抽出部11は、波長λ2、波長λ3、・・・、波長λnの各波長について、N階微分係数を順に読み出し、N階微分係数が閾値以上である場合にその波長をワークメモリ7に記憶させる。抽出部11は、波長λnまで比較処理が終了した後、ワークメモリ7に記憶されている波長を、1セットの抽出データとして記憶部8に記憶させる。
画像解析装置1は、例えば、抽出部11が抽出した各波長におけるN階微分係数を第1の所定値に置換し、波長λ1、波長λ2、波長λ3、・・・、波長λnのうち抽出部11に抽出されなかった波長におけるN階微分係数を第2の所定値に置換してもよい。これにより、例えば、図2に示した分布Dcのように、N階微分係数を第1の所定値または第2の所定値に二値化したデータが得られる。
なお、上述の各実施形態において、画像解析装置1は、上記のN階微分係数に加えて、1階微分係数を使って画像解析を行ってもよい。画像解析装置1は、例えば、N階微分係数および1階微分係数を使って、光強度の分布において極値となる波長を検出する検出部を備えていてもよい。画像解析装置1は、例えば、この検出部が検出した波長の情報を解析波長帯の設定に利用してもよい。例えば、画像解析装置1は、この検出部が検出した波長の情報を、解析波長帯の候補として表示装置9に表示させてもよい。また、上記の各実施形態において、画像解析装置1の分布データ生成部3は、上記の分布データを生成する前および上記のN階微分係数を算出する前に、前処理として、上記のスペクトルの極値を特定するためにスペクトルをL階微分(Lは0を含む1以上の整数)したデータを分布データとして出力しても良い。また、分布データ生成部3は、上述の前処理として、上記のスペクトルを移動平均法による平滑化処理しても良い。このように、分布データ生成部3は、上記した前処理を行うことによって、スペクトルを近似曲線にしてから分布データを生成してもよい。こうした前処理によって、画像解析装置1は、スペクトルに含まれるノイズの影響を低減した画像を生成することができ試料画像を高精度に解析することができる。
[実施例]
次に、実施例について説明する。図7は、実施例に係る試料画像の一例を示す図である。図7の試料画像に写っている組織BTは、腸間膜を含む。組織BTの部分BTcは、部分BTdと比較して、水分の占める比率が多い部分である。部分BTdは、部分BTcと比較して、脂質の占める割合が多い部分である。部分BTcは、例えばリンパ節を含む部分であり、部分BTdは皮や脂肪を含む部分である。
図8は、実施例に係るスペクトルおよび2階微分係数の分布を示す図である。図8において、スペクトルScは、部分BTcのスペクトルを示し、スペクトルSdは部分BTdのスペクトルを示す。また、分布Ddは、スペクトルScの2階微分係数の分布を示し、分布Deは、スペクトルSdの2階微分係数の分布を示す。図8において、横軸は波長λ(nm)であり、第1縦軸は光強度I、第2縦軸は2階微分係数である。光強度I、2階微分係数の単位は、任意単位(a. u. )である。
スペクトルScは、波長が900nm以上1100nm以下の波長帯、1100nm以上1300nm以下の波長帯、1500nm以上1700nm以下の波長帯、1600nm以上1800nm以下の波長帯のそれぞれに極大値又は極小値を有する。スペクトルScは、1300nm以上1500nm以下の波長帯に極小値を有する。また、2階微分係数の分布Ddにおいて、スペクトルScが極大値をとる波長の付近、及びスペクトルScが極小値をとる波長の付近では、2階微分係数の絶対値が大きくなっている。また、2階微分係数の分布Ddによれば、スペクトルScが極大値又は極小値の波長を含む波長帯において、2階微分係数は相対的に大きい値となっている。
スペクトルSdは、波長が900nm以上1100nm以下の波長帯、1100nm以上1300nm以下の波長帯、1800nm以上2000nm以下の波長帯のそれぞれに極大値又は極小値を有する。スペクトルSdは、1300nm以上1500nm以下の波長帯のそれぞれに極小値を有する。また、2階微分係数の分布Deにおいて、スペクトルSdが極大値をとる波長の付近、及びスペクトルSdが極小値をとる波長の付近では、2階微分係数の絶対値が大きくなっている。また、2階微分係数の分布Deによれば、スペクトルSdが極大値又は極小値の波長を含む波長帯において、2階微分係数は相対的に大きい値となっている。
本実施例の図8においては、900nm以上1100nm以下の波長帯、1100nm以上1300nm以下の波長帯、1150nm以上1250nm以下の波長帯、1300nm以上1500nm以下の波長帯、1350nm以上1450nm以下の波長帯、1500nm以上1700nm以下の波長帯、1600nm以上1800nm以下の波長帯、1800nm以上2000nm以下の波長帯は、スペクトルScの2階微分係数とスペクトルSdの2階微分係数との差が顕著になる波長をそれぞれ含む。本実施例では、例えば、この波長帯から選択される波長を解析波長帯に設定する。本実施例においては、例えば、脂質の比率が多い部分BTdのスペクトルSdの2階微分係数が、水分の比率が多い部分BTcのスペクトルScの2階微分係数よりも大きくなる波長を、解析波長帯に設定する。例えば、解析波長帯は、900nm以上1100nm以下の波長帯、1100nm以上1300nm以下の波長帯、1150nm以上1250nm以下の波長帯、1300nm以上1500nm以下の波長帯、1350nm以上1450nm以下の波長帯、1500nm以上1700nm以下の波長帯、1600nm以上1800nm以下の波長帯、1800nm以上2000nm以下の波長帯、1000nm以上1500nm以下の波長帯、900nm以上1700nm以下の波長帯のうち少なくとも1つを含む波長帯に設定される。
図9は、実施例に係る解析画像の例を示す図である。図9に示すように、リンパ節に相当する部分(図中矢印で示す)は、階調値が低い暗部で表されている。また、皮、脂肪に相当する部分は、階調値が高い明部で表されている。このように、組織BTのうち所定の条件を満たす部分が強調された画像が得られることが確認された。
なお、解析波長帯は、組織BTに含まれる所定物質のスペクトル(例、分光スペクトル)に基づいて設定されてもよい。図10は、本実施形態に係る所定物質のスペクトル(例、分光スペクトル)の例を示すグラフである。図10において、スペクトルSeは水(例、厚み10mm)のスペクトルであり、スペクトルSfは脂質のスペクトルである。図10において、横軸は波長λ(nm)であり、縦軸は光強度I(a. u. )である。
水のスペクトルSeは、900nm以上1100nm以下の波長帯、1100nm以上1300nm以下の波長帯にそれぞれ、極大値又は極小値を有する。水のスペクトルSeは、1700nm以上1900nm以下の波長帯に極大値を有する。水のスペクトルSeは、1900nm以上2000nm以下の波長帯に極小値を有する。脂質のスペクトルSfは、1100nm以上1300nm以下の波長帯、1300nm以上1500nm以下の波長帯に、それぞれ、極大値又は極小値を有する。脂質のスペクトルSfは、1500nm以上1700nm以下の波長帯に極大値を有する。極大値と極小値の一方または双方を有する波長帯に解析波長帯を設定した場合、組織BTにおける所定物質の分布を検出しやすい。また、脂質と水の一方のスペクトルの非線形性が強く、他方のスペクトルの線形性が強い波長帯を解析波長帯に設定した場合、組織BTにおいて脂質の比率が多い部分と水の比率が多い部分を区別しやすい。
そのため、例えば、所定物質が脂質又は水を含む場合、解析波長帯は、900nm以上1700nm以下の波長帯に設定されていてもよい。また、解析波長帯は、900nm以上1100nm以下の波長帯、1100nm以上1300nm以下の波長帯、1300以上1500nm以下の波長帯、1500nm以上1700nm以下の波長帯、1900nm以上2000nm以下の波長帯のうち少なくとも1つを含む波長帯に設定されていてもよい。
図11は、本実施形態に係るスペクトルに対応する2階微分係数の分布の例を示す図である。図11において、分布Dfは、水のスペクトル(例、分光スペクトル)に対応する2階微分係数の分布を示し、分布Dgは、脂質のスペクトル(例、分光スペクトル)に対応する2階微分係数の分布を示す。図11において、横軸は波長λ(nm)であり、縦軸は2階微分係数(a. u. )である。
図11によれば、水に関する2階微分係数の分布Dfにおいて、900nm以上1000nm以下の波長帯、1000nm以上1100nm以下の波長帯、1100nm以上1200nm以下の波長帯、1100nm以上1300nm以下の波長帯、1300nm以上1400nm以下の波長帯、1650nm以上1900nm以下の波長帯のそれぞれにおいて、2階微分係数が顕著に大きくなる波長がある。また、脂質に関する分布Dgにおいて、1100nm以上1200nm以下の波長帯、1150nm以上1300nm以下の波長帯、1350nm以上1450nm以下、1650nm以上1850nm以下の波長帯の波長帯のそれぞれにおいて、2階微分係数が顕著に大きくなる波長がある。そのため、解析波長帯は、900nm以上1000nm以下の波長帯、1000nm以上1100nm以下の波長帯、1100nm以上1200nm以下の波長帯、1100nm以上1300nm以下の波長帯、1150nm以上1300nm以下の波長帯、1300nm以上1400nm以下の波長帯、1350nm以上1450nm以下の波長帯、1650nm以上1850nm以下の波長帯、1650nm以上1900nm以下の波長帯のうち少なくとも1つを含む波長帯に設定されていてもよい。
なお、所定物質は、1種類であってもよいし、2種類以上であってもよい。例えば、第1の所定物質のスペクトルに基づいて第1の解析波長帯が選択され、第2の所定物質のスペクトルに基づいて、第1の解析波長帯と異なる第2の解析波長帯が選択されていてもよい。画像解析装置1は、例えば、第1の解析波長帯におけるN階微分係数を使って、組織BTにおける第1の所定物質の分布を検出し、第2の解析波長帯におけるN階微分係数を使って、組織BTにおける第2の所定物質の分布を検出してもよい。例えば、第1の所定物質は水を含み、第2の所定物質は脂質を含んでいてもよい。
画像解析装置1は、例えば、図示しない記憶装置から読み込まれる画像解析プログラムに従って各種の処理を実行するコンピュータを含む。この画像解析プログラムは、コンピュータに、生物の組織に赤外帯域の光を照射して得られる試料画像をもとに、組織の赤外帯域における光強度の分布を示す分布データを生成することと、分布データをもとに、2以上の整数をNとして赤外帯域の第1波長帯における光強度の分布のN階微分係数を、試料画像の領域ごとに算出することと、N階微分係数を階調値に変換し、画像データを生成することと、を実行させる。この画像解析プログラムは、コンピュータ読み取り可能な記録媒体に記録されていてもよいし、通信回線を介して提供されてもよい。
次に、本実施形態に係る撮像システムについて説明する。図12は、本実施形態に係る撮像システム20を示す図である。撮像システム20は、上記の解析波長帯の赤外光を用いて生物の組織BTを撮像した試料画像をもとに、組織BTのうち組成が所定の条件を満たす部分を光学的に検出する。
撮像システム20は、例えば組織BTに関する病理解剖、病理診断、生体検査(生検)など、や生物の手術(例、外科的手術)などに利用される。また、撮像システム20は、一般的な手術のように組織BTを傷つける処理(侵襲処理)、組織BTを傷つけない各種検査(非侵襲検査)など、医療用途や検査用途、調査用途等に適用できる。
撮像システム20は、ステージ装置21、撮像装置(撮像部)2、制御装置23、入力装置10、及び表示装置(表示部)9を備える。撮像システム20は、例えば以下のように動作する。ステージ装置21は、その上面に組織BTを配置可能である。撮像装置2は、ステージ装置21に配置された生物の組織BTを撮像する。入力装置10は、例えば操作者(ユーザ)からの入力を受け付けることができる。制御装置23は、例えばユーザから入力装置10に入力される指令、設定などに基づき、撮像システム20の各部を制御する。制御装置23には画像解析部24(画像解析装置)が組み込まれている。画像解析部24は、組織BTを撮像した試料画像をもとに、組織BTにおいて所定の条件を満たす部分の空間分布を示す画像データを生成する。例えば、画像解析部24は、組織BTにおける物質の分布を示す画像データを生成する。制御装置23は、表示装置9に各種情報を表示させる。例えば、制御装置23は、画像解析部24が生成した画像データを使って、組織BTにおける物質の分布を示す画像を表示装置9に表示させる。以下、撮像システム20の各部および画像データの生成手法などについて説明する。
撮像装置2は、光源部25から射出される光の照明によって組織BTの少なくとも一部から放射される光の光強度を波長ごとに検出できる。例えば、撮像装置2は、ハイパースペクトルカメラのように、ハイパースペクトル画像を取得できる。撮像装置2は、組織BTの一部(撮像対象の領域)から放射される光のスペクトルデータを1回の撮像で取得できる。撮像装置2は、組織BT上の複数の領域を撮像することにより、組織BTから放射される光の光強度の空間分布を取得できる。撮像装置2は、組織BT上で撮像対象の領域を移動させながら複数の試料画像を撮像することにより、組織BTから放射される光の任意の波長における光強度の空間分布を取得することができ、かつ組織BT上の任意の位置から放射される光の波長に対する光強度の分布を取得することができる。撮像装置2は、光源部25、撮像光学系26、及び光検出部27を備える。
光源部25は、例えばハロゲンランプ又は赤外LED(赤外発光ダイオード)を含む。光源部25は、画像解析部24による画像の解析に使われる波長帯の光を射出する。画像の解析に使われる波長帯は、例えば、900nm以上1700nm以下の波長帯域又は900nm以上2000nm以下の波長帯域の少なくとも一部である。そこで、撮像装置2の光源部25は、900nm以上1700nm以下の波長帯域又は900nm以上2000nm以下の波長帯域の少なくとも一部を含む波長帯域の光を照射可能である。
光源部25は、赤外光によりステージ装置21上の照明領域IRを照明する。照明領域IRは、一方向に長いライン状に設定されている。本実施形態において、光源部25は、一方向に長いスポット形状の赤外光を射出する。
以下、図12に示すXYZ直交座標系を参照しつつ、各要素の位置関係などを説明する。このXYZ直交座標系において、照明領域IRの長手方向をX軸方向とし、ステージ装置21上でX軸方向に直交する方向をY軸方向とする。また、X軸方向およびY軸方向のそれぞれに直交する方向をZ軸方向とする。X軸方向およびY軸方向は、例えば水平方向に設定され、Z軸方向は例えば鉛直方向に設定される。
撮像光学系26は、ステージ装置21上の照明領域IR(組織BT)から放射された光を、光検出部27へ導く。撮像光学系26は、レンズ28および分光器29を備える。レンズ28は、組織BTから放射された光を光検出部27上に集光する。分光器29は、例えばプリズム、回折格子、スリットの少なくとも一つを含み、組織BTから放射された光を複数の波長帯の成分に分光する。分光器29は、組織BT上の各点から放射された光を、Y軸方向に長いスポット形状のスペクトル光に分光する。例えば、分光器29は、このスペクトル光のうち短波長側の成分をY軸方向の一方に分光し、長波長側の成分をY軸方向の他方に分光する。
光検出部27は、CMOSセンサーあるいはCCDセンサーなどの二次元イメージセンサを含む。光検出部27は、フォトダイオードなどの光電変換素子が配列される受光面27aを有する。受光面27aにおいて、1つのフォトダイオードが配置される領域は1つの画素に対応する。以下の説明では、受光面27aにおいて、照明領域IRの長手方向に対応する方向をPi方向とし、Pi方向に直交する方向をPj方向とする。Pi方向は例えば垂直走査方向であり、Pjは例えば水平走査方向である。光検出部27の画素は、Pi方向とPj方向のそれぞれに並んでいる。光検出部27は、上述したハイパースペクトルカメラの少なくとも一部として動作する。
ここで、Pj方向に並ぶ複数の画素(水平走査線)に着目する。分光器29は、組織BTの各点から放射された光を、照明領域IRの長手方向に直交する方向に分布するスペクトル光に分光するので、水平走査線の一端側の画素には、スペクトル光のうち短波長側の成分が入射し、水平走査線の他端側の画素にはスペクトル光のうち長波長側の成分が入射する。このように、光検出部27は、組織BT上の一部から放射された光を、水平走査線上に並ぶ複数の画素により、波長帯ごとに分けて検出できる。例えば、光源部25は、広い波長帯域にわたる赤外光を射出し、光検出部27の複数の画素は、それぞれ、光源部25から射出される赤外光よりも狭い波長帯の光を検出する。
例えば、水平走査線の一端の画素に入射する光の波長がλ4であり、他端に入射する光の波長がλ5であるとする。水平走査線上に並ぶ画素の数がK個(Kは1以上の整数)である場合に、光検出部27は、波長がλ4からλ5の波長帯域の光を、K個の波長帯に分けてそれぞれ検出できる。以下、複数の波長帯に分けて光強度を検出する場合の各波長帯の幅を、適宜、検出幅という。検出幅は、λ4、λ5、Kに依存するが、例えば、水平走査方向の画素数が1280個であれば検出幅を数nm程度(例、1nm以上10nm未満)にできる。
なお、上記の検出幅は、任意に設定できる。例えば、λ4とλ5の差を小さく設定するほど、またKを大きく設定するほど、上記の検出幅を狭く(例、1nm未満に)できる。例えば、λ4とλ4の差を大きく設定するほど、またKを小さく設定するほど、上記の検出幅を広く(例、10nm以上に)できる。例えば、2以上の画素で出力値の平均を取ることにより、上記の検出幅を広く設定できる。
光検出部27は、一回の撮像処理において、組織BTの照明領域IRに配置されるライン状の部分を撮像する。本実施形態において、ステージ装置21は、組織BTを保持して所定方向に移動可能であり、照明領域IRと組織BTとの相対位置を可変である。ステージ装置21が組織BTを保持してY軸方向に移動することにより、照明領域IRと組織BTとの相対位置がY軸方向において変化し、組織BTが光源部25からの光で走査される。制御装置23は、組織BTを保持したステージ装置21をY軸方向に移動させながら、撮像装置2に撮像処理を繰り返し実行させることで、組織BTの二次元的な画像を取得できる。
制御装置23は、画像解析部24および記憶部30を含む。画像解析部24は、組織BTを撮像した撮像画像を解析し、組織BTに含まれる物質を検出する。画像解析部24は、例えば、撮像装置2が撮像したハイパースペクトル画像(複数の試料画像)を使って、生物の組織BTの光学特性(例、分光特性)を解析する。本実施形態において、制御装置23は、撮像装置2から取得した試料画像などの各種情報を記憶部30に記憶させる。画像解析部24は、記憶部30から各種情報を読み出し、処理を行う。
また、上述の実施形態において、撮像装置2は、組織BTから放射される光を分光し、ハイパースペクトル画像を取得するが、他の構成もとりえる。例えば、撮像装置2は、光源部25から射出する光の波長帯域を切り替えながらデータ(例、試料データ)を取得する構成であっても良い。また、本実施形態におけるハイパースペクトル画像の取得方式は、空間走査方式、スペクトル走査方式、フーリエ変換方式、又は干渉フィルタ方式などである。図13(A)および図13(B)は、それぞれ、撮像装置2の他の構成を示す図である。なお、制御装置23は上述した構成と同様であり、画像解析部24は、撮像装置2からの試料データを使って、解析画像のデータを生成することができる。
図13(A)に示す撮像装置2は、光源部25、フィルタ31、及び光検出部27を備える。光源部25は、所定の波長帯域に応じた広い波長帯域を有する赤外光を射出する。フィルタ31は、光源部25と光検出部27との間の光路に配置される。例えば、フィルタ31は、光源部25と組織BTとの間の光路と、組織BTと光検出部27との間の光路の少なくとも一方に設けられる。フィルタ31は、複数のフィルタ部を含み、複数のフィルタ部は、透過する赤外光の波長が互いに異なる。フィルタ31は、図示しない駆動部によって駆動され、複数のフィルタ部のうち光源部25と光検出部27との間に配置されるフィルタ部を切り替えることができる。
制御装置23は、フィルタ31の駆動部を制御し、光源部25と光検出部27との間の光路に配置されるフィルタ部を切り替えることにより、光検出部27に入射する赤外光の波長を制御する。例えば、制御装置23は、光源部25と光検出部27との間の光路に、第1波長帯の赤外光が透過する第1のフィルタ部を配置する。制御装置23は、組織BTから放射された第1波長帯の赤外光が光検出部に入射している間に、光検出部27に撮像させる。制御装置23は、光検出部27の撮像結果から、組織BTから放射された第1波長帯の赤外光の光強度の空間分布を取得する。同様に、制御装置23は、光源部25と光検出部27との間の光路に、第2波長帯の赤外光が透過する第2のフィルタ部を配置し、組織BTから放射された第2波長帯の赤外光の光強度の空間分布を取得する。このようにして、制御装置23は、N個の波長帯における試料データを生成できる。
図13(B)に示す撮像装置2は、光源部25、及び光検出部27を備える。光源部25は、第1の波長帯の赤外光を射出する光源32a、第2の波長帯の赤外光を射出する光源32b、及び第3の波長帯の赤外光を射出する光源32cを含む。制御装置23は、光源32a、光源32b、及び光源32cのそれぞれの点灯あるいは消灯を制御する。制御装置23は、光源32aを点灯状態にしつつ、光源32bおよび光源32cを消灯状態にする。これにより、光源部25から第1の波長帯の赤外光が射出され、光検出部27に、組織BTから放射された第1の波長帯の赤外光が入射する。制御装置23は、光源32a、光源32b、及び光源32cのうち点灯状態の光源を切り替えながら、光検出部27に撮像させる。このようにして、制御装置23は、複数の波長帯のそれぞれにおける試料画像を取得できる。上記の第1〜第3の波長帯の赤外光(この場合、3つの赤外光)は、上述した解析波長帯からN階微分係数に基づいて選定された波長帯の光を含む。また、本実施形態における撮像システム20は、互いに波長の異なる少なくとも3つの赤外光(3つの赤外帯域の光)を組織BTに射出可能な光源部25と、組織BTを介した該3つの赤外光を受光する光検出部27と、上述した画像解析装置1と、を備え、画像解析装置1は、光検出部27から得られる試料画像をもとに、組織BTの3つの赤外光におけるスペクトルを示す分布データを生成する分布データ生成部3と、その分布データをもとに該スペクトルのN階微分係数(Nは2以上の整数)を算出する微分演算部4と、該N階微分係数を階調値に変換して画像データを生成する画像データ生成部5と、を備える。本実施形態における画像解析装置1又は撮像システム20は、組織BTにおける所定物質の分布を高精度に画像として可視化することができる。なお、上記の3つの赤外光は、上記の解析波長帯から選定される。また、この可視化において、画像解析装置1は、階調値をもとに多色化して組織BTにおける所定物質を強調表示しても良い。
[病理診断システム]
次に、病理診断システム(医療支援システム)について説明する。図14は、病理診断システム40の一例を示す図である。この病理診断システム40は、テーブル41、照射部42、照射部43、撮像装置2、画像解析装置1、入力装置10、及び表示装置9を備える。テーブル41は、その上面に組織BTを載置可能である。照射部42は、例えば、テーブル41上の組織BTに赤外帯域の光を照射する。照射部43は、例えば、テーブル41上の組織BTに可視帯域の光を照射する。撮像装置2は、赤外画像および可視光画像を撮像可能である。照射部42および撮像装置2は、例えば図13に示したように、撮像装置2により検出する光の波長を切替可能に構成される。
画像解析装置1は、撮像装置2により撮像された試料画像をもとに、組織BTにおける所定物質の分布を示す解析画像のデータを生成する。画像解析装置1は、解析画像のデータを表示装置9に供給し、表示装置9に解析画像を表示させる。画像解析装置1は、例えば、組織BTにおける第1の所定物質の分布を示す第1分布画像と、組織BTにおける第2の所定物質の分布を示す第2分布画像とを切り替えて、表示装置9に表示させることもできる。
画像解析装置1は、撮像装置2により撮像された可視光画像を表示装置9に表示させることもできる。画像解析装置1は、撮像装置2により撮像された可視光画像と、解析結果を示す画像とを重ねたオーバーレイ画像を、表示装置9に表示させることもできる。ユーザは、例えば、表示装置9に表示された画像を見ながら、病理診断を行うことができる。
[手術支援システム]
次に、手術支援システム(医療支援システム)について説明する。図15は、手術支援システムSYSの一例を示す図である。この手術支援システムSYSは、上述の実施形態で説明した画像解析部24を利用したマンモトームである。手術支援システムSYSは、照明ユニット50および赤外カメラ51を備える。照明ユニット50は、乳房などの組織に検出光を照射する。赤外カメラ51は、組織から放射される光を検出する光検出部である。図示しない画像解析部(画像解析装置1)は、赤外カメラ51の検出結果(試料データ)をもとに、解析画像のデータを生成する。
また、手術支援システムSYSは、ベッド52と、透明プラスチック板53と、穿孔針54とを備える。ベッド52は、被検者をうつ伏せで横臥させるものである。ベッド52は、被写体である被検者の乳房BT2(組織)を下方に露出させるための開口部52aを有する。透明プラスチック板53は、乳房BT2を両側から挟んで平板状に変形させるのに用いられる。穿孔針54は、組織に対する処理が可能な操作デバイスである。穿孔針54は、コアニードル生検において乳房BT2に挿入され、検体を採取する。
図15に示すように、乳房BT2を透明プラスチック板53で両側から押し付けて平板状に変形させ、この状態で照明ユニット50から所定の波長帯の赤外光を出射させて赤外カメラ51により撮像する。これにより、赤外カメラ51は、照明ユニット50からの反射赤外光によって乳房BT2の画像を取得する。
ところで、一般的なコアニードル生検では、超音波エコーを用いて針の深さを計測しながら穿孔針(コアニードル)を挿入する。乳房は、一般的に脂質が多い組織を含むが、乳癌が発生していると、乳癌の部分は、他の部分と水の量が異なる場合がある。
手術支援システムSYSは、乳房BT2における所定物質の分布を示す画像を上述した画像解析装置によって生成し、この画像を患者の組織(例、乳房BT2)に投影しながら又は表示部に表示しながら、穿孔針54を乳房BT2に挿入して組織を採取できる。例えば、オペレータは、画像解析装置が生成した解析画像を観察しながら、乳房BT2のうち水の量が他の部分と異なる部分に穿孔針54を挿入することができる。このような手術支援システムSYSは、組織における教師物質の分布を精度よく分析しながら、検体の採取が可能になる。また、X線被曝の影響の無い赤外光による撮像は、妊娠の有無にかかわらず産婦人科において日常的に適用できる。このように、例えば、手術支援システムSYSは、画像解析部24を有する撮像システム20と、穿孔針54のような操作デバイスとを備える。
次に、他の手術支援システム(医療支援システム)について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
次に、手術支援システムの他の例について説明する。図16は、手術支援システムSYSの他の例を示す図である。この手術支援システムSYSは、開腹手術などに利用される。手術支援システムSYSは、処置の対象である組織に関する画像を組織上に投影した状態で、組織に対する処理が可能な操作デバイス(図示略)を備える。操作デバイスは、例えば、採血デバイス、止血デバイス、内視鏡器具などを有する腹腔鏡デバイス、切開デバイス、及び開腹デバイスの少なくとも一つを含む。
手術支援システムSYSは、手術灯60と、2台の表示装置9と、を備えている。手術灯60は、可視光を出射する可視照明灯61、赤外LEDモジュール62、赤外カメラ51、及び投影部63を備える。複数の赤外LEDモジュール62は、開腹により露出している組織に検出光を照射する。赤外カメラ51は、組織から放射される光を検出する光検出部である。投影部63は、赤外カメラ51による検出結果(撮像画像)を使って制御装置(図示略)が生成した画像を投影する。表示装置9は、赤外カメラ51によって取得した画像や、制御装置が生成した成分画像を表示可能である。なお、例えば手術灯60に可視光カメラが設けられており、表示装置9は、可視カメラで取得した画像を表示することもできる。また、表示装置9は、赤外光を用いて画像解析装置1が生成した画像と、可視カメラで取得した画像とを重ねて表示することもできる。
ところで、手術治療の侵襲性・効率は、切開・止血に随伴する損傷・焼灼の範囲と強度で決定される。手術支援システムSYSは、組織に関する情報を示す画像を組織上に投影するので、病変部の他、神経、すい臓などの実質臓器、脂質組織、血管などを視認しやすくなり、手術治療の侵襲性を低減することや、手術治療の効率を高めることができる。
なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。例えば、上記の実施形態あるいは変形例で説明した要件の1つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。
1 画像解析装置、2 撮像装置、3 分布データ生成部、4 微分演算部、5 画像データ生成部、11 抽出部、20 撮像システム、24 画像解析部、BT 組織、SYS 手術支援システム

Claims (23)

  1. 水を含む第1部分と脂質を含む第2部分とを含む組織に赤外帯域の光を照射して得られる試料画像をもとに、前記組織の前記赤外帯域における光強度の分布を示す分布データを生成する分布データ生成部と、
    前記分布データをもとに、2以上の整数をNとして前記赤外帯域の第1波長帯における前記光強度の分布のN階微分係数を、前記試料画像の領域ごとに算出する微分演算部と、
    前記N階微分係数を階調値に変換し、前記第1部分を前記第2部分より強調した画像データを生成する画像データ生成部と、
    を備える画像解析装置。
  2. 前記第1部分は、前記第2部分と比較して前記水の比率が多い部分であり、
    前記第2部分は、前記第1部分と比較して前記脂質の比率が多い部分である、請求項1に記載の画像解析装置。
  3. 前記第1波長帯は、前記光強度の分布のうち非線形部分を含む波長帯に設定される、請求項1または請求項2に記載の画像解析装置。
  4. 前記第1波長帯は、前記光強度の分布の極大値又は極小値を含む波長帯に設定される、請求項1から請求項3のいずれか一項に記載の画像解析装置。
  5. 前記分布データ生成部は、前記分布データを前記試料画像の領域ごとに生成する、請求項1から請求項のいずれか一項に記載の画像解析装置。
  6. 前記第1波長帯は、前記水のスペクトル又は前記脂質のスペクトルに基づいて選定される、前記組織に含まれる所定物質のスペクトルに基づいて選択される、請求項1から請求項のいずれか一項に記載の画像解析装置。
  7. 前記分布データ生成部は、前記第1波長帯の少なくとも3波長を用いて前記分布データを生成する、請求項1から請求項6のいずれか一項に記載の画像解析装置。
  8. 前記第1波長帯は900nm以上1700nm以下に設定される、請求項1から請求項7のいずれか一項に記載の画像解析装置。
  9. 前記第1波長帯は、900nm以上2000nm以下の波長帯の少なくとも一部を含む、請求項1から請求項8のいずれか一項に記載の画像解析装置。
  10. 前記分布データ生成部は、前記Nよりも1以上大きい整数をMとして、前記第1波長帯を含む波長帯のM個の波長のそれぞれに対する光強度を含む離散データを前記分布データとして生成し、
    前記微分演算部は、前記分布データに含まれる光強度の差分を使って、前記第1波長帯におけるN階微分係数を算出する、請求項1から請求項のいずれか一項に記載の画像解析装置。
  11. 前記分布データ生成部は、前記第1波長帯を含む波長帯における前記光強度の分布を表す連続関数を算出し、
    前記微分演算部は、前記連続関数を使って、前記第1波長帯におけるN階微分係数を算出する、請求項1から請求項10のいずれか一項に記載の画像解析装置。
  12. 前記微分演算部は、前記分布データ生成部が生成した前記分布データをもとに、前記赤外帯域の複数の波長のそれぞれにおける前記光強度の分布のN階微分係数を、前記試料画像の領域ごとに算出する、請求項1から請求項11のいずれか一項に記載の画像解析装置。
  13. 前記複数の波長のそれぞれに対して前記微分演算部が算出したN階微分係数を使って、前記N階微分係数の絶対値が閾値以上である波長帯を抽出する抽出部を備える、請求項12に記載の画像解析装置。
  14. 前記第1部分はリンパ節を含む部分である、請求項1から請求項13のいずれか一項に記載の画像解析装置。
  15. 前記試料画像は、ハイパースペクトル画像を含む、請求項1から請求項14のいずれか一項に記載の画像解析装置。
  16. 前記微分演算部は、前記分布データをもとに、2以上の整数をNとして前記赤外帯域の第2波長帯における前記光強度の分布の第2のN階微分係数を、前記試料画像の領域ごとに算出し、
    前記画像データ生成部は、前記第2のN階微分係数を階調値に変換し、前記第2部分を前記第1部分より強調した第2画像データを生成する、
    請求項1から請求項15のいずれか一項に記載の画像解析装置。
  17. 請求項1から請求項16のいずれか一項に記載の画像解析装置と、
    前記組織における前記試料画像を取得する撮像部と、を備える撮像システム。
  18. 前記画像データ生成部が生成した前記画像データを用いて、画像を表示する表示部、
    を備える請求項17に記載の撮像システム。
  19. 前記第1部分を強調した画像データに基づく強調画像と前記組織を可視光で撮像した可視光画像とを表示する表示部を備え、
    前記画像解析装置は、前記可視光画像に対して前記強調画像のうち少なくとも前記第1部分に相当する画像を重ねたオーバレイ画像を前記表示部に表示させる、
    請求項17又は請求項18に記載の撮像システム。
  20. 前記画像解析装置は、前記N階微分係数を指標値に用いて前記組織における前記水の含有量を推定する、請求項17から請求項19のいずれか一項に記載の撮像システム。
  21. 互いに波長の異なる少なくとも3つの赤外光を、水を含む第1部分と脂質を含む第2部分とを含む組織に射出可能な光源部と、
    前記組織を介した前記3つの赤外光を受光する光検出部と、
    画像解析装置と、を備え、
    前記画像解析装置は、前記光検出部から得られる試料画像をもとに、前記組織の前記3つの赤外光におけるスペクトルを示す分布データを生成する分布データ生成部と、前記分布データをもとに前記スペクトルのN階微分係数(Nは2以上の整数)を算出する微分演算部と、前記N階微分係数を階調値に変換して前記第1部分を前記第2部分より強調した画像データを生成する画像データ生成部と、を備える、撮像システム。
  22. 請求項21に記載の撮像システムと、
    前記組織に対する処理が可能な操作デバイスと、を備える手術支援システム。
  23. コンピュータに、
    水を含む第1部分と脂質を含む第2部分とを含む組織に赤外帯域の光を照射して得られる試料画像をもとに、前記組織の前記赤外帯域における光強度の分布を示す分布データを生成することと、
    前記分布データをもとに、2以上の整数をNとして前記赤外帯域の第1波長帯における前記光強度の分布のN階微分係数を、前記試料画像の領域ごとに算出することと、
    前記N階微分係数を階調値に変換し、前記第1部分を前記第2部分より強調した画像データを生成することと、を実行させる画像解析プログラム。
JP2016532397A 2014-07-11 2014-07-11 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム Expired - Fee Related JP6451741B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/068629 WO2016006113A1 (ja) 2014-07-11 2014-07-11 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム

Publications (2)

Publication Number Publication Date
JPWO2016006113A1 JPWO2016006113A1 (ja) 2017-07-06
JP6451741B2 true JP6451741B2 (ja) 2019-01-16

Family

ID=55063784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016532397A Expired - Fee Related JP6451741B2 (ja) 2014-07-11 2014-07-11 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム

Country Status (3)

Country Link
US (1) US10467747B2 (ja)
JP (1) JP6451741B2 (ja)
WO (1) WO2016006113A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5981052B2 (ja) * 2014-06-05 2016-08-31 オリンパス株式会社 処理装置、内視鏡システム、内視鏡装置、画像処理装置の作動方法および画像処理プログラム
CN106725303A (zh) * 2016-11-22 2017-05-31 袁修翠 一种基于红外医学影像的乳腺健康自动分析系统
CA3076478C (en) * 2017-09-21 2021-11-16 Vital Biosciences, Inc. Imaging biological tissue or other subjects
TWI643160B (zh) * 2017-11-16 2018-12-01 國立臺北科技大學 利用權重參數與餘數定義隱寫資料於區塊截斷編碼影像的方法、影像壓縮裝置及電腦可讀取的記錄媒體
FR3074596B1 (fr) * 2017-12-01 2019-12-06 Universite De Reims Champagne Ardenne Procede de caracterisation d'echantillons utilisant des reseaux de neurones
US11460400B2 (en) 2020-07-07 2022-10-04 Sakura Finetek U.S.A., Inc. Use of IR spectroscopy to evaluate penetration of reagents into biological specimen

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4143401A (en) * 1977-07-07 1979-03-06 Westinghouse Electric Corp. System for generating line drawing of a scanned image
US5711755A (en) * 1995-04-14 1998-01-27 Vipera Systems, Inc. Endoscopic diagnostic systems and associated methods employing infrared radiation
US5833596A (en) * 1995-04-14 1998-11-10 Vipera Systems, Inc. Endoscope for imaging infrared emissions within the range of 2 to 14 microns
US7039446B2 (en) 2001-01-26 2006-05-02 Sensys Medical, Inc. Indirect measurement of tissue analytes through tissue properties
US6640130B1 (en) * 1999-07-02 2003-10-28 Hypermed, Inc. Integrated imaging apparatus
US7280866B1 (en) * 1999-10-06 2007-10-09 National Research Council Of Canada Non-invasive screening of skin diseases by visible/near-infrared spectroscopy
MXPA03006726A (es) * 2001-01-26 2004-10-15 Sensys Medical Inc Medicion no invasiva de la glucosa a traves de las propiedades opticas de los tejidos.
US7689268B2 (en) * 2002-08-05 2010-03-30 Infraredx, Inc. Spectroscopic unwanted signal filters for discrimination of vulnerable plaque and method therefor
JP2006102360A (ja) 2004-10-08 2006-04-20 Matsushita Electric Ind Co Ltd 生体情報提示装置
JP2007075366A (ja) 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
US20070027362A1 (en) 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
JP5148054B2 (ja) 2005-09-15 2013-02-20 オリンパスメディカルシステムズ株式会社 撮像システム
US20070093708A1 (en) 2005-10-20 2007-04-26 Benaron David A Ultra-high-specificity device and methods for the screening of in-vivo tumors
US20070290969A1 (en) * 2006-06-16 2007-12-20 Yih-Jen Hsu Output buffer for gray-scale voltage source
WO2008034845A2 (en) * 2006-09-19 2008-03-27 Nordic Bioscience Imaging A/S Pathology indicating measure related to cartilage structure and automatic quantification thereof
JP2009168670A (ja) * 2008-01-17 2009-07-30 Sanyo Electric Co Ltd 光学測定ユニット
JP5233549B2 (ja) * 2008-09-22 2013-07-10 住友電気工業株式会社 食品品質検査装置、食品成分検査装置、異物成分検査装置、食味検査装置および変移状態検査装置
ES2341079B1 (es) 2008-12-11 2011-07-13 Fundacio Clinic Per A La Recerca Biomedica Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
JP5273667B2 (ja) 2009-03-19 2013-08-28 国立大学法人東京工業大学 対象識別装置
CN102421375A (zh) 2009-05-13 2012-04-18 住友电气工业株式会社 血管内壁分析装置以及血管内壁分析方法
US20120078117A1 (en) * 2009-05-13 2012-03-29 Kyoto University Blood vessel inner wall analyzing device and blood vessel inner wall analyzing method
CN102946794A (zh) * 2010-06-22 2013-02-27 森斯派克有限公司 用于测定并监视测量介质的含量或特性的装置和方法,特别地用于测定并监视生理血液值
US9025850B2 (en) 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
JP6019017B2 (ja) * 2010-06-25 2016-11-02 シレカ セラノスティクス エルエルシーCireca Theranostics,Llc 生物学的試片をスペクトル画像により分析する方法
US9129371B2 (en) 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
JP2012202718A (ja) * 2011-03-23 2012-10-22 Olympus Corp 赤外分光方法
JP5592441B2 (ja) * 2012-06-26 2014-09-17 本田技研工業株式会社 配光制御装置
JP6082321B2 (ja) 2013-06-10 2017-02-15 住友電気工業株式会社 手術用顕微鏡システム
JP2015102542A (ja) 2013-11-28 2015-06-04 住友電気工業株式会社 生体検査装置
AU2015331579A1 (en) * 2014-10-17 2017-05-25 Cireca Theranostics, Llc Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
WO2017032718A1 (en) * 2015-08-24 2017-03-02 Unilever Plc Method and apparatus for stain treatment

Also Published As

Publication number Publication date
US10467747B2 (en) 2019-11-05
WO2016006113A1 (ja) 2016-01-14
US20170148164A1 (en) 2017-05-25
JPWO2016006113A1 (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
JP6451741B2 (ja) 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム
JP6710735B2 (ja) 撮像システム及び手術支援システム
US11330985B2 (en) Near-infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features
JP6468287B2 (ja) 走査型投影装置、投影方法、走査装置、及び手術支援システム
JP5384453B2 (ja) 測定装置、測定システム、測定方法、制御プログラム、および、記録媒体
JP6247316B2 (ja) ハイパースペクトルカメラガイドプローブを持つイメージングシステム
WO2015199067A1 (ja) 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
JP5948831B2 (ja) 測定装置、測定方法、プログラム及び記録媒体
EP3009098A1 (en) Microscope system for surgery
Zhang et al. Trimodal detection of early childhood caries using laser light scanning and fluorescence spectroscopy: clinical prototype
JP2014230647A (ja) 表示装置、表示方法および表示プログラム
JP5789786B2 (ja) 画像計測装置および画像計測方法
CN109907735B (zh) 一种多光谱舌象采集设备
WO2017047553A1 (ja) 撮像方法、撮像装置、撮像システム、手術支援システム、及び制御プログラム
JP2017064405A (ja) 光学測定装置及び光学測定方法
JP2016053482A (ja) 光音響波測定装置および光音響波測定方法
US20170370843A1 (en) Facilitating real-time visualization of tissue features derived from optical signals
JP2012010776A (ja) 断層画像処理装置及び方法、並びに光干渉断層画像診断装置
WO2019111365A1 (ja) 検体サンプル評価装置、検体サンプル評価方法およびプログラム
US20220245808A1 (en) Image processing apparatus, image processing system, image processing method, and computer-readable recording medium
JP6650919B2 (ja) 診断システム及び情報処理装置
JP2017211295A (ja) 検出装置、検出方法、及び検出プログラム
WO2013104760A1 (en) Scanning non-contact diaphanoscope
JP2007054588A (ja) 内視鏡による内因性信号の計測技術

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181126

R150 Certificate of patent or registration of utility model

Ref document number: 6451741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees