JP6733983B2 - 画像解析装置 - Google Patents

画像解析装置 Download PDF

Info

Publication number
JP6733983B2
JP6733983B2 JP2019516775A JP2019516775A JP6733983B2 JP 6733983 B2 JP6733983 B2 JP 6733983B2 JP 2019516775 A JP2019516775 A JP 2019516775A JP 2019516775 A JP2019516775 A JP 2019516775A JP 6733983 B2 JP6733983 B2 JP 6733983B2
Authority
JP
Japan
Prior art keywords
center
image data
cell
image
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019516775A
Other languages
English (en)
Other versions
JPWO2018207261A1 (ja
Inventor
暢 長坂
暢 長坂
Original Assignee
暢 長坂
暢 長坂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 暢 長坂, 暢 長坂 filed Critical 暢 長坂
Publication of JPWO2018207261A1 publication Critical patent/JPWO2018207261A1/ja
Application granted granted Critical
Publication of JP6733983B2 publication Critical patent/JP6733983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本明細書では、細胞オブジェクトを含む画像を解析して、細胞オブジェクトに対応する細胞を分類する技術を開示する。
近年、画像解析装置を利用した病理組織診又は細胞診が行われている(例えば、特表2011−52700号公報)。この技術では、細胞を分類するためのデータを画像解析装置に学習させておき、病理組織標本、細胞診標本等から得られる画像データを画像解析装置に入力することで、細胞の分類結果が得られる。
画像解析装置を利用した病理診断補助又は自動細胞解析では、通常、入力された細胞画像データから複数個の部分画像データのそれぞれが順次特定される。そして、複数個の部分画像データのそれぞれについて、当該部分画像データによって表わされる部分画像に含まれる細胞オブジェクトに対応する細胞が分類される。しかしながら、例えば、部分画像の中心からずれた位置に細胞が存在する場合には、当該部分画像を利用して細胞を分類すると、細胞を正確に分類することができない可能性がある。本明細書では、細胞の分類の正確性を向上させるための技術を開示する。
本明細書によって開示される画像解析装置は、画像解析を実行するための学習データを記憶するメモリであって、前記学習データは、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データと、細胞オブジェクトに対応する細胞を分類するための分類データと、を含む、前記メモリと、複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得部と、前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第1の画像特定部と、前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断部であって、前記中心判断処理は、前記学習データに含まれる前記判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断部と、前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる前記分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも1個の細胞オブジェクトに対応する少なくとも1個の細胞を分類する分類部と、前記分類の結果を出力する出力部と、を備えてもよい。
上記の構成によると、画像解析装置は、複数個の部分画像データのそれぞれに対して、判断データを利用した中心判断処理を実行する。これにより、画像解析装置は、部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを適切に判断することができる。そして、画像解析装置は、中心判断処理の結果と分類データとを利用して細胞を分類する。このために、細胞の分類の正確性を向上させることができる。
前記画像解析装置は、さらに、前記細胞画像データを二値化して、二値画像データを生成する生成部を備えてもよい。前記第1の画像特定部は、前記二値画像データによって表わされる二値画像から細胞オブジェクトの候補である候補オブジェクトの位置を検出して、前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定することを繰り返すことによって、前記複数個の部分画像データのそれぞれを順次特定してもよい。前記画像解析装置は、さらに、前記複数個の部分画像データのうちの第1の部分画像データに対する前記中心判断処理において、前記第1の部分画像データによって表わされる第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が対象細胞オブジェクトを含む場合に、前記細胞画像データから、前記対象細胞オブジェクトを含む第2の部分画像を表わす第2の部分画像データを特定する第2の画像特定部であって、前記第2の部分画像の中心と前記対象細胞オブジェクトの中心とは一致する、前記第2の画像特定部を備えてもよい。前記分類部は、前記第2の部分画像データと前記分類データとを利用して、前記対象細胞オブジェクトに対応する細胞を分類してもよい。この構成によると、画像解析装置は、第2の部分画像データを利用して、細胞を分類することができる。第2の部分画像の中心と対象細胞オブジェクトの中心とが一致するので、細胞の分類の正確性が向上する。
前記画像解析装置は、さらに、前記第1の部分画像データに対する前記中心判断処理において、前記第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が前記対象細胞オブジェクトを含む場合に、前記第1の部分画像に含まれる前記対象細胞オブジェクトの中心位置を特定する位置特定部と、前記二値画像データによって表わされる前記二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備えてもよい。前記第2の画像特定部は、変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出して、前記細胞画像データから前記所定マークの位置に対応する前記第2の部分画像データを特定してもよい。この構成によると、画像解析装置が、同じ細胞を重複して分類することを抑制できる。
前記位置特定部は、前記第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が1個の前記対象細胞オブジェクトのみを含む場合に、1個の前記中心位置を特定してもよい。前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記1個の中心位置に対応する1個の位置に1個の前記所定マークを書き込むことによって、前記二値画像データを変更してもよい。前記第2の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記1個の所定マークの位置を検出して、前記細胞画像データから前記1個の所定マークの位置に対応する前記第2の部分画像データを特定してもよい。この構成によると、画像解析装置は、第1の部分画像が1個の対象細胞オブジェクトのみを含む場合に、1個の第2の部分画像データを適切に特定することができる。
前記位置特定部は、前記第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が2個以上の前記対象細胞オブジェクトを含む場合に、2個以上の前記中心位置を特定してもよい。前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記2個以上の中心位置に対応する2個以上の位置に2個以上の前記所定マークを書き込むことによって、前記二値画像データを変更してもよい。前記第2の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記2個以上の所定マークのそれぞれの位置を検出して、前記細胞画像データから前記2個以上の所定マークのそれぞれの位置に対応する2個以上の前記第2の部分画像データを特定してもよい。この構成によると、画像解析装置は、第1の部分画像が2個以上の対象細胞オブジェクトを含む場合に、2個以上の第2の部分画像データを適切に特定することができる。
前記位置特定部は、前記2個以上の前記対象細胞オブジェクトが、前記第1の部分画像の中心から第1の距離である第1の中心位置を有する第1の細胞オブジェクトと、前記第1の部分画像の中心から前記第1の距離よりも大きい第2の距離である第2の中心位置を有する第2の細胞オブジェクトと、を含む場合に、前記第1の中心位置と前記第2の中心位置とを含む前記2個以上の中心位置を特定してもよい。前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記第1の中心位置と前記第2の中心位置とを含む前記2個以上の中心位置に対応する前記2個以上の位置に前記2個以上の所定マークを書き込むことによって、前記二値画像データを変更してもよい。この構成によると、画像解析装置は、第1の部分画像の中心と各細胞オブジェクトの各中心位置との各距離が一定でない場合に、各所定マークを適切に書き込むことができる。
前記第1の画像特定部は、前記細胞画像を一定間隔で走査することによって得られる複数個の部分画像を表わす前記複数個の部分画像データのそれぞれを順次特定してもよい。この構成によると、画像解析装置は、処理負荷を抑えながら、各部分画像データを特定することができる。
前記分類部は、前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致すると判断される場合に、当該細胞オブジェクトに対応する細胞を分類してもよく、前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断される場合に、当該部分画像データを利用した分類を実行しなくてもよい。この構成によると、画像解析装置は、中心判断処理において部分画像の中心と細胞オブジェクトの中心とが一致しないと判断する場合に、分類を実行しない。従って、画像解析装置は、部分画像の中心からずれた位置に細胞オブジェクトが存在する場合に、当該細胞オブジェクトに対応する細胞を分類しない。このために、細胞を誤って分類してしまうことを抑制することができる。
前記画像解析装置は、さらに、前記細胞画像データを二値化して、二値画像データを生成する生成部と、前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、当該部分画像が対象細胞オブジェクトを含む場合に、前記対象細胞オブジェクトの中心位置を特定する位置特定部と、前記二値画像データによって表わされる二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備えてもよい。前記分類部は、変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出し、前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定し、当該部分画像データと前記分類データとを利用して、当該部分画像データによって表わされる部分画像に含まれる前記対象細胞オブジェクトに対応する細胞を分類してもよい。この構成によると、画像解析装置は、所定マークの位置に対応する部分画像データを利用して、細胞を分類することができる。ここで、対象細胞オブジェクトの中心位置に対応する位置に所定マークが書き込まれるので、当該部分画像データによって表わされる部分画像の中心と対象細胞オブジェクトの中心とが一致し得る。このために、細胞の分類の正確性が向上する。
前記学習データは、畳み込みニューラルネットワークに従った画像解析、又は、畳み込みニューラルネットワークを部分構造として有する大規模ネットワークに従った画像解析を実行するためのデータであってもよい。この構成によると、画像解析装置は、学習データに従って、畳み込みニューラルネットワークを利用した画像解析、即ち、深層学習及び人工知能を利用した画像解析を実行することができる。特に、画像解析装置は、学習データが多いほど、高い精度で画像解析を実行することができる。
本技術は、画像解析方法にも適用可能である。また、上記の画像解析装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。
画像解析装置のブロック図を示す。 画像解析装置が実行する処理のフローチャートを示す。 様々な細胞オブジェクトとそれらの中心位置とを示す。 各中心位置に対応する所定マークの位置及び形状を示す 骨髄血に対応する病理標本を解析するケースAを示す。 胃の組織検体に対応する病理標本を解析するケースBを示す。 上皮の組織検体に対応する病理標本を解析するケースCを示す。 第2実施例のフローチャートを示す。 第2実施例の具体的なケースを示す。 第3実施例のフローチャートを示す。 第3実施例の具体的なケースを示す。
(第1実施例)
(画像解析装置の構成:図1)
図1は、画像解析装置10の構成を示す。画像解析装置10は、操作部12と、表示部14と、入力部16と、制御部30を備える。各部12〜30は、バス線(符号省略)に接続されている。操作部12は、例えば、マウス、キーボード等を備える。ユーザは、操作部12を操作することによって、様々な指示を画像解析装置10に与えることができる。表示部14は、様々な情報を表示するためのディスプレイである。
入力部16は、複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを画像解析装置10に入力するための装置である。入力部16は、有線通信又は無線通信を実行するための通信インターフェースであってもよいし、USBメモリ等が挿入されるメモリインターフェースであってもよい。例えば、入力部16が、顕微鏡、Whole Slide Image、バーチャルスライド等によって撮影される細胞画像データを格納するデバイスとの有線通信又は無線通信を実行して、当該デバイスから細胞画像データを受信することによって、細胞画像データが画像解析装置10に入力されてもよい。また、例えば、入力部16が、細胞画像データを格納するメモリから細胞画像データを読み出すことによって、細胞画像データが画像解析装置10に入力されてもよい。
制御部30は、CPU32と、メモリ34と、を備える。CPU32は、メモリ34に記憶されているプログラム38,40に従って様々な処理を実行する。メモリ34は、画像解析装置10の基本的な動作を実現するためのOSプログラム38と、畳み込みニューラルネットワーク(以下では「CNN(Convolutional Neural Networkの略)」と呼ぶ)に従った画像解析を実行するための解析プログラム40と、を格納する。例えば、汎用的なPC、サーバ等に解析プログラム40をインストールすることによって、画像解析装置10が実現される。なお、解析プログラム40は、CNNを部分構造として有する大規模ネットワーク(例えば、GoogLeNet(登録商標)、Residual Network等)に従った画像解析を実行してもよい。また、メモリ34は、解析プログラム40に従った画像解析を実行するための学習データ42を格納する。学習データ42は、解析プログラム40を販売する販売者から提供されるデータであってもよいし、画像解析装置10のユーザによって生成されるデータであってもよい。前者の場合、学習データ42は、解析プログラム40のインストールの際に、メモリ34に格納される。後者の場合、学習データ42は、解析プログラム40のインストールの後に、画像解析装置10のユーザによってメモリ34に格納される。
学習データ42は、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データ44と、細胞オブジェクトに対応する細胞を分類するための分類データ46と、を含む。判断データ44は、複数個の画像データのそれぞれについて、当該画像データと、当該画像データによって表わされる画像に含まれる細胞オブジェクトの中心位置と、が関連付けられたデータである。中心位置は、本実施例では、細胞オブジェクトの位相(即ち角度)によって表現されるが、変形例では、座標で表現されてもよい。分類データ46は、複数個の画像データのそれぞれについて、当該画像データと、当該画像データによって表わされる画像に含まれる細胞オブジェクトの種類と、が関連付けられたデータである。
(画像解析装置10の処理:図2)
続いて、図2を参照して、画像解析装置10のCPU32が解析プログラム40に従って実行する処理について説明する。S10では、CPU32は、入力部16を介して、複数個の細胞オブジェクト102,104を含む細胞画像100を表わす細胞画像データを取得する。細胞画像データは、多階調(例えば256階調)のRGB値を有する複数個の画素によって構成されるビットマップデータである。なお、ビットマップデータのファイルフォーマットは、BMP(Microsoft Windows(登録商標) Bitmap Image)に限られず、JPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)等であってもよい。細胞画像データは、例えば、以下のように生成される。例えば、患者から採取された検体である気管支肺胞洗浄液をスライドガラスに塗抹して、ギムザ染色をすることによって病理標本が作製される。そして、病理標本が顕微鏡によって撮影されることによって、細胞画像データが生成される。なお、病理標本は、上記のものに限られない。例えば、検体は、血液検体、生体検体等であってもよく、染色法は、パパニコロウ染色法、ヘマトキシリン・エオジン染色法、免疫組織化学染色法、免疫蛍光染色法等であってもよい。さらには、培養細胞等に対する無染色の位相差顕微鏡像等であってもよい。
S15では、CPU32は、S10で取得された細胞画像データを二値化する。具体的には、CPU32は、細胞画像データを構成する複数個の画素のそれぞれについて、当該画素のRGB値から輝度値を算出し(例えば輝度値Y=0.299×R+0.587×G+0.114×B)、当該輝度値が閾値(例えば127)より大きい場合に、当該画素の画素値を「1」に決定し、当該輝度値が閾値以下である場合に、当該画素の画素値を「0」に決定する。これにより、CPU32は、「1」又は「0」を有する複数個の画素によって構成される二値画像データを生成する。以下では、画素値「1」を有する画素、画素値「0」を有する画素を、それぞれ、「ON画素」、「OFF画素」と呼ぶ。図2は、二値画像データによって表わされる二値画像110を示し、二値画像110では、ON画素が白色で表現されていると共に、OFF画素が黒色で表現されている。この結果、細胞オブジェクト102内の比較的に濃く染色されている部分を示すON画素群112が白色で表現されている。
S20では、CPU32は、物体検出を実行する。具体的には、CPU32は、S15で生成された二値画像データによって表わされる二値画像110から、互いに隣接する所定個以上のON画素によって構成される1個のON画素群(例えば112又は114)の中心位置(即ち座標)を、細胞オブジェクトの候補である候補オブジェクトの位置として検出する。この際に、watershed法等の領域分割法が併用されてもよい。
S25では、CPU32は、細胞画像データから、S20で検出された候補オブジェクトの位置に対応する部分画像データを特定する。これにより、後述のS30及びS35の処理の対象の部分画像データ(以下では「対象部分画像データ」と呼ぶ)が特定される。具体的には、CPU32は、細胞画像データから、S20で検出された位置(即ち座標)を中心として所定サイズの矩形画像を表わす対象部分画像データを特定する。図2の例では、CPU32は、S20でON画素群112の位置を検出した場合には、細胞画像データから部分画像122を表わす対象部分画像データを特定し、S20でON画素群114の位置を検出した場合には、細胞画像データから部分画像124を表わす対象部分画像データを特定する。
S30では、CPU32は、学習データ42に含まれる判断データ44を利用して、対象部分画像データに対する中心判断処理を実行する。中心判断処理は、対象部分画像データによって表わされる部分画像(以下では「対象部分画像」と呼ぶ)の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む。具体的には、CPU32は、判断データ44を利用したCNNを実行して、対象部分画像に含まれる細胞オブジェクトの位相(例えば図1の30°等)を特定することができる場合には、対象部分画像の中心と細胞オブジェクトの中心とが一致しないと判断して(S30でNO)、S35に進む。一方、CPU32は、対象部分画像に含まれる細胞オブジェクトの位相を特定することができない場合には、対象部分画像の中心と細胞オブジェクトの中心とが一致すると判断して(S30でYES)、S35をスキップしてS40に進む。例えば、部分画像122では、細胞オブジェクトが中央に位置しているので、部分画像122の中心と細胞オブジェクトの中心とが一致すると判断される(S30でYES)。また、例えば、部分画像124では、細胞オブジェクトが中央ではなく上方に位置しているので、部分画像124の中心と細胞オブジェクトの中心とが一致しないと判断される(S30でNO)。
S35では、CPU32は、二値画像110に所定マークを書き込む。具体的には、まず、CPU32は、S30の判断結果である細胞オブジェクトの位相を、対象部分画像内での当該細胞オブジェクトの中心位置として特定する。次いで、CPU32は、二値画像110において、特定済みの中心位置(即ち位相)に対応する位置に所定マークを書き込むことによって、二値画像データを変更する。所定マークは、後述のS45の物体検出によって検出可能な形状を有しており、本実施例では、白色の中心部分と、黒色の外周部分と、を有する円形のマークである。図2の例では、CPU32は、二値画像110に所定マーク132を書き込むことによって、変更済みの二値画像130を表わす二値画像データを生成する。なお、変形例では、所定マークは、円形のマークに限られず、矩形であってもよいし、他の形状であってもよい。
S40では、CPU32は、二値画像110からの全ての物体の検出(即ちS20)が完了したのか否かを判断する。CPU32は、全ての物体の検出が完了したと判断する場合(S40でYES)に、S45に進み、全ての物体の検出が完了していないと判断する場合(S40でNO)に、S25に戻る。
S45及びS50は、変更済みの二値画像データが利用される点を除いて、S20及びS25と同様である。上記のS35でマーク132が書き込まれるので、CPU32は、S50において、マーク132が中心に位置する矩形画像である部分画像150を表わす部分画像データを特定することができる。即ち、当該部分画像データでは、部分画像150の中心と細胞オブジェクトの中心とが一致している。上記のように、所定マークは、黒色の外周部分を有するため、他の物体と一体とならない。そのため、CPU32は、マーク132を正しく検出できる。
S55では、CPU32は、S50で特定された部分画像データと分類データ46とを利用したCNNを実行して、当該部分画像データによって表わされる部分画像に含まれる細胞オブジェクトに対応する細胞を分類する。上述したように、部分画像150の中心と細胞オブジェクトの中心とが一致しているので、CPU32は、当該細胞オブジェクトに対応する細胞を正確に分類することができる。
S60は、S40と同様である。CPU32は、全ての物体の検出が完了したと判断する場合(S60でYES)に、S65に進み、全ての物体の検出が完了していないと判断する場合(S60でNO)に、S45に戻る。
S65では、CPU32は、S55の分類の結果を出力する。具体的には、CPU32は、分類の結果を表示部14に表示させる。分類の結果は、例えば、ターゲットとしている細胞の個数を含む情報であってもよいし、分類された全ての種類の細胞のそれぞれの個数を含む情報であってもよいし、細胞における特定のタンパク質の発現を表わすスコアであってもよい。さらには、細胞の分類結果から予想される悪性度や遺伝子変異の発現量であってもよいし、患者の予後予想であってもよい。なお、S30の中心判断処理の結果及びS55の分類処理の結果は、判断データ44及び分類データ46に追加されてもよい。これにより、CNNの精度が向上し得る。
(図2のS30及びS35の処理の詳細;図3及び図4)
続いて、図3及び図4を参照して、図2のS30及びS35の処理の詳細を説明する。図3(A)〜(E)は、図2のS25で特定される各部分画像の一例を示す。図4は、各細胞オブジェクトの中心位置に応じてS35で書き込まれる所定マークの位置及び形状を示す。また、図4では、各細胞オブジェクトの中心位置を示す位相が示されている。
図3(A)の部分画像302は、1個のマクロファージに対応する細胞オブジェクトを含む。部分画像302の中心と細胞オブジェクトの中心とが一致しておらず、S30では、当該細胞オブジェクトの中心位置として330°が特定される。そして、S35では、図4(A)の位相330°に対応する所定マークの位置及び形状が特定され、当該位置に対応する二値画像内の位置に当該形状を有する所定マーク(即ち、黒色の外周部分を有する円形マーク)が書き込まれる。
図3(B)の部分画像306は、1個の好中球に対応する細胞オブジェクトを含む。好中球は分葉核を有するので、従来の画像解析では、好中球の中心を正しく認識することは困難であった。本実施例では、判断データ44は、好中球に対応する細胞オブジェクトを含む画像を表わす画像データと、当該細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、S30では、当該細胞オブジェクトの中心位置として30°が特定され、S35では、図4(A)の位相30°に対応する位置及び形状に応じた所定マークが書き込まれる。この結果、S50で特定される部分画像データでは、当該部分画像データによって表わされる部分画像の中心と好中球に対応する細胞オブジェクトの中心とが一致する。このために、S55では、当該部分画像データに基づいて、好中球を正確に分類することができる。
図3(C)の部分画像310は、隣接する2個のリンパ球に対応する2個の細胞オブジェクトを含む。従来の画像解析では、このような2個以上の細胞のそれぞれを領域分割法によって分割して分類するが、正確に分割できない場合があった。本実施例では、判断データ44は、2個のリンパ球に対応する2個の細胞オブジェクトを含む画像を表わす画像データと、当該2個の細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、S30では、中心位置として120°が特定され、S35では、図4(B)の位相120°に対応する位置及び形状に応じた2個の所定マークが書き込まれる。この結果、S45では、当該2個の所定マークのそれぞれの位置が検出される。従って、S50において、一方の所定マークの位置に応じた部分画像データが特定され(即ち、部分画像の中心と一方のリンパ球に対応する細胞オブジェクトの中心とが一致し)、S55において、一方のリンパ球が分類される。その後、S50において、他方の所定マークの位置に応じた部分画像データが特定され(即ち、部分画像の中心と他方のリンパ球に対応する細胞オブジェクトの中心とが一致し)、S55において、他方のリンパ球が分類される。このように、S25で特定される部分画像が2個の細胞オブジェクトを含んでいても、2個の細胞のそれぞれを正確に分類することができる。
図3(D)の部分画像314は、隣接するリンパ球及びマクロファージに対応する2個の細胞オブジェクトを含む。部分画像314では、部分画像314の中心とリンパ球に対応する細胞オブジェクトの中心との間の距離L2が、部分画像314の中心とマクロファージに対応する細胞オブジェクトの中心との間の距離L1よりも大きく、部分画像314の中心から各細胞オブジェクトの中心までの各距離が一定でない。本実施例では、判断データ44は、リンパ球及びマクロファージに対応する2個の細胞オブジェクトを含む画像を表わす画像データと、当該2個の細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、S30では、中心位置として300°が特定され、S35では、図4(C)の位相300°に対応する位置及び形状に応じた2個の所定マークが書き込まれる。なお、本実施例では、マクロファージに対応する細胞オブジェクトのサイズがリンパ球に対応する細胞オブジェクトのサイズよりも大きいので、図4(C)に示されるように、前者の細胞オブジェクトに対応する所定マークは、後者の細胞オブジェクトに対応する所定マークよりも大きい。ただし、変形例では、2個の所定マークは同じサイズであってもよい。S45では、2個の所定マークのそれぞれの位置が検出される。従って、S50において、当該2個の所定マークの位置に応じた2個の部分画像データが順次特定され、S55において、1個のリンパ球及び1個のマクロファージが順次分類される。このように、部分画像の中心と各細胞オブジェクトの中心との間の各距離が異なる場合でも、各細胞を正確に分類できる。
図3(E)の部分画像318は、3個のリンパ球に対応する3個の細胞オブジェクトを含む。本実施例では、判断データ44は、3個のリンパ球に対応する3個の細胞オブジェクトを含む画像を表わす画像データと、当該3個の細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、S30では、中心位置として0°が特定され、S35では、図4(D)の位相0°に対応する位置及び形状に応じた3個の所定マークが書き込まれる。この結果、S45では、当該3個の所定マークのそれぞれの位置が検出される。従って、S50において、当該3個の所定マークの位置に応じた3個の部分画像データが順次特定され、S55において、3個のリンパ球が順次分類される。このように、S25で特定される部分画像が3個の細胞オブジェクトを含んでいても、3個の細胞を正確に分類することができる。なお、本実施例では、部分画像に含まれる細胞オブジェクトの個数として3個までの例を説明したが、変形例では、4個以上の細胞オブジェクトのための判断データ44が利用されてもよい。
(ケースA:図5)
続いて、図5〜図7を参照して、図2の処理によって実現される具体的なケースを説明する。図5は、骨髄血に対するギムザ染色を実行することによって作成された血液塗抹標本から得られた細胞画像データが画像解析装置10に入力されるケースAを説明するための図面である。
図5(A)は、S10で取得される細胞画像を示す。符号500は、1個の好中球に対応する細胞オブジェクトを示す。図5(B)は、S15で生成される二値画像を表わす。画像解析装置10は、図5(B)の二値画像を利用して、1回目の物体検出を実行する(S20)。この際に、watershed法等の領域分割法が実行される。この結果、例えば、細胞オブジェクト500については、3個の候補オブジェクト502,504,506のそれぞれが順次特定される。この結果、3個の候補オブジェクト502,504,506のそれぞれについて、部分画像データの特定(S25)、部分画像の中心と細胞オブジェクトの中心とが一致しない旨の判断(S30でNO)、及び、二値画像へのマーク507,508,509の書き込み(S35)が実行される。図5(C)は、マーク507,508,509を含む複数個のマークが書き込まれることによって得られる変更済みの二値画像を示す。この例では、3個のマーク507,508,509の位置が重複する。本実施例では、このような状況では、最後に書き込まれるマーク508が最前面に登場する。変形例では、細胞オブジェクトの中心である確率が高いマークを特定し、当該マークを最前面に登場させてもよい。
なお、図5(B)の符号503も候補オブジェクトとして特定される(S20)。この場合、候補オブジェクト503に応じて特定される部分画像データに対する中央判断処理において、部分画像が、本ケースの解析対象の細胞である好中球に対応する細胞オブジェクトを含まないと判断される。この結果、S30でNOと判断されるが、S35ではマークが書き込まれない(このケースは図2では図示省略している)。
画像解析装置10は、図5(C)の変更済みの二値画像を利用して、2回目の物体検出を実行する(S45)。この結果、例えば、細胞オブジェクト500については、マーク508が候補オブジェクトとして検出される。この結果、S50では、細胞オブジェクト500の中心に一致する中心を有する部分画像データが特定され、S55では、細胞オブジェクト500に対応する好中球が分類される。画像解析装置10は、細胞オブジェクト500以外の各細胞オブジェクトについても同様の処理を実行することによって、結果として、図5(D)に示されるように、複数個の細胞オブジェクト510〜540に対応する複数個の細胞を適切に分類することができる。
上述したように、画像解析装置10は、1回目の物体検出において、3個の候補オブジェクト502,504,506を順次特定する場合に、3個のマーク507,508,509を順次書き込む。ここで、画像解析装置10が、当該3個のマーク507,508,509を書き込む代わりに、細胞画像データから、当該3個のマーク507,508,509の位置に対応する3個の部分画像データを順次特定し、当該3個の部分画像データを利用して細胞を順次分類する比較例の構成を採用することが考えられる。しかしながら、比較例の構成によると、同じ細胞を含む3個の部分画像データを順次特定して同じ細胞を3回に亘って分類してしまう。これに対し、本実施例では、画像解析装置10は、マーク508が最前面に登場するように、3個のマーク507,508,509を書き込んでおく。このために、画像解析装置10は、2回目の物体検出において、物体検出に十分な領域を有していないマーク507,509を検出することなく、マーク508を検出して、マーク508に対応する部分画像データを利用して細胞を分類する。このために、同じ細胞を含む3個の部分画像データを順次特定して同じ細胞を3回に亘って分類せずに済む。ただし、変形例では、上記の比較例の構成を採用してもよい。
(ケースB:図6)
続いて、図6を参照して、具体的なケースBについて説明する。ケースBでは、胃の組織検体に対するヘマトキシリン・エオジン染色を実行することによって作成された病理標本から得られた細胞画像データが画像解析装置10に入力される。
図6(A)は、S10で取得される細胞画像を示し、符号600は、1個の癌化した細胞に対応する細胞オブジェクトを示す。図6(B)は、S15で生成される二値画像を示す。癌化した細胞では、核が一様に染色されず、核の辺縁のみが濃く染色されることがある。そのため、1回目の物体検出(S20)では、細胞オブジェクト600について、2個の候補オブジェクト602,603のそれぞれが順次特定される。この結果、画像解析装置10は、2個の候補オブジェクト602,603に対応する2個のマークの書き込み(S35)を実行する。図6(C)は、変更済みの二値画像を示す。上記の2個のマークの位置が重複するが、最後に書き込まれるマーク604のみに符号を付している。画像解析装置10は、変更済みの二値画像を利用して、2回目の物体検出を実行し(S45)、細胞オブジェクト600の中心に一致する中心を有する部分画像データを特定し(S50)、細胞オブジェクト600に対応する癌化した細胞を分類する(S55)。画像解析装置10は、細胞オブジェクト600以外の各細胞オブジェクトについても同様の処理を実行することによって、結果として、図6(D)に示されるように、複数個の細胞オブジェクト610〜680に対応する複数個の細胞を分類する。
(ケースC:図7)
続いて、図7を参照して、具体的なケースCを説明する。ケースCでは、上皮の組織検体に対する抗PD−L1抗体を利用した免疫組織化学染色を実行することによって作成された病理標本から得られた細胞画像データが画像解析装置10に入力される。PD−L1は、細胞膜に発現するタンパク質であり、マクロファージや癌化した細胞(特に、癌化した扁平上皮細胞)で発現している。
図7(A)は、S10で取得される細胞画像を示し、符号700は、PD−L1が細胞膜に発現している1個の癌化した扁平上皮細胞に対応する細胞オブジェクトを示す。免疫組織化学染色では、細胞膜にタンパク質が発現している場合に、染色された細胞膜が物体検出によって候補オブジェクトとして検出されることがある。図7(B)は、S15で生成される二値画像を示す。細胞オブジェクト700では、細胞膜が染色されているので、1回目の物体検出(S20)において、2個の候補オブジェクト702,704のそれぞれが順次特定される。この結果、画像解析装置10は、2個の候補オブジェクト702,704に対応する2個のマークの書き込み(S35)を実行する。図7(C)は、変更済みの二値画像を示す。上記の2個のマークの位置が重複するが、図7(C)では、最後に書き込まれるマーク706のみに符号を付している。画像解析装置10は、変更済みの二値画像を利用して、2回目の物体検出を実行し(S45)、細胞オブジェクト700の中心に一致する中心を有する部分画像データを特定し(S50)、細胞オブジェクト700に対応する癌化した扁平上皮細胞を分類する(S55)。
なお、上記のケースA〜Cは具体的なケースの一例であり、画像解析装置10は、末梢血の白血球の計数、他の体腔液(例えば、胸水、腹水)における細胞の分類、子宮頸部の擦過細胞診、甲状腺及び乳腺等の穿刺吸引細胞診等にも適用できる。さらには、位相差顕微鏡を用いて観察される無染色の培養細胞の分類にも適用できる。
(対応関係)
S10の処理、S15の処理が、それぞれ、「取得部」、「生成部」によって実行される処理の一例である。S20及びS25の処理が、「第1の画像特定部」によって実行される処理の一例である。S30の処理が、「判断部」及び「位置特定部」によって実行される処理の一例である。S35の処理が、「変更部」によって実行される処理の一例である。S45及びS50の処理が、「第2の画像特定部」によって実行される処理の一例である。S55の処理、S65の処理が、それぞれ、「分類部」、「出力部」によって実行される処理の一例である。
図2の部分画像124、部分画像150が、それぞれ、「第1の部分画像」、「第2の部分画像」の一例である。図3(D)の部分画像314内のリンパ球、マクロファージが、それぞれ、「第1の細胞オブジェクト」、「第2の細胞オブジェクト」の一例であり、距離L1、距離L2が、それぞれ、「第1の距離」、「第2の距離」の一例である。
(第2実施例;図8)
本実施例では、CPU32は、解析プログラム40に従って、図2の処理に代えて、図8の処理を実行する。S100は、図2のS10と同様である。S105では、CPU32は、S100で取得された細胞画像データによって表わされる細胞画像を一定間隔の格子状に走査することで取得された部分画像を表わす部分画像データを特定する。具体的には、CPU32は、細胞画像810に示されるように、予め決められた間隔で細胞画像内の複数個の座標(例えば符号812等)を決定し、当該座標を中心とする所定サイズの矩形画像である部分画像を表わす部分画像データを特定する。このように、本実施例では、二値画像からの物体検出を実行することなく格子状に部分画像データを特定するので、二値画像を生成する処理等を実行せずに済み、処理負荷を低減させることができる。
S110は、中心判断処理の対象である対象部分画像データが、S105で特定された部分画像データである点を除いて、図2のS30と同様である。CPU32は、対象部分画像の中心と細胞オブジェクトの中心とが一致すると判断する場合(S110でYES)に、図2のS55と同様に、細胞を分類する。一方、CPU32は、対象部分画像の中心と細胞オブジェクトの中心とが一致しないと判断する場合(S110でNO)に、S115を実行せずに(即ち分類を実行せずに)、S120に進む。S120では、CPU32は、細胞画像内の決定済みの全ての座標について、部分画像データの特定が完了したのか否かを判断する。CPU32は、特定が完了したと判断する場合(S120でYES)に、S125に進み、特定が完了していないと判断する場合(S120でNO)に、S105に戻る。S125は、図2のS65と同様である。
(具体的なケース:図9)
続いて、図9を参照して、図8の処理によって実現される具体的なケースを説明する。このケースでは、骨髄血に対するギムザ染色を実行することによって作成された血液塗抹標本から得られた細胞画像データが画像解析装置10に入力される。
図9(A)は、S100で取得される細胞画像を示す。画像解析装置10は、複数個の部分画像データを順次特定する(S105)。この結果、例えば、図9(B)の5個の部分画像900〜940を含む複数個の部分画像が順次特定され、各部分画像に対する中心判断処理が実行される(S110)。4個の部分画像900〜930のそれぞれについては、当該部分画像の中心と細胞オブジェクトの中心とが一致すると判断され(S110でYES)、この結果、当該部分画像に含まれる細胞オブジェクトに対応する細胞の分類が実行される(S115)。一方、部分画像940については、当該部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され(S110でNO)、分類が実行されない。これにより、細胞を誤って分類してしまうことを抑制することができる。
(対応関係)
S100の処理、S105の処理、S110の処理、S115の処理、S125の処理が、それぞれ、「取得部」、「第1の画像特定部」、「判断部」、「分類部」、「出力部」によって実行される処理の一例である。
(第3実施例;図10)
本実施例では、CPU32は、解析プログラム40に従って、図2の処理に代えて、図10の処理を実行する。S200,S202は、図2のS10,S15と同様である。S205は、図8のS105と同様である。図10の最も上の細胞画像1000内の破線の各矩形は、S205で順次特定される各部分画像を示す。S210は、図2のS30と同様である。CPU32は、対象部分画像の中心と細胞オブジェクトの中心とが一致しないと判断する場合(S210でNO)に、S215に進み、対象部分画像の中心と細胞オブジェクトの中心とが一致すると判断する場合(S210でYES)に、S215をスキップしてS220に進む。S215では、図2のS35と同様である。図10の例では、CPU32は、2個のマークを書き込むことによって、変更済みの二値画像1020を表わす変更済みの二値画像データを生成する。S220は、S120と同様である。
S225及びS230は、図2のS20及びS25と同様である。図10の最も下の細胞画像1000内の破線の各矩形は、S230で順次特定される各部分画像を示す。S235〜S245は、S55〜S65と同様である。
(具体的なケース:図11)
続いて、図11を参照して、図10の処理によって実現される具体的なケースを説明する。このケースでは、図9と同様の細胞画像データが画像解析装置10に入力される。図11(A)は、図9(A)と同様である。図11(A)の細胞画像に対してS205〜S220の各処理が実行されると、図11(B)の変更済みの二値画像が得られる。当該変更済みの二値画像を利用してS225及びS230が実行されると、図11(C)に示されるように、各マークの位置に対応する各部分画像900〜950が特定される。各部分画像900〜950では、部分画像の中心と細胞オブジェクトの中心とが一致している。このために、各細胞を正確に分類することができる(S235)。
(対応関係)
S200の処理、S202の処理、S205の処理が、それぞれ、「取得部」、「生成部」、「第1の画像特定部」によって実行される処理の一例である。S210の処理が、「判断部」及び「位置特定部」によって実行される処理の一例である。S215の処理、S245の処理が、それぞれ、「変更部」、「出力部」によって実行される処理の一例である。S225〜S235の処理が、「分類部」によって実行される処理の一例である。
以上、実施例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
10:画像解析装置、12:操作部、14:表示部、16:入力部、30:制御部、32:メモリ、38:OSプログラム、40:解析プログラム、42:学習データ、44:判断データ、46:分類データ、100、810、1000:細胞画像、102、104、500、510、520、530、540、600、610、620、630、640、650、660、670、680、700:細胞オブジェクト、110、130、1020:二値画像、112、114:画素群、132、507、508、509、604、706:所定マーク、122、124、150、302、306、310、314、318、900、910、920、930、940、950:部分画像、502、503、504、506、602、603、702、704:候補オブジェクト


Claims (12)

  1. 画像解析装置であって、
    画像解析を実行するための学習データを記憶するメモリであって、前記学習データは、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データと、細胞オブジェクトに対応する細胞を分類するための分類データと、を含む、前記メモリと、
    複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得部と、
    前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第1の画像特定部と、
    前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断部であって、前記中心判断処理は、前記学習データに含まれる前記判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断部と、
    前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる前記分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも1個の細胞オブジェクトに対応する少なくとも1個の細胞を分類する分類部と、
    前記分類の結果を出力する出力部と、
    を備える画像解析装置。
  2. 前記画像解析装置は、さらに、
    前記細胞画像データを二値化して、二値画像データを生成する生成部を備え、
    前記第1の画像特定部は、前記二値画像データによって表わされる二値画像から細胞オブジェクトの候補である候補オブジェクトの位置を検出して、前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定することを繰り返すことによって、前記複数個の部分画像データのそれぞれを順次特定し、
    前記画像解析装置は、さらに、
    前記複数個の部分画像データのうちの第1の部分画像データに対する前記中心判断処理において、前記第1の部分画像データによって表わされる第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が対象細胞オブジェクトを含む場合に、前記細胞画像データから、前記対象細胞オブジェクトを含む第2の部分画像を表わす第2の部分画像データを特定する第2の画像特定部であって、前記第2の部分画像の中心と前記対象細胞オブジェクトの中心とは一致する、前記第2の画像特定部を備え、
    前記分類部は、前記第2の部分画像データと前記分類データとを利用して、前記対象細胞オブジェクトに対応する細胞を分類する、請求項1に記載の画像解析装置。
  3. 前記画像解析装置は、さらに、
    前記第1の部分画像データに対する前記中心判断処理において、前記第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が前記対象細胞オブジェクトを含む場合に、前記第1の部分画像に含まれる前記対象細胞オブジェクトの中心位置を特定する位置特定部と、
    前記二値画像データによって表わされる前記二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備え、
    前記第2の画像特定部は、変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出して、前記細胞画像データから前記所定マークの位置に対応する前記第2の部分画像データを特定する、請求項2に記載の画像解析装置。
  4. 前記位置特定部は、前記第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が1個の前記対象細胞オブジェクトのみを含む場合に、1個の前記中心位置を特定し、
    前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記1個の中心位置に対応する1個の位置に1個の前記所定マークを書き込むことによって、前記二値画像データを変更し、
    前記第2の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記1個の所定マークの位置を検出して、前記細胞画像データから前記1個の所定マークの位置に対応する前記第2の部分画像データを特定する、請求項3に記載の画像解析装置。
  5. 前記位置特定部は、前記第1の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第1の部分画像が2個以上の前記対象細胞オブジェクトを含む場合に、2個以上の前記中心位置を特定し、
    前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記2個以上の中心位置に対応する2個以上の位置に2個以上の前記所定マークを書き込むことによって、前記二値画像データを変更し、
    前記第2の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記2個以上の所定マークのそれぞれの位置を検出して、前記細胞画像データから前記2個以上の所定マークのそれぞれの位置に対応する2個以上の前記第2の部分画像データを特定する、請求項3又は4に記載の画像解析装置。
  6. 前記位置特定部は、前記2個以上の前記対象細胞オブジェクトが、前記第1の部分画像の中心から第1の距離である第1の中心位置を有する第1の細胞オブジェクトと、前記第1の部分画像の中心から前記第1の距離よりも大きい第2の距離である第2の中心位置を有する第2の細胞オブジェクトと、を含む場合に、前記第1の中心位置と前記第2の中心位置とを含む前記2個以上の中心位置を特定し、
    前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記第1の中心位置と前記第2の中心位置とを含む前記2個以上の中心位置に対応する前記2個以上の位置に前記2個以上の所定マークを書き込むことによって、前記二値画像データを変更する、請求項5に記載の画像解析装置。
  7. 前記第1の画像特定部は、前記細胞画像を一定間隔で走査することによって得られる複数個の部分画像を表わす前記複数個の部分画像データのそれぞれを順次特定する、請求項1に記載の画像解析装置。
  8. 前記分類部は、
    前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致すると判断される場合に、当該細胞オブジェクトに対応する細胞を分類し、
    前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断される場合に、当該部分画像データを利用した分類を実行しない、請求項7に記載の画像解析装置。
  9. 前記画像解析装置は、さらに、
    前記細胞画像データを二値化して、二値画像データを生成する生成部と、
    前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、当該部分画像が対象細胞オブジェクトを含む場合に、前記対象細胞オブジェクトの中心位置を特定する位置特定部と、
    前記二値画像データによって表わされる二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備え、
    前記分類部は、
    変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出し、
    前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定し、
    当該部分画像データと前記分類データとを利用して、当該部分画像データによって表わされる部分画像に含まれる前記対象細胞オブジェクトに対応する細胞を分類する、請求項7に記載の画像解析装置。
  10. 前記学習データは、畳み込みニューラルネットワークに従った画像解析、又は、畳み込みニューラルネットワークを部分構造として有する大規模ネットワークに従った画像解析を実行するためのデータである、請求項1から9のいずれか一項に記載の画像解析装置。
  11. 画像解析装置を実現するためのコンピュータプログラムであって、
    前記画像解析装置は、画像解析を実行するための学習データを記憶するメモリであって、前記学習データは、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データと、細胞オブジェクトに対応する細胞を分類するための分類データと、を含む、前記メモリを備え、
    前記コンピュータプログラムは、前記画像解析装置のコンピュータを、以下の各部、即ち、
    複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得部と、
    前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第1の画像特定部と、
    前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断部であって、前記中心判断処理は、前記学習データに含まれる前記判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断部と、
    前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる前記分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも1個の細胞オブジェクトに対応する少なくとも1個の細胞を分類する分類部と、
    前記分類の結果を出力する出力部と、
    として機能させる、コンピュータプログラム。
  12. 画像解析方法であって、
    複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得工程と、
    前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第1の画像特定工程と、
    前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断工程であって、前記中心判断処理は、画像解析を実行するための学習データに含まれる判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断工程と、
    前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも1個の細胞オブジェクトに対応する少なくとも1個の細胞を分類する分類工程と、
    前記分類の結果を出力する出力工程と、
    を備える方法。
JP2019516775A 2017-05-09 2017-05-09 画像解析装置 Active JP6733983B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017559 WO2018207261A1 (ja) 2017-05-09 2017-05-09 画像解析装置

Publications (2)

Publication Number Publication Date
JPWO2018207261A1 JPWO2018207261A1 (ja) 2019-11-21
JP6733983B2 true JP6733983B2 (ja) 2020-08-05

Family

ID=64104465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019516775A Active JP6733983B2 (ja) 2017-05-09 2017-05-09 画像解析装置

Country Status (4)

Country Link
US (1) US11170501B2 (ja)
EP (1) EP3624053B1 (ja)
JP (1) JP6733983B2 (ja)
WO (1) WO2018207261A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6733983B2 (ja) 2017-05-09 2020-08-05 暢 長坂 画像解析装置
KR101962869B1 (ko) * 2018-08-02 2019-03-27 주식회사 우리메디칼 이미지 분석에 기반한 골수판독 지원 장치
JP2020191841A (ja) * 2019-05-29 2020-12-03 大日本印刷株式会社 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法
EP3816934A1 (en) * 2019-11-04 2021-05-05 Nathan Vinçon Method of, and computerized system for labeling an image of cells of a patient
KR20210143614A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 뉴럴 네트워크를 구현하는 뉴로모픽 장치 및 그 동작 방법
WO2023075310A1 (ko) * 2021-10-25 2023-05-04 고려대학교 산학협력단 인공지능을 이용한 세포 판별 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313532A (en) * 1990-01-23 1994-05-17 Massachusetts Institute Of Technology Recognition of patterns in images
JP2003191189A (ja) 2001-12-21 2003-07-08 Sony Corp ロボット装置及びその制御方法
GB0503629D0 (en) * 2005-02-22 2005-03-30 Durand Technology Ltd Method and apparatus for automated analysis of biological specimen
WO2008005426A2 (en) * 2006-06-30 2008-01-10 University Of South Florida Computer-aided pathological diagnosis system
JP5292886B2 (ja) 2008-03-27 2013-09-18 日本電気株式会社 画像解析装置、その方法、プログラムおよび記録媒体
JP5315411B2 (ja) 2008-07-03 2013-10-16 エヌイーシー ラボラトリーズ アメリカ インク 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
JP5525774B2 (ja) 2009-07-24 2014-06-18 オリンパス株式会社 細胞画像解析装置
JP2011052700A (ja) 2009-08-31 2011-03-17 Thk Co Ltd 潤滑油供給装置及びこれを用いた運動案内装置
JP5774425B2 (ja) * 2011-09-16 2015-09-09 Kddi株式会社 画像解析装置および画像評価装置
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP5413501B1 (ja) * 2012-12-07 2014-02-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
JP6733983B2 (ja) 2017-05-09 2020-08-05 暢 長坂 画像解析装置

Also Published As

Publication number Publication date
US20200211182A1 (en) 2020-07-02
JPWO2018207261A1 (ja) 2019-11-21
WO2018207261A1 (ja) 2018-11-15
EP3624053A1 (en) 2020-03-18
EP3624053B1 (en) 2022-12-21
EP3624053A4 (en) 2020-05-27
US11170501B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
JP6733983B2 (ja) 画像解析装置
US11288795B2 (en) Assessing risk of breast cancer recurrence
Kulwa et al. A state-of-the-art survey for microorganism image segmentation methods and future potential
US10796429B2 (en) Systems and methods for area-of-interest detection using slide thumbnail images
Zhang et al. Segmentation of cytoplasm and nuclei of abnormal cells in cervical cytology using global and local graph cuts
CA2951600C (en) Image analysis system using context features
JP5174040B2 (ja) 画像の構成要素と背景とを区別するためにコンピュータで実行される方法および画像の構成要素と背景とを区別するためのシステム
Tonti et al. An automated approach to the segmentation of HEp-2 cells for the indirect immunofluorescence ANA test
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
JP2017521779A (ja) 画像解析を用いた核のエッジの検出
JP2021506003A (ja) デジタル病理学分析結果の格納および読み出し方法
CN112703531A (zh) 生成组织图像的注释数据
Awan et al. Deep learning based digital cell profiles for risk stratification of urine cytology images
CN110796661A (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN112289377B (zh) 检测图像上的亮斑的方法、装置和计算机程序产品
KR20220133918A (ko) 생물학적 샘플 내의 대상의 체계적인 특징화
CN115176289A (zh) 使用卷积神经网络的细胞系发育图像表征
JP6733984B2 (ja) 画像解析装置
WO2022150554A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
GB2329014A (en) Automated identification of tubercle bacilli
WILLIAM et al. Automated diagnosis and classification of cervical cancer from pap-smear images
US20240233347A1 (en) Machine-learning techniques for detecting artifact pixels in images
Xu et al. Rapid Detection of Individual Cells Based on K-means Clustering and Regional Connectivity
Zhang et al. Multistage spatial property based segmentation for quantification of fluorescence distribution in cells
Walkowski Transfer Learning and Cloud Computing Used for Nervous System Tumors Detection.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200706

R150 Certificate of patent or registration of utility model

Ref document number: 6733983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150