JP6695386B2 - ホールスライドイメージ作成装置 - Google Patents

ホールスライドイメージ作成装置 Download PDF

Info

Publication number
JP6695386B2
JP6695386B2 JP2018107551A JP2018107551A JP6695386B2 JP 6695386 B2 JP6695386 B2 JP 6695386B2 JP 2018107551 A JP2018107551 A JP 2018107551A JP 2018107551 A JP2018107551 A JP 2018107551A JP 6695386 B2 JP6695386 B2 JP 6695386B2
Authority
JP
Japan
Prior art keywords
magnification
image
imaging
pathological specimen
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018107551A
Other languages
English (en)
Other versions
JP2019211620A (ja
Inventor
島田　修
修 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hakuakai ISH
Original Assignee
Hakuakai ISH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hakuakai ISH filed Critical Hakuakai ISH
Priority to JP2018107551A priority Critical patent/JP6695386B2/ja
Priority to PCT/JP2019/017828 priority patent/WO2019235105A1/ja
Priority to US16/964,211 priority patent/US11119303B2/en
Publication of JP2019211620A publication Critical patent/JP2019211620A/ja
Application granted granted Critical
Publication of JP6695386B2 publication Critical patent/JP6695386B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、病理標本が封入されたスライドガラス（プレパラート）全体を撮影してデジタル画像データを生成し、生成したデジタル画像データに基づいて病理診断を行うことを可能とするホールスライドイメージ作成装置に関するものである。
近年、病理学の分野等において、光学顕微鏡によって観察される画像をデジタルデータ化し、ディスプレイ上で観察する装置が用いられている。現在、このような装置としては、デジタル顕微鏡、遠隔顕微鏡、及びホールスライドイメージ作成装置が存在し、がん対策における先端技術として注目されはじめている。
ここでデジタル顕微鏡は、病理標本をデジタルカメラを介してディスプレイで観察できるようにした光学顕微鏡である。また遠隔顕微鏡は、従来の光学顕微鏡にデジタルカメラと電動ステージを追加し、遠隔操作で顕微鏡観察ができるようにしたものである。また、ホールスライドイメージ作成装置は、病理標本が封入されたスライドガラス（プレパラート）において病理標本全体を撮影し、デジタル画像データを生成する装置であり、画像全体がデジタル化されてハードディスクやＤＶＤ等に蓄積される。
ホールスライドイメージ作成装置の具体例としては、例えば、特許文献１に記載された装置が知られている。このホールスライドイメージ作成装置においては、まず病理標本の全体を基本倍率で撮影し、基本倍率で撮影した病理標本全体の画像データに基づいて関心領域を特定し、基本倍率よりも高い倍率で関心領域の撮影を行っている。
特開２０１３−５４０８３号公報
しかし、このホールスライドイメージ作成装置においては、関心領域の特定に時間がかかるという問題があった。また特定した関心領域を基本倍率よりも高い倍率で撮影を行う場合においても、病理診断に最適な倍率で病理標本の撮影を行う必要があることから、倍率を変更しながら関心領域の観察を行い、病理診断に最適な倍率を決定して撮影するため、関心領域の撮影に時間がかかるという問題があった。
本発明の目的は、病理診断に必要なホールスライドイメージを短時間で効率よく作成するホールスライドイメージ作成装置を提供することである。
本発明のホールスライドイメージ作成装置は、病理標本の第１撮影領域を、少なくとも第１倍率及び第２倍率で撮影する第１撮影制御部と、少なくとも前記第１倍率に対応した第１教師画像及び前記第２倍率に対応した第２教師画像を記憶する記憶部と、前記第１倍率で撮影した第１画像と前記第１教師画像とのパターンマッチングを行い第１の一致度を算出すると共に、前記第２倍率で撮影した第２画像と前記第２教師画像とのパターンマッチングを行い第２の一致度を算出する算出部と、前記算出部で算出された前記第１の一致度及び前記第２の一致度に基づいて前記病理標本の全体を撮影する倍率として前記第１倍率または前記第２倍率を選択する倍率選択部と、前記倍率選択部により選択された前記第１倍率または前記第２倍率に対応する区分領域ごとに、前記第１倍率または前記第２倍率で前記病理標本全体の撮影を行う第２撮影制御部とを備える。
また本発明のホールスライドイメージ作成装置は、前記第１撮影領域が前記病理標本の中心部近傍の領域である。
また本発明のホールスライドイメージ作成装置は、前記第１教師画像及び前記第２教師画像が、それぞれ複数の教師画像を有する。
また本発明のホールスライドイメージ作成装置は、前記第２撮影部が前記病理標本の全体の撮影が終了するまで、前記第１撮影領域の外側に位置する区分領域を螺旋状に外側に向かって順次撮影する。
本発明によれば、病理診断に必要なホールスライドイメージを短時間で効率よく作成するホールスライドイメージ作成装置を提供することができる。
実施の形態に係るホールスライドイメージ作成装置の構成を示すブロック図である。 実施の形態に係るホールスライドイメージ作成装置において用いるプレパラートを示す図である。 実施の形態に係るホールスライドイメージ作成装置の撮影倍率選択処理を示すフローチャートである。 実施の形態に係るホールスライドイメージ作成装置の撮影倍率選択処理を説明するための図である。 実施の形態に係るホールスライドイメージ作成装置の撮影倍率選択処理で用いる教師画像を示す図である。 実施の形態に係るホールスライドイメージ作成装置による区分領域の撮影順序を示す図である。 実施の形態に係るホールスライドイメージ作成装置による区分領域の撮影順序を示す図である。
以下、図面を参照して本発明の実施の形態に係るホールスライドイメージ作成装置について説明する。図１は、実施の形態に係るホールスライドイメージ作成装置２の構成を示すブロック図である。ホールスライドイメージ作成装置２は、病院の病理検査室等に備えられているものであり、ホールスライドイメージ作成装置２の各部を統括的に制御する制御部４を備えている。制御部４には、プレパラート６を載置するステージ８を移動させるステージ制御部１０、プレパラート６を観察するための対物レンズ１２（１２ａ，１２ｂ、１２ｃ，１２ｄ）の駆動制御を行うレンズ駆動部１４、対物レンズ１２により撮像面上に結像された被写体像を撮像するＣＣＤ等により構成される撮像素子１６、撮像素子１６により撮影された画像データを一時的に記憶する画像記憶部２１、撮像素子１６により撮像された画像データに基づく画像等を表示する表示部２２、一連の撮影処理を開始する開始ボタン（不図示）等を備える操作部２４、病理標本全体を撮影する際の撮影倍率の選択に用いる教師画像を記憶する教師画像記憶部２５、撮像素子１６により撮像された画像データを記憶するデータベース２６、データベース２６に記憶されている複数の画像データに基づいて一つの画像の画像データを生成する処理、撮影倍率の選択を行うためのパターンマッチング処理等の画像処理を行う画像処理部２７が接続されている。
ホールスライドイメージ作成装置２は、対物レンズ１２として、例えば対物４倍で病理標本４０（図２参照）を観察する対物レンズ１２ａ、対物１０倍で病理標本４０を観察する対物レンズ１２ｂ、対物２０倍で病理標本４０を観察する対物レンズ１２ｃ及び対物４０倍で病理標本４０を観察する対物レンズ１２ｄを備えている。
教師画像記憶部２５には、図５に示すように対物４倍で撮影した１００枚の教師画像（a１）〜（a１００）、対物１０倍で撮影した１００枚の教師画像（ｂ１）〜（ｂ１００）、対物２０倍で撮影した１００枚の教師画像（ｃ１）〜（ｃ１００）、対物４０倍で撮影した１００枚の教師画像（ｄ１）〜（ｄ１００）が記憶されている。
図２は、実施の形態に係るホールスライドイメージ作成装置２において用いるプレパラート６を示す図である。プレパラート６は、病院において患者から採取された組織切片等の病理標本４０をカバーガラス４１により封入したスライドガラス４２により構成される。
図３は、実施の形態に係るホールスライドイメージ作成装置２の撮影処理を示すフローチャートである。まず、プレパラート６をステージ８上の所定の位置にセットし、対物レンズ１２を病理標本４０の中心部近傍（第１撮影領域４５）（図４参照）の上部に位置させる。そして操作部２４の開始ボタンを操作すると、制御部４は、第１撮影領域の撮影処理を開始する（ステップＳ１０）。
即ち、制御部４は、対物レンズ１２ａ、対物レンズ１２ｂ、対物レンズ１２ｃ、対物レンズ１２ｄを用いて順次標本４０の第１撮影領域４５の撮影を行う。第１撮影領域４５の画像（図５参照）は、それぞれ画像記憶部２１に記憶される。ここで対物レンズ１２ａ、対物レンズ１２ｂ、対物レンズ１２ｃ、対物レンズ１２ｄは、それぞれ倍率が異なるため、例えば対物レンズ１２ａを用いて撮影を行う場合の第１撮影領域４５は、図４（ａ）に示す領域となり、対物レンズ１２ｂを用いて撮影を行う場合の第１撮影領域４５は、図４（ｂ）に示す領域となる。また対物レンズ１２ｃや対物レンズ１２ｄを用いて第１撮影領域４５の撮影を行う場合には、それぞれ対物レンズ１２ｃ、対物レンズ１２dに応じて定められている大きさの領域になる。
次に制御部４は画像処理部２７を制御して、第１撮影領域４５の画像毎に対応する倍率の教師画像との一致度を算出する（ステップＳ１１）。即ち図５に示すように対物レンズ１２ａを用いて撮影を行った第１撮影領域４５の画像と、対物４倍で撮影した教師画像（ａ１〜ａ１００）のそれぞれのパターンマッチングを行い、それぞれの画像の一致度の中で最大の一致度（一致度Ａ）を求める。また対物レンズ１２ｂを用いて撮影を行った第１撮影領域４５の画像と、対物１０倍で撮影した教師画像（ｂ１〜ｂ１００）のそれぞれのパターンマッチングを行い、それぞれの画像の一致度の中で最大の一致度（一致度Ｂ）を求める。また対物レンズ１２ｃを用いて撮影を行った第１撮影領域４５の画像と、対物２０倍で撮影した教師画像（ｃ１〜ｃ１００）のそれぞれのパターンマッチングを行い、それぞれの画像の一致度の中で最大の一致度（一致度Ｃ）を求める。更に対物レンズ１２ｄを用いて撮影を行った第１撮影領域４５の画像と、対物４０倍で撮影した教師画像（ｄ１〜ｄ１００）のそれぞれのパターンマッチングを行い、それぞれの画像の一致度の中で最大の一致度（一致度Ｄ）を求める。
次に制御部４は、算出された一致度に基づいて病理標本全体の撮影に用いる撮影倍率を選択する（ステップＳ１２）。即ち一致度Ａ〜一致度Ｄの中で最大の値となる倍率を病理標本の撮影倍率として定める。例えば一致度Ａが９８％、一致度Ｂが６０％、一致度Ｃが８０％、一致度Ｄが５５％であった場合には、４倍を病理標本の撮影倍率として選択する。
次に、制御部４は選択された撮影倍率である４倍の対物レンズ１２aを用いて病理標本全体の撮影を行う（ステップＳ１３）。まずプレパラート６の病理標本４０を含む領域を格子状に図４（ａ）に示す第１撮影領域４５と同じ大きさの区分領域に分割する。図６は、プレパラート６の病理標本４０を含む領域を（１，１）〜（９，９）の８１個の区分領域に分割した状態を示している。病理標本４０の撮影は、第１撮影領域４５である区分領域（５，５）の外側に位置する区分領域を螺旋状に外側に向かって順次撮影する。即ち図７（a）に示す区分領域「２」、区分領域「３」、区分領域「４」、区分領域「５」・・・・の順で撮影する。なお撮影した画像は、順次画像記憶部２１に記憶させる。また画像処理部２７においては、画像記憶部２１に記憶させた画像に病理標本の画像が含まれているか否かの判断を行う。病理標本の画像が含まれている場合には、その区分領域の画像を区分領域の位置情報を付加してデータベース２６に記憶させる。
図７（ｂ）に示すＸ１で示すライン上に位置する区分領域を撮影した８枚の画像の中に１枚でも病理標本の画像が含まれている場合には、Ｘ２で示すライン上に位置する区分領域を順次撮影し、Ｘ２で示すライン上に位置する区分領域を撮影した１６枚の画像の中に１枚でも病理標本の画像が含まれている場合には、Ｘ３で示すライン上に位置する区分領域を順次撮影し、Ｘ３で示すライン上に位置する区分領域を撮影した２４枚の画像の中に１枚でも病理標本の画像が含まれている場合には、Ｘ４で示すライン上に位置する区分領域を順次撮影する。Ｘ３で示すライン上に位置する区分領域を撮影した２４枚の画像の中に１枚も病理標本の画像が含まれていない場合には、病理標本の撮影を終了する。
制御部４は、画像処理部２７を制御して、データベース２６に記憶されている複数の区分領域の画像データを画像データに付加されている位置情報に基づいて繋ぎ合わせ、病理標本４０全体の画像データを生成する。
この実施の形態に係るホールスライドイメージ作成装置によれば、第１撮影領域４５の画像のみを用いて病理標本全体を撮影する撮影倍率を定めるため短時間で撮影倍率の選択を行うことができる。また病理標本の撮影を行う際に、第１撮影領域の外側に位置する区分領域を螺旋状に外側に向かって順次撮影し、病理標本の全体の撮影ができた時点で撮影を終了するため、病理診断に必要なホールスライドイメージを短時間で効率よく作成することができる。
２…ホールスライドイメージ作成装置、４…制御部、６…プレパラート、８…ステージ、１０…ステージ制御部、１２ａ，１２ｂ、１２ｃ，１２ｄ…対物レンズ、１４…レンズ駆動部、１６…撮像素子、２０…デジタルカメラ、２１…画像記憶部、２２…表示部、２４…操作部、２５…教師画像記憶部、２５…教師画像記憶部、２６…データベース、２７…画像処理部

Claims (4)

  1. 病理標本の第１撮影領域を、少なくとも第１倍率及び第２倍率で撮影する第１撮影制御部と、
    少なくとも前記第１倍率に対応した第１教師画像及び前記第２倍率に対応した第２教師画像を記憶する記憶部と、
    前記第１倍率で撮影した第１画像と前記第１教師画像とのパターンマッチングを行い第１の一致度を算出すると共に、前記第２倍率で撮影した第２画像と前記第２教師画像とのパターンマッチングを行い第２の一致度を算出する算出部と、
    前記算出部で算出された前記第１の一致度及び前記第２の一致度に基づいて前記病理標本の全体を撮影する倍率として前記第１倍率または前記第２倍率を選択する倍率選択部と、
    前記倍率選択部により選択された前記第１倍率または前記第２倍率に対応する区分領域ごとに、前記第１倍率または前記第２倍率で前記病理標本全体の撮影を行う第２撮影制御部と
    を備えるホールスライドイメージ作成装置。
  2. 前記第１撮影領域は、前記病理標本の中心部近傍の領域である請求項１記載のホールスライドイメージ作成装置。
  3. 前記第１教師画像及び前記第２教師画像は、それぞれ複数の教師画像を有する請求項１または２記載のホールスライドイメージ作成装置。
  4. 前記第２撮影制御部は、前記病理標本の全体の撮影が終了するまで、前記第１撮影領域の外側に位置する区分領域を螺旋状に外側に向かって順次撮影する請求項１〜３の何れか一項に記載のホールスライドイメージ作成装置。
JP2018107551A 2018-06-05 2018-06-05 ホールスライドイメージ作成装置 Active JP6695386B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018107551A JP6695386B2 (ja) 2018-06-05 2018-06-05 ホールスライドイメージ作成装置
PCT/JP2019/017828 WO2019235105A1 (ja) 2018-06-05 2019-04-26 ホールスライドイメージ作成装置
US16/964,211 US11119303B2 (en) 2018-06-05 2019-04-26 Whole slide image creation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018107551A JP6695386B2 (ja) 2018-06-05 2018-06-05 ホールスライドイメージ作成装置

Publications (2)

Publication Number Publication Date
JP2019211620A JP2019211620A (ja) 2019-12-12
JP6695386B2 true JP6695386B2 (ja) 2020-05-20

Family

ID=68769174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018107551A Active JP6695386B2 (ja) 2018-06-05 2018-06-05 ホールスライドイメージ作成装置

Country Status (3)

Country Link
US (1) US11119303B2 (ja)
JP (1) JP6695386B2 (ja)
WO (1) WO2019235105A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961161B2 (ja) * 2006-04-27 2012-06-27 株式会社日立ハイテクノロジーズ 検査装置
JP5822345B2 (ja) * 2011-09-01 2015-11-24 島田　修 ホールスライドイメージ作成装置
JP6472950B2 (ja) * 2014-03-26 2019-02-20 一般社団法人白亜会 診断用システム
WO2015164828A1 (en) 2014-04-24 2015-10-29 Nantworks, LLC Robust feature identification for image-based object recognition
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens

Also Published As

Publication number Publication date
US20210041684A1 (en) 2021-02-11
JP2019211620A (ja) 2019-12-12
WO2019235105A1 (ja) 2019-12-12
US11119303B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
JP5822345B2 (ja) ホールスライドイメージ作成装置
JP5206494B2 (ja) 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP5555014B2 (ja) バーチャルスライド作成装置
JP6305053B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6061816B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP5943785B2 (ja) 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
JP2008271240A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2006300681A (ja) 画像作成装置
JP2008271241A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP6390746B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JPH11325819A (ja) 顕微鏡用電子カメラ
JP2010281968A (ja) レンズ装置、及びその制御方法
US20180081162A1 (en) Microscopy system, microscopy method, and computer-readable recording medium
WO2017072950A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2018042006A (ja) 画像処理方法、画像処理装置、および撮像装置
JP6695386B2 (ja) ホールスライドイメージ作成装置
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JPWO2009038000A1 (ja) 不要光識別方法、不要光識別装置及び撮像装置
JP2018019319A (ja) 画像処理方法、画像処理装置、および撮像装置
JP2012256964A (ja) 撮像装置
WO2013179723A1 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP4346888B2 (ja) 顕微鏡装置
JPH11287618A (ja) 画像処理装置
JP2017060133A (ja) 電子機器、撮像制御方法、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200421

R150 Certificate of patent or registration of utility model

Ref document number: 6695386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250