JP5953035B2 - 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム - Google Patents

病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム Download PDF

Info

Publication number
JP5953035B2
JP5953035B2 JP2011259326A JP2011259326A JP5953035B2 JP 5953035 B2 JP5953035 B2 JP 5953035B2 JP 2011259326 A JP2011259326 A JP 2011259326A JP 2011259326 A JP2011259326 A JP 2011259326A JP 5953035 B2 JP5953035 B2 JP 5953035B2
Authority
JP
Japan
Prior art keywords
diagnosis support
image
occupancy
support information
fibers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011259326A
Other languages
English (en)
Other versions
JP2013113680A (ja
Inventor
亨宇 坂元
亨宇 坂元
明典 橋口
明典 橋口
時也 阿部
時也 阿部
彰 齋藤
彰 齋藤
真貴 佐野
真貴 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Keio University
Original Assignee
NEC Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Keio University filed Critical NEC Corp
Priority to JP2011259326A priority Critical patent/JP5953035B2/ja
Priority to US13/686,768 priority patent/US9286670B2/en
Publication of JP2013113680A publication Critical patent/JP2013113680A/ja
Application granted granted Critical
Publication of JP5953035B2 publication Critical patent/JP5953035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、病理診断支援装置、病理診断支援方法、及び病理診断支援プログラムに関するものである。
幾つかの臓器において、慢性炎症による組織破壊の進行、線維化(fibrosis)が、発がんのリスクとなることが知られている。組織の線維化の程度を判定することが病変の進行段階を知る上で、更には、発がんのリスクを判断する上で重要である。
組織線維化の評価が重要な疾患として、慢性肝炎が知られている。組織の線維化の程度を判定するための手段に、病理組織学的診断がある。病理組織学的診断では、病理医が組織の線維化による構造的乱れを視覚的に診断する。肝臓の線維化の程度を判定する診断は、新犬山分類によることが一般的である。新犬山分類では、F1〜F4の4段階に線維化の程度を区分する。具体的には、線維化の程度が、線維化なし(F0)、門脈域の線維性拡大(F1)、線維性架橋形成(F2)、小葉のひずみを伴う線維性架橋形成(F3)、肝硬変(F4)といった各段階に分類される。しかし、分類は病理標本に基づいて病理医が知識及び経験に基づいて行う主観的なものであり、分類に基づく診断にはある程度の熟練を必要とする。
また、線維化の程度を判定するための手段に、シリウスレッド等の膠原線維を染め分ける色素を用いて染色された病理標本の画像に対して画像処理を行うことにより膠原線維の領域を特定し、膠原線維の面積占有率を算出する方法がある(例えば、非特許文献1参照)。膠原線維に着目するのは、組織の線維化の段階が進行するにつれて組織内の膠原線維の面積占有率が上昇することが知られてきたからである。非特許文献1における方法では、染色標本画像の各画素のRGB(Red,Green,Blue)成分の値やHSV(Hue,Saturation,value)成分の値のそれぞれについて、操作者が対話的に決定した閾値を用いて、膠原線維領域を抽出する。
一方、組織の線維化の進行に応じて、膠原線維の他に弾性線維も増減することが報告されている(例えば、非特許文献2および3参照)。非特許文献2によれば、弾性線維は時間をかけて硬変した肝臓に蓄積するため、線維性隔壁に弾性線維の存在をみとめる場合、その線維性隔壁により構成される組織は最近生成されたものでないことを示す。非特許文献3によれば、尿中の弾性線維量と組織線維化との間には相関関係があるとされている。
Calvaruso V et al. Computer-Assisted Image Analysis of Liver Collagen: Relationship to Ishak Scoring and Hepatic Venous Pressure Gradien. HEPATOLOGY 2009;49:1236-1244 Roderick N.M. MacSween, Alastair D. Burt, Bernard C. Portmann, Kamal G Ishak, Peter J. Scheuer, Peter P. Anthony Pathology of the Liver 4th edition, pp. 579, 2002 Nezam Afdhal, Andrew Keaveny’, Steven Cohen, David Nunes, Norris Maldonado, Michael O’Brien2 and Phillip J. Stone"Urinary assays for desmosine and hydroxylysylpyridinolinei n the detection of cirrhosis," Journal of Hepatology 1991; 21: 993-1002
ここで、病理診断支援装置によって染色標本画像から診断支援情報を取得する場合、診断支援情報が可能な限り高精度であることが望ましい。しかしながら、非特許文献1に記載のような、染色標本内の膠原線維のみの面積占有率に基づく従来の方法によって提供される診断支援情報の精度は十分とはいえなかった。また、非特許文献2および3において言及されている弾性線維は、組織内の存在量が膠原線維に比較して少ないため、染色標本画像に対する画像処理を用いた病理診断支援において指標として用いられてこなかった。
発明者らは、弾性線維を組織の線維化の指標として用いることで、線維化進行に応じて増減する指標としてだけでなく、線維組織の生成時期(新旧度)を表す新しい指標になりうることを見出した。
そこで、かかる発見に鑑みてなされた本発明は、染色標本画像に対する画像処理において、組織線維化を検出するための指標となる膠原線維および弾性線維の組織内占有率に基づいて、高精度の病理診断支援情報を提供することを目的とする。さらに、本発明の好ましい態様では、膠原線維と弾性線維との占有率の合計値を用いて組織線維化段階を判定することで、病理診断支援装置の判定精度を向上させることを目的とする。さらに、本発明の好ましい態様は、膠原線維の量と併せて、線維隔壁に時間をかけて蓄積する弾性線維の量を用いて組織線維化段階を判定することで、線維化組織の生成時期をスクリーニング可能な新たな指標をもたらすことを目的とする。
また、上記目的を達成するため、本発明による病理診断支援装置は、
染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置であり、
染色標本画像を読み込む画像読み込み部と、
前記染色標本画像を処理する画像処理部と、を備え、該画像処理部は、
前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類部と、
前記標本画像に含まれる組織領域を抽出する組織領域抽出部と、
前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出部と、
算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供部と、
を備え、
前記診断支援情報提供部が、予め組織線維化の進行段階の判定基準となる第1の閾値および第2の閾値を有しており、前記膠原線維の占有率が前記第1の閾値を満たすか否かを判定し、前記第1の閾値を満たさないと判定した場合に、前記膠原線維および弾性線維の占有率の合計値が前記第2の閾値を満たすか否かを判定することを特徴とするものである
また、上記目的を達成するため、本発明による病理診断支援装置は、
染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置であり、
染色標本画像を読み込む画像読み込み部と、
前記染色標本画像を処理する画像処理部と、を備え、該画像処理部は、
前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類部と、
前記標本画像に含まれる組織領域を抽出する組織領域抽出部と、
前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出部と、
算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供部と、
を備え、
前記診断支援情報提供部が、予め組織線維化の進行段階の判定基準となる少なくとも1つの閾値を有しており、前記前記膠原線維および弾性線維の占有率の合計値が前記少なくとも1つの閾値を満たすか否かを判定し、
前記少なくとも1つの閾値を満たすと判定した場合に、前記弾性線維の占有率の値を診断支援情報として提示することを特徴とするものである。
上記目的を達成するため、本発明による病理診断支援方法は、
染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援方法であり、
染色標本画像を読み込む画像読み込みステップと、
前記染色標本画像を処理する画像処理ステップと、を含み、該画像処理ステップは、
前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類ステップと、
前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出ステップと、
算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供ステップと、
を含み、
前記診断支援情報提供ステップにおいて、前記膠原線維の占有率が予め定められている組織線維化の進行段階の判定基準となる第1の閾値を満たすか否かを判定し、前記第1の閾値を満たさないと判定した場合に、前記膠原線維および弾性線維の占有率の合計値が予め定められている組織線維化の進行段階の判定基準となる第2の閾値を満たすか否かを判定する、ことを特徴とするものである。
上記目的を達成するため、本発明による病理診断支援プログラムは、
染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置として構成するコンピュータに、
染色標本画像を読み込む画像読み込みステップと、
前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類ステップと、
前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出ステップと、
算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供ステップと、
を実行させ
前記診断支援情報提供ステップにおいて、前記膠原線維の占有率が予め定められている組織線維化の進行段階の判定基準となる第1の閾値を満たすか否かを判定させ、前記第1の閾値を満たさないと判定された場合に、前記膠原線維および弾性線維の占有率の合計値が予め定められている組織線維化の進行段階の判定基準となる第2の閾値を満たすか否かを判定させる、ことを特徴とするものである。
本発明によれば、染色標本画像に対する画像処理において、組織線維化を検出するための指標となる膠原線維および弾性線維の組織内占有率に基づいて、有効な病理診断支援情報を提供することができる。
本発明の一実施形態による病理診断支援装置の機能ブロック図である。 図1に示す病理診断支援装置における処理の流れを説明するフローチャートである。 本発明の一実施形態で解析した染色標本の一例を示す図である。 本発明の一実施形態における組織領域抽出結果の一例を示す図である。 図1に示す病理診断支援装置の診断支援情報提供部における処理の流れの一例を説明するフローチャートである。 図1に示す病理診断支援装置の診断支援情報提供部における処理の流れの他の一例を説明するフローチャートである。
以下、本発明による一実施形態の病理診断支援装置について図面を参照しつつ説明する。また、本発明に係る病理診断支援方法、病理診断支援プログラムは、本発明による一実施形態の病理診断支援装置の説明から明らかになる。
本実施形態で使用する染色標本は、例えば、EVG(Elastica Van Gieson)染色である。EVG染色により組織中の膠原線維及び弾性線維を染色することができる。本染色方法を肝生検で得られた病理組織に適用することで、肝細胞中の膠原線維を識別することが可能となる。本実施形態ではEVG染色にあたって、ワイゲルトのレゾルシン・フクシン液により弾性線維を紫色(紫黒色)に染色し、ワイゲルトの鉄ヘマトキシリンにより核を黒褐色に染色し、ワン・ギーソン液(ピクリン酸、酸フクシン)により、(酸フクシンにより)膠原線維を赤色に、(ピクリン酸により)細胞質及び赤血球を黄色に染色した染色標本を使用するものとする。
染色標本画像は、例えば、染色標本に対して透過照明を照射しデジタルカメラや標本スキャナ等で撮影して得た透過光画像である。膠原線維が組織内の他の構成要素から区別可能であれば、偏光顕微鏡等を用いて取得した偏光画像を用いることももちろん可能である。さらに、染色標本画像はデジタルカメラや標本スキャナのようなCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いた撮像装置により撮像された画像データだけでなく、銀塩カメラ等により取得したカラー写真を画像データ化したものであっても良い。
図1は、本発明の一実施形態による病理診断支援装置の機能ブロック図である。病理診断支援装置100は、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置である。病理診断支援装置100は、染色標本画像を読み込む画像読み込み部107と、染色標本画像を処理する画像処理部101と、病理診断支援装置の全体的な動作を司る制御部106と、操作者による対話的な操作を実現する操作部108と、染色標本画像等を表示する表示部109とを備える。画像処理部101は、画像分類部102と、組織領域抽出部103と、占有率算出部104と、診断支援情報提供部105とを備える。画像処理部101が備える各機能ブロックの詳細な機能については、図2に示すフローチャートを参照しながら後述する。
画像処理部101及び制御部106は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)により構成される。画像読み込み部107は、例えば、インターフェース、CD−ROM読取装置等により構成される。操作部108は、ユーザによる対話的な操作を可能にするための入力部として機能し、例えば、キーボードやタッチパネルにより構成される。表示部109は、例えば、画像読み込み部107から読み込んだ染色画像を表示するための液晶ディスプレイ、プラズマディスプレイ、CRTディスプレイとして構成される。尚、画像読み込み部107、操作部108、表示部109は必ずしも病理診断支援装置100に内蔵される必要はなく、病理診断支援装置100に対して着脱可能に設けることができる。
尚、画像処理部101の備える各機能ブロックは、必ずしも物理的に別個の機能ブロックとして存在することは要さない。すなわち、各機能ブロックの実現する機能は、単一のCPU又はDSPによって実装することももちろん可能である。更には、後述するように、プログラムとして実装されることももちろん可能である。この場合、一連の機能を実現可能なプログラムを記憶したCD−ROMのような記録媒体から読み込んだプログラムを図示しない記憶部に格納して制御部106によって適宜実行することができる。
図2は、図1に示す病理診断支援装置における処理の流れを説明するフローチャートである。制御部106は、画像読み込み部107を介して染色標本画像を読み込み、図示しない記憶部に読み込んだ染色標本画像情報を記憶する(ステップS01)。本実施形態では染色標本画像は肝生検により取得した標本に対してEVG染色した標本について取得した画像であり、図3に一例を示す。図中、中央に逆「C」字型に延在する領域が染色標本画像における組織領域であり、その他の領域が染色標本を載せたガラス等である。組織領域中に複数点在する、白く表示される空腔領域は血管の内径等に該当する。この空腔領域を取り囲む比較的暗色に表示される領域は、弾性線維や膠原線維に対応する。
次に、画像分類部102は染色標本画像の画素値に基づいて標本画像中の膠原線維および弾性線維を分類する(ステップS02)。例えば、分類は事後確率最大化法を用いた教師付き分類により行う。具体的には、膠原線維および弾性線維と、核、細胞質等の組織を構成する細胞に含まれる要素と、組織領域以外の部分を占めるガラス等を分類クラスとして設定して、各クラスの教師データに基づいて分類を行う。尚、本実施形態において分類に使用する教師データは、必ずしも分類対象の染色標本画像自体について取得する必要は無く、他の染色標本画像について取得した教師データを利用することも可能である。また、教師付き分類にあたって最尤法や最短距離法を用いることももちろん可能である。さらに、分類は教師付き分類法ではなく、クラスタリングのような教師なし分類法で実施しても良い。
次に、組織領域抽出部103は、標本画像に含まれる組織領域を抽出する(ステップS03)。図4に、組織領域抽出部103による組織領域抽出結果の一例を示す。ここでは、組織領域抽出部103は、ステップS02で例えばガラス等の標本組織以外の領域として分類された領域についてマスキングする。なお、組織領域抽出部103は、必ずしもステップS02の分類結果に基づいてマスキングを行う必要は無く、例えば、任意の閾値以上の画素値を有する画素全体に対してマスキングを行うこともできる。これは、染色病理標本では、組織領域は何らかの色に染色され、染色が無い部分については、透明なため透過光画像では画素値が高くなることによる。好ましくは、組織領域抽出部103は、例えば、血管などの既存の構造領域を標本組織中の他の領域から識別して、マスキングすることもできる。これは、血管などの既存の構造領域には、元々膠原線維や弾性線維が多く含有されているため、診断支援情報の精度を向上させるためには、かかる領域以外の領域における膠原線維および弾性線維の占有率を算出することが好ましいからである。
次に、占有率算出部104は、膠原線維および弾性線維について、それぞれ組織領域内の占有率を算出する(ステップS04)。占有率算出部104は、膠原線維の占有率については、ステップS03にて組織領域として抽出された領域の全画素数に対する膠原線維として分類された画素数の割合として算出する。占有率算出部は104、弾性線維についても同様である。尚、占有率は、画素数に依存せず、組織領域の面積と、膠原線維(または弾性線維)として分類された領域の面積とに基づいて算出することももちろん可能である。また、占有率算出部104は、まず、染色標本画像を所定の大きさでタイル分割した各タイルについての占有率を算出し、染色標本画像全体を代表する占有率として、タイルの占有率の平均値を算出することももちろん可能である。
次に、診断支援情報提供部105は、算出した膠原線維および弾性線維の占有率に基づいて、診断支援情報を提供する(ステップS05)。以下に、図5を参照して診断支援情報提供部105における診断支援情報生成処理を説明する。
図5は、図1に示す病理診断支援装置の診断支援情報提供部における処理の流れを説明するフローチャートである。診断支援情報提供部105は、予め組織線維化の判定基準となる第1の閾値および第2の閾値を記憶している。第1の閾値は、第2の閾値よりも組織線維化の程度が高いことを示す閾値である。例えば、第1の閾値は、その値を上回る場合には新犬山分類法においてF4と分類される確率が高い膠原線維の占有率の値である。例えば、第2の閾値は、新犬山分類法におけるF2およびF3のボーダーラインとなりうる膠原線維および弾性線維の占有率の合計値である。これらの閾値は、予め診断支援情報提供部105において保持されている。閾値は、例えば、臨床試験や、ROC(Receiver Operating Characteristic)解析によって予め決定される。
ROC解析は診断の精度を評価するための手法として広く用いられている(能登洋著「日常診療にすぐに使える臨床統計学」、羊土社、2005年)。ROC解析によって閾値を決定する場合は、病理医による病理診断結果が既知である十分な数(例えば100)の染色標本を用意し、同じ標本について膠原線維占有率および弾性線維占有率を算出する。そして、これらの染色標本についてROC解析を行う。ROC解析においては、各染色標本について感度(陽性率)、特異度、偽陽性率(1-特異度)を算出する。そして、好ましくは、ROC曲線の左上方(感度1.00、特異度1.00)に最も近い点の膠原線維占有率(以下、ベストカットオフ値という)を、上述の閾値とする。これらの閾値決定のための処理は、本実施形態にかかる病理診断支援装置内で、または当該装置を構成するものではない、別個のPCにより実施することができる。なお、ROC解析による閾値は、必ずしもベストカットオフ値に限られない。
先ず、診断支援情報提供部105は、膠原線維の占有率に基づいて標本画像の組織線維化が第1の閾値を満たすか否かを判定する(ステップS06)。そして、診断支援情報提供部105は、第1の閾値を満たす標本画像について、線維化の程度をF4として分類する(ステップS07)。次に、診断支援情報提供部105は、ステップS06で第1の閾値を満たさないと判定された標本画像について、膠原線維および弾性線維の占有率の合計値が第2の閾値を満たすか否かを判定する(ステップS08)。そして、診断支援情報提供部105は、第2の閾値を満たす標本画像について、線維化の程度をF3として分類する(ステップS09)。また、診断支援情報提供部105は、第2の閾値を満たさない標本画像について、線維化の程度をF2以下として分類する(ステップS10)。
また、診断支援情報提供部105は、図2のステップS05において、以下に図6を参照して説明するような診断支援情報生成処理を行うようにも構成されることもできる。かかる構成では、診断支援情報部105は、予め少なくとも1つの閾値を記憶している。少なくとも1つの閾値は、例えば、新犬山分類の段階(ステージ)に関わらず、組織線維化が生じているか否かを判定するための、膠原線維および弾性線維の占有率の合計値の値である。
図6において、先ず、診断支援情報提供部105は、対象とする染色標本画像について算出した膠原線維および弾性線維の占有率の合計値の値が、上述の膠原線維および弾性線維の占有率の合計値の値である閾値を満たすかを判定する(ステップS11)。そして、診断支援情報提供部105は、閾値を満たす染色標本画像を組織線維化有として分類する(ステップS12)。一方、診断支援情報提供部105は、閾値を満たさなかった染色標本画像について、組織線維化無しとして分類する(ステップS13)。このようにして、本実施形態による病理診断支援装置によれば、膠原線維および弾性線維の占有率の合計値の値を1つの閾値に対して比較することで、簡易に組織線維化の有無の診断を支援することができる。好ましくは、診断支援情報提供部105は、組織線維化有として分類された染色標本画像について、弾性線維占有率の値を指標として提示することで、線維化組織の生成時期の診断を支援することができる。
尚、図6において使用する閾値として、その値を上回る場合には新犬山分類のF3〜F4のいずれかに該当する確率が高いとされる値を用いることももちろん可能である。この場合、診断支援情報提供部105は、新犬山分類法によるF3以上の進行程度の組織線維化が生じているかの判定結果を提供することもできる。
さらに、新犬山分類と類似関係にあるMETAVIR法による病理診断についても、本実施形態による病理診断支援装置によって、高精度の診断支援情報をもたらすことも可能である。
以下、表1および表2を参照して、本実施形態による病理診断支援装置を用いて、医療診断支援情報を提供する場合の効果を実際のデータに基づいて説明する。表1は、本実施形態による病理診断支援装置を用いて提供した病理診断支援情報の精度評価結果を示す。具体的には、表1は、膠原線維の占有率に基づいて新犬山分類F4の標本を分類し、膠原線維および弾性線維の占有率の合計値に基づいて新犬山分類F2およびF3の標本を分類した場合の分類結果の正解率を示す。表2は、膠原線維の占有率に基づいて新犬山分類F4の標本を分類し、膠原線維の占有率のみに基づいて新犬山分類F2およびF3の標本を分類した場合の分類結果の正解率を示す。つまり、表2に示す結果を得るにあたって、弾性線維の占有率は用いておらず、表2は、本実施形態による病理診断支援装置によらない比較のための病理診断支援情報についての精度評価結果を示している。正解率は、発明例または比較例において各ステージ(F2〜F4)に分類された標本数(C)を、病理医による新犬山分類によって適切な線維化ステージに割り当てた標本の数(N)で除算した値(C/N,i=F2,F3,F4)である。
病理医による新犬山分類は近年一般的に広く普及している病理診断方法であることから、病理医による新犬山分類に基づく診断結果を正解値として、診断支援情報の精度を評価することは、本実施形態による病理診断支援装置の有用性を検討する上で重要である。評価に当たって使用した染色標本画像数はn=38であった。なお、38枚の染色標本画像はそれぞれ別の検体に由来するものであった。
なお、表1および表2の結果を得るにあたって、上記ステップS06にて使用した所定の閾値の決定方法について説明する。まず、予め相当数の染色標本(n=38)について病理医による新犬山分類を実施するとともに、同じ染色標本について、上記ステップS02〜S04の処理を施す。各染色標本について、新犬山分類の結果と、ステップS02〜S04の処理により算出された膠原線維の占有率とを紐付けするとともに、新犬山分類の結果と、膠原線維の占有率とを用いて、ROC解析を行う。
正解率は閾値に強く依存した。上記ステップS06において、ベストカットオフ値を閾値として採用したため、表1および表2の新犬山分類F4の正解率は全て同一であった。そして、新犬山分類F4に分類されなかった標本について、表1および表2の左欄に示す閾値を用いて、新犬山分類F2およびF3のいずれかに分類した。このときの閾値は、表1では、膠原線維の占有率と弾性線維の占有率の合計値であり、表2では膠原線維のみの占有率の値である。新犬山分類のF2とF3の分類において、表1に示した、弾性線維の占有率と膠原線維の占有率の合計値を用いた場合のほうが、同等または同等以上に正解率が向上していた。表1で下線を付した、膠原線維の占有率と弾性線維の占有率の合計値の閾値0.081が、新犬山分類のF2〜F4までを考慮した場合に最も良好な閾値であった。また、表1に示す場合の新犬山分類のF2とF3との分類時のAUROC(ROC曲線下面積)の値は0.839であり、表2に示す場合の同AUROCが0.762であることから、閾値の値の大小に関わらず、表1に示す場合のほうが、表2に示す場合よりも新犬山分類のF2とF3を精度良く分類することができていたことが検証された。
このように、膠原線維および弾性線維の占有率の合計値を用いて、特に、線維化段階の低い段階(新犬山分類のF2とF3)の標本の線維化状態を精度良く分類することができることが示唆された。これは、染色標本採取時に比較的近い時点で組織線維化が生じた組織について、弾性線維も指標とすることで抽出の精度が向上したためと考えられる。すなわち、本発明において、染色標本の画像処理において、線維隔壁に時間をかけて蓄積する弾性線維を定量し、弾性線維の占有率および膠原線維の占有率を合計した値に応じて線維化段階を判定することで、線維化組織の新旧の度合い、あるいは線維化組織の生成時期をスクリーニング可能な新たな指標がもたらされたともいえる。このようにして、比較的線維化段階の低い標本についての分類精度を向上させることで、線維化の進行の程度を正確にスコア化することが可能となり、癌の発生リスクをより適切にモニタリングすることができるようになる。
表3を参照して、膠原線維および弾性線維の占有率の合計値を少なくとも1つの閾値と比較することで、組織線維化が生じているかを判定した場合の効果を実際のデータに基づいて説明する。表3は、組織線維化の発生の有無を判定するにあたって、膠原線維の占有率のみを基準とした場合の結果と病理医による新犬山分類の診断結果との相関関係(相関I)と、膠原線維と弾性線維の占有率の合計値を基準とした場合の結果と病理医による新犬山分類の診断結果との相関関係(相関II)を比較して示す。組織線維化の発生の有無を判定するとは、具体的には、新犬山分類のF2〜F4のいずれかに該当するか否かを判定するということである。表3に示す相関係数は、スピアマンの順位相関係数である。表3の作成にあたって、使用した染色標本画像数はn=38であった。なお、38枚の染色標本画像はそれぞれ別の検体に由来するものであった。
表3に示す占有率は、染色標本画像をタイル状に分割して、各タイルについて算出した膠原線維占有率および弾性線維占有率の平均値である。表3に示す、「マスク処理平均値」とは、図2に示すステップ03において抽出した染色標本の組織領域内において、病変に関係しない既存の血管や被膜の領域についてマスク処理を行った染色標本画像を用いて算出した占有率の平均値である。「平均値」とはそのような処理を行わない染色標本画像を用いて算出した占有率の平均値である。
表3より、膠原線維占有率のみを用いて組織線維化の発生の有無を判定した場合よりも、膠原線維および弾性線維の占有率の合計を用いて組織線維化の発生の有無を判定した場合の方が、病理医による新犬山分類との相関関係が高いことがわかる。このように、膠原線維に加えて弾性線維の占有率を用いて組織線維化の発生の有無を判定することで、判定の精度を向上させることができる。
表4は、新犬山分類のF3以上の進行度合いの組織線維化を判定するにあたって、膠原線維の占有率のみを基準とした場合の結果と病理医による新犬山分類の診断結果との相関関係(相関I)と、膠原線維と弾性線維の占有率の合計値を基準とした場合の結果と病理医による新犬山分類の診断結果との相関関係(相関II)を比較して示す。表3の場合と同様に、それぞれ別の検体に由来する38枚の染色標本画像を使用した。また、表4に示す占有率の算出方法の詳細は、表3に示す場合と同様である。
表4より、組織線維化の進行度合いが新犬山分類のF3以上であるか否かを判定するにあたって、膠原線維だけではなく弾性線維の占有率を用いて判定を行った方が、病理医による新犬山分類の結果との相関が向上していることが分かる。このように、膠原線維に加えて弾性線維の占有率を用いて、新犬山分類のF3以上の進行度合いの組織線維化が生じているか否かの判定の精度を向上させることができる。
本発明の一実施形態について説明してきたが、更に、本発明の一態様として、病理診断支援装置100を、コンピュータとして構成させることができる。かかるコンピュータにおいて、画像処理部101の機能を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはROM(read only memory)又はRAM(random access memory)などの内部記憶装置で実現することができる。上述の装置として機能するコンピュータは、CPU(central processing unit)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
また、この処理内容を記述したプログラムを、例えばDVD(Digital Versatile Disc)又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
ここまで述べてきた本発明実施形態の他に、特許請求の範囲において種々の変更を加えることができる。例えば、上述の実施形態では、EVG染色画像を用いたが、染色法はこの限りではなく、膠原線維および弾性線維が組織内の他の構成要素と区別可能な色彩に染色された染色標本であれば、本発明による病理診断支援装置、病理診断支援方法、及び病理診断支援プログラムにおいて用いることができる。
更には、上記実施形態では、肝生検にて得られた病理組織から作成した染色病理標本について本発明による病理診断支援装置を用いたが、本発明による病理診断支援装置は、肝生検にて得られた染色病理標本に限られず、他の臓器、例えば肺における線維化の病理診断支援情報を提供するために用いることもできる。
100 病理診断支援装置
101 画像処理部
102 画像分類部
103 組織領域抽出部
104 占有率算出部
105 診断支援情報提供部
106 制御部
107 画像読み込み部
108 操作部
109 表示部

Claims (4)

  1. 染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置であり、
    染色標本画像を読み込む画像読み込み部と、
    前記染色標本画像を処理する画像処理部と、を備え、該画像処理部は、
    前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類部と、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出部と、
    前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出部と、
    算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供部と、
    を備え、
    前記診断支援情報提供部が、予め組織線維化の進行段階の判定基準となる第1の閾値および第2の閾値を有しており、前記膠原線維の占有率が前記第1の閾値を満たすか否かを判定し、前記第1の閾値を満たさないと判定した場合に、前記膠原線維および弾性線維の占有率の合計値が前記第2の閾値を満たすか否かを判定することを特徴とする、
    病理診断支援装置。
  2. 染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置であり、
    染色標本画像を読み込む画像読み込み部と、
    前記染色標本画像を処理する画像処理部と、を備え、該画像処理部は、
    前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類部と、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出部と、
    前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出部と、
    算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供部と、
    を備え、
    前記診断支援情報提供部が、予め組織線維化の進行段階の判定基準となる少なくとも1つの閾値を有しており、前記前記膠原線維および弾性線維の占有率の合計値が前記少なくとも1つの閾値を満たすか否かを判定し、
    前記少なくとも1つの閾値を満たすと判定した場合に、前記弾性線維の占有率の値を診断支援情報として提示することを特徴とする、
    病理診断支援装置。
  3. 染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援方法であり、
    染色標本画像を読み込む画像読み込みステップと、
    前記染色標本画像を処理する画像処理ステップと、を含み、該画像処理ステップは、
    前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類ステップと、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
    前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出ステップと、
    算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供ステップと、
    を含み、
    前記診断支援情報提供ステップにおいて、前記膠原線維の占有率が予め定められている組織線維化の進行段階の判定基準となる第1の閾値を満たすか否かを判定し、前記第1の閾値を満たさないと判定した場合に、前記膠原線維および弾性線維の占有率の合計値が予め定められている組織線維化の進行段階の判定基準となる第2の閾値を満たすか否かを判定する、
    ことを特徴とする病理診断支援方法。
  4. 染色標本画像から、組織線維化の診断を支援する診断支援情報を提供する病理診断支援装置として構成するコンピュータに、
    染色標本画像を読み込む画像読み込みステップと、
    前記染色標本画像の画素値に基づいて、少なくとも前記標本画像中の膠原線維および弾性線維を分類する画像分類ステップと、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
    前記画像分類の結果に基づいて、前記膠原線維および弾性線維について、前記組織領域内の占有率を算出する占有率算出ステップと、
    算出した前記膠原線維の占有率および前記弾性線維の占有率に基づいて、診断支援情報を提供する診断支援情報提供ステップと、
    を実行させ、
    前記診断支援情報提供ステップにおいて、前記膠原線維の占有率が予め定められている組織線維化の進行段階の判定基準となる第1の閾値を満たすか否かを判定させ、前記第1の閾値を満たさないと判定された場合に、前記膠原線維および弾性線維の占有率の合計値が予め定められている組織線維化の進行段階の判定基準となる第2の閾値を満たすか否かを判定させる、
    ためのプログラム。
JP2011259326A 2011-11-28 2011-11-28 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム Active JP5953035B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011259326A JP5953035B2 (ja) 2011-11-28 2011-11-28 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
US13/686,768 US9286670B2 (en) 2011-11-28 2012-11-27 Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011259326A JP5953035B2 (ja) 2011-11-28 2011-11-28 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム

Publications (2)

Publication Number Publication Date
JP2013113680A JP2013113680A (ja) 2013-06-10
JP5953035B2 true JP5953035B2 (ja) 2016-07-13

Family

ID=48466912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011259326A Active JP5953035B2 (ja) 2011-11-28 2011-11-28 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム

Country Status (2)

Country Link
US (1) US9286670B2 (ja)
JP (1) JP5953035B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953035B2 (ja) * 2011-11-28 2016-07-13 学校法人慶應義塾 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
JP6355082B2 (ja) * 2013-07-18 2018-07-11 パナソニックIpマネジメント株式会社 病理診断支援装置及び病理診断支援方法
US9916658B2 (en) 2013-09-19 2018-03-13 Keio University Disease analysis apparatus, control method, and program
WO2016204027A1 (ja) * 2015-06-18 2016-12-22 コニカミノルタ株式会社 目的生体物質の解析装置、解析システム、解析方法および解析プログラム
JP6761717B2 (ja) * 2016-09-29 2020-09-30 ケーディーアイコンズ株式会社 情報処理装置及びプログラム
CN107463913B (zh) * 2017-08-11 2020-07-14 苏炯龙 基于Lab的图像胶原纤维识别计算系统及方法
US11195272B2 (en) * 2018-08-21 2021-12-07 Canon Medical Systems Corporation Medical image processing apparatus, medical image processing system, and medical image processing method
JP7254283B2 (ja) * 2019-03-22 2023-04-10 株式会社Screenホールディングス 閾値決定方法、画像処理方法、標本画像の評価方法、コンピュータプログラムおよび記録媒体
EP4177605A4 (en) 2020-07-02 2023-12-06 FUJIFILM Corporation PATHOLOGICAL DIAGNOSTIC DEVICE, OPERATING METHOD FOR THE PATHOLOGICAL DIAGNOSTIC DEVICE AND OPERATING PROGRAM FOR THE PATHOLOGICAL DIAGNOSTIC DEVICE
CN112329807A (zh) * 2020-09-08 2021-02-05 上海思路迪生物医学科技有限公司 医用图像诊断装置、图像处理装置和方法、判断单元以及存储介质
CN117530659B (zh) * 2023-11-06 2024-04-09 浙江大学 基于光学相干层析成像技术的早期宫颈癌变辅助诊断工具

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694706A (ja) * 1992-09-10 1994-04-08 Sumitomo Metal Ind Ltd 病理画像検査支援装置
AU5192498A (en) * 1996-12-03 1998-06-29 Kyowa Hakko Kogyo Co. Ltd. Tissue fibrosis inhibitor
JPH10197522A (ja) * 1997-01-14 1998-07-31 Mitsubishi Electric Corp 病理組織診断支援装置
JPH11118793A (ja) * 1997-10-14 1999-04-30 Hitachi Ltd 尿中赤血球分類装置
AU1480301A (en) * 1999-11-09 2001-06-06 Pharmacia Corporation Methods for treating, inhibiting or preventing pathogenic change resulting from vascular injury with an aldosterone antagonist
US6841388B2 (en) * 2000-12-05 2005-01-11 Vysis, Inc. Method and system for diagnosing pathology in biological samples by detection of infrared spectral markers
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US7483554B2 (en) * 2003-11-17 2009-01-27 Aureon Laboratories, Inc. Pathological tissue mapping
DE10353785B4 (de) * 2003-11-18 2006-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe
JP2005331394A (ja) * 2004-05-20 2005-12-02 Olympus Corp 画像処理装置
JP5663873B2 (ja) * 2007-03-01 2015-02-04 日本電気株式会社 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
EP2156370B1 (en) * 2007-05-14 2011-10-12 Historx, Inc. Compartment segregation by pixel characterization using image data clustering
JP2009080108A (ja) * 2007-09-05 2009-04-16 Shiseido Co Ltd 生物組織薄切切片からsem標本を作製する方法及びsem標本、並びに皮膚の状態を評価する方法
JP2010185858A (ja) * 2009-02-13 2010-08-26 Olympus Corp 画像処理装置および画像処理プログラム
EP2414844B1 (en) * 2009-03-30 2014-12-10 Nordic Bioscience A/S Fibrosis biomarker assay
UA112154C2 (uk) * 2009-09-08 2016-08-10 Біоті Терапіс Корп. Застосування повністю людського анти-vap-1-антитіла для лікування фіброзних станів
WO2011104707A1 (en) * 2010-02-23 2011-09-01 Remedor Biomed Ltd. Methods and compositions for enhancing fat graft survival
JP5771513B2 (ja) * 2011-11-24 2015-09-02 学校法人慶應義塾 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
JP5953035B2 (ja) * 2011-11-28 2016-07-13 学校法人慶應義塾 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム

Also Published As

Publication number Publication date
US20130136325A1 (en) 2013-05-30
US9286670B2 (en) 2016-03-15
JP2013113680A (ja) 2013-06-10

Similar Documents

Publication Publication Date Title
JP5953035B2 (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
Sanghvi et al. Performance of an artificial intelligence algorithm for reporting urine cytopathology
JP5771513B2 (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
JP5040597B2 (ja) 評価システム、評価方法および評価プログラム
Sheikhzadeh et al. Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks
Rangan et al. Quantification of renal pathology by image analysis (Methods in Renal Research)
Tsochatzis et al. Collagen proportionate area is superior to other histological methods for sub-classifying cirrhosis and determining prognosis
McGill et al. Narrow band imaging to differentiate neoplastic and non-neoplastic colorectal polyps in real time: a meta-analysis of diagnostic operating characteristics
CN105027165B (zh) 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
Sethasine et al. Quantitative histological‐hemodynamic correlations in cirrhosis
JP5663873B2 (ja) 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
NL2024774B1 (en) Blood leukocyte segmentation method based on adaptive histogram thresholding and contour detection
US20070019854A1 (en) Method and system for automated digital image analysis of prostrate neoplasms using morphologic patterns
Munsterman et al. A novel automatic digital algorithm that accurately quantifies steatosis in NAFLD on histopathological whole‐slide images
Marti‐Aguado et al. Digital pathology: accurate technique for quantitative assessment of histological features in metabolic‐associated fatty liver disease
Tang et al. Splat feature classification: Detection of the presence of large retinal hemorrhages
JP5151403B2 (ja) 低分化癌検出モジュール、これを備えた病理画像診断支援装置、プログラムおよび記録媒体
Adorno III et al. Advancing eosinophilic esophagitis diagnosis and phenotype assessment with deep learning computer vision
KR20220133918A (ko) 생물학적 샘플 내의 대상의 체계적인 특징화
Matsui et al. Nonlinear optics with near-infrared excitation enable real-time quantitative diagnosis of human cervical cancers
Ahmad et al. Artificial intelligence in inflammatory bowel disease endoscopy: implications for clinical trials
Leow et al. Non-alcoholic fatty liver disease: the pathologist’s perspective
Takahashi et al. Artificial intelligence and deep learning: New tools for histopathological diagnosis of nonalcoholic fatty liver disease/nonalcoholic steatohepatitis
Watson et al. Liver fibrosis phenotyping and severity scoring by quantitative image analysis of biopsy slides
JPWO2018128091A1 (ja) 画像解析プログラム及び画像解析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R150 Certificate of patent or registration of utility model

Ref document number: 5953035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250