JP5771513B2 - 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム - Google Patents

病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム Download PDF

Info

Publication number
JP5771513B2
JP5771513B2 JP2011255989A JP2011255989A JP5771513B2 JP 5771513 B2 JP5771513 B2 JP 5771513B2 JP 2011255989 A JP2011255989 A JP 2011255989A JP 2011255989 A JP2011255989 A JP 2011255989A JP 5771513 B2 JP5771513 B2 JP 5771513B2
Authority
JP
Japan
Prior art keywords
image
diagnosis support
specific substance
occupancy
pathological diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011255989A
Other languages
English (en)
Other versions
JP2013108926A (ja
Inventor
亨宇 坂元
亨宇 坂元
明典 橋口
明典 橋口
時也 阿部
時也 阿部
彰 齋藤
彰 齋藤
真貴 佐野
真貴 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Keio University
Original Assignee
NEC Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Keio University filed Critical NEC Corp
Priority to JP2011255989A priority Critical patent/JP5771513B2/ja
Priority to US13/683,931 priority patent/US9224199B2/en
Publication of JP2013108926A publication Critical patent/JP2013108926A/ja
Application granted granted Critical
Publication of JP5771513B2 publication Critical patent/JP5771513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、病理診断支援装置、病理診断支援方法、及び病理診断支援プログラムに関するものである。
幾つかの臓器において、慢性炎症による組織破壊の進行、線維化(fibrosis)が、発がんのリスクとなることが知られている。組織の線維化の程度を判定することが病変の進行段階を知る上で、更には、発がんのリスクを判断する上で重要である。
組織線維化の評価が重要な疾患として、慢性肝炎が知られている。組織の線維化の程度を判定するための手段に、病理組織学的診断がある。病理組織学的診断では、病理医が組織の線維化による構造的乱れを視覚的に診断する。肝臓の線維化の程度を判定する診断は、新犬山分類によることが一般的である。新犬山分類では、F1〜F4の4段階に線維化の程度を区分する。具体的には、線維化の程度が、線維化なし(F0)、門脈域の線維性拡大(F1)、線維性架橋形成(F2)、小葉のひずみを伴う線維性架橋形成(F3)、肝硬変(F4)といった各段階に分類される。しかし、分類は病理標本に基づいて病理医が知識及び経験に基づいて行う主観的なものであり、分類に基づく診断にはある程度の熟練を必要とする。
また、線維化の程度を判定するための手段に、シリウスレッド等の膠原線維を染め分ける色素を用いて染色された病理標本の画像に対して画像処理を行うことにより膠原線維の領域を特定し、膠原線維の面積占有率を算出する方法がある(例えば、非特許文献1参照)。膠原線維に着目するのは、組織の線維化の段階が進行するにつれて組織内の膠原線維の面積占有率が上昇することが知られてきたからである。非特許文献1における方法では、染色標本画像の各画素のRGB(Red,Green,Blue)成分の値やHSV(Hue,Saturation,value)成分の値のそれぞれについて、操作者が対話的に決定した閾値を用いて、膠原線維領域を抽出する。そして、抽出した膠原線維領域から、病変による線維化に関連する膠原線維とは無関係の、血管や被膜を構成する膠原線維を操作者が手動で除外する。このような手動の処理には手間がかかり、且つ操作者に応じて算出される膠原線維の面積占有率の精度がばらつく恐れがあった。
そこで、従来、血管領域を他の領域と適正に区別して特定することができる画像処理装置が提案されてきた(例えば、特許文献1参照)。特許文献1に記載の画像処理装置は、
標本画像から画像中の高輝度領域の近傍に存在する弾性線維の出現パターンを検出し、検出結果に基づいてこの高輝度領域を含む領域を血管領域として特定することができる。
特開2010−185858号公報
Calvaruso V et al. Computer-Assisted Image Analysis of Liver Collagen: Relationship to Ishak Scoring and Hepatic Venous Pressure Gradien. HEPATOLOGY 2009;49:1236-1244
ところで、膠原線維は線維化した組織のみに存在するのではなく、血管や被膜のような組織の基本構造を構成するためにも存在するものである。したがって、組織の線維化に関連する医療診断支援情報を提供する場合に、既存の血管等を構成する膠原線維を除外して、組織内の膠原線維の面積占有率を算出する必要がある。
しかしながら、特許文献1による画像処理装置では、弾性線維の出現パターンに基づいて血管領域を検出し、血管領域を除外することで血管領域に存在する膠原線維領域を除外することができるが、例えば、被膜のような、血管以外の構造領域に存在する膠原線維を除外することはできない。よって、従来の技術では、膠原線維の面積を、例えば、教師つき分類、学習による分類、又はテクスチャに基づく分類によって自動で算出することができず、病理診断に有効な指標を提供するためには、操作者が手動で線維化に関連する膠原線維以外の膠原線維を除外することが依然として必要であった。
このように、例えば膠原線維のような、病変(組織線維化)を検出するための特定物質は病変以外の組織領域にも存在するため、病変に関連する特定物質量を取得するためには、病変に関連しない特定物質量を除外する必要があった。特定物質とは、病変を検出するための指標となる物質であり、例えば膠原線維のように、組織内における量や分布などに基づいて病理診断支援情報を提供することができる物質である。
そこで、かかる点に鑑みてなされた本発明は、病変を検出するための指標となる特定物質の占有率を自動で算出して診断支援情報として提供することができる病理診断支援装置、病理診断支援方法、及び病理診断支援プログラムを提供することを目的とする。
上記目的を達成するため、本発明による病理診断支援装置は、
染色標本画像から診断支援情報を提供する病理診断支援装置であり、
染色標本画像を読み込む画像読み込み部と、
前記染色標本画像を処理する画像処理部と、を備え、該画像処理部は、
前記染色標本画像の画素値に基づいて、前記標本画像中の病変を検出するための指標となる少なくとも1種の特定物質を分類する画像分類部と、
前記標本画像に含まれる組織領域を抽出する組織領域抽出部と、
前記組織領域を複数の区画に分割する画像分割部と、
前記画像分類の結果に基づいて、前記複数の区画のそれぞれについて、前記少なくとも1種の特定物質の前記区画内での占有率を算出する特定物質占有率算出部と、
算出した前記複数の区画の占有率から、前記標本画像における前記特定物質占有率の中間値を決定し、当該中間値を診断支援情報として提供する診断支援情報提供部と、
を備えることを特徴とするものである。
さらに、本発明による病理診断支援装置は、前記染色標本がEVG(Elastica Van Gieson)染色標本であることが好ましい。
さらに、本発明による病理診断支援装置は、前記少なくとも1種の特定物質は、膠原線維であることが好ましい。
さらに、本発明による病理診断支援装置において、前記診断支援情報提供部は、前記中間値の決定に当たって、前記複数の区画のそれぞれにおける前記組織領域の面積占有率に基づく重み付けを行うことが好ましい。
上記目的を達成するため、本発明による病理診断支援方法は、
染色標本画像を読み込む画像読み込みステップと、
前記染色標本画像を処理する画像処理ステップと、を含み、該画像処理ステップは、
前記染色標本画像の画素値に基づいて、前記標本画像中の病変を検出するための指標となる少なくとも1種の特定物質を分類する画像分類ステップと、
前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
前記組織領域を複数の区画に分割する画像分割ステップと、
前記画像分類の結果に基づいて、前記複数の区画のそれぞれについて、前記少なくとも1種の特定物質の前記区画内での占有率を算出する特定物質占有率算出ステップと、
算出した前記複数の区画の占有率から、前記標本画像における前記特定物質占有率の中間値を決定し、当該中間値を診断支援情報として提供する診断支援情報提供ステップと、
を含むことを特徴とするものである。
上記目的を達成するため、本発明による病理診断支援プログラムは、
染色標本画像から診断支援情報を提供する病理診断支援装置として構成するコンピュータに、
染色標本画像を読み込む画像読み込みステップと、
前記染色標本画像の画素値に基づいて、前記標本画像中の病変を検出するための指標となる少なくとも1種の特定物質を分類する画像分類ステップと、
前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
前記組織領域を複数の区画に分割する画像分割ステップと、
前記画像分類の結果に基づいて、前記複数の区画のそれぞれについて、前記少なくとも1種の特定物質の前記区画内での占有率を算出する特定物質占有率算出ステップと、
算出した前記複数の区画の占有率から、前記標本画像における前記特定物質占有率の中間値を決定し、当該中間値を診断支援情報として提供する診断支援情報提供ステップと、
を実行させることを特徴とするものである。
本発明によれば、病変を検出するための指標となる特定物質の面積占有率を自動で算出して、線維化段階の診断に客観的な指標を迅速に与えることができる。
本発明の一実施形態による病理診断支援装置の機能ブロック図である。 図1に示す病理診断支援装置における処理の流れを説明するフローチャートである。 本発明の一実施形態で解析した染色標本の一例を示す図である。 本発明の一実施形態における組織領域抽出結果の一例を示す図である。 本発明の一実施形態における画像分割の一例を示す図である。 本発明の一実施形態における中間値の決定を説明するための図である。 本発明の一実施形態における中間値の決定を説明するための図である。 新犬山分類と、対象とする区画の膠原細胞占有率の平均値との関係を示す図である。 新犬山分類と、手動によるマスク処理を行った場合の、対象とする区画の線維占有率の平均値との関係を示す図である。 新犬山分類と、本実施形態による対象とする区画(一辺0.5mmの正方形)の線維占有率の中間値との関係を示す図である。
以下、本発明による一実施形態の病理診断支援装置について図面を参照しつつ説明する。また、本発明に係る病理診断支援方法、病理診断支援プログラムは、本発明による一実施形態の病理診断支援装置の説明から明らかになる。
本実施形態で使用する染色標本は、例えば、EVG(Elastica Van Gieson)染色である。EVG染色により組織中の膠原線維及び弾性線維を染色することができる。本染色方法を肝生検で得られた病理組織に適用することで、肝細胞中の膠原線維を識別することが可能となる。本実施形態ではEVG染色にあたって、ワイゲルトのレゾルシン・フクシン液により弾性線維を紫色(紫黒色)に染色し、ワイゲルトの鉄ヘマトキシリンにより核を黒褐色に染色し、ワン・ギーソン液(ピクリン酸、酸フクシン)により、(酸フクシンにより)膠原線維を赤色に、(ピクリン酸により)細胞質及び赤血球を黄色に染色した染色標本を使用するものとする。
染色標本画像は、例えば、染色標本に対して透過照明を照射しデジタルカメラや標本スキャナ等で撮影して得た透過光画像である。膠原線維が組織内の他の構成要素から区別可能であれば、偏光顕微鏡等を用いて取得した偏光画像を用いることももちろん可能である。さらに、染色標本画像はデジタルカメラや標本スキャナのようなCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いた撮像装置により撮像された画像データだけでなく、銀塩カメラ等により取得したカラー写真を画像データ化したものであっても良い。
図1は、本発明の一実施形態による病理診断支援装置の機能ブロック図である。病理診断支援装置100は、染色標本画像を読み込む画像読み込み部108と、染色標本画像を処理する画像処理部101と、病理診断支援装置の全体的な動作を司る制御部107と、操作者による対話的な操作を実現する操作部109と、染色標本画像等を表示する表示部110とを備える。画像処理部101は、画像分類部102と、組織領域抽出部103と、画像分割部104と、特定物質占有率算出部105と、診断支援情報提供部106とを備える。画像処理部101が備える各機能ブロックの詳細な機能については、図2に示すフローチャートを参照しながら後述する。
画像処理部101及び制御部107は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)により構成される。画像読み込み部108は、例えば、インターフェース、CD−ROM読取装置等により構成される。操作部109は、ユーザによる対話的な操作を可能にするための入力部として機能し、例えば、キーボードやタッチパネルにより構成される。表示部110は、例えば、画像読み込み部108から読み込んだ染色画像を表示するための液晶ディスプレイ、プラズマディスプレイ、CRTディスプレイとして構成される。尚、画像読み込み部108、操作部109、表示部110は必ずしも病理診断支援装置100に内蔵される必要はなく、病理診断支援装置100に対して着脱可能に設けることができる。
尚、画像処理部101の備える各機能ブロックは、必ずしも物理的に別個の機能ブロックとして存在することは要さない。すなわち、各機能ブロックの実現する機能は、単一のCPU又はDSPによって実装することももちろん可能である。更には、後述するように、プログラムとして実装されることももちろん可能である。この場合、一連の機能を実現可能なプログラムを記憶したCD−ROMのような記録媒体から読み込んだプログラムを図示しない記憶部に格納して制御部107によって適宜実行することができる。
図2は、図1に示す病理診断支援装置における処理の流れを説明するフローチャートである。制御部107は、画像読み込み部108を介して染色標本画像を読み込み、図示しない記憶部に読み込んだ染色標本画像情報を記憶する(ステップS01)。本実施形態では染色標本画像は肝生検により取得した標本に対してEVG染色した標本について取得した画像であり、図3に一例を示す。図中、中央に逆「C」字型に延在する領域が染色標本画像における組織領域であり、その他の領域が染色標本を載せたガラス等である。組織領域中に複数点在する、白く表示される空腔領域は血管の内径等に該当する。この空腔領域を取り囲む比較的暗色に表示される領域は、弾性線維や膠原線維に対応する。
次に、画像分類部102は染色標本画像の画素値に基づいて標本画像中の少なくとも1種の特定物質を分類する(ステップS02)。例えば、分類は事後確率最大化法を用いた教師付き分類により行う。具体的には、病変を検出するための指標となる特定物質である膠原線維と、核、細胞質等の組織を構成する細胞に含まれる要素と、組織領域以外の部分を占めるガラス等を分類クラスとして設定して、各クラスの教師データに基づいて分類を行う。尚、本実施形態において分類に使用する教師データは、必ずしも分類対象の染色標本画像自体について取得する必要は無く、他の染色標本画像について取得した教師データを利用することも可能である。また、教師付き分類にあたって最尤法や最短距離法を用いることももちろん可能である。さらに、分類は教師付き分類法ではなく、クラスタリングのような教師なし分類法で実施しても良い。
次に、組織領域抽出部103は、標本画像に含まれる組織領域を抽出する(ステップ03)。図4に、組織領域抽出部103による組織領域抽出結果の一例を示す。ここでは、組織領域抽出部103は、ステップS02で例えばガラス等の標本組織以外の領域として分類された領域についてマスキングする。なお、組織領域抽出部103は、必ずしもステップS02の分類結果に基づいてマスキングを行う必要は無く、例えば、任意の閾値以上の画素値を有する画素全体に対してマスキングを行うこともできる。これは、染色病理標本では、組織領域は何らかの色に染色され、染色が無い部分については、透明なため透過光画像では画素値が高くなることによる。
次に、画像分割部104は、組織領域を複数の区画に分割する(ステップS04)。区画には複数の画素が含まれる。図5に、画像分割部104による画像分割結果の一例を示す。分割された複数の区画は、例えば正方形であり、1辺の長さは、例えば0.1mm、0.25mm、0.5mm、1mm、2mmである。尚、区画の形状は必ずしも正方形に限られず、例えば長方形であっても良い。区画の大きさは、肝生検に用いた生検針のゲージ等に基づいて適宜調節することができる。
次に、特定物質占有率算出部105は、各区画についてステップS02でガラス等の分類クラスに分類された画素の占有率を算出する(ステップS05)。特定物質占有率算出部105は、各区画に含まれる全画素数に対するガラス等の分類クラスに分類された画素数の占有率を算出する。特定物質占有率算出部105は、算出した占有率が所定値以上の区画については以後のステップにおける処理を実施しない。所定値とは、例えば、80〜90%以上であるが、この限りではない。尚、ステップS05は、ステップS06の後に行うことも可能である。
次に、特定物資占有率算出部105は、ステップS02における画像分類の結果に基づいて、複数の区画のそれぞれについて、少なくとも1種の特定物質の区画内での占有率を算出する(ステップS06)。上述のように、本実施形態における特定物質とは膠原線維であり、各区画内での占有率は各区画に含まれる全画素数に対する膠原線維として分類された画素数の割合として算出する。尚、占有率は、画素数に依存せず、各区画の全面積と、膠原線維として分類された領域の面積とに基づいて算出することももちろん可能である。
次に、診断支援情報提供部106は、算出した区画の占有率から、標本画像における特定物質占有率の中間値を決定する(ステップS07)。具体的には、診断支援情報提供部106は、ステップS05にて算出されたガラス等に分類された領域の区画内における占有率が所定値未満の複数の区画(以下、「対象とする区画」と称する)について、ステップS06にて算出された特定物質の占有率の統計処理を行う。染色標本画像に撮像されているガラス等の領域は医療診断には不要な領域である。「対象とする区画」については、図6を参照して後述する。
統計処理とは本画像における特定物質占有率の中間値を決定することであり、具体的には、対象とする全ての区画の特定物質占有率を昇順又は降順に並べ替えた場合に順番がちょうど中央になる特定物質占有率を中間値として決定する。また、対象とする区画の数が偶数である場合には、診断支援情報提供部106は、順番が中央に近い2つの値の平均値を算出し、中間値として決定する。なお、本明細書では中間値という語を用いたが、本発明にて中間値という語の意味する統計値は、他に、メディアン、メジアン、又は中央値と称されることもある。さらに、中間値の決定に当たって、診断支援情報提供部106は、複数の区画のそれぞれにおける組織領域の面積占有率に基づく重み付けを行うこともできる。この場合、診断支援情報提供部106は、例えば、中間値を決定するために度数分布を得る処理において、各階級に該当する区画の数(個)の和を求めるのではなく、各階級に該当する各区画内にて、組織領域が占める面積占有率(組織面積占有率)の和を算出する。診断支援情報提供部106における重み付けを伴う処理の詳細については後述する。
図6は、本実施形態における中間値決定を説明するための図である。黒く塗りつぶされた区画は、対象とする区画以外の区画であり、ガラス等の占有率が所定値以上である。「対象とする区画」とは、所定値未満のガラス等の占有率を有し、組織領域を十分な占有率で含んでいる区画である。ステップS06における特定物質の占有率の算出は、黒く塗りつぶされていない区画、すなわち、対象とする区画について実施される。さらに、ステップS07における特定物質占有率の中間値の決定も、対象とする区画全ての特定物質占有率に基づいて実施される。
次に、診断支援情報提供部106は、ステップS07にて決定した中間値を診断支援情報として提供する(ステップS08)。具体的には、診断支援情報提供部106は、ステップS07にて決定した中間値を図示しない記憶部等に診断支援情報として記憶する。更に、診断支援情報提供部106は、表示部110に診断支援情報を表示することもできる。
このように、本実施形態による病理診断支援装置及び病理診断支援方法によれば、染色標本画像に対して画像分類を実施し、染色標本画像を複数の区画に分割すると共に染色画像内におけるガラス等の不要部分を所定値以上含む区画を除いた区画について統計処理を実施して特定物質占有率の中間値を医療診断支援情報として決定する。これにより、染色標本画像に基づいて自動で迅速に医療診断支援情報を取得することができる。特に、染色標本画像を複数の区画に分割して、対象とする区画の全ての特定物質占有率から中間値を医療診断支援情報として決定することで、従来であれば手動でマスク処理を行って除去していた、医療診断に悪影響を及ぼす、病変ではなく血管等を構成する既存の膠原線維の影響を軽減することができるという利点が生じる。かかる利点について、以下に図7を参照してさらに詳細に説明する。
図7は、本実施形態における中間値の決定を説明するための図である。染色標本画像内の対象とする区画全てについてステップS06で特定物質占有率を算出した結果をヒストグラム(度数分布)として例示する。なお、説明のため例示したデータは簡略化し示し、実際のデータではない。横軸は各区画における膠原線維(特定物質)占有率を示し、縦軸は各占有率に対応する区画数を示す。対象とする区画は39区画であり、2区画が突出して80%の特定物質占有率を有していることを除き、大半の区画は3〜9%の膠原線維占有率を有する。上述のように、本実施形態ではステップS07、S08にて対象とする区画の膠原線維占有率の中間値を求めて、医療診断支援情報として決定する。このため、診断支援情報提供部106は、中央の20番目の区画が有する膠原線維占有率を医療診断支援情報として決定する。具体的には20番目の区画は膠原線維占有率6%を有するため、診断支援情報提供部106は6%を医療診断支援情報として決定する。
他方、中間値によらず、平均値を算出した場合には、突出した80%の膠原線維占有率を有する2区画の影響により、平均値は約9.79%となる。しかし、一般的に染色標本画像内で膠原線維が他の領域に比べて著しく集中する領域は病変による膠原線維ではなく、通常の血管を形成する膠原線維であると考えられている。したがって、従来、このような領域は、手動のマスク処理やデータ編集処理によって除外されてきた。しかし、手動のマスク処理やデータ編集処理は、診断精度の向上に有益である一方、非常に人為的であり、操作者に応じて精度にばらつきが生じる一因となっていた。しかし、上述のように、本実施形態による病理診断支援装置及び病理診断支援方法では、中間値を医療診断支援情報として提供するので、手動のマスク処理やデータ編集処理を行うことなく診断精度を向上させることができる。
以下、重み付けを伴う中間値の決定のための統計処理と、重み付けを伴わない中間値の決定のための統計処理とを比較しつつ説明する。上述したステップS07において、染色標本画像に含まれる複数の区画の特定物質占有率の中央値を求める際には、図7に例示したような度数分布を作成する必要がある。例えば度数分布の階級数(ビン数)をN=100とした場合、特定物質占有率は0から100%まであるので、一つの階級幅が1%の度数分布となる。また、各階級における度数h(x)は、それぞれの階級に対応する特定物質占有率を有する区画数となる。以下、度数h(x)を(1)式として示す。
h(x) (x =1,2,..,100) ・・・(1)
そして、各階級の度数h(x)は、以下の(2)式により更新される。
h(x) = h’(x) + 1 (x =1,2,..,100) ・・・(2)
ここで、h’(x)は更新される前の度数を示す。具体的には、複数の区画を含む染色標本画像について、区画番号iにおける膠原線維の特定物質占有率が30%である場合、以下の(3)式に示すように、h(31)の階級に一つ度数が追加される。
h(31) = h’(31) + 1 ・・・(3)
しかし、(2)式では区画内の組織領域の面積占有率を考慮していないため、区画の大部分(例えば、90%)が組織領域により占有される区画において、特定物質占有率が30%の場合と、区画のごく一部分(例えば、10%)が組織領域により占有される区画において、特定物質占有率が30%の場合とが、同じ「度数1」として該当階級の度数に加算される。このようにして、組織領域の面積占有率が大きい区画と小さい区画とが度数分布作成時に同等に扱われると、中間値の決定の際に、組織領域の面積占有率が小さい区画の影響が若干強く出ることが考えられる。
そこで、(2)式に区画内の組織面積を考慮した項を加え、以下に示す(4)式により各階級の度数を算出する。
h(x) = h’(x) + α(Ti) (x =1,2,..,100) ・・・(4)
ここで、Tiは区画番号iにおける組織の占有率、α(Ti)は組織面積に応じた関数を示す。例えば、α(Ti)は以下の(5)式により算出する。
α(Ti) = 100×Ti ・・・(5)式
上記(5)式は、区画番号iにおける組織の占有率を百分率で表す値を算出する式である。例えば、上記(5)式以外の非線形の関数をα(Ti)として採用することももちろん可能である。
このようにして、組織領域の面積占有率が大きい区画における特定物質占有率と、同面積占有率が小さい区画における特定物質占有率とを、重み付けして扱って中間値を決定することで、より正確な診断支援情報を提供することが可能になる。
以下、表1及び図8A〜Cを参照して、本実施形態による病理診断支援装置及び病理診断支援方法を用いて、膠原線維を特定物質として特定物質占有率を算出し医療診断支援情報として提供する場合を実際のデータに基づいて説明する。表1は、病理医による新犬山分類に基づく病理診断結果と、対象とする区画の、膠原線維占有率の平均値、手動によるマスク処理を行った場合の平均値、及び本実施形態による中間値との関係を示す。図8Aは、新犬山分類と、対象とする区画の膠原線維占有率の平均値との関係を示す図である。図8Bは、新犬山分類と、手動によるマスク処理を行った場合の、対象とする区画の膠原線維占有率の平均値との関係を示す図である。図8Cは、新犬山分類と、本実施形態による対象とする区画(一辺0.5mmの正方形)の膠原線維占有率の中間値との関係を示す図である。図8A〜Cに示す各箱ヒゲ図において、横軸は新犬山分類による段階であり、縦軸は膠原線維占有率である。
病理医による新犬山分類は近年一般的に広く普及している病理診断方法であることから、診断支援情報と新犬山分類に基づく診断結果との相関関係を評価することは、本実施形態による病理診断支援装置の有用性を検討する上で重要である。評価に当たって使用した染色標本画像数はn=38であった。なお、38枚の染色標本画像はそれぞれ別の検体に由来するものであった。染色標本作成に用いられた針のゲージは18ゲージであった。
表1に示す相関係数は、スピアマンの順位相関係数である。また、表1には、相関を評価するための指標としてROC(Receiver Operating Characteristic)曲線下面積も示す。ROC曲線下面積は、新犬山分類の結果F2以上、F3以上として分類された検体についてそれぞれ算出した値を示す。
さらに、表1には本実施形態による医療診断支援装置及び医療診断支援方法により膠原線維占有率の中間値を取得するにあたって、様々な大きさの区画について中間値を算出し、相関を評価した結果を示すが、相関件数、ROC曲線下面積(>F2)、及びROC曲線下面積(>F3)の全てについて、区画一辺の長さが0.25〜1mmである場合に、新犬山分類に基づく診断結果との相関が高くなるという傾向が認められた。特に、線維化程度の低い段階(>F2)において比較的相関が高かった。
図8A〜図8Cに示すような箱ヒゲ図では、全区画の平均値を昇順に並べた場合の上位25%から75%までの属する範囲が「箱」で示される。よって、縦軸に示す膠原線維占有率の値が診断支援指標として有効であるためには、段階F2〜F4における「箱」で示される膠原線維占有率の範囲が重複しないことが望ましい。また、段階F2〜F4のそれぞれについて算出した、膠原線維占有率の平均値は、各「箱」内の太線に対応する値である。
図8Aに示すように、マスク処理することなく、全区画の平均値を取得した場合には、特に段階F2とF3の間で、「箱」で示される膠原線維占有率の範囲が重複してしまう。このように、「箱」が重複する範囲では、膠原線維占有率は有効な診断支援情報ではない。他方、図8Bに示すように、染色標本画像に対して手動でマスク処理を行って算出した区画の平均値を用いた場合には、段階F2〜F4についての「箱」は重複することがない。同様に、図8Cに示すように、中間値を用いた場合にも段階F2〜F4についての「箱」が重複することは無い。このように、手動のマスク処理を行った場合や本実施形態にしたがって中間値を用いた場合に、膠原線維占有率は有効な診断支援情報となりうる。さらに、上述のように、新犬山分類による診断結果との相関が高い結果が得られたことで、新犬山分類との相関が高いMETAVIR法についても、相関が高い結果が得られることが示唆された。
次に、表2を参照して、本実施形態による病理診断支援装置を用いて、膠原線維を特定物質として算出した特定物質占有率と、手動のマスク処理を行って算出した特定物質占有率との相関関係について実際のデータに基づいて説明する。表2には、本実施形態による病理診断支援装置により、様々な大きさの区画を用いて算出した特定物質占有率のそれぞれについて、手動のマスク処理を行って算出した特定物質占有率との相関関係を示す。更に、比較のために、同じ染色標本画像について、手動のマスク処理を実施せずに算出した特定物質占有率と、手動のマスク処理を行って算出した特定物質占有率との相関関係も表2に示す。なお、使用した染色標本画像数はn=38である。なお、38枚の染色標本画像はそれぞれ別の検体に由来するものである。染色標本作成に用いられた針のゲージは18ゲージであった。
この表より、本実施形態による病理診断支援装置及び病理診断支援方法において1辺の長さが0.25mm〜1mmの区画を用いた場合に、手動のマスク処理を行って算出した特定物質占有率との相関関係が比較的高いことがわかる。これは、本実施形態による病理診断支援装置において所定の長さの辺を有する複数の区画について中間値を用いて特定物質占有率を算出することで、手動のマスク処理によって既存の線維領域や病理標本作成時に生じたアーティファクトを除去することと、同様の効果が得られたためであると考えられる。この効果の寄与により、新犬山分類法のような組織学的スコアリングと、本実施形態により求めた特定物質占有率との相関関係が向上したと考えられる。
次に、中間値の決定における重み付けの有効性について実際のデータを参照して説明する。ここでは、特定物質は膠原線維として説明する。表3は、本実施形態による病理診断支援装置及び病理診断支援方法を用いて、重み付けをせずに中間値を決定して得た特定物質占有率及び重み付けを行って中間値を決定して得た特定物質占有率と、組織学的スコアリングとの相関関係を示す。なお、特定物質占有率の算出に使用した染色標本画像数はn=38である。なお、38枚の染色標本画像はそれぞれ別の検体に由来するものである。染色標本作成に用いられた針のゲージは18ゲージであった。
表中、区画一辺の長さが2mm、1mm、及び0.25mmの場合は、重み付けを行った場合の相関係数のほうが、重み付けを行わない場合の相関係数よりも値が大きい。特に、区画一辺の長さが2mmの場合、分画の態様に応じて各区画における組織面積の大小に差が生じるため、重み付けを行って度数分布を修正することで相関係数が向上していることが分かる。重み付けを実施することで、区画一辺の長さが0.1mmの場合を除く全ての場合で、相関係数の値が重み付けを行わなかった場合と同等かそれ以上となった。したがって、中間値を用いて特定物質占有率を求める際に重み付けを実施することが効果的であることが示された。なお、表中の「*」は0.1%有意水準を示す。
本発明の一実施形態について説明してきたが、更に、本発明の一態様として、病理診断支援装置100を、コンピュータとして構成させることができる。かかるコンピュータにおいて、画像処理部101の機能を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはROM(read only memory)又はRAM(random access memory)などの内部記憶装置で実現することができる。上述の装置として機能するコンピュータは、CPU(central processing unit)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
また、この処理内容を記述したプログラムを、例えばDVD(Digital Versatile Disc)又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
ここまで述べてきた本発明実施形態の他に、特許請求の範囲において種々の変更を加えることができる。例えば、上述の実施形態では病理診断のための特定物質として膠原線維を用いるものとして説明したが、膠原線維以外の物質で、組織内における量や分布などに基づいて病理診断支援情報を提供することができる物質を特定物質として使用することも可能である。例えば、膠原線維に基づく病理診断支援情報に加えて、膠原線維以外の特定物質に基づく病理診断支援情報を利用することで、病理診断の精度をより一層向上させることができる。
更には、例えば、上述の実施形態では、EVG染色画像を用いたが、染色法はこの限りではなく、膠原線維が組織内の他の構成要素と区別可能な色彩に染色された染色標本であれば、本発明による病理診断支援装置、病理診断支援方法、及び病理診断支援プログラムにおいて用いることができる。
更には、上記実施形態では、肝生検にて得られた病理組織から作成した染色病理標本について本発明による病理診断支援装置を用いたが、本発明による病理診断支援装置は、肝生検にて得られた染色病理標本に限られず、他の臓器、例えば肺における線維化の病理診断支援情報を提供するために用いることもできる。
100 病理診断支援装置
101 画像処理部
102 画像分類部
103 組織領域抽出部
104 画像分割部
105 特定物質占有率算出部
106 診断支援情報提供部
107 制御部
108 画像読み込み部
109 操作部
110 表示部

Claims (6)

  1. 染色標本画像から診断支援情報を提供する病理診断支援装置であり、
    染色標本画像を読み込む画像読み込み部と、
    前記染色標本画像を処理する画像処理部と、を備え、該画像処理部は、
    前記染色標本画像の画素値に基づいて、前記標本画像中の病変を検出するための指標となる少なくとも1種の特定物質を分類する画像分類部と、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出部と、
    前記組織領域を複数の区画に分割する画像分割部と、
    前記画像分類の結果に基づいて、前記複数の区画のそれぞれについて、前記少なくとも1種の特定物質の前記区画内での占有率を算出する特定物質占有率算出部と、
    算出した前記複数の区画の占有率から、前記標本画像における前記特定物質占有率の中間値を決定し、当該中間値を診断支援情報として提供する診断支援情報提供部と、
    を備えることを特徴とする病理診断支援装置。
  2. 前記染色標本がEVG(Elastica Van Gieson)染色標本であることを特徴とする、請求項1記載の病理診断支援装置。
  3. 前記少なくとも1種の特定物質は、膠原線維であることを特徴とする請求項1又は2に記載の病理診断支援装置。
  4. 前記診断支援情報提供部は、前記中間値の決定に当たって、前記複数の区画のそれぞれにおける前記組織領域の面積占有率に基づく重み付けを行うことを特徴とする、請求項1〜3のいずれか一項に記載の病理診断支援装置。
  5. 染色標本画像から診断支援情報を提供する病理診断支援方法であり、
    染色標本画像を読み込む画像読み込みステップと、
    前記染色標本画像を処理する画像処理ステップと、を含み、該画像処理ステップは、
    前記染色標本画像の画素値に基づいて、前記標本画像中の病変を検出するための指標となる少なくとも1種の特定物質を分類する画像分類ステップと、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
    前記組織領域を複数の区画に分割する画像分割ステップと、
    前記画像分類の結果に基づいて、前記複数の区画のそれぞれについて、前記少なくとも1種の特定物質の前記区画内での占有率を算出する特定物質占有率算出ステップと、
    算出した前記複数の区画の占有率から、前記標本画像における前記特定物質占有率の中間値を決定し、当該中間値を診断支援情報として提供する診断支援情報提供ステップと、
    を含むことを特徴とする病理診断支援方法。
  6. 染色標本画像から診断支援情報を提供する病理診断支援装置として構成するコンピュータに、
    染色標本画像を読み込む画像読み込みステップと、
    前記染色標本画像の画素値に基づいて、前記標本画像中の病変を検出するための指標となる少なくとも1種の特定物質を分類する画像分類ステップと、
    前記標本画像に含まれる組織領域を抽出する組織領域抽出ステップと、
    前記組織領域を複数の区画に分割する画像分割ステップと、
    前記画像分類の結果に基づいて、前記複数の区画のそれぞれについて、前記少なくとも1種の特定物質の前記区画内での占有率を算出する特定物質占有率算出ステップと、
    算出した前記複数の区画の占有率から、前記標本画像における前記特定物質占有率の中間値を決定し、当該中間値を診断支援情報として提供する診断支援情報提供ステップと、
    を実行させるためのプログラム。


JP2011255989A 2011-11-24 2011-11-24 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム Active JP5771513B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011255989A JP5771513B2 (ja) 2011-11-24 2011-11-24 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
US13/683,931 US9224199B2 (en) 2011-11-24 2012-11-21 Pathological diagnosis assisting apparatus, pathological diagnosis assisting method and non-transitory computer readable medium storing pathological diagnosis assisting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011255989A JP5771513B2 (ja) 2011-11-24 2011-11-24 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム

Publications (2)

Publication Number Publication Date
JP2013108926A JP2013108926A (ja) 2013-06-06
JP5771513B2 true JP5771513B2 (ja) 2015-09-02

Family

ID=48466911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011255989A Active JP5771513B2 (ja) 2011-11-24 2011-11-24 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム

Country Status (2)

Country Link
US (1) US9224199B2 (ja)
JP (1) JP5771513B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953035B2 (ja) * 2011-11-28 2016-07-13 学校法人慶應義塾 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
JP6355082B2 (ja) * 2013-07-18 2018-07-11 パナソニックIpマネジメント株式会社 病理診断支援装置及び病理診断支援方法
JP6168426B2 (ja) * 2013-09-19 2017-07-26 学校法人慶應義塾 疾患分析装置、制御方法、及びプログラム
US10801959B2 (en) 2015-06-18 2020-10-13 Konica Minolta, Inc. Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program
JP7293243B2 (ja) * 2017-10-20 2023-06-19 ジェンフィット 組織学的画像の自動化パターン認識及びスコア化方法
CN110503114B (zh) * 2019-08-29 2023-04-07 中国科学院深圳先进技术研究院 图像特征提取方法、装置、肿瘤识别系统及存储介质
CN112862756B (zh) * 2021-01-11 2024-03-08 中国医学科学院北京协和医院 识别甲状腺肿瘤病理图像中病变类型及基因突变的方法
CN113034443A (zh) * 2021-03-04 2021-06-25 广州乐智医疗科技有限公司 一种基于多层次判别的肺癌病理切片图像处理方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
CN1113077C (zh) * 1998-03-24 2003-07-02 旭化成株式会社 聚烯烃微孔膜
US7391931B2 (en) * 2003-01-10 2008-06-24 Fujifilm Corporation Method, apparatus, and program for moving image synthesis
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
WO2005050563A2 (en) * 2003-11-17 2005-06-02 Aureon Biosciences Corporation Pathological tissue mapping
DE10353785B4 (de) * 2003-11-18 2006-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe
US8467583B2 (en) * 2005-04-04 2013-06-18 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Medical imaging method and system
JP2007144885A (ja) * 2005-11-29 2007-06-14 Seiko Epson Corp 異物濃度の読み取り有無の判定方法、及び、テストパターンの濃度の代表値を算出する方法
US8073280B2 (en) * 2006-05-16 2011-12-06 Panasonic Corporation Image processing apparatus and image processing program for correcting image degradation
WO2008039758A2 (en) * 2006-09-25 2008-04-03 Cambridge Research & Instrumentation, Inc. Sample imaging and classification
WO2008108059A1 (ja) * 2007-03-01 2008-09-12 Nec Corporation 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
US8718377B2 (en) * 2009-01-27 2014-05-06 Osaka University Image analysis apparatus, image analysis method, image analysis program and recording medium
JP2010185858A (ja) 2009-02-13 2010-08-26 Olympus Corp 画像処理装置および画像処理プログラム
US8704886B2 (en) * 2010-10-15 2014-04-22 General Electric Company Methods and apparatus to form a wavelet representation of a pathology slide having glass and tissue regions

Also Published As

Publication number Publication date
US9224199B2 (en) 2015-12-29
JP2013108926A (ja) 2013-06-06
US20130136324A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
JP5771513B2 (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
JP5953035B2 (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
NL2024774B1 (en) Blood leukocyte segmentation method based on adaptive histogram thresholding and contour detection
Zhi et al. AdipoCount: a new software for automatic adipocyte counting
JP2004286666A (ja) 病理診断支援装置および病理診断支援プログラム
CN102834846A (zh) 用于分割图像中的对象的方法
JP6168426B2 (ja) 疾患分析装置、制御方法、及びプログラム
Liu et al. Automated image segmentation of haematoxylin and eosin stained skeletal muscle cross‐sections
CN111369523B (zh) 显微图像中细胞堆叠的检测方法、系统、设备及介质
Phillips et al. Segmentation of prognostic tissue structures in cutaneous melanoma using whole slide images
JP2006507579A (ja) 核多形性の組織学的評価
US10943350B2 (en) Automated segmentation of histological sections for vasculature quantification
JP6161146B2 (ja) 病理組織画像解析方法、病理組織画像解析装置及び病理組織画像解析プログラム
JPWO2019044579A1 (ja) 病理診断装置、画像処理方法及びプログラム
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
US20230117179A1 (en) System and method for generating an indicator from an image of a histological section
Zhang et al. Extracting morphologies from third harmonic generation images of structurally normal human brain tissue
JP2022512981A (ja) 生検サンプル画像の異なるカテゴリを識別するための方法
JP5924406B2 (ja) 画像計測装置、画像計測方法、および、画像計測用プログラム
Guatemala-Sanchez et al. Nuclei segmentation on histopathology images of breast carcinoma
Nurzynska Optimal parameter search for colour normalization aiding cell nuclei segmentation
US12016696B2 (en) Device for the qualitative evaluation of human organs
Yu A Machine Learning Based Diagnostic Study of Chronic Liver Disease Using Staining Techniques
Law et al. Color image processing in Hirschsprung's disease diagnosis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R150 Certificate of patent or registration of utility model

Ref document number: 5771513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250