JPWO2013024600A1 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム - Google Patents

情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム Download PDF

Info

Publication number
JPWO2013024600A1
JPWO2013024600A1 JP2013528922A JP2013528922A JPWO2013024600A1 JP WO2013024600 A1 JPWO2013024600 A1 JP WO2013024600A1 JP 2013528922 A JP2013528922 A JP 2013528922A JP 2013528922 A JP2013528922 A JP 2013528922A JP WO2013024600 A1 JPWO2013024600 A1 JP WO2013024600A1
Authority
JP
Japan
Prior art keywords
image
information processing
tissue specimen
feature amount
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013528922A
Other languages
English (en)
Other versions
JP5780306B2 (ja
Inventor
慶子 吉原
慶子 吉原
朝春 喜友名
朝春 喜友名
佐野 亨
亨 佐野
上條 憲一
憲一 上條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013528922A priority Critical patent/JP5780306B2/ja
Publication of JPWO2013024600A1 publication Critical patent/JPWO2013024600A1/ja
Application granted granted Critical
Publication of JP5780306B2 publication Critical patent/JP5780306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置で、組織標本画像が有する少なくとも1つの特徴量を特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する組織標本画像上の領域を生成する領域生成手段と、領域生成手段が生成した各レベルの領域に、当該領域と同一の形状かつ同一の位置関係に加工された特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、を備えることを特徴とする。

Description

本発明は、生体組織を撮像した組織標本画像に基づく診断を支援する情報処理技術に関する。
上記技術分野において、特許文献1に示されているように、印環細胞の核の形状の判別を容易にするため、印環細胞核の長手方向の角度を色分け表示する技術が知られている。また、特許文献2には、組織標本画像を格子状の領域に分割して各区分領域の重要度を求めて表示する技術が開示されている。
特開2009−180539号公報 特開2010−281637号公報
しかしながら、上記文献に記載の技術では、病理医が組織標本画像を観察しながら、病理診断の対象となる特徴量がどんなレベルでどの範囲に分布しているかを一目で判断できなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る装置は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
を含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
をコンピュータに実行させることを特徴とする。
上記目的を達成するため、本発明に係るシステムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を入力する入力手段と、
前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応づけたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を入力する入力ステップと、
前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
前記オーバーレイ用画像生成ステップにおいて生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示ステップと、
を含むことを特徴とする。
本発明によれば、病理医が組織標本画像を観察しながら、病理診断の対象となる特徴量がどんなレベルでどの範囲に分布しているかを一目で判断できる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の第1実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第2実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第2実施形態に係る組織標本画像の表示を示す図である。 本発明の第2実施形態に係るオーバーレイ用画像の表示を示す図である。 本発明の第2実施形態に係るオーバーレイ用画像を重畳した組織標本画像の表示を示す図である。 本発明の第2実施形態に係る組織標本画像およびオーバーレイ用画像を重畳した組織標本画像の表示を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成例を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成例を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成例を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成例を示す図である。 本発明の第2実施形態に係る特徴量用DBの構成例を示す図である。 本発明の第2実施形態に係るレベル分割用DBの構成を示す図である。 本発明の第2実施形態に係る割り当て画像用DBの構成を示す図である。 本発明の第2実施形態に係る領域情報の一例を示す図である。 本発明の第2実施形態に係る領域情報の他例を示す図である。 本発明の第2実施形態に係る領域情報のさらに他例を示す図である。 本発明の第2実施形態に係るオーバーレイ用画像情報の一例を示す図である。 本発明の第2実施形態に係るオーバーレイ用画像情報の他例を示す図である。 本発明の第2実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第2実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第3実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第3実施形態に係る割り当て画像用DBの構成を示す図である。 本発明の第3実施形態に係るオーバーレイ用画像情報を示す図である。 本発明の第4実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第4実施形態に係る特徴量およびレベル画像を選択する画面を示す図である。 本発明の第4実施形態に係る情報処理システムの動作手順を示すシーケンス図である。 本発明の第4実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第4実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第5実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第5実施形態に係る組織標本画像を特定する画面を示す図である。 本発明の第5実施形態に係る決定用テーブルの構成を示す図である。 本発明の第5実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第6実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第6実施形態に係る組織標本画像の領域を拡大する画面を示す図である。 本発明の第6実施形態に係る倍率選択テーブルの構成を示す図である。 本発明の第6実施形態に係る拡大送信データの構成を示す図である。 本発明の第6実施形態に係る情報処理装置の処理手順を示すフローチャートである。 本発明の第7実施形態に係る複数の組織標本画像にオーバーレイ用画像を重畳した画面を示す図である。 本発明の第7実施形態に係る領域情報を示す図である。 本発明の第7実施形態に係るオーバーレイ用画像情報を示す図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、生体組織を撮像した組織標本画像に基づく診断を支援する装置である。
図1に示すように、情報処理装置100は、領域生成部110と、オーバーレイ用画像生成部120と、を含む。領域生成部110は、組織標本画像101が有する少なくとも1つの特徴量を特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する組織標本画像上の領域111を生成する。オーバーレイ用画像生成部120は、領域生成部110が生成した各レベルの領域111に、当該領域と同一の形状かつ同一の位置関係に加工された特徴量の大小関係が識別可能な画像121を対応付けたオーバーレイ用画像102を生成する。
本実施形態によれば、病理医が組織標本画像を観察しながら、病理診断の対象となる特徴量がどんなレベルでどの範囲に分布しているかを一目で判断できる。
[第2実施形態]
次に、本発明の第2実施形態に係る情報処理システムについて説明する。本実施形態において、情報処理装置100は、病理医が診断対象とする組織標本画像内に、特徴量に応じてあるいは特徴量のレベルに応じて領域を設定して、各領域に、当該領域と同一の形状かつ同一の位置関係に加工され、色や模様によって特徴量のレベルを識別可能な画像を対応付ける。そして、情報処理装置100は、割り当て画像を含むオーバーレイ用画像を生成して病理医の通信端末に送信する。病理医の通信端末では、組織標本画像にオーバーレイ用画像を重畳して表示する。
本実施形態によれば、診断対象とする組織標本画像の病理医による次の操作、例えば注目領域の選別や詳細診断をする領域の拡大など、への移行を容易に行なうための支援が可能となる。
《情報処理システムの構成》
図2は、本実施形態に係る情報処理システム200の構成を示すブロック図である。
情報処理システム200は、ネットワーク250を介して接続された病理診断支援装置である情報処理装置210と、病理医240が操作可能であって病理診断支援を受ける通信端末230とを含む。なお、ネットワーク250は、病院内のLANであっても、病院外と接続する公衆回線や無線通信であってもよい。
情報処理装置210は、ネットワーク250を介する通信端末230との通信を制御する通信制御部211を有する。通信制御部211を介し、組織標本画像受信部212によって通信端末230から受信した組織標本画像は、組織標本画像記憶部213に記憶される。そして、情報処理装置210が特徴量解析部214において対応する特徴量用データベース(以下、DB:図4Aから図4E参照)215の情報を参照することにより、記憶された組織標本画像の特徴量が求められる。
特徴量は1つであっても図2のように複数であってもよい。例えば、特徴量としては、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数/割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、が含まれる。また、特徴量として、上記特徴量のいずれかの組み合わせを使用することができる。
領域生成部216は、レベル分割用DB217(図5参照)を参照して、特徴量解析部214から受信した特徴量を複数のレベルに分割し、共通のレベルを有する領域情報216aを生成する。この時、領域生成部216は、基となる組織標本画像上の相対的な位置関係を維持しつつ、各領域を生成する。オーバーレイ用画像生成部218は、割り当て画像用DB219(図6参照)に記憶された特徴量あるいはレベルに対応して割り当てられた画像(色や模様で識別可能な)を当該領域と同一の形状かつ同一の位置関係に加工して、各領域に対応付ける。この時、オーバーレイ用画像生成部218は、領域生成部216が維持した相対的な位置関係を用いて、各領域と画像とを対応付ける。そして、オーバーレイ用画像生成部218は、画像が対応付けられた領域を含むオーバーレイ用画像情報218aを生成する。オーバーレイ用画像送信部220は、オーバーレイ用画像情報218aを通信制御部211によりネットワーク250を介して病理医240の通信端末230に送信する。
通信端末230は、情報処理装置210に送信した組織標本画像と受信したオーバーレイ用画像と重畳して表示する。ここで、オーバーレイ用画像は、上述のように、複数の領域の相対的な位置関係を維持して生成されるため、当該領域を生成する基となった組織標本画像とも位置関係が一致する。そのため、通信端末230は、これらの画像を重畳した際に位置関係を揃えることができる。なお、本実施形態ではオーバーレイ用画像のみを送信したが、情報処理装置210は、組織標本画像とオーバーレイ用画像とを重畳した重畳画像を送信してもよい。しかしながら、通信のトラフィックを考慮するとオーバーレイ用画像のみを送信するのが望ましい。
(表示画面)
図3A〜図3Dを参照して、本実施形態における通信端末230の表示画面におけるオーバーレイ用画像の重畳表示を説明する。
図3Aは、通信端末230における、本実施形態に係る組織標本画像311の表示を示す図である。図3Aにおいては、病理医の通信端末230には1つの組織標本画像311が表示されているが、これに限定されない。
図3Bは、通信端末230における、本実施形態に係るオーバーレイ用画像321の表示を示す図である。オーバーレイ用画像321は、図3Aの組織標本画像311の特徴量解析によって得られた特徴量のレベルが同様である(所定範囲内の)領域をそれぞれ生成して、そのレベルに対応した画像を割り当てたものである。なお、図3Bにおいては、斜線/縦線/横線と、その線の太さや密度などで特徴量やレベルの相違を表わしているが、色相の相違や色の輝度の相違で表現する方が病理医の判断を容易にする点から望ましい。明細書の図面では色を示せないので、以下の線の模様の相違は色の相違を含むものとする。また、模様とその模様を表示する色とを組み合わせるとさらに病理医による差別化を容易にすることが可能である。なお、模様の場合の差別化は、病理医の注目度が異なる模様であればよく、同じ模様である必要は特にない。
図3Cは、通信端末230における、本実施形態に係るオーバーレイ用画像を重畳した組織標本画像331の表示を示す図である。図3Cにおいては、オーバーレイ用画像321内の重畳された領域の一部を332で示している。病理医は、図3Cに示すような表示画面から、さらに詳細に診断すべきと判断する領域や拡大して診断すべき領域の情報である、特徴量とそのレベルを一目で把握することができるので、病理診断にとって有用である。
図3Dは、通信端末230における他の表示例である、本実施形態に係る組織標本画像とオーバーレイ用画像とを重畳した組織標本画像の表示を示す図である。図3Dに示す通信端末230の表示画面には、オーバーレイ用画像が重畳されていない組織標本画像341と、オーバーレイ用画像が重畳された組織標本画像342とが、比較可能に並べて表示されている。図3Dにおいては、オーバーレイ用画像321内の重畳された領域の一部を343で示している。
(特徴量用DB)
以下に、図4A〜図4Eを参照して、特徴量を解析するためにあらかじめ用意された特徴量用DB215の例を示す。
図4Aは、本実施形態に係る特徴量用DB215の構成例215−1を示す図である。図4Aは、細胞核の大きさや形状による評価である核異型度を特徴量とする場合の特徴量用DBの構成例215−1である。
特徴量用DBの構成例215−1は、身体の部位にそれぞれ対応して、核の大きさ411、核の均一性412、クロマチンの分布413、核小体の分布414、核の形状415などの条件と、これらの条件に対応付く核異型度のスコア410(特徴量の大小)とを記憶している。
図4Bは、本実施形態に係る特徴量用DB215の構成例215−2を示す図である。図4Bは、癌領域の分化の程度を表わす分化度を特徴量とする場合の特徴量用DBの構成例215−2である。
特徴量用DBの構成例215−2は、身体の部位にそれぞれ対応して、細胞の配列421、腺管形状422、核の大小不同性423などの条件と、これらの条件に対応付く分化度のスコア420(特徴量の大小)とを記憶している。なお、一般には、分化度は高分化状態、中分化状態、低分化状態と、レベル分けして判別する。その場合には、既にレベル分けされているのでそのまま画像を割り当ててもよい。
図4Cは、本実施形態に係る特徴量用DB215の構成例215−3を示す図である。図4Cは、複数の細胞により形成された腺管などの評価である構造異型度として腺管異型度を特徴量とする場合の特徴量用DBの構成例215−3である。
特徴量用DBの構成例215−3は、身体の部位にそれぞれ対応して、管状や線状を含む腺管の形状431、腺管内の細胞核数432、基底部領域の細胞核の分布433などの条件と、これらの条件に対応付く構造(腺管)異型度のスコア430(特徴量の大小)とを記憶している。なお、かかる腺管異型度についての詳細は、特開2010−281636を参照されたい。
図4Dは、本実施形態に係る特徴量用DB215の構成例215−4を示す図である。図4Dは、病巣内の粘液領域の評価である粘液の度合いを特徴量とする場合の特徴量用DBの構成例215−4である。
特徴量用DBの構成例215−4は、身体の部位にそれぞれ対応して、病巣内に占める粘液の割合441、粘液中に浮遊する粘液以外の組織像の割合/分布442、印環細胞様異型度443などの条件と、これらの条件に対応付く粘液の度合いのスコア440(特徴量の大小)とを記憶している。なお、粘液領域の抽出方法については、例えば、特許文献1を参照されたい。
図4Eは、本実施形態に係る特徴量用DB215の構成例215−5を示す図である。図4Eは、図4Aの核異型度などを含んだトータルの癌細胞の病理組織学的悪性度評価である組織学的グレードを特徴量とする場合の特徴量用DBの構成例215−5である。
特徴量用DBの構成例215−5は、身体の部位にそれぞれ対応して、核異型度451、核分裂の数452の条件と、これらの条件に対応付く核グレードのスコア450(特徴量の大小)とを記憶している。さらに、核異型度451と核分裂の数452に追加して、構造異型度461の条件と、これらの条件に対応付く組織学的グレードのスコア460(特徴量の大小)とを記憶している。なお、構造異型度461としては、例えば腺管形成の程度が含まれる。
(レベル分割用DB)
図5は、本実施形態に係るレベル分割用DB217の構成を示す図である。なお、実際には、身体の部位などにより、特徴量のスコアが異なるレベルに分けられることもあるが、図5にはその一例を示す。
レベル分割用DB217は、各特徴量あるいは複数の特徴量の組み合わせから成る特徴量501と、そのスコア範囲502とに対応付けて、レベル値が記憶されている。図5には、10段階のレベルの例を示しているがこれに限定されない。例えば、分化度を高/中/低とすれば3段階のレベルとなる。
(割り当て画像用DB)
図6は、本実施形態に係る割り当て画像用DB219の構成を示す図である。なお、本実施形態では、表示された画像から病理医が色と模様とを識別可能とする例を示すが、他の識別可能な例も適用が可能である。また、図6においても、レベルは10段階を例とするがこれに限定されない。
割り当て画像用DB219は、レベル601に対応付けて、色に関する情報が記憶されている。図6では、色の例として、第1色相グループ602、第2色相グループ603、赤(R)の輝度604、緑(G)の輝度605、青(B)の輝度606が記憶されている。色相グループは本例の組み合わせに限定されず、輝度についても他の混合色であってもよい。
また、レベル601に対応付けて、模様に関する情報が記憶されている。図6では、模様の例として、第1模様グループ607として斜線模様が、第2模様グループ608として横線模様が記憶されている。なお、模様についても図6の例に限定されない。しかし、複雑な模様はレベルの差異を判別しにくいので、簡単な模様が望ましい。
(領域情報)
図7A〜図7Cを参照して、領域生成部216がオーバーレイ用画像生成部218に出力する領域情報216aの例について説明する。なお、領域情報はビットマップに展開した情報とすることも可能であるが、情報量が多くなり装置の処理速度に影響するので、以下の例のように、表示ライン単位あるいは領域単位のデータとすることが望ましい。
図7Aは、本実施形態に係る領域情報216aの一例216a−1を示す図である。本例は、表示ライン単位に領域を示したデータである。
領域情報の一例216a−1においては、ライン711に対応付けて、そのライン上の領域に含まれる開始画素座標712と終了画素座標713とが記憶され、その領域の特徴量714とレベル715とが記憶される。なお、ライン711としては、領域生成部216が生成した領域と交差するすべてのラインが記憶される。
図7Bは、本実施形態に係る領域情報126aの他例216a−2を示す図である。本例は、領域単位にベクトルで領域を示したデータである。すなわち、本例は、領域の輪郭線をベクトルで表わしている。
領域情報の他例216a−2においては、領域721に対応付けて、特徴量722とレベル723とが記憶され、その領域を形成する特異点を開始画素座標724と終了画素座標725とで記憶し、その特異点を結ぶ曲線関数726が記憶されている。なお、曲線関数726は、例えば、スプライン曲線などとそのパラメータで記憶されてよい。本例では、領域生成部216が生成した領域のみが記憶される。
図7Cは、本実施形態に係る領域情報126aのさらに他例216a−3を示す図である。図7Cの例は、XML形式のテキストデータで領域を示した例である。なお、XML形式で記述されたテキストデータは周知であるので、ここでの詳細な説明は省略する。
(オーバーレイ用画像情報)
図8Aおよび図8Bは、上記図7Aおよび図7Bの領域情報に基づいて生成されたオーバーレイ用画像情報の例である。なお、オーバーレイ用画像情報においてもビットマップに展開した情報とすることも可能であるが、情報量が多くなり通信のトラフィックに影響するので、以下の例のように、表示ライン単位あるいは領域単位のデータとすることが望ましい。なお、オーバーレイ用画像は、上記図7Cで示したXML形式のテキストデータに基づいて生成された形式で記述されたオーバーレイ用画像情報であってもよい(図示せず)。
図8Aは、本実施形態に係るオーバーレイ用画像情報218aの一例218a−1を示す図である。本例は、図7Aの領域情報に対応する表示ライン単位のオーバーレイ用画像情報である。
オーバーレイ用画像情報の一例218a−1においては、ライン811に対応付けて、そのライン上の領域に含まれる開始画素座標812と終了画素座標813とが記憶され、その領域にオーバーレイ用画像生成部218において割り当てられた割り当て画像814が記憶される。なお、ライン811としては、領域生成部216が生成した領域と交差するすべてのラインが記憶され、通信端末230に送信される。
図8Bは、本実施形態に係るオーバーレイ用画像情報の他例を示す図である。本例は、図7Bの領域情報に対応する領域単位のオーバーレイ用画像情報である。
オーバーレイ用画像情報の一例218a−2においては、領域821に対応付けて、その領域にオーバーレイ用画像生成部218において割り当てられた割り当て画像822が記憶され、その領域を形成する特異点を開始画素座標823と終了画素座標824とで記憶し、その特異点を結ぶ曲線関数825が記憶されている。なお、曲線関数825は、例えば、スプライン曲線などとそのパラメータで記憶されてよい。本例では、領域生成部216が生成した領域のみが記憶され、通信端末230に送信される。
《情報処理装置のハードウェア構成》
図9は、本実施形態に係る情報処理装置210のハードウェア構成を示すブロック図である。
図9で、CPU910は演算制御用のプロセッサであり、プログラムを実行することで図2の各機能構成部を実現する。ROM920は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部211は、病理医の通信端末230と通信する。なお、通信は無線でも有線でもよい。
RAM940は、CPU910が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM940には、本実施形態の実現に必要なデータを記憶する領域が確保されている。941は、病理医の通信端末230からネットワーク250を介して受信した組織標本画像を記憶する領域である。942は、組織標本画像941を送信した通信端末230の通信端末IDや病理医IDなどの、組織標本画像941を特定する情報を記憶する領域である。組織標本画像941を特定する情報942には、例えば、患者IDや組織標本を採取した部位、性別、年齢、病歴なども含まれる。943は、特徴量解析によって算出された特徴量を記憶する領域である。944は、算出された特徴量943に基づいて分けられたレベルとそのレベルを有する領域の情報を記憶する領域である(図7A〜図7C参照)。945は、通信端末IDの通信端末230に送信するオーバーレイ用画像情報を記憶する領域である(図8Aおよび図8B参照)。
ストレージ950は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムを記憶している。215は、特徴量用DBである(図4A〜図4E参照)。217は、レベル分割用DBである(図5参照)。219は、割り当て画像用DBである(図6参照)。ストレージ950には、以下のプログラムが格納される。951は、全体の処理を実行させる病理診断支援プログラムである情報処理プログラムである。952は、情報処理プログラム951において、組織標本画像の特徴量を解析する特徴量解析モジュールである。953は、情報処理プログラム951において、同じ特徴量の同じレベルの領域を生成する領域生成モジュールである。954は、情報処理プログラム951において、同じ特徴量の同じレベルの領域に識別可能な画像を割り当ててオーバーレイ用画像を生成するオーバーレイ用画像生成モジュールである。955は、情報処理プログラム951において、通信端末230との通信制御部211による通信を制御する通信制御モジュールである。
なお、図9には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
《情報処理装置の処理手順》
図10は、本実施形態に係る情報処理装置210の処理手順を示すフローチャートである。このフローチャートは、図9のCPU910がRAM940を使用しながら実行し、図2の情報処理装置210の機能構成部を実現する。
まず、ステップS1001において、情報処理装置210は、受信したデータがいずれかの通信端末230からの組織標本画像であるか否かを判定する。受信したデータが組織標本画像でなければ他の処理に進む。
受信したデータが組織標本画像であればステップS1003に進んで、情報処理装置210は、組織標本画像を送信した通信端末230の通信端末ID(例えば、IPアドレスなど)と、組織標本画像を特定する情報(病理医IDや患者ID、部位など)とを取得する。ステップS1005において、情報処理装置210は、受信した組織標本画像を記憶する。
ステップS1007において、情報処理装置210は、特徴量用DB215を参照しながら特徴量解析処理を実行する。次に、ステップS1009において、情報処理装置210は、レベル分割用DB217を参照しながら領域生成処理を実行する。次に、ステップS1011において、情報処理装置210は、割り当て画像用DB219を参照しながらオーバーレイ用画像生成処理を実行する。そして、ステップS1013において、情報処理装置210は、組織標本画像を送信した通信端末230に生成したオーバーレイ用画像を返送する。
なお、一般に、病理診断の支援で組織標本画像を取得する場合に、最初は粗い診断をするために低解像度の組織標本画像を取得し、詳細な診断が必要な場合に高解像度の組織標本画像を取得することが行なわれている。本例の手順においても、その手順を適用してよい。あるいは、病理医の詳細診断のヒントとする程度の支援であれば、低解像度の組織標本画像のみからオーバーレイ用画像を生成してよい。一方、病理医の診断方向を示すあるいは診断結果を評価するレベルの支援が必要であれば、高解像度の組織標本画像により予備診断を行なってオーバーレイ用画像を生成するのが望ましい。
[第3実施形態]
次に、本発明の第3実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、解析する特徴量を3つにして、この3つの特徴量に対して光の三原色である赤(R)・緑(G)・青(B)を割り当てた点で異なる。その結果、3つの特徴量のレベルの組み合わせが、色の違いで表示される。なお、本実施形態では、核の特徴量に赤を割り当て、腺管の特徴量に緑を割り当て、粘液の特徴量に青を割り当てたが、3つの特徴量や色の割り当ては本例に限定されない。
本実施形態によれば、色の傾向(赤っぽい/青っぽい/白っぽいなど)から3つの特徴量のレベルを同時に判断できる。したがって、3つの特徴量の選択と色の割り当てとを適切に選択することによって、複数の特徴量による総合的な判断を色相から判断可能となる。
なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第2実施形態と同様であるため、その詳しい説明を省略する。
《情報処理システムの構成》
図11は、本実施形態に係る情報処理システム1100の構成を示すブロック図である。なお、第2実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。
図11の情報処理装置1110は、3つの特徴量を解析して、各特徴量に光の三原色を割り当て、特徴量のレベルを輝度に対応させて、3つのオーバーレイ用画像を生成する。このようにすることで、2つの特徴量の組み合わせ、いずれか1つの特徴量のレベル表示などが、簡単な操作(3つのオーバーレイ用画像の取り外し操作や追加操作)で可能である。
情報処理装置1110の特徴量解析部1114と特徴量用DB1115とは、特徴量が3つ、本例では核特徴量と腺管特徴量と粘液特徴量と、に限定されたのみで、その構成に大きな違いはない。
オーバーレイ用画像生成部1118においては、あらかじめ選択された3つの特徴量と三原色の割り当てとに基づいて、格納された割り当て画像用DB1119を参照して、3つのオーバーレイ用画像を生成する。オーバーレイ用画像送信部1120は、生成された3つのオーバーレイ用画像をネットワーク250を介して通信端末230に送信する。
(割り当て画像用DB)
図12は、本実施形態に係る割り当て画像用DB1119の構成を示す図である。
割り当て画像用DB1119には、特徴量1201とそのレベル1202に対応付けて、三原色中の色1203と輝度1204とが記憶されている。本例では、特徴量1201として、核と腺管と粘液とが記憶され、それぞれ赤(R)と緑(G)と青(B)とが対応付けられている。
(オーバーレイ用画像情報)
図13は、本実施形態に係るオーバーレイ用画像情報1118aを示す図である。なお、図13のオーバーレイ用画像情報1118aは、図8Bに示したベクトルによる領域の輪郭線表示の例を適用している。
オーバーレイ用画像情報1118aは、三原色に対応する3つのオーバーレイ用画像を識別するオーバーレイ番号1301のそれぞれについて、生成された領域1302が記憶される。その領域1302に対応付けて、輝度1303と、領域の輪郭線を表わす開始画素座標1304、終了画素座標1305、曲線関数1306とが記憶される。
[第4実施形態]
次に、本発明の第4実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、解析する特徴量や特徴量に割り当てる割り当て画像を、病理医240が通信端末230から選択できる点で異なる。なお、本実施形態では、病理医が特徴量と割り当て画像との双方を選択可能な構成を示すが、一方のみが選択可能な構成であってもよい。
本実施形態によれば、病理医が望む特徴量の解析を行ない、病理医が注目する特徴量やレベルが一目で判別できるように表示させることができる。
なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第2実施形態と同様であるため、その詳しい説明を省略する。
《情報処理システムの構成》
図14は、本実施形態に係る情報処理システム1400の構成を示すブロック図である。なお、第2実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。
情報処理装置1410の特徴量選択情報受信部1401は、ネットワーク250を介して通信端末230から送信された病理医240の特徴量選択指示の情報を受信する。特徴量選択部1402は、特徴量選択情報受信部1401が受信した病理医240の選択に従った特徴量を解析する。
また、割り当て画像選択情報受信部1403は、ネットワーク250を介して通信端末230から送信された病理医240の割り当て画像選択指示の情報を受信する。その受信結果は、割り当て画像用DB219に通知されて、病理医240が選択した割り当て画像が各特徴量に対応付けられ、オーバーレイ用画像が生成されることになる。
(特徴量およびレベル画像を選択する画面)
図15は、通信端末230における、本実施形態に係る特徴量およびレベル画像を選択する画面を示す図である。図15は一例であってこれに限定されない。
図15の1510は、送信した組織標本画像の表示領域である。1520は、情報処理装置1410とのインタラクティブなやりとりが可能な表示領域である。1522は、組織標本画像の送信に応答した、情報処理装置1410からの特徴量とその割り当て画像とを問い合わせる選択指示領域である。1523は、割り当て画像の一覧である。割り当て画像の一覧1523には、左側に色相グループが示され、右側に模様グループが示されている。レベル数はこれに限定されるものではない。1521は、選択指示領域1522からの選択に従って、情報処理装置1410において送信した組織標本画像から生成されたオーバーレイ用画像を、組織標本画像に重畳した表示画像である。
《情報処理システムの動作手順》
図16は、本実施形態に係る情報処理システムの動作手順1600を示すシーケンス図である。
まず、ステップS1601において、通信端末230が組織標本画像を取得する。組織標本画像の取得は、通信端末230に接続されたスキャナ(図示せず)からの読み込みであっても、記憶媒体などを介した取得であってもよい。ステップS1603において、通信端末230は取得した組織標本画像を情報処理装置1410に送信する。情報処理装置1410は、ステップS1605において受信した組織標本画像を記憶する。続いて、情報処理装置1410は、ステップS1607において、特徴量選択と割り当て画像割り当てを問い合わせる画面を通信端末に送信する。
通信端末230は、ステップS1609において病理医240による特徴量選択と割り当て画像選択とを待って、選択されたならばステップS1611に進む。信端末230は、ステップS1611において選択された特徴量と割り当て画像との情報を取得して、ステップS1613において情報処理装置1410に返信する。
情報処理装置1410は、ステップS1615において病理医240の選択した特徴量の解析処理を行なう。続いて、情報処理装置1410は、ステップS1617において、特徴量に対応するレベルの領域生成処理を行なう。次に、情報処理装置1410は、ステップS1619において、各領域に病理医240が選択した割り当て画像を割り当てたオーバーレイ用画像の生成処理を行なう。そして、情報処理装置1410は、病理医240が選択した特徴量と割り当て画像とに従ってステップS1621において生成されたオーバーレイ用画像を通信端末230に送信する。
通信端末230は、ステップS1623において、送信した組織標本画像に受信したオーバーレイ用画像を重畳して表示する。病理医240は、表示された重畳画像を参照して、引き続いて詳細診断すべき領域や拡大表示すべき領域を判断する。なお、ステップS1625において、病理医240は、表示された重畳画像が望んだ結果であるか否かを判断して、再度異なる特徴量や割り当て画像を選択する場合には、通信端末230を操作し、ステップS1609に戻って処理を繰り返す。
なお、組織標本画像の送信は、特徴量選択情報や割り当て画像選択情報と同時であってもよい。また、特徴量選択情報の問合せと、割り当て画像選択の問合せとは、違う手順で行なってもよい。
《情報処理装置のハードウェア構成》
図17は、本実施形態に係る情報処理装置1410のハードウェア構成を示すブロック図である。なお、図17において、第2実施形態の図9の構成と同様な機能を果たす要素には同じ参照番号を付して、説明は省略する。
図17において、図9との相違は、RAM1740とストレージ1750との構成である。
RAM1740において、図9との相違点は、まず、通信端末230へ特徴量と割り当て画像とを問い合わせる画面1741(図15参照)である。そして、病理医240が選択して通信端末230から送信された選択特徴量情報1742と選択割り当て画像情報1743とである。
また、ストレージ1750において、図9との相違点は、病理診断支援プログラムである情報処理プログラム1751の変更である。その変更は、主に、特徴量と割り当て画像を病理医240に問い合わせる特徴量/割り当て画像問合せモジュール1752によるものである。
《情報処理装置の処理手順》
図18は、本実施形態に係る情報処理装置1410の処理手順を示すフローチャートである。このフローチャートは、図17のCPU910がRAM1740を使用しながら実行し、図14の情報処理装置1410の機能構成部を実現する。なお、図18において、第2実施形態の図10と同様の処理を行なうステップには同じステップ番号を付し、説明は省略する。
情報処理装置1410は、ステップS1801において、特徴量と割り当て画像の問合せ画面を通信端末230に送信する。そして、ステップS1803において、情報処理装置1410は、通信端末230からの特徴量と割り当て画像とを選択する選択情報の受信を待って、受信があればステップS1805に進む。そして、ステップS1805において、情報処理装置1410は、受信した特徴量と割り当て画像とを選択する選択情報を記憶する。続くステップS1007〜S1011では、情報処理装置1410は、病理医240が選択した特徴量と割り当て画像とにより、特徴量解析、領域生成、オーバーレイ用画像生成の各処理を実行する。そして、ステップS1013において、情報処理装置1410は、生成したオーバーレイ用画像を通信端末230に送信する。
ステップS1807において、情報処理装置1410は、特徴量の選択と割り当て画像の選択から所望の結果が得られたかの判断結果である、OKか否かの病理医240からの入力を待つ。OKでなければステップS1801に戻り、情報処理装置1410は、通信端末230からの特徴量と割り当て画像との選択情報を再度待ち、上述した処理を繰り返す。
[第5実施形態]
次に、本発明の第5実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第4実施形態と比べると、特徴量や割り当て画像の選択が病理医240によって行なわれるのではなく、組織標本画像の特定情報から情報処理装置が自動的に行なう点で異なる。
本実施形態によれば、病理医による選択なしに組織標本画像から所望の特徴量と割り当て画像とが適切に選択されるので、客観的に病理医が注目すべき特徴量やレベルを一目で判別させることができる。
なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第4実施形態と同様であるため、その詳しい説明を省略する。
《情報処理システムの構成》
図19は、本実施形態に係る情報処理システム1900の構成を示すブロック図である。なお、第4実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。
情報処理装置1910の組織標本画像特定情報受信部1901は、ネットワーク250を介して通信端末230から送信された組織標本画像を特定する特定情報を受信する。特定情報には、病理医ID、患者ID、部位、性別、年齢、病歴などが含まれる。なお、病理医IDと患者IDとに基づいて、情報処理装置1910が病理診断支援履歴DB1903から上記他の情報を獲得できる構成であってもよい。
特徴量/割り当て画像決定部1902は、病理診断支援履歴DB1903を参照し、決定用テーブル1902aを使用して、受信した特定情報から特徴量と割り当て画像とを自動的に決定する。特徴量/割り当て画像決定部1902は、決定した特徴量と割り当て画像とに従って、特徴量選択部1402で特徴量を選択し、割り当て画像用DB219からは割り当てられる割り当て画像を選択する。
(組織標本画像を特定する画面)
図20は、通信端末230における、本実施形態に係る組織標本画像を特定する画面を示す図である。図20は一例であってこれに限定されない。
図20の2010は、送信した組織標本画像の表示領域である。2020は、情報処理装置1910とのインタラクティブなやりとりが可能な表示領域である。2022は、組織標本画像の送信に応答した、情報処理装置1910からの送信した組織標本画像の特定情報を問い合わせる入力領域である。2021は、入力領域2022からの選択に従って、情報処理装置1910において送信した組織標本画像から生成されたオーバーレイ用画像を、組織標本画像に重畳した表示画像である。
(決定用テーブル)
図21は、本実施形態に係る決定用テーブル1902aの構成を示す図である。
決定用テーブル1902aには、病理医ID2101、患者ID2102、患者の属性2103、採取した部位2104、病理診断支援履歴2105に対応付けて、選択特徴量2106と選択割り当て画像2107とが記憶されている。この決定用テーブル1902aに基づいて、特徴量/割り当て画像決定部1902は、受信した組織標本画像に対する選択特徴量と選択割り当て画像とを決定する。
《情報処理装置の処理手順》
図22は、本実施形態に係る情報処理装置1910の処理手順を示すフローチャートである。このフローチャートは、図17のCPU910がRAM1740を使用しながら実行し、図19の情報処理装置1910の機能構成部を実現する。なお、図22において、第4実施形態の図18と同様のステップには同じステップ番号を付して、説明を省略する。
ステップS2201において、情報処理装置1910は、病理医IDや患者IDなどを含む特定情報を取得する。続いて、ステップS2203において、情報処理装置1910は、取得した特定情報から特徴量と割り当て画像とを決定する。以降の手順は図18と同様である。なお、ステップS1807において、情報処理装置1910は、OKでない場合は自動選択を止めて、他の特徴量や割り当て画像の選択を行なう処理に進むことになる。
[第6実施形態]
次に、本発明の第6実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、オーバーレイ用画像を組織標本画像に重畳して通信端末230に表示させた後、病理医240の領域拡大指示に応答して指定領域を特徴量に応じた拡大率で拡大表示する点で異なる。なお、本実施形態では、病理医が操作する通信端末の画面上の別領域に拡大画像を表示する例を示すが、別画面における表示や虫眼鏡のように組織標本画像の指示位置上に拡大画像を表示してもよい。
本実施形態によれば、病理医が組織標本画像の注目すべき特徴量やレベルを判別した後、所望の領域の拡大表示を指示した場合、指示された領域の特徴量に応じた拡大倍率で当該領域の拡大表示を行うことができる。これにより、病理医による倍率調整を不要とすることができ、作業の手間を低減することができる。
なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第2実施形態と同様であるため、その詳しい説明を省略する。
《情報処理システムの構成》
図23は、本実施形態に係る情報処理システム2300の構成を示すブロック図である。なお、第2実施形態と同様の構成要素および情報処理装置の機能構成部には、同じ参照番号を付して説明は省略する。
情報処理装置2310の拡大領域情報受信部2301は、オーバーレイ用画像送信部220が送信したオーバーレイ用画像を重畳して表示した通信端末230の画面における領域指示を受信する。すなわち、病理医240が通信端末230に表示されたオーバーレイ用画像中の領域を指示すると、通信端末230は、その領域情報を拡大指示と共に情報処理装置に送信する。
倍率選択部2302は、通信端末230から受信した領域情報と一致する、領域生成部216からの領域情報に対応する特徴量に従って、倍率選択テーブル2302aを用いて拡大倍率を選択する。拡大画像生成部2303は、倍率選択部2302が選択した倍率に従い組織標本画像の対応領域を拡大する。そして、拡大画像生成部2303は、倍率情報および対応領域の拡大画像を含む拡大送信データ2300aを通信端末230に返信する。なお、拡大画像生成部2303は、通信端末230において倍率を受信すれば拡大可能なアプリケーションが動作可能であれば必須な構成ではない。そもそも通信端末230が最も解像度の高い組織標本画像を有しているので、通信端末230において受信した特徴量に対応した倍率で拡大する構成の方が、通信のトラフィックを考慮すると望ましい。
(組織標本画像の領域を拡大する画面)
図24は、通信端末230における、本実施形態に係る組織標本画像の領域を拡大する画面を示す図である。図24は一例であってこれに限定されない。
図24において、2410は送信した組織標本画像に情報処理装置2310から受信したオーバーレイ用画像を重畳した画像表示領域である。
この重畳画像のオーバーレイ用画像から、病理医240が、領域2411を拡大して詳細診断する領域として選択したと仮定する。図24の2420は、領域2411をその特徴量に応じた倍率で拡大した拡大画像である。図24の倍率は適当であり、実際の倍率を反映しているものではない。
(倍率選択テーブル)
図25は、本実施形態に係る倍率選択テーブル2302aの構成を示す図である。
倍率選択テーブル2302aには、病理医240により指定された領域2501に対応して領域生成部216から取得した特徴量2502と、倍率2503とが記憶されている。なお、図示しないが、倍率選択部2302は特徴量と倍率とを関連付ける情報があらかじめ準備されている。この情報は、他のDBに記憶されていてもよい。倍率選択部2302は、この情報を用いて、病理医240により指定された領域2501に対応して領域生成部216から取得した特徴量2502に関連付く倍率を取得できる。図25の例では、核領域は40倍の拡大倍率、腺管領域は5倍の拡大倍率、粘液領域は10倍の拡大倍率が特徴量の適した倍率として選択される。
(拡大送信データ)
図26は、本実施形態に係る拡大送信データ2300aの構成を示す図である。
図26において、2610は最も通信情報量を削減できる拡大送信データであり、領域ID2611と倍率2612のみから構成される。図26の2620は領域情報も含む次善の拡大送信データであり、領域2621に対応付けて、倍率2622と領域の輪郭ベクトル2623とが記憶される。かかる2620に示す拡大送信データ2300aによれば、領域の輪郭ベクトル2623を用いることができるため、拡大処理が単純になる。
《情報処理装置の処理手順》
図27は、本実施形態に係る情報処理装置2310の処理手順を示すフローチャートである。なお、図27においては、第2実施形態の図10と同様のステップは同じステップ番号を付して、説明は省略する。
図27においては、新たにステップS2701の分岐が追加される。ステップS2701において、情報処理装置2310は、領域拡大の指示を通信端末230から受信したか否かが判定される。
領域拡大の指示を受信したと判定すれば、情報処理装置2310は、ステップS2703に進んで、受信した拡大領域情報から領域情報を取得する。そして、情報処理装置2310は、取得した領域情報を用いて領域生成部216から特徴量情報を取得する。そして、ステップS2705において、情報処理装置2310は、倍率選択テーブル2302aを用いて、取得した領域情報に対応する特徴量情報に応じた倍率を選択する。そして、ステップS2707において、情報処理装置2310は、倍率のみ、または拡大した領域画像を通信端末230に送信する。
[第7実施形態]
次に、本発明の第7実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、複数の組織標本画像に対して共通の特徴量およびレベルに対して同じ画像を割り当てた表示を行なう点で異なる。
本実施形態によれば、複数の組織標本画像にわたって注目すべき特徴量やレベルを一目で判別できる。
なお、本実施形態に特徴的な構成のみを説明し、その他の構成および動作は第2実施形態と同様であるため、その詳しい説明を省略する。
(複数の組織標本画像にオーバーレイ用画像を重畳した画面)
図28は、通信端末230における、本実施形態に係る複数の組織標本画像にオーバーレイ用画像を重畳した画面2800を示す図である。図28においては、3つの組織標本画像を示したが、その数に制限は無い。しかし、余り多いと1つが小さく表示されて領域の判別が難しくなるので、例えば、ローリングして次の組織標本画像を表示することが望ましい。
図28において、2801〜2803が3つの組織標本画像である。各組織標本画像には共通の割り当て画像によるオーバーレイ用画像が重畳されている。例えば、2811や2812は、それぞれ同じ特徴量の同じレベルを示している。なお、オーバーレイ用画像は、3つの組織標本画像に対して共通のものであっても、各組織標本画像個別のものであってもよい。
(領域情報)
図29は、本実施形態に係る領域情報216a−3を示す図である。領域情報216a−3は、第2実施形態の領域情報の他例216a−2に対応する構成である。なお、第2実施形態の領域情報の他例216a−2と同じデータには同じ参照番号を付して、説明は省略する。
領域情報216a−3は、組織標本画像ID2901が先頭に不可されたのみで、領域721以降のデータは図7Bと同様である。図29には、組織標本画像ID(IM1001)の領域(AR101)と、組織標本画像ID(IM1002)の領域(AR201)とが、同じ特徴量(粘液の度合い)でレベルが"9"である例を示している。
(オーバーレイ用画像情報)
図30は、本実施形態に係るオーバーレイ用画像情報218a−3を示す図である。オーバーレイ用画像情報218a−3は、第2実施形態のオーバーレイ用画像情報の他例218a−2に対応する構成である。なお、第2実施形態のオーバーレイ用画像情報の他例218a−2と同じデータには同じ参照番号を付して、説明は省略する。
オーバーレイ用画像情報218a−3は、組織標本画像ID3001が先頭に不可されたのみで、領域821以降のデータは図8Bと同様である。図30では、組織標本画像ID(IM1001)の領域(AR101)と、組織標本画像ID(IM1002)の領域(AR201)とが、同じ特徴量(粘液の度合い)でレベルが"9"であるので、同じ割り当て画像(橙、横線の中太)が割り当てられる。したがって、本実施形態では、複数の組織標本画像に対して利用可能な共通の判断基準を提示することができ、病理医240は、当該判断基準に従い、複数の組織標本画像に対してどの領域を詳細診断の対象にするかを判定できる。
[他の実施形態]
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。
この出願は、2011年8月18日に出願された日本出願特願2011−179094号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

  1. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
    前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
    前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数/割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする請求項1に記載の情報処理装置。
  3. 前記オーバーレイ用画像生成手段は、前記特徴量の大小関係が識別可能な画像として、色の色相が異なる画像または色の輝度が異なる画像または注目度の異なる模様の画像を前記領域に割り当てることを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記オーバーレイ用画像生成手段は、前記特徴量が複数の場合に、異なる前記特徴量に対して異なる色または異なる模様を割り当てることを特徴とする請求項3に記載の情報処理装置。
  5. 前記領域生成手段は、前記組織標本画像が有する3つの特徴量の各々を前記特徴量の大小に基づいて複数レベルに分けて、前記複数レベルの各レベルに属する前記組織標本画像上の領域を生成し、
    前記オーバーレイ用画像生成手段は、3つの前記特徴量に対して光の三原色の1つをそれぞれ割り当て、3つの前記オーバーレイ用画像を生成することを特徴とする請求項4に記載の情報処理装置。
  6. 前記3つの特徴量は、細胞核の核異型度と、腺管の構造異型度と、分泌される粘液の度合いと、であることを特徴とする請求項5に記載の情報処理装置。
  7. 前記組織標本画像を、ネットワークを介して受信する組織標本画像受信手段と、
    前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を、ネットワークを介して送信するオーバーレイ用画像送信手段と、
    をさらに備えることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記少なくとも1つの特徴量を選択する特徴量選択手段をさらに備え、
    前記領域生成手段は、前記選択された特徴量を前記特徴量の大小に基づいて複数レベルに分けて、前記複数レベルの各レベルに属する前記組織標本画像上の領域を生成し、
    前記オーバーレイ用画像生成手段は、前記選択された特徴量にそれぞれ対応するオーバーレイ用画像を生成することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記組織標本画像を特定する特定情報を受信する特定情報受信手段をさらに備え、
    前記特徴量選択手段は、受信した前記特定情報に基づいて前記少なくとも1つの特徴量を選択することを特徴とする請求項8に記載の情報処理装置。
  10. 前記特徴量の大小を識別可能な画像を含む割り当て画像を選択する画像選択手段をさらに備え、
    前記オーバーレイ用画像生成手段は、前記領域生成手段が生成した各レベルの前記領域に前記選択された割り当て画像の各画像を割り当てることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 前記領域の指示に応答して、前記領域の特徴量に応じた前記組織標本画像の倍率を選択する倍率選択手段と、
    前記倍率選択手段が選択した倍率を前記領域に対応付けてネットワークを介して送信する倍率送信手段と、
    をさらに備えることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. 前記組織標本画像は複数の組織標本画像を含み、
    前記オーバーレイ用画像生成手段は、同じ特徴量の同じレベルを有する領域には同じ画像を割り当てることを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
    前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
    前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
    を含むことを特徴とする情報処理装置の制御方法。
  14. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御プログラムであって、
    前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
    前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
    をコンピュータに実行させることを特徴とする制御プログラム。
  15. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
    前記撮像した組織標本画像を入力する入力手段と、
    前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成手段と、
    前記領域生成手段が生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応づけたオーバーレイ用画像を生成するオーバーレイ用画像生成手段と、
    前記オーバーレイ用画像生成手段が生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示手段と、
    を備えることを特徴とする情報処理システム。
  16. 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
    前記撮像した組織標本画像を入力する入力ステップと、
    前記組織標本画像が有する少なくとも1つの特徴量を前記特徴量の大小に基づいて複数のレベルに分けて、各レベルに属する前記組織標本画像上の領域を生成する領域生成ステップと、
    前記領域生成ステップにおいて生成した各レベルの前記領域に、当該領域と同一の形状かつ同一の位置関係に加工された前記特徴量の大小関係が識別可能な画像を対応付けたオーバーレイ用画像を生成するオーバーレイ用画像生成ステップと、
    前記オーバーレイ用画像生成ステップにおいて生成した前記オーバーレイ用画像を前記組織標本画像に重畳して表示する重畳表示ステップと、
    を含むことを特徴とする情報処理方法。
JP2013528922A 2011-08-18 2012-08-17 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム Active JP5780306B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013528922A JP5780306B2 (ja) 2011-08-18 2012-08-17 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011179094 2011-08-18
JP2011179094 2011-08-18
PCT/JP2012/005182 WO2013024600A1 (ja) 2011-08-18 2012-08-17 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP2013528922A JP5780306B2 (ja) 2011-08-18 2012-08-17 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2013024600A1 true JPWO2013024600A1 (ja) 2015-03-05
JP5780306B2 JP5780306B2 (ja) 2015-09-16

Family

ID=47714934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013528922A Active JP5780306B2 (ja) 2011-08-18 2012-08-17 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム

Country Status (3)

Country Link
US (1) US20140176602A1 (ja)
JP (1) JP5780306B2 (ja)
WO (1) WO2013024600A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6355082B2 (ja) * 2013-07-18 2018-07-11 パナソニックIpマネジメント株式会社 病理診断支援装置及び病理診断支援方法
JP6445000B2 (ja) * 2013-10-18 2018-12-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Mdxのための画像ベースのroi追跡
RU2690224C2 (ru) * 2014-04-03 2019-05-31 Конинклейке Филипс Н.В. Обследующее устройство для обработки и анализа изображения
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
EP3638263B1 (en) 2017-06-16 2023-08-23 Centre Hospitalier Régional et Universitaire de Lille (CHRU) Process for preparing a pooled human platelet lysat and its use for treating neurological disorders
JP7431592B2 (ja) * 2020-01-29 2024-02-15 株式会社Screenホールディングス 画像処理装置、画像処理システムおよび画像処理方法
CN111430011B (zh) * 2020-03-31 2023-08-29 杭州依图医疗技术有限公司 细胞染色图像的显示方法、处理方法及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006314704A (ja) * 2005-05-16 2006-11-24 Toshiba Corp X線画像診断装置
JP2009160205A (ja) * 2008-01-04 2009-07-23 Toshiba Corp 医療支援装置、医療支援プログラム及び放射線撮影装置
JP2009180539A (ja) * 2008-01-29 2009-08-13 Nec Corp 病理診断支援装置、病理診断支援方法、およびプログラム
JP2010500571A (ja) * 2006-08-07 2010-01-07 ゼネラル・エレクトリック・カンパニイ 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
JP2010281637A (ja) * 2009-06-03 2010-12-16 Nec Corp 病理画像診断システム、病理画像診断方法、病理画像診断プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107285B2 (en) * 2002-03-16 2006-09-12 Questerra Corporation Method, system, and program for an improved enterprise spatial system
CN101542527A (zh) * 2006-11-16 2009-09-23 维斯欧法姆有限公司 可组合图像的基于特征的配准
US8253731B2 (en) * 2006-11-27 2012-08-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
US20100124364A1 (en) * 2008-11-19 2010-05-20 Zhimin Huo Assessment of breast density and related cancer risk
JP5629272B2 (ja) * 2009-01-29 2014-11-19 コーニンクレッカ フィリップス エヌ ヴェ 生物学的構造における時変パラメータの視覚化

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006314704A (ja) * 2005-05-16 2006-11-24 Toshiba Corp X線画像診断装置
JP2010500571A (ja) * 2006-08-07 2010-01-07 ゼネラル・エレクトリック・カンパニイ 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
JP2009160205A (ja) * 2008-01-04 2009-07-23 Toshiba Corp 医療支援装置、医療支援プログラム及び放射線撮影装置
JP2009180539A (ja) * 2008-01-29 2009-08-13 Nec Corp 病理診断支援装置、病理診断支援方法、およびプログラム
JP2010281637A (ja) * 2009-06-03 2010-12-16 Nec Corp 病理画像診断システム、病理画像診断方法、病理画像診断プログラム

Also Published As

Publication number Publication date
WO2013024600A1 (ja) 2013-02-21
US20140176602A1 (en) 2014-06-26
JP5780306B2 (ja) 2015-09-16

Similar Documents

Publication Publication Date Title
JP5780306B2 (ja) 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
US11487412B2 (en) Information processing method and information processing system
WO2013099124A1 (en) Image processing apparatus, image processing system, image processing method, and program
EP3709067B1 (en) Microscope control device, information processing apparatus, information processing system, method of operating a microscope control device and a non-transitory computer-readable medium
JP5630674B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
JP5862671B2 (ja) 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP4218772B2 (ja) 画像診断支援装置
JP5531750B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2021057538A1 (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
WO2012043498A1 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
JP2012010275A (ja) 情報処理装置、情報処理方法、及びそのプログラム
US20130187954A1 (en) Image data generation apparatus and image data generation method
CN104662463A (zh) 图像处理装置、成像系统和图像处理系统
JP2016511845A (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
DE112012005481T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungssystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
CN104025150A (zh) 图像处理装置、图像显示系统、图像处理方法和图像处理程序
WO2021213068A1 (zh) 基于人工智能的图像显示方法、装置、设备及介质
CN104011531A (zh) 图像处理装置、图像显示系统、图像处理方法以及图像处理程序
WO2013172685A1 (ko) X선 파노라마 영상 재구성 장치 및 방법
CN104185806A (zh) 图像处理设备,图像处理系统,图像处理方法和图像处理程序
DE102014011344A1 (de) Bildanzeigevorrichtung und steuerverfahren dafür
JP4434376B2 (ja) 顕微鏡画像転送システム
CN1773538B (zh) 医疗用图像处理系统和方法
JP2006304840A (ja) 医用画像表示システム
CN103428429B (zh) 影像拍摄装置和影像拍摄方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R150 Certificate of patent or registration of utility model

Ref document number: 5780306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150