JP5631682B2 - 顕微鏡システムおよび配信システム - Google Patents

顕微鏡システムおよび配信システム Download PDF

Info

Publication number
JP5631682B2
JP5631682B2 JP2010222804A JP2010222804A JP5631682B2 JP 5631682 B2 JP5631682 B2 JP 5631682B2 JP 2010222804 A JP2010222804 A JP 2010222804A JP 2010222804 A JP2010222804 A JP 2010222804A JP 5631682 B2 JP5631682 B2 JP 5631682B2
Authority
JP
Japan
Prior art keywords
dye
image
pathological specimen
pigment
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010222804A
Other languages
English (en)
Other versions
JP2012078177A (ja
Inventor
正法 三井
正法 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010222804A priority Critical patent/JP5631682B2/ja
Priority to US13/214,537 priority patent/US9285577B2/en
Publication of JP2012078177A publication Critical patent/JP2012078177A/ja
Application granted granted Critical
Publication of JP5631682B2 publication Critical patent/JP5631682B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、顕微鏡を利用して取得した病理標本の病理標本画像を処理する顕微鏡システムおよびこの顕微鏡システムを含む配信システムに関するものである。
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た標本(病理標本)を顕微鏡を用いて拡大観察することが広く行われている。病理標本は、無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。染色手法としては種々のものが提案されているが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの2つを用いるヘマトキシリン−エオジン染色(以下、「HE染色」と呼ぶ。)が標準的に用いられている。
ここで、病理標本の観察は、観察者の目視によるものの他、この病理標本を例えばマルチバンド撮像して画面表示することによっても行われている。この場合には、撮像したマルチバンド画像(病理標本画像)の画素値から標本を染色している色素の色素量を算出(推定)し、算出した色素量をもとに画像の色を適宜補正した後、観察用の標本のRGB画像(標本RGB画像)を合成して画面表示する。
また、従来から、病理標本の染色設備をもたない小規模な医療施設では、染色設備をもつ医療施設に病理標本の染色を依頼するといったことが行われている。一般に、依頼を受けた医療施設では、その病理標本を染色してマルチバンド撮像し、取得した病理標本画像から色素量を算出して保存しておく。そして、依頼元の医療施設からの要求に応じて例えば依頼元の医療施設との間でデータ通信を行い、色素量のデータを送信している。一方、依頼元の医療施設では、受信した色素量のデータから病理標本画像の画素値を再現し、再現した病理標本画像の画素値をもとに標本RGB画像を合成して画面表示することで、病理標本の観察を行っている。
なお、顕微鏡を利用して取得した画像を処理するものとしては、荷電粒子顕微鏡装置によって取得した試料の荷電粒子像の画質を、試料上に形成されているパターンの形状や試料特性を用いて改善するようにした技術が知られている(特許文献1を参照)。
特開2009−245674号公報 特開平7−120324号公報
ところで、病理標本画像の画素値から色素量を算出する処理は、病理標本を染色している色素の特性、例えば吸光度等を用いて行う。色素の特性は、例えばその色素を用いて標準的な染色を施した病理標本を用い、分光センサを用いて分光データを測定することで得られる。しかしながら、色素の特性は、厳密には、個々の病理標本によって、あるいは病理標本の染色工程によって変動する場合があり、染色を施した施設等において最適な値が調整される等して用いられていた。このため、色素量のデータを受信した施設側がこの色素量の算出に用いた色素の特性を知らないと、元の病理標本画像の画素値を精度良く再現することができないという問題があった。
本発明は、上記に鑑み為されたものであって、病理標本画像の画素値を変換することで得られる色素量を、病理標本画像の画素値に適正に再現可能なデータとして送信することができる顕微鏡システムおよび配信システムを提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる顕微鏡システムは、顕微鏡を利用して所定の色素で染色された病理標本の病理標本画像を取得する画像取得手段と、前記色素の特性を用い、前記病理標本画像の画素値を対応する前記病理標本上の標本点における前記色素の色素量に変換する色素量変換手段と、前記色素量変換手段が変換した画素毎の前記色素量に、前記変換の際に用いた前記色素の特性を付加することで変換画像データを作成する特性情報付加手段と、前記変換画像データを外部装置に送信する送信手段と、を備えることを特徴とする。
また、本発明の別の態様にかかる配信システムは、顕微鏡システムと端末装置とがネットワークを介して接続された配信システムであって、前記顕微鏡システムは、顕微鏡を利用して所定の色素で染色された病理標本の病理標本画像を取得する画像取得手段と、前記色素の特性を用い、前記病理標本画像の画素値を対応する前記病理標本上の標本点における前記色素の色素量に変換する色素量変換手段と、前記色素量変換手段が変換した画素毎の前記色素量に、前記変換の際に用いた前記色素の特性を付加することで変換画像データを作成する特性情報付加手段と、前記変換画像データを外部装置に送信する送信手段と、を備え、前記端末装置は、前記顕微鏡システムから送信された前記変換画像データを受信する受信手段と、前記変換画像データを構成する前記画素毎の前記色素量および前記色素の特性をもとに、前記病理標本画像の画素値を再現する画像再現手段と、を備えることを特徴とする。
本発明によれば、病理標本画像の画素値を変換して得た色素量に変換の際に用いた色素の特性を付加して変換画像データを作成し、この変換画像データを外部装置に送信することができる。したがって、病理標本画像の画素値を変換することで得られる色素量を、病理標本画像の画素値に適正に再現可能なデータとして送信することができる。
図1は、配信システムの全体構成例を示すブロック図である。 図2は、顕微鏡システムの構成例を示すブロック図である。 図3は、データ処理装置の画像処理部の構成例を示すブロック図である。 図4は、端末装置の構成例を示すブロック図である。 図5は、端末装置の画像処理部の構成例を示すブロック図である。 図6は、顕微鏡システムが行う変換画像データ作成処理の詳細な処理手順を示すフローチャートである。 図7は、モデルベースプロファイルの書式例を示す図である。 図8は、顕微鏡システムおよび端末装置が行う処理手順を示すフローチャートである。 図9は、端末装置が行う特性情報適用処理の詳細な処理手順を示すフローチャートである。 図10は、変形例1におけるデータ処理装置の画像処理部の構成例を示すブロック図である。 図11は、変形例2におけるデータ処理装置の画像処理部の構成例を示すブロック図である。
以下、図面を参照し、本発明を実施するための形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
図1は、本実施の形態における配信システム1の全体構成例を示すブロック図である。図1に示すように、配信システム1は、顕微鏡システム10と、この顕微鏡システム10にネットワークNを介して通信接続される外部装置としての端末装置50とを備える。ネットワークNは、例えば電話回線網やインターネット、LAN、専用回線、イントラネット等の各種通信網を適宜採用して用いることができる。
図2は、顕微鏡システム10の構成例を示すブロック図である。図2に示すように、顕微鏡システム10は、画像取得手段としての顕微鏡装置20と、データ処理装置30とがデータの送受可能に接続されて構成される。この顕微鏡システム10は、例えば病理標本の染色設備を備えた医療施設等に設置される。
顕微鏡装置20は、例えばHE染色された病理標本Sを観測対象とし、この病理標本Sの観察像をマルチバンド撮像する。得られた病理標本S上の物質である色素の観測値、具体的には、病理標本Sのマルチバンド画像(病理標本画像)の画像データは、データ処理装置30の画像取得部31に出力される。この顕微鏡装置20は、顕微鏡21と、撮像部22とを備える。
ここで、本実施の形態では、例えば、HE染色された病理標本Sを観測対象とする。この場合に病理標本Sを染色している色素は、例えば、細胞核をヘマトキシリン(色素H)、細胞質を染色したエオジン(色素E)、その他の染色成分、具体的には、赤血球を染色したエオジンまたは染色されていない赤血球の色(色素R)の3つであり、顕微鏡システム10は、病理標本画像の各画素の画素値を、各色素の物質量である色素量に変換する。
顕微鏡21は、病理標本Sを例えば透過観察するものであり、照明光を射出する光源や、対物レンズ、病理標本Sを載置して対物レンズの光軸方向およびこの光軸方向と垂直な面内を移動する電動ステージ、電動ステージ上の病理標本Sを透過照明するための照明光学系、対物レンズと協働して病理標本Sの観察像を結像させるための観察光学系等を備え、照明光学系によって光源からの照明光を病理標本Sに照射するとともに、観察光学系によって病理標本Sの観察像を結像させる。
撮像部22は、例えば、特許文献2に開示されている撮像方式を適用し、透過させる光の波長帯域が異なる所定枚数(例えば16枚)のバンドパスフィルタを切り換えながら病理標本Sの観察像を面順次方式でマルチバンド撮像する。16枚のバンドパスフィルタを用いる場合、病理標本画像は、16バンドのマルチバンド画像として得られる。この撮像部22は、例えば、前述の所定枚数のバンドパスフィルタをフィルタホイールに装着し、フィルタホイールを回転させることで各バンドパスフィルタを対物レンズの光軸上に択一的に挿入するフィルタユニットや、CCDあるいはCMOS等の撮像素子を備えたRGBカメラ等で構成され、病理標本Sの観察像をマルチバンド撮像して病理標本画像を取得する。RGBカメラは、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にRGBの各色のカラーフィルターをベイヤー配列した単板方式のカメラであってもよいし、3板構成のものでもよい。
この撮像部22によって得られる画像データの各画素の画素値は、各バンドパスフィルタそれぞれの波長帯域における光の強度に相当し、病理標本S上の各点(標本点)について波長帯域毎の画素値(分光データ)が得られる。ここで、標本点とは、カメラを構成する撮像素子の各画素位置に対応する病理標本S上の各位置のことである。なお、撮像部22は、フィルタユニットを備えない構成であってもよく、RGBカメラによってR,G,Bの3バンドの病理標本画像を取得する構成としてもよい。
データ処理装置30は、例えばワークステーションやパソコン等の汎用コンピュータを用いて実現され、画像取得部31と、入力部32と、表示部33と、送信手段としての通信部34と、記憶部35と、画像処理部36と、装置各部を制御する制御部39とを備える。
画像取得部31は、顕微鏡装置20でマルチバンド撮像された病理標本画像の画像データを入力するインターフェース装置である。入力部32は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部39に出力する。表示部33は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、制御部39から入力される表示信号をもとに各種画面を表示する。通信部34は、所定の通信回線を介して外部とのデータ通信を行う。この通信部34は、モデムやTA、通信ケーブルのジャックや制御回路等によって実現される。
記憶部35は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部35には、顕微鏡システム10を動作させ、この顕微鏡システム10が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め記憶され、あるいは処理の都度一時的に記憶される。この記憶部35には、顕微鏡装置20で取得され、画像取得部31を介して顕微鏡装置20から入力された病理標本画像の画像データ(各画素の画素値)、すなわち、各画素における波長帯域毎の分光データや、この病理標本画像を画像処理部36が信号処理することで得られる変換画像データ等が記憶される。また、記憶部35には、分光データDB351と、モデル一覧テーブル352とが記憶される。
分光データDB351は、画像処理部36の色素量変換部37が色素量を算出する際に用いる色素(ここでは色素H、色素E、および色素R)の特性である各色素の分光データ(以下、「色素分光データ」と呼ぶ。)を属性毎に登録したデータベース(DB)である。この分光データDB351に登録される色素分光データは、例えば、所定の開始波長から終了波長までの波長域における所定の波長間隔毎の吸光度として用意される。
ここで、病理標本を染色している色素H、色素E、および色素Rの色素分光データは、同じHE染色が施された病理標本であっても、その属性によって変動する。属性としては、例えば、被検者の性別や、採取した臓器の種類といった病理標本自体の属性が挙げられる。また、実際に使用する染色液の種類(染色液の製造メーカー)や、使用する染色液の組み合わせ、染色の濃い/薄いといった染色状態、染色場所(染色施設)等の染色時の環境といった染色工程に関する属性によっても変動する。このため、このような属性の異なる生体組織標本を事前に用意し、属性毎に色素分光データを取得して分光データDB351に登録しておく。具体的には、色素Hおよび色素Eの色素分光データについては、色素Hおよび色素Eを個別に用いて染色した標本(単一染色標本)を属性毎に用意する。そして、分光計を用いてその分光データを測定し、例えばランベルト・ベール(Lambert-Beer)の法則を用いて吸光度を求めることで取得する。また、色素Rの色素分光データについては、HE染色を施していない無染色の病理標本を属性毎に用意し、その画像データを顕微鏡装置20によって取得する。そして、この画像データをもとに、ランベルト・ベールの法則を用いて複数の標本点における吸光度を算出する処理を行う。このとき、サンプリングする標本点は、赤血球の領域を選ぶこととする。そして、得られた複数の標本点における吸光度の平均を算出し、該当する属性についての色素Rの色素分光データとする。
モデル一覧テーブル352は、病理標本画像の各画素の画素値を色素量に変換する際の変換のさせ方をモデル化して定義した変換モデルを含む複数の変換モデルを記憶する。記憶しておく変換モデルの種類や数は、特に限定されるものではないが、モデル一覧テーブル352には、病理標本S上の物質の特性をパラメータとして含み、この物質の特性を用いて病理標本S上の物質の観測値とこの物質の物質量との関係を表した変換モデルが記憶される。具体的には、例えば、ランベルト・ベールの法則による変換モデルが挙げられる。このランベルト・ベールの法則による変換モデルは、色素分光データをパラメータとして含み、この色素分光データを用いて病理標本画像の画素値と色素量との関係をランベルト・ベールの法則によって表したものである。
画像処理部36は、色素量変換手段としての色素量変換部37と、特性情報付加手段としての特性情報付加部38とを含む。図3は、この画像処理部36の構成例を示すブロック図である。
色素量変換部37は、病理標本画像の各画素の画素値、すなわち、各画素における波長帯域毎の分光データを色素量に変換する。この色素量変換部37は、図3に示すように、分光データ選択部371と、モデル選択部372と、色素量算出部373とを含む。
分光データ選択部371は、分光データDB351を参照し、この分光データDB351に登録されている属性毎の色素H、色素E、および色素Rの色素分光データの中から、後段の色素量算出部373が色素量を算出する際に用いる色素H、色素E、および色素Rの色素分光データを例えばユーザ操作に従って選択して読み出す。読み出された色素H、色素E、および色素Rの色素分光データD11は、色素量算出部373に入力される。
モデル選択部372は、モデル一覧テーブル352に記憶されている変換モデルの中から、色素量算出部373が色素量を算出する際に用いる変換モデルを例えばユーザ操作に従って選択して読み出す。読み出された変換モデルD12は、色素量算出部373に入力される。
色素量算出部373には、画像取得部31を介して顕微鏡装置20から入力され、記憶部35に記憶された病理標本画像D13が入力される。色素量算出部373は、病理標本画像の各画素の画素値(各画素の波長帯域毎の分光データ)をもとに、各画素に対応する病理標本S上の標本点における色素量を算出する。変換の対象とする色素は、色素H、色素E、および色素Rであり、色素量算出部373は、病理標本画像の各画素に対応する各標本点に固定された色素H、色素Eおよび色素Rの色素量をそれぞれ算出する。具体的には、色素量算出部373は、分光データ選択部371から入力された色素H、色素E、および色素Rの色素分光データD11を用い、モデル選択部372から入力された変換モデルD12に従って病理標本画像D13の各画素の画素値(各画素における波長帯域毎の分光データ)を変換することで、画素毎に色素量を算出する。得られた画素毎の色素量のデータは、その変換(算出)に用いた色素H、色素E、および色素Rの色素分光データと、その変換(算出)に用いた変換モデルを特定する例えばモデル名等の特定情報(以下、「モデル特定情報」と呼ぶ。)とともに、変換データD14として特性情報付加部38に入力される。
特性情報付加部38は、色素量算出部373から入力される画素毎の色素量に、その変換(算出)に用いた色素H、色素E、および色素Rの色素分光データを含む付加情報としてのモデルベースプロファイルを付加する。この特性情報付加部38は、前述のモデルベースプロファイルを作成する付加情報作成手段としての付加情報作成部381を含む。ここで、モデルベースプロファイルとは、病理標本画像の各画素の画素値を変換して得た色素量と、その変換(算出)に用いた色素H、色素E、および色素Rの色素分光データとの関係を所定のフォーマットで記述したものである。この付加情報作成部381が作成したモデルベースプロファイルを画素毎の色素量に付加し、変換画像データD15として出力する。
制御部39は、入力部32から入力される入力信号や、記憶部35に記憶されるプログラムやデータ等をもとに顕微鏡装置20を構成する各部への指示やデータの転送等を行い、あるいはデータ処理装置30を構成する各部への指示やデータの転送等を行って、顕微鏡システム10全体の動作を統括的に制御する。
次に、端末装置50の構成について説明する。この端末装置50は、例えば、病理医等のユーザが診断に用いるものであり、顕微鏡システム10で観測対象とした病理標本Sの診断を行う病理医の勤務する医療施設等に設置される。図4は、端末装置50の構成例を示すブロック図である。
端末装置50は、例えばワークステーションやパソコン等の汎用コンピュータを用いて実現され、図4に示すように、入力部51と、表示手段としての表示部52と、受信手段としての通信部53と、記憶部54と、画像処理部55と、装置各部を制御する制御部57とを備える。
入力部51は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部57に出力する。表示部52は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、制御部57から入力される表示信号をもとに各種画面を表示する。通信部53は、所定の通信回線を介して外部とのデータ通信を行う。この通信部53は、モデムやTA、通信ケーブルのジャックや制御回路等によって実現される。
記憶部54は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部54には、端末装置50を動作させ、この端末装置50が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め記憶され、あるいは処理の都度一時的に記憶される。例えば、顕微鏡システム10の記憶部35に記憶されているモデル一覧テーブル352と同様の複数の変換モデルのデータ(例えば後述する式(1)に示す変換モデル等)が記憶される。また、記憶部54には、受信変換画像データ541と、特性情報DB542とが記憶される。
受信変換画像データ541は、顕微鏡システム10から送信された変換画像データを記憶する。特性情報DB542は、変換画像データを構成する画素毎の色素量に対して適用可能な特性情報を登録したデータベース(DB)である。この特性情報DB542に登録しておく特性情報としては、例えば、病理標本中の所定の構成要素の表示色を所定の色に指定する特性情報等が挙げられる。
画像処理部55は、特性情報適用部56を含む。特性情報適用部56は、顕微鏡システム10から送信された変換画像データの色素量をもとに、病理標本Sの観察画像を合成する。図5は、この画像処理部55の構成例を示すブロック図である。図5に示すように、特性情報適用部56は、特性情報分離部561と、特性情報選択部562と、特性情報変換部563とを含む。
特性情報分離部561は、記憶部54の受信変換画像データ541を参照し、顕微鏡システム10から送信された変換画像データD21を読み出して特性情報を分離する。この変換画像データD21は、画素毎の色素量にモデルベースプロファイルが付加されたものであり、特性情報分離部561は、モデルベースプロファイルに含まれる特性情報(後述する図7の特性情報D34)を抽出することで分離する。分離された特性情報D22は、特性情報選択部562に入力される。また、この特性情報分離部561が記憶部54から読み出した変換画像データD21は、そのまま特性情報変換部563に入力される。
特性情報選択部562は、特性情報変換部563での処理に用いる特性情報を選択する。例えば、特性情報選択部562は、特性情報分離部561から入力された特性情報D22、または、特性情報DB542に登録されている特性情報のうちの1つを例えばユーザ操作に従って選択する。選択された特性情報は、適用特性情報D24として特性情報変換部563に入力される。
特性情報変換部563は、画像合成手段としての観察画像合成部564を含む。観察画像合成部564は、特性情報分離部561から入力される変換画像データD21の画素毎の色素量をもとに観察画像を合成し、観察画像データD25として出力する。この観察画像合成部564は、画像再現手段としての病理標本画像再現部565を含む。
病理標本画像再現部565は、特性情報選択部562において選択され、この特性情報選択部562から入力される適用特性情報が、特性情報分離部561において変換画像データD21から分離された特性情報D22である場合に、画素毎の色素量から、病理標本画像の各画素の画素値を再現する。具体的には、病理標本画像再現部565は、適用特性情報D24である特性情報D22(変換画像データD21のモデルベースプロファイルに含まれる色素H、色素E、および色素Rの色素分光データ)を用い、変換画像データD21のモデルベースプロファイルに含まれるモデル特定情報(図7のモデル特性情報D32)によって特定される変換モデルに従って画素毎の色素量を病理標本画像の各画素の画素値に変換する。
制御部57は、入力部51から入力される入力信号や、記憶部54に記憶されるプログラムやデータ等をもとに端末装置50を構成する各部への指示やデータの転送等を行い、端末装置50全体の動作を統括的に制御する。
次に、配信システム1が行う具体的な処理手順について説明する。先ず、顕微鏡システム10が行う変換画像データ作成処理について、図6を参照して説明する。
図6に示すように、変換画像データ作成処理では、先ず、データ処理装置30の制御部39が、顕微鏡装置20の動作を制御して病理標本Sをマルチバンド撮像し、病理標本画像を取得する(ステップa1)。
続いて、制御部39は、色素量の変換に用いる色素H、色素E、および色素Rの色素分光データの選択依頼の通知を表示部33に表示する処理を行い、入力部32を介してユーザの選択操作を受け付ける(ステップa3)。例えば、制御部39は、色素H、色素E、および色素Rの色素分光データの選択を依頼する旨のメッセージの表示とともに、分光データDB351に色素分光データが登録されている属性の一覧を選択肢として提示する選択ボックス等を配置した通知画面を表示部33に表示する処理を行う。ユーザは、入力部32を介して所望の属性、例えば観測対象の病理標本Sを作製した染色施設等、観測対象の病理標本Sに合致する属性の選択操作を行う。色素量の変換に用いる色素分光データとして、病理標本Sの属性に合致する色素分光データを選択すれば、後段のステップa11での色素量の算出精度が向上する。
続いて、このユーザによる選択操作に応答し、画像処理部36の分光データ選択部371が、ステップa3で受け付けた選択操作に従って、分光データDB351から、該当する色素H、色素E、および色素Rの色素分光データを選択して読み出す(ステップa5)。
また、制御部39は、色素量の変換に用いる変換モデルの選択依頼の通知を表示部33に表示する処理を行い、入力部32を介してユーザの選択操作を受け付ける(ステップa7)。例えば、制御部39は、変換モデルの選択を依頼する旨のメッセージの表示とともに、モデル一覧テーブル352に記憶されている変換モデルのモデル特定情報(例えばモデル名)の一覧を選択肢として提示する選択ボックス等を配置した通知画面を表示部33に表示する処理を行う。ユーザは、入力部32を介して所望のモデル特定情報の選択操作を行う。
続いて、このユーザによる選択操作に応答し、画像処理部36のモデル選択部372が、ステップa7で受け付けた選択操作に従って、モデル一覧テーブル352から、該当する変換モデルを選択して読み出す(ステップa9)。
その後、色素量算出部373が、ステップa5で選択した色素H、色素E、および色素Rの色素分光データを用い、ステップa9で選択した変換モデルに従ってステップa1で取得した病理標本画像の各画素の画素値を変換することで、画素毎に色素量を算出する(ステップa11)。例えば、ステップa9において、上記したランベルト・ベールの法則による変換モデルのモデル特定情報を選択した場合を例に挙げると、このランベルト・ベールの法則による変換モデルは、次式(1)によって表される。ここで、λは、波長を表す。また、f(λ)は、分光透過率を表し、病理標本画像の各画素の画素値をもとに、例えば主成分分析による推定法や、ウィナー(Wiener)推定による推定法等、公知の推定手法を適宜用いることで求めることができる。また、μi(λ)は、i個目の色素の色素分光データ(吸光度)を表し、Ciは、i個目の色素の色素量を表し、dは、試料の厚みを表す。またMは、変換の対象とする色素の数に相当し、本実施の形態では、変換の対象とする色素は色素H、色素E、および色素Rの3つであるので、M=3となる。ステップa11では、例えば次式(1)を用いることで、色素H、色素E、および色素Rの色素量を算出する。
Figure 0005631682
続いて、付加情報作成部381が、モデルベースプロファイルを作成する(ステップa13)。図7は、モデルベースプロファイルD3の書式例を示す図である。図7に示すように、モデルベースプロファイルD3は、ヘッダ情報D31と、モデル特性情報D32と、病理標本Sを染色している色素に関する色素情報D33と、特性情報D34とを含む。
ヘッダ情報D31は、モデルベースプロファイル(MBP)であることを示す識別情報である。モデル特性情報D32は、色素量の変換(算出)に用いた変換モデルのモデル特性情報であり、図7では、上記したランベルト・ベールの法則による変換モデルのモデル特定情報である「Lambert-Beer」が設定されている。色素情報D33は、色素の数D331と種類D332とを含む。本実施の形態では、変換の対象とする色素を色素H、色素E、および色素Rとしており、数D331として「3」が設定され、種類D332として「H E R」が設定されている。また、特性情報D34は、色素量の変換(算出)に用いた色素分光データの開始波長D341と、終了波長D342と、波長間隔D343と、色素分光データD344とを含み、色素分光データD344には、開始波長D341から終了波長D342までの波長間隔D343毎の吸光度の値D345,D346,・・・が順番に羅列される。すなわち、図7の例では、値D345が開始波長D341である400nmでの吸光度、値D346が405nmでの吸光度にそれぞれ相当する。
続いて、図6に示すように、特性情報付加部38が、ステップa13で作成したモデルベースプロファイルを画素毎の色素量に付加することで変換画像データを作成する(ステップa15)。作成された変換画像データは、例えば、観測対象とした病理標本Sの属性情報や、その病理標本Sに割り当てられる標本識別情報等と対応付けられて記憶部35に記憶・保存され、端末装置50からの要求に応じて端末装置50に送信される。
次に、以上のように顕微鏡システム10が作成した変換画像データを端末装置50との間で送受する際の処理手順について、図8を参照して説明する。配信システム1では、任意のタイミングで顕微鏡システム10と端末装置50とがデータ通信を行い、端末装置50側が要求する病理標本S、例えばその端末装置50を操作する病理医等のユーザが予め顕微鏡システム10が設置された医療施設に対して作成を依頼していた病理標本Sの変換画像データを取得する。
図8に示すように、変換画像データを送受するにあたり、端末装置50では、先ず、制御部57が、ユーザ操作等に応じて変換画像データの配信を要求する病理標本の指定依頼の通知を表示部52に表示する処理を行い、入力部51を介してユーザの選択操作を受け付ける(ステップc1)。例えば、制御部57は、病理標本の指定を依頼する旨のメッセージの表示とともに、所望の病理標本を特定可能な例えば標本識別情報を入力するための入力ボックス等を配置した通知画面を表示部52に表示する処理を行う。ユーザは、入力部51を介して要求する病理標本の標本識別情報の指定操作を行う。
続いて、このユーザによる指定操作に応答し、制御部57は、入力された標本識別情報とともに変換画像データの配信要求を通信部53を介して顕微鏡システム10に通知する処理を行う(ステップc3)。その後、端末装置50は、顕微鏡システム10から変換画像データを受信するまでの間(ステップc5:No)、待機状態となる。
一方、変換画像データを送受するにあたり、顕微鏡システム10は、端末装置50からの配信要求の通知を受信するまでの間(ステップb1:No)、待機状態となっている。そして、顕微鏡システム10は、通信部34を介して端末装置50からの配信要求の通知を受信した場合には(ステップb1:Yes)、制御部39が、配信要求の通知とともに受信した標本識別情報をもとに該当する変換画像データを記憶部35から読み出し、通信部34を介して端末装置50に送信する(ステップb3)。
そして、端末装置50では、顕微鏡システム10から送信された変換画像データを通信部53を介して受信すると(ステップc5:Yes)、特性情報適用処理に移る(ステップc7)。なお、この特性情報適用処理の前に、制御部57は、受信した変換画像データを受信変換画像データ541として記憶部54に記憶する。図9は、特性情報適用処理の詳細な処理手順を示すフローチャートである。
図9に示すように、特性情報適用処理では、先ず、画像処理部55において、特性情報適用部56の特性情報分離部561が、図8のステップc5で受信し、記憶部54に受信変換画像データ541として記憶された変換画像データを読み出して、この変換画像データを構成するモデルベースプロファイルから特性情報を分離する(ステップd1)。
続いて、制御部57が、変換画像データを構成する画素毎の色素量に適用する適用特性情報の選択依頼の通知を表示部52に表示する処理を行い、入力部51を介してユーザの選択操作を受け付ける(ステップd3)。例えば、制御部57は、適用特性情報の選択を依頼する旨のメッセージの表示とともに、ステップd1で分離した特性情報および特性情報DB542に登録されている特性情報を選択肢として提示する選択ボックス等を配置した通知画面を表示部52に表示する処理を行う。ユーザは、入力部51を介して所望の適用特性情報の選択操作を行う。
続いて、このユーザによる選択操作に応答し、画像処理部55の特性情報選択部562が、ステップd3で受け付けた選択操作に従って、ステップd1で分離された特性情報を適用特性情報として選択し、あるいは、特性情報DB542から該当する特性情報を読み出して適用特性情報として選択する(ステップd5)。
ここで、病理標本を画像化して画面表示し、画面上で病理標本の観察・診断を行う場合、画像化の手法は複数種類存在する。診断に用いられる画像の種類としては、背景技術で説明した標本RGB画像の他にも、例えば、色素量画像や、多重染色分離画像、デジタルステイン画像等が挙げられる。これらの画像は、いずれも病理標本画像を加工することで得られるが診断に用いる画像の種類は、病理医によって異なる。すなわち、RGB画像の観察・診断を好む病理医もいれば、デジタルステイン画像の観察・診断を好む病理医もいる。そこで、ステップd5では、端末装置50の病理医が好む種類の画像を観察画像として合成するのに用いる特性情報を適用特性情報として選択する。このため、ステップd3においてユーザによる観察画像の種類の選択操作を受け付け、ステップd5において選択操作された観察画像の種類に応じた適用特性情報を選択するようにしてもよい。
標本RGB画像、色素量画像、多重染色分離画像、およびデジタルステイン画像について簡単に説明すると、標本RGB画像は、病理標本画像の各画素の画素値、すなわち、各画素における波長帯域毎の分光データから各画素の分光透過率を求め、求めた分光透過率をRGB値に変換することで合成する。なお、標本RGB画像は、公知の手法を用いることで合成できる。この標本RGB画像を観察画像として合成する場合には、画素毎の色素量から病理標本画像の画素値を再現する必要があるため、標本RGB画像を合成する場合には、ステップd5では、ステップd1で分離された特性情報を適用特性情報として選択する。
また、色素量画像は、病理標本を染色している色素H、色素E、および色素Rのうちの1つまたは複数を選択的に用いて合成した画像であり、公知の手法を用いて合成できる。簡単に処理手順を説明すると、例えば色素Hの色素量画像を合成する場合は、画素毎の色素量を構成する色素H、色素E、および色素Rの色素量のうち、色素Hの色素量のみを取り出して用い、その濃淡を表した画像(H色素量画像)として合成する。色素Eの色素量画像を合成する場合であれば、色素Eの色素量のみを取り出して用い、その濃淡を表した画像(E色素量画像)として合成する。この色素量画像を観察画像として合成する場合には、ステップd5では、ステップd1で分離された特性情報から該当する色素(例えば色素H/色素E)の色素量のみを取り出して適用特性情報として選択する。そして、後段のステップd7では、この適用特性情報を用いて該当する色素の色素量画像を観察画像として合成する。
また、多重染色分離画像は、複数の染色法によって多重に染色された病理標本、例えば、HE染色に加えてさらに免疫染色が施された病理標本の観察等で用いられる。従来から、HE染色を施した病理標本に対して目的の標的分子に例えばDAB反応による発色でさらに標識を施して(色素DABで染色して)マルチバンド撮像し、観察を行うといったことが行われている。あるいは、HE染色を施した病理標本と、色素Hおよび色素DABとで染色した病理標本とを用意し、これらを個別にマルチバンド撮像して観察を行うといったことが行われている。多重染色分離画像は、この場合に病理標本を染色している色素H、色素E、および色素DABのうちの1つまたは複数を選択的に用いて合成した画像であり、公知の手法を用いて合成できる。このような病理標本を観測対象とする場合には、データ処理装置30が、ステップa11において病理標本を染色している色素H、色素E、および色素DABの色素量を算出すればよい。そして、例えば色素Hおよび色素Eによる染色状態を表した多重染色分離画像を合成する場合は、画素毎の色素量を構成する色素H、色素E、および色素DABの色素量のうち、色素Hおよび色素Eの色素量のみを取り出して用い、標本RGB画像の合成と同様の要領でRGB値に変換することで合成する。また、例えば色素Hおよび色素DABによる染色状態を表した多重染色分離画像を合成する場合は、画素毎の色素量を構成する色素H、色素E、および色素DABの色素量のうち、色素Hおよび色素DABの色素量のみを取り出して用い、標本RGB画像の合成と同様の要領でRGB値に変換することで合成する。この多重染色分離画像を観察画像として合成する場合には、ステップd5では、ステップd1で分離された特性情報から所望の色素(例えば色素H+色素E/色素E+色素DAB)の色素量のみを取り出して適用特性情報として選択する。そして、後段のステップd7では、この適用特性情報を用いて該当する色素の多重染色分離画像を観察画像として合成する。
また、デジタルステイン画像は、例えば細胞核や線維、血管といった病理標本中の所望の構成要素をあたかも特殊染色したかのように強調表示した画像であり、公知の手法を用いて合成できる。簡単に処理手順を説明すると、例えば、前述の標本RGB画像を合成するとともに、例えば画素毎の色素量をもとに各構成要素の領域を抽出する。そして、標本RGB画像内の抽出した各構成要素の領域を構成する画素の画素値を、例えば構成要素毎の表示色で置き換えることによって、標本RGB画像内の各構成要素を他と識別可能に強調表示した画像として合成する。例えば、従来から、線維を選択的に染め分けるマッソントリクローム(MT)染色が知られており、肝臓の線維化の程度を判別する等のために実施されている。このマッソントリクローム染色では、線維が青く染色される。本実施の形態では、HE染色された病理標本Sを観測対象としており、顕微鏡システム10から送信された変換画像データをもとにマッソントリクローム染色による染色状態を表したデジタルステイン画像を観察画像として合成するためには、画素毎の色素量から病理標本画像の画素値を再現する必要がある。さらに、表示色を置き換える構成要素(例えば線維)の表示色(例えば青)を指定する必要がある。このため、ステップd5では、線維の領域の表示色を青に指定する特性情報を特性情報DB542から読み出して取得し、取得した特性情報と、ステップd1で分離された特性情報とを併せて適用特性情報として選択する。
なお、この場合の後段のステップd7では、適用特性情報のうちのステップd1で分離された特性情報を用いて後述するように変換画像データを構成する画素毎の色素量から病理標本画像の各画素の画素値を算出するとともに、例えば画素毎の色素量をもとに線維の領域の画素を抽出し、適用特性情報のうちの特性情報DB542から読み出して取得した特性情報を用いてその表示色を青色に置き換えて観察画像を合成する。
そして、特性情報変換部563において、観察画像合成部564が、画素毎の色素量にステップd5で選択した適用特性情報を適用することで、病理標本の観察画像を合成する(ステップd7)。このとき、適用特性情報がステップd1で分離された特性情報である場合には、病理標本画像再現部565が、変換画像データを構成する画素毎の色素量から病理標本画像の画素値を再現する処理を行う。具体的には、病理標本画像再現部565は、適用特性情報である色素H、色素E、および色素Rの色素分光データを用い、モデルベースプロファイルに含まれるモデル特定情報によって特定される変換モデルに従って画素毎の色素量を変換することで、病理標本画像の各画素の画素値を算出する。例えば、モデルベースプロファイルのモデル特定情報が上記したランベルト・ベールの法則による変換モデルの場合には、上記した式(1)を用いることで、色素H、色素E、および色素Rの画素毎の色素量から各画素の画素値を算出する。
以上のようにして観察画像を合成したならば、特性情報適用処理を終えて図8のステップc7にリターンし、その後ステップc9に移行する。そして、ステップc9では、制御部57が、図9のステップd7で合成した観察画像を表示部52に表示する処理を行う。
以上説明したように、本実施の形態の配信システム1では、顕微鏡システム10において、病理標本画像の画素値と色素量との関係をランベルト・ベールの法則によって表した変換モデルに従い、色素H、色素E、および色素Rの色素分光データを用いて病理標本画像の各画素の画素値を画素毎の色素量に変換することとした。そして、色素量の変換(算出)に用いた色素H、色素E、および色素Rの色素分光データである特性情報と変換モデルのモデル特性情報とを含むモデルベースプロファイルを画素毎の色素量に付加し、変換画像データを作成して記憶部35に記憶・保存するとともに任意のタイミングで端末装置50に送信することとした。一方、端末装置50では、変換画像データを構成するモデルベースプロファイルから特性情報を分離して用い、モデルベースプロファイルに含まれるモデル特定情報によって特定される変換モデルに従って、変換画像データを構成する画素毎の色素量を病理標本画像の各画素の画素値に変換することとした。したがって、病理標本画像の画素値を変換することで得られる色素量を、病理標本画像の画素値に適正に再現可能なデータとして送信することができる。
また、色素分光データをパラメータとして含み、この色素分光データを用いて病理標本画像の画素値と色素量との関係をランベルト・ベールの法則によって表した変換モデルを用いて病理標本画像の画素値と色素量との変換を行うこととした。したがって、変換後の画素毎の色素量と、変換に用いた色素分光データのみを端末装置50に送信するだけで端末装置50において病理標本画像の画素値を精度良く再現することができ、端末装置50側で病理標本Sの解析を適正に行うことが可能となる。
(変形例1)
図10は、変形例1における顕微鏡システムを構成するデータ処理装置の画像処理部36aの構成例を示すブロック図である。なお、上記した実施の形態と同一の構成については、同一の符号を付する。図10に示すように、変形例1の画像処理部36aは、色素量変換部37aと、特性情報付加部38を含み、色素量変換部37aは、分光データ選択部371aと、モデル選択部372と、色素量算出部373とを含む。
変形例1では、分光データ選択部371aに対し、画像取得部31を介して顕微鏡装置20から入力され、記憶部35に記憶された病理標本画像D41が入力されるようになっている。この分光データ選択部371aは、入力された病理標本画像D41をもとに、分光データDB351に登録されている属性毎の色素H、色素E、および色素Rの色素分光データの中から、病理標本画像D41の各画素の画素値を色素量に変換するのに最適な色素H、色素E、および色素Rの色素分光データを自動的に選択して読み出す。
具体的には、上記した式(1)において、分光データDB351に登録されているj番目の色素H、色素E、および色素Rの色素分光データをμj i(λ)とし、そのときの分光透過率をfj(λ)として表した次式(2)において、次式(3)に従ってf(λ)との誤差が最小となるjを取得する。そして、取得したj番目の色素H、色素E、および色素Rの色素分光データを分光データDB351から選択して読み出す。なお、ここでは、色素H、色素E、および色素Rの色素分光データを1組のデータとして扱うこととして説明したが、同様の手法で色素Hの色素分光データ、色素Eの色素分光データ、および色素Rの色素分光データを個別に選択する構成としてもよい。
Figure 0005631682
(変形例2)
図11は、変形例2における顕微鏡システムを構成するデータ処理装置の画像処理部36bの構成例を示すブロック図である。なお、上記した実施の形態と同一の構成については、同一の符号を付する。図11に示すように、変形例2の画像処理部36bは、色素量変換部37bと、特性情報付加部38を含み、色素量変換部37bは、分光データ算出部374bと、モデル選択部372と、色素量算出部373とを含む。
変形例2の顕微鏡システムは、その顕微鏡装置が分光センサを備えており、撮像部による病理標本の撮像と同時に、分光センサによって病理標本の分光データが測定できるようになっている。そして、変形例2では、分光データ算出部374bに対し、この分光センサが測定した分光データ(測定データ)D51が入力されるようになっている。この分光データ算出部374bは、分光センサから入力される測定データD51をもとに、色素H、色素E、および色素Rの色素分光データを算出する。この色素H、色素E、および色素Rの色素分光データの算出は、公知の手法を適宜用いることで行う。なお、変形例2では、予め色素H、色素E、および色素Rの色素分光データを用意しておく必要がないため、図11に示すように、変形例2の顕微鏡システムを構成するデータ処理装置の記憶部35bは、上記した実施の形態等で説明した分光データDB351(図2等を参照)を記憶しておく必要がない。
また、上記した実施の形態では、変換モデルとして、ランベルト・ベールの法則による変換モデルを例示したが、別の変換モデルとして、例えば、色素による染色が施されていない無染色の病理標本を観測対象とする場合に用いることができる散乱モデルによる変換モデルが挙げられる。
無染色の病理標本は、色素による染色が施されていない分その特徴が視認し難いが、染色プロセスが不要であるため病理標本の変質がない。ここで、病理標本に含まれる細胞核や細胞質、結合組織等の組織は、各々構造が異なるため、散乱の度合いが異なる。このため、前述のような無染色の病理標本を観測対象とする場合、その病理標本画像の画素値は、次式(4)に示す散乱モデルによる変換モデルで表すことができる。ここで、λは波長を表し、f(λ)は分光透過率を表し、μS(λ)は散乱係数を表し、dは試料の厚みを表す。
Figure 0005631682
この上記式(4)で表される変換モデルをモデル一覧テーブル352に記憶しておき、観測対象の病理標本が色素によって染色されたものなのか染色が施されていない無染色のものなのかに応じて、上記した実施の形態で例示したランベルト・ベールの法則による変換モデルおよび散乱モデルによる変換モデルを選択的に用いるようにしてもよい。
また、上記した実施の形態や変形例では、HE染色された病理標本を対象標本とした場合について説明したが、HE染色以外にも様々な染色法が知られている。これらの染色法は、一般染色、特殊染色および免疫生体組織化学的染色に大別されるが、本発明は、いずれの染色法で染色された病理標本を観測対象とする場合にも同様に適用が可能である。
また、本発明は、上記した実施の形態や変形例そのままに限定されるものではなく、実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。また、実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。
以上のように、本発明の顕微鏡システムおよび配信システムは、病理標本画像の画素値を変換することで得られる色素量を、病理標本画像の画素値に適正に再現可能なデータとして送信するのに適している。
1 配信システム
10 顕微鏡システム
20 顕微鏡装置
21 顕微鏡
22 撮像部
30 データ処理装置
31 画像取得部
32 入力部
33 表示部
34 通信部
35,35b 記憶部
351 分光データDB
352 モデル一覧テーブル
36,36a,36b 画像処理部
37,37a,37b 色素量変換部
371,371a 分光データ選択部
372 モデル選択部
373 色素量算出部
374b 分光データ算出部
38 特性情報付加部
381 付加情報作成部
39 制御部
50 端末装置
51 入力部
52 表示部
53 通信部
54 記憶部
541 受信変換画像データ
542 特性情報DB
55 画像処理部
56 特性情報適用部
561 特性情報分離部
562 特性情報選択部
563 特性情報変換部
564 観察画像合成部
565 病理標本画像再現部
57 制御部
N ネットワーク
S 病理標本

Claims (6)

  1. 顕微鏡を利用して所定の色素で染色された病理標本の病理標本画像を取得する画像取得手段と、
    前記色素の色素分光データを病理標本自体の属性毎に登録したデータベースを記憶する記憶手段と、
    前記画像取得手段が前記病理標本画像を取得した前記病理標本自体の属性に応じて、前記色素の色素分光データを前記データベースから選択する分光データ選択手段と、
    前記色素の特性であって、前記病理標本自体の属性に応じて前記分光データ選択手段により選択された色素分光データを含む前記色素の特性を用い、前記病理標本画像の画素値を対応する前記病理標本上の標本点における前記色素の色素量に変換する色素量変換手段と、
    前記色素量変換手段が変換した画素毎の前記色素量に、前記変換の際に用いた前記色素分光データを含む前記色素の特性を付加することで変換画像データを作成する特性情報付加手段と、
    前記変換画像データを外部装置に送信する送信手段と、
    を備えることを特徴とする顕微鏡システム。
  2. 前記特性情報付加手段は、前記変換の際に用いた前記色素分光データを含む付加情報を作成する付加情報作成手段を有し、前記画素毎の前記色素量に前記付加情報を付加して前記変換画像データを作成することを特徴とする請求項1に記載の顕微鏡システム。
  3. 前記色素量変換手段は、前記色素の特性を用いて表される所定の変換モデルに従って前記病理標本画像の画素値を前記色素量に変換し、
    前記付加情報作成手段は、前記変換モデルの特定情報を含めて前記付加情報を作成することを特徴とする請求項2に記載の顕微鏡システム。
  4. 顕微鏡システムと端末装置とがネットワークを介して接続された配信システムであって、
    前記顕微鏡システムは、
    顕微鏡を利用して所定の色素で染色された病理標本の病理標本画像を取得する画像取得手段と、
    前記色素の色素分光データを病理標本自体の属性毎に登録したデータベースを記憶する記憶手段と、
    前記画像取得手段が前記病理標本画像を取得した前記病理標本自体の属性に応じて、前記色素の色素分光データを前記データベースから選択する分光データ選択手段と、
    前記色素の特性であって、前記病理標本自体の属性に応じて前記分光データ選択手段により選択された色素分光データを含む前記色素の特性を用い、前記病理標本画像の画素値を対応する前記病理標本上の標本点における前記色素の色素量に変換する色素量変換手段と、
    前記色素量変換手段が変換した画素毎の前記色素量に、前記変換の際に用いた前記色素分光データを含む前記色素の特性を付加することで変換画像データを作成する特性情報付加手段と、
    前記変換画像データを外部装置に送信する送信手段と、
    を備え、
    前記端末装置は、
    前記顕微鏡システムから送信された前記変換画像データを受信する受信手段と、
    前記変換画像データを構成する前記画素毎の前記色素量および前記色素の特性をもとに、前記病理標本画像の画素値を再現する画像再現手段と、
    を備えることを特徴とする配信システム。
  5. 前記色素量変換手段は、前記色素の特性を用いて表される所定の変換モデルに従って前記病理標本画像の画素値を前記色素量に変換し、
    前記特性情報付加手段は、前記変換モデルの特定情報をさらに付加して前記変換画像データを作成し、
    前記画像再現手段は、前記変換画像データを構成する前記変換モデルの特定情報によって特定される前記変換モデルに従って、前記画素毎の前記色素量を前記病理標本画像の画素値に変換することを特徴とする請求項に記載の配信システム。
  6. 前記端末装置は、
    前記再現手段によって再現された前記病理標本画像の画素値をもとに観察画像を合成する画像合成手段と、
    前記観察画像を表示する表示手段と、
    を備えることを特徴とする請求項に記載の配信システム。
JP2010222804A 2010-09-30 2010-09-30 顕微鏡システムおよび配信システム Expired - Fee Related JP5631682B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010222804A JP5631682B2 (ja) 2010-09-30 2010-09-30 顕微鏡システムおよび配信システム
US13/214,537 US9285577B2 (en) 2010-09-30 2011-08-22 Microscope system and data distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010222804A JP5631682B2 (ja) 2010-09-30 2010-09-30 顕微鏡システムおよび配信システム

Publications (2)

Publication Number Publication Date
JP2012078177A JP2012078177A (ja) 2012-04-19
JP5631682B2 true JP5631682B2 (ja) 2014-11-26

Family

ID=45889476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010222804A Expired - Fee Related JP5631682B2 (ja) 2010-09-30 2010-09-30 顕微鏡システムおよび配信システム

Country Status (2)

Country Link
US (1) US9285577B2 (ja)
JP (1) JP5631682B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977017B2 (en) * 2011-09-15 2015-03-10 The General Hospital Corporation System and method for support of medical diagnosis
JP2021076858A (ja) * 2021-01-26 2021-05-20 一般社団法人白亜会 顕微鏡画像の自動撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3469619B2 (ja) 1993-10-22 2003-11-25 オリンパス光学工業株式会社 色分類装置
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US5732150A (en) * 1995-09-19 1998-03-24 Ihc Health Services, Inc. Method and system for multiple wavelength microscopy image analysis
JP2001027624A (ja) * 1999-07-14 2001-01-30 Shimadzu Corp 熱分析装置のデータ処理装置
US7171030B2 (en) * 2000-11-30 2007-01-30 University Of Medicine & Denistry Of New Jersey Systems for analyzing microtissue arrays
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
EP2469439A2 (en) 2003-09-29 2012-06-27 Pathwork Diagnostics, Inc. Systems and methods for detecting biological features
JP2005233803A (ja) * 2004-02-20 2005-09-02 Shimadzu Corp 分光光度計
JP4845127B2 (ja) * 2007-03-07 2011-12-28 株式会社リコー 画像処理装置
JP4853342B2 (ja) * 2007-03-16 2012-01-11 株式会社島津製作所 機器分析用制御装置及び制御プログラム
JP5202071B2 (ja) 2008-03-31 2013-06-05 株式会社日立ハイテクノロジーズ 荷電粒子顕微鏡装置及びそれを用いた画像処理方法
JP5478084B2 (ja) * 2009-01-23 2014-04-23 オリンパス株式会社 画像処理システム、画像処理装置および画像処理端末
US20100201800A1 (en) * 2009-02-09 2010-08-12 Olympus Corporation Microscopy system

Also Published As

Publication number Publication date
JP2012078177A (ja) 2012-04-19
US20120081534A1 (en) 2012-04-05
US9285577B2 (en) 2016-03-15

Similar Documents

Publication Publication Date Title
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
Yagi et al. Digital imaging in pathology: the case for standardization
JP5490568B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
US8503743B2 (en) Image processing system, image processing device and image processing terminal
JP5161052B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
EP2370951B1 (en) Generation of a multicolour image of an unstained biological specimen
JP5185151B2 (ja) 顕微鏡観察システム
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
WO2013100025A1 (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
EP2544141A1 (en) Diagnostic information distribution device and pathology diagnosis system
JP5878981B2 (ja) 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法
JP2012122852A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
US9031304B2 (en) Image processing system
WO2008023629A1 (fr) dispositif de traitement d'image, procédé de traitement D'IMAGE, et programme de traitement d'image
JP2010169467A (ja) 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
JP5137481B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2010261762A (ja) 標本作成装置および標本作成方法
JP5631682B2 (ja) 顕微鏡システムおよび配信システム
JP2008304205A (ja) 分光特性推定装置および分光特性推定プログラム
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140708

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141008

R151 Written notification of patent or utility model registration

Ref document number: 5631682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees