JP5560966B2 - 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム - Google Patents

顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム Download PDF

Info

Publication number
JP5560966B2
JP5560966B2 JP2010151391A JP2010151391A JP5560966B2 JP 5560966 B2 JP5560966 B2 JP 5560966B2 JP 2010151391 A JP2010151391 A JP 2010151391A JP 2010151391 A JP2010151391 A JP 2010151391A JP 5560966 B2 JP5560966 B2 JP 5560966B2
Authority
JP
Japan
Prior art keywords
digital
digital processing
predetermined
image
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010151391A
Other languages
English (en)
Other versions
JP2012014013A (ja
Inventor
健治 山根
直樹 田上
能宏 脇田
雅人 梶本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010151391A priority Critical patent/JP5560966B2/ja
Priority to EP11169435.2A priority patent/EP2402812B1/en
Priority to CN201110173663XA priority patent/CN102313981A/zh
Priority to US13/169,262 priority patent/US8947517B2/en
Publication of JP2012014013A publication Critical patent/JP2012014013A/ja
Application granted granted Critical
Publication of JP5560966B2 publication Critical patent/JP5560966B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/509Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システムに関する。
近年、顕微鏡によって観察されたサンプルの画像をデジタル化し、デジタル化されたサンプルの画像を任意のディスプレイ上に表示して観察することが可能な技術について、検討が行われている(例えば、以下の特許文献1を参照。)。
デジタル化されたサンプルの画像を、ネットワーク上に存在するサーバに一旦格納し、かかるサーバを介して、格納されている画像を閲覧することが可能となれば、ネットワークを用いて遠隔地の医師が病理診断を行う、いわゆるテレパソロジー(telepathology)の発展を促すことが可能となる。
このようなデジタル顕微鏡システムにおいて、サーバを介して撮影した画像を閲覧するためには、顕微鏡を制御して、CCDやCMOSセンサの信号をデジタルデータとして取得(撮影)し、取得した画像データを加工してJPEGなどのデータに圧縮し、そのデータを、サーバにアップロードする、という手順が行われることとなる。顕微鏡画像の閲覧希望者は、顕微鏡画像を閲覧するための端末(以下では、ビューワー(viewer)とも称する。)を操作してサーバに接続し、閲覧を希望する顕微鏡画像を取得することとなる。
特開2009−63658号公報
ここで、このようなデジタル顕微鏡システムで行われる顕微鏡の制御は、撮影するサンプル(検体)によって異なり、サンプルを撮像するための露光時間やオートフォーカス等の制御アルゴリズムを制御することで、顕微鏡を制御する顕微鏡制御装置にかかる負荷は、随時変化することとなる。
従って、サンプル画像に対応するデジタルデータに対して所定のデジタル加工を行う装置が決まっている場合(例えば、サーバでの実施に固定されていたり、顕微鏡制御装置での実施に固定されていたりする場合)、全体の処理系として効率が低下する場合がある。そのため、システム全体としてデジタル加工処理に遅滞が生じ、撮像したサンプルの画像を端末であるビューワーで閲覧するまでに時間を要することがあった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、デジタル加工処理に起因する遅滞を低減し、顕微鏡にて撮像したサンプル画像をより速やかに閲覧可能な状態とすることが可能な、顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、所定のサンプルのデジタル拡大画像を撮像する顕微鏡の駆動を制御するとともに、当該デジタル拡大画像を外部に設けられたサーバに対して出力する駆動制御部と、撮像された前記デジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理部と、前記デジタル拡大画像の撮像処理に要する負荷を算出する負荷算出部と、前記負荷算出部により算出された負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記デジタル加工処理部による前記所定のデジタル加工処理を実施するかを判定するデジタル加工判定部と、を備える顕微鏡制御装置が提供される。
前記負荷算出部は、前記駆動制御部から取得した前記デジタル拡大画像の撮像条件、及び、予め設けられた負荷値予想テーブルの少なくとも何れか一方に基づいて、前記デジタル拡大画像の撮像処理に要する負荷値を算出してもよい。
前記デジタル加工処理部は、前記デジタル加工処理として、撮像された前記デジタル拡大画像の変換処理を実施してもよい。
前記所定のサンプルのデジタル拡大画像は、複数枚のデジタル画像からなり、前記デジタル加工処理部は、前記デジタル加工処理として、前記複数枚のデジタル画像が前記サーバの格納領域内で互いに略等距離となるように、前記複数枚のデジタル画像の並び変えを実施してもよい。
前記デジタル加工判定部は、前記負荷算出部により算出された負荷値が前記サーバの負荷値よりも低い場合、前記デジタル加工処理部に対して、前記所定のデジタル加工処理の実施を要請し、前記駆動制御部は、前記所定のデジタル加工処理がなされた前記デジタル拡大画像のデータを、前記所定のデジタル加工処理がなされたことを示す識別情報とともに前記サーバに出力してもよい。
前記デジタル加工判定部は、前記負荷算出部により算出された負荷値が前記サーバの負荷値よりも高い場合、前記所定のデジタル加工処理を前記サーバにおいて実施することを決定し、前記駆動制御部は、前記所定のデジタル加工処理が行われていない前記デジタル拡大画像のデータを、前記所定のデジタル加工処理が行われなかったことを示す識別情報とともに前記サーバに出力してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを取得して、所定の格納領域に格納する画像データ格納処理部と、前記所定の格納領域に格納された前記デジタル拡大画像のデータを、外部に設けられた装置に提供する画像データ提供処理部と、前記画像データ格納処理部が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理部と、を備える画像管理サーバが提供される。
前記デジタル拡大画像のデータを格納するデータ格納処理、格納されている前記デジタル拡大画像のデータを提供するデータ提供処理、及び、前記所定のデジタル加工処理の実施に要する負荷の合計を算出し、算出した負荷の合計を前記顕微鏡を制御する顕微鏡制御装置に出力する負荷算出部を更に備えることが好ましい。
前記デジタル加工処理部は、前記デジタル加工処理として、撮像された前記デジタル拡大画像の変換処理を実施してもよい。
前記所定のサンプルのデジタル拡大画像は、複数枚のデジタル画像からなり、前記デジタル加工処理部は、前記デジタル加工処理として、前記複数枚のデジタル画像が前記所定の格納領域内で互いに略等距離となるように、前記複数枚のデジタル画像の並び変えを実施してもよい。
また、上記課題を解決するために、本発明の更に別の観点によれば、顕微鏡による所定のサンプルに対応するデジタル拡大画像の撮像処理に要する負荷を算出するステップと、前記所定のサンプルに対応するデジタル拡大画像が格納されるサーバにおける負荷を取得するステップと、算出された前記負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記デジタル拡大画像に対する所定のデジタル加工処理を実施するかを判定するステップと、を含む画像処理方法が提供される。
また、上記課題を解決するために、本発明の更に別の観点によれば、顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを取得するステップと、取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されているかを判定するステップと、前記所定のデジタル加工処理が行われなかったことを示す識別情報が付与された前記デジタル拡大画像に対して、所定のデジタル加工処理を実施するステップと、所定のデジタル加工処理の実施された前記デジタル拡大画像のデータを所定の格納領域に格納するステップと、を含む画像処理方法が提供される。
また、上記課題を解決するために、本発明の更に別の観点によれば、所定のサンプルのデジタル拡大画像を撮像する顕微鏡を制御するコンピュータに、前記顕微鏡の駆動を制御するとともに、撮像された前記デジタル拡大画像を外部に設けられたサーバに対して出力する駆動制御機能と、撮像された前記デジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理機能と、前記デジタル拡大画像の撮像処理に要する負荷を算出する負荷算出機能と、前記負荷算出機能により算出された負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記所定のデジタル加工処理を実施するかを判定するデジタル加工判定機能と、を実現させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを取得して、所定の格納領域に格納する画像データ格納処理機能と、前記所定の格納領域に格納された前記デジタル拡大画像のデータを、外部に設けられた装置に提供する画像データ提供処理機能と、前記画像データ格納処理機能が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理機能と、を実現させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の更に別の観点によれば、上記顕微鏡制御装置と、上記画像管理サーバとを備える画像管理システムが提供される。
以上説明したように本発明によれば、デジタル加工処理に起因する遅滞を低減し、顕微鏡にて撮像したサンプル画像をより速やかに閲覧可能な状態とすることが可能となる。
本発明の第1の実施形態に係る顕微鏡画像管理システムを示した説明図である。 同実施形態に係る顕微鏡及び顕微鏡制御装置の構成を示した説明図である。 同実施形態に係る顕微鏡制御装置が有する統括制御部の構成を示したブロック図である。 同実施形態に係る負荷値の予測方法の一例を示した説明図である。 同実施形態に係る負荷値の予測方法の一例を示した説明図である。 同実施形態に係る負荷値の予測方法の一例を示した説明図である。 タイル画像の格納順について説明するための説明図である。 タイル画像の格納順について説明するための説明図である。 同実施形態に係るタイル画像について説明するための説明図である。 同実施形態に係る顕微鏡画像データのデータ構造の一例を示した説明図である。 同実施形態に係る顕微鏡画像データのデータ構造の一例を示した説明図である。 同実施形態に係るデジタル加工処理の一例を示した説明図である。 同実施形態に係るデジタル加工処理の一例を示した説明図である。 同実施形態に係る顕微鏡画像データのデータ構造の一例を示した説明図である。 同実施形態に係る画像管理サーバの構成を示したブロック図である。 同実施形態に係る画像処理方法の流れを示した流れ図である。 同実施形態に係る画像処理方法の流れを示した流れ図である。 同実施形態に係る画像処理方法の流れを示した流れ図である。 同実施形態に係る画像処理方法の流れを示した流れ図である。 同実施形態に係る画像処理方法の流れを示した流れ図である。 同実施形態に係る画像処理方法の流れを示した流れ図である。 同実施形態に係るタイル画像の格納順変換処理の流れを示した流れ図である。 本発明の実施形態に係る顕微鏡制御装置のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
(1)第1の実施形態
(1−1)顕微鏡画像管理システムの構成について
(1−2)顕微鏡の全体構成について
(1−3)顕微鏡制御装置の全体構成について
(1−4)統括制御部の構成について
(1−5)アップロードされるデータのフォーマット
(1−6)画像管理サーバの構成について
(1−7)画像処理方法について
(1−8)タイル画像格納順の変換処理について
(2)本発明の実施形態に係る顕微鏡制御装置及び画像管理サーバのハードウェア構成について
(3)まとめ
なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルを例に挙げて説明を行うが、かかる場合に限定されるわけではない。
(第1の実施形態)
<顕微鏡画像管理システムの構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る顕微鏡画像管理システム1の構成について説明する。図1は、本実施形態に係る顕微鏡画像管理システム1の構成を示した説明図である。
本実施形態に係る顕微鏡画像管理システム1は、図1に示したように、顕微鏡10と、顕微鏡制御装置20と、画像管理サーバ30と、画像表示装置40とを有する。また、顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40は、ネットワーク3を介して接続されている。
ネットワーク3は、本実施形態に係る顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40を互いに双方向通信可能に接続する通信回線網である。このネットワーク3は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網などで構成されており、有線/無線を問わない。また、このネットワーク3は、本実施形態に係る顕微鏡画像管理システム1に専用に設けられた通信回線網であってもよい。
顕微鏡10は、当該顕微鏡10のステージ上に載置されたサンプル(例えば生体サンプル)に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡10の全体構成については、以下で改めて詳細に説明する。
顕微鏡10は、顕微鏡制御装置20によって駆動制御されており、顕微鏡10が撮像したサンプル画像は、顕微鏡制御装置20を介して画像管理サーバ30に格納される。
顕微鏡制御装置20は、サンプルを撮像する顕微鏡10の駆動制御を行う装置である。顕微鏡制御装置20は、顕微鏡10を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置20は、得られたサンプルのデジタル画像データを、画像管理サーバ30にアップロードする。この顕微鏡制御装置20の詳細な構成については、以下で改めて詳細に説明する。
画像管理サーバ30は、顕微鏡10によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ30は、顕微鏡制御装置20からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ30は、閲覧者が操作する画像表示装置40(すなわち、ビューワーに対応する装置)から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置40に提供する。
更に、本実施形態に係る画像管理サーバ30は、必要に応じて、顕微鏡10によって撮像されたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施することもある。以下で詳細に説明するように、本実施形態に係る顕微鏡画像管理システム1では、顕微鏡制御装置20及び画像管理サーバ30の負荷状況に応じて、デジタル画像データに対して実施される所定のデジタル加工処理を実施する装置を動的に変更する。
本実施形態に係る画像管理サーバ30の詳細な構成については、以下で改めて説明する。
画像表示装置40は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末(すなわち、ビューワーに対応する装置)である。デジタル画像データの閲覧希望者は、画像管理サーバ30に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ30に対して要請する。画像管理サーバ30からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置40のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。
なお、図1では、システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30がそれぞれ1台ずつ存在する場合について図示しているが、顕微鏡画像管理システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30の台数は図1の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。
<顕微鏡の全体構成について>
続いて、図2を参照しながら、本実施形態に係る顕微鏡10の全体構成について説明する。図2は、本実施形態に係る顕微鏡10及び顕微鏡制御装置20の全体構成を示した説明図である。
[全体構成]
本実施形態に係る顕微鏡10は、図2に例示したように、生体サンプルSPLが配設されるプレパラートPRT全体の像(以下、この像をサムネイル像とも称する。)を撮像するサムネイル像撮像部110と、生体サンプルSPLが所定倍率で拡大された像(以下、この像を拡大像とも称する。)を撮像する拡大像撮像部120と、を有する。
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルSPLを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、HE(ヘマトキシリン・エオシン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In−Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
また、プレパラートPRTには、対応する生体サンプルSPLを特定するための付帯情報(例えば、サンプルを採取した人の氏名、採取日時、染色の種類等)が記載されたラベルが貼付されていてもよい。
本実施形態に係る顕微鏡10には、上述のようなプレパラートPRTが載置されるステージ130が設けられており、更に、ステージ130を様々な方向に移動させるためのステージ駆動機構135が設けられている。このステージ駆動機構135により、ステージ130を、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)に自由に移動させることができる。
また、本実施形態に係る顕微鏡10には、サンプルSPLを含むプレパラートPRTをステージ10に搬送するサンプル搬送装置141が設けられていても良い。かかる搬送装置141を設けることで、ステージ10に、撮像予定のサンプルが自動的に設置されるようになり、サンプルSPLの入れ替えを自動化することが可能となる。
[サムネイル像撮像部]
サムネイル像撮像部110は、図2に示したように、光源111と、対物レンズ112と、撮像素子113と、を主に備える。
光源111は、ステージ130のプレパラート配置面とは逆の面側に設けられる。光源111は、一般染色が施された生体サンプルSPLを照明する光(以下、明視野照明光、又は、単に照明光とも称する。)と、特殊染色が施された生体サンプルSPLを照明する光(以下、暗視野照明光とも称する。)と、を切り換えて照射可能である。また、光源111は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源111として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の2種類の光源が設けられることとなる。
更に、サムネイル像撮像部110には、プレパラートPRTに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源(図示せず。)が別途設けられていてもよい。
所定倍率の対物レンズ112は、プレパラート配置面におけるサムネイル像撮像部110の基準位置の法線を光軸SRAとして、ステージ130のプレパラート配置面側に配設される。ステージ130上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ112によって集光されて、対物レンズ112の後方(すなわち、照明光の進行方向)に設けられた撮像素子113に結像する。
撮像素子113には、ステージ130のプレパラート配置面に載置されたプレパラートPRT全体を包括する撮像範囲の光(換言すれば、プレパラートPRT全体を透過した透過光)が結像する。この撮像素子113上に結像した像が、プレパラートPRT全体を撮像した顕微鏡画像であるサムネイル像となる。
[拡大像撮像部]
拡大像撮像部120は、図2に示したように、光源121と、コンデンサレンズ122と、対物レンズ123と、撮像素子124と、を主に備える。
光源121は、明視野照明光を照射するものであり、ステージ130のプレパラート配置面とは逆の面側に設けられる。また、光源121とは異なる位置(例えばプレパラート配置面側)には、暗視野照明光を照射する光源(図示せず。)が設けられる。
コンデンサレンズ122は、光源121から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ130上のプレパラートPRTに導くレンズである。このコンデンサレンズ122は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、光源121とステージ130との間に配設される。
所定倍率の対物レンズ123は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、ステージ130のプレパラート配置面側に配設される。拡大像撮像部120では、この対物レンズ123を適宜交換することで、生体サンプルSPLを様々な倍率に拡大して撮像することが可能となる。ステージ130上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ123によって集光されて、対物レンズ123の後方(すなわち、照明光の進行方向)に設けられた撮像素子124に結像する。
撮像素子124には、撮像素子124の画素サイズ及び対物レンズ123の倍率に応じて、ステージ130のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ123により生体サンプルSPLの一部が拡大されるため、上述の撮像範囲は、撮像素子113の撮像範囲に比べて十分に狭い範囲となる。
ここで、サムネイル像撮像部110及び拡大像撮像部120は、図2に示したように、それぞれの基準位置の法線である光軸SRAと光軸ERAとがY軸方向に距離Dだけ離れるように配置される。この距離Dは、撮像素子113の撮像範囲に拡大像撮像部120の対物レンズ123を保持する鏡筒(図示せず)が写りこむことなく、かつ小型化のために近い距離に設定される。
なお、サムネイル像撮像部110及び拡大像撮像部120それぞれに設けられる撮像素子は、1次元撮像素子であってもよく、2次元撮像素子であってもよい。
<顕微鏡制御装置の全体構成について>
本実施形態に係る顕微鏡10には、図2に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置20が接続されている。この顕微鏡制御装置20は、図2に示したように、統括制御部201と、照明制御部203と、ステージ駆動制御部205と、サムネイル像撮像制御部207と、拡大像撮像制御部209と、記憶部211と、を主に備える。
ここで、照明制御部203は、光源111及び光源121を含む、顕微鏡10が備える各種の光源を制御する処理部であり、ステージ駆動制御部205は、ステージ駆動機構135を制御する処理部である。また、サムネイル像撮像制御部207は、サムネイル像を撮像するための撮像素子113を制御する処理部であり、拡大像撮像制御部209は、生体サンプルSPLの拡大像を撮像するための撮像素子124を制御する処理部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
また、本実施形態に係る顕微鏡制御装置20には、顕微鏡全体の制御を行う制御部(統括制御部201)が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
これらの制御部は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ストレージ装置、通信装置及び演算回路等により実現されるものである。
記憶部211は、本実施形態に係る顕微鏡制御装置20が備えるストレージ装置の一例である。記憶部211には、本実施形態に係る顕微鏡10を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部211には、顕微鏡10におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部211には、本実施形態に係る顕微鏡制御装置20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
この記憶部211は、顕微鏡制御装置20が備える各処理部が自由に読み書きを行うことが可能である。
以下では、統括制御部201を除く上記制御部について、その機能を簡単に説明するものとする。また、統括制御部201については、以下で改めて詳細に説明する。
[照明制御部]
照明制御部203は、本実施形態に係る顕微鏡10が備える各種の光源を制御する処理部である。照明制御部203は、統括制御部201から生体サンプルSPLの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
例えば、照明制御部203が、サムネイル像撮像部110に設けられた光源111の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野像を取得すべきモード(以下、明視野モードとも称する。)又は暗視野像を取得すべきモード(以下、暗視野モードとも称する。)のどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源111に対して設定し、光源111から、各モードに適した照明光を照射させる。これにより、光源111から照射された照明光が、ステージ130の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
また、照明制御部203が、拡大像撮像部120に設けられた光源121の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源121に対して設定し、光源121から、各モードに適した照明光を照射させる。これにより、光源121から照射された照明光が、ステージ130の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
[ステージ駆動制御部]
ステージ駆動制御部205は、本実施形態に係る顕微鏡10に設けられたステージを駆動するためのステージ駆動機構135を制御する処理部である。ステージ駆動制御部205は、統括制御部201から生体サンプルSPLの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構135の制御を行う。
例えば、本実施形態に係る顕微鏡10により、サムネイル像を撮像する場合に着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLのサムネイル像を撮像する旨の情報が出力されると、プレパラートPRT全体が撮像素子113の撮像範囲に入るように、ステージ面方向(X―Y軸方向)にステージ130を移動させる。また、ステージ駆動制御部205は、プレパラートPRT全体に対物レンズ112の焦点が合うように、ステージ130をZ軸方向に移動させる。
また、本実施形態に係る顕微鏡10により、拡大像を撮像する場合について着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLの拡大像を撮像する旨の情報が出力されると、ステージ駆動機構135を駆動制御し、光源111と対物レンズ112との間からコンデンサレンズ122と対物レンズ123との間に生体サンプルSPLが位置するよう、ステージ面方向にステージ130を移動させる。
また、ステージ駆動制御部205は、撮像素子124に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向(X−Y軸方向)にステージ130を移動させる。
更に、ステージ駆動制御部205は、ステージ駆動機構135を駆動制御して、所定の撮影範囲内に位置する生体サンプルSPLの部位が対物レンズ123の焦点に合うように、ステージ面に直交する方向(Z軸方向、組織切片の奥行方向)にステージ130を移動させる。
[サムネイル像撮像制御部]
サムネイル像撮像制御部207は、サムネイル像撮像部110に設けられた撮像素子113の制御を行う処理部である。サムネイル像撮像制御部207は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子113に設定する。また、サムネイル像撮像制御部207は、撮像素子113から出力される、撮像素子113の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル像に対応する出力信号とする。サムネイル像撮像制御部207は、サムネイル像に対応する出力信号を取得すると、取得した信号に対応するデータ(RAWデータ)を統括制御部201に出力する。なお、サムネイル像撮像制御部207が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
[拡大像撮像制御部]
拡大像撮像制御部209は、拡大像撮像部120に設けられた撮像素子124の制御を行う処理部である。拡大像撮像制御部209は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子124に設定する。また、拡大像撮像制御部209は、撮像素子124から出力される、撮像素子124の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大像に対応する出力信号とする。拡大像撮像制御部209は、拡大像に対応する出力信号を取得すると、取得した信号に対応するデータ(RAWデータ)を統括制御部201に出力する。なお、拡大像撮像制御部209が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
<統括制御部の構成について>
統括制御部201は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。以下では、図3を参照しながら、本実施形態に係る顕微鏡制御装置20が備える統括制御部201の構成について、詳細に説明する。図3は、本実施形態に係る統括制御部201の構成を示したブロック図である。
本実施形態に係る統括制御部201は、図3に示したように、統括駆動制御部251と、デジタル加工判定部253と、負荷算出部255と、デジタル加工処理部257と、通信制御部259と、を主に備える。
統括駆動制御部251は、例えば、CPU、ROM、RAM等により実現される。統括駆動制御部251は、本実施形態に係る顕微鏡10の各部位を制御する制御部(照明制御部203、ステージ駆動制御部205、サムネイル像撮像制御部207及び拡大像撮像制御部209)を統括的に制御する駆動制御部である。統括駆動制御部251は、顕微鏡10の各部位に対して、各種の情報(例えば各種の設定パラメータ等)を設定したり、顕微鏡10の各部位から各種の情報を取得したりする。また、統括駆動制御部251は、サムネイル像撮像制御部207から出力されたサムネイル像に対応するデータ(以下、サムネイル像データと称する。)や、拡大像撮像制御部209から出力された拡大像に対応するデータ(以下、拡大像データと称する。)を取得する。
統括駆動制御部251は、顕微鏡10の各部位の駆動制御を行うにあたって、記憶部211等に格納されている各種のデータベースや履歴情報を参照することが可能である。また、統括駆動制御部251は、取得したサムネイル像データや拡大像データを、記憶部211等に一時的に格納してもよい。
統括駆動制御部251は、サムネイル像データや拡大像データを顕微鏡10から取得した場合、以下で説明するデジタル加工判定部253、負荷算出部255及びデジタル加工処理部257等と連携しながら、画像データに対する各種の処理を実施する。
また、統括駆動制御部251は、撮像されたサンプルのデジタル画像データ(サムネイル像データ及び拡大像データ)や、これらに関連付けられた各種メタデータを、後述する通信制御部259を介して、画像管理サーバ30にアップロードする。
統括駆動制御部251は、画像管理サーバ30に拡大像データをアップロードする際には、後述するように、所定のデジタル加工処理を実施したか否かを示す識別情報を関連づける。
デジタル加工判定部253は、例えば、CPU、ROM、RAM等により実現される。デジタル加工判定部253は、後述する負荷算出部255により算出された負荷値と、画像管理サーバ30から取得したサーバの負荷値とに基づいて、後述するデジタル加工処理部257による所定のデジタル加工処理を実施するか否かを判定する。
より詳細には、デジタル加工判定部253は、統括駆動制御部251が拡大像の撮像制御を開始する場合に、統括駆動制御部251から撮像条件を取得して、取得した撮像条件を負荷算出部255に出力する。また、デジタル加工判定部253は、取得した撮像条件の出力とともに、負荷算出部255に、拡大像の撮像処理に要する負荷値(より詳細には、拡大像の撮像処理の制御に要する負荷値)の算出を要請する。
また、デジタル加工判定部253は、統括駆動制御部251及び通信制御部259を介して、画像管理サーバ30に当該サーバの負荷値を問い合わせる。
その後、デジタル加工判定部253は、負荷算出部255から取得した顕微鏡制御装置20の負荷値と、画像管理サーバ30から取得したサーバの負荷値とを比較して、顕微鏡制御装置20でデジタル加工処理を行うか否かの判定を行う。
より詳細には、デジタル加工判定部253は、負荷算出部255により算出された負荷値がサーバの負荷値よりも低い場合、デジタル加工処理部257に対して、所定のデジタル加工処理の実施を要請する。また、デジタル加工判定部253は、負荷算出部255により算出された負荷値がサーバの負荷値よりも高い場合、所定のデジタル加工処理を画像管理サーバ30において実施することを決定する。
デジタル加工判定部253は、デジタル加工処理の実施に関する判定結果が確定すると、得られた判定結果を統括駆動制御部251に出力する。統括駆動制御部251は、デジタル加工判定部253から出力された判定結果に応じて、デジタル加工処理がなされたか否かを示す識別情報を、画像管理サーバ30にアップロードする拡大像データに関連づける。また、顕微鏡制御装置20でデジタル加工処理を実施する場合には、デジタル加工判定部253は、デジタル加工処理部257にデジタル加工処理の実施を要請する。
負荷算出部255は、例えば、CPU、ROM、RAM等により実現される。負荷算出部255は、拡大像の撮像処理(より詳細には、拡大像の撮像処理の制御)に要する負荷を算出する処理部である。
負荷算出部255は、デジタル加工判定部253から負荷値の算出を要請されると、統括駆動制御部251から拡大像の撮像条件を取得する。拡大像の撮像条件としては、例えば、露光時間、光量、撮像領域、オートフォーカス制御の有無等を挙げることができる。また、撮像条件として、撮像モードの種類(例えば、明視野撮像モード、暗視野撮像モードなど)が含まれていてもよい。
サンプルを撮像するために露光をしている間は、顕微鏡制御装置20は負荷が低い状態となることが多い。また、サンプルの蛍光画像を撮像する(すなわち、暗視野照明下でサンプルを撮像する)場合には、通常の明視野照明下でのサンプルの撮像に比べて、露光時間が長くなる。従って、露光時間が相対的に長い場合には、顕微鏡制御装置20の負荷は低くなると考えられる。
光量が多い場合には、SN比の良好な撮像素子からの出力信号を得るための露光時間が相対的に短くなると考えられる。そのため、光量が相対的に多い場合には、顕微鏡制御装置20の負荷は高くなると考えられる。
また、撮像領域が相対的に広い場合には、より多くの領域を撮像することとなるため、顕微鏡制御装置20の負荷は高くなると考えられる。また、撮像領域の広さは、拡大像の撮像に先立って行われるサムネイル像の大きさから、特定することが可能である。
また、顕微鏡のオートフォーカス処理を実施する場合には、顕微鏡制御装置20は顕微鏡10の光学系を、サンプルが合焦点状態となるように制御することとなる。従って、かかる場合には、顕微鏡制御装置20の負荷は高くなると考えられる。
このような知見をもとに、負荷算出部255は、拡大像の撮像条件に基づいて、拡大像の撮像処理の制御に要する負荷を算出する。
ここで、顕微鏡制御装置20の負荷値を算出する方法は特に限定されるわけではなく、任意の方法を利用することが可能である。例えば、負荷算出部255は、記憶部211に格納されている履歴情報(撮像条件と、当該撮像条件における実際の負荷値とが関連づけられた履歴情報)を参照して、撮像条件から負荷値を算出することができる。また、これらの撮像条件と負荷値との間の相関関数を予め決定しておいた上で、負荷算出部255は、かかる相関関数を利用して負荷値を算出することが可能である。
また、負荷算出部255は、記憶部211等に格納されている負荷予想テーブルを利用して、拡大像の撮像に伴う負荷値を予測してもよい。以下では、図4〜図6を参照しながら、負荷予想テーブルを利用した負荷値の予測方法について、簡単に説明する。図4〜図6は、本実施形態に係る負荷値の予測方法の一例を示した説明図である。
本実施形態に係る顕微鏡10では、あるサンプルに対して、サムネイル像撮像部110がプレパラート全体を撮像したサムネイル像と、拡大像撮像部120がサンプルを詳細に撮像した拡大像とが生成される。統括駆動制御部251は、サンプルのサムネイル像を参照して、プレパラート内におけるサンプル(検体)の位置を検出するとともに、プレパラート内においてサンプルが位置している領域を、拡大像を撮像すべき領域と判断する。統括駆動制御部251は、拡大像を撮像すべき領域を、顕微鏡10の倍率に応じて複数のサブ領域に分割し、これらサブ領域それぞれを撮像していく。これにより、1つのサンプルに関する拡大像は、複数のサブ領域を撮像した画像(以下、サブ領域画像とも称する。)から構成されることとなる。
図4は、あるサンプルに関する拡大像を構成するサブ領域画像の枚数と、記憶部211に格納されている負荷予想テーブルとを利用して、顕微鏡制御装置20の負荷値を予測する例を示している。負荷予想テーブルでは、図4に示したように、サブ領域画像の撮像枚数と、その枚数を撮像する場合の負荷値とが互いに関連づけられている。従って、負荷算出部255は、統括駆動制御部251から撮像条件としてサブ領域画像の枚数を取得して、取得したサブ領域画像の枚数に応じて負荷値を予測する。
図4に示した例では、ラベルの付与されたプレパラートPRTに存在するサンプルSPLが9個のサブ領域に分割される場合について示している。この場合、負荷算出部255は、サブ領域画像の枚数に基づいて負荷予想テーブルを参照して、負荷値を1.00と予測する。
また、統括駆動制御部251は、1つのサブ領域画像を、複数枚のタイル画像から構成する。従って、あるサンプルに関する拡大像は、複数のサブ領域画像から構成されており、各サブ領域画像は、複数のタイル画像から構成されることとなる。そこで、負荷算出部255は、拡大像を構成するサブ領域画像の枚数ではなく、拡大像を構成するタイル画像の枚数に応じて、顕微鏡制御装置20の負荷値を予測してもよい。
図5は、あるサンプルに関する拡大像を構成するタイル画像の枚数と、記憶部211に格納されている負荷予想テーブルとを利用して、顕微鏡制御装置20の負荷値を予測する例を示している。負荷予想テーブルでは、図5に示したように、タイル画像の撮像枚数と、その枚数を撮像する場合の負荷値とが互いに関連づけられている。従って、負荷算出部255は、統括駆動制御部251から撮像条件としてタイル画像の枚数を取得して、取得したタイル画像の枚数に応じて負荷値を予測する。
図5に示した例では、ラベルの付与されたプレパラートPRTに存在するサンプルSPLが9個のサブ領域に分割され、各サブ領域が9個のタイル画像(JPEG画像)に分割される。従って、図5に示した例では、結果として、1つの拡大像が81枚のタイル画像から構成されることとなる。この場合、負荷算出部255は、タイル画像の枚数に基づいて負荷予想テーブルを参照して、負荷値を9.00と予測する。
また、あるサンプルSPLが含まれるプレパラートPRTには、サンプルの属性(サンプルの採取源やサンプルの名称)や、サンプルの撮像方法等に関するラベルが、文字列やバーコード等を利用して記載されることが多い。そこで、ラベルに記載されている各種の情報(以下、ラベル情報と称する。)を利用し、予め準備されたラベル情報に応じた負荷予想テーブルを利用して、顕微鏡制御装置20の負荷値を予測してもよい。ここで、負荷値の予想に利用するラベル情報として、スライドの撮像方法(例えば、暗視野撮像モード又は明視野撮像モードなど)等を挙げることができる。
図6は、このようなラベル情報を利用して負荷値を予測する場合について示している。統括駆動制御部251は、サムネイル像の撮像の際に、サムネイル像の撮像とあわせて、ラベル情報の読み取り処理を実施し、ラベル情報として記載されている内容の認識処理を実施する。負荷算出部255は、統括駆動制御部251からラベル情報の認識結果を取得して、取得したラベル情報の認識結果に基づいて負荷予想テーブルから負荷値を予測する。図6に示した例では、負荷算出部255は、ラベル情報として情報「A」が記載されている旨を統括駆動制御部251から取得し、負荷予想テーブルから、負荷値が0.01であると予測する。
負荷算出部255は、以上説明したような負荷予測方法を用いて、顕微鏡制御装置20の負荷値を予測する。なお、図4〜図6に示した例はあくまでも一例であって、負荷算出部255が利用する負荷予測方法は、上述の例に限定されるわけではない。
また、負荷算出部255は、上述のような負荷予測方法のいずれかを利用して、顕微鏡制御装置20の負荷値を予測してもよく、複数の負荷予測方法を併用して、顕微鏡制御装置20の負荷値を予測してもよい。従って、記憶部211には、1種類の負荷予想テーブルが格納されていてもよく、複数種類の負荷予想テーブルが格納されていてもよい。
また、複数の負荷予測方法を併用して負荷値を予測する場合、それぞれの負荷予測方法で得られた負荷値を利用して更なる演算処理(例えば、平均値の算出処理)を実施してもよい。また、複数の負荷予測方法で得られた負荷値のうち、最も大きな負荷値(すなわち、最も高い負荷を示す値)を、顕微鏡制御装置20の負荷値としてもよい。
負荷算出部255は、以上説明したような負荷値の算出処理及び負荷値の予測処理の少なくともいずれかを実施して、顕微鏡制御装置20の負荷値を算出する。
ここで、負荷値の算出処理と負荷値の予測処理の双方を実施する場合に、負荷算出部255がどちらの負荷値を利用するかについては、ユーザ操作等に応じて適宜決定することができる。また、負荷算出部255は、算出された負荷値と予測された負荷値の平均値等を、顕微鏡制御装置20の負荷値としてもよく、最も大きな負荷値(すなわち、最も高い負荷を示す値)を、顕微鏡制御装置20の負荷値としてもよい。
ここで、顕微鏡制御装置20の負荷値を、顕微鏡制御装置20のロードアベレージ(load average)として表しても良く、各種のディスク装置をストレージ装置として利用している場合には、負荷値をディスクの稼働時間として表しても良い。また、顕微鏡制御装置20の負荷値を、ある処理単位でのアイドル時間として表しても良い。また、負荷値を表す値はこれらのものに限定されるわけではなく、これら以外の値を用いて、顕微鏡制御装置20の負荷値を表しても良い。
また、前述のように、顕微鏡制御装置20の負荷値と、画像管理サーバ30における負荷値との比較を行うため、負荷値をどのような値として表すかについては、顕微鏡制御装置20と画像管理サーバ30との間で一致させておくことが好ましい。
負荷算出部255は、顕微鏡制御装置20の負荷値として利用する値を決定すると、その値をデジタル加工判定部253に出力する。
なお、負荷算出部255における負荷値の算出処理は、撮像前に定期的に行っても良いし、所定の周期毎に定期的に行っても良い。
デジタル加工処理部257は、例えば、CPU、GPU、ROM、RAM等により実現される。デジタル加工処理部257は、統括駆動制御部251がサムネイル像データや拡大像データ(より詳細には、これらの像のRAWデータ)を取得すると、これらRAWデータの現像処理を行うとともに、これらの像を構成する複数の画像をつなぎ合わせる処理(スティッチング処理)を実施する。
また、デジタル加工処理部257は、デジタル加工判定部253から所定のデジタル加工処理を実施するよう要請があった場合には、現像処理やスティッチング処理が終了した画像データに対して、所定のデジタル加工処理を実施する。
ここで、デジタル加工処理部257が実施する所定のデジタル加工処理として、デジタル画像データの変換処理(トランスコード)や、デジタル画像の並び替え処理等を挙げることができる。
デジタル画像の変換処理は、デジタル画像を圧縮してJPEG画像等を生成したり、JPEG画像等に圧縮されたデータを、異なる形式の圧縮画像(例えば、GIF形式等)に変換したりする処理を挙げることができる。また、デジタル画像の変換処理には、圧縮された画像データを一度解凍した上でエッジ強調などの処理を実施して、再度圧縮する処理や、圧縮画像の圧縮率を変更する処理等も含まれる。これらのデジタル加工処理は、顕微鏡制御装置20の負荷を抑制するために、例えば顕微鏡制御装置20に実装されたGPU、ROM、RAM等からなるグラフィックボード等で実施されることが好ましい。
次に、図7A、図7Bを参照しながら、デジタル画像の並び替え処理について簡単に説明する。図7A及び図7Bは、本実施形態に係るデジタル加工処理の一例(デジタル画像の並び替え処理)を示した説明図である。
前述のように、一つのサンプルは、複数枚のタイル画像から構成されている。サンプルのデジタル画像の閲覧者は、サンプル画像のある部位に対応する画像を閲覧する場合、閲覧を希望する部位に対応するタイル画像のデータを取得して、端末である画像表示装置40の表示画面に表示させる。また、デジタル画像の閲覧者は、閲覧する部位を変更する場合には、現在閲覧しているタイル画像から変更後の部位に対応するタイル画像へと切り替えを行うことで、表示画面の切り替えを行う。従って、画像表示装置40における表示切り替えの高速化を図るためには、あるタイル画像からあるタイル画像への切り替えに要する時間が、サンプル画像を構成するタイル画像それぞれについて、略均等となっていることが好ましい。
従って、デジタル加工処理部257は、複数枚のデジタル画像(タイル画像)が画像管理サーバ30の格納領域内で互いに略等距離となるように、タイル画像の格納順の並び変えを実施する。
具体的には、デジタル加工処理部257は、複数のタイル画像それぞれに対してヒルベルト変換を行い、ヒルベルト変換の変換結果に応じて(より詳細には、ヒルベルト曲線順に)タイル画像の格納領域内での格納順を並び替える。
以下、タイル画像の格納順の変換処理(並び変え処理)について、図7A〜図10を参照しながら、詳細に説明する。図7A及び図7Bは、タイル画像の格納順について説明するための説明図である。図8は、本実施形態に係るタイル画像について説明するための説明図である。図9及び図10は、本実施形態に係る顕微鏡画像データのデータ構造の一例を示した説明図である。
先だって説明したように、あるサンプルについての顕微鏡画像は、複数のタイル画像から構成されている。本実施形態に係る顕微鏡画像管理システム1では、この複数のタイル画像をひとまとめにして、あるサンプルの顕微鏡画像として管理する。かかる顕微鏡画像を閲覧する場合には、ひとまとめにして管理されている複数のタイル画像の中から、表示に用いるタイル画像を取得して、表示画面が構成されることとなる。
図7Aに示したように、顕微鏡画像を構成する複数のタイル画像が、左上隅から右下隅に向かって列方向に順に格納されており、顕微鏡画像の略中央部分に存在する32枚のタイル画像を取得しようとする場合について考える。かかる場合、一番上のに位置する8枚のタイル画像を取得した後に、上から2番目のの左端に位置するタイル画像を取得するまで、表示には利用しないタイル画像に対応する格納領域を読み飛ばすことが必要となる。このように、表示領域に対応するタイル画像間の配置が互いに遠い位置にある場合、利用するタイル画像を取得するためのシークタイムが長くなってしまうという問題がある。
このようなシークタイムの増加という問題は、図7Aに示したようなタイル画像が列方向に沿って順に格納されている場合のみならず、タイル画像が行方向に沿って順に格納されている場合にも同様に発生する。
そこで、本実施形態に係るデジタル加工処理部257は、顕微鏡画像を構成する複数のタイル画像が敷き詰められた領域について、この領域を覆い尽くす平面充填曲線の一つであるヒルベルト曲線を算出する。デジタル加工処理部257が利用するヒルベルト曲線の算出方法については、特に限定されるわけではなく、公知のあらゆるアルゴリズム(算出方法)を利用することが可能である。かかるヒルベルト曲線を算出することで、顕微鏡画像を構成する複数のタイル画像は、ヒルベルト曲線のいずれかの場所に位置することとなる。その後、デジタル加工処理部257は、顕微鏡画像を構成する複数のタイル画像を、このヒルベルト曲線上に現れる順番に則して格納していく。
タイル画像をヒルベルト曲線順に応じて格納していくことで、図7Bに示したように、平面上において互いに近傍に位置するタイル画像群は、ヒルベルト曲線上に現れる順番でも互いに近傍に位置することとなる。従って、図7Bに示したように、顕微鏡画像の略中央部分に位置するタイル画像を取得する場合であっても、これらタイル画像を取得する際のシークタイムを短縮することが可能となる。
このようなヒルベルト曲線順のタイル画像の格納を行うためには、顕微鏡画像上のタイル画像の位置(平面内でのタイル画像の位置)と、格納順との対応付けを明確にすることが好ましい。そこで、本実施形態に係るデジタル加工処理部257は、図8に示したように、顕微鏡画像を構成する複数のタイル画像について、各タイル画像に固有の識別情報(以下、タイルIDとも称する。)を割り当てる。このタイルIDの割り当ては、タイルIDと顕微鏡画像内のタイル画像の位置とが1対1に対応するようになっていれば、いかなる方法を用いても良い。デジタル加工処理部257は、例えば、顕微鏡画像内のタイル位置の座標(m,n)から該当するタイル画像のタイルIDを算出できるように、タイルIDを割り当てていく。
図8に示した例では、デジタル加工処理部257は、顕微鏡画像の左上隅に位置するタイル画像のタイルIDを0とし、右方向に進む毎にタイルIDが1ずつ増加するように、各タイル画像にタイルIDを割り当てていく。このとき、顕微鏡画像の横方向に存在するタイル画像の枚数をW枚とし、顕微鏡画像の左上隅を原点(0,0)とすると、(m,n)で表わされる位置に存在するタイル画像のタイルIDは、以下の式101で算出される値となる。
タイルID=n×W+m ・・・(式101)
そのうえで、デジタル加工処理部257は、例えば図9に示したように、顕微鏡画像データのデータ構造の一部(例えば、ヘッダと各タイル画像データとの間)に、タイル画像の配置を表したテーブル(タイル画像配置テーブル)を追記する。このタイル画像配置テーブルは、図9に示したように、タイルID=0から順に、タイル画像のファイル先頭からのオフセットと、1タイル分の画像データ長(例えば、圧縮データ長)とが記載されたものである。タイル画像オフセット及びタイル画像データ長を記載するための領域は、適宜設定することが可能であるが、例えばそれぞれ4バイトとすることができる。
デジタル加工処理部257は、まず、取得した顕微鏡画像について、ヒルベルト曲線の算出処理を行いつつ、当該顕微鏡画像を構成する複数のタイル画像にタイルIDを付与する。そのうえで、デジタル加工処理部257は、図10の左側に示したように、顕微鏡画像を構成する全タイル画像のデータを、一旦、タイルID=0から昇順に、所定の格納領域に格納する(入力ファイル)。
その後、デジタル加工処理部257は、ヒルベルト曲線を利用したタイル画像の格納順変換処理を実施し、タイル画像の格納順の並び変え処理を実施する。これにより、複数のタイル画像からなる顕微鏡画像データは、格納領域内において、互いに略等距離となるように格納されることとなる。
図11Aに示した例では、1枚のスライド(サンプル)を撮像して、9枚のタイル画像として圧縮する場合を示している。図11Aでは、説明の便宜上、サンプル画像を、スライドの左上から順にタイル画像(JPEG画像)として圧縮していくものとする。ここで、各タイル画像に付与されている番号は、1つのJPEG画像としてデコードできる単位を示している。これら9枚のJPEG画像(タイル画像)がひとまとめに格納されることで、1枚のスライドに対応するデータの集合として扱われる。
デジタル加工処理部257は、これらのタイル画像を、一旦、顕微鏡制御装置20の格納領域(例えば、記憶部211)に、番号順に格納していく。その上で、デジタル加工処理部257は、図11Bに示したように、格納したJPEG画像に対してヒルベルト変換を行い、それぞれのタイル画像データが格納領域内でほぼ等距離となるように、ヒルベルト曲線順に並び替えを行う。デジタル加工処理部257は、このようにして並び替えたタイル画像データの集合を、統括駆動制御部251に出力し、統括駆動制御部251は、通信制御部259を介して、並び替え後のタイル画像データの集合を画像管理サーバ30にアップロードする。
通信制御部259は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部259は、顕微鏡制御装置20と、顕微鏡制御装置20の外部に設けられた装置との間で、ネットワーク3を介して行われる通信の制御を行う。
以上、本実施形態に係る顕微鏡制御装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る顕微鏡制御装置20の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<アップロードされるデータのフォーマット>
次に、図12を参照しながら、顕微鏡制御装置20から画像管理サーバ30にアップロードされるデータのフォーマットについて簡単に説明する。図12は、顕微鏡画像データのデータ構造の一例を示した説明図である。
顕微鏡制御装置20からアップロードされる顕微鏡画像のデータフォーマットは、図12に示したような構造をしている。なお、図12中に示した数字の列は、ビット列を表している。顕微鏡画像データは、図12に示したように、ヘッダとデータ本体とから構成される。また、ヘッダの先頭1ビットには、上述のような所定のデジタル加工処理が実施されているか否かを示す識別情報が記載されている。すなわち、ヘッダの先頭1ビットに、データ「0」が記載されている場合、この顕微鏡画像データには、所定のデジタル加工が行われていないことを示している。また、ヘッダの先頭1ビットに、データ「1」が記載されている場合、この顕微鏡画像データに所定のデジタル加工が行われていることを示している。
このようなデータフォーマットを用いた顕微鏡画像データを用いることで、データのアップロード先である画像管理サーバ30は、顕微鏡画像データに対して所定のデジタル加工処理がなされたか否かを容易に判定することが可能となる。
<画像管理サーバの構成について>
次に、図13を参照しながら、本実施形態に係る画像管理サーバ30の構成について詳細に説明する。図13は、本実施形態に係る画像管理サーバ30の構成を示したブロック図である。
本実施形態に係る画像管理サーバ30は、例えば図13に示したように、負荷算出部301と、画像データ格納処理部303と、デジタル加工処理部305と、画像データ提供処理部307と、通信制御部309と、記憶部311と、を主に備える。
負荷算出部301は、例えば、CPU、ROM、RAM等により実現される。負荷算出部301は、拡大像データを格納するデータ格納処理、格納されている拡大像データを画像表示装置40に提供するデータ提供処理、及び、所定のデジタル加工処理の実施に要する負荷の合計を算出し、算出した負荷の合計を顕微鏡制御装置20に出力する。
より詳細には、顕微鏡制御装置20からの画像管理サーバ30での負荷状態の問い合わせを後述する通信制御部309が受信した場合、当該問い合わせは、負荷算出部301へと伝送される。負荷算出部301は、顕微鏡制御装置20から負荷状態の問い合わせを受けると、後述する画像データ格納処理部303、デジタル加工処理部305及び画像データ提供処理部307に負荷状態の問い合わせを行う。
問い合わせを受けた画像データ格納処理部303、デジタル加工処理部305及び画像データ提供処理部307は、前述のような方法で、各処理に応じた条件に基づいて負荷値を算出したり、負荷予想テーブル等を用いて負荷値を予測したりして、得られた負荷値を負荷算出部301に出力する。
負荷算出部301は、画像データ格納処理部303、デジタル加工処理部305及び画像データ提供処理部307から取得した負荷値に基づいて、画像管理サーバ30における負荷値を算出する。画像管理サーバ30全体における負荷値の算出方法は、特に限定されるものではないが、例えば、各処理部から取得した負荷値の合計を、画像管理サーバ30全体での負荷値とすることができる。
負荷算出部301は、画像管理サーバ30全体での負荷値を算出すると、算出した負荷値を、通信制御部309を介して、顕微鏡制御装置20に出力する。
画像データ格納処理部303は、例えば、CPU、ROM、RAM等により実現される。画像データ格納処理部303は、顕微鏡制御装置20から送信された顕微鏡画像データを、通信制御部309を介して取得し、後述する記憶部311の所定の格納領域に格納する。この際、画像データ格納処理部303は、顕微鏡制御装置20から取得した顕微鏡画像データのうち拡大像データのヘッダを検証して、所定のデジタル加工処理が行われているか否かを判断する。拡大像データのヘッダを検証した結果、所定のデジタル加工処理が行われていない場合には、画像データ格納処理部303は、後述するデジタル加工処理部305に、所定のデジタル加工処理の実施を要請する。
デジタル加工処理部305は、例えば、CPU、GPU、ROM、RAM等により実現される。デジタル加工処理部305は、顕微鏡制御装置20から取得した拡大像データに所定のデジタル加工処理が行われていない場合に、この拡大像データに対して所定のデジタル加工処理を実施する。デジタル加工処理部305が実施する所定のデジタル加工処理としては、デジタル画像データの変換処理(トランスコード)や、デジタル画像の並び替え処理等を挙げることができる。
これら所定のデジタル加工処理については、本実施形態に係る顕微鏡制御装置20のデジタル加工処理部257で行われるデジタル加工処理と同様であり、以下では詳細な説明は省略する。
デジタル加工処理部305は、所定のデジタル加工処理が終了すると、デジタル加工処理後の拡大像データを、画像データ格納処理部303に出力する。
画像データ提供処理部307は、例えば、CPU、ROM、RAM等により実現される。画像データ提供処理部307は、画像表示装置40からの要請に応じて、所定の格納領域に格納されている顕微鏡画像データ(サムネイル像データ及び拡大像データ)を、画像表示装置40に提供する。
画像データ提供処理部307は、画像表示装置40に対して、例えば、画像管理サーバ30が格納している顕微鏡画像データの一覧を提供する。ユーザが、一覧の表示されている画像表示装置40の表示画面を参照して、閲覧を希望する顕微鏡画像データを選択すると、選択された顕微鏡画像データを示す情報が、画像管理サーバ30の画像データ提供処理部307へと送信される。
画像データ提供処理部307は、画像表示装置40によって顕微鏡画像データが選択されると、選択された顕微鏡画像データを記憶部311等の所定の格納領域から取得し、要請のあった画像表示装置40に通信制御部309を介して提供する。
通信制御部309は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部309は、画像管理サーバ30と、顕微鏡制御装置20及び画像表示装置40との間で、ネットワーク3を介して行われる通信の制御を行う。
記憶部311は、本実施形態に係る画像管理サーバ30が備えるストレージ装置の一例である。記憶部311には、顕微鏡画像データや、本実施形態に係る顕微鏡10を制御するための各種設定情報や、各種のデータベースや負荷予想テーブル等のルックアップテーブル等が格納される。また、記憶部311には、顕微鏡画像データの格納履歴や顕微鏡画像データの提供履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部311には、本実施形態に係る画像管理サーバ30が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
以上、本実施形態に係る画像管理サーバ30の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る画像管理サーバ30の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<画像処理方法について>
次に、図14〜図19を参照しながら、本実施形態に係る顕微鏡画像管理システム1で実施される画像処理方法の流れについて、簡単に説明する。図14〜図19は、本実施形態に係る画像処理方法の流れを示した流れ図である。
[顕微鏡制御装置における画像処理方法]
まず、図14及び図15を参照しながら、顕微鏡制御装置20における画像処理方法の流れについて簡単に説明する。
○全体的な流れについて
図14を参照しながら、顕微鏡制御装置20における画像処理方法の全体的な流れについて説明する。
まず、顕微鏡制御装置20の統括駆動制御部251は、サンプルの撮像条件を決定して(ステップS101)、照明制御部203、ステージ駆動制御部205、サムネイル像撮像制御部207及び拡大像撮像制御部209等に撮像条件を通知する。また、統括駆動制御部251は、決定した撮像条件を、デジタル加工判定部253にも通知する。
デジタル加工判定部253は、通知された撮像条件と、画像管理サーバ30から取得した画像管理サーバ30の負荷値とに基づいて、顕微鏡制御装置20においてデジタル加工処理を実施するか否かを判定する(ステップS103)。
一方で、顕微鏡10は、通知された撮像条件に基づいて、サンプルのサムネイル像及び拡大像を撮像する。顕微鏡10での撮像が終了すると、統括駆動制御部251は、撮像されたサムネイル像に対応するデータ及び拡大像に対応するデータ(RAWデータ)を取得する(ステップS105)。
デジタル加工処理部257は、統括駆動制御部251からの要請に応じて、サムネイル像に対応するRAWデータ及び拡大像に対応するRAWデータの現像処理を実施する(ステップS107)。
また、統括駆動制御部251は、デジタル加工判定部253による判定結果に応じて、デジタル加工処理を顕微鏡制御装置20で行うのか否かを確認する(ステップS109)。デジタル加工判定部253による判定結果が、顕微鏡制御装置20でデジタル加工処理を実施する旨を示すものであった場合、統括駆動制御部251は、デジタル加工処理部257は、所定のデジタル加工処理を実施する(ステップS111)。デジタル加工処理部257は、所定のデジタル加工処理が終了すると、デジタル加工処理後の画像データを、統括駆動制御部251に出力する。
他方、デジタル加工判定部253による判定結果が、顕微鏡制御装置20ではデジタル加工処理を実施しない旨を示すものであった場合、統括駆動制御部251は、後述するステップS113を実施する。
統括駆動制御部251は、サムネイル像データ及び拡大像データからなる顕微鏡画像データを、画像管理サーバ30に送信する(ステップS113)。この際、統括駆動制御部251は、顕微鏡制御装置20でデジタル加工処理を実施したか否かを表す識別情報を、拡大像データのヘッダに付与する。これにより、顕微鏡画像データを取得した画像管理サーバ30は、取得した拡大像データについて、所定のデジタル加工処理が実施されているか否かを容易に判定することができる。
○デジタル加工判定処理の流れについて
図15を参照しながら、デジタル加工判定処理の流れについて説明する。
デジタル加工判定部253は、統括駆動制御部251から撮像条件を取得すると(ステップS121)、取得した撮像条件を負荷算出部255に通知する。
負荷算出部255は、通知された撮像条件を利用して、撮像処理(より詳細には、撮像処理の制御)に要する負荷を表す負荷値を算出する(ステップS123)。また、デジタル加工判定部253は、記憶部211に格納されている負荷予想テーブルを用いて、負荷値を予測する(ステップS125)。
負荷算出部255は、予めユーザ等によって設定された設定情報や、ユーザ操作等に応じて、負荷予測値(負荷予想テーブルを用いて算出した負荷値)を利用するか否かを判断する(ステップS127)。負荷算出部255は、負荷予測値を利用する場合には、顕微鏡制御装置20の負荷値として、負荷予測値を利用する(ステップS129)。また、負荷算出部255は、負荷予測値を利用しない場合には、顕微鏡制御装置20の負荷値として、算出した負荷値を利用する(ステップS131)。その後、負荷算出部255は、算出した負荷値と負荷予想値とを、デジタル加工判定部253に出力する。
また、デジタル加工判定部253は、統括駆動制御部251及び通信制御部259を介して、画像管理サーバ30に当該サーバにおける負荷値の提供を要請する。これにより、負荷算出部255は、画像管理サーバ30での負荷値を取得する(ステップS133)。
続いて、デジタル加工判定部253は、自負荷(顕微鏡制御装置20の負荷)が、画像管理サーバ30の負荷値超過であるか否かを判断する(ステップS135)。自負荷が画像管理サーバ30の負荷値以下であった場合には、デジタル加工判定部253は、自装置でデジタル加工処理を実施する旨を決定する(ステップS137)。他方、自負荷が画像管理サーバ30の負荷値超過であった場合には、デジタル加工判定部253は、画像管理サーバ30でデジタル加工処理を実施する旨を決定する(ステップS139)。
[画像管理サーバにおける画像処理方法]
まず、図16及び図17を参照しながら、画像管理サーバ30における画像処理方法の流れについて簡単に説明する。
○負荷算出処理について
図16を参照しながら、画像管理サーバ30における負荷算出処理の流れについて説明する。
画像管理サーバ30の負荷算出部301は、顕微鏡制御装置20から負荷値の提供を要請された場合、まず、画像データ提供処理部307に対して、画像データ提供に関する負荷の提供を要請し、画像データ提供処理部307から、画像データ提供処理に要する負荷値を取得する(ステップS201)。また、負荷算出部301は、デジタル加工処理部305に対して、デジタル加工処理に要する負荷の提供を要請し、デジタル加工処理部305から、デジタル加工処理に要する負荷値を取得する(ステップS203)。また、負荷算出部301は、画像データ格納処理部303に対して、画像データの格納に関する負荷の提供を要請し、画像データ格納処理部303から、画像データ格納に関する負荷値を取得する(ステップS205)。
なお、負荷算出部301が各処理部から負荷値を取得する順番は、上述の順番に限定されるわけではなく、任意の順序で行うことが可能であり、また、各処理部から同時に負荷値を取得してもよい。
その後、負荷算出部301は、各処理部から取得した負荷値を利用して、画像管理サーバ30の負荷値を算出する(ステップS207)。続いて、負荷算出部301は、算出した負荷値を、顕微鏡制御装置に出力する(ステップS209)。
○画像データ格納処理について
次に、図17を参照しながら、画像データの格納処理の流れについて説明する。
画像データ格納処理部303は、顕微鏡制御装置20から顕微鏡画像データを取得すると(ステップS211)、拡大像データのヘッダを参照して、取得データにデジタル加工処理が実施されているか否かを判断する(ステップS213)
デジタル加工処理がなされていない場合には、画像データ格納処理部303は、デジタル加工処理部305に対して、所定のデジタル加工処理の実施を要請する。デジタル加工処理部305は、取得した拡大像データに対して所定のデジタル加工処理を実施する(ステップS215)。
また、デジタル加工処理がなされている場合には、画像データ格納処理部303は、取得した顕微鏡画像データを、所定の格納領域へ格納する(ステップS217)。
[顕微鏡画像管理システムにおける処理の流れの例]
続いて、図18及び図19を参照しながら、顕微鏡画像管理システム1における処理の流れの例について、説明する。
まず、図18を参照する。顕微鏡制御装置20の統括駆動制御部251は、あるサンプルについて、撮像条件を設定して(ステップS301)、撮像条件を顕微鏡10に設定するとともに、デジタル加工判定部253に通知する。
顕微鏡10は、通知された撮像条件に基づいて、サンプルの撮像を開始する(ステップS303)。
他方、顕微鏡制御装置20の負荷算出部255は、通知された撮像条件に基づいて、自装置の負荷を算出し(ステップS305)、デジタル加工判定部253に出力する。また、デジタル加工判定部253は、画像管理サーバ30に対して負荷の問い合わせを行う(ステップS307)。画像管理サーバ30の負荷算出部301は、画像管理サーバ30の負荷を算出して、顕微鏡制御装置20からの要請に応答する(ステップS309)。
その後、デジタル加工判定部253は、算出した負荷値と、画像管理サーバ30から取得した負荷値とを利用して、デジタル加工処理の実施の可否を判定する(ステップS311)。ここで、自装置の負荷が、所定の単位(例えば、ロードアベレージ)において2.0という値であり、画像管理サーバ30の負荷が、同一の単位において1.0という値であるものとする。この場合、デジタル加工判定部253は、画像管理サーバ30の負荷が相対的に低いと判断し、画像管理サーバ30においてデジタル加工処理を実施する旨を決定する。
他方、顕微鏡10は、サンプルの撮像処理を終了すると、得られた撮像データを顕微鏡制御装置20に出力する(ステップS313)。統括駆動制御部251は、取得した撮像データの現像処理をデジタル加工処理部257に要請し、デジタル加工処理部257は、撮像データの現像処理を実施する(ステップS315)。その後、統括駆動制御部251は、デジタル加工処理を実施していない旨の識別情報を付与して、撮像データを画像管理サーバ30にアップロードする(ステップS317)。
画像管理サーバ30の画像データ格納処理部303は、撮像データを取得すると、拡大像データのヘッダを参照して、デジタル加工処理が実施されていない旨を特定する。その後、画像管理サーバ30のデジタル加工処理部305は、取得した画像データに対して、所定のデジタル加工処理を実施する(ステップS319)。その後、画像データ格納処理部303は、デジタル加工処理後のデータを、所定の格納領域に格納する(ステップS321)。
次に、図19を参照する。顕微鏡制御装置20の統括駆動制御部251は、あるサンプルについて、撮像条件を設定して(ステップS331)、撮像条件を顕微鏡10に設定するとともに、デジタル加工判定部253に通知する。
顕微鏡10は、通知された撮像条件に基づいて、サンプルの撮像を開始する(ステップS333)。
他方、顕微鏡制御装置20の負荷算出部255は、通知された撮像条件に基づいて、自装置の負荷を算出し(ステップS335)、デジタル加工判定部253に出力する。また、デジタル加工判定部253は、画像管理サーバ30に対して負荷の問い合わせを行う(ステップS337)。画像管理サーバ30の負荷算出部301は、画像管理サーバ30の負荷を算出して、顕微鏡制御装置20からの要請に応答する(ステップS339)。
その後、デジタル加工判定部253は、算出した負荷値と、画像管理サーバ30から取得した負荷値とを利用して、デジタル加工処理の実施の可否を判定する(ステップS341)。ここで、自装置の負荷が、所定の単位(例えば、ロードアベレージ)において1.0という値であり、画像管理サーバ30の負荷が、同一の単位において2.0という値であるものとする。この場合、デジタル加工判定部253は、自装置の負荷が相対的に低いと判断し、顕微鏡制御装置20においてデジタル加工処理を実施する旨を決定する。
他方、顕微鏡10は、サンプルの撮像処理を終了すると、得られた撮像データを顕微鏡制御装置20に出力する(ステップS343)。統括駆動制御部251は、取得した撮像データの現像処理をデジタル加工処理部257に要請し、デジタル加工処理部257は、撮像データの現像処理を実施する(ステップS345)。
その後、デジタル加工処理部257は、拡大像データに対して、所定のデジタル加工処理を実施する(ステップS347)。続いて、統括駆動制御部251は、デジタル加工処理を実施した旨の識別情報を付与して、撮像データを画像管理サーバ30にアップロードする(ステップS349)。
画像管理サーバ30の画像データ格納処理部303は、撮像データを取得すると、拡大像データのヘッダを参照して、デジタル加工処理が実施されている旨を特定する。その後、画像データ格納処理部303は、デジタル加工処理後のデータを、所定の格納領域に格納する(ステップS351)。
なお、図18及び図19において、便宜上、負荷の取得は撮像処理と同期しているように示しているが、かかる例に限定されるわけではなく、負荷の取得は撮像処理と非同期であってもよい。
<タイル画像格納順の変換処理について>
続いて、図20を参照しながら、デジタル加工処理の一例である、タイル画像の格納順の変換処理について、その流れを簡単に説明する。図20は、本実施形態に係るタイル画像の格納順変換処理の流れを示した流れ図である。
以下では、顕微鏡制御装置20のデジタル加工処理部257がタイル画像の格納順の変換処理を実施する場合について説明するが、画像管理サーバ30内においてタイル画像の格納順の変換処理が実施される場合であっても、同様の流れで処理が行われる。
なお、以下の説明に先立ち、デジタル加工処理部257は、顕微鏡画像を構成する複数のタイル画像に対してタイルIDを付与した上で、タイルIDに応じてタイル画像配置テーブルを生成し、図10に示したような入力ファイルを生成しているものとする。また、デジタル加工処理部257は、着目している顕微鏡画像を構成するタイル画像について、ヒルベルト曲線の算出処理を行っているものとする。
まず、デジタル加工処理部257は、タイル画像の格納順を変更する顕微鏡画像データについて、読み込むタイル画像の位置(m,n)を、初期読み込み位置(すなわち、(0,0)で表わされる位置)に設定する(ステップS401)。
続いて、デジタル加工処理部257は、設定されたタイル位置(m,n)に基づいて、かかる位置に対応するタイル画像のタイルID(以下、タイルIDをAと表すこととする。)を算出する(ステップS403)。デジタル加工処理部257は、タイルIDの算出に際して、例えば、上記式101を利用する。
次に、デジタル加工処理部257は、入力ファイル内のタイル画像配置テーブルを参照して、算出したタイルIDに対応する画像オフセット(offset)と、画像サイズ(size)とを取得する(ステップS405)。
その後、デジタル加工処理部257は、取得した画像オフセット及び画像サイズに基づいて顕微鏡画像データを参照し、該当するタイル画像データを読み込む(ステップS407)。次に、デジタル加工処理部257は、読み込んだタイル画像の画像データを、出力ファイルの末尾に書き出す(ステップS409)。続いて、デジタル加工処理部257は、出力ファイル内のタイル画像配置テーブルにおいて、着目しているタイルIDに対応する画像オフセットと画像サイズとを設定する(ステップS411)。これにより、出力ファイルの適式な位置にタイル画像データが記録され、かつ、タイル画像配置テーブルに、かかるタイル画像を読み出す際に用いられるパラメータが記載されることとなる。
次に、デジタル加工処理部257は、算出したヒルベルト曲線順に従って、次に読み込むタイル画像の位置を決定する(ステップS413)。すなわち、デジタル加工処理部257は、ヒルベルト曲線上で着目していたタイル画像の隣に位置するタイル画像を特定し、かかるタイル画像に対応する位置を、次に読み込む位置として決定する。
その後、デジタル加工処理部257は、読み込み位置が顕微鏡画像の終わりまで移動したか否かを判断する(ステップS415)。読み込み位置が顕微鏡画像の終わりまで移動していない場合には、デジタル加工処理部257は、ステップS403に戻って処理を続行する。また、読み込み位置が顕微鏡画像の終わりまで移動した場合には、デジタル加工処理部257は、データの格納順の並び変え処理を終了する。
以上説明したような流れで処理を行うことで、複数のタイル画像からなる顕微鏡画像データは、ヒルベルト曲線順に応じて、格納領域内において互いに略等距離となるように格納されることとなる。
(ハードウェア構成について)
次に、図21を参照しながら、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成について、詳細に説明する。図21は、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成を説明するためのブロック図である。
顕微鏡制御装置20は、主に、CPU901と、ROM903と、RAM905と、GPU(Graphics Processing Unit)906と、を備える。また、顕微鏡制御装置20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。また、GPU906は、顕微鏡制御装置20内で実施される各種の画像処理に関する演算処理を実施する演算処理装置及び制御装置として機能する。GPU906は、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の画像処理の動作全般又はその一部を制御する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、顕微鏡制御装置20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。顕微鏡制御装置20のユーザは、この入力装置915を操作することにより、顕微鏡制御装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、顕微鏡制御装置20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、顕微鏡制御装置20が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、顕微鏡制御装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、顕微鏡制御装置20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を顕微鏡制御装置20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、顕微鏡制御装置20は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信、各種の専用通信又は衛星通信等であってもよい。
以上、本発明の実施形態に係る顕微鏡制御装置20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
また、本実施形態に係る画像管理サーバ30は、本実施形態に係る顕微鏡制御装置20と同様のハードウェア構成を有しており、詳細な説明は省略する。
(まとめ)
以上説明したように、本発明の実施形態に係る顕微鏡制御装置及び画像管理サーバでは、顕微鏡制御装置及び画像管理サーバの負荷に応じて、顕微鏡画像に対するデジタル加工処理を実施する装置を選択することが可能である。これにより、デジタル加工処理は、相対的に負荷の低い装置で実施されることとなり、結果として、より即座に、撮像された顕微鏡画像を、端末である画像表示装置で閲覧することが可能となる。また、負荷分散を効果的に行うことが可能となるため、サンプルの速やかな撮像が可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
1 顕微鏡画像管理システム
3 ネットワーク
10 顕微鏡
20 顕微鏡制御装置
30 画像管理サーバ
40 画像表示装置
201 統括制御部
203 照明制御部
205 ステージ駆動制御部
207 サムネイル像撮像制御部
209 拡大像撮像制御部
211 記憶部
251 統括駆動制御部
253 デジタル加工判定部
255 負荷算出部
257 デジタル加工処理部
259 通信制御部
301 負荷算出部
303 画像データ格納処理部
305 デジタル加工処理部
307 画像データ提供処理部
309 通信制御部
311 記憶部

Claims (12)

  1. 所定のサンプルのデジタル拡大画像を撮像する顕微鏡の駆動を制御するとともに、当該デジタル拡大画像を外部に設けられたサーバに対して出力する駆動制御部と、
    撮像された前記デジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理部と、
    前記デジタル拡大画像の撮像処理に要する負荷を算出する負荷算出部と、
    前記負荷算出部により算出された負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記デジタル加工処理部による前記所定のデジタル加工処理を実施するかを判定するデジタル加工判定部と、
    を備え、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷算出部は、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記デジタル拡大画像の撮像処理に要する負荷値を算出し、
    前記デジタル加工判定部は、前記負荷算出部により算出された負荷値が前記サーバの負荷値よりも低い場合、前記デジタル加工処理部に対して、前記所定のデジタル加工処理の実施を要請し、前記駆動制御部は、前記所定のデジタル加工処理がなされた前記デジタル拡大画像のデータを、前記所定のデジタル加工処理がなされたことを示す識別情報とともに前記サーバに出力し、
    前記デジタル加工判定部は、前記負荷算出部により算出された負荷値が前記サーバの負荷値よりも高い場合、前記所定のデジタル加工処理を前記サーバにおいて実施することを決定し、前記駆動制御部は、前記所定のデジタル加工処理が行われていない前記デジタル拡大画像のデータを、前記所定のデジタル加工処理が行われなかったことを示す識別情報とともに前記サーバに出力する、顕微鏡制御装置。
  2. 前記負荷算出部は、更に、前記駆動制御部から取得した前記デジタル拡大画像の撮像条件、及び、予め設けられた前記ラベル情報以外の負荷値予想テーブルの少なくとも何れか一方に基づいて、前記デジタル拡大画像の撮像処理に要する負荷値を算出する、請求項1に記載の顕微鏡制御装置。
  3. 前記デジタル加工処理部は、前記デジタル加工処理として、撮像された前記デジタル拡大画像の変換処理を実施する、請求項2に記載の顕微鏡制御装置。
  4. 前記所定のサンプルのデジタル拡大画像は、複数枚のデジタル画像からなり、
    前記デジタル加工処理部は、前記デジタル加工処理として、前記複数枚のデジタル画像が前記サーバの格納領域内で互いに略等距離となるように、前記複数枚のデジタル画像の並び変えを実施する、請求項2又は3に記載の顕微鏡制御装置。
  5. 顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを取得して、所定の格納領域に格納する画像データ格納処理部と、
    前記所定の格納領域に格納された前記デジタル拡大画像のデータを、外部に設けられた装置に提供する画像データ提供処理部と、
    前記画像データ格納処理部が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施し、前記画像データ格納処理部が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われたことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施しないデジタル加工処理部と、
    前記デジタル拡大画像のデータを格納するデータ格納処理、格納されている前記デジタル拡大画像のデータを提供するデータ提供処理、及び、前記所定のデジタル加工処理の実施に要する負荷値の合計を算出し、前記顕微鏡を制御する顕微鏡制御装置に対して、算出した当該負荷値の合計を出力する負荷算出部と、
    を備え、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷算出部は、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記所定のデジタル加工処理の実施に要する負荷値を算出する、画像管理サーバ。
  6. 前記デジタル加工処理部は、前記デジタル加工処理として、撮像された前記デジタル拡大画像の変換処理を実施する、請求項に記載の画像管理サーバ。
  7. 前記所定のサンプルのデジタル拡大画像は、複数枚のデジタル画像からなり、
    前記デジタル加工処理部は、前記デジタル加工処理として、前記複数枚のデジタル画像が前記所定の格納領域内で互いに略等距離となるように、前記複数枚のデジタル画像の並び変えを実施する、請求項又はに記載の画像管理サーバ。
  8. 顕微鏡による所定のサンプルに対応するデジタル拡大画像の撮像処理に要する負荷を算出するステップと、
    前記所定のサンプルに対応するデジタル拡大画像が格納されるサーバにおける負荷を取得するステップと、
    算出された前記負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記デジタル拡大画像に対する所定のデジタル加工処理を実施するかを判定するステップと、
    を含み、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷を算出するステップでは、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記デジタル拡大画像の撮像処理に要する負荷値を算出し、
    算出された負荷値が前記サーバの負荷値よりも低い場合に、前記所定のデジタル加工処理を実施して、前記所定のデジタル加工処理がなされた前記デジタル拡大画像のデータを、前記所定のデジタル加工処理がなされたことを示す識別情報とともに前記サーバに出力し、算出された負荷値が前記サーバの負荷値よりも高い場合、前記所定のデジタル加工処理を実行せずに、前記所定のデジタル加工処理が行われていない前記デジタル拡大画像のデータを、前記所定のデジタル加工処理が行われなかったことを示す識別情報とともに前記サーバに出力する、画像処理方法。
  9. 顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを格納するデータ格納処理、格納されている前記デジタル拡大画像のデータを提供するデータ提供処理、及び、前記デジタル拡大画像に対する所定のデジタル加工処理の実施に要する負荷値の合計を算出し、前記顕微鏡を制御する顕微鏡制御装置に対して、算出した当該負荷値の合計を出力するステップと、
    前記顕微鏡によって撮像された前記デジタル拡大画像のデータを取得するステップと、
    取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されているかを判定するステップと、
    前記所定のデジタル加工処理が行われなかったことを示す識別情報が付与された前記デジタル拡大画像に対して、所定のデジタル加工処理を実施し、所定のデジタル加工処理が行われたことを示す識別情報が付与されていたデジタル拡大画像に対して、所定のデジタル加工処理を実施しないステップと、
    所定のデジタル加工処理の実施された前記デジタル拡大画像のデータを所定の格納領域に格納するステップと、
    を含み、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷値を算出するステップでは、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記所定のデジタル加工処理の実施に要する負荷値を算出する、画像処理方法。
  10. 所定のサンプルのデジタル拡大画像を撮像する顕微鏡を制御するコンピュータに、
    前記顕微鏡の駆動を制御するとともに、撮像された前記デジタル拡大画像を外部に設けられたサーバに対して出力する駆動制御機能と、
    撮像された前記デジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理機能と、
    前記デジタル拡大画像の撮像処理に要する負荷を算出する負荷算出機能と、
    前記負荷算出機能により算出された負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記所定のデジタル加工処理を実施するかを判定するデジタル加工判定機能と、
    を実現させ、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷算出機能は、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記デジタル拡大画像の撮像処理に要する負荷値を算出し、
    前記デジタル加工判定機能は、前記負荷算出機能により算出された負荷値が前記サーバの負荷値よりも低い場合、前記デジタル加工処理機能に対して、前記所定のデジタル加工処理の実施を要請し、前記駆動制御機能は、前記所定のデジタル加工処理がなされた前記デジタル拡大画像のデータを、前記所定のデジタル加工処理がなされたことを示す識別情報とともに前記サーバに出力し、
    前記デジタル加工判定機能は、前記負荷算出機能により算出された負荷値が前記サーバの負荷値よりも高い場合、前記所定のデジタル加工処理を前記サーバにおいて実施することを決定し、前記駆動制御機能は、前記所定のデジタル加工処理が行われていない前記デジタル拡大画像のデータを、前記所定のデジタル加工処理が行われなかったことを示す識別情報とともに前記サーバに出力する、プログラム。
  11. コンピュータに、
    顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを取得して、所定の格納領域に格納する画像データ格納処理機能と、
    前記所定の格納領域に格納された前記デジタル拡大画像のデータを、外部に設けられた装置に提供する画像データ提供処理機能と、
    前記画像データ格納処理機能が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理機能と、
    前記デジタル拡大画像のデータを格納するデータ格納処理、格納されている前記デジタル拡大画像のデータを提供するデータ提供処理、及び、前記所定のデジタル加工処理の実施に要する負荷値の合計を算出し、前記顕微鏡を制御する顕微鏡制御装置に対して、算出した当該負荷値の合計を出力する負荷算出機能と、
    を実現させ、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷算出機能は、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記所定のデジタル加工処理の実施に要する負荷値を算出する、プログラム。
  12. 所定のサンプルのデジタル拡大画像を撮像する顕微鏡の駆動を制御するとともに、当該デジタル拡大画像を外部に設けられた画像管理サーバに対して出力する駆動制御部と、
    撮像された前記デジタル拡大画像に対して所定のデジタル加工処理を実施するデジタル加工処理部と、
    前記デジタル拡大画像の撮像処理に要する負荷を算出する負荷算出部と、
    前記負荷算出部により算出された負荷値と、前記サーバから取得した当該サーバの負荷値とに基づいて、前記デジタル加工処理部による前記所定のデジタル加工処理を実施するかを判定するデジタル加工判定部と、
    を有し、
    前記所定のサンプルには、当該サンプルの属性又は当該サンプルの撮像方法の少なくとも何れかに関する情報の記載されたラベルが付与されており、
    前記負荷算出部は、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記デジタル拡大画像の撮像処理に要する負荷値を算出し、
    前記デジタル加工判定部は、前記負荷算出部により算出された負荷値が前記サーバの負荷値よりも低い場合、前記デジタル加工処理部に対して、前記所定のデジタル加工処理の実施を要請し、前記駆動制御部は、前記所定のデジタル加工処理がなされた前記デジタル拡大画像のデータを、前記所定のデジタル加工処理がなされたことを示す識別情報とともに前記サーバに出力し、
    前記デジタル加工判定部は、前記負荷算出部により算出された負荷値が前記サーバの負荷値よりも高い場合、前記所定のデジタル加工処理を前記サーバにおいて実施することを決定し、前記駆動制御部は、前記所定のデジタル加工処理が行われていない前記デジタル拡大画像のデータを、前記所定のデジタル加工処理が行われなかったことを示す識別情報とともに前記サーバに出力する、顕微鏡制御装置と、
    顕微鏡によって撮像された所定のサンプルに関するデジタル拡大画像のデータを取得して、所定の格納領域に格納する画像データ格納処理部と、
    前記所定の格納領域に格納された前記デジタル拡大画像のデータを、外部に設けられた装置に提供する画像データ提供処理部と、
    前記画像データ格納処理部が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われなかったことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施し、前記画像データ格納処理部が取得した前記デジタル拡大画像のデータに、所定のデジタル加工処理が行われたことを示す識別情報が付与されていた場合に、当該識別情報が付与されたデジタル拡大画像に対して所定のデジタル加工処理を実施しないデジタル加工処理部と、
    前記デジタル拡大画像のデータを格納するデータ格納処理、格納されている前記デジタル拡大画像のデータを提供するデータ提供処理、及び、前記所定のデジタル加工処理の実施に要する負荷の合計を算出し、算出した負荷の合計を前記顕微鏡制御装置に出力する負荷算出部と、
    前記デジタル拡大画像のデータを格納するデータ格納処理、格納されている前記デジタル拡大画像のデータを提供するデータ提供処理、及び、前記所定のデジタル加工処理の実施に要する負荷値の合計を算出し、前記顕微鏡を制御する顕微鏡制御装置に対して、算出した当該負荷値の合計を出力する負荷算出部と、
    を有し、
    前記負荷算出部は、前記ラベルに記載されたラベル情報に関する予め設けられた負荷値予想テーブルを少なくとも利用して、前記所定のデジタル加工処理の実施に要する負荷値を算出する、画像管理サーバと、
    を備える、画像管理システム。
JP2010151391A 2010-07-01 2010-07-01 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム Expired - Fee Related JP5560966B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010151391A JP5560966B2 (ja) 2010-07-01 2010-07-01 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム
EP11169435.2A EP2402812B1 (en) 2010-07-01 2011-06-10 Microscope control device, image management server, image processing method, program, and image management system
CN201110173663XA CN102313981A (zh) 2010-07-01 2011-06-24 显微镜控制装置、图像管理服务器及系统、图像处理方法
US13/169,262 US8947517B2 (en) 2010-07-01 2011-06-27 Microscope control device, image management server, image processing method, program, and image management system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010151391A JP5560966B2 (ja) 2010-07-01 2010-07-01 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム

Publications (2)

Publication Number Publication Date
JP2012014013A JP2012014013A (ja) 2012-01-19
JP5560966B2 true JP5560966B2 (ja) 2014-07-30

Family

ID=44583942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010151391A Expired - Fee Related JP5560966B2 (ja) 2010-07-01 2010-07-01 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム

Country Status (4)

Country Link
US (1) US8947517B2 (ja)
EP (1) EP2402812B1 (ja)
JP (1) JP5560966B2 (ja)
CN (1) CN102313981A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2512793B (en) * 2012-01-30 2018-06-27 Leica Microsystems Microscope with wireless radio interface and microscope system
JP6019998B2 (ja) 2012-02-17 2016-11-02 ソニー株式会社 撮像装置、撮像制御プログラム及び撮像方法
TWI499309B (zh) * 2012-03-28 2015-09-01 Albert Chang 影像控制系統及其方法
JP2014066788A (ja) 2012-09-25 2014-04-17 Sony Corp 画面表示装置及び画面表示システム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6494294B2 (ja) * 2014-05-15 2019-04-03 キヤノン株式会社 画像処理装置、及び撮像システム
US10460077B2 (en) * 2016-04-12 2019-10-29 GreatDef Corp. Securely collecting and processing medical imagery
JP2017143392A (ja) * 2016-02-09 2017-08-17 富士通株式会社 通信制御プログラム、通信制御方法および通信装置
EP3553739B1 (en) * 2016-12-06 2023-12-06 Konica Minolta, Inc. Image recognition system and image recognition method
JP7013677B2 (ja) * 2017-05-01 2022-02-01 ソニーグループ株式会社 医用画像処理装置、医用画像処理装置の作動方法、及び、内視鏡システム
JP7015144B2 (ja) * 2017-10-25 2022-02-02 オリンパス株式会社 画像処理装置および顕微鏡システム
JP2022540190A (ja) * 2019-07-09 2022-09-14 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 自動迅速細胞診装置及び染色剤

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
AUPO798697A0 (en) * 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd Data processing method and apparatus (ART51)
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
JP2000125111A (ja) * 1998-10-20 2000-04-28 Fujitsu Ltd 画像圧縮方法、画像復元方法、画像圧縮装置、画像読取装置、画像圧縮プログラム記憶媒体、および画像復元プログラム記憶媒体
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7292251B1 (en) * 2000-10-06 2007-11-06 The Research Foundation Of State University Of New York Virtual telemicroscope
WO2002046960A2 (en) * 2000-11-23 2002-06-13 Goren Gordon Method and system for creating meaningful summaries from interrelated sets of information units
US6912695B2 (en) * 2001-09-13 2005-06-28 Pixia Corp. Data storage and retrieval system and method
US7711174B2 (en) * 2004-05-13 2010-05-04 The Charles Stark Draper Laboratory, Inc. Methods and systems for imaging cells
JP2006011696A (ja) * 2004-06-24 2006-01-12 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006259701A (ja) * 2005-02-16 2006-09-28 Nikon Corp 間欠撮影装置とこれを有する顕微鏡システム
JP4667944B2 (ja) * 2005-04-20 2011-04-13 シスメックス株式会社 画像作成装置
JP4804161B2 (ja) * 2006-02-10 2011-11-02 キヤノン株式会社 画像処理装置、画像処理システム及び画像処理装置の制御方法
US20080133271A1 (en) * 2006-11-30 2008-06-05 Fujifilm Corporation Job dispatcher for medical intelligent server architecture
US8479213B2 (en) * 2007-01-25 2013-07-02 General Electric Company Load balancing medical imaging applications across healthcare imaging devices in reference to projected load based on user type
US20080247004A1 (en) * 2007-04-03 2008-10-09 Michael Yeung System and method for workflow control of scanned document input
CN101345670B (zh) * 2007-07-10 2011-10-12 王剑 医患远程交互平台及远程交互方法
JP2009063658A (ja) 2007-09-04 2009-03-26 Nikon Corp 顕微鏡システム
US8284205B2 (en) * 2007-10-24 2012-10-09 Apple Inc. Methods and apparatuses for load balancing between multiple processing units
JP2009244561A (ja) * 2008-03-31 2009-10-22 Olympus Corp 顕微鏡撮影システム
JP5226504B2 (ja) 2008-12-25 2013-07-03 大建工業株式会社 温水床暖房パネルの施工構造

Also Published As

Publication number Publication date
EP2402812A2 (en) 2012-01-04
EP2402812A3 (en) 2012-03-21
JP2012014013A (ja) 2012-01-19
US8947517B2 (en) 2015-02-03
US20120002033A1 (en) 2012-01-05
CN102313981A (zh) 2012-01-11
EP2402812B1 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
JP5560966B2 (ja) 顕微鏡制御装置、画像管理サーバ、画像処理方法、プログラム及び画像管理システム
JP5663979B2 (ja) 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム
JP5655557B2 (ja) 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム
Farahani et al. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives
JP4542386B2 (ja) 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム
US8044974B2 (en) Image creating apparatus and image creating method
US9891804B2 (en) Selection and display of biomarker expressions
US9710598B2 (en) Information processor, image data optimization method and program
US20190304409A1 (en) Image processing apparatus and image processing method
JP2014130221A (ja) 画像処理装置、その制御方法、画像処理システム、及びプログラム
US11656446B2 (en) Digital pathology scanning interface and workflow
US20160062101A1 (en) Method and apparatus for small and large format histology sample examination
JP2013167798A (ja) 画像生成装置及びその制御方法
US20110122242A1 (en) Digital microscopy equipment with image acquisition, image analysis and network communication
JP2023138961A (ja) 生体画像データをキャッシュするためのシステムおよび方法
JP6106967B2 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示装置
US8400470B2 (en) Client side multi-component image composition
JP2012058665A (ja) 顕微鏡制御装置及び処理範囲決定方法
JP5648366B2 (ja) 顕微鏡制御装置及び領域判定方法
JP2016038542A (ja) 画像処理方法および画像処理装置
CN102655592A (zh) 信息处理装置、信息处理方法和程序
JP2012038209A (ja) 画像表示装置、付加情報管理サーバ、画像表示システム、画像表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140526

R151 Written notification of patent or utility model registration

Ref document number: 5560966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees