JPWO2006033273A1 - 顕微鏡システムおよび画像処理方法 - Google Patents

顕微鏡システムおよび画像処理方法 Download PDF

Info

Publication number
JPWO2006033273A1
JPWO2006033273A1 JP2006536354A JP2006536354A JPWO2006033273A1 JP WO2006033273 A1 JPWO2006033273 A1 JP WO2006033273A1 JP 2006536354 A JP2006536354 A JP 2006536354A JP 2006536354 A JP2006536354 A JP 2006536354A JP WO2006033273 A1 JPWO2006033273 A1 JP WO2006033273A1
Authority
JP
Japan
Prior art keywords
image
specimen
micro
macro
display means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006536354A
Other languages
English (en)
Other versions
JP4600395B2 (ja
Inventor
洋一 壱岐
洋一 壱岐
佐々木 豊
豊 佐々木
ミケシュ ヨセフ
ミケシュ ヨセフ
スヴォボダ ミロスラフ
スヴォボダ ミロスラフ
セドラック ロマン
セドラック ロマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2006033273A1 publication Critical patent/JPWO2006033273A1/ja
Application granted granted Critical
Publication of JP4600395B2 publication Critical patent/JP4600395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明は、短時間で効率よく標本を画像化でき、生成した画像のデータ量を確実に削減することもできる実用的な顕微鏡システムおよび画像処理方法の提供を目的とする。そのため、標本10Aの識別情報とマクロ画像とミクロ画像とを関連づけて記憶する記憶手段24,27と、観察対象の標本を載置するステージ11と、標本の識別情報を取得する取得手段39B,40と、識別情報と関連づけられたマクロ画像を記憶手段から読み出す(または標本を撮影する)ことにより、該標本のマクロ画像を表示する第1表示手段16,22,40,47,24と、標本を撮影することにより、該標本のミクロ画像を表示する第2表示手段12〜22,47,40,24と、外部からの指示にしたがい、第2表示手段に表示されたミクロ画像を第1表示手段に表示されたマクロ画像と取得手段が取得した識別情報とに関連づけて、記憶手段に追加して記憶させる追記手段40とを備える。

Description

本発明は、標本の観察に用いられる顕微鏡システムおよび画像処理方法に関する。
従来より、標本を載置するステージの移動や対物レンズの倍率の切り替えなどを電動で制御可能な顕微鏡システムが知られている。また、そのような顕微鏡システムを用い、標本の全領域を細かくスキャンしながら順に標本の拡大画像を取り込み、得られた多数の拡大画像をソフトウエア処理によって繋ぎ合わせることにより、標本の全領域の高精細な画像を生成する技術(標本スキャニングシステム)も知られている(例えば特許文献1を参照)。標本の全領域を画像化することにより、貴重な標本が手元にない場合でも、仮想的な観察が可能となる。
USP6101265(特表2002−514319号公報)
しかしながら、上記した標本スキャニングシステムでは、標本の全領域を細かくスキャンして高精細な画像を生成するため、その画像の生成に膨大な時間が必要となる。また、生成した画像のデータ量も膨大なものとなってしまう。したがって、上記した標本スキャニングシステムは、実用的とは言えなかった。標本スキャニングシステムの動作を開始すると、これが終了するまでの長い間、顕微鏡システムが専有されてしまうことも問題となっていた。
本発明の目的は、短時間で効率よく標本を画像化でき、生成した画像のデータ量を確実に削減することもできる実用的な顕微鏡システムおよび画像処理方法を提供することにある。
本発明の顕微鏡システムは、顕微鏡と、前記顕微鏡のステージ上の標本を撮像する撮像装置とを備えた顕微鏡システムにおいて、前記ステージ上の前記標本の識別情報を取得する取得手段と、前記取得手段により取得された前記標本の識別情報に、前記撮像装置により撮像された前記標本のマクロ画像およびミクロ画像を関連づけて記憶する記憶手段と、前記標本の識別情報に基づき、既に前記記憶手段に記憶された登録済みの標本であるか否かを判別し、前記登録済みの標本であると判別された揚合には、前記登録済みの標本のマクロ画像に前記撮像装置により新たに撮像された前記標本のミクロ画像を関連させて前記記憶手段に迫加して記憶させる追記手段とを備えたものである。
また、上記の顕微鏡システムにおいて、前記標本のマクロ画像を表示する第1表示手段と、前記標本のミクロ画像を表示する第2表示手段と、前記第1表示手段および前記第2表示手段の表示制御を行う表示制御手段とを備え、前記表示制御手段は、前記取得手段で取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に前記マクロ画像に関連づけられた前記ミクロ画像が前記記憶手段に記憶された登録済みの標本であるかを判別し、前記標本が新規の標本であると判別した場合には、前記撮像装置により撮像された前記標本のマクロ画像を前記第1表示手段に表示させ、かつ、前記第1表示手段に表示された前記標本のマクロ画像に関連づけられたミクロ画像を前記第2表示手段に表示させ、また、前記表示制御手段は、前記登録済みの標本であると判別した揚合には、前記記憶手段に記憶されている前記標本のマクロ画像を読み出し前記第1表示手段に表示させ、かつ前記第2表示手段に表示させる前記ミクロ画像を、前記記憶手段に記憶されている前記標本のマクロ画像に関連づけられたミクロ画像とするか、あるいは前記撮像装置で撮像されている前記標本のミクロ画像とするかを切り換えることが好ましい。
また、上記の顕微鏡システムにおいて、前記標本のマクロ画像を表示する第1表示手段と、前記標本のミクロ画像を表示する第2表示手段と、前記第1表示手段および前記第2表示手段の表示制御を行う表示制御手段とを備え、前記表示制御手段は、前記取得手段で取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に前記マクロ画像に関連づけられた前記ミクロ画像が前記記憶手段に記憶された登録済みの標本であるかを判別し、前記標本が新規の標本であると判別した揚合には、前記撮像装置により撮像された前記標本のマクロ画像を前記第1表示手段に表示させ、かつ、前記第1表示手段に表示された前記標本のマクロ画像に関連づけられたミクロ画像を前記第2表示手段に表示させ、また、前記表示制御手段は、前記登録済みの標本であると判別した揚合には、前記記憶手段に記憶されている前記標本のマクロ画像を読み出し前記第1表示手段に表示させ、さらに、前記第2表示手段に表示させる前記ミクロ画像を前記記憶手段に記憶されている前記標本のマクロ画像に関連づけられたミクロ画像とするオフラインモードと、前記第2表示手段に表示させる前記ミクロ画像を前記撮像装置で撮像されている前記標本のミクロ画像とするオンラインモードとを切り換えて表示することが好ましい。
また、上記の顕微鏡システムにおいて、前記記憶手段は、前記識別情報と前記マクロ画像と前記ミクロ画像とに加えて、前記標本に対する観察履歴の情報を関連づけて記憶し、前記追記手段は、前記第2表示手段に表示されたミクロ画像を記憶させる際、前記観察履歴の情報を更新することが好ましい。
また、上記の顕微鏡システムにおいて、前記観察履歴の情報には、前記第2表示手段に表示されたミクロ画像の記憶動作に関わる日時の情報と観察者名の情報とが含まれることが好ましい。
また、上記の顕微鏡システムにおいて、前記観察履歴の情報には、当該顕微鏡システムの識別情報が含まれることが好ましい。
また、上記の顕微鏡システムにおいて、前記記憶手段は、前記識別情報と前記マクロ画像と前記ミクロ画像とに加えて、前記標本に対する観察履歴の情報を関連づけて記憶し、外部からの指示にしたがう所定の識別情報に関連づけられたマクロ画像とミクロ画像を前記記憶手段から読み出して表示する第3表示手段と、前記第3表示手段による表示の最中に、外部からの指示にしたがい、前記所定の識別情報に関連づけられた前記観察履歴の情報を更新する更新手段とをさらに備えることが好ましい。
また、上記の顕微鏡システムにおいて、前記記憶手段は、前記マクロ画像と前記ミクロ画像とを関連づける際、各々のミクロ画像の撮影位置と撮影条件の情報を含めて関連づけを行い、前記ステージに前記観察対象の標本が載置されているときに、前記取得手段が取得した識別情報と関連づけられたミクロ画像の前記撮影位置と撮影条件を前記記憶手段から読み出して再現した後、該撮影位置と撮影条件を微調整する微調整手段と、前記微調整手段が微調整した後の状態で前記観察対象の標本を撮影することにより、該標本のミクロ画像を生成し、該ミクロ画像を前記第1表示手段に表示されたマクロ画像と前記取得手段が取得した識別情報とに関連づけて、前記記憶手段に追加して記憶させる制御手段とをさらに備えることが好ましい。
また、上記の顕微鏡システムにおいて、前記撮像装置により撮像された前起標本の像から前記標本の位置認識マーカーを検出し、記憶する位置認識マーカー記憶手段と、前記取得手段で取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に前記記憶手段に前記マクロ画像および前記ミクロ画像が記憶された登録済みの標本であるかを判別し、前記登録済みの標本であると判別した場合には、前記ステージに装填された前記標本のステージ上の装填位置を、前記位置認識マーカー記憶手段に記憶された前記位置認識マーカーに基づき正規の位置に補正する位置補正手段とを備えることが好ましい。
また、上記の顕微鏡システムにおいて、前記追記手段は、前記登録済みの標本のマクロ画像に関連づけられた過去のミクロ画像、および/または、前記撮像装置により新たに撮像されたミクロ画像のうち、互いに隣接する複数のミクロ画像を結合し、1つのミクロ画像として前記記憶手段に記憶させることが好ましい。
本発明の画像処理方法は、顕微鏡と、前記顕微鏡のステージ上の標本を撮像する撮像装置とを備えた顕微鏡システムの画像処理方法において、前記ステージ上の前記標本の識別情報を取得する取得工程と、前記取得された前記標本の識別情報に、前記撮像装置により撮像された前記標本のマクロ画像およびミクロ画像を関連づけて記憶する記憶工程と、前記標本の識別情報に基づき、既に前記記憶工程で記憶された登録済みの標本であるか否かを判別し、前記登録済みの標本であると判別された揚合には、前記登録済みの標本のマクロ画像に前記撮像装置により新たに撮像された前記標本のミクロ画像を関連させて追加して記憶させる追記工程とを備えたものである。
また、上記の画像処理方法において、前記標本のマクロ画像を表示する第1表示手段と、前記標本のミクロ画像を表示する第2表示手段とを備え、前記第1表示手段および前記第2表示手段の表示制御を行う顕微鏡システムの画像処理方法において、前記取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に記憶された前記マクロ画像および前記ミクロ画像に対応する登録済みの標本であるかを判別し、前記標本が新規の標本であると判別した場合には、前記撮像装置により撮像された前記標本のマクロ画像を前記第1表示手段に表示させ、かつ、前記撮像装置により撮像された前記標本のミクロ画像を前記第2表示手段に表示させ、また、前記登録済みの標本であると判別した場合には、前記記憶されている前記標本のマクロ画像を読み出し前記第1表示手段に表示させ、さらに、前記第2表示手段に表示させる前記ミクロ画像を、前記記憶工程で記憶されている前記標本のミクロ画像とするか、あるいは前記撮像装置で撮像されている前記標本のミクロ画像とするかを切り換えることが好ましい。
本発明によれば、短時間で効率よく標本を画像化でき、生成した画像のデータ量を確実に削減することもできる実用的な顕微鏡システムおよび画像処理方法を提供することができる。
本実施形態の顕微鏡システムの全体構成図である。 顕微鏡システム10への標本10Aの挿入状態を示す概略図である。 コンピュータ24の画面50,60を説明する図である。 コンピュータ24の履歴データベースと外部記憶装置27に保存されたマクロ画像と状態ファイルとミクロ画像の関連づけを説明する図である。 状態ファイルの一例を説明する図である。 ボタン入力検出処理の手順を示すフローチャートである。 ロード処理の手順を示すフローチャートである。 ミクロ画像の読込処理の手順を示すフローチャートである。 登録処理の手順を示すフローチャートである。 マクロ画像の読込処理の手順を示すフローチャートである。 再現処理の手順を示すフローチャートである。 自動履歴登録処理の手順を示すフローチャートである。 自動履歴登録処理におけるX軸,Y軸,Z軸それぞれの近傍位置を説明する図である。 位置認識を行うフローチャートである。 位置認識マーカーを説明する図である。 位置認識マーカーの別の例を説明する図である。 位置認識マーカーの別の例を説明する図である。 ミクロ画像をタイリング処理により結合して記憶させる例を説明する図である。 ミクロ画像をタイリング処理により結合して記憶させる例を説明する図である。
以下、図面を用いて本発明の実施形態を詳細に説明する。
本実施形態の顕微鏡システム10は、図1に示すように、観察対象の標本10Aを載置するステージ部11と、標本10Aを照明する照明部(12〜16)と、標本10Aの拡大像を形成する結像部(17〜21)と、標本10Aの拡大像を撮像するCCDカメラ22と、制御部23と、コンピュータ24と、入力装置25とで構成されている。
このうち、ステージ部11,照明部(12〜16),結像部(17〜21),CCDカメラ22,制御部23は、顕微鏡システム10の筐体26の内部に収容され(図2(A)参照)、コンピュータ24,入力装置25は、筐体26の外部に配置されている。顕微鏡システム10は、CCDカメラ内蔵の箱形の顕微鏡システムである。顕微鏡システム10には外部記憶装置27が装着されている。外部記憶装置27は、例えばハードディスクである。
また、顕微鏡システム10の筐体26の内部において、照明部(12〜16)はステージ部11の下方に配置され、結像部(17〜21),CCDカメラ22はステージ部11の上方に配置される。顕微鏡システム10は、標本10Aを透過照明で観察する装置である。
さらに、標本10Aは、プレパラート標本である。標本10Aのプレパラート部分には、識別用のバーコード(不図示)がシールとして貼り付けられている。
次に、顕微鏡システム10の各構成要素(12〜25)について個別に説明する。
ステージ部11は、x方向,y方向に移動可能な電動ステージと、電動ステージのx位置,y位置を検出するカウンタとで構成される(何れも不図示)。ステージ部11は、筐体26の開口26Aから外部への移動(図2(A)参照)も可能である。ステージ部11が筐体26の内外間で移動する際の経路は、顕微鏡システム10の2つの観察光路10B,10Cを横切っている。
本実施形態では、説明を簡単にするため、ステージ部11上での標本10Aの位置(回転も含む)が、常に(再載置のときでも)同じであるとする。つまり、ステージ部11に標本10Aを再現性よく位置決めできるとする。この場合、ステージ部11の座標系と標本10Aの座標系とは常に一致すると考えることができる。
ステージ部11にプレパラート(標本10A)が載置されているか否かを検出するため、筐体26の内部には、図1,図2(B),(C)に示すように、ステージ部11にプレパラート押さえ11Aが設けられ、開口26Aの下部にセンサ39Aが設けられる。プレパラート押さえ11Aは、軸11Bを中心に回転可能であり、プレパラートがステージ部11に載置されていないとき(図2(B)の状態)、一端がセンサ39Aの中に位置する。そして、プレパラートがステージ部11に載置された状態で筐体26の外部から内部に入るとき(図2(C)の状態)、他端がプレパラートによって押され、一端がセンサ39Aの外に出る。このためセンサ39Aは、プレパラート押さえ11Aの一端の有無に応じて、ステージ部11上でのプレパラート(標本10A)の有無を検出する。
また、ステージ部11に標本10Aが載置されたときに、その標本10Aのバーコード(不図示)を読み取るため、筐体26の内部(例えば開口26Aの上部)にはセンサ39Bが設けられる。センサ39Bによる検知信号は、制御部23のコントローラ40に出力される。コントローラ40は、センサ39Bからの出力に基づいて、標本10Aの識別情報を取得する。
この識別情報は、センサ39Bにより検知される構成でなくてもよく、ユーザーが外部入力してもよい。この識別情報は、ステージに載置されたプレパラート(標本10A)が、記憶装置27に既に登録されているプレパラートか否かを識別するための情報である。センサ39Bとコントローラ40とは、総じて、請求項の「取得手段」に対応する。
なお、標本10Aの識別情報は、例えばプレパラートに固設されたICタグに記憶されたプレパラート固有のID情報であってもよい。また、別の識別情報として、プレパラート上の試料(細胞片)の輪郭を表す画像データを使用してもよい。この場合には、プレパラート上の試料の輪郭を読み取り、画像マッチング手法により、既登録のプレパラートか否かを判別する。
ステージ部11は、制御部23のステージ制御回路43を介してコントローラ40に接続される。ステージ制御回路43は、コントローラ40からの制御信号に基づいて、ステージ部11の電動ステージをx方向,y方向に移動させ、ステージ部11による標本10Aの観察位置を調整する。また、ステージ部11のカウンタの値を読み取り、電動ステージのx位置,y位置に関わる信号をコントローラ40に出力する。
照明部(12〜16)は、一方の観察光路10B上に配置された照明光源12,拡散板13,コンデンサレンズ14,開口絞り15と、他方の観察光路10C上に配置された照明光源16とで構成されている。
一方の照明光源12から射出された光は、拡散板13によって均一化され、コンデンサレンズ14によって集光され、開口絞り15を介して観察光路10B上の標本10Aの一部領域(観察点)に入射する。そして、この一部領域(観察点)を透過した光は、結像部(17〜21)に導かれる。
他方の照明光源16から射出された光は、観察光路10C上の標本10Aに入射する。このとき標本10Aは、半分の領域が面状に照明される。そして、この半分の領域を透過した光も、結像部(17〜21)に導かれる。照明光源16は、標本10Aを含む広い範囲(プレパラート全体)の等倍観察時に使用される。
照明光源12,16は、制御部23の照明制御回路41を介してコントローラ40に接続され、制御される。
絞り15は、制御部23の絞り制御回路42を介してコントローラ40に接続され、制御される。
結像部(17〜21)は、対物レンズ部17と、ミラー18,19と、縮小レンズ部20と、ミラー21とで構成されている。ここで、ミラー18は観察光路10B上に配置され、ミラー19は観察光路10C上に配置されている。ミラー18,19による反射後の観察光路10Dは共通である。ミラー21は、観察光路10D上に配置され、ミラー18,19により裏返しになった像を表像に戻すための光学素子である。
対物レンズ部17は、40倍の対物レンズ31と、10倍の対物レンズ32と、通過穴33と、センサ34とで構成されている。そして、対物レンズ31,32のうち何れか1つを観察光路10Bに挿入可能である。観察光路10Bに挿入されている対物レンズの種類(31または32)は、センサ34によって検知される。通過穴33は、観察光路10C上に配置されている。
対物レンズ部17は、制御部23のフォーカス制御回路44および対物レンズ駆動回路45を介してコントローラ40に接続され、制御されている。
縮小レンズ部20は、1/2倍の縮小レンズ35と、1倍の縮小レンズ36と、通過穴37と、センサ38とで構成される。そして、縮小レンズ35,36,通過穴37のうち何れか1つを観察光路10Dに挿入可能である。センサ38は、観察光路10Dに挿入されている縮小レンズの種類(35または36)を検知するためのものである。
縮小レンズ部20は、制御部23の縮小レンズ駆動回路46を介してコントローラ40に接続され、制御されている。
CCDカメラ22は、CCD(電荷結合素子)を用いた2次元撮像素子であり、xy方向に2次元配列された複数の受光部を有する。CCDカメラ22は、所定面2Aに形成された標本10Aの像を撮像して画像信号を出力する。出力先は、制御部23のCCD制御回路47である。
CCD制御回路47は、コントローラ40からの制御信号に基づいて、CCDカメラ22にタイミング信号を出力して制御する。
コントローラ40には、制御部23を構成する各々の回路(41〜47)や対物レンズ部17のセンサ34,縮小レンズ部20のセンサ38が接続されるだけでなく、コンピュータ24,入力装置25,外部記憶装置27も接続される。
コンピュータ24は、観察画像や操作メニューなどを画面50,60(図3)に表示すると共に、観察画像などの履歴データベースサーバーを兼ねている。履歴データベースサーバには、履歴データの改ざんを防止するために、電子透かしなどの改ざん防止策が取られている。画像データ自身と取得情報(装置の設定や時期など)、閲覧情報(時期や画像上の場所など)、記入コメント、加工(フィルタリングなど)は、セットで履歴データベースサーバーに登録される。履歴データベースサーバーは、別PCにてデータベースサーバーを構築して、接続して管理するのが望ましいが、装置内部に内臓してもよい。
ひとたびデータベースに登録された画像データを加工した場合でも、オリジナルの画像データは常に残し、いつでもオリジナルの画像データを参照できるようにしておく。また、データベースは、閲覧、記入コメント、加工などのデータ修正に関わる行為を全て記録しておくような追記型の構成とし、これらの閲覧や修正行為の履歴を、消去したり改ざんできないように構成するのが望ましい。例えば、データベースにアクセスする人を特定するために、パスワード方式としたり、画像データには電子透かしなどの改ざん防止策を施しておく。
外部記憶装置27には、観察画像のファイルなどが保存される。コンピュータ24の履歴データベースと外部記憶装置27とは、総じて、請求項の「記憶手段」に対応する。入力装置25は、コンピュータ24上に表示されている操作用のGUI(Graphical User Interface)であり、また、コンピュータ24に接続されたキーボード24A(またはコンピュータ24上にソフトウエアで作成したキーボード)を含む。
コントローラ40は、制御部23のCCD制御回路47からディジタル信号を取り込むと、これをフレームメモリに一旦格納し、その後、コンピュータ24の画面50,60(図3)に出力する。その結果、コンピュータ24の画面50,60には、標本10Aの現在の静止画像が表示される。また、この画面50,60には、コントローラ40がコンピュータ24の履歴データベースを介して外部記憶装置27から読み出した過去の標本画像(履歴画像)も表示される。
ここで、標本10Aの現在の静止画像について説明する。観察光路10B上の対物レンズ(31または32)と観察光路10D上の縮小レンズ(35または36)を経てCCDカメラ22に到達した光に起因する画像(以下「ミクロ画像」という)は、標本10Aの一部領域(観察点)の拡大画像であり、コンピュータ24の画面50の分割領域51に表示される。分割領域51はミクロ画像の表示領域である。
ミクロ画像の表示に関わる構成要素は、観察光路10B上の光学素子(12〜15,31,32,18)と観察光路10D上の光学素子(35,36,21)とCCDカメラ22とCCD制御回路47とコントローラ40とコンピュータ24の画面50の分割領域51であり、総じて、請求項の「第2表示手段」に対応する。これらの構成要素は、ステージ部11に載置された標本10Aを撮影することにより、ミクロ画像を表示する手段である。
ミクロ画像を表示する際の撮影条件(対物レンズ部の倍率,縮小レンズ部の倍率,絞り量,焦点位置,照明輝度)と、撮影位置(ステージ部11のxy位置)は、制御部23を構成する各々の回路(41〜47)によって調整可能である。なお、ミクロ画像の表示倍率は、CCDカメラ22が標本10Aの拡大像を撮像するときに観察光路10B,10Dに挿入されていた拡大光学系の倍率(5倍,10倍,20倍,40倍)と、CCDカメラ22が画像信号を出力するときに設定された電子ズーム倍率(例えば1倍〜2倍)との積で決まる。
また、観察光路10C上の通過穴33と観察光路10D上の通過穴37を経てCCDカメラ22に到達した光に起因する画像(以下「マクロ画像」という)は、標本10Aを含む広い範囲(プレパラート全体)の等倍画像であり、コンピュータ24の画面60の分割領域61に表示される。分割領域61はマクロ画像の表示領域である。分割領域61には、後述の矩形枠66,67,…がマクロ画像と重ねて表示される。
マクロ画像の表示に関わる構成要素は、観察光路10C上の光学素子(16,19),通過穴33と観察光路10D上の光学素子(21),通過穴37とCCDカメラ22とCCD制御回路47とコントローラ40とコンピュータ24の画面60の分割領域61であり、総じて、請求項の「第1表示手段」に対応する。これらの構成要素は、ステージ部11に載置された標本10Aを撮影することにより、マクロ画像を表示する手段である。
このように、標本10Aがステージ部11に載置されているとき、基本的には、コンピュータ24の画面50の分割領域51に現在のミクロ画像が表示され、画面60の分割領域61に現在のマクロ画像が表示される。ただし、これら現在のミクロ画像やマクロ画像に代えて、コントローラ40がコンピュータ24の履歴データベースを介して外部記憶装置27から読み出した過去のミクロ画像やマクロ画像(履歴画像)を、分割領域51,61に表示させることもできる。この画面50と画面60とは、1つの表示画面に分割されて同時に表示されてもよいし、交互に選択的に表示されてもよい。または、2つの表示装置にそれぞれ表示されてもよい。
過去のミクロ画像やマクロ画像(履歴画像)は、図4に示す通り、コンピュータ24の履歴データベースおよび外部記憶装置27の中で、状態ファイル(例えば名前:ABC.txt)を介して互いに関連づけられる。また、マクロ画像(例えば名前:ABC.bmp)は、標本10Aの識別情報に応じて付与された登録番号(例えば1)とも関連づけられる。ちなみに、本実施形態では、1つの登録番号(例えば1)に1つのマクロ画像(例えば名前:ABC.bmp)と状態ファイル(例えば名前:ABC.txt)が関連づけられ、さらに、多数のミクロ画像(例えば名前:DEF001.bmpなど)が関連づけられる。
このように、コンピュータ24の履歴データベースおよび外部記憶装置27の中では、標本10Aの識別番号に応じて互いに重複しないように登録番号が付与され、登録番号ごとに(つまり標本ごとに)、その登録番号とマクロ画像とミクロ画像との関連づけが行われる。また、登録番号とマクロ画像とミクロ画像との関連づけは、標本10Aの識別情報とマクロ画像とミクロ画像との関連づけと等価である。登録番号の付与は、コントローラ40が自動的に行う。
ここで、マクロ画像とミクロ画像のファイル名(例えばABC.bmpやDEF001.bmpなど)は、コントローラ40が、互いに重複しないように英数文字でランダムに任意に決定した名前である。登録の際の日時をファイル名としても構わない。また、このように自動でファイル名を付ける例に限らず、観察者がファイル名を付けても構わない。ファイル名の拡張子は“bmp”に限らず、他の形式でも構わない。また、状態ファイルの名前(例えばABC.txt)は、マクロ画像のファイル名(例えばABC.bmp)と関連づけて(同じ名前で拡張子を“txt”にしたもの)のように自動でコントローラ40が決定する。
さらに、状態ファイル(例えば名前:ABC.txt)は、図5に示す通り、ミクロ画像のファイル名(例えば名前:DEF001.bmpなど)と、撮影位置(ステージ部11のxy位置)と、撮影条件(倍率,絞り量,焦点位置,照明輝度)とを関連づけると共に、標本10Aに対する観察履歴の情報(操作の種類,コメント,日付,時間,観察者名)を関連づけるファイルである。状態ファイルの各項目のうち、観察履歴の情報に含まれるコメント以外は、コントローラ40が自動的に書き込んだものである。コメントは、観察者がキーボード24Aなどを用いて入力した情報である。
また、状態ファイルの各項目のうち、ミクロ画像とマクロ画像との関連づけに必須の項目は、撮影位置(ステージ部11のxy位置)の情報である。撮影位置(ステージ部11のxy位置)は、本実施形態のようにステージ部11の座標系と標本10Aの座標系とが常に一致する場合、何らかの座標変換処理を施さずとも、マクロ画像上でのミクロ画像の位置を表すと考えられる。したがって、撮影位置(ステージ部11のxy位置)と共にマクロ画像とミクロ画像との関連づけを行うことで、ミクロ画像に対応するマクロ画像の一部領域を常に把握することができる。
そして、図4,図5のような関連づけ情報がコンピュータ24の履歴データベースおよび外部記憶装置27に既に記憶されている場合、そこからコントローラ40によって読み出された過去のマクロ画像やミクロ画像(履歴画像)は、それぞれ、コンピュータ24の画面50,60(図3)の分割領域51,61,62,64に表示される。
具体的には、マクロ画像の一覧が分割領域62に表示され、この一覧の中から選択された1つのマクロ画像が分割領域61に表示され、このマクロ画像と関連づけられたミクロ画像の一覧が分割領域64に表示される。さらに、分割領域64の一覧の各ミクロ画像に対応するマクロ画像の一部領域(つまり各ミクロ画像の撮影位置)が、分割領域61に矩形枠66,67,…として表示される。また、分割領域64の一覧の中から選択された1つのミクロ画像が画面50の分割領域51に拡大表示される。
さらに、分割領域62の一覧から選択されて分割領域61に表示されたマクロ画像の標本情報(登録番号など)は、分割領域63に表示される。標本情報に含まれる患者情報やコメントは、観察者がキーボード24Aなどを用いて入力した情報である。また、分割領域64の一覧から選択されて分割領域51に表示されたミクロ画像の情報(図5に示す状態ファイルのコメントなど)は、分割領域65に表示される。
なお、分割領域64に一覧表示されるミクロ画像は、コンピュータ24の履歴データベースおよび外部記憶装置27に記憶されている全てのミクロ画像(分割領域61のマクロ画像と関連づけられた全てのミクロ画像)としてもよいが、図5の状態ファイルに含まれる項目(分割領域69のタイトル1,2,…)を利用して分類すれば、一部のミクロ画像のみを分割領域64に表示させることもできる。
ところで、画面50の分割領域52は、操作メニューなどの表示領域であり、標本10Aがステージ部11に載置された(オンライン)か、載置されていない(オフライン)かを示している。また、分割領域52には、ロードボタン53と、撮影ボタン54と、マクロ読込ボタン55と、再現ボタン56と、近傍撮影ボタン57と、入力ボックス58とが設けられる。
観察者が上記ボタン(53〜57)をマウスなどによりクリックすると、入力装置25からコントローラ40に様々な指示が入力される。そして、コントローラ40は、外部からの指示にしたがって、制御部23の各々の回路(41〜47)に制御信号を出力し、顕微鏡システム10の各部を電動で制御する。また、コンピュータ24の履歴データベースや外部記憶装置27との間でファイルやデータの授受を行う。さらに、観察者が上記の入力ボックス58にコメント(文字や記号など)を入力すると、コントローラ40は、コンピュータ24の履歴データベースを介して外部記憶装置27の記憶内容(図5の状態ファイルなど)を更新する。
次に、本実施形態の顕微鏡システム10の動作について、図6〜図12のフローチャートを用いて説明する。図12のフローチャートの処理を説明する際、図13を参照する。
顕微鏡システム10に電源が投入され、観察者が顕微鏡システム10にログインすると、コントローラ40は、顕微鏡システム10の各部を初期化し、図6〜図12のフローチャートによる制御を開始する。このとき、コンピュータ24の画面60の分割領域62には、コンピュータ24の履歴データベースおよび外部記憶装置27に既に記憶されたマクロ画像の一覧が表示される。
(ボタン入力検出処理)
まず初めに、図6に示すボタン入力検出処理(S1〜S10)について説明する。
コントローラ40は、ステップS1〜S5の各々において、図3のロードボタン53,撮影ボタン54,マクロ読込ボタン55,再現ボタン56,近傍撮影ボタン57が押されたか否かを監視する。
そして、ロードボタン53が押されると(S1がYes)、ステップS6のロード処理(詳細は図7)を実行する。撮影ボタン54が押されると(S2がYes)、ステップS7の登録処理(詳細は図9)を実行する。マクロ画像の読込ボタン55が押されると(S3がYes)、ステップS8のマクロ画像の読込処理(詳細は図10)を実行する。再現ボタン56が押されると(S4がYes)、ステップS9の再現処理(詳細は図11)を実行する。近傍撮影ボタン57が押されると(S5がYes)、ステップS10の自動履歴登録処理(詳細は図12)を実行する。
なお、撮影ボタン54が押されたときの登録処理(詳細は図9)でも、近傍撮影ボタン57が押されたときの自動履歴登録処理(詳細は図12)でも、標本10Aのミクロ画像の登録が行われる。ただし、その違いを明確にするため、登録処理(詳細は図9)を用いて登録されたミクロ画像には“観察者が登録した”というフラグを立て、自動履歴登録処理(詳細は図12)を用いて登録されたミクロ画像には同様のフラグを立てないことにする。
(ロード処理)
次に、図7のロード処理(S11〜S25)について説明する。
ロードボタン53が押されると、コントローラ40は、ステップS11において、ステージ部11を筐体26の開口26Aから外部へ吐き出す(図2の状態)。このとき観察者はステージ部11の上に標本10Aを載置することができる。また、既に標本10Aが載置されている場合には、ステージ部11の上から標本10Aを取り除くことができる。
その後、ロードボタン53が再び押されると(ステップS12がYes)、コントローラ40は、ステージ部11を開口26Aから内部に取り込む(ステップS13)。このとき、ステージ部11と共に標本10Aも内部に取り込まれる。または、標本10Aが取り除かれて空になったステージ部11のみが内部に取り込まれる。
また、ステージ部11を筐体26の内部に取り込む際、コントローラ40は、ステージ部11上にプレパラート(標本10A)があるか否かをセンサ39Aの出力に応じて検出する(ステップS14)。そして、プレパラート(標本10A)がない場合(ステップS14がNo)、ロード処理を終了して図6のボタン入力検出処理に戻る。
一方、プレパラート(標本10A)がある場合(ステップS14がYes)、コントローラ40は、センサ39Bの出力に基づいてプレパラート上のバーコードを読み取り、標本10Aの識別情報を取得する(ステップS15)。そして、コンピュータ24の履歴データベース(図4参照)に問い合わせを行い、標本10Aの識別情報に対応する登録番号の有無を判断する(ステップS16)。登録番号が履歴データベースにない場合(S16がNo)、コントローラ40は、ステージ部11に載置されている標本10Aの新規登録を行うため、ステップS17の処理に進む。
ステップS17では、照明光源16を点灯すると共にミラー18を退避させ、縮小レンズ部20の通過穴37を観察光路10Dに挿入する。そして、標本10Aが観察光路10Cに到達したときに、標本10Aを2回のショットに分けて撮影し、マクロ画像を取り込む。マクロ画像は、フレームメモリに一旦格納され、コンピュータ24の分割領域61に表示される(ステップS18)。
そして次に、上記のステップS15で取得した標本10Aの識別情報に応じて新規に登録番号を付与し(ステップS19)、分割領域61に表示されたマクロ画像にファイル名(例えばABC.Bmp)を付け(ステップS20)、両者を関連づけて、コンピュータ24の履歴データベースと外部記憶装置27に保存する(図4)。また、次のステップS21では、図5のような状態ファイル(例えば名前:ABC.Txt)を作成し、上記したマクロ画像と関連づけて、コンピュータ24の履歴データベースと外部記憶装置27に保存する(図4)。
ステップS17〜S21の処理を行った結果、コンピュータ24の履歴データベースおよび外部記憶装置27の中では、新規の登録番号と、マクロ画像のファイル(例えば名前:ABC.Bmp)と、状態ファイル(例えば名前:ABC.txt)とが関連づけられ、新規に登録されたことになる。この時点では、まだ、ミクロ画像の登録数は0であり、状態ファイルの各項目への書き込みもない。このような新規登録により、新たなマクロ画像が分割領域62の一覧に追加され、標本情報(登録番号など)が分割領域63に表示される。
一方、ステップS16の処理で、標本10Aの識別情報に対応する登録番号が履歴データベースにある(S16がYes)と判断した場合、コントローラ40は、ステップS22〜S24の処理を実行する。ステップS22〜S24の処理は、ステージ部11に載置されている標本10Aが登録済の場合に、コンピュータ24の履歴データベースを介して外部記憶装置27から過去のマクロ画像やミクロ画像(履歴画像)を読み込む/表示する処理に相当する。
まず、ステップS22では、登録番号と関連づけられたマクロ画像を読み込む。そして、読み込んだマクロ画像をコンピュータ24の分割領域61に表示する(ステップS23)。このとき、分割領域63には、読み込んだマクロ画像の標本情報(登録番号など)が表示される。その後、ステップS24では、読み込んだマクロ画像に関連づけられた過去のミクロ画像の読込処理(詳細は図8のS31〜S39)を実行する。なお、ステップS25の説明は、次の図8の説明(つまりステップS24の詳細な説明)の後に行う。
(ミクロ画像の読込処理)
図8のステップS31では、読み込んだマクロ画像に関連づけされているミクロ画像のリストを読み込む。そして、リストの項目数(つまり過去のミクロ画像の登録数)が0であれば(ステップS32がNo)、この読込処理を終了する。この場合、コンピュータ24の画面60の分割領域64には何も表示されず、上記の新規登録(S17〜S21)が終わった後と同様の状態となる。
また、リストの項目数(つまり過去のミクロ画像の登録数)が1以上の場合(ステップS32がYes)、リストの先頭のミクロ画像に関わるファイル名を取得し、外部記憶装置27からミクロ画像を読み込む(ステップS33)。次のステップS34では、状態ファイル(図5)を参照し、読み込んだミクロ画像に関連づけされている撮影情報(撮影位置や撮影条件や観察履歴)を読み込む。
そして次のステップS35では、読み込んだ撮影情報に基づいて、ミクロ画像に“観察者が登録した”というフラグが立っているか否か(つまり後述の図9の登録処理を用いて登録されたミクロ画像か否か)を判定する。判定の結果、そのフラグが立っている場合には(S35がYes)、ステップS33で読み込んだミクロ画像をサムネイルとして、コンピュータ24の画面60の分割領域64に表示する(ステップS36)。また、そのミクロ画像に関連づけたコメントなどを分割領域65に表示する。なお、フラグが立っていない場合(S35がNo)、そのミクロ画像は、後述の図12の自動履歴登録処理を用いて登録されたものであり、サムネイル表示をしない。
その後、ステップS34で読み込んだ撮影情報のうち、撮影位置(ステージ部11のxy位置)の情報に基づいて、ステップS33で読み込んだミクロ画像の位置を分割領域61のマクロ画像に重ねて矩形枠(例えば矩形枠66)で表示する(ステップS37)。このとき、分割領域64にサムネイル表示されたミクロ画像(後述の図9の登録処理で登録)と、サムネイル表示されないミクロ画像(後述の図12の自動履歴登録処理で登録)を区別するため、例えば矩形枠を違う色にすることが好ましい。
ステップS38では、ミクロ画像のリストの全項目数についての読み込みが終了したか否かを判断し、まだ読み込んでいないミクロ画像がある場合(S38がNo)、ステップS39でリストの次のミクロ画像を外部記憶装置27から読み込む。そして、上記と同様のステップS34〜S38の処理を繰り返す。リストの全てのミクロ画像が読み込まれた場合には(S38がYes)、この読込処理を終了する。これで、図7のロード処理のステップS24の処理が終了したことになる。
ステップS22〜S24の処理を行った結果、コンピュータ24の画面60の分割領域61には、ステージ部11に載置されている標本10Aの識別情報に応じた登録番号のマクロ画像が表示され、このマクロ画像に関連づけされている過去のミクロ画像(後述の図9の登録処理で登録)があれば、分割領域64にサムネイル表示される。また、分割領域63には、分割領域61のマクロ画像の標本情報(登録番号など)が表示される。
このように、図7のロード処理では、標本10Aの識別情報に対応する登録番号が、コンピュータ24の履歴データベースにあるかないかに応じて、ステップS17〜S21の処理、または、ステップS22〜S24の処理を実行し、その後、ステップS25の処理に進む。ステップS25では、ステージ部11がさらに移動して、観察光路10B上に標本10Aが到達すると、コントローラ40は、照明光源12を点灯し、ミラー18を観察光路10D上に挿入し、標本10Aの一部領域の観察状態とする。このとき、コントローラ40は、標本10Aを撮影してミクロ画像を取り込み、コンピュータ24の分割領域51に表示する。
図7のロード処理が終了すると、コントローラ40は、図6のボタン入力検出処理に戻る。この状態で、コントローラ40は、外部からの指示にしたがって顕微鏡システム10の各部を電動で制御し、分割領域51に表示されたミクロ画像の撮影条件や撮影位置を変更しながら標本10Aの撮影を行い、ミクロ画像を更新する。なお、ミクロ画像の撮影位置については、分割領域61(マクロ画像)の中で、拡大して観察したい箇所をクリックすることにより指定することができる。
(登録処理)
次に、図9の登録処理(S41〜S46)について説明する。
撮影ボタン54が押されると、コントローラ40は、ステップS41において、ステージ部11上の標本10Aについての登録数が、既に最大(コンピュータ24の履歴データベースの制限値)に達しているか否かを判定する。そして、まだ登録の余地がある場合のみ(S41がNo)、ステップS42以降の処理を行う。
ステップS42では、分割領域51に表示されているミクロ画像にファイル名(例えばDEF001.bmp)を付け、図7のステップS15で取得した登録番号と、分割領域61に表示されたマクロ画像とに関連づけて、コンピュータ24の履歴データベースと外部記憶装置27に保存する(図4)。その際に、ミクロ画像には、改ざん防止のために電子透かしが付与されている。
さらに、ステップS43では、ミクロ画像の撮影位置(ステージ部のxy位置)と、撮影条件(対物レンズ部の倍率,縮小レンズ部の倍率,絞り量,焦点位置,照明輝度)を、各々の回路(41〜47)やセンサ34,38から取得する。そして、図7のステップS15で取得した登録番号に関連づけされている状態ファイル(例えば名前:ABC.txt)に、ミクロ画像のファイル名と撮影位置と撮影条件を書き込む。
また、ステップS44では、標本10Aに対する観察履歴の情報(操作の種類,コメント,日付,時間,観察者名)が更新され、分割領域65に表示される。その観察履歴の情報を更新する際に、改ざん防止のためにパスワードなどで書き込める人が特定されるように構成されている。観察履歴の情報のうち、操作の種類(例えばミクロ画像の登録)と日付と時間と観察者名は、コントローラ40が自動的に書き込む情報である。日付と時間は、例えば撮影ボタン54が押されたときの日時である。観察者名は、例えば顕微鏡システム10へのログイン名である。一方、観察履歴の情報に含まれるコメントは、観察者がキーボード24Aなどを用いてコンピュータ24の入力ボックス58に入力した文字や記号などの情報である。
次に、コントローラ40は、ステップS42で保存したミクロ画像をコンピュータ24の画面60の分割領域64にサムネイル表示する(ステップS45)。さらに、ステップS43で取得した撮影位置(ステージ部11のxy位置)の情報に基づいて、分割領域51に表示されているミクロ画像の位置を分割領域61のマクロ画像に重ねて矩形枠(例えば矩形枠66)で表示する(ステップS46)。
このようにして図9の登録処理が終了すると、コントローラ40は、図6のボタン入力検出処理に戻る。そして、撮影ボタン54が押される度に、図9の登録処理(S41〜S46)を繰り返し、ミクロ画像のリストを追加していく。つまり、従来の標本スキャニングシステムのように標本10Aの全領域で順にミクロ画像(拡大画像)を取り込むのではなく、撮影ボタン54が押されたときに分割領域51に表示されているミクロ画像(観察者が注視した部分のミクロ画像)だけを取り込み、リストに追加していく。
本実施形態の顕微鏡システム10では、観察者が自分自身で標本10Aの注視位置を決定し、その位置のミクロ画像をコンピュータ24の履歴データベースおよび外部記憶装置27に取り込むと共に、特に重要ではない部分のミクロ画像は保存しないため、従来の標本スキャニングシステムと比較して、短時間で効率よく標本10Aを画像化することができ、生成した画像のデータ量を確実に削減できる。
このような効果は、新しい標本10Aをステージ部11に載置した場合だけでなく、既に1つ以上のミクロ画像が登録された標本10Aをステージ部11に再載置した場合にも、同様である。この場合には、上記した図7のステップS15で取得した標本10Aの識別情報に対応する登録番号に基づいて、その後のステップS22〜S24の処理により、コンピュータ24の履歴データベースを介して外部記憶装置27から過去のマクロ画像やミクロ画像(履歴画像)が読み出される。
そして、撮影ボタン54が押されたときに(外部からの指示にしたがい)、図9の登録処理(S41〜S46)により、分割領域51に表示されたミクロ画像(観察者が注視した部分のミクロ画像)を、図7のステップS15で取得した標本10Aの識別情報に対応する登録番号と、分割領域61に表示されたマクロ画像とに関連づけて、コンピュータ24の履歴データベースと外部記憶装置27に追加して記憶させる(追記)。したがって、再載置の場合にも、短時間で効率よく標本10Aを画像化でき、生成した画像のデータ量を確実に削減できる。
このように、本実施形態の顕微鏡システム10では、標本10Aの画像化に際して、必要なときに必要な箇所だけを高精細なミクロ画像として保存することができ、追加で保存したくなったら何時でも標本10Aに戻ることができ、新たに必要になった箇所だけを高精細なミクロ画像として追加保存することができる。保存データは、観察者が注視した部分の高精細なミクロ画像と、標本10Aのマクロ画像(等倍画像)であり、そのデータ量が従来の標本スキャニングシステムのように膨大になることはない。
(マクロ画像の読込処理)
また、標本10Aの重要な部分(観察者が注視した部分)を、標本10Aの全体像と関連づけて画像化することにより、貴重な標本10Aが手元にない場合でも、仮想的な観察が可能となる。次に、標本10Aがステージ部11に載置されない(オフライン)状態での仮想的な観察について説明する。この観察は、ステージ部11に載置されている標本10Aとは別の標本を仮想的に観察する場合にも当てはまる。
観察者がコンピュータ24の画面60の分割領域62に表示された一覧の中から1つのマクロ画像を選択し、分割領域52のマクロ読込ボタン55を押すと、コントローラ40は、図10のマクロ画像の読込処理(S51〜S57)を実行する。
ステップS51では、マクロ読込ボタン55が押されたときに分割領域62の一覧の中で選択されているマクロ画像を認識するため、そのマクロ画像に関連づけられた登録番号を入力装置25から取得する。次に、ステップS52では、ステージ部11上にプレパラート(標本10A)があるか否かを検出する。プレパラート(標本10A)がない場合(ステップS52がNo)、次のステップS53の処理を行わずにステップS54に進む。
また、プレパラート(標本10A)がある場合(S52がYes)、ステップS53の処理に進み、ステップS51で取得した登録番号(選択番号)が、標本10Aの識別情報に対応する登録番号(標本番号)と異なるか否かを判断する。2つの登録番号が一致する場合(S53がNo)、既に所望のマクロ画像は分割領域61に表示され、そのマクロ画像に関連づけられたミクロ画像の一覧も分割領域64に表示されているため、この読込処理を終了する。
一方、2つの登録番号が異なる場合(S53がYes)と、ステージ部11上にプレパラート(標本10A)がない場合(S52がNo)は、ステップS54の処理に進み、ステップS51で取得した登録番号と関連づけられたマクロ画像を、コンピュータ24の履歴データベースを介して外部記憶装置27から読み込む。そして、読み込んだマクロ画像をコンピュータ24の分割領域61に表示する(ステップS55)。このとき、分割領域63には、読み込んだマクロ画像の標本情報(登録番号など)が表示される。
その後、ステップS56では、読み込んだマクロ画像に関連づけられた過去のミクロ画像の読込処理(図8のS31〜S39)を実行する。その結果、マクロ画像に関連づけされている過去のミクロ画像(図9の登録処理で登録)が分割領域64にサムネイル表示される。この状態で観察者が分割領域64の一覧の中から1つのミクロ画像を選択すると、そのミクロ画像を分割領域51に表示させることができる。
さらに、観察者がキーボード24Aなどを用いてコンピュータ24の入力ボックス58にコメント(文字や記号など)を入力すると、コントローラ40は、ステップS57にて、分割領域61のマクロ画像に関連づけられた観察履歴の情報(図5参照)を更新する。また、観察者が擬似的に上下・左右・フォーカス・倍率などを動かすと、その操作に基づいて観察履歴の情報を更新する。このような追加履歴にはフラグを付けて、オンライン時の観察履歴(図9のS44)とは区別することが好ましい。
なお、擬似的な操作(倍率変更など)において、ミクロ画像が未取得の部位では、マクロ画像のデジタル拡大によりミクロ画像を表示してもよいし、ソフトウエアでの制限によりミクロ画像を表示できないようにしてもよい。また、このような仮想的な観察時に、外部記憶装置27に記憶されているマクロ画像やミクロ画像(履歴画像)の改変を防止することが好ましい。
このように、図10のマクロ画像の読込処理(S51〜S57)を実行することにより、貴重な標本10Aが手元にない場合でも、高精細なミクロ画像を仮想的に観察することが可能となる。さらに、ある標本10Aの観察時(画像化の最中)であっても、別の標本の履歴画像を読み出して表示させること(オンラインからオフラインへの移行)ができるため、顕微鏡システム10が標本10Aの画像化に専有されることもなく、実用的な顕微鏡システム10となる。
逆に、オフラインからオンラインへの移行もスムーズに行える。この場合、図10のマクロ画像の読込処理(S51〜S57)の後で、コントローラ40が観察者に対し、必要な標本10Aの識別情報を明示してロードを促すことにより、必要な標本10Aのロード処理(図7)を開始させるようにすればよい。あるいは、一方的に観察者が必要な標本10Aのロード処理(図7)を開始させても構わない。何れにしても、オフラインからオンラインへの移行をスムーズに行うことができ、実用的な顕微鏡システム10となる。
(再現処理)
さらに、本実施形態の顕微鏡システム10では、状態ファイルに書き込まれた撮影位置(ステージ部11のxy位置)と、撮影条件(対物レンズ部の倍率,縮小レンズ部の倍率,絞り量,焦点位置,照明輝度)を再現することもできる。
観察者がコンピュータ24の画面60の分割領域64に表示された一覧の中から1つのミクロ画像を選択し、分割領域52の再現ボタン56を押すと、コントローラ40は、図11の再現処理(S61〜S72)を実行する。
ステップS61では、再現ボタン56が押されたときに分割領域64の一覧の中で選択されているミクロ画像を認識するため、そのミクロ画像に関連づけられたリスト番号を入力装置25から取得する。また、ステップS62では、選択されたミクロ画像に関連づけされている状態ファイル(例えば名前:ABC.txt)をコンピュータ24の履歴データベースから読み込む。さらに、ステップS63では、読み込んだ状態ファイルに関連づけられた登録番号を取得する。
次に、ステップS64では、ステージ部11上にプレパラート(標本10A)があるか否かを判定する。プレパラート(標本10A)がある場合(S64がYes)、ステップS65の処理に進み、ステップS63で取得した登録番号(選択番号)が、標本10Aの識別情報に対応する登録番号(標本番号)と同じか否かを判断する。2つの登録番号が一致する場合(S65がYes)、ステップS66の処理に進む。
ステップS66では、既に読み込まれた状態ファイルのうち、ステップS61で取得したリスト番号を参照して、撮影位置(ステージ部11のxy位置)と、撮影条件(対物レンズ部の倍率,縮小レンズ部の倍率,絞り量,焦点位置,照明輝度)を読み出す。例えば、図5に示す状態ファイル(名前:ABC.txt)のリスト番号「2」を参照して、倍率=10,絞り量=75,x座標=1000,y座標=2000,焦点位置=3000,照明輝度=180という一組の設定状態を読み出す。
そして次に(ステップS67)、コントローラ40は、状態ファイル(名前:ABC.txt)から読み出した撮影位置と撮影条件に基づいて各々の回路(41〜47)を制御し、顕微鏡システム10の各部を実際に電動で駆動させる。すなわち、顕微鏡システム10の各部の設定状態を再現する。
具体的には、読み出した“x座標,y座標”に基づいてステージ制御回路43を制御し、撮影位置を再現する。また、読み出した“倍率”に基づいて対物レンズ駆動回路45と縮小レンズ駆動回路46とCCD制御回路47とを制御し、“絞り量”に基づいて絞り制御回路42を制御し、“焦点位置”に基づいてフォーカス制御回路44を制御し、“照明輝度”に基づいて照明制御回路41を制御し、撮影条件を再現する。
その後、コントローラ40は、標本10Aを撮影してミクロ画像を取り込み、コンピュータ24の分割領域51に表示する(ステップS68)。したがって、観察者は、煩雑な調整作業を繰り返さなくても、標本10Aの同じ位置,同じ明るさの画像を再び観察することができる。このようにして図11の再現処理が終了すると、コントローラ40は、図6のボタン入力検出処理に戻る。
一方、プレパラート(標本10A)がない場合(S64がNo)と、プレパラート(標本10A)はあるが標本番号と選択番号が異なる場合(S65がNo)には、上記したステップS66〜68のような「再現」を行うことはできないため、ステップS69の処理に進む。
ステップS69では、ステップS63で取得した登録番号(選択番号)と関連づけられたマクロ画像を、コンピュータ24の履歴データベースと外部記憶装置27から読み込む。そして、読み込んだマクロ画像をコンピュータ24の分割領域61に表示する(ステップS70)。このとき、分割領域63には、読み込んだマクロ画像の標本情報(登録番号など)が表示される。
さらに、ステップS71では、選択されたミクロ画像をコンピュータ24の履歴データベースと外部記憶装置27から読み込み、コンピュータ24の分割領域51に表示する。また、ステップS72では、そのミクロ画像に関連する他のミクロ画像の読込処理(図8のS31〜S39)を実行する。その結果、他のミクロ画像が分割領域64にサムネイル表示され、分割領域61に矩形枠も表示される。このため、選択したミクロ画像を他のミクロ画像と共に観察することが可能である。
(自動履歴登録処理)
また、本実施形態の顕微鏡システム10では、標本10Aの画像化(図9)や仮想的な観察(図10)などに使用されていない空き時間を利用して、図12の自動履歴登録処理(S81〜S93)を実行し、コンピュータ24の履歴データベースを補強する。この処理は、観察者が操作していないことを自動的に検知して開始してもよいし、観察者によって図3の近傍撮影ボタン57が押されたときに開始してもよい。
ステップS81では、ステージ部11上にプレパラート(標本10A)があるか否かを判定する。そして、プレパラート(標本10A)がない場合(S81がNo)には、自動履歴登録処理を終了する。
一方、プレパラート(標本10A)がステージ部11上にある場合(S81がYes)、ステップS82の処理に進み、標本10Aの識別情報に対応する登録番号に関連づけられたマクロ画像をコンピュータ24の履歴データベースから読み込む。そして、図3の分割領域61に表示する。
次に(ステップS83)、読み込んだマクロ画像に関連づけされている状態ファイル(例えば名前:ABC.txt)をコンピュータ24の履歴データベースから読み込むと共に、読み込んだマクロ画像に関連づけされているミクロ画像のリストを読み込む(ステップS83)。そして、リストの項目数(つまり過去のミクロ画像の登録数)が0であれば(ステップS84がNo)、自動履歴登録処理を終了する。
また、リストの項目数(つまり過去のミクロ画像の登録数)が1以上の場合(ステップS84がYes)、リストの先頭のミクロ画像を注視画像として読み込む(ステップS85)。次のステップS86では、状態ファイル(図5)を参照し、注視画像に関連づけられた撮影位置(ステージ部11のxy位置)と、撮影条件(対物レンズ部の倍率,縮小レンズ部の倍率,絞り量,焦点位置,照明輝度)を読み込む。そして、その撮影位置と撮影条件に基づいて各々の回路(41〜47)を制御し、顕微鏡システム10の各部を実際に電動で駆動させる。すなわち、顕微鏡システム10の各部の設定状態を再現する。
次に(ステップS87)、コントローラ40は、顕微鏡システム10の光学系により決定されるx方向の画角Δxとy方向の画角Δyと焦点深度Δz(図13参照)を用いて、現在の撮影位置(ステージ部11のxy位置)から僅かにシフトさせると共に、現在の焦点位置(対物レンズ部17のz位置)から僅かにシフトさせる。つまり、撮影位置と焦点位置を微調整する。そして、ステップS87で再現した注視画像の位置の周辺近傍に撮影領域を設定する。
例えば図13に示す通り、注視画像の位置70の周辺近傍としては、位置70からy方向に画角Δyの分だけシフトさせた2つの位置71,74と、位置70からx方向に画角Δxの分だけシフトさせた2つの位置72,73と、位置70からz方向に焦点深度Δzの分だけシフトさせた2つの位置75,76が考えられる(合計6箇所)。第1段階としては、これらの6箇所(位置71〜76)の各々に撮影領域を設定し、ステップS88以降の処理を行えばよい。さらに段階を進めて、注視画像の位置70からの距離が位置71〜76より離れた位置77〜80の各々に撮影領域を設定してもよいし(第2段階)、位置81〜84の各々に撮影領域を設定してもよい(第3段階)。
ステップS88では、ステップS87で設定した近傍の撮影領域のミクロ画像が既に履歴画像として登録されているか否かを判定する。登録済みの場合(S88がYes)、その位置での撮影は行わない。そして未登録の場合(S88がNo)、ステップS89に進み、撮影により近傍領域のミクロ画像を取り込み、分割領域61のマクロ画像と登録番号と関連づけて外部記憶装置27に追加して記憶させる。さらに、ミクロ画像の情報をコンピュータ24の履歴データベースに登録し、状態ファイル(例えば名前:ABC.txt)を更新する。
また、図3の分割領域61に表示されているマクロ画像に重ねて、ミクロ画像の撮影位置を矩形枠で表示する。ただし、この場合は、通常の撮影(図9の登録処理)により登録されたミクロ画像とは違う色の矩形枠とし、さらに、分割領域64のサムネイルにも表示させないようにすることで、自動で撮影されたミクロ画像を区別するようにする。
注視画像の位置70の周辺近傍(例えば図13の位置71〜76)の撮影領域について、S87〜S91の処理を繰り返し、注視画像の位置70の周辺近傍での撮影や追加保存などの処理が終わると、次のステップS92に進む。
ステップS92では、ミクロ画像のリストの全項目数についての読み込みが終了したか否かを判断し、まだ読み込んでいないミクロ画像がある場合(S92がNo)、ステップS93でリストの次のミクロ画像を注視画像として読み込む。そして、上記と同様の処理(S86〜S92)を繰り返す。リストの全てのミクロ画像が読み込まれた場合には(S92がYes)、この自動履歴登録処理を終了する。
図12の自動履歴登録処理(S81〜S93)を実行し、各々のミクロ画像の位置(図13の注視画像の位置70)の周辺近傍について自動でミクロ画像の撮影や追加保存などの処理を行うことにより、後でオフラインにて間接的に観察を行う際に(図10)、観察者が注視した位置(図13の位置70)だけでなく、その周辺近傍(例えば位置71〜76)を含めた広い範囲で高精細なミクロ画像を観察できるようになる。周辺近傍としてフォーカス方向の位置を含める場合には、3次元構造のミクロ画像を生成することができる。これは、立体的な標本や半導体ウエハ、ICチップ、MEMSなどの観察に好適である。また、撮影位置や焦点位置だけでなく、倍率などの他の撮影条件を微調整して同様の自動履歴登録処理を行ってもよい。
本実施形態の顕微鏡システム10は、生徒と先生の間や医師と検査技師の間で行われる医療教育に好適である。生徒(検査技師)は、外部記憶装置27およびコンピュータ24の履歴データベースの中に、標本10Aの診断結果(マクロ画像と状態ファイルとミクロ画像)を保存する。そして診断終了後、生徒(検査技師)は、先生(医師)に、標本10Aの識別情報に対応する登録番号を伝える。
先生(医師)が、本実施形態の顕微鏡システム10をコンピュータ24の履歴データベースに接続し、生徒(検査技師)から教えてもらった登録番号を用いて、既に登録されたマクロ画像やミクロ画像(履歴画像)を読み出すことにより、標本10Aが無くても、標本10Aのどの位置を注視して診断したのかを知ることができる。
また、先生(医師)が、生徒(検査技師)から標本10Aを受け取って、顕微鏡システム10を用いて観察した場合、先生は、その標本10Aの診断が行われた箇所(ミクロ画像)を選択することで、同じ撮影位置と撮影条件を再現して標本10Aを再び観察することができ、生徒(検査技師)の診断結果を容易に再現できる。また、生徒(検査技師)の診断結果が適切か否かを後から検証することができる。
さらに、その際に、他に注視すべきだった位置について、先生(医師)が撮影を行い、そのミクロ画像をコンピュータ24の履歴データベースに追加して保存することで、後から生徒(検査技師)が顕微鏡システム10を用いて、履歴データベースで確認を行うことも可能である。
また、各々の標本における診断箇所と診断日時と診断した人の名前を履歴情報として記録できるため、見落としや誤診などの問題が発生したときに検証が可能となる。
(プレパラートの載置位置のズレ調整)
本発明において、新しいプレパラートが挿入され、プレパラート(標本10A)の識別情報(例えば撮影されたマクロ画像)から画像認識をして、その試料が履歴データペースに存在すると判断された場合に、既に撮影されたミクロ画像の位置を正確に再現できるように、プレパラートの置かれた位置のズレおよび回転を補正することが好ましい。
図14および図15を参照して、プレパラートの載置位置のズレ調整について説明する。プレパラートのサイズやカパーガラスのサイズは規格化されており、左上位置認識マーカー101と右下位置認識マーカー102はプレパラート上の特定の位置に存在するものとする。
まずは、プレパラート上における左上位置認識マーカー101の場所にステージを移動する。そこで画像を撮影し、画像上に左上位置認識マーカー101が存在することを確認する。確認の方法は、左上位置認識マーカー101の形状画像をコンピューター上に保存しておき、その画像との差分量が十分小さい場合に左上位置認識マーカー101として判断するようにしておけば可能である。
もし、左上位置認識マーカー101の存在が確認できなかった場合は、ステージを左右上下に撮影画像サイズの半分動かしながら、画像を撮影することで、左上位置認識マーカー101を探す。
次に、その左上位置認識マーカー101が画像の中心になるようにステージを微量移動する。この際に、中心に移動したかどうかの確認は上記の確認方法を用いる。
その後、左上位置認識マーカー101と右下位置認識マーカー102の特定される位置の差分量分だけステージをXおよびY方向に動かす。そこで、画像を撮影し、画像上に右下位置認識マーカー102が存在することを確認する。この際にも、中心に移動したかどうかの確認は上記の確認方法を用いる。
そこで、右下位置認識マーカー102の位置として認識された差分量と、本来のデフォルトの差分量から、プレパラートの位置のズレや回転の補正値を計算する。例えば、平行移動している場合には、画像の中心にもってきた際に、ステージの位置X=10,Y=8にあるはずの左上位置認識マーカー101が、X=11,Y=9(右下に1づつ移動している)と認識される。このデータからX=−1,Y=−1を平行移動の補正値として保存し、ステージ移動の際に利用する。
また、回転移動している場合には、左上位置認識マーカー101と右下位置認識マーカー102のそれぞれの位置の差分量が、理想データでは、XO=80,YO=60の場合に、時計回りに数度回転しているとすれば、X1=79,Y1=61となる。これらのデー一タから回転行列を用いた方程式を解くことで、回転量を認識することができる。このデータをステージの回転補正量として利用する。
また、上記の例では、プレパラート上に左上位置認識マーカー101と右下位置認識マーカー102を描きこんだ場合で示した(図14)が、図15のようにカパーガラスの左上の頂点103と右下の頂点104や、図17のようにプレパラートの左上の頂点105と右下の頂点106の位置を、画像のエッジ強調処理と芯線化処理を用いることでマーカーとして利用してもよい。
さらに、ミクロ画像を読み込んだ際に、履歴画像と突際の撮影画像の差分量を計算し、ステージの平行移動や回転量を吏新することで、精度をさらに上げることも可能である。
(変形例)
なお、上記した実施形態では、標本10Aのプレパラート部分に識別用のバーコードをシールとして貼り付け、標本10Aの識別情報を取得する例について説明したが、標本10Aとマクロ画像とを関連づけることができれば、どのような手法でも構わない。例えば、マクロ画像を2値化して一意のデータとして記録する手法(プレパラート部分に模様を刻み込む手法や、手書きのメモを貼り付けて画像として認識する手法などを含む)が考えられる。また、プレパラート部分にICチップや磁性体などの記録媒体を接着し、そのデータを読み出す手段を設けることで、標本10Aを一意に識別できるようにすることなどが考えられる。
また、上記した実施形態では、説明を簡単にするために、ステージ部11上での標本10Aの位置が常に(再載置のときでも)同じであるとしたが、本発明はこれに限定されない。標本10Aを載置するごとにステージ部11上での位置(回転も含む)が変わってしまう場合には、ステージ部11上での標本10Aとステージ部11との相対位置(つまりステージ部11の座標系と標本10Aの座標系との位置ずれ量)を加味して、ミクロ画像をマクロ画像と関連づけることが好ましい。
例えば、標本10Aがステージ部11に載置されたときに、両者の座標系の位置ずれ量XYθを検知しておき、ミクロ画像を登録するときに、その撮影位置(ステージ部11のxy位置)に加えて座標系の位置ずれ量XYθを状態ファイルに書き込むことが考えられる。また、ミクロ画像の撮影位置(ステージ部11のxy位置)を座標系の位置ずれ量XYθによって補正する(つまり座標変換処理を行う)ことで、マクロ画像上でのミクロ画像の位置を求め、これを状態ファイルに書き込むことが考えられる。
座標系の位置ずれ量XYθを検知する際、標本10Aの原点位置としては、例えばプレパラート部分のエッジ(角)や、識別用のバーコードやラベルなどを用いることができる。また、位置ずれ量XYθの検知には、例えば標本10Aの1/2のマクロ画像を取り込み、画像処理によってプレパラート部分のエッジ(またはバーコード)を検出し、パターン認識を行うことにより、標本10Aの座標系を把握する方法が考えられる。
さらに、マクロ画像ではなく、常に同じ撮影位置(ステージ部11のxy位置)を再訪して高倍率のミクロ画像を取り込むと共に、その周辺でステージ部11を移動させながらミクロ画像を取り込み、過去のミクロ画像との画像マッチングを行うことにより、位置ずれ量XYθを求めてもよい。また、位置ずれ量XYθは、常にステージ座標系の固定点を基準に求めてもよいし、前回の標本座標系を基準にして求めてもよい。
さらに、上記した実施形態では、1つの標本10Aについてマクロ画像を1回だけ(新規登録のときのみ)取り込む例を説明したが、本発明はこれに限定されない。標本10Aが再ロードされるごとに(毎回)マクロ画像を取り込み、その履歴を保存してもよい。この場合、標本10Aの識別情報に関連づけられたマクロ画像ではなく、新たに取り込まれたマクロ画像が表示される。
また、上記した実施形態では、撮影ボタン54の押圧(登録指示)によって明示的にミクロ画像を記憶させる例を説明したが、本発明はこれに限定されない。観察者が気になる箇所でコメント入力などの操作(外部からの指示)を行ったときに自動的にミクロ画像を記憶させるようにしてもよい。
さらに、上記した実施形態では、観察履歴の情報として、観察者が文字や記号など(コメント)をコンピュータ24のキーボード24Aから入力する例を説明したが、本発明はこれに限定されない。このようなテキストデータに限らず、音声データを履歴情報のコメントとして記憶させてもよい。
また、上記した実施形態では、顕微鏡システム10とコンピュータ24の履歴データベースとが1対1で接続されている例を説明したが、本発明はこれに限定されない。例えば、複数台の顕微鏡システム10を1つのコンピュータ24(履歴データベース)と接続し、共通の履歴データベースに各々の顕微鏡システム10から撮影情報を登録していく形態も可能である。その際は、観察履歴の情報に顕微鏡システム10の識別情報(シリアル番号など)を追加して書き込むことが好ましい。これにより、どの顕微鏡システム10を用いて新規に(または追加で)ミクロ画像を登録したかを後から判断すること可能となる。
さらに、上記した実施形態では、コンピュータ24の2つの画面50,60を利用する例を説明したが、利用する画面が1つであっても本発明を適用できる。
また、上記した実施形態では、マクロ画像のファイルと状態ファイルとミクロ画像のファイルを保存するために外部記憶装置27を使用したが、これに代えてコンピュータ24の履歴データベースと同じものを利用してもよい。
さらに、上記した実施形態では、マクロ画像やミクロ画像をパソコンなどで利用することを前提にファイル名を付与したが、この利用を想定しない場合にはファイル名の付与を省略できる。そして、顕微鏡システム10内のメモリの決められたアドレス上にマクロ画像やミクロ画像を記憶させればよい。
また、上記した実施形態では、CCDカメラ内蔵の箱形の顕微鏡システム10を例に説明したが、一般の顕微鏡システムにも本発明を適用できる。一般の顕微鏡としては、対物レンズが交換可能な構成や、CCDカメラが着脱可能な構成などが考えられる。
さらに、上記した実施形態では、固定された撮像系(つまり結像部(17〜21),CCDカメラ22)に対してステージ部11を移動させる例を説明したが、固定されたステージ部11に対して撮像系(17〜22)を移動させても構わないし、ステージ部11と撮像系(17〜22)との双方を相対的に移動させても構わない。
また、上記した実施形態では、透過照明で標本10Aを観察する顕微鏡システム10の例を説明したが、反射照明(落射照明)の顕微鏡システムにも本発明を適用できる。
さらに、上記した実施形態では、接眼レンズのない顕微鏡システム10を例に説明したが、本発明はこれに限定されない。通常の顕微鏡と同様に、接眼レンズを用いた標本の観察も可能な顕微鏡システムに、本発明を適用してもよい。この場合、例えばミラー18をハーフミラーに置き換え、観察光路10Bをハーフミラーによって2光路に分割し、一方の光路上にCCDカメラ22を配置し、他方の光路上に接眼レンズを配置すればよい。接眼レンズによる目視観察は感度が高く早い変化(ステージ移動)にも対応できる。この場合にも、目視観察した標本像の履歴をミクロ画像やコメントとして残すことができる。
また、上記した実施形態では、プレパラート押さえ11Aとセンサ39Aとによりステージ部11上でのプレパラートの有無を検出したが、本発明はこれに限定されない。プレパラートの有無に拘わらずマクロ画像の取得動作を行い、実際にマクロ画像を取得できたか否かによって、ステージ部11上でのプレパラートの有無を検出してもよい。
さらに、上記した実施形態では、プレパラート自体を判別し、既に一度、マクロ画像およびミクロ画像を取得したプレパラートであれば、画像記録ファイルを新たに生成することなく、既存の画像記録ファイル中の登録済みマクロ画像に関連づけして、新たなミクロ画像を追加して記憶する例を説明した。ミクロ画像は1枚ずつ記憶させてもよいが、図18に示すように、複数のミクロ画像が隣接する場合には、それらのミクロ画像どうしをタイリング処理によって結合し、1つのミクロ画像として記憶させてもよい。さらに、その後、同じプレパラートが顕微鏡システムに再び充填され、新たなミクロ画像が取得されたとき(図19)、これが過去に記憶したミクロ画像に隣接するものであれば、過去のミクロ画像と新規なミクロ画像とをタイリング処理によって結合し、1つのミクロ画像として記憶させることが好ましい。

Claims (12)

  1. 顕微鏡と、前記顕微鏡のステージ上の標本を撮像する撮像装置とを備えた顕微鏡システムにおいて、
    前記ステージ上の前記標本の識別情報を取得する取得手段と、
    前記取得手段により取得された前記標本の識別情報に、前記撮像装置により撮像された前記標本のマクロ画像およびミクロ画像を関連づけて記憶する記憶手段と、
    前記標本の識別情報に基づき、既に前記記憶手段に記憶された登録済みの標本であるか否かを判別し、前記登録済みの標本であると判別された揚合には、前記登録済みの標本のマクロ画像に前記撮像装置により新たに撮像された前記標本のミクロ画像を関連させて前記記憶手段に迫加して記憶させる追記手段とを備えた
    ことを特徴とする顕微鏡システム。
  2. 請求項1に記載の顕微鏡システムにおいて、
    前記標本のマクロ画像を表示する第1表示手段と、
    前記標本のミクロ画像を表示する第2表示手段と、
    前記第1表示手段および前記第2表示手段の表示制御を行う表示制御手段とを備え、
    前記表示制御手段は、前記取得手段で取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に前記マクロ画像に関連づけられた前記ミクロ画像が前記記憶手段に記憶された登録済みの標本であるかを判別し、前記標本が新規の標本であると判別した場合には、前記撮像装置により撮像された前記標本のマクロ画像を前記第1表示手段に表示させ、かつ、前記第1表示手段に表示された前記標本のマクロ画像に関連づけられたミクロ画像を前記第2表示手段に表示させ、
    また、前記表示制御手段は、前記登録済みの標本であると判別した揚合には、前記記憶手段に記憶されている前記標本のマクロ画像を読み出し前記第1表示手段に表示させ、かつ前記第2表示手段に表示させる前記ミクロ画像を、前記記憶手段に記憶されている前記標本のマクロ画像に関連づけられたミクロ画像とするか、あるいは前記撮像装置で撮像されている前記標本のミクロ画像とするかを切り換える
    ことを特徴とする顕微鏡システム。
  3. 請求項1に記載の顕微鏡システムにおいて、
    前記標本のマクロ画像を表示する第1表示手段と、
    前記標本のミクロ画像を表示する第2表示手段と、
    前記第1表示手段および前記第2表示手段の表示制御を行う表示制御手段とを備え、
    前記表示制御手段は、前記取得手段で取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に前記マクロ画像に関連づけられた前記ミクロ画像が前記記憶手段に記憶された登録済みの標本であるかを判別し、前記標本が新規の標本であると判別した揚合には、前記撮像装置により撮像された前記標本のマクロ画像を前記第1表示手段に表示させ、かつ、前記第1表示手段に表示された前記標本のマクロ画像に関連づけられたミクロ画像を前記第2表示手段に表示させ、
    また、前記表示制御手段は、前記登録済みの標本であると判別した揚合には、前記記憶手段に記憶されている前記標本のマクロ画像を読み出し前記第1表示手段に表示させ、さらに、前記第2表示手段に表示させる前記ミクロ画像を前記記憶手段に記憶されている前記標本のマクロ画像に関連づけられたミクロ画像とするオフラインモードと、前記第2表示手段に表示させる前記ミクロ画像を前記撮像装置で撮像されている前記標本のミクロ画像とするオンラインモードとを切り換えて表示する
    ことを特徴とする顕微鏡システム。
  4. 請求項1から請求項3の何れか1項に記載の顕微鏡システムにおいて、
    前記記憶手段は、前記識別情報と前記マクロ画像と前記ミクロ画像とに加えて、前記標本に対する観察履歴の情報を関連づけて記憶し、
    前記追記手段は、前記第2表示手段に表示されたミクロ画像を記憶させる際、前記観察履歴の情報を更新する
    ことを特徴とする顕微鏡システム。
  5. 請求項4に記載の顕微鏡システムにおいて、
    前記観察履歴の情報には、前記第2表示手段に表示されたミクロ画像の記憶動作に関わる日時の情報と観察者名の情報とが含まれる
    ことを特徴とする顕微鏡システム。
  6. 請求項5に記載の顕微鏡システムにおいて、
    前記観察履歴の情報には、当該顕微鏡システムの識別情報が含まれる
    ことを特徴とする顕微鏡システム。
  7. 請求項1に記載の顕微鏡システムにおいて、
    前記記憶手段は、前記識別情報と前記マクロ画像と前記ミクロ画像とに加えて、前記標本に対する観察履歴の情報を関連づけて記憶し、
    外部からの指示にしたがう所定の識別情報に関連づけられたマクロ画像とミクロ画像を前記記憶手段から読み出して表示する第3表示手段と、
    前記第3表示手段による表示の最中に、外部からの指示にしたがい、前記所定の識別情報に関連づけられた前記観察履歴の情報を更新する更新手段とをさらに備えた
    ことを特徴とする顕微鏡システム。
  8. 請求項1から請求項3の何れか1項に記載の顕微鏡システムにおいて、
    前記記憶手段は、前記マクロ画像と前記ミクロ画像とを関連づける際、各々のミクロ画像の撮影位置と撮影条件の情報を含めて関連づけを行い、
    前記ステージに前記観察対象の標本が載置されているときに、前記取得手段が取得した識別情報と関連づけられたミクロ画像の前記撮影位置と撮影条件を前記記憶手段から読み出して再現した後、該撮影位置と撮影条件を微調整する微調整手段と、
    前記微調整手段が微調整した後の状態で前記観察対象の標本を撮影することにより、該標本のミクロ画像を生成し、該ミクロ画像を前記第1表示手段に表示されたマクロ画像と前記取得手段が取得した識別情報とに関連づけて、前記記憶手段に追加して記憶させる制御手段とをさらに備えた
    ことを特徴とする顕微鏡システム。
  9. 請求項1に記載の顕微鏡システムにおいて、
    前記撮像装置により撮像された前起標本の像から前記標本の位置認識マーカーを検出し、記憶する位置認識マーカー記憶手段と、
    前記取得手段で取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に前記記憶手段に前記マクロ画像および前記ミクロ画像が記憶された登録済みの標本であるかを判別し、前記登録済みの標本であると判別した場合には、前記ステージに装填された前記標本のステージ上の装填位置を、前記位置認識マーカー記憶手段に記憶された前記位置認識マーカーに基づき正規の位置に補正する位置補正乎段とを備えた
    ことを特徴とする顕微鏡システム。
  10. 請求項1に記載の顕微鏡システムにおいて、
    前記追記手段は、前記登録済みの標本のマクロ画像に関連づけられた過去のミクロ画像、および/または、前記撮像装置により新たに撮像されたミクロ画像のうち、互いに隣接する複数のミクロ画像を結合し、1つのミクロ画像として前記記憶手段に記憶させる
    ことを特徴とする顕微鏡システム。
  11. 顕微鏡と、前記顕微鏡のステージ上の標本を撮像する撮像装置とを備えた顕微鏡システムの画像処理方法において、
    前記ステージ上の前記標本の識別情報を取得する取得工程と、
    前記取得された前記標本の識別情報に、前記撮像装置により撮像された前記標本のマクロ画像およびミクロ画像を関連づけて記憶する記憶工程と、
    前記標本の識別情報に基づき、既に前記記憶工程で記憶された登録済みの標本であるか否かを判別し、前記登録済みの標本であると判別された揚合には、前記登録済みの標本のマクロ画像に前記撮像装置により新たに撮像された前記標本のミクロ画像を関連させて追加して記憶させる追記工程とを備えた
    ことを特徴とする顕微鏡システムの画像処理方法。
  12. 請求項11に記載の顕微鏡システムの画像処理方法において、
    前記標本のマクロ画像を表示する第1表示手段と、前記標本のミクロ画像を表示する第2表示手段とを備え、前記第1表示手段および前記第2表示手段の表示制御を行う顕微鏡システムの画像処理方法において、
    前記取得された前記標本の識別情報に基づき、前記標本が新規の標本であるか、あるいは既に記憶された前記マクロ画像および前記ミクロ画像に対応する登録済みの標本であるかを判別し、
    前記標本が新規の標本であると判別した場合には、前記撮像装置により撮像された前記標本のマクロ画像を前記第1表示手段に表示させ、かつ、前記撮像装置により撮像された前記標本のミクロ画像を前記第2表示手段に表示させ、
    また、前記登録済みの標本であると判別した場合には、前記記憶されている前記標本のマクロ画像を読み出し前記第1表示手段に表示させ、さらに、前記第2表示手段に表示させる前記ミクロ画像を、前記記憶工程で記憶されている前記標本のミクロ画像とするか、あるいは前記撮像装置で撮像されている前記標本のミクロ画像とするかを切り換える
    ことを特徴とする顕微鏡システムの画像処理方法。
JP2006536354A 2004-09-22 2005-09-15 顕微鏡システムおよび画像処理方法 Active JP4600395B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004276095 2004-09-22
JP2004276095 2004-09-22
PCT/JP2005/017023 WO2006033273A1 (ja) 2004-09-22 2005-09-15 顕微鏡システムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2006033273A1 true JPWO2006033273A1 (ja) 2008-05-15
JP4600395B2 JP4600395B2 (ja) 2010-12-15

Family

ID=36090036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006536354A Active JP4600395B2 (ja) 2004-09-22 2005-09-15 顕微鏡システムおよび画像処理方法

Country Status (4)

Country Link
US (1) US8094914B2 (ja)
EP (1) EP1804107B1 (ja)
JP (1) JP4600395B2 (ja)
WO (1) WO2006033273A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072272A (ja) * 2016-11-02 2018-05-10 株式会社ニコン 装置、方法、およびプログラム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080023704A (ko) 2005-07-05 2008-03-14 가부시키가이샤 니콘 배양장치
JP4970869B2 (ja) * 2005-09-12 2012-07-11 オリンパス株式会社 観察装置および観察方法
JP4878913B2 (ja) * 2006-05-24 2012-02-15 オリンパス株式会社 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム
JP4878914B2 (ja) * 2006-05-24 2012-02-15 オリンパス株式会社 顕微鏡システム、顕微鏡の制御方法、及びプログラム
JP2008139487A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
JP4996312B2 (ja) * 2007-04-06 2012-08-08 オリンパス株式会社 顕微鏡装置および顕微鏡システム
JP2009008846A (ja) * 2007-06-27 2009-01-15 Nikon Corp 多次元画像の閲覧装置
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
JP2009042462A (ja) * 2007-08-08 2009-02-26 Nikon Corp 顕微鏡装置、観察方法、及び観察画像処理方法
BRPI1011689B1 (pt) 2009-03-11 2019-12-17 Sakura Finetek Usa Inc método de autofocalização e dispositivo de autofocalização
JP5208824B2 (ja) * 2009-03-18 2013-06-12 オリンパス株式会社 画像取得装置、画像取得方法及びプログラム
US9810895B2 (en) * 2009-05-29 2017-11-07 Olympus Corporation Biological observation apparatus
JP5056871B2 (ja) 2010-03-02 2012-10-24 横河電機株式会社 共焦点顕微鏡システム
US10139613B2 (en) 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
WO2012112697A2 (en) * 2011-02-15 2012-08-23 The Johns Hopkins University Method and system to digitize pathology specimens in a stepwise fashion for review
WO2014045759A1 (ja) * 2012-09-24 2014-03-27 ソニー株式会社 画像表示装置、方法、プログラム及び顕微鏡システム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
DE102013103971A1 (de) * 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
DE102013006994A1 (de) * 2013-04-19 2014-10-23 Carl Zeiss Microscopy Gmbh Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
DE102013106895B4 (de) * 2013-07-01 2015-09-17 Leica Microsystems Cms Gmbh Lichtmikroskopisches Verfahren zur Lokalisierung von Punktobjekten
US10007102B2 (en) 2013-12-23 2018-06-26 Sakura Finetek U.S.A., Inc. Microscope with slide clamping assembly
DE102014210056A1 (de) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Verfahren zur Ansteuerung eines chirurgischen Geräts sowie chirurgisches Gerät
JP6562625B2 (ja) 2014-12-10 2019-08-21 キヤノン株式会社 スライドおよび当該スライドを用いる顕微鏡システム
JP6478605B2 (ja) 2014-12-10 2019-03-06 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP6562626B2 (ja) 2014-12-10 2019-08-21 キヤノン株式会社 顕微鏡システム
JP6560490B2 (ja) 2014-12-10 2019-08-14 キヤノン株式会社 顕微鏡システム
JP6562624B2 (ja) 2014-12-10 2019-08-21 キヤノン株式会社 顕微鏡システムのためのアダプタ、及び当該アダプタを有する顕微鏡システム
JP6562627B2 (ja) 2014-12-10 2019-08-21 キヤノン株式会社 顕微鏡システム
JP6643072B2 (ja) 2015-12-10 2020-02-12 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP6643071B2 (ja) 2015-12-10 2020-02-12 キヤノン株式会社 顕微鏡システム
JP6659133B2 (ja) 2015-12-10 2020-03-04 キヤノン株式会社 スライドおよびスライドとカバーガラスのセット、並びに顕微鏡システム
JP6609174B2 (ja) 2015-12-10 2019-11-20 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP6680538B2 (ja) * 2016-01-12 2020-04-15 オリンパス株式会社 撮像装置
JP6637345B2 (ja) * 2016-03-11 2020-01-29 オリンパス株式会社 顕微鏡システム
DE102016115971A1 (de) 2016-08-26 2018-03-01 Leica Microsystems Cms Gmbh Verfahren zur Steuerung eines Digitalmikroskops und Digitalmikroskop
US11280803B2 (en) 2016-11-22 2022-03-22 Sakura Finetek U.S.A., Inc. Slide management system
JP6889009B2 (ja) * 2017-04-13 2021-06-18 浜松ホトニクス株式会社 画像取得システム及び画像取得方法
DE102017108371B4 (de) * 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
JP6939170B2 (ja) * 2017-07-19 2021-09-22 大日本印刷株式会社 画像表示装置、プログラム及び制御方法
US10654655B2 (en) * 2017-10-04 2020-05-19 Leica Biosystems Imaging, Inc. Stuck slide determination system
US11280990B2 (en) 2018-02-26 2022-03-22 Caliber Imaging & Diagnostics, Inc. System and method for macroscopic and microscopic imaging ex-vivo tissue
JPWO2019198189A1 (ja) * 2018-04-11 2021-05-13 エア・ウォーター・バイオデザイン株式会社 顕微鏡装置
US11538657B2 (en) 2018-10-19 2022-12-27 Hitachi High-Tech Corporation Alignment system and seal for positional alignment
CN110782975B (zh) * 2019-10-28 2022-07-22 杭州迪英加科技有限公司 一种显微镜下病理切片图像的呈现方法及装置
JP2022049808A (ja) * 2020-09-17 2022-03-30 オリンパス株式会社 撮影装置、撮影システム、及び、制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275572A (ja) * 1998-03-25 1999-10-08 Nikon Corp 顕微鏡画像表示システム及び顕微鏡画像伝送表示システム
JP2000055635A (ja) * 1998-08-12 2000-02-25 Olympus Optical Co Ltd 基板検査装置
JP2000276545A (ja) * 1999-03-29 2000-10-06 Hitachi Ltd 病理画像システム
JP2002514319A (ja) * 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JP2003248176A (ja) * 2001-12-19 2003-09-05 Olympus Optical Co Ltd 顕微鏡画像撮影装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3075315B2 (ja) * 1992-02-06 2000-08-14 オリンパス光学工業株式会社 顕微鏡システム
US5793969A (en) * 1993-07-09 1998-08-11 Neopath, Inc. Network review and analysis of computer encoded slides
US6404906B2 (en) * 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US6396941B1 (en) * 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
JPH10275150A (ja) * 1997-03-28 1998-10-13 Toa Medical Electronics Co Ltd 画像ファイリングシステム
US6606413B1 (en) * 1998-06-01 2003-08-12 Trestle Acquisition Corp. Compression packaged image transmission for telemicroscopy
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6466690C1 (en) * 2000-12-19 2008-11-18 Bacus Res Lab Inc Method and apparatus for processing an image of a tissue sample microarray
US20030208755A1 (en) * 2002-05-01 2003-11-06 Koninklijke Philips Electronics N.V. Conversational content recommender
US20030210262A1 (en) * 2002-05-10 2003-11-13 Tripath Imaging, Inc. Video microscopy system and multi-view virtual slide viewer capable of simultaneously acquiring and displaying various digital views of an area of interest located on a microscopic slide

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002514319A (ja) * 1997-03-03 2002-05-14 バクス リサーチ ラボラトリーズ インコーポレイテッド バーチャル顕微鏡スライドを作成する方法および装置
JPH11275572A (ja) * 1998-03-25 1999-10-08 Nikon Corp 顕微鏡画像表示システム及び顕微鏡画像伝送表示システム
JP2000055635A (ja) * 1998-08-12 2000-02-25 Olympus Optical Co Ltd 基板検査装置
JP2000276545A (ja) * 1999-03-29 2000-10-06 Hitachi Ltd 病理画像システム
JP2003248176A (ja) * 2001-12-19 2003-09-05 Olympus Optical Co Ltd 顕微鏡画像撮影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072272A (ja) * 2016-11-02 2018-05-10 株式会社ニコン 装置、方法、およびプログラム

Also Published As

Publication number Publication date
US8094914B2 (en) 2012-01-10
US20080095424A1 (en) 2008-04-24
JP4600395B2 (ja) 2010-12-15
WO2006033273A1 (ja) 2006-03-30
EP1804107B1 (en) 2018-10-24
EP1804107A4 (en) 2011-01-26
EP1804107A1 (en) 2007-07-04

Similar Documents

Publication Publication Date Title
JP4600395B2 (ja) 顕微鏡システムおよび画像処理方法
JP4970869B2 (ja) 観察装置および観察方法
JP5301970B2 (ja) 顕微鏡用デジタルカメラシステム及び顕微鏡システム
TWI289807B (en) Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same
JP2006292999A (ja) スライド画像データ作成装置およびスライド画像データ
CN110431463A (zh) 组织样本的组织学检查系统
US20040047033A1 (en) Microscopic image capture apparatus and microscopic image capturing method
US8106943B2 (en) Microscope image pickup system, microscope image pickup method and recording medium
JP2009014939A (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
JP4847101B2 (ja) 顕微鏡システム
US20070064101A1 (en) Observation apparatus
JP4878815B2 (ja) 顕微鏡装置
JP5343762B2 (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
JP2007108223A (ja) 顕微鏡システム
JP4366975B2 (ja) 顕微鏡システム
JP5059816B2 (ja) スライド画像データ作成装置
JP4633322B2 (ja) 画像比較装置、画像比較方法および画像比較をコンピュータにて実行させるためのプログラム
JP2018007082A (ja) 画像再生装置およびその制御方法およびプログラム
JP4481601B2 (ja) 眼科用撮影装置
KR100897674B1 (ko) 표본 검사 시스템 및 표본 검사 방법
JP2005266718A (ja) 顕微鏡画像撮影システム
JP4046161B2 (ja) 標本画像データ処理方法及び標本検査システム
JP2010061129A (ja) スライド画像データ
US20230288691A1 (en) Microscope system, superimposing unit, and operation method
US20240142763A1 (en) Magnification observation device, magnification observation method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4600395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250