JP4806875B2 - Microscope equipment - Google Patents

Microscope equipment Download PDF

Info

Publication number
JP4806875B2
JP4806875B2 JP2001276167A JP2001276167A JP4806875B2 JP 4806875 B2 JP4806875 B2 JP 4806875B2 JP 2001276167 A JP2001276167 A JP 2001276167A JP 2001276167 A JP2001276167 A JP 2001276167A JP 4806875 B2 JP4806875 B2 JP 4806875B2
Authority
JP
Japan
Prior art keywords
label
image
imaging
microscope
host computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001276167A
Other languages
Japanese (ja)
Other versions
JP2003084203A (en
Inventor
克美 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2001276167A priority Critical patent/JP4806875B2/en
Publication of JP2003084203A publication Critical patent/JP2003084203A/en
Application granted granted Critical
Publication of JP4806875B2 publication Critical patent/JP4806875B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被観察物を載置した透明部材に照明光を透過させると共に、その透明部材を透過した光を結像する透過型明視野観察用の顕微鏡とを備えた顕微鏡装置に関する。
【0002】
【従来の技術】
透過型明視野観察用の顕微鏡は、一般に、生体から採取された標本などの検体(被観察物)を観察するものである。観察に当たり、この検体は染色試薬などが滴下され、カバーガラスで封入された状態でプレパラート(透明部材)上に載置される。
【0003】
情報化の進んだ近年になると、顕微鏡の形成した画像(顕微鏡画像)を撮像素子により撮像し、コンピュータに保存したりモニタなどに表示したりする要求が強まっている。
このため、透過型明視野観察用の顕微鏡に対しても撮像素子が備えられることが多くなっている。
【0004】
【発明が解決しようとする課題】
ところで、各種の検体が多数扱われるような環境では、それら検体を管理することを目的として、各プレパラートに各検体の固有情報が記載されたラベル、例えば、バーコードラベルや文字の描かれたラベルが貼付されることがある。
これらラベルの画像についても、前記した顕微鏡画像と共に撮像素子で撮像できることが望ましい。顕微鏡画像と検体の固有情報とを共に管理することが可能になるからである。
【0005】
しかしながら、一般にこれらのラベルは、光を反射するものの、光を透過しにくい(つまり非透過性ラベルである)ので、仮に透過型明視野観察用の顕微鏡内の撮像素子で撮像したとしても、その照明方法が透過型であるために、ラベルの画像は適正な露出が得られず真っ黒になり、その画像からは何の情報も読み取ることはできない。
【0006】
そこで本発明は、反射照明用の光学系を設けなくとも、顕微鏡画像と共に非透過性ラベルの画像を取得することのできる透過型明視野観察用の顕微鏡装置を提供することを目的とする。
【0008】
本発明の顕微鏡装置は、被観察物を載置した透明部材に照明光を透過させると共に、その透明部材を透過した光を結像する透過型明視野観察用の顕微鏡と、前記顕微鏡が形成した像を撮像して画像を取得する撮像手段と、前記被観察物に対する適正露出、及びその適正露出よりも高い所定露出の2種類の露出の下で前記撮像手段に対し前記撮像を行わせる撮像制御手段と、前記透明部材に非透過性ラベルが貼付されているか否かを検出するラベル検出手段とを備え、前記撮像制御手段は、前記ラベル検出手段により非透過性ラベルが貼付されていないとの検出がなされたときには、前記所定露出の下での前記撮像を省略することを特徴とする。
【0009】
なお、前記撮像制御手段は、前記2種類の露出の設定を、前記照明光の強度を2種類に設定することにより行ってもよい
また、前記所定露出の下で取得された画像に基づいて、前記透明部材にバーコードラベルが貼付されているか否かを判別する判別手段を更に備えてもよい
【0010】
また、前記判別手段によりバーコードラベルが貼付されていたとの判別がなされたときには、そのバーコードラベルの示すバーコードの内容を解読する解読手段を更に備えてもよい
なお、本明細書では、文言「透過性」及び「非透過性」を、それぞれ「光に対する透過性」及び「光に対する非透過性」の意味で使用する。
【0011】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について説明する。
<第1実施形態>
図1、図2、図3、図4、図5、図6、図7、図8を参照して本発明の第1実施形態について説明する。
【0012】
図1は、本実施形態の顕微鏡システム1の外観図、図2は、顕微鏡システム1を構成する顕微鏡装置10の鳥瞰図、図3は、顕微鏡装置10の構成図である。
図1に示すように、顕微鏡システム1は、顕微鏡装置10、ホストコンピュータ50、表示装置60、キーボード70aやマウス70b等の入力装置70を備えている。
【0013】
ホストコンピュータ50の内部には、顕微鏡装置10の制御ボード、CPU、メモリ、及びハードディスク等の不揮発性の記憶部などが備えられる。このホストコンピュータ50には、例えばGUI(Graphical User Interface)などのユーザインタフェースが搭載されており、操作者は、入力装置70を介して顕微鏡装置10に対する各種の指示を与えることができる(以下、GUIが搭載されたとする。)。
【0014】
なお、図1、図2、図3では、ホストコンピュータ50と顕微鏡装置10と表示装置60とが別体に構成されたものを示したが、これらの一部は一体に構成されていてもよい。
顕微鏡装置10は、図2、図3に示すように、透過型明視野観察用の顕微鏡装置である。
【0015】
顕微鏡装置10は、また、例えば箱型の筐体10a内に各要素(符号11,17、15,14,16で示すものなど)を収納している箱型の顕微鏡装置である。
本発明は、非箱型の顕微鏡装置にも適用が可能であるが、箱型の顕微鏡装置は、筐体10a内に納められたプレパラート10Aを、操作者が直接目視することができないので、本発明の適用による効果は大きい。よって、以下では、箱型の顕微鏡装置10であるとして説明する。
【0016】
筐体10a内において、移動ステージ11の支持台11a(プレパラート10Aを支持する載物台)は、水平(以下、XY平面とする。)に保たれる。
顕微鏡装置10内において、この支持台11aの水平面内の所定方向(以下、X方向とする。)のストローク(最大移動量)は、十分に長くとられる。その支持台11aのX方向の移動によって、プレパラート10Aを、観察領域E1(図2参照。対物レンズが対向配置される通常の観察領域である。)から筐体10aの外部へ向けて給送すること、及びその反対に、筐体10aの外部から観察領域E1に向けて給送することが可能である。
【0017】
筐体10aの内部には、また、互いに異なる倍率で顕微鏡像を生成するための複数の対物レンズ(高倍率の対物レンズ14a、低倍率の対物レンズ14bなど)を装着すると共にそのうちの何れか1つを観察領域E1に対向させる対物レンズホルダ部15、互いに異なる複数の光学系(高倍率の観察光学系17a、低倍率の観察光学系17b、結像光学系17c)を支持すると共に、そのうちの何れか1つをプレパラート10Aから撮像素子18(後述)へと至る所定の光路に挿入する光学系支持部17、所定位置に配置され、かつその撮像面上に形成された光学像を撮像して画像データを生成する撮像素子18、プレパラート10Aを対物レンズ14a,14bとは反対の側から照明する透過照明部16などが備えられる。
【0018】
ここで、光学系支持部17が支持する光学系のうち、高倍率の観察光学系17a、及び低倍率の観察光学系17bが挿入される光路は、対物レンズ14a,14bのうち観察領域E1に対向している対物レンズから、撮像素子18へと至る光路である。
これら高倍率の観察光学系17a、低倍率の観察光学系17bは、その対物レンズを介して得られる光束を、互いに異なる倍率で撮像素子18上に結像する。
【0019】
この観察光学系17a、17bは、対物レンズ14a、14bと共に、プレパラート10A上の一部の顕微鏡画像を取得するための光学系である。
一方、結像光学系17cが挿入される光路は、観察領域E1と挿脱口10bとの間の給送路に相当する所定領域E2から、撮像素子18へと至る光路である。
この所定領域E2は、プレパラート10Aの全体画像を取得するときのプレパラート10Aの位置に相当する。
【0020】
結像光学系17cは、プレパラート10Aの全体画像を取得するための光学系であり、所定領域E2からの光を撮像素子18上に結像する。
結像光学系17cの視野範囲e1(図8参照)は、プレパラート10Aのなるべく広い範囲を少ない撮像回数で全体画像を取得するために、対物レンズ(14a又は14b)と観察光学系(17a又は17b)とにより設定される視野範囲よりも格段に広い。
【0021】
結像光学系17cの視野範囲e1は、プレパラート10Aの全体画像を、例えば2ショットの撮像で全て取得できるような広さである。
また、結像光学系17cはその焦点深度が長い、すなわち焦点調節を要すことなくプレパラート10Aの光学像を撮像素子18の撮像面上に生成することができる、所謂固定焦点型の結像光学系であることが好ましい。
【0022】
なお、透過照明部16には、光源ランプ16a、減光フィルタ16b、特殊フィルタ16c、視野絞り16d、開口絞り16e等が備えられる。この透過照明部16は、光源ランプ16aから出射された照明光を、減光フィルタ16b、特殊フィルタ16c、視野絞り16d、開口絞り16e、及び所定の光学系を介して、観察領域E1に導く。
【0023】
但し、本実施形態の透過照明部16は、観察領域E1だけでなく、所定領域E2をも照明することができる。すなわち、透過照明部16は、光源ランプ16aの他に所定領域E2を照明する光源ランプ16a’を備えるか、又は、光源ランプ16aから出射された照明光を、所定領域E1だけでなく、所定領域E2にも導くことができるよう構成されている(以下、照明ランプ16a’が備えられているとする。)。
【0024】
また、上記した支持台11aは、少なくとも観察領域E1の近傍において、X方向の他に、Y方向及びZ方向(Z方向は観察領域E1に対向している対物レンズの光軸方向でもあり、焦点調節のための移動方向である。)にも移動可能に構成されている。因みに、焦点調節は、光学系を支持台11aに対して移動させることでも行うことが可能である。
【0025】
また、光学系支持部17は、高倍率の観察光学系17a、低倍率の観察光学系17b、結像光学系17cを(例えばY方向に並べて)支持する支持部材(図3では、構造を明確化するために光学系をZ方向に並べたものを示している。)と、その支持部材を(例えばY方向に)移動させるガイド機構とからなり、そのガイド機構の駆動により、光路に挿入すべき結像光学系を、高倍率の観察光学系17a、低倍率の観察光学系17b、結像光学系17cとの間で切り替える。
【0026】
この切り換えによって、単一の撮像素子18を、互いに異なる観察倍率での顕微鏡画像の取得、及び全体画像の取得において共用することができる。
以上、筐体10a内に収納された各部は、ホストコンピュータ50(図1参照)の指示下で駆動され、かつその状態がホストコンピュータ50によって検出される。
【0027】
すなわち、透過照明部16には、透過照明部16内の各部を駆動するアクチュエータ116b、116c、116d、116eが設けられると共に、各部の状態を検出する位置センサ126b、126c、126d、126eが設けられる。
また、試料ステージ11、対物レンズホルダ部15、光学系支持部17のそれぞれにも、アクチュエータ115及び位置センサ125、アクチュエータ111及び位置センサ121、アクチュエータ117及び位置センサ127が設けられる。
【0028】
さらに、光源ランプ16a,16a’,アクチュエータ116b,116c,116d,116e,115,111,117,位置センサ126b,126c,126d,126e,125,121,127,及び撮像素子18は、コネクタ19を介してホストコンピュータ50の制御ボードに電気的に接続される。
また、筐体10aにおいて、支持台11aの給送路に当たる箇所には、その支持台11aが筐体10aの内外に出入りできるよう、開閉自在の挿脱口10bが形成されている。
【0029】
また、プレパラート10Aの全体画像の取得に使用される光学系は、顕微鏡画像用の光学系(対物レンズ14a、14b、観察光学系17a、17b)であってもよいが、全体画像は、なるべく広い範囲を少ないショットで撮像されることが望ましいので、上記したように本実施形態では専用の光学系(結像光学系17c)を用意した。
【0030】
また、図2に示したように、移動ステージ11の支持台11aには、プレパラート10Aに対する採光のための開口部が形成される。この開口部を覆うようにして、プレパラート10Aが載置される。
図4は、プレパラート10Aとその周辺を説明する図である。
プレパラート10Aは、透過性の部材であり、その上に、検体10hが載置されている。
【0031】
但し、プレパラート10Aには、管理のためなどに、検体10hの固有情報が記載されたラベル10f(一般に白地のラベル)が貼付されていることがある。
このラベル10fは、一般に目視するためのものであるので、光を反射するものの、光を殆ど透過しない「非透過性ラベル」である。
なお、本明細書でいう「非透過性ラベル」とは、検体10hに対する適正露出(後述)の下では十分な明るさの画像を取得できないような低い透過率しか有していないラベルであり、紙など、多少光を透過する材質からなるラベルも「非透過性ラベル」に含まれる。
【0032】
従来の透過型明視野観察用の顕微鏡では、このようなラベル10fの画像を取得することは困難とされていた。
本実施形態のホストコンピュータ50は、ラベル10fの画像を取得するための処理を行う。
そして、本実施形態の顕微鏡装置10には、プレパラート10Aの給送路近傍、例えば、所定領域E2と挿脱口10bとの間に、ラベルセンサ10gが取り付けられている(図2、図3、図4参照)。ラベルセンサ10gの出力iは、コネクタ19を介してホストコンピュータ50に接続される。
【0033】
ここで、ラベルセンサ10gを取り付けたのは、プレパラート10Aの中には、ラベル10fが貼付されていないものもあり、その場合には、ホストコンピュータ50によるラベル10fの画像を取得するための処理は、省略されることが好ましいからである(詳細は後述)。
ラベルセンサ10gは、透過型のフォトインタラプタや、反射型のフォトインタラプタなど、物体の透過率を検出する光センサである。
【0034】
なお、図3、図4では、ラベルセンサ10gとして透過型のフォトインタラプタを示した。図3、図4において、符号10ga及び10gbで示すのは、発光部及び受光部である。
ラベルセンサ10gの配置位置は、その出射口が、支持台11aに支持された状態のプレパラート10AのY方向中央近傍に対向するような位置、すなわち、ラベルセンサ10gの出射光が、プレパラート10AのY方向中央近傍に投射されるような位置である。
【0035】
したがって、支持台11aにより支持された状態のプレパラート10AがX方向に給送されると、そのラベルセンサ10gの出射する光は、プレパラート10Aの中央をX方向に走査することとなる。
ラベルセンサ10gの出力iは、出射された光の透過率に応じて変化するので、その光がラベル10f上を走査しているときの出力iは、プレパラート10A上のその他の部分を走査しているときと比較して大幅に変化する。
【0036】
したがって、プレパラート10Aの給送時におけるラベルセンサ10gの出力iに基づいて、ホストコンピュータ50は、プレパラート10Aにラベル10fが貼付されているか否かを検知することができる。
因みに、本実施形態のホストコンピュータ50は、位置センサ125の(図3参照)出力などから、プレパラート10Aの位置を認識できるので、プレパラート10Aにラベル10fが貼付されているか否かだけでなく、ラベル10fのX方向の長さ及び貼付されている位置をも検知できる。
【0037】
なお、プレパラート10AのY方向の長さはX方向の長さと比較して十分に短く、ラベル10fと検体10hとがY方向に並べられる可能性は少ないので、ラベル10fのY方向の長さや位置については、特に検知されないこととした。
なお、ラベルセンサ10gとコネクタ19との間を電気的に接続するための配線の経路は、検鏡の妨げとならないよう適切に選択される。
【0038】
図5は、本実施形態のホストコンピュータ50が表示装置60に表示する操作画面を示す図である。
この操作画面には、顕微鏡装置10内の撮像素子が取得したプレパラート10Aの画像72、74が表示される。
符号72は、プレパラート10Aの全体画像であり、符号74は、プレパラート10A上の一部の顕微鏡画像である。
【0039】
ここで、本実施形態では、全体画像72には、検体10hの画像10h’だけでなく、ラベル10fの画像10f’も鮮明に現れている(詳細は後述)。
また、操作者が、顕微鏡装置10の各部の操作をホストコンピュータ50上で行うために、操作画面には、操作者による各種の入力を受け付けるための画像(図5中符号71,79a,79b,76,77,75,79cなど)も表示される。
【0040】
なお、符号71は、顕微鏡装置10の筐体10aの内部にある支持台11aを外部に引き出し、また、筐体10aの外部に引き出された支持台11aを筐体10aの内部へ引き入れるための試料挿脱釦である。
因みに、この試料挿脱釦71と同様の機能を有する釦としては、顕微鏡装置10の筐体10aの外側面における挿脱口10bの近傍に、リミットスイッチなどの機械スイッチからなる試料挿脱釦78(図1、図2、図3参照)が設けられていてもよい。この試料挿脱釦78の接続状態を示す出力は、コネクタ19(図3参照)を介してホストコンピュータ50の制御ボードへと接続される(すなわち、操作者は、試料挿脱釦71又は試料挿脱釦78を介して、ホストコンピュータ50に対し、プレパラート10Aの挿脱の指示を与えることができる。)。
【0041】
ホストコンピュータ50は、プレパラート10Aの挿脱の指示が与えられたことを認識すると、顕微鏡装置10内のアクチュエータ115(移動ステージ11を駆動するアクチュエータである。図2、図3参照。)に指示を出すことにより、支持台11aが筐体10aの内部にあるときにはその支持台11aを筐体10aの外部に向けて移動させ、また、支持台11aが筐体10aの外部にあるときには、その支持台11aを筐体10aの内部に向けて移動させる。
【0042】
図6は、顕微鏡装置10の制御プログラムに基づいて動作する第1実施形態のホストコンピュータ50の動作フローチャートである。なお、この制御プログラムは、ホストコンピュータ50に予めインストールされている。
なお、図6では、ホストコンピュータ50の動作のうち、全体画像の取得に関する処理のみを記載した。実際には、ホストコンピュータ50は、この処理の他に、操作画面(図5参照)上で操作者から与えられる各種の指示に従って、顕微鏡装置10内の各部を駆動し、検鏡に関する各種の処理を実行する。
【0043】
ホストコンピュータ50は、例えば、顕微鏡画像を取得して表示装置60に表示したり、顕微鏡装置10の設定内容(すなわち、光源ランプ16aの駆動電圧、減光フィルタ16bの減光度、特殊フィルタ16cのフィルタ種類、視野絞り16dの絞り径、開口絞り16eの絞り径、支持台11aのX方向の位置及びY方向の位置及びZ方向の位置、観察倍率など)を変更したりする。
【0044】
以下、図7、図8を参照しつつ図6に示す処理について説明する。
ここでは、説明を簡単にするために、ステップS1が実行される前には、例えば図3に示すように、支持台11aは筐体10aの内部に位置しているとする。
この状態で、ホストコンピュータ50は、プレパラート10Aの挿脱の指示が与えられたことを認識すると(ステップS1YES)、支持台11aをX方向に移動させて、操作者が手指でプレパラート10Aを載置できるような位置(図2参照)まで支持台11aを挿脱口10bの外部に突出させる(ステップS2)。
【0045】
その後、再びプレパラート10Aの挿脱の指示が与えられたことを認識すると(ステップS3YES)、ホストコンピュータ50は支持台11aをX方向に移動させて筐体10aの内部へ収納し始める(ステップS4)。
【0046】
本実施形態では、この支持台11aの移動中に、ホストコンピュータ50が、ラベルセンサ10gの出力iの変化を参照する(ステップS5)。
図7は、ラベルセンサ10gの出力iの変化を説明する図である。
なお、図7(a)(b)は、同じプレパラート10Aの支持台11aに対する載置方向が互いに反対であるときの様子をそれぞれ示す。
【0047】
図7の横軸は支持台11aの位置X、縦軸はラベルセンサ10gの出力iを示す。
また、図7には、プレパラート10Aを側面から見た図を示した。これは、支持台11aが各位置Xにあるときに、プレパラート10A上のどの位置にラベルセンサ10gの出射光が入射しているかを示している。
【0048】
ラベルセンサ10gの出力iの変化は、プレパラート10Aにおけるラベル10fの有無、及びラベル10fのX方向の長さ、及びラベル10fのX方向の貼付位置を表す。
ここでは、ラベルセンサ10gが透過型のフォトインタラプタである場合について説明する。
【0049】
ラベル10fの存在によって、ラベルセンサ10gからの出射光は遮られるので、出力iは大幅に低下する(因みに、ラベルセンサ10gが反射型のフォトインタラプタである場合には上昇する)。
ホストコンピュータ50は、プレパラート10A上にラベルセンサ10gからの出射光が入射している期間中に出力iが所定値i0を下回ったか否かによって、ラベル10fの有無を検知する。
【0050】
また、ホストコンピュータ50は、ラベルセンサ10gの出力iが所定値i0を下回るときの支持台11aの位置範囲(X1,X2)から、ラベル10fのX方向の長さ及び位置を認識することができる。
【0051】
そして、ホストコンピュータ50は、以上のようにして認識したラベルセンサ10gの有無、長さ、及び位置を示す情報を記憶する(以上、ステップS5)。
また、ホストコンピュータ50は、このステップS5における処理を実行すると共に、次のようにしての全体画像を取得する(ステップS6〜ステップS8)。
図8は、全体画像の取得の処理を説明する図である。
【0052】
なお、図8(a)(b)は、同じプレパラート10Aの支持台11aに対する載置方向が互いに反対であるときの様子をそれぞれ示す。
先ず、全体画像を取得する際には、光学系支持部17に設定される光学系は、全体画像取得用の結像光学系17cである。よって、撮像素子18が撮像する範囲は、結像光学系17cの視野範囲e1である。
【0053】
ステップS6において、所定領域E2に対する照明強度(すなわち照明ランプ16a’による照明強度)は、所定値I1に設定される。
この照明強度I1は、検体10hの画像が十分な明るさで表現される強度である。これによって、検体10hに対する適正露出が設定される。
この状態で、ホストコンピュータ50は、支持台11aをX方向に移動させつつ撮像を2ショット分行うことにより、プレパラート10Aの全体の画像データを取得する。
【0054】
すなわち、結像光学系17cの視野範囲e1がプレパラート10Aの半分の領域を包含する位置に支持台11aを停止させると共にそのときに撮像素子18を駆動して画像データを取り込み、結像光学系17cの視野範囲e1がプレパラート10Aの残りの半分の領域を包含する位置に支持台11aを停止させると共にそのときに撮像素子18を駆動して画像データを取り込む(因みにこのような撮像の方法は、例えば特開平10−333056号公報に開示されている)。
【0055】
ここで仮に、この2ショットの撮像により得られた各画像データを繋ぎ合わせれば、プレパラート10Aの全体画像が得られる。
しかし、このステップS6で設定された露出は、検体10hに対する適正露出なので、取得された全体画像は、検体10hを鮮明に表現するものの、プレパラート10A上にラベル10fが貼付されていたラベル10fについては真っ黒にしか表現できない。
【0056】
すなわち、ここで取得される画像は、主として検体10hを示す画像である(以上、ステップS6)。
そこで、ホストコンピュータ50は、ステップS5を実行した結果が、プレパラート10A上にラベル10fが貼付されていることを示している場合(ステップS7YES)には、ラベル10fの撮像を行う(ステップS8)。
【0057】
このとき、所定領域E2に対する照明強度(すなわち照明ランプ16a’による照明強度)は、所定値I2に設定される。
この照明強度I2は、ラベル10fの画像が十分な明るさで表現される強度である。この強度は、予め実験により求められることが好ましい。
この照明強度I2はI1と比較して、極めて高い強度であり、ラベル10f上のコントラストが得られるほどの強度である。これによって、ラベル10fに対する適正露出が設定される。
【0058】
この状態で、ホストコンピュータ50は、支持台11aをX方向に移動させて、プレパラート10Aのうちラベル10fの貼付された側のショット(図8(a)のようにプレパラート10Aが載置されたときには左側のショット、図8(b)のようにプレパラート10Aが載置されたときには右側のショット)の撮像を、再度行う。
【0059】
但し、ここで設定された露出はラベル10fに対する適正露出なので、取得された画像は、ラベル10fを鮮明に表現するものの、検体10hについては真っ白にしか表現できない(白とびする)。
【0060】
すなわち、ここで取得される画像は、主としてラベル10fを示す画像である(以上、ステップS8)。
なお、ラベル10fの貼付された領域が前記した2つのショットの双方に跨る場合には、ステップS8における撮像もそれら2つのショットについて行われる。
或いは、このステップS8におけるショットは、ステップS6における2つのショットの何れかと同じである必要はないので、ラベル10fを包含する別のショットであってもよい。
【0061】
ここで、ホストコンピュータ50は、プレパラート10Aにおけるラベル10fの長さ及び位置を認識しているので、このステップS8により取得された画像データのうち、どの部分の画像データがラベル10fを示しているのか認識することができる(なお、画像データだけからもこの認識をすることはできるが、長さ及び位置に基づいた方が確実である。)。
【0062】
そこで、ホストコンピュータ50は、ステップS6において取得した画像データ(主として検体10hを示す)と、ステップS8において取得した画像データ(主としてラベル10fを示す)と、ステップS5において記憶した情報(ラベル10fの位置や長さを示す)とに基づいて、検体10hとラベル10fとの双方が共に鮮明に表現される全体画像の画像データを生成して表示装置60の操作画面上に表示する(ステップS9、図5符号72参照)。
【0063】
このような全体画像の画像データの生成は、ホストコンピュータ50の例えば以下のような処理によって行われる。
すなわち、ステップS8で得た画像データのうちラベル10fを示す部分が抽出される。また、ステップS6で得た2つの画像データが繋ぎ合わされて全体画像の画像データが生成される。さらに、その全体画像の画像データにおいて前記ラベル10fを示す部分が、前記抽出された画像データに差し替えられる。
【0064】
なお、ステップS7における判別がNOとなったときには、ステップS8は省略されるので、全体画像は、ステップS6において取得した2ショット分の画像を繋ぎ合わせたものとなる。
また、ホストコンピュータ50は、以上の全体画像取得に関する処理が実行された後には、顕微鏡画像を取得するべく、支持台11aをX方向に移動させ、プレパラート10Aが所定領域E1に位置する状態で停止させると共に、操作画面(図5参照)上の各操作釦の状態に応じて、光学系支持部17に対し、高倍率の観察光学系17a、低倍率の観察光学系17bのうち何れかの光学系を設定したり、操作画面上の各操作釦が調整される毎に、適宜顕微鏡装置10の設定内容を変更したりする。
【0065】
以上説明したように、本実施形態の顕微鏡システム1では、ホストコンピュータ50が検体10hの明るさに対する適正露出(照明強度I1)、及びその適正露出よりも高い所定露出(照明強度I2)の2種類の露出の下で撮像を行うので、顕微鏡装置10が反射照明用の光学系を備えないにも拘わらず、検体10hとラベル10fとの双方を鮮明に表現する画像データを取得することができる。
【0066】
したがって、操作者は、表示装置60上で、ラベル10fに記載された情報をを視認することができる。
また、本実施形態では、各プレパラート10A上のラベル10fの有無を検出するラベルセンサ10gが備えられ、ラベル10fが貼付されていないときには、ホストコンピュータ50がステップS8の手順を省略するので、処理効率が高く保たれる。
【0067】
また、本実施形態では、このラベルセンサ10gを利用して、各プレパラート10A上のラベル10fの長さや位置までも検出されるので、上記した画像データの生成を確実に行うことが可能となっている。
また、本実施形態では、2種類の露出(照明強度I1,I2)の設定が、照明ランプ16a’の強度を2種類に設定することにより行われているので、透過照明部16の構成を特に変更することなく簡単に実現する。
【0068】
また、本実施形態において、照明強度I2については、所定値(例えば、予め実験的に求められた値)とされているが、ラベルセンサ10gの出力iが示しているラベル10fの透過率に応じて決定されることとしてもよい。このようにすれば、ラベル10fを示す画像データを、個々のラベル10fの透過率のばらつきに依らず、常に良好に得ることができる。
【0069】
また、本実施形態では、所定領域E2の全域の照明強度が一括して設定/変更されているが、照明強度I2で照明する対象については、ラベル10fの貼付位置のみに限定されてもよい。
<第2実施形態>
次に、図9、図10、図11を参照して本発明の第2実施形態について説明する。
【0070】
ここでは、第1実施形態との相違点についてのみ説明し、同一の部分については説明を省略する。
本実施形態の顕微鏡システムでは、ホストコンピュータ50の実行する処理が、第1実施形態とは一部異なる。すなわち、ホストコンピュータ50にインストールされた顕微鏡装置10の制御プログラムの内容が、第1実施形態とは一部異なる。
【0071】
先ず、プレパラート10Aに貼付されるラベル10fの中には、図9に示すようなバーコードラベル20fがある。
バーコードラベル20fは、検体10hに関する情報が所定の規則に基づいてコード化されてなるバーコードを記したラベルである。バーコードラベル20fも、一般に、「非透過性」のラベルである
図10は、顕微鏡装置10の制御プログラムに基づいて動作する本実施形態のホストコンピュータ50の動作フローチャートである。
【0072】
図10において図6に示す手順と同一のものには、同一の符号を付した。
図10に明かなように、本実施形態のホストコンピュータ50は、ステップS8とステップS9との間に、ステップS21〜S23(点線枠)を実行する。これらの処理は、バーコードラベル20fのバーコード解読に関する処理である。
ステップS21では、ホストコンピュータ50は、ステップS8において取得した画像データを参照し、その画像データにバーコードの特徴(例えば、同方向に繰り返し出現する直線のパターン)が現れているか否かを判別する。
【0073】
そして、バーコードの特徴が現れていたときには、ホストコンピュータ50はラベル10fをバーコードラベル20fとみなし(ステップS21YES)、画像データを二値化し、所定の規則に基づきデコード(解読)する(ステップS22)。
ステップS22における解読の結果、検体10hの固有情報(例えば、管理番号、採取日、染色方法など)を認識すると、ホストコンピュータ50はそれを文字情報にして表示装置60の操作画面上に表示する(ステップS9)。
【0074】
図11は、本実施形態のホストコンピュータ50が表示装置60に表示する操作画面を示す図である。
図11中、符号80で示すのが、このようにして表示された検体10hの固有情報である。符号20f’はバーコードラベル20fの画像である。
以上、本実施形態では、ホストコンピュータ50は、ラベル10fの画像に基づいてラベル10fがバーコードラベル20fであるか否かを判別し、また、バーコードラベルであるとの判別がなされたときにはそのバーコードの内容を解読する。
【0075】
すなわち、本実施形態では、第1実施形態と同様にして取得されたラベル10fの画像を、有効に利用している。
なお、本実施形態では、バーコードの解読を、ホストコンピュータ50に行わせているが、顕微鏡装置10にバーコードリーダ(バーコード検出部とデコード部とを有す。)を設けてそのバーコードリーダに行わせてもよい。なお、バーコードリーダは、顕微鏡装置10内の所定領域E2と挿脱口10bとの間に設けることが好ましい。
【0076】
また、本実施形態において、操作画面に表示される全体画像72の画像データは、簡単のため、ステップS6で取得された画像データのみに基づいて生成されることとしてもよいが、バーコードラベル20f上にはバーコードだけでなく文字情報も記録されている可能性もあるので、第1実施形態と同様に生成される方が好ましい。
【0077】
<その他>
なお、上記各実施形態では、プレパラート10Aに貼付されるラベル10fは非透過性であるという前提となっているが、実際には、透過性である可能性もある。
因みに、透過性のラベルは、検体10hと同等の露出下で撮像することができるので、その撮像に関しては、上記各実施形態における検体10hと同様に扱うことができる。さらに、その透過性のラベルがバーコードラベルである場合、その解読に関しては、上記第2実施形態におけるバーコードラベル20fと同様に扱うことができる。
【0078】
また、上記各実施形態において取得された情報(第1実施形態では画像データ、第2実施形態では画像データと検体の固有情報)は、ホストコンピュータ50が検体10hの顕微鏡画像に関連づけて記憶することが好ましい。このようにすれば、各検体10hの顕微鏡画像を各検体10hの固有情報に応じて管理することが可能となる。
【0079】
【発明の効果】
以上説明したとおり、本発明によれば、反射照明用の光学系を設けなくとも、顕微鏡画像と共に非透過性ラベルの画像を取得することのできる透過型明視野観察用の顕微鏡装置が実現する。
【図面の簡単な説明】
【図1】顕微鏡システム1の外観図である。
【図2】顕微鏡システム1を構成する顕微鏡装置10の鳥瞰図である。
【図3】顕微鏡装置10の構成図である。
【図4】プレパラート10Aとその周辺を説明する図である。
【図5】第1実施形態のホストコンピュータ50が表示装置60に表示する操作画面を示す図である。
【図6】顕微鏡装置10の制御プログラムに基づいて動作する第1実施形態のホストコンピュータ50の動作フローチャートである。
【図7】ラベルセンサ10gの出力iの変化を説明する図である。
【図8】全体画像の取得の処理を説明する図である。
【図9】プレパラート10Aとその周辺を説明する図である。
【図10】顕微鏡装置10の制御プログラムに基づいて動作する第2実施形態のホストコンピュータ50の動作フローチャートである。
【図11】第2実施形態のホストコンピュータ50が表示装置60に表示する操作画面を示す図である。
【符号の説明】
1 顕微鏡システム
10 顕微鏡装置
10a 筐体
10A プレパラート(請求項における透明部材に対応する)
10h 検体
10f ラベル(請求項における非透過性ラベルに対応する)
10g ラベルセンサ(請求項におけるラベル検出手段に対応する)
10b 挿脱口
10c 蓋部
10d 蝶番
10e 開口部
11 試料ステージ
11a 支持台
111,115,116b,116c,116d,116e,117 アクチュエータ
121,125,126b,126c,126d,126e,127 位置センサ
14a,14b 対物レンズ(請求項における顕微鏡に対応する)
15 対物レンズホルダ部
16 透過照明部(請求項における顕微鏡に対応する)
16a,16a’ 照明ランプ
17 光学系支持部(請求項における顕微鏡に対応する)
18 撮像素子(請求項における撮像手段に対応する)
19 コネクタ
20f バーコードラベル(請求項における非透過性ラベルに対応する)
50 ホストコンピュータ(請求項における撮像制御手段、判別手段、解読手段に対応する)
60 表示装置
70 入力装置
71 試料挿脱釦
72 全体画像
73 カーソル
74 顕微鏡画像
75,76 ラジオ釦
77a ランプ調整バー
77b 減光度調整バー
77d 視野絞り調整バー
77e 開口絞り調整バー
77x X位置調整バー
77y Y位置調整バー
77z 焦点調整バー
77f ズーム調整バー
78 試料挿脱釦
79 保存釦
79b 読み込み釦
80 作業ベンチ
E2 所定領域
E1 観察領域
e1 視野範囲
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a microscope apparatus provided with a transmission-type bright field observation microscope that transmits illumination light to a transparent member on which an object to be observed is placed and forms an image of light transmitted through the transparent member.
[0002]
[Prior art]
A transmission-type bright-field observation microscope generally observes a specimen (object to be observed) such as a specimen collected from a living body. For observation, a staining reagent or the like is dropped on the specimen, and the specimen is placed on a preparation (transparent member) in a state of being enclosed with a cover glass.
[0003]
In recent years when information is advanced, there is an increasing demand for imaging an image formed by a microscope (microscope image) with an imaging device and storing it in a computer or displaying it on a monitor or the like.
For this reason, an imaging element is often provided for a transmission-type bright field observation microscope.
[0004]
[Problems to be solved by the invention]
By the way, in an environment where many types of specimens are handled, for the purpose of managing those specimens, a label in which each specimen's unique information is described in each preparation, for example, a barcode label or a label on which characters are drawn. May be affixed.
It is desirable that images of these labels can be captured by the image sensor together with the above-described microscope image. This is because both the microscope image and the specific information of the specimen can be managed.
[0005]
However, in general, these labels reflect light, but do not transmit light (that is, non-transparent labels), so even if an image is picked up with an image sensor in a transmission-type bright-field observation microscope, Since the illumination method is a transmission type, the image of the label cannot be properly exposed and becomes black, and no information can be read from the image.
[0006]
Accordingly, an object of the present invention is to provide a transmission type bright field observation microscope apparatus that can acquire an image of a non-transparent label together with a microscope image without providing an optical system for reflected illumination.
[0008]
The microscope apparatus according to the present invention is formed by a transmission-type bright-field observation microscope that forms an image of light transmitted through the transparent member and transmits the illumination light to the transparent member on which the object is placed. An image pickup unit that picks up an image to acquire an image, and an image pickup control that causes the image pickup unit to perform the image pickup under two types of exposures, an appropriate exposure for the object to be observed and a predetermined exposure higher than the appropriate exposure. Means, Label detecting means for detecting whether or not an impermeable label is affixed to the transparent member And The imaging control means omits the imaging under the predetermined exposure when the label detection means detects that an impermeable label is not attached.
[0009]
In addition, The imaging control means performs the setting of the two types of exposure by setting the intensity of the illumination light to two types. May .
Also, And a discriminator that discriminates whether or not a bar code label is affixed to the transparent member based on an image acquired under the predetermined exposure. May .
[0010]
Further, when it is determined by the determining means that a barcode label has been affixed, there is further provided decoding means for decoding the content of the barcode indicated by the barcode label. May .
In the present specification, the terms “transparency” and “non-transmission” are used to mean “transparency to light” and “non-transparency to light”, respectively.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
A first embodiment of the present invention will be described with reference to FIGS. 1, 2, 3, 4, 5, 6, 7, and 8.
[0012]
FIG. 1 is an external view of a microscope system 1 according to the present embodiment, FIG. 2 is a bird's-eye view of a microscope apparatus 10 constituting the microscope system 1, and FIG.
As shown in FIG. 1, the microscope system 1 includes a microscope device 10, a host computer 50, a display device 60, and an input device 70 such as a keyboard 70a and a mouse 70b.
[0013]
Inside the host computer 50, a control board of the microscope apparatus 10, a CPU, a memory, a nonvolatile storage unit such as a hard disk, and the like are provided. The host computer 50 is equipped with a user interface such as a GUI (Graphical User Interface), for example, and an operator can give various instructions to the microscope apparatus 10 via the input device 70 (hereinafter, GUI). Is installed).
[0014]
1, 2, and 3, the host computer 50, the microscope apparatus 10, and the display device 60 are separately configured, but some of them may be configured integrally. .
As shown in FIGS. 2 and 3, the microscope apparatus 10 is a microscope apparatus for transmissive bright field observation.
[0015]
The microscope apparatus 10 is also a box-type microscope apparatus in which elements (such as those indicated by reference numerals 11, 17, 15, 14, 16) are accommodated in a box-shaped housing 10a, for example.
The present invention can also be applied to a non-box-type microscope apparatus. However, the box-type microscope apparatus cannot directly observe the preparation 10A stored in the housing 10a. The effect of applying the invention is great. Therefore, in the following description, it is assumed that the box-type microscope apparatus 10 is used.
[0016]
Within the housing 10a, the support stage 11a of the moving stage 11 (the stage for supporting the slide 10A) is kept horizontal (hereinafter referred to as the XY plane).
In the microscope apparatus 10, a stroke (maximum movement amount) in a predetermined direction (hereinafter referred to as X direction) in the horizontal plane of the support base 11a is sufficiently long. With the movement of the support base 11a in the X direction, the preparation 10A is fed from the observation area E1 (see FIG. 2, which is a normal observation area where the objective lens is disposed opposite) to the outside of the housing 10a. On the contrary, it is possible to feed toward the observation area E1 from the outside of the housing 10a.
[0017]
A plurality of objective lenses (a high-power objective lens 14a, a low-power objective lens 14b, etc.) for generating microscopic images at different magnifications are mounted inside the housing 10a and any one of them is installed. An objective lens holder section 15 that faces the observation area E1, and a plurality of different optical systems (a high-power observation optical system 17a, a low-power observation optical system 17b, and an imaging optical system 17c), of which An optical system support unit 17 is inserted in a predetermined optical path from any one of the slide 10A to the imaging element 18 (described later), and an optical image formed on the imaging surface is captured at a predetermined position. An image sensor 18 that generates image data, a transmission illumination unit 16 that illuminates the slide 10A from the side opposite to the objective lenses 14a and 14b, and the like are provided.
[0018]
Here, among the optical systems supported by the optical system support unit 17, the optical path into which the high-magnification observation optical system 17a and the low-magnification observation optical system 17b are inserted is in the observation region E1 of the objective lenses 14a and 14b. This is an optical path from the opposing objective lens to the image sensor 18.
The high-magnification observation optical system 17a and the low-magnification observation optical system 17b form an image of the light beam obtained through the objective lens on the image sensor 18 at different magnifications.
[0019]
The observation optical systems 17a and 17b are optical systems for acquiring a partial microscope image on the preparation 10A together with the objective lenses 14a and 14b.
On the other hand, the optical path into which the imaging optical system 17c is inserted is an optical path from the predetermined area E2 corresponding to the feeding path between the observation area E1 and the insertion / removal port 10b to the image sensor 18.
The predetermined area E2 corresponds to the position of the preparation 10A when the entire image of the preparation 10A is acquired.
[0020]
The imaging optical system 17c is an optical system for acquiring the entire image of the preparation 10A, and forms an image of light from the predetermined region E2 on the image sensor 18.
The field-of-view range e1 (see FIG. 8) of the imaging optical system 17c is the objective lens (14a or 14b) and the observation optical system (17a or 17b) in order to acquire the entire image with as few imaging times as possible in the preparation 10A. ) And the visual field range set by
[0021]
The field-of-view range e1 of the imaging optical system 17c is wide enough to acquire the entire image of the preparation 10A, for example, by capturing two shots.
The imaging optical system 17c has a long depth of focus, that is, a so-called fixed focus type imaging optical that can generate an optical image of the preparation 10A on the imaging surface of the image sensor 18 without requiring focus adjustment. A system is preferred.
[0022]
The transmitted illumination unit 16 includes a light source lamp 16a, a neutral density filter 16b, a special filter 16c, a field stop 16d, an aperture stop 16e, and the like. The transmitted illumination unit 16 guides the illumination light emitted from the light source lamp 16a to the observation region E1 through the neutral density filter 16b, the special filter 16c, the field stop 16d, the aperture stop 16e, and a predetermined optical system.
[0023]
However, the transmission illumination unit 16 of the present embodiment can illuminate not only the observation region E1 but also the predetermined region E2. That is, the transmission illumination unit 16 includes a light source lamp 16a ′ that illuminates the predetermined area E2 in addition to the light source lamp 16a, or the illumination light emitted from the light source lamp 16a is not limited to the predetermined area E1 but the predetermined area. It is configured so that it can be guided to E2 (hereinafter, it is assumed that an illumination lamp 16a ′ is provided).
[0024]
Further, the above-described support 11a is at least near the observation region E1, in addition to the X direction, the Y direction and the Z direction (the Z direction is also the optical axis direction of the objective lens facing the observation region E1, and the focal point) The movement direction for adjustment) is also configured to be movable. Incidentally, the focus adjustment can also be performed by moving the optical system with respect to the support base 11a.
[0025]
The optical system support 17 is a support member (for example, arranged in the Y direction) that supports the high-magnification observation optical system 17a, the low-magnification observation optical system 17b, and the imaging optical system 17c (the structure is clearly shown in FIG. 3). And a guide mechanism that moves the support member (for example, in the Y direction) and is inserted into the optical path by driving the guide mechanism. The power imaging optical system is switched among the high-magnification observation optical system 17a, the low-magnification observation optical system 17b, and the imaging optical system 17c.
[0026]
By this switching, the single image sensor 18 can be shared in acquiring a microscope image and an entire image at different observation magnifications.
As described above, each unit housed in the housing 10a is driven under the instruction of the host computer 50 (see FIG. 1), and its state is detected by the host computer 50.
[0027]
That is, the transmitted illumination unit 16 is provided with actuators 116b, 116c, 116d, and 116e that drive the respective units in the transmitted illumination unit 16, and position sensors 126b, 126c, 126d, and 126e that detect the states of the respective units. .
The sample stage 11, the objective lens holder unit 15, and the optical system support unit 17 are also provided with an actuator 115 and a position sensor 125, an actuator 111 and a position sensor 121, an actuator 117 and a position sensor 127, respectively.
[0028]
Furthermore, the light source lamps 16a and 16a ′, the actuators 116b, 116c, 116d, 116e, 115, 111, 117, the position sensors 126b, 126c, 126d, 126e, 125, 121, 127, and the image sensor 18 are connected via the connector 19. And electrically connected to the control board of the host computer 50.
Further, in the housing 10a, an opening / closing opening 10b that can be opened and closed is formed at a position corresponding to the feeding path of the support 11a so that the support 11a can go in and out of the housing 10a.
[0029]
The optical system used to acquire the entire image of the preparation 10A may be a microscope image optical system (objective lenses 14a and 14b, observation optical systems 17a and 17b), but the entire image is as wide as possible. Since it is desirable to capture an image with a small range, as described above, a dedicated optical system (imaging optical system 17c) is prepared in this embodiment.
[0030]
In addition, as shown in FIG. 2, an opening for daylighting with respect to the preparation 10 </ b> A is formed in the support base 11 a of the moving stage 11. The preparation 10A is placed so as to cover the opening.
FIG. 4 is a diagram for explaining the preparation 10A and its surroundings.
The preparation 10A is a permeable member, and the specimen 10h is placed thereon.
[0031]
However, a label 10f (generally a white label) on which the unique information of the specimen 10h is written may be attached to the preparation 10A for management or the like.
Since this label 10f is generally for visual observation, it is a “non-transparent label” that reflects light but hardly transmits light.
The “non-transparent label” as used in the present specification is a label having a low transmittance such that an image with sufficient brightness cannot be obtained under appropriate exposure (described later) with respect to the specimen 10h. A label made of a material that transmits light somewhat, such as paper, is also included in the “non-transparent label”.
[0032]
In a conventional transmission-type bright-field observation microscope, it has been difficult to acquire such an image of the label 10f.
The host computer 50 according to the present embodiment performs a process for acquiring the image of the label 10f.
In the microscope apparatus 10 of this embodiment, a label sensor 10g is attached in the vicinity of the feeding path of the preparation 10A, for example, between the predetermined region E2 and the insertion / removal port 10b (FIGS. 2, 3, and 5). 4). The output i of the label sensor 10g is connected to the host computer 50 through the connector 19.
[0033]
Here, the label sensor 10g is attached to some of the preparations 10A where the label 10f is not attached. In this case, the processing for acquiring the image of the label 10f by the host computer 50 is as follows. This is because it is preferably omitted (details will be described later).
The label sensor 10g is an optical sensor that detects the transmittance of an object, such as a transmissive photo interrupter or a reflective photo interrupter.
[0034]
3 and 4, a transmissive photo interrupter is shown as the label sensor 10g. 3 and 4, reference numerals 10ga and 10gb denote a light emitting unit and a light receiving unit.
The label sensor 10g is arranged at a position where the exit port faces the vicinity of the center in the Y direction of the preparation 10A in a state of being supported by the support base 11a, that is, the emitted light of the label sensor 10g is Y of the preparation 10A. The position is projected near the center of the direction.
[0035]
Therefore, when the preparation 10A supported by the support 11a is fed in the X direction, the light emitted from the label sensor 10g scans the center of the preparation 10A in the X direction.
Since the output i of the label sensor 10g changes according to the transmittance of the emitted light, the output i when the light is scanning on the label 10f is obtained by scanning other parts on the preparation 10A. It changes significantly compared to when you are.
[0036]
Therefore, based on the output i of the label sensor 10g at the time of feeding the preparation 10A, the host computer 50 can detect whether or not the label 10f is stuck on the preparation 10A.
Incidentally, since the host computer 50 of this embodiment can recognize the position of the preparation 10A from the output of the position sensor 125 (see FIG. 3) or the like, not only whether or not the label 10f is attached to the preparation 10A but also the label. The length in the X direction of 10f and the affixed position can also be detected.
[0037]
Note that the length of the preparation 10A in the Y direction is sufficiently shorter than the length in the X direction, and the label 10f and the specimen 10h are unlikely to be arranged in the Y direction. As for, it was decided not to be detected.
Note that the wiring path for electrically connecting the label sensor 10g and the connector 19 is appropriately selected so as not to interfere with the speculum.
[0038]
FIG. 5 is a diagram illustrating an operation screen displayed on the display device 60 by the host computer 50 according to the present embodiment.
On this operation screen, images 72 and 74 of the preparation 10A acquired by the image sensor in the microscope apparatus 10 are displayed.
Reference numeral 72 is an entire image of the preparation 10A, and reference numeral 74 is a partial microscopic image on the preparation 10A.
[0039]
Here, in the present embodiment, not only the image 10h ′ of the specimen 10h but also the image 10f ′ of the label 10f appears clearly in the entire image 72 (details will be described later).
Further, in order for the operator to operate each part of the microscope apparatus 10 on the host computer 50, images for receiving various inputs from the operator (reference numerals 71, 79a, 79b, FIG. 5) are displayed on the operation screen. 76, 77, 75, 79c, etc.) are also displayed.
[0040]
Reference numeral 71 denotes a sample for pulling out the support base 11a inside the housing 10a of the microscope apparatus 10 to the outside and drawing the support base 11a drawn out of the housing 10a into the inside of the housing 10a. An insertion / removal button.
Incidentally, as a button having the same function as the sample insertion / removal button 71, a sample insertion / removal button 78 (including a mechanical switch such as a limit switch) is provided in the vicinity of the insertion / removal port 10b on the outer surface of the housing 10a of the microscope apparatus 10. 1, 2, and 3) may be provided. The output indicating the connection state of the sample insertion / removal button 78 is connected to the control board of the host computer 50 via the connector 19 (see FIG. 3) (that is, the operator inserts the sample insertion / removal button 71 or the sample insertion / removal button). The instruction to insert / remove the slide 10A can be given to the host computer 50 via the unbutton 78.)
[0041]
When the host computer 50 recognizes that the instruction to insert / remove the slide 10A is given, the host computer 50 instructs the actuator 115 in the microscope apparatus 10 (the actuator that drives the moving stage 11; see FIGS. 2 and 3). Thus, when the support base 11a is inside the housing 10a, the support base 11a is moved toward the outside of the housing 10a. When the support base 11a is outside the housing 10a, the support base 11a is moved outside the housing 10a. 11a is moved toward the inside of the housing 10a.
[0042]
FIG. 6 is an operation flowchart of the host computer 50 of the first embodiment that operates based on the control program of the microscope apparatus 10. This control program is preinstalled in the host computer 50.
In FIG. 6, only the process related to the acquisition of the entire image is described among the operations of the host computer 50. Actually, in addition to this process, the host computer 50 drives each part in the microscope apparatus 10 in accordance with various instructions given by the operator on the operation screen (see FIG. 5), and performs various processes related to the speculum. Execute.
[0043]
The host computer 50 acquires, for example, a microscope image and displays it on the display device 60, or the setting contents of the microscope device 10 (that is, the driving voltage of the light source lamp 16a, the dimming degree of the neutral density filter 16b, the filter of the special filter 16c). The type, the aperture diameter of the field stop 16d, the aperture diameter of the aperture stop 16e, the position in the X direction and the position in the Y direction, the position in the Z direction, the observation magnification, etc.) of the support base 11a.
[0044]
The process shown in FIG. 6 will be described below with reference to FIGS.
Here, to simplify the description, it is assumed that the support base 11a is located inside the housing 10a before step S1 is executed, for example, as shown in FIG.
In this state, when the host computer 50 recognizes that the instruction to insert / remove the slide 10A is given (YES in step S1), the host computer 50 moves the support base 11a in the X direction, and the operator places the slide 10A with fingers. The support base 11a is protruded to the outside of the insertion / removal port 10b to a position where it can be (see FIG. 2) (step S2).
[0045]
Thereafter, when recognizing that the instruction to insert / remove the slide 10A is given again (YES in step S3), the host computer 50 moves the support base 11a in the X direction and starts to be accommodated in the housing 10a (step S4). .
[0046]
In the present embodiment, the host computer 50 refers to the change in the output i of the label sensor 10g during the movement of the support base 11a (step S5).
FIG. 7 is a diagram for explaining a change in the output i of the label sensor 10g.
FIGS. 7A and 7B show a state where the mounting directions of the same preparation 10A with respect to the support base 11a are opposite to each other.
[0047]
The horizontal axis in FIG. 7 indicates the position X of the support base 11a, and the vertical axis indicates the output i of the label sensor 10g.
FIG. 7 shows a view of the preparation 10A as viewed from the side. This indicates at which position on the preparation 10A the emitted light of the label sensor 10g is incident when the support base 11a is at each position X.
[0048]
The change in the output i of the label sensor 10g represents the presence or absence of the label 10f in the preparation 10A, the length of the label 10f in the X direction, and the label 10f in the X direction.
Here, a case where the label sensor 10g is a transmissive photo interrupter will be described.
[0049]
Since the light emitted from the label sensor 10g is blocked by the presence of the label 10f, the output i is greatly reduced (in the case where the label sensor 10g is a reflective photo interrupter, it is increased).
The host computer 50 detects the presence or absence of the label 10f depending on whether or not the output i falls below a predetermined value i0 during the period in which the light emitted from the label sensor 10g is incident on the preparation 10A.
[0050]
Further, the host computer 50 can recognize the length and position of the label 10f in the X direction from the position range (X1, X2) of the support base 11a when the output i of the label sensor 10g falls below the predetermined value i0. .
[0051]
Then, the host computer 50 stores information indicating the presence / absence, length, and position of the label sensor 10g recognized as described above (step S5).
Further, the host computer 50 executes the processing in step S5 and acquires the entire image as follows (steps S6 to S8).
FIG. 8 is a diagram for explaining the process of acquiring the entire image.
[0052]
FIGS. 8A and 8B show a state where the mounting directions of the same preparation 10A with respect to the support 11a are opposite to each other.
First, when acquiring the entire image, the optical system set in the optical system support unit 17 is the imaging optical system 17c for acquiring the entire image. Therefore, the range captured by the image sensor 18 is the visual field range e1 of the imaging optical system 17c.
[0053]
In step S6, the illumination intensity for the predetermined area E2 (that is, the illumination intensity by the illumination lamp 16a ′) is set to a predetermined value I1.
The illumination intensity I1 is an intensity at which the image of the specimen 10h is expressed with sufficient brightness. Thereby, an appropriate exposure for the specimen 10h is set.
In this state, the host computer 50 acquires the entire image data of the slide 10A by performing imaging for two shots while moving the support base 11a in the X direction.
[0054]
That is, the support base 11a is stopped at a position where the visual field range e1 of the imaging optical system 17c includes a half region of the preparation 10A, and at that time, the image sensor 18 is driven to capture image data, and the imaging optical system 17c. The support base 11a is stopped at a position where the visual field range e1 includes the other half of the preparation 10A, and the image pickup device 18 is driven at that time to capture image data. JP-A-10-333056).
[0055]
Here, if the image data obtained by the two-shot imaging are connected together, the entire image of the preparation 10A is obtained.
However, since the exposure set in step S6 is an appropriate exposure for the specimen 10h, the acquired whole image clearly represents the specimen 10h, but the label 10f on which the label 10f is pasted on the preparation 10A is shown. It can only be expressed in black.
[0056]
That is, the image acquired here is an image mainly showing the specimen 10h (step S6).
Therefore, when the result of executing step S5 indicates that the label 10f is affixed on the preparation 10A (YES in step S7), the host computer 50 images the label 10f (step S8).
[0057]
At this time, the illumination intensity for the predetermined area E2 (that is, the illumination intensity by the illumination lamp 16a ′) is set to a predetermined value I2.
This illumination intensity I2 is an intensity at which the image of the label 10f is expressed with sufficient brightness. This strength is preferably obtained by experiments in advance.
The illumination intensity I2 is extremely high compared to I1, and is such an intensity that a contrast on the label 10f can be obtained. Thereby, the appropriate exposure for the label 10f is set.
[0058]
In this state, the host computer 50 moves the support base 11a in the X direction, and when the preparation 10A is placed on the side of the preparation 10A on which the label 10f is attached (as shown in FIG. 8A). Imaging of the left shot, or the right shot when the preparation 10A is placed as shown in FIG. 8B, is performed again.
[0059]
However, since the exposure set here is an appropriate exposure for the label 10f, the acquired image can express the label 10f clearly, but the sample 10h can be expressed only in white (out of focus).
[0060]
That is, the image acquired here is an image mainly showing the label 10f (step S8).
In addition, when the area | region to which the label 10f was affixed straddles both above-mentioned two shots, the imaging in step S8 is also performed about these two shots.
Alternatively, the shot in step S8 need not be the same as one of the two shots in step S6, and may be another shot including the label 10f.
[0061]
Here, since the host computer 50 recognizes the length and position of the label 10f in the slide 10A, which part of the image data acquired in step S8 indicates the label 10f. It can be recognized (note that this recognition can be made from the image data alone, but it is more reliable based on the length and position).
[0062]
Therefore, the host computer 50 acquires the image data (mainly indicating the specimen 10h) acquired in step S6, the image data acquired in step S8 (mainly indicating the label 10f), and the information stored in step S5 (the position of the label 10f). And image data of the whole image in which both the specimen 10h and the label 10f are clearly expressed are generated and displayed on the operation screen of the display device 60 (step S9, FIG. 5 reference 72).
[0063]
Such generation of the image data of the entire image is performed by the host computer 50 by the following processing, for example.
That is, a portion indicating the label 10f is extracted from the image data obtained in step S8. Further, the two image data obtained in step S6 are connected to generate image data of the entire image. Further, the portion indicating the label 10f in the image data of the entire image is replaced with the extracted image data.
[0064]
Note that when the determination in step S7 is NO, step S8 is omitted, so that the entire image is a combination of the two shot images acquired in step S6.
In addition, after the above processing related to the entire image acquisition is executed, the host computer 50 moves the support base 11a in the X direction so as to acquire the microscope image, and stops in a state where the preparation 10A is positioned in the predetermined region E1. In addition, depending on the state of each operation button on the operation screen (see FIG. 5), any one of the high-magnification observation optical system 17a and the low-magnification observation optical system 17b is applied to the optical system support unit 17. The system is set, and the setting content of the microscope apparatus 10 is changed as appropriate every time each operation button on the operation screen is adjusted.
[0065]
As described above, in the microscope system 1 according to the present embodiment, the host computer 50 has two types of appropriate exposure (illumination intensity I1) with respect to the brightness of the specimen 10h and predetermined exposure (illumination intensity I2) higher than the appropriate exposure. Therefore, the image data that clearly represents both the specimen 10h and the label 10f can be acquired even though the microscope apparatus 10 does not include the optical system for reflected illumination.
[0066]
Therefore, the operator can visually recognize the information described on the label 10 f on the display device 60.
In the present embodiment, the label sensor 10g for detecting the presence or absence of the label 10f on each preparation 10A is provided. When the label 10f is not attached, the host computer 50 omits the procedure of step S8, so that the processing efficiency is improved. Is kept high.
[0067]
In the present embodiment, since the label sensor 10g is used to detect the length and position of the label 10f on each slide 10A, the above-described image data can be reliably generated. Yes.
In the present embodiment, the two types of exposure (illumination intensities I1 and I2) are set by setting the intensities of the illumination lamps 16a ′ to two types. Easy to implement without change.
[0068]
Further, in the present embodiment, the illumination intensity I2 is set to a predetermined value (for example, a value obtained experimentally in advance), but according to the transmittance of the label 10f indicated by the output i of the label sensor 10g. It may be determined as follows. In this way, image data indicating the label 10f can always be obtained satisfactorily regardless of variations in the transmittance of the individual labels 10f.
[0069]
In the present embodiment, the illumination intensity of the entire predetermined area E2 is set / changed all at once. However, the object illuminated with the illumination intensity I2 may be limited only to the label 10f attachment position.
Second Embodiment
Next, a second embodiment of the present invention will be described with reference to FIG. 9, FIG. 10, and FIG.
[0070]
Here, only differences from the first embodiment will be described, and description of the same parts will be omitted.
In the microscope system of this embodiment, the processing executed by the host computer 50 is partially different from that of the first embodiment. That is, the contents of the control program for the microscope apparatus 10 installed in the host computer 50 are partially different from those in the first embodiment.
[0071]
First, among the labels 10f attached to the preparation 10A, there is a barcode label 20f as shown in FIG.
The barcode label 20f is a label that describes a barcode in which information related to the specimen 10h is coded based on a predetermined rule. The barcode label 20f is also generally a “non-transparent” label.
FIG. 10 is an operation flowchart of the host computer 50 of the present embodiment that operates based on the control program of the microscope apparatus 10.
[0072]
In FIG. 10, the same steps as those shown in FIG.
As is apparent from FIG. 10, the host computer 50 according to the present embodiment executes steps S21 to S23 (dotted line frame) between steps S8 and S9. These processes are processes related to bar code decoding of the bar code label 20f.
In step S21, the host computer 50 refers to the image data acquired in step S8, and determines whether or not a barcode characteristic (for example, a linear pattern that repeatedly appears in the same direction) appears in the image data. .
[0073]
If the bar code feature appears, the host computer 50 regards the label 10f as the bar code label 20f (YES in step S21), binarizes the image data, and decodes (decodes) the image data based on a predetermined rule (step S22). ).
As a result of the decoding in step S22, when recognizing the unique information (for example, control number, collection date, staining method, etc.) of the specimen 10h, the host computer 50 displays it as character information on the operation screen of the display device 60 ( Step S9).
[0074]
FIG. 11 is a diagram illustrating an operation screen displayed on the display device 60 by the host computer 50 according to the present embodiment.
In FIG. 11, what is indicated by reference numeral 80 is the unique information of the specimen 10h displayed in this way. Reference numeral 20f ′ is an image of the barcode label 20f.
As described above, in the present embodiment, the host computer 50 determines whether or not the label 10f is the barcode label 20f based on the image of the label 10f, and when it is determined that the label 10f is a barcode label, Decodes the contents of the barcode.
[0075]
That is, in the present embodiment, the image of the label 10f acquired in the same manner as in the first embodiment is effectively used.
In the present embodiment, the barcode is decoded by the host computer 50. However, a barcode reader (having a barcode detection unit and a decoding unit) is provided in the microscope apparatus 10, and the barcode is provided. You may make a reader perform. The bar code reader is preferably provided between the predetermined area E2 in the microscope apparatus 10 and the insertion / removal port 10b.
[0076]
In the present embodiment, the image data of the entire image 72 displayed on the operation screen may be generated based only on the image data acquired in step S6 for simplicity, but the barcode label 20f. Since there is a possibility that not only a barcode but also character information is recorded on the top, it is preferable that it is generated in the same manner as in the first embodiment.
[0077]
<Others>
In each of the above-described embodiments, it is assumed that the label 10f attached to the preparation 10A is non-permeable, but actually, there is a possibility that the label 10f is transmissive.
Incidentally, since the permeable label can be imaged under exposure equivalent to that of the specimen 10h, the imaging can be handled in the same manner as the specimen 10h in each of the above embodiments. Further, when the transparent label is a barcode label, the decoding can be handled in the same manner as the barcode label 20f in the second embodiment.
[0078]
Further, the information acquired in each of the above embodiments (image data in the first embodiment, image data and specimen specific information in the second embodiment) is stored by the host computer 50 in association with the microscope image of the specimen 10h. Is preferred. In this way, it is possible to manage the microscopic image of each specimen 10h according to the unique information of each specimen 10h.
[0079]
【The invention's effect】
As described above, according to the present invention, it is possible to realize a transmission type bright field observation microscope apparatus that can acquire an image of a non-transparent label together with a microscope image without providing an optical system for reflected illumination.
[Brief description of the drawings]
FIG. 1 is an external view of a microscope system 1. FIG.
FIG. 2 is a bird's eye view of a microscope apparatus 10 constituting the microscope system 1;
FIG. 3 is a configuration diagram of the microscope apparatus 10;
FIG. 4 is a diagram for explaining a preparation 10A and its surroundings.
FIG. 5 is a diagram illustrating an operation screen displayed on the display device 60 by the host computer 50 according to the first embodiment.
6 is an operation flowchart of the host computer 50 of the first embodiment that operates based on a control program of the microscope apparatus 10. FIG.
FIG. 7 is a diagram for explaining a change in an output i of a label sensor 10g.
FIG. 8 is a diagram illustrating a process for acquiring an entire image.
FIG. 9 is a diagram for explaining a preparation 10A and its surroundings.
10 is an operation flowchart of the host computer 50 of the second embodiment that operates based on a control program of the microscope apparatus 10. FIG.
11 is a diagram illustrating an operation screen displayed on the display device 60 by the host computer 50 according to the second embodiment. FIG.
[Explanation of symbols]
1 Microscope system
10 Microscope equipment
10a case
10A preparation (corresponding to transparent member in claims)
10h specimen
10f label (corresponds to the non-transparent label in the claims)
10g label sensor (corresponding to label detection means in claims)
10b insertion / removal opening
10c Lid
10d hinge
10e opening
11 Sample stage
11a Support stand
111, 115, 116b, 116c, 116d, 116e, 117 Actuator
121, 125, 126b, 126c, 126d, 126e, 127 Position sensor
14a, 14b Objective lenses (corresponding to the microscope in the claims)
15 Objective lens holder
16 Transmitting illumination unit (corresponding to the microscope in the claims)
16a, 16a 'Lighting lamp
17 Optical system support (corresponds to microscope in claims)
18 Imaging device (corresponding to imaging means in claims)
19 Connector
20f barcode label (corresponds to non-transparent label in claims)
50 Host computer (corresponding to the imaging control means, discrimination means, and decoding means in the claims)
60 Display device
70 Input device
71 Sample insertion / removal button
72 Overall image
73 Cursor
74 Microscopic image
75,76 radio button
77a Lamp adjustment bar
77b Dimming level adjustment bar
77d Field stop adjustment bar
77e Aperture adjustment bar
77x X position adjustment bar
77y Y position adjustment bar
77z Focus adjustment bar
77f Zoom adjustment bar
78 Sample insertion / removal button
79 Save button
79b Read button
80 work bench
E2 Predetermined area
E1 observation area
e1 Field of view

Claims (4)

被観察物を載置した透明部材に照明光を透過させると共に、その透明部材を透過した光を結像する透過型明視野観察用の顕微鏡と、
前記顕微鏡が形成した像を撮像して画像を取得する撮像手段と、
前記被観察物に対する適正露出、及びその適正露出よりも高い所定露出の2種類の露出の下で前記撮像手段に対し前記撮像を行わせる撮像制御手段と
前記透明部材に非透過性ラベルが貼付されているか否かを検出するラベル検出手段とを備え、
前記撮像制御手段は、
前記ラベル検出手段により非透過性ラベルが貼付されているとの検出がなされたときには前記撮像手段に対し前記2種類の露出の下での撮像を行わせ、非透過性ラベルが貼付されていないとの検出がなされたときには前記撮像手段に対し前記適正露出の下での撮像を行わせると共に前記所定露出の下での撮像を禁止する
ことを特徴とする顕微鏡装置。
A transmission-type bright-field observation microscope that transmits illumination light to a transparent member on which an object to be observed is placed, and forms an image of light transmitted through the transparent member;
An imaging means for capturing an image formed by the microscope and acquiring the image;
An impermeable label is affixed to the imaging control means and the transparent member that cause the imaging means to perform the imaging under two types of exposures of appropriate exposure to the object to be observed and predetermined exposure higher than the appropriate exposure. a label detecting means for detecting whether it has,
The imaging control means includes
When it is detected by the label detection means that an impermeable label is affixed, the imaging means is made to take an image under the two types of exposure, and an impermeable label is not affixed When the detection is performed, the imaging device is caused to perform imaging under the appropriate exposure and prohibit imaging under the predetermined exposure.
請求項に記載の顕微鏡装置において、
前記撮像制御手段は、
前記2種類の露出の設定を、前記照明光の強度を2種類に設定することにより行うことを特徴とする顕微鏡装置。
The microscope apparatus according to claim 1 , wherein
The imaging control means includes
2. The microscope apparatus according to claim 1, wherein the two types of exposure are set by setting the intensity of the illumination light to two types.
請求項1又は請求項2に記載の顕微鏡装置において、
前記所定露出の下で取得された画像に基づいて、前記透明部材にバーコードラベルが貼付されているか否かを判別する判別手段を更に備えた
ことを特徴とする顕微鏡装置。
In the microscope apparatus according to claim 1 or 2 ,
A microscope apparatus, further comprising: a determination unit that determines whether or not a barcode label is attached to the transparent member based on an image acquired under the predetermined exposure.
請求項に記載の顕微鏡装置において、
前記判別手段によりバーコードラベルが貼付されていたとの判別がなされたときには、そのバーコードラベルの示すバーコードの内容を解読する解読手段を更に備えた
ことを特徴とする顕微鏡装置。
The microscope apparatus according to claim 3 ,
A microscope apparatus, further comprising: a decoding means for decoding the content of the barcode indicated by the barcode label when the determination means determines that the barcode label has been attached.
JP2001276167A 2001-09-12 2001-09-12 Microscope equipment Expired - Lifetime JP4806875B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001276167A JP4806875B2 (en) 2001-09-12 2001-09-12 Microscope equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001276167A JP4806875B2 (en) 2001-09-12 2001-09-12 Microscope equipment

Publications (2)

Publication Number Publication Date
JP2003084203A JP2003084203A (en) 2003-03-19
JP4806875B2 true JP4806875B2 (en) 2011-11-02

Family

ID=19100911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001276167A Expired - Lifetime JP4806875B2 (en) 2001-09-12 2001-09-12 Microscope equipment

Country Status (1)

Country Link
JP (1) JP4806875B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4716686B2 (en) * 2004-07-23 2011-07-06 オリンパス株式会社 Microscope equipment
HUP0600177A2 (en) * 2006-03-03 2009-03-02 3D Histech Kft Equipment for and method of digitizing slides by automated digital image recording system
JP6295570B2 (en) * 2013-09-30 2018-03-20 大日本印刷株式会社 Management system, management program, container, and kit comprising container and identification tag
CN117218432A (en) * 2016-12-30 2023-12-12 徕卡生物系统成像股份有限公司 Imaging system and method for imaging by using imaging system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05303130A (en) * 1992-04-28 1993-11-16 Olympus Optical Co Ltd Autobraket photographing device
JPH06130069A (en) * 1992-10-16 1994-05-13 Hitachi Ltd Automatic analyzer
JPH11326779A (en) * 1998-05-15 1999-11-26 Nikon Corp Microscopic system

Also Published As

Publication number Publication date
JP2003084203A (en) 2003-03-19

Similar Documents

Publication Publication Date Title
JP5703609B2 (en) Microscope and region determination method
US8982457B2 (en) Microscope system and illumination intensity adjusting method
US7215426B2 (en) Dark box apparatus for fluoroscopy, fluoroscopy system, and fluoroscopy method
JP4890096B2 (en) Image acquisition apparatus, image acquisition method, and image acquisition program
JP6692660B2 (en) Imaging device
US7884999B2 (en) Optical microscope apparatus
JP2002148526A (en) Microscopic apparatus
KR102259841B1 (en) Digital microscope in which high-magnification image is guided by low-magnification image and digital microscope system
EP3214427B1 (en) Imaging apparatus and imaging method
JP4806875B2 (en) Microscope equipment
WO2006123641A1 (en) Scanning type observing device
JP2017090842A (en) Light shielding device, microscope, observation method, control method and program
JP2023501581A (en) An open-top light sheet microscope with non-orthogonal illumination and collection objectives
JP4631218B2 (en) Microscope equipment
CN112136071B (en) System and method for macroscopic and microscopic imaging of in vitro tissue
US10473908B2 (en) Optical observation device
US20090168156A1 (en) Microscope system, microscope system control program and microscope system control method
JP2005316383A (en) Fluorescence microscope
JP7251957B2 (en) Magnifying observation device
JP2002196245A (en) Microscopic device
US20050099679A1 (en) Microscope especially inverted microscope
JP2004185005A (en) Transmitted light illumination unit of microscope
JP4937768B2 (en) System microscope control apparatus and unit recognition method thereof
JP2009098229A (en) Illumination controller for microscope, illuminating device for microscope, microscope, and program
JP4307944B2 (en) Shutter device, laser scanning microscope and microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4806875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term