JP5467011B2 - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
JP5467011B2
JP5467011B2 JP2010168309A JP2010168309A JP5467011B2 JP 5467011 B2 JP5467011 B2 JP 5467011B2 JP 2010168309 A JP2010168309 A JP 2010168309A JP 2010168309 A JP2010168309 A JP 2010168309A JP 5467011 B2 JP5467011 B2 JP 5467011B2
Authority
JP
Japan
Prior art keywords
image
stage
moving speed
unit
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010168309A
Other languages
English (en)
Other versions
JP2012027387A (ja
Inventor
将志 岡部
尚洋 有賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010168309A priority Critical patent/JP5467011B2/ja
Priority to US13/177,629 priority patent/US9151942B2/en
Publication of JP2012027387A publication Critical patent/JP2012027387A/ja
Application granted granted Critical
Publication of JP5467011B2 publication Critical patent/JP5467011B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes

Description

本発明は、顕微鏡システムに関するものである。
従来、対物レンズの倍率の切り替えに応じて顕微鏡用電動ステージの駆動速度を制御する制御装置が知られている(例えば、特許文献1参照。)。特許文献1に記載の顕微鏡用電動ステージの制御装置は、対物レンズを倍率が大きいものに切り替えると電動用ステージの駆動速度を低下させ、一方、対物レンズを倍率が小さいものに切り替えると電動用ステージの駆動速度を向上させることにより、対物レンズを切り替えた場合に電動用ステージを駆動しても、モニタに表示される電動用ステージ上の観察対象物の移動速度を一定に保ち標本の観察に支障が生じるのを防ぐこととしている。
特開平8−86965号公報
しかしながら、近年、顕微鏡での観察は接眼レンズを使用した観察よりもデジタルカメラを使用した観察が主流となっている。デジタルカメラを使用した顕微鏡による観察においては、デジタルズーム等の画像処理によりソフトウェア上で画像の表示倍率を変更したり、顕微鏡に接続するデジタルカメラを視野範囲が異なる他のデジタルカメラに変更することによりディスプレイ等に表示される画像の視野範囲を変更したりする。また、ライブプレビュー中の部分読み取りなどの画像処理も行われる。
このようなデジタルカメラを使用した顕微鏡では、デジタルズームや部分読み取りなどの画像処理を行った場合やデジタルカメラを変更した場合にステージを駆動すると、ディスプレイに表示される画像の視野範囲に対して観察像の移動速度が急激に変化することとなり、標本の観察に支障をきたすという問題がある。
本発明は上述した事情に鑑みてなされたものであって、表示部上の画像の視野範囲を変更した場合にステージを駆動しても、表示部に表示される画像の視野範囲に対する観察像の移動速度の変化を低減することができる顕微鏡システムを提供することを目的とする。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、標本が載置され、該標本に照射される照明光の光軸に対して交差する方向に移動可能なステージと、前記照明光が照射された前記標本の画像を取得する観察光学系と、表示部に表示させる前記観察光学系により取得された前記画像の視野範囲を設定する視野範囲設定部と、前記観察光学系により撮像可能な最大の撮像範囲に対する前記視野範囲設定部により設定された前記画像の視野範囲の比を算出する比算出部と、該比算出部により算出された前記比に応じて前記ステージの移動速度を制御するステージ制御部とを備える顕微鏡システムを提供する。
本発明によれば、照明光が照射されたステージ上の標本の画像が観察光学系により取得されると、その画像が画像範囲設定手段により設定された視野範囲で表示部に表示される。また、ステージ制御部により制御されるステージの移動速度に従い、表示部に表示された標本の観察像が移動する。
この場合において、観察光学系により撮像可能な最大の撮像範囲に対して表示部に表示される画像の視野範囲が小さくなると、ステージを移動させた場合に標本の観察像の移動量が大きくなる傾向がある。また、観察光学系により撮像可能な最大の撮像範囲に対して表示部に表示される画像の視野範囲を近づけていくと、ステージを移動させた場合に標本の観察像の移動量が小さくなる傾向がある。
本発明は、ステージ制御部により、比算出部によって算出された比、すなわち、観察光学系により撮像可能な最大の撮像範囲に対する表示部に表示される画像の視野範囲の比に応じてステージの移動速度を制御することで、表示部上の画像の視野範囲を変更した場合に変更前の視野範囲に対する観察像の移動速度と変更後の視野範囲に対する観察像の移動速度との差を低減するようにステージを移動させることができる。
例えば、表示部上の画像の視野範囲内の一部を注目範囲として部分読み取りする場合は、ステージ制御部により、観察光学系の最大の撮像範囲に対する画像の注目範囲の比に応じてステージの移動速度を遅くし、一方、部分読み取りした状態から通常の視野範囲に戻す場合は、その比に応じてステージの移動速度を速くする。このようにすることで、画像の視野範囲に対する観察像の移動速度が急激に変化するのを抑制し、安定した観察を実現することができる。
上記発明においては、前記比算出部が、前記最大の撮像範囲に対する前記視野範囲設定部により設定された前記画像の視野範囲の縦比および横比の少なくとも一方を算出することとしてもよい。
また、上記発明においては、前記ステージ制御部が、前記比算出部により算出される前記比が小さくなるほど前記ステージの移動速度を遅くすることとしてもよい。
このように構成することで、観察光学系の最大の撮像範囲に対して表示部上の画像の視野範囲を小さくした場合にステージを駆動しても、画像の視野範囲に対する観察像の移動速度を比較的安定させることができる。
また、上記発明においては、前記ステージ制御部が、前記比算出部により算出される前記比が変化する前後の前記画像の視野範囲に対する前記標本の観察像の移動速度が一定になるように前記ステージの移動速度を制御することとしてもよい。
このように構成することで、表示部に表示される画像の視野範囲の変化の前後にわたり、画像の視野範囲に対する標本の観察像の移動速度を一定に保ち、安定した観察を実現することができる。
また、上記発明においては、前記観察光学系の総合の倍率値を算出する総合倍率算出部を備え、前記ステージ制御部が、前記比算出部により算出された前記比および前記総合倍率算出手段により算出された前記総合の倍率値に応じて前記ステージの移動速度を制御することとしてもよい。
観察光学系の総合の倍率値を変更することにより画像の視野範囲に対する標本の観察像の大きさを増大した場合にステージを駆動すると、画像の視野範囲に対する観察像の移動量が大きくなる傾向がある。この場合、ステージ制御部により、ステージの移動速度を減速すれば表示部上の画像の視野範囲に対する観察像の移動速度の変化の差を低減することができる。一方、画像の視野範囲に対する標本の観察像の大きさを縮小した場合にステージを駆動すると、画像の視野範囲に対する観察像の移動量が小さくなる傾向がある。この場合、ステージ制御部により、ステージの移動速度を加速すれば表示部上の画像の視野範囲に対する観察像の移動速度の変化の差を低減することができる。
したがって、ステージ制御部により、比算出部により算出された比および総合倍率算出部により算出された総合の倍率値に応じてステージの移動速度を制御することで、表示部に表示される画像の視野範囲および標本の観察像の大きさを変化させた場合にステージを駆動しても、画像の視野範囲に対する観察像の移動速度を安定させることができる。
また、上記発明においては、前記観察光学系が、前記照明光が照射された前記標本からの観察光を集光する対物レンズを備え、前記総合の倍率が前記対物レンズの倍率値を含むこととしてもよい。
このように構成することで、対物レンズを倍率値が異なる他の対物レンズに切り替えた場合において、ステージ制御部により、表示部上の画像の視野範囲に対する観察像の移動速度の変化の差を簡易に低減させることができる。
また、上記発明においては、前記観察光学系が、前記照明光が照射された前記標本からの観察光を撮影する撮像部を備え、前記比算出部が、前記撮像部の最大の撮像範囲に基づいて前記比を算出することとしてもよい。
このように構成することで、撮像部を最大の撮像範囲が異なる他の撮像部に変更した場合において、ステージ制御部により、表示部上の画像の視野範囲に対する観察像の移動速度の変化の差を簡易に低減させることができる。
また、上記発明においては、前記視野範囲設定部が、前記画像の視野範囲に対する前記標本の観察像を電子的に拡大または縮小するデジタルズーム機能を有し、ステージ制御部が、前記比算出部により算出された前記比および前記視野範囲設定部のデジタルズーム機能による前記標本の観察像の倍率値に応じて前記ステージの移動速度を制御することとしてもよい。
このように構成することで、視野範囲設定部のデジタルズーム機能により、観察光学系の焦点距離を変化させることなく標本の観察像の大きさを簡易に変更することができる。また、デジタルズーム機能により標本の観察像の倍率値を変更した場合において、ステージ制御部により表示部上の画像の視野範囲に対する観察像の移動速度の変化の差を低減することができる。
また、上記発明においては、前記ステージを駆動するステージ駆動部と、該ステージ駆動部に前記ステージの移動速度を指示する速度指示部とを備えることとしてもよい。
このように構成することで、速度指示部により指示されたステージの所望の移動速度で標本の観察像を移動させることができる。したがって、画像の視野範囲等を変更した場合にステージを駆動しても、ステージ制御部により、画像の視野範囲に対する観察像の移動速度を所望の速度に維持することが可能となる。
本発明によれば、表示部上の画像の視野範囲を変更した場合にステージを駆動しても、表示部に表示される画像の視野範囲に対する観察像の移動速度の変化を低減することができるという効果を奏する。
本発明の第1の実施形態に係る顕微鏡システムの概略構成図である。 図1の顕微鏡システムによる観察工程を示すフローチャートである。 モニタに表示される撮像部の最大の撮像範囲を視野範囲とする画像を示す図である。 図1の顕微鏡システムによる観察工程の一部を示すフローチャートである。 部分読み取りによるモニタ上の画像の視野範囲を示す図である。 モニタの画像を通常の視野範囲から部分読み取りよる視野範囲に変更する様子を示す図である。 図6の画像において標本の観察像が画像の端に移動した様子を示す図である。 本発明の第2の実施形態に係る顕微鏡システムを示す概略構成図である。 図8の顕微鏡システムによる観察工程の一部を示すフローチャートである。 (a)は撮像部の最大の画像範囲全体を視野範囲とする標本の画像を示し、(b)は(a)の標本の観察像を拡大した画像を示し、(c)は(b)の画像の視野範囲の一部を部分読み取りする画像を示した図である。 モニタ上の標本の観察像を拡大し、通常の視野範囲から部分読み取りよる視野範囲に変更する様子を示す図である。 図11の画像において標本の観察像が画像の端に移動した様子を示す図である。 本発明の各実施形態の変形例に係る顕微鏡システムによる観察工程を示すフローチャートである。
〔第1の実施形態〕
以下、本発明の第1の実施形態に係る顕微鏡システムについて、図面を参照して説明する。
本実施形態に係る顕微鏡システム100は、例えば、図1に示すように、正立型の顕微鏡装置10と、顕微鏡装置10に対してユーザからの指示を入力する入力部30と、顕微鏡装置10により取得された画像等を表示するモニタ(表示部)40と、これら顕微鏡装置10、入力部30およびモニタ40を制御する制御部50とを備えている。
顕微鏡装置10は、標本(図示略)が載置される電動ステージ(ステージ)11と、照明光を発する光源13と、光源13から発せられた照明光を集光して標本に照射するコンデンサ15と、照明光が照射された標本の画像を取得する観察光学系17とを備えている。
また、顕微鏡装置10には、手動により電動ステージ11をXY軸方向(標本に照射される照明光の光軸に対して交差する方向、すなわち、水平方向)に移動させるXYハンドル21と、手動により電動ステージ11をZ軸方向(標本に照射される照明光の光軸に沿う方向、すなわち、鉛直方向)に移動させるZ軸フォーカスハンドル23と、電動ステージ11を駆動するパルスモータ(ステージ駆動部)25と、パルスモータ25の作動を制御するモータコントローラ(ステージ制御部)27とが備えられている。X軸方向とY軸方向とは互いに直交している。
電動ステージ11は、少なくともXY位置座標を有している。この電動ステージ11は、XYハンドル21またはZ軸フォーカスハンドル23によりユーザが手動で移動させたり、モータコントローラ27によりユーザが指定したXYZ座標に電動で移動させたりすることができるようになっている。
観察光学系17は、照明光が照射された標本からの透過光を集光する対物レンズ16と、対物レンズ16により集光された透過光を撮影する撮像部18とを備えている。
対物レンズ16はレボルバ19に取り付けられている。
対物レンズ16としては、例えば、位相差対物レンズや明視野対物レンズを採用することができる。位相差対物レンズにより位相差観察を行う場合はコンデンサ15の光路上に位相板を配置し、また、明視野対物レンズにより微分干渉観察を行う場合はコンデンサ15およびレボルバ19の光路上にそれぞれプリズムと偏光板を配置する。
撮像部18としては、例えば、CCDカメラ、CMOSカメラ、ビデオカメラ、または、光増倍管などの公知の光検出器を採用することができる。撮像部18は、撮像可能な最大の撮像範囲が異なるような他の撮像装置と切り替え可能に配置されている。
入力部30は、例えば、図示しないキーボード、マウス、または、ジョイスティック等を備え、ユーザにより入力されるパラメータを統括するようになっている。入力部30に入力されたパラメータは、制御部50を介してモニタ40や顕微鏡装置10に出力されるようになっている。また、入力部30は、モニタ40に表示される画像の視野範囲を設定する視野範囲設定部31と、電動ステージ11の駆動指示を出力する駆動指示部33とを備えている。
視野範囲設定部31は、例えば、マウスに接続され、モニタ40に表示される画像上でユーザがマウスを用いて指定した範囲をその画像の視野範囲として設定することができるようになっている。
駆動指示部33は、例えば、ジョイスティックに接続され、ジョイスティックが直立した状態からユーザにより押し倒された方向を電動ステージ11の移動方向とする駆動指示を出力するようになっている。
モニタ40は、入力部30から送られてくるパラメータの設定や変更後の値を表示したり、撮像部18により取得された画像を表示したりすることができるようになっている。
制御部50は、例えば、CPU(中央演算処理装置)を含むPC(パーソナルコンピュータ)である。この制御部50は、撮像部18により撮像可能な最大の撮像範囲に対するモニタ40に表示される画像の視野範囲の縦比および横比(以下、「最大撮像範囲に対する画像視野範囲の比」という。)を算出する比算出部として機能するようになっている。撮像部18により撮像可能な最大の撮像範囲に対するモニタ40に表示される画像の視野範囲の縦比および横比が同一の比率である場合は、縦比および横比のどちらか一方を算出すればよい。
また、制御部50は、電動ステージ11の移動速度を算出する移動速度算出部51を備えている。移動速度算出部51は、算出された最大撮像範囲に対する画像視野範囲の比に応じて、電動ステージ11の移動速度を算出するようになっている。具体的には、移動速度算出部51は、上記縦比に基づいて、電動ステージ11の例えばX軸方向の移動速度を算出し、制御部50により算出した上記横比に基づいて、電動ステージ11の例えばY軸方向の移動速度を算出する。なお、移動速度算出部51は、上記縦比と上記横比が同一の比率である場合、電動ステージ11のX軸方向の移動速度とY軸方向の移動速度とを同一速度として算出する。
例えば、基準となるステージ速度を1「mm/sec」と仮定する。電動ステージ11の移動速度をVn(n≠0)、最大撮像範囲に対する画像視野範囲の比をAとする。例えば、最大撮像範囲の縦の長さに対して、画像視野範囲の縦の長さが1/2となる場合、最大撮像範囲に対する画像視野範囲の比Aは1/2となる。
電動ステージ11の移動速度Vn[mm/sec]は、以下の式(1)により表される。
Vn=1×A・・・(1)
モータコントローラ27は、移動速度算出部51により算出された電動ステージ11の移動速度に基づいてパルスモータ25の作動を制御するようになっている。すなわち、モータコントローラ27は、最大撮像範囲に対する画像視野範囲の比に応じて、パルスモータ25を介して電動ステージ11の移動速度を制御するようになっている。
このように構成された本実施形態に係る顕微鏡システム100の作用について、図2のフローチャートを参照して説明する。
本実施形態に係る顕微鏡システム100により標本を観察するには、まず、顕微鏡装置10および制御部50の電源をONにし、これらを起動させる(ステップSA1)。
電動ステージ11に標本を載置し光源13から照明光を発生させると、コンデンサ15により電動ステージ11上の標本に照明光が照射される。照明光が照射されることにより標本を透過した透過光は、対物レンズ16により集光され、結像レンズ(図示略)を介して撮像部18により撮影される。
撮像部18においては、標本の観察像が結像されてデジタル画像処理が施される。撮像部18によりデジタル画像処理された観察像は、デジタル信号として制御部50に出力され、モニタ40に入力される。これにより、モニタ40において標本の画像が表示される。
顕微鏡システム100の起動時は、例えば、図3に示すように、撮像部18の最大の撮像範囲全体を視野範囲とする画像がモニタ40に表示される。制御部50においては、最大撮像範囲に対する画像視野範囲の比として、予め設定されている初期値が移動速度算出部51により取得される(ステップSA2)。
続いて、移動速度算出部51により、上述した式(1)により、比の初期値に応じて電動ステージ11の移動速度V1が算出される。算出された移動速度V1はモータコントローラ27に入力され、電動ステージ11の速度が移動速度V1になるようなパルスの幅Tが算出される。これにより、モータコントローラ27において、電動ステージ11の速度が移動速度V1に設定される(ステップSA3)。
次に、駆動指示部33により、ユーザから電動ステージ11の駆動指示が入力されると(ステップSA4「YES」)、その駆動指示が制御部50を介してモータコントローラ27に入力される。モータコントローラ27においては、算出されたパルスの幅Tに基づきパルスモータ25の作動が制御される。
パルスモータ25が作動することにより、ユーザから指定された移動方向、すなわち、駆動指示部33が押し倒された方向に向かって電動ステージ11が移動速度V1で移動する(ステップSA5)。これにより、図3に示されるモニタ40の画像上で標本の観察像(同図において「OLY」)が移動速度V1で移動する。
続いて、ユーザからの電動ステージ11の駆動指示がない場合は(ステップSA4「NO」)、移動速度算出部51により最大撮像範囲に対する画像視野範囲の比が再取得される(ステップSA6)。ステップSA6においては、図4のフローチャートに示される処理が行われる。
まず、視野範囲設定部31により、モニタ40に表示される画像上でユーザが範囲指定すると(ステップSB1「YES」)、指定された範囲が画像の視野範囲として設定される。視野範囲設定部31により設定された画像の視野範囲は、制御部50を介してモニタ40に入力される。これにより、モニタ40上の画像の視野範囲が変更される(ステップSB2)。例えば、図5に示すように、通常の画像の視野範囲内の一部を注目範囲として部分読み取りする場合は、標本の観察像の大きさは変わらずに画像の視野範囲が注目範囲のみに制限される。
モニタ40上の画像の視野範囲が変更されると、ステップSB1「NO」を介して図4のフローチャートの処理が終了する。そして、制御部50により、撮像部18の最大撮像範囲に対するモニタ40上の画像の新たな視野範囲(部分読み取りによる注目範囲)の比(以下、「新たな比」という。)が取得される。制御部50により取得された新たな比は移動速度算出部51に入力される。
移動速度算出部51においては、最大撮像範囲に対する画像視野範囲の比が変更されたと判断され(ステップSA7「YES」)、移動速度算出部51により新たな比に応じて電動ステージ11の移動速度V2が算出される。例えば、新たな比が直前までの比Aの1/3倍に変更されたとすると、式(1)より、電動ステージ11の移動速度V2は移動速度V1の1/3倍になる。移動速度算出部51により算出された新たな移動速度V2はモータコントローラ27に入力され、電動ステージ11の速度が移動速度V2に設定される(ステップSA3)。
この場合において、駆動指示部33により、ユーザから電動ステージ11の駆動指示が入力されると(ステップSA4「YES」)、その駆動指示がモータコントローラ27に入力され、電動ステージ11の速度が移動速度V2になるようにパルスモータ25の作動が制御される。これにより、電動ステージ11が移動速度V2で移動し(ステップSA5)、図5に示されるモニタ40の画像上で標本の観察像が移動速度V2、すなわち、移動速度V1の1/3倍の速度で移動する。
図6に示すように、通常の視野範囲の観察から部分読み取り観察に変化させると、電動ステージ11を移動させた場合に標本(同図において、画像の中心位置に配置されている物体。図7において同様である。)の観察像の移動量が通常の観察のときより大きくなる傾向がある。
本実施形態に係る顕微鏡システム100によれば、モータコントローラ27により、電動ステージ11の速度を移動速度V2に減速することで、図7に示すように、通常の画像の視野範囲に対する観察像の移動速度と部分読み取りによる画像の視野範囲に対する観察像の移動速度とを同一にすることができる。すなわち、通常の画像の視野範囲において標本が画像の中心から端まで移動するのにかかる時間と、部分読み取り時の画像の視野範囲において標本が画像の中心から端まで移動するのにかかる時間とを一致させることができる。
続いて、ステップSA7において、移動速度算出部51により、最大画像範囲に対する画像視野範囲の比に変更がないと判断されると(ステップSA7「NO」)、ユーザにより、観察を継続するか終了するかが判断される(ステップSA8)。観察を継続する場合は(ステップSA8「NO」)、ステップSA4に戻る。一方、観察を終了する場合は(ステップSA8「YES」)、顕微鏡装置10および制御部50の電源をOFFにし(ステップSA9)、観察を終了する。
以上説明したように本実施形態に係る顕微鏡システム100によれば、モータコントローラ27により、最大撮像範囲に対する画像視野範囲の比に応じて電動ステージ11の移動速度を制御することで、モニタ40上の画像の視野範囲を変更した場合に電動ステージ11を駆動しても、変更の前後における画像の視野範囲に対する観察像の移動速度を一致させることができる。したがって、画像の視野範囲に対する観察像の移動速度が急激に変化するのを防ぎ、安定した観察を行うことができる。
なお、本実施形態においては、モータコントローラ27により、最大撮像範囲に対する画像視野範囲の比が変化する前後において、画像の視野範囲に対する観察像の移動速度が同一なるように電動ステージ11の移動速度が制御されることとしたが、最大撮像範囲に対する画像視野範囲の比に応じて電動ステージ11の移動速度を制御することとすればよく、例えば、最大撮像範囲に対する画像視野範囲の比が小さくなるほど電動ステージ11の移動速度を遅くすることとしてもよい。このようにすることで、観察光学系17の最大の撮像範囲に対してモニタ40上の画像の視野範囲を小さくした場合に電動ステージ11を駆動しても、画像の視野範囲に対する観察像の移動速度を比較的安定させることができる。
また、本実施形態においては、駆動部としてパルスモータを例示して説明したが、これに代えて、例えば、リニアモータ、ステッピングモータ、ピエゾまたは超音波モータなどの他のアクチュエータを用いることとしてもよい。例えば、DCモータを使用する場合には、電圧値により速度を制御すればよい。
また、本実施形態においては、移動速度算出部51により最大撮像範囲に対する画像視野範囲の比が変更したか否かを判断することとしたが、例えば、最大撮像範囲に対する画像視野範囲の比を記憶するとともにその比が変更されたか否かを判断するハードウエアを設けることとしてもよい。
また、本実施形態においては、駆動指示部33がジョイスティックに接続されていることとしたが、ユーザが電動ステージ11の移動方向の指示を含む駆動指示を入力することができればよく、例えば、マウスに接続されていてもよい。この場合、例えば、マウスにより、ユーザがモニタ40に表示される画面上のボタンを押すと駆動指示が入力されることとすればよい。
〔第2の実施形態〕
以下、本発明の第2の実施形態に係る顕微鏡システムについて説明する。
本実施形態に係る顕微鏡システム200は、図8に示すように、制御部150が、観察光学系17の総合の倍率値を算出する総合倍率算出部53を備え、モータコントローラ27が、さらに観察光学系17の総合の倍率値に応じて電動ステージ11の移動速度を制御する点で第1の実施形態と異なる。
以下、本実施形態の説明において、第1の実施形態に係る顕微鏡システム100の構成と共通する箇所には同一符号を付して説明を省略する。
総合倍率算出部53は、顕微鏡装置10に備えられている光学系の全ての倍率値を算出するようになっている。光学系としては、例えば、対物レンズ16および撮像部18のCCDカメラサイズ等が挙げられる。これらの各光学系にはそれぞれの倍率値を示す磁気的パターンが記録されており、総合倍率算出部53により、各光学系の磁気的パターンを磁気によって読み取ることができるようになっている。総合倍率算出部53により算出された光学系の総合倍率値は移動速度算出部51に入力される。レボルバ19には、倍率値が異なる複数の対物レンズ16が切り替え可能に取り付けられている。
移動速度算出部51は、最大撮像範囲に対する画像視野範囲の比および光学系の総合倍率値に応じて電動ステージ11の移動速度Vnを算出するようになっている。例えば、全光学系の総合倍率値、すなわち、対物レンズ16の倍率値と撮像部のCCDカメラサイズの倍率値とを乗算した値をBとすると、電動ステージ11の移動速度Vn[mm/sec]は、以下の式(2)により表される。
Vn=1×A×(1/B)・・・(2)
このように構成された顕微鏡システム200の作用について、図2のフローチャートを参照して説明する。
ステップSA2においては、移動速度算出部51により、最大撮像範囲に対する画像視野範囲の比の初期値が取得される。また、総合倍率算出部53により、対物レンズ16および撮像部18のCCDカメラサイズの総合倍率値が取得され、移動速度算出部51に入力される。
続いて、移動速度算出部51により、上述した式(2)により、比の初期値および光学系の総合倍率値に応じて電動ステージ11の移動速度V3が算出される。算出された移動速度V3はモータコントローラ27に入力され、電動ステージ11の速度が移動速度V3に設定される(ステップSA3)。
駆動指示部33により、ユーザから電動ステージ11の駆動指示が入力されると(ステップSA4「YES」)、モータコントローラ27により、電動ステージ11が移動速度V3で移動させられる(ステップSA5)。これにより、モニタ40上で標本の観察像が移動速度V3で移動する。
続いて、ユーザからの電動ステージ11の駆動指示がない場合は(ステップSA4「NO」)、移動速度算出部51により最大撮像範囲に対する画像視野範囲の比および光学系の総合倍率値が再取得され(ステップSA6)、図9のフローチャートに示される処理が行われる。
例えば、図10(a)に示すような撮像部18の最大の画像範囲全体を視野範囲とする標本(同図において「OLY」。)の画像に対し、対物レンズ16を倍率が大きい新たな対物レンズ16に切り替えることにより、図10(b)に示すように画像の視野範囲を変えずに標本の観察像を拡大するとともに、図10(c)に示すように画像の視野範囲の一部を注目範囲として部分読み取りする場合について説明する。
まず、視野範囲設定部31により、ユーザが指定した範囲が画像の視野範囲として設定され(ステップSC1「YES」)、モニタ40上の画像の視野範囲が変更される(ステップSC2)。次に、ステップSC1「NO」を介して、総合倍率算出部53により、顕微鏡装置10に備えられている撮像装置18のCCDカメラサイズの倍率値および新たな対物レンズ16の倍率値が取得され(ステップSC3)、移動速度算出部51に入力される。図9のフローチャートの処理が終了する。
ステップSA7に進み、移動速度算出部51においては、最大撮像範囲に対する画像視野範囲の比および光学系の総合倍率値がそれぞれ変更されたと判断され(ステップSA7「YES」)、移動速度算出部51により新たな比および光学系の総合倍率値に応じて電動ステージ11の移動速度Vnが算出される(ステップSA3)。例えば、新たな比が直前までの比Aの1/3倍に変更され、光学系の総合倍率値が直前までの倍率値Bの3倍に変更されたとすると、式(2)より、電動ステージ11の移動速度V4は移動速度V3の1/9倍になる。
この場合において、駆動指示部33により、ユーザから電動ステージ11の駆動指示が入力されると(ステップSA4「YES」)、その駆動指示がモータコントローラ27に出力され、電動ステージ11の速度が移動速度V4になるようにパルスモータ25の駆動が制御される。これにより、電動ステージ11が移動速度V4で移動し(ステップSA5)、モニタ40上で標本の観察像が移動速度V4、すなわち、移動速度V3の1/9倍の速度で移動する。
図11に示すように、画像の視野範囲に対して標本(同図において、画像の中心位置に配置されている物体)の観察像を拡大すると、電動ステージ11を移動させた場合に標本の観察像の移動量が拡大前より大きくなる傾向がある。さらに、部分読み取り観察のように、拡大した標本の観察像に対して画像の視野範囲を制限すると、電動ステージ11を移動させた場合に標本の観察像の移動量が通常の観察のときよりさらに大きくなる傾向がある。
本実施形態に係る顕微鏡システム200によれば、モータコントローラ27により、電動ステージ11の速度を移動速度V4に減速することで、図12に示すように、観察像を拡大する前の画像の視野範囲に対する観察像の移動速度と観察像を拡大した後の画像の視野範囲に対する観察像の移動速度とを同一にすることができる。さらに、部分読み取り前の画像の視野範囲に対する観察像の移動速度と部分読み取りによる画像の視野範囲に対する観察像の移動速度とを同一にすることができる。
ステップSA7「NO」の場合の処理は第1の実施形態と同様である。
以上説明したように本実施形態に係る顕微鏡システム200によれば、モータコントローラ27により、最大撮像範囲に対する画像視野範囲の比および光学系の総合倍率値に応じて電動ステージ11の移動速度を制御することで、モニタ40上の画像の視野範囲や標本の観察像の大きさを変更した場合に電動ステージ11を駆動しても、それぞれ変更の前後における画像の視野範囲に対する観察像の移動速度を一致させることができる。したがって、画像の視野範囲に対する観察像の移動速度が急激に変化するのを防ぎ、安定した観察を行うことができる。
なお、本実施形態においては、光学系の総合倍率値として撮像部18のCCDカメラサイズを含めることとしたが、例えば、光学系の総合倍率として対物レンズ16の倍率値のみを用いることとしてもよい。このようにすることで、対物レンズ16を倍率値が異なる他の対物レンズに切り替えた場合において、モータコントローラ27により、対物レンズ16の切替の前後にわたりモニタ40上の画像の視野範囲に対する観察像の移動速度を簡易に一致させることができる。また、光学系の総合倍率として撮像部18のCCDカメラサイズのみを用いることとしてもよい。
また、光学系として、対物レンズ16や撮像部18のCCDカメラサイズの他に、ズームレンズ、テレビアダプタ等を含めることとしてもよい。この場合、組み合わせる対物レンズ16、撮像部18のCCDカメラサイズ、ズームレンズ、または、テレビアダプタ等の各倍率値をそれぞれ乗算した値を光学系の総合倍率値とすればよい。
また、本実施形態においては、総合倍率算出部53により、各光学系に記憶された磁気的パターンを磁気によって読み取ることとしたが、これに代えて、例えば、各光学系にそれぞれの倍率値を示す光学的パターンを記録させ、総合倍率算出部53により、各各光学系の光学的パターンを光センサによって読み取ることとしてもよい。
また、本実施形態においては、制御部50が総合倍率算出部53を備えることとしたが、これに代えて、例えば、入力部30が総合倍率算出部53を備え、キーボード等により、ユーザが総合倍率算出部53に光学系の全ての倍率値を入力することとしてもよい
また、本実施径形態は以下のように変形することができる。
例えば、視野範囲設定部31が、モニタ40に表示される画像の視野範囲を変えずに標本の観察像を拡大または縮小するデジタルズーム機能を有し、モータコントローラ27が、さらに視野範囲設定部31のデジタルズーム機能により設定されるズーム倍率値に応じて電動ステージ11の移動速度を制御することとしてもよい。
この場合、移動速度算出部51は、最大撮像範囲に対する画像視野範囲の比、光学系の総合倍率値およびデジタルズーム倍率値に応じて電動ステージ11の移動速度を算出することとすればよい。例えば、デジタルズーム倍率値をCとすると、電動ステージ11の移動速度Vn[mm/sec]は以下の(3)により表される。
Vn=1×A×(1/B)×(1/C)・・・(3)
このようにすることで、例えば、視野範囲設定部31のデジタルズーム機能により画像の視野範囲を変えずに標本の観察像を拡大するとともに部分読み取り観察した場合に電動ステージ11を駆動しても、観察像を拡大する前の画像の視野範囲に対する観察像の移動速度と観察像を拡大した後の画像の視野範囲に対する観察像の移動速度とを同一にすることができる。さらに、部分読み取り前の画像の視野範囲に対する観察像の移動速度と部分読み取りによる画像の視野範囲に対する観察像の移動速度とを同一にすることができる。
本変形例においては、観察光学系17の総合倍率値を考慮せずに、最大撮像画像に対する画像視野範囲の比およびデジタルズーム倍率値に応じて電動ステージ11の移動速度を制御することとしてもよい。
また、上記各実施形態は、以下のように変形することができる。
例えば、駆動指示部33が、パルスモータ25に電動ステージ11の移動速度を指示する速度指示部として機能することとしてもよい。本変形例においては、駆動指示部33は、直立した状態から押し倒された方向を電動ステージ11の移動方向とするとともに、押し倒された角度に応じて電動ステージ11の移動速度を指示する。具体的には、直立した状態から押し倒された角度が大きくなるほど、電動ステージ11の移動速度が速くする。また、駆動指示部33により決定された電動ステージ11の移動方向および移動速度は駆動指示として移動速度算出部51に入力される。
この場合、図13のフローチャートに示されるように、駆動指示部33により、ユーザから電動ステージ11の駆動指示が入力されると(ステップSA4「YES」)、移動速度算出部51は、以下の式(4)により、電動ステージ11の移動速度Vnを再設定する(ステップSA4´)。例えば、駆動指示部33の倒し角度をx、基準となるステージ駆動速度をV´と仮定する。
Vn=V´×α・・・(4)
αは駆動指示部33の倒し角度xに依存する係数である。例えば、α=0(x=0°)、α=1(0°<x≦45°)、α=2(45°<x≦90°)。
移動速度算出部51により電動ステージ11の移動速度V5が設定されると、モータコントローラ27に入力されて電動ステージ11が移動速度V5で移動させられる(ステップSA5)。これにより、モニタ40上で標本の観察像が移動速度V5で移動する。
このようにすることで、駆動指示部33により指示された電動ステージ11の所望の移動速度で標本の観察像を移動させることができる。したがって、モニタ40上の画像の視野範囲等を変更した場合に電動ステージ11を駆動しても、モータコントローラ27により、画像の視野範囲に対する観察像の移動速度を所望の移動速度に維持することができる。
本実施形態においては、駆動指示部として、ジョイスティックを例示して説明したが、電動ステージ11の移動方向および移動速度を設定することができるものであればよく、例えば、単位時間当たりの回転量に応じて電動ステージ11の移動速度を制御可能なXYハンドルを採用することとしてもよい。また、電動ステージ11の移動方向と移動速度とをそれぞれ別個に設定可能な装置を採用することとしてもよい。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態およびその変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。また、例えば、上記各実施形態およびその変形例においては、電動ステージ11のX軸方向およびY軸方向の移動を制御することとしているが、例えば、Z軸方向の移動も制御することとしてもよい。例えば、標本のフォーカス合わせを行う場合に、各種設定値の変化に応じて電動ステージ11のZ軸方向の移動速度を変化させることにより、フォーカス合わせを容易にすることができる。
11 電動ステージ(ステージ)
16 対物レンズ
17 観察光学系
18 撮像部
25 パルスモータ(ステージ駆動部)
27 モータコントローラ(ステージ制御部)
31 視野範囲設定部
33 駆動指示部(速度指示部)
50 制御部(比算出部)
53 総合倍率算出部
100,200 顕微鏡システム

Claims (9)

  1. 標本が載置され、該標本に照射される照明光の光軸に対して交差する方向に移動可能なステージと、
    前記照明光が照射された前記標本の画像を取得する観察光学系と、
    表示部に表示させる前記観察光学系により取得された前記画像の視野範囲を設定する視野範囲設定部と、
    前記観察光学系により撮像可能な最大の撮像範囲に対する前記視野範囲設定部により設定された前記画像の視野範囲の比を算出する比算出部と、
    該比算出部により算出された前記比に応じて前記ステージの移動速度を制御するステージ制御部とを備える顕微鏡システム。
  2. 前記比算出部が、前記最大の撮像範囲に対する前記視野範囲設定部により設定された前記画像の視野範囲の縦比および横比の少なくとも一方を算出する請求項1に記載の顕微鏡システム。
  3. 前記ステージ制御部が、前記比算出部により算出される前記比が小さくなるほど前記ステージの移動速度を遅くする請求項1または請求項2に記載の顕微鏡システム。
  4. 前記ステージ制御部が、前記比算出部により算出される前記比が変化する前後の前記画像の視野範囲に対する前記標本の観察像の移動速度が一定になるように前記ステージの移動速度を制御する請求項1から請求項3のいずれかに記載の顕微鏡システム。
  5. 前記観察光学系の総合の倍率値を算出する総合倍率算出部を備え、
    前記ステージ制御部が、前記比算出部により算出された前記比および前記総合倍率算出手段により算出された前記総合の倍率値に応じて前記ステージの移動速度を制御する請求項1から請求項4のいずれかに記載の顕微鏡システム。
  6. 前記観察光学系が、前記照明光が照射された前記標本からの観察光を集光する対物レンズを備え、
    前記総合の倍率が前記対物レンズの倍率値を含む請求項5に記載の顕微鏡システム。
  7. 前記観察光学系が、前記照明光が照射された前記標本からの観察光を撮影する撮像部を備え、
    前記比算出部が、前記撮像部の最大の撮像範囲に基づいて前記比を算出する請求項1から請求項6のいずれかに記載の顕微鏡システム。
  8. 前記視野範囲設定部が、前記画像の視野範囲に対する前記標本の観察像を電子的に拡大または縮小するデジタルズーム機能を有し、
    ステージ制御部が、前記比算出部により算出された前記比および前記視野範囲設定部のデジタルズーム機能による前記標本の観察像の倍率値に応じて前記ステージの移動速度を制御する請求項1から請求項7のいずれかに記載の顕微鏡システム。
  9. 前記ステージを駆動するステージ駆動部と、該ステージ駆動部に前記ステージの移動速度を指示する速度指示部とを備える請求項1から請求項8のいずれかに記載の顕微鏡システム。
JP2010168309A 2010-07-27 2010-07-27 顕微鏡システム Expired - Fee Related JP5467011B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010168309A JP5467011B2 (ja) 2010-07-27 2010-07-27 顕微鏡システム
US13/177,629 US9151942B2 (en) 2010-07-27 2011-07-07 Microscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010168309A JP5467011B2 (ja) 2010-07-27 2010-07-27 顕微鏡システム

Publications (2)

Publication Number Publication Date
JP2012027387A JP2012027387A (ja) 2012-02-09
JP5467011B2 true JP5467011B2 (ja) 2014-04-09

Family

ID=45526473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010168309A Expired - Fee Related JP5467011B2 (ja) 2010-07-27 2010-07-27 顕微鏡システム

Country Status (2)

Country Link
US (1) US9151942B2 (ja)
JP (1) JP5467011B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3255753A1 (en) 2008-10-02 2017-12-13 EcoATM, Inc. Secondary market and vending system for devices
US7881965B2 (en) 2008-10-02 2011-02-01 ecoATM, Inc. Secondary market and vending system for devices
US10853873B2 (en) 2008-10-02 2020-12-01 Ecoatm, Llc Kiosks for evaluating and purchasing used electronic devices and related technology
US11010841B2 (en) 2008-10-02 2021-05-18 Ecoatm, Llc Kiosk for recycling electronic devices
US10401411B2 (en) 2014-09-29 2019-09-03 Ecoatm, Llc Maintaining sets of cable components used for wired analysis, charging, or other interaction with portable electronic devices
CA2964214C (en) 2014-10-02 2020-08-04 ecoATM, Inc. Wireless-enabled kiosk for recycling consumer devices
CA2964223C (en) 2014-10-02 2020-04-14 ecoATM, Inc. Application for device evaluation and other processes associated with device recycling
US10445708B2 (en) 2014-10-03 2019-10-15 Ecoatm, Llc System for electrically testing mobile devices at a consumer-operated kiosk, and associated devices and methods
WO2016069738A1 (en) 2014-10-31 2016-05-06 ecoATM, Inc. Systems and methods for recycling consumer electronic devices
CA3227945A1 (en) 2014-11-06 2016-05-12 Ecoatm, Llc Methods and systems for evaluating and recycling electronic devices
WO2016094789A1 (en) * 2014-12-12 2016-06-16 ecoATM, Inc. Systems and methods for recycling consumer electronic devices
JP2016177152A (ja) * 2015-03-20 2016-10-06 オリンパス株式会社 顕微鏡システム
EP3350051B1 (en) 2015-09-14 2022-08-03 Neology, Inc. Embedded on-board diagnostic (obd) device for a vehicle
US10269110B2 (en) 2016-06-28 2019-04-23 Ecoatm, Llc Methods and systems for detecting cracks in illuminated electronic device screens
WO2018179946A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 観察装置および観察制御方法並びに観察制御プログラム
WO2020167849A1 (en) 2019-02-12 2020-08-20 Ecoatm, Llc Connector carrier for electronic device kiosk
KR20210126068A (ko) 2019-02-12 2021-10-19 에코에이티엠, 엘엘씨 중고 전자 디바이스를 평가하고 구매하기 위한 키오스크
JP2021530793A (ja) 2019-02-18 2021-11-11 エコエーティーエム, エルエルシー 電子デバイスの物理的状態評価に基づくニューラルネットワーク、および関連付けられるシステムおよび方法
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
JP7063515B1 (ja) * 2020-11-09 2022-05-09 有限会社ウィン 人間工学的視野に基づく光学顕微鏡システム
EP4016161A1 (en) * 2020-12-17 2022-06-22 Leica Microsystems CMS GmbH Control device for a microscope

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2925647B2 (ja) * 1990-04-16 1999-07-28 オリンパス光学工業株式会社 顕微鏡変倍装置
DE4213312A1 (de) * 1992-04-23 1993-10-28 Moeller J D Optik Operationsmikroskop
EP0732640A3 (en) * 1992-04-30 1996-12-04 Becton Dickinson Co Method and device for controlling coordinate shifts of a platform
JPH0871085A (ja) * 1994-09-06 1996-03-19 Nikon Corp 手術用顕微鏡
US6091842A (en) * 1996-10-25 2000-07-18 Accumed International, Inc. Cytological specimen analysis system with slide mapping and generation of viewing path information
JPH0886965A (ja) 1995-10-06 1996-04-02 Nikon Corp 顕微鏡用電動ステージ制御装置
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
GB2383487B (en) * 2001-12-18 2006-09-27 Fairfield Imaging Ltd Method and apparatus for acquiring digital microscope images
JP2006126615A (ja) * 2004-10-29 2006-05-18 Nikon Corp 顕微鏡システム
JP4838004B2 (ja) * 2005-04-08 2011-12-14 オリンパス株式会社 顕微鏡、顕微鏡の制御方法、及びプログラム
JP2008139796A (ja) * 2006-12-05 2008-06-19 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡の操作方法、蛍光顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5096302B2 (ja) * 2008-12-12 2012-12-12 株式会社キーエンス 撮像装置
JP5290053B2 (ja) * 2009-05-21 2013-09-18 オリンパス株式会社 顕微鏡システム
JP5452180B2 (ja) * 2009-11-13 2014-03-26 オリンパス株式会社 顕微鏡装置

Also Published As

Publication number Publication date
US9151942B2 (en) 2015-10-06
US20120026582A1 (en) 2012-02-02
JP2012027387A (ja) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5467011B2 (ja) 顕微鏡システム
JP5415973B2 (ja) 撮像装置、内視鏡システム及び撮像装置の作動方法
JP5953187B2 (ja) 合焦制御装置、内視鏡システム及び合焦制御方法
JP5948076B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御方法
JP5973708B2 (ja) 撮像装置及び内視鏡装置
JP5218388B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US9380201B2 (en) Image capture apparatus and control method therefor
JP5857160B2 (ja) 内視鏡用の撮像システム、内視鏡用の撮像システムの作動方法
JP6300606B2 (ja) 顕微鏡システム
US9176296B2 (en) Lens system and camera system
JP2013024977A (ja) 撮影装置およびその制御方法
JP2007286613A (ja) 内視鏡装置
JP2013076823A (ja) 画像処理装置、内視鏡システム、画像処理方法及びプログラム
JP5537320B2 (ja) 顕微鏡システム
JP5290053B2 (ja) 顕微鏡システム
JP6762313B2 (ja) 撮像装置、内視鏡装置及び撮像装置の作動方法
JP2008113466A5 (ja)
JP7021870B2 (ja) 顕微鏡装置
JP4672934B2 (ja) 変倍機能を有する電子内視鏡装置
JP2000039564A (ja) 拡大観察装置
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法
JP2001275955A (ja) 電子内視鏡装置
US11336838B2 (en) Image processing apparatus and medical observation system
JP2010085699A (ja) オートフォーカスシステム
JP2010256724A (ja) 観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140127

R151 Written notification of patent or utility model registration

Ref document number: 5467011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

LAPS Cancellation because of no payment of annual fees
R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371