JP3990177B2 - Microscope equipment - Google Patents
Microscope equipment Download PDFInfo
- Publication number
- JP3990177B2 JP3990177B2 JP2002097497A JP2002097497A JP3990177B2 JP 3990177 B2 JP3990177 B2 JP 3990177B2 JP 2002097497 A JP2002097497 A JP 2002097497A JP 2002097497 A JP2002097497 A JP 2002097497A JP 3990177 B2 JP3990177 B2 JP 3990177B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- line sensor
- image
- imaging
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、病院や研究所等において、中性子等の放射線被爆量や細胞組織等を検査する顕微鏡装置に関し、特にラインセンサによって試料を撮像する顕微鏡装置に関する。
【0002】
【従来の技術】
近年、病院での放射線治療や原子力発電所等、放射線が発生する施設等が増加し、このような場所で従事する者の個人被爆量を測定する必要性が増している。ところで従来から、この個人被爆量の計測は、特開平11−174157号や特開2001−42038号等で開示されているように、試料を上着等に着けて、この試料に記録された放射線の入射量や入射方向を測定する手段が提案されている。この測定手段は、概ね次のとおりである。
【0003】
この試料は、有機系プラスチック等からなり、この試料を放射線が通過すると、高分子結合が損傷を受ける。そしてこの損傷部分を所定の溶液でエッチングすると、微小なエッチピットが生じる。このエッチピットは、放射線の入射量や入射方向によって形状が異なる。したがって、試料に生じたエッチピットの形状を、顕微鏡で検査、集計することにより、放射線の入射量や入射方向が測定できる。また、病院等の医療機関や大学の研究所等においては、顕微鏡による癌細胞等の細胞組織検査等が頻繁に行われている。
【0004】
ところでエッチピットの形状や細胞組織等の検査や判定等を、顕微鏡を見ながら目視で行なうことも可能ではあるが、多数の試料について目視で検査や判定等を行なうのは、多大な労力と負担とが必要となる。さらに、検査や判定等する人の個人差によって、検査や判定結果等にバラツキがでることもあり得る。このため、いわゆる2次元CCDカメラを顕微鏡に取り付けて、この荷電結合素子(CCD)センサで撮像した画像を、コンピュータ画面に表示して、放射線の入射量や入射方向、あるいは細胞組織の検査を行う手段が考えられる。また画像処理手段を用いて、顕微鏡で撮像した画像から、放射線の入射量や入射方向の判定や、あるいは癌細胞等の範囲や進行状況等の判定を、自動的に行うことも考えられる。
【0005】
【発明が解決しようとする課題】
しかし、従来のCCDカメラに使用されるCCDセンサは、例えば一辺が21マイクロメートルの荷電結合素子を縦横600個ずつ、すなわち約35万個を、平面的に配置した2次元的なものが使用されている。したがって、例えば30倍の倍率で撮像する場合には、21マイクロメートル × 600個 ÷ 30= 0.42ミリメートル四方の範囲しか、一度に撮像することができない。
【0006】
このため、被写体である試料を、端から順に0.42ミリメートル四方の撮像範囲を移動させつつ、撮像することを繰り返す必要がある。ところで、鮮明な撮像画面を得るためには、1画面ずつ移動す毎に試料を停止して撮像する必要があり、所定の領域内を撮像するためには、多くの時間が掛かる。さらに、鮮明な撮像画面を得るためには、各々の撮像毎にピントを正しく設定する必要がある。このため2次元CCDセンサを使用して、通常のCCDカメラのようにピントを自動設定することも考えられる。
【0007】
しかし、このようなピントの自動設定手段では、次の問題があった。すなわち2次元CCDセンサを使用した通常のCCDカメラのピントの調整は、撮像画像が一番シャープ、すなわちコントラストが強い焦点位置をピントの合った位置として設定するものである。このため、2次元CCDセンサでピント調整をしようとするとコントラストが最も強い位置を探すため合焦位置の前後も調べてコントラストの最大値を調べる必要があった。つまり、合焦位置の前後も調べる必要があるためピント合わせに時間がかかる不都合があった。そこで本発明の目的は、放射線入射量や細胞組織等の検査等において、試料の所定の領域内の撮像を、迅速かつ高精度に行なうことができる装置顕微鏡装置を提供することにある。
【0008】
【課題を解決するための手段】
上記課題を解決すべく、本発明による顕微鏡装置の第1の特徴は、試料をラインセンサで撮像する顕微鏡と、このラインセンサで撮像したライン画像から上記試料の画像を作成する画像処理手段とを備え、上記顕微鏡は、レーザスポットを試料上に投光してその反射光の形からピントのずれを判定する合焦手段を有し、この合焦手段は、上記試料上であって、上記ラインセンサで撮像する範囲の前方位置に投光位置を設けていることにある。
【0009】
ここで試料とは、放射線の入射量や入射方向を計測するための飛跡検出用固体、癌細胞等の検査のための細胞組織片を意味するが、これらに限らず、特定の範囲を顕微鏡で検査、計測するものを全て含む。またラインセンサとは、1個の荷電結合素子を、例えば数千個一列に直線状に配列したものからなるセンサを意味するが、かならずしも1個に限らず、2〜10個程度の複数の荷電結合素子を直線状に配列したものも含まれる。また、画像処理手段とは公知の技術であって、ラインセンサで撮像した個々のライン画像を重ね合わせて、試料の所定の範囲の画像を作成、あるいは比較照合等する手段を意味する。そして、投光手段を備えた合焦手段とは公知の技術であって、例えば円形のレーザースポットを試料上に投光し、その反射光形状の変形から、適正なピントからのずれを計測する手段を意味する。
【0010】
このように発明を構成することにより、試料の測定範囲をラインセンサで順次撮像する場合に、その撮像対象のピントを予め計測して調整することが可能となると共に、投光手段の投光がライン画像に入射することを、確実に防止できる。
【0011】
本発明による顕微鏡装置の第2の特徴は、上記第1の特徴に記載の投光手段は、上記ラインセンサで撮像する範囲の前方位置に投光する前方投光手段と、上記ラインセンサで撮像する範囲の後方位置に投光する後方投光手段とを備えていることにある。ここでラインセンサの前方位置とは、水平移動するラインセンサの撮像範囲の、進行方向側位置を意味し、ラインセンサの後方位置とは、水平移動するラインセンサの撮像範囲の、進行方向と逆側位置を意味する。
【0012】
このように発明を構成することにより、試料を移動させつつ順次ラインセンサで撮像する場合に、移動方向を、例えば左から右の次に右から左のように変えて双方向走査するようにしても、ラインセンサの撮像対象のピントを、予め調整することが可能となると共に、投光手段の投光がライン画像に入射することを、確実に防止できる。また本発明による顕微鏡装置の第3の特徴は、前記試料の支持台の傾きと上下位置との調整を行なう調整手段を備えることにある。
【0013】
【発明の実施の形態】
図1〜図3を参照しつつ、本発明による顕微鏡装置を放射線の飛跡検出装置に使用した実施例で説明する。放射線の飛跡検出装置は、試料である飛跡検出用固体1を移動させる移動手段2と、この飛跡検出用固体1を拡大する顕微鏡3と、この拡大した飛跡検出用固体を、ライン画像として撮像するラインセンサ4と、このライン画像から飛跡検出用固体1の画像を作成すると共に、この画像から放射線の入射量および入射方向を判定する判定手段5とを備えている。また、移動手段2の上部には、飛跡検出用固体1を支持すると共に、その傾きとピントとを調整する、支持台であるチルティングテーブル6が設置してある。そして、移動手段2と顕微鏡3とは、L字型の架台7によって、それぞれ支持されている。
【0014】
移動手段2は、L字型の架台7の水平部の上に設置してあり、飛跡検出用固体1を載せたチルティングテーブル6を、リニアモータによって左右及び前後方向に水平移動させる。このリニアモータは公知の技術であって、帯状に配列した永久磁石の上を、電機子が移動するものであり、高速駆動、高応答性、そして高精度位置決めが可能である。そして、このリニアモータは、後述するようにコンピュータによってリモートコントロールされ、所定の位置に飛跡検出用固体1を移動させる。また、リニアモータ近傍にはエンコーダも設けられており、リニアモータによるチルティングテーブル6の移動量を演算処理部51にフィードバックしている。
【0015】
次に顕微鏡3は、光学顕微鏡で構成されており、対物レンズ31、飛跡検出用固体を照射するランプ部32、オートフォーカス用のAFユニット33、鏡筒34、及び目視観察用の接眼レンズ35から構成される。以下これらについて順に説明する。
【0016】
対物レンズ31は、10倍及び20倍のものが使用してあり、レボルバ36によって、相互に手動切り替え可能になっている。ランプ部32は、鮮明な撮像を得るために、ランプ部32の内部に設けられている図示しないハロゲンランプからの光を、ハーフミラーにより、顕微鏡3の光軸に沿うように直角に曲げて飛跡検出用固体1に照射し、この飛跡検出用固体1からの反射光を増強する。また飛跡検出用固体1の裏面からも照射できるように架台7に外部に設けられた図示しないハロゲンランプからの光を導入する光ファイバ8が設けられている。オーフォーカス用のAFユニット33は、レーザ投光手段を備えた合焦手段331と2次元CCDセンサ332とを備えている。
【0017】
レーザ投光手段は、図3に示すように、レーザ光の投光部331bと受光部331aとからなる前方投光手段と、レーザ光の投光部331dと受光部331cとからなる後方投光手段とを備え、それぞれプリント基板333に配置してある。プリント基板333は、AFユニット33の内壁面に取り付けてある。投光部331b、331dで発光したレーザ光は、レンズシステムとハーフミラーとにより、顕微鏡3の光軸に沿うように直角に曲げて飛跡検出用固体1に投光され、その反射光は経路を逆に経由して、それぞれ受光部331a,331cで検出される。
【0018】
この飛跡検出用固体1への投光位置は、図4R>4に示すように、顕微鏡3の視野A内にある飛跡検出用固体1の上面であって、ラインセンサ4で撮像する範囲Bの両側の近傍位置C1、C2に設定してある。ここで、近傍位置C1は前方投光手段の投光部331bからのレーザ光の投光位置であり、近傍位置C2は後方投光手段の投光部331dからのレーザ光の投光位置を示している。したがって、ラインセンサ4で撮像するライン画面に、飛跡検出用固体1からのレーザ反射光が入ることを確実に防止でき、かつ撮像範囲Bまでのピントを、その近傍で計測することによって、できるだけ正確に計測することが可能になる。なお後述するように、この2組のレーザ投光手段を備えた合焦手段331によって、飛跡検出用固体1の傾きとピントとの調整を迅速に行なうことができる。また、2組のレーザ投光手段を備えたのは、後述するように、飛跡検出用固体1をX方向に移動させつつ、ラインセンサ4でライン画像を順次撮像するときに、その左方向と右方向との移動で、レーザ光を投光する近傍位置C1等が、ライン画像の撮像する範囲Bより前側に位置するように、使い分けるためである。これにより、ラインセンサを左右交互に双方向走査してもラインセンサで撮像する範囲の前方側でピントを調整でき、ピント調整が正確に行われる。
【0019】
2次元CCDセンサ332は、一般的なCCDカメラに使用されている、一辺が21マイクロメートルの電荷結合素子を、縦横600 × 600 = 約35万個、平面的に配置したものであり、図3に示したプリント基板333に取り付けてある。2次元CCDセンサ332は、図5に示すように、飛跡検出用固体1の表面であって、ライン画像の撮像範囲Cを挟んだ矩形範囲が2次元CCDセンサ332の撮像範囲Eで、ハーフミラーを介して撮像する。なお、図3のDの領域が、2次元CCDセンサ332の撮像面Dである。そして、後述するように、2次元CCDセンサ332の撮像によって、飛跡検出用固体1の撮像領域11を指定することができる。
【0020】
鏡筒34は、目視観察用の接眼レンズ35と、ラインセンサ4とを支持しており、更にこの鏡筒の側部は、ラックアンドピニオン機構71を介して、L字型架台7の直立部分に取り付けてある。したがって、飛跡検出用固体1をチルティングテーブル6に載置する場合等に、ラックアンドピニオン機構71によって、顕微鏡3自体を手動で上下移動させることができる。なお、目視観察用の接眼レンズ35は、対物レンズ31からの光軸をプリズムで傾けて、目視観察が容易になるようにしている。
【0021】
さてラインセンサ4はケースに収納されており、このケースは、鏡筒34の先端に着脱可能に装着してある。なおこの装着部の形状は、レンズ取り付け部分についての、一眼レフカメラの標準取り付け形状である、Fマウントを採用している。ラインセンサ4は、1辺が7マイクロメートルの荷電結合素子を1個ずつ、直線状に約4000個配列して構成してある。したがって、撮像倍率が10倍の場合は、幅が、7マイクロメートル ÷ 10 = 0.7マイクロメートル、長さが、7マイクロメートル × 4000個 ÷ 10 = 2.8ミリメートルの範囲を、一度に撮像することができる。そして、後述するように、ラインセンサ4は、移動手段2によって水平移動する飛跡検出用固体1を、この範囲毎に順次撮像し、各々のライン画像データを連結コード(図示せず。)を介して、次に説明する判定手段5に伝達する。
【0022】
判定手段5は、市販用のコンピュータ、いわゆるパソコンを使用するものであって、演算処理部51、表示部52、ライン画像データを記録するメモリ部53とから構成される。この演算処理部51は、後述するように、飛跡検出用固体1の撮像領域の設定、移動手段2の移動、チルティングテーブル6の傾きとピントとの調整、移動手段2のエンコーダからフィードバックされた移動量を基にしたラインセンサ4の撮像実行指示、このラインセンサ4で撮像したライン画像データの取り込みと、このライン画像データから撮像領域の全体画像の作成、そしてこの全体画像から放射線の入射量と入射方向との判定を行なう。
【0023】
さて次に、チルティングテーブル6について説明する。チルティングテーブル6は、正三角形を構成するように配置した3個の超音波モータ61と、この超音波モータの垂直の出力軸61aの先端で3点支持される平板形状のテーブル部62と、超音波モータ61の相互の位置を固定する固定部材63とから構成される。本実施の形態では、この3個の超音波モータ61が支持台であるチルティングテーブル6の傾きや上下位置の調整を行う調整手段となっている。なお、垂直の出力軸61aの先端は、テーブル部62の裏面上に形成した窪みに当接しており、相互の水平方向位置がずれないようにしている。
【0024】
超音波モータ61は公知の技術であって、電圧を加えると変形する圧電セラミックス上に弾性部材を当設し、この圧電セラミックスに超音波領域の電圧をかけて弾性部材に屈曲振動を発生させ、これにより出力軸を回転させるものであり、高い応答性と制御性とを有し、作動音が小さい等の特性を有している。本発明に使用する超音波モータ61は、出力軸がネジ構造になっており、出力軸が回転して上下に可動する。なお後述するように、チルティングテーブル6は、上述した合焦手段331からの信号に基づくコンピュータ制御によって、飛跡検出用固体1の傾きと、ピントとを調整する。チルティングテーブル6の傾き調整を行う超音波モータ61を利用してピント調整も超音波モータ61により行うため、ピント調整用駆動手段を別に設ける必要がなくなる。
【0025】
さて次に図6〜図10を参照しつつ、本発明による放射線の飛跡検出装置の使用について説明する。図6に示すように、まず放射線の測定対象である飛跡検出用固体1を、チルティングテーブル6のテーブル部62の上面にセットし(A)、移動しないようにバキューム手段等によって、この飛跡検出用固体をこのテーブル部に吸着等固定する(B)。次に飛跡検出用固体1の測定領域11をパソコンからの入力により設定する(C)。
【0026】
測定領域11は図7に示すように、飛跡検出用固体1の表面上であって、実際にエッチピットを撮像する矩形形状をした範囲である。測定領域11を指定する理由は、飛跡検出用固体1の大きさが異なった場合に、この飛跡検出用固体の周辺からはみ出さない範囲で撮像する必要があること、また、ラインセンサ4で順次撮像するライン画像の撮像の、始点11aと終点11bとを設定するためである。測定領域11は、目視観察用の接眼レンズ35を見ながら設定することもできるが、パソコンの表示部52に、飛跡検出用固体1の画像を表示して設定する方が、はるかに作業性を向上することができる。
【0027】
ところで本発明においては、後述するようにラインセンサ4からの撮像が判定手段5に送られるため、この撮像を表示部52に表示して、この撮像画面を見ながら、測定領域11を設定することも考えられる。しかるに、ラインセンサ4で撮像した各々のライン画像は、上述したように幅が0.7マイクロメートルの極狭い範囲であるため、飛跡検出用固体1の周辺部を確認することは困難である。したがって、ライン画像を見ながら、飛跡検出用固体1の周辺からはみ出さないように、測定領域11を設定することは事実上不可能である。そこで本発明においては、ある程度2次元的な広がりを撮像できる、2次元CCDセンサ332によって、測定領域11を設定することにした。
【0028】
測定領域11の設定は、2次元CCDセンサ332の撮像領域E(図5参照)の領域が映し出された撮像画面を見ながら、移動手段2をパソコンの入力手段53からの指示でXY方向に移動調整して行う。すなわち2次元CCDセンサ332により、図7に示す矩形形状をした飛跡検出用固体1の対角線上にある一端の角部近傍の位置11a周辺を映し出し、ラインセンサ4による撮像開始始点を設定し、次に対角線上にある他端の角部近傍の位置11b周辺を映し出し撮像終了終点を設定し、その位置をパソコンで認定させる。これにより、位置11a、11bのXY座標が、移動手段2のリニアモータの移動始点と終点位置に対応する情報として、パソコンの演算処理部51に記録される。したがって後述するように、ラインセンサ4によって撮像する場合には、演算処理部51からの指示によって、移動手段2のリニアモータを、最初の撮像位置である内側位置11aから、最後の撮像位置である水平方向位置11bまで順次移動させる。
【0029】
測定領域11の設定(C)が終わると、次は飛跡検出用固体1のピントと、傾きとの調整を行なう(D)。この調整は図8に示す手順によって、AFユニット33に装備してあるレーザ投光手段を備える合焦手段331からの情報に基づき、パソコンの演算処理部51からの指示によって自動的に行なわれる。ここで、飛跡検出用固体1の傾きと、ピントの調整を、投光手段を備える合焦手段331で行なう理由を説明する。すなわち、上述したように、本発明はラインセンサ4およびAFユニット33に装着した2次元CCDセンサ332を有している。したがって、これらのセンサによって、通常のCCDカメラのようにピントを自動設定することも考えられる。
【0030】
しかしこの手段では、次の問題があった。2次元CCDセンサ332を使用した通常のCCDカメラのピントの自動設定は、撮像画像が一番シャープ、すなわちコントラストが強い焦点位置をピントのあった位置として設定するものである。このため、2次元CCDセンサ332でピント調整をしようとするとコントラストが最も強い位置を探すため合焦位置の前後も調べてコントラストの最大値を調べる必要があった。しかるに、ラインセンサ4は、きわめて狭い幅の範囲を撮像するため、画像のコントラストを検知することが困難であり、また、合焦位置の前後も調べる必要があるためピント合わせに時間がかかる不都合もある。そこで、本発明においては、極めて高精度かつ高速にピントを計測できる、レーザ投光による合焦手段331を採用している。
【0031】
さて図8に戻って、飛跡検出用固体1の傾きの調整手順を説明する。この調整は、パソコンの演算処理部51に内蔵してあるプログラムによって制御される。演算処理部51は先ず最初に、飛跡検出用固体1の測定領域11の中央部を、計測点i=1として設定(G)し、このXY座標位置に顕微鏡3の光軸が一致するように、移動手段2を移動させる(H)。そしてこの位置で発光部331b、331dからレーザスポットを投光して、飛跡検出用固体1までの距離が適正なピントとずれているか否かを判定する(I)。
【0032】
適正なピントとのずれは、受光手段331a、331cに入射した反射光の形から判定する。すなわち反射光の形は、適正なピントに合っている場合には、図9Bのように円形となり、適正なピントより近い場合には、図9Aのように左斜めに、そして適正なピントより遠い場合には、図9Cのように右斜めに変形する。したがって、受光部331a、331cに入射した反射光の形状を、演算処理部51が認識し、ピントがずれている場合には、その距離が適正なピントより長い(遠い)か、短い(近い)かを判定し(J)、近い場合には、チルティングテーブル6の3個の超音波モータ61の出力軸61aを、ずれの分だけ同量引き下げて、適正なピントに合わせる(K)。逆に、遠い場合には、チルティングテーブル6の3個の超音波モータ61の出力軸61aを、ずれの分だけ同量引き上げて、適正なピントに合わせる(L)。以上により、計測点i=1は、適正なピント位置に設定される(M)。
【0033】
次に、2箇所の計測点(i=2、3)のピントのずれを同様に計測することによって行なう。すなわち、演算処理部51は、計測点i=1から所定の距離を隔てた第2の計測点i=2を設定(N)し、このXY座標位置に顕微鏡3の光軸が一致するように、移動手段2を移動させる(H)。そしてこの位置でレーザスポットを投光して、上述したのと同様な手段によって、この計測距離と適正なピントとのずれ量を算出して記録する(M)。そして、演算処理部51は、計測点i=1から所定の距離を隔てた第3の計測点i=3を設定し、このXY座標位置に、移動手段2を移動させ(H)、上述と同様にして、この計測距離と適正なピントとのずれ量を算出して記録する(M)。なお、計測点i=3の計測後は、判別式i>3によってピントの計測は終了する(O)。
【0034】
以上により、3点の計測点i=1、2、3の、それぞれのXY座標位置における、適正なピントからのずれ量が判明するため、この3次元的な座標位置から、飛跡検出用固体1のXY方向の傾きが、幾何学的に計算され、このずれ量を修正するために必要な、3個の超音波モータ61の出力軸61aの、それぞれの上下調整量が算出できる。そして演算処理部51は、この計算結果に基づき、3個の超音波モータ61の出力軸61aの繰り出し量を調整し、傾き量を調整する(P)。
【0035】
以上のように、移動手段2によりチルティングテーブル6を移動させたとき、飛跡検出用固体1の撮像部の表面は水平となる。次に図10を参照しつつ、ラインセンサ4で、飛跡検出用固体1を撮像する手順を説明する。この撮像は、パソコンの演算処理部51に内蔵してあるプログラムによって制御される。演算処理部51は先ず最初に、エンコーダーによって計測位置j=0、k=0を設定し(A1)、この計測位置j=0を、座標X=0、Y=0(0、dy × j)として認識する。そしてこのXY座標(0、0)位置に、移動手段2によって飛跡検出用固体1を移動させる(A2)。このXY座標(0、0)位置は、図7に示す測定領域11の左下隅11aであり、この点が撮像を開始する始点となる。
【0036】
さて、測定領域11の左下隅11a位置に、撮像位置の始点が設定されると、演算処理部51は、合焦手段331でピント調整(焦点距離の調整)を行いピントがずれていたら3個の超音波モータ61を同量駆動させてピント調整を行う(A3)。つまり、図11R>1に示すように、ピント調整を始める(B1)。演算処理部51は合焦手段331で得られる情報からピントが許容量以上ずれているか判定し(B2)、許容量以上ピントがずれていたら、そのずれが近い場合(B3)チルティングテーブル6の3個の超音波モータ61の出力軸61aをずれの分だけ同量引き下げて(B4)適正なピントに合わせる。逆に遠い場合、3個の超音波モータ61の出力軸61aをずれの分だけ同量引き上げる(B5)。そして、X軸の移動量dx=0を設定し(A4)、計測位置(0、0)におけるラインセンサ4で撮像したライン画像を記録すると共に、X方向に一定の速度で、移動手段2の移動を開始させる(A5)。移動手段2の移動量はエンコーダにより計測されて演算処理部51にデータが送られる。そして移動手段2が、測定領域11を、X方向にラインセンサ4の1計測幅分だけ移動したと演算処理部51により判断された時(A6)に、同様に2番目の計測位置(1dX、0)におけるラインセンサ4からのライン画像を記録する(A7)。そして演算処理部51は1ライン記録する毎にkに1を加えていく(A8)。そして演算処理部51は、移動手段2が一定の速度でX方向に移動し、計測位置が図7に示す測定領域11の右下隅にくるまで、X方向長さLの1列の範囲について、順次ライン画像を記録する。
【0037】
そしてライン画像がkライン分すなわちX方向長さLの25%(図7の領域kに相当)まで記録されたら(A9)、ライン画像の記録と並行して演算処理部51は領域k分のエッチピット特徴量抽出を行う(A10)。エッチピット特徴量抽出後、kはk=0に設定される(A11)。エッチピット特徴量抽出は、演算処理部51が領域k内の画像内にあるエッチピットの形状を認識し、予め記録してあるエッチピットパターンと照合比較して、エッチピットの種類を判別し、種類別の数量を集計して記録することにより行われる。つまり、演算処理部51は、X方向長さLのライン画像の記録を行いながら、長さLの25%(kライン分)のデータが入力されると、その都度、ライン画像記録作業と並行して当該入力データに基づいてエッチピット特徴量抽出を行う。したがって、長さLの1列の範囲の走査が終了したときには4回エッチピット特徴量抽出を行う。
【0038】
測定領域11の最下段、すなわちY座標=0の撮像したデータの取り込みが完了する(A12)と、演算処理部51は、ピント調整作業を終了し(A13)、エンコーダにj=1を設定し(A14)、XY座標X=L、Y=dY(L、dY× j)位置に、移動手段2によって測定位置を移動させる。この位置は、図7に示す測定領域11の左下隅11aから、X方向にLだけ右であって、ラインセンサ4の長さ分だけY方向に移動した位置である。そして、Y座標=dYの位置において、測定領域11の右端から左端まで、順次ライン画像を取り込む。このようにして、順次ライン画像の走査方向を右から左へまたは左から右へと変更しつつ、ラインセンサ4が新たな撮像範囲に移動した瞬間に、演算処理部51は、順次ライン画像を計測座標と共に記録する。そして、j>nまで達したら(A15)演算処理部51は測定領域11の全領域を撮像したと判断して、抽出結果の統合と全領域の表示とを表示部52へ表示させる(A16)。
【0039】
なお、上述した連続撮像においては、その都度上述した手順によりピントからのずれがチェック(いわゆるピント調整)され、許容量以上にずれている場合には、ピントの調整を行なう。ところで、上述したようにラインセンサは、撮像範囲が左右に1個移動した時にライン画像を順次撮像する。したがって、この撮像するライン画像のピントの調整は、ライン画像を撮像する前、すなわち撮像範囲が移動を終了する前に、あらかじめ完了しておく必要がある。このためには、図4に示すレーザスポットは、移動するライン画像の撮像範囲Bより、常に先行した位置に投光すことが必要になる。例えばライン画像の撮像範囲Bが、右方向に移動する場合には、この撮像範囲Bより右側の近傍位置C1にレーザスポットを投光する必要がある。そして、ライン画像の撮像範囲Bが、左方向に移動する場合には、この撮像範囲Bより左側の近傍位置C2にレーザスポットを投光する必要がある。
【0040】
ところで上述したように、ラインセンサ4によるライン画像は、X方向に一列撮像が完了すると、このラインセンサの長さ分だけ、Y方向に飛跡検出用固体1を移動手段2で移動させ、再度X方向に一列撮像することを繰り返して行う。この場合、X方向の移動を左から右というように常に同じ方向にすると、一列毎に飛跡検出用固体1を、左端に戻す作業が必要になる。したがって、一列毎にX方向の移動方向を変えて、左から右への移動の次には右から左への移動というようにジグザグに移動する方が迅速な撮像が可能になる。
【0041】
このようにジグザグに移動する場合には、上述したように、その進行方向の変化に応じて、レーザスポットを投光する位置を、変更する必要がある。しかるに、このレーザスポットを投光する位置の変更を、1組の投光部と受光部で行うことは、極めて複雑な切り替え構造が必要になる。このため、本発明では、2組の投光部331b、331dと、受光部331a、331cとを採用し、進行方向の変化に対して、それぞれを使い分ける構成を採用している。
【0042】
なお、ラインセンサ4の構成は、CCDを1個づつ約4000個配列する場合に限らず、数個づつを更に長く配列してもよい。また、ラインセンサ4の各々の画素のサイズは、小さい方が解像度の良い画像を撮像できるが、大きいサイズの画素を使用する場合には、撮像の拡大率を大きくすれば、解像度の良い画像を撮像することができる。エッチピットの種類の判別と、種類別の数量の集計等は、処理時間の短縮を考慮すると、上述したように測定領域11の所定の範囲、例えば長さLの1列の範囲の25%の部分毎に行なって、最後に集計する手順が望ましいが、1列の範囲の画像が得られた後や測定領域11の全範囲についてライン画像が得られた後に、一括して行なうこともできる。
【0043】
また、2次元CCDセンサ332からの撮像画像や、レーザスポットの反射画像を表示部53に表示させ、この表示画面を見ながら、入力手段52からのマニュアル入力によって、移動手段2やチルティングテーブル6を調整するように構成することも容易にできる。なお、2次元CCDセンサ332はこれに限るものではなくCMOSセンサ等の固体撮像素子でもよい。
【0044】
【発明の効果】
ラインセンサで撮像する範囲の近傍に投光手段の投光位置が設けられているため、ラインセンサで撮像するときにはピント調整が正確に行われる。また、前方投光手段と後方投光手段との2つの投光手段を設けたときにはラインセンサを左右交互に双方向走査してもラインセンサで撮像する範囲の前方側でピントを調整でき、ピント調整が正確に行われる。
【図面の簡単な説明】
【図1】顕微鏡装置の一部側面図である。
【図2】顕微鏡装置の正面図である。
【図3】合焦手段と2次元CCDセンサの概略構成図である。
【図4】ラインセンサの撮像範囲とレーザスポット位置とを示す顕微鏡の視野図である。
【図5】ラインセンサと2次元CCDセンサとの撮像範囲示す顕微鏡の視野図である。
【図6】顕微鏡装置の使用手順を示すフローチャートである。
【図7】計測領域内におけるライン画像の撮像範囲と順序とを示す説明図である。
【図8】試料のピントと傾きとの調整手順を示すフローチャートである。
【図9】レーザスポットの反射形状を示すイメージ図である。
【図10】ライン画像の撮像手順を示すフローチャートである。
【図11】ピントのずれ量調整の手順を示すフローチャートである。
【符号の説明】
1 試料(飛跡検出用固体)
11 測定領域
2 移動手段
3 顕微鏡
31 接眼レンズ
32 ランプ
33 AFユニット
331 投光手段を備える合焦手段
331a,331b 前方投光手段
331c,331d 後方投光手段
332 2次元CCDセンサ
34 鏡筒
35 目視観察用接眼レンズ
4 ラインセンサ
5 画像処理手段
51 演算処理部
52 表示部
53 入力手段
6 チルティングテーブル
61 超音波モータ
61a 出力軸
7 架台[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a microscope apparatus for inspecting a radiation exposure amount such as neutrons or a cellular tissue in a hospital, a laboratory, or the like, and more particularly to a microscope apparatus for imaging a sample by a line sensor.
[0002]
[Prior art]
In recent years, the number of facilities that generate radiation, such as radiation therapy in hospitals and nuclear power plants, has increased, and the need to measure the personal exposure of persons engaged in such places has increased. By the way, conventionally, the measurement of the personal exposure amount is performed by wearing a sample on a jacket or the like as disclosed in JP-A-11-174157 and JP-A-2001-42038. Means for measuring the amount of incident light and the direction of incidence have been proposed. This measuring means is generally as follows.
[0003]
This sample is made of an organic plastic or the like. When radiation passes through this sample, the polymer bond is damaged. When this damaged portion is etched with a predetermined solution, minute etch pits are generated. The shape of this etch pit differs depending on the amount of incident radiation and the incident direction. Therefore, the amount of incident radiation and the direction of incidence can be measured by examining and counting the shape of etch pits generated in the sample with a microscope. In medical institutions such as hospitals and research laboratories in universities, cell tissue examinations such as cancer cells using a microscope are frequently performed.
[0004]
By the way, it is possible to visually inspect and determine the shape and cellular structure of etch pits while looking through a microscope. However, it is a great labor and burden to visually inspect and determine many samples. Is required. Furthermore, there may be variations in the inspection and determination results due to individual differences among persons performing the inspection and determination. For this reason, a so-called two-dimensional CCD camera is attached to a microscope, and an image picked up by this charge coupled device (CCD) sensor is displayed on a computer screen to inspect the amount and direction of radiation, or cell tissue. Means are conceivable. It is also conceivable that the image processing means is used to automatically determine the amount of incident radiation and the direction of incidence from the image captured by a microscope, or to determine the range and progress of cancer cells.
[0005]
[Problems to be solved by the invention]
However, as a CCD sensor used in a conventional CCD camera, for example, a two-dimensional sensor is used in which 600 charge coupled devices each having a side of 21 micrometers are arranged vertically and approximately 350,000 in a plane. ing. Therefore, for example, when imaging at a magnification of 30 times, only a range of 21 micrometers × 600 ÷ 30 = 0.42 mm square can be captured at a time.
[0006]
For this reason, it is necessary to repeat imaging of a sample as a subject while moving the imaging range of 0.42 mm square in order from the end. By the way, in order to obtain a clear imaging screen, it is necessary to stop and sample the sample every time the screen is moved, and it takes a lot of time to image a predetermined area. Furthermore, in order to obtain a clear imaging screen, it is necessary to correctly set the focus for each imaging. For this reason, it is conceivable to use a two-dimensional CCD sensor to automatically set the focus like a normal CCD camera.
[0007]
However, such an automatic focus setting means has the following problems. That is, in the adjustment of the focus of a normal CCD camera using a two-dimensional CCD sensor, the focal position where the captured image is the sharpest, that is, the contrast is strong, is set as the focused position. For this reason, in order to adjust the focus with a two-dimensional CCD sensor, it is necessary to check the maximum value of the contrast by checking before and after the in-focus position in order to find the position having the strongest contrast. In other words, since it is necessary to check before and after the in-focus position, there is a disadvantage that it takes time to focus. SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus microscope apparatus that can rapidly and accurately image a predetermined region of a sample in examination of radiation incident amount, cellular tissue, and the like.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, a first feature of the microscope apparatus according to the present invention is a microscope that images a sample with a line sensor, and an image processing unit that creates an image of the sample from the line image captured with the line sensor. The microscope has a focusing means for projecting a laser spot on the sample and determining a focus shift from the shape of the reflected light . The focusing means is on the sample and has the line The light projection position is provided in the front position of the range imaged by the sensor.
[0009]
Here, the sample means a solid for track detection for measuring the incident amount and direction of radiation, and a cell tissue piece for examination of cancer cells, etc. Includes everything to be inspected and measured. The line sensor means a sensor composed of one charge-coupled element arranged in a straight line, for example, thousands of lines. However, the line sensor is not necessarily limited to one, and a plurality of charged elements of about 2 to 10 are used. Also included is a linear arrangement of coupling elements. The image processing means is a known technique, and means means for superimposing individual line images picked up by the line sensor to create an image of a predetermined range of the sample, or for comparison and collation. The focusing means provided with the light projecting means is a known technique, for example, projecting a circular laser spot on the sample, and measuring the deviation from the proper focus from the deformation of the reflected light shape. Mean means.
[0010]
By configuring the invention in this way, when the measurement range of the sample is sequentially imaged by the line sensor, it is possible to measure and adjust the focus of the imaging target in advance, and the light projecting means can project light. It can be reliably prevented from entering the line image.
[0011]
A second feature of the microscope apparatus according to the present invention is that the light projecting means described in the first feature is a front light projecting device that projects light to a front position within a range imaged by the line sensor , and an image that is captured by the line sensor . And a rear light projecting means for projecting light to a rear position within the range to be performed. Here, the front position of the line sensor means the position in the traveling direction of the imaging range of the line sensor that moves horizontally, and the rear position of the line sensor means the opposite of the traveling direction of the imaging range of the line sensor that moves horizontally. Mean side position.
[0012]
By configuring the invention in this way, when the sample is moved and sequentially imaged by the line sensor, the scanning direction is changed from left to right and then right to left, for example, and bidirectional scanning is performed. In addition, the focus of the imaging target of the line sensor can be adjusted in advance, and the projection of the projection unit can be reliably prevented from entering the line image. A third feature of the microscope apparatus according to the present invention is that it comprises an adjusting means for adjusting the tilt and the vertical position of the sample support.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
With reference to FIGS. 1 to 3, an embodiment in which the microscope apparatus according to the present invention is used in a radiation track detection apparatus will be described. The radiation track detection apparatus picks up a moving means 2 that moves a track detection solid 1 as a sample, a
[0014]
The moving means 2 is installed on the horizontal part of the L-shaped
[0015]
Next, the
[0016]
[0017]
As shown in FIG. 3, the laser light projecting means includes a front light projecting means including a laser
[0018]
As shown in FIG. 4R> 4, the projection position on the track detection solid 1 is the upper surface of the track detection solid 1 in the field of view A of the
[0019]
The two-
[0020]
The
[0021]
The line sensor 4 is housed in a case, and this case is detachably attached to the tip of the
[0022]
The determination means 5 uses a commercially available computer, a so-called personal computer, and comprises an
[0023]
Next, the tilting table 6 will be described. The tilting table 6 includes three
[0024]
The
[0025]
Next, the use of the radiation track detection apparatus according to the present invention will be described with reference to FIGS. As shown in FIG. 6, first, the track detection solid 1 that is the object of radiation measurement is set on the upper surface of the
[0026]
As shown in FIG. 7, the
[0027]
By the way, in the present invention, as will be described later, since the imaging from the line sensor 4 is sent to the determination means 5, this imaging is displayed on the
[0028]
The
[0029]
When the setting (C) of the
[0030]
However, this method has the following problems. The automatic setting of the focus of a normal CCD camera using the two-
[0031]
Now, returning to FIG. 8, the adjustment procedure of the inclination of the track detection solid 1 will be described. This adjustment is controlled by a program built in the
[0032]
The deviation from the proper focus is determined from the shape of the reflected light incident on the light receiving means 331a and 331c. In other words, the shape of the reflected light is a circle as shown in FIG. 9B when the correct focus is achieved, and when it is closer than the proper focus , it is tilted to the left as shown in FIG. 9A and far from the proper focus. In this case, it is deformed diagonally to the right as shown in FIG. 9C. Therefore, when the
[0033]
Next, the measurement is performed by measuring the shift in focus at two measurement points (i = 2, 3) in the same manner. That is, the
[0034]
As described above, since the amount of deviation from the appropriate focus at each of the XY coordinate positions of the three measurement points i = 1, 2, and 3 is found, the track detection solid 1 is determined from the three-dimensional coordinate positions. The X and Y direction inclinations are calculated geometrically, and the respective vertical adjustment amounts of the
[0035]
As described above, when the tilting table 6 is moved by the moving means 2, the surface of the imaging unit of the track detection solid 1 is horizontal. Next, with reference to FIG. 10, a procedure for imaging the track detection solid 1 with the line sensor 4 will be described. This imaging is controlled by a program built in the
[0036]
Now, when the start point of the imaging position is set at the position of the lower
[0037]
When the line image has been recorded up to k lines, that is, 25% of the length L in the X direction (corresponding to the region k in FIG. 7) (A9), the
[0038]
When capturing of the imaged data at the bottom of the
[0039]
In the continuous imaging as described above, each time the deviation from the focus according to the procedure described above are checked (the so-called focus adjustment), when the image is shifted over the allowable amount, to adjust the focus. By the way, as described above, the line sensor sequentially captures line images when the imaging range is moved one by one to the left and right. Therefore, the focus adjustment of the line image to be captured needs to be completed in advance before the line image is captured, that is, before the imaging range ends moving. For this purpose, it is necessary to always project the laser spot shown in FIG. 4 at a position preceding the imaging range B of the moving line image. For example, when the imaging range B of the line image moves in the right direction, it is necessary to project a laser spot at a neighboring position C1 on the right side of the imaging range B. When the imaging range B of the line image moves in the left direction, it is necessary to project a laser spot at a position C2 on the left side of the imaging range B.
[0040]
By the way, as described above, when the line image by the line sensor 4 is imaged in a single line in the X direction, the track detection solid 1 is moved by the moving means 2 in the Y direction by the length of the line sensor, and again the X Repeat one-row imaging in the direction. In this case, if the movement in the X direction is always the same direction from left to right, it is necessary to return the track detection solid 1 to the left end for each row. Therefore, it is possible to perform rapid imaging by changing the movement direction in the X direction for each column and moving in a zigzag manner such as moving from left to right and then moving from right to left.
[0041]
When moving zigzag in this way, as described above, it is necessary to change the position at which the laser spot is projected in accordance with the change in the traveling direction. However, changing the position for projecting the laser spot with a pair of light projecting unit and light receiving unit requires a very complicated switching structure. For this reason, in this invention, two sets of
[0042]
The configuration of the line sensor 4 is not limited to the case where about 4000 CCDs are arranged one by one, and several units may be arranged longer. In addition, when the size of each pixel of the line sensor 4 is smaller, it is possible to capture an image with better resolution. However, when a larger size pixel is used, an image with better resolution can be obtained by increasing the magnification rate of imaging. An image can be taken. In consideration of shortening the processing time, the type of etch pits and the number of types are counted in a predetermined range of the
[0043]
Further, the picked-up image from the two-
[0044]
【The invention's effect】
Since the light projecting position of the light projecting means is provided in the vicinity of the range imaged by the line sensor, the focus adjustment is accurately performed when the image is captured by the line sensor. Further, to adjust the focus in the range front side of the imaging by the line sensor be bidirectional scanning the line sensor alternately left and right when provided with two light-projecting means and the forward projecting means and the backward light projecting means, Pinto Adjustments are made accurately.
[Brief description of the drawings]
FIG. 1 is a partial side view of a microscope apparatus.
FIG. 2 is a front view of the microscope apparatus.
FIG. 3 is a schematic configuration diagram of focusing means and a two-dimensional CCD sensor.
FIG. 4 is a field of view of a microscope showing an imaging range of a line sensor and a laser spot position.
FIG. 5 is a field of view of a microscope showing an imaging range of a line sensor and a two-dimensional CCD sensor.
FIG. 6 is a flowchart showing a procedure for using the microscope apparatus.
FIG. 7 is an explanatory diagram showing the imaging range and order of line images in a measurement area.
FIG. 8 is a flowchart showing a procedure for adjusting the focus and tilt of a sample.
FIG. 9 is an image diagram showing a reflection shape of a laser spot.
FIG. 10 is a flowchart showing a line image capturing procedure;
FIG. 11 is a flowchart illustrating a procedure for adjusting a focus shift amount;
[Explanation of symbols]
1 sample (solid for track detection)
DESCRIPTION OF
Claims (3)
ことを特徴とする顕微鏡装置。A microscope that images the sample with a line sensor; and image processing means that creates an image of the sample from the line image captured by the line sensor. The microscope projects a laser spot on the sample and reflects the reflected light. Focusing means for determining a focus deviation from the shape of the lens, wherein the focusing means is provided with a light projecting position on the sample and at a position in front of the range imaged by the line sensor. Microscope device to do.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002097497A JP3990177B2 (en) | 2002-03-29 | 2002-03-29 | Microscope equipment |
US10/401,359 US6924929B2 (en) | 2002-03-29 | 2003-03-28 | Microscope apparatus |
EP03007318A EP1353212B1 (en) | 2002-03-29 | 2003-03-31 | Microscope apparatus |
DE60305779T DE60305779T2 (en) | 2002-03-29 | 2003-03-31 | microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002097497A JP3990177B2 (en) | 2002-03-29 | 2002-03-29 | Microscope equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003295065A JP2003295065A (en) | 2003-10-15 |
JP3990177B2 true JP3990177B2 (en) | 2007-10-10 |
Family
ID=29239977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002097497A Expired - Fee Related JP3990177B2 (en) | 2002-03-29 | 2002-03-29 | Microscope equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3990177B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112014005012A2 (en) * | 2011-09-09 | 2017-03-28 | Ventana Med Syst Inc | device and method for obtaining a focused image of a non-transient computer specimen and readable medium |
JP2013130686A (en) * | 2011-12-21 | 2013-07-04 | Canon Inc | Imaging apparatus |
JP6698421B2 (en) * | 2016-05-17 | 2020-05-27 | 富士フイルム株式会社 | Observation device and method, and observation device control program |
JP6619315B2 (en) * | 2016-09-28 | 2019-12-11 | 富士フイルム株式会社 | Observation apparatus and method, and observation apparatus control program |
JP6667411B2 (en) * | 2016-09-30 | 2020-03-18 | 富士フイルム株式会社 | Observation device and method, and observation device control program |
GB201704770D0 (en) * | 2017-01-05 | 2017-05-10 | Illumina Inc | Predictive focus tracking apparatus and methods |
JP6815477B2 (en) * | 2017-02-27 | 2021-01-20 | 富士フイルム株式会社 | Microscope device and observation method and microscope device control program |
JP6704530B2 (en) * | 2017-08-29 | 2020-06-03 | 富士フイルム株式会社 | Imaging control device, method and program |
KR102318185B1 (en) * | 2017-08-30 | 2021-10-26 | 후지필름 가부시키가이샤 | Observation device and method and observation device control program |
EP3712672A4 (en) | 2017-11-15 | 2021-01-06 | FUJIFILM Corporation | Microscope device and program |
WO2019098150A1 (en) * | 2017-11-17 | 2019-05-23 | 富士フイルム株式会社 | Observation device and method, and observation device control program |
JPWO2019202979A1 (en) * | 2018-04-18 | 2021-05-13 | 富士フイルム株式会社 | Observation device, operation method of observation device, and observation control program |
-
2002
- 2002-03-29 JP JP2002097497A patent/JP3990177B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003295065A (en) | 2003-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6924929B2 (en) | Microscope apparatus | |
JP5854680B2 (en) | Imaging device | |
JP4943946B2 (en) | Eccentricity measuring device | |
JP3990177B2 (en) | Microscope equipment | |
JPWO2017199556A1 (en) | Stereo camera and control method of stereo camera | |
US6291817B1 (en) | Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other | |
JP4112165B2 (en) | Optical system adjustment method and adjustment apparatus | |
CN106068643A (en) | Camera head | |
JP5231610B2 (en) | Microscope system and observation method | |
JP6444455B2 (en) | Fine object observation device | |
JP2008082873A (en) | Measuring device and measuring method | |
JP2013142769A (en) | Microscope system, autofocus program and autofocus method | |
JP2010256530A (en) | Microscope device | |
JPH0514217B2 (en) | ||
JP3992182B2 (en) | Microscope equipment | |
JP2015108582A (en) | Three-dimensional measurement method and device | |
JP2007078485A (en) | Auto-collimator and angle measuring device using it | |
EP1684107B1 (en) | Examination method and examination-assisting tool | |
JP2003295063A (en) | Microscope apparatus | |
JP4603177B2 (en) | Scanning laser microscope | |
JP2009223164A (en) | Microscopic image photographing apparatus | |
JP3960527B2 (en) | Radiation track detection method and radiation track detection device | |
JP2006325100A (en) | Method for adjusting digital camera and adjusting device thereof | |
JP3652014B2 (en) | Distance measuring device | |
JP2021086121A (en) | Image capture device and surface inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041119 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070719 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |