JP4222759B2 - Magnification imaging device - Google Patents
Magnification imaging device Download PDFInfo
- Publication number
- JP4222759B2 JP4222759B2 JP2002011795A JP2002011795A JP4222759B2 JP 4222759 B2 JP4222759 B2 JP 4222759B2 JP 2002011795 A JP2002011795 A JP 2002011795A JP 2002011795 A JP2002011795 A JP 2002011795A JP 4222759 B2 JP4222759 B2 JP 4222759B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- filter
- wavelength
- unit
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、異なる複数の波長領域の光に応じてそれぞれ異なる波長の励起光を生じる微小検体を撮像して電気信号に変換するための撮像装置に関する。
【0002】
【従来の技術】
イメージスキャナ等のカラー画像読取装置においては、結像レンズとイメージセンサの間の光路中に置かれたカラーフィルタで色分解を行うため切り替え可能な3色のカラーフィルタが配置される。ここで、カラー画像を読み取る際には、切り替え可能な3色のカラーフィルタの切り替えを行って画像を読み取ることが行われている。
【0003】
従来技術においては、例えば特開2000−32214号公報に開示されているように、カラー用のイメージセンサにおいて光電変換チップ状の色フィルタの厚さを変更して、色ごとの光路長を調整することで色収差対策をしたものが知られている。しかし、光源の波長が限定されている場合はこの様な方法が利用可能かもしれないが、ターゲットとする被写体に応じて波長を入れ替えなければならない場合には不都合である。また、リニアセンサの場合には、ラインごとにフィルターを形成するので、この形成工程はライン数程度で3から4工程程度ですむ。しかし、このような色ごとのフィルタ厚さを調整する方法を2次元のセンサへ応用しようとした場合、たとえば画素ごとに千鳥配置でフィルターを入れ替えながら配置することは、画素数分の載置工程が発生し、工程にきわめて時間を要するとともに、微細工程となり、ほとんど実用的でない。そのため、エリアイメージセンサの前方に載置するレンズ系において色収差が生じないように調整を行う必要がある。
【0004】
【発明が解決しようとする課題】
しかし、このようなレンズ系において屈折率が異なる複数のレンズの組み合わせを設計することよって色収差をなくす技術は、構造が複雑になりコストが高くなる。
【0005】
また、このようなイメージセンサの前方に載置するレンズ系は、対物レンズを構成するものであることから被写体の種類によっては倍率を入れ替えて使用するために、イメージセンサ部とレンズは入れ替え可能に構成される必要があり、コスト面において劣る。さらに、レンズ系(レンズユニット)の中に切り替えフィルタを構成すればコストの面では致命的であるし、遮光性も確保しづらい。一方、通常の光学カメラのように被写体に照度がある程度充分にある場合は被写体からの光束を絞ることで光学焦点の位置誤差許容である焦点深度を大きく取る事が可能であるのに対して、本装置のような拡大光学系の撮像装置によって微弱光量の被写体を精緻に撮像する場合は、絞り装置の使用ができないために焦点深度がきわめて小さくなり、受光波長域ごとの焦点位置調整は不可欠である。また、被写体である検体のサイズが微小(ミクロンオーダー)であるために、各波長域によって焦点距離がズレたままの状態であると、撮像データにおいて正確な検体の輪郭を把握できないこととなる。
【0006】
また、通常の光学カメラにおいてはイメージセンサとレンズユニットの間に赤外カットフィルタを挿入する構成があるが、比較的大きい面積(少なくともイメージセンサのエリア以上)にフィルタを2枚構成し、これをスライドさせて切り替えなければならないためにフィルタ構造の容積が大きくなる。そして、アクチュエータを遮光しなければフィルタ部材の隙間における遮光性が悪化することとなる。更に、光源の照射面より被写体側にフィルターを載置すると、照射光がフィルタのエッジなどで散乱や迷光して受光され、唯でさえ微弱光を撮像しようとしているのであるから、厳しい状況になる。
【0007】
本発明は、複数の異なる波長領域を有する被写体からの微弱な励起光の撮像において、波長領域において相違する光路長を簡易な機構で調整可能な撮像装置を提供する。
【0008】
【課題を解決するための手段】
このため、本発明は、少なくとも2波長領域の照射光に応じてこの照射光の波長とは異なる波長で発光する微小被写体を撮像して電気信号に変換する撮像装置であって、被写体を装填するステージと、前記ステージの被写体を装填した面を照明する光源手段と、前記光源手段が発する照射光を複数の異なる波長領域の光線に切り替えるための光切替手段と、前記複数の異なる波長領域の光線によって照射された被写体からの光を集光するためのレンズ手段と、前記レンズ手段によって集光された2次元画像光を電気信号に変換するイメージセンサと、前記レンズ手段と前記光源手段の照射光を発する位置との間の光路に配置され、前記光切替手段による光線の切り替えに応じて切り替えられる2以上のフィルタ手段と、前記2以上のフィルタ手段の少なくとも1つの上に重ねて配置され、前記照射光の波長領域の切り替えにより生じる前記レンズ手段の焦点距離の変化に対応して前記イメージセンサの受光面に焦点位置が一致するように前記ステージと前記イメージセンサ間の光路長を調整するための光路長調整手段と、を備えたことを特徴とする拡大撮像装置を提供するものである。
【0009】
上記構成により、本発明に係る拡大撮像装置は、複数の異なる波長領域を有する被写体からの微弱な励起光の撮像においても、波長領域において相違する光路長を簡易な機構で調整可能とし、波長が異なる光源によって波長の異なる被写体からの光を適正な光路に調整して受光するようにして、拡大撮像装置であるがために焦点深度が厳しい撮像を行うときでも、ぼけない先鋭な画像を取得することを可能にしたのである。
【0010】
さらに、前記拡大撮像装置は、前記2以上のフィルタ手段を支持すると共に、前記レンズ手段の受光方向に交差した方向に当該フィルタ手段を移動する移動手段を備えた。前記2以上のフィルタ手段は、それぞれ異なる厚さ又は屈折率の異なる材質から構成されている。
【0012】
そして、本発明の前記光源手段は、少なくとも2本以上のロッド状光線手段を備え、この光線手段が、特定波長を発光する発光素子と、この発光素子からの光を収斂する光収斂手段とを有して、この光線手段の前記発光素子を設置した端と別の他端より光線を照射する構成にした。
【0013】
そして、前記少なくとも2波長領域の照射光が、紫外光及び緑光の2つの波長領域の照射光から構成された場合には、前記光路長調整手段は、前記緑光の照射光に対応したフィルタ手段に重ねて載置されるのである。
【0014】
これによって、前記2つの異なる波長領域の照射光を受けた被写体からの微弱な励起光の撮像において、波長領域において相違する光路長を簡易な機構で調整可能にしたのである。
【0015】
ここで、前記レンズ手段は、その光軸を前記ステージの中央部上面を貫く直交線と一致するように配置され、被写体のサイズを拡大する拡大系で、切り替え又は取り替え可能な接続部を有する。また、前記光路長調整手段は取り替え可能である。
【0017】
ここで、前記露光制御手段によって制御される露光時間は、0.2秒以上であることを特徴とする。
【0018】
【発明の実施の形態】
本撮像装置の詳細を説明する前に、本撮像装置の撮像の対象となる検体に係る技術的背景を説明する。
(1)本撮像装置の技術的背景
本撮像装置において個体数カウントの対象となる検体を含むメンブレムキットのメンブレム部には樹脂の受容体が準備される。検体の採取キットとしては、このほかにフィルムタイプのフィルムキットもあるが、このようなキット形態は今後更に多く展開される。撮像対象のバクテリアから発光する光の照度はきわめて低いので、ある時間連続露光を行って露出を高めないととらえられない。
【0019】
ところが、受容体の樹脂色も完全な黒体ではないので、バクテリアの映像と共にレベルがあがってしまう。これによって、最終的に取得された全体画像のうちの背景部とバクテリア部とのコントラストは、大変にS/Nが低くなってしまう。よって、その後の画像処理に負担をかけずに行おうとすると、誤動作を引き起こすことになってしまう。更に微弱信号の処理が伴うにも安価に構成するがためのホワイトノイズ処理が重畳する。そこで、背景補正を適正に行うことで、画像処理前のバクテリア映像を鮮明にする必要がある。このような背景除去もさることながら、発光させる為の照射光はきわめて励起光に比べて明るい為、この照射光を適正にカットして利用しなければならない。
【0020】
(2)特定波長の励起光を発するバクテリアの説明
背景(バックグラウンド)は、樹脂製の検体含有体、もしくはバクテリアを接着するための粘着層を有するフィルムである。どちらもバクテリアから励起光を効率よく(コントラストよく)取得するために、なるべく暗い色で着色されている。しかし、完全に黒色ではなく濃い灰色程度であって、光が照射されると反射光を生じる。
【0021】
このバクテリア装置においては、照射した光の反射光で検査を行うのではなく、バクテリアに特殊な薬液を含有させて、この状態で、紫外光もしくは緑光を照射する。この紫外光あるいは緑光に応じて、薬液を含有したバクテリアから励起光が発生する。図8の(a)、(b)に示すように、具体的に書くと、波長が370nm(NSHU590)の紫外光を照射すると、バクテリアからは461nmの波長で励起光(露光1)を発する。そして、波長が525nm(NSPG500S)の緑光を照射すると、617nmの波長で励起光(露光2)を発生する。
【0022】
図8の(c)は、フィルタの分光特性を示している。励起光は照射光に対して微弱であるのに加えて、それぞれ波長が近いために、受光する光路中で照射光の波長がカットされねばならない。
【0023】
そのため、紫外光に対しては、360nmから急激に減衰する特性を有したカットフィルタを装着して照射することで、約400nm点で透過率0%にする。しかも、光源のNSPG500Sは400nm点でほとんどパワーを持たない。このため、受光側にL42と称する420nm以上の波長帯域を透過するフィルタを挿入することにより、主波長が461nmである励起光(露光1)を適正に取得できることとなる。この励起光は、生菌と死菌と共に発生する。
【0024】
同様に、緑側もフィルタを使う。緑光に対しては、450nmから550nmの帯域の光を透過するバンドパスフィルタBP535を緑光源(536nm)に装着する。光源のNSPG500Sは450nmから650nmまでの波長帯域の光を発光するが、上述のバンドパスフィルタによって、裾野はカットされる。受光側にO58と称する580nm以上の帯域を透過するフィルタを挿入する。主波長が617nmである励起光(露光2)を取得できる。この励起光は死菌のみ発生する。
【0025】
以上のようにして検体からの励起光は取得できるが、それぞれ透過する波長域は当然残ることになる。照射光源はフィルタカットされているが、光源光量はきわめて大きく、特に緑光源は検体照射面において2000ルクス程度もある。
【0026】
このため、上記のごとくカットフィルタ処理を行うにも関わらず、励起光のみを拾うことが出来ず、励起光が弱いことから2秒程度の露光時間を必要とし、背景レベルとして最大255の分解の時に128程度も上昇してくる。これに励起光の出力の数10がのるので、背景レベルを除去しておいた方が、後段の画像認識に好ましい。
【0027】
以下、本発明に係る撮像装置の実施の形態を図面に基づいて詳しく説明する。
【0028】
本装置においては、同時にカラー画像を取得するのではなく、色フィルタを切り替えてモノトーン画像を2波長に対して取得する装置である。2対の光源から異なる2種類の波長の照射光(紫外光及び緑光)を被写体に照射する。つまり、ある取得タイミングでは全画素同じ波長の色であり、また、波長ごとの光路長の差はレンズ系が変更無ければ一定であるので、光学系のどの位置で光路長調整を行うかは任意である。しかし今後の展開では、撮像対象の種類が増えるに従って、拡大倍率を適正化する目的で、レンズを差し替え可能に構成すれば、光路長補正の量は変化し、調整手段を差し替えなければならなくなることは言うまでもない。
【0029】
この関係から、被写体、切り替えフィルタ、レンズユニット、イメージセンサの順に構成され、切り替えフィルタは異なる2波長用のフィルタ各々の厚さが変更されている構成である。
【0030】
図1は、本撮像装置1全体の側面図であって、主要な構成として、検査を行う被写体を載置するステージ2と、ステージ2に被写体(検体)を載置するなどの操作をするために開閉するフロントカバー5と、対象とする被写体を光照射する光源部4と、この光源部4で照射されて試薬による励起光を発した被写体からの2次元画像光を入光して電気信号の画像データに変換するレンズユニット3と、複数のフィルタを支持し発光の切り替えに応じてフィルタを切り替えるために移動するフィルタ移動部23と、さらには、先のステージ2に検体を載置させるときの操作性から位置を移動させるためのステージ移動部9からなる。
【0031】
図2は、光源部4を上から見た平面図である。ステージ2は光源部4からの光が照射されるが、この光源部4は4本のロッド光源6a、ロッド光源6b、ロッド光源6c、ロッド光源6dからなる。各ロッド光源6は1つの取り付けフランジ51に各照射光の収斂位置がレンズ手段の光軸上に位置するように調整可能に取り付けられている。
【0032】
各ロッド光源6は端部に基板50a、50b、50c、50dを備え、この基板上にロッド内方向に向いてそれぞれ発光ダイオードが設置されている。ロッド光源6aとロッド光源6bは同一の波長(波長370nmの紫外光)の光を発光し、1対として働く。
【0033】
ロッド光源6cとロッド光源6dは同一の波長(波長525nmの緑光)の光を発光し、1対として働く。既に述べたように対象位置に載置される理由は、互いに補完して照射面をほぼ均一の照度にすることにある。ロッド光源6aとロッド光源6bの対と、ロッド光源6cとロッド光源6dの対とは同時点灯しないとともに、直交している必要はない。
【0034】
この構成により、ロッド対は、上方に撮像手段を配置した照射ステージに対して撮像手段の側方でステージに対称な2カ所より斜めに同一の波長で同一の照度になるよう照射するとともに、照射ステージに投光エリアが合致して照度ムラがないようにした。さらに、第3の異なる波長の光の照射が必要な場合は、第3の対のロッド光源を増設すればよい。
【0035】
さらに、それぞれの発光分布においてじゃまになる裾野部分をカットするカットフィルタであるU380フィルタが、ロッド光源6a、6b内に配設されている。ロッド光源6c,6d内には、BP535フィルタが配設されていて発光分布をシャープにしている。
【0036】
菌を検査する検体は、試薬と共に対象物を溶液中で撹拌された後に含水可能なメンブレムキット40と呼ばれる検体器具に定着される場合と、粘着面を有するフィルムキット41で直接採取された場合とがある。更に異なる形状の定着器が考えられるかもしれない。既に述べたように撮像素子に対して拡大光学系で拡大像を形成して撮像するものであるから、焦点深度が小さいため被写体までの距離がきわめて厳しく要求される。
【0037】
このため、ステージ2には3点の調整ポイントを備え、高さ調整のみならず水平度も調整する。これらの調整ポイントで調整できる調整しろにはいるように、レンズユニット(カメラ)3のフレームに対する取り付け部(図示せず)は、長穴を有していて概略の調整が出来る様になっている。
【0038】
図3は、本撮像装置のステージ2上にメンブレムキット40を装着した例を示す。図4は、本撮像装置のステージ2上にフィルムキット41を装着した図を示す。
【0039】
メンブレムキット40は、鍔部40aの上部に計測部40bを有しているため、この分、鍔部40aより高い位置になる。一方フィルムキット41はフィルム上であって、このような高さを有しない。一方、レンズユニット3は拡大光学系であると共に、被写体の個体数計測に固体の輪郭形状が重要であるから、撮像の焦点深度がきわめて厳しく狭められる。よって、撮像面の高さは、2のキット間で同一にされなければならない。
【0040】
この高さ調整のため、フィルムキット41を装着する場合には中間プレート42がフィルムの下支えをかねて使用される。つまり、ステージ2にはメンブレムキットを挿入するための穴20aが存在するから、そのままフィルムを装填すると中央が下に沈んでしまって、所望の焦点位置が得られなくなるからである。
【0041】
図5は、本装置の制御ブロックの例を示す。操作者は、データ処理装置に対して指示して計測を開始する。指示されたデータ処理装置は、計測開始コマンドを撮像装置1に送る。インタフェイス80を介して計測開始コマンドを受信した制御手段81は計測指示データを露光制御手段82に送信する。制御手段81は、フィルタ移動手段23を有している。
【0042】
露光制御手段82は、制御手段81から受信した指示データに基づき各ロッド光源6に対し制御した露光指示データを照射手段83に送信する。露光データを受信した照射手段83は、特定波長領域の光を所定の露光時間で、所定の回数の照射をステージ上の検体に対して行う。そして、少なくとも0.2秒以上で露光時間を制御する。この時、制御手段81は光電変換手段84の転送クロック及び/又はリセットパルスを制御することによって露光時間を調整する。
【0043】
さらに、制御手段81は各ロッド光源6に対し指示した露光指示データと照射手段83に送信した照射指示データと、現在のフィルターユニット55の位置とに基づいてフィルターユニット55の移動が必要な場合はフィルタ移動手段23に移動指示を行う。
【0044】
照射光によって発光するステージ2上の検体からの励起光は、レンズ手段3によって集光され光電変換手段84に送信される。光電変換手段84は受信した2次元画像信号を2進数の画像データに変換するためにA/Dコンバータ85に送信し、A/Dコンバータ85はデジタル変換されたデータを計測データとしてフレームメモリ86に送信する。照射が終了するとフレームメモリ86は蓄積したデータを制御手段81に送信する。
【0045】
ここで、本発明における光路長の調整機構について説明する。
【0046】
光源ユニット4の光が送出される基板取り付けと反対の端の発光端の下方にステージ2は位置する。発光端の上方には、レンズユニット3が備えられているが、このレンズユニット3と発光端との間にステージ2の面に平行に進退するフィルターユニット55が位置する。フィルターユニット55には、420nmから下の帯域の波長光をカットするL42フィルタ55aと、580nmから下の波長帯域の光をカットする058フィルタ55bが取り付けられている(図1、図2に示す)。
【0047】
発光端の上方に位置させたことにより、発光が直接フィルタに当たることがさけられる。このことは、フィルタなどのエッジから散乱光が生じたり、迷光などを生じて受光に障害を発生させることがないと言う目的を鑑みたものである。
【0048】
また、レンズユニット内に切り替えフィルタを構成することも考えられるが、遮光をしなければならない点が、難所となり、コストアップになってしまう。更に、上述のように、レンズを交換可能に構成するケースでは、デメリットである。
【0049】
図6は、フィルタ移動手段23の斜視図を示す。フィルタ移動手段23は、支持フレーム96と、フィルターユニット55と、をステージ2の面に平行に進退する駆動を与える駆動手段90と、駆動手段90の駆動力をフィルターユニット55に伝える駆動ロッド91と、支持フレーム96と駆動ロット91に係止され駆動ロッド91をステージ2側に付勢するばね92と、で構成されている。
【0050】
光源切り替えによって、フィルターユニット55の移動が必要であると判断されると、制御手段81はフィルタ移動手段の駆動手段90に対してフィルターユニット55を移動するための駆動指示を行う。駆動手段90は駆動ロッド91を介してフィルターユニット55をステージ2の面に平行に進退する駆動を行う。
【0051】
フィルターユニット55には移動をガイドするガイド穴93が形成され、移動方向及び位置が規定位置からずれないようにガイドする。図6においては、420nm以下の波長をカットするL42フィルタ55aが撮像位置に移動した状態を示している。光源ユニット4から緑光の照射が行われる場合は、駆動手段90は移動のための駆動を行い、矢印のA方向にフィルターユニット55を移動し580nmから下の波長帯域の光をカットするO58フィルタ55bを撮像位置に移動する。
【0052】
ところで、波長の違いによりレンズ3aの焦点距離は変化する。例えば580nmから下の帯域の波長をカットするO58フィルタ55bで受光した緑光は、レンズ3aの焦点距離が420nm以下の波長帯域をカットするL42フィルタ55aで受光した紫外光の焦点距離より短い。
【0053】
従って580nmから下の波長帯域をカットする058フィルタ55bで受光した光はイメージセンサ96の手前が焦点位置となる。この光がイメージセンサ96に到達した画像は所謂ピンボケの状態となる。そのため、適正に焦点位置を合わすためにはレンズ3a位置の調整(交換)、イメージセンサ96位置の調整、又は被写体位置の調整が必要となる。
【0054】
さらに、本撮像装置1は拡大光学系であって焦点深度を厳しく見ないと、個体の輪郭抽出がきれいに行えない。解放露光系なので、背景ノイズが少なく、エッジ協調の画像処理を行うにしても、元画質を充分に要求する。
【0055】
そこで本発明においては焦点距離を調整するためフィルターユニット55のフィルタの1つに光路長を調整する光路長調整手段95を設けた。
【0056】
図7は、被写体100と、フィルターユニット55とレンズ手段(レンズユニット3)の構成図を示す。
【0057】
図7において、(a)は、被写体100からの励起光を受光するために、フィルタ55bを通してレンズ3aが合焦する焦点位置を示している。焦点位置Xは、紫外光が照射された被写体100からの励起光(461nm)を受光した場合の焦点位置でイメージセンサ96の受光面に焦点位置が一致している。焦点位置Yは、緑光が照射された被写体100からの励起光(617nm)を受光した場合の焦点位置で、焦点位置Yは、イメージセンサ96の受光面の手前にある。
【0058】
このように被読取体からの光の波長の違いによる焦点位置のずれを解決するため、図7の(b)に示すように、照射光の変更時でも光路長の差(色収差)を適切に補完するため、光路長の調整には、フィルタと別部材で交換可能な光路長調整手段が設けられている。
【0059】
図7(b)の例では、緑光からの励起光(617nm)を受光した場合、フィルタ55bの上に光路長調整部材95を重ねて載置している。この例では、光路長調整部材は、調整ガラス95としている。
【0060】
被写体100からの励起光は、この調整ガラス95により屈折され、光路長が調整される。この調整により、レンズ3aを通った画像の焦点位置は、イメージセンサ96の受光面と一致している。調整ガラス95により、光路長が調整され被写体からの異なる波長領域の光に対しても焦点距離の合った精緻な光を得ることを可能としている。
【0061】
このように、光路長調整手段は、所定のフィルタに調整ガラス95を重ねて焦点位置を調整する。そして、フィルターユニット55の移動は、露光手段と、照射手段の情報と、現在のフィルタの種類の情報に基づいて制御手段81からの指示によりフィルタ移動手段23によって行われる。
【0062】
また、本発明による撮像装置1において、被写体100の装着はステージ2をフロントカバー5開放位置に移動してフロントカバー5(図1に示す)を開放し被写体100を装着する。また、装置のメンテナンス時には、フィルターユニット55の上方から操作できるのでフィルタにゴミが付着しても容易にメンテナンスできる構成となっている。また、ステージ2とレンズユニット3との間の空間にフィルターユニット55を設け、更に光源の発光位置よりも上方にフィルタを位置させているので、フィルタ移動手段23を設けるために装置を大きくする必要がない。さらには、光学的に安定した構成といえる。
【0063】
補足すると、説明内に上方下方という位置関係の扱いがあるが、これは便宜的なものであって、装置を斜めに載置したり横置きの装置を構成することも、同様な構成になることは言うまでもない。
【0064】
本発明に係る撮像装置は、これによって、複数の異なる波長領域を有する被写体からの微弱な励起光の撮像において、波長領域において相違する光路長を簡易な機構で調整可能にし、以って微小サイズの検体を精緻に撮像することをノイズ光を増加させることなく実現したのである。
また、このような位置にフィルタを構成することで、レンズの倍率を変更する為に付け替えをするような構成になっても、容易に光路長の再調整を実現するように出来た。
【図面の簡単な説明】
【図1】 本発明に係る光路長調整手段付き撮像装置の側面図を示す。
【図2】 図1の本撮像装置を上面から見た主に光源周辺を示す図である。
【図3】 本撮像装置のステージへメンブレムキットを装着した(a)平面図と、(b)断面図を示す。
【図4】 本撮像装置のステージへフィルムキットを装着したa)平面図と、(b)断面図を示す。
【図5】 本撮像装置の制御ブロック図を示す。
【図6】 フィルタ移動手段の斜視図を示す。
【図7】 被写体、フィルターユニットとレンズユニットの構成図を示す。
【図8】 試薬と光源とフィルタの特性を説明する図を示す。
【符号の説明】
1 撮像装置
2 ステージ
3 レンズユニット(レンズ手段)
4 光源ユニット
5 フロントカバー
6 ロッド光源
23 フィルタ移動手段
40 メンブレムキット
41 フィルムキット
50 基板
55 フィルターユニット
55a L42フィルタ
55b 058フィルタ
81 制御手段
82 露光制御手段
83 照射手段
84 光電変換手段
85 A/Dコンバータ
86 フレームメモリ
90 駆動手段
95 光路長調整手段
96 イメージセンサ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus for imaging a minute specimen that generates excitation light having different wavelengths in accordance with light in a plurality of different wavelength regions and converting it into an electrical signal.
[0002]
[Prior art]
In a color image reading apparatus such as an image scanner, three color filters that can be switched are arranged to perform color separation with a color filter placed in an optical path between an imaging lens and an image sensor. Here, when a color image is read, the image is read by switching among three color filters that can be switched.
[0003]
In the prior art, as disclosed in, for example, Japanese Patent Application Laid-Open No. 2000-32214, the thickness of a photoelectric conversion chip-like color filter is changed in a color image sensor to adjust the optical path length for each color. In this way, a countermeasure against chromatic aberration is known. However, this method may be available when the wavelength of the light source is limited, but it is inconvenient when the wavelength must be changed according to the target subject. In the case of a linear sensor, since a filter is formed for each line, this forming process requires about 3 to 4 processes. However, when trying to apply such a method for adjusting the filter thickness for each color to a two-dimensional sensor, for example, arranging the filters in a zigzag arrangement for each pixel is a placement process for the number of pixels. The process takes a very long time, becomes a fine process, and is hardly practical. Therefore, it is necessary to perform adjustment so that chromatic aberration does not occur in the lens system placed in front of the area image sensor.
[0004]
[Problems to be solved by the invention]
However, a technique for eliminating chromatic aberration by designing a combination of a plurality of lenses having different refractive indexes in such a lens system has a complicated structure and a high cost.
[0005]
In addition, since the lens system placed in front of such an image sensor constitutes an objective lens, the image sensor unit and the lens can be interchanged for use with different magnifications depending on the type of subject. It needs to be configured and is inferior in cost. Furthermore, if a switching filter is configured in the lens system (lens unit), it is fatal in terms of cost and it is difficult to ensure light shielding. On the other hand, when the illuminance of the subject is sufficient to some extent as in a normal optical camera, it is possible to increase the depth of focus that is allowable for the optical focus position error by narrowing the luminous flux from the subject, When an image pickup device with a magnifying optical system such as this device is used to precisely pick up an object with a weak light amount, the aperture depth cannot be used, so the depth of focus becomes extremely small, and it is essential to adjust the focus position for each light receiving wavelength range. is there. In addition, since the size of the specimen that is the subject is very small (micron order), if the focal length remains deviated depending on each wavelength region, an accurate outline of the specimen cannot be grasped in the imaging data.
[0006]
In addition, in an ordinary optical camera, there is a configuration in which an infrared cut filter is inserted between the image sensor and the lens unit, but two filters are configured in a relatively large area (at least the area of the image sensor). The volume of the filter structure increases because it must be slid and switched. If the actuator is not shielded from light, the light shielding property in the gap between the filter members will be deteriorated. Furthermore, if a filter is placed on the subject side of the light source's irradiation surface, the irradiation light will be scattered and stray light received at the filter edge, etc., and even a very weak light will be imaged. .
[0007]
The present invention provides an imaging apparatus capable of adjusting a different optical path length in a wavelength region with a simple mechanism in imaging weak excitation light from a subject having a plurality of different wavelength regions.
[0008]
[Means for Solving the Problems]
For this reason, the present invention is an image pickup apparatus that picks up an image of a minute subject that emits light at a wavelength different from the wavelength of the irradiated light according to the irradiated light in at least two wavelength regions, and converts the image into an electrical signal. A stage, light source means for illuminating a surface on which the subject is loaded, light switching means for switching irradiation light emitted from the light source means to light beams of a plurality of different wavelength regions, and light beams of the plurality of different wavelength regions Lens means for condensing light from the subject irradiated by the image sensor, an image sensor for converting the two-dimensional image light collected by the lens means into an electrical signal, and the illumination light of the lens means and the light source means Two or more filter means arranged in the optical path between the light emitting position and the light switching means by the light switching means, and the two or more filters At least one of the stages Place on top of By switching the wavelength region of the irradiation light. Arise In response to changes in the focal length of the lens means The focal position coincides with the light receiving surface of the image sensor. An enlargement imaging apparatus comprising: an optical path length adjusting means for adjusting an optical path length between the stage and the image sensor.
[0009]
With the above configuration, the magnifying imaging apparatus according to the present invention can adjust the optical path length that is different in the wavelength region with a simple mechanism even when imaging weak excitation light from a subject having a plurality of different wavelength regions. The light from the subject with different wavelengths is adjusted to an appropriate optical path by using different light sources, and a sharp image that is not blurred is acquired even when imaging with severe depth of focus is performed due to the magnification imaging device. Made it possible. .
[0010]
The magnifying image pickup device further includes a moving unit that supports the two or more filter units and moves the filter unit in a direction intersecting a light receiving direction of the lens unit. The two or more filter means are made of materials having different thicknesses or different refractive indexes.
[0012]
The light source means of the present invention includes at least two or more rod-shaped light beam means, and the light beam means includes a light emitting element that emits a specific wavelength and a light converging means that converges light from the light emitting element. It has the structure which irradiates a light beam from the other end different from the end which installed the said light emitting element of this light means.
[0013]
When the irradiation light of at least two wavelength regions is composed of irradiation light of two wavelength regions of ultraviolet light and green light, the optical path length adjusting means is a filter means corresponding to the green light irradiation light. It is placed on top of each other .
[0014]
by this, The two Different wavelength regions Received the irradiation light In imaging weak excitation light from a subject, the optical path lengths that differ in the wavelength region can be adjusted with a simple mechanism.
[0015]
Here, the lens means is arranged so that its optical axis coincides with an orthogonal line passing through the upper surface of the central portion of the stage, and has a connection portion that can be switched or replaced by an enlargement system that enlarges the size of the subject. Further, the optical path length adjusting means can be replaced.
[0017]
Here, the exposure time controlled by the exposure control means is 0.2 seconds or more.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Prior to describing the details of the imaging apparatus, a technical background relating to a sample to be imaged by the imaging apparatus will be described.
(1) Technical background of the imaging device
In the imaging apparatus, a resin receptor is prepared in the membrane part of the membrane kit including the specimen to be counted. In addition to this, there are film-type film kits as sample collection kits, but such kit forms will be developed more in the future. Since the illuminance of the light emitted from the bacteria to be imaged is extremely low, it cannot be understood unless the exposure is increased by performing continuous exposure for a certain period of time.
[0019]
However, since the resin color of the receptor is not a perfect black body, the level increases with the image of bacteria. As a result, the contrast between the background portion and the bacterial portion in the finally acquired entire image has a very low S / N. Therefore, if the subsequent image processing is performed without imposing a burden, a malfunction will be caused. In addition, white noise processing for superposing a low-cost configuration is superimposed even when processing of weak signals is involved. Therefore, it is necessary to sharpen the bacterial image before image processing by appropriately performing background correction. Besides such background removal, the irradiation light for emitting light is extremely brighter than the excitation light, so this irradiation light must be appropriately cut and used.
[0020]
(2) Explanation of bacteria that emit excitation light of a specific wavelength
The background is a film having a resinous specimen-containing body or an adhesive layer for adhering bacteria. Both are colored as dark as possible in order to efficiently obtain excitation light from bacteria (with good contrast). However, it is not completely black but a dark gray level, and when it is irradiated with light, reflected light is generated.
[0021]
In this bacterial device, the inspection is not performed with the reflected light of the irradiated light, but a special chemical solution is contained in the bacteria, and ultraviolet light or green light is irradiated in this state. In response to the ultraviolet light or green light, excitation light is generated from bacteria containing the chemical solution. Specifically, as shown in FIGS. 8A and 8B, when ultraviolet light having a wavelength of 370 nm (NSHU 590) is irradiated, bacteria emit excitation light (exposure 1) at a wavelength of 461 nm. When green light having a wavelength of 525 nm (NSPG500S) is irradiated, excitation light (exposure 2) is generated at a wavelength of 617 nm.
[0022]
FIG. 8C shows the spectral characteristics of the filter. In addition to the weakness of the excitation light with respect to the irradiation light, the wavelengths of the irradiation light must be cut in the optical path for receiving light because the wavelengths are close to each other.
[0023]
For this reason, ultraviolet light is irradiated with a cut filter having a characteristic of abruptly decaying from 360 nm, so that the transmittance becomes 0% at a point of about 400 nm. Moreover, the light source NSPG 500S has almost no power at the 400 nm point. For this reason, excitation light (exposure 1) having a dominant wavelength of 461 nm can be appropriately acquired by inserting a filter that transmits a wavelength band of 420 nm or more, called L42, on the light receiving side. This excitation light is generated together with live and dead bacteria.
[0024]
Similarly, the green side uses a filter. For green light, a band-pass filter BP535 that transmits light in a band from 450 nm to 550 nm is attached to the green light source (536 nm). The light source NSPG 500S emits light in a wavelength band from 450 nm to 650 nm, but the base is cut by the bandpass filter described above. A filter called O58 that transmits a band of 580 nm or more is inserted on the light receiving side. Excitation light (exposure 2) having a dominant wavelength of 617 nm can be obtained. This excitation light is generated only for dead bacteria.
[0025]
As described above, the excitation light from the specimen can be acquired, but the wavelength range through which each passes is naturally left. Although the irradiation light source is filtered, the amount of light source is extremely large. In particular, the green light source has about 2000 lux on the specimen irradiation surface.
[0026]
For this reason, in spite of performing the cut filter processing as described above, only the excitation light cannot be picked up, and since the excitation light is weak, an exposure time of about 2 seconds is required, and a maximum of 255 decompositions as a background level is required. Sometimes it rises about 128. Since the number of pumping light outputs is 10 in this, it is preferable to remove the background level for subsequent image recognition.
[0027]
Embodiments of an imaging apparatus according to the present invention will be described below in detail with reference to the drawings.
[0028]
In this apparatus, a color image is not acquired at the same time, but a monotone image is acquired for two wavelengths by switching color filters. The object is irradiated with irradiation light (ultraviolet light and green light) of two different wavelengths from two pairs of light sources. In other words, all pixels have the same wavelength color at a certain acquisition timing, and the difference in optical path length for each wavelength is constant unless the lens system is changed. It is. However, in future developments, if the lens can be replaced for the purpose of optimizing the magnification as the number of types of imaging objects increases, the amount of optical path length correction will change and the adjustment means will have to be replaced. Needless to say.
[0029]
From this relationship, the subject, the switching filter, the lens unit, and the image sensor are configured in this order, and the switching filter has a configuration in which the thickness of each of the two different wavelength filters is changed.
[0030]
FIG. 1 is a side view of the
[0031]
FIG. 2 is a plan view of the
[0032]
Each rod light source 6 includes
[0033]
The rod light source 6c and the rod light source 6d emit light having the same wavelength (green light having a wavelength of 525 nm) and work as a pair. As described above, the reason why the light is placed at the target position is to complement each other to make the irradiated surface substantially uniform. The pair of the rod light source 6a and the rod light source 6b and the pair of the rod light source 6c and the rod light source 6d do not light simultaneously and do not need to be orthogonal.
[0034]
With this configuration, the rod pair irradiates the irradiation stage with the imaging means disposed on the upper side so that the same illuminance is obtained at the same wavelength obliquely from the two positions symmetrical to the stage on the side of the imaging means. The projection area matches the stage so that there is no uneven illumination. Furthermore, if irradiation with light of a third different wavelength is necessary, a third pair of rod light sources may be added.
[0035]
Furthermore, U380 filters, which are cut filters for cutting off the skirt portions that are obstructed in the respective light emission distributions, are disposed in the rod light sources 6a and 6b. A BP535 filter is disposed in the rod light sources 6c and 6d to sharpen the light emission distribution.
[0036]
Samples to be examined for bacteria are fixed on a sample instrument called a
[0037]
For this reason, the
[0038]
FIG. 3 shows an example in which the
[0039]
Since the
[0040]
In order to adjust the height, when the film kit 41 is mounted, the
[0041]
FIG. 5 shows an example of a control block of the present apparatus. The operator instructs the data processing apparatus to start measurement. The instructed data processing apparatus sends a measurement start command to the
[0042]
The exposure control means 82 transmits exposure instruction data controlled for each rod light source 6 based on the instruction data received from the control means 81 to the irradiation means 83. The
[0043]
Further, when the control unit 81 needs to move the
[0044]
Excitation light from the specimen on the
[0045]
Here, the optical path length adjustment mechanism in the present invention will be described.
[0046]
The
[0047]
By being positioned above the light emitting end, light emission is prevented from directly hitting the filter. This is in view of the object that no scattered light is generated from an edge of a filter or stray light or the like and no obstacle is caused to light reception.
[0048]
Although it is conceivable to configure a switching filter in the lens unit, the point that it must be shielded from light becomes a difficult point and increases costs. Furthermore, as described above, there is a demerit in the case where the lens is configured to be replaceable.
[0049]
FIG. 6 shows a perspective view of the
[0050]
When it is determined that the movement of the
[0051]
The
[0052]
By the way, the focal length of the lens 3a varies depending on the wavelength. For example, the green light received by the O58 filter 55b that cuts the wavelength band below 580 nm is shorter than the focal length of the ultraviolet light received by the
[0053]
Therefore, the light received by the 058 filter 55b that cuts the wavelength band below 580 nm is in front of the
[0054]
Furthermore, the
[0055]
Therefore, in the present invention, in order to adjust the focal length, one of the filters of the
[0056]
FIG. 7 shows a configuration diagram of the subject 100, the
[0057]
7A shows a focal position where the lens 3a is focused through the filter 55b in order to receive the excitation light from the subject 100. FIG. The focal position X is a focal position when excitation light (461 nm) from the subject 100 irradiated with ultraviolet light is received, and the focal position coincides with the light receiving surface of the
[0058]
Thus, in order to solve the focal position shift due to the difference in the wavelength of light from the object to be read, as shown in FIG. 7B, the difference in optical path length (chromatic aberration) is appropriately adjusted even when irradiation light is changed. In order to complement, an optical path length adjusting means exchangeable with a filter and a separate member is provided for adjusting the optical path length.
[0059]
In the example of FIG. 7B, when excitation light (617 nm) from green light is received, an optical path
[0060]
The excitation light from the subject 100 is refracted by the
[0061]
In this way, the optical path length adjusting means adjusts the focal position by overlapping the adjusting
[0062]
In the
[0063]
Supplementally, there is a handling of the positional relationship of upper and lower in the description, but this is for convenience, and it is the same configuration to place the device diagonally or configure a horizontal device. Needless to say.
[0064]
Thus, the imaging apparatus according to the present invention can adjust the optical path lengths that are different in the wavelength region with a simple mechanism when imaging weak excitation light from a subject having a plurality of different wavelength regions, and thus has a small size. This makes it possible to precisely image the specimen without increasing noise light.
Further, by configuring the filter at such a position, the optical path length can be easily readjusted even when the filter is replaced to change the magnification of the lens.
[Brief description of the drawings]
FIG. 1 is a side view of an imaging apparatus with an optical path length adjusting unit according to the present invention.
FIG. 2 is a diagram mainly showing the periphery of a light source when the imaging apparatus of FIG. 1 is viewed from above.
3A is a plan view and FIG. 3B is a cross-sectional view in which a membrane kit is mounted on the stage of the imaging apparatus.
FIG. 4 shows a) a plan view and (b) a cross-sectional view in which a film kit is mounted on the stage of the imaging apparatus.
FIG. 5 is a control block diagram of the imaging apparatus.
FIG. 6 is a perspective view of filter moving means.
FIG. 7 is a configuration diagram of a subject, a filter unit, and a lens unit.
FIG. 8 is a diagram illustrating characteristics of a reagent, a light source, and a filter.
[Explanation of symbols]
1 Imaging device
2 stages
3 Lens unit (lens means)
4 Light source unit
5 Front cover
6 Rod light source
23 Filter moving means
40 membrane kit
41 Film kit
50 substrates
55 Filter unit
55a L42 filter
81 Control means
82 Exposure control means
83 Irradiation means
84 Photoelectric conversion means
85 A / D converter
86 frame memory
90 Drive means
95 Optical path length adjusting means
96 Image sensor
Claims (7)
被写体を装填するステージと、
前記ステージの被写体を装填した面を照明する光源手段と、
前記光源手段が発する照射光を複数の異なる波長領域の光線に切り替えるための光切替手段と、
前記複数の異なる波長領域の光線によって照射された被写体からの光を集光するためのレンズ手段と、
前記レンズ手段によって集光された2次元画像光を電気信号に変換するイメージセンサと、
前記レンズ手段と前記光源手段の照射光を発する位置との間の光路に配置され、前記光切替手段による光線の切り替えに応じて切り替えられる2以上のフィルタ手段と、
前記2以上のフィルタ手段の少なくとも1つの上に重ねて配置され、前記照射光の波長領域の切り替えにより生じる前記レンズ手段の焦点距離の変化に対応して、前記イメージセンサの受光面に焦点位置が一致するように前記ステージと前記イメージセンサ間の光路長を調整するための光路長変換手段と、
を備えたことを特徴とする拡大撮像装置。An imaging device that images a minute subject that emits light at a wavelength different from the wavelength of the irradiation light according to the irradiation light in at least two wavelength regions, and converts the image to an electrical signal,
A stage to load the subject,
Light source means for illuminating the surface of the stage loaded with the subject;
Light switching means for switching the irradiation light emitted by the light source means to a plurality of light beams of different wavelength regions;
Lens means for condensing light from a subject illuminated by light rays of the plurality of different wavelength regions;
An image sensor for converting the two-dimensional image light collected by the lens means into an electrical signal;
Two or more filter means arranged in an optical path between the lens means and a position of emitting light emitted from the light source means, and switched according to switching of light rays by the light switching means;
A focal position on the light receiving surface of the image sensor corresponding to a change in the focal length of the lens means, which is arranged on at least one of the two or more filter means and is generated by switching the wavelength region of the irradiation light. an optical path length conversion means for but adjusting said stage to match the optical path length between the image sensor,
A magnifying imaging apparatus comprising:
それぞれに異なる厚さ又は屈折率の異なる材質から構成されたことを特徴とする請求項1に記載の拡大撮像装置。The two or more filter means include
The magnifying imaging apparatus according to claim 1, wherein each of the magnifying imaging apparatuses is made of a material having a different thickness or refractive index.
前記光路長調整手段は、前記緑光の照射光に対応したフィルタ手段に重ねて載置されたことを特徴とする請求項1に記載の拡大撮像装置。The irradiation light in the at least two wavelength regions is composed of irradiation light in two wavelength regions of ultraviolet light and green light,
The magnification imaging apparatus according to claim 1, wherein the optical path length adjustment unit is placed on a filter unit corresponding to the green light irradiation light.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002011795A JP4222759B2 (en) | 2002-01-21 | 2002-01-21 | Magnification imaging device |
PCT/JP2003/000474 WO2003063078A1 (en) | 2002-01-21 | 2003-01-21 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002011795A JP4222759B2 (en) | 2002-01-21 | 2002-01-21 | Magnification imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005214993A JP2005214993A (en) | 2005-08-11 |
JP4222759B2 true JP4222759B2 (en) | 2009-02-12 |
Family
ID=34897880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002011795A Expired - Lifetime JP4222759B2 (en) | 2002-01-21 | 2002-01-21 | Magnification imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4222759B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014097489A1 (en) * | 2012-12-21 | 2014-06-26 | グローリー株式会社 | Spectral sensor |
-
2002
- 2002-01-21 JP JP2002011795A patent/JP4222759B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005214993A (en) | 2005-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6100813B2 (en) | Whole slide fluorescent scanner | |
JP4608043B2 (en) | Microscope focus detector | |
US7071451B2 (en) | Autofocus system and microscope | |
EP3067729B1 (en) | Automatic focusing device and microscope | |
JP5897563B2 (en) | System for synchronization in line scanning microscope | |
JP5806504B2 (en) | Imaging apparatus and microscope system including the same | |
EP1628153A2 (en) | Automatic focus detection device and microscope system having the same | |
US6823079B1 (en) | Device for examining samples | |
JP2008276070A (en) | Magnifying image pickup apparatus | |
KR20090077036A (en) | Dynamic scanning automatic microscope and method | |
JPWO2011007768A1 (en) | Three-dimensional direction drift control device and microscope device | |
JP7004808B2 (en) | Opposed edge system for scanning and processing glass slides | |
JP2020507106A (en) | Low resolution slide imaging, slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor | |
JPWO2003067230A1 (en) | Fluorescence image measuring method and apparatus | |
JP4222759B2 (en) | Magnification imaging device | |
JP2004524577A (en) | Digital microscope | |
JP2008051772A (en) | Fluorescence image acquisition device and fluorescence image acquisition method | |
JP4502104B2 (en) | Image pickup apparatus having compound prism optical system | |
JP3845164B2 (en) | Automatic focus adjustment method and apparatus | |
JP2007133374A (en) | Device and method for manufacturing optical device | |
JP3948962B2 (en) | Imaging apparatus having a light source for irradiating a subject | |
JP2012141452A (en) | Automatic focus mechanism and microscope device | |
JP2004013071A (en) | Slit projection type automatic focusing device | |
KR100758837B1 (en) | microscope possible for controlling auto focus | |
JP2007193030A (en) | Focusing device, microscope, and focusing processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4222759 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |