JPWO2018087820A1 - 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法 - Google Patents

画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法 Download PDF

Info

Publication number
JPWO2018087820A1
JPWO2018087820A1 JP2018549664A JP2018549664A JPWO2018087820A1 JP WO2018087820 A1 JPWO2018087820 A1 JP WO2018087820A1 JP 2018549664 A JP2018549664 A JP 2018549664A JP 2018549664 A JP2018549664 A JP 2018549664A JP WO2018087820 A1 JPWO2018087820 A1 JP WO2018087820A1
Authority
JP
Japan
Prior art keywords
aberration correction
evaluation value
spherical aberration
objective lens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018549664A
Other languages
English (en)
Other versions
JP6822483B2 (ja
Inventor
一郎 佐瀬
一郎 佐瀬
敬 中川
敬 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2018087820A1 publication Critical patent/JPWO2018087820A1/ja
Application granted granted Critical
Publication of JP6822483B2 publication Critical patent/JP6822483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【解決手段】球面収差補正光学系を有する対物レンズと、撮像対象物を載置するステージと、第一の収差補正量で球面収差補正光学系を調整した状態で、対物レンズとステージの相対距離を変えながら、撮像対象物を連写することで得られる第一の画像群と、第二の収差補正量で球面収差補正光学系を調整した状態で、対物レンズとステージの相対距離を変えながら、撮像対象物を連写することで得られる第二の画像群とを含む画像群を生成する画像群生成部とを備える画像群生成装置である。

Description

本発明は、画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法に関する。
従来、標本及び顕微鏡の光学系により生じる球面収差の影響を調節する補正環を電動モータなどからの動力によって駆動する顕微鏡装置が知られている(例えば、特許文献1)。
米国特許第6563634号明細書
球面収差補正光学系を有する対物レンズと、撮像対象物を載置するステージと、第一の収差補正量で前記球面収差補正光学系を調整した状態で、前記対物レンズと前記ステージの相対距離を変えながら、前記撮像対象物を連写することで得られる第一の画像群と、第二の収差補正量で前記球面収差補正光学系を調整した状態で、前記対物レンズと前記ステージの相対距離を変えながら、前記撮像対象物を連写することで得られる第二の画像群とを含む画像群を生成する画像群生成部とを備える画像群生成装置。
球面収差補正光学系システムの外観構成の一例を示す図である。 撮像光学系の外観構成の一部分を拡大した図である。 球面収差補正算出装置の機能構成の一例を示す図である。 球面収差補正算出装置の動作の一例を示す流れ図である。 撮像画像の一例を示す図である。 評価値同士を二次曲線フィッティングした一例を示す図である。 球面収差補正算出装置の機能構成の一例を示す図である。 球面収差補正算出装置の動作の一例を示す流れ図である。
[第1の実施形態]
以下、図面を参照して球面収差補正光学系システムについて説明する。
図1は、球面収差補正光学系システム100の外観構成の一例を示す図である。
球面収差補正光学系システム100は、球面収差補正算出装置10と、球面収差補正部20とを備える。
球面収差補正部20とは、電動モータにより球面収差の補正の程度を制御可能な補正環を備えた対物レンズにより、試料を拡大して観察と観察像の取得に関わる顕微鏡の一部構成である。試料とは、具体的には、観察対象となる生体試料、ビーズなどである。生体試料とは、厚みがある蛍光染色された細胞などの試料である。ビーズとは、蛍光標識されたポリスチレンの微小球体(例えば直径0.2umなど)である。
球面収差とは、点光源から出射される光線が、光学系を通過後に1点の焦点に集束しない収差である。球面収差は、具体的には、観察対象を通過した光の観察波長や、温度変化、カバーガラス厚、観察面の深さに応じて変化する。補正環は、この球面収差を補正する。
[球面収差補正部20について]
ここで、図2を参照して球面収差補正部20について説明する。以下の説明では、球面収差補正部20を倒立顕微鏡の一部構成の場合について説明するが、これに限られない。球面収差補正部20は、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)、位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡等の一部構成であってもよい。
図2は、顕微鏡の一部である球面収差補正部20の外観構成の一部分を拡大した図である。図1中、球面収差補正部20は、対物レンズ21と、補正環駆動部22と、ステージ23と、対物レンズ駆動部24と、撮像部25と、分岐部26とを備える。
対物レンズ駆動部24は、対物レンズ21の位置を光軸OA方向に動かすモータを有しており、対物レンズを保持するレボルバ(不図示)を上下動することで、対物レンズを光軸OA方向に動かすことができる。図2中、対物レンズ21と、撮像対象TPとの相対位置が変化すると、対物レンズ21の焦点位置が変化する。以下の説明において、対物レンズ21の焦点位置を、OFと記載する。
本実施形態において、対物レンズ21は、補正環21aを備える。補正環21aを調節し対物レンズ21を保持する鏡筒内であって、対物レンズ21の光軸に配置される収差補正レンズの光軸方向の位置を変更することにより、対物レンズ21の球面収差は補正される。対物レンズ21の球面収差の補正量CLは、対物レンズ21の光軸OA方向の変位に対応付いている。つまり、補正量CLを調節すると、対物レンズ21の焦点位置OFは光軸OA方向に移動する。補正量CLとは、補正環21aが補正する球面収差の程度である。このような環状の構成の補正環21aは、必須のものではなく、カム構造を用い収差補正レンズを光軸OA方向に移動させる構成でも良い。また、収差補正レンズの代わりに、球面収差を補正するミラーや、液晶素子などの光学素子を用いてもよい。球面収差を補正するミラーや、液晶素子などの光学素子は収差補正光学系として対物レンズと接眼レンズとの間に配置され、観察光学系に入射される観察光の透過を調整することにより、球面収差を補正する。
補正環駆動部22は、補正環21aの補正位置を駆動する。補正環22aは、補正位置が駆動されることにより、球面収差の補正量CLを調節する。補正環駆動部22とは、具体的には、電動モータなどの駆動装置であり、電動モータによりレンズを保持する保持部材をカム機構などで光軸方向に移動させるものが使用できる。
ステージ23に置かれた撮像対象TPは、対物レンズ21を介して不図示の結像レンズで撮像部25の撮像面に結像される。この一例では、撮像対象TPは、厚さTPDの生体試料である。撮像部25は、対物レンズ21によって結像された像を撮像する。本実施形態においては、撮像部25は、撮像素子としてCCDセンサまたはCMOSセンサを備えるカメラである。この一例では、撮像対象TPは、カバーガラスCGの上に配置される。撮像対象TPには、照明光が照射される。対物レンズ21は、撮像対象TPを透過した光を受光する。球面収差は、撮像対象TPを透過した光の波長によっても生じる。
分岐部26は、対物レンズ21が結像する撮像対象TPからの光を、撮像部25及び接眼レンズ(不図示)へと分岐する。具体的には、分岐部26は、撮像対象TPからの光を光路OPを介して撮像部25に分岐する。分岐部26とは、具体的には、ダイクロイックプリズムや、ハーフミラーなどの光学素子である。
また、撮像部25は、細胞に蛍光物質を励起する励起光を照射することで、細胞に添加された蛍光試薬から発光される蛍光を撮像画像として撮像する。
本実施形態においては、細胞を蛍光試薬で染色して、細胞画像を取得する。具体的には、本実施形態では、細胞を固定し、免疫染色する。ホルムアルデヒド等の試薬を用いて細胞を固定する処理を行う。なお、撮像部25が撮像する生体試料は、例えば、固定標本、透明化標本、生きたままの標本であってもよい。
また、球面収差補正部20は、生体物質内に取り込まれた発色物質そのものから生じる発光或いは蛍光や、発色団を持つ物質が生体物質に結合することによって生じる発光或いは蛍光を、上述した撮像画像TIとして撮像してもよい。これにより、球面収差補正部20は、蛍光画像、二光子励起蛍光顕微鏡画像を取得することができる。
本実施形態における細胞とは、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は細胞の集合体や組織試料、臓器、個体(動物など)を用い観察し、細胞を含む画像を取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよく、“in-vivo”又は“in-vitro”のどちらでもよい。勿論、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
カバーガラスCGと、対物レンズ21との間には、液浸空間iが設けられる。液浸空間iは、液体によって満たされる。液浸空間iに液体が満たされることにより、対物レンズ21の開口数が改善され、分解能、焦点深度及び明るさなどの対物レンズ21の分解能を高めることができる。液浸空間iを満たす液体とは、具体的には、油、水などである。液浸空間iに油が満たされる場合には、温度変化による球面収差の変化が生じる。液浸空間iに水が満たされる場合には、カバーガラス厚による球面収差の変化が生じる。さらに、撮像対象TP内部における観察位置の変化に伴い、カバーガラスCGと焦点位置OFとの距離が変化する。対物レンズ21が油浸対物レンズの場合には、カバーガラスCGと焦点位置OFとの距離の変化により球面収差が発生する。
図1に戻り、球面収差補正算出装置10は、像の球面収差の補正量を算出する。
本実施形態において、球面収差補正算出装置10は、表示部11と、制御部12とを備える。制御部12は、対物レンズ21の、球面収差の補正の程度を算出する。表示部11は、球面収差補正部20が撮像した撮像画像を表示する。表示部11は、制御部12が算出した結果を表示する。球面収差補正算出装置10は、これに限らずパソコンや無線により情報の送受信が可能なタブレット型の装置でもよい。
[球面収差補正算出装置10の機能構成]
次に、図3を参照して、球面収差補正算出装置10の機能構成について説明する。
図3は、第1実施形態の球面収差補正算出装置10の機能構成の一例を示す図である。
制御部12は、画像取得部13と、評価値算出部14と、基準フォーカス面情報取得部16と、操作検出部17と、補正量を算出する程度算出部15とを備える。ここで、程度算出部15とは、収差補正量算出部の一例である。
画像取得部13は、撮像部25で撮像された画像信号である撮像画像TIを取得する。
撮像画像TIとは、対物レンズ21の絶対位置ZLが互いに異なる複数の位置毎に、互いに異なる複数の補正量CLによって撮像対象TPが撮像された撮像画像TIである。言い換えると、撮像画像TIとは、互いに異なる複数の補正量CLごとに、絶対位置ZLが互いに異なる複数の相対位置で撮像対象TPが撮像された複数の画像からなる撮像画像TIである。ここで、絶対位置ZLとは、撮像対象TPと対物レンズ21の位置の相対位置を変えた際の対物レンズの位置である。撮像画像TIの詳細は、後述する。
画像取得部13は、取得した撮像画像TIを、評価値算出部14に対して出力する。
基準フォーカス面情報取得部16は、基準フォーカス面情報TFIを取得する。基準フォーカス面情報TFIとは、この一例では、観察者が観察したい焦点位置OFが撮像された画像である。観察者とは、球面収差補正算出装置10及び球面収差補正部20を操作して、撮像対象TPを観察する者である。基準フォーカス面情報取得部16は、取得した基準フォーカス面情報TFIを、評価値算出部14に対して出力する。
操作検出部17は、観察者の入力操作を検出する。操作検出部17は、具体的には、観察者からの入力操作によって入力された、基本パラメータを検出する。基本パラメータとは、対象領域ROI(Region of Interest)、補正環開始位置CB及び撮像開始位置ZBなどの情報である。
対象領域ROIとは、撮像画像TIの撮像ピクセルうちの、ある一部の領域のことである。対象領域ROIとは、この一例では、撮像画像のサイズの90%以下の領域である。なお、対象領域ROIは、撮像画像のサイズの全ての領域であってもよい。
補正環開始位置CB及び撮像開始位置ZBとは、撮像画像TIの撮像を開始する初期位置である。球面収差補正部20は、対物レンズ21の補正環21aの位置を補正環開始位置CB、対物レンズ21と撮像対象TPとの相対位置を撮像開始位置ZBに合わせてから、撮像対象TPの撮像を開始する。
操作検出部17は、検出した操作結果を評価値算出部14に対して出力する。
評価値算出部14は、画像取得部13から撮像対象TPの画像信号を取得する。
評価値算出部14は、撮像画像群を構成する画像ごとの評価値を算出する。本実施形態では、評価値算出部14は、画像取得部13から取得した複数の画像からなる撮像画像TIのうちから、基準フォーカス面情報取得部16が取得する基準フォーカス面情報TFIが示す変位と対応する変位にして撮像されている撮像画像を選択する。換言すると、評価値算出部14は、基準フォーカス面情報TFIが示すフォーカス面と、類似するフォーカス面を撮像した撮像画像を、撮像画像TIから選択する。
評価値算出部14は、選択した撮像画像が撮像された絶対位置ZLにおいて撮像された撮像画像TIのうちから、補正量CLが異なる撮像画像TIに基づいて、補正量CLの評価値RVを、撮像画像TI毎にそれぞれ算出する。
評価値算出部14は、算出した評価値RVを、程度算出部15に対して出力する。
程度算出部15は、評価値算出部14から評価値RVを取得する。
程度算出部15は、評価値算出部14から取得した評価値に基づいて、収差補正量の最適値を求める。本実施形態では、程度算出部15は、評価値算出部14が算出する評価値RV同士を補間して、基準フォーカス面の変位と対応する補正量CLを算出する。換言すると、程度算出部15は、評価値算出部14が算出する評価値RV間の値を補間し、補正量CLの違いが評価値RVに与える影響を推定する。程度算出部15は、推定した評価値RVのピークの位置の補正量CLが、球面収差をよく補正する補正の程度CPであるとする。なお、上述した収差補正量の最適値とは、補正の程度CPである。
程度算出部15は、算出した基準フォーカス面の変位と対応する補正の程度CPを、表示部11と、補正環駆動部22に対して出力する。
本実施形態では、表示部11は、程度算出部15が算出した基準フォーカス面の変位と対応する補正の程度CPを表示する。補正環駆動部22は、程度算出部15から基準フォーカス面の変位と対応する補正の程度CPを取得する。補正環駆動部22は、取得した基準フォーカス面の変位と対応する補正の程度CPに基づいて、補正環21aを駆動させる。
[球面収差補正算出装置10の動作の概要]
次に、図4を参照して、球面収差補正算出装置10の動作の概要について説明する。
図4は、球面収差補正算出装置10の動作の一例を示す流れ図である。
球面収差補正算出装置10は、観察者の操作により基本パラメータを取得する(ステップS110)。
[撮像画像TIについて]
図5は、撮像画像TIの一例を示す図である。
図5中、横軸は、収差補正量を変えた各収差補正の程度CLを示し、縦軸は対物レンズの絶対位置を変えた際の撮像対象TPと対物レンズ21の相対位置を示している。
撮像画像TIには、補正量CL毎に撮像対象TPと対物レンズ21の位置が異なる絶対位置ZLで撮像された複数の画像が含まれる。
具体的には、撮像画像TI1とは、対物レンズ21が備える補正環21aは補正量CL1に調節され、撮像対象TPと対物レンズ21の位置が異なる複数の絶対位置ZLで撮像された画像である。撮像画像TI2から撮像画像TI7は、それぞれ対物レンズ21が備える補正環21aは各々異なる補正量CL2から補正量CL7に調節され、複数の絶対位置ZLで撮像された画像である。撮像画像TI1から撮像画像TI7には、絶対位置ZLが異なる位置において撮像された撮像画像が、それぞれ7枚含まれる。この一例では、補正量CL1から補正量CL7までのそれぞれの補正量CLは、対物レンズ21の補正環21aの設定可能な値の全域を、7等分にしたものである。補正量CLの分割数が多いほど、程度算出部15が算出する基準フォーカス面の変位と対応する補正量CLの精度が向上する。
撮像部25は、撮像画像TIとなる観察対象物の像を撮像する。撮像部25は、撮像画像TIを、画像取得部13に対して出力する。画像取得部13は、球面収差補正部20から撮像画像TIとなる複数の画像(TI1〜TI17)を取得する(ステップS120)。基準フォーカス面情報取得部16は、観察者の操作により基準フォーカス面情報TFIを取得する(ステップS130)。具体的には、観察者が観察対処物の像(目視で確認した像や撮像された画像)を見ながら、観察したい部分に対物レンズの焦点を合わせる。このとき、収差補正は行う必要は無い。なお、ステップS120の処理と、ステップS130の処理とは、どちらの処理を先に行っても良い。評価値算出部14は、画像取得部13が取得した撮像画像TI毎に基準フォーカス面情報TFIとの相関関係をそれぞれ算出する。詳細は下記で説明する。
[基準フォーカス面情報TFIと近い絶対位置ZLを選択する方法]
評価値算出部14が、基準フォーカス面情報TFIとフォーカス位置が近い画像を撮像画像TIの中から選択する方法について説明する。基準フォーカス面情報TFIとフォーカス位置が近い画像を撮像画像TIの中から選択する方法には、輝度の空間分布が近い画像を選択する方法がある。輝度の空間分布が近い画像を選択するには、基準フォーカス面情報TFIと撮像画像TIとの相関関係を算出する他に、基準フォーカス面情報TFIと撮像画像TIとの差分を計算する方法などがある。
具体的には、基準フォーカス面情報TFIと同じ焦点位置OFを撮像した画像は、空間分布が近い画像である。空間分布が近い画像とは、撮像した観察対象の形状や配置などが類似した画像である。
評価値算出部14は、基準フォーカス面情報TFIと、撮像画像TIとを、それぞれ輝度の相関関係を算出してもよい。輝度の相関関係は、正規化相互相関などによって算出される。
評価値算出部14は、基準フォーカス面情報TFIと撮像画像TIとの相関をそれぞれ算出し、算出された相関同士を比較してもよい。この場合には、評価値算出部14は、より高い相関を示す撮像画像が、基準フォーカス面情報TFIに撮像された焦点位置OFに近いフォーカス面を撮像したと判定する。
評価値算出部14は、撮像画像TIを形成する複数の画像の中から基準フォーカス面情報TFIとの相関が高い撮像画像を選択する。評価値算出部14は、基準フォーカス面情報TFIとの相関が高い画像が撮像された相対位置ZLにおいて撮像された撮像画像TIの評価値をそれぞれ算出する(ステップS140)。
[基準フォーカス面の変位と対応する補正量CLの算出方法]
図5に示す撮像画像TI8は、評価算出部14により算出された結果に基づき、各撮像画像TIの中から選択された画像である。これは、各撮像画像TIの中において、基準フォーカス面情報TFIに撮像された焦点位置OFに近いフォーカス面を撮像した撮像画像と同じ面を撮像した撮像画像である。言い換えると、撮像画像TI同士は、同じフォーカス面を撮像した画像である。ただし、各撮像画像TIの収差補正の程度は異なるものである。
撮像画像TI8−4は、最初に撮像された撮像画像であり、基準フォーカス面画像である基準画像である。つまり、球面収差補正部20は、絶対位置ZL4及び補正量CL4を撮像した後に、絶対位置ZL及び補正量CLを変化させて撮像画像TIを撮像する。なお、撮像画像TIを撮像を開始する絶対位置ZL及び補正量CLは、どの絶対位置ZL及び補正量CLから撮像を初めてもよく、上述した絶対位置ZL及び補正量CLに限られない。また、撮像画像TI8−4は、撮像画像のうちの対象領域ROIであってもよい。
評価値算出部14は、撮像画像TI8に含まれる撮像画像それぞれの評価値を算出する。具体的には、評価値算出部14は、撮像画像の輝度の統計値、撮像画像の輝度分布、撮像画像のコントラスト、撮像画像の周波数成分、撮像画像の点像分布関数などにより、評価値を算出する。
具体的には、評価値算出部14は、撮像画像の輝度値に基づいて評価値を算出する場合には、撮像画像に含まれる輝度の最大値の比較をすることにより評価値を算出する。
また、評価値算出部14は、コントラストが大きくなるほど、輝度分散値が大きくなるほど、又は、隣接画素との輝度微分値が大きくなるほど、球面収差が良好に補正されていると判断して、評価値を算出する。
評価値算出部14は、撮像画像TI8の画像の空間周波数の周波数成分に基づいて、評価値を算出する場合には、フーリエ変換などにより得られる周波数成分の値を評価値にする。球面収差が良好に補正されるほど、高周波成分の値は大きくなるからである。
評価値算出部14は、点像分布関数に基づいて評価値を算出する場合には、点像分布関数を評価値にする。球面収差が良好に補正されるほど、点像分布関数が小さくなる。
評価値算出部14は、算出した評価値RVを、程度算出部15に対して出力する。程度算出部15は、評価値算出部14から評価値RVを取得する。程度算出部15は、取得した評価値RV同士を補間する。程度算出部15は、補間した結果に基づいて、基準フォーカス面の変位と対応する補正の程度CPを算出する(ステップS150)。程度算出部15は、算出した基準フォーカス面の変位と対応する補正の程度CPを、補正環駆動部22に対して出力する。
なお、球面収差補正算出装置10は、厚みが薄い試料が撮像される場合には、対物レンズ21の絶対位置ZLを算出しなくてもよい。この場合には球面収差補正算出装置10は、絶対位置ZLを算出せずに、評価値の算出から行えばよい。
程度算出部15は、評価値算出部14が算出した評価値RVを補間する。この一例では、程度算出部15は、評価値RV同士を二次曲線フィッティングする。具体的には、程度算出部15は、最小二乗法により、評価値RV同士を二次曲線フィッティングする。なお、程度算出部15は、評価値RVによって、一次関数フィッティングや、指数関数フィッティングによって、評価値RV同士をフィッティングしてもよい。
図6は、評価値RV同士を二次曲線フィッティングした一例を示す図である。
図6に示すグラフは、横軸に補正量CL、縦軸に評価値RVをもつグラフである。
評価値RV1から評価値RV7とは、それぞれ評価値算出部14が算出した評価値RVである。曲線L1とは、二次曲線フィッティングした結果である。曲線L1のうち、ピーク部分の評価値は評価値RVPである。評価値RVPと対応する補正の程度CPとは、基準フォーカス面の変位と対応する補正の程度である。
[第1の実施形態のまとめ]
以上説明したように、球面収差補正算出装置10は、評価値算出部14と程度算出部15とを備える。評価値算出部14は、撮像画像TIから、基準フォーカス面情報TFIと相関が高い撮像画像を選択する。評価値算出部14は、基準フォーカス面情報TFIと相関が高い撮像画像が撮像された絶対位置ZLにおいて撮像された撮像画像TI毎に、評価値RVを算出する。程度算出部15は、評価値算出部14が算出した評価値RVを補間する。程度算出部15は、補間された評価値に基づいて、基準フォーカス面の変位と対応する補正の程度CPを算出する。球面収差補正算出装置10は、基準フォーカス面情報TFIに焦点位置が合う球面収差の補正の程度を算出することができる。つまり、球面収差補正算出装置10は、観察者が所望する焦点位置に合わせて球面収差を補正することができる。
言い換えると、球面収差補正算出装置10は、対物レンズを含む球面収差補正部の球面収差の補正の程度が球面収差補正部のフォーカス面の球面収差補正部の光軸方向の変位に対応付いた球面収差補正光学系を介して、撮像対象と対物レンズとの相対位置が互いに異なる複数の相対位置毎に、互いに異なる複数の補正の程度によって撮像対象が撮像された複数の撮像画像を取得する画像取得部13と、画像取得部13が取得する複数の撮像画像TIのうちから、基準フォーカス面の画像と対応する画像が撮像されている補正量CLが異なる複数の撮像画像TIに基づいて、補正の程度の評価値RVを、複数の撮像画像TI毎にそれぞれ算出する評価値算出部14と、評価値算出部14が算出する複数の評価値RVより曲線を求め、最適な補正量を算出する程度算出部15とを備える装置である。
上述した説明では、撮像対象TPは、厚みがある試料の場合について説明した。この場合には、基準フォーカス面情報TFIは、基準画像に撮像されたフォーカス面である。しかし、撮像対象TPが、ビーズのように厚みが薄い撮像対象TPを観察する場合には、基準フォーカス面情報TFIは撮像画像でなくてもよい。この場合には、球面収差補正部20は、カバーガラスCGと撮像対象TPとが接触する面に焦点位置OFを固定すればよい。評価値算出部14は、対物レンズ21と撮像対象TPとの絶対位置ZLを固定して撮像された撮像画像TIの評価値RVを算出すればよい。
なお、上述した説明では、対物レンズ21が油浸対物レンズ、又は水浸対物レンズなど液浸対物レンズの場合について説明したが、どのような対物レンズであってもよい。つまり、対物レンズ21は、液浸に対応していないドライ対物レンズであってもよい。
上述した、対象領域ROIの縦及び横のピクセル数が、32ピクセルの整数倍の数のピクセルの場合には、評価値算出部14は、対象領域ROI中の空間周波数を、高速フーリエ変換によって算出することができる。この場合には、評価値算出部14は、高速に評価値RVを算出することができる。
なお、上述した説明では、評価値算出部14は、撮像画像の輝度値、撮像画像の輝度分布、撮像画像のコントラスト、撮像画像の空間周波数の周波数成分、撮像画像の点像分布関数などに基づいて評価値を算出する場合について説明した。
評価値算出部14は、空間周波数成分に基づいて評価値を算出する場合には、補正量CLが異なる撮像画像TI毎に、基準フォーカス面情報TFIが示す空間周波数と、撮像画像TIのうちのある撮像画像が示す空間周波数とに基づいて、ある撮像画像についての評価値を算出する。
具体的には、評価値算出部14は、空間周波数のうち所定の帯域の空間周波数に基づいて、評価値を算出する。この一例では、評価値算出部14は、低周波成分と高周波成分との値の比に基づいて評価値を算出する。
[第2の実施形態]
ここまでは、球面収差補正算出装置10が、基準フォーカス面の変位と対応する補正の程度CPを算出する構成について説明した。次に、第2の実施形態の球面収差補正算出装置が、基準フォーカス面の変位と対応する補正の程度CPを固定して、対物レンズ21の基準フォーカス面の変位と対応する相対位置を算出する構成について説明する。なお、第1の実施形態と同一の構成及び動作については同一の符号を付してその説明を省略する。
次に、図7を参照して、球面収差補正算出装置10aの機能構成について説明する。
図7は、第2実施形態の球面収差補正算出装置10aの機能構成の一例を示す図である。
球面収差補正算出装置10aは、制御部12aを備える。制御部12aは、第2の画像取得部130と、撮像状態評価値算出部131と、相対位置算出部132とを備える。
第2の画像取得部130は、第2の撮像画像ZIを撮像部25から取得する。
第2の撮像画像ZIとは、撮像対象TPと対物レンズ21との相対位置が互いに異なる複数の第2の相対位置毎に、程度算出部15が算出した基準フォーカス面の変位と対応する補正の程度CPによって撮像された複数の撮像画像である。
第2の画像取得部130は、撮像部25から取得した第2の撮像画像ZIを、撮像状態評価値算出部131に対して出力する。
撮像状態評価値算出部131は、第2の画像取得部130から第2の撮像画像ZIを取得する。
撮像状態評価値算出部131は、第2の画像取得部130から取得した第2の撮像画像ZIに基づいて、第2の評価値ZVを算出する。第2の評価値ZVとは、撮像対象TPの撮像状態の程度を示す評価値である。撮像対象TPの撮像状態の程度を示す評価値とは、第2の撮像画像ZIの撮像画像の輝度値、撮像画像の輝度分布、撮像画像のコントラスト、撮像画像の周波数成分及び撮像画像の点像分布関数などの評価値である。
撮像状態評価値算出部131は、算出した第2の評価値ZVを、相対位置算出部132に対して出力する。
相対位置算出部132は、撮像状態評価値算出部131から第2の評価値ZVを取得する。相対位置算出部132は、撮像状態評価値算出部131から取得した第2の評価値ZV同士を補間する。相対位置算出部132は、補間した第2の評価値ZVに基づいて、基準フォーカス面の変位と対応する絶対位置ZLPを算出する。相対位置算出部132は、算出した基準フォーカス面の変位と対応する絶対位置ZLPを、対物レンズ駆動部24及び表示部11に対して出力する。
対物レンズ駆動部24は、相対位置算出部132から基準フォーカス面の変位と対応する絶対位置ZLPを取得する。対物レンズ駆動部24は、対物レンズ21と、撮像対象TPとの相対位置を、絶対位置ZLPに調節する。球面収差補正部20は、対物レンズ21が、基準フォーカス面の変位と対応する絶対位置ZLP及び基準フォーカス面の変位と対応する補正の程度CPの状態で、撮像対象TPを撮像する。
表示部11は、相対位置算出部132から基準フォーカス面の変位と対応する絶対位置ZLPを取得する。表示部11は、相対位置算出部132から取得した基準フォーカス面の変位と対応する絶対位置ZLPを表示する。
[球面収差補正算出装置10aの動作の概要]
次に、図8を参照して、球面収差補正算出装置10aの動作の概要について説明する。
図8は、球面収差補正算出装置10aの動作の一例を示す流れ図である。
第2の画像取得部130は、撮像部25から、第2の撮像画像ZIを取得する(ステップS210)。第2の画像取得部130は、撮像部25から取得した第2の撮像画像ZIを、撮像状態評価値算出部131に対して出力する。
撮像状態評価値算出部131は、第2の画像取得部130から第2の撮像画像ZIを取得する。撮像状態評価値算出部131は、第2の画像取得部130から取得した第2の撮像画像ZIの評価値を、第2の評価値ZVとして算出する(ステップS220)。
撮像状態評価値算出部131は、上述した評価値算出部14と同様の方法で、第2の撮像画像ZI毎に第2の評価値ZVを算出する。撮像状態評価値算出部131は、算出した第2の評価値ZVを、相対位置算出部132に対して出力する。
相対位置算出部132は、撮像状態評価値算出部131から第2の評価値ZVを取得する。相対位置算出部132は、取得した第2の評価値ZVを2次元フィッティングにより補間する。相対位置算出部132は、上述した程度算出部15と同様の方法で、第2の評価値ZVを補間する。相対位置算出部132は、補間した第2の評価値ZVから、基準フォーカス面の変位と対応する絶対位置ZLPを算出する(ステップS230)。相対位置算出部132は、補間した第2の評価値ZVのピークと対応する相対位置が、基準フォーカス面の変位と対応する絶対位置ZLPであると算出する。
[第2の実施形態のまとめ]
以上説明したように、球面収差補正算出装置10aは、撮像状態評価値算出部131と、相対位置算出部132とを備える。撮像状態評価値算出部131は、基準フォーカス面の変位と対応する補正の程度CPを固定し、絶対位置ZLが異なる第2の撮像画像ZIの第2の評価値ZVを算出する。相対位置算出部132は、第2の評価値ZV同士を補間し、基準フォーカス面の変位と対応する絶対位置ZLPを算出する。球面収差補正部20は、球面収差補正算出装置10aが算出する基準フォーカス面の変位と対応する補正の程度CP及び基準フォーカス面の変位と対応する絶対位置ZLPに、対物レンズ21を調節する。球面収差補正部20は、基準フォーカス面情報TFIにより近い面に、対物レンズ21の焦点位置を調節することができる。
[評価値の算出順について]
上述の説明では、評価値算出部14は、観察者によって入力される補正環開始位置CB及び撮像開始位置ZBから順に、評価値RVを算出する。
評価値算出部14は、補正環開始位置CBの代わりに、補正環21aが補正できる範囲の中央値近傍の補正の程度によって撮像された撮像画像から順に評価値RVを算出してもよい。具体的には、評価値算出部14は、図5に示す補正量CL4から評価値RVを算出し、補正量CL4から補正量CL7、補正量CL4から補正量CL1の順に評価値RVを算出する。
また、評価値算出部14は、補正量CL4の近傍の補正の程度から評価値RVを算出してもよい。具体的には、評価値算出部14は、CL3及び補正量CL5、補正量CL2及び補正量CL6、補正量CL1及び補正量CL7の順に、評価値RVを算出する。
評価値算出部14は、対物レンズ21の光学特性に基づいて、撮像画像TIのうちから評価値RVを算出する順番を決定してもよい。評価値算出部14は、対物レンズ21の光学特性に基づくと、補正量CLの調節に伴う焦点位置OFの変位と、絶対位置ZLの変化とが対応付けられる。評価値算出部14は、焦点位置OFの変位に基づいて、評価値RVを算出する順番を決定することができる。評価値算出部14は、評価値RVのピークの算出に必要な撮像画像TIの撮像枚数を減らすことができる。球面収差補正部20は、撮像画像TIを撮像する回数を減らすことができる。つまり、撮像対象TPが染色された試料の場合には、基準フォーカス面の変位と対応する補正の程度CPを算出するための撮像による、試料の退色の程度を抑えることができ、より鮮明な撮像画像を撮像することができる。
[基準フォーカス面の変位と対応する補正の程度CPの算出について]
程度算出部15は、評価値算出部14が算出する評価値RV同士を順次補間していき、補完された評価値RVのピークを算出できればよい。程度算出部15は、評価値RVのピークが検出できた時点で処理を終了し、基準フォーカス面の変位と対応する補正の程度CPを算出してもよい。程度算出部15は、ピークが検出できた時点で処理を終了する為、基準フォーカス面の変位と対応する補正の程度CPの算出にかかる時間を短くすることができる。
[絶対位置ZLの調節について]
上述した説明では、対物レンズ21と撮像画像TIとの絶対位置ZLは、対物レンズ21を対物レンズ駆動部24が駆動することにより調節する構成について説明したが、ステージ23を光軸OA方向に移動させて調節してもよい。ステージ23を調節する場合には、球面収差補正部20はステージ駆動部(不図示)を備える。この場合には、ステージ駆動部は、基準フォーカス面の変位と対応する絶対位置ZLPを取得すると、ステージ23を駆動させる。ステージ23が駆動されると、対物レンズ21と撮像対象TPとの絶対位置ZLが調節される。なお、ステージの上下動駆動機構は、一般的な顕微鏡のステージ上下動機構が使用できる。例えば、カム機構や歯車と歯車にかみ合う係合部材が使用できる。また、対物レンズ側を光軸方向に移動させる機構も一般的な顕微鏡で用いられている機構を使用できる。例えば、歯車と係合部材、リンク機構による上下動機構、カム機構などが使用できる。
次に、球面収差補正部20を備える顕微鏡について説明する。
顕微鏡は、球面収差補正光学系を有する対物レンズと、撮像対象物を載置するステージと、画像群生成部を備える。ここで、顕微鏡とは、画像群生成装置の一例である。
画像群生成部は、第一の画像群と、第二の画像群とを含む画像群を生成する。画像群生成部とは、図7の例えば画像取得部13内に設けられる装置である。また、画像生成装置とは、画像取得部を有する装置である。
第一の画像群は、第一の収差補正量で球面収差補正光学系を調整した状態で、対物レンズとステージの相対距離を変えながら、撮像対象物を連写することで得られる。相対距離とは、対物レンズとステージとの間隔であり、対物レンズとステージの各位置とを対象とすれば相対位置と同義である。
第二の画像群は、第二の収差補正量で球面収差補正光学系を調整した状態で、対物レンズとステージとの相対距離を変えながら、撮像対象物を連写することで得られる。なお、第1の画像群とは、図5において、例えば撮像画像TI1であり、第2の画像群とは、例えば撮像画像TI2である。
連写とは、上述した図5の補正量CL1の補正の程度において撮像され、各対物レンズの位置ZLを各位置で停止して、異なる対物レンズの位置ZLの画像を続けて撮像することである。
画像群生成部とは、上述した図7の例えば画像取得部13内に設けられる装置である。また、画像生成装置とは、画像取得部を有する装置である。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の球面収差補正算出装置10及び球面収差補正算出装置10aは内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
10…球面収差補正算出装置、11…表示部、12,12a…制御部、13…画像取得部、14…評価値算出部、15…程度算出部、16…基準フォーカス面情報取得部、17…操作検出部、20…球面収差補正部、21…対物レンズ、21a…補正環、22…補正環駆動部、23…ステージ、24…対物レンズ駆動部、25…撮像部、100…球面収差補正光学系システム、130…第2の画像取得部、131…撮像状態評価値算出部、132…相対位置算出部

Claims (11)

  1. 球面収差補正光学系を有する対物レンズと、
    撮像対象物を載置するステージと、
    第一の収差補正量で前記球面収差補正光学系を調整した状態で、前記対物レンズと前記ステージの相対距離を変えながら、前記撮像対象物を連写することで得られる第一の画像群と、
    第二の収差補正量で前記球面収差補正光学系を調整した状態で、前記対物レンズと前記ステージの相対距離を変えながら、前記撮像対象物を連写することで得られる第二の画像群と
    を含む画像群を生成する画像群生成部と
    を備える画像群生成装置。
  2. 請求項1に記載の前記画像群生成装置と、
    前記画像群を構成する前記画像ごとの評価値を算出する評価値算出部と、
    前記評価値に基づいて、前記収差補正量の最適値を求める収差補正量算出部と
    を更に備える球面収差補正算出装置。
  3. 前記評価値算出部は、
    前記画像群の中から予め定めた基準画像に更に基づいて評価値を算出し、
    前記基準画像とは、前記対物レンズの収差補正量を任意の収差補正量に設定し、前記撮像対象物に前記対物レンズの焦点が合った状態で撮像された観察位置の画像である
    請求項2に記載の球面収差補正算出装置。
  4. 前記収差補正量算出部は、
    前記評価値算出部が算出する複数の前記評価値同士を補間して前記収差補正量を算出する
    請求項2又は請求項3に記載の球面収差補正算出装置。
  5. 前記評価値算出部は、
    前記収差補正量が異なる複数の前記撮像画像毎に、
    前記基準画像が示す空間周波数と、複数の前記撮像画像のうちのある前記撮像画像が示す空間周波数とに基づいて評価値を算出する
    請求項2から請求項4の何れか一項に記載の球面収差補正算出装置。
  6. 前記評価値算出部は、
    前記空間周波数のうち所定の帯域の空間周波数に基づいて、前記評価値を算出する、
    請求項5に記載の球面収差補正算出装置。
  7. 請求項2から請求項6のいずれかの前記評価値算出部で算出された評価値に基づいて、前記対物レンズの球面収差補正光学系を光軸方向に移動する収差補正光学系の駆動部を備える顕微鏡。
  8. 前記顕微鏡は、前記駆動部による収差補正光学系を移動した後に前記対物レンズと前記ステージの相対位置を光軸方向に移動させる駆動部を備える
    請求項7に記載の顕微鏡。
  9. コンピュータに
    球面収差補正光学系を有する対物レンズと、
    撮像対象物を載置するステージと、
    第一の収差補正量で前記球面収差補正光学系を調整した状態で、前記対物レンズと前記ステージの相対距離を変えながら、前記撮像対象物を連写することで得られる第一の画像群と、
    第二の収差補正量で前記球面収差補正光学系を調整した状態で、前記対物レンズと前記ステージの相対距離を変えながら、前記撮像対象物を連写することで得られる第二の画像群と
    を含む画像群を生成する画像群生成ステップ
    を実行させるための画像群生成プログラム。
  10. コンピュータに
    複数の収差補正量で対物レンズとステージの相対位置を光軸方向に変更し撮像した画像群の中から予め定めた基準画像に基づき異なる収差補正量で撮像された撮像画像を複数抽出し、前記抽出した各撮像画像の評価値を算出するステップと、
    前記各評価値を基に前記収差補正量を算出するステップと
    を実行させるための球面収差補正算出プログラム。
  11. 複数の収差補正量で対物レンズとステージの相対位置を光軸方向に変更し撮像した画像群の中から予め定めた基準画像に基づき異なる収差補正量で撮像された撮像画像を複数抽出し、前記抽出した各撮像画像の評価値を算出し、
    前記各評価値を基に前記収差補正量を算出する
    球面収差補正算出方法。
JP2018549664A 2016-11-08 2016-11-08 球面収差補正算出装置、顕微鏡、球面収差補正算出プログラム及び球面収差補正算出方法 Active JP6822483B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/083146 WO2018087820A1 (ja) 2016-11-08 2016-11-08 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法

Publications (2)

Publication Number Publication Date
JPWO2018087820A1 true JPWO2018087820A1 (ja) 2019-09-26
JP6822483B2 JP6822483B2 (ja) 2021-01-27

Family

ID=62109720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549664A Active JP6822483B2 (ja) 2016-11-08 2016-11-08 球面収差補正算出装置、顕微鏡、球面収差補正算出プログラム及び球面収差補正算出方法

Country Status (2)

Country Link
JP (1) JP6822483B2 (ja)
WO (1) WO2018087820A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706697A (zh) * 2021-09-06 2021-11-26 北京航空航天大学 一种球形目标物射击精度的确定方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969134B2 (ja) * 2017-03-31 2021-11-24 株式会社ニコン 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法
JP7081318B2 (ja) * 2018-06-12 2022-06-07 株式会社ニコン 顕微鏡、方法、及びプログラム
US11194146B2 (en) * 2019-02-06 2021-12-07 Molecular Devices, Llc Imaging system and method using a projected reference to guide adjustment of a correction optic

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム
JP2016114795A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、設定値算出方法、及び、プログラム
JP2016114796A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、関数算出方法、及び、プログラム
JP2016114797A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5736783B2 (ja) * 2011-01-13 2015-06-17 ソニー株式会社 顕微鏡装置及び球面収差補正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160213A (ja) * 2013-02-20 2014-09-04 Olympus Corp 顕微鏡システム及びプログラム
JP2016114795A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、設定値算出方法、及び、プログラム
JP2016114796A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、関数算出方法、及び、プログラム
JP2016114797A (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706697A (zh) * 2021-09-06 2021-11-26 北京航空航天大学 一种球形目标物射击精度的确定方法及系统
CN113706697B (zh) * 2021-09-06 2023-05-12 北京航空航天大学 一种球形目标物射击精度的确定方法及系统

Also Published As

Publication number Publication date
JP6822483B2 (ja) 2021-01-27
WO2018087820A1 (ja) 2018-05-17

Similar Documents

Publication Publication Date Title
JP5381984B2 (ja) 顕微鏡装置および顕微鏡装置制御プログラム
WO2018087820A1 (ja) 画像群生成装置、球面収差補正算出装置、顕微鏡、プログラム及び球面収差補正算出方法
US20120105612A1 (en) Imaging apparatus, endoscope apparatus, and image generation method
EP3035104B1 (en) Microscope system and setting value calculation method
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
US10725278B2 (en) Microscope, observation method, and storage medium
JP2008046305A (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP2018000102A (ja) 撮影装置および方法並びに撮影制御プログラム
JP6969134B2 (ja) 補正量算出装置、顕微鏡、補正量算出プログラム、補正量算出方法
JP2005275199A (ja) 3次元共焦点顕微鏡システム
Chowdhury et al. An interacting multiple model filter‐based autofocus strategy for confocal time‐lapse microscopy
JP2018194780A (ja) 顕微鏡システム、制御方法、及び、プログラム
US11215808B2 (en) Microscope parameter setting method and observation method recognizing the shape of a cell
JP5581690B2 (ja) 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
US10823675B2 (en) Microscope, observation method, and a storage medium
JP6861842B2 (ja) 観察装置および方法並びに観察装置制御プログラム
EP3779555A1 (en) Sample observation device
JPWO2019202979A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP2018017970A (ja) 光シート顕微鏡、及び、光シート顕微鏡の制御方法
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6822483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250