JP6684684B2 - 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置 - Google Patents

試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置 Download PDF

Info

Publication number
JP6684684B2
JP6684684B2 JP2016183669A JP2016183669A JP6684684B2 JP 6684684 B2 JP6684684 B2 JP 6684684B2 JP 2016183669 A JP2016183669 A JP 2016183669A JP 2016183669 A JP2016183669 A JP 2016183669A JP 6684684 B2 JP6684684 B2 JP 6684684B2
Authority
JP
Japan
Prior art keywords
sample container
coordinates
imaging
sample
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016183669A
Other languages
English (en)
Other versions
JP2018048869A (ja
Inventor
疋田　雄一郎
雄一郎 疋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2016183669A priority Critical patent/JP6684684B2/ja
Priority to US16/317,453 priority patent/US10690490B2/en
Priority to PCT/JP2017/015551 priority patent/WO2018055823A1/ja
Priority to EP17852604.2A priority patent/EP3517886B1/en
Priority to CN201780047773.7A priority patent/CN109642785B/zh
Publication of JP2018048869A publication Critical patent/JP2018048869A/ja
Application granted granted Critical
Publication of JP6684684B2 publication Critical patent/JP6684684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Description

本発明は、ウェルプレート等の試料容器がステージ上に載置された際の位置ずれを検出する方法に関する。
従来より、医療・創薬などの分野において、「ウェルプレート」，「マイクロプレート」などと呼ばれる試料容器で培養された細胞等を試料として観察することが行われている。そのような試料容器にはウェルと呼ばれるくぼみ状の複数の試料収納部が形成されており、一般に試料は液体状の培地とともにウェルに注入されている。近年、そのような試料をＣＣＤカメラ等を搭載した撮像装置によって撮像し、撮像によって得られた画像データを用いて試料を観察することが行われている。例えば、がんの創薬研究において、培地としての液体（培養液）とともにウェルに注入されたがん細胞を撮像装置で撮像することによって、がん細胞の観察や分析がなされている。
図２３は、ウェルプレート２０の一例を示す斜視図である。図２３に示す例では、２４個のウェル２１がウェルプレート２０に設けられている。撮像装置による撮像が行われる際、このようなウェルプレート２０が、作業者によってステージ上の所定の位置に載置（セット）される。より詳しくは、例えば図２４に示すようにステージ１２にはウェルプレート２０を保持するためのホルダ１２１が形成されており、作業者によってウェルプレート２０がホルダ１２１に載置される。
ところで、通常、作業者は、図２５で符号９０で示す部分のようにウェルプレート２０の角をホルダ１２１の角に合わせるようにしてウェルプレート２０の載置を行う。これにより、ウェルプレート２０は理想的な状態でホルダ１２１内に保持され、所望の撮像画像が得られる。ところが、作業者がウェルプレート２０の載置を雑に行った場合や撮像開始までに何らかの外力がウェルプレート２０に加わった場合など、撮像開始時にウェルプレート２０がホルダ１２１内で理想的な状態で保持されていないことがある。例えば、図２６に示すように、撮像開始時にウェルプレート２０が理想的な状態から斜めに歪んだ状態（理想的な状態から回転した状態）になっていることがある。このような位置ずれが生じた状態で撮像が行われると、例えば所望の範囲とは異なる範囲の画像が得られるなど所望の撮像画像が得られない。
上述のような位置ずれに対処する手法としては、例えば、パターンマッチングを用いる手法（以下、「第１の従来手法」という。）が知られている。第１の従来手法では、位置ずれが生じた状態での撮像画像と予め登録されたテンプレート画像とを用いて正規化相関などのパターンマッチングを行うことによって実際のウェルの中心位置が求められる。また、特開平１０−２７２４６号公報に開示された手法（以下、「第２の従来手法」という。）によれば、撮像画像およびテンプレート画像を２値化したそれぞれの２値化画像の特徴箇所の重心が求められ、重心の並びから求められるそれぞれの回帰直線に基づいて撮像画像とテンプレート画像との間の角度や並行変位量が求められる。
特開平１０−２７２４６号公報
ところが、第１の従来手法や第２の従来手法によれば、例えば、培養中の細胞の増殖によってウェルの撮像画像が変化したり、培養液の量によって撮像画像の明るさが変動したりする。このように安定した撮像画像が得られず、ロバスト性が低いため、精度良く位置ずれを検出することができない。また、医療・創薬などの分野で使用される撮像装置については高解像度化が進んでいるため、ウェルの撮像で得られる画像のデータ量は増大傾向にある。このため、第１の従来手法や第２の従来手法のようにテンプレート画像を用いた手法を採用した場合、今後、記憶容量の圧迫・不足や処理時間の増大が懸念される。
そこで、本発明は、撮像装置に載置された試料容器の位置ずれを処理に必要なデータ量を増大させることなく高速に精度良く検出する方法を提供することを目的とする。
第１の発明は、複数の試料収納部を有する試料容器が撮像装置の試料容器保持部に載置された際の前記試料容器の理想的な載置状態からの位置ずれ量を検出する、試料容器の位置ずれ検出方法であって、
前記複数の試料収納部の中から２つの試料収納部を位置ずれ検出用試料収納部として選択する試料収納部選択ステップと、
各位置ずれ検出用試料収納部につき、理想的な載置状態における上端、下端、左端、および右端の座標である論理エッジ座標を算出する論理エッジ座標算出ステップと、
前記論理エッジ座標算出ステップで算出された各論理エッジ座標を中心位置として所定範囲の撮像を行う撮像ステップと、
各位置ずれ検出用試料収納部につき、前記撮像ステップでの撮像で得られた上端側、下端側、左端側、および右端側の各撮像画像に対して２つの領域間の分離度を求める分離度フィルタを当該分離度フィルタの中心位置をずらしつつ適用し、各撮像画像について分離度のピーク値が得られたときの当該分離度フィルタの中心位置の座標を仮エッジ座標として検出する仮エッジ座標検出ステップと、
各位置ずれ検出用試料収納部につき、前記仮エッジ座標検出ステップで検出された上端側、下端側、左端側、および右端側の仮エッジ座標に基づいて実際の中心座標を算出する中心座標算出ステップと、
前記中心座標算出ステップで算出された各位置ずれ検出用試料収納部の中心座標に基づいて、前記試料容器の理想的な載置状態からの位置ずれ量を算出する位置ずれ量算出ステップと
を含むことを特徴とする。
第２の発明は、第１の発明において、
前記試料容器の形状は矩形であって、
前記試料容器の長手方向に沿って一列に配置された一群の試料収納部を行と定義したとき、前記試料収納部選択ステップでは、同じ行に属し、かつ、最も離れた位置に配置された２つの試料収納部が前記位置ずれ検出用試料収納部として選択されることを特徴とする。
第３の発明は、第１または第２の発明において、
前記仮エッジ座標検出ステップでは、前記分離度フィルタとして、２つの矩形領域間の分離度を求める矩形分離度フィルタが用いられることを特徴とする。
第４の発明は、第３の発明において、
前記仮エッジ座標検出ステップでは、
前記位置ずれ検出用試料収納部の上端側または下端側についての仮エッジ座標の検出が行われる際には、当該位置ずれ検出用試料収納部の上端側の論理エッジ座標と当該位置ずれ検出用試料収納部の下端側の論理エッジ座標とを結ぶ直線上で前記矩形分離度フィルタの中心位置を移動させつつ分離度が求められ、
前記位置ずれ検出用試料収納部の左端側または右端側についての仮エッジ座標の検出が行われる際には、当該位置ずれ検出用試料収納部の左端側の論理エッジ座標と当該位置ずれ検出用試料収納部の右端側の論理エッジ座標とを結ぶ直線上で前記矩形分離度フィルタの中心位置を移動させつつ分離度が求められることを特徴とする。
第５の発明は、第１から第４までのいずれかの発明において、
前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出されることを特徴とする。
第６の発明は、第５の発明において、
前記試料収納部選択ステップで選択された２つの試料収納部の一方を第１の位置ずれ検出用試料収納部，他方を第２の位置ずれ検出用試料収納部と定義し、理想的な載置状態における前記第１の位置ずれ検出用試料収納部の中心座標および前記第２の位置ずれ検出用試料収納部の中心座標をそれぞれ第１の理想中心座標および第２の理想中心座標と定義し、前記中心座標算出ステップで算出された前記第１の位置ずれ検出用試料収納部の中心座標および前記第２の位置ずれ検出用試料収納部の中心座標をそれぞれ第１の実中心座標および第２の実中心座標と定義したとき、前記位置ずれ量算出ステップでは、前記位置ずれ量として、前記第１の理想中心座標と前記第１の実中心座標との間の変位の大きさを表す並行変位量と、前記第１の理想中心座標と前記第２の理想中心座標とを結ぶ直線と前記第１の実中心座標と前記第２の実中心座標とを結ぶ直線とのなす角度とが算出されることを特徴とする。
第７の発明は、第１から第６までのいずれかの発明において、
前記仮エッジ座標検出ステップにおいて分離度のピーク値が正常に得られない撮像画像が存在したとき、前記撮像装置が警告の表示を行うことを特徴とする。
第８の発明は、
複数の試料収納部を有する試料容器を撮像装置によって撮像する撮像方法であって、
第１の発明に係る位置ずれ検出方法を用いて得られた位置ずれ量に基づいて、前記撮像装置の状態を撮像を開始するための状態に調整する調整ステップと、
前記試料容器の撮像を行う試料容器撮像ステップと
を含むことを特徴とする。
第９の発明は、第８の発明において、
前記撮像装置に設けられた撮像部は、移動可能に構成され、
前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出され、
前記調整ステップでは、前記位置ずれ量算出ステップで算出された並行変位量に基づいて、前記撮像部の撮像開始位置の調整が行われ、
前記試料容器撮像ステップでは、前記位置ずれ量算出ステップで算出された角度に従って前記撮像部を移動させながら前記試料容器の撮像が行われることを特徴とする。
第１０の発明は、第８の発明において、
前記試料容器保持部は、移動可能かつ回転可能に構成され、
前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出され、
前記調整ステップでは、前記位置ずれ量算出ステップで算出された角度に基づいて前記試料容器保持部の回転が行われるとともに前記位置ずれ量算出ステップで算出された並行変位量に基づいて前記試料容器保持部の移動が行われ、
前記試料容器撮像ステップでは、前記撮像装置に設けられた撮像部に対して前記試料容器保持部を相対的に移動させながら前記試料容器の撮像が行われることを特徴とする。
第１１の発明は、第８の発明において、
前記撮像装置に設けられた撮像部は、移動可能に構成され、
前記試料容器保持部は、移動可能かつ回転可能に構成され、
前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出され、
前記調整ステップでは、前記位置ずれ量算出ステップで算出された角度に基づいて前記試料容器保持部の回転が行われるとともに前記位置ずれ量算出ステップで算出された並行変位量に基づいて前記試料容器保持部の移動が行われ、
前記試料容器撮像ステップでは、前記撮像部を移動させながら前記試料容器の撮像が行われることを特徴とする。
第１２の発明は、複数の試料収納部を有する試料容器が試料容器保持部に載置された際の前記試料容器の理想的な載置状態からの位置ずれ量を検出する、試料容器の位置ずれ検出装置であって、
前記複数の試料収納部の中から２つの試料収納部を位置ずれ検出用試料収納部として選択する試料収納部選択手段と、
各位置ずれ検出用試料収納部につき、理想的な載置状態における上端、下端、左端、および右端の座標である論理エッジ座標を算出する論理エッジ座標算出手段と、
前記論理エッジ座標算出手段によって算出された各論理エッジ座標を中心位置として所定範囲の撮像を行う撮像手段と、
各位置ずれ検出用試料収納部につき、前記撮像手段による撮像で得られた上端側、下端側、左端側、および右端側の各撮像画像に対して２つの領域間の分離度を求める分離度フィルタを当該分離度フィルタの中心位置をずらしつつ適用し、各撮像画像について分離度のピーク値が得られたときの当該分離度フィルタの中心位置の座標を仮エッジ座標として検出する仮エッジ座標検出手段と、
各位置ずれ検出用試料収納部につき、前記仮エッジ座標検出手段によって検出された上端側、下端側、左端側、および右端側の仮エッジ座標に基づいて実際の中心座標を算出する中心座標算出手段と、
前記中心座標算出手段によって算出された各位置ずれ検出用試料収納部の中心座標に基づいて、前記試料容器の理想的な載置状態からの位置ずれ量を算出する位置ずれ量算出手段と
を備えることを特徴とする。
上記第１の発明によれば、試料容器の位置ずれを検出するために用いられる２つの試料収納部（位置ずれ検出用試料収納部）の実際の中心座標は、エッジ近傍領域の撮像画像に対して分離度フィルタを適用することによって検出される仮エッジ座標に基づいて算出される。ここで、分離度フィルタを用いた処理で分離度のピーク値が得られたときの分離度フィルタの中心位置の座標が仮エッジ座標とされるところ、試料収納部内の細胞や培養液の状態に関わらず、分離度フィルタの中心位置が試料収納部のエッジ近傍にある時に分離度は最大となる。従って、同じような位置ずれが生じている場合、試料収納部内の細胞や培養液の状態に関わらず、一定の座標が仮エッジ座標として検出される。すなわち、たとえ撮像対象毎の培養液の量の違いや細胞増殖などに起因して安定した撮像画像が得られなくても、精度良く仮エッジ座標が検出される。このような仮エッジ座標に基づいて２つの試料収納部の実際の中心座標が求められるので、位置ずれ量の算出が精度良く行われる。また、位置ずれの検出に必要とされる撮像画像は合計８箇所のエッジ近傍領域の撮像画像だけであり、テンプレート画像を用いた処理は行われない。このため、処理に必要なデータ量を増大させることなく高速に位置ずれを検出することができる。以上のように、撮像装置の試料容器保持部に載置された試料容器の位置ずれを処理に必要なデータ量を増大させることなく高速に精度良く検出することが可能となる。
上記第２の発明によれば、位置ずれの検出精度が高められる。
上記第３の発明によれば、複雑な処理を要することなく仮エッジ座標が検出される。
上記第４の発明によれば、仮エッジ座標の検出精度が高められる。
上記第５の発明によれば、位置ずれ量として並行変位量および角度が算出されるので、算出結果に基づいて所望の撮像画像が得られるよう撮像装置を動作させることが可能となる。
上記第６の発明によれば、上記第５の発明と同様の効果が得られる。
上記第７の発明によれば、試料容器の位置ずれの程度が大きい場合に例えば作業者に試料容器保持部への試料容器の載置のやり直しを促すことが可能となる。
上記第８の発明によれば、試料容器の位置ずれを考慮して当該試料容器の撮像が行われる。このため、試料容器の撮像が行われる際に当該試料容器に位置ずれが生じていても、無駄な撮像が行われることなく、所望の撮像画像が得られる。
上記第９の発明によれば、試料容器の撮像が行われる際に当該試料容器に位置ずれが生じていても、作業者による試料容器保持部への試料容器の載置のやり直しを要することなく、所望の撮像画像が得られる。また、試料容器に位置ずれが生じているときに、当該試料容器を移動させることなく撮像部による撮像が行われるので、細胞等にダメージを及ぼすことなく所望の撮像画像が得られる。
上記第１０の発明によれば、試料容器の撮像が行われる際に当該試料容器に位置ずれが生じていても、作業者による試料容器保持部への試料容器の載置のやり直しを要することなく、所望の撮像画像が得られる。
上記第１１の発明によれば、上記第１０の発明と同様の効果が得られる。
上記第１２の発明によれば、上記第１の発明と同様の効果が得られる。
ウェルのエッジについて説明するための図である。 本発明の一実施形態に係る撮像装置の構成を示す図である。 上記実施形態において、位置ずれ検出処理の手順を示すフローチャートである。 上記実施形態において、位置ずれ検出用ウェルの選択について説明するための図である。 上記実施形態において、丸型ウェルが採用されている場合における論理エッジ座標の算出について説明するための図である。 上記実施形態において、角丸正方形型ウェルが採用されている場合における論理エッジ座標の算出について説明するための図である。 上記実施形態において、矩形分離度フィルタについて説明するための図である。 上記実施形態において、矩形分離度フィルタを用いた分離度の算出について説明するための図である。 上記実施形態において、仮エッジ座標を検出する際の矩形分離度フィルタの移動について説明するための図である。 上記実施形態において、分離度の算出結果をグラフで表した図である。 上記実施形態において、図４において符号Ａ１で示すウェルの下エッジ側の仮エッジ座標の検出について説明するための図である。 上記実施形態において、仮エッジ座標の検出について説明するための図である。 上記実施形態において、仮エッジ座標の検出について説明するための図である。 上記実施形態において、仮エッジ座標の検出について説明するための図である。 上記実施形態において、位置ずれ検出用ウェルの実際の中心座標の算出について説明するための図である。 上記実施形態において、位置ずれ検出用ウェルの実際の中心座標の算出について説明するための図である。 上記実施形態において、位置ずれ検出用ウェルの実際の中心座標の算出について説明するための図である。 上記実施形態において、仮エッジ座標が実際の位置ずれ検出用ウェルのエッジ上の位置とは異なる位置の座標となっても位置ずれ検出用ウェルの実際の中心座標が正しく検出されることを説明するための図である。 上記実施形態において、仮エッジ座標が実際の位置ずれ検出用ウェルのエッジ上の位置とは異なる位置の座標となっても位置ずれ検出用ウェルの実際の中心座標が正しく検出されることを説明するための図である。 上記実施形態において、位置ずれの程度を表す並行変位量および角度の算出について説明するための図である。 上記実施形態において、位置ずれの程度を表す並行変位量および角度の算出について説明するための図である。 上記実施形態において、位置ずれ量検出後の撮像手順を示すフローチャートである。 ウェルプレートの一例を示す斜視図である。 ウェルプレートを保持するためのホルダについて説明するための図である。 ウェルプレートの理想的な載置状態について説明するための図である。 ウェルプレートが理想的な載置状態から斜めに歪んだ状態になっている様子を示す図である。
以下、添付図面を参照しつつ本発明の一実施形態について説明する。なお、以下の説明では、「左上隅に座標系の原点があり、ウェルプレート２０がホルダ１２１に理想的に載置された場合に、当該ウェルプレート２０の長手方向がＸ軸と平行になり、当該ウェルプレート２０の短手方向がＹ軸と平行になる」と仮定する。また、一般的にはウェル２１の端部（周縁部）全体（例えば、丸型ウェルの場合、外形を形成する円全体）が「エッジ」と呼ばれているが、以下の説明では、各ウェル２１に関し、図１に示すように、Ｙ座標が最も小さいエッジ部分のことを「上エッジ」といい、Ｙ座標が最も大きいエッジ部分のことを「下エッジ」といい、Ｘ座標が最も小さいエッジ部分のことを「左エッジ」といい、Ｘ座標が最も大きいエッジ部分のことを「右エッジ」という。また、「上エッジ」、「下エッジ」、「左エッジ」、および「右エッジ」を総称して便宜上「エンドエッジ」という。
＜１．撮像装置の構成＞
図２は、本発明の一実施形態に係る撮像装置１０の構成を示す図である。この撮像装置１０は、試料容器としてのウェルプレート２０に形成されているウェル２１内で培養されている細胞、細胞コロニー、細菌等（以下、これらをまとめて「細胞等」という。）の試料を撮像するための装置である。ウェルプレート２０は、平板状の形状を有している。ウェルプレート２０には、上面側に開口を有し下面側に透明の底面を有する試料収納部としての複数個（例えば、６個、２４個、９６個、３８４個など）のウェル２１が配列されている。ウェル２１の形状については、典型的には、断面は円形状であって、底面は平坦状になっている。但し、ウェル２１の断面および底面の形状はこれには限定されない。各ウェル２１には、細胞等に生育環境を提供する培地としての液体（培養液）が所定量注入される。各ウェル２１に注入される液体の量は、一般的には５０〜２００マイクロリットル程度である。
図２に示すように、この撮像装置１０は、撮像用の光を出射する光源１１と、ウェルプレート２０が載置されるステージ１２と、ウェル２１内の試料（細胞等）の撮像を行う撮像ユニット１３と、撮像の際に撮像ユニット１３を移動させるカメラ駆動機構１４と、光源１１，撮像ユニット１３，およびカメラ駆動機構１４の動作を制御する制御部１５とを備えている。図２４に示したように、ステージ１２には、撮像の際にウェルプレート２０を保持するためのホルダ１２１が形成されている。なお、このホルダ１２１によって試料容器保持部が実現されている。光源１１は、この撮像装置１０の上部に配置されている。ステージ１２は光源１１の下方に配置され、撮像ユニット１３はステージ１２の下方に配置されている。
光源１１は、制御部１５内の光源制御部１５２から与えられる制御指令に基づき、ホルダ１２１に保持されているウェルプレート２０の上方からウェル２１に対して光Ｌを照射する。照射される光Ｌは可視光であって、典型的には白色光である。なお、赤色，緑色，および青色の光源を個別に点灯させ特定の色の光を照射した状態で撮像が行われることもある。
撮像装置１０による撮像が行われる際、試料（細胞等）および培地を保持する複数のウェル２１からなるウェルプレート２０は、ステージ１２に形成されているホルダ１２１内に保持される。ホルダ１２１は、ウェルプレート２０の下面周縁部に当接してウェルプレート２０を略水平姿勢に保持する。
撮像ユニット１３は、光源１１から出射されてホルダ１２１に保持されたウェルプレート２０の下方に透過してくる透過光Ｌｔを受光することによって、ウェルプレート２０の画像を撮像する。撮像ユニット１３はカメラ駆動機構１４に連結されており、カメラ駆動機構１４の動作によって撮像ユニット１３はウェルプレート２０の下面に沿って水平移動する。すなわち、撮像ユニット１３がウェルプレート２０の下面に沿って走査移動可能となっている。但し、撮像ユニット１３とウェルプレート２０との間の相対移動が実現されれば良く、移動可能なステージ１２を用いた構成を採用することにより撮像の際にウェルプレート２０を移動させるようにしてもよい。なお、図２では光源１１がウェルプレート２０の全面に光を照射しているように図示しているが、撮像ユニット１３による撮像対象のウェル２１だけに光を照射するものもある。また、撮像ユニット１３と同期して光源１１が移動するものもある。
カメラ駆動機構１４は、制御部１５内の撮像制御部１５３から与えられる制御指令に基づき、撮像ユニット１３を水平方向に移動させる。
制御部１５は、ＣＰＵ１５１、光源制御部１５２、撮像制御部１５３、ＡＤコンバータ（Ａ／Ｄ）１５４、記憶部１５５、およびインタフェース部１５６を備えている。ＣＰＵ１５１は、制御部１５内の各構成要素の動作の制御や各種演算処理を行う。光源制御部１５２は、光源１１の点灯状態を制御する。撮像制御部１５３は、所定の走査移動レシピに従って撮像対象物の撮像が行われるよう、撮像ユニット１３およびカメラ駆動機構１４の動作を制御する。ＡＤコンバータ（Ａ／Ｄ）１５４は、撮像ユニット１３による撮像で得られた画像信号（アナログデータ）を受け取り、それをデジタル画像データに変換する。記憶部１５５は、そのデジタル画像データを保持する。そのデジタル画像データに基づき、ＣＰＵ１５１は適宜の画像処理を実行する。インタフェース部１５６は、作業者からの操作入力を受け付ける機能、作業者への処理結果等の情報表示を行う機能、通信回線を介して他の装置との間でのデータ通信を行う機能などを有している。なお、インタフェース部１５６には、操作入力を受け付ける入力受付部（キーボードやマウスなど）、情報表示を行う表示部、通信回線などが接続されている。
＜２．位置ずれ検出処理＞
本実施形態に係る撮像装置１０では、ウェルプレート２０がホルダ１２１内で理想的な載置状態からどれだけずれた状態で保持されているのかを検出する（並行変位量および角度を検出する）位置ずれ検出処理が行われる。そして、位置ずれ検出処理で検出された並行変位量および角度を考慮して、目的とする撮像画像を得るための撮像が行われる。なお、位置ずれ検出処理は、例えば、制御部１５の記憶部１５５内に保持された位置ずれ検出処理用のプログラムをＣＰＵ１５１が実行することによって行われる。
図３は、本実施形態における位置ずれ検出処理の手順を示すフローチャートである。まず、この位置ずれ検出処理で用いる２つのウェル２１の選択が行われる（ステップＳ１０）。但し、３つ以上のウェル２１を選択して後述するステップで正常に中心座標が算出されたウェル２１の情報に基づいて位置ずれ量（並行変位量および角度）を求めるようにしても良いし、また、複数のウェル２１の中心座標に基づく多数の位置ずれ量の算出結果の中から最も確からしい結果を位置ずれ量（並行変位量および角度）の検出結果として採用するようにしても良い。以下、このステップＳ１０で選択されるウェル２１のことを「位置ずれ検出用ウェル」という。一般に、ウェルプレート２０の形状は、図２３に示したように矩形である。ここで、長手方向に沿って一列に配置された一群のウェル２１を「行」と定義し、短手方向に沿って一列に配置された一群のウェル２１を「列」と定義する。ステップＳ１０では、ウェルプレート２０内の任意の２つのウェル２１を位置ずれ検出用ウェルとして選択することができるが、位置ずれの検出精度を高めるという観点からは、同じ行に属し、かつ、最も離れた位置に配置された２つのウェル２１を位置ずれ検出用ウェルとして選択することが好ましい。
例えば、２４個のウェル２１を有するウェルプレート２０に関し、図４に示すように行番号および列番号が割り当てられていると仮定する。なお、図４では、行番号と列番号とを組み合わせた符号をウェルに付している。図４に示す例の場合、位置ずれの検出精度を高めるという観点から、位置ずれ検出用ウェルとして、ウェルＡ１とウェルＡ６とが選択されても良いし、ウェルＢ１とウェルＢ６とが選択されても良いし、ウェルＣ１とウェルＣ６とが選択されても良いし、ウェルＤ１とウェルＤ６とが選択されても良い。
ところで、撮像装置１０の制御部１５内の記憶部１５５には、ウェルプレート２０の種類（型番）毎に、ウェル２１の個数、ウェル２１のサイズ、隣接する２つのウェル２１の間隔などの情報を記述した定義ファイルが保持されている。この定義ファイルに基づき、ウェルプレート２０の種類毎に、どの２つのウェル２１を位置ずれ検出用ウェルとして選択すれば良いのかを予め定めておくことができる。従って、この位置ずれ検出処理が実際に行われる際には、ホルダ１２１に保持されているウェルプレート２０の種類（種類の情報は、作業開始時に制御部１５に入力される）に応じて、予め定められた２つのウェル２１が位置ずれ検出用ウェルとして選択されるようにすれば良い。但し、この位置ずれ検出処理が実際に行われる際に作業者による位置ずれ検出用ウェルの選択が行われるようにしても良い。
なお、以下に説明するステップＳ２０〜Ｓ６０では、２つの位置ずれ検出用ウェルに対して同様の処理が行われる。従って、以下では、一方の位置ずれ検出用ウェルに着目して処理の説明を行う。
位置ずれ検出用ウェルが選択された後、当該位置ずれ検出用ウェルの論理エッジ座標が算出される（ステップＳ２０）。なお、論理エッジ座標とは、ウェルプレート２０がホルダ１２１に理想的な状態で載置されているときのウェル２１のエンドエッジの座標（Ｘ座標およびＹ座標）のことである。すなわち、ステップＳ２０では、各位置ずれ検出用ウェルにつき、理想的な載置状態における上エッジ、下エッジ、左エッジ、および右エッジ（図１参照）のそれぞれの座標が求められる。例えば、丸型ウェルが採用されている場合には、図５に示すような４箇所のエッジ部分（上エッジ３１、下エッジ３２、左エッジ３３、および右エッジ３４）の座標が求められる。また、例えば、角丸正方形型ウェル（概形は正方形であって四隅が弧状になっているウェル）が採用されている場合には、図６に示すような４箇所のエッジ部分（上エッジ３５、下エッジ３６、左エッジ３７、および右エッジ３８）の座標が求められる。なお、論理エッジ座標については、上述した定義ファイル内の情報に基づいて算出することができる。
次に、ステップＳ２０で算出された各論理エッジ座標を中心位置として所定範囲の撮像が行われる（ステップＳ３０）。このように論理エッジ座標を中心位置とする撮像が行われるので、ステップＳ３０で得られる撮像画像の中心位置の座標は当該論理エッジ座標に一致する。ステップＳ３０での撮像範囲については、後述するステップＳ４０において仮エッジ座標が好適に求められるよう、適宜の大きさに設定される。なお、ステップＳ２０では各位置ずれ検出用ウェルにつき４つの論理エッジ座標が求められるので、このステップＳ３０では各位置ずれ検出用ウェルにつき４箇所での撮像が行われる。すなわち、各位置ずれ検出用ウェルにつき、上エッジ近傍領域の撮像画像、下エッジ近傍領域の撮像画像、左エッジ近傍領域の撮像画像、および右エッジ近傍領域の撮像画像が得られる。
次に、後述するステップＳ６０で位置ずれ検出用ウェルの中心座標を算出するために必要な座標を矩形分離度フィルタ４０（図７参照）を用いて検出する処理が行われる（ステップＳ４０）。なお、このステップＳ４０で検出される座標は、後述するように、実際の位置ずれ検出用ウェルのエッジ上の座標もしくはそのごく近傍の座標となる。従って、このステップＳ４０で検出される座標のことを便宜上「仮エッジ座標」という。なお、仮エッジ座標を検出する処理は上エッジ側、下エッジ側、左エッジ側、および右エッジ側のそれぞれについて行われるが、ここでは、上エッジ側に着目して処理の説明を行う。
矩形分離度フィルタ４０は、画像内の２つの領域間の分離度を求めるためのフィルタである。矩形分離度フィルタ４０を用いた分離度の算出の際には、図７に示すような２つの矩形領域（第１の領域４１および第２の領域４２）を考える。そして、画像内の所望の位置に矩形分離度フィルタ４０を配置した状態で、当該位置における２つの領域（第１の領域４１および第２の領域４２）間の分離度μが次式（１）〜（３）を用いて算出される。
Figure 0006684684
Figure 0006684684
Figure 0006684684
 上式（１）〜（３）に関し、Ｎは２つの領域（第１の領域４１および第２の領域４２）の全画素数を表し、ｎ1は第１の領域４１内の画素数を表し、ｎ2は第２の領域４２内の画素数を表し、σTは上記２つの領域の全分散値を表し、Ｐiは位置ｉの輝度値を表し、Ｐ1バーは第１の領域４１の平均輝度値を表し、Ｐ2バーは第２の領域４２の平均輝度値を表し、Ｐmバーは上記２つの領域の平均輝度値を表している。
本実施形態では、撮像画像（ステップＳ３０での撮像で得られた画像）５０に対して例えば図８に示すように矩形分離度フィルタ４０を配置することによって、そのように矩形分離度フィルタ４０が配置された状態での分離度μが求められる。
仮エッジ座標を検出するに際して、各位置における分離度μを求めつつ、図９に示すように、上エッジについての論理エッジ座標と下エッジについての論理エッジ座標とを結ぶ直線５５上で少しずつ矩形分離度フィルタ４０の中心位置を移動させる。これにより、矩形分離度フィルタ４０の移動間隔に応じて、上記直線５５上の位置における分離度μが得られる。分離度μの算出結果は、模式的には、横軸をＹ座標として縦軸を分離度μとする図１０に示すようなグラフで表される。図１０では、分離度μの算出を開始した位置のＹ座標をＹａで表し、分離度μの算出を終了した位置のＹ座標をＹｂで表している。なお、図１０では得られた分離度μの値を連続的な線で表しているが、実際に得られるのは矩形分離度フィルタ４０の移動間隔に応じた離散的な値である。
図１０に示す例では、Ｙ座標がＹｋであるときに分離度μが最大になっている。換言すれば、分離度のピーク値は、Ｙ座標がＹｋであるときの値である。そこで、この例では、仮エッジ座標のＹ座標はＹｋとされる。上述したように矩形分離度フィルタ４０の中心位置は上エッジについての論理エッジ座標と下エッジについての論理エッジ座標とを結ぶ直線５５上を移動するので、仮エッジ座標のＸ座標については、上エッジについての論理エッジ座標のＸ座標と同じになる。このようにして、分離度μのピーク値が得られたときの矩形分離度フィルタ４０の中心位置の座標が仮エッジ座標として検出される。なお、分離度μのピーク値が得られる座標を仮エッジ座標とする理由は、ウェル２１の内部とウェル２１の外部とでは輝度値が大きく異なっており、分離度μが最大となる位置もしくはそのごく近傍の位置に実際のエッジが存在すると考えられるからである。以上のことから、このステップＳ４０で検出される仮エッジ座標は、実際の位置ずれ検出用ウェルのエッジ上の座標もしくはそのごく近傍の座標となる。
ステップＳ４０では、以上のようにして、上エッジ側、下エッジ側、左エッジ側、および右エッジ側のそれぞれについての仮エッジ座標が求められる。なお、左エッジ側あるいは右エッジ側についての仮エッジ座標の検出の際には、矩形分離度フィルタ４０を用いた処理によって、仮エッジ座標のＸ座標が求められる。このとき、仮エッジ座標のＹ座標は、左エッジ・右エッジについての論理エッジ座標のＹ座標と同じになる。
ところで、隣接する２つのウェル２１の間隔によっては仮エッジ座標の検出が好適に行われないことが懸念される。例えば、図４において符号Ａ１で示すウェルが位置ずれ検出用ウェルとして選択された場合の下エッジ側および右エッジ側についての仮エッジ座標の検出が好適に行われないことが懸念される。しかしながら、通常、２つのウェル２１間には充分な間隔が設けられており、例えば図１１に示すように矩形分離度フィルタ４０の大きさを適宜の大きさに設定することにより、仮エッジ座標の検出が好適に行われる。
ステップＳ４０の終了後、ステップＳ１０で選択された２つの位置ずれ検出用ウェルの実際の中心座標の算出に必要な全ての仮エッジ座標を検出することができたか否かの判定が行われる（ステップＳ５０）。すなわち、一方の位置ずれ検出用ウェルについての４つの仮エッジ座標および他方の位置ずれ検出用ウェルについての４つの仮エッジ座標の全てをステップＳ４０で正常に検出することができたか否かの判定が行われる。判定の結果、１つでも検出することができなかった仮エッジ座標があれば、処理はステップＳ８０に進む。一方、２つの位置ずれ検出用ウェルの実際の中心座標の算出に必要な全ての仮エッジ座標をステップＳ４０で検出することができた場合には、処理はステップＳ６０に進む。
ところで、上述したように、矩形分離度フィルタ４０を用いた処理（ステップＳ４０の処理）によって、各位置における分離度μの算出結果として、図１０に示したようなグラフで表し得る結果が得られる。これに関し、図１０に示す例では、Ｙ座標がＹｋである位置に分離度μの値のピークが存在している。しかしながら、例えば位置ずれの程度が極めて大きいときなど、分離度μの値のピークを検出することができない場合もある。すなわち、分離度μのピーク値が正常に得られない撮像画像（ステップＳ３０での撮像で得られた画像）が存在する場合もある。上記ステップＳ５０では、このような場合に「検出することができなかった仮エッジ座標が存在する」旨の判定が行われる。
ステップＳ８０では、撮像装置１０の制御部１５内のインタフェース部１５６に接続された表示部（不図示）に警告のメッセージ（例えば、ホルダ１２１へのウェルプレート２０の載置のやり直しを促す旨のメッセージ）が表示される。そして、この位置ずれ検出処理は終了する。このとき、位置ずれを考慮した撮像は行われない。
ステップＳ６０では、ステップＳ４０で検出された仮エッジ座標を用いて位置ずれ検出用ウェルの実際の中心座標が算出される。具体的には、左エッジ側についての仮エッジ座標と右エッジ側についての仮エッジ座標との中点の座標のＸ座標が実際の中心座標のＸ座標に定められ、上エッジ側についての仮エッジ座標と下エッジ側についての仮エッジ座標との中点の座標のＹ座標が実際の中心座標のＹ座標に定められる。このようにして、ステップＳ６０では、一方の位置ずれ検出用ウェルの実際の中心座標（Ｘ座標，Ｙ座標）と他方の位置ずれ検出用ウェルの実際の中心座標（Ｘ座標，Ｙ座標）とが求められる。
ここで、図１２〜図１７を参照しつつ、ステップＳ４０およびステップＳ６０の処理について具体的に説明する。図１２〜図１７では、位置ずれ検出用ウェルの理想的な載置状態を点線で表し、位置ずれ検出用ウェルの実際の載置状態を実線で表している。また、図１２〜図１４では、４つの論理エッジ座標を符号６１〜６４で表している。この例においては、図１３に示すように、上エッジについての論理エッジ座標６１と下エッジについての論理エッジ座標６３とを結ぶ直線６５上の座標から、上エッジ側において分離度μを最大にする座標である仮エッジ座標７１が求められる。同様にして、図１４に示すように、下エッジ側において分離度μを最大にする座標である仮エッジ座標７２が求められる。また、図１４に示すように、左エッジについての論理エッジ座標６３と右エッジについての論理エッジ座標６４とを結ぶ直線６６上の座標から、左エッジ側において分離度μを最大にする座標である仮エッジ座標７３と右エッジ側において分離度μを最大にする座標である仮エッジ座標７４とが求められる。以上のようにして、４つの仮エッジ座標７１〜７４が求められる。
次に、図１５に示すように、上エッジ側についての仮エッジ座標７１と下エッジ側についての仮エッジ座標７２とを結ぶ線分７５の中点の座標８１が求められる。また、図１６に示すように、左エッジ側についての仮エッジ座標７３と右エッジ側についての仮エッジ座標７４とを結ぶ線分７６の中点の座標８２が求められる。そして、図１７に示すように、座標８１を通りＸ軸に平行な直線８５と座標８２を通りＹ軸に平行な直線８６との交点の座標８０が位置ずれ検出用ウェルの実際の中心座標に定められる。このように、左エッジ側についての仮エッジ座標７３のＸ座標と右エッジ側についての仮エッジ座標７４のＸ座標とに基づいて実際の中心座標のＸ座標が求められ、上エッジ側についての仮エッジ座標７１のＹ座標と下エッジ側についての仮エッジ座標７２のＹ座標とに基づいて実際の中心座標のＹ座標が求められる。
ところで、例えば丸型ウェルが採用されている場合、エンドエッジ近傍（例えば、上エッジ近傍）は弧状になっている。また、Ｘ軸方向の位置ずれがある場合、上エッジについての論理エッジ座標と下エッジについての論理エッジ座標とを結ぶ直線は実際の位置ずれ検出用ウェルの上エッジを通らない。以上のことから、矩形分離度フィルタ４０を用いて例えば上エッジ側についての仮エッジ座標の算出が行われる際に、上エッジについての論理エッジ座標と下エッジについての論理エッジ座標とを結ぶ直線６５と実際の位置ずれ検出用ウェルのエッジとの交点の座標７８（図１８参照）で分離度μがピーク値を取らないことがある。すなわち、実際の位置ずれ検出用ウェルのエッジ上の位置とは異なる位置の座標７９が仮エッジ座標となることがある（図１９参照）。これに関し、上エッジ側についての仮エッジ座標が実際の位置ずれ検出用ウェルのエッジの内部の座標となった場合には、下エッジ側についての仮エッジ座標も実際の位置ずれ検出用ウェルのエッジの内部の座標となり、上エッジ側についての仮エッジ座標が実際の位置ずれ検出用ウェルのエッジの外部の座標となった場合には、下エッジ側についての仮エッジ座標も実際の位置ずれ検出用ウェルのエッジの外部の座標となる。従って、上エッジ側および下エッジ側についての仮エッジ座標が実際の位置ずれ検出用ウェルのエッジ上の位置とは異なる位置の座標となっても、位置ずれ検出用ウェルの実際の中心座標のＹ座標が正しく検出される。同様に、左エッジ側および右エッジ側についての仮エッジ座標が実際の位置ずれ検出用ウェルのエッジ上の位置とは異なる位置の座標となっても、位置ずれ検出用ウェルの実際の中心座標のＸ座標が正しく検出される。なお、上エッジ側についての仮エッジ座標を求める際と下エッジ側についての仮エッジ座標を求める際とでは矩形分離度フィルタ４０の向きを互いに逆（１８０度回転させた状態）にし、左エッジ側についての仮エッジ座標を求める際と右エッジ側についての仮エッジ座標を求める際とでは矩形分離度フィルタ４０の向きを互いに逆（１８０度回転させた状態）にする。
位置ずれ検出用ウェルの実際の中心座標の算出が行われた後、位置ずれの程度を表す並行変位量および角度の算出が行われる（ステップＳ７０）。より詳しくは、ステップＳ７０では、位置ずれ量として、理想的な載置状態におけるウェルプレート２０の基準位置とホルダ１２１に実際に載置された状態におけるウェルプレート２０の基準位置との間の変位の大きさを表す並行変位量と、ホルダ１２１に実際に載置された状態におけるウェルプレート２０の理想的な載置状態からの傾きを表す角度とが算出される。なお、並行変位量は、Ｘ座標についての変位量とＹ座標についての変位量とからなる。
図２０および図２１を参照しつつ、位置ずれ量（並行変位量および角度）の算出について、より具体的に説明する。ここでは、図２０において実線で示すように、ウェルプレート２０が理想的な載置状態（破線で示す状態）から斜めに歪んだ状態でホルダ１２１に載置された場合を例に挙げる。また、ここでは、図２１に示すように、基準点（図１参照）に近い方の位置ずれ検出用ウェルを「第１の位置ずれ検出用ウェル」といい、基準点から遠い方の位置ずれ検出用ウェルを「第２の位置ずれ検出用ウェル」という。
並行変位量は、第１の位置ずれ検出用ウェルおよび第２の位置ずれ検出用ウェルのうちの一方のみについて求められる。例えば、第１の位置ずれ検出用ウェルについてのみ、並行変位量が求められる。但し、第１の位置ずれ検出用ウェルおよび第２の位置ずれ検出用ウェルの双方についての並行変位量が求められても良い。第１の位置ずれ検出用ウェルに着目すると、ウェルプレート２０が理想的に載置された場合の中心座標７０ａについては、上述した定義ファイルから求めることができる。また、第１の位置ずれ検出用ウェルの実際の中心座標８０ａについては、ステップＳ６０で算出されている。これら２つの中心座標７０ａ，８０ａに基づいて、Ｘ座標についての変位量とＹ座標についての変位量とが求められる。
角度については、ウェルプレート２０が理想的に載置された場合における２つの位置ずれ検出用ウェルの中心座標７０ａ，７０ｂを結ぶ直線７を表す式と２つの位置ずれ検出用ウェルの実際の中心座標８０ａ，８０ｂを結ぶ直線８を表す式とを用いて算出される。ここで、直線７が次式（４）で表され、直線８が次式（５）で表されると仮定する。
ｙ＝ａ1ｘ＋ｂ1 ・・・（４）
ｙ＝ａ2ｘ＋ｂ2 ・・・（５）
このとき、直線７と直線８とがなす角度θは、次式（６）に基づいて算出される。
Figure 0006684684
 但し、直線７に関しては、上式（４）のａ1が０であることが想定される。この場合、直線７と直線８とがなす角度θに関し、次式（７）が成立する。
Figure 0006684684
以上のようにして、ステップＳ７０では、ウェルプレート２０の理想的な載置状態からの位置ずれの程度を表す並行変位量および角度が算出される。
なお、本実施形態においては、ステップＳ１０によって試料収納部選択ステップが実現され、ステップＳ２０によって論理エッジ座標算出ステップが実現され、ステップＳ３０によって撮像ステップが実現され、ステップＳ４０によって仮エッジ座標検出ステップが実現され、ステップＳ６０によって中心座標算出ステップが実現され、ステップＳ７０によって位置ずれ量算出ステップが実現されている。
＜３．位置ずれを考慮した撮像＞
以上のような位置ずれ検出処理の終了後、位置ずれを考慮した撮像が行われる。図２２は、位置ずれ量検出後の撮像手順を示すフローチャートである。位置ずれ検出処理によって位置ずれ量（並行変位量および角度）が検出された後、まず、撮像装置１０の状態を撮像を開始するための状態に調整する処理が行われる（ステップＳ１１０）。具体的には、撮像開始位置の調整が行われる。本実施形態に係る撮像装置１０では、ステージ１２は固定された状態（すなわち、ホルダ１２１は固定された状態）になっており、撮像ユニット１３が移動可能に構成されている（図２参照）。このような構成の撮像装置１０が採用されているので、ステップＳ１１０では、カメラ駆動機構１４の動作により、ステップＳ７０で算出された並行変位量に基づいて撮像ユニット１３の位置が調整される（撮像ユニット１３の位置が移動する）。
撮像開始位置の調整が行われた後、細胞等の試料を観察するための所望の画像データが得られるよう、撮像ユニット１３によるウェルプレート２０の撮像が行われる（ステップＳ１２０）。本実施形態においては、カメラ駆動機構１４の動作により、撮像ユニット１３は、Ｘ軸に対してステップＳ７０で算出された角度の方向に移動しながら撮像を行う。
以上のように、ステップＳ７０で算出された並行変位量に基づいて撮像開始位置の調整が行われた後、ステップＳ７０で算出された角度に従い撮像ユニット１３を本来の走査移動方向とは斜めの方向に移動させながら撮像が行われる。
なお、本実施形態においては、ステップＳ１１０によって調整ステップが実現され、ステップＳ１２０によって試料容器撮像ステップが実現されている。
＜４．効果＞
本実施形態によれば、ウェルプレート２０の位置ずれを検出するために用いられる２つのウェル（位置ずれ検出用ウェル）２１の実際の中心座標は、エッジ近傍領域の撮像画像に対して矩形分離度フィルタ４０を適用することによって検出される仮エッジ座標に基づいて算出される。ここで、矩形分離度フィルタ４０を用いた処理で分離度のピーク値が得られたときの矩形分離度フィルタ４０の中心位置の座標が仮エッジ座標とされるところ、ウェル２１内の細胞や培養液の状態に関わらず、矩形分離度フィルタ４０の中心位置がウェル２１のエッジ近傍にある時に分離度は最大となる。従って、同じような位置ずれが生じている場合、ウェル２１内の細胞や培養液の状態に関わらず、一定の座標が仮エッジ座標として検出される。すなわち、たとえ撮像対象毎の培養液の量の違いや細胞増殖などに起因して安定した撮像画像が得られなくても、精度良く仮エッジ座標が検出される。このような仮エッジ座標に基づいて２つの位置ずれ検出用ウェルの実際の中心座標が求められるので、位置ずれ量の算出が精度良く行われる。また、位置ずれの検出に必要とされる撮像画像は合計８箇所のエッジ近傍領域の撮像画像だけであり、位置ずれ検出処理ではテンプレート画像を用いた処理は行われない。このため、処理に必要なデータ量を増大させることなく高速に位置ずれを検出することができる。以上のように、本実施形態によれば、撮像装置１０のホルダ１２１に載置されたウェルプレート２０の位置ずれを処理に必要なデータ量を増大させることなく高速に精度良く検出することが可能となる。
また、位置ずれ検出処理の終了後には、ウェルプレート２０の位置ずれを考慮して、細胞等の試料を観察するための本来の撮像が行われる。このため、作業者によってウェルプレート２０がホルダ１２１に載置された際に位置ずれが生じていても、無駄な撮像が行われることなく、所望の撮像画像が得られる。
また、位置ずれが生じているときにホルダ１２１へのウェルプレート２０の載置のやり直しが行われると細胞等にダメージを及ぼすおそれがあるが、本実施形態によれば、位置ずれが生じているときに、ウェルプレート２０を移動させることなく撮像ユニット１３による撮像が行われる。従って、作業者によってウェルプレート２０がホルダ１２１に載置された際に位置ずれが生じていても、細胞等にダメージを及ぼすことなく所望の撮像画像を得ることが可能となる。
＜５．変形例＞
上記実施形態においては、ステージ１２は固定された状態（すなわち、ホルダ１２１は固定された状態）であって、撮像ユニット１３が移動可能に構成されていた。このため、位置ずれを考慮した撮像は、撮像ユニット１３の位置（撮像開始位置）を調整した後に撮像ユニット１３を本来の走査移動方向とは斜めの方向に移動させることによって行われていた。しかしながら、本発明はこれに限定されない。そこで、以下、図２２を参照しつつ、位置ずれを考慮した撮像に関する変形例について説明する。
＜５．１ 第１の変形例＞
本変形例に係る撮像装置では、ウェルプレート２０が載置されるステージ１２が移動可能かつ回転可能に構成されており（換言すれば、ホルダ１２１が移動可能かつ回転可能に構成されており）、撮像ユニット１３が固定された状態となっている。このような構成において、位置ずれ検出処理の終了後、まず、撮像装置１０の状態を撮像を開始するための状態に調整する処理が行われる（ステップＳ１１０）。具体的には、位置ずれ検出処理で算出された角度に基づいてステージ１２の回転（ホルダ１２１の回転）が行われるとともに位置ずれ検出処理で算出された並行変位量に基づいてステージ１２の移動（ホルダ１２１の移動）が行われる。その後、撮像ユニット１３によるウェルプレート２０の撮像が行われる（ステップＳ１２０）。その際、ステージ１２（ホルダ１２１）がＸ軸方向あるいはＹ軸方向に移動する。このようにして、撮像ユニット１３に対してステージ１２（ホルダ１２１）を相対的に移動させながら撮像が行われる。
＜５．２ 第２の変形例＞
本変形例に係る撮像装置では、ウェルプレート２０が載置されるステージ１２が移動可能かつ回転可能に構成されており（換言すれば、ホルダ１２１が移動可能かつ回転可能に構成されており）、また、撮像ユニット１３が移動可能に構成されている。このような構成において、位置ずれ検出処理の終了後、まず、上記第１の変形例と同様にして、ステージ１２の回転および移動（ホルダ１２１の回転および移動）が行われる（ステップＳ１１０）。その後、撮像ユニット１３によるウェルプレート２０の撮像が行われる（ステップＳ１２０）。その際、本変形例においては、撮像ユニット１３がＸ軸方向あるいはＹ軸方向に移動する。
１０…撮像装置
１１…光源
１２…ステージ
１３…撮像ユニット
１４…カメラ駆動機構
１５…制御部
２０…ウェルプレート
２１…ウェル
４０…矩形分離度フィルタ
１２１…ホルダ
μ…分離度

Claims (12)

  1. 複数の試料収納部を有する試料容器が撮像装置の試料容器保持部に載置された際の前記試料容器の理想的な載置状態からの位置ずれ量を検出する、試料容器の位置ずれ検出方法であって、
    前記複数の試料収納部の中から２つの試料収納部を位置ずれ検出用試料収納部として選択する試料収納部選択ステップと、
    各位置ずれ検出用試料収納部につき、理想的な載置状態における上端、下端、左端、および右端の座標である論理エッジ座標を算出する論理エッジ座標算出ステップと、
    前記論理エッジ座標算出ステップで算出された各論理エッジ座標を中心位置として所定範囲の撮像を行う撮像ステップと、
    各位置ずれ検出用試料収納部につき、前記撮像ステップでの撮像で得られた上端側、下端側、左端側、および右端側の各撮像画像に対して２つの領域間の分離度を求める分離度フィルタを当該分離度フィルタの中心位置をずらしつつ適用し、各撮像画像について分離度のピーク値が得られたときの当該分離度フィルタの中心位置の座標を仮エッジ座標として検出する仮エッジ座標検出ステップと、
    各位置ずれ検出用試料収納部につき、前記仮エッジ座標検出ステップで検出された上端側、下端側、左端側、および右端側の仮エッジ座標に基づいて実際の中心座標を算出する中心座標算出ステップと、
    前記中心座標算出ステップで算出された各位置ずれ検出用試料収納部の中心座標に基づいて、前記試料容器の理想的な載置状態からの位置ずれ量を算出する位置ずれ量算出ステップと
    を含むことを特徴とする、試料容器の位置ずれ検出方法。
  2. 前記試料容器の形状は矩形であって、
    前記試料容器の長手方向に沿って一列に配置された一群の試料収納部を行と定義したとき、前記試料収納部選択ステップでは、同じ行に属し、かつ、最も離れた位置に配置された２つの試料収納部が前記位置ずれ検出用試料収納部として選択されることを特徴とする、請求項１に記載の位置ずれ検出方法。
  3. 前記仮エッジ座標検出ステップでは、前記分離度フィルタとして、２つの矩形領域間の分離度を求める矩形分離度フィルタが用いられることを特徴とする、請求項１または２に記載の位置ずれ検出方法。
  4. 前記仮エッジ座標検出ステップでは、
    前記位置ずれ検出用試料収納部の上端側または下端側についての仮エッジ座標の検出が行われる際には、当該位置ずれ検出用試料収納部の上端側の論理エッジ座標と当該位置ずれ検出用試料収納部の下端側の論理エッジ座標とを結ぶ直線上で前記矩形分離度フィルタの中心位置を移動させつつ分離度が求められ、
    前記位置ずれ検出用試料収納部の左端側または右端側についての仮エッジ座標の検出が行われる際には、当該位置ずれ検出用試料収納部の左端側の論理エッジ座標と当該位置ずれ検出用試料収納部の右端側の論理エッジ座標とを結ぶ直線上で前記矩形分離度フィルタの中心位置を移動させつつ分離度が求められることを特徴とする、請求項３に記載の位置ずれ検出方法。
  5. 前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出されることを特徴とする、請求項１から４までのいずれか１項に記載の位置ずれ検出方法。
  6. 前記試料収納部選択ステップで選択された２つの試料収納部の一方を第１の位置ずれ検出用試料収納部，他方を第２の位置ずれ検出用試料収納部と定義し、理想的な載置状態における前記第１の位置ずれ検出用試料収納部の中心座標および前記第２の位置ずれ検出用試料収納部の中心座標をそれぞれ第１の理想中心座標および第２の理想中心座標と定義し、前記中心座標算出ステップで算出された前記第１の位置ずれ検出用試料収納部の中心座標および前記第２の位置ずれ検出用試料収納部の中心座標をそれぞれ第１の実中心座標および第２の実中心座標と定義したとき、前記位置ずれ量算出ステップでは、前記位置ずれ量として、前記第１の理想中心座標と前記第１の実中心座標との間の変位の大きさを表す並行変位量と、前記第１の理想中心座標と前記第２の理想中心座標とを結ぶ直線と前記第１の実中心座標と前記第２の実中心座標とを結ぶ直線とのなす角度とが算出されることを特徴とする、請求項５に記載の位置ずれ検出方法。
  7. 前記仮エッジ座標検出ステップにおいて分離度のピーク値が正常に得られない撮像画像が存在したとき、前記撮像装置が警告の表示を行うことを特徴とする、請求項１から６までのいずれか１項に記載の位置ずれ検出方法。
  8. 複数の試料収納部を有する試料容器を撮像装置によって撮像する撮像方法であって、
    請求項１に記載の位置ずれ検出方法を用いて得られた位置ずれ量に基づいて、前記撮像装置の状態を撮像を開始するための状態に調整する調整ステップと、
    前記試料容器の撮像を行う試料容器撮像ステップと
    を含むことを特徴とする、撮像方法。
  9. 前記撮像装置に設けられた撮像部は、移動可能に構成され、
    前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出され、
    前記調整ステップでは、前記位置ずれ量算出ステップで算出された並行変位量に基づいて、前記撮像部の撮像開始位置の調整が行われ、
    前記試料容器撮像ステップでは、前記位置ずれ量算出ステップで算出された角度に従って前記撮像部を移動させながら前記試料容器の撮像が行われることを特徴とする、請求項８に記載の撮像方法。
  10. 前記試料容器保持部は、移動可能かつ回転可能に構成され、
    前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出され、
    前記調整ステップでは、前記位置ずれ量算出ステップで算出された角度に基づいて前記試料容器保持部の回転が行われるとともに前記位置ずれ量算出ステップで算出された並行変位量に基づいて前記試料容器保持部の移動が行われ、
    前記試料容器撮像ステップでは、前記撮像装置に設けられた撮像部に対して前記試料容器保持部を相対的に移動させながら前記試料容器の撮像が行われることを特徴とする、請求項８に記載の撮像方法。
  11. 前記撮像装置に設けられた撮像部は、移動可能に構成され、
    前記試料容器保持部は、移動可能かつ回転可能に構成され、
    前記位置ずれ量算出ステップでは、前記位置ずれ量として、理想的な載置状態における前記試料容器の所定の基準位置と前記試料容器保持部に実際に載置された状態における前記試料容器の前記基準位置との間の変位の大きさを表す並行変位量と、前記試料容器保持部に実際に載置された状態における前記試料容器の理想的な載置状態からの傾きを表す角度とが算出され、
    前記調整ステップでは、前記位置ずれ量算出ステップで算出された角度に基づいて前記試料容器保持部の回転が行われるとともに前記位置ずれ量算出ステップで算出された並行変位量に基づいて前記試料容器保持部の移動が行われ、
    前記試料容器撮像ステップでは、前記撮像部を移動させながら前記試料容器の撮像が行われることを特徴とする、請求項８に記載の撮像方法。
  12. 複数の試料収納部を有する試料容器が試料容器保持部に載置された際の前記試料容器の理想的な載置状態からの位置ずれ量を検出する、試料容器の位置ずれ検出装置であって、
    前記複数の試料収納部の中から２つの試料収納部を位置ずれ検出用試料収納部として選択する試料収納部選択手段と、
    各位置ずれ検出用試料収納部につき、理想的な載置状態における上端、下端、左端、および右端の座標である論理エッジ座標を算出する論理エッジ座標算出手段と、
    前記論理エッジ座標算出手段によって算出された各論理エッジ座標を中心位置として所定範囲の撮像を行う撮像手段と、
    各位置ずれ検出用試料収納部につき、前記撮像手段による撮像で得られた上端側、下端側、左端側、および右端側の各撮像画像に対して２つの領域間の分離度を求める分離度フィルタを当該分離度フィルタの中心位置をずらしつつ適用し、各撮像画像について分離度のピーク値が得られたときの当該分離度フィルタの中心位置の座標を仮エッジ座標として検出する仮エッジ座標検出手段と、
    各位置ずれ検出用試料収納部につき、前記仮エッジ座標検出手段によって検出された上端側、下端側、左端側、および右端側の仮エッジ座標に基づいて実際の中心座標を算出する中心座標算出手段と、
    前記中心座標算出手段によって算出された各位置ずれ検出用試料収納部の中心座標に基づいて、前記試料容器の理想的な載置状態からの位置ずれ量を算出する位置ずれ量算出手段と
    を備えることを特徴とする、試料容器の位置ずれ検出装置。
JP2016183669A 2016-09-21 2016-09-21 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置 Active JP6684684B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016183669A JP6684684B2 (ja) 2016-09-21 2016-09-21 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置
US16/317,453 US10690490B2 (en) 2016-09-21 2017-04-18 Method of detecting positional displacement of sample container, image capturing method employing same, and sample container positional displacement detecting device
PCT/JP2017/015551 WO2018055823A1 (ja) 2016-09-21 2017-04-18 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置
EP17852604.2A EP3517886B1 (en) 2016-09-21 2017-04-18 Method of detecting positional displacement of sample container, image capturing method employing same, and sample container positional displacement detecting device
CN201780047773.7A CN109642785B (zh) 2016-09-21 2017-04-18 试料容器的位置偏移的检测方法、装置以及拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016183669A JP6684684B2 (ja) 2016-09-21 2016-09-21 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置

Publications (2)

Publication Number Publication Date
JP2018048869A JP2018048869A (ja) 2018-03-29
JP6684684B2 true JP6684684B2 (ja) 2020-04-22

Family

ID=61689429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016183669A Active JP6684684B2 (ja) 2016-09-21 2016-09-21 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置

Country Status (5)

Country Link
US (1) US10690490B2 (ja)
EP (1) EP3517886B1 (ja)
JP (1) JP6684684B2 (ja)
CN (1) CN109642785B (ja)
WO (1) WO2018055823A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6598898B2 (ja) * 2018-02-27 2019-10-30 株式会社Ｓｃｒｅｅｎホールディングス 芯ズレ検出装置および芯ズレ検出方法
JP7076361B2 (ja) * 2018-03-26 2022-05-27 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置、プログラムおよび記憶媒体
US11244200B2 (en) 2018-03-26 2022-02-08 SCREEN Holdings Co., Ltd. Image processing method, image processing apparatus, and computer-readable recording medium having recorded thereon image processing program
CN112634344B (zh) * 2020-12-15 2022-08-30 西安理工大学 一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法
CN112629444B (zh) * 2021-03-08 2021-06-22 南京航空航天大学 一种基于机器视觉的放射库盖板落放误差自动纠正方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269816B2 (ja) * 1991-05-07 2002-04-02 芝浦メカトロニクス株式会社 部品実装装置
JPH08110206A (ja) * 1994-10-12 1996-04-30 Ricoh Co Ltd 位置及び姿勢検出方法と位置及び姿勢検出装置
JP3823379B2 (ja) 1996-07-10 2006-09-20 松下電工株式会社 画像処理方法
US20080144899A1 (en) * 2006-11-30 2008-06-19 Manoj Varma Process for extracting periodic features from images by template matching
JP4697192B2 (ja) * 2007-06-12 2011-06-08 東京エレクトロン株式会社 位置ずれ検出装置及びこれを用いた処理システム
JP2009032830A (ja) * 2007-07-25 2009-02-12 Dainippon Screen Mfg Co Ltd 基板検出装置および基板処理装置
CN101832757B (zh) * 2010-04-29 2011-08-24 中微半导体设备(上海)有限公司 一种探测晶片偏移位置的方法
US9897535B2 (en) * 2011-02-22 2018-02-20 Corning Incorporated Optical reader systems and methods for microplate position detection
US9087367B2 (en) * 2011-09-13 2015-07-21 Kla-Tencor Corp. Determining design coordinates for wafer defects
CN103033127B (zh) * 2011-10-09 2015-07-22 上海微电子装备有限公司 一种基板预对准位姿测量方法
JP2014532856A (ja) * 2011-10-20 2014-12-08 コーニング インコーポレイテッド 急速マイクロプレート位置検出の光学読取システム及び方法
US9530053B2 (en) * 2012-07-31 2016-12-27 Tecan Trading Ag Method and apparatus for detecting or checking an arrangement of laboratory articles on a work area of a laboratory work station
JP5972715B2 (ja) * 2012-08-31 2016-08-17 株式会社Ｓｃｒｅｅｎホールディングス 画像切り出し方法および画像取得装置
CN103018015B (zh) * 2012-12-26 2016-01-20 青岛歌尔声学科技有限公司 检测设备中镜头的光轴偏移的装置和方法
JP6351992B2 (ja) 2014-02-17 2018-07-04 株式会社Ｓｃｒｅｅｎホールディングス 変位検出装置、基板処理装置、変位検出方法および基板処理方法
WO2019090487A1 (zh) * 2017-11-07 2019-05-16 大连理工大学 数控机床高动态大范围任意轮廓误差单目六维测量方法

Also Published As

Publication number Publication date
EP3517886A4 (en) 2020-03-25
US10690490B2 (en) 2020-06-23
EP3517886A1 (en) 2019-07-31
CN109642785A (zh) 2019-04-16
WO2018055823A1 (ja) 2018-03-29
JP2018048869A (ja) 2018-03-29
US20190234730A1 (en) 2019-08-01
EP3517886B1 (en) 2021-02-24
CN109642785B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
JP6684684B2 (ja) 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置
CN109382821B (zh) 校准方法、校准系统及程序
US7630628B2 (en) Microscope system and microscope observation method
US8994810B2 (en) Magnification observation device
US9292925B2 (en) Imaging system and control method thereof
US20170032177A1 (en) Image Inspection Device, Image Inspection Method And Image Inspection Program
JP2017110991A (ja) 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
JP2011047999A (ja) 欠陥画素アドレス検出方法並びに検出装置
CN106097367A (zh) 一种双目立体相机的标定方法及装置
WO2006112242A1 (ja) 基板検査装置
JP5912752B2 (ja) 試料保持プレートおよび画像取得方法
US11321811B2 (en) Imaging apparatus and driving method of the same
JP2014190700A (ja) 目視照合支援装置およびその制御方法
JP2009115566A (ja) パネルの欠陥位置の特定装置
JP5417197B2 (ja) 検査装置および検査方法
JP2005337797A (ja) 表示素子の画素位置取得方法および表示用パネルの検査方法
EP3629285A1 (en) Image processing method and image processing apparatus
TW201835853A (zh) 圖像處理方法及圖像處理裝置
JPH0969973A (ja) 固体撮像素子の位置調整方法
US20200278523A1 (en) Observation apparatus, observation method, and observation program
JP2005181250A (ja) 液晶表示パネルの検査方法及び装置
JP7174074B2 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
JPH10128689A (ja) 無人移動体の視覚補正装置
WO2024090154A1 (ja) ロボット教示装置
US20220343643A1 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R150 Certificate of patent or registration of utility model

Ref document number: 6684684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250