JP7290707B1 - 高速自動スライド走査ai支援型判断システム及びそのスライド走査方法 - Google Patents
高速自動スライド走査ai支援型判断システム及びそのスライド走査方法 Download PDFInfo
- Publication number
- JP7290707B1 JP7290707B1 JP2021211906A JP2021211906A JP7290707B1 JP 7290707 B1 JP7290707 B1 JP 7290707B1 JP 2021211906 A JP2021211906 A JP 2021211906A JP 2021211906 A JP2021211906 A JP 2021211906A JP 7290707 B1 JP7290707 B1 JP 7290707B1
- Authority
- JP
- Japan
- Prior art keywords
- scanning
- blocks
- block
- slide
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 description 16
- 239000007788 liquid Substances 0.000 description 10
- 238000001574 biopsy Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Abstract
Description
仮に一組の焦点距離で走査を行えば、多くの画像が無効になる可能性がある。
仮に毎回撮像のたびに合焦し直せば、900回から1600回合焦する必要があり、合焦回数が多すぎる。
仮に一定枚数の画像を撮像するたびに合焦し直せば、無効画像は減るが、レンズを端にあるブロックまで移動させて中間のブロックまで戻す時に二点の距離が大きすぎると焦点を戻せなくなる状況が起こりやすく、撮像した画像が無効になる可能性がある。
細胞試料を検出溶液に入れた後、ピペットを用いて細胞試料を含む液体を吸い取ってスライド122上に滴下し、図1及び図2に示すような、細胞試料含む液体16を有するスライド122を形成する。
液体は表面張力を有するため、図1に示すように、細胞試料を含む液体16の形状は円形になり、かつ図2に示すように、側面から見ると厚みがある。細胞試料を含む液体16を上からカバーガラス124でカバーすれば、撮像装置上に載置して検出作業を行えるスライドとなる。本発明はカバーのないスライドへの応用にも適している。
高速自動スライド走査用AI支援型判断システム10は撮像装置12及び制御ホスト14を含む。
撮像装置12は少なくとも1つのデジタルレンズ、プログラマブルステージ及び合焦制御機構を備え、撮像装置12は制御ホスト14と信号接続される。
制御ホスト14は、走査パラメーターを設定するパラメーター設定モジュール142を含む。走査パラメーターは、スライドを複数のブロックに分けたそのブロックの数量、ブロック中の複数のサブブロックの数量、ブロック中の中心ブロックの位置及び走査経路を含む。例えば、スライドをN×N個のブロックに分け、各ブロックはn×n個のサブブロックをさらに含み、Nとnはいずれも正の整数である。特に、走査経路は時計回り又は反時計回りのらせん状走査であり、横方向又は縦方向の往復走査ではない。また、走査経路は始点及び終点を含み、終点まで走査したということは、全てのブロックが一回走査されたことを意味する。
制御ホスト14は走査パラメーターに基づき撮像装置12のレンズを制御して移動、合焦及び画像の撮像を行う。
撮像装置12が撮像した画像は制御ホスト14に伝送された後、制御ホスト14に保存され、或いはさらにバックエンドのデータベース(図中未表示)に伝送されて保存される。
まずステップS10では、制御ホスト14により撮像装置12の走査パラメーターを設定する。上述したように走査パラメーターは、一枚のスライドを複数のブロックに分けたそのブロックの数量、ブロック中の複数のサブブロックの数量、ブロック中の中心ブロックの位置及び走査経路を含み、かつ走査経路は時計回り又は反時計回りのらせん状走査経路を含む。
走査経路に基づき合焦位置を隣接ブロックまで移動させた後、ステップS18に示すように、隣接ブロックに対して合焦し、隣接ブロック中のサブブロックの画像を撮像する。
ステップS20で走査経路の走査が完了していないと判断した場合、ステップS22からステップS24に示すように、走査経路に基づき合焦位置を次の隣接ブロックまで移動させて合焦し、サブブロックの画像を撮像する。
さらにステップS20に再度進み、走査経路の走査が完了したか否かを判断し、まだ完了していない場合は、全てのブロックの走査が完了するまで、ステップS22からステップS24を繰り返す。
これに対し、走査経路が反時計回りの操作を選択した場合、撮像装置12の合焦位置は中心ブロックから反時計回りで中心ブロックと隣り合う隣接ブロックまで移動する。
図5に示す例において、スライド122は10×10個のブロック126に分割され、各ブロック126の中には3×3個のサブブロック128が含まれる。撮像装置12は各サブブロックにつき1枚の画像を撮像するため、1個のブロックから9枚の画像が撮像され、1枚のスライド122からは合計900枚の画像が撮像される。
まず、番号1の中心ブロック127のサブブロック128に対して少なくとも1回合焦を行い、サブブロックの画像9枚を撮像する。
サブブロック128の画像を撮像するのも1から9の順序で行い、中心位置の1から反時計回りで番号9のサブブロックの位置まで撮影する。ただし、この順序は本発明のサブブロック128の撮像に限定されない。
続いて、レンズを番号3、4、・・・・・・、99、100の番号順に移動させ、それぞれ合焦してサブブロックの画像を撮像する。
毎回レンズを移動させる際は反時計回りで隣接ブロックまで移動させる。隣接ブロックの形状や厚さの変化は大きくないので、合焦時にエラーが発生する確率は低い。しかも、レンズの微調節を行うだけでよく、合焦し直す必要がない。しかし、従来のものは、横方向又は縦方向の往復走査であるために、レンズを端にあるブロックまで移動させた後、中間のブロックまで戻す時に、焦点を戻せなくなる状況が起こりやすいが、本発明は焦点が合わなくなる可能性を低減できる。
12 撮像装置
122 スライド
124 カバーガラス
126 ブロック
127 中心ブロック
128 サブブロック
14 制御ホスト
142 パラメーター設定モジュール
16 細胞試料を含む液体
Claims (10)
- 撮像装置の走査パラメーターを設定し、前記走査パラメーターは、一つのスライドを複数のブロックに分けたそのブロックの数量、前記複数のブロック中の複数のサブブロックの数量、前記複数のブロック中の中心ブロックの位置及び走査経路を含み、前記走査経路は時計回り又は反時計回りのらせん状走査であるステップと、
前記走査経路を選択し、前記撮像装置の合焦位置を前記スライド上の前記中心ブロックに合わせて合焦し、前記中心ブロック中の前記複数のサブブロックの画像をそれぞれ撮像するステップと、
選択された前記走査経路に基づき、前記撮像装置の前記合焦位置を前記中心ブロックから前記複数のブロック中の前記中心ブロックと隣り合う隣接ブロックまで移動させた後、前記隣接ブロックに対して合焦し、前記隣接ブロック中の前記複数のサブブロックの画像を撮像するステップと、
選択された前記走査経路に基づき、前記合焦位置を次の隣接ブロックまで移動させて合焦し、前記複数のサブブロックの画像を撮像するステップを、前記複数のブロック全ての走査が完了するまで繰り返すステップと、
を含み、
前記複数のサブブロックの画像はらせん状の走査経路により撮像されることを特徴とする高速自動スライド走査AI支援型判断システムのスライド走査方法。 - 前記複数のブロックの中で中心に位置するブロックは、前記走査パラメーターにより設定された前記中心ブロックであり、かつ前記中心ブロックは前記走査経路の始点であることを特徴とする請求項1に記載の高速自動スライド走査AI支援型判断システムのスライド走査方法。
- 前記走査パラメーターは前記走査経路の終点を含み、前記複数のブロックが全て前記走査経路上で一回走査されることを特徴とする請求項1に記載の高速自動スライド走査AI支援型判断システムのスライド走査方法。
- 前記走査経路が時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項1に記載の高速自動スライド走査AI支援型判断システムのスライド走査方法。
- 前記走査経路が反時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから反時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項1に記載の高速自動スライド走査AI支援型判断システムのスライド走査方法。
- 制御ホスト及び撮像装置を含み、
前記制御ホストは走査パラメーターを設定するパラメーター設定モジュールを含み、前記走査パラメーターは、一つのスライドを複数のブロックに分けたそのブロックの数量、前記複数のブロック中の複数のサブブロックの数量、前記複数のブロック中の中心ブロックの位置及び走査経路を含み、前記走査経路は時計回り又は反時計回りのらせん状走査であり、
前記撮像装置は、前記制御ホストと接続され、前記走査パラメーターに基づき前記撮像装置のレンズの焦点が前記スライド上の前記中心ブロックに合うように合焦し、前記中心ブロック中の前記複数のサブブロックの画像をそれぞれ撮像し、さらに、前記走査経路に基づき前記レンズを前記複数のブロック中の前記中心ブロックと隣り合う隣接ブロックまで移動させ、前記隣接ブロックに対して合焦して前記隣接ブロック中の前記複数のサブブロックの画像を撮像した後、前記撮像装置は、前記走査経路に基づき前記レンズを次の隣接ブロックまで移動させて合焦し、前記複数のサブブロックの画像を撮像するステップを、前記複数のブロック全ての走査が完了するまで繰り返し、
前記複数のサブブロックの画像はらせん状の走査経路により撮像されることを特徴とする高速自動スライド走査AI支援型判断システム。 - 前記パラメーター設定モジュールは前記スライドの中心点を前記中心ブロック及び前記走査経路の始点として設定することを特徴とする請求項6に記載の高速自動スライド走査AI支援型判断システム。
- 前記パラメーター設定モジュールは前記走査経路の終点を設定し、前記複数のブロック全てが前記走査経路上で一回走査されることを特徴とする請求項6に記載の高速自動スライド走査AI支援型判断システム。
- 前記走査経路が時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項6に記載の高速自動スライド走査AI支援型判断システム。
- 前記走査経路が反時計回りのらせん状で走査するとき、前記撮像装置の前記合焦位置は前記中心ブロックから反時計回りのらせん状で前記中心ブロックと隣り合う前記隣接ブロックまで移動することを特徴とする請求項6に記載の高速自動スライド走査AI支援型判断システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110144927A TWI819421B (zh) | 2021-12-02 | 2021-12-02 | 高速自動掃片ai輔助判讀系統及其掃片方法 |
TW110144927 | 2021-12-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7290707B1 true JP7290707B1 (ja) | 2023-06-13 |
JP2023086058A JP2023086058A (ja) | 2023-06-21 |
Family
ID=81099446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021211906A Active JP7290707B1 (ja) | 2021-12-02 | 2021-12-27 | 高速自動スライド走査ai支援型判断システム及びそのスライド走査方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230177852A1 (ja) |
JP (1) | JP7290707B1 (ja) |
CN (1) | CN114354489A (ja) |
TW (1) | TWI819421B (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004093004A2 (en) | 2003-04-11 | 2004-10-28 | Chromavision Medical Systems, Inc. | Silhouette image acquisition |
US20200250396A1 (en) | 2019-02-04 | 2020-08-06 | Tokitae Llc | Automated microscopy scanning systems and methods |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6185030B1 (en) * | 1998-03-20 | 2001-02-06 | James W. Overbeck | Wide field of view and high speed scanning microscopy |
CN101494735B (zh) * | 2008-01-25 | 2012-02-15 | 索尼株式会社 | 摄像装置、摄像装置控制方法 |
TWI374672B (en) * | 2008-07-04 | 2012-10-11 | Univ Nat Taiwan | Seamless wireless video transmission for multimedia applications |
JP5357572B2 (ja) * | 2009-02-24 | 2013-12-04 | パナソニック株式会社 | 外観検査方法および外観検査装置 |
KR101080362B1 (ko) * | 2009-11-20 | 2011-11-04 | 삼성전기주식회사 | 카메라의 자동 초점 조절 방법 및 장치 |
JP2014048325A (ja) * | 2012-08-29 | 2014-03-17 | Sony Corp | 情報処理装置、情報処理方法、および情報処理プログラム |
KR102087281B1 (ko) * | 2017-03-30 | 2020-03-10 | 서강대학교산학협력단 | 고강도 집속 초음파의 스캐닝 장치 및 방법 |
CN107147854B (zh) * | 2017-07-07 | 2023-08-29 | 合肥芯福科技有限公司 | 一种像素扫描方法和像素阵列 |
TWI677706B (zh) * | 2018-11-30 | 2019-11-21 | 財團法人金屬工業研究發展中心 | 顯微裝置以及自動對焦方法 |
-
2021
- 2021-12-02 TW TW110144927A patent/TWI819421B/zh active
- 2021-12-16 CN CN202111543888.XA patent/CN114354489A/zh active Pending
- 2021-12-22 US US17/645,550 patent/US20230177852A1/en active Pending
- 2021-12-27 JP JP2021211906A patent/JP7290707B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004093004A2 (en) | 2003-04-11 | 2004-10-28 | Chromavision Medical Systems, Inc. | Silhouette image acquisition |
US20200250396A1 (en) | 2019-02-04 | 2020-08-06 | Tokitae Llc | Automated microscopy scanning systems and methods |
Also Published As
Publication number | Publication date |
---|---|
CN114354489A (zh) | 2022-04-15 |
TWI819421B (zh) | 2023-10-21 |
TW202324991A (zh) | 2023-06-16 |
JP2023086058A (ja) | 2023-06-21 |
US20230177852A1 (en) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1830217B1 (en) | Image acquiring apparatus, image acquiring method, and image acquiring program | |
TWI673750B (zh) | 樣品觀察裝置及樣品觀察方法 | |
US20120120221A1 (en) | Body Fluid Analyzing System and an Imaging Processing Device and Method for Analyzing Body Fluids | |
US8126250B2 (en) | Image acquiring apparatus, image acquiring method, and image acquiring program | |
US20130250144A1 (en) | Imaging apparatus and method of controlling same | |
CN110411946B (zh) | 一种数字切片扫描仪中相机图像的聚焦方法 | |
WO2002069015A2 (en) | A method for maintaining high-quality focus during high-throughput, microscopic digital montage imaging | |
CN114785959B (zh) | 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备 | |
JP7290707B1 (ja) | 高速自動スライド走査ai支援型判断システム及びそのスライド走査方法 | |
CN105651699B (zh) | 一种基于面阵相机的动态跟焦方法 | |
CN110749974A (zh) | 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法 | |
TW202022430A (zh) | 顯微裝置以及自動對焦方法 | |
JP5544894B2 (ja) | ウエハ検査装置及びウエハ検査方法 | |
CN114967093A (zh) | 一种基于显微高光谱成像平台的自动对焦方法及系统 | |
US20130016192A1 (en) | Image processing device and image display system | |
CN112053304A (zh) | 一种全切片数字成像单次拍照快速准焦复原方法 | |
CN111308741B (zh) | 基于液晶透镜的小凹成像装置及成像方法 | |
US20240020994A1 (en) | System and method for cell statistics based on image recognition | |
KR102323136B1 (ko) | 플로우스캔 방식을 적용한 3d edof 스캐닝 장치 | |
CN209656982U (zh) | 一种用于显微视觉系统的自动对焦装置 | |
JP5959211B2 (ja) | 画像処理装置および顕微鏡システム | |
JP5373463B2 (ja) | 透過型電子顕微鏡の自動最適合焦点調整装置 | |
CN112037152A (zh) | 一种基于深度学习的全切片数字成像二步准焦复原法 | |
KR20230103394A (ko) | 초점 복원 기능을 포함하는 슬라이드 이미징 장치 및 그 방법 | |
JPH10208021A (ja) | マルチ画像入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |