JP7146635B2 - マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム - Google Patents
マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム Download PDFInfo
- Publication number
- JP7146635B2 JP7146635B2 JP2018531648A JP2018531648A JP7146635B2 JP 7146635 B2 JP7146635 B2 JP 7146635B2 JP 2018531648 A JP2018531648 A JP 2018531648A JP 2018531648 A JP2018531648 A JP 2018531648A JP 7146635 B2 JP7146635 B2 JP 7146635B2
- Authority
- JP
- Japan
- Prior art keywords
- grid
- image
- images
- best focus
- slide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 74
- 238000000034 method Methods 0.000 title claims description 60
- 238000004590 computer program Methods 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 10
- 239000003086 colorant Substances 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 101150054472 HER2 gene Proteins 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 108700020302 erbB-2 Genes Proteins 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000004940 nucleus Anatomy 0.000 description 4
- 239000000090 biomarker Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 210000004216 mammary stem cell Anatomy 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Automatic Focus Adjustment (AREA)
Description
本開示は、全体が参照によって本明細書に組み込まれている、2015年12月16日に出願した米国仮出願第62/268,165号の優先権を主張するものである。
(i)スライドを透過する光を吸収する(「明視野撮像」)、
(ii)外部光源から発する光を散乱させる、または
(iii)外部光源によって刺激された光を放射する(「蛍光撮像」)、といった機能のうち任意の1つまたは複数を遂行するように、典型的には染色されるかそうでなければマークを付けられる。後の2つの機能は「暗視野撮像」と称されることが多い。
Claims (9)
- 最適な走査軌跡を決定することによってスライド上の被検物の合焦された画像を取得するための方法であって、
前記被検物の位置を特定するために前記スライドの比較的低い倍率の画像を取り込むことと、
グリッド点の配置を含むグリッドを形成することと、
前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せることと、
前記視野の範囲内の前記被検物の画像の比較的高い倍率のZスタックを取り込むことと、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する1つまたは複数の最善の焦点値を決定して、最終結果としての3次元の点のグリッドを形成することと、
前記最終結果としてのグリッドに基づいて1つまたは複数の3次元走査軌跡を決定することとを含み、
前記1つまたは複数の3次元走査軌跡がマルチスペクトル軌跡を含み、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する前記1つまたは複数の最善の焦点値を決定することが、それぞれのグレイスケールおよび選択された興味のある色について、ぼけの量が最小の画像の前記Zスタックにおいて焦点面を識別することと、前記識別された焦点面のZ値を、前記各グリッド点に関する最善の焦点Z値として設定することとを含み、
それぞれの最善の焦点が、画像の前記Zスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
方法。 - 各グリッド点に関する前記1つまたは複数の最善の焦点値を決定した後に画像の前記Zスタックを破棄することをさらに含む、請求項1に記載の方法。
- 前記グリッドが2次元面に形成され、
画像の比較的高い倍率のZスタックを取り込むことが、前記2次元面に対して垂直な光ビームを使用することを含む、請求項1または2に記載の方法。 - 前記被検物の合焦された画像をスティッチングして、前記被検物全体の複合画像を手に入れることをさらに備える、請求項3に記載の方法。
- 最適な走査軌跡を決定することによってスライド上の被検物の合焦された画像を取得するためのシステムであって、前記システムが、
前記スライドの比較的低い倍率の画像を取り込んで前記被検物の位置を特定するデジタル撮像装置と、
グリッド点の配置から成るグリッドを形成するデジタル撮像システムとを備え、
前記デジタル撮像システムが、前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せ、
前記デジタル撮像装置が、前記視野の範囲内の前記被検物の画像の比較的高い倍率のZスタックを取り込み、
前記デジタル撮像システムが、前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する1つまたは複数の最善の焦点値を決定して、最終結果としての3次元の点のグリッドを形成し、
前記デジタル撮像システムが、前記最終結果としてのグリッドに基づいて1つまたは複数の3次元走査軌跡を決定し、
前記1つまたは複数の3次元走査軌跡がマルチスペクトル軌跡を含み、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する前記1つまたは複数の最善の焦点値を決定することが、それぞれのグレイスケールおよび選択された興味のある色について、ぼけの量が最小の画像の前記Zスタックにおいて焦点面を識別することと、前記識別された焦点面のZ値を、前記各グリッド点に関する最善の焦点Z値として設定することとを含み、
それぞれの最善の焦点が、画像の前記Zスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
システム。 - グレイスケール画像、興味のある色の画像、および被検物全体の複合画像のうち任意の1つまたは複数にリモートでアクセスして表示するユーザステーションをさらに含む、請求項5に記載のシステム。
- 最適な走査軌跡を決定することによりスライド上の被検物の合焦された画像を取得するための、非一時的なプロセッサ可読媒体上にあるコンピュータプログラム製品であって、前記コンピュータプログラム製品が、プロセッサ実行可能命令コードを含み、
前記被検物の位置を特定するために、デジタル撮像装置に対して比較的低い倍率の前記スライドの画像を取り込むように命令するための命令コードの第1の組と、
グリッド点の配置から成るグリッドを形成するための命令コードの第2の組と、
前記被検物の少なくとも一部分をカバーする視野にわたって前記グリッドの少なくとも一部分を被せるための命令コードの第3の組と、
前記視野の範囲内の前記被検物の画像の比較的高い倍率のZスタックを取り込むための命令コードの第4の組と、
前記グリッドの前記少なくとも一部分の範囲内の各グリッド点に関する1つまたは複数の最善の焦点値を決定して、最終結果としての3次元の点のグリッドを形成するための命令コードの第5の組と、
前記最終結果としてのグリッドに基づいて1つまたは複数の3次元走査軌跡を決定するための命令コードの第6の組と、を備え、
前記1つまたは複数の3次元走査軌跡がマルチスペクトル軌跡を含み、
前記命令コードの第5の組が、それぞれのグレイスケールおよび選択された興味のある色に関して、ぼけの量が最小の画像の前記Zスタックにおける焦点面を識別することにより、前記グリッドの前記少なくとも一部分の範囲内のそれぞれのグリッド点に関する前記1つまたは複数の最善の焦点値を決定し、
前記命令コードの第5の組が、前記識別された焦点面のZ値を、前記各グリッド点に関する最善の焦点Z値として設定し、
それぞれの最善の焦点が、画像の前記Zスタックの各画像の範囲内の複数の画像フィーチャの最大の平均勾配を有する、
コンピュータプログラム製品。 - 各グリッド点に関する前記1つまたは複数の最善の焦点値を決定した後に画像の前記Zスタックを破棄するための命令コードの第7の組をさらに備える、請求項7に記載のコンピュータプログラム製品。
- リモートで設置されたユーザステーションに、グレイスケール画像、興味のある色の画像、および被検物全体の複合画像のうち任意の1つまたは複数にアクセスして表示させることを可能にするための命令コードの組をさらに含む、請求項7または8に記載のコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562268165P | 2015-12-16 | 2015-12-16 | |
US62/268,165 | 2015-12-16 | ||
PCT/EP2016/080970 WO2017102827A1 (en) | 2015-12-16 | 2016-12-14 | Auto-focus methods and systems for digital imaging using mutli-spectral trajectories |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019505836A JP2019505836A (ja) | 2019-02-28 |
JP2019505836A5 JP2019505836A5 (ja) | 2020-01-30 |
JP7146635B2 true JP7146635B2 (ja) | 2022-10-04 |
Family
ID=57758572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531648A Active JP7146635B2 (ja) | 2015-12-16 | 2016-12-14 | マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10761310B2 (ja) |
EP (1) | EP3391116A1 (ja) |
JP (1) | JP7146635B2 (ja) |
CN (1) | CN108603998B (ja) |
WO (1) | WO2017102827A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017107348B4 (de) * | 2017-04-05 | 2019-03-14 | Olympus Soft Imaging Solutions Gmbh | Verfahren zur zytometrischen Analyse von Zellproben |
CN107515454B (zh) * | 2017-08-29 | 2019-12-20 | 宁夏巨能机器人股份有限公司 | 一种3d视觉定位的焦距自动调节装置及其调节方法 |
CN108596878B (zh) * | 2018-03-30 | 2021-04-09 | 浙江大学山东工业技术研究院 | 图像清晰度评价方法 |
US10341551B1 (en) * | 2018-05-21 | 2019-07-02 | Grundium Oy | Method, an apparatus and a computer program product for focusing |
JP7089071B2 (ja) * | 2018-06-15 | 2022-06-21 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド | 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け |
US10896316B2 (en) * | 2019-02-04 | 2021-01-19 | Tokitae, LLC | Automated microscopy scanning systems and methods |
CN111275016B (zh) * | 2020-03-03 | 2023-05-16 | 湖南国科智瞳科技有限公司 | 一种玻片扫描影像采集与分析方法及装置 |
KR20230021136A (ko) * | 2020-08-07 | 2023-02-13 | 나노트로닉스 이미징, 인코포레이티드 | 자동 초점 현미경 시스템을 위한 딥 러닝 모델 |
WO2022043289A1 (en) * | 2020-08-25 | 2022-03-03 | F. Hoffmann-La Roche Ag | Computer-implemented method for quality control of a digital image of a sample |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191959A (ja) | 2002-11-29 | 2004-07-08 | Olympus Corp | 顕微鏡画像撮影装置 |
JP2007525689A (ja) | 2003-04-17 | 2007-09-06 | アペリオ・テクノロジーズ・インコーポレイテッド | 線形配列に基づくスライドスキャナにおける予備焦点合わせ方法及び装置 |
WO2015007697A1 (en) | 2013-07-18 | 2015-01-22 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for multi-spectral imaging |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7155049B2 (en) * | 2001-01-11 | 2006-12-26 | Trestle Acquisition Corp. | System for creating microscopic digital montage images |
US7417213B2 (en) * | 2005-06-22 | 2008-08-26 | Tripath Imaging, Inc. | Apparatus and method for rapid microscopic image focusing having a movable objective |
DE102005040827A1 (de) | 2005-08-25 | 2007-06-21 | Carl Zeiss Jena Gmbh | Verfahren zur Kompensation des Farblängsfehlers der Abbildungsoptik eines Mikroskops |
HUP0600435A2 (en) * | 2006-05-26 | 2007-11-28 | 3Dhistech Kft | Method and system for digitizing a specimen having fluorescent target points |
US8310531B2 (en) * | 2009-08-03 | 2012-11-13 | Genetix Corporation | Methods and apparatuses for processing fluorescence images |
-
2016
- 2016-12-14 JP JP2018531648A patent/JP7146635B2/ja active Active
- 2016-12-14 CN CN201680081622.9A patent/CN108603998B/zh active Active
- 2016-12-14 WO PCT/EP2016/080970 patent/WO2017102827A1/en active Application Filing
- 2016-12-14 EP EP16823186.8A patent/EP3391116A1/en active Pending
-
2018
- 2018-06-15 US US16/010,375 patent/US10761310B2/en active Active
-
2020
- 2020-07-22 US US16/935,664 patent/US10921575B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191959A (ja) | 2002-11-29 | 2004-07-08 | Olympus Corp | 顕微鏡画像撮影装置 |
JP2007525689A (ja) | 2003-04-17 | 2007-09-06 | アペリオ・テクノロジーズ・インコーポレイテッド | 線形配列に基づくスライドスキャナにおける予備焦点合わせ方法及び装置 |
WO2015007697A1 (en) | 2013-07-18 | 2015-01-22 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for multi-spectral imaging |
Also Published As
Publication number | Publication date |
---|---|
EP3391116A1 (en) | 2018-10-24 |
US20200355903A1 (en) | 2020-11-12 |
US20180292638A1 (en) | 2018-10-11 |
WO2017102827A1 (en) | 2017-06-22 |
CN108603998B (zh) | 2021-12-31 |
US10761310B2 (en) | 2020-09-01 |
JP2019505836A (ja) | 2019-02-28 |
US10921575B2 (en) | 2021-02-16 |
CN108603998A (zh) | 2018-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7146635B2 (ja) | マルチスペクトル軌跡を使用するデジタル撮像のための自動合焦の方法およびシステム | |
JP5698398B2 (ja) | スライド全体蛍光スキャナ | |
AU2014292179B2 (en) | Auto-focus methods and systems for multi-spectral imaging | |
US9224193B2 (en) | Focus stacking image processing apparatus, imaging system, and image processing system | |
JP5675419B2 (ja) | 画像生成装置、及び、画像生成方法 | |
US10623627B2 (en) | System for generating a synthetic 2D image with an enhanced depth of field of a biological sample | |
WO2014110027A1 (en) | Multispectral imaging system and methods | |
JP2012237693A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US11422349B2 (en) | Dual processor image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211025 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211025 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211104 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211109 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20211210 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20211214 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220614 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220726 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220830 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7146635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |