TWI830803B - 數位影像系統及方法 - Google Patents

數位影像系統及方法 Download PDF

Info

Publication number
TWI830803B
TWI830803B TW108139798A TW108139798A TWI830803B TW I830803 B TWI830803 B TW I830803B TW 108139798 A TW108139798 A TW 108139798A TW 108139798 A TW108139798 A TW 108139798A TW I830803 B TWI830803 B TW I830803B
Authority
TW
Taiwan
Prior art keywords
slide
image
review
sample
entire sample
Prior art date
Application number
TW108139798A
Other languages
English (en)
Other versions
TW202036477A (zh
Inventor
雷蒙 珍諾斯基
賽德 梅爾
羅伯特 詹寧斯
萊恩 P 奧麗瓦
約翰 A 麥克瑞
麥可 D 奎克
莎拉 瑪格麗特 哈靈頓
Original Assignee
美商好樂杰公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商好樂杰公司 filed Critical 美商好樂杰公司
Publication of TW202036477A publication Critical patent/TW202036477A/zh
Application granted granted Critical
Publication of TWI830803B publication Critical patent/TWI830803B/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00029Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor provided with flat sample substrates, e.g. slides
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/0099Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • G01N15/1433
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1434Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
    • G01N2015/1452Adjustment of focus; Alignment

Abstract

本發明揭示用於評估貼附至基板(諸如載玻片)之樣本的自動系統及方法,一例示性系統包含一載玻片成像器,其經組態以獲取貼附至一基板之一樣本之複數個微影像(該樣本包含分佈於三維體積內之複數個物件)且使用該等微影像來產生該樣本之一整個樣本影像,其中該樣本中所含之物件實質上聚焦描繪於該整個樣本影像中,不管該樣本內該等各自物件之一景深如何。該整個樣本影像儲存於一儲存媒體中以由一細胞化驗員使用包含一顯示器及一使用者介面之一電腦控制複查站來隨後複查,其中該複查站使用者介面經組態使得該細胞化驗員可複查及分類該等所儲存之整個樣本影像。

Description

數位影像系統及方法
本發明大體上係關於數位影像系統及方法,且更特定言之,本發明係關於用於獲取可顯示於一電腦監視器上且由細胞化驗員及/或細胞病理學家觀看於電腦監視器上之樣本(諸如細胞學(細胞)樣本及病變(固體)組織樣本)之數位影像的數位影像系統及方法。
細胞學係涉及細胞之形成、結構及功能之研究的一生物學分支。如一實驗室環境中所應用,細胞學家、細胞化驗員及其他醫療專業人員基於一患者細胞之一樣品之目測檢查來作出患者狀況之醫學診斷,此樣品在本文中指稱一「細胞學」樣本。一典型細胞學技術係一「子宮頸抹片」檢查,其中細胞自一女性之子宮頸刮削且經分析以偵測異常細胞之存在(子宮頸癌發病之一前兆)。細胞學技術亦用於偵測人體之其他部分中之異常細胞及疾病。
細胞學技術被廣泛採用,因為收集細胞樣品用於分析之創傷一般小於傳統外科病理學程序,諸如活體組織檢查,其中使用具有彈簧負載之可平移口針、固定插管及其類似者之專用活體組織檢查針來自患者切除一固體組織樣品(本文中指稱一「病理性」樣本)。可藉由各種技術(其包含(例如)藉由刮削或擦拭一區域或藉由使用一針來自胸腔、膀胱、脊髓管或其他適當區域抽吸體液)來自患者獲得細胞樣品。所獲取之細胞樣品通常放置於一防腐液中且隨後自溶液提取而轉移至一載玻片。將一固定劑施加於細胞樣品以確保細胞保持於載玻片上之適當位置中以促進後續染色及檢查。
一般期望載玻片上之細胞具有一適當空間分佈,使得可檢查個別細胞。一單層細胞通常為較佳的。因此,自含有諸多細胞(例如數萬個)之一液體樣品製備一細胞樣本通常需要:首先藉由機械分散、液體剪切或其他技術來使細胞彼此分離,使得可收集一薄的單層細胞且將其沈積於載玻片上。依此方式,細胞化驗員可更易於辨別患者樣品中之任何異常細胞之存在。亦能夠計數細胞以確保已評估適當數目個細胞。
美國專利第5,143,627號、第5,240,606號、第5,269,918號、第5,282,978號、第6,562,299號、第6,572,824號及第7,579,190號中揭示用於自一液體樣品容器產生一薄的單層細胞且接著將此薄層轉移至有利於目測檢查之一「樣本載玻片」的特定方法及設備。本文中所引用之所有公開案之全文以引用的方式併入。根據此等專利中所揭示之一方法,使用插入至容器中之一旋轉樣品收集器來分散懸浮於一防腐液中且儲存於一樣品容器中之一患者細胞。將一受控真空施加於樣品收集器以透過其之一篩濾器來汲取液體,直至透過過濾器來收集細胞之一所要數量及空間分佈。其後,自樣品容器移除樣品收集器且抵著一載玻片壓印過濾器部分以依實質上相同於收集之空間分佈將收集細胞轉移至載玻片。根據一或多個此等專利所製造之設備已成功商業化,諸如由位於Marlborough, Massachusetts之Hologic公司製造及銷售之ThinPrep® 2000處理器(每次自患者樣品處理一個樣本載玻片)及ThinPrep® 5000處理器(自患者樣本處理樣本載玻片批次)。進一步參考美國專利第7,556,777號及第7,771,662號。
在製備一樣本載玻片之後,通常在放大下且在使用或不使用各種照明源之情況下由一細胞化驗員目測檢測樣本。另外或替代地,使用自動載玻片影像系統來促進細胞檢測程序。例如,一自動載玻片影像系統可擷取固定至載玻片之一細胞樣本內之所有或實質上所有個別細胞之一影像,且使用影像處理技術來執行細胞之一初步評估以指引細胞化驗員密切檢測載玻片上之可能最相關細胞。美國專利第7,587,078號、第6,665,060號、第7,006,674號、第7,369,304號及第7,590,492號中揭示此等影像系統之實例。不管藉由在放大下檢測實際樣本載玻片或檢測樣本之放大影像,樣本通常由細胞化驗員分類成「正常」或「異常」,其中一異常樣品通常歸於由「The Bethesda System for Reporting Cervical/Vaginal Cytologic Diagnosis」界定之主類別之一者中,該等類別包含輕度鱗狀上皮內病變(LSIL)、重度鱗狀上皮內病變(HSIL)、鱗狀細胞癌、腺癌、意義未定之非典型腺細胞(AGUS)、原位腺癌(AIS)及非典型鱗狀細胞(ASC)。可廣泛使用關於細胞樣本分類之額外資訊,諸如「The Yokohama System for reporting endometrial cytology: Diagnostic Cytopathology」(2018年5月,第46(5)卷,第400頁至第412頁)及「Guidelines for the Reporting of Nongynecologic Cytopathology Specimens, Archives of Pathology & Laboratory Medicine」(2009年11月,第133卷,第11期,第1743頁至第1756頁)。
然而,存在與用於獲取生物樣本之數位影像的先前系統及方法相關聯之諸多缺點。例如,先前系統及方法由於掃描整個樣本所需之時間而遭受慢獲取時間。另外,先前系統及方法通常僅提供跨樣本之一單一焦平面。生物樣本(其包含細胞及病理性樣本)實際上呈三維(即,具有一深度)。因此,歸因於獲得生物樣本之數位影像所需之高放大率及聚焦孔徑,影像之景深非常有限。因此,焦平面中之景深外之一樣本之部分將失焦或在影像中不可見。為獲得樣本之多個不同深度處之聚焦數位影像,必須(諸如)藉由移動樣本或攝影機或藉由調整一聚焦透鏡來調整焦平面。然而,此需要針對各焦平面來額外掃描樣本,其進一步減慢獲取時間。
本文中揭示及描述用於評估貼附至基板之樣本(例如細胞或病理性樣本)的改良自動系統之實施例。通常,基板係顯微鏡載玻片,因此,相對於使用載玻片作為基板來描述實施例,且應瞭解,本文中所揭示之自動系統及方法不受限於使用載玻片,而是可利用適合基板。樣本可包含用於在顯微鏡放大下數位成像之任何類型之樣本,諸如一生物或化學樣本,其包含細胞樣本、組織樣本等等。如本文中所使用,術語「樣本」可係指應用於整個樣本或其一部分,其取決於內文。
在一例示性實施例中,根據本發明所建構之自動載玻片影像系統包含一成像器,其經組態以獲取貼附至一載玻片之一表面之一樣本之影像(該樣本包括分佈於三維體積內之複數個物件)且自該等獲取影像產生一整個樣本影像,其中該等物件聚焦描繪於該整個樣本影像中,不管該三維體積內各自物件之個別位置如何,且其中該三維樣本體積具有一長度、一寬度及一厚度,該厚度界定相對於該載玻片表面之一z軸,其中該樣本之個別物件(例如視情況為個別細胞或組織結構)定位於沿該z軸之不同位置處。該等獲取影像可包含該樣本之一宏影像及該樣本之複數個微影像,其中該宏影像包含定位於該載玻片表面上之一或多個基準標記,且其中該成像器經組態以至少部分基於自該宏影像判定之該載玻片表面上之該樣本之相對位置及邊界來獲取該等微影像。
在一例示性實施例中,該成像器具有:一第一成像平台,其經組態以承載該載玻片;及一第一攝影機,其經組態以在該載玻片承載於該第一成像平台上時獲取該宏影像;及一第二成像平台,其經組態以承載該載玻片;及一第二攝影機,其經組態以獲取貼附至承載於該第二成像平台上之一載玻片的一樣本之該等微影像。該成像器經組態以使該第二攝影機及該第二成像平台之至少一者相對於另一者自動移動以獲取該等微影像,其中該第二攝影機之一光軸與該第二成像平台形成一非正交角,且其中該成像器經組態以獲取該三維樣本體積之一相同z軸處之該樣本之該等微影像。值得一提的是,經成像之該載玻片具有一厚度,且該等微影像可包含該表面下方之該載玻片之至少一部分。該樣本可由足夠透明之一蓋玻片覆蓋以透過該蓋玻片來獲取該樣本之該等微影像,該蓋玻片具有一厚度,其中該等微影像各包含該蓋玻片之一深度之至少一部分。在例示性實施例中,該樣本載玻片具有界定一x軸之一寬度及界定一y軸之一長度,且該成像器經組態以在該第二攝影機獲取各自y軸位置處之該等微影像時沿該y軸相對於該第二攝影機平移該載玻片,各微影像包含基於該載玻片表面上之該等判定樣本邊界之該樣本之整個x軸寬度。
在一例示性實施例中,該成像器具有:一或多個載玻片保持器插座,各載玻片保持器插座經組態以接收包括複數個插槽之一載玻片保持器,各插槽經組態以保持一個別載玻片;及一機械臂總成,其經組態以(i)自該載玻片保持器插座中之一載玻片保持器之一插槽接合及移除該載玻片,(ii)運輸該載玻片且使載玻片承載於該第一成像平台上以獲取該宏影像,(iii)自該第一成像平台再接合及移除該載玻片,(iv)運輸該載玻片且使該載玻片承載於該第二成像平台上以獲取該等微影像,及(v)自該第二成像平台再接合及移除該載玻片。該機械臂總成可經進一步組態以(vi)將該載玻片運輸至相同於或不同於該載玻片自其移除之載玻片保持器的一載玻片保持器及(vii)將該載玻片釋放至該各自相同或不同載玻片保持器之一插槽中,其中該各自相同或不同載玻片保持器之該插槽係相同於由該機械臂總成自其移除該載玻片之插槽的插槽。
在一例示性實施例中,該成像器包含經組態以自該等微影像產生該整個樣本影像之一影像處理器,其中該影像處理器判定該等微影像中各自物件之一各自最佳聚焦影像,且其中該等物件之該等最佳聚焦影像併入至該整個樣本影像中。該影像處理器經較佳進一步組態以識別該樣本中之關注物件(例如個別細胞或組織結構)且儲存該等識別關注物件之影像及該整個樣本影像。該樣本之該宏影像可包含該載玻片表面上之一條碼之一影像,在該情況中,該成像器經較佳組態以自該條碼獲得關於該樣本之資訊。
在一例示性實施例中,該系統進一步包含一複查站,其包含一顯示監視器、一使用者介面及與該各自顯示監視器及該使用者介面可操作地耦合之一處理器,其中該處理器經組態以在該顯示監視器上顯示該整個樣本影像及該樣本影像內個別物件之單獨影像。
在非限制條件下,該複查站可經組態以允許系統使用者使用該使用者介面來自所儲存之整個樣本影像之一清單選擇該整個樣本影像。
在非限制條件下,該系統可經組態以允許一系統使用者使用該使用者介面來最終特徵化或否則轉送該整個樣本影像用於二次複查。
在非限制條件下,可基於透過該使用者介面所接收之輸入來依複數種不同格式組織及顯示未被最終特徵化或否則經轉送用於二次複查之所儲存之整個樣本影像之一清單。該系統可經進一步組態以允許一授權第三方完全或部分填寫所儲存之整個樣本影像之該清單以供一特定系統使用者複查。
在一例示性實施例中,該系統經組態以允許由一系統使用者將註記添加至該整個樣本影像及/或與一整個樣本影像相關聯之一資料檔案,其中後續系統使用者可使用該等註記及該整個樣本影像來複查。例如,該等註記可與該整個樣本影像中之個別物件相關聯,且可呈該整個樣本影像或該整個樣本影像之一部分之影像上所做之電子標記之形式。
在一例示性實施例中,該系統可經組態以回應於與該整個樣本影像中之一各自物件相關聯之一系統使用者提示而顯示與該各自物件共用一或多個特性之一或多個額外物件,其中該一或多個額外物件(例如視情況為細胞或組織結構)可來自該整個樣本影像及/或來自含有先前分類物件之一庫。在非限制條件下,該系統可經組態以允許關於該整個樣本影像或其內之個別物件之資料透過該使用者介面輸入且儲存於與該整個樣本影像相關聯之一資料檔案中。
在一例示性實施例中,該系統經組態以顯示該整個樣本影像之至少一部分之一放大圖且自動掃描該整個樣本影像之該所顯示之至少一部分。在此實施例中,該系統較佳依使用者可選擇之掃描模式(其包含(但不限於)一蛇形模式、一逐列模式及一逐行模式)自動掃描。在此實施例中,該系統經較佳組態以允許一系統使用者經由該使用者介面來設定該系統顯示該整個樣本影像之該所掃描之至少部分時的一放大倍數。在此等實施例中,該系統經較佳組態以允許一系統使用者經由該使用者介面來停止及開始該掃描之一顯示位置處之掃描及設定一掃描速度。在此等實施例中,該系統經組態以允許一系統使用者在該掃描期間因該等各自物件被顯示而暫停各物件處之掃描。
在一例示性實施例中,該系統經組態以在該顯示監視器上顯示一複查螢幕,該複查螢幕包含其中顯示整個樣本影像之一主影像面板及其中顯示該樣本影像內之個別物件之單獨影像的一物件面板,其中一系統使用者可經由該使用者介面來放大/縮小及/或平移該主影像面板內之該整個樣本影像。在非限制條件下,該系統可經組態以在一系統使用者經由該使用者介面來選擇該物件面板中之一各自物件之一單獨影像之後在該主影像面板內顯示含有該物件之該整個樣本影像之一區域。在非限制條件下,該系統可經組態以允許一系統使用者經由該使用者介面來選擇該所顯示之整個樣本影像中之一物件,其中該系統在一系統使用者選定影像面板中顯示該選定物件之一影像。
根據本發明之另一態樣,提供一種產生貼附至一載玻片之一表面之一樣本之一整個樣本影像的方法,該樣本包括分佈於三維體積內之複數個物件,該方法包含:(i)獲取該樣本之一宏影像;(ii)至少部分基於該宏影像來獲取該樣本之複數個微影像;及(iii)藉由使用一影像處理器處理該等微影像來產生該整個樣本影像,其中該等物件實質上聚焦描繪於該整個樣本影像中,不管該三維體積內該等各自物件之個別位置如何,該三維體積具有一長度、一寬度及一厚度,該厚度界定相對於該載玻片表面之一z軸,其中該樣本之各自物件(例如細胞或組織結構)定位於沿該z軸之不同位置處。
在非限制條件下,可使用一第一攝影機來獲取該宏影像,且使用一第二攝影機來獲取該等微影像,其中在擷取該等微影像時使該第二攝影機及該載玻片之至少一者相對於另一者自動移動,其中該第二攝影機之一光軸與該載玻片形成一非正交角,且其中在該三維體積之一相同z軸處獲取該等微影像。接著,可藉由使用一影像處理器處理該等微影像以判定該等微影像中個別物件之一各自最佳聚焦影像且將該等物件之該等各自最佳聚焦影像併入至該整個樣本影像中來產生該整個樣本影像。
該宏影像較佳擷取定位於該載玻片表面上之一或多個基準標記,該方法進一步包括至少部分基於該一或多個基準標記來判定該載玻片表面上該樣本之一相對位置及邊界,其中至少部分基於自該宏影像判定之該載玻片表面上之該樣本之該相對位置及該等邊界來獲取該等微影像。可藉由在該第二攝影機獲取各自y軸位置處之該等微影像時沿一y軸相對於該第二攝影機平移該載玻片來獲取該等微影像,各微影像包含基於該載玻片表面上之該等判定樣本邊界之該樣本之整個x軸寬度。
該方法可進一步包含識別該樣本中之關注物件(例如個別細胞或組織結構)及儲存該等所識別之關注物件之影像及該整個樣本影像。
該方法可進一步包含使用包含一顯示器及一使用者介面之一電腦控制複查站來複查該整個樣本影像及其內個別物件之影像。
附圖中描繪及以下詳細描述中描述自動成像及複查系統之揭示實施例之其他及進一步特徵及優點。
相關申請案之交叉參考 本專利申請案主張2018年11月2日申請之名稱為「DIGITAL IMAGING SYSTEM AND METHOD」之美國臨時申請案第62/755,151號及2018年11月2日申請之名稱為「DIGITAL IMAGING DISPLAY SYSTEMS AND METHODS」之美國臨時申請案第62/755,291號之優先權,該等申請案之各者之全文以引用的方式併入本文中。
圖1及圖2繪示用於使具有安置於基板102 (參閱圖3)上之(若干)樣本之基板102上之複數個樣本數位成像之一自動數位影像系統100。例如,基板102可為顯微鏡載玻片(如所描述之實施例中所描繪)或任何其他適合基板102,諸如一微板、微陣列、其他適合媒體。數位影像系統100之描述實施例利用顯微鏡載玻片,因此,基板102將指稱載玻片,且應瞭解,數位影像系統100不受限於使用載玻片,而是可利用任何適合基板102。因此,本文中所使用之術語「載玻片」應意謂用於將一樣本貼附其上之任何適合基板,其包含一微板、微陣列或其他適合媒體。如本文中所使用,術語「顯微鏡載玻片」應意謂用於使物件保持在一顯微鏡下檢查之一薄平玻璃或塑膠件。樣本可包含用於在顯微鏡放大下數位成像之任何類型之樣本,諸如一生物或化學樣本(其包含細胞樣本及病理性組織樣本兩者)等等。樣本係含有分散於一空間體積內之個別細胞之一細胞樣本的個案用於描述影像系統100。然而,應瞭解,系統可依相同於其用於細胞樣本之方式用於不同類型之樣本,諸如病理性組織樣本。
自動數位影像系統100經設計以獲取一載玻片102上之一整個樣本(或甚至多個樣本)之高解析度數位影像且允許使用樣本之數位影像而非實體載玻片102來複查樣本。光學顯微鏡不用於數位影像系統100之正常複查工作流程中。替代地,獲取一載玻片102上之整個樣本之數位影像且使其可用於在一複查站108 (參閱圖2)之一電腦監視器109上觀看。數位影像系統100亦可包含一影像處理軟體應用程式137 (其安裝於成像器104之成像器電腦105及/或工作流程子系統106上),其體現經組態以分析一載玻片樣本之數位影像且識別關注物件(OOI)(即,一細胞樣本情況中之個別細胞或一病理性固體組織樣本情況中之個別組織結構)之一影像處理演算法。接著,所識別之OOI可用於促進使用者(例如一細胞化驗員或細胞病理學家)快速且準確複查載玻片樣本之數位影像,如上文所引用之美國專利第7,587,078號、第6,665,060號、第7,006,674號及第7,590,492號中所描述。術語「OOI」意謂一物件經判定以具有指示物件(視情況為個別細胞或組織結構)可用於使一細胞化驗員或細胞病理學家複查以診斷或治療一患者之特性,且未必意謂此物件已被判定為受到一細胞化驗員或細胞病理學家實際關注或實際重視。
自動數位影像系統100包含可操作地連接至一工作流程子系統106 (亦指稱一「工作流程伺服器106」)之一或多個成像器子系統103 (各包含一成像器104及一成像器電腦105)及一或多個複查站108。一般而言,各成像器104係用於擷取載玻片102之數位影像的一台式系統。成像器104依一自動方式處置載玻片批次。工作流程伺服器106係主要充當用於儲存及管理數位影像及相關聯載玻片資料之一大磁碟儲存系統的一電腦伺服器。工作流程伺服器106亦可包含用於影像處理及資料管理之軟體且亦可提供網路功能。複查站108係包含用於自工作流程伺服器存取數位影像且顯示數位影像以診斷複查影像(OOI及/或整個樣本影像)之電腦及監視器的工作站。
如圖1中所描繪,成像器子系統103經由一通信網路來與工作流程子系統106資料通信,通路網路可包含一區域網路(LAN,例如乙太網路)、廣域網路(WAN)、網際網路(例如虛擬私人網路(VPN))或其他適合網路之一或多者。類似地,複查站108經由一通信網路來與工作流程子系統106資料通信,通信網路可包含一區域網路(LAN,例如乙太網路)、廣域網路(WAN)、網際網路(例如虛擬私人網路(VPN))或其他適合網路之一或多者。
在所描述之實施例中,成像器104經設計以與顯微鏡載玻片102一起操作。參考圖3,展示一顯微鏡載玻片102之一例示性實施例。顯微鏡載玻片102係具有一載玻片識別區域112、一樣本區域114及基準標記116之一矩形玻璃板110 (或其他適合材料)。顯微鏡載玻片102可為一標準大小顯微鏡載玻片,其係約75 mm×約25 mm或其他適合大小。顯微鏡載玻片102可具有用於促進載玻片102之處置及定位的斜角。樣本區域114可為具有高達約22 mm之一直徑的一圓形。亦可使顯微鏡載玻片102上之整個樣本區域成像。載玻片識別區域112可高達約25 mm至約28 mm長。載玻片識別部分112可印刷有一條碼、ID號及/或其他資訊。樣本區域114留作載玻片之一透明區域。基準標記116可由成像器104用作載玻片102上之參考點以判定載玻片102及其特徵相對於成像器104之位置及/或定向。包含分佈於三維體積內之複數個物件的一樣本119貼附至載玻片102,通常位於樣本區域114內,但在一些情況中,樣本可延伸至樣本區域114外。三維體積具有一長度(l)、一寬度(w)及一厚度或深度(d)。厚度(d)界定相對於載玻片102之表面的一z軸。三維體積可實質上形狀均勻(其包含厚度、長度及/或寬度),或其可不均勻。一樣本119之一體積係均勻的,其中樣本之一或多個尺寸變動小於10%或小於15%或小於20%。樣本119可為任何適合樣本,諸如其中物件係細胞之一細胞樣本、其中物件係組織結構之一固體組織樣本等等。
如圖3中所描繪,一蓋玻片115可用於覆蓋樣本區域114中之樣本119。樣本蓋玻片115足夠透明以透過蓋玻片115來獲取樣本之微影像。換言之,蓋玻片115不妨礙成像器104使用成像站190及/或巨集視域站232來透過蓋玻片115獲取微影像及/或宏影像。蓋玻片115用於保持樣本119且保護其免受污染及污染其他物件,且亦使樣本119保持平坦及處於適當位置中。蓋玻片115具有一厚度117。
參考圖4及圖5,載玻片載體118用於將複數個載玻片102裝載至成像器104中。如圖4中所展示,成像器104具有十(10)個載玻片載體118之一容量,但可經組態以保持適合數目個載玻片載體118。各載玻片載體118具有兩個架保持器202,其等各接收一載玻片架120。各載玻片架120可保持複數個載玻片102,諸如二十(20)個載玻片102或四十(40)個載玻片102或其他適合數目。載玻片架120可為標準現有架,諸如Sakura®架或Leica®架。因此,各載玻片載體118保持40個載玻片,且成像器104之總容量係400個載玻片(10個載玻片載體118×40個載玻片/載體118)。載玻片載體118具有用於攜載載玻片載體118且自成像器104插入及移除載玻片載體118之一手柄122。如圖7及圖8中所展示,載玻片載體118具有一T形插槽124,其滑動地接收於安裝於載玻片載體層板128上之一T形軌條126上。載玻片載體118藉由使T形插槽124與T形軌條126對準且使載玻片載體118滑動至載玻片載體層板128上來安裝於成像器104中。載玻片載體118藉由自載玻片載體層板128筆直拉出載玻片載體118來自成像器104移除。
現參考圖2及圖11,影像子系統103包含一成像器104及一成像器電腦105。成像器104及成像器電腦105經由一網路連接(諸如一乙太網路連接(例如一10GE光學連接))來彼此資料通信。成像器電腦105可為任何適合電腦,諸如具有一或多個電腦處理器(CPU)及一圖形處理器(GPU)之一個人電腦。例如,圖11中示意性展示適合於成像器電腦105之一電腦。成像器電腦105可具有一或多個以下規格:
a. 主機板130——雙處理器伺服器類別。應瞭解,雙處理器組態適合於意欲運行於成像器子系統103上之軟體;
b. CPU——Intel® Xeon®類別或更佳;
c. 至少64 Gb之DRAM;
d. 專用GPU 132,諸如雙Nvidia® RTX-5000或更佳。確保足以用於影像擷取且產生由成像器子系統103成像之各載玻片之一載玻片資料組(SDS 304,參閱圖34)的處理速度;
e. 用於儲存(若干)軟體程式135 (其包含一影像處理軟體應用程式137 (下文將更詳細描述))之局部硬碟133;
f. 局部大容量資料儲存器134,諸如一硬碟、固態硬碟或其類似者;
g. 網路及USB輸入/輸出(I/O) 136;
h. 電源供應器138;
i. 不斷電電源供應器(UPS) 140。
輸入/輸出136包含以下之一或多者:
a. 提供成像器VGA視訊、觸控螢幕USB及電腦音訊至成像器104。成像器104自成像器電腦105接收VGA視訊且驅動成像器顯示監視器168。一專用成像器電腦USB埠向成像器顯示監視器168之觸控螢幕提供I/O。成像器電腦105提供音訊至成像器104,其中放大音訊。成像器揚聲器連接至音訊放大器。
b. 提供USB埠用於鍵盤及滑鼠之製造及服務支援。在正常操作中,鍵盤及滑鼠未連接且無需用於成像器正常系統操作。一額外USB埠提供於成像器前部上以便於使用者存取。
c. 自主電源或外部智慧型UPS 140 (若附接)透過成像器IEC入口連接器獲得成像器電腦電源。
d. 提供一專用USB埠與智慧型UPS通信。在一主電源失效之事件中,則UPS將傳送事件至成像器電腦105,且成像器電腦105將啟動一控制電源切斷,使得維持電腦軟體、資料及組態完整性。
如上文所描述,成像器電腦105經由一通信網路(諸如一1 Gb乙太網路有線網路連接)來與工作流程子系統106資料通信。
轉至圖4、圖9及圖10,成像器104係一台式數位影像裝置且充當整個數位影像系統100之輸入裝置。成像器104依無或少有使用者干預之一自動方式擷取裝載至成像器104中之載玻片載體118中之成批載玻片102之數位影像。成像器104包括一機殼總成142、一基底總成148及提供其上安裝成像器組件之框架且收容成像器組件之一封閉體總成。機殼/封閉體總成142可組態成具有等於或小於36英寸寬×28英寸深×25英寸高之尺寸的一台式儀器。若未裝載載玻片102或載玻片載體118,則成像器104可具有等於或小於200磅之一重量。此等僅為較佳尺寸及重量,且未必限制成像器104,除非申請專利範圍中有規定。因此,成像器104可具有符合所欲用途之其他最大尺寸及重量。
成像器104包含安裝至基底總成148之一機殼總成142及一封閉體總成146。成像站190包含一基底144及其上安裝成像器組件之一隔振成像器底板152 (參閱圖19)。成像站190安裝至基底總成148。封閉體總成146包含一封閉體左面板154、一封閉體右面板156、一封閉體後面板158、一封閉體頂面板159、一封閉體左前窗160、一封閉體右前窗162、一封閉體右面板164及一載玻片載體層板門166。各封閉體組件安裝至機殼總成142及/或另一封閉體組件。封閉體左前窗160係透明或半透明的,使得可透過封閉體左前窗160看見內部成像器組件。封閉體左前窗160經可樞轉安裝使得其可打開及關閉以接取內部成像器組件。封閉體右前窗162係透明或半透明的,使得可透過封閉體右前窗162看見其他內部成像器組件。封閉體左面板154可具有一左窗170,使得可透過左窗170看見內部成像器組件。封閉體頂面板159亦可具有一頂窗172,使得可透過頂窗172看見內部成像器組件。封閉體顯示面板168經可樞轉安裝使得其可打開及關閉以接取內部成像器組件。載玻片載體層板門166經可樞轉安裝使得其可打開及關閉以接取載玻片載體層板128以自載玻片載體層板128裝載及移除載玻片載體118 (參閱圖4及圖10)。
封閉體總成146亦提供成像器104之輸入及輸出、使用者存取及環境控制。圖12係封閉體總成146之一方塊圖。封閉體總成146提供空氣管理以確保足夠氣流存在於成像器104內以維持內部操作溫度低於一最大值(例如小於40°C)且維持一內部正壓(當關閉載玻片載體層板門166時)。封閉體總成146提供外部信號及電源連接。
成像器顯示監視器168可為一LCD觸控螢幕顯示器或其他適合顯示器。成像器顯示監視器168展示成像器104之操作及狀態且亦透過觸控螢幕(或其他(若干)輸入裝置)來提供操作者控制。如圖12中所展示,成像器顯示監視器168經由封閉體總成146之隔板連接器來連接至成像器電腦105。成像器電腦105提供VGA視訊、觸控螢幕USB及電腦音訊至成像器104。成像器104自成像器電腦105接收VGA視訊,且驅動成像器顯示監視器168。一專用成像器電腦USB埠向成像器顯示監視器168之觸控螢幕提供I/O。成像器電腦105亦提供音訊至成像器104,其中放大音訊。成像器揚聲器連接至音訊放大器。
仍參考圖12,封閉體總成146亦具有用於偵測封閉體左前窗160之打開/關閉狀態的一窗感測器及用於在成像器104之成像操作期間將封閉體左前窗160鎖定於關閉位置中之一窗鎖。封閉體總成146亦具有用於偵測載玻片載體層板門166之打開/關閉狀態的一門感測器及用於在成像器104之成像操作期間將載玻片載體層板門166鎖定於關閉位置中之一門鎖。
現轉至成像器104之內部組件,載玻片載體層板128安置成接近基底148上之成像器之底部。載玻片載體層板128具有複數個載玻片載體隔間(諸如十(10)個載玻片載體隔間或二十(20)個載玻片載體隔間或其他適合數目個載玻片載體隔間),其中各載玻片載體隔間經組態以接收一各自載玻片載體118。載玻片載體層板128在頂部打開以由載玻片處置器176接取容納於裝載於載玻片載體層板128中之載玻片載體118中之載玻片102。載玻片處置器176自載玻片載體118移除載玻片102,將載玻片102移動至成像器104之各種站,且將載玻片102插回至載玻片載體118中。
參考圖13,載玻片載體層板128具有用於各載玻片載體隔間174之一載體鎖173及載體存在感測器175。載體鎖173可為螺線管致動鎖或其他適合電動鎖定機構,且載體存在感測器可為光學感測器或適合於偵測各自載玻片載體隔間174中之一載玻片載體118之存在的其他感測器。載體鎖173及載體存在感測器175經由一系統介面板182 (參閱圖29,下文將描述之SIB)來與成像器電腦105資料通信。
參閱圖10及圖14至圖16,載玻片處置器176使載玻片102自動移動於成像器104之各種站之間,其包含來回於載玻片載體118、成像站190及巨集視域站232。載玻片處置器176包含一支撐平台180及可移動地耦合至支撐平台180之一載玻片處置支架178。載玻片處置支架178係可在三個運動度(即,橫向運動(X軸)及垂直運動(Z軸)(如圖14中所展示)及前/後運動(Y軸)(如圖15中所展示))上移動一載玻片手爪184之一取放型機器人。載玻片處置支架178亦可使載玻片手爪184圍繞一θ軸(參閱圖15)旋轉,且閉合及打開載玻片手爪184以抓持及釋放載玻片102。載玻片處置支架178具有用於提供載玻片處置支架之移動及/或致動之一運動機構,其包含一X軸機構254、一Y軸機構264、一Z軸機構274、一θ軸機構290及一手爪機構185。X軸機構254包含一馬達256、編碼器258、本位感測器260及驅動機械262。Y軸機構264包含一馬達266、編碼器268、一本位感測器270及驅動機械272。Z軸機構274包含一馬達276、編碼器278、一本位感測器280及驅動機械282。θ軸機構290包含一θ馬達292、θ編碼器294、θ本位感測器(圖中未展示)及θ驅動機械(圖中未展示)。各運動機構包含一馬達、編碼器、一本位感測器及驅動機械,且能夠滿足運動包絡行進、中轉加速及速度及有效負載要求。手爪184亦具有用於偵測載玻片載體118中載玻片102之存在或不存在(庫存)及載玻片載體118中載玻片架120之存在或不存在的一光學感測器188 (載玻片庫存感測器188)。手爪184可為經設計以自載玻片邊緣抓持載玻片102之一現有部件,諸如由Los Angeles, California之SMC™ Electric Gripper™製造。
如圖17中所描繪,載玻片處置支架178可操作地連接至控制各運動機構之運動的一支架機器人運動控制器186。支架機器人運動控制器186經由一控制器區域網路(CAN)來與成像器電腦105資料通信,CAN將資料及命令發送至支架機器人運動控制器186以控制載玻片處置支架178之操作。圖18展示支架機器人運動控制器186之一示意圖。
現參考圖10及圖19至圖26,成像器104具有一成像站190,其使用一數位攝影機192、鏡筒透鏡總成194、反射鏡196及物鏡198來擷取載玻片102 (即,各載玻片102上之一樣本119)之數位微影像。攝影機192使用Sony CMOS Pregius第二代感測器且具有一4096×2160像素解析度。光學路徑產生0.255 µm/像素之一光學解析度。攝影機之視域(「FOV」)遠小於一載玻片102之整個樣本區域114,因此,成像器104必須拍攝諸多微影像來擷取整個樣本區域114。例如,攝影機192之視域可為1044 µm×550 µm或約1 mm×約0.5 mm,而載玻片102之樣本區域114可具有21 mm至22 mm之一直徑。基於此等規格,攝影機192需要約885個非重疊影像來使整個樣本區域114成像。然而,為獲得樣本119之三維體積內之所有物件之聚焦影像,使用等於一影像子區域(其等於成像站190之景深)之一步進大小,其導致重疊影像,因此擷取更多圖框。例如,如下文將解釋,可每38.25 µm=約1/14之圖框高度拍攝一微影像,因此,掃描一整個樣本區域期間所擷取之影像之實際數目係約11,000或大於10,000或大於5,000或介於5000至15000之間。攝影機192獲取微影像,同時XY載玻片台210依一恆定速度移動樣本119。在此實例中,攝影機192每沿掃描方向台行進約38 µm拍攝一影像,因此,每個攝影機視域含有每FOV之14個影像。XY載玻片台210提供攝影機192之視域與載玻片102之間的相對運動,使得攝影機192可掃描一載玻片102之整個樣本區域114且拍攝經組合以覆蓋整個樣本區域114之複數個離散數位影像。
如本文中所描述,可使用一影像處理軟體應用程式137 (參閱圖11)來組合離散微影像以產生整個樣本區域114之一合成影像。
如圖19至圖22中所展示,成像站190包含一高解析度數位攝影機192,其係影像獲取總成191 (其係一顯微鏡攝影機)之部分。影像獲取總成191可成自0°至3°或自0°至10°或自0°至5°之一範圍內的角度。攝影機192經由一高速網路(諸如10 GE乙太網路光學網路或能夠在影像掃描程序期間依足夠通量將高解析度微影像自攝影機192傳輸至成像器電腦105之其他適合高速網路)來與成像器電腦105網路資料通信。
一鏡筒透鏡194安置於攝影機192之光學路徑中。鏡筒透鏡194與物鏡198之組合設定攝影機192之光學放大率。一第一折疊反射鏡196安置於鏡筒透鏡194之後的攝影機192之光學路徑中且與攝影機光學成像軸成約45°角。第一折疊反射鏡196之角度及位置可改變物鏡光軸與攝影機192之中心之共線性。第一折疊反射鏡196位於成像路徑中,且必須具有足夠品質(例如,反射率大於90%且精確度平坦度大於λ/4),否則其可直接藉由使所有或部分視域中之偵測器處之光模糊及/或引起失真來影響影像品質。
接著,物鏡198位於第一折疊反射鏡196之後的光學路徑中。歸因於第一折疊反射鏡196,物鏡198之光軸與攝影機光軸成約90°角。物鏡198安裝至一成像Z台200。Z台200具有用於安裝物鏡198之螺紋。Z台200可控地移動物鏡198以調整攝影機192在載玻片102上之焦點(即,相對於載玻片102調整焦平面)。可透過一Z台控制器來設定Z台位置。將載玻片102 (即,載玻片102上之一樣本119)放置於物鏡198之前焦平面處,物鏡198經由第一折疊反射鏡196及鏡筒透鏡194來將載玻片102之一影像投射至攝影機192。
如圖21及圖22中所展示,包括數位攝影機192、鏡筒透鏡194、第一折疊反射鏡196、物鏡198及Z台200之影像獲取子總成191之組件全部安裝至一影像獲取底板201。影像獲取底板201具有複數個成像子總成對準調整器203,其允許影像獲取子總成191相對於成像站190之其他組件之位置及/或角調整及影像獲取子總成191之組件之相對位置及/或角調整。
參考圖19至圖20及圖23至圖24,載玻片102位於物鏡198之後的攝影機192之光學路徑中。載玻片102保持於一載玻片保持器202上。載玻片保持器202具有用於使載玻片102保持於載玻片保持器202上之一水平位置中的一載玻片凹槽204。載玻片保持器202具有一第一載玻片對齊臂206,其經彈簧負載以使載玻片102在載玻片凹槽204內沿Y方向偏置。載玻片保持器202具有一第二載玻片對齊臂208,其經彈簧負載以使載玻片102在載玻片凹槽204內沿X方向偏置。第一載玻片對齊臂206及第二載玻片對齊臂208使載玻片102牢固保持於載玻片保持器202上之適當位置中,使得載玻片102不在掃描程序期間移動。成像站190具有一載玻片釋放托架209,其安裝至相對於載玻片保持器202固定之X-Y台平台214。載玻片保持器202相對於載玻片釋放托架209移動以致動第一載玻片對齊臂206及第二載玻片對齊臂208以釋放或接合第一載玻片對齊臂206及第二載玻片對齊臂208以保持或釋放載玻片保持器202中之一載玻片102。
如圖20中最佳展示,物鏡198之光軸沿掃描方向(參閱圖33)依一傾角205相對於載玻片102 (及載玻片凹槽204)之平面之正交線傾斜。換言之,載玻片之表面處之攝影機192及光學器件之所得光軸(亦簡稱「攝影機192之光軸」)不正交於載玻片102之平面。如本文中所更詳細描述,傾角205允許成像器104獲得載玻片102上樣本119之體積影像(即,延伸至一樣本119之深度中之影像)。換言之,微影像包含載玻片102上樣本119之不同深度處之特徵之一聚焦影像,而非僅包含依樣本119之一正交角所拍攝一影像之情況中的一單一焦平面。成像站190可經組態以獲取其中各微影像包含載玻片102之表面下方之載玻片102之一深度之至少一部分的微影像。若一蓋玻片115用於載玻片102上,則成像站190可經組態以獲取其中各微影像包含蓋玻片115之一深度之至少一部分的微影像。
接著,如本文中所描述,此等微影像可由影像處理軟體應用程式137 (參閱圖11)處理以將微影像拼接在一起且將影像平坦化成其中樣本119之所有影像在樣本119之所有深度處聚焦之二維合成影像。例如,美國專利公開申請案第2009/0295963號描述將影像拼接在一起以形成一單一數位影像302 (例如參閱圖34,其展示一數位影像302之一方塊圖的)之一方法。如圖25中所描繪,適合於使一載玻片102上一樣本119之全深度(Z維度)成像之傾角205依據樣本之厚度(d)及載玻片102處之攝影機192之投射視域(d1 )而變化。投射視域(d1 )係攝影機感測器之平面內視域除以攝影機192之組合光學放大率(例如包含鏡筒透鏡194、物鏡198之放大率及光學路徑中之任何其他放大率)。如圖25C中所展示,傾角205係arcsin(d/d1 )。例如,針對10微米之一樣本深度(d)、具有8毫米之一平面內視域的一攝影機感測器及40x之一組合光學放大率(即,d1 =8毫米/40=0.20 mm),傾角205係arcsin[0.01 mm/(8 mm/40)],其係約2.86°。在圖25C所描繪之另一實例中,針對24微米之一樣本深度(d)、0.5毫米之一有效平面內視域(d1 )(例如20毫米之感測器視域及40x之光學放大率),傾角205係2.75°。一般而言,針對典型樣本深度、攝影機感測器尺寸及放大率、傾角205通常介於約2°至約10°之間。
載玻片保持器202具有安裝至一XY載玻片台210之一載玻片保持器底板212。載玻片保持器底板212具有一載玻片保持器角調整器213以允許調整載玻片保持器底板212相對於XY載玻片台210 (及亦相對於物鏡198之光軸)之定向。
XY載玻片台210在成像程序期間依一掃描模式移動載玻片保持器202及載玻片102以獲得覆蓋載玻片102之整個樣本區域114 (或其他關注區域)之影像。如圖26中所展示,XY載玻片台210包含一馬達、編碼器及沿X軸及Y軸之各者之運動限制。XY載玻片台210連接至一X-Y台驅動器211,X-Y台驅動器211繼而連接至一X-Y台控制器215以控制XY載玻片台210之移動。X-Y台控制器215經由一乙太網路連接來與成像器電腦105資料通信以允許成像器電腦105控制XY載玻片台210之操作。
XY載玻片台210安裝至一X-Y台平台214,X-Y台平台214繼而安裝至一成像器底板152。X-Y台平台214具有一X-Y台角調整器218以允許調整X-Y台平台214相對於成像器底板152之定向。
因此,載玻片保持器角調整器213及X-Y台角調整器218可經調整以使載玻片保持器202與XY載玻片台210之運動適當水平或依相對於物鏡198之光軸(即,攝影機192之光軸)之一所要角對準。通常,載玻片保持器202與載玻片台210之運動將平行對準以提供掃描期間微影像之一恆定聚焦高度,使得影像獲取總成191在相對於載玻片102之表面之一相同高度(例如一單一z軸聚焦高度)處獲取樣本119之微影像。
成像器底板152經由複數個(在此情況中,4個)隔振安裝座221來與掃描器機殼144隔離。隔振安裝座221向成像站190提供隔振。
物鏡198使用一Z台200來相對於保持於載玻片保持器202中之一載玻片102聚焦,如圖19至圖22及圖24中所展示。如圖26中所展示,Z台200包含用於控制Z台且繼而控制物鏡198之聚焦的一壓電聚焦n點控制器217及一壓電聚焦n點台219。
如圖23及圖24中所展示,一顯微鏡校準組件207 (亦指稱一「顯微鏡校準目標」)安置於載玻片保持器底板212中,使得顯微鏡校準組件207隨XY載玻片台210之移動而移動。顯微鏡校準組件207可與載玻片保持器底板212整合,使得其直接附接至載玻片保持器底板212或由載玻片保持器底板212界定且無法自載玻片保持器底板212移除。例如,顯微鏡校準組件207可形成或蝕刻至載玻片保持器底板212中或穿過載玻片保持器底板212。替代地,顯微鏡校準組件207可為與載玻片保持器底板212分離之一組件,其安裝於載玻片保持器底板212上,諸如安裝於由載玻片保持器底板212界定之一腔中。顯微鏡校準組件207可經組態以執行顯微鏡攝影機總成191 (亦指稱影像獲取子總成191)之位置及光學校準兩者。替代地,顯微鏡校準組件207可經組態以僅執行顯微鏡攝影機子總成191之光學校準。關於位置校準,校準組件207經組態以量測或判定位置校準參數,其包含以下之一或多者:XY載玻片台210之「X」位置、XY載玻片台210之一「Y」位置、XY載玻片台210之一「Z」位置、一攝影機與台對準、一載玻片102之微成像期間之XY載玻片台210之「X」及「Y」位置之一或兩者之改變及/或一載玻片102之微成像期間之XY載玻片台210之「Z」位置之複查及改變。關於光學校準,校準組件207經組態以量測或判定顯微鏡攝影機子總成191之光學校準參數,其包含(例如)一或多個灰階線性、放大率、信雜比、照明改變、調變轉移函數(MTF)、檢查數位攝影機192 (例如一CMOS或一電荷耦合裝置(CCD))之卡色像素或元素、照明之均勻性或均勻度、偵測使信雜比降級之人為產物(諸如灰塵及污跡)。接著,可基於使用校準組件207所量測或判定之位置及/或光學校準參數來視需要校準及調整顯微鏡攝影機子總成191。美國專利第7,848,019 B2號中揭示一適合顯微鏡校準組件207之一實例。
參考圖27及圖28,成像站190亦包含一照明模組222,其提供足夠均勻光至載玻片102來供物鏡198收集以使攝影機192產生品質影像。照明模組222包含一光源224 (例如一LED 224)、一第一透鏡226、一第二透鏡227、一第三透鏡229、一第一孔隙223、一第二孔隙225、一第二折疊反射鏡228、一鏡筒透鏡安裝座237及將LED光投射至載玻片102之底部所需之一可調聚焦透鏡230。照明模組222投射均勻光以允許樣本焦平面處之均勻照明。術語「均勻光」意謂光係一實質上均勻色彩及亮度。術語「均勻照明」意謂實質上使用一實質上均勻色彩及亮度之光來照射樣本119。照明模組222由透過SIB所連線之主電源供應器供電。使用來自攝影機之回饋來設定照明模組222光度以達成一目標背景亮度。照明模組222與SIB 182 (下文將描述)上之照明介面介接。照明模組222具有用於相對於影像獲取總成191來調整沿XY平面中之一Y方向之照明的一Y調整螺釘及用於相對於影像獲取總成191來調整沿XY平面中之一X方向之照明的一X調整螺釘235。
照明模組222含有光源224 (例如一LED),其功率、光譜分佈及輻射輪廓係產生品質微影像所需之所有照明均勻度、品質及數量之開始。
現將描述使用掃描站190來獲得一載玻片102之微影像(其包含載玻片102上樣本119之不同深度處之特徵之一聚焦影像)的掃描程序。如上文所解釋且如圖25中所描繪,成像站190使用相對於載玻片102上樣本119之表面傾斜使得焦平面延伸穿過載玻片102之深度之攝影機192之焦平面來擷取載玻片102上樣本119之微影像。因此,由攝影機192擷取之各微影像包含載玻片102上樣本119之深度之一影像,因為其依相對於樣本119之表面之一角度(即,相對於載玻片102之平面之一角度)拍攝。如圖33中所描繪,由XY載玻片台210移動載玻片102以使攝影機192之視域掃描整個樣本區域114 (或整個實際樣本119之一預定區域,例如,若實際樣本119覆蓋不同於樣本區域114之一區域且先前判定實際樣本119之邊界)。XY載玻片台210沿一來回蛇形路徑移動載玻片102以在每次通過時擷取樣本119之一掃描帶之微影像。為擷取一掃描帶,XY載玻片台210連續移動載玻片102且由XY載玻片台210觸發攝影機192以根據台編碼器位置在達到各觸發點時擷取一影像。使用使得各連續掃描帶之起點接近前一掃描帶之終點的一蛇形路徑來最小化掃描整個樣本119所需之時間。當載玻片102沿一掃描帶移動時,攝影機192擷取樣本119之微影像。
為維持成像掃描期間之可接受聚焦,可使用載玻片102上之印刷基準標記116之量測及由樣本119相對於基準面之最佳聚焦偏移之量測界定之一偏移來估計載玻片102之最佳焦平面。接著,將界定偏移面之係數上載至X-Y台控制器215,其在掃描期間根據該等係數來維持Z台200之位置。在成像掃描期間,透過各種方法(其包含聚焦品質度量、台跟蹤誤差及影像品質度量)來監測掃描品質。影像品質度量可包含以下之一或多者:清晰度、雜訊、動態範圍、色調再現、對比度、色彩準確度、失真、漸暈等等,其等可由熟習技術者已知之數位影像演算法量測。
如圖25A中所展示,在先前成像系統中,成像面標稱上平行(即,在製造容限內平行)於載玻片(及載玻片上之樣本119)之平面。針對依約為攝影機之視域之長度的間隔取得之各相鄰視域來擷取一單一最佳焦平面(微影像可具有一些重疊以促進拼接影像)。接著,將微影像拼接在一起以產生整個樣本119之一合成影像。應注意,由於樣本119之三維體積內之載玻片上方之物件之不同高度,無法使用一單一成像過程來聚焦擷取所有物件。
相比而言,如圖25B中所展示,成像器104之影像擷取方法利用相對於載玻片102上之樣本119傾斜之一成像面。因為成像面相對於載玻片102上之樣本119傾斜,所以攝影機像素陣列之不同子區域擷取不同高度處之樣本之影像。因此,由成像位置#1中之攝影機聚焦擷取物件A,但在該相同攝影機圖框中,物件B接近圖框之右邊緣且完全失焦。不是使攝影機位置依影像之間的掃描方向上之視域之長度步進,而是使用等於匹配成像光學器件之景深之影像子區域的一步進大小。影像序列重疊。當使用位置#1中之攝影機來聚焦物件A時,物件B在攝影機到達位置#4時被聚焦擷取。依此方式,在某一影像中聚焦擷取等於成像器焦平面之左邊緣與右邊緣之間的差之高度內之所有物件。
參考圖25C,在一實例中,攝影機像素陣列可分成表示跨24 µm之一樣本深度之不同焦平面的14個子區域。在各攝影機子區域中擷取相同樣本區域(圖塊)之後,垂直重組該等子區域以產生圖塊之一跨焦點堆疊。接著,藉由比較各像素與相同平面中之相鄰像素且使用用於判定具有一焦點度量之像素焦點的一演算法(諸如美國專利第7,769,219號中所教示之演算法)選擇具有最佳聚焦品質之平面之像素來將堆疊轉換成一單平面合併聚焦影像。上文所併入之美國專利第7,736,304號中亦描述判定最佳聚焦像素及其他物件之實例。美國專利第8,116,550號中教示用於判定載玻片基準標記之一最佳聚焦的技術。子區域之數目僅為一實例,且數位影像系統100可使用任何適合數目個子區域用於影像處理。
下文將描述由GPU 132處理影像以獲得一載玻片102上整個樣本119之一合併壓縮併影像的一例示性方法。影像處理涉及拍攝原始影像且將其轉換成最終合併壓縮影像之諸多步驟。一彩色攝影機192可利用一拜耳(Bayer)遮罩(用於將RGB彩色濾波器配置於一光感測器網格上之一彩色濾波器陣列)。在此情況中,影像處理演算法中之第一步驟係去拜耳且將影像轉換成RGB影像(保持各像素之紅/綠/藍值之一位元映射影像)。接著,透過一預映射校準表來校正影像之均勻度及失真。在一實例中,校準表係攝影機影像之大小之一陣列。表含有經校正影像結果中之各像素位置之表值。各表值指示源影像之一2×2像素子區域及應用於該等源像素且經加總以獲得所得像素值之加權因數。此允許經校正影像表示(藉由內插法)校正校準程序期間所量測之小光學失真所需之子像素移位。圖65描繪位置失真校正係1/2左上像素之情況中之一預映射校準表之一實例。
在擷取一圖塊之所有子區域影像(例如14個子區域)之後,計算合併影像。計算各像素與其鄰區域中之特定像素之間的差。接著,基於像素值來使此差加權以判定該特定像素之該特定平面之相對指標以產生平面值(例如0至13)之一圖塊。接著,將一移動平均值應用於平面值之圖塊以提供最終影像中之物件之間的一較佳轉變。接著,基於相關聯平面值來選擇合併影像之像素。接著,將合併影像平鋪在一起以產生一掃描帶。在組裝完整掃描帶之後,將其拼接至先前掃描帶上。在將整個樣本119之影像拼接在一起之後,使用JPEG、JPEG 2000或其他適合壓縮演算法來依一約20:1比率壓縮全影像。接著,產生影像之一角錐,且將此與載玻片元資料一起傳送至工作流程子系統106,其中可由複查站108存取此角錐及載玻片元資料用於複查。載玻片元資料係指與一整個樣本影像相關聯之非影像資訊,諸如一載玻片識別符(其可為自載玻片讀取之一條碼)、成像時間及日期等等。載玻片元資料亦可包含由影像分析演算法識別之OOI 308之位置清單。一「角錐」之一實例係藉由使原始整個全樣本影像之大小重複減小50%直至其達到一預設最小大小來自原始整個全樣本影像得到之一組較低解析度影像。此角錐之用途係支援在一複查螢幕上更高效率演現。當複查者查看影像之一縮小較低解析度變型時,可藉由存取角錐影像資料之適當級來供應資料,其涉及比發送全解析度影像且接著在複查站108處使其大小減小更少之資料傳送。
參考圖30至圖32,成像器104亦具有用於獲得各載玻片102之識別資訊且用於獲得全載玻片(例如獲得樣本區域114外之資訊)及/或樣本區域114之未放大宏影像的一巨集視域站232。巨集視域站232包含巨集視域站232之一巨集攝影機231 (例如具有一CCD或其他成像感測器之一數位攝影機)之成像區域中之成像位置中之一第一載玻片保持器234及巨集視域站232之成像區域外之一佇列位置中之一第二載玻片保持器236。具有一PCB及LED之一下照明模組238定位於第一載玻片保持器234下方以照射定位於第一載玻片保持器234中之一載玻片102之底部。一漫射器244可定位於下照明模組238與第一載玻片保持器234之間。具有一PCB及LED之一上照明模組240定位於第一載玻片保持器234下方以照射定位於第一載玻片保持器234中之一載玻片102之頂部。巨集視域站232具有一巨集攝影機231及用於將巨集攝影機231之光軸反射至第一載玻片保持器234中之載玻片102上的一第二折疊反射鏡242。巨集攝影機231使用攝影機調整器246來安裝以允許調整巨集攝影機231之定向。
巨集視域站232拍攝載玻片102之宏影像(其包含條碼識別及/或載玻片102上之其他資訊)及全載玻片102及/或樣本區域114之影像且將宏影像傳輸至成像器電腦105。宏影像包含基準標記116及樣本區域114及/或樣本119之一或多者。成像器電腦105經組態以至少部分基於一或多個基準標記116來判定載玻片102之表面上之樣本區域114及/或樣本119之一相對位置及邊界。將樣本區域114及/或樣本119之相對位置及邊界提供至成像站190。成像站190 (例如影像獲取子總成191)經組態以至少部分基於載玻片102上樣本區域114及/或樣本119之相對位置及邊界來獲取微影像。換言之,成像站190在獲取微影像時利用樣本區域114及/或樣本119之相對位置及邊界來判定攝影機192之掃描位置,使得不浪費時間及儲存來過度掃描通過樣本區域114及/或樣本119之邊緣。巨集視域站232亦與SIB 182介接,SIB 182繼而與成像器電腦105介接以控制巨集視域站之操作。巨集攝影機231經由一通信網路(諸如一100 baseT乙太網路)來與成像器電腦105資料通信。
圖29中繪示SIB 182之一示意圖。SIB整合傳輸於成像器電腦105與成像器104之間的外部信號且將其重新分配給成像器104之適當組件及子總成及成像器電腦105之適當輸入。
現將描述影像子系統103使載玻片102成像且產生各載玻片102上整個樣本119之一單一合併影像的完整操作。操作者手動裝載具有待掃描之載玻片102的各載玻片載體118。若載玻片102提供於載玻片架120中,則此僅涉及將載玻片架120插入至載玻片載體118中。若載玻片102不在載玻片架120中,則操作者首先將載玻片102裝載至載玻片架120中且接著將載玻片架120插入至載玻片載體118中。載玻片載體118可在成像之前及成像之後用作載玻片102之一儲存庫及用於將載玻片102運輸及裝載至成像器104中。
載玻片載體118中之載玻片102經手動檢測以驗證載玻片102適當定向於載玻片載體118中,其中載玻片識別部分112之印刷側全部背對(朝向載玻片載體118之背面)。當成像器104處於閒置或暫停模式中時,操作者打開載玻片載體層板門166且將各裝載有高達40個載玻片之載玻片載體118手動插入至載玻片載體隔間174之一各自者中。各自載玻片載體隔間174中之各載體存在感測器175偵測是否安裝一載玻片載體118且因此發信號給成像器電腦105。當成像器104自主動載玻片載體118移除載玻片102且使載玻片102成像時,當前由成像器104主動成像之載玻片載體118之載體鎖173經致動以將主動載玻片載體118鎖定於適當位置中。未由成像器104主動成像之其他載玻片載體118未鎖定(被視為非主動)。
當將一新載玻片載體118插入至一載玻片載體隔間174中且其載體存在感測器175發信號通知存在一載玻片載體118時,成像器104排定此載玻片載體118之一庫存。成像器104使用光學載玻片庫存感測器188來對安裝於成像器104中之各載玻片載體118執行一盤存。載玻片處置支架178使感測器188掃描各載玻片載體118且判定載玻片架120中之哪個可能載玻片插槽已插入載玻片102。此載玻片庫存資訊提供至成像器電腦105且用於各自載玻片載體118變成主動且準備掃描時,因此,載玻片處置支架178僅橫穿至其中存在載玻片102之載玻片載體118中之插槽。
當載玻片載體118之一各自者經排定用於成像時,載玻片處置支架178移動至載玻片載體118中之第一載玻片102,致動手爪184以抓持載玻片102,且將載玻片102移動至巨集視域站232,且將第一載玻片102放置至巨集視域站232之成像位置中之第一載玻片保持器234上。巨集視域站232使用巨集攝影機231來拍攝第一載玻片102之多個宏影像,產生一全樣本影像(即,一宏影像,其包括整個樣本119之一單一影像),且讀取印刷識別資訊(例如(若干)條碼)。此資訊變成第一載玻片102之載玻片資料組(SDS)記錄之部分。如本文中所描述,宏影像亦包含基準標記116及樣本區域114及/或樣本119之一或多者。成像器電腦105使用宏影像以至少部分基於一或多個基準標記116來判定載玻片102之表面上之樣本區域114及/或樣本119之一相對位置及邊界。將樣本區域114及/或樣本119之相對位置及邊界提供至成像站190。
當成像站190準備接收一新載玻片102時,載玻片處置支架178將第一載玻片自巨集視域站232之成像位置中之第一載玻片保持器234移動至成像站190且將第一載玻片102放置於成像站190之載玻片保持器202上。在將第一載玻片102裝載於載玻片保持器202上期間,XY載玻片台210可經定位使得載玻片釋放托架209將第一載玻片對齊臂206及第二載玻片對齊臂208致動至釋放位置以允許將第一載玻片102放置於載玻片保持器202上。在將第一載玻片102放置於載玻片保持器202上之後,XY載玻片台210移動載玻片保持器202,使得第一載玻片對齊臂206及第二載玻片對齊臂208偏置至其各自接合位置以藉此在掃描期間使第一載玻片102偏置及保持於載玻片保持器202中之適當位置中。
在將第一載玻片102自巨集視域站232之成像位置中之第一載玻片保持器234移動至成像站190之載玻片保持器202之後,載玻片處置支架178可用於將載玻片載體118中之下一載玻片102 (即,第二載玻片102)移動至巨集視域站232之成像位置中之第一載玻片保持器234。在成像站190獲得樣本119之微影像時,巨集視域站232可並行(即,同時)執行針對第一載玻片102所描述之獲得宏影像之程序,如下文將描述。可在成像站190使第一載玻片102成像時將第二載玻片裝載至巨集視域站232之第一載玻片保持器234上及使第二載玻片102宏成像。在巨集視域站232完成第二載玻片102之宏成像之後,第二載玻片102通常必須在巨集視域站232中等待,直至成像站190完成第一載玻片102之微成像且載玻片處置支架178已將第一載玻片102自載玻片保持器202移動至佇列位置中之第二載玻片保持器236,如下文將進一步描述。
接著,成像站190掃描第一載玻片102以擷取第一載玻片102上樣本119之複數個微影像。如上文所描述,當數位攝影機192拍攝複數個微影像時,由XY載玻片台210沿一蛇形路徑連續移動第一載玻片102以在物鏡198下移動第一載玻片102。成像器104協調XY載玻片台210移動及Z軸運動(焦點)以使載玻片102成像。當掃描第一載玻片102時,將來自攝影機192之影像資料串流傳輸至成像器電腦105。微影像重組成來自攝影機192之分段影像資料且串流傳輸至成像器電腦105。成像站190至少部分基於載玻片102上樣本區域114及/或樣本119之相對位置及邊界來獲取微影像,使得其最小化由樣本區域114及/或樣本119之邊緣外之掃描及成像引起之浪費時間及儲存。
在使第一載玻片102成像之後,載玻片處置支架178將第一載玻片102移動至佇列位置中之第二載玻片保持器236。佇列位置係完成成像操作之佇列點。此功能用於藉由將已完成成像程序之一載玻片102放置成接近成像站190之載玻片保持器202而非將第一載玻片102再放回至載玻片載體118中來最佳化載玻片處置支架178之通量。第一載玻片102保持於佇列位置中,同時載玻片處置支架178將待由成像站190微成像之下一載玻片102 (例如第二載玻片102)自巨集視域站232之成像位置中之第一載玻片保持器234移動至成像站190之載玻片保持器202。若非用於佇列位置,則需在可將下一載玻片102放置於成像站190之載玻片保持器202中之前將第一載玻片102移回至載玻片載體118中,其將減慢程序,因為載玻片載體118比第二載玻片保持器236更遠離載玻片保持器202。在將待由成像站190微成像之下一載玻片102移動至載玻片保持器202之後,載玻片處置支架178可用於將第一載玻片102自第二載玻片保持器236移回至載玻片載體118中(即,當成像站190使下一載玻片102成像時)。在將第二載玻片102移動至成像站190上之後,載玻片處置支架178將一第三載玻片102自主動載玻片載體118移動至巨集視域站232且將其放置於第一載玻片保持器234上,且巨集視域站232使第三載玻片102成像。對主動載玻片載體118中之所有載玻片102重複此程序。因此,使用第二載玻片保持器202之佇列位置增加成像器104之總通量。
成像站電腦105自成像站190接收攝影機微影像,且將其重組,其重組成焦平面影像(如早先所描述)且組合成一單一最佳焦平面(如早先所描述)。此與相鄰掃描帶之拼接/對準全部在GPU中進行。所得影像自GPU串流傳輸至CPU且接著經壓縮及儲存於一磁碟上。
成像器電腦105亦利用影像分析演算法(下文將描述)來掃描影像資料以識別關注物件(OOI)且產生OOI位置資料。OOI位置資料識別影像中OOI之位置。此資料亦變成SDS 304之部分。各SDS 304經處理以產生用於在複查站108處影像觀看之一最佳化資料組(「角錐」)。角錐資料(壓縮SDS之子集)經設計以允許一記錄OOI之較快載玻片資料存取。亦將角錐資料添加至SDS。在完成影像處理及角錐產生之後,將壓縮SDS發送至工作流程子系統106且移動至僅專用於主動資料之NAS磁碟陣列(參閱圖1)上之一主動儲存分區。
影像分析演算法可使用任何適合程序來識別OOI。作為一實例,影像分析演算法(諸如)藉由掃描數位影像302且執行初級及次級分段來分析數位影像302。初級及次級分段量測、判定及/或提取數位影像302中個別物件及叢集物件之各者之各種特性。可利用特定特性,因為已知其與分類物件(如分類成正常、異常、患病、健康、癌前期、患癌等等)相關。例如,關於細胞樣品之數位影像302,特性可包含細胞大小、細胞核與細胞質面積比、核校正整合光密度、細胞質液胞化、暗度等等,其等可用於將細胞分類成癌前期、癌癌、正常及/或異常。美國專利公開申請案第2004/0253616號中描述初級及次級分段。接著,演算法基於各自特性之量測值來計算各物件之一物件分數。基於此分數,演算法識別或選擇被視為OOI 308 (例如參閱圖34)之物件及叢集物件。
成像器電腦105亦可分析各OOI 308之判定特性且使用一OOI匹配演算法來識別相同數位影像302 (即,相同樣品)上之類似OOI 308。OOI匹配演算法比較OOI 308之各自判定特性以識別具有判定特性(諸如具有彼此之各自預定範圍內之一或多個特性)之類似OOI 308。OOI匹配演算法亦可用於判定一數位影像302上之一OOI 308是否類似於OOI 308之一庫中之一OOI 308。OOI 308之庫可儲存於實驗室資訊系統(LIS) 408 (參閱圖1)之一資料庫或儲存於與成像器電腦105網路通信之另一資料儲存裝置或系統上之一資料庫中。OOI 308之資料庫包含OOI影像及/或先前經分類及特徵化之物件(例如細胞)之數位影像302的一庫。OOI影像及/或數位影像302之庫中之各物件具有可與由成像器電腦105分析之數位影像302上之OOI 308之各自特性比較之先前判定特性。庫影像中之物件亦可經先前分類,諸如分類成異常、正常、癌前期、患癌、惡性、惡性前期、良性等等。
圖62描繪數位細胞學之影像分析演算法500之一圖形表示。在步驟502中,將數位影像302分隔成圖框。在步驟504中,由在並行執行緒中運行之圖框處理器處理圖框。圖框處理器(諸如)藉由應用於RGB之G通道的一分水嶺法來將圖框分段。另外,圖框處理器計算物件之特徵(特性)且執行並行運行於成像器電腦105之一CPU及GPU (圖形處理單元)上之一卷積神經網路(CNN)介面(例如使用具有192×192窗、色彩之經修改MobileNet)。在步驟506中,處理載玻片,且在步驟508中,基於判定特性來選擇及分組OOI。
自動數位影像系統100可包含經組態以利用機器學習來特徵化及/或診斷一數位影像302上之物件的一機器學習診斷模組。機器學習診斷模組可安裝及運行於成像器電腦105、複查站電腦111或其他適合電腦系統上。機器學習診斷模組執行特徵化一數位影像302上之物件的一程序且亦可基於特徵化來診斷一患者。例如一例示性程序中所描繪,程序包括產生特徵化/診斷物件之一訓練組。藉由使大量樣本載玻片102 (諸如數百個、數千個、數萬個等等載玻片102)成像以獲得各樣本載玻片102之數位影像302來產生訓練組。接著,在各數位載玻片102上識別OOI,如本文中所描述。由複數個臨床醫師(例如細胞樣本之細胞化驗員及/或病理學家)(諸如3個、4個、5個或更多個臨床醫師)按類型獨立分類OOI。例如,物件可分類成HSIL、LSIL、正常、異常、患病、健康、癌前期、患癌等等。「HSIL」係重度鱗狀上皮內病變之一縮寫字,且「LSIL」意謂輕度鱗狀上皮內病變。一病變係異常組織之一區域,且重度對輕度係指其將發展成癌之可能性。接著,機器學習診斷模組(諸如)藉由使用本文中所描述之影像分析演算法或類似演算法來判定各OOI之複數個特性。例如,關於細胞樣品之數位影像302,特性可包含細胞大小、細胞核與細胞質面積比、核校正整合光密度、細胞質液胞化、暗度等等,其等可用於將細胞分類成癌前期、患癌、正常及/或異常。
接著,機器學習診斷模組使用一圖案辨識演算法來判定由影像分析演算法識別之特性與由臨床醫師判定之特徵化/診斷之間的一特徵化/診斷關係。特徵化/診斷關係可為一演算法、一函數及方程式或其他適合關係。
接著,機器學習診斷模組可使用特徵化/診斷關係來特徵化/診斷新樣本載玻片102上之物件。成像站103產生載玻片102之一數位影像302。使用影像分析演算法來識別數位影像302上之OOI。接著,機器學習診斷模組(諸如)藉由使用影像分析演算法來判定各OOI之複數個特性。最後,影像分析演算法使用特徵化/診斷關係來特徵化/診斷各OOI。亦將各OOI之特徵化/診斷添加至SDS 304。
機器學習診斷模組可藉由將來自新樣本載玻片102之數位影像302添加至訓練組且接著使用圖案辨識演算法執行用於產生特徵化/診斷關係之程序來繼續學習及最佳化特徵化/診斷關係。
成像器電腦105亦可包含用於識別載玻片統計(諸如載玻片上物件之數目(例如細胞之數目)、邊界之數目等等)之一載玻片統計模組。成像器電腦105可利用類似於判定OOI之一程序來判定載玻片統計。類似於判定OOI,成像器電腦掃描數位影像302且識別個別物件、叢集物件及邊界以計數物件、叢集物件及邊界之數目。將載玻片統計添加至SDS 304。
影像子系統103完成此程序,直至其已拍攝影像且處理裝載至成像器104中之各載玻片載體118中之所有載玻片102之影像。在完成成像之後,自載玻片載體層板128移除載玻片載體118。接著,載玻片102可自載玻片載體118移除,且根據實驗室程序來實體儲存或在不再需要時捨棄。
如上文所描述,將經處理之數位影像(包含其各自SDS)傳輸至工作流程子系統106且儲存於工作流程子系統106中。工作流程子系統106將數位影像儲存於主動儲存器中,其中數位影像可由複查站108存取。工作流程子系統106包含一工作流程子系統管理應用程式248 (參閱圖1),其經組態以管理由一複查者(諸如一細胞化驗員及/或細胞病理學家)複查數位影像之工作流程。例如,在複查者登錄一複查站108之後,工作流程子系統106可將包括複查者之數位影像之一個案工作單發送至複查站108。複查站108向複查者顯示工作單。接著,複查者可管理工作單、選擇要處理之一個案、複查選定個案中之數位影像、完成一個案及/或追蹤完成個案及進行中個案。
在選擇待複查之一個案之後,複查站108自工作流程子系統106存取選定個案,且工作流程子系統將(若干)數位影像及SDS傳輸至複查站108。複查站108將(若干)數位影像顯示於各種複查螢幕上。複查站108之使用者介面允許複查者選擇(若干)不同數位影像(例如,一個案可包含多個數位影像,或一個案可包含一單一數位影像)。複查螢幕顯示選定數位影像且亦顯示OOI之影像。OOI可顯示為縮略圖,使得多個OOI可一次顯示於複查螢幕上且允許複查者選擇OOI來觀看OOI之一全屏顯示。在複查者複查個案之(若干)數位影像之後,複查站108顯示允許複查者配置個案(諸如將個案標記為「完成」或「由第二複查者複查」(例如一細胞病理學家)或「稍後完成」(若複查者未完成個案之完全複查))之一完成螢幕。
在完成一個案(視需要包含一第二複查(例如由一細胞病理學家))之後,將個案輸入至一實驗室資訊系統(LIS) 250 (參閱圖1)中。工作流程子系統106可具有用於將完成個案發送至LIS之一LIS通信介面252,或可將其手動輸入至LIS中。接著,臨床醫師可經由LIS 250來存取個案之結果。
參考圖34至圖62,將進一步詳細描述用於顯示由自動數位影像系統100產生之數位影像的系統及方法之實施例。數位顯示系統及方法允許生物樣本(諸如細胞、組織及其他標的)之複查者更高效率及更準確複查樣本之數位影像且識別、特徵化及/或診斷樣本內之屬性。因而,數位顯示系統及方法提供電腦操作方式之特定改良且賦予生物樣本之顯示系統特定功能,其解決生物樣本之數位顯微術之電腦化之各種問題。
參考圖34,進一步詳細描述數位影像系統100之工作流程子系統106及數位影像顯示系統108 (亦指稱「複查站108」)。如上文所描述,成像器電腦105使用一影像處理演算法(例如安裝於成像器104及/或工作流程子系統106上之一軟體應用程式135),其分析一載玻片樣本119之數位影像且識別關注物件(OOI) 308 (參閱圖36)。接著,可使用經識別OOI 308來促進使用者(例如一細胞化驗員或細胞病理學家)快速及準確複查載玻片樣本119之數位影像。
如上文所描述,工作流程伺服器106係一電腦伺服器,其主要充當用於儲存及管理數位影像及儲存於各載玻片102之SDS 304資料記錄中之相關聯載玻片資料的一大磁碟儲存系統。工作流程伺服器106亦可包含用於影像處理及資料管理之軟體,且亦可提供網路功能。SDS 304包含拼接數位影像302、由成像器104針對各載玻片102擷取之載玻片資訊306及OOI位置資料308。由成像器電腦305處理各SDS 304以產生用於數位顯示系統108處之影像觀看的一最佳化添加資料組(「角錐」)。如本文中所描述,角錐資料(SDS之子集)經設計以允許記錄OOI之較快載玻片資料存取。角錐資料亦可包含藉由提供座標來改良整個樣本數位影像302之顯示的資訊及用於平移及縮放不具有OOI之數位影像302 (尤其在非婦科載玻片中)之區域的顯示資訊。亦將角錐資料添加至SDS。在完成影像處理及角錐產生之後,將壓縮SDS 304發送至工作流程子系統106且移動至僅專用於主動資料之NAS磁碟陣列(參閱圖1)上之一主動儲存分區107。
數位顯示系統108係包含電腦111及監視器109之工作站,其用於自工作流程伺服器存取數位影像且顯示數位影像用於診斷複查影像(OOI 308及/或整個樣本影像302)。如圖1中所描繪,成像器子系統103經由一通信網路來與工作流程子系統106資料通信,通信網路可包含一區域網路(LAN,例如乙太網路)、廣域網路(WAN)、網際網路(例如虛擬私人網路(VPN))或其他適合網路之一或多者。類似地,複查站108經由一通信網路113來與工作流程子系統106資料通信,通信網路113可包含一區域網路(LAN,例如乙太網路)、廣域網路(WAN)、網際網路(例如虛擬私人網路(VPN))或其他適合網路之一或多者。
數位影像顯示系統108經組態以自工作流程子系統存取各載玻片102之SDS 304以允許一複查者(例如一細胞化驗員及/或細胞病理學家)在監視器109上複查載玻片102之數位影像。參考圖34,各數位影像顯示系統108包含一電腦111及一電腦監視器109。電腦111可為具有一微處理器(CPU)、記憶體、一儲存裝置及一網路配接器之任何適合電腦。電腦111亦可具有用於提高處置大數位影像檔案之速度的一圖形處理單元(GPU)。數位影像顯示系統108亦可包含諸如一鍵盤、滑鼠、觸控板等等之(若干)輸入裝置。監視器109可為一觸控螢幕監視器,使得觸控螢幕係一輸入裝置。如本文中所描述,數位影像顯示系統108經由一通信網路113來與工作流程子系統106資料通信。
監視器109可為用於顯示樣本載玻片102之數位影像302的一特殊組態彩色監視器。例如,監視器109可具有用於病理學或其他指定應用中之樣本載玻片102之顯示之一指定解析度及/或色彩校準。例如,在細胞病理學中,使用色彩來識別不同類型之細胞,且使用特定類型之彩色染劑及/或試劑來使一樣本準備由標記樣本之一複查者複查。例如,美國專利第6,661,501號描述各種染劑及產生染劑之方法、染色用於細胞或組織分析之細胞以對比細胞之細胞之核部分與細胞質部分的方法及用於照射一細胞樣本之系統及方法,其等適合於使一細胞樣本準備用於數位影像系統100上。染劑及/或試劑之效應必須可偵測於顯示於監視器109上之數位影像上以使複查者適當複查載玻片102。換言之,數位影像系統100可經組態使得監視器109上所觀看之一載玻片102之數位影像看起來相同或實質上相同於使用一基於顯微鏡之系統來觀看載玻片102之實際載玻片102上之其外觀。
參考圖35,展示使用數位影像顯示系統108來複查樣本載玻片102之數位影像302的一例示性工作流程路徑310。一複查者自儲存於一個案管理系統(工作流程子系統106之工作流程子系統管理模組314之一組件)中之複數個個案312存取一個案312。各個案312包含或相關聯於各具有一或多個數位影像302之一或多個SDS 304。一第一複查者316 (例如一細胞化驗員)將個案312上拉至一數位影像顯示系統108上。
如圖36至圖44中所展示,顯示系統108可顯示待複查之個案312之一工作單,第一複查者316可自工作單選擇複查個案。如圖36中所展示,顯示系統108在顯示系統108之監視器109上產生及顯示一導覽選單318。圖36展示導覽選單318可經收合以在監視器109上提供更多空間用於顯示其他資訊。在選擇導覽選單318中之任何一選項之後,顯示系統108將顯示該選單選項內之個案312之一清單320。如圖37中所展示,清單320包含複查者316可自其選擇以接下來複查之複選框322。清單320亦包含選擇清單320中之所有個案312之一「全選」框。
圖38展示使用顯示系統108期間由顯示系統108顯示之不同螢幕之一概覽,其包含不同螢幕選項及取決於個案312之類型之不同螢幕佈局。在圖38之最左邊,顯示系統108顯示一登錄螢幕324。在一使用者登錄之後,顯示系統108顯示工作單螢幕326、328或330之一者。不同工作單螢幕326、328、330具有不同顯示格式。工作單螢幕326依具有各列出個案312之不同資訊之不同行的一簡化清單格式顯示工作單,如圖40中所更詳細展示。工作單螢幕328依具有一2維圖塊陣列之一圖塊/網格格式顯示工作單,如圖41中所更詳細展示。工作單螢幕330依一看板格式顯示工作單,其中根據各個案之狀態來將個案312顯示為成單獨行之圖塊,如圖42中所更詳細展示。在一使用者自一工作單螢幕選擇一個案312之後,顯示系統108將選定個案顯示於一婦科個案(GYN)之一複查螢幕332或一非婦科個案(NGYN)之一複查螢幕334中。一婦科個案通常僅包含一單一載玻片102,因此,複查螢幕332經格式化以顯示一螢幕用於複查一單一載玻片102之數位影像。相比而言,一非婦科個案通常包含多個載玻片102,因此,複查螢幕334經格式化以同時顯示一螢幕用於複查多個載玻片102之數位影像。因此,描述及圖式中所參考之GYN個案可被認為係指具有單一載玻片102之個案,且NGYN可被認為係指具有多個載玻片102之個案。
仍參考圖38,在一使用者完成複查螢幕332、334之複查之後,顯示系統108顯示一複查完成螢幕336或338,取決於其係一GYN或NGYN個案。在一使用者完成複查完成螢幕336、338之後,顯示系統108顯示一工作單完成螢幕340或工作單保存螢幕342。工作單完成螢幕340顯示由使用者完成之個案312之一清單,且工作單保存螢幕342顯示進行中之個案312之一清單(其意謂已開始但未完成之個案)。
圖39繪示顯示系統108可經組態以切換於不同工作單螢幕326、328、330之間。例如,工作單螢幕326、328、330可包含使用者可使用一游標來選擇之一工作單螢幕命令344或使用一輸入裝置之其他輸入命令以指示顯示系統108顯示所要工作單螢幕。
轉至圖40,詳細展示工作單螢幕326。工作單螢幕326依一簡化清單向使用者展示個案312之工作單,其中各個案312在一各自列中,且關於各個案之資訊在各自列之不同行中。「我的工作單」標題包含展示工作單螢幕330中個案312之數目的一個案計數351。工作單螢幕326包含各個案312之以下資訊行:載玻片計數指示符、存取編號、個案類型、狀態及截止時間。載玻片計數指示符展示一個案312具有由一載玻片圖標352指示之一單一載玻片或由展示個案312中載玻片之數目的一檔案夾圖標354指示之複數個載玻片。工作單螢幕326亦包含一篩選功能346,其引起顯示系統108篩選顯示清單中之個案312。工作單螢幕326亦顯示一完成複查計數器348,其指示當天由使用者完成之複查之數目。工作單螢幕326亦具有允許一使用者輸入一搜尋查詢之一搜尋框350,在該情況中,顯示系統108針對搜尋查詢執行個案312之一搜尋。顯示系統108可經組態以搜尋使用者之工作單、主動儲存器107中個案312之整個資料庫或個案312之其他所要資料庫。
圖41更詳細展示工作單螢幕328。工作單螢幕328依一圖塊/網格格式向使用者展示個案312之工作單。各圖塊包含相同或類似於工作單326中之行之資訊,其包含載玻片計數指示符、存取編號、個案類型、狀態及截止時間。工作單螢幕328亦包含相同於工作單螢幕326之個案計數351、篩選功能346、完成複查計數器348及搜尋框350。
圖42更詳細展示工作單螢幕330。工作單330依一看板格式向使用者展示個案312之工作單,其中根據各個案之狀態來將個案312顯示為成單獨行之圖塊。圖塊實質上相同於工作單螢幕326中之圖塊。圖塊配置成三行:一等待初次複查行356、一複查進行中行358及一初次複查完成行360。各圖塊包含相同或類似於工作單326中之行之資訊,其包含載玻片計數指示符、存取編號、個案類型、狀態及截止時間。依自等待初次複查行356、一複查進行中行358降低之對比度(例如變灰)展示初次複查完成行360中之個案312以減少自待完成之任務分心,同時仍允許使用者看見其進展。工作單螢幕330亦包含相同於工作單螢幕326、328之個案計數351、篩選功能346、完成複查計數器348及搜尋框350。
圖43描繪可由顯示系統108顯示於工作單螢幕326、328、330之任何者中之一細節面板361。儘管僅展示工作單螢幕326之此特徵,但其可類似用於工作單螢幕328及330中。工作單螢幕326包含一細節按鈕362。當一使用者(諸如)藉由點擊個案312來選擇工作單中之一個案312時,顯示系統108突顯清單中之個案,如圖45中所展示。接著,當使用者點擊細節按鈕362時,顯示系統108顯示細節面板360,細節面板360包含選定個案312之額外細節,其包含(例如)一進展指示符364、成像日期366、被指派個案312之複查者之姓名及病歷368。可調整細節面板360之寬度以使其變寬或變窄,其亦分別使主清單變窄或變寬。
圖44繪示使用一圖形狀態指示符370來指示工作單螢幕326、328、330之任何者中個案312之狀態。在圖44中,一工作單螢幕326之圖形狀態指示符370係沿具有一特定狀態(例如「進行中」之一狀態)之各列之左側的一彩色線。工作單螢幕328、330之圖塊可類似包含一彩色線或彩色邊界以提供一便於輕易看見之狀態指示符。
返回參考圖35,在複查者316自工作單螢幕326、328、330選擇一個案312來複查之後,複查者316自工作單螢幕326、328、330選擇個案312。在接收個案312之選擇之後,顯示系統108自工作流程子系統106之主動儲存器107存取選定個案312之SDS 304且將個案312載入至顯示系統108上。在載入選定個案312之SDS 304之後,顯示系統108顯示個案312之一複查螢幕。複查螢幕可取決於選定個案312係一GYN個案或一NGYN個案而不同。
圖45展示一例示性GYN複查螢幕332。GYN複查螢幕332具有跨螢幕之頂部的一個案識別面板374。個案識別面板374包含存取編號、個案之類型(例如GYN或NGYN)、複查截止時間、成像日期、患者資訊(例如姓名、出生日期、年齡等等)及複查者識別符。GYN複查螢幕332具有一OOI面板376、一主影像面板378及一複查者選定影像面板380。
顯示系統108在主影像面板378中顯示選定個案312之數位影像302。使用者可使用顯示於GYN複查螢幕332上之命令及/或使用顯示系統108之一輸入裝置之可選命令來縮放及平移主影像面板378中之數位影像302。顯示系統108亦顯示如下文將描述般選擇之OOI影像382之區域。
顯示系統108可具有一掃描整個數位影像功能,其中系統掃描及顯示主影像面板378中之整個數位影像302。掃描整個數位影像功能可為具有複查螢幕332上之一可選按鈕的一可選功能。掃描整個數位影像功能可允許一使用者(諸如)使用顯示於複查螢幕332上之縮放命令或可選命令來設定自動掃描數位影像302之縮放程度。掃描整個數位影像功能依選定縮放程度掃描及顯示主影像面板378中之整個數位影像302。掃描模式可為類似於使一載玻片102成像之掃描模式的一蛇形模式或沿相同方向(例如自左至右)之一逐列掃描或一逐行掃描或其他適合掃描模式。掃描整個數位影像功能亦可包含使用者可選命令,其允許使用者停止(即,暫停)及開始掃描、設定停止時間、設定掃描速度及/或設定其中將停止之載玻片之區域之數目(例如2000個最重要區域、20個最重要區域等等)。掃描整個數位影像功能亦可具有將在數位影像302上之每個物件(例如各細胞或其他物件)處停止之一使用者可選選項。每個物件處停止選項可允許使用者停止設定停止時間或直至使用者選擇一可選選項來繼續掃描。
OOI面板376包含對應於SDS 304中各OOI之OOI位置資料308的數位影像302之區域之複數個OOI影像382。OOI影像382係數位影像302之減小大小影像(縮小)。當一使用者選擇一OOI影像382時,依一縮放大小(即,比OOI影像382放大)在主影像面板378中顯示選定OOI影像382之數位影像302之區域。使用者可依相同於針對數位影像302所描述之方式的方式縮放及平移選定OOI影像382之區域,因為主影像面板378仍顯示數位影像302,但其已被縮放及移動以開始顯示OOI影像382之區域。OOI影像亦可包含OOI影像382上之一展示類似命令384,諸如一「+號」。當一使用者選擇一選定OOI影像382之展示類似命令384時,顯示系統108顯示具有類似於選定OOI影像382之一特性的額外OOI影像382。例如,顯示系統108可展示3個至6個額外OOI影像382,其等類似於選定OOI影像382般包含於SDS中。額外OOI影像382包含與選定OOI影像382中之一物件共用一或多個特性之一物件,諸如一細胞。可自相同整個樣本數位影像302或自一影像庫(其含有與選定OOI影像382中之一物件共用一或多個特性之先前分類物件)獲得一或多個額外OOI影像382。
複查者選定影像面板380係GYN複查螢幕332之一區域,其中複查者316可放置一或多個OOI影像382或複查者添加為一OOI之其他影像或複查者選擇為特別關注之數位影像302上之任何其他影像/位置。例如,可由諸如一病理學家之一第二複查者317選擇OOI影像382用於複查。
圖46展示一例示性NGYN複查螢幕334。如本文中所解釋,一GYN個案與一NGYN個案312之間的主要差異在於:GYN個案包含一單一載玻片102之一數位影像302,而一NGYN個案312包含與個案相關聯之多個載玻片之各者之一數位影像302。NGYN複查螢幕334具有相同於GYN複查螢幕332之諸多特徵,諸如一主影像面板378及一複查者選定影像面板380。
另外,NGYN複查螢幕334具有一載玻片清單388,載玻片清單338展示其NGNY個案312具有一數位影像302之各載玻片102之清單。NGYN個案312中之各載玻片102由具有一識別符(諸如一字母或數字)之載玻片清單388中之一載玻片圖標387表示。當一複查者選擇載玻片清單388中之一載玻片102時,顯示系統108在主影像面板378中顯示選定載玻片102之數位影像302。選定載玻片102可突顯於載玻片清單388中以指示其係當前顯示載玻片102。顯示系統108允許複查者依相同於一GNY個案312之方式與數位影像302互動,如上文所描述。複查者可選擇載玻片清單388中之各載玻片102,且顯示系統108重複各載玻片102之顯示程序。NGYN複查螢幕334亦可包含一載玻片計數392,其指示經複查之NGYN個案312中載玻片之數目及NGYN個案312中載玻片之總數目。
圖47展示一NGYN複查螢幕394之另一實例,除載玻片清單388更寬且載玻片圖標387更大以更佳展示個別載玻片102之各者之外,NGYN複查螢幕394相同於NGYN複查螢幕334。
任何複查螢幕(其包含GYN複查螢幕332及NGYN複查螢幕334、394)亦可顯示來自顯示於複查螢幕上之數位影像302之SDS的其他資料。複查螢幕可顯示一或多個OOI之判定特性。複查螢幕可包含各OOI影像382中之一可選選項(類似於上述「+號」),其在被選擇時展示OOI影像382之判定特性。判定特性可顯示於一彈出視窗中。複查螢幕亦可顯示與一OOI影像382相關聯之機器學習特徵化/診斷。複查螢幕可包含各OOI影像382中之一可選選項,其可經選擇以(諸如)在一彈出視窗中展示OOI影像382之特徵化/診斷。複查螢幕亦可顯示來自SDS 304之載玻片統計。可回應於在一彈出視窗中顯示載玻片統計之一可選選項而顯示載玻片統計,或載玻片統計可自動顯示於個案識別面板374中或複查螢幕上之其他位置中。
圖58至圖61展示具有額外功能(諸如添加註解至OOI影像382及/或數位影像302、共用一螢幕及對OOI影像382及/或數位影像302添加書籤)之複查螢幕。應瞭解,此等額外功能之任何一或多者及圖形使用者介面可包含於圖中所展示及本文中所描述之任何複查螢幕中。
圖58繪示一例示性GYN複查螢幕420,其經組態以允許複查者添加註解及/或在OOI影像382及/或數位影像302上標記/描畫。複查螢幕420類似於圖45之複查螢幕332且具有相同於圖45之複查螢幕332之大部分特徵。如圖58中所展示,複查螢幕420包含一註解面板422。複查螢幕420具有一添加註解命令424。當複查者選擇添加註解命令424時,複查螢幕420允許複查者選擇OOI面板376中之一OOI影像382或顯示於主影像面板378中之一OOI影像382或數位影像302上之一註解區域432。接著,複查者可在註解面板422中添加一文字註解426。依此方式,複查者可針對一OOI影像382或數位影像302上之(若干)特定物件作出註解。註解面板422顯示一註解ID 428 (例如一數字或字母)、一複查者ID 430 (例如複查之姓名或複查者之其他識別符)及註解文字426。複查者可藉由選擇添加註解命令424且重複程序來添加額外註解。註解(其包含註解文字426、註解區域432、註解ID 428及複查者ID 430)儲存於各自載玻片102之SDS 304中。註解面板422允許其他複查者複查(若干)先前複查者之註解及使用相同程序來添加額外註解。其他複查者之註解具有不同註解ID 428及/或複查者ID 430。複查者可藉由跳過註解區域選擇且僅在註解面板422內包含一文字註解426來添加總體載玻片級別註解。替代地,複查螢幕420可包含類似於註解面板422之一單獨總體載玻片級別註解面板。
圖59展示一例示性GYN複查螢幕450,其經組態以允許複查者添加錄音音訊註解(例如一口授註解)至一數位影像302之一個案312及/或在OOI影像382及/或數位影像302上標記/描畫。複查螢幕450類似於圖45之複查螢幕332且具有相同於圖45之複查螢幕332之大部分特徵。如圖59中所展示,複查螢幕450包含一口授註解命令452。當複查者選擇口授註解命令452時,複查螢幕450允許複查者錄製一口授註解。例如,複查螢幕450顯示一口授註解視窗454。口授註解視窗454包含一口授控制條456。口授控制條456具有一錄音按鈕458、一播放按鈕458、一暫停按鈕460及一導覽滑尺462。錄音按鈕458開始錄製一音訊註解。播放按鈕458播放音訊註解。暫停按鈕460暫停錄製或播放。導覽滑尺462允許複查者在一錄製註解內前進或後退。口授註解命令452亦可允許複查者標記一註解區域432,類似於複查螢幕420。因此,複查者可針對一OOI影像382或數位影像302上之(若干)特定物件作出註解。口授註解視窗454顯示各音訊註解之一註解ID 428 (例如一數字或字母)、一複查者ID 430 (例如複查者之姓名或複查者之其他識別符)及口授控制條456。複查者可藉由選擇口授註解命令452且重複程序來添加額外口授註解。音訊註解(其包含錄音音訊、註解區域432、註解ID 428及複查者ID 430)儲存於各自載玻片102之SDS 304中。口授註解視窗454允許其他複查者播放(若干)先前複查者之音訊註解及使用相同程序來添加額外音訊註解。其他複查者之註解具有不同註解ID 428及複查者ID 430。
圖60展示一例示性GYN複查螢幕434,其經組態以允許一第一複查者與一不同顯示系統108上之一第二複查者共用第一複查者之螢幕且允許第一複查者給予第二複查者控制第一複查者之螢幕上之複查螢幕434的控制權。換言之,第二複查者之顯示系統108顯示顯示於第一複查者之顯示系統108上之相同複查螢幕434,且第二複查者使用第二複查者之顯示系統108來控制第一複查者之螢幕上之複查螢幕434。複查螢幕434具有一共用螢幕命令436。當第一複查者選擇共用螢幕命令436時,複查螢幕434顯示一共用螢幕視窗438,諸如一彈出視窗。共用螢幕視窗438請求第二複查者之一共用螢幕ID。第一複查者輸入第二複查者之一共用螢幕ID (例如一姓名、編號、編碼等等)且點擊輸入以將共用螢幕ID傳輸至工作流程子系統106。工作流程子系統106驗證共用螢幕ID,且接著與第二複查者之顯示系統108共用來自第一複查者之顯示系統108之複查螢幕434。複查螢幕434亦具有一共用控制命令440,其允許第一複查者將複查螢幕434之控制權傳給第二複查者。共用螢幕命令436可為允許第一使用者藉由選擇命令436來共用及不共用複查螢幕434之一切換命令。類似地,共用控制命令440可為允許第一複查者共用及不共用複查螢幕434之控制權的一切換命令。選擇共用螢幕命令436亦可啟用一聊天視窗442,其可顯示於複查螢幕434上之任何開放空間或一可移動彈出視窗中。聊天視窗442允許第一複查者及第二複查者在聊天視窗442中文字聊天。另外,複查螢幕434可經由工作流程子系統來啟用第一複查者與第二複查者之間的一音訊或音訊/視訊通信連接以允許複查者之間音訊或音訊/視訊通信。另外,複查螢幕434可經組態以藉由向額外複查者重複共用命令來允許額外複查者共用第一複查者之複查螢幕434。
圖61展示一例示性GYN複查螢幕444,其經組態以允許複查者對數位影像302之個案312添加書籤(例如)以產生關注個案312及數位影像302之一參考庫。複查螢幕444類似於圖45之複查螢幕332且具有相同於圖45之複查螢幕332之大部分特徵。如圖61中所展示,複查螢幕444具有一添加書籤命令446。當複查者選擇添加書籤命令446時,複查螢幕444顯示允許複查者輸入一註解之一書籤註解視窗448。例如,複查者可輸入關於複查者為什麼將個案312添加關注書籤之註解文字426。添加書籤命令446亦可允許複查者標記一註解區域432,類似於複查螢幕420。書籤註解視窗可包含一註解ID 428及複查者ID 430,亦類似於複查螢幕420。另外,一書籤記錄亦記錄於數位影像302之SDS 304中,其包含註解文字426、註解ID 428、複查者ID及註解區域432。工作流程子系統106指定一參考庫(諸如關注個案之一參考庫)之添加書籤個案312之用途。
在一複查者選擇及複查載玻片清單388中之一載玻片102之後,顯示系統108提供一視覺指示符390以指示已複查各自載玻片102。例如,圖48中所展示之載玻片清單388包含載玻片清單388中各載玻片圖標387上方之一圓點390。圓點390指示各自載玻片102是否已由複查者複查。
圖57展示一複查螢幕414之又一實例,其類似於圖45之複查螢幕332且具有相同於圖45之複查螢幕332之大部分特徵。主要差異在於:複查螢幕414在主影像面板378中展示數位影像302之整個樣本區域。換言之,完全縮小主影像面板378中之影像以展示整個數位影像302。複查螢幕414亦具有調整主影像面板378中影像之縮放的一縮放滑尺416。其他複查螢幕332、334及394之任何者亦可在主影像面板378中顯示完全縮小之整個數位影像302且亦可包含縮放滑尺416。
在一複查者316複查一個案312之後,複查者316選擇複查螢幕332、334、394 (參閱圖45至圖47)上之完成複查命令396。在接收完成複查命令396之後,顯示系統108顯示一完成螢幕。圖48展示複查者316判定樣本正常(作為複查之一結果)時之一GYN個案312之一完成螢幕336之一實例。完成螢幕336可包含相同於GYN複查螢幕332之特徵及顯示於主影像面板378上之一完成圖框399。複查者316選擇正常完成命令400。在接收正常完成命令之後,顯示系統108將一正常完成信號發送至工作流程子系統106以將所判定之個案312更新為正常。接著,如圖35之工作流程圖中所展示,將選定個案312旗標為歸檔於一完成個案或路由至品質控制。將由第一複查者316複查為正常完成個案之一百分比發送至品質控制以由另一複查者複查為一品質控制檢查。品質控制檢查可判定一複查者316是否將一或多個個案312錯記為正常。
完成圖框399亦包含複查者316未完成選定個案312之複查時之一稍後完成命令401。在接收稍後完成命令401之後,顯示系統108將個案312標記為在進行中且將個案以一進行中個案留在複查者之工作單中。
圖49展示複查者316判定樣本異常(作為複查之一結果)時之一GYN個案312之一完成螢幕336之一實例。完成螢幕336可包含相同於GYN複查螢幕332之特徵及顯示於主影像面板378上之一完成圖框399。若判定樣本載玻片102存在異常,則第一複查者316選擇發送至病理學家命令404。接著,由工作流程子系統106排定一病理學家317複查個案312,如圖35及圖52至圖54之工作流程圖中所展示。接著,如圖35中所展示,病理學家可登錄顯示系統108且顯示系統108顯示(若干)工作單螢幕、(若干)複查螢幕及(若干)完成螢幕以允許病理學家依基本上相同於第一複查者316之方式選擇、複查及配置一個案。
在複查者完成一個案之複查之後,複查者可返回至工作單螢幕。圖50展示一工作單螢幕340之一實例,其展示由第一複查者316記為異常且指派給一病理學家供病理學家複查之一個案312之細節面板361。在預設情況下,完成個案312留在複查者之工作單中,直至複查者選擇隱藏完成個案312。圖50之工作單螢幕340顯示用於自工作單螢幕340隱藏一選定完成個案之一隱藏個案命令406。可修改預設以使用規則來自動隱藏完成個案。圖51展示其中已隱藏完成個案312之工作單螢幕340。
各個案312之註解、複查結果及狀態儲存於工作流程伺服器106 (例如一資料庫伺服器530 (圖63))中之一載玻片資料檔案中。載玻片資料檔案可包含數位影像302、SDS 304、載玻片資訊306及/或角錐/OOI 308,或其可為一不同資料檔案。
接著,如圖35中所展示,可將各個案312之配置輸入至一實驗室資訊系統(LIS) 408中,LIS 408可由一臨床醫師412存取於與LIS 408資料通信之一臨床醫師電腦410上。
圖35及圖52至圖56展示由一第一複查者316 (例如細胞化驗員)及一第二複查者317 (例如一病理學家)使用數位影像顯示系統108及工作流程子系統106來複查個案312之工作流程之若干變動。在圖35及圖52至圖56所描繪之工作流程中,術語「提取」及「推送」描述一複查者是否自等待複查之成像個案中提取一個案312或一個案是否由一主管或自動程序(例如基於規則之演算法、使用諸如個案類型、個案結果等等之規則)推送至複查者。圖55包含展示一細胞化驗員及一病理學家完成圖35及圖52至圖54中所描繪之工作流程之各種方案的流程圖。圖56包含展示圖35及圖52至圖54中所描繪之工作流程之各種主管/管理角色及方案的流程圖。
圖63繪示具有備份及存檔能力之一例示性工作流程伺服器106之一方塊圖。工作流程伺服器106包含用於執行各種備份及存檔服務之複數個軟體模組,其包含一成像器網路服務模組520、一複查站網路服務模組522、一存檔服務模組524及一備份服務模組525。工作流程伺服器106亦包含一網際網路資訊服務伺服器526 (例如MICROSOFT™ IIS)、一安全軟體模組528 (例如ASP.NET核心識別/鑑認)、具有載玻片資料檔案之一資料庫527的一資料庫伺服器530 (例如一SQL資料庫伺服器)、一影像儲存庫532 (例如在一RAID儲存磁碟上)及一伺服器作業系統534 (例如Microsoft伺服器2016)。成像器網路服務模組520經組態以由成像站190使用以使用資料庫伺服器530來發送及檢索資料。複查站網路服務模組522代管複查站應用程式且提供服務以使用資料庫伺服器530來發送及檢索資料。資料庫伺服器530儲存包含載玻片資訊306、角錐/OOI 308及複查資訊之SDS 304。存檔服務模組524執行載玻片資料檔案、數位影像302及/或SDS 304之存檔。備份服務模組525執行載玻片資料檔案(其包含數位影像檔案及複查資訊)之資料庫之備份。
備份模組525防止單磁碟失效及系統失效。備份模組525可將資料庫及載玻片影像檔案302備份至一網路硬碟540 (例如使用WINDOWS™內建式備份構件)或雲端儲存器542 (例如使用MICROSOFT AZURE™備份代理器)。一備份之目的係保護局部儲存資訊免受一災難,諸如一磁碟失效。若一備份係遠端的(諸如一雲端備份),則備份亦防止由諸如火災、洪水或其他局部事故引起之災難性失效。備份允許恢復資料庫及數位影像檔案,作為自一系統失效修復之部分。
存檔服務模組524經組態以移除資料庫伺服器530中之局部資料且長時間更高效率地儲存其。此亦可藉由降低其儲存要求來提高數位影像系統100之效能及/或可用性。存檔資料儲存於外部儲存器(諸如一遠端網路硬碟540或雲端儲存器542 (例如MICROSOFT AZURE™雲端儲存器或AMAZON Web Services™ (AWS)雲端儲存器)中。存檔服務模組524經組態以允許一使用者指定選擇存檔哪個數位影像檔案302、載玻片資訊306、角錐/OOI 308及/或複查資訊之一政策。存檔服務模組524亦可存檔一宏影像(由系統100產生時之數位影像檔案302之一較低解析度變型)。例如,使用者可設定存檔最近存取超過一選定時段(諸如30天、15天、60天等等)之資料的一政策。存檔政策亦可包含執行一存檔之一設定時間,諸如每天日存檔之一指定時間或每周周存檔之時間及日期等等。當存檔一載玻片102之資料時,不存檔資料庫527中之資訊,但更新資料庫527以追蹤已存檔哪個載玻片102。在存檔服務模組524之一實施例中,不存檔被存檔之一載玻片102之角錐影像檔案(例如OOI 308)。自資料庫527及影像儲存庫532刪除存檔檔案及角錐檔案之本地複本。
參考圖64,描繪使用存檔服務模組524來存檔載玻片102之一方法600之一流程圖。在步驟602中,存檔服務模組524接收及儲存包含一存檔排程之一存檔政策。在步驟604中,在每存檔排程之排定時間,存檔服務模組524識別滿足存檔政策之載玻片102且將載玻片102放置於一存檔資料庫表中。在步驟606中,針對存檔資料庫表中之各載玻片102,存檔服務模組524將載玻片影像檔案302及載玻片資訊306自資料庫527及影像儲存庫532複製至存檔外部儲存器540、542。在成功複製之後,在步驟608中,自資料庫527及影像儲存庫532刪除各存檔載玻片之載玻片資料。在步驟610中,更新資料庫527以指示已成功存檔各存檔載玻片102。在步驟612中,亦可更新儲存一存檔歷史日誌之一額外存檔歷史資料庫。
存檔服務模組524亦經組態以檢索一存檔載玻片102之存檔載玻片資料。存檔服務模組524可利用安裝於工作流程伺服器106上之一檢索器網路服務。基於存檔之類型來組態檢索器網路服務,不管其係一遠端網路硬碟或特定雲端儲存器。一使用者使用檢索器網路服務來自檔案選擇待檢索之載玻片102,且檢索器自外部儲存器540、542找取選定載玻片102之存檔載玻片資料,其包含載玻片影像檔案302、載玻片資訊306、宏影像及/或其他存檔資料。在成功檢索載玻片資料之後,系統100重新產生包含OOI 308之角錐影像資料,如本文中所描述。存檔服務模組524更新存檔資料庫表及/或關於檢索載玻片102之狀態的存檔歷史資料庫。各檢索載玻片102之SDS 304可儲存於工作流程伺服器106之資料庫527及影像儲存庫532中。
儘管已展示及描述特定實施例,但應瞭解,以上描述不意欲限制此等實施例之範疇,且此揭示內容僅供解釋及說明。因此,可在不背離以下申請專利範圍之範疇之情況下對所揭示之實施例作出各種改變及修改。例如,未必需要實施例中所描述之所有組件,且替代實施例可包含描述組件之任何適合組合,且可修改組件之大體形狀及相對大小。此外,儘管已描述細胞樣品之系統及方法,但其可與任何類型之樣品一起組態及利用。
100:數位影像系統 102:基板/載玻片 103:成像器子系統/成像子系統/成像站 104:成像器 105:成像器電腦 106:工作流程子系統/工作流程伺服器 107:主動儲存分區/主動儲存器 108:數位影像顯示系統/複查站 109:電腦監視器 110:玻璃板 111:複查站電腦 112:載玻片識別區域/載玻片識別部分 113:通信網路 114:樣本區域 115:蓋玻片 116:基準標記 117:厚度 118:載玻片載體 119:樣本 120:載玻片架 122:手柄 124:T形插槽 126:T形軌條 128:載玻片載體層板 130:主機板 132:圖形處理單元(GPU) 133:局部硬碟 134:局部大容量資料儲存器 135:軟體程式/軟體應用程式 136:網路及USB輸入/輸出(I/O) 137:影像處理軟體應用程式 138:電源供應器 140:不斷電電源供應器(UPS) 142:機殼/封閉體總成 144:基底/掃描器機殼 146:封閉體總成 148:基底總成 152:成像器底板 154:封閉體左面板 156:封閉體右面板 158:封閉體後面板 159:封閉體頂面板 160:封閉體左前窗 162:封閉體右前窗 164:封閉體右面板 166:載玻片載體層板門 168:成像器顯示監視器/封閉體顯示面板 170:左窗 172:頂窗 173:載體鎖 174:載玻片載體隔間 175:載體存在感測器 176:載玻片處置器 178:載玻片處置支架 180:支撐平台 182:系統介面板(SIB) 184:載玻片手爪 185:手爪機構 186:支架機器人運動控制器 188:光學感測器/載玻片庫存感測器 190:成像站/掃描站 191:影像獲取總成/影像獲取子總成/顯微鏡攝影機總成/顯微鏡攝影機子總成 192:數位攝影機 194:鏡筒透鏡總成/鏡筒透鏡 196:第一折疊反射鏡 198:物鏡 200:Z台 201:影像獲取底板 202:載玻片保持器 203:成像子總成對準調整器 204:載玻片凹槽 205:傾角 206:第一載玻片對齊臂 207:顯微鏡校準組件 208:第二載玻片對齊臂 209:載玻片釋放托架 210:XY載玻片台 211:X-Y台驅動器 212:載玻片保持器底板 213:載玻片保持器角調整器 214:X-Y台平台 215:X-Y台控制器 217:壓電聚焦n點控制器 218:X-Y台角調整器 219:壓電聚焦n點台 221:隔振安裝座 222:照明模組 223:第一孔隙 224:光源/LED 225:第二孔隙 226:第一透鏡 227:第二透鏡 228:第二折疊反射鏡 229:第三透鏡 230:可調聚焦透鏡 231:巨集攝影機 232:巨集視域站 234:第一載玻片保持器 235:X調整螺釘 236:第二載玻片保持器 237:鏡筒透鏡安裝座 238:下照明模組 240:上照明模組 242:第二折疊反射鏡 244:漫射器 246:攝影機調整器 248:工作流程子系統管理應用程式 250:實驗室資訊系統(LIS) 252:LIS通信介面 254:X軸機構 256:馬達 258:編碼器 260:本位感測器 262:驅動機構 264:Y軸機構 266:馬達 268:編碼器 270:本位感測器 272:驅動機構 274:Z軸機構 276:馬達 278:編碼器 280:本位感測器 282:驅動機構 290:θ軸機構 292:θ馬達 294:θ編碼器 302:數位影像/數位影像檔案 304:載玻片資料組(SDS) 306:載玻片資訊 308:關注物件(OOI)/角錐/OOI位置資料 310:工作流程路徑 312:個案 314:工作流程子系統管理模組 316:第一複查者 317:第二複查者/病理學家 318:導覽選單 320:清單 322:複選框 324:登錄螢幕 326:工作單/工作單螢幕 328:工作單螢幕 330:工作單/工作單螢幕 332:婦科(GYN)複查螢幕 334:非婦科(NGYN)複查螢幕 336:複查完成螢幕 338:複查完成螢幕 340:工作單完成螢幕 342:工作單保存螢幕 344:工作單螢幕命令 346:篩選功能 348:完成複查計數器 350:搜尋框 351:個案計數 352:載玻片圖標 354:檔案夾圖標 356:等待初次複查行 358:複查進行中行 360:初次複查完成行 361:細節面板 362:細節按鈕 364:進展指示符 366:成像日期 368:病歷 370:圖形狀態指示符 374:個案識別面板 376:OOI面板 378:主影像面板 380:複查者選定影像面板 382:OOI影像 384:展示類似命令 387:載玻片圖標 388:載玻片清單 390:視覺指示符/圓點 392:載玻片計數 394:NGYN複查螢幕 396:完成複查命令 399:完成圖框 400:正常完成命令 401:稍後完成命令 404:發送至病理學家命令 406:隱藏個案命令 408:LIS 410:臨床醫師電腦 412:臨床醫師 414:複查螢幕 416:縮放滑尺 420:GYN複查螢幕 422:註解面板 424:添加註解命令 426:文字註解/註解文字 428:註解ID 430:複查者ID 432:註解區域 434:GYN複查螢幕 436:共用螢幕命令 438:共用螢幕視窗 440:共用控制命令 442:聊天視窗 444:GYN複查螢幕 446:添加書籤命令 448:書籤註解視窗 450:GYN複查螢幕 452:口授註解命令 454:口授註解視窗 456:口授控制條 458:記錄按鈕/播放按鈕 460:暫停按鈕 462:導覽滑條 500:影像分析演算法 502:步驟 504:步驟 506:步驟 508:步驟 520:成像器網路服務模組 522:複查站網路服務模組 524:存檔服務模組 525:備份服務模組 526:網際網路資訊服務模組 527:資料庫 528:安全軟體模組 530:資料庫伺服器 532:影像儲存庫 534:伺服器作業系統 540:網路硬碟/存檔外部儲存器 542:雲端儲存器/存檔外部儲存器 600:方法 602:步驟 604:步驟 606:步驟 608:步驟 610:步驟 612:步驟 d:厚度/深度 d1:透射視域/有效平面內視域 l:長度 w:寬度
參考附圖來進一步詳細描述實施例之上述及其他態樣,在附圖中,相同元件符號係指相同元件,且相同元件之描述將適用於所有描述之各處相關實施例。
圖1係根據一實施例之一自動數位影像系統之一方塊圖;
圖2係根據一實施例之圖1之自動影像系統之一方塊圖,其展示一單一成像器及複查站;
圖3展示根據一實施例之用於圖1之自動數位影像系統之一樣本載玻片;
圖4係根據一實施例之圖2之數位影像系統之數位成像器之一前視透視圖;
圖5係根據一實施例之圖4之數位成像器之一載玻片載體之一側透視圖;
圖6係根據一實施例之圖5之載玻片載體之一側視透視圖,其中填充有載玻片之載玻片架安裝於載玻片載體中;
圖7係根據一實施例之圖4之數位成像器之載玻片載體隔間之一放大前透視圖;
圖8係根據一實施例之圖5及圖6之載玻片載體之一端視圖;
圖9係根據一實施例之圖4之數位成像器之一後透視圖;
圖10係根據一實施例之圖4之成像器之一前透視圖,其中移除封閉體面板以展示內部組件;
圖11係根據一實施例之圖4之成像器之成像器電腦之一示意圖;
圖12係根據一實施例之圖4之數位成像器之機殼/封閉體總成之一示意圖;
圖13係根據一實施例之圖4之數位成像器之載玻片載體裝載層板之一示意圖;
圖14係根據一實施例之圖4之數位成像器之載玻片處置器之一放大前視圖;
圖15係根據一實施例之圖14之載玻片處置器之一側視圖;
圖16係根據一實施例之圖14之載玻片處置器之一前透視圖;
圖17係根據一實施例之圖14之載玻片處置器之載玻片處置支架之一示意圖;
圖18係根據一實施例之圖14之載玻片處置器之支架機器人運動控制器之一示意圖;
圖19係根據一實施例之圖4之數位成像器之一前透視圖,其中移除面板、載玻片處置器及載玻片載體層板以展示成像站;
圖20係根據一實施例之圖4之數位成像器之一部分前視圖(及減振器之前視橫截面圖),其中移除面板、載玻片處置器及載玻片載體層板以展示成像站;
圖21係根據一實施例之圖4之數位成像器之成像站之影像獲取子總成之一前視圖;
圖22係根據一實施例之圖21之影像獲取子總成之一前視橫截面圖;
圖23係根據一實施例之圖4之數位成像器之載玻片成像站之一放大俯視圖;
圖24係根據一實施例之圖4之數位成像器之載玻片成像站之一放大透視圖;
圖25A係展示先前影像系統之成像面的一說明圖,其中成像面係載玻片(及載玻片上之樣本)之一標稱平行面;
圖25B係展示根據一實施例之圖4之數位成像器之傾斜成像面的一說明圖;
圖25C係根據一實施例之展示用於使一載玻片上之一樣本之全深度(Z尺寸)成像之圖4之數位成像器之傾斜成像面及展示用於判定適當攝影機傾角之尺寸的一說明圖;
圖26係根據一實施例之圖4之數位成像器之成像站之一示意圖;
圖27係根據一實施例之圖4之數位成像器之照明子系統之一前視圖;
圖28係根據一實施例之圖27之照明子系統之一前視橫截面圖;
圖29係根據一實施例之圖4之數位成像器之系統介面板之一示意圖;
圖30係根據一實施例之圖4之數位成像器之巨集視域站之一放大透視圖;
圖31係根據一實施例之圖4之數位成像器之巨集視域站之一前視圖;
圖32係根據一實施例之圖4之數位成像器之巨集視域站之一側視橫截面圖;及
圖33係繪示根據一實施例之由圖4之數位成像器用於掃描一樣本載玻片之一蛇形掃描模式的一示意圖。
圖34係根據一實施例之圖1之自動數位影像系統之工作流程子系統及數位影像顯示系統(複查站)之一方塊圖;
圖35係展示根據一實施例之用於複查樣本載玻片之數位影像之一工作流程方案的一圖式;
圖36係根據一實施例之一複查程序期間由數位影像顯示系統顯示之一工作單螢幕之一部分視圖;
圖37係根據一實施例之由用於選擇複查個案之數位影像顯示站選擇框顯示之一工作單螢幕之一部分視圖;
圖38係展示根據一實施例之由用於選擇複查個案之數位影像顯示站選擇框顯示之螢幕的一概覽;
圖39描繪根據一實施例之數位影像顯示站切換於不同工作單螢幕之間的能力;
圖40展示根據一實施例之由數位影像顯示系統顯示之具有一簡單清單格式之一工作單螢幕;
圖41展示根據一實施例之由數位影像顯示系統顯示之具有一圖塊/網格格式之一工作單螢幕;
圖42展示根據一實施例之由數位影像顯示系統顯示之具有呈排序行之一圖塊/網格格式之一工作單螢幕;
圖43展示根據一實施例之由數位影像顯示系統顯示之具有一細節面板之一工作單螢幕;
圖44展示根據一實施例之由數位影像顯示系統顯示之具有一圖形狀態指示符之一工作單螢幕;
圖45展示根據一實施例之由數位影像顯示系統顯示之一GYN (婦科)個案(單載玻片個案)之一複查螢幕;
圖46展示根據一實施例之由數位影像顯示系統顯示之一NGYN (非婦科)個案(多載玻片個案)之一複查螢幕;
圖47展示根據一實施例之由數位影像顯示系統顯示之一NGYN個案(多載玻片個案)之另一複查螢幕;
圖48展示根據一實施例之由數位影像顯示系統顯示之一正常GYN個案(單載玻片個案)之一完成螢幕;
圖49展示根據一實施例之由數位影像顯示系統顯示之一異常GYN個案(單載玻片個案)之一完成螢幕;
圖50展示根據一實施例之由數位影像顯示系統顯示之完成一個案之後的一工作單螢幕;
圖51展示根據一實施例之由數位影像顯示系統顯示之完成一個案之後的一工作單螢幕,其中自工作單隱藏完成個案;
圖52係展示根據一實施例之用於複查樣本載玻片之數位影像之另一工作流程方案的一圖式;
圖53係展示根據一實施例之用於複查樣本載玻片之數位影像之又一工作流程方案的一圖式;
圖54係展示根據一實施例之用於複查樣本載玻片之數位影像之又一工作流程方案的一圖式;
圖55提供根據一實施例之圖35及圖52至圖54中所描繪之工作流程之角色及方案之一概覽;
圖56A至圖56C係描述圖35及圖52至圖54中所描繪之工作流程之各種主管/管理員角色及方案的圖形;及
圖57展示根據一實施例之顯示由數位影像顯示系統顯示之一整個樣本區域之一數位影像之另一複查螢幕。
圖58展示根據一實施例之經組態以允許複查者添加註解及/或在影像上標記/描畫之另一複查螢幕;
圖59展示根據一實施例之經組態以允許複查者將錄音音訊註解添加至一數位影像之一個案之另一複查螢幕;
圖60展示根據一實施例之經組態以允許一第一複查者與一不同顯示系統108上之一第二複查者共用第一複查者之螢幕且允許第一複查者給予第二複查者控制第一複查者之螢幕上之複查螢幕434之另一複查螢幕的控制權;
圖61展示根據一實施例之經組態以允許複查者對一數位影像之一個案添加書籤之另一複查螢幕;
圖62繪示根據一實施例之數位細胞學之一影像分析演算法之一圖形表示;
圖63繪示根據一實施例之具有備份及存檔能力之一例示性工作流程伺服器之一方塊圖;
圖64繪示根據一實施例之使用一存檔服務模組來將載玻片存檔之一方法之一流程圖;
圖65繪示根據一實施例之用於執行一數位影像之失真校正之一校準表之一實例。
102:基板/載玻片
115:蓋玻片

Claims (24)

  1. 一種用於複查一整個樣本影像之系統,該整個樣本影像包括複數個物件,不管自其獲得該整個樣本影像之一原始三維樣本體積內之該等各自物件之個別位置如何,聚焦描繪該複數個物件,該系統包括一複查站,其包含一顯示監視器、一使用者介面及與該各自顯示監視器及使用者介面可操作地耦合之一處理器,其中該處理器經組態以在該顯示監視器上顯示該整個樣本影像及該樣本影像內個別物件之單獨影像;及其中該複查站經設定以在一掃描模式自動顯示該整個樣本影像之至少一部分之一掃描,其藉由在該顯示監視器上顯示該整個樣本影像之一部分之一放大圖及在該掃描模式自動依序地顯示該整個樣本影像之連續不同部分之一放大圖。
  2. 如請求項1之系統,其中該樣本係一細胞學細胞樣本且該等物件係細胞。
  3. 如請求項1之系統,其中該樣本係一病理性組織樣品且該等物件係組織結構。
  4. 如請求項1至3中任一項之系統,其中該系統經組態以允許系統使用者使用該使用者介面來自所儲存之整個樣本影像之一清單選擇該整個樣本影像。
  5. 如請求項1至3中任一項之系統,其中該系統經組態以允許一系統使用者使用該使用者介面來最終特徵化或否則轉送該整個樣本影像用於二次複查。
  6. 如請求項5之系統,其中可基於透過該使用者介面所接收之輸入來依複數個不同格式組織及顯示未被最終特徵化或否則轉送用於二次複查之所儲存之整個樣本影像之該清單。
  7. 如請求項5之系統,其中該系統經組態以允許一授權第三方完全或部分填寫所儲存之整個樣本影像之該清單以供一特定系統使用者複查。
  8. 如請求項4之系統,其中該系統經組態以允許由一系統使用者將註記添加至該整個樣本影像及/或與一整個樣本影像相關聯之一資料檔案,其中後續系統使用者可使用該等註記及該整個樣本影像來複查。
  9. 如請求項8之系統,其中該等註記與該整個樣本影像中之個別物件相關聯。
  10. 如請求項8之系統,其中該等註記可呈該整個樣本影像或該整個樣本影像之一部分之影像上所做之電子標記之形式。
  11. 如請求項1至3中任一項之系統,其中該系統經組態以回應於與該整 個樣本影像中之一各自物件相關聯之一系統使用者提示而顯示與該各自物件共用一或多個特性之一或多個額外物件。
  12. 如請求項11之系統,其中該一或多個額外物件係來自該整個樣本影像。
  13. 如請求項11之系統,其中該一或多個額外物件係來自含有先前分類物件之一庫。
  14. 如請求項1至3中任一項之系統,其中該系統經組態以允許關於該整個樣本影像或其內之個別物件之資料透過該使用者介面來輸入且儲存於與該整個樣本影像相關聯之一資料檔案中。
  15. 如請求項1至3中任一項之系統,其中該系統經組態以允許該系統使用者執行以下功能之各者:(1)開始及停止該整個樣本影像之一部分之該放大圖之該自動掃描;(2)設定該複查站顯示該放大圖之掃描之一放大倍數;及(3)設定該複查站掃描該整個樣本影像之一部分之該放大圖之一速度。
  16. 如請求項15之系統,其中該系統依選自由一蛇形模式、一逐列模式及一逐行模式組成之群組的一掃描模式自動掃描。
  17. 如請求項15之系統,其中該系統經組態以允許一系統使用者經由該 使用者介面來設定該系統顯示該整個樣本影像之該所掃描之至少部分時的一放大倍數。
  18. 如請求項15之系統,其中該系統經組態以允許一系統使用者經由該使用者介面來在該掃描之一顯示位置處停止及開始該掃描。
  19. 如請求項15之系統,其中該系統經組態以允許一系統使用者經由該使用者介面來設定該掃描之一速度。
  20. 如請求項15之系統,其中該系統經組態以允許一系統使用者在該掃描期間顯示該等各自物件時暫停各物件處之該掃描。
  21. 如請求項1至3中任一項之系統,其中該系統經組態以在該顯示監視器上顯示一複查螢幕,該複查螢幕包含其中顯示整個樣本影像之一主影像面板及其中顯示該樣本影像內之個別物件之單獨影像的一物件面板。
  22. 如請求項21之系統,其中該系統經組態以允許一系統使用者經由該使用者介面來放大/縮小及/或平移該主影像面板內之該整個樣本影像。
  23. 如請求項21之系統,其中該系統經組態以在一系統使用者經由該使用者介面來選擇該物件面板中之一各自物件之一單獨影像之後在該主影像面板內顯示含有該物件之該整個樣本影像之一區域。
  24. 如請求項21之系統,其中該系統經組態以允許一系統使用者經由該 使用者介面來選擇該所顯示之整個樣本影像中之一物件,其中該系統在一系統使用者選定影像面板中顯示該選定物件之一影像。
TW108139798A 2018-11-02 2019-11-01 數位影像系統及方法 TWI830803B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862755151P 2018-11-02 2018-11-02
US201862755291P 2018-11-02 2018-11-02
US62/755,291 2018-11-02
US62/755,151 2018-11-02
PCT/US2019/055458 WO2020091965A2 (en) 2018-11-02 2019-10-09 Digital imaging system and method
WOPCT/US2019/055458 2019-10-09

Publications (2)

Publication Number Publication Date
TW202036477A TW202036477A (zh) 2020-10-01
TWI830803B true TWI830803B (zh) 2024-02-01

Family

ID=68345071

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108139798A TWI830803B (zh) 2018-11-02 2019-11-01 數位影像系統及方法
TW112126789A TW202403668A (zh) 2018-11-02 2019-11-01 數位影像系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW112126789A TW202403668A (zh) 2018-11-02 2019-11-01 數位影像系統

Country Status (12)

Country Link
US (1) US11977215B2 (zh)
EP (1) EP3874313A2 (zh)
JP (1) JP2022506227A (zh)
KR (1) KR20210084602A (zh)
CN (3) CN113039472A (zh)
AU (1) AU2019370154A1 (zh)
BR (1) BR112021004153A2 (zh)
CA (1) CA3112071A1 (zh)
IL (1) IL282815A (zh)
SG (1) SG11202102217SA (zh)
TW (2) TWI830803B (zh)
WO (1) WO2020091965A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3874313A2 (en) 2018-11-02 2021-09-08 Hologic, Inc. Digital imaging system and method
WO2021108321A1 (en) 2019-11-25 2021-06-03 Hologic, Inc. Digital imaging system and method
WO2023278779A1 (en) * 2021-07-01 2023-01-05 Invenio Imaging, Inc. Systems and methods for preparing, imaging and analyzing cytologic samples
EP4365909A1 (en) * 2022-11-07 2024-05-08 Speclipse, Inc. Skin cancer diagnosis method based on image analysis using artificial intelligence
KR102648424B1 (ko) * 2023-06-21 2024-03-15 주식회사 큐리오시스 슬라이드 정보를 디스플레이하는 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179445A1 (en) * 1999-10-29 2003-09-25 Garrick Maenle Cytological imaging systems and methods
US20030210262A1 (en) * 2002-05-10 2003-11-13 Tripath Imaging, Inc. Video microscopy system and multi-view virtual slide viewer capable of simultaneously acquiring and displaying various digital views of an area of interest located on a microscopic slide
US20060045388A1 (en) * 2004-08-31 2006-03-02 Zeineh Jack A Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide
US20130231957A1 (en) * 2012-02-20 2013-09-05 Medicomp Systems, Inc. Intelligent filtering of health-related information
US20140184778A1 (en) * 2012-12-28 2014-07-03 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, image processing system, and program
US20170034659A1 (en) * 2014-11-13 2017-02-02 Y R Tech, LLC Mobile Social Activity Networking Systems and Methods
TW201710949A (zh) * 2015-05-28 2017-03-16 脫其泰有限責任公司 圖像分析系統及相關方法
US20170161545A1 (en) * 2015-05-28 2017-06-08 Tokitae Llc Image analysis systems and related methods

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5269918A (en) 1990-07-09 1993-12-14 Cytyc Corporation Clinical cartridge apparatus
US5240606A (en) 1990-07-09 1993-08-31 Cytyc Corporation Apparatus for preparing cells for examination
US5282978A (en) 1990-07-09 1994-02-01 Cytyc Corporation Specimen processor method and apparatus
US5143627A (en) 1990-07-09 1992-09-01 Cytyc Corporation Method and apparatus for preparing cells for examination
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
CA2132269C (en) 1993-10-12 2000-02-01 Rainer Hermann Doerrer Interactive automated cytology method and system
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6031930A (en) 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6562299B1 (en) 1998-09-18 2003-05-13 Cytyc Corporation Method and apparatus for preparing cytological specimens
US6572824B1 (en) 1998-09-18 2003-06-03 Cytyc Corporation Method and apparatus for preparing cytological specimens
US6847729B1 (en) 1999-04-21 2005-01-25 Fairfield Imaging Limited Microscopy
US6661501B1 (en) 1999-10-29 2003-12-09 Cytyc Corporation Cytological stain composition including verification characteristic
US7006674B1 (en) 1999-10-29 2006-02-28 Cytyc Corporation Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system
US6665060B1 (en) 1999-10-29 2003-12-16 Cytyc Corporation Cytological imaging system and method
US7518652B2 (en) 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
US7668362B2 (en) 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US7771662B2 (en) 2001-10-19 2010-08-10 Hologic, Inc Vial system and method for processing liquid-based specimens
CA2436043C (en) 2002-02-22 2006-01-10 Bacus Research Laboratories, Inc. Focusable virtual microscopy apparatus and method
US7116440B2 (en) 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
US8185317B2 (en) 2003-06-12 2012-05-22 Cytyc Corporation Method and system of determining the stain quality of slides using scatter plot distribution
JP4391527B2 (ja) 2003-06-12 2009-12-24 サイティック コーポレイション 関心のある複数の対象物を関心のあるフィールド内で組織化するシステム
HUP0301911A2 (hu) * 2003-06-24 2005-03-29 3Dhistech Kft. Tárgylemezadagoló-egység automatikus szkennelő mikroszkóphoz
US7372985B2 (en) 2003-08-15 2008-05-13 Massachusetts Institute Of Technology Systems and methods for volumetric tissue scanning microscopy
DE602004020928D1 (de) 2004-02-29 2009-06-10 Truphatek Int Ltd Laryngoskop-klinge aus metall
US7666362B2 (en) 2004-03-31 2010-02-23 Becton, Dickinson And Company Micro-plate and lid for robotic handling
WO2005119575A2 (en) 2004-05-27 2005-12-15 Aperio Technologies, Inc Systems and methods for creating and viewing three dimensional virtual slides
HUP0401802A2 (en) 2004-09-02 2006-03-28 3D Histech Kft Focusing method object carriers on fast-moving digitalization and object carrier moving mechanics, focusing optic, optical distance-measuring instrument
US7556777B2 (en) 2005-03-08 2009-07-07 Cytyc Corporation Specimen vial cap handler and slide labeler
US7587078B2 (en) 2005-05-02 2009-09-08 Cytyc Corporation Automated image analysis
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US7869642B2 (en) 2006-01-31 2011-01-11 Agfa Inc. Window leveling system and method
AU2007215302A1 (en) 2006-02-10 2007-08-23 Hologic, Inc. Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
JP4917331B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917329B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917330B2 (ja) 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4890096B2 (ja) 2006-05-19 2012-03-07 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
US7945083B2 (en) 2006-05-25 2011-05-17 Carestream Health, Inc. Method for supporting diagnostic workflow from a medical imaging apparatus
WO2008005868A2 (en) 2006-06-30 2008-01-10 Aperio Technologies, Inc. Method for storing and retrieving large images via dicom
US8010555B2 (en) 2006-06-30 2011-08-30 Aperio Technologies, Inc. System and method for managing images over a network
US7769219B2 (en) 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
US9008378B2 (en) 2006-12-20 2015-04-14 The Board Of Trustees Of The Leland Stanford Junior University Arrangement and imaging of biological samples
US8116550B2 (en) 2006-12-20 2012-02-14 Cytyc Corporation Method and system for locating and focusing on fiducial marks on specimen slides
WO2008092107A1 (en) 2007-01-26 2008-07-31 New York University Holographic microscope system and method for optical trapping and inspection of materials
WO2008137746A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
US8165363B2 (en) 2007-05-04 2012-04-24 Aperio Technologies, Inc. System and method for quality assurance in pathology
HU0700409D0 (en) 2007-06-11 2007-08-28 3D Histech Kft Method and system for accessing a slide from a remote workstation
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのvs画像生成方法、プログラム
US8041147B2 (en) 2007-07-18 2011-10-18 3DHISTECH Kft; Method for realistic stitching image blocks of an electronically recorded multipart image
US7848019B2 (en) 2007-12-10 2010-12-07 Cytyc Corporation Microscope calibration apparatus and method and stage including calibration apparatus
US7675045B1 (en) 2008-10-09 2010-03-09 Los Alamos National Security, Llc 3-dimensional imaging at nanometer resolutions
EP2344864B1 (en) 2008-10-24 2020-05-06 Leica Biosystems Imaging, Inc. Whole slide fluorescence scanner
US8463741B2 (en) 2009-09-04 2013-06-11 Omnyx, LLC Digital pathology system
US8564623B2 (en) * 2009-12-11 2013-10-22 Molecular Devices, Llc Integrated data visualization for multi-dimensional microscopy
WO2011153500A2 (en) 2010-06-04 2011-12-08 Aperio Technologies, Inc. System and method to determine slide quality of a digitized microscope slide
CN102947860B (zh) 2010-06-15 2018-09-07 皇家飞利浦电子股份有限公司 显微镜学中的图像处理方法
BR112012032713A2 (pt) 2010-06-24 2016-09-13 Koninkl Philips Electronics Nv sistema de representação de imagem de autofoco para um sistema de microscópio, sistema de microscópio, método para representação de imagem de autofoco para um sistema de microscópio e elemento de programa para representação de imagem de autofoco de um sistema de microscópio
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
US10139613B2 (en) * 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US20120075695A1 (en) * 2010-09-23 2012-03-29 Deblasis Christopher A Holder for carrying and facilitating auto-loading of microscope specimen slides
US8542274B2 (en) * 2010-10-18 2013-09-24 Olympus America Inc. Wide field microscopic imaging system and method
US8771978B2 (en) 2010-11-15 2014-07-08 Tissuevision, Inc. Systems and methods for imaging and processing tissue
US9041791B2 (en) 2011-02-01 2015-05-26 Roche Diagnostics Hematology, Inc. Fast auto-focus in imaging
JP2012177805A (ja) * 2011-02-25 2012-09-13 Olympus Corp 顕微鏡画像撮影装置
WO2013010023A2 (en) 2011-07-13 2013-01-17 Aperio Technologies, Inc. Standardizing fluorescence microscopy systems
JP5784435B2 (ja) 2011-09-20 2015-09-24 オリンパス株式会社 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
AU2012322965B2 (en) 2011-10-12 2015-07-16 Ventana Medical Systems, Inc. Polyfocal interferometric image acquisition
BR112015001592B1 (pt) 2012-07-25 2022-07-26 Labrador Diagnostics Llc Método para analisar uma amostra
CN105122114B (zh) * 2012-12-06 2018-07-27 通用电气医疗集团生物科学公司 用于生物样本的分屏显示和用于捕捉其记录的系统和方法
JP6147006B2 (ja) 2013-01-09 2017-06-14 オリンパス株式会社 撮像装置、顕微鏡システム及び撮像方法
CN105027165B (zh) 2013-03-15 2021-02-19 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
JP7180964B2 (ja) 2014-01-17 2022-11-30 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 三次元イメージング装置および方法
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
US10746980B2 (en) 2014-08-26 2020-08-18 General Electric Company Calibration of microscopy systems
JP6371686B2 (ja) 2014-11-21 2018-08-08 富士フイルム株式会社 観察対象抽出処理装置、方法およびプログラム並びに観察画像撮像表示システム
US9910258B2 (en) 2014-12-22 2018-03-06 Koninklijke Philips N.V. Method for simultaneous capture of image data at multiple depths of a sample
JP6643072B2 (ja) 2015-12-10 2020-02-12 キヤノン株式会社 顕微鏡システムおよびその制御方法
JP2017135437A (ja) 2016-01-25 2017-08-03 株式会社ディスコ 撮像装置
CN105699147B (zh) * 2016-03-21 2019-04-12 厦门通灵生物医药科技有限公司 一种多通道载片安装插槽装置
DE102016110988A1 (de) 2016-06-15 2017-12-21 Sensovation Ag Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
CA3044426A1 (en) 2016-11-18 2018-05-24 Tissuevision, Inc. Automated tissue section capture, indexing and storage system and methods
JP2020507106A (ja) * 2016-12-30 2020-03-05 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像
JP6889009B2 (ja) 2017-04-13 2021-06-18 浜松ホトニクス株式会社 画像取得システム及び画像取得方法
EP3874313A2 (en) 2018-11-02 2021-09-08 Hologic, Inc. Digital imaging system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179445A1 (en) * 1999-10-29 2003-09-25 Garrick Maenle Cytological imaging systems and methods
US20030210262A1 (en) * 2002-05-10 2003-11-13 Tripath Imaging, Inc. Video microscopy system and multi-view virtual slide viewer capable of simultaneously acquiring and displaying various digital views of an area of interest located on a microscopic slide
US20060045388A1 (en) * 2004-08-31 2006-03-02 Zeineh Jack A Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide
US20130231957A1 (en) * 2012-02-20 2013-09-05 Medicomp Systems, Inc. Intelligent filtering of health-related information
US20140184778A1 (en) * 2012-12-28 2014-07-03 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, image processing system, and program
US20170034659A1 (en) * 2014-11-13 2017-02-02 Y R Tech, LLC Mobile Social Activity Networking Systems and Methods
TW201710949A (zh) * 2015-05-28 2017-03-16 脫其泰有限責任公司 圖像分析系統及相關方法
US20170161545A1 (en) * 2015-05-28 2017-06-08 Tokitae Llc Image analysis systems and related methods

Also Published As

Publication number Publication date
TW202036477A (zh) 2020-10-01
KR20210084602A (ko) 2021-07-07
CA3112071A1 (en) 2020-05-07
CN115933154A (zh) 2023-04-07
CN113039472A (zh) 2021-06-25
AU2019370154A1 (en) 2021-04-15
JP2022506227A (ja) 2022-01-17
WO2020091965A2 (en) 2020-05-07
TW202403668A (zh) 2024-01-16
SG11202102217SA (en) 2021-05-28
CN115903205A (zh) 2023-04-04
US11977215B2 (en) 2024-05-07
WO2020091965A3 (en) 2020-06-04
IL282815A (en) 2021-06-30
US20210350112A1 (en) 2021-11-11
EP3874313A2 (en) 2021-09-08
BR112021004153A2 (pt) 2021-05-25

Similar Documents

Publication Publication Date Title
TWI830803B (zh) 數位影像系統及方法
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
Weinstein et al. An array microscope for ultrarapid virtual slide processing and telepathology. Design, fabrication, and validation study
CN107255863B (zh) 数字显微镜
US7305109B1 (en) Automated microscopic image acquisition compositing, and display
EP1016031B1 (en) Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
CN108982500B (zh) 一种宫颈液基细胞学智能辅助阅片方法和系统
US7110586B2 (en) Apparatus for remote control of a microscope
CN105122114B (zh) 用于生物样本的分屏显示和用于捕捉其记录的系统和方法
US6226392B1 (en) Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
JP2011181015A (ja) 診断情報配信装置および病理診断システム
WO1998044446A9 (en) Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
Indu et al. “Slide less pathology”: Fairy tale or reality?
US20210233647A1 (en) Digital imaging system and method
JP2021515912A (ja) ディジタル病理スキャニング・インターフェースおよびワークフロー
Prochorec-Sobieszek Future perspectives of digital pathology
Rojo et al. International Journal of Surgical
Eklund The Process of Digital Pathology and its Application in a Study