TW202326599A - 影像顯示方法、電腦程式以及電腦可讀取的記錄媒體 - Google Patents

Abstract

本發明的影像顯示方法係具備下述程序：取得包含複數個染色影像的影像集，複數個染色影像為對組織標本施予多重免疫染色且予以拍攝並進行用以對合相互的位置之對位處理而得；以及在已反映對位處理的結果之狀態下遵循預定的切換規則切換影像集所含有的染色影像並予以畫面顯示。在畫面顯示中顯示包含至少一個染色影像以及用以受理來自參與切換規則的編輯的使用者的操作輸入之圖形化使用者介面之影像，因應操作輸入變更設定切換規則，遵循變更設定後的切換規則進行畫面顯示。藉由影像顯示有效地支援使用者的作業，使用者的作業為確認對組織標本施予多重免疫染色並予以拍攝而得的複數個染色影像間的對位處理的結果。

Description

影像顯示方法、電腦程式以及電腦可讀取的記錄媒體

本發明係有關於一種對組織標本施予多重免疫染色並予以拍攝而得的染色影像的顯示方法。尤其，本發明係有關於一種影像顯示方法，係包含染色影像間的位置對合用的對位(registration)處理的結果並顯示染色影像。

在近年來的免疫組織化學的領域中著眼於一種單細胞解析(single cell analysis)，用以以細胞單位測量蛋白質以及蛋白質的關連物質等之生物體(organism)物質的發現量以及位置等。此種技術並非僅將標本視為細胞的集合，而是著眼於用以構成標本之各個細胞來進行解析。為了此種目的，拍攝組織標本並藉由影像處理進行解析之影像細胞分析技術(image cytometry)已經投入實際使用。在利用了影像細胞分析技術的多重免疫染色法的解析技術中，對從生物體所採取的組織切片或者人工培養的細胞組織等生物標本反復地進行染色、拍攝以及脫色。藉此，取得與複數種染色分別對應的複數個標本影像。

在此種技術中，為了施予了相互不同的染色的複數個標本影像間能夠相互參照，需要進行標本影像間的位置對合(對位處理)。用以在由複數個影像所構成的組(影像堆疊(image stack))內找出影像間相互對應的地方並求出這些地方之間的位置偏移量之功能亦能安裝於一般的影像處理軟體中。此外，作為組織標本影像專用的位置對合技術，例如有國際公開第2015/002082號公報(專利文獻1)所記載的技術。

在依序應用各種染色方法的多重免疫染色中，染色結果的呈現態樣係根據每個染色影像而大幅度地不同。其中亦會有無法找出在影像間相互地對應的地方之此種組合。因此，在以往的對位處理技術中，會產生無法針對所有的染色影像進行正確的位置對合之案例，亦即會產生對位失敗的案例。

然而，用以自動地判定在此種影像內容不同的染色影像間的對位是否成功之技術尚未研發出，藉由熟練人員以目視來判斷是否成功之作業依然是不可或缺的。此外，此種判斷對於熟練人員而言也不是容易的，只要染色的種類增加則作業量亦會變得龐大。因此，期望研發出一種技術，係能支援使用者對於對位處理結果的確認作業，並能有效率地進行此種作業。此種技術至今尚未有人提出。

本發明係有鑑於上述課題而研創，目的在於提供一種影像顯示方法，係能有效地支援確認對組織標本施予多重免疫染色並予以拍攝而得的複數個染色影像間的對位處理的結果此種使用者的作業。

本發明的影像顯示方法的一種態樣係具備下述程序：取得包含複數個染色影像的影像集(image set)，複數個染色影像為對組織標本施予多重免疫染色且予以拍攝並進行用以對合相互的位置之對位處理而得；以及在已反映前述對位處理的結果之狀態下遵循預定的切換規則切換前述影像集所含有的前述染色影像並予以畫面顯示。在此，在前述畫面顯示中顯示包含至少一個前述染色影像以及用以受理來自參與前述切換規則的編輯的使用者的操作輸入之圖形化使用者介面之影像，因應前述操作輸入變更設定前述切換規則，遵循前述變更設定後的前述切換規則進行前述畫面顯示。

在此，所謂「切換規則」係指制定了在上面所說明的影像顯示中各個染色影像中的哪個影像應該以何種順序顯示之規則。在本發明中，切換規則係能夠藉由使用者的操作而動態地變更。此外，對位處理為為了修正各個影像間的相對性的位置偏移而進行的處理。在此，對位處理係可為在直至求出位置偏移量之階段為止的處理，亦可為包含直至與所求出的位置偏移量相應的位置修正為止的處理。

用以切換顯示內容相似的複數個影像並利用殘影效果容易目視地確認影像間有無差異以及變化的程度之方法已被廣泛地運用。然而，以確認多重免疫染色影像的對位處理的結果之目的利用了此種原理之方法尚未投入實際使用。主要的理由推測如下。利用了此種殘影效果之異同的確認係在影像間的差異較小時是有效的。然而，認為在如多重免疫染色影像般之在影像間的內容的差異較大的影像集中殘影效果未必能有效地發揮作用。

此外，認為：只要針對影像集所含有的複數個染色影像組合例如影像內容類似的影像彼此並依序地切換顯示，即能更容易地確認異同。更具體而言，能使用明確地包含有相互地對應的地方之此種組合。然而，並未存在相互地比較複數個染色影像並因應類似的程度以適當的顯示順序來組合之此種方法。

因此，在本發明中，主要是著眼於：針對進行切換顯示之染色影像的組合以及排列等之切換規則係基於來自使用者的操作輸入來決定，並提供為了有效率地進行此時的操作之使用者介面。

具體而言，進行切換顯示之影像集係包含對組織標本施予多重免疫染色並予以拍攝而得的複數個染色影像，並在複數個染色影像間預先進行對位處理。而且，在一邊切換染色影像一邊畫面顯示染色影像時，於各個染色影像反映對位處理的結果。亦即，從目前所顯示的染色影像切換成下一個染色影像時，下一個染色影像係以已經消除相對於先前的染色影像的相對性的位置偏移之狀態來顯示。如此，於切換顯示反映了對位處理的結果，藉此使用者能夠藉由切換前後的影像的比較來確認對位處理是否成功。

針對切換前後的影像的組合，能夠藉由使用者操作與染色影像一起顯示的圖形化使用者介面(GUI；graphical user interface)而變更。作為此種技術，例如同樣能使用已經廣泛地被使用之用以進行一覽顯示於視窗內的影像檔案的排列切換操作之方法。

如此，在本發明中，影像集所含有的複數個染色影像係一邊使對位處理的結果反映一邊切換顯示對位處理的結果。伴隨與此，顯示用以編輯切換規則之GUI。而且，當藉由使用者的操作來進行切換規則的變更操作時，遵循變更後的切換規則進行切換顯示。因此，使用者係從複數個染色影像中組合欲比較的染色影像並進行切換顯示，藉此能夠進行影像間的比較，具體而言能夠進行確認對位處理是否成功。

如上所述，在本發明中，針對包含藉由多重免疫染色以及伴隨多重免疫染色的拍攝而得的複數個染色影像之影像集，一邊於各個染色影像反映對位處理的結果一邊進行切換顯示。而且，能夠藉由使用者經由GUI的操作輸入來變更切換前後的影像的組合。本發明能藉由這些功能有效地支援確認複數個染色影像間的對位處理的結果之此種使用者的作業，從而能謀求減輕使用者的作業負擔。

以下，說明本發明的影像顯示方法的實施形態之一的影像顯示處理。影像顯示處理係能夠藉由具備處理器(processor)、輸入器件(input device)以及影像顯示器件之系統來執行，處理器係具有影像處理以及邏輯運算處理功能，輸入器件係受理來自使用者的操作輸入。能使用例如具有一般的硬體構成的個人電腦裝置來執行此種處理。作為輸入器件，能單獨或者適當地組合例如滑鼠、鍵盤、觸控筆等來使用。此外，作為影像顯示器件，能使用例如液晶顯示器裝置。亦可使用兼具輸入器件以及影像顯示器件的觸控面板。

影像顯示處理的對象為包含複數個染色影像的影像集，複數個染色影像為對組織標本施予多重免疫染色且予以拍攝並進行對位處理而得。本實施形態尤其在包含三張以上的染色影像的影像集中能有效地發揮功能。影像集係以下述方式作成。

圖1係顯示用以作成影像集之處理的概略之流程圖。首先，準備成為解析的對象之組織標本(步驟S101)。組織標本為例如將從生物體取出的組織或者培養的細胞等的樣本固定於蓋玻片(cover glass)等適當的載體而得。針對複數種染色方法的各種染色方法，針對組織標本進行染色(步驟S102)、拍攝(步驟S103)以及脫色(步驟S104)。藉此，取得以複數種染色方法將一個組織標本染色且予以拍攝而得的複數個染色影像。

這些染色影像之間係因為在拍攝的期間反復脫色作業與染色作業以及樣本本身隨著時間經過的變形等而於影像間產生位置偏移。為了修正此種位置偏移，進行對位處理(步驟S105)。在對位處理中，為了對一個影像適當地疊合另一個影像所需要的相對移動量係作為「對位量」而被求出。作為對位處理用的影像處理演算法已經有各種演算法投入實際使用，在此不在乎是何種種類。如此，結束了對位處理的一組影像係成為此處所稱的「影像集」。

在多重免疫染色中，由於藉由染色方法所染色的細胞不同，因此會產生濃淡的圖案(pattern)與其他的染色影像大幅度地不同的影像。以此種問題成為起因，會有難以自動且精度佳地將全部的染色影像位置對合之情形。因此，依然需要藉由具有專門知識的使用者針對對位處理的結果進行目視確認。以下所說明的本實施形態的影像顯示方法係以使用者能有效率地進行對位處理結果的確認作業之方式從影像顯示之方面來支援作業。最終的目的是在全部的影像間作成對位成功的影像集。

圖2係顯示本實施形態所處理的影像集的例子之圖。以不同的染色狀態拍攝同一個組織標本的同一個區域，藉此取得包含複數個作為染色影像的影像001至 影像008的影像堆疊S。對這些染色影像各者賦予與作為對位處理的結果而求出的對位量相關的資訊。如此，構成影像集。對位量係能藉由例如為了正確地疊合兩個影像所需要的影像間的相對性的平行移動量、旋轉量等來表示。

能夠將處理條件相互不同的複數個對位處理應用於一個影像堆疊S。所謂處理條件的差異係例如為處理演算法不同或者在同一個演算法中參數設定不同等。因此，能夠從一個影像堆疊S作成複數組影像集。在以下的例子中，與規定了對位處理的處理內容之兩種類的處理處方(processing recipe)(處方1、處方2)對應地作成兩組影像集。

圖3係顯示本實施形態中的影像顯示處理之流程圖。此種處理係藉由執行例如電腦裝置預先準備的控制程式從而所實現。更具體而言，電腦裝置係遵循控制程式將預定的影像顯示於影像顯示器件，並隨時受理使用者對於輸入器件的輸入操作且因應輸入操作來變更顯示。

首先，取得以上面所說明的方式所作成的影像集(步驟S201)，初始設定複數個染色影像的顯示順序(步驟S202)。此時的顯示順序是任意的。例如，可為與拍攝的順序相同，亦可為例如基於對位處理的結果進行了適當的排序(sorting)之結果。接著，將包含顯示順序為第一位的染色影像之初始影像顯示於影像顯示器件的畫面(步驟S203)。在此種狀態下待機至有來自使用者的操作輸入為止(步驟S204)。

圖4係顯示本實施形態的顯示影像的構成例之圖。於所顯示的影像包含：一覽視窗W1，係顯示影像的一覽，該影像的一覽係構成影像集；影像視窗W2，係顯示這些影像中所指定的一張影像；以及按鍵群B，係作為圖形化使用者介面(GUI)，用以受理使用者經由輸入器件的操作輸入。

依據目前所設定的顯示順序於一覽視窗W1顯示所取得的影像集所含有的染色影像的檔案名稱的一覽。「跳過」、「確認」、「採用」、「處方」以及「基準」欄位為用以反映使用者的操作之欄位。其中，於「處方」欄位顯示了用以特定應用於影像集之對位處理的處方之資訊。在本例子中顯示了應用了處方1。其他欄位的詳細內容係容後說明。於影像視窗W2以適當的倍率顯示了所選擇的染色影像。在一覽視窗W1中以濃的顏色塗滿的影像001的跳過欄位係顯示目前顯示於影像視窗W2的影像為影像001。顯示倍率係能夠藉由使用者的操作而變更。

按鍵群B係包含了下述按鍵等：顯示切換按鍵(「往上」、「往下」)，係用以切換顯示於影像視窗W2的影像；確認按鍵(「良好」、「不良」以及「保留」)，係用以受理使用者對於對位處理的結果的判定；「採用」的確認框，係用以使該影像反映於後述的採用視窗；以及顯示順序按鍵(「往上」、「往下」)，係用以變更顯示順序。

返回至圖3，有來自使用者對於這些按鍵中的任一個按鍵的操作輸入時(步驟S204中為「是」)，後續的動作係根據操作內容而不同。具體而言，在操作顯示切換按鍵中的「往上」時，執行步驟S211。另一方面，在操作顯示切換按鍵中的「往下」時，執行步驟S212。

同樣地，分別操作確認按鍵中的「良好」、「不良」、「保留」時，分別執行步驟S213、S214、S215。此外，當點擊「採用」的確認框時，執行步驟S216。再者，分別操作顯示順序按鍵中的「往上」、「往下」時，分別執行步驟S217、S218。

圖5係顯示操作顯示切換按鍵時的動作例之圖。如圖5的上圖所示，在於影像視窗W2顯示影像001的狀態下，例如藉由使用者的滑鼠操作來操作顯示切換按鍵中的「往下」。此「往下」的按鍵為用以使目前顯示於影像視窗W2的影像顯示成在所設定的顯示順序中的下一個影像之按鍵。因此，當操作此「往下」的按鍵時，如圖5中的下圖所示，將影像視窗W2內的影像切換成目前的影像001的顯示順序的下一個影像002(步驟S212)。伴隨於此，在一覽視窗W1中，跳過欄位的濃的顏色係從影像001變更至影像002。

此時，於顯示影像反映了對位處理的結果。亦即，在影像視窗W2內的影像從影像001切換至影像002時，對影像002應用了用以消除影像002與藉由對位處理所求出的影像001之間的相對位置偏移量之位置修正。

當在此種狀態下再次操作「往下」的按鍵時，影像視窗W2內的影像係切換成影像003(步驟S212)。另一方面，當操作「往上」的按鍵時，影像視窗W2內的顯示影像係從影像002切換成影像001(步驟S211)。如此，顯示切換按鍵係實現依據一覽視窗W1所顯示的順序切換顯示於影像視窗W2的染色影像之功能。

在正在以目前所設定的顯示順序顯示末尾的染色影像之狀態下操作「往下」的按鍵之情形中，亦可在顯示順序中將顯示切換成前頭的染色影像。反之，在正在顯示前頭的染色影像之狀態下操作「往上」的按鍵之情形中，亦可在將顯示切換成末尾的染色影像。如此，能夠切換在顯示順序中的離的較遠的染色影像彼此並進行比較。

會有下述情形：在比較染色狀態不同的兩個染色影像時，相較於排列顯示兩個染色影像，在相同的位置切換兩個影像並使兩個影像交互地顯示是更有效的。這是由於使用者能夠利用殘像效果來評價兩個影像間有無位置偏移以及位置偏移的程度之緣故。藉由反映了對位處理的結果之影像的切換，能支援使用者對於對位處理的結果的是否成功判定作業。亦即，使用者能夠藉由在切換前後的影像間感知位置偏移從而確認對位處理的結果是否成功。

圖6係例示使用者對於對位處理的是否成功判定操作之圖。使用者係能觀看切換顯示的影像來判定對位處理是否成功。能夠使判定結果反映於資料。亦即，在使用者判定成對位處理成功時，如圖6所示使用者操作確認按鍵中的「良好」，藉此於顯示於一覽視窗W1的該影像的「確認」欄位顯示成「良好」。藉此，該影像係被記錄成對位處理成功的事例(步驟S213)。

另一方面，在使用者感知到明顯的位置偏移並判定成對位處理失敗時，操作確認按鍵中的「失敗」，藉此該影像的對位處理係被記錄成失敗的事例(步驟S214)。此時，於顯示於一覽視窗W1的該影像的「確認」欄位顯示成「失敗」。針對是否成功並不明確的影像，能夠作為「保留」的事例來記錄(步驟S215)。如此，例如亦能夠僅抽出保留的影像另外進行確認作業。

圖7係例示使用者對於「採用」的確認框的操作之圖。使用者點擊「採用」的確認框，藉此能於確認框相互地切換勾選了確認的狀態(以下稱為「採用狀態」)與解除了確認的狀態(以下稱為「非採用狀態」)(步驟S216)。針對「採用」的確認框的功能係容後述。對於確認框的操作結果係被反映於一覽視窗W1中的「採用」欄位。亦即，針對處於採用狀態的影像，於「採用」欄位顯示「○」圖形。

圖8係例示使用者依照顯示順序的操作之圖。例如如圖8的上圖所示，當使用者在影像視窗W2顯示了影像002的狀態下操作顯示順序按鍵中的「往下」時，如圖8的下圖所示，一覽視窗W1中的影像002的顯示順序係遞減一個(步驟S218)，從而替換影像002與影像003的順序。在操作顯示順序按鍵中的「往上」時，該影像的顯示順序係遞增一個(步驟S217)。如此，能藉由使用者的操作來變更染色影像的顯示順序。

藉由影像的切換顯示來比較兩個影像時，當於切換前後的影像間包含有共通的特徵時，變得容易以該共通的特徵作為標記來判定有無位置偏移。然而，會有在經過多重免疫染色的染色影像中影像的濃淡的態樣會因為染色內容而大幅度地不同之情形，且於切換前後的影像無法找出關連性之情形亦很多。有鑑於此，在本實施形態中，能夠藉由使用者的操作來變更染色影像的顯示順序。如此，使用者能夠選擇切換前後所顯示的影像的組合。例如，能夠藉由使用者的判斷來整頓容易進行是否成功判定的環境，此種環境係例如為聚集具有關連性的影像彼此或者以位置偏移小的順序排列等。

此外，亦會有下述需求：將影像堆疊S中的一個染色影像作為基準影像，將其他的兩個以上的染色影像依序與基準影像比較並進行確認作業。在此種情形中，預先使顯示順序中的基準影像的位置依序移動，藉此亦能夠有效率地進行與其他的影像的切換顯示所為的確認作業。針對在對位處理中作為基準影像所使用的染色影像，於一覽視窗W1的「基準」欄位顯示「○」圖形。在本例子中，顯示了影像001作為基準影像來使用之情形。

在一邊切換多個影像一邊進行確認作業時，當於相互地具有關連性的複數個影像間存在關連性低的影像時，變得難以判斷前後的影像的關連性。針對此種影像，能設定成藉由以上面所說明的方式變更顯示順序從而不會立即地出現於一連串的切換顯示。除此之外，如下述所說明般，亦存在將一部分的影像從切換顯示的對象排除之方法。

圖9係用以顯示本實施形態的顯示切換中的影像的跳過處理之圖。如圖9的上圖所示，使用者係於一覽視窗W1的「跳過」欄位輸入確認，藉此能將特定的影像從顯示對像排除。如圖所示，例如在已於影像003的「跳過」欄位勾選確認的狀態下使用者操作顯示切換按鍵中的「往下」時，顯示於影像視窗W2的影像係從影像002切換成影像004，影像003的顯示則跳過。此外，當從此種狀態操作顯示切換按鍵中的「往上」時，進行從影像004朝影像002的切換。

例如在判斷成對位處理失敗的影像中，會有顯現於切換顯示反而會導致其他的影像的確認作業的妨礙之情形。將此種影像從切換顯示的對象排除，藉此能夠流暢地進行利用了殘像效果的確認作業。針對此種從顯示排除的影像，亦能夠藉由解除確認而再次恢復至顯示對象。

如此，一邊反映影像集所含有的複數個染色影像間的對位處理的結果一邊切換顯示影像集所含有的複數個染色影像，藉此能夠有效地支援使用者的確認作業。構成為能藉由使用者的操作來進行影像的顯示與不顯示的切換以及顯示順序的變更，藉此能夠將作業進一步地效率化。

作為影像集，能使用組合了一組影像堆疊S與單一個處方所為的對位處理的結果之成品。此外，亦能夠使用統合了一組影像堆疊S與針對一組影像堆疊S的複數個處方的對位處理的結果之成品。即使是在同一個影像堆疊S所含有的兩個染色影像間，只要對位處理的處方不同，則亦會有所求出的對位量的值不同之情形。

為了兩個影像間的位置對合此種目的，期望進行以能正確地抽出這些影像的異同之處方來進行對位處理。因此，若進行統合複數個處方的對位處理的結果並從中抽出最良好的結果之此種作業是最方便的。因此，思考例如將組合了一組影像堆疊S與一個處方所為的對位處理的結果之成品作為一個影像子集，將已將不同的處方應用於同一個影像堆疊S之複數組影像子集的集合體作為一個影像集。

例如，在思考兩個影像001與影像002之間的對位處理時，以處方1求出的對位量與以處方2求出的對位量不一定會一致。因此，在反映對位處理的結果之上面所說明的影像顯示處理中例如進行從影像001朝影像002的切換顯示時，會有在反映處方1所為的對位處理的結果之情形與反映處方2所為的對位處理的結果之情形中影像002的位置不同之情況。

可認為判斷成與影像001之間的位置偏移量少之一方的處方係能對這些影像間賦予更良好的結果。適當地選擇切換顯示中的前後的影像的組合，藉此亦能夠比較此種處方間的優劣。而且，在複數個處方間採用獲得更良好的結果的對位量，藉此能提升對於影像堆疊S的對位處理的精度。

如上所述，在影像子集的統合中，在直接統合了每個處方所作成的影像集之情形中，應確認的染色影像的張數變多，確認作業的時間大幅度地增加。為了解決此種問題，如下述所說明般亦能夠僅收集使用者從各個影像子集所選擇的染色影像並構成影像集。在此，構成為針對單一個影像堆疊S作成與複數個處方對應的複數個影像子集。

圖10係顯示從複數個影像子集作成一個影像集的事例之圖。在此種處理中，藉由將圖3的處理中的步驟S201置換成圖10所示的步驟S201a至步驟S201c的處理而能夠實現。在步驟S201a中取得複數個影像子集，該複數個影像子集係對同一個影像堆疊S使用分別不同的處方並將對位處理的結果賦予關連而得。接著，僅收集各個影像子集中所含有的染色影像中的採用狀態的影像(步驟S201b)。作成藉由以此種方式所收集的影像所構成的一個影像集(步驟S201c)。

圖11係顯示經過統合的影像集的顯示例之圖。如圖所示，針對與不同處方(處方1、處方2)對應的每個影像子集並行地執行圖3的影像顯示處理。此外，構成為與此相應的顯示是在每個處方的個別視窗Wd的同一個畫面進行的。

在用以顯示所統合的影像集之「採用視窗Wi」中，從各個影像子集抽出採用狀態的影像並被列表(list up)至一覽視窗W1。較佳為在與處方1以及處方2分別對應的畫面中的操作結果係立即被反映至採用視窗。亦即，例如將與處方1對應的畫面的影像設定成採用狀態時，該影像立即被組入至採用視窗Wi中的一覽視窗W1。

在採用視窗Wi內的一覽視窗W1中顯示於「處方」欄位的「1」以及「2」係表示分別從處方1以及處方2選出的影像。如此，針對即使在同一個染色影像中所應用的對位處理不同之染色影像，在影像集內亦被視為不同的影像。

如此，同時進行與分別不同的處方對應之個別視窗Wd的顯示以及統合這些處方之採用視窗Wi的顯示。如此，能並行地進行各個處理內的確認作業以及橫跨複數個處方的確認作業。例如，僅將在各個處方中判定成對位處理成功的影像聚集至採用視窗(相當於本發明中的「統合視窗」)Wi，藉此能謀求相對於影像堆疊S之對位結果的精度提升。此理由在於能夠進行比較複數個處方的對位結果並從中選出結果最好的對位結果之作業。

此外，此種顯示態樣亦可利用於以評價對位處理的處方之目的。亦即，可說是更多地包含使用複數個處方的對位處理並進行上面所說明的作業後被判斷成「成功」的影像之處方係能對該影像堆疊S提供最有效的對位處理。

此外，在上述實施形態中，因應使用者對於顯示切換按鍵的操作進行顯示影像的切換。除此之外，若有以固定的時間間隔自動地切換影像之顯示模式則是便利的。例如，在針對眾多影像間的對位處理的結果欲掌握全體的傾向時或者顯示順序的排列切換作業進行到某種程度時，會有欲進行這些確認之需要等。在此種情形中，自動地進行顯示切換，藉此使用者無需從影像視窗W2移開視線即能夠依序確認各個影像。

因此，如上所述，較佳為預先具備藉由使用者的操作來切換影像之顯示模式以及以固定間隔自動地切換影像之顯示模式這兩種模式。而且，更佳為預先構成為能因應使用者的期望來選擇任一種模式。

如上所述，在本實施形態的影像顯示方法中，針對包含執行了對位處理而得的複數個染色影像之影像集，一邊反映對位結果一邊切換顯示各個染色影像。藉此，能有效地支援使用者利用了殘像效果的對位結果的確認作業。

為了有效地利用殘像效果，能夠變更制定了進行切換顯示的影像的組合之切換規則。亦即，能夠因應使用者的操作來執行從切換顯示的對象排除一部分的影像之功能以及變更顯示順序之功能等。此外，能一邊切換顯示影像一邊針對對位處理是否成功預先記錄使用者的判定結果。藉由這些功能，能夠更有效率地進行使用者的確認作業，且亦能減輕使用者的作業負擔。

針對上述實施形態中的各種影像處理，能夠使用具有一般的硬體構成的電腦裝置來執行。亦即，將記述有上面所說明的動作順序的電腦程式安裝至泛用的電腦裝置，藉此能夠使該電腦裝置作為本發明的執行主體發揮作用。

此外，本發明並未限定於上述實施形態，除了上面所說明的內容之外，在未逸離本發明的精神範圍內能夠進行各種變更。例如，上述實施形態的顯示畫面構成係顯示其中一個例子。視窗以及按鍵的配置與名稱等並未限定於說明書中的記載，而是可以任意改變。此外，例如亦可進一步設置於影像視窗同時顯示複數個染色影像之功能。

此外，針對朝影像視窗W2的顯示顯示的變更，如了以上述方式操作顯示順序按鍵之方法之外，例如亦可加上藉由在一覽視窗W1內的拖曳及放下(drag and drop)操作使顯示順序移動之方法。

以上，如例示具體性的實施形態進行說明般，本發明的影像顯示方法係能構成為藉由操作輸入受理指定，該指定係用以區別複數個染色影像中之畫面顯示中的切換顯示的對象所含有的影像與排除的影像。亦會包含使用者切換顯示複數個染色影像並進行確認時成為其他的影像的確認的妨礙之影像。例如，濃淡的態樣與其他的影像大幅度地不同之影像以及對位處理的結果不適當的影像等。預先構成為能將此種影像從顯示對象排除，藉此能夠更有效率地進行針對其他的影像的確認作業。

此外，例如亦可構成為藉由操作輸入受理與畫面顯示中的切換顯示的順序相關的指定。亦可設置有用以使藉由操作輸入所指定的染色影像的顯示順序移動之功能。藉由受理顯示順序的變更，使用者能夠以期望的順序切換顯示欲相互比較的影像彼此。

此外，亦可構成在作為切換規則所設定的顯示順序中的最後的染色影像之後顯示了顯示順序中的最初的染色影像。依據此種構成，能夠切換在顯示順序中的離的較遠的染色影像彼此並進行比較。

此外，作為染色影像的切換顯示的模式，例如能夠執行因應使用者的操作來切換影像之模式以及以預定的時間間隔自動地切換影像之模式。在使用者的操作所為的切換中，由於直至使用者操作為止不進行切換，因此能夠以任意的時間觀察一個影像。另一方面，在自動地切換顯示之模式中，使用者無須從畫面移開視線即能進行眾多影像的確認。尤其在利用殘像效果進行影像的比較之情形中，不用移動視線即能進行是有功用的。

此外，例如能構成為受理來自使用者對於藉由畫面顯示所顯示的染色影像的對位處理的結果判定之操作輸入。藉此，能夠對各個染色影像賦予與使用者對於對位處理的結果的判定相關的資訊。

此外，例如影像集亦可包含對同一組染色影像施予了處理條件不同的對位處理而得的複數組影像子集。會有下述情形：即使為同一組染色影像，只要對位處理的處理條件不同，則對位處理的結果即不同。使用包含處理條件不同的複數組影像子集之影像集，藉此能夠從中抽出並選出例如結果良好者作為對位處理的結果來採用。

在此種情形中，能執行用以切換顯示一組影像子集所含有的染色影像之畫面顯示以及用以切換顯示複數組影像子集所含有的染色影像之畫面顯示。此外，例如作為用以顯示染色影像之視窗亦可設置有：複數個個別視窗，係分別與複數個影像子集對應；以及統合視窗，係統合使用個別視窗並藉由使用者的操作從各個影像子集選擇的染色影像並予以顯示。藉此，能夠進行一個影像子集內的確認作業以及橫跨影像子集的確認作業。

此外，例如亦可構成為複數組影像子集所含有的染色影像中之藉由使用者的操作輸入所選擇的染色影像係包含於影像集。影像集包含複數組影像子集，從而會有所顯示的影像的數量變多且確認作業的時間增多的疑慮。因此，只要構成為使用者能選擇影像集所含有的染色影像，使用者即能僅聚集判斷成需要橫跨影像子集進行確認之影像來構成影像集。結果，能夠提升確認作業的效率。

此外，本發明係能夠作為用以使電腦裝置執行上面所說明的影像顯示方法的各個程序之程式來實施，或者能夠作為非暫時性地記錄有該程式的電腦可讀取的記錄媒體來實施。上面所說明的各個程序係能夠藉由具有一般的硬體構成的電腦裝置來實現。因此，能夠藉由於一般的電腦裝置安裝上面所說明的程式而對該電腦裝置賦予新的功能。

本發明係能夠在醫學研究、生物學研究等領域中應用於將對同一個組織標本進行複數次染色以及拍攝所獲得的影像予以統合並進行解析之用途，例如適用於以單細胞單位解析經過多重免疫染色的組織標本之用途。

001至008:影像 1,2:處方 B:按鍵群 S:影像堆疊 S101至S105,S201至S204,S211至S218:步驟 W1:一覽視窗 W2:影像視窗 Wd:個別視窗 Wi:採用視窗(統合視窗)

[圖1]係顯示用以作成影像集之處理的概略之流程圖。 [圖2]係顯示本實施形態所處理的影像集的例子之圖。 [圖3]係顯示本實施形態中的影像顯示處理之流程圖。 [圖4]係顯示本實施形態的顯示影像的構成例之圖。 [圖5]係顯示操作顯示切換按鍵時的動作例之圖。 [圖6]係例示對位處理的是否成功判定操作之圖。 [圖7]係例示對於採用確認框的操作之圖。 [圖8]係例示顯示順序的操作之圖。 [圖9]係顯示本實施形態的顯示切換中的影像的跳過(skip)處理之圖。 [圖10]係顯示從複數個影像子集(image subset)作成一個影像集的事例之圖。 [圖11]係顯示經過統合的影像集的顯示例之圖。

S201至S204,S211至S218:步驟

Claims (12)

1. 一種影像顯示方法，係具備下述程序： 取得包含複數個染色影像的影像集，複數個前述染色影像為對組織標本施予多重免疫染色且予以拍攝並進行用以對合相互的位置之對位處理而得；以及 在已反映前述對位處理的結果之狀態下遵循預定的切換規則切換前述影像集所含有的前述染色影像並予以畫面顯示； 在前述畫面顯示中顯示包含至少一個前述染色影像以及用以受理來自參與前述切換規則的編輯的使用者的操作輸入之圖形化使用者介面之影像； 因應前述操作輸入變更設定前述切換規則； 遵循前述變更設定後的前述切換規則進行前述畫面顯示。
2. 如請求項1所記載之影像顯示方法，其中藉由前述操作輸入受理指定，前述指定係用以區別前述染色影像中之前述畫面顯示中的切換顯示的對象所含有的影像與排除的影像。
3. 如請求項1所記載之影像顯示方法，其中藉由前述操作輸入受理與前述畫面顯示中的切換顯示的順序相關的指定。
4. 如請求項1至3中任一項所記載之影像顯示方法，其中在作為前述切換規則所設定的顯示順序中的最後的前述染色影像之後顯示了前述顯示順序中的最初的前述染色影像。
5. 如請求項1至3中任一項所記載之影像顯示方法，其中作為前述染色影像的切換顯示的模式，執行因應使用者的操作來切換影像之模式以及以預定的時間間隔自動地切換影像之模式。
6. 如請求項1至3中任一項所記載之影像顯示方法，其中受理來自使用者對於藉由前述畫面顯示所顯示的前述染色影像的前述對位處理的結果判定之操作輸入。
7. 如請求項1至3中任一項所記載之影像顯示方法，其中前述影像集係包含對同一組前述染色影像施予了處理條件不同的前述對位處理而得的複數組影像子集。
8. 如請求項7所記載之影像顯示方法，其中執行用以切換顯示一組前述影像子集所含有的前述染色影像之畫面顯示以及用以切換顯示複數組前述影像子集所含有的前述染色影像之畫面顯示。
9. 如請求項7所記載之影像顯示方法，其中作為用以顯示前述染色影像之視窗，係設置有： 複數個個別視窗，係分別與複數個前述影像子集對應；以及 統合視窗，係統合使用前述個別視窗並藉由使用者的操作從各個前述影像子集選擇的前述染色影像並予以顯示。
10. 如請求項7所記載之影像顯示方法，其中複數組前述影像子集所含有的前述染色影像中之藉由使用者的操作輸入所選擇的前述染色影像係包含於前述影像集。
11. 一種電腦程式，係用以使電腦裝置執行如請求項1至3中任一項所記載之影像顯示方法。
12. 一種電腦可讀取的記錄媒體，係非暫時性地記錄有如請求項11所記載之電腦程式。

Images