TWI834429B - 模型選定方法以及圖像處理方法 - Google Patents

Abstract

一種模型選定方法，係用以於選定用以進行圖像處理之複數個機器學習模型，並具有第一模型選定工序S33以及第二模型選定工序S35。第一模型選定工序S33中，使用至少包含一個確認用圖像之第一圖像群，從全部的機器學習模型中選定複數個機器學習模型來作為第一模型群。第二模型選定工序S35中，使用第二圖像群從第一模型群所包含之機器學習模型中選定至少一個機器學習模型。第二圖像群所包含之確認用圖像的數量較第一圖像群多。藉由階段性地增加確認用圖像並縮小選定對象模型數量，能夠在不使用真值的情況下從大量的機器學習模型中高精度地選定適當的機器學習模型。

Description

模型選定方法以及圖像處理方法

本發明係關於一種從用以進行圖像處理之複數個機器學習模型(machine learning model)中選定適當的模型之模型選定方法以及使用了所選定的機器學習模型之圖像處理方法。

以往，已知對病理組織標本或者培養細胞等實施染色並觀察之方法。此時，重要的是從病理組織標本等之圖像中提取細胞區域。尤其為了對實施了染色之病理組織標本於數位圖像上進行蛋白質等生物物質的表現量的單細胞解析，需要更正確地進行各個細胞區域的鑑定。關於用以提取細胞區域之以往的圖像處理方法例如已記載於專利文獻1中。 [先前技術文獻] [專利文獻]

[專利文獻1]日本專利特表2021-506022號公報。

[發明所欲解決之課題]

然而，這種標本觀察中，除了觀察方法、細胞的種類、標本的採集部位、染色物質的種類的差異之外，即使這些相同，有時組織狀態或者染色狀況亦不同。因此，難以用基於規則的圖像處理來鑑定細胞區域。而且，即使在使用了機器學習模型之情形下，能夠對一個標本正確地提取細胞區域之模型未必能夠對其他標本正確地提取細胞區域。

於使用深層學習來鑑定細胞區域之情形下，作為一例，採用如下方法：應用區段任務(segmentation task)由模型來學習注解了細胞區域之圖像，對未知的圖像將細胞區域予以區段化並輸出。

作為用以從所製作之大量的機器學習模型中篩選出優良模型之方法，於存在正解標記圖像(真值(Ground Truth))之情形下，多使用F值或者再現率等數值精度的資訊。然而，由於正確的真值的製作為手工作業而需要時間，故針對每個解析對象製作模型評價用的真值是低效率的。而且，於存在已完成之真值之情形下，由於不需要使用機器學習模型來鑑定細胞區域，故在解析實施時通常不存在真值。

本發明鑒於這種情況完成，目的在於提供一種技術，在不使用真值的情況下從大量的機器學習模型中高精度且有效率地選定機器學習模型。 [用以解決課題之手段]

為了解決上述課題，本案的第一發明為一種模型選定方法，係使用複數個確認用圖像從用以進行圖像處理之複數個機器學習模型中選定至少一個機器學習模型，並具有：工序a，為第一模型選定工序，係使用包含至少一個前述確認用圖像之第一圖像群，從包含全部的機器學習模型之全模型群所包含之前述機器學習模型中選定複數個前述機器學習模型來作為第一模型群；以及工序b，為第二模型選定工序，係於前述工序a之後，使用包含複數個前述確認用圖像之第二圖像群，從前述第一模型群所包含之前述機器學習模型中選定至少一個前述機器學習模型來作為第二模型群；前述第二圖像群所包含之前述確認用圖像的數量係較前述第一圖像群所包含之前述確認用圖像的數量多。

本案的第二發明係如第一發明所記載之模型選定方法，其中前述工序a係包含：工序a1，係獲得將前述第一圖像群所包含之全部的前述確認用圖像輸入至前述全模型群所包含之全部的前述機器學習模型而得的輸出結果；工序a2，係顯示前述工序a1中所獲得的前述輸出結果；以及工序a3，係從外部輸入有選定前述全模型群所包含之前述機器學習模型的一部分之選定結果。

本案的第三發明係如第一發明或者第二發明所記載之模型選定方法，其中前述工序b係包含：工序b1，係獲得將前述第二圖像群所包含之全部的前述確認用圖像輸入至前述第一模型群所包含之全部的前述機器學習模型而得的輸出結果；工序b2，係顯示前述工序b1中所獲得的前述輸出結果；以及工序b3，係從外部輸入有選定前述第一模型群所包含之前述機器學習模型的一部分之選定結果。

本案的第四發明係如第一發明至第三發明中任一發明所記載之模型選定方法，其中前述第二模型群係包含複數個前述機器學習模型；前述模型選定方法係進一步地具有：工序c，為第三模型選定工序，係於前述工序b之後，使用包含複數個前述確認用圖像之第三圖像群，從前述第二模型群所包含之前述機器學習模型中選定一個前述機器學習模型；前述第三圖像群所包含之前述確認用圖像的數量係較前述第二圖像群所包含之前述確認用圖像的數量多。

本案的第五發明係如第一發明至第四發明中任一發明所記載之模型選定方法，其中進一步地具有：工序d，為第一圖像選擇工序，係於前述工序a之前，從全部的前述確認用圖像中選擇一個或者複數個圖像來作為前述第一圖像群；以及工序e，為第二圖像選擇工序，係於前述工序b之前，從全部的前述確認用圖像中選擇複數個圖像來作為前述第二圖像群。

本案的第六發明係如第五發明所記載之模型選定方法，其中前述工序d係包含：工序d1，係獲得將全部的前述確認用圖像輸入至前述全模型群所包含之全部的前述機器學習模型而得的輸出結果；工序d2，係針對前述每個確認用圖像計算前述工序d1中所獲得的前述輸出結果的偏差；以及工序d3，係從全部的前述確認用圖像中選擇前述工序d2中計算出的前述偏差大之前述確認用圖像來作為前述第一圖像群。

本案的第七發明係如第一發明至第六發明中任一發明所記載之模型選定方法，其中前述機器學習模型係進行圖像處理，前述圖像處理係用以識別包含細胞之圖像中的細胞區域並予以區段化。

本案的第八發明為一種圖像處理方法，係使用機器學習模型對複數個解析用圖像進行圖像處理，並具有：工序s，係藉由第一發明至第七發明中任一發明所記載之模型選定方法來選定一個前述機器學習模型；以及工序t，係使用前述工序s中選定之前述機器學習模型，對複數個前述解析用圖像進行圖像處理；前述工序s中之前述確認用圖像係作為前述工序t中之作為處理對象的前述解析用圖像。 [發明功效]

根據本案的第一發明至第八發明，於第一模型選定工序中使用少量的確認用圖像，大致選定大量的機器學習模型後，於第二模型選定工序中使用更多數量的確認用圖像，進一步選定機器學習模型。藉由階段性地增加確認用圖像並且縮小作為選定對象之機器學習模型的數量，能夠儘可能地抑制在模型選定時應確認之模型的輸出結果的數量，並且高精度地選定適當的機器學習模型。因此，能夠在不使用真值的情況下從大量的機器學習模型中高精度且有效率地選定機器學習模型。

尤其，根據本案的第二發明，能夠利用確認了機器學習模型的輸出結果之使用者的判斷來進行第一模型選定工序。藉此，能夠適當地選定第一模型群。

尤其，根據本案的第三發明，能夠利用確認了機器學習模型的輸出結果之使用者的判斷來進行第二模型選定工序。藉此，能夠適當地選定第二模型群。

尤其，根據本案的第四發明，以第一模型選定工序、第二模型選定工序以及第三模型選定工序這三個階段選定機器學習模型。藉此，於作為選定對象之機器學習模型之數量多之情形下，較之以兩個階段選定機器學習模型之情形，能夠更高精度地選定適當的機器學習模型。

尤其，根據本案的第五發明，從大量的確認用圖像中選擇第一模型選定工序中使用之確認用圖像以及第二模型選定工序中使用之確認用圖像。藉此，能夠更高精度地選定機器學習模型。

尤其，根據本案的第六發明，藉由在第一模型選定工序中使用作為選定對象之機器學習模型的輸出結果中容易產生偏差之確認用圖像，即使藉由少量的確認用圖像進行選定，亦能夠高精度地選定機器學習模型。

尤其，根據本案的第七發明，機器學習模型的輸入圖像因細胞或者試劑的種類或者觀察環境而大不相同。因此，適當的機器學習模型選定變得重要。

尤其，根據本案的第八發明，使用作為解析對象之解析用圖像來進行機器學習模型的選定。藉此，能夠選定對於解析用圖像而言最佳的機器學習模型。

以下，參照圖式對本發明的實施形態進行說明。

[1.第一實施形態] [1－1.圖像解析裝置20的構成] 圖1係顯示資訊處理裝置100的硬體構成之圖，資訊處理裝置100係實現包含第一實施形態的機器學習模型選定裝置1之圖像解析裝置20。

如圖1所示，資訊處理裝置100係具備作為電腦的構成。具體而言，資訊處理裝置100係具備處理器101、RAM(Random Access Memory；隨機存取記憶體)102、機器I/F(interface；介面)103、通訊I/F104、記憶部105、輸入部106以及顯示部107。處理器101、RAM102、機器I/F103、通訊I/F104、記憶部105、輸入部106以及顯示部107係經由匯流排108而彼此電性連接。

具體而言，處理器101係包含CPU(Central Processing Unit；中央處理單元)或者GPU(Graphics Processing Unit；圖形處理器)。RAM102為能夠進行資訊的讀取以及寫入之記憶媒體，具體而言為SDRAM(Synchronous Dynamic Random Access Memory；同步動態隨機存取記憶體)。

機器I/F103為用以將後述的拍攝裝置9等外部機器電性連接於資訊處理裝置100之介面。通訊I/F104為用以將資訊處理裝置100與網際網路等網路連接之介面。拍攝裝置9等外部機器亦可經由通訊I/F104而與資訊處理裝置100連接。

記憶部105為能夠進行資訊的讀取以及寫入之記錄媒體，具體而言包含HDD(Hard Disk Drive；硬碟驅動器)或者SSD(Solid State Drive；固態驅動器)。另外，記憶部105亦可包含具有可攜性之光碟、磁碟或者半導體記憶體等。記憶部105係記憶程式P。處理器101係將RAM102作為作業區域，藉由執行程式P而實現作為圖像解析裝置20以及機器學習模型選定裝置1之各種功能。另外，程式P亦可經由網路而提供或者分配給資訊處理裝置100。

輸入部106為用以受理使用者的操作輸入之輸入器件。具體而言，輸入部106為滑鼠或者鍵盤等。顯示部107為用以顯示表示各種資訊的圖像之顯示器件。具體而言，顯示部107為液晶顯示器。另外，輸入部106以及顯示部107亦可為觸控面板式顯示器等單一器件(device)。

圖2係顯示藉由第一實施形態的資訊處理裝置100實現之圖像解析裝置20的功能性構成之圖。圖像解析裝置20為用以解析從外部輸入的圖像之裝置。本實施形態的圖像解析裝置20為用以解析從顯微鏡中所具備之拍攝裝置9輸入的細胞的圖像之裝置。圖像解析裝置20係具有圖像切出部21、機器學習模型選定部22以及圖像解析部23。圖像切出部21、機器學習模型選定部22以及圖像解析部23為藉由處理器101根據程式P動作而實現之功能。

圖像切出部21係根據從拍攝裝置輸入之輸入圖像Ge獲得解析用的複數個圖像。本實施形態中，拍攝裝置9為顯微鏡中所具備之相機，輸入圖像Ge為藉由顯微鏡中所具備之拍攝裝置9拍攝經過螢光染色之組織標本而成。另外，本實施形態的解析對象為經過螢光染色之組織標本，但本發明不限於此。解析對象只要是需要區段之拍攝了試樣之圖像即可。解析對象不限於組織標本，例如亦可為培養細胞或者血球細胞等其他生物試樣。而且，解析對象不限於經過螢光染色之試樣，亦可為未染色的試樣或者用非螢光的染色劑染色之試樣。

圖像切出部21係從以寬視野拍攝之輸入圖像Ge中切出複數個窄視野的圖像，獲取複數個解析用圖像。然後，將所切出之複數個解析用圖像作為全圖像群G0而記憶於記憶部105中。

本實施形態的圖像切出部21係使寬視野的輸入圖像Ge顯示於顯示部107。然後，藉由使用者操作輸入部106，從輸入圖像Ge中指定複數個部位。圖像切出部21係切出所指定之部位並作為窄視野的解析用圖像。另外，圖像切出部21亦可不經過這種順序而自動地切出解析用圖像。該情形下，例如亦可將輸入圖像Ge自動地以預定的大小切為磁磚狀。

機器學習模型選定部22係從用以進行圖像處理之複數個機器學習模型中，使用複數個確認用圖像來選定一個機器學習模型。具體而言，讀取記憶部105中記憶之全圖像群G0、包含複數個機器學習模型之全模型群M0，使用全圖像群G0從全模型群M0中選定一個機器學習模型來作為選定模型Mf並輸出。本實施形態中，各機器學習模型係在輸入經過螢光染色之細胞的觀察圖像時，鑑定該觀察圖像中之各細胞的細胞區域並輸出該區域。

本實施形態中，使用實際作為圖像解析的對象之解析用圖像作為用以選定機器學習模型的確認用圖像。亦即，使用圖像切出部21所獲取的全圖像群G0所包含之複數個解析用圖像來作為確認用圖像。機器學習模型選定部22的詳細構成將在後面敘述。

圖像解析部23係使用圖像處理對解析用圖像進行解析。本實施形態的圖像解析部23係分別對圖像切出部21所切出之複數個解析用圖像各者使用機器學習模型選定部22所選定之選定模型Mf來鑑定細胞區域。然後，針對每個染色的種類計算經過鑑定之細胞區域中之染色區域的面積或者分佈等。

[1－2.機器學習模型選定裝置1的構成] 接著，參照圖3對機器學習模型選定裝置1進行說明。圖3係顯示第一實施形態的資訊處理裝置100中實現之機器學習模型選定裝置1的功能性構成之圖。該機器學習模型選定裝置1係使用複數個確認用圖像從用以進行圖像處理之複數個機器學習模型中選定一個機器學習模型。

如前述般，該機器學習模型選定裝置1中，選定機器學習模型，該機器學習模型係進行圖像處理，該圖像處理係用以識別包含細胞之圖像中的細胞區域並予以區段化。包含細胞之圖像係根據拍攝條件的差異、染色的有無、染色藥劑的差異等外觀會不同。因此，針對每個圖像，對於鑑定細胞區域而言最佳的機器學習模型會不同。因此，每當解析對象改變時，較佳為使用該機器學習模型選定裝置1來選定最佳的機器學習模型。

以下，為了容易理解，提及確認用圖像以及機器學習模型的具體數量來說明使用八十個確認用圖像從一百個機器學習模型中重複三次圖像選擇工序以及模型選定工序來選定一個機器學習模型的具體例。然而，確認用圖像的數量以及作為選定對象之機器學習模型的數量並不限於此，只要為複數個則數量不受限制。

機器學習模型選定裝置1係具有上述機器學習模型選定部22。如圖3所示，機器學習模型選定部22係具有圖像處理部31、第一圖像選擇部32、第一模型選定部33、第二圖像選擇部34、第二模型選定部35、第三圖像選擇部36以及第三模型選定部37。圖像處理部31、第一圖像選擇部32、第一模型選定部33、第二圖像選擇部34、第二模型選定部35、第三圖像選擇部36以及第三模型選定部37為藉由處理器101根據程式P動作而實現之功能。而且，機器學習模型選定裝置1係包含上述記憶部105、輸入部106以及顯示部107。

記憶部105中記憶有全圖像群G0以及全模型群M0。全圖像群G0係包含複數個確認用圖像g1至g80。本實施形態中，全圖像群G0所包含之確認用圖像g1至g80中使用了實際用於解析之解析用圖像。全模型群M0中包含複數個機器學習模型。這些機器學習模型係可包含由相同的演算法製作之模型的參數差異，亦可包含由各種演算法製作之機器學習模型。

圖像處理部31係將全圖像群G0所包含之全部的確認用圖像輸入至全模型群M0所包含之全部的機器學習模型，獲得全輸出結果群D0。圖像處理部31係分別向第一圖像選擇部32、第二圖像選擇部34以及第三圖像選擇部36傳遞全圖像群G0以及全輸出結果群D0。例如，全輸出結果群D0中係包含將八十個確認用圖像全部輸入至一百個機器學習模型而得的合計八千個輸出結果。

第一圖像選擇部32係從全圖像群G0所包含之全部的確認用圖像中選擇一個或者複數個圖像來作為第一圖像群G1。然後，第一圖像選擇部32係將第一圖像群G1以及將第一圖像群G1輸入至全模型群M0所包含之各機器學習模型而得的輸出結果即第一輸出結果群D1傳遞至第一模型選定部33。第一輸出結果群D1係包含將全輸出結果群D0中第一圖像群G1所包含之確認用圖像輸入至全模型群M0所包含之全部的機器學習模型而得的全部輸出結果。例如，於第一圖像群G1中包含兩個確認用圖像且全模型群M0中包含一百個機器學習模型之情形下，第一輸出結果群D1中包含兩百個輸出結果。

第一模型選定部33係使用第一圖像群G1以及第一圖像群G1與全模型群M0的輸出結果即第一輸出結果群D1，從全模型群M0所包含之機器學習模型中選定複數個機器學習模型來作為第一模型群M1。第一模型群M1所包含之機器學習模型的數量係較全模型群M0所包含之機器學習模型的數量少。第一模型選定部33係將所選定的第一模型群M1傳遞至第二圖像選擇部34。

第二圖像選擇部34係從全圖像群G0所包含之全部的確認用圖像中選擇複數個圖像來作為第二圖像群G2。本實施形態中，第二圖像選擇部34係使用全圖像群G0與第一模型群M1的輸出結果即第二輸出結果群D2來選擇確認用圖像，將所選擇之複數個確認用圖像作為第二圖像群G2。例如，於全圖像群G0中包含八十個確認用圖像且第一模型群M1中包含三十個機器學習模型之情形下，第二輸出結果群D2中包含兩千四百個輸出結果。

然後，第二圖像選擇部34係將第二圖像群G2、第一模型群M1以及第二圖像群G2與第一模型群M1的輸出結果即第三輸出結果群D3傳遞至第二模型選定部35。第二圖像群G2所包含之確認用圖像的數量係較第一圖像群G1所包含之確認用圖像的數量多。另外，第二圖像群G2係可包含第一圖像群G1所包含之全部的確認用圖像，亦可僅包含一部分，或者可亦全部不包含。例如，於第二圖像群G2中包含五個確認用圖像且第一模型群M1中包含三十個機器學習模型之情形下，第三輸出結果群D3中包含一百五十個輸出結果。

第二模型選定部35係使用第二圖像群G2以及第二圖像群G2與第一模型群M1的輸出結果即第三輸出結果群D3，從第一模型群M1所包含之機器學習模型中選定複數個機器學習模型來作為第二模型群M2。第二模型群M2所包含之機器學習模型的數量係較第一模型群M1所包含之機器學習模型的數量少。第二模型選定部35係將所選定的第二模型群M2傳遞至第三圖像選擇部36。

第三圖像選擇部36係從全圖像群G0所包含之全部的確認用圖像中選擇複數個圖像來作為第三圖像群G3。本實施形態中，第三圖像選擇部36係使用全圖像群G0與第二模型群M2的輸出結果即第四輸出結果群D4選擇確認用圖像，將所選擇之複數個確認用圖像作為第三圖像群G3。例如，於全圖像群G0中包含八十個確認用圖像且第二模型群M2中包含五個機器學習模型之情形下，第四輸出結果群D4中包含四百個輸出結果。

然後，第三圖像選擇部36係將第三圖像群G3、第二模型群M2以及第三圖像群G3與第二模型群M2的輸出結果即第五輸出結果群D5傳遞至第三模型選定部37。第三圖像群G3所包含之確認用圖像的數量係較第二圖像群G2所包含之確認用圖像的數量多。另外，第三圖像群G3係可包含第一圖像群G1以及第二圖像群G2所包含之全部的確認用圖像，亦可僅包含一部分，或者亦可全部不包含。例如，於第三圖像群G3中包含四十個確認用圖像且第二模型群M2中包含五個機器學習模型之情形下，第五輸出結果群D5中包含兩百個輸出結果。

而且，第三圖像選擇部36亦可將全圖像群G0所包含之全部的確認用圖像作為第三圖像群G3。例如，於全圖像群G0所包含之全部的確認用圖像的個數為預定的臨限值以下之情形下，亦可將全圖像群G0所包含之全部的確認用圖像作為第三圖像群G3。而且，第三圖像選擇部36亦可從全圖像群G0所包含之確認用圖像中隨機地選擇確認用圖像來作為第三圖像群G3。

第三模型選定部37係使用第三圖像群G3以及第三圖像群G3與第二模型群M2的輸出結果即第五輸出結果群D5，從第二模型群M2所包含之複數個機器學習模型中選定一個作為選定模型Mf。

[1－3.圖像處理的流程] 接下來，參照圖4說明包含模型選定工序之圖像解析工序的流程。圖4係顯示圖像解析工序的流程之流程圖。

首先，圖像解析裝置20係獲取作為選定對象之機器學習模型(步驟S1：機器學習模型獲取工序)。本實施形態中，獲取一百個機器學習模型。具體而言，成為候選之一百個機器學習模型係被記憶於記憶部105中。這些機器學習模型只要是進行相同目的之圖像處理的模型，就可包含由同種類的演算法製作之參數不同的複數個模型，亦可包含由複數種演算法製作之機器學習模型。

接下來，獲取作為確認用圖像之複數個圖像(步驟S2：圖像獲取工序)。本實施形態中，如前述般，圖像切出部21中，藉由切出從拍攝裝置9輸入之輸入圖像Ge，獲取複數個解析用圖像作為確認用圖像。亦即，使用後述的圖像解析工序S4中作為圖像解析的對象之組織標本的觀察圖像來作為確認用圖像。本實施形態中，獲取八十個確認用圖像。所獲取的複數個確認用圖像係被記憶於記憶部105中。

接著，機器學習模型選定部22中，使用步驟S2的圖像獲取工序中所獲取的確認用圖像，從一百個全部的機器學習模型中選定一個機器學習模型(步驟S3：機器學習模型選定工序)。本實施形態中，因圖像解析用圖像被用作確認用圖像，故選定出對於後續的圖像解析工序S4中作為解析對象之圖像而言最佳的機器學習模型。該步驟S3中進行之機器學習模型選定工序的詳細情況將在後面敘述。

最後，圖像解析部23中，進行圖像解析用的觀察圖像的圖像解析(步驟S4：圖像解析工序)。具體而言，首先，使用步驟S3的機器學習模型選定工序中選定之機器學習模型鑑定各圖像解析用圖像中的細胞區域。然後，於經過鑑定之細胞區域中，計算每個經過染色之顏色的亮度或者區域面積。藉此，能夠推測藉由染色而可視化之生物物質的表現量或者分佈面積。

[1－4.機器學習模型選定工序的流程] 接著，參照圖5至圖10說明步驟S3的機器學習模型選定工序。

圖5係顯示機器學習模型選定工序S3的流程之流程圖。如圖5所示，本實施形態的機器學習模型選定工序中，從大量的機器學習模型中階段性地選定機器學習模型。本實施形態中，藉由後述的第一模型選定工序S33、第二模型選定工序S35以及第三模型選定工序S37這三個階段選定一個機器學習模型。另外，本發明不限於此，只要具有複數個模型選定工序，則亦可藉由兩個階段的選定工序選定機器學習模型，亦可藉由四個階段以上的選定工序選定機器學習模型。

圖6係本實施形態中的機器學習模型選定工序S3的各階段中使用之圖像群以及作為選定對象之模型群的數量的概念圖。圖6中，圖像群以及模型群的名稱後記載之括弧內的數字係各圖像群所包含之圖像數以及各模型群所包含之機器學習模型的數量。

圖7係示意性地顯示將一個確認用圖像g1輸入至全模型群M0所包含之全部的機器學習模型m1至m100而得的輸出結果之圖。如圖7所示，確認用圖像g1中包含細胞的圖像。然後，各機器學習模型m1至m100係鑑定確認用圖像g1中的細胞區域。圖7中，該鑑定區域係被顯示為黑色。

在適合於確認用圖像g1之機器學習模型中，大部分的細胞係被識別，並且不是細胞之區域係不易被誤識別。另一方面，在不適合於確認用圖像g1的種類之機器學習模型中存在未識別之細胞或者將不是細胞之區域誤識別為細胞。圖7的例中，模型m3中識別出全部的細胞，但在模型m1、m2、m99中存在識別遺漏。另一方面，在模型m100中，不是細胞之區域係被識別為細胞。

為了從這種輸出結果中選定對全部的確認用圖像g1至g80進行最佳的圖像處理之機器學習模型，例如考慮使用者對全部的確認用圖像g1至g80確認全部的機器學習模型m1至m100的輸出結果並進行分析。然而，對於全部的確認用圖像g1至g80、全部的機器學習模型m1至m100確認這種輸出結果並使用最佳的鑑定結果，既費時又費事。

因此，該機器學習模型選定工序S3中，如圖6所示，在作為選定對象之機器學習模型較多之階段，使用較少個數的確認用圖像進行模型的選定，階段性地減少作為選定對象之機器學習模型並且階段性地增加確認用圖像的個數，確認機器學習模型的輸出。藉此，能夠減少選定的工夫且選定更適當的機器學習模型。

機器學習模型選定工序S3中，首先，圖像處理部31係將全圖像群G0所包含之全部的確認用圖像輸入至全模型群M0所包含之全部的機器學習模型，獲得全輸出結果群D0(全圖像處理工序：步驟S31)。本實施形態中，全輸出結果群D0中包含將八十個確認用圖像全部輸入至一百個機器學習模型而得的合計八千個輸出結果。

接著，第一圖像選擇部32係從全圖像群G0所包含之全部的確認用圖像中選擇一個或者複數個圖像來作為第一圖像群G1(第一圖像選擇工序：步驟S32)。該第一圖像選擇工序S32係可手動地進行，亦可自動地進行，或者亦可組合手動與自動來進行。

圖8係顯示手動地進行第一圖像選擇工序S32以及第二圖像選擇工序S34之情形下的流程之流程圖。如圖8所示，於手動地進行第一圖像選擇工序S32之情形下，首先，第一圖像選擇部32係從圖像處理部31獲取全圖像群G0以及全輸出結果群D0(步驟S51)。

接下來，第一圖像選擇部32係將全圖像群G0所包含之各個確認用圖像與關於該確認用圖像的全模型群M0的輸出結果以能夠確認的方式顯示於顯示部107(步驟S52)。亦即，對全圖像群G0的八十個確認圖像分別顯示各一百個輸出結果。

然後，使用者係目視確認步驟S52中之顯示(步驟S53)。其後，使用者係選擇想要在第一模型選定工序S33中使用之確認用圖像，經由輸入部106輸入至第一圖像選擇部32(步驟S54)。

第一圖像選擇部32係將輸入部106中選擇之確認用圖像識別為第一圖像群G1，將第一圖像群G1以及第一圖像群G1與全模型群M0的輸出結果即第一輸出結果群D1傳遞至第一模型選定部33(步驟S55)。本實施形態中，包含兩個確認用圖像之第一圖像群G1、包含第一圖像群G1與全模型群M0的兩百個輸出結果之第一輸出結果群D1被傳遞至第一模型選定部33。

圖9係顯示自動地進行第一圖像選擇工序S32之情形下的流程之流程圖。如圖9所示，在自動地進行第一圖像選擇工序S32之情形下，首先，第一圖像選擇部32係從圖像處理部31獲取全圖像群G0以及全輸出結果群D0(步驟S61)。

接下來，第一圖像選擇部32係針對全圖像群G0所包含之每個確認圖像檢測關於該確認圖像的各輸出結果中之區段。亦即，檢測關於各確認圖像的全模型群M0的輸出結果中之被鑑定為細胞區域之部位(步驟S62)。

接下來，第一圖像選擇部32係對各確認圖像計算全部的輸出結果中之區段的偏差(步驟S63)。本實施形態中，使用輸出結果中之區段的個數的分散作為顯示偏差之值。另外，顯示偏差之值不限於此，關於區段的個數、平均面積、合計面積、重心位置等各種參數亦可使用顯示分散或者標準偏差等偏差之指數。而且，顯示偏差之值未必限於一種，亦可使用兩種以上的值。

接著，第一圖像選擇部32係從全圖像群G0所包含之八十個全部的確認圖像中選擇模型間偏差較大的確認圖像來作為第一圖像群G1(步驟S64)。然後，將第一圖像群G1以及第一圖像群G1與全模型群M0的輸出結果即第一輸出結果群D1傳遞至第一模型選定部33(步驟S65)。

當步驟S32的第一圖像選擇工序結束時，第一模型選定部33係接著從全模型群M0選定機器學習模型(步驟S33：第一模型選定工序)。第一模型選定部33係使用第一圖像群G1以及第一圖像群G1與全模型群M0的輸出結果即第一輸出結果群D1，從全模型群M0所包含之機器學習模型中選定複數個機器學習模型來作為第一模型群M1。然後，第一模型選定部33係將第一模型群M1傳遞至第二圖像選擇部34。

圖10係顯示第一模型選定工序S33、第二模型選定工序S35以及第三模型選定工序S37的流程之流程圖。

於進行第一模型選定工序S33之情形下，如圖10所示，首先，第一模型選定部33係獲取用於選定之第一圖像群G1以及第一圖像群G1與全模型群M0的輸出結果即第一輸出結果群D1(步驟S71)。

接下來，第一模型選定部33係將第一圖像群G1所包含之各個確認用圖像與關於該確認用圖像的全模型群M0的輸出結果以能夠確認的方式顯示於顯示部107(步驟S72)。亦即，分別對第一圖像群G1的兩個確認圖像顯示各一百個輸出結果。

然後，使用者係藉由目視確認來確認步驟S72中之顯示(步驟S73)。然後，使用者係選擇判斷為適當之機器學習模型，經由輸入部106輸入至第一模型選定部33(步驟S74)。本實施形態中，此時，選擇三十個機器學習模型。第一模型選定部33係基於輸入內容將從全模型群M0中選定之機器學習模型作為第一模型群M1並傳遞至第二圖像選擇部34(步驟S75)。

另外，第一模型選定工序S33亦可由處理器101根據使用者的判斷自動地進行。例如，於全模型群M0所包含之機器學習模型的數量為一定以上之情形下，亦可進行自動選定。而且，例如於第一模型選定部33將輸出結果中之區段的個數的柱狀圖(histogram)顯示於顯示部107且使用者基於該顯示希望自動選定之情形下，亦可進行自動選定。

於自動地進行第一模型選定工序S33之情形下，當使用者向輸入部106輸入自動選定的指令時，第一模型選定部33係例如選擇確定數量(本實施形態中為三十個)之區段的個數接近全模型群M0的平均值或者眾數值(modal value)之機器學習模型來作為第一模型群M1。而且，使用者亦可根據區段的個數的柱狀圖來判斷並指定為包含區段的個數大於平均值或者眾數值的情況。

繼第一模型選定工序S33之後，第二圖像選擇部34係選擇第二模型選定工序S35中使用之第二圖像群G2(第二圖像選擇工序：步驟S34)。第二圖像群G2所包含之確認用圖像的數量係較第一圖像群G1所包含之確認用圖像的數量多。

該第二圖像選擇工序S34中，使用全圖像群G0與第一模型群M1的輸出結果即第二輸出結果群D2，從全圖像群G0所包含之全部的確認用圖像中選擇複數個圖像來作為第二圖像群G2。該第二圖像選擇工序係可手動地進行，亦可自動地進行，或者亦可組合手動與自動來進行。

於手動地進行第二圖像選擇工序S34之情形下，如圖8所示，首先，第二圖像選擇部34係從圖像處理部31獲取全圖像群G0以及全輸出結果群D0(步驟S51)。

接下來，第二圖像選擇部34係將全圖像群G0所包含之確認用圖像與全圖像群G0與第一模型群M1的輸出結果即第二輸出結果群D2以能夠確認的方式顯示於顯示部107(步驟S52)。亦即，分別針對八十個確認圖像顯示各三十個輸出結果。

然後，使用者係目視確認步驟S52中之顯示(步驟S53)。然後，使用者選擇想要在第二模型選定工序S35中使用之選擇確認用圖像，經由輸入部106輸入至第二圖像選擇部34(步驟S54)。

第二圖像選擇部34係將輸入部106中選擇之確認用圖像識別為第二圖像群G2，將第二圖像群G2以及第二圖像群G2與第一模型群M1的輸出結果即第三輸出結果群D3傳遞至第二模型選定部35(步驟S55)。本實施形態中，包含五個確認用圖像之第二圖像群G2以及包含第二圖像群G2與第一模型群M1的一百五十個輸出結果之第三輸出結果群D3係被傳遞至第二模型選定部35。

當步驟S34的第二圖像選擇工序結束時，第二模型選定部35係接著從第一模型群M1選定機器學習模型(步驟S35：第二模型選定工序)。第二模型選定部35係使用第二圖像群G2以及第二圖像群G2與第一模型群M1的輸出結果即第三輸出結果群D3，從第一模型群M1所包含之機器學習模型中選定複數個機器學習模型來作為第二模型群M2。然後，第二模型選定部35係將第二模型群M2傳遞至第三圖像選擇部36。

於進行第二模型選定工序S35之情形下，如圖10所示，首先，第二模型選定部35係獲取用於選定之第二圖像群G2以及第二圖像群G2與第一模型群M1的輸出結果即第三輸出結果群D3(步驟S71)。

接下來，第二模型選定部35係將第二圖像群G2所包含之各個確認用圖像與關於該確認用圖像的第一模型群M1的輸出結果以能夠確認的方式顯示於顯示部107(步驟S72)。亦即，分別對第二圖像群G2的五個確認圖像顯示各三十個輸出結果。

然後，使用者係藉由目視確認來確認步驟S72中之顯示(步驟S73)。然後，使用者係選擇判斷為適當之機器學習模型，經由輸入部106輸入至第二模型選定部35(步驟S74)。本實施形態中，此時，選擇五個機器學習模型。第二模型選定部35係基於輸入內容將從第一模型群M1中選定之機器學習模型作為第二模型群M2並傳遞至第三圖像選擇部36(步驟S75)。

另外，如前述般，第一模型選定工序S33係可自動進行亦可手動進行，但即使重複自動選定亦不能期望精度有很大提高。為了保證一定的品質，較佳為手動地進行第二模型選定工序S35以後的模型選定工序。

繼第二模型選定工序S35之後，第三圖像選定部36係選定第三模型選擇工序S37中使用之第三圖像群G3(第三圖像選擇工序：步驟S36)。然後，第三圖像選擇部36係將第三圖像群G3傳遞至第三模型選定部37。第三圖像群G3所包含之確認用圖像的數量係較第二圖像群G2所包含之確認用圖像的數量多。

第三圖像選擇工序S36中，第三圖像選擇部36亦可與第一圖像選擇工序S32以及第二圖像選擇工序S34同樣地，使用全圖像群G0所包含之全部的確認用圖像以及全圖像群G0與第二模型群M2的輸出結果即第四輸出結果群D4選擇複數個圖像來作為第三圖像群G3。

而且，第三圖像選擇部36亦可利用與第一圖像選擇工序S32以及第二圖像選擇工序S34不同之方法進行第三圖像選擇工序S36。例如，第三圖像選擇部36亦可將全圖像群G0所包含之確認用圖像的全部作為第三圖像群G3。而且，第三圖像選擇部36亦可從全圖像群G0所包含之確認用圖像中隨機地選擇圖像。該情形下，亦可包含第一圖像群G1所包含之確認用圖像以及第二圖像群G2所包含之確認用圖像。

第三圖像選擇部36係將第三圖像群G3、第二模型群M2以及第三圖像群G3與第二模型群M2的輸出結果即第五輸出結果群D5傳遞至第三模型選定部37。本實施形態中，將包含四十個確認用圖像之第三圖像群G3以及包含第三圖像群G3與第二模型群M2的兩百個輸出結果之第五輸出結果群D5傳遞至第三模型選定部37。

當步驟S36的第三圖像選擇工序結束時，第三模型選定部37係接著從第二模型群M2選定機器學習模型(步驟S37：第三模型選定工序)。第三模型選定部37係使用第三圖像群G3以及第三圖像群G3與第二模型群M2的輸出結果即第五輸出結果群D5，從第二模型群M2所包含之機器學習模型中選定一個機器學習模型來作為選定模型Mf。然後，第三模型選定部37係輸出選定模型Mf。

於進行第三模型選定工序S37之情形下，如圖10所示，首先，第三模型選定部37係獲取用於選定之第三圖像群G3以及第三圖像群G3與第二模型群M2的輸出結果即第五輸出結果群D5(步驟S71)。

接下來，第三模型選定部37係針對第三圖像群G3所包含之確認用圖像的全部，以能夠比較的方式顯示一個確認用圖像與關於該確認用圖像的第二模型群M2的全部的輸出結果。然後，使用者係藉由目視確認來確認該顯示(步驟S72)。對第三圖像群G3所包含之全部的確認用圖像進行該顯示。

使用者係比較確認用圖像與輸出結果，選擇被認為是適當的輸出結果之機器學習模型並輸入至輸入部106(步驟S73)。本實施形態中，此時選擇一個機器學習模型。第三模型選定部37係基於輸入內容將從第二模型群M2中選定之機器學習模型作為選定模型Mf而輸出(步驟S74)。

根據上述順序，於機器學習模型選定工序S3中，分為第一模型選定工序S33、第二模型選定工序S35、第三模型選定工序S37這三個階段來選定機器學習模型。各選定工序中，從少量開始逐漸增加作為確認對象之確認用圖像的數量，並且逐漸減少作為選定對象之模型。

亦即，於使用少量的確認用圖像大致選定大量的機器學習模型後，於之後的模型選定工序中使用更多數量的確認用圖像進一步選定機器學習模型。藉由這樣階段性地增加確認用圖像並且縮小作為選定對象之機器學習模型的數量，能夠儘可能地抑制在模型選定時應確認之模型的輸出結果的數量，並且高精度地選定適當的機器學習模型。因此，無須使用真值，能夠從大量的機器學習模型中高精度且有效率地選定機器學習模型。

尤其，藉由經過三個階段以上的模型選定工序，於作為選定對象之機器學習模型的數量較多之情形下，與以兩個階段選定機器學習模型之情形相比，能夠更高精度地選定適當的機器學習模型。

而且，本實施形態中，能夠利用確認了機器學習模型的輸出結果之使用者的判斷來進行第一模型選定工序S33以及第二模型選定工序S35。藉此，能夠適當地選定第一模型群M1以及第二模型群M2。

而且，本實施形態中，從大量的確認用圖像中選擇各模型選定工序中使用之確認用圖像。藉此，能夠更高精度地選定機器學習模型。

而且，本實施形態中，於自動進行第一圖像選擇工序S32之情形下，選擇作為選定對象之機器學習模型的輸出結果中容易產生偏差之確認用圖像。藉此，即使藉由少量的確認用圖像進行選定，亦能夠高精度地選定機器學習模型。

而且，本實施形態中作為選定對象之機器學習模型係進行圖像處理，該圖像處理係用以識別包含細胞之圖像中的細胞區域並予以區段化。這種機器學習模型中，輸入圖像係因細胞或者試劑的種類或者觀察環境而大不相同。因此，適當的機器學習模型選定係變得重要。

而且，本實施形態中，使用作為解析對象之解析用圖像來進行機器學習模型的選定。藉此，能夠選定對於解析用圖像而言最佳的機器學習模型。

[2.變形例] 以上，對本發明的一實施形態進行了說明，但本發明不限定於上述實施形態。

上述實施形態中，為了選定機器學習模型，進行了第一模型選定工序、第二模型選定工序以及第三模型選定工序這三個階段的模型選定工序，但本發明不限於此。機器學習模型選定中亦可進行兩個階段或者四個階段以上的模型選定工序。模型選定工序的階段數係可根據確認用圖像的數量或者作為選定對象之機器學習模型數量而自由地設定。

而且，上述實施形態中，於第一模型選定工序後，使用第一模型選定工序中選定之第一模型群來進行第二圖像選擇工序。而且，於第二模型選定工序後，使用第二模型選定工序中選定之第二模型群來進行第三圖像選擇工序。然而，本發明不限於此。第二圖像選擇工序以及第三圖像選擇工序亦可於第一模型選定工序之前與第一圖像選擇工序一起進行。該情形下，第二圖像選擇工序以及第三圖像選擇工序係使用全模型群來進行。

而且，上述實施形態中，藉由第一圖像選擇工序、第二圖像選擇工序以及第三圖像選擇工序來選擇第一模型選定工序、第二模型選定工序以及第三模型選定工序各自中使用之確認用圖像。然而，亦可不進行這些圖像選擇工序而是隨機地選擇確認用圖像。而且，亦可僅進行第一圖像選擇工序，或者僅進行第一圖像選擇工序以及第二圖像選擇工序。

而且，上述實施形態中，作為選定對象之機器學習模型係進行圖像處理，該圖像處理係用以認定包含細胞之圖像中的細胞區域並予以區段化。然而，本發明中，作為選定對象之機器學習模型不限於此。本發明中，作為選定對象之機器學習模型只要為進行圖像處理之機器學習模型即可。例如，亦可為用以將複數個細胞予以區段化並進行多標記分類之機器學習模型，亦可為用以判別圖像中顯現之物體之機器學習模型，還可為用以以容易觀察圖像之形態進行圖像處理之機器學習模型。

而且，亦可於不產生矛盾之範圍內適當地組合上述實施形態或者變形例中出現之各要素。

1:機器學習模型選定裝置 9:拍攝裝置 20:圖像解析裝置 21:圖像切出部 22:機器學習模型選定部 23:圖像解析部 31:圖像處理部 32:第一圖像選擇部 33:第一模型選定部 34:第二圖像選擇部 35:第二模型選定部 36:第三圖像選擇部 37:第三模型選定部 100:資訊處理裝置 101:處理器 102:RAM 103:機器I/F 104:通訊I/F 105:記憶部 106:輸入部 107:顯示部 108:匯流排 D0:全輸出結果群 D1:第一輸出結果群 D2:第二輸出結果群 D3:第三輸出結果群 D4:第四輸出結果群 D5:第五輸出結果群 g1:確認用圖像 G0:全圖像群 G1:第一圖像群 G2:第二圖像群 G3:第三圖像群 Ge:輸入圖像 m1,m2,m99,m100:機器學習模型 M0:全模型群 M1:第一模型群 M2:第二模型群 Mf:選定模型 P:程式 S1:機器學習模型獲取工序 S2:圖像獲取工序 S3:機器學習模型選定工序 S4:圖像解析工序 S31:全圖像處理工序 S32:第一圖像選擇工序 S33:第一模型選定工序 S34:第二圖像選擇工序 S35:第二模型選定工序 S36:第三圖像選擇工序 S37:第三模型選定工序 S51至S55,S61至S65,S71至S75:步驟

[圖1]係顯示第一實施形態的資訊處理裝置的硬體構成之圖。 [圖2]係顯示第一實施形態的圖像解析裝置的功能性構成之圖。 [圖3]係顯示第一實施形態的機器學習模型選定裝置的功能性構成之圖。 [圖4]係顯示圖像解析工序的流程之流程圖。 [圖5]係顯示機器學習模型選定工序的流程之流程圖。 [圖6]係機器學習模型選定工序的各階段中使用之圖像群與作為選定對象之模型群的數量的概念圖。 [圖7]係示意性地顯示將一個確認用圖像輸入至複數個機器學習模型而得的輸出結果之圖。 [圖8]係顯示手動地進行第一圖像選擇工序以及第二圖像選擇工序之情形下的流程之流程圖。 [圖9]係顯示自動地進行第一圖像選擇工序之情形下的流程之流程圖。 [圖10]係顯示第一模型選定工序、第二模型選定工序以及第三模型選定工序的流程之流程圖。

S3:機器學習模型選定工序

S31:全圖像處理工序

S32:第一圖像選擇工序

S33:第一模型選定工序

S34:第二圖像選擇工序

S35:第二模型選定工序

S36:第三圖像選擇工序

S37:第三模型選定工序

Claims (8)

1. 一種模型選定方法，係用以使用複數個確認用圖像從用以進行圖像處理之複數個機器學習模型中選定至少一個機器學習模型，並具有： 工序a，為第一模型選定工序，係使用包含至少一個前述確認用圖像之第一圖像群，從包含全部的機器學習模型之全模型群所包含之前述機器學習模型中選定複數個前述機器學習模型來作為第一模型群；以及 工序b，為第二模型選定工序，係於前述工序a之後，使用包含複數個前述確認用圖像之第二圖像群，從前述第一模型群所包含之前述機器學習模型中選定至少一個前述機器學習模型來作為第二模型群； 前述第二圖像群所包含之前述確認用圖像的數量係較前述第一圖像群所包含之前述確認用圖像的數量多。
2. 如請求項1所記載之模型選定方法，其中前述工序a係包含： 工序a1，係獲得將前述第一圖像群所包含之全部的前述確認用圖像輸入至前述全模型群所包含之全部的前述機器學習模型而得的輸出結果； 工序a2，係顯示前述工序a1中所獲得的前述輸出結果；以及 工序a3，從外部輸入有選定前述全模型群所包含之前述機器學習模型的一部分之選定結果。
3. 如請求項1所記載之模型選定方法，其中前述工序b係包含： 工序b1，係獲得將前述第二圖像群所包含之全部的前述確認用圖像輸入至前述第一模型群所包含之全部的前述機器學習模型而得的輸出結果； 工序b2，係顯示前述工序b1中所獲得的前述輸出結果；以及 工序b3，係從外部輸入有選定前述第一模型群所包含之前述機器學習模型的一部分之選定結果。
4. 如請求項1所記載之模型選定方法，其中前述第二模型群係包含複數個前述機器學習模型； 前述模型選定方法係進一步地具有：工序c，為第三模型選定工序，係於前述工序b之後，使用包含複數個前述確認用圖像之第三圖像群，從前述第二模型群所包含之前述機器學習模型中選定一個前述機器學習模型； 前述第三圖像群所包含之前述確認用圖像的數量係較前述第二圖像群所包含之前述確認用圖像的數量多。
5. 如請求項1所記載之模型選定方法，其中進一步地具有： 工序d，為第一圖像選擇工序，係於前述工序a之前，從全部的前述確認用圖像中選擇一個或者複數個圖像來作為前述第一圖像群；以及 工序e，為第二圖像選擇工序，係於前述工序b之前，從全部的前述確認用圖像中選擇複數個圖像來作為前述第二圖像群。
6. 如請求項5所記載之模型選定方法，其中前述工序d係包含： 工序d1，係獲得將全部的前述確認用圖像輸入至前述全模型群所包含之全部的前述機器學習模型而得的輸出結果； 工序d2，係針對前述每個確認用圖像計算前述工序d1中所獲得的前述輸出結果的偏差；以及 工序d3，係從全部的前述確認用圖像中選擇前述工序d2中計算出的前述偏差大之前述確認用圖像來作為前述第一圖像群。
7. 如請求項1至6中任一項所記載之模型選定方法，其中前述機器學習模型係進行圖像處理，前述圖像處理係用以識別包含細胞之圖像中的細胞區域並予以區段化。
8. 一種圖像處理方法，係用以使用機器學習模型對複數個解析用圖像進行圖像處理，並具有： 工序s，係藉由如請求項1至6中任一項所記載之模型選定方法來選定一個前述機器學習模型；以及 工序t，係使用前述工序s中選定之前述機器學習模型，對複數個前述解析用圖像進行圖像處理； 前述工序s中之前述確認用圖像為作為前述工序t中之作為處理對象的前述解析用圖像。