TWM620109U - 輔助判斷系統 - Google Patents

Abstract

本案揭露一種輔助判斷系統，其係適於與一檢測儀器訊號連接，檢測儀器檢查一目標物並產生一目標物即時影像。此輔助判斷系統包含一運算裝置以及一顯示裝置，且運算裝置電性連接顯示裝置。運算裝置訊號連接檢測儀器，以接收目標物即時影像並輸出作為一即時畫面，運算裝置在即時畫面上偵測到至少一異常特徵時，並在滿足下列限定條件時，運算裝置判斷異常特徵的一分類資訊，此限定條件包含：將即時畫面之異常特徵放大、即時畫面係為一窄頻影像以及即時畫面係為已對焦影像。顯示裝置則用以顯示即時畫面及分類資訊。

Description

輔助判斷系統

本案係有關一種檢測儀器的輔助判斷系統。

內視鏡檢測儀器係透過各種管道進入人體並觀察人體內部情況，以判斷是否有任何異常。以大腸鏡檢測儀器為例，包含一特製的纖細可撓管以及位於可撓管頭端之一小型攝影機，當大腸鏡檢測儀器的小型攝影機被置入待檢測人的腸道時，大腸鏡檢測儀器連接上顯示器之後，即可將拍攝到的腸道內部狀態的即時影像顯示在顯示器上，使醫師透過顯示器上的即時影像檢視或診斷受測者的腸道內部健康狀態。然而，在拍攝到腸道內部的息肉或其他病變組織時，醫師就會直接進行切除，並在切除息肉後，再進行病理分析，才能得知息肉的類別，並無法在檢測時就事先獲知息肉的類別。

本案提供一種輔助判斷系統，其係適於與一檢測儀器訊號連接，檢測儀器檢查一目標物並產生一目標物即時影像。此輔助判斷系統包含一運算裝置以及一顯示裝置。運算裝置訊號連接檢測儀器，以接收目標物即時影像並輸出作為一即時畫面，運算裝置在即時畫面上偵測到至少一異常特徵時，在滿足下列限定條件時，運算裝置判斷異常特徵的一分類資訊，此限定條件包含：將即時畫面之異常特徵放大、即時畫面係為一窄頻影像以及即時畫面係為已對焦影像。顯示裝置係電性連接運算裝置，此顯示裝置用以顯示即時畫面及分類資訊。

綜上所述，本案之輔助判斷系統係在異常特徵出現時，就可以透過運算裝置的運算來判斷異常特徵的分類資訊並即時顯示於顯示裝置上，以協助醫師可以知道異常特徵的所屬類別。因此，本案在切除異常特徵之前，就可以先進行分類並產生分類資訊，以提供醫師參考。

本案係在滿足限定條件後，將即時畫面中出現的異常特徵利用運算裝置進行運算，以判斷即時畫面中出現的異常特徵所對應的分類資訊並顯示在顯示裝置上，提供醫師參考。

請同時參閱圖1及圖2所示，一輔助判斷系統10係適於與一檢測儀器12訊號連接，檢測儀器12係用以檢查一目標物14並拍攝目標物14，以產生一目標物即時影像16，並將目標物即時影像16同步傳送至輔助判斷系統10中。在一實施例中，目標物14為一腸道或胃，在此係以腸道為例。此輔助判斷系統10包含一運算裝置18以及一顯示裝置20，運算裝置18係以有線連接或無線連接的方式訊號連接至檢測儀器12，使檢測儀器12可以傳輸目標物即時影像16至運算裝置18，運算裝置18接收到來自檢測儀器12之目標物即時影像16之後，就會即時將目標物即時影像16輸出作為一即時畫面22，並透過內建之一人工智慧（AI）系統對即時畫面22進行異常偵測與運算判斷。當運算裝置18在此即時畫面22上偵測到至少一異常特徵24時，並在滿足下列限定條件時，運算裝置18會根據異常特徵24的外觀形狀結構來判斷異常特徵24所對應的一分類資訊26，其中限定條件包含：將即時畫面22之異常特徵24放大（由圖2之異常特徵24放大變成圖3之異常特徵24）、即時畫面22係為一窄頻影像（narrow band imaging，NBI）以及即時畫面22係為已對焦影像。顯示裝置20係電性連接運算裝置18，顯示裝置20用以顯示即時畫面22及分類資訊26。

請參閱圖1至圖3所示，運算裝置18在判斷即時畫面22是否滿足限定條件時，係根據各自的條件分別進行判斷。在將即時畫面22之異常特徵24放大的限制條件中，如果即時畫面22由圖2之異常特徵24放大變成圖3之異常特徵24，放大後之異常特徵24的長寬係大於即時畫面22的30%，並維持一時間段，例如2秒鐘，就表示滿足將即時畫面22之異常特徵24放大的限制條件。在即時畫面22為窄頻影像的限制條件中，若檢測儀器12有開啟窄頻影像功能時，顯示裝置20會在右上角顯示窄頻影像之代號NBI 28來表示開啟，所以有看到代號NBI 28就表示滿足即時畫面22為窄頻影像的限制條件。在即時畫面22為已對焦影像的限制條件中，運算裝置18透過影像演算法去判斷即時畫面22是否清楚對焦，當運算裝置18確認即時畫面22已清楚對焦後，就表示滿足即時畫面22為已對焦影像的限制條件。當運算裝置18判斷出即時畫面22已同時滿足前述三個限制條件後，運算裝置18會分析判斷異常特徵24所對應的分類資訊26並即時顯示在顯示裝置20上，且分類資訊26係位於即時畫面22的一側邊，但本案不以此為限，分類資訊26可以顯示在顯示裝置20上且不會遮蔽到即時畫面22的任意位置上。其中，分類資訊26包含異常特徵24的一病理類別261及其對應之一信心度262，且此信心度262係以百分比表示。

在另一實施例中，雖然運算裝置18在即時畫面22上有偵測到至少一異常特徵24，但此即時畫面22只要沒有滿足前述三個限定條件的至少其中之一，運算裝置18就不會去判斷異常特徵24所對應的分類資訊26。以圖2所示之實施例為例，如圖1及圖2所示，雖然有滿足即時畫面22為窄頻影像以及已對焦影像的限制條件，但是異常特徵24並沒有放大，所以運算裝置18雖然有偵測到異常特徵24，但不會去分析判斷此異常特徵24的分類資訊26。

在一實施例中，異常特徵24係包含目標物14表面之增生組織或病變組織，亦即息肉、腫瘤或是目標物組織上不同於正常組織的其他形成物等。其中，以息肉為例，運算裝置18係將息肉採用JNET（Japan NBI Expert Team）進行分類，本案以此為例，但不以此為限，病理類別261可分為Type 1、Type 2A、Type 2B及Type 3，如表1所示，根據JNET分類，Type 1表示增生型息肉，Type 2A表示腺瘤型息肉且表面規則紋路，Type 2B表示腺瘤型息肉且表面不規則紋路，Type 3表示深度黏膜下侵犯腺癌。因此，如圖3所示，顯示在顯示裝置20上的分類資訊26會包含如圖所示之Type 1的病理類別261以及如圖所示之75%的信心度262，表示此異常特徵24有75%的機率為Type 1的增生型息肉。

表1

	Type 1	Type 2A	Type 2B	Type 3
微血管結構	不可見或粗細同周圍正常黏膜血管	粗細、分布規則（網格或螺旋狀）	粗細不一，不規則分布	稀疏的血管區域、粗的血管中斷
表面結構	規則的黑色或白色圓點，與周圍正常黏膜相似	規則（管狀、分枝狀、乳頭狀）	不規則或模糊不清	無定形區域
病理名稱	增生型息肉	腺瘤型息肉，表面規則紋路	腺瘤型息肉，表面不規則紋路	深度黏膜下侵犯腺癌

在一實施例中，檢測儀器12係為一內視鏡檢測儀器，例如大腸鏡檢測儀器或胃鏡檢測儀器，在此係以大腸鏡檢測儀器為例。

在一實施例中，運算裝置18係為一電腦主機或是其他可以獨立運算之電子裝置，以搭配顯示裝置20一起使用。在另一實施例中，本案更可使用一筆記型電腦直接取代運算裝置18及顯示裝置20之作用，以利用筆記型電腦同時負責運算裝置18及顯示裝置20之工作。

請同時參閱圖1及圖4至圖6所示，運算裝置18係透過內建之人工智慧（AI）系統對即時畫面22進行異常偵測時，當運算裝置18偵測到即時畫面22上有至少一異常特徵24出現時，運算裝置18會在此即時畫面22上進行標示（亦可稱之為覆蓋），以在對應此異常特徵24之座標位置標示一標記框30，使標記框30位於異常特徵24外圍，此時顯示裝置20顯示即時畫面22及其上之標記框30。在發現異常特徵24之處標示標記框30之後，運算裝置18會判斷即時畫面22是否滿足三個限制條件來決定是否需要去分析判斷此異常特徵24的分類資訊26。運算裝置18會先進行確認標記框30有大於即時畫面22範圍的30%，並維持一時間段，例如2秒，維持2秒是為了讓醫師鎖定欲進行分類的目標。如圖4所示，標記框30的邊長A大於即時畫面22的顯示範圍之邊長X的30%，且標記框30的邊長B亦大於即時畫面22的邊長Y的30%，以確認標記框30之長寬係大於即時畫面22的30%，並維持有2秒。所以比較圖5及圖6之標記框30即可以確定異常特徵24已滿足將即時畫面22之異常特徵24放大的限制條件。再如圖1及圖6所示，運算裝置18會確認即時畫面22是否有開啟窄頻影像功能，在右上角會顯示代號NBI 28，即表示窄頻影像功能有開啟，因此有滿足即時畫面22為窄頻影像的限制條件。再利用運算裝置18確認即時畫面22為已清楚對焦的畫面後，即表示即時畫面22已同時滿足前述三個限制條件後，運算裝置18會分析判斷異常特徵24所對應的分類資訊26並即時顯示在顯示裝置20上且顯示在即時畫面22的一側邊，但本案不以此位置為限。

在一實施例中，如圖5或圖6所示，標記框30係以矩形實線框為例，但本案不限於此，只要能夠標示出異常特徵24所在位置之任何形狀、任何線條、任何色彩或是形狀線條色彩的任意組合皆適用本案。

在一實施例中，如圖7所示，分類資訊26更可以一醒目底圖263顯示於顯示裝置20上，例如此醒目底圖263可為顯眼對比的黃色底圖，以藉由此明顯的醒目底圖263來有效提醒醫師顯示裝置20上有顯示出分類資訊26，讓醫師可以輕易注意到此分類資訊26。

在一實施例中，分類資訊26僅用來顯示在顯示裝置20上，不會進行儲存。

在一實施例中，運算裝置18內的人工智慧（AI）系統所使用之神經網路模型係為一經過訓練之卷積神經網路（convolutional neural network）模型，其係可以卷積神經網路模型為基礎，並配合大量的目標物圖片（影像）訓練而成的，以利用神經網路可學習輸入圖片與輸出結果之關係的特性來進行運算。以物體偵測卷積神經網路模型（object detect convolutional neural network model）為例，在進行模型訓練時，會輸入許多張的目標物圖片，且這些目標物圖片上皆具有異常特徵存在，以利用這些有異常特徵的目標物圖片對物體偵測卷積神經網路模型進行學習訓練，以產生經過訓練之物體偵測卷積神經網路模型。在另一實施例中，運算裝置18可以採用分類判斷用之卷積神經網路（convolutional neural network for classification and detection）模型，此分類判斷用之卷積神經網路模型在進行模型訓練時，會輸入不同類型之多張目標物圖片，以利用不同類型（例如，JNET分類的四種病理類別，Type 1、Type 2A、Type 2B及Type 3）的大量圖片對卷積網路模型進行學習訓練，以產生經過訓練之分類判斷用的卷積網路模型，使卷積網路模型可以判斷出異常特徵的病理類別及其對應的信心度，以有效提供醫師參考。

綜上所述，本案之輔助判斷系統係利用運算裝置中的人工智慧（AI）系統於整個檢測儀器（內視鏡檢測儀器）檢測過程中，全程監測整個目標物即時影像，並進行所有的偵測（標示）、判斷及顯示作業。是以，本案之輔助判斷系統係在異常特徵出現時，在滿足限制條件之後，就可以透過運算裝置的運算來判斷異常特徵的分類資訊並即時顯示於顯示裝置上，以協助醫師可以知道異常特徵的所屬類別。因此，本案在切除異常特徵之前，就可以先進行分類並產生分類資訊，以提供醫師參考。

以上所述之實施例僅係為說明本案之技術思想及特點，其目的在使熟悉此項技術者能夠瞭解本案之內容並據以實施，當不能以之限定本案之專利範圍，即大凡依本案所揭示之精神所作之均等變化或修飾，仍應涵蓋在本案之申請專利範圍內。

10:輔助判斷系統 12:檢測儀器 14:目標物 16:目標物即時影像 18:運算裝置 20:顯示裝置 22:即時畫面 24:異常特徵 26:分類資訊 261:病理類別 262:信心度 263:醒目底圖 28:代號NBI 30:標記框 A:邊長 B:邊長 X:邊長 Y:邊長

圖1為根據本案一實施例之輔助判斷系統及其連接之檢測儀器的方塊示意圖。 圖2為根據本案一實施例之顯示有即時畫面的輔助判斷系統示意圖。 圖3為根據本案一實施例之顯示有即時畫面及分類資訊的輔助判斷系統示意圖。 圖4為根據本案一實施例之即時畫面與標記框之間的比例示意圖。 圖5為根據本案另一實施例之顯示有即時畫面的輔助判斷系統示意圖。 圖6為根據本案另一實施例之顯示有即時畫面及分類資訊的輔助判斷系統示意圖。 圖7為根據本案再一實施例之顯示有即時畫面及分類資訊的輔助判斷系統示意圖。

10:輔助判斷系統

18:運算裝置

20:顯示裝置

22:即時畫面

24:異常特徵

26:分類資訊

261:病理類別

262:信心度

28:代號NBI

Claims (10)

1. 一種輔助判斷系統，其適於與一檢測儀器訊號連接，該檢測儀器檢查一目標物並產生一目標物即時影像，該輔助判斷系統包含： 一運算裝置，訊號連接該檢測儀器，以接收該目標物即時影像並輸出作為一即時畫面，該運算裝置在該即時畫面上偵測到至少一異常特徵時，在滿足下列限定條件時，該運算裝置判斷該異常特徵的一分類資訊，該限定條件包含： 將該即時畫面之該異常特徵放大； 該即時畫面係為一窄頻影像；及 該即時畫面係為已對焦影像；以及 一顯示裝置，電性連接該運算裝置，該顯示裝置用以顯示該即時畫面及該分類資訊。
2. 如請求項1所述之輔助判斷系統，其中將該即時畫面之該異常特徵放大之該限定條件中，該異常特徵之長寬係大於該即時畫面的30%，並維持一時間段。
3. 如請求項2所述之輔助判斷系統，其中該時間段係為至少2秒。
4. 如請求項1所述之輔助判斷系統，其中該運算裝置對應該異常特徵之座標位置更標示至少一標記框於該即時畫面上，使該標記框位於該異常特徵外圍並顯示在該顯示裝置上。
5. 如請求項4所述之輔助判斷系統，其中將該即時畫面之該異常特徵放大之該限定條件中，該標記框之長寬係大於該即時畫面的30%，並維持一時間段。
6. 如請求項5所述之輔助判斷系統，其中該時間段係為至少2秒。
7. 如請求項1所述之輔助判斷系統，其中該分類資訊包含該異常特徵的一病理類別及其對應之一信心度。
8. 如請求項7所述之輔助判斷系統，其中該分類資訊係以一醒目底圖顯示於該顯示裝置上。
9. 如請求項1所述之輔助判斷系統，其中該異常特徵包含該目標物之增生組織或病變組織。
10. 如請求項1所述之輔助判斷系統，其中該窄頻影像之代號更顯示在該顯示裝置上。

Images