TW201641071A - 用於微創手術的多器械影像辨識方法及系統 - Google Patents

用於微創手術的多器械影像辨識方法及系統 Download PDF

Info

Publication number
TW201641071A
TW201641071A TW104116048A TW104116048A TW201641071A TW 201641071 A TW201641071 A TW 201641071A TW 104116048 A TW104116048 A TW 104116048A TW 104116048 A TW104116048 A TW 104116048A TW 201641071 A TW201641071 A TW 201641071A
Authority
TW
Taiwan
Prior art keywords
image
value
processing unit
category
pixel
Prior art date
Application number
TW104116048A
Other languages
English (en)
Other versions
TWI569764B (zh
Inventor
宋開泰
凱娜 金
Original Assignee
國立交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立交通大學 filed Critical 國立交通大學
Priority to TW104116048A priority Critical patent/TWI569764B/zh
Priority to US15/013,870 priority patent/US9721191B2/en
Publication of TW201641071A publication Critical patent/TW201641071A/zh
Application granted granted Critical
Publication of TWI569764B publication Critical patent/TWI569764B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)

Abstract

一種用於微創手術的多器械影像辨識方法，由一包含一儲存分屬多種不同器械類別的器械參考影像的資料庫、一由機械臂扶持以擷取一輸入影像的攝影單元，及一影像處理單元的系統執行，該影像處理單元選取該輸入影像的一影像區塊，根據該等器械類別所對應的優先權值高低順序，逐一地根據該影像區塊與每一器械類別的該等器械參考影像判斷是否該影像區塊屬於該器械類別；藉此，除了達成多種器械的辨識之外，還能根據前述各器械類別對應的優先權值高低快速地判斷出器械種類，且上述辨識皆是在器械本身保持自然型態的前提下達成。

Description

用於微創手術的多器械影像辨識方法及系統
本發明是有關於一種微創手術使用內視鏡檢查人體之方法及系統，特別是指用於微創手術的一種自動且快速辨識及追蹤器械影像的多器械影像辨識方法及系統。
微創手術是指在人體上切割微小切口，並將例如腹腔鏡、胸腔鏡等內視鏡及小型手術器械設備穿過切口進入人體內，而進行治療或診斷的手術。近十幾年來，微創手術因其傷口小、疼痛輕、恢復快、住院時間短、出血少等優點而得到廣泛的應用。
在微創手術中，外科醫師手持相關器械來動手術，因此器械所在位置便是醫師要動手術的位置，且一般須藉由助手把持內視鏡來配合器械所在位置採集患者體內影像畫面，以提供醫師患者體內的手術視野。然而，由於靠人手把持內視鏡易造成操作者疲勞，使助手常因手部抖動導致所採集到的影像畫面不穩定，影響醫師的判斷。
在中華民國公開專利第201400075號中揭露利用一掌鏡機器人掌鏡，其包括一擷取即時影像的影像擷取 模組、一根據複數個器械上所標記的色環顏色來偵測每一器械所在位置的偵測模組，及一根據器械所在位置發出控制信號以控制影像擷取模組移動至一擷取位置的處理模組，藉以協助把持該影像擷取模組(內視鏡)達到穩定影像畫面並控制手術視野，然而，藉由在手術器械上標記色環並不符合衛生要求而難以實際被醫院採用，且當醫師依手術需求，在手術過程中更換任一器械時，該偵測模組辨識新器械的穩定性不足，因此，現有微創手術的操作方式仍亟待改善。
因此，本發明之目的，即在提供一種用於微創手術並解決所述問題的多器械影像辨識方法。
此外，本發明之另一目的，即在提供一種用於微創手術並解決所述問題的多器械影像辨識系統。
於是，本發明用於微創手術的多器械影像辨識方法，由一包含一攝影單元、一影像處理單元，及一資料庫的系統執行，該資料庫儲存分屬於多種不同器械類別的器械參考影像，且每一種器械類別包括多個器械參考影像並對應一優先權值，該用於微創手術的多器械影像辨識方法包含一步驟(A)、一步驟(B)、一步驟(C)，及一步驟(D)。
在該步驟(A)，該攝影單元擷取一關於該微創手術的輸入影像。
在該步驟(B)，該影像處理單元選取該輸入影像的一影像區塊。
在該步驟(C)，該影像處理單元依該等器械類別所對應的優先權值高低，由高至低的順序，逐一地根據該影像區塊與每一器械類別的該等器械參考影像判斷是否該影像區塊屬於該器械類別。
在該步驟(D)，當該影像處理單元判斷出該影像區塊屬於該器械類別時，該影像處理單元更新該器械類別對應的優先權值，使得該器械類別對應的優先權值增高。
再者，本發明用於微創手術的多器械影像辨識系統包含一資料庫、一攝影單元，及一影像處理單元。
該資料庫儲存分屬於多種不同器械類別的器械參考影像，且每一種器械類別包括多個器械參考影像並對應一優先權值。
該攝影單元擷取一關於該微創手術的輸入影像。
該影像處理單元電連接該攝影單元及該資料庫，並選取該輸入影像的一影像區塊，依該等器械類別所對應的優先權值高低，由高至低的順序，逐一地根據該影像區塊與每一器械類別的該等器械參考影像判斷是否該影像區塊屬於該器械類別，且當該影像處理單元判斷出該影像區塊屬於該器械類別時，該影像處理單元更新該器械類別對應的優先權值，使得該器械類別對應的優先權值增高。
本發明之功效在於：在器械本身保持自然型態的前提下，快速、有效率地自動辨識出輸入影像中的多種器械，及每一種器械在該輸入影像中的位置。
11‧‧‧攝影單元
12‧‧‧影像處理單元
13‧‧‧資料庫
14‧‧‧輸入影像
15‧‧‧影像區塊
21‧‧‧取得每一器械類別下的多個器械參考影像的步驟
22‧‧‧增強邊緣特徵的步驟
23‧‧‧增強紋理特徵的步驟
24‧‧‧針對每一器械類別計算平均影像的步驟
25‧‧‧針對每一平均影像計算權重值的步驟
26‧‧‧針對每一器械類別計算對應的門檻值的步驟
30‧‧‧擷取輸入影像的步驟
31‧‧‧增強邊緣特徵的步驟
32‧‧‧增強紋理特徵的步驟
33‧‧‧選取影像區塊的步驟
34‧‧‧計算影像區塊與器械類別的符合程度值的步驟
35‧‧‧比較符合程度值與門檻值的步驟
36‧‧‧更新器械類別優先權的步驟
37‧‧‧判斷是否有尚未選用的器械類別的步驟
38‧‧‧判斷是否有尚未選取的影像區塊的步驟
A‧‧‧器械
B‧‧‧器械
C‧‧‧器械
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一系統方塊圖，說明一執行本發明用於微創手術的多器械影像辨識方法的系統；圖2是一流程圖，說明該用於微創手術的多器械影像辨識方法的一訓練階段；圖3是一示意圖，輔助圖2說明該訓練階段；圖4是一流程圖，說明該用於微創手術的多器械影像辨識方法的一偵測階段；圖5是一示意圖，說明該用於微創手術的多器械影像辨識方法中所使用的器械類別；圖6是一示意圖，說明該用於微創手術的多器械影像辨識方法執行器械辨識的情況；及圖7是一示意圖，說明該用於微創手術的多器械影像辨識方法執行器械辨識的情況。
參閱圖1，本發明用於微創手術的多器械影像辨識方法之一實施例是在一包含一資料庫13、一攝影單元11，及一影像處理單元12的系統中執行。
該資料庫13儲存分屬於多種不同器械類別的器械參考影像，且每一種器械類別包括多個器械參考影像並對應一優先權值，其中該等器械類別對應相同的初始優先權值。
該攝影單元11例如是腹腔鏡、胸腔鏡等長導管型內視鏡，用於擷取一關於該微創手術的輸入影像。在本實施例中，該攝影單元11由一機械臂扶持，故能穩定地擷取影像畫面。
該影像處理單元12電連接該攝影單元11及該資料庫13，並執行本實施例相關的影像處理。
以下詳細說明該實施例的各個步驟。
參閱圖2、圖3，及圖4，該實施例包含一包括步驟21至步驟26的訓練階段，及一包括步驟30至步驟38的偵測階段。首先，在步驟21中，該影像處理單元12預備每一種器械類別的多個器械參考影像。詳細而言，為了讓該影像處理單元12在該偵測階段能辨識出目標器械的所在位置，在本實施例中，該影像處理單元12在該訓練階段針對每一器械類別，預備大量的器械參考影像作為訓練樣本並存於該資料庫13，且透過機器學習演算，來建立如圖3所示的脈衝類神經網路(spiking neural network)模型。
其中，每一器械參考影像均具有多個分別位於不同影像座標的像素，且每一像素具有一灰階值。亦即，若以m×n個元素的矩陣[Aij]m×n來表示一具有m×n個像素的器械參考影像時，矩陣元素Aij表示該器械參考影像之位於影像座標(i,j)的像素的灰階值。在本實施例中，該像素的灰階值以八位元數值表示來記錄，因此每一像素的灰階值為落於0至255之間的整數。
接著在步驟22，該影像處理單元12針對每一 器械類別的每一器械參考影像的邊緣特徵進行增強，具體的實施方式例如圖3所示，藉由一拉式高斯濾波器(Laplacian of Gaussian filter)對每一器械參考影像分別進行中心上(on-center)濾波及中心外(off-center)濾波，而分別計算出一第一濾波輸出影像及一第二濾波輸出影像。該第一濾波輸出影像及該第二濾波輸出影像即作為脈衝類神經網路模型的輸入層(input layer)。
接著在步驟23，該影像處理單元12針對每一器械類別的每一器械參考影像的紋理特徵進行增強，具體而言例如圖3所示，藉一賈柏濾波器(Gabor filter)來對該第一濾波輸出影像及該第二濾波輸出影像分別進行旋轉，例如兩者分別每間隔45。旋轉一次而對應得出一紋理響應影像，並藉由平均多個不同方向性的紋理響應影像來取得一特徵影像。上述旋轉角度僅為方便說明而示例，只要該特徵影像藉由角度旋轉來取得，即不脫本發明的教示範圍。針對每一器械類別的每一器械參考影像所對應的特徵影像，即作為脈衝類神經網路模型的定向層(orientation layer)。
接著在步驟24，該影像處理單元12針對每一器械類別計算一平均影像，其中該平均影像的每一像素的灰階值為在該器械類別的所有器械參考影像在經過步驟22及步驟23的處理後得到的所有特徵影像中，與該像素有相同影像坐標的所有像素的灰階值的平均值。舉例來說，若某一器械類別包括二器械參考影像，其中一器械參考影像 所對應的特徵影像為[Xij]3×3，另一器械參考影像所對應的特徵影像為[Yij]3×3，並且 則所得到該器械類別的平均影像為
接著在步驟25，該影像處理單元12針對每一器械類別的平均影像的每一像素，根據該像素的灰階值計算一正相關於該像素的灰階值的權重值。詳言之，在此藉由平均影像的每一像素作為脈衝類神經網路模型的神經元，並利用每一像素的灰階值來模擬不同神經元的突觸連接的活躍程度：由於器械的材質為金屬，因此每一像素的灰階值越大者(越接近白色)，象徵神經元的活躍程度越高，亦即表示該像素的重要性越高，所以，本實施例定義表示該像素重要性的該權重值為正相關於該像素灰階值的β(m-r)，其中，m為該像素的灰階值的上界，r為該像素的灰階值，且β落於0至1的範圍內；在本例中，m值即為255。如此，當該像素的灰階值越大，該像素的權重值便越大。接續上例來說，所得到該器械類別的平均影像[Zij]3×3的該等像素Zij對應的權重值以矩陣表示為 其中Wij為該器械類別的平均影像中影像坐標為(i,j)的像素 對應的權重值。而針對每一器械類別的平均影像，其所對應的該等權重值，便作為脈衝類神經網路模型的輸出層(output layer)。
接著在步驟26，該影像處理單元12針對每一器械類別，根據該器械類別的該平均影像的該等灰階值與該等權重值計算出一對應該器械類別的門檻值(threshold value)，其中該門檻值為該平均影像的該等灰階值與該等權重值的個別乘積的總和。以上例而言，該門檻值即為[Zij]m×n與[Wij]m×n的各個元素的個別乘積的總和，亦即。藉此，即能在該偵測階段時，將該輸入影像透過影像處理後與該門檻值比對，即能判斷該輸入影像中存在的器械是否屬於該器械類別。
參閱圖4，在該偵測階段，在步驟30中，該攝影單元11擷取該輸入影像。
在步驟31，藉由脈衝類神經網路模型來進行運算：利用該拉式高斯濾波器來增強該輸入影像的邊緣特徵，此步驟類似於該訓練階段的步驟22所說明，於此不再贅述。
在步驟32，利用該賈柏濾波器增強該輸入影像的紋理特徵，該步驟類似於該訓練階段的步驟23所說明，於此亦不再贅述。
在步驟33，該影像處理單元12選取經過步驟31和步驟32的處理後的該輸入影像的一影像區塊，也就是感興趣區塊(region of interest)。詳言之，本實施例藉由 一卡爾曼濾波器(Kalman filter)計算該影像區塊的一搜尋範圍並從該搜尋範圍中選取該影像區塊，其中，該卡爾曼濾波器根據前一輸入影像中是否存在器械，決定當前輸入影像中的該搜尋範圍，其中，當前一輸入影像中不存在器械，或是前一輸入影像為第一張輸入影像，該卡爾曼濾波器隨機指定該搜尋範圍；而當前一輸入影像中存在器械，該卡爾曼濾波器根據器械所在位置決定該搜尋範圍。在本實施例中，該影像區塊為具有m×n個元素的矩陣[Rij]mxn，且矩陣元素Rij表示該影像區塊之位於影像座標(i,j)的像素的灰階值。
接著在步驟34，該影像處理單元12根據該等器械類別對應的優先權值高低，依由高至低的順序，選出一尚未比對的器械類別，並根據該影像區塊的該等像素的該等灰階值與該被選出的器械類別的平均影像的該等權重值計算出一符合程度值(correspondence value)，其中該符合程度值為該影像區塊的該等灰階值與該平均影像的該等權重值的個別乘積的總和。接續前例說明，該符合程度值為[Rij]m×n與[Wij]m×n的各個元素的個別乘積的總和，亦即。
接著在步驟35，該影像處理單元12判斷是否該符合程度值大於該器械類別對應的該門檻值的一第一特定倍數，且小於該門檻值的一第二特定倍數，在本實施例中，該第一特定倍數為0.8，該第二特定倍數為1.2。當判斷的結果為肯定的，即判斷該影像區塊屬於該器械類別， 並執行步驟36；否則，判斷該影像區塊不屬於該器械類別，並執行步驟37。
在步驟36，該影像處理單元12更新該資料庫13中該器械類別對應的優先權值，使得該器械類別對應的優先權值增高，並執行步驟38；並儲存該影像區塊在該輸入影像的位置，以在進行下一輸入影像的辨識時，在步驟33中利用該卡爾曼濾波器根據該位置決定該搜尋範圍。
特別地，因為在微創手術中，器械的使用一般都會維持一段時間，所以在當前輸入影像中所辨識到的器械在下一輸入影像中會出現的可能性很高，因此，根據該等器械類別對應的優先權值高低來選出尚未比對的器械類別，且每當該影像處理單元12判斷出影像區塊所屬的該器械類別，即增高該器械類別對應的優先權值，能較有效率地從輸入影像中辨識出該等器械。
在步驟37，該影像處理單元12判斷是否該資料庫13中還有器械類別尚未選用來計算該符合程度值，若是，則返回執行步驟34；若否，則執行步驟38。
在步驟38，該影像處理單元12根據該卡爾曼濾波器所提供的搜尋範圍，判斷其中是否還有未選取的影像區塊，若是，則返回執行步驟33以選取另一影像區塊；若否，則停止對該輸入影像的器械辨識。
舉例來說，參閱圖5至圖7，如圖5所示，在該訓練階段中，該資料庫13儲存分屬於A、B、C三種器械類別的多個器械參考影像，以及根據脈衝類神經網路模型 的學習演算，所得出的針對每一器械類別的平均影像對應的該等權重值。接著如圖6所示，當該輸入影像14中出現器械A、器械B兩種器械時，該影像處理單元12即在該偵測階段時選取該影像區塊15並根據該等權重值，來辨識出器械A和器械B兩種；隨後，當器械B更換為器械C時，如圖7所示，該影像處理單元12也能辨識出該輸入影像14中出現器械A、器械C兩種器械，因此能在輸入影像14中同時辨識出多種器械。故，透過該資料庫13，不僅能在器械保持自然型態、不標記色環前提下，同時辨別多種器械，也能依醫師手術需求，而在更換器械種類時達成辨識；另外，當醫師需購置使用新器械時，也能藉由在該資料庫13加入此新器械類別的器械參考影像，該影像處理單元12即執行所述的學習演算，因而可輕易地擴充器械類別，並能藉其優先權機制，來安排該等器械類別被該影像處理單元12逐一判斷的順序，進而縮短影像辨識的時間。
特別地，當該影像處理單元12判斷該影像區塊15屬於該器械類別，該影像處理單元12會發送一控制訊號至該攝影單元11，以觸發該機械臂將其所扶持的內視鏡移動至該影像區塊所對應的一擷取位置，例如，該擷取位置可為器械A和器械B兩種器械所在位置的中心，如此便達到追蹤外科醫師所持之器械所在位置的效果。
綜上說明可知，本發明主要是該影像處理單元藉由脈衝類神經網路模型所執行的學習演算，在器械本身保持自然型態，不標記色環前提下，達成器械影像辨識； 且透過該資料庫，便於擴充新的器械類別，搭配其優先權機制，快速地辨別多種器械，並能於更換器械種類時達成辨識。此外，該攝影單元透過該機械臂扶持，能保持所擷取輸入影像畫面的穩定性，故確實能達成本發明之目的。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
11‧‧‧攝影單元
12‧‧‧影像處理單元
13‧‧‧資料庫

Claims (10)

  1. 一種用於微創手術的多器械影像辨識方法，由一包含一由機械臂扶持的攝影單元、一影像處理單元，及一資料庫的系統執行，該資料庫儲存分屬於多種不同器械類別的器械參考影像，且每一種器械類別包括多個器械參考影像並對應一優先權值，該用於微創手術的多器械影像辨識方法包含以下步驟：(A)該攝影單元擷取一關於該微創手術的輸入影像；(B)該影像處理單元選取該輸入影像的一影像區塊；(C)該影像處理單元依該等器械類別所對應的優先權值高低，由高至低的順序，逐一地根據該影像區塊與每一器械類別的該等器械參考影像判斷是否該影像區塊屬於該器械類別；及(D)當該影像處理單元判斷出該影像區塊屬於該器械類別時，該影像處理單元更新該器械類別對應的優先權值，使得該器械類別對應的優先權值增高。
  2. 如請求項1所述用於微創手術的多器械影像辨識方法，步驟(B)的該影像區塊與每一器械參考影像均具有多個分別位於不同影像座標的像素，且每一像素具有一灰階值，其中，還包含在步驟(A)之前進行的步驟(E)至步驟(G)：(E)該影像處理單元針對每一器械類別計算一平均 影像，其中該平均影像的每一像素的灰階值為在該器械類別的所有器械參考影像中與該像素有相同影像坐標的所有像素的灰階值的平均值；(F)該影像處理單元更針對每一器械類別的平均影像的每一像素，根據該像素的灰階值計算一正相關於該像素的灰階值的權重值；及(G)該影像處理單元更針對每一器械類別，根據該器械類別的該平均影像的該等灰階值與該等權重值計算出一對應該器械類別的門檻值；且在步驟(C)，該影像處理單元依照該等器械類別對應的優先權值高低，依由高至低的順序，逐一地根據該影像區塊的該等像素的該等灰階值與每一器械類別的平均影像的該等權重值計算出一符合程度值，當該符合程度值大於該器械類別對應的該門檻值的一第一特定倍數，且小於該門檻值的一第二特定倍數時，該影像處理單元判斷該影像區塊屬於該器械類別。
  3. 如請求項2所述用於微創手術的多器械影像辨識方法，其中，在步驟(F)，該權重值為β(m-r)，其中m為該像素的灰階值的上界，r為該像素的灰階值，且β落於0至1的範圍內。
  4. 如請求項3所述用於微創手術的多器械影像辨識方法，其中，在步驟(G)，該門檻值為該平均影像的該等灰階值與該等權重值的個別乘積的總和，在步驟(C)，該符 合程度值為該影像區塊的該等灰階值與該平均影像的該等權重值的個別乘積的總和，且該第一特定倍數為0.8，該第二特定倍數為1.2。
  5. 如請求項4所述用於微創手術的多器械影像辨識方法，還包含在步驟(E)之前進行的步驟(H)：該影像處理單元藉由一用於增強邊緣特徵的濾波器及一用於增強紋理特徵的濾波器對每一器械參考影像進行濾波；及在步驟(B)之前進行的步驟(I)：該影像處理單元藉由該用於增強邊緣特徵的濾波器及該用於增強紋理特徵的濾波器對該輸入影像進行濾波。
  6. 一種用於微創手術的多器械影像辨識系統，包含：一資料庫，儲存分屬於多種不同器械類別的器械參考影像，且每一種器械類別包括多個器械參考影像並對應一優先權值；一攝影單元，由機械臂扶持，擷取一關於該微創手術的輸入影像；及一影像處理單元，電連接該攝影單元及該資料庫，並選取該輸入影像的一影像區塊，依該等器械類別所對應的優先權值高低，由高至低的順序，逐一地根據該影像區塊與每一器械類別的該等器械參考影像判斷是否該影像區塊屬於該器械類別，且當該影像處理單元判斷出該影像區塊屬於該器械類別時，該影像處理單元更新該器械類別對應的優先權值，使得該器械類別對應的優先權值增高。
  7. 如請求項6所述用於微創手術的多器械影像辨識系統，其中，該影像區塊與每一器械參考影像均具有多個分別位於不同影像座標的像素，且每一像素具有一灰階值，該影像處理單元針對每一器械類別計算一平均影像，其中該平均影像的每一像素的灰階值為在該器械類別的所有器械參考影像中與該像素有相同影像坐標的所有像素的灰階值的平均值，並且，該影像處理單元更針對每一器械類別的平均影像的每一像素，根據該像素的灰階值計算一正相關於該像素的灰階值的權重值，而且，該影像處理單元更針對每一器械類別，根據該器械類別的該平均影像的該等灰階值與該等權重值計算出一對應該器械類別的門檻值，藉此，該影像處理單元依照該等器械類別對應的優先權值高低，依由高至低的順序，逐一地根據該影像區塊的該等像素的該等灰階值與每一器械類別的平均影像的該等權重值計算出一符合程度值，當該符合程度值大於該器械類別對應的該門檻值的一第一特定倍數，且小於該門檻值的一第二特定倍數時，該影像處理單元判斷該影像區塊屬於該器械類別。
  8. 如請求項7所述用於微創手術的多器械影像辨識系統，其中，該權重值為β(m-r)，其中m為該像素的灰階值的上界，r為該像素的灰階值，且β落於0至1的範圍 內。
  9. 如請求項8所述用於微創手術的多器械影像辨識系統，其中，該門檻值為該平均影像的該等灰階值與該等權重值的個別乘積的總和，而且該符合程度值為該影像區塊的該等灰階值與該平均影像的該等權重值的個別乘積的總和，且該第一特定倍數為0.8，該第二特定倍數為1.2。
  10. 如請求項9所述用於微創手術的多器械影像辨識系統，其中，該影像處理單元在計算每一器械類別的平均影像之前藉由一用於增強邊緣特徵的濾波器及一用於增強紋理特徵的濾波器對該器械類別的每一器械參考影像進行濾波，且藉由該等濾波器對該輸入影像進行濾波。
TW104116048A 2015-05-20 2015-05-20 用於微創手術的多器械影像辨識方法及系統 TWI569764B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104116048A TWI569764B (zh) 2015-05-20 2015-05-20 用於微創手術的多器械影像辨識方法及系統
US15/013,870 US9721191B2 (en) 2015-05-20 2016-02-02 Method and system for image recognition of an instrument

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104116048A TWI569764B (zh) 2015-05-20 2015-05-20 用於微創手術的多器械影像辨識方法及系統

Publications (2)

Publication Number Publication Date
TW201641071A true TW201641071A (zh) 2016-12-01
TWI569764B TWI569764B (zh) 2017-02-11

Family

ID=57324446

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104116048A TWI569764B (zh) 2015-05-20 2015-05-20 用於微創手術的多器械影像辨識方法及系統

Country Status (2)

Country Link
US (1) US9721191B2 (zh)
TW (1) TWI569764B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595854B (zh) * 2016-12-12 2017-08-21 Hiwin Tech Corp Endoscope control system and method of controlling the endoscope
TWI675000B (zh) * 2019-03-22 2019-10-21 所羅門股份有限公司 物件運送方法及系統
CN110720983A (zh) * 2019-09-05 2020-01-24 北京万特福医疗器械有限公司 一种视觉识别方法和系统
US10624525B2 (en) 2017-01-03 2020-04-21 Hiwin Technologies Corp. Endoscopic system and method for controlling the same
TWI787672B (zh) * 2020-11-19 2022-12-21 財團法人金屬工業研究發展中心 手術器械盤點系統以及手術器械盤點方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647677A (zh) * 2018-05-14 2018-10-12 山东师范大学 基于视觉计算的电表外观和性能智能检测方法及装置
US20190361591A1 (en) * 2018-05-23 2019-11-28 Alcon Inc. System and method of utilizing surgical tooling equipment with graphical user interfaces
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
US11355242B2 (en) 2019-08-12 2022-06-07 International Business Machines Corporation Medical treatment management
JP7521538B2 (ja) 2019-11-15 2024-07-24 ソニーグループ株式会社 医療イメージングシステム、医療イメージング方法及び画像処理装置
CN111797737A (zh) * 2020-06-22 2020-10-20 重庆高新区飞马创新研究院 遥感目标检测方法及装置
EP4319678A2 (en) * 2021-04-06 2024-02-14 Digital Surgery Systems, Inc. System, method, and apparatus for tracking a tool via a digital surgical microscope

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
TWI455042B (zh) * 2008-12-18 2014-10-01 Elan Microelectronics Corp Identification of Object Images
TWI419061B (zh) * 2010-01-18 2013-12-11 Pixart Imaging Inc 多物件影像辨識方法
US9595207B2 (en) 2010-05-26 2017-03-14 Health Research, Inc. Method and system for minimally-invasive surgery training using tracking data
US20150170381A1 (en) * 2013-12-16 2015-06-18 Sony Corporation Tool localization system with image enhancement and method of operation thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595854B (zh) * 2016-12-12 2017-08-21 Hiwin Tech Corp Endoscope control system and method of controlling the endoscope
US10624525B2 (en) 2017-01-03 2020-04-21 Hiwin Technologies Corp. Endoscopic system and method for controlling the same
TWI675000B (zh) * 2019-03-22 2019-10-21 所羅門股份有限公司 物件運送方法及系統
CN110720983A (zh) * 2019-09-05 2020-01-24 北京万特福医疗器械有限公司 一种视觉识别方法和系统
CN110720983B (zh) * 2019-09-05 2021-05-25 北京万特福医疗器械有限公司 一种视觉识别方法和系统
TWI787672B (zh) * 2020-11-19 2022-12-21 財團法人金屬工業研究發展中心 手術器械盤點系統以及手術器械盤點方法

Also Published As

Publication number Publication date
US9721191B2 (en) 2017-08-01
TWI569764B (zh) 2017-02-11
US20160342847A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
TWI569764B (zh) 用於微創手術的多器械影像辨識方法及系統
Du et al. Articulated multi-instrument 2-D pose estimation using fully convolutional networks
Hernandez-Matas et al. FIRE: fundus image registration dataset
WO2020140370A1 (zh) 眼底出血点的自动检测方法、装置及计算机可读存储介质
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
Rieke et al. Real-time localization of articulated surgical instruments in retinal microsurgery
JP2016506260A (ja) ロボット手術器具のマーカーレス追跡
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
CN112634256B (zh) 圆检测及拟合方法、装置、电子设备和存储介质
JP5801237B2 (ja) 部位推定装置、部位推定方法、および部位推定プログラム
Bawa et al. The saras endoscopic surgeon action detection (esad) dataset: Challenges and methods
CN109671049B (zh) 一种医学图像处理方法、系统、设备、存储介质
Shen et al. Content-aware specular reflection suppression based on adaptive image inpainting and neural network for endoscopic images
CN111803036A (zh) 一种腹部外科手术后伤口换药方法、系统及计算机设备
Niu et al. Automatic localization of optic disc based on deep learning in fundus images
CN110742690A (zh) 一种用于配置内窥镜的方法及终端设备
Wesierski et al. Instrument detection and pose estimation with rigid part mixtures model in video-assisted surgeries
CN115700759A (zh) 医学图像显示方法、医学图像处理方法和图像显示系统
CN111340052A (zh) 中医舌诊舌尖红检测装置、方法及计算机存储介质
TWI572186B (zh) 內視鏡影像鏡面反射去除之自適應修補方法
JP7439990B2 (ja) 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法
CN115456974A (zh) 基于人脸关键点的斜视检测系统、方法、设备及介质
Mittal et al. Optic disk and macula detection from retinal images using generalized motion pattern
Parekar et al. Automatic retinal image registration using fully connected vascular tree
CN110119674B (zh) 一种作弊检测的方法、装置、计算设备及计算机存储介质