TWI821149B - 內視鏡冗餘影像除去方法 - Google Patents
內視鏡冗餘影像除去方法 Download PDFInfo
- Publication number
- TWI821149B TWI821149B TW112118548A TW112118548A TWI821149B TW I821149 B TWI821149 B TW I821149B TW 112118548 A TW112118548 A TW 112118548A TW 112118548 A TW112118548 A TW 112118548A TW I821149 B TWI821149 B TW I821149B
- Authority
- TW
- Taiwan
- Prior art keywords
- images
- dimensionality reduction
- host
- data
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000009467 reduction Effects 0.000 claims abstract description 105
- 238000010191 image analysis Methods 0.000 claims abstract description 12
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000012925 reference material Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 claims 1
- 238000001839 endoscopy Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000005481 NMR spectroscopy Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002575 gastroscopy Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 2
- 238000013276 bronchoscopy Methods 0.000 description 2
- 238000002052 colonoscopy Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002574 cystoscopy Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000004876 tela submucosa Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002046 chromoendoscopy Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000008155 medical solution Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000004085 squamous epithelial cell Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本發明係有關一種內視鏡冗餘影像除去方法，其先由一主機接收來自於一內視鏡之一輸入影像資料，接續取出對應之複數個輸入影像，並取得對應之複數個降維特徵資料，再依據該些個降維特徵資料分別與至少一相鄰降維特徵資料進行一誤差運算，而取得對應之複數個均方根誤差值，然後比較一誤差門檻值，藉此除去未達該誤差門檻值之至少一影像，因而取得複數個篩選影像。如此將該內視鏡之該輸入影像資料除去冗餘影像，因而避免針對相同或近似度相近之影像進行影像辨識。
Description
本發明係有關一種影像運算之方法，尤其是一種內視鏡冗餘影像除去方法。
目前的疾病診斷技術通常依賴于單一的宏觀資料和資訊，如體溫、血壓、身體掃描圖像。例如，檢測癌症這類重大疾病，現在用於常用儀器大多是基於影像技術的設備，包括X-射線、CT掃描和核磁共振(NMR)成像技術。當這些診斷設備組合使用時，對疾病的診斷在不同程度上的有用的。然而，當這些設備單獨使用時都不能在重大疾病發病的早期進行準確的、可信的、高效的、經濟的檢測。另外，很多這些現有設備體型較大且具有侵入性，如X-射線、CT掃描或核磁共振(nuclear magnetic resonance，NMR)成像技術。遂針對消化器官或消化道中之病灶觀察發展出內視鏡檢查，以檢查消化器官上是否存在病灶。
內視鏡（Endoscope）泛指經各種管道進入人體，以觀察人體內部狀況的醫療儀器，由於內視鏡可伸入無法以肉眼直接觀測之腔體內擷取影像，因此，內視鏡已廣泛應用於醫學領域上的應用，其影響甚鉅，而內視鏡檢查稱為內視鏡檢（Endoscopy）或內鏡檢查（術），部份內視鏡兼具手術治療的功能，如膀胱鏡、胃鏡、大腸鏡、支氣管鏡、腹腔鏡、關節腔鏡等，也就是除了影像擷取功能之外，更進一步可提供相對應之手術功能。例如:食道為一連接咽部及胃部的管狀器官，主要負責將口腔吞入的食物輸送至胃，正常食道黏膜有多層的鱗狀上皮細胞，厚度約200至500μm，由表面往下可分成以下幾層，分別是黏膜上皮層(EP)、黏膜固有層(LPM)、黏膜肌層(MM)、黏膜下層(SM)及固有肌層(MP)，食道觀察即是經由胃鏡進行內視鏡檢，以在食道上的病灶進行治療。
另外，早期的食道病變卻不容易診斷，除了早期幾乎沒有任何症狀之外，即便是接受食道內視鏡檢查，還是有一部分的早期食道癌會看不出來，因為這些病灶的變化都很細微，往往只有些許顏色的改變，所以若是使用傳統內視鏡做檢測，則會有大量早期食道癌病變被忽略而延誤治療。因而針對不易察覺之病灶發展出碘染色內視鏡(Lugol chromoendoscopy)、窄頻影像技術(Narrow Band Image， NBI)、放大內視鏡(Magnifying Endoscopy)。
然而，每一次內視鏡檢查所提供之影像資料非常龐大，通常超過7萬5千張影像，即使為了避免影像檔案過於龐大，因而採用解析度640x480畫素，但仍然讓內視鏡檢查於影像辨識上的資料運算量非常龐大。
基於上述之問題，本發明提供一種內視鏡冗餘影像除去方法，其藉由主機執行主成分分析法運算從輸入影像資料中所取出之複數個輸入影像，以透過降維運算而取得對應之複數個降維特徵值，進而比對至少一相鄰降維特徵值，藉此取得複數個均方根誤差值，再將該些個均方根誤差值比對一誤差門檻值，而產生一誤差比較結果，進而依據該誤差比較結果除去未達該誤差門檻值之影像，取得複數個篩選影像，進而依據該些個篩選影像刪除該輸入影像資料中對應之輸入影像，以避免影像辨識上的資料量龐大。
本發明之主要目的，提供一種內視鏡冗餘影像除去方法，其藉由主機對複數個輸入影像進行降維運算，而取得複數個降維特徵值，進而讓主機依據該些個降維特徵值比對其至少一相鄰降維特徵值，藉此，取得複數個均方根誤差值，再比對一誤差門檻值，而取得複數個篩選影像，因而依據該些個篩選影像之排序修改該些輸入影像，因而除去該輸入影像資料之冗餘影像，以避免影像辨識上的資料量龐大。
為達上述之目的，本發明揭示了一種內視鏡冗餘影像除去方法，其先由一主機取得一內視鏡之一輸入影像資料，再接續由該主機取出該輸入影像資料之複數個輸入影像，然後由該主機執行取得複數個降維特徵資料之步驟，其先依據一超頻譜參考資料將該些個輸入影像轉換為複數個超頻譜影像，接續執行一主成分分析運算並依據該些個超頻譜影像產生複數個降維影像，再依據該些個降維影像進行一影像分析而取得複數個降維特徵資料，該主機於取得該些個降維特徵資料後，該主機依據該些個降維特徵資料之一第二降維特徵資料至最後一降維特徵資料分別與至少一相鄰降維特徵資料進行一誤差運算，取得複數個均方根誤差值，接續該主機依據一誤差門檻值比較該些個均方根誤差值，取得一誤差比較結果，然後，該主機接續依據該比較結果依據該比較結果刪除未達該誤差門檻值之該些個均方根誤差值的至少一均方根誤差值所對應之該些個降維影像之至少一降維影像，以取得複數個篩選影像，爾後，該主機依據該些個篩選影像修改該輸入影像資料，如此既可自動化除去該輸入影像資料之冗餘影像，因而避免影像辨識上的資料量龐大。
本發明提供一實施例，其中該輸入影像資料為一靜態影像資料或一動態影像資料。
本發明提供一實施例，其中於取出該輸入影像資料之複數個輸入影像之步驟中，該主機自該輸入影像資料中取出至少部分影像資料並轉換為影格，以取得該些個輸入影像。
本發明提供一實施例，其中該超頻譜參考資料對應於該內視鏡。
本發明提供一實施例，其中於執行一主成分分析運算並依據該些個超頻譜影像產生複數個降維影像之步驟中，該主機依據該些個超頻譜影像轉換為複數個灰階影像並縮減其解析度，而產生該些個降維影像。
本發明提供一實施例，其中於依據該些個降維影像進行一影像分析，取得複數個降維特徵值之步驟中，該主機依據該些個降維影像之複數個特徵點與一分析向量進行一特徵提取，而依據該些個降維影像取出對應之該些個降維特徵資料。
本發明提供一實施例，其中於依據該些個降維特徵資料之一第二降維特徵資料至最後一降維特徵資料分別比較至少一相鄰降維特徵資料，取得複數個均方根誤差值之步驟中，該主機依據該些個降維特徵資料之之一第二降維特徵資料至最後一降維特徵資料分別比較其前至少一相鄰降維特徵資料，取得對應之該些個均方根誤差值。
本發明提供一實施例，其中於依據該些個降維特徵資料之一第二降維特徵資料至最後一降維特徵資料分別比較至少一相鄰降維特徵資料，取得複數個均方根誤差值之步驟中，該主機依據該些個降維特徵資料之之一第二降維特徵資料至最後一降維特徵資料分別比較其前後至少二相鄰降維特徵資料，取得對應之該些個均方根誤差值。
本發明提供一實施例，其中於依據一誤差門檻值比較該些個均方根誤差值，取得一誤差比較結果之步驟中，該主機讀取一儲存單元所儲存之該誤差門檻值或接收一輸入裝置所輸入之該誤差門檻值。
本發明提供一實施例，其中於依據該些個篩選影像修改該輸入影像資料之步驟中，該主機依據該些個篩選影像對應於該些個輸入影像之一原始排序，保留該輸入影像資料中對應排序之部分該些個輸入影像，刪除其餘輸入影像。
為使 貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以實施例及配合說明，說明如後：
有鑑於習知內視鏡之輸入影像資料所導致之運算量龐大，據此，本發明遂提出一種內視鏡冗餘影像除去方法，以解決習知內視鏡技術所造成之運算量龐大不容易辨識之問題。
以下，將進一步說明本發明揭示一種內視鏡冗餘影像除去方法所提供之特性、所搭配之系統：
首先，請參閱第一圖，其為本發明之一實施例之影像辨識之流程圖。如圖所示，本發明之內視鏡冗餘影像除去方法，其步驟包含:
步驟S10: 取得內視鏡之輸入影像資料；
步驟S12: 取出輸入影像資料之輸入影像；
步驟S14: 依據超頻譜參考資料將輸入影像轉換為超頻譜影像；
步驟S16: 執行主成分分析運算並依據該些個超頻譜影像產生複數個降維影像；
步驟S18: 依據降維影像進行影像分析，取得降維特徵值；
步驟S20: 依據降維特徵資料之第二降維特徵資料至最後一降維特徵資料分別與至少一相鄰降維特徵資料進行誤差運算，取得均方根誤差值；
步驟S22: 依據誤差門檻值比較均方根誤差值，並刪除未達誤差門檻值之降維影像，取得篩選影像；以及
步驟S24: 依據篩選影像修改輸入影像資料。
請一併參閱第二A圖至第二H圖，其為本發明之內視鏡冗餘影像除去方法所搭配之檢測系統1，其包含一主機10與一內視鏡20，本實施例之主機10為具有一處理單元12、一記憶體14與一儲存單元16之電腦主機作為舉例，但並非僅限於此，更可為伺服器、筆記型電腦、平板電腦或具備邏輯運算能力基礎之電子裝置皆為本發明所指之主機10，資料庫30為建立於儲存單元16，但不限於此，儲存單元16更可為主機10之外接式儲存單元，意即資料庫30可設置於主機10之外部，其中主機10藉由處理單元12執行一去冗餘程式P。此外，本實施例之內視鏡20，應用探查體內器官組織，例如: 膀胱鏡、胃鏡、大腸鏡、支氣管鏡、腹腔鏡。
於步驟S10中，如第二A圖所示，主機10為讀取內視鏡20所擷取之一輸入影像資料202，此外，該輸入影像資料202更可為儲存於資料庫30之白光影像(White light image))，本實施例之內視鏡20係以白光內視鏡OLYMPUS EVIS LUCERA CV-260 SL取得對應之白光影像。於步驟S12中，如第二A圖所示，主機10進一步取出輸入影像資料202中複數個輸入影像204，本實施例之輸入影像204相當於內視鏡20之白光影像。
主機10執行步驟S14，復參閱第二B圖所示，主機10依據輸入影像資料202自資料庫30讀取一超頻譜參考資料REF並將輸入影像204轉換至超頻譜影像206，也就是藉由可見光超頻譜技術(Visible Hyperspectral Algorithm, VIS-HSA)針對內視鏡20所擷取之輸入影像204進行運算，以求得轉換一般影像色域空間(即擷取影像之色域空間)至XYZ色域空間(1931XYZ Color space) (例如:從sRGB色域空間轉換至XYZ色域空間)的超頻譜影像206，其中本發明之該超頻譜影像資訊為對應於可見光超頻譜技術之可見光波段超頻譜，並對應於24色塊(X-Rite Classic, 24 Color Checkers)，且例如:在24 色塊中包含白色、黑色、四種中性灰色、藍色、綠色、紅色、黃色、品紅、青色、橙色、紫藍偏紫、中度紅色、紫色、黃綠和橙黃、深膚色、淺膚色、天藍色、樹葉色、藍花色和藍綠偏藍。其中超頻譜參考資料REF為對應於上述之輸入影像資料202，並包含對應24色塊之複數個配色函數(Color matching functions, CMF)、一校正矩陣與一轉換矩陣。
承接上述，超頻譜轉換首步需將輸入影像資料202轉換至 XYZ 色域空間，而取得XYZ色域空間之頻譜值[𝑋𝑌𝑍
𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]，更可進一步透過下式(五)之校正矩陣 C進行內視鏡影像校正，例如：針對內視鏡非線性響應、內視鏡暗電流、濾色片分色不精確與色彩偏移(例如：白平衡)進行校正，藉此校正XYZ色域空間之頻譜值[𝑋𝑌𝑍
𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]，因而獲得校正後之X、Y、Z值[XYZ
Correct]，例如:白光影像於[XYZ
Correct]與[𝑋𝑌𝑍
𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]之平均誤差值為1.40。
接續上述，如第二C圖所示，主機10執行步驟S16，將於步驟S14中取得之該些個超頻譜影像206，進行一主成分分析(Principal components analysis，PCA)運算102，為簡化影像值，以濾除較低變化量之影像值，因而依據該超頻譜影像206對應之特徵向量進行簡化並產生對應之複數個降維影像208。以下為PCA之運算式舉例之如下式(一):
…….. 式(一)
而
至
為表示第一個至第 n個波長的頻譜強度值；
至
為表示第一個至第 n 個波長的頻譜期望值(平均頻譜強度值)，𝑎
𝑗 1至𝑎
𝑗𝑛為表示頻譜進行共變異數計算之共變異數矩陣的特徵向量係數，例如:經過主成分分析法對高維度頻譜資訊降維後僅需求得前三維，以減少運算複雜度，一般作法即是將彩色影像轉換為灰階影像，也就是去除彩度之影像，因而降低運算複雜度，同時本實施例之主機10更可進一步將解析度調降，例如:超頻譜影像206對應之解析度640x480畫素可經PCA運算而降低至128x128畫素，或者是可經同倍率調降，而以二分之一的倍率將超頻譜影像206對應之解析度640x480畫素降低至320x240畫素，而取得降維影像208。
之後，如第二D圖所示，主機10執行步驟S16，對降維影像208進行一影像分析運算104，其係用以針對降維影像208中的特徵點進行特徵提取，而依據降維影像208提取出對應之複數個降維特徵資料210，例如: 主機10利用一分析向量C分析降維影像208，而取得降維特徵資料210。
再者，於步驟S20中，如第二E圖所示，主機10之處理單元12執行去冗餘程式P並針對輸入影像204對應之降維特徵資料210進行比對，本實施例係以每一降維特徵資料210比對其一相鄰降維特徵資料，因而獲得複數個均方根誤差值212。例如:如第三圖所示，降維資料210包含一第一特徵資料2101至第N特徵資料210N，主機10將一第一特徵資料2101與一第二特徵資料2102進行比對，而取得一第一筆均方根誤差值2121，主機10將第二特徵資料2102與一第三特徵資料2103進行比對，而取得一第二筆均方根誤差值2122，主機10將第三特徵資料2103與一第四特徵資料2104進行比對，而取得一第三筆均方根誤差值2123，因而依此類推，第N-1特徵資料210(N-1)與第N特徵資料210N進行比對，取得第N-1筆均方根誤差值212(N-1)，其中第一筆均方根誤差值2121為表示第一特徵資料2101與第二特徵資料2102之間的均方根誤差，第二筆均方根誤差值2122為表示第二特徵資料2102與第三特徵資料2103之間的均方根誤差，第三筆均方根誤差值2123為表示第三特徵資料2103與第四特徵資料2104之間的均方根誤差，第N-1筆均方根誤差值212(N-1)為表示第N-1特徵資料210(N-1)與第N特徵資料210N之間的均方根誤差。
上述之降維特徵資料比對所採用之均方根誤差之方程式如下式(二)所示:
MSE=
式(二)
接續於步驟S22中，如第二F圖所示，本實施例為主機10從資料庫30中讀取一誤差門檻值TH，主機10依據誤差門檻值TH比對上述步驟S20所得之均方根誤差值212進行比對，因而獲得一誤差比較結果214，例如: 均方根誤差值212之第一筆均方根誤差值至第五筆均方根誤差值分別為1、1、2、3、4，而第一均方根誤差值至第五均方根誤差值分別對應於第二降維特徵資料至第六降維特徵資料，誤差門檻值TH為3，因此第二降維特徵資料至第四降維特徵資料即標記為未達誤差門檻值TH之降維特徵資料，以作為誤差比較結果214。
同時，如第二G圖所示，主機10依據步驟S22所得之誤差比較結果214將未達誤差門檻值TH之均方根誤差值212所對應之降維影像208刪除，因而產生複數個篩選影像216，篩選影像216之數量為小於輸入影像204或小於降維影像208之數量，例如:步驟S22之誤差比較結果214為將第二降維特徵資料至第四降維特徵資料即標記為未達誤差門檻值TH之降維特徵資料，因此主機10將第二降維特徵資料至第四降維特徵資料對應之降維影像208刪除，因而產生對應之篩選影像216。
接續於步驟S24中，如第二H圖所示，去冗餘程式P依據步驟S24所產生之篩選影像216修改將輸入影像資料202，其中去冗餘程式P依據篩選影像216對應於輸入影像204之一原始排序，保留輸入影像資料202中對應排序之部分輸入影像204，其餘刪除，即去冗餘程式P將篩選影像216相對應之輸入影像204分類至一目標影像TA，反之，去冗餘程式P將篩選影像216未對應之輸入影像204分類至一非目標影像NTA，因而將非目標物件影像NTA刪除，例如:該些個篩選影像216為對應於輸入影像資料202之第一輸入影像至第五輸入影像，去冗餘程式P將輸入影像資料202之第一輸入影像至第五輸入影像標記為目標影像TA，因此輸入影像資料202之其餘輸入影像被標記為非目標影像NTA，於是非目標影像NTA被去冗餘程式P移出輸入影像資料202，因而去除輸入影像資料202之冗餘影像。
以上之均方根誤差值比對為本實施例之舉例，但本發明不限於此，更可如第四圖所示，其為本發明之第二實施例之均方根誤差值的運算方式，降維特徵資料210包含第一特徵資料2101至第N+1特徵資料210(N+1)主機10將一第一特徵資料2101、一第二特徵資料2102與一第三特徵資料2103進行比對，而取得一第一筆均方根誤差值2121，主機10將第二特徵資料2102、第三特徵資料2103與一第四特徵資料2104進行比對，而取得一第二筆均方根誤差值2122，主機10將第三特徵資料2103、第四特徵資料2104與一第五特徵資料進行比對，而取得一第三筆均方根誤差值2123，因而依此類推，第N-1特徵資料210(N-1)至第N+1特徵資料210(N+1)進行比對，取得第N-1筆均方根誤差值210(N+1)，其中第一筆均方根誤差值2121為表示第一特徵資料2101至第三特徵資料2103之間的均方根誤差，第二筆均方根誤差值2122為表示第二特徵資料2102至第四特徵資料2104之間的均方根誤差，第三筆均方根誤差值2123為表示第三特徵資料2103至第五特徵資料2105之間的均方根誤差，依此類推，第N-1筆均方根誤差值212(N-1)為表示第N-1特徵資料210(N-1)與第N+1特徵資料210(N+1)之間的均方根誤差。除此之外，更可依此類推，增加運算之降維特徵資料210，以取得對應之均方根誤差值。
以下進一步以實際操作提供一舉例說明:
如第五圖所示，其揭示一第三實施例為採用Insight Medical Solutions Inc.所銷售之InsightEyes EGD System之一第一內視鏡300提供一第一輸入影像資料302至一工作站400，工作站400中設置一處理單元402，處理單元402執行去冗餘程式P，處理單元402自一資料庫430讀取一超頻譜參考資料REF，並依據超頻譜參考資料REF將第一輸入影像資料302之複數個第一輸入影像304轉換成複數個第一超頻譜影像306，接續執行主成分分析運算102，以將該些個第一超頻譜影像306簡化為複數個第一降維影像308，處理單元402接續進行一影像分析運算，而依據第一降維影像308之複數個特徵點取得複數個第一降維特徵資料310，處理單元402執行之去冗餘程式P依據第一降維特徵資料310之每一者比較至少一相鄰第一降維特徵資料310，取得第一降維特徵資料310對應之複數個第一均方根誤差值312，處理單元402執行之去冗餘程式P依據誤差門檻值TH比較第一均方根誤差值312，取得一第一誤差比較結果314，處理單元402執行之去冗餘程式P依據第一誤差比較結果314除去第一降維影像308中未達誤差門檻值TH之影像，取得複數個第一篩選影像316，爾後，該主機10依據篩選影像316修改該第一輸入影像資料302，即刪除了該第一輸入影像資料302中的冗餘影像。
如第六圖所示，其揭示一第四實施例為採用Olympus所銷售之型號CV-290之一第二內視鏡500提供一第二輸入影像資料502至工作站400，工作站400之處理單元402讀取資料庫430之超頻譜參考資料REF，並依據超頻譜參考資料REF將第二輸入影像資料502之複數個第二輸入影像504轉換成複數個第二超頻譜影像506，接續執行主成分分析運算102，以將該些個第二超頻譜影像506簡化為複數個第二降維影像508，處理單元402接續進行一影像分析運算，而依據第二降維影像508之複數個特徵點取得複數個第二降維特徵資料510，處理單元402執行之去冗餘程式P依據第二降維特徵資料510之每一者比較至少一相鄰第二降維特徵資料510，取得第二降維特徵資料510對應之複數個第二均方根誤差值512，處理單元402執行之去冗餘程式P依據一誤差門檻值TH比較第二均方根誤差值512，取得一第二誤差比較結果514，處理單元402執行之去冗餘程式P依據第二誤差比較結果514除去未達誤差門檻值TH之影像，取得複數個第二篩選影像516，爾後，該主機10依據第二篩選影像516修改第二輸入影像資料502，即刪除了第二輸入影像資料502中的冗餘影像。
如第七圖所示，其揭示第三實施例與第四實施例之第一輸入影像資料302與第二輸入影像資料502經上述本發明之內視鏡冗餘影像除去方法去除冗餘影像後之影像張數對誤差門檻值之曲線圖，其中，實線曲線為表示第一輸入影像資料302去冗餘後所剩之第一輸入影像304之張數，虛線曲線為表示第二輸入影像資料502去冗餘後所剩之第二輸入影像504之張數，第一實施例與第二實施例之第一輸入影像304與第二輸入影像504之初始張數為設定1000張，去冗餘程式P透過誤差門檻值TH為0-10，使第一輸入影像資料302與第二輸入影像資料502產生影像張數變化，特別是在誤差門檻值TH為4-8之間呈現線性變化，而在誤差門檻值TH大於8時，張數趨近於1，即僅剩第一張第一輸入影像304與第一張第二輸入影像504，而在誤差門檻值TH小於4時，影像張數變化趨緩。
綜上所述，本發明之內視鏡冗餘影像除去方法，其提供主機取得一內視鏡之一輸入影像資料，再依據輸入影像資料之輸入影像轉換為超頻譜影像，以接續執行去降維運算，取得降維影像，接著分析降維影像，而取得降維特徵值，再一一比對而取得誤差比對結果，進而依據誤差比對結果比對一誤差門檻值，進而刪除未達誤差門檻值之影像，因而篩選出篩選影像，藉此利用篩選影像對應於輸入影像之排序，因而修改輸入影像資料，以除去輸入影像資料之冗餘影像，進而避免影像運算上的資料量龐大。
故本發明實為一具有新穎性、進步性及可供產業上利用者，應符合我國專利法專利申請要件無疑，爰依法提出發明專利申請，祈 鈞局早日賜准專利，至感為禱。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
1:檢測系統
10:主機
12:處理單元
14:記憶體
16:儲存單元
20:內視鏡
202:輸入影像資料
204:輸入影像
206:超頻譜影像
208:降維影像
210:降維特徵資料
2101:第一特徵資料
2102:第二特徵資料
2103:第三特徵資料
2104:第四特徵資料
2105:第五特徵資料
2106:第六特徵資料
210(N-1):第N-1特徵資料
210N:第N特徵資料
210N+1:第N+1特徵資料
212:均方根誤差值
2121:第一筆均方根誤差值
2122:第二筆均方根誤差值
2123:第三筆均方根誤差值
2124:第四筆均方根誤差值
2125:第五筆均方根誤差值
212(N-1):第N-1筆均方根誤差值
214:誤差比較結果
216:篩選影像
30:資料庫
300:第一內視鏡
302:第一輸入影像資料
304:第一輸入影像
306:第一超頻譜影像
308:第一降維影像
310:第一降維特徵資料
312:第一均方根誤差值
314:第一誤差比較結果
316:第一篩選影像
400:工作站
402:處理單元
430:資料庫
500:第二內視鏡
502:第二輸入影像資料
504:第二輸入影像
506:第二超頻譜影像
508:第二降維影像
510:第二降維特徵資料
512:第二均方根誤差值
514:第二誤差比較結果
516:第二篩選影像
C:分析向量
P:去冗餘程式
REF:超頻譜參考資料
TA:目標影像
NTA:非目標影像
TH:誤差門檻值
S10至S24:步驟
第一圖：其為本發明之第一實施例之除去內視鏡冗餘影像之流程圖；
第二A圖至第二H圖：其為本發明之第一實施例之部分步驟示意圖；
第三圖：其為本發明之第一實施例之求得均方根誤差值的示意圖；
第四圖：其為本發明之第二實施例之求得均方根誤差值的示意圖；
第五圖：其為本發明之第三實施例之系統示意圖；
第六圖：其為本發明之第四實施例之系統示意圖；以及
第七圖：其為本發明之第三實施例與第四實施例之去冗餘效果之曲線圖。
S10至S24:步驟
Claims (10)
- 一種內視鏡冗餘影像除去方法，其步驟包含: 一主機取得一內視鏡之一輸入影像資料； 該主機取出該輸入影像資料之複數個輸入影像； 該主機依據一超頻譜參考資料將該些個輸入影像轉換為複數個超頻譜影像； 該主機執行一主成分分析運算並依據該些個超頻譜影像產生複數個降維影像； 該主機依據該些個降維影像進行一影像分析運算，取得複數個降維特徵值； 該主機依據該些個降維特徵資料之一第二降維特徵資料至最後一降維特徵資料分別與至少一相鄰降維特徵資料進行一誤差運算，取得複數個均方根誤差值； 該主機依據一誤差門檻值比較該些個均方根誤差值，並刪除未達該誤差門檻值之至少一降維影像，以取得複數個篩選影像；以及 該主機依據該些個篩選影像修改該輸入影像資料。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中該輸入影像資料為一靜態影像資料或一動態影像資料。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機取出該輸入影像資料之複數個輸入影像之步驟中，該主機自該輸入影像資料中取出至少部分影像資料並轉換為影格，以取得該些個輸入影像。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中該超頻譜參考資料對應於該內視鏡。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機執行一主成分分析法運算該些個超頻譜影像產生複數個降維影像之步驟中，該主機依據該些個超頻譜影像轉換為複數個灰階影像並縮減其解析度，而產生該些個降維影像。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機依據該些個降維影像進行一影像分析運算，取得複數個降維特徵值之步驟中，該主機依據該些個降維影像之複數個特徵點與一分析向量進行一特徵提取，而依據該些個降維影像取出對應之該些個降維特徵資料。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機依據該些個降維特徵資料之一第二降維特徵資料至最後一降維特徵資料分別與至少一相鄰降維特徵資料進行一誤差運算，取得複數個均方根誤差值之步驟中，該主機依據該些個降維特徵資料之之一第二降維特徵資料至最後一降維特徵資料分別比較其前至少一相鄰降維特徵資料，取得對應之該些個均方根誤差值。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機依據該些個降維特徵資料之一第二降維特徵資料至最後一降維特徵資料分別與至少一相鄰降維特徵資料進行一誤差運算，取得複數個均方根誤差值之步驟中，該主機依據該些個降維特徵資料之之一第二降維特徵資料至最後一降維特徵資料分別比較其前後至少二相鄰降維特徵資料，取得對應之該些個均方根誤差值。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機依據一誤差門檻值比較該些個均方根誤差值，並刪除未達該誤差門檻值之至少一降維影像，以取得複數個篩選影像之步驟中，該主機讀取一儲存單元所儲存之該誤差門檻值或接收一輸入裝置所輸入之該誤差門檻值。
- 如請求項1所述之內視鏡冗餘影像除去方法，其中於該主機依據該些個篩選影像修改該輸入影像資料之步驟中，該主機依據該些個篩選影像對應於該些個輸入影像之一原始排序，保留該輸入影像資料中對應排序之部分該些個輸入影像，刪除其餘輸入影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112118548A TWI821149B (zh) | 2023-05-18 | 2023-05-18 | 內視鏡冗餘影像除去方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112118548A TWI821149B (zh) | 2023-05-18 | 2023-05-18 | 內視鏡冗餘影像除去方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI821149B true TWI821149B (zh) | 2023-11-01 |
Family
ID=89722274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112118548A TWI821149B (zh) | 2023-05-18 | 2023-05-18 | 內視鏡冗餘影像除去方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI821149B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170365051A1 (en) * | 2016-06-20 | 2017-12-21 | Toshiba Medical Systems Corporation | Medical image data processing system and method |
| TW201942868A (zh) * | 2018-03-28 | 2019-11-01 | 國立雲林科技大學 | 用於辨識組織病徵影像的系統及方法 |
| US20210312589A1 (en) * | 2018-09-25 | 2021-10-07 | Sony Corporation | Image processing apparatus, image processing method, and program |
| TW202147245A (zh) * | 2020-06-01 | 2021-12-16 | 國立中正大學 | 以卷積神經網路檢測物件影像之方法 |
| US20220036612A1 (en) * | 2020-07-30 | 2022-02-03 | International Business Machines Corporation | Systems and methods for generating summary medical images |
| TW202234872A (zh) * | 2021-02-26 | 2022-09-01 | 明俐科技有限公司 | 即時影像的校正裝置及校正方法 |
-
2023
- 2023-05-18 TW TW112118548A patent/TWI821149B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170365051A1 (en) * | 2016-06-20 | 2017-12-21 | Toshiba Medical Systems Corporation | Medical image data processing system and method |
| TW201942868A (zh) * | 2018-03-28 | 2019-11-01 | 國立雲林科技大學 | 用於辨識組織病徵影像的系統及方法 |
| US20210312589A1 (en) * | 2018-09-25 | 2021-10-07 | Sony Corporation | Image processing apparatus, image processing method, and program |
| TW202147245A (zh) * | 2020-06-01 | 2021-12-16 | 國立中正大學 | 以卷積神經網路檢測物件影像之方法 |
| US20220036612A1 (en) * | 2020-07-30 | 2022-02-03 | International Business Machines Corporation | Systems and methods for generating summary medical images |
| TW202234872A (zh) * | 2021-02-26 | 2022-09-01 | 明俐科技有限公司 | 即時影像的校正裝置及校正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6890184B2 (ja) | 医療画像処理装置及び医療画像処理プログラム | |
| JP7187557B2 (ja) | 医療画像学習装置、方法及びプログラム | |
| CN110189303B (zh) | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 | |
| CN104203075B (zh) | 医疗用图像处理装置 | |
| Haddad et al. | Image analysis model for skin disease detection: framework | |
| TWI738367B (zh) | 以卷積神經網路檢測物件影像之方法 | |
| CN115018767A (zh) | 基于本征表示学习的跨模态内镜图像转换及病灶分割方法 | |
| Ramzan et al. | Gastrointestinal tract infections classification using deep learning | |
| WO2022228396A1 (zh) | 内窥镜多光谱图像处理系统及处理和训练方法 | |
| CN116664929A (zh) | 一种基于多模态信息融合的喉镜图像多属性分类方法 | |
| JP2024509717A (ja) | 耳の病状を診断するための自動耳鏡検査画像分析に左右の鼓膜耳鏡検査画像を使用するシステム及び方法 | |
| TWI821149B (zh) | 內視鏡冗餘影像除去方法 | |
| JP7533881B2 (ja) | セマンティックセグメンテーションに基づく画像識別方法 | |
| Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
| TWI796156B (zh) | 以波段用於超頻譜檢測物件影像之方法 | |
| TWI803223B (zh) | 於超頻譜影像之物件偵測方法 | |
| Vats et al. | SURF-SVM based identification and classification of gastrointestinal diseases in wireless capsule endoscopy | |
| TWI762388B (zh) | 以超頻譜檢測物件影像之方法 | |
| Constantinou et al. | A comparison of color correction algorithms for endoscopic cameras | |
| Goswami et al. | Classification of Oral Cancer Into Pre-Cancerous Stages From White Light Images Using LightGBM Algorithm | |
| Dhanalakshmi et al. | Computer Aided Diagnosis for enteric lesions in endoscopic images using Anfis | |
| Dayananda | Novel Convoluted local energy oriented patten (CLEOP) for the classification of wireless capsule endoscopy images | |
| Ansari et al. | Color Converting of Endoscopic Images Using Decomposition Theory and Principal Component Analysis | |
| Gao et al. | A novel computerized system for tongue diagnosis | |
| Obukhova et al. | IMAGE ANALYSIS AND PROCESSING IN CLINICAL DECISION SUPPORT SYSTEMS |