TWI803223B - 於超頻譜影像之物件偵測方法 - Google Patents

於超頻譜影像之物件偵測方法 Download PDF

Info

Publication number
TWI803223B
TWI803223B TW111108095A TW111108095A TWI803223B TW I803223 B TWI803223 B TW I803223B TW 111108095 A TW111108095 A TW 111108095A TW 111108095 A TW111108095 A TW 111108095A TW I803223 B TWI803223 B TW I803223B
Authority
TW
Taiwan
Prior art keywords
image
feature
hyperspectral
host
frame
Prior art date
Application number
TW111108095A
Other languages
English (en)
Other versions
TW202336707A (zh
Inventor
王祥辰
門亭均
曹育銘
劉祐霖
Original Assignee
國立中正大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中正大學 filed Critical 國立中正大學
Priority to TW111108095A priority Critical patent/TWI803223B/zh
Priority to JP2023007113A priority patent/JP2023129258A/ja
Priority to US18/165,586 priority patent/US20230281962A1/en
Application granted granted Critical
Publication of TWI803223B publication Critical patent/TWI803223B/zh
Publication of TW202336707A publication Critical patent/TW202336707A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明係有關一種於超頻譜影像之物件偵測方法，其先藉由參考影像取得一超頻譜影像資訊，再藉此轉換輸入影像取得一超頻譜影像，經影像分析而取得對應之特徵值，接續經主成分回歸分析法取得降維特徵值，然後卷積運算降維特徵值產生一卷積矩陣值，其係用以從輸入影像中之待測物件影像中提取出特徵影像；在特徵影像上產生先驗框與預測框，而取得框選影像；最後，經匹配比對框選影像與樣本影像，而判斷輸入影像是否目標物件影像。藉此，透過物件偵測結合超頻譜影像之技術辨識目標物件影像，以輔助醫師判讀消化道影像。

Description

於超頻譜影像之物件偵測方法
本發明係有關一種影像辨識之方法，尤其是一種於超頻譜影像之物件偵測方法。
食道為一連接咽部及胃部的管狀器官，主要負責將口腔吞入的食物輸送至胃，正常食道黏膜有多層的鱗狀上皮細胞，厚度約200至500μm，由表面往下可分成以下幾層，分別是黏膜上皮層(EP)、黏膜固有層(LPM)、黏膜肌層(MM)、黏膜下層(SM)及固有肌層(MP)，食道癌是全球第八大常見癌症，而源於上皮組織的惡性腫瘤稱為癌症，另外，惡性腫瘤(Cancer，又稱為Malignant tumor)，一般會影響生理功能，更包括肉瘤(Sarcoma)、淋巴瘤(lymphoma)、白血病(leukemia)、黑色素瘤(melanoma)、癌肉瘤(carcinosarcoma)、惡性神經膠質瘤(Malignant glioma)。
其中，發生於結締組織的惡性腫瘤稱為肉瘤，所稱之結締組織包括纖維組織、脂肪(脂)組織、肌肉、血管、骨骼和軟骨。另外，淋巴瘤及白血病發生於造血組織。黑色素瘤發生於皮膚細胞。同時發生於上皮組織和結締組織的惡性腫瘤則稱為癌肉瘤。此外，惡性神經膠質瘤是發生在神經組織之惡性腫瘤。而食道癌之惡性腫瘤不僅僅浸潤於食道上的上皮組織，甚至是後期會浸潤至結締組織。
目前的疾病診斷技術通常依賴于單一的宏觀資料和資訊，如體溫、血壓、身體掃描圖像。例如，檢測癌症這類重大疾病，現在用於常用儀器大 多是基於影像技術的設備，包括X-射線、CT掃描和核磁共振(NMR)成像技術。當這些診斷設備組合使用時，對疾病的診斷在不同程度上的有用的。然而，當這些設備單獨使用時都不能在重大疾病發病的早期進行準確的、可信的、高效的、經濟的檢測。另外，很多這些現有設備體型較大且具有侵入性，如X-射線、CT掃描或核磁共振(nuclear magnetic resonance，NMR)成像技術。遂針對消化器官之病灶觀察發展出內視鏡檢查，以檢查消化器官上是否存在病灶。
另外，早期的食道癌卻不容易診斷，除了早期幾乎沒有任何症狀之外，即便是接受食道內視鏡檢查，還是有一部分的早期食道癌會看不出來，因為這些病灶的變化都很細微，往往只有些許顏色的改變，所以若是使用傳統內視鏡做檢測，則會有大量早期食道癌病變被忽略而延誤治療。因而針對不易察覺之病灶發展出碘染色內視鏡(Lugol chromoendoscopy)、窄頻影像技術(Narrow Band Image，NBI)、放大內視鏡(Magnifying Endoscopy)。
然而，內視鏡操作甚為複雜，既是需要醫護人員擁有內視鏡相關之專業證照，方可進行內視鏡檢測，更是要醫護人員一邊操作內視鏡並一邊分辨病灶，即使內視鏡檢測方式經過許多方式進行改良，但是仍不可避免遭遇到人工操作疏失，或者是內視鏡影像仍然不容易辨識。。
基於上述之問題，本發明提供一種於超頻譜影像之物件偵測方法，其藉由主機執行卷積運算，以將輸入影像套用卷積神經網路之運算，而獲得特徵影像，遂推算出包含待測物件之框選影像，進一步透過框選影像比較樣本影像，以將輸入影像分類為一目標物件影像，以避免人工影像辨識上的困難。
本發明之主要目的，提供一種於超頻譜影像之物件偵測方法，其藉由卷積神經網路運算超頻譜影像，而獲得特徵影像，遂經物件偵測而取得包含待測物件之框選影像，進一步透過框選影像比較樣本影像，以將輸入影像分類為一目標物件影像。藉此輔助醫師辨識內視鏡影像。
為達上述之目的，本發明揭示了一種於超頻譜影像之物件偵測方法，其藉由一主機執行步驟，其先執行取得一超頻譜影像資訊之步驟，其為該主機所取得之一參考影像，以在該參考影像轉換為一參考超頻譜影像後，接續依據該參考超頻譜影像取得一超頻譜影像資訊；然後接著執行取得複數個降維特徵值之步驟，其中主機先經該影像擷取單元擷取一輸入影像，該輸入影像包含至少一待測物件影像；之後，依據該超頻譜影像資訊轉換該輸入影像，以取得一超頻譜影像，並對該超頻譜影像進行影像分析而取得複數個特徵值；接續，該主機對該些個特徵值進行一主成分回歸分析法之運算，其係以降維該些個特徵值而產生對應之複數個降維特徵值，然後，依據一卷積核依序於至少一卷積層運算該些個降維特徵值產生一卷積矩陣值，其中，該卷積核包含複數個特徵權重參數，該卷積矩陣值為該些個特徵權重參數乘以該些個降維特徵值，該特徵影像對應於該卷積矩陣值；接著，依據該卷積矩陣值從該輸入影像提取出至少一特徵影像，並設定至少一先驗框於該特徵影像上，以提取該特徵影像對應之複數個定位參數，接續依據該先驗框於該特徵影像上產生至少一預設框，並擷取對應之一框選影像；接續，依據該框選影像與至少一樣本影像進行比較，以產生一比較結果，藉此，該主機依據該比較結果分類該輸入影像為一目標物件影像或或一非目標物件影像。因此，本發明對於目標物件影像可由該主機卷積核之運算進行特徵偵測，再讓該主機依據該樣本影像作比對預設框所框選之框選影像，以分類輸入影像為目標物件影像或非目標物件影像，如此既可自動化辨識又可避免不易辨識的問題。
本發明提供一實施例，其中於依據該至少一框選影像匹配比較至少一樣本影像產生一比較結果之步驟中，該主機於一物件偵測演算法YOLOv5系統中依據該框選影像匹配比較該至少一樣本影像產生該比較結果。
本發明提供一實施例，其中該超頻譜影像資訊為對應於該輸入影像之複數個配色函數、一校正矩陣與一轉換矩陣。
本發明提供一實施例，其中於依據該至少一框選影像匹配比較至少一樣本影像產生一比較結果之步驟中，該主機自一資料庫讀取該至少一樣本影像，以依據該待測物件影像與該至少一樣本影像進行該匹配比較。
本發明提供一實施例，其中該先驗框對應於至少一長寬比。
本發明提供一實施例，其中於依據該些個定位參數產生至少一預測框於該特徵影像上之步驟中，該主機更依據不同目標尺寸之複數個先驗框產生對應之複數個預測框。
本發明提供一實施例，其中於用以從該至少一待測物件影像取得至少一特徵影像之步驟中，該主機進一步從該至少一待測物件影像中提取該些個特徵影像，並進行隨機縮放、隨機裁剪、隨機排布的方式進行拼接，將該些個特徵影像拼接成一拼接影像，以接續執行依據該特徵影像產生複數個網格之步驟。
本發明提供一實施例，其中於依據該些個定位參數產生至少一預測框於該特徵影像上之步驟中，該主機依據該些個定位參數進行篩選，並以該些個定位參數之極大值篩選出該預測框的一位置參數，且該主機依據該先驗框之一位置指標與一長寬參數取得一偏移量，該主機依據該位置參數與該偏移量產生該預測框。
本發明提供一實施例，其中於依據該些個定位參數產生至少一預測框於該特徵影像上之步驟中，該主機以5×5，9×9，13×13或其組合進行該些個定位參數的篩選。
本發明提供一實施例，其中該主成分回歸分析法為該主機依據該些個超頻特徵值對應之一超頻譜向量擷取出最大變異量而產生該些個降維特徵值。
本發明提供一實施例，其中該預測框框選該特徵影像上之一待測物件。
1:檢測系統
10:主機
12:處理單元
14:記憶體
16:儲存單元
20:影像擷取單元
30:資料庫
B:先驗框
BG:背景影像
BGR:背景參考影像
Bh:預測框長度
Bw:預測框寬度
C:卷積核
CNN:卷積神經網路
CR:比較結果
C3:C3模組
D:預測框
Dc:中心點
F1:超頻特徵值
F2:降維特徵值
F22:物件特徵值
FM:特徵影像
HSA:超頻譜影像資訊
HYI:超頻譜影像
IMG:輸入影像
m:像素單元長度
n:像素單元寬度
O:待測物件
O1:待測物件影像
O1R:物件參考影像
O2:特徵影像
O3:待側物件影像
O4:待側物件影像
OP:物件偵測程式
P:卷積程式
Ph:先驗框長度
Pw:先驗框寬度
R:卷積矩陣值
REF:參考影像
SA:樣本影像
SPP:SPP(Spatial Pyramid Pooling)運算模組
SJ:拼接影像
TA:目標物件影像
NTA:非目標物件影像
VEC:分析向量
σ(tx):預測x值
σ(ty):預測y值
S10至S26:步驟
S102至S104:步驟
S122至S126:步驟
第一A圖：其為本發明之一實施例之影像辨識之流程圖；第一B圖：其為本發明之一實施例之取得超頻譜影像資訊之流程圖；第一C圖：其為本發明之一實施例之取得降維特徵值之流程圖；第二A圖至第二G圖：其為本發明之一實施例之部分步驟示意圖；第三圖：其為本發明之一實施例之卷積核與輸入影像的示意圖；第四圖：其為本發明之一實施例之特徵影像的示意圖；第五圖：其為本發明之一實施例之特徵影像網格化的示意圖；第六圖：其為本發明之一實施例之建立先驗框的示意圖；第七圖：其為本發明之一實施例之預設框與先驗框對位的示意圖；第八圖：其為本發明之一實施例之卷積模組之示意圖；第九圖：其為本發明之一實施例之FOCUS模組之示意圖；第十圖：其為本發明之一實施例之C3模組之示意圖；第十一圖：其為本發明之一實施例之SPP模組之示意圖；以及第十二圖：其為本發明之實際操作上的示意圖。
為使 貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以實施例及配合說明，說明如後：有鑑於習知內視鏡操作複雜所導致之人工操作疏失或者影像不容易辨識，據此，本發明遂提出一種於超頻譜影像之物件偵測方法，以解決習知內視鏡技術所造成之人工操作疏失或者影像不容易辨識之問題。
以下，將進一步說明本發明揭示一種於超頻譜影像之物件偵測方法所提供之特性、所搭配之系統： 首先，請參閱第一A圖，其為本發明之一實施例之影像辨識之流程圖。如圖所示，本發明之於超頻譜影像之物件偵測方法，其應於一主機執行以下步驟：步驟S10：取得超頻譜影像資訊；步驟S12：取得降維特徵值；步驟S14：依據卷積核依序於卷積層運算降維特徵值產生卷積矩陣值，其係用以從待測物件影像取得特徵影像；步驟S16：依據卷積矩陣值從輸入影像提取出特徵影像；步驟S18：設定先驗框於特徵影像，其係用以提取特徵影像之定位參數；步驟S20：依據定位參數設定預測框於特徵影像上；步驟S22：依據預測框於特徵影像上取得框選影像；以及步驟S24：依據框選影像匹配比較樣本影像產生比較結果；步驟S26：依據比較結果分類輸入影像為目標物件影像或非目標物件影像。
其中進一步參閱第一B圖，其為本發明之一實施例之取得超頻譜影像資訊之流程圖，其中步驟S10進一步包含下列步驟：步驟S102：經影像擷取單元取得參考影像；以及步驟S104：依據參考影像取得超頻譜影像資訊。
參閱第一C圖，其為本發明之一實施例之取得降維特徵值之流程圖，其中步驟S12進一步包含下列步驟：步驟S122：經影像擷取單元取得輸入影像；步驟S124：依據超頻譜影像進行影像分析而取得超頻特徵值；以及步驟S126：執行主成分回歸分析法運算超頻特徵值，其係用以簡化超頻特徵值而產生降維特徵值。
請一併參閱第二A圖至第二H圖，其為本發明之於超頻譜影像之物件偵測方法所搭配之檢測系統1，其包含一主機10與一影像擷取單元20，本實施例之主機10為具有一處理單元12、一記憶體14與一儲存單元16之電腦主機作為舉例，但並非僅限於此，更可為伺服器、筆記型電腦、平板電腦或具備運算能力基礎之電子裝置皆為本發明所指之主機10，資料庫30為建立於儲存單元16，但不限於此，更可為主機10之外接式儲存單元；其中主機10藉由處理單元12執行一卷積程式P與一物件偵測程式OP，並對應建立一卷積神經網路126。此外，影像擷取單元20於本實施例為一內視鏡，應用探查體內器官組織，例如：膀胱鏡、胃鏡、大腸鏡、支氣管鏡、腹腔鏡。
於步驟S10中，特別是執行步驟S102，如第二A圖所示，主機10為讀取影像擷取單元20所擷取之一參考影像REF，該輸入影像REF包含至少一待測物件影像O1，其中該參考影像REF可為儲存於資料庫30之白光影像(White light image)與窄帶影像(Narrow band image)，或由影像擷取單元20擷取於24色塊之參考色塊，本實施例之影像擷取單元20係以白光內視鏡OLYMPUS EVIS LUCERA CV-260 SL取得對應之該白光參考影像，並以窄帶內視鏡OLYMPUS EVIS LUCERA CLV-260取得對應之該窄帶參考影像。
主機10執行步驟S104，復參閱第二A圖所示，主機10依據參考影像REF取得一超頻譜影像資訊HSA，也就是藉由可見光超頻譜技術(Visible Hyperspectral Algorithm,VIS-HSA)針對影像擷取單元20所擷取之輸入影像進行運算，以求得轉換一般影像色域空間(即擷取影像之色域空間)至XYZ色域空間(1931XYZ Color space)(例如：從sRGB色域空間轉換至XYZ色域空間)的轉換方程式，其中本發明之該超頻譜影像資訊為對應於可見光超頻譜技術之可見光波段超頻譜，並對應於24色塊(X-Rite Classic,24 Color Checkers)，且該24色塊中包含自然界中常見的主要顏色(紅、綠、藍、灰)。該超頻譜影像資訊HSA為對應於上述之複數個白光影像與複數個窄帶影像，並包含複數個配色函數(Color matching functions,CMF)、一校正矩陣C與一轉換矩陣M。
承接上述，轉換首步需將參考影像REF和光譜儀轉換至相同的XYZ色域空間；參考影像REF的轉換公式如下：
Figure 111108095-A0305-02-0010-1
其中，
Figure 111108095-A0305-02-0010-2
Figure 111108095-A0305-02-0010-3
Figure 111108095-A0305-02-0010-4
f(n)為gamma函數，T為轉換矩陣，[M A ]為色適應轉換矩陣。
光譜儀所擷取之反射頻譜數據轉換至XYZ色域空間之公式如下：
Figure 111108095-A0305-02-0010-6
Figure 111108095-A0305-02-0010-7
Figure 111108095-A0305-02-0010-8
其中，k如下式(八)：
Figure 111108095-A0305-02-0010-20
Figure 111108095-A0305-02-0010-21
、
Figure 111108095-A0305-02-0010-22
、
Figure 111108095-A0305-02-0010-23
為配色函數，S(λ)為內視鏡拍攝的光源頻譜，因XYZ色域空間的Y值與亮度成正比關係，因此藉由式(九)取得光源頻譜Y值的最大亮度，再透過對Y值上限規範為100，以此獲得亮度的規範比例k，因而利用式(五)至式(七)取得XYZ值[XYZ Spectrum ]。
此外，更可進一步透過下式(十)之校正矩陣C進行內視鏡影像校正：[C]=[XYZ Spectrum ]×pinv([V]) 式(十)
變數矩陣[V]是透過分析內視鏡可能造成誤差的因素所獲得，導致誤差產生的因素分別為：內視鏡非線性響應、內視鏡暗電流、濾色片分色不精確與色彩偏移(例如：白平衡)，藉此校正XYZ值[XYZ Spectrum ]。
其中，由於窄帶影像與白光影像在三階運算之卷積矩陣值為近似，因此非線性響應修正採用三階方程式進行，校正內視鏡非線性響應為採用下式(十一)：V Non-linear =[X 3 Y 3 Z 3 X 2 Y 2 Z 2 X Y Z 1]T 式(十一)
一般在內視鏡中的暗電流為一固定值，不會隨進光量的變化而產生大幅度的改變，故將暗電流之影響視為常數，並將暗電流的校正變數定義為VDark，並以下式(十二)校正暗電流之影響：VDark=[α] 式(十二)
濾色片分色不精確與色彩偏移的校正變數定義為V Color ，
Figure 111108095-A0305-02-0011-24
、
Figure 111108095-A0305-02-0011-25
、
Figure 111108095-A0305-02-0011-26
為RGB色域空間轉至XYZ色域空間之配色函數，因而依據
Figure 111108095-A0305-02-0011-27
、
Figure 111108095-A0305-02-0011-28
、
Figure 111108095-A0305-02-0011-29
三者之間的關聯性將X、Y、Z之間的可能性以排列組合的方式列出下式(十三)，以校正內視鏡影像於濾色片分色不精確與色彩偏移：V Color =[XYZ XY YZ XZ X Y Z]T 式(十三)
藉由上述式(十一)至式(十三)，推得下式(十四)校正之變數矩陣V：V=[X 3 Y 3 Z 3 X 2Y X 2Z Y 2Z XZ 2 YZ 2 XYZX 2 Y 2 Z 2 XY YZ XZ X Y Z α]T 式(十四)
藉由上述變數矩陣V搭配校正矩陣C，因而獲得校正後之X、Y、Z值[XYZCorrect]，如下式(十五)：[XYZCorrect]=[C]×[V] 式(十五)
白光影像於[XYZCorrect]與[XYZ Spectrum ]之平均誤差值為1.40，窄帶影像於[XYZCorrect]與[XYZ Spectrum ]之平均誤差值為2.39。
由於上述之計算為採用可見光波段380奈米至780奈米之光波長波段，因此內視鏡的校正結果須以色差表示，其中[XYZCorrect]與[XYZ Spectrum ]轉換至CIE DE2000對應之Lab色域空間，色域空間轉換函式如下式(十六)至式(十八)：
Figure 111108095-A0305-02-0011-9
Figure 111108095-A0305-02-0011-10
Figure 111108095-A0305-02-0012-11
其中，f(n)如下式(十九)：
Figure 111108095-A0305-02-0012-12
白光影像於經校正前色差值平均達到11.4，經校正後色差值平均為2.84，而窄帶影像於經校正前色差值平均達到29.14，經校正後色差值平均為2.58。
於步驟S12中，主機10執行步驟S122，如第二B圖所示，主機10自影像擷取單元20取得一輸入影像IMG，其中該輸入影像IMG可如同參考影像REF具有白光影像、窄帶影像或其組合，其中本實施例之影像擷取單元20係以白光內視鏡OLYMPUS EVIS LUCERA CV-260 SL對應之該白光影像，或以窄帶內視鏡OLYMPUS EVIS LUCERA CLV-260對應之該窄帶影像；於步驟S12中，主機10依據該輸入影像IMG之解析度符合一解析度門檻，例如：10奈米，判斷該輸入影像IMG為符合超頻譜影像(hyperspectral image)之解析度門檻，因此依據步驟S10所得之超頻譜影像資訊HSA將輸入影像IMG轉換為超頻譜影像HYI，而接續執行步驟S14。
接續上述，主機10執行步驟S124，對超頻譜影像HYI進行影像分析，其係用以針對超頻譜影像HYI中的特徵點進行特徵提取，而依據超頻譜影像HYI取出對應之複數個超頻特徵值F1，例如利用一分析向量VEC分析超頻譜影像HYI，而取得該些個超頻特徵值F1。之後，主機10執行步驟S126，將於步驟S124中取得之該些個超頻特徵值F1，以進行主成分回歸分析法(Principal components analysis，PCA)之運算，為簡化卷積矩陣值，以濾除較低變化量之特徵值，因而簡化該超頻譜影像HYI對應之特徵向量並產生複數個降維特徵值F2。PCA之運算式如下式(二十)：
Figure 111108095-A0305-02-0012-13
而x 1i 至x ni 為表示第一個至第n個波長的頻譜強度值；
Figure 111108095-A0305-02-0012-31
至
Figure 111108095-A0305-02-0012-32
為表示第一個至第n個波長的頻譜期望值(平均頻譜強度值)，α j1至α jn 為表示頻譜進 行共變異數計算之共變異數矩陣的特徵向量係數。經過主成分回歸分析法對401維度頻譜資訊降維後僅需求得前三維，以減少運算複雜度。
再者，先藉由上述所獲得之校正值[XYZCorrect]搭配上述24色塊對應之反射頻譜數據[R Spectrum ]，經運算求得對應之轉換矩陣M，如下式(二十一)：[M]=[Score]×pinv([V Color ]) 式(二十一)
[S Spectrum ]380-780=[EV][M][V Color ] 式(二十二)
其中，[Score]為透過反射頻譜數據[R Spectrum ]經主成分回歸分析法，而求得複數組主成分(EV)，本實施例係以其中12組解釋能力(權重百分比88.0417%、8.2212%、2.6422%、0.609%、0.22382%、0.10432%、0.054658%、0.0472%、0.02638%、0.012184%、0.010952%、0.0028714%)較佳之主成分進行降維運算，因而獲得模擬頻譜[S Spectrum ]380-780，而模擬頻譜[S Spectrum ]380-780與輸入影像IMG對應之[XYZ Spectrum ]的誤差於白光影像上從11.60修正為2.85，於窄帶影像上從29.14修正為2.60，因而達成肉眼無法輕易辨識出之顏色誤差，方便於使用者有色彩再現需求時，可獲得較佳之色彩再現效能，因而模擬出可見光波段範圍內較佳的超頻譜影像。
於步驟S14中，如第二C圖與第三圖所示，主機10將該輸入影像IMG經步驟S124至步驟S126所得之降維特徵值F2，特別是在0與1之間，利用複數個卷積核C偵測該輸入影像IMG對應之複數個降維特徵值F2，而該些個卷積核C包含該至少一待測物件影像O2之複數個特徵影像FM對應之物件特徵值F22與該至少一待測物件影像O1之相鄰周邊影像BGI對應之周邊特徵值F24，以篩選掉未包含待測物件影像O1之背景影像BG，其中，該主機依據一單次多框目標檢測器(Single Shot Multibox Detector)模型分別對該輸入影像之每一像素單元進行卷積，以偵測該些個特徵值，該卷積核C的數值即為權重值，跑過一整張輸入圖所使用都是相同權重，即為其共用權重的概念。
復參閱第二C圖與第三圖所示，該輸入影像IMG為m×n像素單元，並透過P個通道做特徵萃取，因此該卷積核O1為特徵權重參數，本實施例係以權重數值作為舉例，卷積運算為兩個矩陣相乘後相加，操作方式是設定卷積核大小 (Kernel size)與移動步長(Stride)，於原始圖像上同卷積核大小進行卷積運算一次，接著卷積核於輸入層做一個Stride的移動進行下一次卷積，跑完全圖後卷積矩陣值稱為特徵影像FM(Feature map)，即本實施例所述之特徵影像FM，因此Feature map的長寬與卷積核大小與Stride相關，為使Feature map大小不變，亦可於卷積計算前於輸入層外圍進行圖元填充(Padding)增添0值於原始圖像外圍，整體輸出Feature map大小如以下式(二十三)：
Figure 111108095-A0305-02-0014-14
卷積核上的數值即為權重值，跑過一整張輸入圖所使用都是相同權重，即為其共用權重的概念，卷積核設定的通道(kernel channel)、數目(kernel number)與輸入圖的通道(input channel)會影響Feature map的通道數，其計算式(二十四)如下：
Figure 111108095-A0305-02-0014-15
藉此，減少對該背景影像BG於後續步驟中處理，該輸入影像IMG對應之降維特徵值F2為經由處理單元12轉換為對應之物件特徵值F22，處理單元12透過卷積核C與該輸入影像IMG對應之降維特徵值F2相乘，而獲得卷積矩陣值R，而獲得相同為1，相異為-1的值，因而將非相關之影像過濾掉，而如第四圖所示，在輸入影像IMG對應之降維特徵值F2取得該些個物件特徵值F22所對應之特徵影像FM該至少一待測物件影像O1，因而獲得該至少一待測物件影像O1的所在區域A。
於步驟S16中，如第二C圖與第五圖所示，主機10藉由處理單元12執行物件偵測程式OP而依據該卷積矩陣值R從該輸入影像IMG提取出至少一特徵影像FM，本實施例係以提取一特徵影像FM作為舉例說明。
於步驟S18中，如第二D圖與第六圖所示，主機10依據該至少一待測物件影像O1的所在區域A取得至少一特徵影像FM，也就是由物件偵測程式OP取得物件特徵值F22並對應建立至少一先驗框B於特徵影像FM上，且如第六圖所示，先驗框B為預先儲存於主機10之n組預測長寬比之框架，例如：本實施例係以2：1的先驗框B作為舉例，因而自適應縮放至對應於所在區域A，用以提取特徵影 像之定位參數，即如第七圖所示，下一步驟S20之預測框D為依據先驗框B於特徵影像FM上所取得之位置進一步設定而對應至待測物件影像O1。
於步驟S20中，如第二E圖與第七圖所示，主機10藉由處理單元12執行物件偵測程式OP依據特徵影像FM對應之先驗框B，因而建立對應之預設框D於特徵影像FM上，其中設定該預設框D之運算如下：預設框D位置b=(b x ,b y ,b w ,b h )......................式(二十五)
b x =σ(t x )+C x 式(二十六)
b y =σ(t y )+C y 式(二十七)
Figure 111108095-A0305-02-0015-16
Figure 111108095-A0305-02-0015-17
先依據先驗框B的中心座標對齊預測偵測框D的中心座標，意思是將先驗框B的中心點Dc「先平移」至預測框D的邊界座標位置，如式(二十七)至式(二十九)，再依據先驗框B的長寬比將預測框D之邊界座標位置趨近至接近待測物件影像O1。
此外，為了較精確地定義待測物件影像O1之位置，更進一步搭配損失方程式，如下式(三十)：L BCEWithLogitsLoss =-w[y n,c ．log(σ(x n,c ))+(1-y n,c )．log(1-σ(x n,c ))]....式(三十)
因而驗證預測預設框D之位置與待測物件影像O1之位置的誤差。
於步驟S22中，如第二F圖與第七圖所示，主機10於處理單元12依據預測框D定位出待測物件影像O1之位置後，取得所框選之待測物件影像O1，即取得預測框D對應之框選影像，其中，主機10之處理單元12執行物件偵測程式OP於步驟S16至步驟S22中，即在於一物件偵測演算法YOLOv5系統進行物件偵測，其係用以從特徵影像FM中框選出待測物件影像O1，例如：使用物件偵測演算法YOLOv5進行物件偵測，其中物件偵測演算法YOLOv5為一類神經網路，其包含一卷積模組(conv)、一FOCUS模組、一C3模組C3與一空間金字塔池化(Spatial Pyramid Pooling，SPP)運算模組SPP。
其中，如第八圖所示，該卷積模組為包含一組卷積層、一批次標準化(Batch Normalization，BN)層與一激勵函數(SiLu)層，該卷積模組是以卷積做圖像特徵提取或是透過卷積來改變特徵影像FM(feature map)大小使可進行特徵融合(Concat)；常見激勵函數如下表所示：
Figure 111108095-A0305-02-0016-18
Figure 111108095-A0305-02-0017-19
如第九圖所示，FOCUS模組為輸入至複數個切片層，將特徵影像FM以相距為2的像素點進行切片(slice)操作，整併長寬資訊到通道(channel)維度上，該方法近似不同尺寸圖像做特徵融合，但僅只使用一層卷積層來優化特徵提取能力，主要目的於減低運算量以提高計算速度；如第十圖所示，C3模組C3為從跨階段局部網路(Cross-Stage Partial Net，CSPNet)運算架構修改而成，C3模組C3為將輸入分割為兩份，一份經設計的網路結構進行輸出完畢後，與分 割的另一份數據直接進行特徵融合(concat)，此方法可使得基礎層的特徵盡可能保留，有效緩解梯度消失問題，即解決提取特徵過程中不佳導致卷積層後段圖像資訊已經遺失有用資訊，並於反向傳播無法優化的問題，C3模組C3相較於CSPNet運算架構，可降低模型運算量；如第十一圖所示，SPP運算模組SPP是將特徵影像FM經過三個不同尺寸大小的最大池化層(pooling)與1×1的卷積層進行特徵融合(concat)，該方法可有效分離不同尺寸大小目標的特徵訊息以做後續使用，YOLOv5中採用[5×5，9×9，13×13]三種尺寸進行SPP運算模組SPP之運算。此外，YOLOv5更可透過特徵金字塔網路(Feature Parymid Network，FPN)與路徑聚合網路(Path Aggregation Network，PANet)兩者運算架構提升精確度，特別是藉由FPN運算架構為針對淺層與下採樣之特徵影像FM進行特徵融合以增進小目標的檢測能力，並藉由PANet運算架構針對上採用之特徵影像FM進行特徵融合，以避免神經網路運算架構中後段運算的特徵值遺失問題。
接續於步驟S24中，主機10依據預測框D所框選之待測物件影像O1與資料庫30中的樣本影像SA進行匹配比對，即依據預測框D之框選影像與資料庫30中的樣本影像SA進行匹配比對，因而獲得一比較結果R，接續於步驟S26中，如第二G圖所示，主機10透過處理單元12所執行之卷積程式P依據比較結果R將該輸入影像IMG分類至一目標物件影像TA或一非目標物件影像NTA，例如：惡性腫瘤，當該主機10之處理單元12所執行之卷積程式P未能針對該預設框D中的該待測物件影像O1辨識出匹配於該至少一樣本影像SA時，該主機10將該輸入影像IMG分類至該非目標物件影像NTA，反之，該主機10之處理單元12所執行之卷積程式P將該輸入影像分類至該目標物件影像TA，再者，當該主機10之處理單元12所執行之卷積程式P將該輸入影像IMG分類至該非目標物件影像NTA時，卷積程式P會接續執行第二次比對該至少一樣本影像SA與該待測物件影像O1，當卷積程式P判斷該待測物件影像O1之比較結果R對於該目標物件影像TA之一近似度大於一近似閥值(例如：近似度0至1之間，而取0.5作為近似閥值)時，卷積程式P將該輸入影像IMG分類至該目標物件影像TA，反之，卷積程式P將該輸入影像IMG分類至該非目標物件影像NTA。
此外，本發明之另一實施例，如第十二圖所示，更可由主機10於步驟S14中，進一步依據輸入影像IMG從不同待測物件影像O1、O2、O3、O4中提取複數個特徵影像FM，並進行隨機縮放、隨機裁剪、隨機排布的方式進行拼接，將該些個特徵影像FM拼接(Split Joint)成一拼接影像SJ，因而讓主機10以拼接影像SJ接續執行步驟S16。如此一旦特徵影像數量較大時，可減少處理單元12執行物件偵測程式OP之運算量。本實施例為不同待測物件影像O1、O2、O3、O4位於單一輸入影像IMG，本發明更可為不同待測物件影像O1、O2、O3、O4位於不同輸入影像IMG中。
本發明藉由上述之技術，復參閱第一A圖至第一C圖與第二A圖至第二G圖，先由影像擷取單元20擷取參考影像REF至主機10，因而讓主機10取得參考影像REF對應之超頻譜影像資訊HYI，而影像擷取單元20擷取輸入影像IMG至主機10，因而讓主機10依據該超頻譜影像資訊HSA轉換輸入影像IMG為超頻譜影像HYI，主機10經依據超頻譜影像HYI之特徵點進行影像分析，因而提取出超頻特徵值F1，讓主機依據主成分回歸分析法運算超頻特徵值F1，因而簡化超頻特徵值F1，而產生對應之降維特徵值F2，藉此，主機10從輸入影像IMG中提取出特徵影像FM，並依據特徵影像FM產生複數個網格，因而藉由該些個網格建立對應之先驗框B於輸入影像IMG上，由於先驗框B為預設之長寬比，因此主機10即對特徵影像FM選出對應之先驗框B而提取出對應之待測物件O之定位參數，並藉此建立對應之預測框D於輸入影像IMG上。
接續上述，依據預測框D自該特徵影像FM取得框選影像，也就是依據預測框D自該特徵影像FM框選出待測物件影像O1，其係用以與資料庫30中的樣本影像SA進行匹配比對，也就是該主機10之處理單元12所執行之卷積程式P依據樣本影像SA對預測框D框選出待測物件影像O1進行匹配比較，以產生比較結果R，主機10之處理單元12隨即依據比較結果判斷輸入影像IMG為一早期浸潤於食道上的上皮組織之惡性腫瘤影像，藉此輔助醫師辨識內視鏡影像，讓專業醫師判斷後續治療方案，並解決人工辨識影像而誤判的風險。
綜上所述，本發明之於超頻譜影像之物件偵測方法，其提供主機取得超頻譜影像資訊，再依據超頻譜影像資訊將輸入影像轉換為超頻譜影像，以接續執行卷積程式，並讓主機建構卷積神經網路，以對影像擷取單元之輸入影像進行卷積，而篩選出欲偵測之特徵影像，藉此設立先驗框與預測框於輸入影像上，並以預測框定位出待測物件影像之位置，最進行樣本影像之比較，以利用比較結果進行目標物件影像與非目標物件影像之分類。
故本發明實為一具有新穎性、進步性及可供產業上利用者，應符合我國專利法專利申請要件無疑，爰依法提出發明專利申請，祈 鈞局早日賜准專利，至感為禱。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
S10至S26:步驟

Claims (11)

  1. 一種於超頻譜影像之物件偵測方法，其應用於一主機執行下列步驟：取得一參考影像轉換至一參考超頻譜影像之一超頻譜影像資訊；取得複數個降維特徵值，其步驟包含：取得一輸入影像；依據該超頻譜影像資訊轉換該輸入影像，其係用以取得一超頻譜影像；以及依據該超頻譜影像進行一影像分析而取得複數個超頻特徵值；執行一主成分回歸分析法運算該些個超頻特徵值產生該些個降維特徵值；依據一卷積核依序於至少一卷積層運算該些個降維特徵值產生一卷積矩陣值，其中，該卷積核包含複數個特徵權重參數，該卷積矩陣值為該些個特徵權重參數乘以該些個降維特徵值，該特徵影像對應於該卷積矩陣值；依據該卷積矩陣值從該輸入影像提取出至少一特徵影像；設定至少一先驗框於該特徵影像上，其係用以提取該特徵影像對應之複數個定位參數；依據該些個定位參數設定至少一預測框於該特徵影像上；依據該至少一預測框從該特徵影像取得至少一框選影像； 依據該至少一框選影像匹配比較至少一樣本影像產生一比較結果；以及依據該比較結果判斷該輸入影像為一目標物件影像；其中於依據該至少一框選影像匹配比較至少一樣本影像產生一比較結果之步驟中，該主機於一物件偵測演算法YOLOv5系統中依據該框選影像匹配比較該至少一樣本影像產生該比較結果。
  2. 如請求項1所述之於超頻譜影像之物件偵測方法，其中該超頻譜影像資訊為對應於該輸入影像之複數個配色函數、一校正矩陣與一轉換矩陣。
  3. 如請求項1所述之於超頻譜影像之物件偵測方法，其中於依據該至少一框選影像匹配比較至少一樣本影像產生一比較結果之步驟中，該主機自一資料庫讀取該至少一樣本影像，以依據該待測物件影像與該至少一樣本影像進行該匹配比較。
  4. 如請求項1所述之於超頻譜影像之物件偵測方法，其中於設定至少一先驗框於該特徵影像上之步驟中，該主機設定複數個網格於該特徵影像上，其係用以依據該些個網格定位該先驗框，且該先驗框對應於至少一長寬比。
  5. 如請求項1所述之於超頻譜影像之物件偵測方法，其中於依據該些個定位參數產生至少一預測框於該特徵影像上之步驟中，該主機更依據不同目標尺寸之複數個先驗框產生對應之複數個預測框。
  6. 如請求項1所述之於超頻譜影像之物件偵測方法，其中於用以從該至少一待測物件影像取得至少一特徵影像之步驟中，該主機進一步從該至少一待測物件影像中提取該 些個特徵影像，並進行隨機縮放、隨機裁剪、隨機排布的方式進行拼接，將該些個特徵影像拼接成一拼接影像，以接續執行該主機依據該至少一特徵影像產生複數個網格之步驟。
  7. 如請求項1所述之於超頻譜影像之物件偵測方法，其中於依據該些個定位參數產生至少一預測框於該特徵影像上之步驟中，該主機依據該些個定位參數進行篩選，並以該些個定位參數之極大值篩選出該預測框的一位置參數，且該主機依據該先驗框之一位置指標與一長寬參數取得一偏移量，該主機依據該位置參數與該偏移量產生該預測框。
  8. 如請求項7所述之於超頻譜影像之物件偵測方法，其中於依據該些個定位參數產生至少一預測框於該特徵影像上之步驟中，該主機以5×5、9×9、13×13或其組合進行該些個定位參數的篩選。
  9. 如請求項1所述之於超頻譜影像之物件偵測方法，其中該主成分回歸分析法為該主機依據該些個超頻特徵值對應之一超頻譜向量擷取出最大變異量而產生該些個降維特徵值。
  10. 如請求項1所述之於超頻譜影像之物件偵測方法，其中該影像分析為該主機利用一分析向量對該超頻譜影像之複數個特徵點進行提取而取得複數個超頻特徵值。
  11. 如請求項1所述之於超頻譜影像之物件偵測方法，其中該預測框框選該特徵影像上之一待測物件。
TW111108095A 2022-03-04 2022-03-04 於超頻譜影像之物件偵測方法 TWI803223B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111108095A TWI803223B (zh) 2022-03-04 2022-03-04 於超頻譜影像之物件偵測方法
JP2023007113A JP2023129258A (ja) 2022-03-04 2023-01-20 ハイパースペクトル画像による物体検出方法
US18/165,586 US20230281962A1 (en) 2022-03-04 2023-02-07 Method for detecting object of esophageal cancer in hyperspectral imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111108095A TWI803223B (zh) 2022-03-04 2022-03-04 於超頻譜影像之物件偵測方法

Publications (2)

Publication Number Publication Date
TWI803223B true TWI803223B (zh) 2023-05-21
TW202336707A TW202336707A (zh) 2023-09-16

Family

ID=87424563

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108095A TWI803223B (zh) 2022-03-04 2022-03-04 於超頻譜影像之物件偵測方法

Country Status (3)

Country Link
US (1) US20230281962A1 (zh)
JP (1) JP2023129258A (zh)
TW (1) TWI803223B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
TW202109514A (zh) * 2019-08-15 2021-03-01 大陸商深圳市商湯科技有限公司 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
TW202209254A (zh) * 2020-08-17 2022-03-01 大陸商上海商湯智能科技有限公司 圖像分割方法、電子設備和電腦可讀儲存介質

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
TW202109514A (zh) * 2019-08-15 2021-03-01 大陸商深圳市商湯科技有限公司 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
TW202209254A (zh) * 2020-08-17 2022-03-01 大陸商上海商湯智能科技有限公司 圖像分割方法、電子設備和電腦可讀儲存介質

Also Published As

Publication number Publication date
US20230281962A1 (en) 2023-09-07
TW202336707A (zh) 2023-09-16
JP2023129258A (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
US8401258B2 (en) Method to provide automated quality feedback to imaging devices to achieve standardized imaging data
US8472682B2 (en) Medical image processing
JP7187557B2 (ja) 医療画像学習装置、方法及びプログラム
WO2008115547A1 (en) A method of automated image color calibration
CN117152362B (zh) 内窥镜多光谱的多路成像方法、装置、设备及存储介质
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
TWI738367B (zh) 以卷積神經網路檢測物件影像之方法
JP2023507530A (ja) 分子ケミカルイメージングとｒｇｂイメージングの融合
CN117036905A (zh) 一种基于hsv色彩空间颜色注意力的胶囊内窥镜图像病灶识别方法
Leitner et al. High-sensitivity hyperspectral imager for biomedical video diagnostic applications
TWI803223B (zh) 於超頻譜影像之物件偵測方法
Akbari et al. Wavelet-based compression and segmentation of hyperspectral images in surgery
TWI762388B (zh) 以超頻譜檢測物件影像之方法
CN113016006A (zh) 用于宽场高光谱成像的装置和方法
TWI796156B (zh) 以波段用於超頻譜檢測物件影像之方法
CN115736791A (zh) 内窥镜成像装置及方法
Obukhova et al. Image processing algorithm for virtual chromoendoscopy (Tone Enhancement) in clinical decision support system
TWI821149B (zh) 內視鏡冗餘影像除去方法
Dinh et al. Training data selection for cancer detection in multispectral endoscopy images
JP7436066B2 (ja) 眼底画像における動脈及び静脈を識別する方法
Wannous et al. Design of a customized pattern for improving color constancy across camera and illumination changes
Lu et al. Research progress in narrow-band imaging of capsule endoscopes based on hyperspectral image conversion technology
Bochko et al. Spectral reflectance estimation for electronic endoscope
Voipio et al. Practical Imaging in Dermatology
JP2011120731A (ja) 内視鏡装置